KR100770019B1 - 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법 - Google Patents

스테레오 카메라의 영상왜곡 보정 장치 및 그 방법 Download PDF

Info

Publication number
KR100770019B1
KR100770019B1 KR1020050038568A KR20050038568A KR100770019B1 KR 100770019 B1 KR100770019 B1 KR 100770019B1 KR 1020050038568 A KR1020050038568 A KR 1020050038568A KR 20050038568 A KR20050038568 A KR 20050038568A KR 100770019 B1 KR100770019 B1 KR 100770019B1
Authority
KR
South Korea
Prior art keywords
image
distortion
camera
parallax
distortion correction
Prior art date
Application number
KR1020050038568A
Other languages
English (en)
Other versions
KR20060063575A (ko
Inventor
강훈종
김대희
안충현
이수인
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to JP2007545366A priority Critical patent/JP4995092B2/ja
Priority to PCT/KR2005/004140 priority patent/WO2006062325A1/en
Publication of KR20060063575A publication Critical patent/KR20060063575A/ko
Application granted granted Critical
Publication of KR100770019B1 publication Critical patent/KR100770019B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/80—Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • G06T7/85—Stereo camera calibration
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0077—Colour aspects

Abstract

1. 청구범위에 기재된 발명이 속한 기술분야
본 발명은 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법에 관한 것임.
2. 발명이 해결하려고 하는 기술적 과제
본 발명은, 스테레오 카메라를 통하여 획득된 3차원 영상의 왜곡(좌/우 영상간의 칼라분포 불일치, 렌즈왜곡, 시차왜곡)을 보정함으로써, 3차원 영상 관찰자로 하여금 시각 피로없이 편안하게 3차원 영상을 관찰할 수 있게 하는, 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법을 제공하는데 그 목적이 있음.
3. 발명의 해결방법의 요지
본 발명은, 스테레오 카메라의 영상 왜곡을 보정하는 장치에 있어서, 상기 스테레오 카메라에 의하여 획득된 좌/우 영상과 카메라 정보를 입력받기 위한 입력 수단; 상기 카메라 정보로부터 상기 좌/우 영상 간의 시차오차를 나타내는 시차왜곡 보정 파라미터를 산출하여 저장하기 위한 카메라 파라미터 생성/저장 수단; 및 상기 좌/우 영상간의 시차 왜곡을 제거하기 위하여, 상기 시차왜곡 보정 파라미터를 이용하여 상기 좌/우 영상을 보정하기 위한 시차 왜곡 보정 수단을 포함함.
4. 발명의 중요한 용도
본 발명은 스테레오 카메라의 영상왜곡 보정 등에 이용됨.
스테레오 카메라, 3차원 영상, 영상 왜곡, 시야각, FOV, 왜곡 보정, 시차 왜곡

Description

스테레오 카메라의 영상왜곡 보정 장치 및 그 방법{Apparatus and Method for correction of the image distortion of stereo-camera}
도 1 은 본 발명에 따른 스테레오 카메라의 영상왜곡 보정 장치의 제 1실시예 구성도,
도 2 는 본 발명에 따른 스테레오 카메라의 영상왜곡 보정 장치의 제 2실시예 구성도,
도 3a 는 배럴 왜곡(Barrel Distortion)에 대한 설명도,
도 3b 는 배럴 왜곡(Barrel Distortion)이 보정된 영상에 대한 설명도,
도 4 는 거리 D에 위치한 면 상에서의 일정 간격마다의 광 경로에 대한 설명도,
도 5 는 거리 D에 위치한 면에서 스테레오 영상을 획득할 때의 광 경로에 대한 설명도,
도 6 은 거리 D에 위치한 면에서 스테레오 영상을 획득할 때 주시각 포인트가 동일한 면에 위치하도록 보정된 광 경로에 대한 설명도,
도 7 은 시야각(FOV)에 따른 양안차 오차(Disparity Error)의 분포도,
도 8 은 시차 왜곡 분포에 대한 설명도,
도 9 는 본 발명에 따른 카메라 파라미터 생성/저장부의 일실시예 구성도이다.
* 도면의 주요 부분에 대한 부호 설명
100, 200: 입력부 110, 210: 입체 영상 보정부
111, 115, 211: 영상칼라 보정부 112, 116, 212: 렌즈왜곡 보정부
113, 117, 213: 시차왜곡 보정부 114, 214: 카메라 파라미터 생성/저장부
120, 220: 출력부 204: 3차원 영상 다중화부
본 발명은 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법에 관한 것으로, 더욱 상세하게는 스테레오 카메라를 통하여 획득된 3차원 영상의 왜곡(좌/우 영상간의 칼라분포 불일치, 렌즈왜곡, 시차왜곡)을 보정함으로써, 3차원 영상 관찰자로 하여금 시각 피로없이 편안하게 3차원 영상을 관찰할 수 있게 하는, 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법에 관한 것이다.
일반적으로, 인간이 입체감을 느끼는 가장 큰 요인은 하나의 물체에 좌/우의 눈이 다른 방향에서 물체를 봄으로써 생기는 좌/우 망막상의 공간적인 차이의 효과때문이다. 이러한 효과를 이용하여 좌/우 양안에 각각 서로 다른 영상, 즉 스테레 오 스코픽 영상(3차원 영상)을 디스플레이하는 방법이 사용되었다. 이러한 스테레오 스코픽 영상(3차원 영상) 디스플레이 방법은 안경을 쓰고 3차원 영상을 관찰하는 방법과, 안경을 쓰지 않고 3차원 영상을 관찰하는 방법으로 나뉘어진다.
첫째, 안경을 쓰고 3차원 영상을 관찰하는 방법은 극장과 같은 넓은 공간에서 3차원 영상을 관찰하는 방법으로서, 이에는 관찰자가 편광안경을 착용하고 2안식의 스테레오 스코픽 영상(3차원 영상)을 관찰할 수 있는 편광안경 방식이 있다.
둘째, 안경을 쓰지 않고 3차원 영상을 보는 방법은 주로 소수 관찰자가 관찰 위치가 정해져 있는 위치에서 3차원 영상을 관찰하는 방법으로서, 이에는 패럴렉스 베리어 또는 렌티큘라를 영상 디스플레이 판에 부착하여 3차원 영상을 관찰하는 방법이 있다.
3차원 영상을 획득하기 위해, 두개 이상의 카메라를 이용하여 3차원 영상을 획득한다. 이때 사용되는 카메라의 렌즈 초점 거리는 일반적으로 28mm 이상이다. 하지만 휴대 단말 장치의 디스플레이 기술이 발전함에 따라 휴대단말 장치에 두개 이상의 카메라를 부착하여 3차원 영상을 획득하는 시스템 개발이 시도되고 있으며, 휴대용 단말 장치에 부착되는 카메라는 초점거리가 5mm 정도인 어안렌즈(fish-eye lens)를 이용한다.
즉, 카메라의 초점거리가 짧아질수록 시야각(FOV: Field Of View)은 커지게 되고, FOV가 커짐에 따라 시차 왜곡(Parallax Distortion)도 증가하게 된다. 그리고 최근에 단말장치의 디스플레이 장치가 소형화가 되고 있으며, 단말장치에 스테레오 카메라를 부착하여 FOV가 큰 카메라를 이용하여 3차원 영상을 획득하는 것이 시도되고 있다.
하지만 이렇게 획득된 영상에는 카메라의 렌즈 초점 거리에 따라 달라지는 시야각(FOV)으로 인하여 시차 왜곡(Parallax Distortion)이 발생되고, 이로 인해 3차원 영상을 관찰할 때 시각 피로를 유발하게 된다는 문제점이 있었다.
본 발명은 상기 문제점을 해결하기 위하여 제안된 것으로, 스테레오 카메라를 통하여 획득된 3차원 영상의 왜곡(좌/우 영상간의 칼라분포 불일치, 렌즈왜곡, 시차왜곡)을 보정함으로써, 3차원 영상 관찰자로 하여금 시각 피로없이 편안하게 3차원 영상을 관찰할 수 있게 하는, 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허청구범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명은, 스테레오 카메라의 영상 왜곡을 보정하는 장치에 있어서, 상기 스테레오 카메라에 의하여 획득된 좌/우 영상과 카메라 정보를 입력받기 위한 입력 수단; 상기 카메라 정보로부터 상기 좌/우 영상 간의 시차오차를 나타내는 시차왜곡 보정 파라미터를 산출하여 저장하기 위한 카메라 파라미터 생성/저장 수단; 및 상기 좌/우 영상간의 시차 왜곡을 제거하기 위하여, 상기 시차왜곡 보정 파라미터를 이용하여 상기 좌/우 영상을 보정하기 위한 시차 왜곡 보정 수단을 포함한다. 또한, 상기 본 발명의 장치는, 상기 좌/우 영상 간의 칼라분포를 일치시키기 위한 영상 칼라 보정 수단; 및 렌즈왜곡 파라미터(이는 카메라 파라미터 생성/저장 수단이 상기 카메라 정보로부터 산출하여 저장하는 것임)를 이용하여 상기 좌/우 영상 각각에 대하여 렌즈 왜곡을 보정하기 위한 렌즈 왜곡 보정 수단을 더 포함한다.
그리고, 상기 본 발명의 장치는, 상기 입력 수단이 입력받은 좌/우 영상을 3차원 영상 포맷에 따라 다중화하여 하나의 3 차원 영상을 생성하기 위한 3차원 영상 다중화 수단을 더 포함하고; 상기 시차 왜곡 보정 수단, 상기 영상 칼라 보정 수단, 또는 렌즈 왜곡 보정 수단은, 상기 3차원 영상 내의 좌/우 영상을 식별하여 좌/우 영상 각각에 대하여 해당 보정 과정을 수행하는 것을 특징으로 한다.
한편, 본 발명은, 스테레오 카메라의 영상 왜곡을 보정하는 방법에 있어서, 상기 스테레오 카메라에 의하여 획득된 좌/우 영상과 카메라 정보를 입력받는 입력단계; 상기 카메라 정보로부터 상기 좌/우 영상 간의 시차오차를 나타내는 시차왜곡 보정 파라미터를 산출하는 시차왜곡 보정 파라미터 산출 단계; 및 소정의 거리에 있는 객체들의 양안차(Disparaty) 분포가 균일하게 되도록, 상기 시차왜곡 보정 파라미터를 이용하여 상기 좌/우 영상을 보정하는 시차왜곡 보정 단계를 포함한다. 상기 본 발명의 방법은, 상기 좌/우 영상 간의 칼라분포를 일치시키는 영상 칼라 보정 단계; 상기 카메라 정보로부터 렌즈왜곡 파라미터를 산출하는 렌즈왜곡 파라미터 산출 단계; 및 상기 렌즈왜곡 파라미터를 이용하여, 상기 좌/우 영상 각각에 대하여 렌즈 왜곡을 보정하는 렌즈왜곡 보정 단계를 더 포함한다.
그리고, 상기 본 발명의 방법은, 상기 입력 단계에서 입력받은 좌/우 영상을 3차원 영상 포맷에 따라 다중화하여 하나의 3 차원 영상을 생성하는 3차원 영상 다중화 단계를 더 포함하고; 상기 시차 왜곡 보정 단계, 상기 영상 칼라 보정 단계, 또는 렌즈왜곡 보정 단계는, 상기 3차원 영상 내의 좌/우 영상을 식별한 후 상기 식별된 좌/우 영상 각각에 대하여 해당 보정 과정을 수행하는 것을 특징으로 한다.
상술한 목적, 특징 및 장점은 첨부된 도면과 관련한 다음의 상세한 설명을 통하여 보다 분명해 질 것이며, 그에 따라 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명의 기술적 사상을 용이하게 실시할 수 있을 것이다. 또한, 본 발명을 설명함에 있어서 본 발명과 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에 그 상세한 설명을 생략하기로 한다. 이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 일실시예를 상세히 설명하기로 한다.
도 1 은 본 발명에 따른 스테레오 카메라의 영상왜곡 보정 장치의 제 1실시예 구성도이다. 이하에서는 스테레오 카메라의 영상왜곡 보정 장치에서 수행되는 스테레오 카메라의 영상왜곡 보정 방법도 함께 설명하기로 한다.
본 발명에 따른 제 1실시예인 스테레오 카메라의 영상왜곡 보정 장치는, 도 1에 도시된 바와 같이 입력부(100), 입체 영상 보정부(110), 및 출력부(120)를 포 함하여 이루어지는 것으로서, 좌(左) 영상(이하, 제 1 영상이라 한다)과 우(右) 영상(이하, 제 2 영상이라 한다)을 각각 개별적으로 보정하는 방식을 사용하는 것이다.
먼저, 입력부(100)는 카메라로부터 획득된 제 1 영상을 입력받는 제 1 영상 입력부(101), 카메라로부터 획득된 제 2 영상을 입력받는 제 2 영상 입력부(102), 및 외부(예를 들면, 카메라 또는 사용자 등)로부터 카메라의 정보를 입력받는 카메라정보 입력부(103)를 포함하여 이루어진다.
그리고, 입체 영상 보정부(110)는 제 1 영상의 보정과 관련된 제 1 영상 칼라 보정부(111), 제 1 렌즈 왜곡 보정부(112), 제 1 시차 왜곡 보정부(113)과; 제 2 영상의 보정과 관련된 제 2 영상 칼라 보정부(115), 제 2 렌즈 왜곡 보정부(116), 제 2 시차 왜곡 보정부(117); 그리고 카메라파라미터 테이블 생성/저장부(114)를 포함한다.
제 1 영상 칼라 보정부(111)와 제 2 영상 칼라 보정부(115)는 제 1 영상과 제 2 영상을 입력받아 두 영상간의 칼라 분포가 동일하게 되도록 칼라 보정을 수행한다. 이 때, 제 1 영상을 기준으로 제 2 영상을 칼라보정할 수 있고, 또는 제 2 영상을 기준으로 칼라보정을 할 수도 있다.
그러면, 제 1 렌즈 왜곡 보정부(112)와 제 2 렌즈 왜곡 보정부(116)는 카메라파라미터 룩업 테이블을 이용하여, 제 1 영상 칼라 보정부(111)와 제 2 칼라 영상 보정부(115)에서 칼라 보정된 제 1 영상과 제 2 영상의 배럴 왜곡(Barrel Distortion)과 핀쿠션 왜곡(Pincushion Distortion)을 보정하게 된다. 여기서, 렌 즈 왜곡 보정에 이용되는 파라미터는 렌즈 왜곡 파라미터(k)이다.
제 1 시차 왜곡 보정부(113)와 제 2 시차 왜곡 보정부(117)는 카메라파라미터 룩업 테이블을 이용하여, 제 1 렌즈 왜곡 보정부(112)와 제 2 렌즈 왜곡 보정부(116)에서 렌즈왜곡이 보정된 제 1 영상과 제 2 영상에서 카메라의 FOV에 따른 왜곡을 보정하게 된다. 즉, 제 1 시차 왜곡 보정부(113)와 제 2 시차 왜곡 보정부(117)는, 스테레오 카메라를 이용하여 좌/우 영상을 획득할 때 카메라의 렌즈 초점 거리에 따라 달라지는 시야각(FOV)으로 인하여 발생되는 시차 왜곡을 보정하는 것이다.
한편, 카메라 파라미터 생성/저장부(114)는 카메라 정보를 입력받아 렌즈 왜곡의 보정에 필요한 파라미터를 산출하여 룩업(look-up) 테이블로 저장한다.
마지막으로, 출력부(120)는 제 1 보정영상 출력부(121)와 제 2 보정영상 출력부(122)를 포함한다. 제 1, 제 2 보정영상 출력부(121, 122)는 입체 영상 보정부(110)를 통하여 칼라보정, 렌즈왜곡 보정, 시차왜곡 보정이 이루어진 제 1, 제 2 보정 영상을 출력하는 기능을 수행한다.
이하, 입체 영상 보정부(110)에서의 각 보정 과정을 상세히 설명하기로 한다.
좌/우 카메라를 이용하여 획득한 스테레오 영상(입체 영상), 즉 제 1 영상(좌 영상)과 제 2 영상(우 영상)은 물리적으로 서로 다른 카메라와 서로 다른 위치, 및 서로 다른 각도에서 촬영되어 획득된 것이기 때문에, 제 1 영상과 제 2 영상은 칼라 비일치, 렌즈 왜곡, 시차(양안시차) 왜곡 등이 발생하게 된다. 따라서 입체 영상 보정부(110)는 상기와 같은 왜곡을 보정하여 왜곡이 보정된 제 1 영상과 제 2 영상을 생성하게 된다.
먼저, 제 1 영상 칼라 보정부(111)와 제 2 칼라 영상 보정부(115)에서의 칼라보정 과정을 상세히 설명하기로 한다.
제 1 영상과 제 2 영상은 물리적으로 서로 다른 카메라와 서로 다른 위치에서 획득된 영상이기 때문에 카메라에 입사되는 광량 및 빛의 성분 분포가 서로 다르게 되고, 이로 인하여 제 1 영상과 제 2 영상은 서로 다른 칼라 분포를 갖게 된다.
따라서, 서로 다른 칼라 분포의 특성을 갖는 제 1 영상과 제 2 영상을 이용하여 3차원 영상을 관찰할 경우, 인간은 쉽게 피로감을 느끼게 되고, 또한 어색함을 느끼게 된다.
이를 해결하기 위하여 제 1 영상 칼라 보정부(111) 및 제 2 영상 칼라 보정부(115)는 히스토그램 매칭 등의 칼라 보정 알고리즘을 이용하여 제 1 영상과 제 2 영상 간의 칼라 분포를 동일하게 만든다. 여기서, 제 1 영상과 제 2 영상의 칼라 분포를 동일하게 하는 방법에는 제 1 영상을 기준으로 제 2 영상의 칼라분포를 보정하는 방식과 제 2 영상을 기준으로 제 1 영상의 칼라분포를 보정하는 방식이 있다.
상기와 같은 과정을 통하여 칼라 분포가 동일하게 보정된 각각의 제 1 영상과 제 2 영상은 카메라 렌즈로 인한 왜곡을 보정하기 위하여 제 1 렌즈 왜곡 보정부(112) 및 제 2 렌즈 왜곡 보정부(116)로 입력된다.
다음은, 제 1 렌즈 왜곡 보정부(112)와 제 2 렌즈 왜곡 보정부(116)에서의 렌즈 왜곡 과정을 상세히 설명하기로 한다.
카메라를 이용하여 근접거리의 객체(Object) 또는 원거리의 객체에 대한 영상을 획득하게 되는데, 이 때 망원렌즈(telephoto lens) 또는 어안렌즈 등을 이용한다. 이와 같은 렌즈를 이용하여 영상을 획득할 경우, 렌즈에 의한 배럴 왜곡(Barrel Distortion) 또는 핀쿠션 왜곡(Pincushion Distortion)이 발생하게 된다(도 3a 참조).
도 3a와 같이 왜곡된 3차원 영상을 관찰할 경우, 관찰자는 왜곡된 영상을 보게 되고, 이로 인하여 시각피로도 증가하게 된다. 따라서 본 발명에서는 제 1 렌즈 왜곡 보정부(112)와 제 2 렌즈 왜곡 보정부(116)를 통하여 상기와 같은 왜곡을 보정하게 된다.
다음의 [수학식 1]은 배럴 왜곡(Barrel Distortion) 모델을 나타낸다.
Figure 112005024262836-pat00001
여기서,
Figure 112005024262836-pat00002
는 복원된 영상에서 중앙으로부터 임의의 포인트까지의 거리를 의미하고,
Figure 112005024262836-pat00003
는 왜곡된 영상에서 중앙으로부터 임의의 포인트까지의 거리를 의미한다. 그리고
Figure 112005024262836-pat00004
는 렌즈의 왜곡 파라미터이다.
따라서 입력부(100)로부터 받은 카메라 정보를 이용하여 렌즈의 왜곡 파라미 터(k)를 산출한 뒤, 이를 룩업(Look-up) 테이블에 저장한다.
그리고 제 1 렌즈 왜곡 보정부(112)와 제 2 렌즈 왜곡 보정부(116)는 카메라 파라미터 테이블의 렌즈의 왜곡 파라미터(k)를 이용하여 렌즈 왜곡을 보정하게 된다.
상기와 같은 방법으로 배럴 왜곡(Barrel Distortion) 및 핀쿠션 왜곡(Pincushion Distortion)이 보정된 제 1 영상 및 제 2 영상은 제 1 시차 왜곡 보정부(113)와 제 2 시차 왜곡 보정부(117)에 입력된다.
다음은 제 1 시차 왜곡 보정부(113)와 제 2 시차 왜곡 보정부(117)에서의 시차 왜곡 보정을 상세히 설명하면, 다음과 같다.
제 1 영상과 제 2 영상은 서로 다른 위치 및 서로 다른 각도에서 획득되기 때문에 시차 왜곡을 갖게 된다(도 5 참조).
렌즈 왜곡이 없는 카메라를 이용하여 교차축 방식으로 입체 영상을 획득할 경우, 주시각 포인트가 거리 D만큼 떨어진 동일한 면에 위치하지 않게 된다(도 5 참조). 즉, 3차원 영상을 획득할 때 거리 D에 있는 객체의 영상을 획득할 경우, 주시각 포인트의 거리에서의 양안차(Disparity)가 비선형으로 분포하게 된다. 주시각 포인트에서의 양안차(Disparity) 분포가 다르다는 의미는 동일 면에서의 깊이 감이 다르다는 것을 의미한다.
따라서, 모든 광 경로에서 주시각 포인트가 거리 D에 위치하도록(도 6 참조) 시차왜곡을 보정할 필요가 있게 된다. 즉, 시각 피로가 적고 안정된 3차원 영상을 획득하기 위해서는, 시차 왜곡을 보정해야 한다.
도 5에 도시된 바와 같은 양안차 오차(DE: Disparity error)는 다음의 [수학식 2]와 같이 나타낼 수 있다.
Figure 112005024262836-pat00005
여기서, D는 카메라와 주시각 포인트까지의 거리, FOV(Field of View)는 카메라의 FOV,
Figure 112005024262836-pat00006
는 카메라의 회전 각도, B는 스테레오 카메라에서의 카메라 간 거리(base line)를 나타낸다.
따라서, [수학식 2]로부터, FOV 및 B가 커짐에 따라 양안차 오차(Disparity error)가 증가하여 시차(Parallax) 왜곡이 증가함을 알 수 있으며, 이는 도 7에 나타낸 바와 같다.
이러한 시차 왜곡은, 다음의 [수학식 3]과 [수학식 4]를 통하여 계산된 시차왜곡 보정 파라미터(시차 오차)만큼 보간(interpolation)함으로써 보정될 수 있다. 즉, [수학식 3]과 [수학식 4]를 이용하여 시차왜곡 보정 파라미터(시차 오차)를 계산하고, 그 계산된 시차왜곡 보정 파라미터(시차 오차)만큼을 보간함으로써 시차 왜곡을 보정할 수 있게 된다.
Figure 112005024262836-pat00007
Figure 112005024262836-pat00008
여기서,
Figure 112005024262836-pat00009
,
Figure 112005024262836-pat00010
은 시차왜곡 보정 파라미터로서 시차 오차를 의미한다. 즉, 좌측 카메라로부터 획득된 영상(좌 영상)일 경우, [수학식 3]의
Figure 112005024262836-pat00011
는 영상을 중심으로 카메라가 있는 방향의 영상 영역(영상의 가운데를 중심으로 좌측영역) 내에서의 보정을 위한 픽셀 이동 수치를 나타내고, [수학식 4]의
Figure 112005024262836-pat00012
은 영상을 중심으로 카메라의 반대방향의 영상 영역(영상의 가운데를 중심으로 우측영역) 내에서의 보정을 위한 픽셀 이동 수치를 나타낸다. 그리고
Figure 112005024262836-pat00013
는 보정되어야 할 위치,
Figure 112005024262836-pat00014
는 카메라와 객체간의 거리,
Figure 112005024262836-pat00015
는 카메라간의 거리의 반을 나타낸다.
만약, 우측 카메라로부터 획득된 영상(우 영상)의 경우에는, [수학식 3]의
Figure 112005024262836-pat00016
는 영상의 가운데를 중심으로 우측영역 내에서의 보정을 위한 픽셀 이동 수치를 나타내고, [수학식 4]의
Figure 112005024262836-pat00017
은 영상의 가운데를 중심으로 좌측영역 내에서의 보정을 위한 픽셀 이동 수치를 나타낸다.
상기
Figure 112005024262836-pat00018
및
Figure 112005024262836-pat00019
에 대한 시차 왜곡의 분포는 도 8에 도시된 바와 같다.
도 2 는 본 발명에 따른 스테레오 카메라의 영상왜곡 보정 장치의 제 2실시예 구성도이다.
도 1에 도시된 바와 같은 스테레오 카메라의 영상왜곡 보정 장치(제 1 실시예)는 제 1 영상과 제 2 영상을 각각 개별적으로 보정하는 방식을 사용한다. 이렇게 개별적으로 보정된 제 1 영상과 제 2 영상은 다중화를 통하여 다양한 3차원 영상이 될 것이다.
한편, 도 2에 도시된 바와 같은 스테레오 카메라의 영상왜곡 보정 장치(제 2 실시예)는 도 2에 도시된 바와 같이, 입력부(200), 입체 영상 보정부(210), 및 출력부(220)를 포함하여 이루어지는 것으로서, 미리 제 1 영상(좌 영상)과 제 2 영상(우 영상)을 다중화하여 하나의 3차원 영상을 생성한 후에 보정을 하는 방식을 사용하는 것이다.
먼저, 입력부(200)를 상세히 설명하면, 다음과 같다.
입력부(200)는 카메라로부터 획득된 제 1 영상을 입력받는 제 1 영상 입력부(201), 카메라로부터 획득된 제 2 영상을 입력받는 제 2 영상 입력부(202), 외부(예를 들면, 카메라 또는 사용자 등)로부터 카메라의 정보를 입력받는 카메라정보 입력부(203), 및 제 1 영상과 제 2 영상을 Side-by-Side, 또는 Top-Down, Field- by-Field 등의 3차원 영상 포맷에 따라 다중화하여 하나의 3차원 영상을 생성하는 3차원영상 다중화부(204)를 포함하여 이루어진다.
다음은, 입체 영상 보정부(210)에 대하여 설명하기로 한다.
입체 영상 보정부(210)는 영상 칼라 보정부(211), 렌즈 왜곡 보정부(212), 시차 왜곡 보정부(213), 및 카메라파라미터 테이블 생성/저장부(214)를 포함한다.
영상 칼라 보정부(211)는 3차원영상 다중화부(204)에서 다중화된 3차원 영상 내의 제 1 영상과 제 2 영상(좌/우 영상) 간의 칼라 분포가 동일하게 되도록 칼라 보정을 한다.
그러면, 렌즈 왜곡 보정부(212)는 카메라파라미터 룩업 테이블을 이용하여, 칼라 보정된 3차원 영상의 배럴 왜곡(Barrel Distortion)과 핀쿠션 왜곡(Pincushion Distortion)을 보정한다
이후, 시차 왜곡 보정부(213)는 카메라파라미터 룩업 테이블을 이용하여, 렌즈 왜곡이 보정된 3차원 영상에서 카메라의 FOV에 따른 시차 왜곡을 보정한다.
한편, 카메라 파라미터 생성/저장부(214)는 카메라정보 입력부(203)로부터 카메라 정보를 입력받아, 이로부터 렌즈 왜곡의 보정에 필요한 파라미터를 생성(산출)하여 룩업(look-up) 테이블로 저장한다. 이에 대해서는 도 9에서 상세히 설명하기로 한다.
마지막으로, 출력부(220)는 입체 영상 보정부(210)에 의해 칼라보정, 렌즈왜곡 보정, 시차왜곡 보정이 이루어진 3차원 보정 영상을 출력하는 기능을 수행한다.
요컨대, 도 2에 도시된 바와 같은 제 2 실시예에 따른 영상왜곡 보정 장치에 서의 보정 방법은 기본적으로는 제 1 실시예에 따른 영상왜곡 보정 장치(도 1 참조)에서의 보정 방법과 같다. 즉, 제 2 실시예에서는 3차원 영상 내의 좌/우 영상을 식별하고, 그 식별된 좌/우 영상 각각에 대하여 보정을 하게 되는데, 그 보정 방법은 제 1 실시예에서와 동일하다. 다만, 제 2 실시예에 의하면, 시스템이 간단하고 메모리도 적게 차지하는 장점이 있다.
도 3a 는 배럴 왜곡(Barrel Distortion)에 대한 설명도이고, 도 3b 는 배럴 왜곡(Barrel Distortion)이 보정된 영상에 대한 설명도이다.
카메라를 이용하여 근접거리의 객체(Object) 또는 원거리의 객체에 대한 영상을 획득하게 되는데, 이 때 망원렌즈(telephoto lens) 또는 어안렌즈 등을 이용한다. 이와 같은 렌즈를 이용하여 영상을 획득할 경우, 도 3a에 도시된 바와 같은 렌즈에 의한 배럴 왜곡(Barrel Distortion) 또는 핀쿠션 왜곡(Pincushion Distortion)이 발생하게 된다 도 3a와 같이 왜곡된 3차원 영상을 관찰할 경우, 관찰자는 왜곡된 영상을 보게 되고, 이로 인하여 시각피로도 증가하게 된다
도 4 는 거리 D에 위치한 면 상에서의 I 간격마다의 광 경로에 대한 설명도이고, 도 5 는 거리 D에 위치한 면에서 스테레오 영상을 획득할 때의 광 경로에 대한 설명도이며, 도 6 은 거리 D에 위치한 면에서 스테레오 영상을 획득할 때 주시각 포인트가 동일한 면에 위치하도록 보정된 광 경로에 대한 설명도이다. 이하, 도 4 내지 도 6을 함께 설명하기로 한다.
도 4는 렌즈 왜곡이 없는 카메라를 이용하여 거리 D(카메라로부터 떨어진 거리)에 위치한 면에서 영상을 획득했을 때, 거리 D에 위치한 면 상에서의 I 간격마 다의 광 경로를 나타낸 것이다. 이는 렌즈의 수차 및 렌즈 왜곡을 보정한 것과 동일한 것임을 의미한다.
이러한 렌즈 왜곡이 없는 카메라를 이용하여 교차축 방식으로 입체 영상을 획득할 경우, 도 5에 도시된 바와 같이, 주시각 포인트가 거리 D만큼 떨어진 동일한 면에 위치하지 않게 된다. 즉, 3차원 영상을 획득할 때 거리 D에 있는 객체의 영상을 획득할 경우, 주시각 포인트의 거리에서의 양안차(Disparity)는 비선형으로 분포하게 된다. 이를 보정할 경우, 도 6에 도시된 바와 같이 모든 광 경로에서 주시각 포인트가 거리 D에 위치하게 된다.
도 7 은 시야각(FOV)에 따른 양안차 오차(Disparity Error)의 분포도로서, 카메라의 렌즈 초점 거리에 따라 시야각(FOV)이 달라짐을 나타내고, 또한 FOV가 커짐에 따라 양안차 오차(Disparity error)가 증가하여 시차(Parallax) 왜곡이 증가함을 나타낸다.
도 8 은 시차 왜곡 분포에 대한 설명도로서,
Figure 112005024262836-pat00020
및
Figure 112005024262836-pat00021
에 대한 시차 왜곡의 분포를 나타낸다([수학식 3]과 [수학식 4] 참조) . 도 8에서 x축(가로축)은 영상의 크기를 나타내고, y축(세로축)은 왜곡 정도를 나타낸다.
도 9 는 본 발명에 따른 카메라 파라미터 생성/저장부의 일실시예 구성도이다.
카메라 파라미터 생성/저장부(900)는 도 9에 도시된 바와 같이, 카메라 파라미터 생성부(901)와 카메라 파라미터 저장부(902)를 포함한다.
카메라 파라미터 생성부(901)는 카메라정보 입력부(103)가 외부로부터 입력받은 카메라 정보를 전달받고, 그 전달받은 카메라 정보와 사전에 입력된 CCD(Charge Coupled Device) 센서의 직경정보를 이용하여 카메라 파라미터를 생성한다. 그리고, 카메라 정보 등이 갱신된 경우에는 그에 따라 카메라 파라미터도 다시 생성한다. 여기서, 카메라 정보에는 카메라 렌즈의 초점거리(f: Lens focal length), 카메라의 회전각(θ: Camera rotation angle), 카메라와 주 객체간의 거리(Dv: Object Distance), 및 카메라 간의 거리(B: Base Line) 등이 포함된다.
보다 상세하게, 카메라 파라미터 생성부(901)는 초점 거리에 따른 렌즈의 왜곡 파라미터(k)를 미리 연산을 통해 생성하여 저장해 둔다. 즉, 카메라 파라미터 생성부(901)는 카메라의 CCD 직경 정보 및 초점 거리(f)를 이용하여 FOV를 산출하고, 그 산출된 FOV를 이용하여 렌즈왜곡 파라미터(k)를 산출하여 카메라 파라미터 저장부(902)에 저장한다.
한편, 카메라 파라미터 생성부(901)는 카메라와 주 객체간의 거리(Dv)와 카메라 간의 거리(B)를 이용하여 시차왜곡이 보정되어야 할 위치인 DC 를 산출한다. 그리고, 카메라와 주 객체간의 거리(Dv), 카메라 간의 거리(B), 및 산출된 DC 를 이용하여 시차왜곡 보정 파라미터인
Figure 112005024262836-pat00022
,
Figure 112005024262836-pat00023
를 산출한다.
한편, 카메라 파라미터 저장부(902)는 카메라 파라미터 생성부(901)에서 생성(산출)된 카메라 파라미터들을 룩업테이블(Look-Up Table)로 구성하여 저장한다. 따라서 카메라 렌즈에 의한 렌즈 왜곡 보정 및 시차 왜곡 보정을 할 때 이 룩업 (Look-up) 테이블만을 참조하여 고속으로 보정을 할 수 있게 된다.
상술한 바와 같은 본 발명의 방법은 프로그램으로 구현되어 컴퓨터로 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다. 이러한 과정은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있으므로 더 이상 상세히 설명하지 않기로 한다.
이상에서 설명한 본 발명은, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 있어 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하므로 전술한 실시예 및 첨부된 도면에 의해 한정되는 것이 아니다.
상기와 같은 본 발명은, 3차원 영상의 시차왜곡을 보정함으로써, 즉 일정거리에 있는 촬영 객체들의 양안차(Disparity) 분포를 균일하게 함으로써, 3차원 영상 관찰자로 하여금 시각 피로없이 편안하게 3차원 영상을 관찰할 수 있게 하는 효과가 있다.
또한, 본 발명에 따라 왜곡이 보정된 3차원 영상을 3차원 영상 디스플레이 등에 활용할 경우, 왜곡에 의해 중앙의 돌출감 및 칼라 비일치로 인한 어색함, 렌즈 왜곡에 의한 부자연스러운 3차원 입체 효과 등의 제거로 인한, 자연스럽고 시각 피로도 낮은 3차원 입체 영상을 제공하는 효과가 있다.

Claims (17)

  1. 스테레오 카메라의 영상 왜곡을 보정하는 장치에 있어서,
    상기 스테레오 카메라에 의하여 획득된 좌/우 영상과 카메라 정보를 입력받기 위한 입력 수단;
    상기 카메라 정보로부터 상기 좌/우 영상 간의 시차오차를 나타내는 시차왜곡 보정 파라미터를 산출하여 저장하기 위한 카메라 파라미터 생성/저장 수단; 및
    상기 좌/우 영상간의 시차 왜곡을 제거하기 위하여, 상기 시차왜곡 보정 파라미터를 이용하여 상기 좌/우 영상을 보정하기 위한 시차 왜곡 보정 수단
    을 포함하는 스테레오 카메라의 영상왜곡 보정 장치.
  2. 제 1 항에 있어서,
    상기 카메라 정보는,
    렌즈 초점거리(f), 카메라와 주 객체 간의 거리(Dv), 카메라 간 거리(B)를 포함하는 것을 특징으로 하는 스테레오 카메라의 영상왜곡 보정 장치.
  3. 제 1 항에 있어서,
    상기 좌/우 영상 간의 칼라분포를 일치시키기 위한 영상 칼라 보정 수단
    을 더 포함하는 스테레오 카메라의 영상왜곡 보정 장치.
  4. 제 3 항에 있어서,
    상기 영상 칼라 보정 수단은,
    상기 좌 영상과 상기 우 영상 중 어느 하나의 영상을 기준영상으로 하여, 나머지 영상의 칼라분포를 상기 기준영상의 칼라분포와 일치시키는 것을 특징으로 하는 스테레오 카메라의 영상왜곡 보정 장치.
  5. 제 1 항에 있어서,
    렌즈왜곡 파라미터를 이용하여, 상기 좌/우 영상 각각에 대하여 렌즈 왜곡을 보정하기 위한 렌즈 왜곡 보정 수단을 더 포함하되,
    상기 렌즈왜곡 파라미터는,
    상기 카메라 파라미터 생성/저장 수단이 상기 카메라 정보로부터 산출하여 저장하는 것을 특징으로 하는 스테레오 카메라의 영상왜곡 보정 장치.
  6. 제 5 항에 있어서,
    상기 렌즈왜곡 파라미터는,
    상기 스테레오 카메라의 CCD 직경과 렌즈 초점거리에 따라 산출된 시야각(FOV)을 이용하여 산출하는 것을 특징으로 하는 스테레오 카메라의 영상왜곡 보정 장치.
  7. 제 1 항 내지 제 6 항 중 어느 한 항에 있어서,
    상기 카메라 파라미터 생성/저장 수단은,
    카메라와 주 객체 간의 거리(Dv)와 카메라 간의 거리(B)를 이용하여 시차왜곡이 보정되어야 할 위치(DC )를 산출한 후; 상기 카메라와 주 객체 간의 거리(Dv), 상기 카메라 간의 거리(B), 및 상기 보정 위치(DC )를 이용하여 시차왜곡 보정 파라미터를 산출하여 저장하고 갱신하는 것을 특징으로 하는 스테레오 카메라의 영상왜곡 보정 장치.
  8. 제 7 항에 있어서,
    상기 시차왜곡 보정 파라미터는,
    상기 좌 영상에 대해서는, 아래의 [수학식 1]에 의해 산출된 상기 좌영상의 좌측영역의 보정을 위한 픽셀 이동 수치(Pmove_P)와 아래의 [수학식 2]에 의하여 산출 된 상기 좌영상의 우측영역의 보정을 위한 픽셀 이동 수치(Pmove_N)를 포함하고;
    상기 우 영상에 대해서는, 아래의 [수학식 1]에 의해 산출된 상기 우 영상의 우측영역의 보정을 위한 픽셀 이동 수치(Pmove_P)와 아래의 [수학식 2]에 의하여 산출된 상기 우 영상의 좌측영역의 보정을 위한 픽셀 이동 수치(Pmove_N)를 포함하는 것을 특징으로 하는 스테레오 카메라의 영상왜곡 보정 장치.
    [수학식 1]
    Figure 112005024262836-pat00024
    [수학식 2]
    Figure 112005024262836-pat00025
  9. 제 8 항에 있어서,
    상기 시차 왜곡 보정 수단은,
    상기 좌/우 영상 각각에 대하여 개별적으로 상기 시차왜곡 보정 파라미터값만큼 보간함으로써 시차왜곡을 보정하는 것을 특징으로 하는 스테레오 카메라의 영 상왜곡 보정 장치.
  10. 제 3 항 또는 제 5 항에 있어서,
    상기 입력 수단이 입력받은 좌/우 영상을 3차원 영상 포맷에 따라 다중화하여 하나의 3 차원 영상을 생성하기 위한 3차원 영상 다중화 수단을 더 포함하고;
    상기 시차 왜곡 보정 수단, 상기 영상 칼라 보정 수단, 또는 상기 렌즈 왜곡 보정 수단은, 상기 3차원 영상 내의 좌/우 영상을 식별하여 좌/우 영상 각각에 대하여 해당 보정 과정을 수행하는 것을 특징으로 하는 스테레오 카메라의 영상왜곡 보정 장치.
  11. 스테레오 카메라의 영상 왜곡을 보정하는 방법에 있어서,
    상기 스테레오 카메라에 의하여 획득된 좌/우 영상과 카메라 정보를 입력받는 입력 단계;
    상기 카메라 정보로부터 상기 좌/우 영상 간의 시차오차를 나타내는 시차왜곡 보정 파라미터를 산출하는 시차왜곡 보정 파라미터 산출 단계; 및
    소정의 거리에 있는 객체들의 양안차(Disparaty) 분포가 균일하게 되도록, 상기 시차왜곡 보정 파라미터를 이용하여 상기 좌/우 영상을 보정하는 시차왜곡 보정 단계
    를 포함하는 스테레오 카메라의 영상왜곡 보정 방법.
  12. 제 11 항에 있어서,
    상기 좌/우 영상 간의 칼라분포를 일치시키는 영상 칼라 보정 단계
    를 더 포함하는 스테레오 카메라의 영상왜곡 보정 방법.
  13. 제 11 항에 있어서,
    상기 카메라 정보로부터 렌즈왜곡 파라미터를 산출하는 렌즈왜곡 파라미터 산출 단계; 및
    상기 렌즈왜곡 파라미터를 이용하여, 상기 좌/우 영상 각각에 대하여 렌즈 왜곡을 보정하는 렌즈왜곡 보정 단계
    를 더 포함하는 스테레오 카메라의 영상왜곡 보정 방법.
  14. 제 11 항 내지 제 13 항 중 어느 한 항에 있어서,
    상기 시차왜곡 보정 파라미터 산출 단계는,
    카메라와 주 객체 간의 거리(Dv) 및 카메라 간의 거리(B)를 이용하여 시차왜곡이 보정되어야 할 위치(DC )를 산출하는 보정위치 산출 단계; 및
    상기 카메라와 주 객체 간의 거리(Dv), 상기 카메라 간의 거리(B), 및 상기 보정 위치(DC )를 이용하여 시차왜곡 보정 파라미터를 산출하는 보정 파라미터 산출 단계
    를 포함하는 스테레오 카메라의 영상왜곡 보정 방법.
  15. 제 14 항에 있어서,
    상기 보정 파라미터 산출 단계는,
    상기 좌 영상에 대해서는, 아래의 [수학식 3] 및 [수학식 4]를 이용하여 상기 좌영상의 좌측영역의 보정을 위한 픽셀 이동 수치(Pmove_P) 및 상기 좌영상의 우측영역의 보정을 위한 픽셀 이동 수치(Pmove_N)를 산출하는 단계; 및
    상기 우 영상에 대해서는, 아래의 [수학식 3] 및 [수학식 4]를 이용하여 상기 우 영상의 우측영역의 보정을 위한 픽셀 이동 수치(Pmove_P) 및 상기 우 영상의 좌측영역의 보정을 위한 픽셀 이동 수치(Pmove_N)를 산출하는 단계
    를 포함하는 스테레오 카메라의 영상왜곡 보정 방법.
    [수학식 3]
    Figure 112007024979293-pat00026
    [수학식 4]
    Figure 112007024979293-pat00027
  16. 제 15 항에 있어서,
    상기 시차 왜곡 보정 단계는,
    상기 좌/우 영상 각각에 대하여 상기 픽셀 이동 수치(Pmove_N, Pmove_P)만큼 보간함으로써 시차왜곡을 보정하는 것을 특징으로 하는 스테레오 카메라의 영상왜곡 보정 방법.
  17. 제 12 항 또는 제 13 항에 있어서,
    상기 입력 단계에서 입력받은 좌/우 영상을 3차원 영상 포맷에 따라 다중화하여 하나의 3 차원 영상을 생성하는 3차원 영상 다중화 단계를 더 포함하고;
    상기 시차 왜곡 보정 단계, 상기 영상 칼라 보정 단계, 또는 상기 렌즈왜곡 보정 단계는, 상기 3차원 영상 내의 좌/우 영상을 식별한 후 상기 식별된 좌/우 영상 각각에 대하여 해당 보정 과정을 수행하는 것을 특징으로 하는 스테레오 카메라의 영상왜곡 보정 방법.
KR1020050038568A 2004-12-06 2005-05-09 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법 KR100770019B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2007545366A JP4995092B2 (ja) 2004-12-06 2005-12-06 ステレオカメラの画像の歪み補正装置、及びその方法
PCT/KR2005/004140 WO2006062325A1 (en) 2004-12-06 2005-12-06 Apparatus for correcting image distortion of stereo-camera and method thereof

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20040101775 2004-12-06
KR1020040101775 2004-12-06

Publications (2)

Publication Number Publication Date
KR20060063575A KR20060063575A (ko) 2006-06-12
KR100770019B1 true KR100770019B1 (ko) 2007-10-25

Family

ID=37159549

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020050038568A KR100770019B1 (ko) 2004-12-06 2005-05-09 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법

Country Status (2)

Country Link
JP (1) JP4995092B2 (ko)
KR (1) KR100770019B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375337B2 (en) 2015-09-25 2019-08-06 Samsung Electronics Co., Ltd. Method controlling image sensor parameters
KR20210080646A (ko) * 2019-12-20 2021-07-01 (주)제이에스씨스템 궤적 리플레이 장치 및 이의 당구 코칭 방법
KR102360522B1 (ko) 2021-03-04 2022-02-08 한남대학교 산학협력단 시차현상을 활용한 3차원 공간정보 획득 시스템

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
JP5348687B2 (ja) * 2009-04-17 2013-11-20 Ｎｅｃカシオモバイルコミュニケーションズ株式会社 端末装置及びプログラム
JP5297899B2 (ja) * 2009-06-01 2013-09-25 株式会社エヌエイチケイメディアテクノロジー 立体映像調整装置、立体映像調整システム、及びプログラム
CN102113013A (zh) * 2009-07-22 2011-06-29 松下电器产业株式会社 视差检测装置、测距装置及视差检测方法
JP2011049733A (ja) * 2009-08-26 2011-03-10 Clarion Co Ltd カメラキャリブレーション装置および映像歪み補正装置
JP5481337B2 (ja) * 2010-09-24 2014-04-23 株式会社東芝 画像処理装置
JP5742179B2 (ja) * 2010-11-05 2015-07-01 ソニー株式会社 撮像装置、画像処理装置、および画像処理方法、並びにプログラム
WO2012066768A1 (ja) * 2010-11-19 2012-05-24 パナソニック株式会社 ステレオ画像生成装置及びステレオ画像生成方法
KR20140023953A (ko) * 2011-03-30 2014-02-27 가부시키가이샤 니콘 화상 처리 장치, 촬상 장치 및 화상 처리 프로그램
KR101276208B1 (ko) * 2011-05-30 2013-06-18 전자부품연구원 스테레오 카메라용 보정 시스템 및 스테레오 영상 보정 장치
KR101316196B1 (ko) 2011-12-23 2013-10-08 연세대학교 산학협력단 입체 영상 화질 향상 장치 및 방법과 이에 관한 기록매체
EP2804369A4 (en) * 2012-01-10 2016-03-09 Konica Minolta Inc IMAGE PROCESSING, PICTURE PROCESSING DEVICE AND PICTURE PROCESSING PROGRAM
KR101373471B1 (ko) * 2012-10-15 2014-03-13 세종대학교산학협력단 스테레오 영상 보정 장치 및 그 방법
KR101558805B1 (ko) 2014-09-03 2015-10-07 현대자동차주식회사 스테레오 매칭용 보간 계수 보정 장치
KR102620873B1 (ko) * 2020-11-27 2024-01-05 한국과학기술원 영상 스티칭 방법 및 이를 수행하는 장치

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960028194A (ko) * 1994-12-23 1996-07-22 양승택 신경망 회로를 이용한 카메라의 영상왜곡 보정방법
KR20040063656A (ko) * 2003-01-08 2004-07-14 엘지전자 주식회사 3차원 가상 스크린 기반 영상왜곡 보정장치

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0843055A (ja) * 1994-07-29 1996-02-16 Canon Inc ３次元物体形状認識方法及び装置
JPH08126034A (ja) * 1994-10-20 1996-05-17 Canon Inc 立体画像表示装置および方法
JP3147002B2 (ja) * 1996-09-26 2001-03-19 富士電機株式会社 距離検出値の補正方法
JP3284190B2 (ja) * 1998-05-14 2002-05-20 富士重工業株式会社 ステレオカメラの画像補正装置
JPH11341522A (ja) * 1998-05-22 1999-12-10 Fuji Photo Film Co Ltd 立体画像撮影装置
JP3261115B2 (ja) * 1999-09-22 2002-02-25 富士重工業株式会社 ステレオ画像処理装置
JP3263931B2 (ja) * 1999-09-22 2002-03-11 富士重工業株式会社 ステレオマッチング装置
JP2002250857A (ja) * 2001-02-26 2002-09-06 Olympus Optical Co Ltd 測距装置
JP2003329439A (ja) * 2002-05-15 2003-11-19 Honda Motor Co Ltd 距離検出装置
JP4397573B2 (ja) * 2002-10-02 2010-01-13 本田技研工業株式会社 画像処理装置
JP3728460B2 (ja) * 2003-05-15 2005-12-21 独立行政法人 宇宙航空研究開発機構 ステレオカメラの最適配置決定方法とそのシステム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR960028194A (ko) * 1994-12-23 1996-07-22 양승택 신경망 회로를 이용한 카메라의 영상왜곡 보정방법
KR20040063656A (ko) * 2003-01-08 2004-07-14 엘지전자 주식회사 3차원 가상 스크린 기반 영상왜곡 보정장치

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10375337B2 (en) 2015-09-25 2019-08-06 Samsung Electronics Co., Ltd. Method controlling image sensor parameters
US10868993B2 (en) 2015-09-25 2020-12-15 Samsung Electronics Co., Ltd. Method controlling image sensor parameters
US11184570B2 (en) 2015-09-25 2021-11-23 Samsung Electronics Co., Ltd. Method controlling image sensor parameters
US11699218B2 (en) 2015-09-25 2023-07-11 Samsung Electronics Co., Ltd. Method controlling image sensor parameters
KR20210080646A (ko) * 2019-12-20 2021-07-01 (주)제이에스씨스템 궤적 리플레이 장치 및 이의 당구 코칭 방법
KR102294082B1 (ko) 2019-12-20 2021-08-27 (주)제이에스씨스템 궤적 리플레이 장치 및 이의 당구 코칭 방법
KR102360522B1 (ko) 2021-03-04 2022-02-08 한남대학교 산학협력단 시차현상을 활용한 3차원 공간정보 획득 시스템

Also Published As

Publication number Publication date
KR20060063575A (ko) 2006-06-12
JP4995092B2 (ja) 2012-08-08
JP2008524673A (ja) 2008-07-10

Similar Documents

Publication Publication Date Title
KR100770019B1 (ko) 스테레오 카메라의 영상왜곡 보정 장치 및 그 방법
US7557824B2 (en) Method and apparatus for generating a stereoscopic image
EP2357841B1 (en) Method and apparatus for processing three-dimensional images
US8116557B2 (en) 3D image processing apparatus and method
WO2006062325A1 (en) Apparatus for correcting image distortion of stereo-camera and method thereof
EP2532166B1 (en) Method, apparatus and computer program for selecting a stereoscopic imaging viewpoint pair
US20150358539A1 (en) Mobile Virtual Reality Camera, Method, And System
KR20110124473A (ko) 다중시점 영상을 위한 3차원 영상 생성 장치 및 방법
KR100456952B1 (ko) 입체 컴퓨터 그래픽스 동화상 발생 장치
EP1089573A2 (en) Method of producing a stereoscopic image
US20110157319A1 (en) Method and apparatus for processing three-dimensional images
US9443338B2 (en) Techniques for producing baseline stereo parameters for stereoscopic computer animation
US9571824B2 (en) Stereoscopic image display device and displaying method thereof
KR20120030005A (ko) 화상 처리 장치 및 방법과 입체 화상 표시 장치
CN107209949B (zh) 用于产生放大3d图像的方法和系统
KR100439341B1 (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
KR100751290B1 (ko) 헤드 마운티드 디스플레이용 영상 시스템
JP6113411B2 (ja) 画像処理装置
KR100952045B1 (ko) 왜곡 없는 3차원 영상을 표시하기 위한 장치 및 방법
JP3054312B2 (ja) 画像処理装置及び方法
JP2012134885A (ja) 画像処理装置及び画像処理方法
JP2012227798A (ja) 立体視画像生成方法および立体視画像生成システム
KR20040018858A (ko) 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
WO2012063540A1 (ja) 仮想視点画像生成装置
JP2022550168A (ja) 画像コンテンツを処理するための方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121011

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20130923

Year of fee payment: 7

LAPS Lapse due to unpaid annual fee