KR102113285B1

KR102113285B1 - 평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치

Info

Publication number: KR102113285B1
Application number: KR1020180090038A
Authority: KR
Inventors: 정승호; 신호철; 김창회; 최유락; 류동석; 한종희
Original assignee: 한국원자력연구원
Priority date: 2018-08-01
Filing date: 2018-08-01
Publication date: 2020-05-20
Also published as: KR20200014631A; US11902492B2; EP3833018A1; EP3833018B1; EP3833018A4; US20210314542A1; WO2020027605A1

Abstract

개시된 영상처리 장치에서 수행되는 영상처리 방법은, 평행축 방식의 양안 카메라를 이용한 입체영상 시스템에서 근거리 물체에 대하여 입체감을 느끼도록 양안영상을 처리하는 영상처리 방법으로서, 양안 카메라로 촬영한 양안 영상(좌측 영상 및 우측 영상)을 해당 카메라의 좌표계 원점을 중심으로 회전시킨 카메라로 촬영한 영상인 것처럼 변환시킴으로써 수직 시차를 제거하기 위한 수직 시차 제거용 회전행렬을 계산하는 단계, 좌측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬 및 우측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬을 계산하는 단계, 양안 카메라의 렌즈 특성을 나타내는 각 카메라 특성행렬, 수직 시차 제거용 회전행렬 및 수평 시차 조정용 회전행렬들을 기초로, 양안 영상에 대한 기하학적 변환행렬을 계산하는 단계, 계산된 기하학적 변환행렬에 기초하여, 양안 카메라로 촬영한 양안 영상에 대하여 영상 워핑을 수행함으로써 수직 시차가 제거됨과 동시에 수평 시차도 조정된 새로운 양안 영상을 생성하는 단계를 포함한다.

Description

평행축 방식의 양안 카메라 시스템에서 근거리 물체의 입체영상을 위한 영상처리 방법 및 장치{IMAGE PROCESSING METHOD AND APPARATUS OF PARALLEL AXIS TYPED STEREO CAMERA SYSTEM FOR 3D-VISION OF NEAR OBJECTS}

본 발명은 입체영상을 위한 양안영상(stereo image) 영상처리 방법 및 장치에 관한 것으로, 더욱 상세하게는 평행축(parallel axis) 방식의 양안 카메라(stereo camera)로부터 비교적 근거리(15∼50cm)에 위치한 물체를 양안 카메라로 촬영하여 탁상형 입체용 모니터 또는 헤드 마운트 디스플레이(head mount display) 등의 입체용 디스플레이(3D-display) 장치에 보여줌에 있어, 촬영된 양안 영상(stereo image)을 보는 사람이 편안하게 3차원 입체감을 느낄 수 있도록 영상 처리하는 방법 및 장치에 관한 것이다.

주지하고 있는 바와 같이, 3차원 영상을 위한 소스 영상을 촬영하는 양안 카메라는 카메라 배치 방식 및 구조에 따라 평행축(parallel) 방식, 교차축(toed-in) 방식, 그리고 수평 이동축(horizontal moving axis) 방식으로 구분된다.

평행축 방식은 두 대의 카메라를 일정 거리의 간격을 두고 광축방향(카메라가 바라보는 방향)이 평행이 되도록 고정 배치하는 방식이며, 카메라를 이동시키거나 회전시키는 부가적 장치가 필요 없기 때문에 구조가 간단하다. 평행축 방식에서 두 대의 카메라의 거리는 통상적으로 사람 두 눈의 평균거리인 6.5cm 간격으로 한다. 이러한 평행축 방식의 양안 카메라는 중/장거리용으로 접합하며, 근거리의 물체에 대해서는 수평 양안 시차(horizontal binocular parallax)가 크게 나타나는 경향이 있다. 여기서 양안 시차란 양안 카메라로 촬영된 양안 영상에서 공간상의 한 점에 대한 좌측 영상에서의 영상점의 위치와 우측 영상에서의 영상점의 위치의 차를 말하는 것이며, 영상의 세로방향 성분을 수직 시차라 하고, 영상의 가로방향 성분을 수평 시차라고 한다.

교차축 방식은 카메라의 광축방향을 회전시킬 수 있는 구조로 관측 물체의 거리 변화에 따라 카메라의 광축을 회전시켜 가급적 물체의 상이 좌우 영상의 중심에 촬영되도록 할 수 있는 방식이다. 이 방식은 입체감이 풍부하다는 장점이 있으나, 두 카메라의 교차각이 비교적 큰 경우에 촬영된 영상에서 키스톤 왜곡(keystone distortion, 영상이 사다리꼴 형태로 왜곡되는 현상)이 발생할 가능성이 높다. 여기서 입체감이 풍부하다는 의미는 촬영된 양안 영상을 입체용 디스플레이 장치를 통하여 볼 때에 비교적 아주 가깝게 근접한 물체들에 대해서도 입체감이 확실히 느껴진다는 의미이다.

수평 이동축 방식은 두 개의 카메라를 평행축 방식처럼 배치하되, 카메라의 수평간격을 조절할 수 있도록 하거나, 또는 카메라는 고정시키고 카메라 내부의 영상센서를 수평으로 이동시킬 수 있는 방식이다. 이 방식은 영상에 키스톤 왜곡이 발생하지는 않으나 교차축 방식보다는 입체감이 다소 떨어진다.

교차축 방식과 수평 이동축 방식은 필요시에 두 카메라를 회전시키거나 이동시킬 수는 있지만, 그렇게 하기 위한 부가적 장치가 필요하기 때문에 크기가 커지므로 소형화시키기가 어려우며, 제작비용이 상승된다.

따라서 일반적으로 평행축 방식의 양안 카메라가 많이 사용된다.

원칙적으로 평행축 방식의 양안 카메라 시스템에서 두 개의 카메라는 회전이 없이 영상의 가로 방향으로 평행 이동의 관계가 되도록 두 개의 카메라가 배치되어야 하며, 이렇게 카메라를 배치함으로써 좌측 및 우측 영상에서의 에피폴라 라인(epipolar line)이 수평라인이 되어 양안 영상에서의 수직 시차가 발생하지 않는다. 그러나 현실적으로 두 개의 카메라를 회전 없이 영상의 가로 방향으로 평행 이동되도록 완벽하게 배치하기가 어려우며, 어느 정도의 카메라 배치 오차가 존재할 수밖에 없다.

양안 카메라로 촬영한 좌측 및 우측 영상들을 입체 디스플레이 장치에 보여주는 경우, 두 영상의 에피폴라 라인이 수평라인이 되지 않아서 좌측과 우측 영상 간의 수직 시차가 발생하면 사람이 느끼는 입체감이 저하되며, 더 나아가 피로감을 느낄 수 있다.

카메라 배치 오차는 평행축 방식뿐만 아니라 교차축 방식 및 수평 이동축 방식에서도 발생할 수 있으므로 양안 카메라 시스템에서는 카메라 배치 오차에 따라 발생하는 수직 시차를 제거할 수 있는 방안을 강구하여야 한다.

종래 기술에 의하면, 평행축 방식의 양안 카메라 시스템에서 촬영된 양안 영상들에 대해 양안 영상 정렬(stereo image rectification) 알고리즘을 통해 카메라 배치 오차를 제거하여 완벽한 평행축 방식의 양안 카메라가 되도록 함으로써 좌측과 우측 영상 간의 수직 시차를 제거하였다.

그러나 양안 영상 정렬 알고리즘은 수평 시차를 제거할 수는 있지만 수평 시차를 조절하거나 제거할 수 는 없다.

수평 시차를 조절하기 위한 방법으로 한국등록특허공보 제10-0597587호에서 제시한 방법이 있다. 한국등록특허공보 제10-0597587호는 평행축 방식의 양안 카메라에서 촬영한 영상의 주시각을 제어하기 위한 영상처리 알고리즘으로 수직방향과 수직방향으로 이동시킬 화소(pixel) 수를 계산하고, 계산된 화소 수만큼 수직방향과 수평방향으로 영상을 이동시킨 후에, 영상의 원래 크기로 확대시키는 영상처리 방법을 제시하였다. 즉 수직방향의 영상이동을 통해 수직 시차를 제거하였고, 수평방향으로의 영상이동을 통해 수평 시차를 줄여주는, 즉 주시각을 작게 만드는 방법이다.

그러나 한국등록특허공보 제10-0597587호에서 제안한 영상처리 방법은 평행축 방식의 양안 카메라 시스템에서 두 개의 카메라 배치 시에 발생하는 회전오차가 있는 경우에는 양안 영상에서 수직 시차를 제거할 수가 없으며, 단지 회전오차 없이 위치오차만 있는 경우에만 수직 시차를 제거할 수 있다.

아울러, 사람이 눈의 피로감 없이 물체를 볼 수 있는 최단거리인 근점(近點, 명시거리(visual range)라고도 함)이 사람마다 다름에도 불구하고 이에 대한 고려가 없었기에, 입체용 디스플레이 장치를 통해 3차원 영상을 보는 사람의 근점 차이에 따라 물체를 또렷하게 볼 수 없거나 피로감을 느끼는 문제점이 있었다.

일 실시예에 따르면, 양안 카메라에 의해 촬영된 양안 영상을 입력받아 수직 시차 및 수평 시차를 조정하여 출력하는 영상처리 방법 및 장치를 제공한다.

제 1 관점에 따르면, 평행축(parallel) 방식의 양안 카메라(stereo camera)를 이용한 입체영상 시스템에서 근거리 물체에 대하여 입체감을 느끼도록 양안영상을 처리하는 영상처리 방법은: (i) 상기 양안 카메라로 촬영한 양안 영상(좌측 영상 및 우측 영상)을 해당 카메라의 좌표계 원점을 중심으로 회전시킨 카메라로 촬영한 영상인 것처럼 변환시킴으로써 수직 시차를 제거하기 위한 수직 시차 제거용 회전행렬을 계산하는 단계; (ii) 상기 좌측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬 및 상기 우측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬을 계산하는 단계; (iii) 상기 양안 카메라의 렌즈 특성을 나타내는 각 카메라 특성행렬, 상기 수직 시차 제거용 회전행렬 및 상기 수평 시차 조정용 회전행렬들을 기초로, 양안 영상에 대한 기하학적 변환행렬을 계산하는 단계; (iv) 상기 계산된 기하학적 변환행렬에 기초하여, 상기 양안 카메라로 촬영한 양안 영상에 대하여 영상 워핑을 수행함으로써 수직 시차가 제거됨과 동시에 수평 시차도 조정된 새로운 양안 영상을 생성하는 단계를 포함한다.

제 2 관점에 따르면, 평행축 방식의 양안 카메라를 이용한 입체영상 시스템에서 근거리 물체에 대하여 입체감을 느끼도록 양안 영상을 처리하는 영상처리 방법은: (i) 양안 카메라로 촬영한 양안 영상 중 좌측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬 및 상기 양안 영상 중 우측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬을 계산하는 단계; (ii) 상기 양안 카메라의 렌즈 특성을 나타내는 각 카메라 특성행렬 및 상기 수평 시차 조정용 회전행렬들을 기초로, 상기 양안 영상에 대한 기하학적 변환행렬을 계산하는 단계; (iii) 상기 계산된 기하학적 변환행렬에 기초하여, 상기 양안 카메라로 촬영한 양안 영상에 대하여 영상 워핑을 수행함으로써 수평 시차가 조정된 새로운 양안 영상을 생성하는 단계를 포함한다.

제 3 관점에 따르면, 평행축 방식의 양안 카메라를 이용한 입체영상 시스템에서 근거리 물체에 대하여 입체감을 느끼도록 양안영상을 처리하는 영상처리 장치는: 상기 양안 카메라에 의해 촬영된 양안 영상을 입력받는 입력부; 상기 양안 영상의 수직 시차 및 수평 시차를 조정하는 영상처리부; 상기 영상처리부에 의해 상기 수직 시차 및 상기 수평 시차가 조정된 양안 영상을 출력하는 출력부를 포함하고; 상기 영상처리부는, (i) 상기 양안 카메라로 촬영한 양안 영상(좌측 영상 및 우측 영상)을 해당 카메라의 좌표계 원점을 중심으로 회전시킨 카메라로 촬영한 영상인 것처럼 변환시킴으로써 수직 시차를 제거하기 위한 수직 시차 제거용 회전행렬을 계산하고; (ii) 상기 좌측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬 및 상기 우측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬을 계산하며; (iii) 상기 양안 카메라의 렌즈 특성을 나타내는 각 카메라 특성행렬, 상기 수직 시차 제거용 회전행렬 및 상기 수평 시차 조정용 회전행렬들을 기초로, 양안 영상에 대한 기하학적 변환행렬을 계산하고; (iv) 상기 계산된 기하학적 변환행렬에 기초하여, 상기 양안 카메라로 촬영한 양안 영상에 대하여 영상 워핑을 수행함으로써 수직 시차가 제거됨과 동시에 수평 시차도 조정된 새로운 양안 영상을 생성해서 상기 출력부에 제공한다.

일 실시예에 따르면, 양안 영상에 존재하는 수직 시차를 제거함과 아울러 수평 시차를 조정할 수 있다.

원격으로 조정되는 로봇으로 작업을 하는 경우와 같이 원격작업을 하는 경우에, 평행축 방식의 양안 카메라로 촬영된 양안 영상을 탁상형 입체용 모니터 또는 헤드 마운트 디스플레이 등의 입체용 디스플레이 장치를 통해 보여주어야 한다. 이 때 정교한 작업을 위해서는 양안 카메라를 대상 물체들에 비교적 가까이 배치하여야 한다.

본 발명의 일 실시예에 따르면 작업자가 입체용 디스플레이 장치를 보며 필요에 따라 실시간으로 조정할 수 있으므로, 사람마다 다른 눈의 근점(명시거리), 모니터의 크기나 모니터와의 거리 등에 관계없이 근거리 물체들에 대하여 편안하게 3차원 입체감을 느끼며 원격작업을 할 수 있다.

또한 일 실시예에 따르면 수직 시차를 제거하기 위한 영상 정렬 알고리즘 내에 수평 시차를 조절하는 알고리즘을 포함시킴으로서, 수평 시차를 조절을 위해 별도의 영상처리 시간이 증가하지 않으므로 카메라의 초당 프레임 수를 그대로 유지할 수가 있다.

또한 일 실시예에 따르면 수평 시차를 조절하기 위해 양안 영상을 주어진 각도로 회전시키는 영상처리 방법은 교차축 방식에서 카메라를 기구적으로 회전시키는 것과 유사한 효과를 내며, 따라서 교차축 방식에서와 같이 풍부한 입체감을 느낄 수 있다.

도 1은 본 발명의 일 실시예에 따른 영상처리 장치의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상처리 장치에서 수행되는 영상처리 방법을 설명하기 위한 흐름도이다.
도 3은 입체용 모니터에서 좌측 및 우측 영상점 위치에 따라 작업자가 느끼는 거리감의 차이를 나타낸 도면이다.
도 4는 카메라 좌표계와 그 카메라 좌표계 원점을 중심으로 회전된 카메라 좌표계의 영상면을 나타낸 도면이다.
도 5는 수평 시차 조정을 위해 회전된 양안 영상과 회전되기 전의 양안 영상의 관계를 나타낸 도면이다.
도 6은 평행축 방식의 양안 카메라로 촬영된 영상에 대한 종래 기술과 본 발명의 영상처리 결과물을 비교한 도면이다.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 다양한 형태로 구현될 수 있으며, 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명의 범주는 청구항에 의해 정의될 뿐이다.

본 발명의 실시예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명은 본 발명의 실시예들을 설명함에 있어 실제로 필요한 경우 외에는 생략될 것이다. 그리고 후술되는 용어들은 본 발명의 실시예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

이하, 도 1 내지 도 6을 참조하여 본 발명의 일 실시예에 따른 영상처리 장치(100)와 이러한 영상처리 장치(100)에서 수행되는 영상처리 방법에 대해 자세히 살펴보기로 한다.

도 1은 본 발명의 일 실시예에 따른 영상처리 장치의 구성도이다.

도 1에 나타낸 바와 같이 일 실시예에 따른 영상처리 장치(100)는 입력부(110), 영상처리부(120) 및 출력부(130)를 포함한다.

입력부(110)는 양안 카메라에 의해 촬영된 양안 영상을 입력받아 영상처리부(120)에 제공한다. 그리고, 입력부(110)는 양안 영상이 이용되어 디스플레이될 수 있는 입체 영상에 대한 작업자의 주시각(convergence)이 작업자의 근점의 위치에 대응하게 변경되도록 하는 각도값을 입력받아 영상처리부(120)에게 제공한다. 예를 들어, 일 실시예에 따른 영상처리 장치(100)는 주시각이 작업자의 근점의 위치에 대응하게 변경되도록 하는 각도값을 사전에 설정할 수도 있다.

영상처리부(120)는 양안 영상에 대한 영상처리를 통하여 수직 시차 및 수평 시차를 조정한다. 이러한 영상처리부(120)는 임의의 하나의 카메라에서 촬영한 양안 영상을 마치 카메라 좌표계 원점을 중심으로 회전된 카메라에서 촬영한 영상인 것처럼 변환하는 알고리즘을 이용해서 수직 시차를 조정하는 수직 시차 제거용 회전행렬을 계산한다. 그리고, 영상처리부(120)는 입력부(110)로부터 제공되는 각도값에 따라 양안 영상이 이용되어 디스플레이될 수 있는 입체 영상에 대한 주시각이 근점의 위치에 대응하게 변경되도록, 수직 시차가 제거된 후의 가상의 카메라 좌표계의 y축을 중심으로, 양안 카메라를 입력부(110)로부터 제공되는 각도값만큼 회전시켜 촬영한 영상인 것처럼 양안 영상을 변환시킴으로써 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬을 계산을 계산한다. 그리고, 영상처리부(120)는 양안 카메라의 렌즈 특성을 나타내는 카메라 특성행렬과 수직 시차 제거용 회전행렬 및 수평 시차 조정용 회전행렬을 반영하여 기하학적 변환행렬을 계산한다. 여기서, 카메라 특성행렬은 카메라 보정(camera calibration) 과정을 통해 구해지는 카메라-렌즈 조합에 대한 왜곡 계수를 포함하는 행렬이다. 또, 영상처리부(120)는 양안 영상에 대한 기하학적 변환행렬을 이용한 영상 워핑(image warping)을 통해 수직 시차 및 수평 시차가 조정된 양안 영상을 출력부(130)에게 제공한다.

출력부(130)는 영상처리부(120)에 의해 수직 시차 및 수평 시차가 조정된 양안 영상을 출력한다.

도 2는 본 발명의 일 실시예에 따른 영상처리 장치에서 수행되는 영상처리 방법을 설명하기 위한 흐름도이다.

도 2를 참조하면, 일 실시예에 따른 영상처리 방법은 양안 영상이 이용되어 디스플레이될 수 있는 입체 영상에 대한 작업자의 주시각이 작업자의 근점의 위치에 대응하게 변경되도록 하는 각도값을 입력받는 단계(S210)를 포함한다.

그리고, 일 실시예에 따른 영상처리 방법은 임의의 하나의 카메라에서 촬영한 양안 영상을 마치 카메라 좌표계 원점을 중심으로 회전된 카메라에서 촬영한 영상인 것처럼 변환하는 알고리즘을 이용해서 수직 시차를 제거하기 위한 수직 시차 제거용 회전행렬을 계산하는 단계(S220)를 더 포함한다.

아울러, 일 실시예에 따른 영상처리 방법은 입력받은 각도값에 따라 양안 영상이 이용되어 디스플레이될 수 있는 입체 영상에 대한 주시각이 근점의 위치에 대응하게 변경되도록, 수직 시차가 제거된 후의 가상의 카메라 좌표계의 y축을 중심으로, 양안 카메라를 입력받은 각도값만큼 회전시켜 촬영한 영상인 것처럼 양안 영상을 변환시킴으로써 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬을 계산을 계산하는 단계(S230)를 더 포함한다.

그리고, 일 실시예에 따른 영상처리 방법은 양안 카메라의 렌즈 특성을 나타내는 카메라 특성행렬과 수직 시차 제거용 회전행렬 및 수평 시차 조정용 회전행렬을 반영하여 기하학적 변환행렬을 계산하는 단계(S240)를 더 포함한다.

또, 일 실시예에 따른 영상처리 방법은 기하학적 변환행렬을 이용한 영상 워핑을 통해 수직 시차 및 수평 시차가 조정된 양안 영상을 출력하는 단계(S250)를 더 포함한다.

도 2에 예시한 일 실시예에 따른 영상처리 방법에서는 작업자의 주시각이 작업자의 근점의 위치에 대응하게 변경되도록 하는 각도값을 입력받는 단계(S210)를 수직 시차 제거용 회전행렬을 계산하는 단계(S220) 이전에 수행하는 것으로 예시하였으나, 수직 시차 제거용 회전행렬을 계산하는 단계(S220) 이후에 주시각 변경을 위한 각도값을 입력받는 단계(S210)를 수행할 수도 있다. 즉, 주시각 변경을 위한 각도값을 입력받는 단계(S210)는 수평 시차 조정용 회전행렬을 계산하는 단계(S230) 이전에 수행한다면 언제 수행하든 무방하다. 이하에서는 편의상, 작업자의 주시각이 작업자의 근점의 위치에 대응하게 변경되도록 하는 각도값을 입력받는 단계(S210)를 수직 시차 제거용 회전행렬을 계산하는 단계(S220) 이전에 수행하는 일 실시예에 대해 설명하기로 한다.

도 3은 양안 카메라에 의해 촬영된 양안 영상을 입체용 디스플레이 장치를 통해 볼 때에 입체용 디스플레이 장치를 통해 작업자가 느끼는 물체의 거리를 도식적으로 설명하기 위하여, 입체용 디스플레이 장치가 탁상형 입체용 모니터인 경우를 예시한 것이며, 수직 시차는 없다고 가정한 경우이다.

도 3에서 (a)는

인 경우(positive parallax)이고, (b)는

인 경우(zero parallax)이며, (c)는

인 경우(negative parallax)이다.

는 두 눈의 거리이고,

은 눈과 입체용 디스플레이 장치 간의 거리이며,

은 우측 카메라 영상점의 입체용 모니터에서의 위치이고,

은 좌측 카메라 영상점의 입체용 모니터에서의 위치이며,

은 수평 양안 시차(horizontal binocular parallax)이고,

는 주시각(convergence)이며,

는 초점거리 또는 작업자가 느끼는 점까지의 거리이다.

입체용 디스플레이 장치를 통해 작업자가 느끼는 거리는 입체용 디스플레이 상의 좌/우 영상점에 대한 주시각이 작을수록 그 점이 멀리 있는 것으로 느끼며, 주시각이 클수록 그 점이 가까이 있는 것으로 느낀다. 여기서 주시각이란 입체용 디스플레이 장치에 보이는 양안 영상과 입체용 디스플레이 장치를 바라보는 사람 눈의 관계를 나타내는 것으로, 입체용 디스플레이 장치에 보이는 물체의 좌측 영상점과 사람의 좌측 눈을 연결하는 직선과, 그리고 입체용 디스플레이 장치에서의 물체의 우측 영상점과 사람의 우측 눈을 연결한 직선과의 사이각을 말하는 것이며, 도 3에 있어서는 좌측 눈과 물체의 좌측 영상점을 연결한 직선을 제 1 직선이라고 하고, 우측 눈과 물체의 우측 영상점을 연결한 직선을 제 2 직선이라고 할 때, 제 1 직선과 제 2 직선의 사이각을 말한다.

도 3에서 알 수 있듯이 주시각은 입체용 디스플레이 장치에서의 좌/우측 영상점의 수평 양안 시차(

), 작업자의 눈과 입체용 디스플레이 장치 간의 거리(

), 그리고 작업자의 두 눈의 간격(

)에 따라 달라진다.

정상적인 눈의 경우 피로감 없이 물체를 볼 수 있는 최단거리인 근점(近點)은 약 25cm이다. 그러나 노화에 따른 노안의 경우에는 적응능력이 떨어져서 근점이 50cm 이상으로 늘어나기도 한다. 사람이 물체를 바라볼 때, 만약 물체가 근점보다 가까운 거리에 있으면 물체를 또렷하게 볼 수 없으며 피로감을 느끼기도 한다.

만약 양안 영상을 입체용 디스플레이 장치를 통해 볼 때에 사람이 느끼는 물체까지의 거리가 바라보는 작업자의 근점보다 가까우면 입체감이 떨어지고 피로감을 느끼게 되므로, 이럴 경우 물체가 근점보다 멀리 있는 것처럼 작업자가 느끼도록 해당 물체에 대한 주시각을 작게 만들어야 한다. 주시각을 작게 만들기 위해서는 보는 사람의 눈과 입체용 디스플레이 장치 간의 거리를 멀리 할 수도 있지만 이것은 매우 수동적이고 현실적이지 못한 방안이라 할 수 있다.

본 발명의 일 실시예에 따른 영상처리 장치(100)는 입력부(110)를 통하여, 양안 영상이 이용되어 디스플레이될 수 있는 입체 영상에 대한 작업자의 주시각이 작업자의 근점의 위치에 대응하게 변경되도록 하는 각도값을 입력받는다(S210).

그리고, 영상처리부(120)는 입력부(110)로부터 제공받은 양안 영상에 대한 영상처리를 통하여 수직 시차를 제거함과 동시에 수평 시차를 조정한다. 이러한 영상처리부(120)에 의해 수행되는 영상처리 과정을 자세히 살펴보기로 한다.

먼저, 임의의 하나의 카메라에서 촬영한 영상을 마치 카메라 좌표계 원점을 중심으로 회전된 카메라에서 촬영된 영상으로 변환하는 알고리즘에 대하여 설명한다.

도 4는 하나의 카메라 좌표계와 그 카메라 좌표계 원점을 중심으로 회전된 카메라 좌표계에서의 영상면을 간략히 도식화한 도면이다.

두 개의 카메라 좌표계를 카메라-1 좌표계, 카메라-2 좌표계라 하면 공간상의 임의의 한 점

에 대한 카메라-1의 영상점

과 카메라-2의 영상점

는 투영이론에 따라 하기의 수학식 1과 수학식 2와 같이 기술된다.

수학식 1과 수학식 2에서,

과

는 각각 카메라-1 좌표계와 카메라-2 좌표계로 기술된 공간상의 한 점

의 위치벡터들이고,

과

는 각각 영상점

과

의 동차 좌표(homogeneous coordinates) 벡터이다. 그리고 상첨자

는 행렬의 전치(transpose)를 의미하고,

는 비례관계를 의미한다.

또, 수학식 1과 수학식 2에서,

는 카메라 렌즈의 특성을 나타내는 크기가 3×3인 카메라 특성행렬로 카메라 보정(camera calibration) 과정을 통해 구해진다. 카메라 보정과정을 통해 카메라 렌즈의 비완벽성에 기인한 영상왜곡을 기술하는 왜곡 계수(distortion coefficients)들도 구할 수 있으며, 왜곡 계수를 이용한 영상왜곡의 보정은 비전(Vision)이론 분야에서 여러 가지 방법들이 제안되고 있으므로 여기서는 설명을 생략하며, 본 특허에서 언급하는 카메라에서 촬영된 양안영상은 영상왜곡이 보정되거나 또는 영상왜곡이 없는 영상으로 간주한다.

카메라-1 좌표계와 카메라-2 좌표계가 회전관계에 있다면 두 좌표계 사이에는 하기의 수학식 3과 같은 좌표변환식이 성립한다.

여기서,

는 카메라-1 좌표계에서 카메라-2 좌표계로의 회전행렬을 의미한다.

수학식 1 내지 수학식 3으로부터 하기의 수학식 4 및 수학식 5가 유도된다.

수학식 5는 회전 관계에 있는 두 카메라의 영상점

과

의 관계를 보여주는 식으로

는 투영에 따른 상수를 의미한다.

만약 카메라-1과 카메라-2가 동일한 카메라라고 하면

은 카메라가 회전하기 전에 촬영한 영상점이고,

는 카메라가 회전한 후에 촬영한 영상점이며, 카메라 행렬

와 회전행렬

를 알고 있다면 하기의 수학식 6을 이용하여 회전하기 전의 영상으로부터 회전 후의 영상을 만들 수가 있다.

양안 카메라 보정을 통해 각 카메라의 특성행렬과 두 카메라 간의 좌표변환을 알고 있는 경우에는 수학식 6을 이용하여 수직 시차를 제거하는 양안 영상 정렬을 할 수가 있다.

이제, 양안 영상의 수직 시차를 제거하기 위한 양안 영상 정렬 알고리즘에 대하여 설명한다.

좌측 카메라 좌표계와 우측 카메라 좌표계 사이의 좌표변환식이 하기의 수학식 7과 같다고 하자.

여기서,

은 좌측 카메라 좌표계로 기술한 3차원 공간상의 한 점

의 위치이고,

은 우측 카메라 좌표계로 기술한 점

의 위치이며,

은 좌측 카메라 좌표계에서 우측 카메라 좌표계로의 회전 행렬(좌측 카메라 좌표계로 기술)이고,

은 좌측 카메라 좌표계에서 우측 카메라 좌표계로의 이동 벡터(좌측 카메라 좌표계로 기술)이다.

두 카메라에서 촬영한 양안 영상이 완벽한 평행축 방식의 양안 카메라 영상이 되도록 만들기 위해서는 먼저 좌측 카메라에 대하여 좌표변환식을 유도한다. 이러한 좌측 카메라의 좌표변환식 유도 과정은 다음과 같다.

먼저, 좌측 카메라 좌표계에서 우측 카메라 좌표계로의 이동 벡터

이 좌측 카메라의 수평축(

-축)이 되어야 하고, 새로운 좌측 카메라 좌표계의

-축의 방향벡터는

방향이어야 하므로, 기존 좌측 카메라 좌표계로 기술된 새로운 좌측 카메라 좌표계의

-축 방향 단위벡터

는 하기의 수학식 8과 같다.

그리고, 새로운 좌측 카메라 좌표계의

-축의 단위 방향벡터는 기존 좌측 카메라 좌표계의 z-축과

이 만드는 평면에 수직이 되도록 잡는다. 즉, 기존 좌측 카메라 좌표계로 기술된 새로운 좌측 카메라 좌표계의

-축 방향 단위벡터

는 하기의 수학식 9와 같다.

여기서,

이며,

이다. 이때,

는 기존 좌측 카메라 좌표계의

-축 방향 단위벡터이고,

는 벡터곱(cross product)이며, 상첨자

는 행렬의 전치(transpose)를 의미한다.

다음으로, 새로운 좌측 카메라 좌표계의

-축 방향 단위벡터는 하기의 수학식 10과 같이 새로운 좌측 카메라 좌표계의

-축과

-축이 이루는 평면에 수직이 되어야 하므로, 기존 좌측 카메라 좌표계에서 새로운 좌측 카메라 좌표계로의 회전 행렬

은 하기의 수학식 11과 같다.

그리고, 기존 좌측 카메라 좌표계에서 새로운 좌측 카메라 좌표계로의 좌표변환식은 하기의 수학식 12와 같다.

여기서,

은 양안 영상 정렬된 후의 좌측 카메라 좌표계로 기술된 위치벡터 이다.

따라서, 기존 좌측 카메라 좌표계와 기존 우측 카메라 좌표계 사이의 좌표변환식인 수학식 7과 기존 좌측 카메라 좌표계에서 새로운 좌측 카메라 좌표계로의 좌표변환식인 수학식 12로부터 하기의 수학식 13이 성립하고, 따라서 하기의 수학식 14가 도출된다.

여기서, 기존 우측 카메라 좌표계에서 새로운 우측 카메라 좌표계로의 좌표변환식을 하기의 수학식 15라 하면, 수학식 14로부터 하기의 수학식 16이 도출된다.

여기서,

은 하기의 수학식 17과 같다.

여기서,

이고,

이며,

이고,

은 좌측 카메라 좌표계에서 우측 카메라 좌표계로의 이동 벡터를 의미한다.

수학식 16에서 우변의 마지막 항

은 기존 좌측 카메라 좌표계로 기술된

을 새로운 좌측 카메라 좌표계로 기술한 것으로 수학식 17을 이용하여 계산하면 하기의 수학식 18이 된다.

그런데

는

의 단위벡터이고, 수학식 8에서

로 정의하였으므로 하기의 수학식 19가 되고,

와

는

, 즉

의 수직 방향이므로

과

은 모두 0이 된다.

따라서, 하기의 수학식 20이 도출되고, 수학식 20을 이용하여 수학식 16을 다시 기술하면 하기의 수학식 21과 같다.

수학식 21은

과

사이에는 x-축으로의 평행 이동 관계가 성립됨을 보여주고 있다.

다시 말해, 기존 좌측 카메라를 수학식 11의 회전행렬

만큼 회전시키고, 수학식 15에서 보듯이 우측 카메라를

만큼 회전시키면, 새로운 좌측 및 우측 카메라 좌표계는 회전은 없고 단지 x-축(카메라 영상의 가로방향)으로의 평행 이동 관계만이 성립되며, 두 좌표계의 z-축은 평행하게 되어, 결국 완벽한 평행축 방식의 양안 카메라 시스템이 된다.

양안 영상 정렬은 실제로 카메라를 회전시키는 것이 아니고, 수학식 6을 이용하여 기존 카메라에서 촬영된 영상들을 회전된 카메라에서 촬영한 것처럼 영상을 매핑(mapping)시킴으로서 완벽한 평행축 방식의 양안 카메라에서 촬영한 영상들로 만드는 것이다.

수학식 6, 수학식 12, 수학식 17을 이용하면 양안 영상 정렬 후의 좌측 및 우측 카메라 영상점

,

과 양안 영상 정렬 전의 좌측 및 우측 카메라 영상점

,

사이에는 하기 수학식 22 및 수학식 23이 성립한다.

여기서,

는 양안 영상의 수직 시차를 제거할 수 있는 회전행렬이고, 하기의 수학식 24와 수학식 25와 같이 정의된다.

수학식 22 내지 수학식 25에서

,

은 각각 좌측 카메라 렌즈와 우측 카메라 렌즈의 특성을 나타내는 카메라 특성행렬이고,

과

은 각각 양안 영상 정렬 전의 좌측 카메라 영상점과 우측 카메라 영상점의 동차 좌표 벡터이며,

과

은 각각 양안 영상 정렬 후의 좌측 카메라 영상점과 우측 카메라 영상점의 동차 좌표 벡터이다. 그리고 상첨자

은 역행렬(inverse matrix)을 의미한다.

이로써, 영상처리 장치(100)의 영상처리부(120)에 의해 양안 영상의 수직 시차를 조정하기 위한 수직 시차 제거용 회전행렬

이 계산되었다(S220).

한편, 일 실시예에 따른 영상처리 장치(100)의 영상처리부(120)는 양안 영상을 영상의 세로방향인

축을 중심으로 좌측 카메라는

각도만큼 회전시키고, 우측 카메라는

각도만큼 각각 회전시키는 효과를 통해 마치 교차축 방식의 양안 카메라가 교차각을 조절하여 촬영한 영상과 같은 결과가 나타나게 한다.

도 5는 수평 시차 조정을 위해 회전된 양안 영상과 회전되기 전의 양안 영상의 관계를 나타낸 도면이다.

도 5에서,

는 가상의 좌측 카메라 좌표계이고,

는 가상의 우측 카메라 좌표계이며,

는

축 중심으로

만큼 회전 후의 가상의 좌측 카메라 좌표계이고,

는

축 중심으로

만큼 회전 후의 가상의 우측 카메라 좌표계이다.

은 좌/우측 카메라 좌표계 원점 간의 이동 벡터이고,

는 공간상의 임의의 한 점이며,

는 회전 전 영상에서의

의 영상점이고,

는 회전 후 영상에서의

의 영상점이다.

좌측 카메라 좌표계를

축을 중심으로

각도만큼 회전시켜 생성된 좌표계는 하기의 수학식 26과 같은 좌표변환식이 성립하고, 우측 카메라를

축을 중심으로

각도만큼 회전시켜 생성된 좌표계는 하기의 수학식 27과 같은 좌표변환식이 성립한다.

여기서, 좌측 영상에 대한 수평 시차 조정용 회전행렬

이고, 우측 영상에 대한 수평 시차 조정용 회전행렬

로서, 하기 수학식 28과 수학식 29를 이용하여 계산할 수 있다.

이러한 좌측 영상에 대한 수평 시차 조정용 회전행렬

과 우측 영상에 대한 수평 시차 조정용 회전행렬

은 단계 S210에서 입력된 주시각 변경을 위한 각도값(

,

)에 따라 영상처리부(120)에서 계산된다(S230).

그리고, 수학식 12, 수학식 15, 수학식 24, 수학식 25를 이용하여 수학식 26과 수학식 27을 하기의 수학식 30과 수학식 31과 같이 기술할 수 있다.

그리고, 수직 시차가 조정된 좌측 카메라의 영상점

과 회전된 좌측 카메라의 영상점

과의 관계식은 하기의 수학식 32와 같고, 수직 시차가 조정된 우측 카메라의 영상점

과 회전된 우측 카메라의 영상점

과의 관계식은 하기의 수학식 33과 같다.

여기서,

은 수학식 34와 수학식 35로 정의된다.

수학식 34 및 수학식 35의

은 카메라에서 촬영한 원 영상을 새로운 영상으로 변환시키는 기하학적 변환(geometric transformation) 행렬이며, 수학식 32 및 수학식 33의

,

은 투영에 따른 상수이다. 그리고

는 좌측 카메라 좌표계의

-축을 중심으로 회전시킨 각도로서, 양안 카메라 사이에 위치한 물체에 대하여

가 커질수록 수평 시차가 작아지며 물체가 점점 멀리 있는 것으로 느껴지게 된다.

이로써, 영상처리 장치(100)의 영상처리부(120)에 의해 기하학적 변환행렬

이 계산되었다(S240).

다음으로, 영상처리 장치(100)의 영상처리부(120)는 수학식 32와 수학식 33을 각각 좌측 카메라 영상의 모든 영상점과 우측 카메라 영상의 모든 영상점에 적용하여 원 영상을 기하학적으로 변환시키고, 영상처리 장치(100)의 출력부(120)는 영상처리부(120)에 의해 변환된 새로운 영상을 출력한다(S250). 이렇게 원 영상에 대한 기하학적 변환을 통해 새로운 영상으로 변환시키는 것을 영상 워핑(image warping)이라 한다. 이때, 이용되는 영상 워핑 알고리즘은 투영이론 및 비전기술 분야에서 주지된 알고리즘이므로 그 설명을 생략한다.

일 실시예에 따른 영상처리 장치(100)에 의해 수직 시차 및 수평 시차가 제거된 양안 영상을 입체용 디스플레이 장치를 통해 재생하면 입체 디스플레이를 보는 작업자가 편안하게 입체감에 몰입할 수 있다. 편안하게 입체감을 느끼도록 하는 적당한

값은 작업자마다 다른 눈의 근점(명시거리), 모니터의 크기나 모니터와의 거리, 카메라 촬영시의 카메라와 물체의 거리 등에 따라 달라지지만, 작업자로부터 약 40cm 떨어진 거리의 탁상형 입체용 모니터를 통해 양안 영상을 보는 경우에 비교적 근거리(15∼50cm)에 위치한 물체들에 대해서는

값이 약 1도 내지 5도의 범위를 가질 수 있고, -

값이 약 -1도 내지 -5도의 범위를 가질 수 있다.

도 6은 평행축 방식의 양안 카메라로 촬영된 영상에 대한 종래 기술과 본 발명의 영상처리 결과물을 비교한 도면으로서, (a)는 수직 시차만 제거된 양안 영상을 재생한 결과이고, (b)는 본 발명의 일 실시예에 따라 수직 시차가 제거되고 수평 시차가 조정된 양안 영상을 재생한 결과이다. 도 6에서 알 수 있듯이 (a)와 (b) 모두 수직 시차는 제거되었지만, 수직 시차만 조정된 (a)는 수평 시차가 너무 커서 작업자가 피로감을 느끼게 된다. 이에 반해 수직 시차 및 수평 시차가 조정된 (b)는 수평 시차가 작아짐으로 인해 물체들의 거리가 눈의 근점보다 멀리 있게 느껴지므로, 편안하게 입체감을 느낄 수 있다.

지금까지 설명한 바와 같이 본 발명의 일 실시예에 의하면, 양안 영상에 존재하는 수직 시차 및 수평 시차를 카메라 배치 오차와는 무관하게 제거할 수 있다.

그리고, 3차원 영상을 바라보면서 사람마다 자기의 근점에 적합하게 주시각을 조정할 수 있기 때문에 물체를 뚜렷하게 볼 수 있을 뿐만 아니라 수평 시차에 따른 피로감을 느끼지 않는다.

한편, 앞서 설명한 실시예에서는 수평 시차를 조정할 때에 수직 시차를 동시에 제거하는 경우를 설명하였으나, 양안 카메라로 촬영한 양안 영상에서 수직 시차를 제거할 필요가 없는 경우(즉, 양안 카메라 장치에서 미리 수직 시차를 제거하였거나, 또는 양안 카메라의 배치가 매우 양호하여 수직 시차가 매우 작은 경우 등)에는 수평 시차만을 조정할 수 있다.

이처럼, 양안 영상의 수평 시차만을 조정하는 경우에는 양안 카메라로 촬영한 양안 영상 중 좌측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬 및 양안 영상 중 우측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬을 계산하고, 양안 카메라의 렌즈 특성을 나타내는 각 카메라 특성행렬 및 수평 시차 조정용 회전행렬들을 기초로, 양안 영상에 대한 기하학적 변환행렬을 계산하며, 계산된 기하학적 변환행렬에 기초하여, 양안 카메라로 촬영한 양안 영상에 대하여 영상 워핑을 수행함으로써 수평 시차가 조정된 새로운 양안 영상을 생성한다. 이때, 기하학적 변환행렬을 하기의 수학식 36 및 수학식 37을 이용하여 계산할 수 있다.

수학식 36 및 수학식 37에서,

은 상기 양안 카메라로 촬영한 양안 영상 중 좌측 영상용 기하학적 변환행렬이고,

은 상기 양안 카메라로 촬영한 양안 영상 중 우측 영상용 기하학적 변환행렬이며,

은 좌측 카메라의 렌즈 특성을 나타내는 카메라 특성행렬이고,

은 우측 카메라의 렌즈 특성을 나타내는 카메라 특성행렬이며,

는 좌측 영상에 대한 수평 시차 조정용 회전행렬이고,

는 우측 영상에 대한 수평 시차 조정용 회전행렬이며,

은 좌측 카메라 좌표계에서 우측 카메라 좌표계로의 회전행렬이고, 상첨자 -1은 역행렬을 의미하고, 상첨자

는 행렬의 전치를 의미한다.

본 발명에 첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 기록매체에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 기록매체에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.

또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100 : 영상처리 장치
110 : 입력부
120 : 영상처리부
130 : 출력부

Claims

삭제
평행축(parallel) 방식의 양안 카메라(stereo camera)를 이용한 입체영상 시스템에서 근거리 물체에 대하여 입체감을 느끼도록 양안영상을 처리하는 영상처리 방법으로서:
(i) 상기 양안 카메라로 촬영한 양안 영상(좌측 영상 및 우측 영상)을 해당 카메라의 좌표계 원점을 중심으로 회전시킨 카메라로 촬영한 영상인 것처럼 변환시킴으로써 수직 시차를 제거하기 위한 수직 시차 제거용 회전행렬을 계산하는 단계;
(ii) 상기 좌측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬 및 상기 우측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬을 계산하는 단계;
(iii) 상기 양안 카메라의 렌즈 특성을 나타내는 각 카메라 특성행렬, 상기 수직 시차 제거용 회전행렬 및 상기 수평 시차 조정용 회전행렬들을 기초로, 양안 영상에 대한 기하학적 변환행렬을 계산하는 단계; 및
(iv) 상기 계산된 기하학적 변환행렬에 기초하여, 상기 양안 카메라로 촬영한 양안 영상에 대하여 영상 워핑을 수행함으로써 수직 시차가 제거됨과 동시에 수평 시차도 조정된 새로운 양안 영상을 생성하는 단계를 포함하고;
상기 양안 영상의 수직 시차 제거용 회전행렬(
)을 하기의 수학식을 이용하여 계산하는 영상처리 방법.

(여기서
은 좌측 카메라 좌표계에서 우측 카메라 좌표계로의 이동 벡터를 의미함)
평행축(parallel) 방식의 양안 카메라(stereo camera)를 이용한 입체영상 시스템에서 근거리 물체에 대하여 입체감을 느끼도록 양안영상을 처리하는 영상처리 방법으로서:
(i) 상기 양안 카메라로 촬영한 양안 영상(좌측 영상 및 우측 영상)을 해당 카메라의 좌표계 원점을 중심으로 회전시킨 카메라로 촬영한 영상인 것처럼 변환시킴으로써 수직 시차를 제거하기 위한 수직 시차 제거용 회전행렬을 계산하는 단계;
(ii) 상기 좌측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬 및 상기 우측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬을 계산하는 단계;
(iii) 상기 양안 카메라의 렌즈 특성을 나타내는 각 카메라 특성행렬, 상기 수직 시차 제거용 회전행렬 및 상기 수평 시차 조정용 회전행렬들을 기초로, 양안 영상에 대한 기하학적 변환행렬을 계산하는 단계; 및
(iv) 상기 계산된 기하학적 변환행렬에 기초하여, 상기 양안 카메라로 촬영한 양안 영상에 대하여 영상 워핑을 수행함으로써 수직 시차가 제거됨과 동시에 수평 시차도 조정된 새로운 양안 영상을 생성하는 단계를 포함하고;
상기 양안 영상의 좌측 영상에 대한 수평 시차 조정용 회전행렬(
)과 우측 영상에 대한 수평 시차 조정용 회전행렬(
)을 하기의 수학식을 이용하여 계산하는 영상처리 방법.

,
제 3 항에 있어서,
상기
각도는 상기 입체영상 시스템을 바라보는 작업자에 의해 실시간으로 입력되거나 기 설정된 값을 사용하는 영상처리 방법.
제 2 항 또는 제 3 항에 있어서,
상기 기하학적 변환행렬을 하기의 수학식을 이용하여 계산하는 영상처리 방법.

(여기서,
은 상기 양안 카메라로 촬영한 양안 영상 중 좌측 영상용 기하학적 변환행렬이고,
은 상기 양안 카메라로 촬영한 양안 영상 중 우측 영상용 기하학적 변환행렬이며,
은 좌측 카메라의 렌즈 특성을 나타내는 카메라 특성행렬이고,
은 우측 카메라의 렌즈 특성을 나타내는 카메라 특성행렬이며,
는 좌측 영상에 대한 수평 시차 조정용 회전행렬이고,
는 우측 영상에 대한 수평 시차 조정용 회전행렬이며,
는 수직 시차 제거용 회전행렬이고,
은 좌측 카메라 좌표계에서 우측 카메라 좌표계로의 회전행렬이며, 상첨자 -1은 역행렬을 의미하고, 상첨자
는 행렬의 전치를 의미함)
제 5 항에 있어서,
상기 영상 워핑에 의해 구해지는, 새로운 좌측 카메라의 영상점
과 새로운 우측 카메라의 영상점
은, 상기 양안 카메라로 촬영한 양안 영상의 좌측 카메라의 영상점
과 우측 카메라의 영상점
과 다음의 관계식을 만족하는 영상처리 방법.

(여기서,
과
은 임의의 투영 상수임)
평행축(parallel) 방식의 양안 카메라(stereo camera)를 이용한 입체영상 시스템에서 근거리 물체에 대하여 입체감을 느끼도록 양안 영상을 처리하는 영상처리 방법으로서:
(i) 양안 카메라로 촬영한 양안 영상 중 좌측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬 및 상기 양안 영상 중 우측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬을 계산하는 단계;
(ii) 상기 양안 카메라의 렌즈 특성을 나타내는 각 카메라 특성행렬 및 상기 수평 시차 조정용 회전행렬들을 기초로, 상기 양안 영상에 대한 기하학적 변환행렬을 계산하는 단계; 및
(iii) 상기 계산된 기하학적 변환행렬에 기초하여, 상기 양안 카메라로 촬영한 양안 영상에 대하여 영상 워핑을 수행함으로써 수평 시차가 조정된 새로운 양안 영상을 생성하는 단계를 포함하고,
상기 양안 영상의 좌측 영상에 대한 수평 시차 조정용 회전행렬(
)과 우측 영상에 대한 수평 시차 조정용 회전행렬(
)을 하기의 수학식을 이용하여 계산하는 영상처리 방법.

,
제 7 항에 있어서,
상기 기하학적 변환행렬을 하기의 수학식을 이용하여 계산하는 영상처리 방법.

(여기서,
은 상기 양안 카메라로 촬영한 양안 영상 중 좌측 영상용 기하학적 변환행렬이고,
은 상기 양안 카메라로 촬영한 양안 영상 중 우측 영상용 기하학적 변환행렬이며,
은 좌측 카메라의 렌즈 특성을 나타내는 카메라 특성행렬이고,
은 우측 카메라의 렌즈 특성을 나타내는 카메라 특성행렬이며,
는 좌측 영상에 대한 수평 시차 조정용 회전행렬이고,
는 우측 영상에 대한 수평 시차 조정용 회전행렬이며,
은 좌측 카메라 좌표계에서 우측 카메라 좌표계로의 회전행렬이고, 상첨자 -1은 역행렬을 의미하고, 상첨자
는 행렬의 전치를 의미함)
평행축(parallel) 방식의 양안 카메라(stereo camera)를 이용한 입체영상 시스템에서 근거리 물체에 대하여 입체감을 느끼도록 양안영상을 처리하는 영상처리 장치로서:
상기 양안 카메라에 의해 촬영된 양안 영상을 입력받는 입력부;
상기 양안 영상의 수직 시차 및 수평 시차를 조정하는 영상처리부; 및
상기 영상처리부에 의해 상기 수직 시차 및 상기 수평 시차가 조정된 양안 영상을 출력하는 출력부를 포함하고;
상기 영상처리부는,
(i) 상기 양안 카메라로 촬영한 양안 영상(좌측 영상 및 우측 영상)을 해당 카메라의 좌표계 원점을 중심으로 회전시킨 카메라로 촬영한 영상인 것처럼 변환시킴으로써 수직 시차를 제거하기 위한 수직 시차 제거용 회전행렬을 계산하고;
(ii) 상기 좌측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬 및 상기 우측 영상의 수평 시차를 조정하기 위한 수평 시차 조정용 회전행렬을 계산하며;
(iii) 상기 양안 카메라의 렌즈 특성을 나타내는 각 카메라 특성행렬, 상기 수직 시차 제거용 회전행렬 및 상기 수평 시차 조정용 회전행렬들을 기초로, 양안 영상에 대한 기하학적 변환행렬을 계산하고;
(iv) 상기 계산된 기하학적 변환행렬에 기초하여, 상기 양안 카메라로 촬영한 양안 영상에 대하여 영상 워핑을 수행함으로써 수직 시차가 제거됨과 동시에 수평 시차도 조정된 새로운 양안 영상을 생성해서 상기 출력부에 제공하며;
상기 양안 영상의 좌측 영상에 대한 수평 시차 조정용 회전행렬(
)과 우측 영상에 대한 수평 시차 조정용 회전행렬(
)을 하기의 수학식을 이용하여 계산하는 영상처리 장치.

,