KR101801898B1 - 다시점 영상 기반의 단일 영상 처리 방법 및 장치 - Google Patents

Abstract

본 발명에 의하면, 둘 이상의 시점에서 촬영된 다시점 영상을 깊이 정보를 활용하여 하나의 단일 영상으로 합성하는 방법으로서, 각 영상내 픽셀들을 다른 시점들 각각으로 재투영한 후, 투영 전후의 깊이 정보를 시점별로 비교 분석하여 각 영상내 픽셀들의 시점별 가시성을 파악하고, 이를 기반으로 영상별 가시 정보를 추출하는 가시 정보 추출 단계; 및 상기 영상별 가시 정보를 고려하여 각 영상내 픽셀들의 위치 관계를 판단하고, 이를 기반으로 다수의 영상을 하나의 단일 영상으로 합성하는 단일 영상 생성 단계를 포함하는 다시점 영상 기반의 단일 영상 처리 방법이 제공된다.

Description

다시점 영상 기반의 단일 영상 처리 방법 및 장치{METHOD AND APPARATUS FOR GENERATING REPRESENTING IMAGE FROM MULTI-VIEW IMAGE}

본 발명은 다시점 영상 기반의 단일 영상 처리 기술에 관한 것으로, 특히 다시점 영상을 단일 영상으로 합성함에서 있어 편집 효율 및 압축 효율을 증대할 수 있도록 하는 기술에 관한 것이다.

멀티미디어 기술의 발달로 최근 실감 미디어에 대한 관심이 높아지고 있다. 그 중 다시점 영상(multi-view image)은 시점이 다른 2 이상의 카메라(다시점 카메라)를 이용하여 획득한 영상들의 집합을 의미한다. 기존의 단일 시점 비디오와는 달리 다시점 비디오는 하나의 장면을 다수의 카메라를 통해 촬영함으로써 3차원의 동적인 영상을 생성할 수 있다. 이러한 다시점 영상은 사용자에게 자유로운 시점 및 넓은 화면을 통한 입체감을 제공할 수 있다. 최근에는 다양한 다시점 비디오 응용분야가 연구되고 있는데, 자유 시점 TV(Freeview TV : FTV), 3-D TV, 감시, 몰입형 원격회의 등에 대한 연구가 활발히 이루어지고 있다.

한편, 영화 산업이나 방송국에서는 특수효과를 위해 영상 합성 기술을 필요로 한다. 특히, 첨단 3차원 컴퓨터 그래픽 기술이 적용된 블록 버스터가 쏟아지는 요즈음은 우수한 영상 합성 기술의 확보가 필수적이라고 해도 과언이 아니다.

특히, 등록특허 제10-0989435호에서는 다시점 영상의 처리 및 편집 효율을 증대하기 위해 깊이 정보를 이용하여 단일 영상으로 합성할 수 있도록 하고 있으나, 이러한 경우 단일 영상으로의 합성 방법이 복잡하고 처리 부하가 상대적으로 큰 단점이 존재하고 있다.

대한민국 등록특허공보 등록번호 10-0989435 "다시점 영상 처리 방법 및 장치" 대한민국 등록특허공보 등록번호 10-0737808 "2차원 구조의 다시점 영상 압축 방법" 대한민국 공개특허공보 공개번호 10-2012-0068540 "병렬 처리를 이용한 다시점 영상 컨텐츠 생성 장치 및 방법"

본 발명의 목적은 둘 이상의 시점에서 촬영된 다시점 영상과 그에 해당하는 깊이 정보가 존재할 때 영상의 손쉬운 편집과 압축의 효율을 높이기 위하여 하나의 대표 이미지로 합쳐주는 다시점 영상 기반의 단일 영상 처리 방법 및 장치를 제공하는 것이다.

상기한 본 발명의 목적을 달성하기 위하여, 본 발명의 일 측면에 따른 다시점 영상 기반의 단일 영상 처리 방법은, 각 영상내 픽셀들을 다른 시점들 각각으로 재투영한 후, 투영 전후의 깊이 정보를 시점별로 비교 분석하여 각 영상내 픽셀들의 시점별 가시성을 파악하고, 이를 기반으로 영상별 가시 정보를 추출하는 가시 정보 추출 단계; 및 상기 영상별 가시 정보를 고려하여 각 영상내 픽셀들의 위치 관계를 판단하고, 이를 기반으로 다수의 영상을 하나의 단일 영상으로 합성하는 단일 영상 생성 단계를 포함할 수 있다.

상기 가시 정보 추출 단계는 픽셀을 다른 시점으로 재투영한 후, 상기 픽셀의 원시점에서의 깊이 값이 투영된 시점에서의 깊이 값보다 크거나 같으면 상기 픽셀이 투영된 시점에서 가시성을 가진다고 판단하는 것을 특징으로 한다.

상기 단일 영상 생성 단계는 최초 수행시에는 기 설정된 비교 영상 선택 조건에 따라 두 개의 비교 영상을 선택하고, 그렇지 않은 경우에는 이전 선택된 영상의 다음 시점에 대응되는 영상과 중간 단일 영상을 두 개의 비교 영상으로 선택하는 비교 영상 선택 단계; 상기 두 개의 비교 영상의 가시 정보를 고려하여 픽셀별 위치관계를 파악한 후, 상기 픽셀별 위치 관계에 기반한 픽셀 배치 동작을 수행하여 상기 중간 단일 영상을 생성 또는 갱신하는 중간 단일 영상 처리 단계; 및 상기 이전 선택된 영상의 다음 시점에 대응되는 영상이 없으면, 상기 중간 단일 영상을 단일 영상으로 획득 및 출력하되, 그렇지 않으면 상기 비교 영상 선택 단계로 재진입하는 단일 영상 획득 단계를 포함하는 것을 특징으로 한다.

상기 중간 단일 영상 처리 단계는 기 설정된 비교 픽셀 선택 기준에 따라 상기 두 개의 비교 영상에서 두 개의 비교 픽셀을 선택한 후, 상기 두 개의 비교 픽셀 각각의 가시 정보를 기반으로 다른 시점에서의 가시성을 판단하는 가시성 판단 단계; 상기 두 개의 비교 픽셀 모두 양쪽 픽셀 시점에서 보이는 경우, 상기 두 개의 비교 픽셀 중 하나를 다른 픽셀의 시점으로 재투영한 후 재투영된 픽셀의 위치값을 기반으로 상기 두 개의 비교 픽셀의 위치 관계를 파악하는 제1 파악 단계; 상기 두 개의 비교 픽셀 중 하나만 양쪽 픽셀 시점에서 보이는 경우, 상기 양쪽 픽셀 시점에서 보이는 픽셀 중 한쪽에서만 보이는 픽셀 시점으로 재투영한 후 재투영된 픽셀의 위치값을 기반으로 상기 두 개의 비교 픽셀의 위치 관계를 파악하는 제2 파악 단계; 상기 두 개의 비교 픽셀 중 모두 양쪽 픽셀 시점에서 안 보이는 경우, 상기 두 개의 비교 픽셀 중 모두를 다른 시점으로 2회 이상 재투영한 후 상기 두 개의 비교 픽셀 각각의 x 좌표 평균값을 기반으로 상기 두 개의 비교 픽셀의 위치 관계를 파악하는 제3 파악 단계; 및 상기 두 개의 비교 픽셀의 위치 관계를 기반으로 상기 두 개 영상의 픽셀들을 중간 단일 영상내에 배치시키고, 기 설정된 픽셀 선택 조건에 따라 새로운 두 개의 비교 픽셀 선택이 선택되면 상기 가시성 판단 단계로 재진입하고, 그렇지 않으면 상기 비교 영상 선택 단계로 재진입하는 재진입 단계를 포함하는 것을 특징으로 한다.

상기 중간 단일 영상 처리 단계는 상기 중간 단일 영상내에 배치된 픽셀 각각에 대한 위치 정보, 색상 정보, 및 시점 정보를 획득 및 저장하는 단계를 더 포함하는 것을 특징으로 한다.

상기 중간 단일 영상 처리 단계는 상기 단일 영상이 획득되면, 최종 상태의 중간 단일 영상내에 배치된 픽셀 각각에 대한 시점 정보를 취합하여 상기 단일 영상에 대응되는 시점 정보를 생성 및 제공하는 단계를 더 포함하는 것을 특징으로 한다.

또한 상기 방법은 색상 정보 및 가시 정보 중 적어도 하나를 기반으로 상기 단일 영상내 인접 픽셀들을 하나의 픽셀로 합쳐 상기 단일 영상을 압축하되, 합쳐지는 픽셀들의 시점 정보를 취합하여 합쳐진 픽셀의 시점 정보를 획득 및 저장하는 단계를 더 포함하는 것을 특징으로 한다.

뿐 만 아니라 상기 방법은 상기 압축된 단일 영상의 시점 정보를 RLE(Run Length Encoding) 방식으로 압축하는 단계를 더 포함하는 것을 특징으로 한다.

상기한 본 발명의 목적을 달성하기 위하여, 본 발명의 다른 측면에 따른 다시점 영상 기반의 단일 영상 처리 장치는, 다시점의 다수 영상, 각 영상에 대응되는 깊이 정보를 포함하는 다수의 카메라 촬영 정보를 획득하는 다시점 영상 획득부; 상기 깊이 정보를 이용하여 각 영상내 픽셀들의 다른 시점에서 가시 정보를 획득한 후, 상기 가시 정보를 활용하여 각 영상내 픽셀들의 위치 관계를 판단하고, 이를 기반으로 다수의 영상을 하나의 단일 영상으로 합성하며, 상기 단일 영상내 픽셀들의 시점 정보를 취합하여 상기 단일 영상에 대응되는 시점 정보를 추가 생성 및 제공하는 단일 영상 생성부; 및 상기 단일 영상에 대응되는 시점 정보를 기반으로 상기 단일 영상에서 n개의 시점 각각에 대응되는 다수의 영상을 추출 및 제공하는 다시점 영상 복원부를 포함할 수 있다.

본 발명에 의하면 앞서서 기재한 본 발명의 목적을 모두 달성할 수 있다. 구체적으로는, 기술적으로 다시점 영상의 압축 효율성이 증대되고, 다시점 콘텐츠의 합성 및 편집 효율성이 증진된다.

아울러, 콘텐츠 산업에서 무안경식 다시점 입체영상 산업의 발전 촉진 및 다시점 3차원 입체영상 제작의 능률이 향상될 것으로 기대된다.

도 1 및 도2는 본 발명의 일 실시예에 따른 다시점 영상 기반의 단일 영상 처리 방법을 설명하기 위한 도면들이다.
도 3은 본 발명의 일 실시예에 따른 다시점 영상을 구성하는 다수의 영상과 각 영상에 대응하는 깊이 정보의 일 예를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따라 압축된 단일 영상의 일 예를 도시한 도면이다.
도 5는 본 발명의 일 실시예에 따른 압축된 단일 영상의 시점 정보의 일 예를 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 다시점 영상 기반의 단일 영상 처리 장치를 설명하기 위한 도면이다.

이하, 도면을 참조하여 본 발명의 실시예의 구성 및 작용을 상세히 설명한다.

본 발명에 따른 다시점 영상 기반의 단일 영상 처리 방법은, 둘 이상의 시점에서 촬영된 다시점 영상을 깊이 정보를 활용하여 하나의 단일 영상으로 합쳐주는 것으로서, 깊이 정보를 활용하여 각 시점 영상에서 픽셀들의 다른 시점에서의 가시 정보를 판단하는 단계와, 획득된 가시 정보와 깊이 정보를 활용하여 모든 시점의 픽셀들의 전후 관계를 판단하고 하나의 영상으로 합치는 단계와, 합쳐진 영상을 목적에 맡도록 생상 정보를 기반으로 압축하는 단계와, 압축된 영상에서의 픽셀들의 시점 정보를 추가적으로 압축하는 단계를 포함한다.

도 1 및 도2는 본 발명의 일 실시예에 따른 다시점 영상 기반의 단일 영상 처리 방법을 설명하기 위한 도면들이다.

도1 및 도2에 도시된 바와 같이, 본 발명의 방법은 크게 시점별 카메라 촬영 정보 획득 단계(S10), 영상별 가시 정보 추출 단계(S20), 단일 영상 및 단일 영상의 시점 정보 생성 단계(S30), 단일 영상 압축 단계(S40), 시점 정보 압축 단계(S50) 및 다시점 영상 복원 단계(S60) 등을 포함할 수 있다.

이하, 각 단계의 동작 방법에 대해 보다 상세히 살펴보기로 한다.

시점별 카메라 촬영 정보 획득 단계(S10)에서는 n(n은 2이상의 자연수)개의 시점을 가지는 다수개의 카메라를 통해 n개 시점 각각에 대응되는 다수의 카메라 촬영 정보를 획득한다. 이때, 각 카메라 촬영 정보는 n개의 시점 각각에 대응하는 영상과 각 영상에 해당하는 깊이 정보, 그리고 각 영상을 촬영한 카메라의 내부(intrinsic) 및 외부(extrinsic) 파라미터를 포함할 수 있다. 이때 깊이 정보는 일반적인 깊이 정보 획득 장치로 얻는 정보의 노이즈를 없애고 업샘플링을 하여 오차 없이 영상과 해상도가 같은 깊이 정보인 것이 바람직할 것이다. 도 3에는 입력된 다시점 영상을 구성하는 다수의 영상과 각 영상에 대응하는 깊이 정보의 일 예가 도시되어 있다.

영상별 가시 정보 추출 단계(S20)에서는 각 영상내 모든 픽셀을 원시점 이외의 시점들(즉, 다른 시점들) 각각으로 재투영한 후, 투영 전후의 깊이 정보를 시점별로 비교 분석하여 각 영상내 픽셀들의 시점별 가시성을 파악하고, 이를 기반으로 각 영상에 대응되는 가시 정보를 추출한다.

보다 상세하게, 각 영상내 픽셀들의 시점별 가시성은 다음과 같이 파악 가능하다. 먼저, 카메라 파라미터와 깊이 정보를 이용하여 대상 영상내 모든 픽셀을 나머지 시점 각각으로 재투영시킨다. 그러고 나서 각 시점의 투영된 위치에서의 깊이 정보와 비교하여 원 시점의 깊이 값이 투영된 시점에서의 깊이 값보다 크거나 같으면 해당 시점에서의 가시성이 있다고, 그렇지 않으면 가시성이 없다고 판단한다. 이때 노이즈를 줄이기 위하여 깊이 값은 약간의 문턱치(threshold)를 두고 비교할 수 있으며, 더 나아가 색상 정보도 같이 비교하여 가시성 판단에 도움을 줄 수도 있도록 한다. 즉, 원 시점의 깊이 값이 투영된 시점에서의 깊이 값보다 크거나 같으며, 또한 색상이 동일한 경우에 한하여 가시성이 있다고 판단하도록 함으로써, 가시성 판단 정확성을 증대할 수 있도록 한다. 물론, 색상 정보도 깊이값과 동일하게 약간의 문턱치(threshold)를 가질 수 있을 것이다.

상기의 과정들을 거치면 모든 영상의 각 픽셀이 다른 시점에서도 보이는 픽셀인지 아닌지를 판단하는 가시 정보를 얻게 된다. 이러한 가시 정보는 픽셀 단위로 비트별로 저장되는데, 예를 들어 8시점의 다시점 영상에서 2시점의 픽셀이 1∼3 시점에서는 보이고 4∼8 시점에서는 안 보인다면 해당 픽셀의 가시 정보는 "11100000"로 표현되고, 2시점의 픽셀이 1∼5 시점에서는 보이고 6∼8 시점에서는 안 보인다면 해당 픽셀의 가시 정보는 "11111000"로 표현될 수 있을 것이다.

단일 영상 및 단일 영상의 시점 정보 생성 단계(S30)에서는, 영상별 가시 정보를 고려하여 각 영상내 픽셀들의 위치 관계를 판단하고, 이를 기반으로 다수의 영상을 하나의 영상으로 합성한다.

이러한 단일 영상 생성 동작은 행 단위로 이루어진다. 우선 각 영상의 최 좌측 픽셀을 비교하여 더 좌측에 있다고 판단되는 픽셀을 중간 단일 영상의 좌측에 배치한다. 즉, 기 설정된 비교 픽셀 선택 기준에 따라 비교 픽셀들을 선택한 후, 비교 픽셀들의 위치 관계를 파악하고 이를 기반으로 중간 단일 영상내에서 픽셀 배치 위치를 결정하도록 한다. 이때, 픽셀의 배치와 함께 해당 픽셀이 어느 시점의 픽셀인지를 기록하는 시점 정보도 같이 기록하도록 한다. 다음으로, 배치하지 않은 픽셀과 배치한 픽셀의 다음 픽셀을 선택한 후 상기와 동일한 방법으로 픽셀 위치를 비교하여 중간 단일 영상에 배치한다. 이러한 픽셀 위치 관계 비교 및 픽셀 배치 동작은 모든 픽셀이 중간 단일 영상이 배치될 때까지 반복 수행하도록 한다.

참고로, 본 발명에 따른 픽셀 위치 관계 판단 방법은 다음과 같이 수행될 수 있다.

먼저, 두 개의 비교 픽셀 각각의 가시 정보를 기반으로 다른 시점에서의 가시성을 판단하도록 한다.

만약, 두 개의 비교 픽셀 모두 양쪽 픽셀 시점에서 보이는 경우, 상기 두 개의 비교 픽셀 중 하나를 다른 픽셀의 시점으로 재투영한 후 재투영된 픽셀의 위치값을 기반으로 두 개의 비교 픽셀의 위치 관계를 파악한다.

반면, 두 개의 비교 픽셀 중 하나만 양쪽 픽셀 시점에서 보이는 경우, 상기 양쪽 픽셀 시점에서 보이는 픽셀 중 한쪽에서만 보이는 픽셀 시점으로 재투영한 후 재투영된 픽셀의 위치값을 기반으로 두 개의 비교 픽셀의 위치 관계를 파악한다.

또한, 두 개의 비교 픽셀 중 모두 양쪽 픽셀 시점에서 안 보이는 경우, 두 개의 비교 픽셀 중 모두를 다른 시점으로 2회 이상 재투영한 후 두 개의 비교 픽셀 각각의 x 좌표 평균값을 기반으로 두 개의 비교 픽셀의 위치 관계를 파악한다.

단일 영상 생성 동작을 최초로 수행하는 경우에는, 기 설정된 기 설정된 비교 영상 선택 조건(예를 들어 가장 앞서 시점을 가지는 1, 2 시점 영상)에 따라 두 개의 비교 영상을 선택한 후, 두 개의 비교 영상내 픽셀들에 상기의 방식을 적용하여 중간 단일 영상을 생성하도록 한다. 그 이후에는 생성된 중간 단일 영상과 다음 시점 영상에 상기의 방식을 적용하여 중간 단일 영상을 갱신하도록 한다. 이 방식을 계속 진행하면 최종적인 단일 영상과 시점 정보가 생성되게 된다.

단일 영상 압축 단계(S40)에서는, 단일 영상내 픽셀 배치 정보, 색상 정보 및 가시 정보를 기반으로 픽셀 머징(merging) 동작을 수행하여 단일 영상의 크기를 압축한다.

S30의 단일 영상 생성 단계를 거치고 난 단일 영상의 크기는 "각 시점 영상의 크기 ㅧ 시점 수"로 상대적으로 큰 값을 가진다. 그러나 다시점 영상의 특성 상 대다수의 픽셀들은 모든 시점에서 보이는 픽셀들이고, 그 픽셀들은 단일 영상에서 실제로 근접한 픽셀끼리 배치되는 특징이 있다. 이에 각 순서대로 배치된 픽셀들은 서로 비슷한 색상을 갖게 된다.

따라서 본 발명에서는 다음과 같은 방식으로 단일 영상의 크기를 추가적으로 압축할 수 있도록 한다.

우선 인접되는 두 개의 픽셀을 비교하여 색상이 같거나 비슷하고, 가시 정보 값이 같으면 하나의 픽셀로 합친다. 이때 합쳐진 픽셀의 시점 정보는 가시 정보 추출 단계에서 설명한 가시 정보 값과 같은 방식으로 저장된다. 예를 들어 8 시점 영상에서 1 시점과 2 시점의 픽셀을 합쳤을 때 시점 정보는 11000000이 된다. 이후 이 합쳐진 픽셀을 그 다음 픽셀과 색상과 가시 정보 값을 비교하여 합칠 수 있을 경우 합치게 된다. 이 과정을 계속 진행하며 합쳐 나가다가 이미 합쳐진 시점의 픽셀을 만날 경우 다시 새로운 합쳐진 픽셀을 만들어 나간다. 이러한 방식으로 영상을 압축하면 상당한 양의 데이터를 압축할 수 있다. 도 4에서는 본 발명의 일 실시예에 따라 압축된 단일 대표 색상 정보(색상 도메인 변경, 검은 부분은 저장된 정보 없음)의 일 예를 도시하고 있다.

시점 정보 압축 단계(S50)에서는, S40의 단일 영상 압축 단계를 통해 압축된 단일 영상의 시점 정보를 RLE(Run Length Encoding) 방식으로 압축한다.

시점 정보는 영상의 압축 단계에 기재된 다시점 영상의 특성을 이용한다. 이러한 특성 상 영상의 압축 단계를 거치고 나면 시점 정보는 대부분 같은 값이 연속적으로 배치되어 있게 된다. 이는 RLE(Run Length Encoding) 방식으로 압축하기에 용이하므로, 본 발명에서는 이를 이용하여 한번 더 압축한다. 도 5에서는 RLE로 추가 압축된 시점 정보(하얀색이 정보가 존재하는 부분)의 일 예를 도시하고 있다.

마지막으로 다시점 영상 복원 단계(S60)에서는, 우선 단일 영상에서 다시점 영상을 복원하기 위하여 S50의 시점 정보 압축 단계에서 압축한 시점 정보를 복구한다. 그리고 좌측 픽셀에서부터 시점 정보가 복원하고자 하는 시점의 값을 가지고 있는 픽셀들을 차례대로 골라서 배치하여 원하는 시점의 영상을 복구하도록 한다.

도 6은 본 발명의 일 실시예에 따른 다시점 영상 기반의 단일 영상 처리 장치를 설명하기 위한 도면이다.

도 6을 참고하면, 본 발명의 장치는 n개 시점 각각에 대응되는 다수의 카메라 촬영 정보(즉, 영상 및 깊이 정보, 그리고 카메라 파라미터)를 획득하는 다시점 영상 획득부(10), 깊이 정보를 이용하여 각 영상내 픽셀들의 다른 시점에서 가시 정보를 획득한 후, 가시 정보를 활용하여 각 영상내 픽셀들의 위치 관계를 판단하고, 이를 기반으로 다수의 영상을 하나의 단일 영상으로 합성하며, 상기 단일 영상내 픽셀들의 시점 정보를 취합하여 상기 단일 영상에 대응되는 시점 정보를 추가 생성 및 제공하는 단일 영상 생성부(20), 단일 영상 생성부(20)에 의해 생성된 단일 영상과 시점 정보를 저장하는 메모리(30), 단일 영상에 대응되는 시점 정보를 기반으로 단일 영상에서 n개의 시점 각각에 대응되는 다수의 영상을 추출 및 제공하는 다시점 영상 복원부(40), 그리고 사용자 제어값에 따라 단일 영상 처리 동작을 전반적으로 제어하거나, 단일 영상 처리 결과를 사용자에게 시청각적으로 안내하도록 하는 제어부(50) 등을 포함하여 구성될 수 있다.

특히, 본 발명의 단일 영상 생성부(20)는 각 영상내 픽셀들의 위치 관계를 고려하여 중간 단일 영상내 픽셀 위치를 결정하고 배치하되, 중간 단일 영상에 배치되는 픽셀들 각각의 시점 정보를 계속적으로 유지하도록 함으로써, 단일 영상에 대응되는 시점 정보가 이를 기반으로 용이하게 추출될 수 있도록 한다.

그 결과, 다시점 영상 복원부(40)는 시점 정보를 기반으로 단일 영상내 픽셀들 각각의 시점을 파악하고, 이에 따라 사용자가 필요로 하는 시점에 대응되는 영상을 신속, 정확하게 복구할 수 있게 된다.

이상 실시예를 통해 본 발명을 설명하였으나, 본 발명은 이에 제한되는 것은 아니다. 상기 실시예는 본 발명의 취지 및 범위를 벗어나지 않고 수정되거나 변경될 수 있으며, 본 기술분야의 통상의 기술자는 이러한 수정과 변경도 본 발명에 속하는 것임을 알 수 있을 것이다.

또한, 본 발명에 따른 다시점 영상 기반의 단일 영상 처리 방법 및 장치는 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 기록매체의 예로는 ROM, RAM, CD ROM, 자기 테이프, 플로피 디스크, 광 데이터 저장장치, 하드 디스크, 플래시 드라이브 등이 있으며, 또한 캐리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.

Claims (9)

1. 다시점의 다수 영상을 기반으로 하나의 단일 영상으로 생성 또는 복원하는 다시점 영상 기반의 단일 영상 처리 방법에 있어서,
   각 영상내 픽셀들을 다른 시점들 각각으로 재투영한 후, 투영 전후의 깊이 정보를 시점별로 비교 분석하여 각 영상내 픽셀들의 시점별 가시성을 파악하고, 이를 기반으로 영상별 가시 정보를 추출하는 가시 정보 추출 단계; 및
   상기 영상별 가시 정보를 고려하여 각 영상내 픽셀들의 위치 관계를 판단한 후 픽셀별 위치 관계에 기반한 픽셀 배치를 시점별로 순차 수행하여, 이를 기반으로 다수의 영상을 하나의 단일 영상으로 합성하고, 픽셀 배치 결과에 상응하는 시점 정보를 생성하는 단일 영상 생성 단계를 포함하며,
   상기 단일 영상 생성 단계는
   최초 수행시에는 기 설정된 비교 영상 선택 조건에 따라 두 개의 비교 영상을 선택하고, 그렇지 않은 경우에는 이전 선택된 영상의 다음 시점에 대응되는 영상과 중간 단일 영상을 상기 두 개의 비교 영상으로 선택하는 비교 영상 선택 단계;
   상기 두 개의 비교 영상의 가시 정보를 고려하여 픽셀별 위치관계를 파악한 후, 상기 픽셀별 위치 관계에 기반한 픽셀 배치 동작을 수행하여 상기 중간 단일 영상을 생성 또는 갱신하는 중간 단일 영상 처리 단계; 및
   상기 이전 선택된 영상의 다음 시점에 대응되는 영상이 없으면, 상기 중간 단일 영상을 단일 영상으로 획득 및 출력하되, 그렇지 않으면 상기 비교 영상 선택 단계로 재진입하는 단일 영상 획득 단계를 포함하는 다시점 영상 기반의 단일 영상 처리 방법.
2. 제1항에 있어서, 상기 가시 정보 추출 단계는
   픽셀을 다른 시점으로 재투영한 후, 상기 픽셀의 원시점에서의 깊이 값이 투영된 시점에서의 깊이 값보다 크거나 같으면 상기 픽셀이 투영된 시점에서 가시성을 가진다고 판단하는 것을 특징으로 하는 다시점 영상 기반의 단일 영상 처리 방법.
3. 삭제
4. 제1항에 있어서, 상기 중간 단일 영상 처리 단계는
   기 설정된 비교 픽셀 선택 기준에 따라 상기 두 개의 비교 영상에서 두 개의 비교 픽셀을 선택한 후, 상기 두 개의 비교 픽셀 각각의 가시 정보를 기반으로 다른 시점에서의 가시성을 판단하는 가시성 판단 단계;
   상기 두 개의 비교 픽셀 모두 양쪽 픽셀 시점에서 보이는 경우, 상기 두 개의 비교 픽셀 중 하나를 다른 픽셀의 시점으로 재투영한 후 재투영된 픽셀의 위치값을 기반으로 상기 두 개의 비교 픽셀의 위치 관계를 파악하는 제1 파악 단계;
   상기 두 개의 비교 픽셀 중 하나만 양쪽 픽셀 시점에서 보이는 경우, 상기 양쪽 픽셀 시점에서 보이는 픽셀 중 한쪽에서만 보이는 픽셀 시점으로 재투영한 후 재투영된 픽셀의 위치값을 기반으로 상기 두 개의 비교 픽셀의 위치 관계를 파악하는 제2 파악 단계;
   상기 두 개의 비교 픽셀 중 모두 양쪽 픽셀 시점에서 안 보이는 경우, 상기 두 개의 비교 픽셀 중 모두를 다른 시점으로 2회 이상 재투영한 후 상기 두 개의 비교 픽셀 각각의 x 좌표 평균값을 기반으로 상기 두 개의 비교 픽셀의 위치 관계를 파악하는 제3 파악 단계; 및
   상기 두 개의 비교 픽셀의 위치 관계를 기반으로 상기 두 개 영상의 픽셀들을 중간 단일 영상내에 배치시키고, 기 설정된 픽셀 선택 조건에 따라 새로운 두 개의 비교 픽셀 선택이 선택되면 상기 가시성 판단 단계로 재진입하고, 그렇지 않으면 상기 비교 영상 선택 단계로 재진입하는 재진입 단계를 포함하는 것을 특징으로 하는 다시점 영상 기반의 단일 영상 처리 방법.
5. 제1항에 있어서, 상기 중간 단일 영상 처리 단계는
   상기 중간 단일 영상내에 배치된 픽셀 각각에 대한 위치 정보, 색상 정보, 및 시점 정보를 획득 및 저장하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 기반의 단일 영상 처리 방법.
6. 제4항에 있어서, 상기 중간 단일 영상 처리 단계는
   상기 단일 영상이 획득되면, 최종 상태의 중간 단일 영상내에 배치된 픽셀 각각에 대한 시점 정보를 취합하여 상기 단일 영상에 대응되는 시점 정보를 생성 및 제공하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 기반의 단일 영상 처리 방법.
7. 제4항에 있어서,
   색상 정보 및 가시 정보 중 적어도 하나를 기반으로 상기 단일 영상내 인접 픽셀들을 하나의 픽셀로 합쳐 상기 단일 영상을 압축하되, 합쳐지는 픽셀들의 시점 정보를 취합하여 합쳐진 픽셀의 시점 정보를 획득 및 저장하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 기반의 단일 영상 처리 방법.
8. 제7항에 있어서,
   상기 압축된 단일 영상의 시점 정보를 RLE(Run Length Encoding) 방식으로 압축하는 단계를 더 포함하는 것을 특징으로 하는 다시점 영상 기반의 단일 영상 처리 방법.
9. 다시점의 다수 영상, 각 영상에 대응되는 깊이 정보를 포함하는 다수의 카메라 촬영 정보를 획득하는 다시점 영상 획득부;
   상기 깊이 정보를 이용하여 각 영상내 픽셀들의 다른 시점에서 가시 정보를 획득한 후, 상기 가시 정보를 활용하여 각 영상내 픽셀들의 위치 관계를 판단한 후 픽셀별 위치 관계에 기반한 픽셀 배치 동작을 시점별로 순차 수행하여 다수의 영상을 하나의 단일 영상으로 합성하고, 상기 픽셀 배치 동작에 상응하는 시점 정보를 생성하는 단일 영상 생성부; 및
   상기 단일 영상에 대응되는 시점 정보를 기반으로 상기 단일 영상에서 n개의 시점 각각에 대응되는 다수의 영상을 추출 및 제공하는 다시점 영상 복원부를 포함하며,
   상기 단일 영상 생성부는
   기 설정된 비교 영상 선택 조건에 따라 두 개의 시점의 영상을 최초 선택하고, 상기 두 개의 영상의 가시 정보를 기반으로 픽셀별 위치관계를 파악한 후 픽셀 배치하여 중간 단일 영상을 생성하고,
   다음 시점의 영상을 추가 선택하고, 상기 다음 시점의 영상과 상기 중간 단일 영상의 가시 정보를 기반으로 픽셀별 위치관계를 파악한 후 픽셀 배치하여 상기 중간 단일 영상을 갱신하는 동작을 반복 수행하되,
   상기 다음 시점에 대응되는 영상이 없으면, 상기 중간 단일 영상을 단일 영상으로 획득 및 출력하는 것을 특징으로 하는 다시점 영상 기반의 단일 영상 처리 장치.

Images