KR20160078215A - 이미지 처리 방법 및 장치 - Google Patents

Abstract

이미지 처리 방법 및 장치가 개시된다. 개시된 이미지 처리 방법은 이미지 페어(image pair)에 포함되고 서로 대응하는 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하고, 입체 객체들이 동일한 수평선 상에 정렬되어 있지 않은 경우, 입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체가 이미지 페어에 포함되어 있는지 여부를 판단하며, 대상 객체가 이미지 페어에 포함되어 있는 경우, 입체 객체들과 대상 객체에 대해 서로 다른 이미지 처리를 수행할 수 있다.

Description

이미지 처리 방법 및 장치{METHOD AND APPARATUS FOR PROCESSING IMAGE}

아래 실시예들은 이미지 처리 방법 및 장치에 관한 것이다.

3D 디스플레이 기술은 스테레오 시각의 원리에 따라 시청자의 양안에 서로 다른 이미지를 전달함으로써, 시청자가 디스플레이되는 객체를 3차원적으로 인식할 수 있는 기술을 의미한다. 따라서, 3차원 비디오에 포함된 이미지 페어(image pair)에는 스테레오 시각의 원리에 기초한 수평 방향의 시각 차이만이 존재하고, 수직 방향의 시각 차이는 존재하지 않을 수 있다.

일실시예에 따른 이미지 처리 방법은 이미지 페어(image pair)에 포함되고 서로 대응하는 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하는 단계; 상기 입체 객체들이 동일한 수평선 상에 정렬되어 있지 않은 경우, 상기 입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체가 상기 이미지 페어에 포함되어 있는지 여부를 판단하는 단계; 및 상기 대상 객체가 상기 이미지 페어에 포함되어 있는 경우, 상기 입체 객체들과 상기 대상 객체에 대해 서로 다른 이미지 처리를 수행하는 단계를 포함한다.

일실시예에 따른 이미지 처리 방법에서 상기 이미지 페어는, 동일한 장면을 서로 다른 시점에서 촬영한 이미지들을 포함할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 서로 다른 이미지 처리를 수행하는 단계는, 상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계; 상기 대상 객체가 상기 이미지 페어로부터 분리됨으로써 발생한 이미지 구멍을 보상하는 단계; 및 상기 보상된 이미지 구멍을 포함하는 이미지 페어에 대해 이미지 처리를 수행하는 단계를 포함할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계는, 상기 대상 객체의 형태적 특징, 시간적 특징, 표준에 부합되는 기하학적 특징 중 적어도 하나의 특징에 기반하여 상기 대상 객체를 이미지 페어로부터 분리할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 대상 객체는, 자막 유형의 대상 객체이고, 상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계는, 상기 대상 객체의 형태적 특징에 기초하여 상기 이미지 페어로부터 자막 영역을 추출하는 단계; 상기 자막 영역에 포함된 픽셀 값에 기초하여 상기 자막 영역에서 상기 자막 유형의 대상 객체에 대응하는 픽셀을 식별하는 단계; 및 상기 식별된 픽셀을 이미지 페어로부터 분리하는 단계를 포함할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계는, 상기 이미지 페어에 포함된 자막 영역들을 매칭함으로써 상기 자막 영역의 깊이를 결정하는 단계; 및 상기 깊이에 기초하여 상기 자막 영역을 제거할지 여부를 결정하는 단계를 더 포함할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 대상 객체는, 아이콘 유형의 대상 객체이고, 상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계는, 미리 구성한 아이콘에 관한 템플릿 이미지를 이용하여, 상기 이미지 페어에서 아이콘 영역을 매칭하는 단계; 및 상기 매칭된 영역을 이미지 프레임에서 분리하는 단계를 포함할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 템플릿 이미지는, 상기 이미지 페어에 시간적으로 인접하는 이웃 이미지 페어와 상기 이미지 페어 간의 픽셀 값 차이에 기반하여, 상기 템플릿 이미지를 구성하는 픽셀 값을 업데이트하고, 마지막으로 업데이트된 픽셀 값에 기반하여 결정되고, 상기 업데이트는, 상기 업데이트로 인한 픽셀 값의 변화율이 미리 정해진 임계 변화율보다 낮아질 때까지 반복될 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계는, 상기 이미지 페어에 포함된 제1 이미지를 복수의 패치들로 분할하는 단계; 상기 이미지 페어에 포함되고 제1 이미지에 대응하는 제2 이미지에 상기 복수의 패치들을 매칭하는 단계; 및 상기 매칭 결과에 기초하여 결정된 상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계를 포함할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 복수의 패치들을 매칭하는 단계는, 상기 복수의 패치들에 동일한 수평선 상에 위치하는 제2 이미지의 일부 영역과 상기 복수의 패치들 간의 유사도를 나타내는 매칭 점수를 계산하는 단계를 포함하고, 상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계는, 상기 매칭 점수에 기초하여 상기 대상 객체를 결정하고, 상기 결정된 대상 객체를 이미지 페어로부터 분리할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 이미지 구멍을 보상하는 단계는, 상기 이미지 페어에서 이미지 구멍을 제외한 나머지 영역에 기초하여 상기 이미지 구멍을 보상할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 이미지 구멍을 보상하는 단계는, 상기 이미지 구멍에 포함된 픽셀에 가장 가까운 거리에 위치하는 상기 나머지 영역의 픽셀 값에 기초하여 상기 이미지 구멍의 픽셀을 보상하는 방식; 상기 이미지 구멍에 인접한 픽셀의 텍스처 특징에 기반하여 상기 이미지 구멍을 보상하는 방식; 상기 이미지 구멍에 인접한 객체의 유형 정보에 따라 이미지 페어의 컨텐츠 정보를 추정하고, 추정된 컨텐츠 정보를 이용하여 이미지 구멍을 보상하는 방식; 및 이미지 페어에 포함된 제1 이미지와 제2 이미지를 이용하여 상기 이미지 구멍을 보상하는 방식 중 어느 하나의 방식에 기초하여 상기 이미지 구멍을 보상할 수 있다.

일실시예에 따른 이미지 처리 방법은 상기 분리된 대상 객체에 대해 이미지 처리를 수행하는 단계; 및 상기 이미지 처리가 수행된 이미지 페어에 상기 이미지 처리된 대상 객체를 추가하는 단계를 더 포함할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하는 단계는, 상기 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당하는지 여부를 판단하는 단계; 상기 이미지 페어가 경계 프레임에 해당되는 경우, 상기 이미지 페어에 대한 기하학적 특징을 추정함으로써 상기 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하는 단계; 및 상기 이미지 페어가 경계 프레임에 해당되지 않은 경우, 상기 이미지 페어가 포함된 비디오 세그먼트에 대해 미리 추정된 정보에 기초하여 상기 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하는 단계를 포함할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당하는지 여부를 판단하는 단계는, 상기 이미지 페어에 앞서는 이전 이미지 페어에 대한 이미지 특징 벡터와 상기 이미지 페어에 대한 이미지 특징 벡터를 서로 비교함으로써 상기 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당하는지 여부를 판단할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 이미지 페어가 경계 프레임에 해당되는 경우, 상기 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하는 단계는, 상기 이미지 페어에 포함된 제1 이미지와 제2 이미지 간에 수직 방향의 시각 차이가 존재하는지 여부를 판단할 수 있다.

일실시예에 따른 이미지 처리 방법에서 상기 대상 객체는, 상기 입체 물체가 촬영된 이미지 페어를 편집하는 과정에서 상기 이미지 페어에 추가된 포스트 삽입 객체(post inserted object)일 수 있다.

일실시예에 따른 이미지 처리 장치는 3차원 비디오에 포함된 이미지 페어를 수신하는 통신부; 및 상기 이미지 페어에 대해 이미지 처리를 수행하는 프로세서를 포함하고, 상기 프로세서는, 상기 이미지 페어에 포함되고 서로 대응하는 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하고, 상기 입체 객체들이 동일한 수평선 상에 정렬되어 있지 않은 경우, 상기 입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체가 상기 이미지 페어에 포함되어 있는지 여부를 판단하며, 상기 대상 객체가 상기 이미지 페어에 포함되어 있는 경우, 상기 입체 객체들과 상기 대상 객체에 대해 서로 다른 이미지 처리를 수행한다.

도 1은 일실시예에 따른 이미지 페어의 예시를 나타낸 도면이다.
도 2는 일실시예에 따른 이미지 처리 방법을 나타낸 도면이다.
도 3은 일실시예에 따라 이미지 페어에 포함된 입체 객체들에 3D 오차가 있는지 여부를 판단하는 방법을 나타낸 도면이다.
도 4는 일실시예에 따라 이미지 페어에 3D 오차가 존재하는지 여부를 판단하는 방법을 나타낸 도면이다.
도 5는 일실시예에 따라 입체 객체들과 대상 객체에 대해 서로 다른 이미지 처리를 수행하는 방법을 나타낸 도면이다.
도 6은 일실시예에 따라 자막 유형의 대상 객체를 이미지 페어로부터 분리하는 방법을 나타낸 도면이다.
도 7은 일실시예에 따라 아이콘 유형의 대상 객체를 이미지 페어로부터 분리하는 방법을 나타낸 도면이다.
도 8은 일실시예에 따라 일반적인 유형의 대상 객체를 이미지 페어로부터 분리하는 방법을 나타낸 도면이다.
도 9는 일실시예에 따른 이미지 처리 장치를 나타낸 도면이다.

이하, 실시예들을 첨부된 도면을 참조하여 상세하게 설명한다. 아래의 특정한 구조적 내지 기능적 설명들은 단지 실시예들을 설명하기 위한 목적으로 예시된 것으로, 실시예의 범위가 본문에 설명된 내용에 한정되는 것으로 해석되어서는 안된다. 관련 기술 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 또한, 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타내며, 공지된 기능 및 구조는 생략하도록 한다.

도 1은 일실시예에 따른 이미지 페어의 예시를 나타낸 도면이다.

3차원 비디오는 시청자의 양안을 통한 스테레오 시각의 원리에 기초하여 디스플레이 패널에 표시되는 객체를 3차원적으로 표현하는 이미지들의 집합을 의미한다. 3차원 비디오에는 시청자의 양안에 각각 전달되는 적어도 두 개의 이미지들을 포함할 수 있다.

아래의 설명에서는 3차원 비디오에 포함된 두 개의 이미지들(예컨대, 좌영상과 우영상을 포함하는 이미지 페어(image pair))을 중심으로 일실시예에 따른 이미지 처리 방법을 설명한다. 다만, 이러한 설명이 이미지 처리 방법이 적용되는 3차원 비디오에 대한 실시예를 제한하지 않으며, 다시점(multi view)에 대응하는 이미지를 포함하는 다시점 3차원 비디오에도 동일하게 적용될 수 있다. 예를 들어, 이미지 처리 방법은 다시점 3차원 비디오에 포함된 이미지들 중에서 인접하는 두 개 시점들의 이미지들에도 동일하게 적용될 수 있다.

도 1을 참고하면, 일실시예에 따라 이미지 페어에 포함된 제1 이미지(110)와 제2 이미지(120)가 도시된다. 제1 이미지(110)와 제2 이미지(120)는 동일한 장면(scene)을 서로 다른 시점(view)에서 촬영한 이미지들(예컨대, 좌영상 및 우영상)을 나타낼 수 있다.

이미지 페어에는 입체 객체와 대상 객체가 포함될 수 있다. 입체 객체는 이미지 센서에 의해 촬영된 객체를 의미하는 것으로서, 예를 들어, 제1 이미지(110)에 포함된 제1 입체 객체(111)와 제2 입체 객체(112)를 나타내고, 제2 이미지(120)에 포함된 제1 입체 객체(121)와 제2 입체 객체(122)를 나타낼 수 있다.

대상 객체는 촬영 이후에 이미지 센서로부터 수신한 이미지를 편집하는 과정에서 이미지에 추가된 객체를 의미하는 것으로서, 예를 들어, 자막, 아이콘, 그래픽 객체 등을 포함할 수 있다. 대상 객체는 이미지에 포함된 컨텐츠에 대한 부연 설명하기 위한 것으로, 시청자의 이해를 돕기 위한 다양한 내용을 포함할 수 있다. 대상 객체는 표준에 부합하는 기하학적 특징을 포함할 수 있다. 대상 객체는 포스트 삽입 객체(post inserted object) 또는 후기 가입 객체(later joined object)을 의미할 수 있다. 도 1에 도시된 대상 객체는 제1 이미지(110)에 포함된 제1 대상 객체(113)와 제2 대상 객체(114)이고, 제2 이미지(120)에 포함된 제1 대상 객체(123)와 제2 대상 객체(124)일 수 있다.

이미지 페어에 포함된 객체들은 일대일로 대응될 수 있다. 도 1에 도시된 제1 이미지(110)의 제1 입체 객체(111)는 제2 이미지(120)의 제1 입체 객체(121)와 대응될 수 있다. 마찬가지로, 제1 이미지(110)의 제2 입체 객체(112)와 제2 이미지(120)의 제2 입체 객체(122)가 서로 대응되고, 제1 이미지(110)의 제1 대상 객체(113)와 제2 이미지(120)의 제1 대상 객체(123)가 서로 대응되며, 제1 이미지(110)의 제2 대상 객체(114)와 제2 이미지(120)의 제2 대상 객체(124)가 서로 대응될 수 있다.

이상적인 이미지 페어에서 서로 대응하는 객체들은 동일한 수평선 상에 정렬된다. 다시 말해, 이상적인 이미지 페어에 포함되고 서로 대응하는 객체들은 수직 방향에서는 시각 차이가 없고, 수평 방향에서만 시각 차이가 존재한다.

그러나, 이미지 페어에 포함된 입체 객체들에 3D 오차가 존재하는 경우, 이미지 페어에 포함되고 서로 대응하는 입체 객체들은 동일한 수평선 상에 정렬되지 않을 수 있다. 3D 오차는 동일한 장면을 서로 다른 시점에서 촬영하는 이미지 센서들 간의 카메라 파라미터 오차에 기인할 수 있다. 카메라 파라미터 오차는 이미지 센서들 간의 상대적 위치에 대한 오차, 각 이미지 센서가 이미지를 생성할 때 이용되는 이미지 생성 파라미터의 불일치 등을 포함할 수 있다. 3D 오차는 이미지 페어에 포함된 입체 객체에 존재하고, 표준에 부합되는 기하학적 특징에 따라 이미지 페어에 추가된 대상 객체에는 존재하지 않을 수 있다.

3D 오차는 서로 대응하는 객체들이 동일한 수평선 상에 정렬되지 않는 현상 또는 서로 대응하는 객체들에 수직 방향의 시각 차이가 존재하는 현상을 의미할 수 있다. 이미지 페어에 포함된 객체들의 깊이에 대한 정보는 이미지 페어의 시각 차이에 기반하여 계산되는데, 3D 오차로 인해 객체들의 깊이에 대한 정보는 정확하지 않을 수 있다. 이로 인해, 3D 오차로 인해 3차원 비디오의 품질은 저하되고, 3차원 비디오를 시청하는 사용자의 시각적인 피로는 가중될 수 있다.

도 1에 도시된 제1 입체 객체들(111, 121)은 3D 오차로 인해 동일한 수평선 상에 정렬되어 있지 않을 수 있다. 마찬가지로, 제2 입체 객체들(112, 122)도 3D 오차로 인해 동일한 수평선 상에 정렬되어 있지 않을 수 있다.

제1 입체 객체들(111, 121) 및 제2 입체 객체들(112, 122)에 3D 오차가 존재할 때, 입체 객체들(111, 112, 121, 122)과 대상 객체들(113, 114, 123, 124)은 서로 다른 기하학적 특징을 포함하게 된다. 이로 인해, 입체 객체들(111, 112, 121, 122)과 대상 객체들(113, 114, 123, 124) 간에 기하학적 특징에 대한 불연속적인 변화가 발생할 수 있다.

그래서, 입체 객체들(111, 112, 121, 122)의 3D 오차에 기초하여 이미지 페어 전체에 대한 보정(예컨대, 기하변환)을 수행하는 경우, 대상 객체에 대해서도 보정이 수행되기에 새로운 3D 오차가 발생될 수 있다. 다시 말해, 이미지 페어 전제에 대한 보정으로 인해 3D 오차가 없던 대상 객체에도 보정이 수행됨으로써, 대상 객체에 새로운 3D 오차가 발생되게 된다. 이를 방지하기 위해, 이미지 페어에서 대상 객체들(113, 114, 123, 124)을 제외한 입체 객체들(111, 112, 121, 122)에 대해서만 3D 오차를 보정할 필요가 있다. 이미지 페어에서 입체 객체들(111, 112, 121, 122)과 대상 객체들(113, 114, 123, 124)에 대해 서로 다른 이미지 처리가 수행되어야 한다.

도 2는 일실시예에 따른 이미지 처리 방법을 나타낸 도면이다.

일실시예에 따른 이미지 처리 방법은 이미지 처리 장치에 구비된 프로세서에 의해 수행될 수 있다.

일실시예에 따른 이미지 처리 장치는 3차원 비디오로부터 추출된 이미지 페어들에 이미지 처리를 수행할 수 있다. 이미지 페어는 동일한 장면을 서로 다른 시점에서 촬영한 이미지들(예컨대, 좌영상 및 우영상)을 포함할 수 있다.

단계(210)에서, 이미지 처리 장치는 이미지 페어에 포함되고 서로 대응하는 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단한다. 만약, 이미지 페어에 포함되고 서로 대응하는 입체 객체들이 동일한 수평선 상에 정렬되어 있는 경우, 단계(220)와 단계(230)은 수행되지 않을 수 있다.

입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하는 과정에 대해서는 도 3을 참고하여 후술한다.

단계(220)에서, 입체 객체들이 동일한 수평선 상에 정렬되어 있지 않은 경우, 이미지 처리 장치는 입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체가 이미지 페어에 포함되어 있는지 여부를 판단한다. 이미지 처리 장치는 상이한 기하학적 특징을 포함하는 대상 객체의 유무에 대한 판단을 통해 입체 객체들에 존재하는 3D 오차에 대한 보정이 대상 객체에 대해서도 동일하게 적용되는 것을 방지할 수 있다.

단계(230)에서, 상이한 기하학적 특징을 포함하는 대상 객체가 이미지 페어에 포함되어 있는 경우, 이미지 처리 장치는 입체 객체들과 대상 객체에 대해 서로 다른 이미지 처리를 수행한다. 이미지 처리 장치는 입체 객체들에 존재하는 수직 방향에 대한 시각 차이가 제거되도록 입체 객체들을 이미지 처리할 수 있다. 이미지 처리 장치는 대상 객체에 대해서는 선택적으로 이미지 처리를 수행할 수 있다. 입체 객체들과 대상 객체에 대해 서로 다른 이미지 처리를 수행하는 과정에 대해서는 도 5 내지 도 8을 참고하여 후술한다.

단계(231)에서, 만약 상이한 기하학적 특징을 포함하는 대상 객체가 이미지 페어에 포함되어 있지 않는 경우, 이미지 처리 장치는 입체 객체들과 대상 객체에 대해 동일한 이미지 처리를 수행할 수 있다.

도 3은 일실시예에 따라 이미지 페어에 포함된 입체 객체들에 3D 오차가 있는지 여부를 판단하는 방법을 나타낸 도면이다.

도 2에서 설명한 단계(210)는 아래의 단계들(310~330)을 포함할 수 있다.

단계(310)에서, 이미지 처리 장치는 현재 처리하고자 하는 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당하는지 여부를 판단할 수 있다.

3차원 비디오는 시간 순서에 따라 복수의 이미지 페어들을 포함하는데, 복수의 이미지 페어들은 하나 이상의 비디오 세그먼트들로 구분될 수 있다. 하나의 비디오 세그먼트는 특정 촬영 장면에 대응하므로, 해당 비디오 세그먼트에 포함된 이미지 페어들은 해당 장면을 촬영한 이미지 센서에 따른 기하학적 특징을 공통적으로 포함할 수 있다. 다시 말해, 동일한 비디오 세그먼트에 포함된 이미지 페어들은 동일한 기하학적 특징을 포함하지만, 서로 다른 비디오 세그먼트들은 장면 전환 또는 해당 장면을 촬영한 이미지 센서의 변경 등의 사유로 서로 다른 기하학적 특징을 포함할 수 있다.

동일한 비디오 세그먼트에 포함된 이미지 페어들은 동일한 기하학적 특징을 포함하므로, 특정 비디오 세그먼트의 3D 오차에 대한 추정, 보정변환에 대한 추정 등의 계산은 한번 수행되는 것만으로도 충분할 수 있다. 예를 들어, 특정 비디오 세그먼트의 경계 프레임에 해당하는 이미지 페어에 대해 3D 오차가 추정된 경우, 해당 비디오 세그먼트에 포함된 나머지 이미지 페어들에 대해서는 3D 오차에 대한 추정은 불필요할 수 있다.

그래서, 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부(예컨대, 3D 오차의 유무)를 판단하기에 앞서, 이미지 처리 장치는 처리하고자 하는 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당되는지 여부를 판단할 수 있다. 예를 들어, 이미지 처리 장치는 해당 이미지 페어가 비디오 세그먼트의 시작 경계 프레임에 해당하는지 판단할 수 있다.

일실시예에 따른 이미지 처리 장치는 현재 이미지 페어에 대한 이미지 특징 벡터와 이전 이미지 페어에 대한 이미지 특징 벡터를 이용하여 현재 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당하는지 여부를 판단할 수 있다.

이미지 특징 벡터는 복수의 파라미터를 이용하여 특정 이미지의 특징을 표현한 벡터일 수 있다. 예를 들어, 이미지 특징 벡터는 이미지에 대한 컬러 히스토그램, 그래디언트 맵(gradient map), 평균 제곱 오차(mean square error) 등을 포함할 수 있다.

이미지 처리 장치는 현재 이미지 페어의 이미지 특징 벡터와 이전 이미지 페어 간의 이미지 특징 벡터를 비교함으로써, 이미지 특징 벡터에 대한 변화율을 계산할 수 있다. 예를 들어, 이미지 처리 장치는 두 개의 이미지 특징 벡터들의 유클리드 거리(Euclidean distance)에 기반하여 이미지 특징 벡터에 대한 변화율을 계산할 수 있다.

이미지 특징 벡터에 대한 변화율이 미리 정해진 임계 비율을 초과하는 경우, 이미지 처리 장치는 해당 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당되는 것으로 판단할 수 있다. 이 때, 미리 정해진 임계 비율은 사용자에 의해 미리 입력되거나 통계 알고리즘을 일정한 비디오 샘플에 적용하여 획득된 통계분석결과에 따라 결정되는 등 다양한 방법에 의해 설정될 수 있다.

다른 일실시예에 따라 이미지 처리 장치는 해당 3차원 비디오의 촬영일자, 촬영장소 등의 비디오 성질 파라미터에 기초하여 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당되는지 여부를 판단할 수 있다. 또는, 이미지 처리 장치는 해당 3차원 비디오를 촬영한 이미지 센서에 대한 성질 등을 나타내는 센서 성질 파라미터에 기초하여 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당되는지 여부를 판단할 수 있다.

단계(320)에서, 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당되는 경우, 이미지 처리 장치는 이미지 페어에 대한 기하학적 특징을 추정하여 입체 객체들에 3D 오차가 있는지 여부를 판단할 수 있다. 그리고, 이미지 처리 장치는 판단 결과에 기초하여 3D 오차에 관한 정보 및 3D 보정변환에 대한 정보를 결정할 수 있다.

이미지 처리하고자 하는 이미지 페어가 비디오 세그먼트의 경계 프레임(예컨대, 첫 번째 프레임)인 경우, 이미지 처리 장치는 해당 비디오 세그먼트에 대한 기하학적 특징을 추정할 수 있다. 예를 들어, 이미지 처리 장치는 추정된 기하학적 특징에 기반하여 이미지 페어에 포함된 입체 객체들 중에 3D 오차가 존재하는지 여부를 판단할 수 있다. 다시 말해, 이미지 처리 장치는 기하학적 특징에 기반하여 이미지 페어에 포함된 제1 이미지와 제2 이미지 간에 수직 방향의 시각 차이가 존재하는지 여부를 판단할 수 있다. 그리고, 이미지 처리 장치는 판단 결과에 따라 3D 오차에 대한 정보 및 3D 보정변환에 대한 정보를 업데이트할 수 있다.

예를 들어, 이미지 페어에 포함된 입체 객체들에 3D 오차가 없는 경우, 3D 오차에 대한 정보는 3D 오차가 존재하지 않음을 지시하는 정보를 포함하고, 3D 보정변환에 대한 정보는 이미지의 단위변환이 변경되지 않음을 지시하는 정보를 포함할 수 있다.

반대로, 이미지 페어에 포함된 입체 객체들 중에 3D 오차가 있는 경우, 3D 오차에 대한 정보는 3D 오차에 대한 구체적인 파라미터를 포함할 수 있다. 3D 오차에 대한 정보는 이미지 페어에 포함된 입체 객체들 간의 기하변환 관계(예컨대, 3차원 공간에서 입체 객체들 간의 평행이동 또는 회전) 등을 나타내는 파라미터를 포함할 수 있다. 또한, 3D 오차에 대한 정보는 3D 오차가 존재함을 지시하는 정보를 포함할 수 있다. 3D 보정변환에 대한 정보는 판단된 3D 오차에 요구되는 변환에 대한 정보를 포함할 수 있다.

단계(330)에서, 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당되지 않는 경우, 이미지 처리 장치는 이미지 페어가 속한 비디오 세그먼트의 3D 오차에 대한 정보에 기초하여 이미지 페어에 포함된 입체 객체들에 3D 오차가 존재하는지 여부를 판단할 수 있다.

이미지 처리 장치는 비디오 세그먼트의 경계 프레임에 해당하지 않는 이미지 페어를 비경계 프레임으로 결정할 수 있다. 이미지 처리 장치는 해당 비디오 세그먼트의 경계 프레임에 대응하는 이미지 페어에 기초하여 3D 오차에 대한 정보와 3D 보정변환에 대한 정보를 업데이트하였기 때문에, 업데이트된 3D 오차에 대한 정보에 기초하여 비경계 프레임에 해당하는 이미지 페어에 3D 오차가 존재하는지 여부를 판단할 수 있다.

도 4는 일실시예에 따라 이미지 페어에 3D 오차가 존재하는지 여부를 판단하는 방법을 나타낸 도면이다.

도 3에서 설명한 단계(320)는 아래의 단계들(410~430)을 포함할 수 있다.

단계(410)에서, 이미지 처리 장치는 이미지 페어에 포함된 제1 이미지와 제2 이미지 각각에 대하여 고유 벡터(eigenvector)에 대응하는 특징 포인트를 추출하고, 특징 포인트에 대응되는 특징벡터를 계산할 수 있다.

예를 들어, 이미지 처리 장치는 제1 이미지와 제2 이미지 각각으로부터 추출된 이미지 코너(image corners)를 특징 포인트로 결정하고, SIFT(Scale-invariant Feature Transform) 연산자를 특징 벡터로 결정할 수 있다.

단계(420)에서, 이미지 처리 장치는 결정된 특징 벡터의 유사도에 기초하여 제1 이미지와 제2 이미지의 특징 포인트들을 매칭할 수 있다. 예를 들어, 이미지 처리 장치는 SIFT 연산자에 따른 특징 포인트들 간의 유사도에 기초하여 제1 이미지와 제2 이미지의 특징 포인트들 간의 매칭 관계를 결정할 수 있다.

단계(430)에서, 이미지 처리 장치는 매칭된 특징 포인트에 기초하여 이미지 페어에 포함된 입체 객체들에 3D 오차가 있는지 여부를 판단할 수 있다.

이미지 처리 장치는 수직 방향에 대한 좌표와 거리에 대한 특징 포인트를 통계 처리함으로써 히스토그램을 결정할 수 있다. 히스토그램에서 미리 정해진 임계값을 초과하는 픽셀이 미리 정해진 임계 개수(예컨대, 3개의 픽셀들)을 초과하는 경우, 이미지 처리 장치는 이미지 페어의 입체 객체들에 3D 오차가 존재하는 것으로 판단할 수 있다.

다른 일실시예에 따라 이미지 처리 장치는 이미지 페어의 제1 이미지와 제2 이미지를 촬영한 이미지 센서들의 자세에 대한 상대적인 움직임을 추정하고, 추정된 상대적인 움직임에 대한 파라미터에 기초하여 이미지 페어에 포함된 입체 객체들에 3D 오차가 존재하는지 여부를 판단할 수 있다.

도 5는 일실시예에 따라 입체 객체들과 대상 객체에 대해 서로 다른 이미지 처리를 수행하는 방법을 나타낸 도면이다.

도 2에서 설명한 단계(230)는 아래의 단계들(510~550)을 포함할 수 있다.

단계(510)에서, 이미지 처리 장치는 입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체를 이미지 페어로부터 분리할 수 있다.

이미지 처리 장치는 이미지 페어에 포함된 제1 이미지와 제2 이미지의 색상, 텍스처, 그래디언트, 그레이 등의 이미지 특징에 기초하여, 입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체를 이미지 페어로부터 분리할 수 있다.

입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체는 일반적으로 이미지 센서에 의해 촬영된 이미지를 편집하는 과정에서 이미지에 추가된 객체인 포스트 삽입 객체일 수 있다. 대상 객체는 하나 이상의 유형을 가질 수 있고, 유형마다 대상 객체를 분리하는 방법이 서로 다를 수 있다. 예를 들어, 이미지 처리 장치는 대상 객체의 형태적 특징, 시간적 특징, 표준에 부합하는 기하학적 특징 중 적어도 하나의 특징에 기반하여 대상 객체를 이미지 페어로부터 분리할 수 있다.

단계(520)에서, 이미지 처리 장치는 대상 객체가 이미지 페어로부터 분리됨에 따라 발생한 이미지 구멍을 보상할 수 있다.

이미지 페어의 제1 이미지와 제2 이미지에는 대상 객체가 이미지 페어로부터 분리됨에 따라 대상 객체의 위치에 이미지 구멍이 발생될 수 있다. 이미지 처리 장치는 제1 이미지와 제2 이미지에서 이미지 구멍을 제외한 나머지 영역에 이용하여 이미지 구멍을 채울 수 있다.

일례로, 이미지 처리 장치는 나머지 영역에 포함된 픽셀들 중에서 이미지 구멍에 포함된 특정 픽셀에 가장 가까운 거리에 위치하는 픽셀의 값을 해당 이미지 구멍의 픽셀에 할당할 수 있다. 이미지 처리 장치는 이미지 구멍에 포함된 특정 픽셀에 대해 수평적인 거리, 수직적인 거리 또는 최소 거리가 가장 짧은 나머지 영역에 포함된 픽셀의 값을 해당 이미지 구멍의 픽셀의 값으로 설정할 수 있다. 이미지 처리 장치는 이러한 방법을 이미지 구멍에 포함된 모든 픽셀에 픽셀 값이 할당될 때까지 반복적으로 수행할 수 있다. 또한, 이미지 처리 장치는 보간법에 기반하여 이미지 구멍의 에지 부분에서 중심 부분으로 픽셀 값들을 추정할 수도 있다.

다른 일례로, 이미지 처리 장치는 이미지 구멍에 인접한 픽셀의 텍스처 특징에 기반하여 이미지 구멍을 채울 수 있고, 이러한 방법은 비교적 이미지 구멍의 크기가 큰 경우에 보다 효과적일 수 있다. 이미지 처리 장치는 이미지 구멍에 인접한 영역의 텍스처 특징을 추출할 수 있다. 텍스처 특징은 이미지에서 나타나는 방향적 특징, 텍스처에 대해서 반복적으로 나타나는 진동수 특징 등을 포함할 수 있다. 이미지 처리 장치는 추출된 텍스처 특징에 따라 합성된 이미지를 해당 이미지 구멍에 채울 수 있다.

또 다른 일례로, 이미지 처리 장치는 이미지 구멍에 인접한 객체의 유형 정보에 따라 이미지 페어의 컨텐츠 정보를 추정하고, 추정된 컨텐츠 정보를 이용하여 이미지 구멍을 채울 수 있다. 이미지 처리 장치는 이미지 필터링 방법에 기반하여 이미지 구멍에 인접한 객체의 텍스처 특징을 추출하고, 추출된 텍스처 특징에 따라 객체의 유형 정보를 식별하며, 객체의 유형 정보에 따라 추정된 이미지 페어의 컨텐츠 정보에 기반하여 이미지 구멍을 채울 수 있다.

또 다른 일례로, 이미지 처리 장치는 이미지 페어에 포함된 제1 이미지와 제2 이미지를 이용하여 이미지 구멍을 채울 수 있다. 제1 이미지와 제2 이미지는 동일한 장면을 서로 다른 시점에서 촬영한 이미지들로서, 제1 이미지와 제2 이미지 간에는 일정한 시각 차이가 존재한다. 그래서, 제1 이미지에서 대상 객체에 의해 가리어진 객체는 제2 이미지에 포함되어 있을 수 있다. 마찬가지로, 제2 이미지에서 대상 객체에 의해 가리어진 객체는 제1 이미지에 포함되어 있을 수 있다. 따라서, 이미지 처리 장치는 제2 이미지에 나타난 객체를 이용하여 제1 이미지의 이미지 구멍을 채울 수 있다. 마찬가지로, 이미지 처리 장치는 제1 이미지에 나타난 객체를 이용하여 제2 이미지의 이미지 구멍을 채울 수 있다.

단계(530)에서, 이미지 처리 장치는 보상된 이미지 구멍을 포함하는 이미지 페어에 대해 이미지 처리를 수행할 수 있다.

보상된 이미지 구멍을 포함하는 이미지 페어에 포함된 입체 객체들은 동일한 기하학적 특징을 포함하므로, 이미지 페어에 대해 동일한 이미지 처리를 수행하더라도 새로운 3D 오차가 발생하지 않는다. 예를 들어, 이미지 처리 장치는 3D 오차를 보정하는 기술분야에서 일반적으로 이용되는 방식 또는 미래에 개발될 3D 보정 방식을 이용하여 이미지 페어의 입체 객체들의 3D 오차를 보정할 수 있다.

일실시예에 따라서는 분리된 대상 객체를 3D 오차가 보정된 이미지 페어에 다시 삽입하는 과정이 수행될 수 있고, 이러한 과정은 이미지 페어의 컨텐츠에 대한 정보, 이미지 페어에 포함된 입체 객체에 대한 정보, 또는 사용자에 의해 입력된 명령에 기초하여 수행될 수 있다. 만약 대상 객체를 이미지 페어에 다시 삽입하는 과정이 추가적으로 수행되지 않는 것으로 결정되는 경우, 이미지 처리 장치는 단계(530)을 수행하고 그 동작을 종료할 수 있다.

일실시예에 따른 이미지 처리 장치는 단계(530)를 단계(520) 이후에 수행할 수도 있고, 또는 단계(530)을 단계(520)와 동시에 수행할 수도 있다.

단계(540)에서, 대상 객체를 이미지 페어에 다시 삽입하는 과정이 추가적으로 수행되는 것으로 결정된 경우, 이미지 처리 장치는 대상 객체를 이미지 페어에 삽입하기에 앞서 대상 객체에 대해 이미지 처리를 수행할 수 있다. 이미지 처리 장치는 이미지 페어에 대한 분석에 기반하여 대상 객체에 대한 일정한 변환(예컨대, 크기, 위치 및/또는 깊이 등에 대한 변환)을 수행할 있다.

이미지 처리 장치는 이미지 페어에 포함된 제1 이미지와 제2 이미지 간의 시각 차이, 이미지 페어를 디스플레이하는 장치에 대한 정보, 이미지 페어의 컨텐츠에 대한 정보 중 적어도 하나에 기반하여 대상 객체에 대한 이미지 처리를 수행할 수 있다.

예를 들어, 이미지 처리 장치는 이미지 페어에 대한 시각 차이를 분석하여 이미지 페어에 포함된 객체들 중 시청자에 가장 가까이 있는 객체의 깊이를 결정할 수 있고, 자막 유형의 대상 객체가 이미지 페어에 포함된 객체들 중에서 가장 시청자에 가까이 위치하도록 해당 대상 객체의 깊이를 제어할 수 있다.

또한, 이미지 페어를 표시하는 디스플레이 장치에는 최적의 깊이 범위가 미리 정해질 수 있다. 이미지 처리 장치는 해당 디스플레이 장치의 최적의 깊이 범위를 초과하는 깊이를 가지는 대상 객체에 대해 이미지 처리를 수행할 수 있다. 이미지 처리 장치는 디스플레이 장치의 최적의 깊이 범위를 초과하지 않도록 대상 객체의 깊이를 조절할 수 있다.

또한, 이미지 처리 장치는 이미지 페어에 포함된 일부 영역들 중에서 시청자가 관심을 가지는 관심 영역을 식별할 수 있다. 이미지 처리 장치는 관심 영역이 대상 객체에 의해 가려지지 않도록 이미지 처리를 수행할 수 있다. 관심 영역이 대상 객체에 의해 가려지는 경우, 이미지 처리 장치는 대상 객체의 크기 및 위치 중 적어도 하나를 조절함으로써 관심 영역이 대상 객체에 의해 가려지는 것을 방지할 수 있다. 예를 들어, 이미지 처리 장치는 자막 유형의 대상 객체가 관심영역을 가리지 않도록 해당 대상 객체의 위치 및 크기 중 적어도 하나를 조절할 수 있다.

일실시예에 따른 이미지 처리 장치는 단계(540)를 반드시 단계(530) 다음에 수행할 필요는 없으며, 단계(510) 이후 단계(550) 이전의 임의의 위치에서 수행할 수 있다.

단계(550)에서, 이미지 처리 장치는 대상 객체를 보상된 이미지 구멍을 포함하는 이미지 페어에 추가할 수 있다. 이미지 처리 장치는 단계(540)에서 이미지 처리된 대상 객체를 추가하거나, 또는 단계(540)가 수행되지 않은 경우에는 이미지 처리되지 않은 대상 객체를 원래 위치에 삽입할 수도 있다.

도 6은 일실시예에 따라 자막 유형의 대상 객체를 이미지 페어로부터 분리하는 방법을 나타낸 도면이다.

이미지 페어로부터 분리되는 대상 객체가 자막 유형인 경우, 도 5에서 설명한 단계(510)는 아래의 단계들(610~650)을 포함할 수 있다.

단계(610)에서, 이미지 처리 장치는 대상 객체의 형태적 특징에 기초하여 이미지 페어로부터 자막 영역을 추출할 수 있다.

예를 들어, 이미지 처리 장치는 자막 유형인 대상 객체의 문자 획수에 대한 특징을 고려하여 자막 영역을 식별할 수 있다. 이미지 처리 장치는 이미지 페어의 제1 이미지와 제2 이미지 각각을 수평 방향 및 수직 방향으로 투영하고, 투영 결과가 미리 정해진 임계값을 초과하는 영역을 식별하고, 식별된 영역을 자막 유형의 대상 객체가 포함된 자막 영역으로 추출할 수 있다.

단계(620)에서, 이미지 처리 장치는 이미지 페어에서 서로 대응되는 자막 영역들을 매칭함으로써 자막 영역의 깊이를 결정할 수 있다. 이미지 처리 장치는 이미지 페어의 제1 이미지와 제2 이미지에 포함된 자막 영역들을 매칭함으로써 해당 자막 영역의 깊이에 대한 정보를 생성할 수 있다.

단계(630)에서, 이미지 처리 장치는 결정된 깊이에 기초하여 자막 영역을 제거할지 여부를 결정할 수 있다.

일반적으로, 이미지 페어에 포함된 객체들 중에서 자막 유형의 대상 객체가 시청자에 가장 가까이 표시될 수 있다. 이미지 처리 장치는 자막 영역의 깊이에 기초하여 이미지 페어에 포함된 객체들 중 자막 영역이 시청자에 가장 가까이 위치하는지 여부를 판단할 수 있다. 만약 자막 영역이 시청자에 가장 가까이 위치하지 않는 경우, 이미지 처리 장치는 자막 영역을 오검출된 것으로 판단하고 자막 영역을 제거할 수 있다. 반대로, 자막 영역이 시청자에 가장 가까이 위치하는 경우, 이미지 처리 장치는 추출된 자막 영역을 유지할 수 있고, 자막 영역에 대해 이미지 처리를 계속해서 수행할 수 있다.

일실시예에 따라서는 단계(620)와 단계(630)가 생략될 수도 있다. 다시 말해, 이미지 처리 장치는 추출된 자막 영역을 제거할지 여부를 판단하지 않고 추출된 자막 영역에 대한 이미지 처리를 계속해서 수행할 수도 있다.

단계(640)에서, 이미지 처리 장치는 픽셀 값에 기초하여 자막 영역에서 자막 유형의 대상 객체에 대응하는 픽셀을 식별할 수 있다. 예를 들어, 이미지 처리 장치는 자막 영역에 포함된 픽셀의 값에 기초하여 자막의 색상을 추출하고, 해당 색상을 포함하는 픽셀을 자막 영역에서 식별할 수 있다.

단계(650)에서, 이미지 처리 장치는 식별된 픽셀을 이미지 페어로부터 분리할 수 있다. 이미지 처리 장치는 식별된 픽셀을 자막 유형의 대상 객체로 결정하고 이미지 페어로부터 분리할 수 있다.

도 7은 일실시예에 따라 아이콘 유형의 대상 객체를 이미지 페어로부터 분리하는 방법을 나타낸 도면이다.

이미지 페어로부터 분리되는 대상 객체가 아이콘 유형인 경우, 도 5에서 설명한 단계(510)는 아래의 단계들(710~720)을 포함할 수 있다.

아이콘 유형의 대상 객체는 일반적으로 이미지 페어에 포함된 컨텐츠를 보완하거나 강화하기 위해 이미지 페어에 삽입되는 객체로서, 예를 들어, TV 표지, TV 저작권 등을 나타내는 객체를 포함할 수 있다. 아이콘 유형의 대상 객체는 시간 흐름에 대해 안정적인 시간적 특성을 가질 수 있다. 예를 들어, 아이콘 유형의 대상 객체는 시간 흐름에 대해 정적인 상태이거나 또는 주기적인 변화를 가지는 특징을 가지고, 디스플레이 화면에서 고정적인 포지션에 위치할 수 있다.

단계(710)에서, 이미지 처리 장치는 아이콘에 관한 템플릿 이미지를 이용하여 이미지 페어에서 아이콘 영역을 식별하고, 식별된 아이콘 영역을 서로 매칭할 수 있다. 이 때, 아이콘에 관한 템플릿 이미지는 미리 구성될 수 있다.

단계(720)에서, 이미지 처리 장치는 매칭된 아이콘 영역을 이미지 페어에서 분리할 수 있다.

일실시예에 따른 이미지 처리 장치는 오프라인 처리방식을 이용하여 아이콘에 관한 템플릿 이미지를 구성할 수 있다.

우선적으로, 이미지 처리 장치는 아이콘에 관한 템플릿 이미지를 초기화할 수 있다. 이 때, 템플릿 이미지에 포함된 픽셀들의 값은 0과 1 사이의 부동 소수점수(floating point number)이며 해당 템플릿 이미지가 아이콘에 관한 것인지 여부를 나타낼 수 있다.

그리고, 이미지 처리 장치는 시간 순서대로 입력되는 이미지 페어들에서 시간적으로 인접하는 두 개의 이미지 페어들 간의 픽셀 값(예컨대, 색상)의 차이를 결정할 수 있다. 이미지 처리 장치는 지수함수(exponential function)를 승수 인자(multiplier factor)로서 이용하여 픽셀 값의 차이에 기초하여 템플릿 이미지에 포함된 픽셀 값을 업데이트할 수 있다. 이 때, 해당 픽셀이 아이콘에 대한 템플릿 이미지에 해당되지 않는 경우, 해당 픽셀은 업데이트됨에 따라 0에 가까운 값을 가질 수 있다. 반대로, 해당 픽셀이 아이콘에 대한 템플릿 이미지에 해당되는 경우, 해당 픽셀은 업데이트됨에 따라 1에 가까운 값을 가질 수 있다. 업데이트로 인한 픽셀 값의 변화율이 미리 정해진 임계 변화율보다 낮은 경우, 이미지 처리 장치는 업데이트를 중지하고, 1에 가까운 값을 가지는 픽셀들을 아이콘에 대한 템플릿 이미지로 결정할 수 있다. 예를 들어, 이미지 처리 장치는 최종 업데이트된 픽셀들의 값이 0과 1 사이의 미리 정해진 기준값을 초과하는 경우, 해당 픽셀들을 아이콘에 대한 템플릿 이미지로 결정할 수 있다.

다른 일실시예에 따른 이미지 처리 장치는 캐니 에지 검출 연산자(canny edge detection operator) 또는 다른 아이콘 검출 방법 등의 다양한 방식을 통해 이미지 페어로부터 아이콘 유형의 대상 객체를 분리할 수 있다.

도 8은 일실시예에 따라 일반적인 유형의 대상 객체를 이미지 페어로부터 분리하는 방법을 나타낸 도면이다.

이미지 페어로부터 분리되는 대상 객체가 일반적인 유형인 경우, 도 5에서 설명한 단계(510)는 아래의 단계들(810~830)을 포함할 수 있다.

일반적인 유형의 대상 객체는 하나 이상의 도형의 조합으로 표현되는 객체로서, 자막 유형과 같은 일정한 형태적 특징이나 아이콘 유형과 같은 시간 흐름에 대해 안정적인 특성 등 전형적인 특성을 가지지 않을 수 있다. 일반적인 유형의 대상 객체는 표준에 부합하는 기하학적 특징에 기초하여 이미지 페어에 포함되는 객체들을 나타내는 것으로, 표준에 부합하는 기하학적 특징을 포함할 수 있다.

단계(810)에서, 이미지 처리 장치는 이미지 페어에 포함된 이미지들 중 어느 하나의 이미지(예컨대, 제1 이미지)를 복수의 패치들로 분할할 수 있다. 여기서, 복수의 패치들은 제1 이미지를 작은 크기로 분할한 일부 영역들을 의미할 수 있다. 예를 들어, 이미지 처리 장치는 평균 값의 이동(mean shift), 임계 값의 분할, 에지 검측 등의 다양한 방식을 이용하여 제1 이미지를 복수의 패치들로 분할할 수 있다.

단계(820)에서, 이미지 처리 장치는 제1 이미지에 대응하는 제2 이미지에 복수의 패치들을 매칭할 수 있다. 이미지 처리 장치는 제1 이미지의 특정 패치와 동일한 수평선 상에 위치하는 제2 이미지의 일부 영역을 해당 패치와 서로 매칭할 수 있다.

예를 들어, 이미지 처리 장치는 매칭을 통해 매칭 점수를 계산할 수 있다. 매칭 점수는 현재 처리하고자 하는 특정 패치와 해당 패치에 동일한 수평선 상에 위치하는 제2 이미지의 일부 영역 간의 유사도를 나타낼 수 있다. 이미지 처리 장치는 계산된 매칭 점수들 중에서 가장 높은 점수를 가지는 패치에 대상 객체가 포함된 것으로 판단할 수 있다. 다시 말해, 이미지 처리 장치는 제1 이미지의 패치와 제2 이미지의 일부 영역 간의 유사도가 가장 높은 패치와 일부 영역에 대상 객체가 포함된 것으로 결정할 수 있다.

또는, 이미지 처리 장치는 매칭 점수를 패치 및 일부 영역의 픽셀 값에 대한 정규화된 평균 제곱 오차(normalized mean square error)에 기초하여 계산할 수 있다. 정규화된 평균 제곱 오차를 이용함으로써, 이미지 처리 장치는 패치의 크기와 평균 밝기(average luminance)로 인한 영향을 배제하여 매칭 점수를 계산하고, 대상 객체를 검출할 수 있다.

다른 일례로, 이미지 처리 장치는 현재 처리하고자 하는 특정 패치와 해당 패치에 동일한 수평선 상에 위치하는 제2 이미지의 일부 영역 간의 차이 정도를 나타내도록 매칭 점수를 계산할 수도 있다.

단계(830)에서, 이미지 처리 장치는 매칭 결과에 기초하여 결정된 대상 객체를 이미지 페어로부터 분리할 수 있다.

이미지 처리 장치는 매칭 점수가 미리 정해진 조건을 만족하는지 여부에 기초하여 해당 패치에 대상 객체가 포함되어 있는지 여부를 결정할 수 있다. 예를 들어, 이미지 처리 장치는 계산된 매칭 점수가 미리 정해진 제1 임계 점수를 초과하는 경우에 응답하여 대상 객체가 해당 패치에 포함되어 있는 것으로 판단할 수 있다. 또는, 매칭 점수가 제1 이미지의 패치와 제2 이미지의 일부 영역 간의 차이 정도를 나타내는 경우, 이미지 처리 장치는 계산된 매칭 점수가 미리 정해진 제2 임계 점수를 초과하지 않는 경우에 응답하여 대상 객체가 해당 패치에 포함되어 있는 것으로 판단할 수 있다. 제1 임계 점수와 제2 임계 점수는 사용자에 의해 미리 결정되거나 또는 실험적 결과에 기초하여 결정되는 등 다양한 방식으로 결정될 수 있다.

이미지 페어에 포함된 입체 객체는 3D 오차로 인해 동일한 수평선 상에 위치하지 않으므로, 입체 객체의 매칭 점수와 대상 객체의 매칭 점수는 서로 구분될 수 있다. 그래서, 이미지 처리 장치는 매칭 점수를 통해 이미지 페어에 포함된 대상 객체를 식별할 수 있다.

이미지 처리 장치는 매칭 점수를 통해 결정된 대상 객체를 이미지 페어로부터 분리할 수 있다.

일실시예에 따라서는 해당 영역에서 통상의 지식을 가지는 자는 도 8에서 설명된 방법을 자막 유형 또는 아이콘 유형의 대상 객체를 이미지 페어로부터 분리하는 방법에도 적용시킬 수 있다.

도 9는 일실시예에 따른 이미지 처리 장치를 나타낸 도면이다.

도 9를 참고하면, 이미지 처리 장치(900)는 통신부(910) 및 프로세서(920)를 포함한다. 이미지 처리 장치(900)는 안경을 이용한 3D 디스플레이 기술과 무안경 방식의 3D 디스플레이 기술, 다양한 크기의 디스플레이에서 3D 이미지를 표시하는 기술에서 광범위하게 이용될 수 있다. 이미지 처리 장치(900)는 스마트 폰, 테블릿 컴퓨터, 랩톱 컴퓨터, 데스크톱 컴퓨터, 텔레비전, 웨어러블 장치, 스마트 홈 시스템 등 다양한 컴퓨팅 장치 및/또는 시스템에 탑재될 수 있다.

통신부(910)는 이미지 페어가 포함된 3차원 비디오를 수신할 수 있다. 통신부(910)는 3차원 비디오를 이미지 센서, 메모리 또는 제3 서버로부터 수신할 수 있다. 통신부(910)는 3차원 비디오에 대해 이미지 처리를 수행하기 위해 3차원 비디오를 프로세서(920)로 전달할 수 있다.

3차원 비디오는 시간 순서에 따라 복수의 이미지 페어들을 포함하고, 복수의 이미지 페어들은 하나 이상의 비디오 세그먼트들로 구분될 수 있다. 비디오 세그먼트는 장면 전환 또는 해당 장면을 촬영한 이미지 센서의 변경 등에 기초하여 구분되는 것으로, 동일한 비디오 세그먼트에 포함된 이미지 페어들은 동일한 기하학적 특징을 공유할 수 있다.

프로세서(920)는 3차원 비디오에 포함된 이미지 페어에 이미지 처리를 수행하는 장치로서, 예를 들어, 하나 이상의 프로세서를 의미할 수 있다.

프로세서(920)는 이미지 페어에 포함되고 서로 대응하는 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단한다.

프로세서(920)는 현재 처리하고자 하는 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당하는지 여부를 판단할 수 있다. 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당되는 경우, 프로세서(920)는 이미지 페어에 대한 기하학적 특징을 추정하여 입체 객체들에 3D 오차가 있는지 여부를 판단할 수 있다. 그리고 이미지 처리 장치는 판단 결과에 기초하여 3D 오차에 관한 정보 및 3D 보정변환에 대한 정보를 결정할 수 있다. 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당되지 않는 경우, 프로세서(920)는 이미지 페어가 속한 비디오 세그먼트의 3D 오차에 대한 정보에 기초하여 이미지 페어에 포함된 입체 객체들에 3D 오차가 존재하는지 여부를 판단할 수 있다.

입체 객체들이 동일한 수평선 상에 정렬되어 있지 않은 경우, 프로세서(920)는 입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체가 이미지 페어에 포함되어 있는지 여부를 판단한다. 프로세서(920)는 상이한 기하학적 특징을 포함하는 대상 객체의 유무에 대한 판단을 통해 입체 객체들에 존재하는 3D 오차에 대한 보정이 대상 객체에 대해서도 동일하게 적용되는 것을 방지할 수 있다.

상이한 기하학적 특징을 포함하는 대상 객체가 이미지 페어에 포함되어 있는 경우, 프로세서(920)는 입체 객체들과 대상 객체에 대해 서로 다른 이미지 처리를 수행한다.

프로세서(920)는 입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체를 이미지 페어로부터 분리할 수 있다. 프로세서(920)는 이미지 페어에 포함된 제1 이미지와 제2 이미지의 색상, 텍스처, 그래디언트, 그레이 등의 이미지 특징에 기초하여, 입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체를 이미지 페어로부터 분리할 수 있다.

입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체는 일반적으로 이미지 센서에 의해 촬영된 이미지를 편집하는 과정에서 이미지에 추가된 객체인 포스트 삽입 객체일 수 있다. 대상 객체는 하나 이상의 유형(예컨대, 자막 유형, 아이콘 유형, 일반적인 유형 등)을 가질 수 있고, 유형마다 대상 객체를 분리하는 방법이 서로 다를 수 있다. 예를 들어, 프로세서(920)는 대상 객체의 형태적 특징, 시간적 특징, 표준에 부합하는 기하학적 특징 중 적어도 하나의 특징에 기반하여 대상 객체를 이미지 페어로부터 분리할 수 있다.

프로세서(920)는 대상 객체가 이미지 페어로부터 분리됨에 따라 발생한 이미지 구멍을 보상할 수 있다.

프로세서(920)는 보상된 이미지 구멍을 포함하는 이미지 페어에 대해 이미지 처리를 수행할 수 있다. 프로세서(920)는 제1 이미지와 제2 이미지에서 이미지 구멍을 제외한 나머지 영역에 이용하여 이미지 구멍을 채울 수 있다.

대상 객체를 이미지 페어에 다시 삽입하는 과정이 추가적으로 수행되는 것으로 결정된 경우, 프로세서(920)는 대상 객체를 이미지 페어에 삽입하기에 앞서 대상 객체에 대해 이미지 처리를 수행할 수 있다.

프로세서(920)는 대상 객체를 보상된 이미지 구멍을 포함하는 이미지 페어에 추가할 수 있다. 프로세서(920)는 이미지 처리된 대상 객체를 추가하거나, 또는 이미지 처리되지 않은 대상 객체를 원래 위치에 삽입할 수도 있다.

도 9에 도시된 통신부(910) 및 프로세서(920)에 대해서는 도 1 내지 도 8를 통해 설명한 내용이 그대로 적용될 수 있으므로, 보다 자세한 사항은 생략한다.

실시예들은 입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체를 자동으로 검출함으로써, 3D 오차를 가지는 입체 객체들에 대한 보정으로 인해 새로운 3D 오차가 발생되는 것을 방지하여 3D 오차에 대한 보정의 품질을 보증하고, 3차원 비디오의 품질을 향상시킬 수 있다.

실시예들은 이미지 처리의 대상이 되는 이미지 프레임이 비디오 세그먼트에 포함된 경계 프레임에 해당되는 경우에만 3D 오차의 유무를 판단함으로써, 이미지 처리 과정에서 요구되는 계산량을 현저하게 감소시켜 실시간 이미지 처리를 수행할 수 있고, 이미지 처리 결과에 대한 지터(jitter)을 방지하여 이미 처리 결과에 대한 안정성을 높일 수 있다.

이상에서 설명된 실시예들은 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치, 방법 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPGA(field programmable gate array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.

소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.

실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상과 같이 비록 한정된 실시예와 도면을 통해 실시예들을 설명하였으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다. 그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (20)

1. 이미지 페어(image pair)에 포함되고 서로 대응하는 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하는 단계;
   상기 입체 객체들이 동일한 수평선 상에 정렬되어 있지 않은 경우, 상기 입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체가 상기 이미지 페어에 포함되어 있는지 여부를 판단하는 단계; 및
   상기 대상 객체가 상기 이미지 페어에 포함되어 있는 경우, 상기 입체 객체들과 상기 대상 객체에 대해 서로 다른 이미지 처리를 수행하는 단계
   를 포함하는 이미지 처리 방법.
2. 제1항에 있어서,
   상기 이미지 페어는,
   동일한 장면을 서로 다른 시점에서 촬영한 이미지들을 포함하는, 이미지 처리 방법.
3. 제1항에 있어서,
   상기 서로 다른 이미지 처리를 수행하는 단계는,
   상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계;
   상기 대상 객체가 상기 이미지 페어로부터 분리됨으로써 발생한 이미지 구멍을 보상하는 단계; 및
   상기 보상된 이미지 구멍을 포함하는 이미지 페어에 대해 이미지 처리를 수행하는 단계
   를 포함하는, 이미지 처리 방법.
4. 제3항에 있어서,
   상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계는,
   상기 대상 객체의 형태적 특징, 시간적 특징, 표준에 부합되는 기하학적 특징 중 적어도 하나의 특징에 기반하여 상기 대상 객체를 이미지 페어로부터 분리하는, 이미지 처리 방법.
5. 제4항에 있어서,
   상기 대상 객체는, 자막 유형의 대상 객체이고,
   상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계는,
   상기 대상 객체의 형태적 특징에 기초하여 상기 이미지 페어로부터 자막 영역을 추출하는 단계;
   상기 자막 영역에 포함된 픽셀 값에 기초하여 상기 자막 영역에서 상기 자막 유형의 대상 객체에 대응하는 픽셀을 식별하는 단계; 및
   상기 식별된 픽셀을 이미지 페어로부터 분리하는 단계
   를 포함하는, 이미지 처리 방법.
6. 제5항에 있어서,
   상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계는,
   상기 이미지 페어에 포함된 자막 영역들을 매칭함으로써 상기 자막 영역의 깊이를 결정하는 단계; 및
   상기 깊이에 기초하여 상기 자막 영역을 제거할지 여부를 결정하는 단계
   를 더 포함하는, 이미지 처리 방법.
7. 제4항에 있어서,
   상기 대상 객체는, 아이콘 유형의 대상 객체이고,
   상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계는,
   미리 구성한 아이콘에 관한 템플릿 이미지를 이용하여, 상기 이미지 페어에서 아이콘 영역을 매칭하는 단계; 및
   상기 매칭된 영역을 이미지 프레임에서 분리하는 단계
   를 포함하는, 이미지 처리 방법.
8. 제7항에 있어서,
   상기 템플릿 이미지는,
   상기 이미지 페어에 시간적으로 인접하는 이웃 이미지 페어와 상기 이미지 페어 간의 픽셀 값 차이에 기반하여, 상기 템플릿 이미지를 구성하는 픽셀 값을 업데이트하고, 마지막으로 업데이트된 픽셀 값에 기반하여 결정되고,
   상기 업데이트는, 상기 업데이트로 인한 픽셀 값의 변화율이 미리 정해진 임계 변화율보다 낮아질 때까지 반복되는, 이미지 처리 방법.
9. 제4항에 있어서,
   상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계는,
   상기 이미지 페어에 포함된 제1 이미지를 복수의 패치들로 분할하는 단계;
   상기 이미지 페어에 포함되고 제1 이미지에 대응하는 제2 이미지에 상기 복수의 패치들을 매칭하는 단계; 및
   상기 매칭 결과에 기초하여 결정된 상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계
   를 포함하는, 이미지 처리 방법.
10. 제9항에 있어서,
    상기 복수의 패치들을 매칭하는 단계는,
    상기 복수의 패치들에 동일한 수평선 상에 위치하는 제2 이미지의 일부 영역과 상기 복수의 패치들 간의 유사도를 나타내는 매칭 점수를 계산하는 단계
    를 포함하고,
    상기 대상 객체를 상기 이미지 페어로부터 분리하는 단계는,
    상기 매칭 점수에 기초하여 상기 대상 객체를 결정하고, 상기 결정된 대상 객체를 이미지 페어로부터 분리하는, 이미지 처리 방법.
11. 제3항에 있어서,
    상기 이미지 구멍을 보상하는 단계는,
    상기 이미지 페어에서 이미지 구멍을 제외한 나머지 영역에 기초하여 상기 이미지 구멍을 보상하는, 이미지 처리 방법.
12. 제11항에 있어서,
    상기 이미지 구멍을 보상하는 단계는,
    상기 이미지 구멍에 포함된 픽셀에 가장 가까운 거리에 위치하는 상기 나머지 영역의 픽셀 값에 기초하여 상기 이미지 구멍의 픽셀을 보상하는 방식;
    상기 이미지 구멍에 인접한 픽셀의 텍스처 특징에 기반하여 상기 이미지 구멍을 보상하는 방식;
    상기 이미지 구멍에 인접한 객체의 유형 정보에 따라 이미지 페어의 컨텐츠 정보를 추정하고, 추정된 컨텐츠 정보를 이용하여 이미지 구멍을 보상하는 방식; 및
    이미지 페어에 포함된 제1 이미지와 제2 이미지를 이용하여 상기 이미지 구멍을 보상하는 방식
    중 어느 하나의 방식에 기초하여 상기 이미지 구멍을 보상하는, 이미지 처리 방법.
13. 제3항에 있어서,
    상기 분리된 대상 객체에 대해 이미지 처리를 수행하는 단계; 및
    상기 이미지 처리가 수행된 이미지 페어에 상기 이미지 처리된 대상 객체를 추가하는 단계
    를 더 포함하는, 이미지 처리 방법.
14. 제1항에 있어서,
    상기 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하는 단계는,
    상기 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당하는지 여부를 판단하는 단계;
    상기 이미지 페어가 경계 프레임에 해당되는 경우, 상기 이미지 페어에 대한 기하학적 특징을 추정함으로써 상기 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하는 단계; 및
    상기 이미지 페어가 경계 프레임에 해당되지 않은 경우, 상기 이미지 페어가 포함된 비디오 세그먼트에 대해 미리 추정된 정보에 기초하여 상기 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하는 단계
    를 포함하는, 이미지 처리 방법.
15. 제14항에 있어서,
    상기 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당하는지 여부를 판단하는 단계는,
    상기 이미지 페어에 앞서는 이전 이미지 페어에 대한 이미지 특징 벡터와 상기 이미지 페어에 대한 이미지 특징 벡터를 서로 비교함으로써 상기 이미지 페어가 비디오 세그먼트의 경계 프레임에 해당하는지 여부를 판단하는, 이미지 처리 방법.
16. 제14항에 있어서,
    상기 이미지 페어가 경계 프레임에 해당되는 경우, 상기 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하는 단계는,
    상기 이미지 페어에 포함된 제1 이미지와 제2 이미지 간에 수직 방향의 시각 차이가 존재하는지 여부를 판단하는, 이미지 처리 방법.
17. 제1항에 있어서,
    상기 대상 객체는,
    상기 입체 물체가 촬영된 이미지 페어를 편집하는 과정에서 상기 이미지 페어에 추가된 포스트 삽입 객체(post inserted object)인, 이미지 처리 방법.
18. 제1항 내지 제17항 중에서 어느 하나의 항의 방법을 실행시키기 위한 프로그램이 기록된 컴퓨터 판독 가능한 기록 매체.
19. 3차원 비디오에 포함된 이미지 페어를 수신하는 통신부; 및
    상기 이미지 페어에 대해 이미지 처리를 수행하는 프로세서
    를 포함하고,
    상기 프로세서는,
    상기 이미지 페어에 포함되고 서로 대응하는 입체 객체들이 동일한 수평선 상에 정렬되어 있는지 여부를 판단하고,
    상기 입체 객체들이 동일한 수평선 상에 정렬되어 있지 않은 경우, 상기 입체 객체들과 상이한 기하학적 특징을 포함하는 대상 객체가 상기 이미지 페어에 포함되어 있는지 여부를 판단하며,
    상기 대상 객체가 상기 이미지 페어에 포함되어 있는 경우, 상기 입체 객체들과 상기 대상 객체에 대해 서로 다른 이미지 처리를 수행하는,
    이미지 처리 장치.
20. 제19항에 있어서,
    상기 이미지 페어는,
    동일한 장면을 서로 다른 시점에서 촬영한 이미지들을 포함하는, 이미지 처리 장치.

Images