KR102516358B1

KR102516358B1 - 영상 처리 방법 및 영상 처리 장치

Info

Publication number: KR102516358B1
Application number: KR1020160107984A
Authority: KR
Inventors: 자이란 왕; 지화 리우; 웨이밍 리; 조양호; 남동경; 밍카이 저우; 타오 홍; 하이타오 왕
Original assignee: 삼성전자주식회사
Priority date: 2015-12-25
Filing date: 2016-08-24
Publication date: 2023-03-31
Also published as: KR20170077018A; CN106921856B; CN106921856A

Abstract

본 문서에 개시되는 실시예들은 영상 처리 방법 및 영상 처리 장치에 관한 것이다. 일실시예에 따른 입체 비디오 처리 방법은, 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 단계, 상기 현재 프레임이 비디오 세그먼트 바운더리 프레임인 경우, 상기 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계 및 상기 현재 프레임에 영상 오차가 존재하는 경우, 상기 현재 프레임에 포함된 후삽입 객체(PIO: Post Inserted Objects)를 제거함으로써 현재 프레임을 처리하는 단계를 포함할 수 있다.

Description

영상 처리 방법 및 영상 처리 장치{IMAGE PROCESSING METHOD AND IMAGE PROCESSING APPARATUS THEREOF}

본 문서에 개시되는 실시예들은 영상 처리 방법 및 영상 처리 장치에 관한 것이다.

입체영상 기술은 입체영상 컨텐츠를 생성하는 기술과 입체영상을 디스플레이하기 위한 입체영상 장비기술을 포함한다. 특히, 입체영상 컨텐츠를 디스플레이 하기 위한 입체영상 디스플레이 장비에는 입체영상 처리기술이 포함될 수 있으며 소프트웨어 처리방식을 통하여 3차원 영상의 시각 디스플레이 효과를 향상시킬 수 있다.

종래기술에서, 비교적 효과적인 입체영상 처리기술에는 입체영상을 보정(rectification)하는 기술이 있다. 입체영상을 보정하는 기술의 목적은 입체영상 페어(pair) 사이의 수직방향에서의 시차를 제거하는 것이다. 입체영상 페어 사이에 존재하는 수직방향에서의 시차는, 입체영상을 촬영할 때 사용하는 두 대의 입체영상 카메라 간의 파라미터 조절 오차로 인해 발생된 것이다. 이런 파라미터 오차는 두 대의 입체영상 카메라 사이에 존재하는 위치 차이 또는 입체영상 카메라 내부의 입체영상 형성 파라미터의 불일치 등으로부터 기인할 수 있다. 입체영상을 보정하는 과정은 상기 오차를 예측하여 입체영상에 대한 변환 파라미터를 획득하고, 입체영상 페어 간의 수직방향에서의 시차를 제거하는 과정을 포함할 수 있다.

입체영상 처리는 주로 입체영상 카메라에 의해 촬영된 2차원 영상 처리에 집중된다. 3차원 세계의 물체는 서로 다른 시각 포인트(좌측 및 우측)를 가진 두 대의 입체영상 카메라에 촬영되며, 촬영을 통해 획득된 입체영상 페어는 등극선(Epipolar Line) 상에 위치하게 된다. 다시각 기하이론에 따라, 두 개의 입체영상에 2차원 투시투영변환(perspective projection transformation)(또는 호모그래피(homograph))이 이루어지면 두 개의 입체영상의 등극선 정렬을 할 수 있다. 참고로, 광학렌즈로 인한 뒤틀림은 국부 평활에 해당한다는 점에서, 렌즈로부터 기인된 비선형 뒤틀림(non-linear distortion) 오차는 국부 평활 변환(local smoothing transformation)의 방법을 사용하여 보정할 수 있다.

후삽입 객체(Post Inserted Object)는 입체영상이 제작된 후 입체영상에 추가로 삽입된 객체를 의미하는 것으로서, 예를 들어 방송사 로고나 자막 등이 이에 해당할 수 있다. 후삽입 객체는 입체영상을 구성하는 좌영상 및 우영상에서 동일한 수평위치에 위치하는 것이 일반적이다. 후삽입 객체와 입체영상은 생성된 시기가 상이하기 때문에 그들의 입체기하관계에 차이가 있을 수 있다. 또한, 원래 영상 자체에 오차가 존재할 경우, 원래 영상 자체에 존재하는 오차를 보정하는 과정에서 후삽입 객체와 원래 영상의 입체기하관계가 틀어지는 문제점이 발생할 수 있다.

입체영상의 좌영상 및 우영상 사이에 존재하는 영상 오차는, 전체적 변환 또는 국부 평활 변환(local smoothing transformation)의 방법을 이용하여 보정될 수 있다. 이러한 보정 방법에 따라 후삽입 객체를 포함한 입체영상을 보정할 경우, 바르게 위치해있던 후삽입 객체의 위치가 틀어지는 오차가 발생할 수 있다. 후삽입 객체는 입체영상이 제작된 후 추후에 삽입되기 때문에, 원래 영상에 비해 비교적 선명한 시각적 특징을 가지고 있다. 이와 같이 선명한 시각적 특징을 가진 후삽입 객체에 오차가 존재할 경우 입체영상을 보는 사용자에게 상당한 불편을 발생시킬 수 있다.

본 문서에 개시되는 일실시예에 따르면, 후삽입 객체를 포함하는 입체영상을 보정할 때 원래 영상 및 후삽입 객체에 대한 입체 오차를 함께 보정함으로써 입체영상의 품질을 향상시킬 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법은, 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 단계, 상기 현재 프레임이 비디오 세그먼트 바운더리 프레임인 경우, 상기 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계 및 상기 현재 프레임에 영상 오차가 존재하는 경우, 상기 현재 프레임에 포함된 후삽입 객체(PIO: Post Inserted Objects)를 제거함으로써 현재 프레임을 처리하는 단계를 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 단계는, 상기 현재 프레임과 상기 이전 프레임 간 영상 특징에 대한 변화 정도에 기초하여 상기 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 영상 특징에 대한 변화 정도는, 상기 현재 프레임의 움직임, 색상, 밝기 중 적어도 하나를 포함하는 제1 특징 벡터와 이전 프레임의 제2 특징 벡터에 따라 결정될 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계는, 상기 현재 프레임의 좌영상 및 우영상 각각에 대한 뎁스 맵(depth map) 정보를 기초로 분포 히스토그램을 생성하는 단계 및 상기 분포 히스토그램의 피크(peak) 값이 임계치를 초과하는 경우, 상기 현재 프레임에 입차 시차가 존재하는 것으로 판단하는 단계를 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 처리하는 단계는, 상기 현재 프레임에서 후삽입 객체를 제거하는 단계, 상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 단계 및 상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계를 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 현재 프레임에서 후삽입 객체를 제거하는 단계는, 상기 현재 프레임에 존재하는 후삽입 객체의 유형을 결정하는 단계 및 상기 결정된 유형을 기초로, 상기 입력된 입체영상에 존재하는 상기 후삽입 객체의 경계를 설정하는 단계를 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계는, 상기 후삽입 객체가 상기 현재 프레임에서 제거되었던 원래 위치에 삽입되는 단계를 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 처리하는 단계는, 상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계를 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계는, 상기 제거된 영역 주변에 위치한 픽셀 중 상기 영역에 포함되지 않는 픽셀의 색상 값에 기초하여, 상기 영역에 포함된 픽셀을 횡단(traverse) 처리하는 단계를 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법은, 입체 비디오의 현재 프레임에 대해 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하는 단계, 상기 현재 프레임에 후삽입 객체가 존재하는 경우, 상기 현재 프레임에서 상기 후삽입 객체를 제거하는 단계, 상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 단계 및 상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계를 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 입체 비디오의 현재 프레임에 대해 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하는 단계는, 상기 현재 프레임이 비디오 세그먼트 바운더리 프레임이고, 상기 현재 프레임에 영상 오차가 존재하는 경우에 수행될 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 현재 프레임에서 상기 후삽입 객체를 제거하는 단계는, 상기 현재 프레임에 대한 X방향 및 Y방향 투영분석을 통해 상기 현재 프레임에 텍스트형 후삽입 객체가 존재하는지 판단하는 단계, 상기 텍스트형 후삽입 객체가 존재할 경우, 상기 텍스트형 후삽입 객체의 뎁스(depth)를 측정하는 단계, 상기 측정된 뎁스를 기초로, 상기 텍스트형 후삽입 객체 중 전경(foreground)에 포함되지 않는 객체를 제거하는 단계, 상기 현재 프레임의 색상 분포 히스토그램을 기초로, 제거되지 않은 텍스트형 후삽입 객체의 색상을 추출하는 단계 및 상기 추출된 색상을 기초로, 상기 제거되지 않은 텍스트형 후삽입 객체를 제거하는 단계를 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 투영분석을 통해 상기 현재 프레임에 존재하는 텍스트형 후삽입 객체를 검색하는 단계는, 상기 텍스트형 후삽입 객체의 엣지(edge) 강도 값을 계산하는 단계, 상기 계산된 엣지 강도 값이 임계값 미만인 경우, 상기 계산된 엣지 강도 값을 0으로 설정하는 단계 및 상기 설정된 엣지 강도 값을 기초로, 상기 텍스트형 후삽입 객체의 위치를 결정하는 단계를 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 투영분석을 통해 상기 현재 프레임에 존재하는 텍스트형 후삽입 객체를 검색하는 단계는, 상기 텍스트형 후삽입 객체의 컷오프(cut-off) 엣지(edge)를 추출하는 단계, 상기 추출된 컷오프 엣지의 수평투영 값 및 수직투영 값을 계산하는 단계, 상기 계산된 수평투영 값을 기초로, 상기 텍스트형 후삽입 객체의 상하 바운더리를 획득하는 단계, 상기 계산된 수직투영 값을 기초로, 상기 텍스트형 후삽입 객체의 좌우 바운더리를 획득하는 단계 및 상기 상하 바운더리 및 좌우 바운더리를 기초로, 상기 텍스트형 후삽입 객체의 위치를 조정하는 단계를 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법은, 복수의 텍스트형 후삽입 객체 샘플들 및 비 텍스트형 후삽입 객체 샘플들로부터 추출된 각 샘플들의 특징을 바탕으로 텍스트형 후삽입 객체의 유형을 획득하는 단계 및 상기 획득된 텍스트형 후삽입 객체의 유형을 이용하여 상기 텍스트형 후삽입 객체 중 비 텍스트형 후삽입 객체에 해당하는 영역을 제거하는 단계를 더 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법에 있어서, 상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 단계는, 상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계를 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 장치는, 입체 비디오의 현재 프레임에 대해 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하고, 상기 현재 프레임에 후삽입 객체가 존재하는 경우 상기 현재 프레임에서 상기 후삽입 객체를 제거하는 후삽입 객체 제거 모듈, 상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 입체 비디오 보정 모듈 및 상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입(reinsert)하는 후삽입 객체 삽입 모듈을 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 장치를 포함하는 입체 비디오 디스플레이 장치가 구비될 수 있다.

본 문서에 개시되는 일실시예에 따르면, 입체영상에 존재하는 후삽입 객체를 추출하고 위치를 조정할 수 있다.

본 문서에 개시되는 일실시예에 따르면, 입체영상과 후삽입 객체가 표준 입체기하관계에 부합하도록 배치할 수 있으며, 후삽입 객체를 포함하는 입체영상을 보정할 때 오차를 바로잡아 입체영상의 품질을 향상시킬 수 있다.

도 1은 본 발명의 일실시예에 따른 입체 비디오의 프레임을 구성하는 좌영상 및 우영상을 나타낸 도면이다.
도 2는 본 발명의 일실시예에 따른 도 1의 입체 비디오의 영상 오차를 보정하는 과정을 설명하기 위한 도면이다.
도 3a은 본 발명의 일실시예에 따른 입체 비디오 처리 방법을 설명하기 위한 도면이다.
도 3b는 본 발명의 일실시예에 따른 입체 비디오 처리 장치를 설명하기 위한 도면이다.
도 4는 본 발명의 일실시예에 따른 입체 비디오 처리 방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일실시예에 따른 현재 프레임에서 후삽입 객체를 처리하는 방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일실시예에 따른 현재 프레임에 존재하는 후삽입 객체를 확인하는 과정을 설명하기 위한 도면이다.

아래에 첨부도면 및 구체적 실시예를 결합하여 본 발명에 대한 진일보의 상세한 설명을 한다.

도 1은 본 발명의 일실시예에 따른 입체 비디오의 프레임을 구성하는 좌영상 및 우영상을 나타낸 도면이다. 입체 비디오의 프레임은 좌영상(100)과 우영상(110)를 포함한다. 좌영상(100)의 (101) 및 (103)과 우영상(110)의 (111) 및 (113)은 입체 비디오의 대상이 되는 풍경 속의 피사체이다. 이상적인 좌영상(100) 및 우영상(110) 내 피사체들은 동일한 수평선상에 정렬될 수 있다. 그러나 실제로는 입체 비디오를 촬영하는 과정에서 오차가 발생하기 때문에, 도 1에 개시된 바와 같이, 좌영상(100) 및 우영상(110) 내 피사체들(101, 103, 111, 113)은 동일한 수평선상에 정렬되지 않는 경우가 많다.

촬영이 완료된 입체 비디오를 추후 편집하는 과정에서 후삽입 객체(PIO: Post Inserted Objects)가 입체 비디오에 추가될 수 있다. 예를 들어, 영상에 첨부될 수 있는 방송국 로고나 자막 등이 후삽입 객체에 해당할 수 있다. 도 1을 보면, 좌영상(100) 및 우영상(110)에 포함된 (105) 및 (115)는 방송국 로고의 예시로 볼 수 있고, (107) 및 (117)은 자막의 예시로 볼 수 있다. 후삽입 객체는 입체 비디오가 촬영된 후 추가되는 요소이기 때문에, 좌영상(100) 및 우영상(110) 각각의 서로 대응되는 위치에 삽입될 수 있다. 다시 말해, 후삽입 객체는 좌영상(100) 및 우영상(110)에서 동일 수평선상에 위치할 수 있다.

도 1에 개시된 바와 같이, 입체 비디오의 프레임(100, 110)을 구성하는 요소들 간에 영상 오차가 발생할 수 있다. 여기서 말하는 영상 오차란, 프레임을 구성하는 좌영상 및 우영상 간에 발생하는 오차를 의미할 수 있다. 예를 들어, 도 1의 좌영상(100) 및 우영상(110)에서 실제 풍경 속의 피사체들(101, 103, 111, 113)이 동일한 수평선상에 정렬되지 않은 것을 확인할 수 있다. 이와 같이, 입체 비디오의 프레임을 구성하는 좌영상 및 우영상에서 서로 대응되는 피사체의 위치 또는 크기 등이 다르게 표현되는 것을 영상 오차로 볼 수 있다.

영상 오차를 보정하기 위해 사용되는 방법은 다음과 같다. 첫째, 좌영상 및 우영상 내에 존재하는 모든 구성 요소들을 동일한 방법으로 일괄 보정하는 방법이 있다. 둘째, 좌영상 및 우영상 내에 존재하는 일부 구성 요소들을 평활화하는 국부 평활 변환(local smoothing transformation) 방법이 있다.

일실시예에 따른 도 1에 개시된 좌영상(100) 및 우영상(110)의 피사체들(101, 103, 111, 113)은 서로 대응되는 요소들 간에 영상 오차를 포함하고 있다. 예를 들어, 좌영상(100)의 (101) 피사체와 대응되는 우영상(110)의 (111) 피사체는 서로 수평선상에 정렬되지 않는다. 또한, 좌영상(100)의 (103) 피사체와 대응되는 우영상(110)의 (113) 피사체는 서로 수평선상에 정렬되지 않는다. 이와 같은 영상 오차를 보정(rectification)하기 위해, 우영상(110)에 포함된 모든 구성요소들(111, 113, 115, 117)을 동일한 방법으로 일괄 보정할 수 있다.

우영상에 포함된 모든 구성요소들을 동일한 방법으로 일괄 보정한 실시예를 하기 도 2를 통해 더 자세히 설명한다.

도 2는 본 발명의 일실시예에 따른 도 1의 입체 비디오의 영상 오차를 보정하는 과정을 설명하기 위한 도면이다.

일실시예에 따른 입체 비디오의 프레임을 구성하는 좌영상 및 우영상의 영상 오차를 보정하기 위해, 좌영상에 포함된 피사체를 기준으로 우영상에 포함된 구성요소들(피사체 및 후삽입 객체)을 일괄 보정할 수 있다. 예를 들어, 도 1에 개시된 좌영상(100)의 피사체들(101, 103)을 기준으로 우영상(110)에 포함된 피사체들(111, 113)의 수평 위치를 보정하기 위해, 우영상(110)에 포함된 모든 구성요소들(111, 113, 115, 117)을 일괄 보정할 수 있다. 도 2의 우영상(210)은 도1 의 우영상(110)에 포함된 구성요소들을 일괄 보정한 결과를 도시한 것이다.

일실시예에 따라 우영상의 구성요소들에 대해 일괄 보정을 수행한 결과, 도 2에 개시된 좌영상(200)에 포함된 피사체(201, 203) 및 우영상(210)에 포함된 피사체(211, 213)의 위치가 수평선상에 정렬된 것을 확인할 수 있다. 그러나, 좌영상 및 우영상 간에 존재하는 영상 오차를 제거하기 위해 우영상에 포함된 구성요소들을 일괄 보정한 결과, 우영상(210)에 포함된 후삽입 객체(215, 217)들에 영상 오차가 발생한 것을 확인할 수 있다.

도 3a은 본 발명의 일실시예에 따른 입체 비디오 처리 방법을 설명하기 위한 도면이다.

일실시예에 따른 입체 비디오 처리 방법은, 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 단계(311), 현재 프레임이 비디오 세그먼트 바운더리 프레임인 경우, 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계(313) 및 현재 프레임에 영상 오차가 존재하는 경우, 현재 프레임에 포함된 후삽입 객체(PIO: Post Inserted Objects)를 제거함으로써 현재 프레임을 처리하는 단계(315)를 포함할 수 있다.

단계(311)에서, 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단할 수 있다. 판단 결과 현재 프레임이 비디오 세그먼트 바운더리 프레임에 해당할 경우, 입체 비디오의 현재 프레임에 영상 오차가 존재하는지 여부를 판단할 수 있다.

만약 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임이 아닐 경우, 현재 프레임의 이전 프레임과 동일한 처리방식을 사용하여 현재 프레임의 입체영상을 처리할 수 있다.

이와 같은 방법에 따를 경우, 비디오 프레임 내의 모든 입체영상에 대하여 입체오차가 존재하는지 여부를 판단할 필요가 없기 때문에 시간이 절약될 수 있다.

입체영상이 속한 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부의 판단은, 현재 처리 중인 영상 프레임이 다른 풍경을 촬영한 두 세그먼트의 바운더리에 위치하는지 여부를 판단함으로써 수행될 수 있다. 입체 비디오를 구성하는 좌영상 및 우영상 간의 영상 오차는 비디오 세그먼트 단위 별로 발생할 수 있다. 그렇기 때문에 입체 비디오에 영상 오차가 존재하는지 여부를 판단하는 동작을 비디오 세그먼트 당 한 번만 수행함으로써, 입체 비디오를 처리하는데 소요되는 시간 등을 감소시킬 수 있다.

단계(313)에서, 현재 프레임이 비디오 세그먼트 바운더리 프레임인 경우, 현재 프레임에 영상 오차가 존재하는지 여부를 판단할 수 있다. 일실시예에 따라, 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계는 다음 과정을 통해 이루어질 수 있다.

입체 비디오의 현재 프레임을 구성하는 좌영상 및 우영상 각각에서 특징 포인트를 추출할 수 있다. 특징 포인트는 좌영상 및 우영상에 포함된 구성요소들 중 의미를 가질 수 있는 최소 단위의 구성요소들을 의미할 수 있다. 또한, 좌영상의 특징 포인트와 우영상의 특징 포인트 각각에 대하여 특징 벡터를 생성할 수 있다. 생성된 좌영상의 특징 벡터와 우영상의 특징 벡터의 상호 유사성에 근거하여, 좌영상의 특징 포인트 및 우영상의 특징 포인트를 매칭시킬 수 있다. 매칭된 좌영상의 특징 포인트 및 우영상의 특징 포인트로부터 획득된 수직방향의 뎁스 값(depth value)을 합산함으로써, 뎁스 값과 관련된 분포 히스토그램을 생성할 수 있다. 생성된 분포 히스토그램의 피크(peak) 값이 미리 설정된 임계값을 초과할 경우, 현재 프레임에 영상 오차가 존재하는 것으로 판단할 수 있다. 만약 생성된 분포 히스토그램의 피크(peak) 값이 미리 설정된 임계값을 초과하지 않을 경우, 현재 프레임에 영상 오차가 존재하지 않는 것으로 판단할 수 있다.

단계(315)에서, 현재 프레임에 영상 오차가 존재하는 경우, 현재 프레임에 포함된 후삽입 객체(PIO: Post Inserted Objects)를 제거함으로써 현재 프레임을 처리할 수 있다.

일실시예에 따른 현재 프레임에 존재하는 영상 오차는, 입체 비디오의 촬영 대상인 피사체가 입체 비디오의 프레임을 구성하는 좌영상 및 우영상에서 서로 동일한 수평선상에 정렬되지 않는 상황을 의미할 수 있다. 현재 프레임에 존재하는 영상 오차를 보정하기 위해, 좌영상 및 우영상 중 어느 하나에 포함된 피사체를 기준으로 타 영상에 포함된 피사체의 위치를 수정할 수 있다. 예를 들어, 우영상에 포함된 피사체들의 위치가 좌영상에 포함된 피사체와 수평선상에 정렬되도록, 우영상에 포함된 피사체들의 위치를 수정할 수 있다.

이 때, 우영상에 포함된 구성요소들 중 정렬이 필요하지 않는 구성요소는 보정을 수행하는 과정에서 제외될 필요가 있다. 따라서, 현재 프레임에 영상 오차가 존재하는 것으로 판단된 경우, 현재 프레임에 포함된 구성요소들 중 보정이 필요하지 않은 구성요소들은 현재 프레임에서 제거될 수 있다. 예를 들어, 좌영상에 포함된 구성요소들의 위치를 기준으로 우영상에 포함된 구성요소들의 위치를 보정할 경우, 우영상에 포함된 구성요소들 중 보정이 필요하지 않은 구성요소가 있는지 판단할 수 있다. 우영상에 포함된 구성요소들 중 후삽입 객체는 입체 비디오가 촬영된 후 삽입된 객체이므로, 우영상에 포함된 피사체와 달리 보정이 필요하지 않을 수 있다. 이 경우, 입체 비디오를 처리하는 방법은 우영상에 포함된 후삽입 객체를 우영상에서 제거하는 단계를 포함할 수 있다.

도 3b는 본 발명의 일실시예에 따른 입체 비디오 처리 장치를 설명하기 위한 도면이다.

일실시예에 따른 입체 비디오 처리 장치는 입체 비디오의 현재 프레임에 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하고, 현재 프레임에 후삽입 객체가 존재하는 경우 현재 프레임에서 후삽입 객체를 제거하는 후삽입 객체 제거 모듈, 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 입체 비디오 보정 모듈 및 보정된 현재 프레임에 제거된 후삽입 객체를 삽입(reinsert)하는 후삽입 객체 삽입 모듈을 포함할 수 있다.

본 문서에 개시되는 일실시예에 따른 입체 비디오 처리 방법과 처리 장치는 정지상태의 입체영상을 처리하는데 이용될 수 있다. 뿐만아니라 동적 상태의 입체 비디오를 처리하는데 이용될 수 있다. 입체 비디오를 처리하는 과정은 입체 비디오를 구성하는 프레임 각각에 대하여 수행될 수 있다. 또한, 본 문서에 개시되는 입체 비디오 처리 방법과 처리 장치는, 입체 비디오의 프레임을 구성하는 좌영상 및 우영상 중 적어도 어느 하나를 처리하는데 이용될 수 있다.

도 4는 본 발명의 일실시예에 따른 입체 비디오 처리 방법을 설명하기 위한 도면이다.

단계(401)에서, 일실시예에 따른 처리 방법은, 입체 비디오가 입력되는지 여부를 판단하는 단계를 포함할 수 있다. 입체 비디오 처리 방법은, 입력된 입체 비디오의 현재 프레임에 대하여 보정이 필요한지 여부를 판단하고, 보정을 수행하기 위한 것이므로, 입체 비디오가 입력되는지 여부를 판단하는 단계를 포함할 수 있다.

단계(403)에서, 일실시예에 따른 처리 방법은, 입력된 입체 비디오의 현재 프레임에 후삽입 객체(Post Inserted Objects)가 존재하는지 여부를 판단하는 단계를 포함할 수 있다. 후삽입 객체는 입체 비디오가 촬영된 후 입체 비디오에 추가로 삽입된 객체를 의미할 수 있다. 예를 들어, 입체 비디오에 추가로 삽입된 방송국 로고 또는 자막이 후삽입 객체에 포함될 수 있다.

단계(405)에서, 일실시예에 따른 처리 방법은, 입체 비디오의 현재 프레임에 텍스트형 PIO가 존재하는지 여부를 판단할 수 있다. 예를 들어, 입체 비디오가 촬영된 후 삽입된 자막이 존재하는 경우, 입체 비디오의 현재 프레임에 텍스트형 PIO가 존재하는 것으로 판단할 수 있다.

단계(407)에서, 일실시예에 따른 처리 방법은, 입체 비디오의 현재 프레임에 아이콘형 PIO가 존재하는지 여부를 판단할 수 있다. 예를 들어, 입체 비디오가 촬영된 후 삽입된 방송국 로고가 존재하는 경우, 입체 비디오의 현재 프레임에 아이콘형 PIO가 존재하는 것으로 판단할 수 있다. 아이콘형 PIO는 사진, 그림, 아이콘 형태의 컨텐츠를 포함할 수 있다.

단계(409)에서, 일실시예에 따른 처리 방법은, 입체 비디오의 현재 프레임에 포함된 후삽입 객체를 제거하는 단계를 포함할 수 있다. 예를 들어, 현재 프레임에 텍스트형 PIO가 존재하는 경우, 텍스트형 PIO의 바운더리가 설정될 수 있다. 현재 프레임에 포함된 텍스트형 PIO의 형태 및 유형에 따라 문자 단위, 문장 단위 또는 문단 단위로 바운더리가 설정될 수 있다. 설정된 바운더리를 기초로, 텍스트형 PIO가 현재 프레임에서 제거될 수 있다. 현재 프레임에 아이콘형 PIO가 존재하는 경우, 아이콘형 PIO의 바운더리가 설정될 수 있으며, 설정된 바운더리를 기초로 현재 프레임에서 제거될 수 있다.

단계(411)에서, 일실시예에 따른 처리 방법은, 입체 비디오의 현재 프레임에서 후삽입 객체가 제거된 영역을 채우는 단계를 포함할 수 있다. 현재 프레임에서 후삽입 객체가 제거되면, 제거된 영역이 공백으로 표현될 수 있다. 예를 들어, 흰색 또는 검은색으로 표현될 수 있다. 후삽입 객체가 제거된 영역의 주변에 위치한 픽셀의 색상을 기초로, 후삽입 객체가 제거된 영역의 전부 또는 일부를 채울 수 있다. 입체 비디오에 후삽입 객체가 추가되기 전의 원본 입체 비디오가 존재하는 경우, 원본 입체 비디오를 기초로, 후삽입 객체가 제거된 영역을 채울 수 있다.

일실시예에 따라, 후삽입 객체가 제거된 영역 중 일부만 채울 수 있다. 예를 들어, 후삽입 객체가 제거된 영역의 경계에서 중심 방향으로 일정 영역만 채울 수 있다. 또는, 후삽입 객체가 제거된 영역의 경계를 블러(blur) 처리하여, 제거된 영역 중 공백으로 표현되는 영역을 줄일 수 있다.

단계(413)에서, 일실시예에 따른 처리 방법은, 후삽입 객체가 제거된 입체 비디오의 현재 프레임을 보정하는 단계를 포함할 수 있다. 예를 들어, 후삽입 객체가 제거된 현재 프레임은 영상 오차를 포함할 수 있다. 현재 프레임에 존재하는 영상 오차는, 현재 프레임을 구성하는 좌영상 및 우영상 중 적어도 어느 하나를 수정하여 좌영상 및 우영상에 포함된 구성요소들을 동일한 수평선상에 정렬하는 방식으로 보정될 수 있다. 앞서, 단계(409)에서 후삽입 객체가 제거되었기 때문에, 단계(411)에서 수행되는 보정의 대상은 원본 입체 비디오에 포함된 피사체들이다.

단계(415)에서, 일실시예에 따른 처리 방법은, 보정된 현재 프레임에 후삽입 객체를 삽입하는 단계를 포함할 수 있다. 현재 프레임에서 제거된 후삽입 객체는, 현재 프레임에 존재하는 영상 오차에 대한 보정이 완료된 후 다시 삽입될 수 있다. 후삽입 객체가 보정된 현재 프레임에 삽입되는 위치는, 보정 전 현재 프레임에서 제거된 위치와 동일한 위치일 수 있다.

단계(417)에서, 일실시예에 따른 처리 방법은, 입체 비디오의 현재 프레임에 후삽입 객체가 존재하지 않는 것으로 판단된 경우, 현재 프레임에 포함된 영상 오차를 보정하는 단계를 포함할 수 있다. 현재 프레임에 후삽입 객체가 존재하지 않으므로, 현재 프레임의 영상 오차에 대한 보정은 후삽입 객체를 고려할 필요없이 바로 수행될 수 있다.

단계(419)에서, 일실시예에 따른 처리 방법은, 보정이 완료된 입체 비디오를 출력하는 단계를 포함할 수 있다. 후삽입 객체를 포함하는 입체 비디오 또는 후삽입 객체를 포함하지 않는 입체 비디오에 대한 보정이 완료된 경우, 보정된 입체 비디오를 사용자에게 출력할 수 있다.

본 문서에 개시된 입체 비디오의 현재 프레임을 처리하는 방법은 단계(401) 내지 단계(419) 중 적어도 하나 이상의 단계를 포함할 수 있다. 단계(401) 내지 단계(419) 중 어느 단계는 현재 프레임을 처리하는 방법에서 제외될 수 있다.

도 5는 본 발명의 일실시예에 따른 현재 프레임에서 후삽입 객체를 처리하는 방법을 설명하기 위한 도면이다.

단계(500)에서, 입력된 입체 비디오의 현재 프레임에 후삽입 객체가 존재하는지 여부를 판단하는 단계에 있어서, 후삽입 객체의 존재여부를 판단하기 전에 입력된 입체 비디오의 현재 프레임에 영상 오차가 존재하는지 여부를 먼저 판단할 수 있다. 따라서 현재 프레임에 영상 오차가 존재하는 경우, 현재 프레임에 후삽입 객체가 존재하는지 여부를 판단할 수 있다. 반대로, 현재 프레임에 영상 오차가 존재하지 않는 경우, 현재 프레임에 후삽입 객체가 존재하는지 여부를 판단하는 동작을 수행하지 않을 수 있다.

단계(510)에서, 입체 비디오의 현재 프레임에 후삽입 객체가 존재하는 경우, 현재 프레임에서 후삽입 객체를 제거하는 단계에 있어서, 후삽입 객체를 제거하기에 앞서 후삽입 객체의 유형을 결정하는 동작을 수행할 수 있다. 후삽입 객체의 유형과 관련된 정보는 사용자에 의해 미리 저장될 수 있다. 후삽입 객체의 유형에는 자막 등을 포함하는 텍스트형 후삽입 객체나, 로고 또는 사진 등을 포함하는 아이콘형 후삽입 객체가 포함될 수 있다. 후삽입 객체를 제거하는 동작은 결정된 유형에 따라 상이한 방법으로 수행될 수 있다. 예를 들어, 자막 등의 경우, 자막에 포함된 문자를 일일이 분리하여 추출하는 방법이 적용될 수 있다. 결정된 유형에 따라 후삽입 객체의 경계를 설정하는 동작을 추가로 수행할 수 있으며, 설정된 경계에 따라 후삽입 객체를 제거할 수 있다.

단계(520)에서, 후삽입 객체가 제거된 현재 프레임을 보정하는 단계에 있어서, 혀재 프레임에서 후삽입 객체가 분할하여 제거됨으로 인해, 후삽입 객체가 있었던 영역이 비어있는 상태(예를 들면, 검은색 또는 흰색)로 표현될 수 있다. 이 경우, 후삽입 객체가 있었던 영역을 주변 픽셀 정보를 기초로 하여 채우는 동작을 수행할 수 있다. 예를 들어, 후삽입 객체의 제거로 인해 생긴 영역의 주변에 위치한 픽셀의 색상 값에 기초하여, 제거된 영역에 포함된 픽셀을 횡단(traverse) 처리하는 방법을 이용하여 채울 수 있다.

단계(530)에서, 보정된 현재 프레임에 앞서 제거된 후삽입 객체를 삽입하는 단계에 있어서, 제거된 후삽입 객체가 보정된 현재 프레임에 삽입될 때, 제거된 후삽입 객체는 최초 입력된 입체 비디오의 현재 프레임에 위치했던 위치와 동일한 위치에 재입력될 수 있다.

도 6은 본 발명의 일실시예에 따른 현재 프레임에 존재하는 후삽입 객체를 확인하는 과정을 설명하기 위한 도면이다.

일일시예에 따라, 현재 프레임에 후삽입 객체가 존재할 경우, 후삽입 객체를 제거할 수 있다. 이어서 현재 프레임에서 제거된 후삽입 객체가 적절하게 제거된 것인지 확인할 수 있다. 후삽입 객체의 예시에 해당하는 텍스트형 후삽입 객체 및 아이콘형 후삽입 객체가 아닌 나뭇잎, 벽 등 입체 비디오의 풍경에 해당하는 요소가 후삽입 객체로 인식되는 경우가 발생할 수 있다. 이와 같은 문제를 해결하기 위해, 제거된 후삽입 객체를 확인하는 과정을 더 포함할 수 있다.

단계(600)에서, 후삽입 객체 샘플(positive example)과 비(非) 후삽입 객체 샘플(counterexample)을 저장할 수 있다. 예를 들어, 데이터베이스에 후삽입 객체 샘플과 비 후삽입 객체 샘플을 미리 저장할 수 있으며, 온라인을 통해 실시간으로 샘플들을 수집하여 저장할 수도 있다.

단계(610) 내지 단계(620)에서, 저장된 복수의 샘플들에 대하여 각 샘플 별 특징을 추출하고, 추출된 샘플 별 특징을 기초로 오프라인 학습 알고리즘을 적용하여 제거된 후삽입 객체에 대응하는 샘플을 검색할 수 있다. 검색을 통해 획득한 샘플은 제거된 후삽입 객체의 유형을 결정하는데 이용될 수 있다.

단계(630)에서, 결정된 후삽입 객체의 유형 정보를 기초로, 제거된 후삽입 객체 영역 중 비 후삽입 객체에 해당하는 영역을 제거할 수 있으며, 이를 통해 보다 정확하게 후삽입 객체를 제거할 수 있다. 상기 샘플 별 특징에는 척도가 변하지 않는 특징 변환(SIFT, Scale-invariant feature transform) 특징이나 방향 기울기 히스토그램(HOG, Histogram of Oriented Gradient) 특징이 포함될 수 있다.

일실시예에 따라, 샘플을 이용하여 상기 추출된 후삽입 객체의 유형을 분류하는 동작에는 SVM(Support Vector Machine) 분류기가 사용될 수 있다.

본 문서에 개시된 입체 비디오의 현재 프레임을 처리하는 방법 및 처리하는 장치는 입체 비디오 디스플레이 장비에 응용될 수 있다. 본 문서에 개시된 다양한 실시예들은, 3차원 스마트 TV에 사용될 수 있다. 스마트폰, TV, 큰 규모의 스크린 디스플레이에도 응용될 수 있다.

본 문서에 개시된 다양한 실시예들은, 안경을 착용하는 입체 디스플레이 장치와 안경을 착용하지 않는 입체 디스플레이 장치에 응용될 수 있다. 또한, 본 문서에 개시된 다양한 모듈들은 하나의 처리부에 통합될 수 있고, 각 모듈이 단독물리존재일 수도 있으며 적어도 두 개 이상의 모듈이 하나의 통합부에 결합될 수도 있다. 상술한 통합부는 하드웨어 형식으로 실현될 수 있고, 소프트웨어 기능부의 형식으로도 실현될 수 있다. 본 문서에 개시된 다양한 모듈들은 하나의 단말 또는 네트워크 노드에 위치할 수 있고, 복수의 단말 또는 네트워크 노드상에 분포될 수도 있다.

본 문서에 개시된 실시예에 따른 방법들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다.

이상과 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

Claims

입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 단계;
상기 현재 프레임이 비디오 세그먼트 바운더리 프레임인 경우, 상기 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계; 및
상기 현재 프레임에 영상 오차가 존재하는 경우, 상기 현재 프레임에 포함된 후삽입 객체(PIO: Post Inserted Objects)를 제거함으로써 현재 프레임을 처리하는 단계
를 포함하는 입체 비디오 처리 방법.
제1항에 있어서,
상기 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 단계는,
상기 현재 프레임과 이전 프레임 간 영상 특징에 대한 변화 정도에 기초하여 상기 입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지 여부를 판단하는 입체 비디오 처리 방법.
제2항에 있어서,
상기 영상 특징에 대한 변화 정도는,
상기 현재 프레임의 움직임, 색상, 밝기 중 적어도 하나를 포함하는 제1 특징 벡터와 이전 프레임의 제2 특징 벡터에 따라 결정되는 입체 비디오 처리 방법.
제1항에 있어서,
상기 현재 프레임에 영상 오차가 존재하는지 여부를 판단하는 단계는,
상기 현재 프레임의 좌영상 및 우영상 각각에 대한 뎁스 맵(depth map) 정보를 기초로 분포 히스토그램을 생성하는 단계; 및
상기 분포 히스토그램의 피크(peak) 값이 임계치를 초과하는 경우, 상기 현재 프레임에 입차 시차가 존재하는 것으로 판단하는 단계
를 포함하는 입체 비디오 처리 방법.
제1항에 있어서,
상기 처리하는 단계는,
상기 현재 프레임에서 후삽입 객체를 제거하는 단계;
상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 단계; 및
상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계
를 포함하는 입체 비디오 처리 방법.
제5항에 있어서,
상기 현재 프레임에서 후삽입 객체를 제거하는 단계는,
상기 현재 프레임에 존재하는 후삽입 객체의 유형을 결정하는 단계; 및
상기 결정된 유형을 기초로, 상기 입체 비디오에 존재하는 상기 후삽입 객체의 경계를 설정하는 단계
를 포함하는 입체 비디오 처리 방법.
제5항에 있어서,
상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계는,
상기 후삽입 객체가 상기 현재 프레임에서 제거되었던 원래 위치에 삽입되는 단계
를 포함하는 입체 비디오 처리 방법.
제1항에 있어서,
상기 처리하는 단계는,
상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계
를 포함하는 입체 비디오 처리 방법.
제8항에 있어서,
상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계는,
상기 제거된 영역 주변에 위치한 픽셀 중 상기 영역에 포함되지 않는 픽셀의 색상 값에 기초하여, 상기 영역에 포함된 픽셀을 횡단(traverse) 처리하는 단계
를 포함하는 입체 비디오 처리 방법.
입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지의 여부에 따라, 상기 입체 비디오의 현재 프레임에 대해 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하는 단계;
상기 현재 프레임에 후삽입 객체가 존재하는 경우, 상기 현재 프레임에서 상기 후삽입 객체를 제거하는 단계;
상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 단계; 및
상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계
를 포함하는 입체 비디오 처리 방법.
제10항에 있어서
상기 입체 비디오의 현재 프레임에 대해 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하는 단계는,
상기 현재 프레임이 비디오 세그먼트 바운더리 프레임이고, 상기 현재 프레임에 영상 오차가 존재하는 경우에 수행되는 입체 비디오 처리 방법.
제10항에 있어서,
상기 현재 프레임에서 후삽입 객체를 제거하는 단계는,
상기 현재 프레임에 존재하는 후삽입 객체의 유형을 결정하는 단계; 및
상기 결정된 유형을 기초로, 상기 입체 비디오에 존재하는 상기 후삽입 객체의 경계를 설정하는 단계
를 포함하는 입체 비디오 처리 방법.
제10항에 있어서,
상기 현재 프레임에서 상기 후삽입 객체를 제거하는 단계는,
상기 현재 프레임에 대한 X방향 및 Y방향 투영분석을 통해 상기 현재 프레임에 텍스트형 후삽입 객체가 존재하는지 판단하는 단계;
상기 텍스트형 후삽입 객체가 존재할 경우, 상기 텍스트형 후삽입 객체의 뎁스(depth)를 측정하는 단계;
상기 측정된 뎁스를 기초로, 상기 텍스트형 후삽입 객체 중 전경(foreground)에 포함되지 않는 객체를 제거하는 단계;
상기 현재 프레임의 색상 분포 히스토그램을 기초로, 제거되지 않은 텍스트형 후삽입 객체의 색상을 추출하는 단계; 및
상기 추출된 색상을 기초로, 상기 제거되지 않은 텍스트형 후삽입 객체를 제거하는 단계
를 포함하는 입체 비디오 처리 방법.
제13항에 있어서,
상기 투영분석을 통해 상기 현재 프레임에 존재하는 텍스트형 후삽입 객체를 검색하는 단계는,
상기 텍스트형 후삽입 객체의 엣지(edge) 강도 값을 계산하는 단계;
상기 계산된 엣지 강도 값이 임계값 미만인 경우, 상기 계산된 엣지 강도 값을 0으로 설정하는 단계; 및
상기 설정된 엣지 강도 값을 기초로, 상기 텍스트형 후삽입 객체의 위치를 결정하는 단계
를 포함하는 입체 비디오 처리 방법.
제13항에 있어서,
상기 투영분석을 통해 상기 현재 프레임에 존재하는 텍스트형 후삽입 객체를 검색하는 단계는,
상기 텍스트형 후삽입 객체의 컷오프(cut-off) 엣지(edge)를 추출하는 단계;
상기 추출된 컷오프 엣지의 수평투영 값 및 수직투영 값을 계산하는 단계;
상기 계산된 수평투영 값을 기초로, 상기 텍스트형 후삽입 객체의 상하 바운더리를 획득하는 단계;
상기 계산된 수직투영 값을 기초로, 상기 텍스트형 후삽입 객체의 좌우 바운더리를 획득하는 단계; 및
상기 상하 바운더리 및 좌우 바운더리를 기초로, 상기 텍스트형 후삽입 객체의 위치를 조정하는 단계
를 포함하는 입체 비디오 처리 방법.
제13항에 있어서,
복수의 텍스트형 후삽입 객체 샘플들 및 비 텍스트형 후삽입 객체 샘플들로부터 추출된 각 샘플들의 특징을 바탕으로 텍스트형 후삽입 객체의 유형을 획득하는 단계; 및
상기 획득된 텍스트형 후삽입 객체의 유형을 이용하여 상기 텍스트형 후삽입 객체 중 비 텍스트형 후삽입 객체에 해당하는 영역을 제거하는 단계
를 더 포함하는 입체 비디오 처리 방법.
제10항에 있어서,
상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 단계는,
상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계
를 포함하는 입체 비디오 처리 방법.
제17항에 있어서,
상기 현재 프레임에서 상기 후삽입 객체가 제거된 영역을 채우는 단계는,
상기 제거된 영역 주변에 위치한 픽셀 중 상기 영역에 포함되지 않는 픽셀의 색상 값에 기초하여, 상기 영역에 포함된 픽셀을 횡단(traverse) 처리하는 단계
를 포함하는 입체 비디오 처리 방법.
제10항에 있어서,
상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입하는 단계는,
상기 후삽입 객체가 상기 현재 프레임에서 제거되었던 원래 위치에 삽입되는 단계
를 포함하는 입체 비디오 처리 방법.
입체 비디오의 현재 프레임이 비디오 세그먼트 바운더리 프레임인지의 여부에 따라, 상기 입체 비디오의 현재 프레임에 대해 후삽입 객체(PIO: Post Inserted Objects)가 존재하는지 여부를 판단하고, 상기 현재 프레임에 후삽입 객체가 존재하는 경우 상기 현재 프레임에서 상기 후삽입 객체를 제거하는 후삽입 객체 제거 모듈;
상기 후삽입 객체가 제거된 현재 프레임을 보정(rectify)하는 입체 비디오 보정 모듈; 및
상기 보정된 현재 프레임에 상기 제거된 후삽입 객체를 삽입(reinsert)하는 후삽입 객체 삽입 모듈을 포함하는 입체 비디오 처리 장치.
제20항의 입체 비디오 처리 장치를 포함하는 입체 비디오 디스플레이 장치.