KR101939243B1 - 입체 깊이 조정 및 초점 조정 - Google Patents

Abstract

입체 비디오 내의 깊이를 조정하는 방법은 입체 비디오의 좌안 뷰잉 프레임을 생성하는 단계를 포함할 수 있다. 좌안 뷰잉 프레임은 복수의 좌안 뷰잉 프레임 요소들을 포함할 수 있다. 이 방법은 또한 입체 비디오의 우안 뷰잉 프레임을 생성하는 단계를 포함할 수 있다. 우안 뷰잉 프레임은 좌안 뷰잉 프레임에 상응하며 각각이 복수의 우안 뷰잉 프레임 요소들을 포함할 수 있다. 또한, 각각의 우안 뷰잉 프레임 요소는 좌안 뷰잉 프레임 요소들 중 하나에 상응할 수 있다. 이 방법은 추가로 각각의 우안 뷰잉 프레임 요소 및 그와 상응하는 좌안 뷰잉 프레임 요소 사이의 오프셋을 결정하는 단계를 포함할 수 있다. 또한, 이 방법은 입체 비디오와 연관된 지각된 깊이가 실질적으로 균일한 스케일에 대해 조정되도록 각각의 오프셋에 균일한 배수를 적용하는 단계를 포함할 수 있다.

Description

입체 깊이 조정 및 초점 조정{STEREOSCOPIC DEPTH ADJUSTMENT AND FOCUS POINT ADJUSTMENT}

본 개시내용은 깊이 조정 및 초점 조정을 포함하는 입체 데이터 프로세싱에 관한 것이다.

3차원 비디오(예로서, 텔레비전, 영화 등)를 생산하기 위한 3차원(입체(stereoscopic)) 촬영은 최근 수년간 증가적으로 인기를 얻어왔다. 이에 대한 하나의 이유는 3차원 비디오를 생성하기 위해 사용되는 카메라 및 후생산 기술에서의 뚜렷한 발전이 존재해왔기 때문이다. 3차원 비디오가 인기를 얻은 다른 이유는 엔터테인먼트를 관람하는 대중이 이러한 특별한 효과에 대해 프리미엄을 지불할 의지를 보인다는 점이다.

그러나, 3차원 촬영 기술은 2차원(평면(monoscopic)) 기술을 이용하는 것에 비해 3차원 기술을 이용하여 비디오를 촬영하기 위한 비용이 훨씬 더 높다. 또한, 3차원 기술을 이용하여 촬영되지 않고 이미 생산된 수백만 개의 2차원 비디오가 존재한다.

이와 같이, 많은 사람이 2차원 비디오를 3차원 비디오로 변환하고자 시도해왔다. 그러나, 2차원 비디오를 3차원 뷰를 위해 변환하기 위한 방법들은 작동하지 않을 수 있고, 리소스 집약적이며, 및/또는 수용가능한 결과를 생산하지 않는다(예를 들어, 판지 컷아웃 효과).

본 명세서에 청구된 주제사항은 임의의 단점을 해결하거나 전술된 것과 같은 환경에서만 동작하는 실시예들로 제한되지 않는다. 오히려, 이 배경기술은 오직 본 명세서에 기술된 일부 실시예들이 실시될 수 있는 일 예시적인 기술을 설명하도록 제공되었다.

실시예의 양태에 따르면, 입체 비디오 내의 깊이를 조정하는 방법은 입체 비디오의 좌안 뷰잉 프레임을 생성하는 단계를 포함할 수 있다. 좌안 뷰잉 프레임은 복수의 좌안 뷰잉 프레임 요소들을 포함할 수 있다. 이 방법은 또한 입체 비디오의 우안 뷰잉 프레임을 생성하는 단계를 포함할 수 있다. 우안 뷰잉 프레임은 좌안 뷰잉 프레임에 상응하며 각각이 복수의 우안 뷰잉 프레임 요소들을 포함할 수 있다. 또한, 각각의 우안 뷰잉 프레임 요소는 좌안 뷰잉 프레임 요소들 중 하나에 상응할 수 있다. 이 방법은 추가로 각각의 우안 뷰잉 프레임 요소 및 그와 상응하는 좌안 뷰잉 프레임 요소 사이의 오프셋을 결정하는 단계를 포함할 수 있다. 또한, 이 방법은 입체 비디오와 연관된 지각된 깊이가 실질적으로 균일한 스케일에 대해 조정되도록 각각의 오프셋에 균일한 배수를 적용하는 단계를 포함할 수 있다.

실시예의 다른 양태에 따르면, 입체 비디오 내의 깊이를 조정하는 방법은 입체 비디오의 좌안 뷰잉 프레임을 생성하는 단계를 포함할 수 있다. 좌안 뷰잉 프레임은 복수의 좌안 뷰잉 프레임 요소들을 포함할 수 있다. 이 방법은 또한 입체 비디오의 우안 뷰잉 프레임을 생성하는 단계를 포함할 수 있다. 우안 뷰잉 프레임은 좌안 뷰잉 프레임에 상응하며 각각이 복수의 우안 뷰잉 프레임 요소들을 포함할 수 있다. 또한, 각각의 우안 뷰잉 프레임 요소는 좌안 뷰잉 프레임 요소들 중 하나에 상응할 수 있다. 이 방법은 추가로 각각의 우안 뷰잉 프레임 요소 및 그와 상응하는 좌안 뷰잉 프레임 요소 사이의 오프셋을 결정하는 단계를 포함할 수 있다. 또한, 이 방법은 입체 비디오와 연관된 지각된 초점이 조정되도록 각각의 우안 뷰잉 프레임 요소를 이에 상응하는 좌안 뷰잉 프레임 요소에 대해 실질적으로 동일한 정도로 균일하게 시프트하기 위해 각각의 오프셋에 균일한 합인자(summing factor)를 적용하는 단계를 포함할 수 있다.

실시예들의 목적 및 장점은 적어도 청구범위에서 구체적으로 언급되는 요소, 특성 및 조합에 의해 구현 및 획득될 것이다.

전술된 전반적인 설명 및 아래의 상세한 설명은 모두 예시적이고 설명적이며 본 발명을 제한하고자 하는 것은 아님이 이해되어야만 한다.

예시적인 실시예들은 첨부된 도면을 이용하여 더욱 구체적이고 상세하게 기술되고 설명될 것이다:
도 1은 평면(2-D) 비디오에 기초하여 입체(3-D) 비디오를 생성하기 위한 예시적인 시스템을 도시한 도면;
도 2는 평면 비디오의 서로 다른 프레임들 사이의 요소들의 이동에 기초한 평면 비디오와 연관된 수정 프레임들의 생성을 묘사한 예시적인 블록도;
도 3은 평면 비디오의 하나 이상의 추론 프레임에 기초하여 하나 이상의 수정 프레임이 생성될 수 있는, 평면 비디오와 연관된 수정 프레임의 생성을 묘사한 예시적인 블록도;
도 4는 평면 비디오와 연관된 우측-패닝 효과에 기초한 입체 비디오의 좌안 뷰잉 프레임 및 우안 뷰잉 프레임의 생성을 묘사한 예시적인 블록도;
도 5는 평면 비디오와 연관된 좌측-패닝 효과에 기초한 입체 비디오의 좌안 뷰잉 프레임 및 우안 뷰잉 프레임의 생성을 묘사한 예시적인 블록도;
도 6은 평면 비디오와 연관된 줌아웃 효과에 기초한 입체 비디오의 좌안 뷰잉 프레임 및 우안 뷰잉 프레임의 생성을 묘사한 예시적인 블록도;
도 7은 평면 비디오와 연관된 줌인 효과에 기초한 입체 비디오의 좌안 뷰잉 프레임 및 우안 뷰잉 프레임의 생성을 묘사한 예시적인 블록도;
도 8은 프레임들이 가장 빠르게 이동하는 요소, 느리게 이동하는 요소 및 주요 요소를 포함하는 평면 비디오의 예시적인 프레임들을 도시한 도면;
도 9는 장면과 연관된 가장 빠르게 이동하는 요소, 느리게 이동하는 요소 및 주요 요소 중 적어도 하나에 기초하여 장면의 전경 및/또는 배경을 결정하는 예시적인 방법의 흐름도;
도 10은 평면 비디오와 연관된 전경 및/또는 배경의 이동에 기초하여 평면 비디오로부터 입체 비디오의 좌안 뷰잉 프레임 및 우안 뷰잉 프레임을 생성하기 위한 예시적인 블록도;
도 11은 카메라 효과에 기초하여 평면 비디오를 입체 비디오로 변환하는 예시적인 방법의 흐름도;
도 12a는 좌안 및 우안에 의해 지각될 수 있는 예시적인 세팅을 도시한 도면;
도 12b는 도 12a의 세팅과 연관된 입체 비디오의 좌안 뷰잉 프레임 및 우안 뷰잉 프레임 내의 요소들 사이에서 발견될 수 있는 예시적인 오프셋을 나타낸 예시적인 격자를 도시한 도면;
도 12c는 도 12b의 오프셋에 균일한 배수를 적용한 후에 개별 좌안 및 우안 뷰잉 프레임들에 대한 도 12b의 요소들의 오프셋을 나타낸 예시적인 격자를 도시한 도면;
도 12d는 도 12b의 오프셋에 균일한 합인자를 적용한 후에 개별 좌안 및 우안 뷰잉 프레임들에 대한 도 12b의 요소들의 오프셋을 나타낸 예시적인 격자를 도시한 도면;
도 13은 입체 비디오의 깊이를 조정하는 예시적인 방법의 흐름도; 및
도 14는 본 명세서에 기술된 적어도 일부 실시예들에 따라 전체가 구성된, 입체 비디오의 초점을 조정하는 예시적인 방법의 흐름도.

사람은 대략 2½인치(대략 6.5cm) 떨어져서 배치된 두 개의 눈을 사용하는 양안 시야 시스템(binocular vision system)을 가진다. 각각의 눈은 미세하게 다른 관점으로부터 세상을 바라본다. 뇌는 거리를 계산하거나 측정하기 위해 이러한 관점의 차이를 이용한다. 이러한 양안 시야 시스템은 대상의 거리를 비교적 우수한 정확도로 결정하는 능력에 대해 부분적으로 책임을 가진다. 시야 내의 다수의 대상의 상대적인 거리 또한 양안 시야의 도움으로 결정될 수 있다.

3차원(입체) 촬영은 두 개의 이미지를 뷰어에 제시함으로써 양안 시야에 의해 지각되는 깊이를 이용하며 이때 하나의 이미지는 하나의 눈(예로서, 왼쪽 눈)에 제시되고 다른 이미지는 다른 눈(예로서, 오른쪽 눈)에 제시된다. 두 눈에 제시되는 이미지들은 실질적으로 동일한 요소들을 포함할 수 있지만, 두 이미지 내의 요소들은 일상생활에서 뷰어의 눈에 의해 지각될 수 있는 오프셋 관점을 모방하도록 서로로부터 오프셋될 수 있다. 따라서, 뷰어는 이미지들에 의해 묘사되는 요소의 깊이를 인식할 수 있다.

통상적으로, 3차원 비디오는 두 개의 다른 눈에 의해 지각될 수 있기 때문에 세팅을 캡처하기 위해서 약 3 내지 8인치 떨어진, 나란히 장착된 두 개의 비디오 소스(예로서, 카메라)를 이용하여 제작되어왔다. 이러한 거리는 종종 "축 사이" 또는 "눈 사이 거리"로 지칭된다. 따라서, 두 개의 비디오 소스는 하나는 왼쪽 눈을 위한 그리고 하나는 오른쪽 눈을 위한 두 개의 비디오를 생성한다. 두 비디오는 입체(또는 "3-D") 비디오로서 합쳐질 수 있으며, 이때 우안 비디오는 뷰어의 오른쪽 눈에 제시되고 좌안 비디오는 뷰어의 왼쪽 눈에 제시되어 뷰어가 비디오를 3차원으로 인식한다. 반면에, 본 개시내용의 일부 실시예들에 따르면, 입체 비디오는 단일(평면) 비디오 소스를 이용함으로써 획득된 비디오로부터 유래될 수 있다. 이렇게 평면 비디오 소스로부터 유래된 비디오는 "2-D" 또는 "평면 비디오"로 지칭될 수 있다.

"비디오"라는 용어는 임의의 동작-타입 픽처를 지칭할 수 있으며, 제한이 아닌 예시의 방식으로 영화, 텔레비전 쇼, 녹화된 이벤트(예를 들어, 스포츠 이벤트, 콘서트 등), 홈 무비, 인터넷 비디오 등을 포함할 수 있다. 비디오는 (일반적으로 "요소들"로 지칭되는) 요소들 또는 대상들을 포함할 수 있는 세팅의 이미지를 각각 디스플레이하는 일련의 "프레임들"("프레임들" 또는 "비디오 프레임들"로 지칭됨)로 구성된다. 요소들은 이동하고 있거나 고정적일 수 있다. 예를 들어, 프레임은 산, 언덕, 나무, 동물, 건물, 평지, 기차, 자동차 등과 같은 요소들을 포함할 수 있는 풍경의 이미지일 수 있다.

일부 실시예들에 따르면, 평면 비디오의 제2프레임(예를 들어, 제1프레임의 후속 프레임 또는 이전 프레임)에 대한 평면 비디오의 제1프레임 사이의 요소들의 이동이 제2프레임과 대응할 수 있는 하나 이상의 수정된 제1프레임을 생성하도록 사용될 수 있으며 입체 비디오를 생성하도록 사용될 수 있다. 일부 실시예들에서, 제1프레임 및 제2프레임은 연속적인 프레임들일 수 있으며, 다른 실시예들에서 하나 이상의 중간 프레임이 제1프레임과 제2프레임 사이에 포함될 수 있다. 제1프레임과 수정된 제1프레임은 제1프레임과 제2프레임 사이의 요소들의 이동에 기초하여 제1프레임 및 수정된 제1프레임 내에 서로로부터 하나 이상의 요소 오프셋을 갖는 실질적으로 동일한 요소들을 포함할 수 있다. 또한, 요소들의 이동은 제1프레임 및 제2프레임에 대해 카메라 효과(예를 들어, 주밍 효과(zooming effect), 패닝 효과(panning effect), 회전 효과, 및/또는 고정 효과)를 분석하도록 사용될 수 있다. 일부 실시예들에서, 수정된 제1프레임은 분석된 카메라 효과에 기초하여 생성될 수 있다.

일부 실시예들에서, 뷰어의 왼쪽 눈에 의해 보여지도록 구성될 수 있는 좌안 뷰잉 프레임(left-eye viewing frame)이 결정된 카메라 효과 및 제1프레임과 수정된 제1프레임 중 적어도 하나에 기초하여 생성될 수 있다. 유사하게, 뷰어의 오른쪽 눈에 의해 보여지도록 구성될 수 있는 우안 뷰잉 프레임(right-eye viewing frame) 또한 결정된 카메라 효과 및 제1프레임과 수정된 제1프레임 중 적어도 하나에 기초하여 생성될 수 있다. 이러한 프로세스는 입체 비디오의 상응하는 좌안 및 우안 뷰잉 프레임들을 생성하기 위해서 평면 비디오의 다수의 프레임에 대해 반복될 수 있다. 따라서, 이러한 실시예들에서, 입체 비디오는 자신들과 연관된 제1프레임과 제2프레임 사이의 이동 및 분석된 카메라 효과에 기초하여 평면 비디오로부터 생성될 수 있다.

또한, 일부 실시예들에서, 좌안 뷰잉 프레임 및 우안 뷰잉 프레임의 생성은 제1프레임 및 제2프레임과 연관된 평면 비디오의 장면의 전경 및 배경 중 적어도 하나의 이동의 결정에 기초할 수 있다. 이러한 실시예들 또는 다른 실시예들에서, 전경 및/또는 배경은 제1프레임 및 제2프레임과 연관된 장면 내에 포함된 가장 빠르게 이동하는 요소, 느리게 이동하는 요소, 및/또는 주요 요소에 기초하여 결정될 수 있다.

또한, 입체 비디오 내의 깊이의 크기가 좌안 뷰잉 프레임 및 우안 뷰잉 프레임 내에 포함된 요소들 사이의 오프셋을 조정함으로써 수정될 수 있다. 또한, 어떤 요소들이 입체 비디오와 연관된 세팅의 전경 또는 배경 내에 있는지의 지각 또한 요소들 사이의 오프셋을 조정함으로써 수정될 수 있다.

본 명세서에 기술된 우안 뷰잉 프레임들 및 좌안 뷰잉 프레임들은 또한 각각 "우안 이미지들" 및 "좌안 이미지들"로도 지칭될 수 있다. 또한, 우안 뷰잉 프레임들 및 좌안 뷰잉 프레임들은 위/아래, 좌/우, SENSIO® Hi-Fi 3D, Blu-ray® 3D, 또는 임의의 다른 적용가능한 3D 포맷과 같은 임의의 적절한 3D 포맷을 이용하여 입체 비디오를 생성하도록 사용될 수 있다.

도 1은 본 개시내용의 일부 실시예들에 따른, 평면(2-D) 비디오(101)에 기초하여 입체(3-D) 비디오(103)를 생성하기 위한 예시적인 시스템(100)을 도시한다. 시스템(100)은 3차원(입체) 비디오 생성 모듈(104)(아래에서는 "입체 비디오 모듈(104)"로 지칭됨)을 포함할 수 있다. 입체 비디오 모듈(104)은 평면 비디오(101)를 수신하여 평면 비디오(101)를 입체 비디오(103)로 변환하도록 구성된 임의의 적절한 시스템, 장치, 또는 디바이스를 포함할 수 있다. 예를 들어, 일부 실시예들에서, 입체 비디오 모듈(104)은 프로세서로 하여금 평면 비디오(101)를 입체 비디오(103)로 변환하기 위한 동작들을 수행하게 하도록 구성된 컴퓨터 실행가능한 명령들을 포함하는 소프트웨어일 수 있다.

입체 비디오 모듈(104)은 평면 비디오(101)의 프레임들 사이의 하나 이상의 요소의 이동에 기초하여 입체 비디오(103)를 생성하도록 구성될 수 있다. 일부 실시예들에서, 입체 비디오 모듈(104)은 이동에 기초하여 수정 프레임들을 생성할 수 있다. 입체 비디오 모듈(104)에 의해 수행될 수 있는 수정 프레임들의 생성은 도 2 및 3과 관련하여 아래에서 더욱 상세하게 논의된다. 일부 실시예들에서, 입체 비디오 모듈(104)은 또한 프레임들 사이의 요소의 이동에 기초하여 평면 비디오(101)와 연관된 카메라 효과를 분석 및 결정하도록 구성될 수 있다. 이들 실시예들에서, 입체 비디오 모듈(104)은 결정된 카메라 효과 및 그와 연관된 이동에 기초하여 입체 비디오(103)에 대해 수정 프레임들과 좌안 및 우안 뷰잉 프레임들을 생성하도록 구성될 수 있다. 또한, 일부 실시예들에서, 입체 비디오 모듈(104)은 평면 비디오(101)의 장면 내의 전경 및 배경과 연관된 이동의 결정에 기초하여 수정 프레임들과 좌안 및 우안 뷰잉 프레임을 생성하도록 구성될 수 있다. 카메라 효과의 분석 및 분석된 카메라 효과에 기초하여 입체 비디오 모듈(104)에 의해 수행될 수 있는 수정 프레임들과 좌안 및 우안 뷰잉 프레임들의 생성은 도 4-7 및 10과 관련하여 더욱 상세하게 논의된다.

일부 실시예들에서, 입체 비디오 모듈(104)은 또한 평면 비디오(101)의 장면의 전경 및/또는 배경을 결정하도록 구성될 수 있다. 이러한 실시예들 중 일부에서, 입체 비디오 모듈(104)은 평면 비디오(101)의 장면 내에 포함된 가장 빠르게 이동하는 요소, 느리게 이동하는 요소, 및/또는 주요 요소에 기초하여 전경 및/또는 배경을 결정하도록 구성될 수 있다. 가장 빠르게 이동하는 요소, 느리게 이동하는 요소, 및/또는 주요 요소의 결정은 도 8과 관련하여 더 상세화된다. 입체 비디오 모듈(104)에 의해 수행될 수 있는 전경 및/또는 배경의 결정은 도 9과 관련하여 아래에서 더욱 상세하게 설명된다.

또한, 일부 실시예들에서, 입체 비디오 모듈(104)은 좌안 및 우안 뷰잉 프레임들 내에 포함된 요소들 사이의 오프셋을 조정함으로써 입체 비디오(103)를 시청하는 뷰어에 의해 지각되는 깊이(depth)의 크기를 조정하도록 구성될 수 있다. 입체 비디오 모듈(104)에 의해 수행될 수 있는 깊이 지각의 수정은 도 12a-12c 및 13과 관련하여 아래에서 더욱 상세하게 논의된다. 또한, 일부 실시예들에서, 입체 비디오 모듈(104)은 또한 입체 비디오 모듈(104)이 어떤 요소들이 뷰어에 의해 지각되는 바와 같은 세팅의 전경 또는 배경 내에 있을 수 있는지에 대한 지각을 수정할 수 있도록 입체 비디오(103)의 초점을 조정하도록 구성될 수 있다. 입체 비디오 모듈(104)에 의해 수행될 수 있는 초점의 수정은 도 12a, 12b, 12d 및 14와 관련하여 아래에서 더욱 상세하게 논의된다.

위에 언급된 바와 같이, 입체 비디오 모듈(104)은 프레임들 사이의 하나 이상의 요소의 이동에 기초하여 입체 비디오(103)의 좌안 및/또는 우안 뷰잉 프레임들을 생성하기 위해 사용될 수 있는 수정 프레임들을 생성하도록 구성될 수 있다. 도 2는 본 개시내용의 일부 실시예들에 따른, 평면 비디오(201)의 서로 다른 프레임들(202) 사이의 요소들의 이동에 기초한 수정 프레임들(202')의 생성을 묘사한 예시적인 블록도(200)를 도시한다. 일부 실시예들에서, 그리고 도 2와 관련한 예시로서 주어진 바와 같이, 수정 프레임들(202')은 도 1과 관련하여 전술된 입체 비디오 모듈(104)과 같은 입체 비디오 모듈에 의해 생성될 수 있다. 도 2에 묘사된 바와 같이, 평면 비디오(201)는 도 1과 관련하여 기술된 평면 비디오(101)와 실질적으로 유사할 수 있으며 평면 비디오(201)와 연관된 하나 이상의 세팅의 이미지를 포함할 수 있는 일련의 프레임들(202)을 포함할 수 있다. 본 개시내용의 일부 실시예들에 따르면, 입체 비디오 모듈은 프레임들(202) 사이의 (명확하게 도시되지 않은) 하나 이상의 요소의 프레임들(202) 사이의 수평 이동에 기초하여 수정 프레임들(202')을 생성할 수 있다.

예를 들어, 프레임들(202a, 202b)(프레임(202b)은 프레임(202a)에 대해 후속 프레임일 수 있다) 내의 요소는 요소가 프레임들(202a, 202b) 사이에서 좌측으로부터 우측으로 수평으로 움직일 수 있도록 프레임들(202a, 202b) 사이에서의 위치 변화를 가질 수 있다. 따라서, 입체 비디오 모듈은 요소가 프레임(202a)과 관련하여 수정 프레임(202a')에서 우측으로 오프셋되도록 프레임들(202a, 202b) 사이의 요소의 수평 이동에 기초한 수정 프레임(202a')을 생성할 수 있다. 입체 비디오 모듈은 유사하게 프레임들(202b, 202c)(프레임(202c)은 프레임(202b)에 대해 후속 프레임일 수 있다)에 기초한 수정 프레임(202b') 및 프레임들(202c, 202d)(프레임(202d)은 프레임(202c)에 대해 후속 프레임일 수 있다)에 기초한 수정 프레임(202c')을 생성할 수 있다. 따라서, 수정 프레임들(202')의 요소들은 뷰어의 우안 및 좌안에 의해 지각되는 것과 같은 이미지들의 수평 오프셋을 모방하도록 프레임들 사이의 요소들의 수평 이동에 기초하여 상응하는 프레임들(202)의 상응하는 요소들에 대해 수평으로 오프셋될 수 있다.

일부 실시예들에서, 프레임들(202) 사이의 요소의 이동은 또한 수직 방향일 수도 있다("수직 이동"으로 지칭됨). 그러나, 일반적으로 뷰어의 눈이 실질적으로 수직 방향에서 오프셋되지 않기 때문에, 입체 비디오 모듈은 수정 프레임들(202')을 생성할 때 프레임들(202) 사이의 요소들의 수직 이동은 실질적으로 무시할 수 있다. 따라서, 수정 프레임들(202')은 자신의 요소들이 수평 이동에 기초한 자신의 연관된 프레임(202) 내의 상응하는 요소들에 대해 수정 프레임들(202') 내에서 수평으로 오프셋되도록 생성될 수 있다. 그러나, 수정 프레임들(202')의 요소들은 프레임들 사이의 수직 이동이 발생한다 해도 자신의 연관된 프레임들(202)의 상응하는 요소들에 대해 실질적인 정도까지 수직으로 오프셋되지 않을 수 있다.

또한, 일부 실시예들에서, 하나의 프레임으로부터 다른 프레임으로의 요소들의 이동은 프레임 내의 하나 이상의 요소가 수정 프레임을 생성하도록 사용될 수 있는 후속 프레임에 존재하지 않게 할 수 있다. 이러한 경우에서, 입체 비디오 모듈(104)은 원본 프레임으로부터 사라진 요소를 복제하여 이를 연관된 수정 프레임 내에 배치할 수 있다.

예를 들어, 프레임(202a)의 요소는 한 사람의 손일 수 있으며 프레임들(202a, 202b) 사이의 그 사람의 이동은 그의 손이 프레임(202b)에서는 볼 수 없도록 하는 이동일 수 있다. 또한, 수정 프레임(202a')은 프레임(202a)으로부터 프레임(202b)으로의 사람의 수평 이동에 기초하여 생성될 수 있다. 따라서, 사람의 수평 이동에 기초한 수정 프레임(202a')의 생성에서, 프레임들(202a, 202b) 사이의 사람의 수평 오프셋에 기초하여 그 사람이 수정 프레임(202a') 내에서 수평으로 오프셋될 수 있다. 그러나, 그 사람의 손은 프레임(202a)으로부터 복제되어 수정 프레임(202a') 내에 삽입될 수 있다. 결과적으로, 수정 프레임(202a')의 요소들의 수평 오프셋이 유래될 수 있는 프레임(202b)으로부터 손이 사라졌다고 해도 수정 프레임(202a') 내에는 손이 존재할 수 있다.

본 개시내용의 범주로부터 벗어나지 않고 도 2에 수정, 추가, 또는 삭제가 이루어질 수 있다. 예를 들어, 평면 비디오(201)는 명확하게 도시된 것보다 더 많거나 더 적은 프레임들을 포함할 수 있다. 또한, 일부 실시예들에서, 하나 이상의 중간 프레임이 도시된 프레임들 사이에 포함될 수 있다. 예를 들어, 평면 비디오(201)는 프레임들(202a, 202b), 프레임들(202b, 202c), 및/또는 프레임들(202c, 202d) 사이에 있을 수 있는 하나 이상의 중간 프레임을 포함할 수 있다. 또한, 일부 실시예들에서, 평면 비디오(201) 내의 장면은 하나의 프레임(202)이 하나의 장면과 연관될 수 있고 후속 프레임이 다른 장면과 연관될 수 있도록 변화할 수 있다. 본 개시내용에서, "장면(scene)"은 "장면 변화" 또는 장면 내의 변화가 동일한 세팅의 카메라 각도 또는 관점에서의 변화 및/또는 비디오 내에 묘사된 세팅에서의 변화를 지칭할 수 있도록 특정 세팅에 대한 특정 카메라 관점 또는 각도를 지칭할 수 있다. 이러한 실시예들에서, 수정 프레임은 이전의 프레임들에서 식별된 하나 이상의 요소의 이동에 기초할 수 있는 추론 프레임에 기초하여 생성될 수 있다.

도 3은 본 개시내용의 일부 실시예들에 따른, 하나 이상의 수정 프레임(302')이 평면 비디오(301)의 하나 이상의 추론 프레임들(305)에 기초하여 생성될 수 있는 수정 프레임(302')의 생성을 묘사하는 예시적인 블록도(300)를 도시한다. 일부 실시예들에서, 그리고 도 3과 관련한 예시로서 주어진 바와 같이, 수정 프레임들(302')은 도 1과 관련하여 전술된 입체 비디오 모듈(104)과 같은 입체 비디오 모듈에 의해 생성될 수 있다. 도 3에 묘사된 바와 같이, 평면 비디오(301)는 평면 비디오(301)와 연관된 하나 이상의 장면의 이미지를 포함할 수 있는 일련의 프레임들(302)(프레임들(302a-302d)로서 묘사됨)을 포함할 수 있다. 도시된 실시예에서, 프레임들(302a-302c)은 평면 비디오(301)의 장면(306a)과 연관될 수 있으며 프레임(302d)은 평면 비디오(301)의 상이한 장면인 장면(306b)과 연관될 수 있다.

본 개시내용의 일부 실시예들에 따르면, 입체 비디오 모듈은 전술된 수정 프레임들(202a', 202b')의 생성과 유사하게, 각각 프레임들(302a, 302b) 및 프레임들(302b, 302c) 사이의 (명확하게 도시되지 않은) 하나 이상의 요소의 이동에 기초하여 수정 프레임들(302a', 302b')을 생성하도록 구성될 수 있다. 예를 들어, 수정된 프레임(302a')은 프레임(302a)과 (프레임(302a)의 후속 프레임일 수 있는) 프레임(302b) 사이의 하나 이상의 요소의 이동에 기초하여 생성될 수 있다. 또한, 수정 프레임(302b')은 프레임(302b)과 (프레임(302b)의 후속 프레임일 수 있는) 프레임(302c) 사이의 하나 이상의 요소의 이동에 기초하여 생성될 수 있다.

그러나, 도시된 실시예에서, 프레임(302c)은 평면 비디오(301)의 장면(306a)과 연관된 마지막 프레임일 수 있다. 따라서, 프레임(302d)과 같은 후속 프레임들이 상이한 장면과 연관될 수 있기 때문에 프레임(302c)과 연관된 요소의 이동이 프레임(302c)과 프레임(302c)의 후속 프레임들 사이에 존재하지 않을 수 있거나 또는 다른 프레임으로 전이하기 이전에 이들과 연관된 실질적인 정도의 이동을 갖지 않을 수 있다. 이와 같은 경우에서, 입체 비디오 모듈은 자신의 마지막 프레임을 지나 계속되는 장면의 후속 프레임을 나타낼 수 있는 추론 프레임을 생성하도록 구성될 수 있다. 예를 들어, 도시된 실시예에서, 입체 비디오 모듈은 도시된 실시예에서는 장면(306a)의 마지막 프레임일 수 있는 프레임(302c)을 지나 계속되는 장면(306a)의 프레임(302c)의 후속 프레임을 나타낼 수 있는 추론 프레임(305)을 생성하도록 구성될 수 있다.

일부 실시예들에서, 입체 비디오 모듈은 장면 변화를 결정하고 검출된 장면 변화에 기초하여 장면의 마지막 프레임을 결정할 수 있도록 구성될 수 있다. 입체 비디오 모듈은 또한 장면 변화 검출에 기초하여 추론 프레임을 생성하도록 구성될 수 있다. 예를 들어, 입체 비디오 모듈은 장면(306a)으로부터 장면(306b)으로의 장면 변화를 검출하도록 구성될 수 있고, 프레임(302c)이 장면(306a)의 마지막 프레임임을 결정할 수 있으며, 장면(306a)으로부터 장면(306b)으로의 장면 변화 검출에 기초하여 추론 프레임(305)을 생성할 수 있다.

이러한 실시예들 중 일부에서, 입체 비디오 모듈은 프레임들 사이의 픽셀들의 공간 및/또는 색상 분포 분석에 기초하여 장면 변화를 결정하도록 구성될 수 있다. 만약 픽셀들의 분포가 프레임들 사이에서 실질적으로 유사하면, 입체 비디오 모듈은 프레임들(302)이 동일한 장면(306)과 연관된다고 결정할 수 있다. 그러나, 만약 프레임들 사이의 픽셀들의 분포가 실질적으로 상이하면, 입체 비디오 모듈은 장면 변화가 발생하였다고 결정할 수 있다. 예를 들어, 입체 비디오 모듈은 프레임들(302a, 302b, 302c) 사이의 픽셀들의 분포가 프레임들(302a, 302b, 302c)이 장면(306a)의 부분일 수 있음을 결정하는 것과 실질적으로 유사하다고 결정할 수 있다. 입체 비디오 모듈은 또한 프레임들(302c, 302d) 사이의 픽셀들의 분포가 장면(306a)으로부터 장면(306b)으로의 장면 변화가 프레임들(302c, 302d) 사이에서 발생하였다고 결정하는 것과 실질적으로 상이하다고 결정할 수 있다.

제1장면으로부터 제2장면으로의 장면 변화 검출에 응답하여, 입체 비디오 모듈은 제1장면의 프레임들 사이의 하나 이상의 요소의 이동을 검출하도록 구성될 수 있다. 제1장면 내의 프레임들 사이의 요소들의 이동에 기초하여, 입체 비디오 모듈은 제1장면에 대한 추론 프레임을 생성하도록 구성될 수 있다. 추론 프레임을 생성함에 따라, 입체 비디오 모듈은 제1장면의 마지막 프레임과 추론 프레임 사이의 요소들의 이동에 기초하여 제1장면의 마지막 프레임에 대한 수정 프레임을 생성하도록 구성될 수 있다.

예를 들어, 장면(306a)으로부터 장면(306b)으로의 변화 검출 후에, 입체 비디오 모듈은 장면 변화 검출에 응답하여 프레임들(302b, 302c) 사이의 하나 이상의 요소의 이동을 검출하도록 구성될 수 있다. 프레임들(302b, 302c) 사이의 검출된 이동에 기초하여, 입체 비디오 모듈은 프레임(302c)과 프레임(302c)을 지나 계속되는 장면(306a) 내의 후속 프레임 사이에서 어떤 이동이 발생하였을 수 있는지를 추론하도록 구성될 수 있다. 일부 실시예들에서, 프레임(302c) 후에 장면(306a)이 종료되지 않고 프레임들(302b, 302c) 사이의 요소들의 이동이 프레임(302c)을 지나 계속되었을 수 있다는 가정에 기초하여 요소들 사이의 이동의 추론이 이루어질 수 있다. 입체 비디오 모듈은 따라서 추론 프레임(305)이 프레임(302c)을 지나 계속되는 장면(306a) 내에서 계속되었을 가능성이 있는 이동을 반영할 수 있도록 장면(306a)의 프레임들(302b, 302c) 사이의 요소들의 이동에 기초하여 장면(306a)에 대한 추론 프레임(305)을 생성하도록 구성될 수 있다.

추론 프레임(305)이 생성되면, 프레임(302c)과 추론 프레임(305) 사이의 하나 이상의 요소의 이동에 기초하여 수정 프레임(302c')을 생성할 수 있으며, 이는 입체 비디오 모듈은 각각 프레임들(302a, 302b) 및 프레임들(302b, 302c)에 기초한 수정 프레임들(302a', 302b')의 생성과 유사하다. 따라서, 후속 프레임이 존재하지 않다고 해도 프레임(302c)으로부터 실질적으로 동일한 요소들을 가진 이러한 후속 프레임으로 발생되었을 수 있는 이동에 기초하여 수정 프레임(302c')이 생성될 수 있다.

본 개시내용의 범주로부터 벗어나지 않고 도 3에 수정, 추가, 또는 삭제가 이루어질 수 있다. 예를 들어, 평면 비디오(301)는 명확하게 도시된 것보다 더 많거나 더 적은 프레임들(302) 및/또는 장면들(306)을 포함할 수 있다. 또한, 각 장면(306)은 임의의 수의 프레임(302)을 포함할 수 있다. 더욱이, 일부 실시예들에서, 하나 이상의 중간 프레임이 도시된 프레임들(302) 사이에 포함될 수 있다.

도 1로 돌아가서, 앞서 언급된 바와 같이, 입체 비디오 모듈(104)은 카메라 효과 및 도 2 및 3과 관련하여 전술된 바와 같이 프레임들 사이의 요소들의 이동에 기초하여 생성될 수 있는 평면 비디오(101)의 수정 프레임들에 기초하여 입체 비디오(103)의 좌안 및 우안 뷰잉 프레임들을 생성하도록 구성될 수 있다. 따라서, 입체 비디오 모듈(104)은 또한 본 개시내용의 하나 이상의 실시예에 따라 평면 비디오(101)의 카메라 효과를 분석하도록 구성될 수 있다. 이러한 실시예들에서, 입체 비디오 모듈(104)은 카메라 효과가 패닝(panning) 또는 주밍(zooming) 효과인지를 결정할 수 있으며 카메라 효과가 패닝 효과인지 또는 주밍 효과인지 여부에 기초하여 좌안 및 우안 뷰잉 프레임들을 생성할 수 있다. 카메라 효과가 패닝 효과라는 결정에 기초한 좌안 뷰잉 프레임 및 우안 뷰잉 프레임의 생성은 도 4 및 5와 관련하여 아래에서 더욱 상세하게 논의된다. 카메라 효과가 주밍 효과라는 결정에 기초한 좌안 뷰잉 프레임 및 우안 뷰잉 프레임의 생성은 도 6 및 7과 관련하여 아래에서 더욱 상세하게 논의된다.

또한, 만약 입체 비디오 모듈(104)이 카메라 효과가 패닝 효과 또는 주밍 효과가 아니라고 결정한다면, 입체 비디오 모듈(104)은 이러한 결정에 따라 좌안 및 우안 뷰잉 프레임들을 생성할 수 있다. 이러한 실시예들 중 일부에서, 입체 비디오 모듈(104)은 평면 비디오(101)의 프레임들과 연관된 전경 및 배경의 이동에 기초하여 좌안 뷰잉 프레임 및 우안 뷰잉 프레임을 생성할 수 있다. 전경 및 배경 검출은 도 8 및 9와 관련하여 더욱 상세하게 기술된다. 카메라 효과가 패닝 효과 또는 주밍 효과가 아니라는 결정에 기초한 좌안 뷰잉 프레임 및 우안 뷰잉 프레임의 생성은 도 10과 관련하여 아래에서 더욱 상세하게 논의된다.

도 4는 본 개시내용의 일부 실시예들에 따른, 평면 비디오(401)의 프레임(402a) 및 프레임(402b)과 연관된 우측-패닝 효과에 기초한 입체 비디오(403)의 좌안 뷰잉 프레임(410) 및 우안 뷰잉 프레임(412)의 생성을 묘사한 예시적인 블록도(400)를 도시한다. 도시된 예시에서, 입체 비디오(403)는 도 1과 관련하여 전술된 입체 비디오 모듈(104)과 같은 입체 비디오 모듈에 의해 생성될 수 있다.

프레임들(402a, 402b)은 프레임(402a) 및 프레임(402b) 모두에 각각 포함될 수 있는 하나 이상의 요소(408)를 포함할 수 있다. 예를 들어, 도시된 실시예에서, 프레임들(402a, 402b)은 각각 요소들(408a, 408b)을 포함할 수 있다. 프레임들(402a, 402b)은 도 4에 명백하게 묘사되지 않은 다른 요소들도 포함할 수 있다.

카메라가 패닝할 때, 카메라에 의해 촬영되는 전체 세팅은 패닝 효과와 연관된 프레임들 내의 요소들이 실질적으로 균일한 크기 및 방향으로 이동할 수 있도록 카메라 이동과 같이 이동한다. 예를 들어, 프레임들(402a, 402b)은 우측-패닝 효과와 연관될 수 있으며 이때 프레임들(402a, 402b)을 생성하는 카메라는 프레임들(402a, 402b) 내의 요소들(408a, 408b)이 프레임들(402a, 402b) 사이에서 우측으로부터 좌측으로 실질적으로 동일한 정도로 균일하게 이동할 수 있도록 좌측에서 우측으로 패닝되었을 수 있다.

우측-패닝 효과는 좌측으로부터 우측으로의 실제 카메라 패닝에 기초하여 생성될 수 있거나, 또는 좌측으로부터 우측으로의 카메라 패닝의 시뮬레이션에 기초하여 생성될 수 있다. 일부 실시예들에서, 패닝 효과는 축 둘레의 카메라 회전, 또는 패닝 효과를 생성하기 위한 이러한 회전의 임의의 적절한 시뮬레이션과 연관될 수 있다. 다른 실시예들에서, 패닝 효과는 촬영중인 세팅에 대한 수평 방향의(예로서, 좌측으로부터 우측으로의) 전체 카메라 이동, 또는 패닝 효과를 생성하기 위한 이러한 이동의 임의의 적절한 시뮬레이션과 연관될 수 있다.

입체 비디오 모듈은 프레임들(402a, 402b) 사이의 요소들(408a, 408b)과 같은 요소들의 이동을 분석한 것에 기초하여 프레임들(402a, 402b) 사이에 우측-패닝 효과가 존재하는지 여부를 결정하도록 구성될 수 있다. 예를 들어, 일부 실시예들에서, 입체 비디오 모듈은 프레임들(402a, 402b)의 서로 다른 영역들(예로서, 우측 상단, 좌측 상단, 우측 하단 및 좌측 하단 영역)에 위치된 서로 다른 요소들의 이동을 분석할 수 있다. 일부 실시예들에서, 입체 비디오 모듈은 요소들에 대응할 수 있는 프레임들(402a, 402b)의 픽셀들과 연관된 이동을 분석함으로써 요소들의 이동을 분석할 수 있다. 이러한 실시예들 또는 다른 실시예들에서, 입체 비디오 모듈은 프레임들(402a, 402b) 사이의 요소들의 이동을 결정하도록 프레임들(402a, 402b)의 각 픽셀과 연관된 이동을 분석할 수 있다. 만약 프레임들(402a, 402b)의 서로 다른 영역에 위치된 요소들(또는 일부 실시예들에서는 픽셀들)과 연관된 이동이 전부 우측으로부터 좌측으로 실질적으로 동일한 정도만큼 이동한다면, 입체 비디오 모듈은 카메라 효과가 우측-패닝 효과라고 결정할 수 있다.

입체 비디오 모듈은 결정된 우측-패닝 효과 및 자신과 연관된 이동에 기초하여 프레임(402a)과 연관된 수정 프레임(402a')을 생성할 수 있다. 예를 들어, 위에서 언급된 바와 같이, 우측-패닝 효과는 요소들(408a, 408b)이 프레임(402a)으로부터 프레임(402b)까지 실질적으로 동일한 정도만큼 우측으로부터 좌측으로 이동하게 할 수 있다. 따라서, 일부 실시예들에서, 입체 비디오 모듈은 우측-패닝 효과에 의해 발생된 프레임들(402a, 402b) 사이에서 요소들(408a, 408b)의 수평 위치에서의 차이로 인해 프레임(402b)을 이용하여 수정 프레임(402a')을 생성할 수 있다. 일부 실시예들에서, 프레임들(402a, 402b) 사이의 요소들(408a, 408b)의 수직 오프셋이 거의 존재하지 않거나 전혀 존재하지 않을 수 있는 경우에, 프레임(402b)이 수정 프레임(402a')으로서 사용될 수 있다. 프레임들(402a, 402b) 사이에서 요소들(408a, 408b) 내에 수직 오프셋이 존재할 수 있는 다른 실시예들에서, 수정 프레임(402a')의 생성 중에 프레임들(402a, 402b) 사이의 요소들(408a, 408b)의 수직 위치의 차이가 제거될 수 있으며 그에 따라 프레임(402a)과 수정 프레임(402a') 사이의 요소들(408a, 408b)의 임의의 수직 오프셋이 실재하지 않을 수 있다.

평면 비디오(401)의 뷰잉 프레임(402a)과 연관될 수 있는 입체 비디오(403)의 좌안 뷰잉 프레임(410) 및 우안 뷰잉 프레임(412)은 우측-패닝 효과, 뷰잉 프레임(402a) 및 수정 뷰잉 프레임(402a')에 기초하여 생성될 수 있다. 예를 들어, 우측-패닝 효과로 인해, 프레임(402a)은 좌안 뷰잉 프레임(410)으로서 지정될 수 있으며 수정 프레임(402a')은 우안 뷰잉 프레임(412)으로서 지정될 수 있다. 따라서, 입체 비디오(403)의 좌안 뷰잉 프레임(410) 및 우안 뷰잉 프레임(412)은 프레임들(402a, 402b) 사이의 요소들(408a, 408b)의 이동과 연관될 수 있는 우측-패닝 효과 및 수정 프레임(402a')에 적어도 부분적으로 기초하여 생성될 수 있다.

명확하게 기술된 바와 다른 수정, 추가, 또는 생략이 입체 비디오(403)의 생성에 대해 이루어질 수 있다. 예를 들어, 평면 비디오(401)의 다른 프레임들(402)과 연관된 좌안 및 우안 뷰잉 프레임들(예를 들어, 프레임(402b)과 연관된 우안 및 좌안 뷰잉 프레임들)이 유사한 방식으로 생성될 수 있다. 또한, 일부 실시예들에서, 프레임(402)과 연관된 수정 프레임이 도 3과 관련하여 전술된 바와 같은 방식으로 결정된 추론 프레임에 기초하여 생성될 수 있도록 좌안 및 우안 뷰잉 프레임들이 개별 장면의 마지막, 또는 마지막에 가까운 프레임일 수 있는 프레임(402)에 대해 생성될 수 있다.

도 5는 본 개시내용의 일부 실시예들에 따른, 평면 비디오(501)의 프레임(502a) 및 프레임(502b)과 연관된 우측-패닝 효과에 기초한 입체 비디오(503)의 좌안 뷰잉 프레임(510) 및 우안 뷰잉 프레임(512)의 생성을 묘사한 예시적인 블록도(500)를 도시한다. 도시된 예시에서, 입체 비디오(503)는 도 1과 관련하여 전술된 입체 비디오 모듈(104)과 같은 입체 비디오 모듈에 의해 생성될 수 있다.

프레임들(502a, 502b)은 프레임(502a) 및 프레임(502b) 모두에 각각 포함될 수 있는 하나 이상의 요소(508)를 포함할 수 있다. 예를 들어, 도시된 실시예에서, 프레임들(502a, 502b)은 각각 요소들(508a, 508b)을 포함할 수 있다.

위에서 언급된 바와 같이, 프레임들(502a, 502b)은 좌측-패닝 효과와 연관될 수 있으며 이때 프레임들(502a, 502b)을 생성하는 카메라는 프레임들(502a, 502b) 내의 요소들(508)이 프레임들(502a, 502b) 사이에서 좌측으로부터 우측으로 실질적으로 동일한 정도로 균일하게 이동할 수 있도록 우측에서 좌측으로 패닝되었을 수 있다. 예를 들어, 도시된 실시예에서, 요소들(508a, 508b)은 프레임들(502a, 502b)과 연관된 좌측-패닝 효과에 기초하여 실질적으로 동일한 정도로 프레임들(502a, 502b) 사이에서 좌측에서 우측으로 이동할 수 있다.

우측-패닝 효과와 유사하게, 좌측-패닝 효과는 좌측으로부터 좌측으로의 실제 카메라 패닝에 기초하여 생성될 수 있거나, 또는 좌측으로부터 좌측으로의 카메라 패닝의 시뮬레이션에 기초하여 생성될 수 있다. 또한, 일부 실시예들에서, 패닝 효과는 축 둘레의 카메라 회전, 또는 패닝 효과를 생성하기 위한 이러한 회전의 임의의 적절한 시뮬레이션과 연관될 수 있다. 다른 실시예들에서, 패닝 효과는 촬영중인 세팅에 대한 수평 방향의(예로서, 우측으로부터 좌측으로의) 전체 카메라 이동, 또는 패닝 효과를 생성하기 위한 이러한 이동의 임의의 적절한 시뮬레이션과 연관될 수 있다.

도 4와 관련하여 위에서 논의된 바와 같이, 우측-패닝 효과가 존재하는지 여부를 결정하는 것과 유사하게, 입체 비디오 모듈은 프레임들(502a, 502b) 사이의 요소들(508a, 508b)과 같은 요소들(또는 일부 실시예들에서는 픽셀들)과 연관된 이동을 분석한 것에 기초하여 프레임들(502a, 502b) 사이에 좌측-패닝 효과가 존재하는지 여부를 결정하도록 구성될 수 있다. 만약 프레임들(502a, 502b)의 서로 다른 영역에 위치된 요소들(또는 일부 실시예들에서는 픽셀들)과 연관된 이동이 전부 좌측으로부터 우측으로 실질적으로 동일한 정도만큼 이동한다면, 입체 비디오 모듈은 카메라 효과가 좌측-패닝 효과라고 결정할 수 있다.

입체 비디오 모듈은 결정된 좌측-패닝 효과 및 자신과 연관된 이동에 기초하여 프레임(502a)과 연관된 수정 프레임(502a')을 생성할 수 있다. 예를 들어, 위에서 언급된 바와 같이, 좌측-패닝 효과는 요소들(508a, 508b)이 프레임(502a)으로부터 프레임(502b)까지 실질적으로 동일한 정도만큼 좌측으로부터 우측으로 이동하게 할 수 있다. 따라서, 일부 실시예들에서, 입체 비디오 모듈은 좌측-패닝 효과에 의해 발생된 프레임들(502a, 502b) 사이에서 요소들(508a, 508b)의 수평 위치에서의 차이로 인해 프레임(502b)을 이용하여 수정 프레임(502a')을 생성할 수 있다. 일부 실시예들에서, 프레임들(502a, 502b) 사이의 요소들(508a, 508b)의 수직 오프셋이 거의 존재하지 않거나 전혀 존재하지 않을 수 있는 경우에, 프레임(502b)이 수정 프레임(502a')으로서 사용될 수 있다. 프레임들(502a, 502b) 사이에서 요소들(508a, 508b) 내에 수직 오프셋이 존재할 수 있는 다른 실시예들에서, 수정 프레임(502a')의 생성 중에 프레임들(502a, 502b) 사이의 요소들(508a, 508b)의 수직 위치의 차이가 제거될 수 있으며 그에 따라 프레임(502a)과 수정 프레임(502a') 사이의 요소들(508a, 508b)의 임의의 수직 오프셋이 실재하지 않을 수 있다.

평면 비디오(501)의 뷰잉 프레임(502a)과 연관될 수 있는 입체 비디오(503)의 좌안 뷰잉 프레임(510) 및 우안 뷰잉 프레임(512)은 좌측-패닝 효과, 뷰잉 프레임(502a) 및 수정 뷰잉 프레임(502a')에 기초하여 생성될 수 있다. 예를 들어, 좌측-패닝 효과로 인해, 수정 프레임(502a')은 좌안 뷰잉 프레임(510)으로서 지정될 수 있으며 프레임(502a)은 우안 뷰잉 프레임(512)으로서 지정될 수 있다. 따라서, 입체 비디오(503)의 좌안 뷰잉 프레임(510) 및 우안 뷰잉 프레임(512)은 프레임들(502a, 502b) 사이의 요소들(508a, 508b)의 이동과 연관될 수 있는 좌측-패닝 효과 및 수정 프레임(502a')에 적어도 부분적으로 기초하여 생성될 수 있다.

명확하게 기술된 바와 다른 수정, 추가, 또는 생략이 입체 비디오(503)의 생성에 대해 이루어질 수 있다. 예를 들어, 평면 비디오(501)의 다른 프레임들(502)과 연관된 좌안 및 우안 뷰잉 프레임들(예를 들어, 프레임(502b)과 연관된 우안 및 좌안 뷰잉 프레임들)이 유사한 방식으로 생성될 수 있다. 또한, 일부 실시예들에서, 프레임(502)과 연관된 수정 프레임이 도 3과 관련하여 전술된 바와 같은 방식으로 결정된 추론 프레임에 기초하여 생성될 수 있도록 좌안 및 우안 뷰잉 프레임들이 개별 장면의 마지막, 또는 마지막에 가까운 프레임일 수 있는 프레임(502)에 대해 생성될 수 있다.

도 6은 본 개시내용에 따른 일부 실시예들에 따른, 평면 비디오(601)의 프레임(602a) 및 프레임(602b)과 연관된 줌아웃(zooming out) 카메라 효과에 기초한 입체 비디오(603)의 좌안 뷰잉 프레임(610) 및 우안 뷰잉 프레임(612)의 생성을 묘사한 예시적인 블록도(600)를 도시한다. 도시된 예에서, 입체 비디오(603)는 도 1과 관련하여 전술된 입체 비디오 모듈(104)과 같은 입체 비디오 모듈에 의해 생성될 수 있다.

프레임들(602a, 602b)은 프레임(602a) 및 프레임(602b) 내에 각각 포함될 수 있는 하나 이상의 요소(608)를 포함할 수 있다. 예를 들어, 도시된 실시예에서, 프레임들(602a, 602b)은 각각 요소들(608a, 608b, 608c, 608d)을 포함할 수 있다.

카메라가 줌아웃할 때, 카메라에 의해 생성되는 프레임들 내의 요소들은 하나의 프레임에서 다른 프레임으로 프레임들에 의해 캡처되는 세팅의 중심을 향해 이동할 수 있다. 예를 들어, 프레임들(602a, 602b)은 프레임들(602a, 602b) 내의 요소들(608a, 608b, 608c, 608d)이 도 6에 도시된 바와 같이 프레임(602a)에서 프레임(602b)으로 프레임들(602a, 602b)에 의해 캡처된 세팅의 중심을 향해 이동할 수 있도록 줌아웃 카메라 효과와 연관될 수 있다. 줌아웃 카메라 효과는 실제 카메라 줌아웃에 기초하여 생성될 수 있거나, 또는 줌아웃의 시뮬레이션에 기초하여 생성될 수 있다.

도 4 및 5와 관련하여 위에서 논의된 바와 같이 우측-패닝 또는 좌측-패닝 효과가 존재하는지를 결정하는 것과 유사하게, 입체 비디오 모듈은 각각 프레임들(602a, 602b)의 좌측 상단, 우측 상단, 좌측 하단 및 우측 하단 영역 내에 위치될 수 있는 요소들(608a, 608b, 608c, 608d)과 같은 프레임들(602a, 602b)의 서로 다른 영역들(예로서, 좌측 상단, 우측 상단, 좌측 하단 및 우측 하단 영역들) 내에 위치된 요소들의 프레임들(602a, 602b) 사이의 이동을 분석한 것에 기초하여 프레임들(602a, 602b) 사이에 줌아웃 카메라 효과가 존재하는지를 결정하도록 구성될 수 있다. 일부 실시예들에서, 입체 비디오 모듈은 요소들에 대응할 수 있는 프레임들(602a, 602b)의 픽셀들과 연관된 이동을 분석함으로써 요소들의 이동을 분석할 수 있다. 이러한 실시예들 또는 다른 실시예들에서, 입체 비디오 모듈은 프레임들(602a)과 프레임(602b) 사이의 요소들의 이동을 결정하도록 프레임들(602a, 602b)의 각 픽셀과 연관된 이동을 분석할 수 있다. 만약 프레임들(602a, 602b)의 서로 다른 영역에 위치된 요소들(또는 일부 실시예들에서는 픽셀들)과 연관된 이동이 전부 실질적으로 프레임들(602a, 602b)에 의해 캡처된 세팅의 중심을 향해 이동한다면, 입체 비디오 모듈은 카메라 효과가 줌아웃 카메라 효과인 것으로 결정할 수 있다.

입체 비디오 모듈은 결정된 줌아웃 카메라 효과 및 그와 연관된 이동에 기초하여 프레임(602a)과 연관된 수정 프레임(602a') 및 수정 프레임(602a")을 생성할 수 있다. 예를 들어, 줌아웃 카메라 효과는 각각 좌측에서 우측으로 이동하는 프레임들(602a, 602b)의 좌측면들(614a, 614b)에 포함된 요소들(예로서, 요소들(608a, 608c))이 실질적으로 동일한 정도만큼 프레임(602a)으로부터 프레임(602b)으로 이동하게 할 수 있다. 또한, 줌아웃 카메라 효과는 각각 우측에서 좌측으로 이동하는 프레임들(602a, 602b)의 우측면들(616a, 616b)에 포함된 요소들(예로서, 요소들(608b, 608d))이 실질적으로 동일한 정도만큼 프레임(602a)으로부터 프레임(602b)으로 이동하게 할 수 있다.

일부 실시예들에서, 입체 비디오 모듈은 프레임들(602a, 602b)의 좌측면들(614a, 614b) 사이의 요소들의 수평 오프셋에 각각 기초하여 수정 프레임(602a')의 좌측면(614c)을 생성할 수 있다. 또한, 입체 비디오 모듈은 좌측면(614c)의 생성 중에 좌측면들(614a, 614b) 사이의 요소들의 임의의 수직 오프셋을 무시할 수 있다. 예를 들어, 요소들(608a, 608c)은 수정 프레임(602a')의 좌측면(614c) 내에 프레임(602b)의 좌측면(614b) 내에서와 실질적으로 동일한 수평 위치를 가질 수 있다. 그러나, 요소들(608a, 608c)은 수정 프레임(602a')의 좌측면(614c) 내에 프레임(602a)의 좌측면(614a) 내에서와 실질적으로 동일한 수직 위치를 가질 수 있다.

또한, 입체 비디오 모듈은 우측면(616c)이 실질적으로 우측면(616a)과 유사할 수 있도록 프레임(602a)의 우측면(616a) 내에 포함된 요소들의 수평 및 수직 위치 모두에 기초하여 수정 프레임(602a')의 우측면(616c)을 생성할 수 있다. 예를 들어, 요소들(608b, 608d)은 수정 프레임(602a')의 우측면(616c) 내에 프레임(602a)의 우측면(616a) 내에서와 실질적으로 동일한 수평 및 수직 위치를 가질 수 있다.

입체 비디오 모듈은 또한 각각 프레임들(602a, 602b)의 우측면들(616a, 616b) 사이의 요소들의 수평 오프셋에 기초하여 수정 프레임(602a")의 우측면(616d)을 생성할 수 있다. 또한, 입체 비디오 모듈은 우측면(616d)의 생성 중에 우측면들(616a, 616b) 사이의 요소들의 임의의 수직 오프셋을 무시할 수 있다. 예를 들어, 요소들(608b, 608d)은 수정 프레임(602a")의 우측면(616d) 내에 프레임(602b)의 우측면(616b) 내에서와 실질적으로 동일한 수평 위치를 가질 수 있다. 그러나, 요소들(608b, 608d)은 수정 프레임(602a")의 우측면(616d) 내에 프레임(602a)의 좌측면(616a) 내에서와 실질적으로 동일한 수직 위치를 가질 수 있다.

반면에, 입체 비디오 모듈은 좌측면(614d)이 실질적으로 좌측면(614a)과 유사할 수 있도록 프레임(602a)의 좌측면(614a) 내에 포함된 요소들의 수평 및 수직 위치 모두에 기초하여 수정 프레임(602a")의 좌측면(614d)을 생성할 수 있다. 예를 들어, 요소들(608a, 608c)은 수정 프레임(602a")의 우측면(614d) 내에 프레임(602a)의 좌측면(614a) 내에서와 실질적으로 동일한 수평 및 수직 위치를 가질 수 있다.

도 6에 묘사된 바와 같이, 전술된 줌아웃 효과에 대한 수정 프레임들(602a', 602a")의 구성은 요소들(608a, 608b, 608c, 608d)이 수정 프레임(602a")에 대해 수정 프레임(602a') 내에서 우측으로 수평으로 오프셋되게 할 수 있다. 또한, 요소들(608a, 608b, 608c, 608d)은 수정 프레임(602a")에 대해 수정 프레임(602a') 내에서 수직 오프셋을 거의 갖지 않거나 전혀 갖지 않을 수 있다.

평면 비디오(601)의 뷰잉 프레임(602a)과 연관될 수 있는 입체 비디오(603)의 좌안 뷰잉 프레임(610) 및 우안 뷰잉 프레임(612)은 줌아웃 카메라 효과 및 수정 뷰잉 프레임들(602a', 602a")에 기초하여 생성될 수 있다. 예를 들어, 줌아웃 카메라 효과로 인해, 수정 프레임(602a')은 좌안 뷰잉 프레임(610)으로서 지정될 수 있으며 수정 프레임(602a")은 우안 뷰잉 프레임(612)으로서 지정될 수 있다. 따라서, 입체 비디오(603)의 좌안 뷰잉 프레임(610) 및 우안 뷰잉 프레임(612)은 프레임들(602a, 602b) 사이의 요소들(608a, 608b, 608c, 608d)의 이동과 연관될 수 있는 수정 프레임들(602a', 602a") 및 줌아웃 카메라 효과에 적어도 부분적으로 기초하여 생성될 수 있다.

명확하게 기술되지 않은 수정, 추가, 또는 생략이 입체 비디오(603)의 생성에 대해 이루어질 수 있다. 예를 들어, 평면 비디오(601)의 다른 프레임들(602)과 연관된 좌안 및 우안 뷰잉 프레임들(예를 들어, 프레임(602b)과 연관된 좌안 및 우안 뷰잉 프레임들) 또한 유사한 방식으로 생성될 수 있다. 또한, 일부 실시예들에서, 좌안 및 우안 뷰잉 프레임들은 프레임(602)과 연관된 수정 프레임들이 프레임(602) 및 도 3과 관련하여 전술된 바와 같은 방식으로 생성된 연관된 추론 프레임에 기초하여 생성될 수 있도록 개별 장면의 마지막, 또는 마지막에 가까운 프레임일 수 있는 프레임(602)에 대해 생성될 수 있다.

도 7은 본 개시내용에 따른 일부 실시예들에 따른, 평면 비디오(701)의 프레임(702a) 및 프레임(702b)과 연관된 줌인(zooming in) 카메라 효과의 좌안 뷰잉 프레임(710) 및 우안 뷰잉 프레임(712)의 생성을 묘사한 예시적인 블록도(700)를 도시한다. 프레임들(702a, 702b)은 프레임(702a) 및 프레임(702b) 내에 각각 포함될 수 있는 하나 이상의 요소(708)를 포함할 수 있다. 예를 들어, 도시된 실시예에서, 프레임들(702a, 702b)은 각각 요소들(708a, 708b, 708c, 708d)을 포함할 수 있다.

카메라가 줌인할 때, 카메라에 의해 생성되는 프레임들 내의 요소들은 하나의 프레임에서 다른 프레임으로 프레임들에 의해 캡처되는 세팅의 중심으로부터 멀어지게 이동할 수 있다. 예를 들어, 프레임들(702a, 702b)은 프레임들(702a, 702b) 내의 요소들(708a, 708b, 708c, 708d)이 도 7에 도시된 바와 같이 프레임(702a)에서 프레임(702b)으로 프레임들(702a, 702b)에 의해 캡처된 세팅의 중심으로부터 멀어지게 이동할 수 있도록 줌인 카메라 효과와 연관될 수 있다. 줌인 카메라 효과는 실제 카메라 줌인에 기초하여 생성될 수 있거나, 또는 줌인의 시뮬레이션에 기초하여 생성될 수 있다.

도 4-6과 관련하여 위에서 논의된 바와 같이 우측-패닝, 좌측-패닝, 또는 줌아웃 카메라 효과가 존재하는지를 결정하는 것과 유사하게, 입체 비디오 모듈은 요소들(708a, 708b, 708c, 708d)과 같은 프레임들(702a, 702b)의 서로 다른 영역들(예로서, 좌측 상단, 우측 상단, 좌측 하단 및 우측 하단 영역들) 내에 위치된 요소들의 프레임들(702a, 702b) 사이의 이동을 분석한 것에 기초하여 프레임들(702a, 702b) 사이에 줌인 카메라 효과가 존재하는지를 결정하도록 구성될 수 있다. 일부 실시예들에서, 입체 비디오 모듈은 요소들에 대응할 수 있는 프레임들(702a, 702b)의 픽셀들과 연관된 이동을 분석함으로써 요소들의 이동을 분석할 수 있다. 이러한 실시예들 또는 다른 실시예들에서, 입체 비디오 모듈은 프레임들(702a)과 프레임(702b) 사이의 요소들의 이동을 결정하도록 프레임들(702a, 702b)의 각 픽셀과 연관된 이동을 분석할 수 있다. 만약 프레임들(702a, 702b)의 서로 다른 영역에 위치된 요소들(또는 일부 실시예들에서는 픽셀들)과 연관된 이동이 전부 실질적으로 프레임들(702a, 702b)에 의해 캡처된 세팅의 중심으로부터 멀어지게 이동한다면, 입체 비디오 모듈은 카메라 효과가 줌인 카메라 효과인 것으로 결정할 수 있다.

입체 비디오 모듈은 결정된 줌인 카메라 효과 및 그와 연관된 이동에 기초하여 프레임(702a)과 연관된 수정 프레임(702a') 및 수정 프레임(702a")을 생성할 수 있다. 예를 들어, 줌인 카메라 효과는 각각 우측에서 좌측으로 이동하는 프레임들(702a, 702b)의 좌측면들(714a, 714b)에 포함된 요소들(예로서, 요소들(708a, 708c))이 실질적으로 동일한 정도만큼 프레임(702a)으로부터 프레임(702b)으로 이동하게 할 수 있다. 또한, 줌인 카메라 효과는 각각 좌측에서 우측으로 이동하는 프레임들(702a, 702b)의 우측면들(716a, 716b)에 포함된 요소들(예로서, 요소들(708b, 708d))이 실질적으로 동일한 정도만큼 프레임(702a)으로부터 프레임(702b)으로 이동하게 할 수 있다.

일부 실시예들에서, 입체 비디오 모듈은 프레임들(702a, 702b)의 좌측면들(714a, 714b) 사이의 요소들의 수평 오프셋에 각각 기초하여 수정 프레임(702a')의 좌측면(714c)을 생성할 수 있다. 또한, 입체 비디오 모듈은 좌측면(714c)의 생성 중에 좌측면들(714a, 714b) 사이의 요소들의 임의의 수직 오프셋을 무시할 수 있다. 예를 들어, 요소들(708a, 708c)은 수정 프레임(702a')의 좌측면(714c) 내에 프레임(702b)의 좌측면(714b) 내에서와 실질적으로 동일한 수평 위치를 가질 수 있다. 그러나, 요소들(708a, 708c)은 수정 프레임(702a')의 좌측면(714c) 내에 프레임(702a)의 좌측면(714a) 내에서와 실질적으로 동일한 수직 위치를 가질 수 있다.

또한, 입체 비디오 모듈은 우측면(716c)이 실질적으로 우측면(716a)과 유사할 수 있도록 프레임(702a)의 우측면(716a) 내에 포함된 요소들의 수평 및 수직 위치 모두에 기초하여 수정 프레임(702a')의 우측면(716c)을 생성할 수 있다. 예를 들어, 요소들(708b, 708d)은 수정 프레임(702a')의 우측면(716c) 내에 프레임(702a)의 우측면(716a) 내에서와 실질적으로 동일한 수평 및 수직 위치를 가질 수 있다.

입체 비디오 모듈은 또한 프레임들(702a, 702b)의 우측면들(716a, 716b) 사이의 요소들의 수평 오프셋에 각각 기초하여 수정 프레임(702a")의 우측면(716d)을 생성할 수 있다. 또한, 입체 비디오 모듈은 우측면(716d)의 생성 중에 우측면들(716a, 716b) 사이의 요소들의 임의의 수직 오프셋을 무시할 수 있다. 예를 들어, 요소들(708b, 708d)은 수정 프레임(702a")의 우측면(716d) 내에 프레임(702b)의 우측면(716b) 내에서와 실질적으로 동일한 수평 위치를 가질 수 있다. 그러나, 요소들(708b, 708d)은 수정 프레임(702a")의 우측면(716d) 내에 프레임(702a)의 좌측면(716a) 내에서와 실질적으로 동일한 수직 위치를 가질 수 있다.

또한, 입체 비디오 모듈은 좌측면(714d)이 실질적으로 좌측면(714a)과 유사할 수 있도록 프레임(702a)의 좌측면(714a) 내에 포함된 요소들의 수평 및 수직 위치 모두에 기초하여 수정 프레임(702a")의 좌측면(714d)을 생성할 수 있다. 예를 들어, 요소들(708a, 708c)은 수정 프레임(702a")의 좌측면(714d) 내에 프레임(702a)의 좌측면(714a) 내에서와 실질적으로 동일한 수평 및 수직 위치를 가질 수 있다.

도 7에 묘사된 바와 같이, 전술된 줌인 효과에 대한 수정 프레임들(702a', 702a")의 구성은 요소들(708a, 708b, 708c, 708d)이 수정 프레임(702a")에 대해 수정 프레임(702a') 내에서 좌측으로 수평으로 오프셋되게 할 수 있다. 또한, 요소들(708a, 708b, 708c, 708d)은 수정 프레임(702a")에 대해 수정 프레임(702a') 내에서 수직 오프셋을 거의 갖지 않거나 전혀 갖지 않을 수 있다.

평면 비디오(701)의 뷰잉 프레임(702a)과 연관될 수 있는 입체 비디오(703)의 좌안 뷰잉 프레임(710) 및 우안 뷰잉 프레임(712)은 줌인 카메라 효과 및 수정 뷰잉 프레임들(702a', 702a")에 기초하여 생성될 수 있다. 예를 들어, 줌인 카메라 효과로 인해, 수정 프레임(702a")은 좌안 뷰잉 프레임(710)으로서 지정될 수 있으며 수정 프레임(702a')은 우안 뷰잉 프레임(712)으로서 지정될 수 있다. 따라서, 입체 비디오(703)의 좌안 뷰잉 프레임(710) 및 우안 뷰잉 프레임(712)은 프레임들(702a, 702b) 사이의 요소들(708a, 708b, 708c, 708d)의 이동과 연관될 수 있는 수정 프레임들(702a', 702a") 및 줌인 카메라 효과에 적어도 부분적으로 기초하여 생성될 수 있다.

명확하게 기술되지 않은 수정, 추가, 또는 생략이 입체 비디오(703)의 생성에 대해 이루어질 수 있다. 예를 들어, 평면 비디오(701)의 다른 프레임들(702)과 연관된 좌안 및 우안 뷰잉 프레임들(예를 들어, 프레임(702b)과 연관된 좌안 및 우안 뷰잉 프레임들) 또한 유사한 방식으로 생성될 수 있다. 또한, 일부 실시예들에서, 좌안 및 우안 뷰잉 프레임들은 프레임(702)과 연관된 수정 프레임들이 프레임(702) 및 도 3과 관련하여 전술된 바와 같은 방식으로 생성된 연관된 추론 프레임에 기초하여 생성될 수 있도록 개별 장면의 마지막, 또는 마지막에 가까운 프레임일 수 있는 프레임(702)에 대해 생성될 수 있다.

도 1로 돌아가면, 입체 비디오 모듈(104)은 따라서 도 4-7과 관련하여 전술된 바와 같은 패닝 또는 주밍 효과에 기초해 입체 비디오(103)에 대한 좌안 및 우안 뷰잉 프레임들을 생성하도록 구성될 수 있다. 그러나, 일부 경우에서 카메라 효과는 패닝 또는 주밍 효과와 다소 상이할 수 있다. 예를 들어, 카메라 효과가 회전 카메라 효과 또는 고정 카메라 효과일 수 있다. 이러한 경우들에서, 입체 비디오 모듈(104)은 카메라 효과가 패닝 또는 주밍 효과가 아님을 결정할 수 있으며 이러한 결정에 따라서 좌안 및 우안 뷰잉 프레임들을 생성할 수 있다. 이러한 실시예들 중 일부에서, 입체 비디오 모듈(104)은 카메라 효과가 패닝 또는 주밍 효과가 아니라는 결정 및 평면 비디오(101)의 프레임들과 연관된 전경 및/또는 배경의 이동에 기초하여 좌안 뷰잉 프레임 및 우안 뷰잉 프레임을 생성할 수 있다.

따라서, 일부 실시예들에서, 입체 비디오 모듈(104)은 입체 비디오 모듈이 전경 및/또는 배경과 연관된 이동을 분석할 수 있도록 평면 비디오(101)와 연관된전경 및 배경 중 적어도 하나를 결정하도록 구성될 수 있다. 이러한 실시예들 중 일부에서, 입체 비디오 모듈(104)은 전경 및/또는 배경을 결정하기 위해서 평면 비디오(101)의 프레임들에 기초하여 평면 비디오(101)의 프레임들과 연관된 가장 빠르게 이동하는 요소, 느리게 이동하는 요소, 및/또는 주요 요소를 결정하도록 구성될 수 있다.

도 8은 본 개시내용의 일부 실시예들에 따른, 가장 빠르게 이동하는 요소(820), 느리게 이동하는 요소(822) 및 주요 요소(824)를 포함하는 평면 비디오(801)의 예시적인 프레임들(802a, 802b)을 도시한다. 평면 비디오(801)는 실질적으로 도 1의 평면 비디오(101)와 유사할 수 있다. 도시된 실시예에서, 프레임들(802a, 802b)은 평면 비디오(801)의 동일한 장면과 연관될 수 있으며 프레임(802b)은 프레임(802a)의 후속 프레임일 수 있다. 도 1의 입체 비디오 모듈(104)과 같은 입체 비디오 모듈은 가장 빠르게 이동하는 요소(820), 느리게 이동하는 요소(822) 및 주요 요소(824)를 식별하도록 구성될 수 있다.

입체 비디오 모듈은 가장 빠르게 이동하는 요소(820), 느리게 이동하는 요소(822) 및/또는 주요 요소(824)를 결정하도록 프레임들(802a, 802b)을 분석할 수 있다. 예를 들어, 입체 비디오 모듈은 가장 빠르게 이동하는 요소(820) 및 느리게 이동하는 요소(822)를 식별하기 위해 프레임(802a)에 대해 프레임(802b) 내의 요소들의 변위(displacement)를 분석할 수 있다. 가장 빠르게 이동하는 요소는 느리게 이동하는 요소보다 프레임(802a)으로부터 프레임(802b)까지 더 많은 거리를 이동할 수 있다. 따라서, 입체 비디오 모듈은 프레임(802a)으로부터 프레임(802b)까지의 요소들의 변위를 분석할 수 있으며, 가장 큰 변위 정도를 가진 요소가 가장 빠르게 이동하는 요소로 결정될 수 있다.

도시된 실시예에서, 가장 빠르게 이동하는 요소(820)는 입체 비디오 모듈이 가장 빠르게 이동하는 요소(820)를 프레임(802a)으로부터 프레임(802b)까지 가장 빠르게 이동하는 요소로서 식별할 수 있도록 프레임(802a)으로부터 프레임(802b)까지의 가장 큰 변위를 가질 수 있다. 또한, 도 8에 도시된 바와 같이, 느리게 이동하는 요소(822) 또한 프레임(802a)으로부터 프레임(802b)까지 이동할 수 있지만, 가장 빠르게 이동하는 요소(820)보다 더 적은 정도로 이동한다. 따라서, 입체 비디오 모듈은 느리게 이동하는 요소(822)를 가장 빠르게 이동하는 요소(820)보다 더 느리게 이동하는 요소로서 식별할 수 있다.

또한, 입체 비디오 모듈은 주요 요소(824)가 프레임들(802a, 802b) 내의 주요 요소라고 결정하도록 구성될 수 있다. 일부 실시예들에서, 입체 비디오 모듈은 특정 요소와 연관된 픽셀들의 수가 결정될 수 있도록 프레임들(802a, 802b)과 연관된 픽셀들의 분석에 기초하여 프레임들(802a, 802b) 내의 요소들을 식별할 수 있다. 따라서, 일부 실시예들에서, 입체 비디오 모듈은 프레임들(802a, 802b) 내에 포함된 다른 요소들보다 실질적으로 더 많은 픽셀 수와 연관되는 주요 요소(824)에 기초하여 주요 요소(824)를 식별하도록 구성될 수 있다. 따라서, 프레임들(802a, 802b)을 분석함으로써, 입체 비디오 모듈은 가장 빠르게 이동하는 요소(820), 느리게 이동하는 요소(822), 및/또는 주요 요소(824)를 식별하는 것이 가능할 수 있다. 아래에서 상세화되는 바와 같이, 이러한 요소들의 식별은 프레임들(802a, 802b)과연관된 전경 및/또는 배경의 결정을 도울 수 있다.

도 8의 도면은 단지 가장 빠르게 이동하는 요소, 느리게 이동하는 요소 및 주요 요소 뒤의 개념을 도입하는 것이다. 따라서, 수정, 추가, 또는 생략이 본 개시내용의 범주로부터 벗어나지 않고 도 8에 대해 이루어질 수 있다. 일부 실시예들에서, 가장 빠르게 이동하는 요소(820) 및 느리게 이동하는 요소(822)의 프레임들(802a, 802b) 사이의 변위의 크기는 가장 빠르게 이동하는 요소(820) 및 느리게 이동하는 요소(822)의 속도 차이에 기초해 달라질 수 있다. 예를 들어, 일부 경우에서, 가장 빠르게 이동하는 요소(820) 및 느리게 이동하는 요소(822)는, 가장 빠르게 이동하는 요소(820) 및 느리게 이동하는 요소(822)의 프레임들(802a, 802b) 사이의 변위가 실질적으로 동일할 수 있도록 실질적으로 동일한 속도로 이동할 수 있다. 또한, 일부 실시예에서 주요 요소(824)는 프레임들(802a, 802b) 사이에서 이동할 수 있는 반면, 다른 실시예들에서 주요 요소(824)는 이동하지 않을 수 있다. 더욱이, 일부 경우에서, 프레임들(802a, 802b)은 주요 요소를 포함하지 않을 수 있다. 또한, 가장 빠르게 이동하는 요소(820), 느리게 이동하는 요소(822), 및/또는 주요 요소(824)의 이동 방향이 다를 수 있다.

위에서 언급된 바와 같이, 장면의 전경 및/또는 배경은 장면과 연관된 가장 빠르게 이동하는 요소, 느리게 이동하는 요소, 및/또는 주요 요소에 기초하여 결정될 수 있다. 도 9는 본 개시내용의 일부 실시예들에 따라, 장면과 연관된 가장 빠르게 이동하는 요소, 느리게 이동하는 요소 및 주요 요소 중 적어도 하나에 기초하여 장면의 전경 및/또는 배경을 결정하는 예시적인 방법(900)의 흐름도이다. 이 방법(900)은 일부 실시예들에서, 도 1의 입체 비디오 모듈(104)과 같은 입체 비디오 모듈에 의해 구현될 수 있다. 예를 들어, 입체 비디오 모듈(104)은 방법(900)의 블록들 중 하나 이상에 의해 나타내어지는 바와 같은 전경 및/또는 배경을 결정하기 위한 동작들을 수행하기 위한 컴퓨터 명령들을 실행하도록 구성될 수 있다. 별개의 블록들로 도시되었지만, 다양한 블록들이 원하는 구현에 따라 추가 블록으로 분할될 수 있거나, 더 적은 수의 블록으로 결합될 수 있거나, 또는 삭제될 수 있다.

방법(900)은 제1프레임과 제2프레임 사이의 요소들 및/또는 픽셀들의 이동이 결정될 수 있는 블록(902)에서 시작할 수 있다. 블록(904)에서, 모든 요소들 및/또는 픽셀들이 실질적으로 동일한 방향으로 이동하는지가 결정될 수 있다. 만약 모든 요소들 및/또는 픽셀들이 실질적으로 동일한 방향으로 이동한다면, 방법(900)은 블록(906)으로 진행할 수 있다. 만약 모든 요소들 및/또는 픽셀들이 실질적으로 동일한 방향으로 이동하지 않는다면, 방법(900)은 블록(914)으로 진행할 수 있다.

블록(906)에서, 제1프레임 및 제2프레임과 연관된 가장 빠르게 이동하는 요소 및 느리게 이동하는 요소가 결정될 수 있다. 일부 실시예들에서, 가장 빠르게 이동하는 요소 및 느리게 이동하는 요소는 도 8의 프레임들(802a, 802b) 사이의 가장 빠르게 이동하는 요소(820) 및 느리게 이동하는 요소(822)에 대해 전술된 바와 같이 제1프레임에 대한 제2프레임 내의 요소들의 변위에 기초하여 결정될 수 있다.

블록(908)에서, 가장 빠르게 이동하는 요소 및 느리게 이동하는 요소 사이에 뚜렷한 속도 차이가 존재하는지가 결정될 수 있다. 만약 뚜렷한 속도 차이가 존재한다면, 방법(900)은 블록(910)으로 진행할 수 있다. 만약 뚜렷한 속도 차이가 존재하지 않는다면, 방법(900)은 블록(912)으로 진행할 수 있다. 일부 실시예들에서, 속도 차이는 제1프레임으로부터 제2프레임으로의 가장 빠르게 이동하는 요소 및 느리게 이동하는 요소의 오프셋에서의 차이를 측정함으로써 결정될 수 있다. 또한, 일부 실시예들에서, 속도 차이(예로서, 오프셋 차이)는 임계값에 비교될 수 있고 만약 속도 차이가 임계값보다 더 크면 방법(900)은 블록(910)으로 진행할 수 있으며 만약 속도 차이가 임계값보다 더 작다면 방법(900)은 블록(912)으로 진행할 수 있다. 일부 경우에서, 이러한 임계값은 영상의 타입에 따라 달라질 수 있다. 예를 들어, 임계값은 드라마보다 액션 영화에 대해 더 높을 수 있다.

블록(910)에서, 가장 빠르게 이동하는 요소 및 느리게 이동하는 요소 사이의 속도 차이가 실질적으로 충분히 큰 경우(예를 들어, 임계값보다 큰 경우), 전경은 가장 빠르게 이동하는 요소가 전경에 있는 것으로 간주될 수 있도록 가장 빠르게 이동하는 요소와 상관될 수 있다. 블록(912)에서, 가장 빠르게 이동하는 요소 및 느리게 이동하는 요소 사이의 속도 차이가 실질적으로 충분히 크지 않은 경우(예를 들어, 임계값보다 작은 경우), 배경이 제1프레임 및 제2프레임과 연관된 전체 장면과 상관될 수 있다. 따라서, 블록(912)에서, 제1프레임 및 제2프레임과 연관된 전체 장면이 배경에 있는 것으로 간주될 수 있다.

다시 블록(904)으로 돌아가서, 위에서 언급된 바와 같이, 만약 모든 요소들 및/또는 픽셀들의 이동이 동일하지 않다면, 방법(900)은 블록(914)으로 진행할 수 있다. 블록(914)에서, 주요 요소가 제1프레임 및 제2프레임과 연관된 장면 내에 존재하는지가 결정될 수 있다. 일부 실시예들에서, 주요 요소가 존재하는지 아닌지의 결정은 도 8의 주요 요소(824)와 관련하여 전술된 바와 같이 각 요소와 연관된 픽셀들의 수에 기초하여 결정될 수 있다. 만약 주요 요소가 존재한다면, 방법(900)은 블록(916)으로 진행할 수 있다. 만약 주요 요소가 존재하지 않는다면, 방법(900)은 블록(922)으로 진행할 수 있다.

블록(916)에서, 블록(914)에서 결정된 주요 요소가 실질적으로 제1 및 제2프레임과 연관된 장면의 중심에 있는지가 결정될 수 있다. 만약 주요 요소가 실질적으로 중심에 있으면, 방법(900)은 블록(918)으로 진행할 수 있다. 만약 주요 요소가 실질적으로 중심에 있지 않다면, 방법(900)은 블록(920)으로 진행할 수 있다.

블록(918)에서, 주요 요소가 실질적으로 장면의 중심에 있는 경우, 전경은 주요 요소가 전경으로 간주될 수 있도록 주요 요소와 상관될 수 있다. 블록(920)에서, 주요 요소가 실질적으로 장면의 중심에 있지 않은 경우, 주요 요소가 배경으로 간주될 수 있도록 배경이 주요 요소와 상관될 수 있다.

블록(914)으로 돌아가서, 만약 주요 요소가 존재하지 않는다고 결정되면, 방법(900)은 위에서 언급된 바와 같이 블록(922)으로 진행할 수 있다. 블록(922)에서, 제1프레임 및 제2프레임과 연관된 가장 빠르게 이동하는 요소 및 느리게 이동하는 요소가 블록(906)에서 수행된 것과 유사하게 결정될 수 있다. 블록(924)에서, 가장 빠르게 이동하는 요소 및 느리게 이동하는 요소 사이에 뚜렷한 속도 차이가 존재하는지가 블록(908)에서 수행된 것과 유사하게 결정될 수 있다. 만약 뚜렷한 속도 차이가 존재한다면, 방법(900)은 블록(926)으로 진행할 수 있다. 만약 뚜렷한 속도 차이가 존재하지 않는다면, 방법(900)은 블록(928)으로 진행할 수 있다.

블록(926)에서, 가장 빠르게 이동하는 요소 및 느리게 이동하는 요소 사이의 속도 차이가 실질적으로 충분히 큰 경우, 가장 빠르게 이동하는 요소가 전경 내에 있는 것으로 간주될 수 있도록 전경이 가장 빠르게 이동하는 요소와 상관될 수 있다. 블록(928)에서, 가장 빠르게 이동하는 요소 및 느리게 이동하는 요소 사이의 속도 차이가 실질적으로 충분히 크지 않은 경우, 배경 또는 전경이 제1프레임 및 제2프레임과 연관된 전체 장면과 상관될 수 있다. 따라서, 블록(928)에서, 제1프레임 및 제2프레임과 연관된 전체 장면이 배경 또는 전경 내에 있는 것으로 간주될 수 있다.

따라서, 방법(900)은 장면의 배경 및/또는 전경을 결정하도록 사용될 수 있다. 당업자는 본 명세서에 개시된 이러한 프로세스 및 방법과 다른 프로세스 및 방법에 있어서, 프로세스 및 방법에서 수행되는 기능들이 상이한 순서로 구현될 수 있음을 이해할 것이다. 더욱이, 윤곽으로 나타낸 단계들 및 동작들은 단지 예시로서 제공되었으며, 일부 단계들 및 동작들은 개시된 실시예들의 본질로부터 벗어나지 않고 선택적일 수 있거나, 더 적은 단계들 및 동작들로 결합되거나, 추가의 단계들 및 동작들로 확장될 수 있다.

도 1로 돌아가서, 위에서 언급된 바와 같이, 입체 비디오 모듈(104)이 카메라 효과가 패닝 또는 주밍 효과가 아님을 결정할 수 있는 일부 실시예들에서, 입체 비디오 모듈(104)은 평면 비디오(101)의 프레임들과 연관된 전경 및/또는 배경의 이동에 기초하여 좌안 뷰잉 프레임 및 우안 뷰잉 프레임을 생성할 수 있다.

도 10은 본 명세서에 기술된 일부 실시예들에 따른, 평면 비디오(1001)와 연관된 전경 및/또는 배경의 이동에 기초하여 평면 비디오(1001)로부터 입체 비디오(1003)의 좌안 뷰잉 프레임(1010) 및 우안 뷰잉 프레임(1012)을 생성하기 위한 예시적인 블록도(1000)를 도시한다. 좌안 뷰잉 프레임(1010) 및 우안 뷰잉 프레임(1012)은 도 1의 입체 비디오 모듈(104)과 같은 입체 비디오 모듈에 의해 생성될 수 있다. 입체 비디오(1003)의 좌안 뷰잉 프레임(1010) 및 우안 뷰잉 프레임(1012)은 평면 비디오(1001)의 프레임(1002a)에 대응할 수 있으며 프레임(1002a) 및 이것의 연관된 수정 프레임(1002a')에 기초하여 생성될 수 있다. 도시된 실시예에서, 수정 프레임(1002a')은 도 2와 관련하여 전술된 바와 같은 방식으로 프레임들(1002a, 1002b) 사이의 이동에 기초하여 생성될 수 있지만; 다른 실시예들에서, 수정 프레임(1002a')은 도 3과 관련하여 전술된 바와 같은 방식으로 추론 프레임을 이용하여 생성될 수 있다.

도시된 실시예에서, 입체 비디오 모듈은 또한 프레임들(1002a, 1002b)과 연관된 카메라 효과가 패닝 또는 주밍 효과가 아니라는 결정에 기초하여 그리고 프레임들(1002a, 1002b)과 연관된 배경 및 전경의 상대적인 이동에 기초하여 (그리고 결과적으로 수정 프레임(1002a')에도 기초하여) 좌안 뷰잉 프레임(1010) 및 우안 뷰잉 프레임(1012)을 생성할 수 있다. 일부 실시예들에서, 입체 비디오 모듈은 도 9와 관련하여 전술된 방법(900)을 이용하여 배경 및 전경을 결정할 수 있다. 다른 실시예들에서, 배경 및 전경은 임의의 다른 적절한 방식으로 결정될 수 있다.

예를 들어, 일부 경우에서 전경은 프레임들(1002a, 1002b) 사이에서 배경보다 더 빠르게 이동하고 있을 수 있으며, 입체 비디오 모듈은 이렇게 결정할 수 있다. 이러한 경우에서, 전경이 우측으로 이동하고 있다면, 배경이 이동하고 있는 방향과 무관하게 입체 비디오 모듈은 프레임(1002a)을 좌안 뷰잉 프레임(1010)으로서 지정할 수 있으며 수정 프레임(1002a')을 우안 뷰잉 프레임(1012)으로서 지정할 수 있다. 또한, 이러한 경우에서, 만약 전경이 좌측으로 이동하고 있다면, 배경이 이동하고 있는 방향과 무관하게 입체 비디오 모듈은 수정 프레임(1002a')을 좌안 뷰잉 프레임(1010)으로서 지정할 수 있으며 프레임(1002a)을 우안 뷰잉 프레임(1012)으로서 지정할 수 있다.

다른 경우에서, 배경은 프레임들(1002a, 1002b) 사이의 전경보다 더 빠르게 이동할 수 있으며, 입체 비디오 모듈은 이와 같이 결정할 수 있다. 이러한 경우에서, 만약 배경이 좌측으로 이동하고 있다면, 전경이 이동하고 있을 수 있는 방향과 무관하게, 입체 비디오 모듈은 프레임(1002a)을 좌안 뷰잉 프레임(1010)으로서 지정할 수 있으며 수정 프레임(1002a')을 우안 뷰잉 프레임(1012)으로서 지정할 수 있다. 또한, 이러한 경우에서, 만약 배경이 우측으로 이동하고 있다면, 전경이 이동하고 있을 수 있는 방향과 무관하게, 입체 비디오 모듈은 수정 프레임(1002a')을 좌안 뷰잉 프레임(1010)으로서 지정할 수 있으며 프레임(1002a)을 우안 뷰잉 프레임(1012)으로서 지정할 수 있다.

따라서, 입체 비디오 모듈은 프레임들(1002a, 1002b)과 연관된 카메라 효과가 패닝 또는 주밍 효과가 아니라는 결정에 따라 프레임들(1002a, 1002b)과 연관된 배경 및 전경의 상대적인 이동에 기초하여(그리고 결과적으로 또한 수정 프레임(1002a')에 기초하여) 좌안 뷰잉 프레임(1010) 및 우안 뷰잉 프레임(1012)을 생성하도록 구성될 수 있다.

본 개시내용의 범주로부터 벗어나지 않고 도 10에 수정, 추가, 또는 생략이 이루어질 수 있다. 예를 들어, 위에서 언급된 바와 같이, 도시된 실시예에서 프레임(1002b)은 프레임(1002a)에 후속할 수 있으며 수정 프레임(1002a')은 프레임들(1002a, 1002b) 사이의 이동에 기초하여 생성될 수 있다. 그러나, 수정 프레임이 특정 장면의 마지막, 또는 마지막에 가까운 프레임에 대해 생성된 수정 프레임인 일부 경우에서, 이러한 경우의 수정 프레임은 도 3과 관련하여 전술된 바와 같이 추론 프레임에 기초하여 생성될 수 있다. 또한, 전경 및 배경이 일부 실시예들에서 도 9의 방법(900)에 따라 검출될 수 있으며, 다른 실시예들에서 전경 및 배경이 일부 다른 허용가능한 방식으로 검출될 수 있다.

도 1-10의 전술된 설명은 입체 비디오 모듈(예로서, 도 1의 입체 비디오 모듈(104))이 본 명세서에 기술된 일부 실시예들에 따라, 평면 비디오의 프레임들 사이의 이동 및 평면 비디오와 연관된 결정된 카메라 효과에 기초하여 입체 비디오에 대한 좌안 및 우안 뷰잉 프레임들을 생성하도록 구성될 수 있음을 나타낸다. 도 11은 본 개시내용의 일부 실시예들에 따른, 카메라 효과에 기초하여 평면 비디오를 입체 비디오로 변환하는 예시적인 방법(1100)의 흐름도이다. 방법(1100)은, 일부 실시예들에서, 도 1의 입체 비디오 모듈(104)과 같은 입체 비디오 모듈에 의해 구현될 수 있다. 예를 들어, 입체 비디오 모듈(104)은 방법(1100)의 하나 이상의 블록에 의해 나타내어진 바와 같이 평면 비디오를 입체 비디오로 변환하기 위한 동작들을 수행하기 위한 컴퓨터 명령을 실행하도록 구성될 수 있다. 별개의 블록들로 도시되었지만, 다양한 블록들이 원하는 구현에 따라서 추가의 블록들로 분할될 수 있거나, 더 적은 블록들로 결합될 수 있거나, 또는 삭제될 수 있다.

방법(1100)은, 평면 비디오의 제1프레임과 평면 비디오의 제2프레임 사이의 이동이 결정될 수 있는 블록(1102)에서 시작할 수 있다. 블록(1104)에서 이러한 이동에 기초하여 수정된 제1프레임이 생성될 수 있다. 일부 실시예들에서, 수정된 제1프레임은 도 2와 관련하여 주어진 설명에 기초하여 생성될 수 있다. 다른 실시예들에서, 수정된 제1프레임은 도 3과 관련하여 기술된 바와 같이 추론 프레임에 기초하여 생성될 수 있다.

블록(1106)에서, 이러한 이동에 기초하여 카메라 효과가 분석 및 결정될 수 있다. 예를 들어, 카메라 효과는 패닝 효과, 주밍 효과, 또는 둘 모두 아닌 것으로 결정될 수 있다. 블록(1108)에서, 입체 비디오의 좌안 뷰잉 프레임이 카메라 효과 분석 및 제1프레임과 수정된 제1프레임 중 적어도 하나에 기초하여 생성될 수 있다. 블록(1110)에서, 입체 비디오의 우안 뷰잉 프레임은 카메라 효과 분석 및 제1프레임과 수정된 제1프레임 중 적어도 하나에 기초하여 생성될 수 있다. 주밍 효과의 경우에서, 일부 실시예들에서 제2 수정된 제1프레임이 또한 제1프레임 및 제2프레임에 기초하여 생성될 수 있으며, 좌안 및 우안 뷰잉 프레임들이 제1 수정된 제1프레임 및 제2 수정된 제1프레임 중 적어도 하나에 기초하여 생성될 수 있다. 일부 실시예들에서, 좌안 및 우안 뷰잉 프레임들은 도 4-10에서 주어진 설명에 따라 생성될 수 있다.

따라서, 방법(1100)은 평면 비디오를 입체 비디오로 변환하도록 사용될 수 있다. 당업자는 본 명세서에 개시된 이러한 프로세스 및 방법과 다른 프로세스 및 방법에 있어서, 프로세스 및 방법에서 수행되는 기능들이 상이한 순서로 구현될 수 있음을 이해할 것이다. 더욱이, 윤곽으로 나타낸 단계들 및 동작들은 단지 예시로서 제공되었으며, 일부 단계들 및 동작들은 개시된 실시예들의 본질로부터 벗어나지 않고 선택적일 수 있거나, 더 적은 단계들 및 동작들로 결합되거나, 추가의 단계들 및 동작들로 확장될 수 있다.

예를 들어, 일부 실시예들에서, 방법(1100)은 도 9 및 10과 관련하여 전술된 바와 같이, 결과적으로 입체 비디오를 생성하기 위해 사용될 수 있는 배경 및/또는 전경을 결정하는 것과 연관된 단계들을 포함할 수 있다. 다른 실시예들에서, 전경 및 배경은 다른 방식으로 결정될 수 있거나, 또는 입력에 의해 지정될 수 있다.

도 1로 돌아가서, 위에서 언급된 바와 같이, 입체 비디오 모듈(104)은 또한 좌안 및 우안 뷰잉 프레임들 내에 포함된 요소들 사이의 오프셋을 조정함으로써 입체 비디오(103)와 연관된 깊이의 크기를 조정하도록 구성될 수 있다. 또한 위에서 언급된 바와 같이, 일부 실시예들에서, 입체 비디오 모듈(104)은 또한 뷰어에 의해 지각되는 것으로서 세팅의 전경 또는 배경 내에 어떤 요소들이 존재할 수 있는지의 지각을 수정할 수 있도록 입체 비디오(103)의 초점을 조정하도록 구성될 수 있다. 깊이의 조정 및 초점의 조정은 도 12a 내지 14와 관련하여 아래에서 기술된다.

도 12a는 일부 실시예들에 따른, 좌안(1202) 및 우안(1204)에 의해 지각될 수 있는 예시적인 세팅(1200)을 도시한다. 세팅(1200)은 근접 요소(1206), 중거리 요소(1208) 및 원거리 요소(1210)를 포함할 수 있다. 도시된 예에서, 좌안(1202) 및 우안(1204)은 중거리 요소(1208)가 좌안(1202) 및 우안(1204)의 초점일 수 있도록 중거리 요소(1208) 상에 초점이 맞추어질 수 있다. 따라서, 근거리 요소(1206)는 좌안(1202) 및 우안(1204)에 의해 지각되는 바와 같이 전경 내에 있을 수 있다. 또한, 좌안(1202) 및 우안(1204)이 중거리 요소(1208) 상에 초점을 맞추었기 때문에, 원거리 요소(1210)는 좌안(1202) 및 우안(1204)에 의해 지각되는 바와 같이 배경 내에 있을 수 있다.

도 12b는 본 명세서에 개시된 일부 실시예들에 따른, 세팅(1200)과 연관된 입체 비디오의 좌안 뷰잉 프레임 및 우안 뷰잉 프레임 내의 요소들(1206, 1208, 1210) 사이에서 발견될 수 있는 예시적인 오프셋을 나타낸 예시적인 격자(1201)를 묘사한다. 위에서 언급된 바와 같이, 요소들(1206, 1208, 1210)의 오프셋은 세팅(1200)에 대해 좌안(1202) 및 우안(1204)의 서로 다른 관점들을 모방할 수 있다.

도시된 실시예에서, 좌 근방 요소(1206a)는 도 12a의 좌안(1202)의 관점으로부터의 도 12a의 근거리 요소(1206)를 나타낼 수 있으며 우 근방 요소(1206b)는 도 12a의 우안(1204)의 관점으로부터의 도 12a의 근거리 요소(1206)를 나타낼 수 있다. 따라서, 격자(1201) 내의 우 근방 요소(1206b)에 대한 좌 근방 요소(1206a)의 위치의 차는 연관된 입체 비디오의 우안 뷰잉 프레임에 대한 좌안 뷰잉 프레임 내의 근거리 요소(1206)의 오프셋을 나타낼 수 있다.

도시된 실시예에서, 도 12a에 도시된 바와 같이 근거리 요소(1206)가 좌안(1202)과 연관된 시선(1212)의 우측에 있을 수 있기 때문에, 좌 근방 요소(1206a)는 우측에 있을 수 있다. 또한, 근거리 요소(1206)가 우안(1204)과 연관된 시선(1214)의 좌측에 있을 수 있기 때문에, 좌 근방 요소(1206b)는 좌측에 있을 수 있다. 이러한 현상은 종종 "음의 시차(negative parallax)"로 지칭되며, 대상이 도시된 실시예에서 중거리 요소(1208)에 있는 것으로 세팅될 수 있는 두 눈의 초점의 전방에 있게 한다.

격자(1201)의 중거리 요소(1208a/b)는 도 12a의 좌안(1202) 및 우안(1204) 모두의 관점으로부터 도 12a의 중거리 요소(1208)를 나타낼 수 있다. 도 12a의 도시된 실시예에서, 중거리 요소(1208)는 좌안(1202) 및 우안(1204)의 관점들 사이에 오프셋이 거의 존재하지 않거나 전혀 존재하지 않을 수 있도록 좌안(1202) 및 우안(1204)의 초점에 존재할 수 있다. 따라서, 중거리 요소(1208)는 실질적으로 연관된 입체 비디오의 우안 뷰잉 프레임 및 좌안 뷰잉 프레임에서 동일한 장소에 존재할 수 있다. 따라서 도 12b의 중거리 요소(1208a/b)는 좌안(1202)에 의해 지각된 바와 같은 좌-중거리 요소(1208a) 및 우안(1204)에 의해 지각된 우-중거리 요소(1208b)의 오버랩을 도시한다.

또한, 좌-원거리 요소(1210a) 및 우-원거리 요소(1210b)는 도 12a의 좌안(1202) 및 우안(1204)의 관점으로부터의 도 12a의 원거리 요소(1210)를 각각 나타낼 수 있다. 따라서, 격자(1201) 내의 우-원거리 요소(1210b)에 대한 좌-원거리 요소(1210a)의 위치 차이는 연관된 입체 비디오의 우안 뷰잉 프레임에 대한 좌안 뷰잉 프레임 내의 원거리 요소(1210)의 오프셋을 나타낼 수 있다.

도시된 실시예에서, 도 12a에 도시된 바와 같이 원거리 요소(1210)가 좌안(1202)과 연관된 시선(1212)의 좌측 상에 존재할 수 있기 때문에, 좌-원거리 요소(1210a)는 좌측 상에 존재할 수 있다. 또한, 원거리 요소(1210)가 우안(1204)과 연관된 시선(1214)의 우측 상에 존재할 수 있기 때문에, 우-원거리 요소(1210b)는 우측 상에 존재할 수 있다. 이러한 현상은 종종 "양의 시차(positive parallax)"로 지칭되며 대상이 도시된 실시예에서 중거리 요소(1208)에 있을 수 있는 두 눈의 초점 뒤에 있도록 한다.

입체 비디오의 깊이의 크기는 좌안 뷰잉 프레임 및 이것의 연관된 우안 뷰잉 프레임의 상응하는 요소들 사이의 오프셋을 조정함으로써 조정될 수 있다. 예를 들어, 도 12b와 연관된 입체 비디오와 연관된 깊이의 크기는 좌-근거리 요소(1206a)와 우-근거리 요소(1206b) 사이의 오프셋을 조정함으로써, 좌-중거리 요소(1208a)와 우-중거리 요소(1208b) 사이의 오프셋을 조정함으로써, 및/또는 좌-원거리 요소(1210a)와 우-원거리 요소(1210b) 사이의 오프셋을 조정함으로써 조정될 수 있다. 본 개시내용의 일부 실시예들에서, 이러한 깊이는 요소들 사이의 오프셋에 균일한 배수(multiplying factor)를 적용함으로써 조정될 수 있다.

도 12c는 본 명세서에 개시된 일부 실시예들에 따른, 도 12b의 오프셋에 균일한 배수를 적용한 후의 개별 좌안 및 우안 뷰잉 프레임들에 대한 도 12b의 요소들의 오프셋을 도시한 예시적인 격자(1203)를 묘사한다. 균일한 배수는 요소들 사이의 오프셋이 실질적으로 동일한 스케일에 의해 조정되도록 좌안 및 우안 뷰잉 프레임들 내의 실질적으로 모든 요소들과 연관된 오프셋에 적용될 수 있다. 도시된 실시예에서, 균일한 배수는 도 12c의 요소들(1206, 1208, 1210) 사이의 오프셋이 도 12b의 상응하는 오프셋에 대해 각각 2배가 될 수 있도록 2의 값을 가질 수 있으며 도 12b의 요소들(1206, 1208, 1210) 사이의 오프셋에 적용될 수 있다.

예를 들어, 도 12b에서 좌-근거리 요소(1206a)의 중심과 우-근거리 요소(1206b)의 중심 사이의 근거리 요소 오프셋은 대략 "2" 격자 단위일 수 있다. 따라서, 근거리 요소 오프셋에 "2"의 배수를 적용하는 것은 도 12c의 좌-근거리 요소(1206a)의 중심과 우-근거리 요소(1206b)의 중심 사이의 근거리 요소 오프셋이 도 12c에 도시된 바와 같이 대략 "4" 격자 단위가 되게 할 수 있다.

또한, 좌-중거리 요소(1208a)와 우-중거리 요소(1208b) 사이의 중거리 요소 오프셋은 대략 "0" 격자 단위일 수 있다. 따라서, 중거리 요소 오프셋에 "2"의 배수를 적용하는 것은 "0"이 곱해진 수도 역시 "0"이기 때문에 도 12c의 좌-중거리 요소(1208a)와 우-중거리 요소(1208b) 사이의 중거리 요소 오프셋이 여전히 대략 "0" 격자 유닛이 되게 할 수 있다.

또한, 도 12b에서 좌-원거리 요소(1210a)의 중심과 우-원거리 요소(1210b)의 중심 사이의 원거리 요소 오프셋은 대략 "3" 격자 단위일 수 있다. 따라서, 원거리 요소 오프셋에 "2"의 배수를 적용하는 것은 도 12c의 좌-원거리 요소(1210a)의 중심과 우-원거리 요소(1210b)의 중심 사이의 원거리 요소 오프셋이 도 12c에 도시된 바와 같이 대략 "6" 격자 단위가 되게 할 수 있다.

도시된 실시예에서, 우안 뷰잉 프레임과 연관된 우-근거리 요소(1206b)는 대략 "2" 격자 단위만큼 좌측으로 시프트될 수 있으며 좌안 뷰잉 프레임과 연관된 좌-근거리 요소(1206a)는 도 12b에 대해 도 12c에서 시프트되지 않을 수 있다. 또한, 도시된 실시예에서, 우안 뷰잉 프레임과 연관된 우-원거리 요소(1210b)는 대략 "3" 격자 단위만큼 우측으로 시프트될 수 있으며 좌안 뷰잉 프레임과 연관된 좌-원거리 요소(1210a)는 도 12b에 대해 도 12c에서 시프트되지 않을 수 있다. 따라서, 좌안 뷰잉 프레임을 조정할 필요 없이 우안 뷰잉 프레임을 조정함으로써 도 12b에 대해 도 12c 내에서 근거리 요소 오프셋은 "2" 격자 단위로부터 "4" 격자 단위로 증가할 수 있으며 원거리 요소 오프셋은 "3" 격자 단위로부터 "6" 격자 단위로 증가할 수 있다.

대안적인 실시예에서, 도 12b에 대한 도 12c에서, 근거리 요소 오프셋과 원거리 요소 오프셋은 우안 뷰잉 프레임 내의 우-근거리 요소(1206b) 및 우-원거리 요소(1210b)를 시프트하는 대신 좌안 뷰잉 프레임 내의 좌-근거리 요소(1206a) 및 좌-원거리 요소(1210a)를 시프트함으로써 조정될 수 있다. 다른 실시예들에서, 도 12b에 대한 도 12c에서, 근거리 요소 오프셋은 좌-근거리 요소(1206a) 및 우-근거리 요소(1206b) 모두를 시프트함으로써 조정될 수 있다. 또한, 이러한 실시예들 또는 다른 실시예들의 일부에서, 도 12b에 대한 도 12c에서, 원거리 요소 오프셋은 좌-원거리 요소(1210a) 및 우-원거리 요소(1210b) 모두를 시프트함으로써 조정될 수 있다.

위의 예시에서 "2"의 특정한 균일한 배수가 사용되었지만, 임의의 적절한 배수가 사용될 수 있다. 예로서, "1"보다 큰 임의의 적절한 배수는 뷰어에 의해 지각되는 깊이의 크기를 증가시키도록 사용될 수 있다. 또한, "1"보다 작은 임의의 적절한 배수는 뷰어에 의해 지각되는 깊이의 크기를 감소시키도록 사용될 수 있다. 또한, 균일한 배수가 상응하는 요소와 연관된 오프셋에 적용되는 것으로 전술되었지만, 일부 실시예에서, 요소들은 각각 하나 이상의 픽셀을 포함할 수 있으며, 균일한 배수는 상응하는 픽셀과 연관된 오프셋에 적용될 수 있다. 일부 실시예에서, 균일한 배수는 모든 요소 및/또는 픽셀과 연관된 모든 오프셋에 적용될 수 있다.

따라서, 본 개시내용의 일부 실시예들에 따르면, 입체 비디오 모듈(예로서, 입체 비디오 모듈(104))은 입체 비디오의 좌안 뷰잉 프레임들 및 상응하는 우안 뷰잉 프레임들과 연관된 상응하는 요소들 및/또는 픽셀들 사이의 오프셋에 균일한 배수를 적용함으로써 입체 비디오와 연관된 깊이를 조정하도록 구성될 수 있다. 반면에, 종래의 깊이 조정 절차는 깊이를 조정하기 위해서 오프셋의 균일한 스케일링을 적용하지 않을 수 있다.

입체 비디오의 초점은 또한 좌안 뷰잉 프레임 및 이것의 연관된 우안 뷰잉 프레임의 상응하는 요소들 사이의 오프셋을 조정함으로써 조정될 수 있다. 예를 들어, 도 12b와 연관된 입체 비디오의 초점은 좌-근거리 요소(1206a)와 우-근거리 요소(1206b) 사이의 오프셋을 조정함으로써, 좌-원거리 요소(1210a)와 우-원거리 요소(1210b) 사이의 오프셋을 조정함으로써, 그리고 좌-중거리 요소(1208a)와 우-중거리 요소(1208b) 사이의 오프셋을 조정함으로써 조정될 수 있다. 일부 실시예들에서, 초점은 요소들 사이의 오프셋에 균일한 합인자(summing factor)를 적용함으로써 적용될 수 있다. 균일한 합인자는 좌안 및 우안 뷰잉 프레임들 내의 실질적으로 모든 요소들과 연관된 오프셋에 적용될 수 있다. 또한, 일부 실시예들에서, 균일한 합인자는 좌안 및 우안 뷰잉 프레임들의 상응하는 픽셀들과 연관된 오프셋에 적용될 수 있다.

도 12d는 본 명세서에 개시된 일부 실시예들에 따른, 도 12b의 오프셋에 균일한 합인자를 적용한 후의 개별 좌안 및 우안 뷰잉 프레임들에 대한 도 12b의 요소들의 오프셋을 도시한 예시적인 격자(1205)를 묘사한다. 도시된 실시예에서, 균일한 합인자는 우안 뷰잉 프레임과 연관된 요소들이 좌안 뷰잉 프레임과 연관된 요소들에 대해 좌측으로 시프트되도록 적용될 수 있다. 이러한 좌안 뷰잉 프레임 요소들에 대한 우안 뷰잉 프레임 요소들의 좌측으로의 시프트는 더 많은 요소가 전경 내에 있는 것으로 지각되도록 초점을 뒤로 이동시킬 수 있다.

다른 실시예들에서, 균일한 합인자는 우안 뷰잉 프레임과 연관된 요소들이 좌안 뷰잉 프레임과 연관된 요소들에 대해 우측으로 시프트되도록 적용될 수 있다. 이러한 좌안 뷰잉 프레임 요소들에 대한 우안 뷰잉 프레임 요소들의 우측으로의 시프트는 더 많은 요소가 배경 내에 있는 것으로 지각되도록 초점을 앞으로 이동시킬 수 있다.

도시된 실시예에서, 균일한 합인자는 "-3"의 값을 가질 수 있으며 균일한 합인자는 우안 뷰잉 프레임 요소들이 각각 자신의 상응하는 좌안 뷰잉 프레임 요소들에 대해 3 격자 단위만큼 좌측으로 시프트될 수 있도록 도 12b의 요소들(1206, 1208, 1210) 사이의 오프셋에 적용될 수 있다. 도시된 실시예에서, 음의 합인자는 좌안 뷰잉 프레임 요소들에 대한 우안 뷰잉 프레임 요소들의 좌측으로의 시프트를 발생시킬 수 있으며 양의 합인자는 좌안 뷰잉 프레임 요소들에 대한 우안 뷰잉 프레임 요소들의 우측으로의 시프트를 발생시킬 수 있다. 그러나, 다른 실시예들에서, 양의 합인자는 좌안 뷰잉 프레임 요소들에 대한 우안 뷰잉 프레임 요소들의 좌측으로의 시프트를 발생시킬 수 있으며 음의 합인자는 좌안 뷰잉 프레임 요소들에 대한 우안 뷰잉 프레임 요소들의 우측으로의 시프트를 발생시킬 수 있다.

예를 들어, 도 12b에서 좌-근거리 요소(1206a)의 중심과 우-근거리 요소(1206b)의 중심 사이의 근거리 요소 오프셋이 "2" 격자 단위일 수 있다. 따라서, 도 12b에 도시된 근거리 요소 오프셋에 "-3"의 합인자를 적용하는 것은 좌-근거리 요소(1206a)의 중심과 우-근거리 요소(1206b)의 중심 사이의 근거리 오프셋이 도 12d에 묘사된 바와 같이 합인자를 적용한 후에 "5" 격자 단위일 수 있도록 좌-근거리 요소(1206a)에 대한 좌측으로 "3" 격자 단위만큼의 우-근거리 요소(1206b)의 시프트를 발생시킬 수 있다.

또한, 좌-중거리 요소(1208a)의 중심과 우-중거리 요소(1208b)의 중심 사이의 중거리 요소 오프셋이 대략 "0" 격자 단위일 수 있다. 따라서, 도 12b에 도시된 중거리 요소 오프셋에 "-3"의 합인자를 적용하는 것은 좌-중거리 요소(1208a)의 중심과 우-중거리 요소(1208b)의 중심 사이의 중거리 오프셋이 도 12d에 묘사된 바와 같이 합인자를 적용한 후에 "3" 격자 단위일 수 있도록 좌-중거리 요소(1208a)에 대한 좌측으로 "3" 격자 단위만큼의 우-중거리 요소(1208b)의 시프트를 발생시킬 수 있다.

또한, 도 12b에서 좌-원거리 요소(1210a)의 중심과 우-원거리 요소(1210b)의 중심 사이의 원거리 요소 오프셋이 "3" 격자 단위일 수 있다. 따라서, 도 12b에 도시된 원거리 요소 오프셋에 "-3"의 합인자를 적용하는 것은 좌-원거리 요소(1210a)의 중심과 우-원거리 요소(1210b)의 중심 사이의 근거리 오프셋이 도 12d에 묘사된 바와 같이 합인자를 적용한 후에 "0" 격자 단위일 수 있도록 좌-원거리 요소(1210a)에 대한 좌측으로 "3" 격자 단위만큼의 우-원거리 요소(1210b)의 시프트를 발생시킬 수 있다.

도시된 실시예에서, 우안 뷰잉 프레임과 연관된 우-근거리 요소(1206b), 우-중거리 요소(1208b) 및 우-원거리 요소(1210b)는 각각 "3" 격자 단위만큼 좌측으로 시프트될 수 있으며 좌안 뷰잉 프레임과 연관된 좌-근거리 요소(1206a), 좌-중거리 요소(1208a) 및 좌-원거리 요소(1210a)는 원하는 정도의 오프셋 조정을 획득하기 위해 도 12b에 대해 도 12d에서 시프트되지 않을 수 있다. 대안적인 실시예들에서, 근거리 오프셋, 중거리 오프셋 및 원거리 오프셋은 도 12b에 대해 도 12d에서 좌-근거리 요소(1206a), 우-근거리 요소(1206b), 좌-중거리 요소(1208a), 우-중거리 요소(1208b), 좌-원거리 요소(1210a), 및/또는 우-원거리 요소(1210b) 중 임의의 하나를 시프트함으로써 조정될 수 있다.

또한, 도시된 실시예는 초점을 뒤로 이동시키도록 좌안 뷰잉 프레임 내의 상응하는 요소들에 대해 우안 뷰잉 프레임과 연관된 요소들을 좌측으로 시프트하는 것을 묘사하며, 이는 뷰어에 의해 지각되는 전경 내에 더 많은 요소를 가져올 수 있다. 그러나, 위에서 나타내어진 바와 같이, 다른 실시예들에서, 초점을 앞으로 이동시키도록 좌안 뷰잉 프레임 내의 상응하는 요소들에 대해 우안 뷰잉 프레임과 연관된 요소들을 우측으로 시프트될 수 있으며, 이는 뷰어에 의해 지각되는 배경 내에 더 많은 요소들을 가져올 수 있다.

따라서, 본 개시내용의 일부 실시예들에 따르면, 입체 비디오 모듈(예로서, 입체 비디오 모듈(104))은 입체 비디오의 좌안 뷰잉 프레임들 및 상응하는 우안 뷰잉 프레임들과 연관된 상응하는 요소들 및/또는 픽셀들 사이의 오프셋에 균일한 합인자를 적용함으로써 입체 비디오와 연관된 초점을 조정하도록 구성될 수 있다.

당업자는 본 명세서에 개시된 이러한 프로세스 및 방법과 다른 프로세스 및 방법에 있어서, 프로세스 및 방법에서 수행되는 기능들이 상이한 순서로 구현될 수 있음을 이해할 것이다. 더욱이, 윤곽으로 나타낸 단계들 및 동작들은 단지 예시로서 제공되었으며, 일부 단계들 및 동작들은 개시된 실시예들의 본질로부터 벗어나지 않고 선택적일 수 있거나, 더 적은 단계들 및 동작들로 결합되거나, 추가의 단계들 및 동작들로 확장될 수 있다.

도 13은 본 개시내용의 일부 실시예들에 따른, 입체 비디오의 깊이를 조정하는 예시적인 방법(1300)의 흐름도이다. 방법(1300)은 일부 실시예들에서, 도 1의 입체 비디오 모듈(104)과 같은 입체 비디오 모듈에 의해 구현될 수 있다. 예를 들어, 입체 비디오 모듈(104)은 방법(1300)의 하나 이상의 블록에 의해 나타내어지는 바와 같은 입체 비디오의 깊이 조정을 위한 동작들을 수행하기 위한 컴퓨터 명령을 실행하도록 구성될 수 있다. 별개의 블록들로 도시되었지만, 다양한 블록들이 원하는 구현에 따라 추가의 블록들로 분할될 수 있거나, 더 적은 블록들로 결합될 수 있거나, 또는 삭제될 수 있다.

방법(1300)은 입체 비디오의 좌안 뷰잉 프레임이 생성될 수 있는 블록(1302)에서 시작할 수 있다. 좌안 뷰잉 프레임은 다수의 좌안 뷰잉 프레임 요소들을 포함할 수 있다. 일부 실시예들에서, 좌안 뷰잉 프레임 요소들은 좌안 뷰잉 프레임 요소들이 실질적으로 전체 좌안 뷰잉 프레임을 포함할 수 있도록 실질적으로 좌안 뷰잉 프레임 내에 포함된 모든 요소들일 수 있다. 또한, 좌안 뷰잉 프레임 요소들은 각각이 하나 이상의 픽셀을 포함할 수 있다.

블록(1304)에서, 입체 비디오의 우안 뷰잉 프레임이 생성될 수 있다. 우안 뷰잉 프레임은 좌안 뷰잉 프레임에 대응할 수 있으며 복수의 우안 뷰잉 프레임 요소들을 포함할 수 있다. 각각의 우안 뷰잉 프레임 요소는 좌안 뷰잉 프레임 요소들 중 하나에 대응할 수 있다. 일부 실시예들에서, 우안 뷰잉 프레임 요소들은 우안 뷰잉 프레임 요소들이 실질적으로 전체 우안 뷰잉 프레임을 포함할 수 있도록 실질적으로 우안 뷰잉 프레임 내에 포함된 모든 요소들일 수 있다. 또한, 우안 뷰잉 프레임 요소들은 각각이 하나 이상의 픽셀을 포함할 수 있다.

블록(1306)에서, 각각의 좌안 뷰잉 프레임 요소와 이것의 상응하는 우안 뷰잉 프레임 요소 사이의 오프셋이 결정될 수 있다. 일부 실시예들에서, 오프셋은 픽셀-바이-픽셀(pixel-by-pixel) 기반으로 결정될 수 있다. 블록(1308)에서 입체 비디오와 연관된 깊이가 실질적으로 균일한 스케일에 대해 조정될 수 있도록 균일한 배수가 각각의 오프셋에 적용될 수 있다.

따라서, 방법(1300)은 입체 비디오의 깊이를 조정하도록 사용될 수 있다. 당업자는 본 명세서에 개시된 이러한 프로세스 및 방법과 다른 프로세스 및 방법에 있어서, 프로세스 및 방법에서 수행되는 기능들이 상이한 순서로 구현될 수 있음을 이해할 것이다. 더욱이, 윤곽으로 나타낸 단계들 및 동작들은 단지 예시로서 제공되었으며, 일부 단계들 및 동작들은 개시된 실시예들의 본질로부터 벗어나지 않고 선택적일 수 있거나, 더 적은 단계들 및 동작들로 결합되거나, 추가의 단계들 및 동작들로 확장될 수 있다.

예를 들어, 일부 실시예들에서, 방법(1300)은 좌안 뷰잉 프레임 및 우안 뷰잉 프레임을 생산하는 것과 연관된 단계들을 포함할 수 있다. 이러한 실시예들 중 일부에서, 좌안 뷰잉 프레임 및 우안 뷰잉 프레임은 도 1-11에 대해 전술된 하나 이상의 방식에 따라 생성될 수 있다.

도 14는 본 개시내용의 일부 실시예들에 따른, 입체 비디오의 초점을 조정하는 예시적인 방법(1400)의 흐름도이다. 방법(1400)은 일부 실시예들에서, 도 1의 입체 비디오 모듈(104)과 같은 입체 비디오 모듈에 의해 구현될 수 있다. 예를 들어, 입체 비디오 모듈(104)은 방법(1400)의 하나 이상의 블록에 의해 나타내어지는 바와 같은 입체 비디오의 깊이 조정을 위한 동작들을 수행하기 위한 컴퓨터 명령을 실행하도록 구성될 수 있다. 별개의 블록들로 도시되었지만, 다양한 블록들이 원하는 구현에 따라 추가의 블록들로 분할될 수 있거나, 더 적은 블록들로 결합될 수 있거나, 또는 삭제될 수 있다.

방법(1400)은 입체 비디오의 좌안 뷰잉 프레임이 생성될 수 있는 블록(1402)에서 시작할 수 있다. 좌안 뷰잉 프레임은 다수의 좌안 뷰잉 프레임 요소들을 포함할 수 있다. 일부 실시예들에서, 좌안 뷰잉 프레임 요소들은 좌안 뷰잉 프레임 요소들이 실질적으로 전체 좌안 뷰잉 프레임을 포함할 수 있도록 실질적으로 좌안 뷰잉 프레임 내에 포함된 모든 요소들일 수 있다. 또한, 좌안 뷰잉 프레임 요소들은 각각이 하나 이상의 픽셀을 포함할 수 있다.

블록(1404)에서, 입체 비디오의 우안 뷰잉 프레임이 생성될 수 있다. 우안 뷰잉 프레임은 좌안 뷰잉 프레임에 대응할 수 있으며 복수의 우안 뷰잉 프레임 요소들을 포함할 수 있다. 각각의 우안 뷰잉 프레임 요소는 좌안 뷰잉 프레임 요소들 중 하나에 대응할 수 있다. 일부 실시예들에서, 우안 뷰잉 프레임 요소들은 우안 뷰잉 프레임 요소들이 실질적으로 전체 우안 뷰잉 프레임을 포함할 수 있도록 실질적으로 우안 뷰잉 프레임 내에 포함된 모든 요소들일 수 있다. 또한, 우안 뷰잉 프레임 요소들은 각각이 하나 이상의 픽셀을 포함할 수 있다.

블록(1406)에서, 각각의 좌안 뷰잉 프레임 요소와 이것의 상응하는 우안 뷰잉 프레임 요소 사이의 오프셋이 결정될 수 있다. 일부 실시예들에서, 오프셋은 픽셀-바이-픽셀 기반으로 결정될 수 있다. 블록(1408)에서 균일한 합인자가 각각의 오프셋에 적용될 수 있다. 균일한 합인자는 각각의 우안 뷰잉 프레임 요소가 실질적으로 동일한 크기만큼 상응하는 좌안 뷰잉 프레임 요소에 대해 균일하게 시프트할 수 있도록 적용될 수 있다. 이러한 시프트는 따라서 입체 비디오와 연관된 초점을 조정할 수 있다.

따라서, 방법(1400)은 입체 비디오의 깊이를 조정하도록 사용될 수 있다. 당업자는 본 명세서에 개시된 이러한 프로세스 및 방법과 다른 프로세스 및 방법에 있어서, 프로세스 및 방법에서 수행되는 기능들이 상이한 순서로 구현될 수 있음을 이해할 것이다. 더욱이, 윤곽으로 나타낸 단계들 및 동작들은 단지 예시로서 제공되었으며, 일부 단계들 및 동작들은 개시된 실시예들의 본질로부터 벗어나지 않고 선택적일 수 있거나, 더 적은 단계들 및 동작들로 결합되거나, 추가의 단계들 및 동작들로 확장될 수 있다.

예를 들어, 일부 실시예들에서, 방법(1400)은 좌안 뷰잉 프레임 및 우안 뷰잉 프레임을 생산하는 것과 연관된 단계들을 포함할 수 있다. 이러한 실시예들 중 일부에서, 좌안 뷰잉 프레임 및 우안 뷰잉 프레임은 도 1-11에 대해 전술된 하나 이상의 방식에 따라 생성될 수 있다.

본 명세서에 기술된 실시예들은 아래에서 더욱 상세하게 논의되는 바와 같이 다양한 컴퓨터 하드웨어 또는 소프트웨어 모듈을 포함하는 전용 또는 범용 컴퓨터의 이용을 포함할 수 있다.

본 명세서에 기술된 실시예들은 자신에 저장된 컴퓨터 실행가능한 명령어 또는 데이터 구조를 운반 또는 구비하기 위한 컴퓨터 판독가능한 매체를 이용하여 구현될 수 있다. 이러한 컴퓨터 판독가능한 매체는 범용 또는 전용 컴퓨터에 의해 접근될 수 있는 임의의 이용가능한 매체일 수 있다. 제한적이지 않은 예시로서, 이러한 컴퓨터 판독가능한 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광디스크 저장장치, 자기 디스크 저장장치 또는 다른 자기 저장 디바이스, 또는 컴퓨터 실행가능한 명령어 또는 데이터 구조의 형태인 원하는 프로그램 코드를 운반 또는 저장하도록 사용될 수 있으며 범용 또는 전용 컴퓨터에 의해 접근될 수 있는 임의의 다른 저장 매체를 포함하는 실체적인 컴퓨터 판독가능한 저장 매체를 포함할 수 있다. 이들의 조합 또한 컴퓨터 판독가능한 매체의 범주 내에 포함될 수 있다.

컴퓨터 실행가능한 명령은 프로세싱 디바이스에 의해 실행될 수 있으며 예를 들어 범용 컴퓨터, 전용 컴퓨터, 또는 전용 프로세싱 디바이스로 하여금 소정의 기능 또는 기능들의 그룹을 수행하게 하는 명령 및 데이터를 포함할 수 있다. 주제사항이 구조적인 특성들 및/또는 방법론적 동작들에 대해 특정적인 언어로 기술되었지만, 첨부된 청구범위에서 정의된 주제사항은 전술된 특정한 특성들 또는 동작들로 반드시 제한되지는 않음이 이해되어야만 한다. 오히려, 전술된 특정한 특성들 및 동작들은 청구범위를 구현하는 예시적인 형태로서 개시되었다.

본 명세서에서 사용되는 바와 같은 "모듈" 또는 "구성요소"와 같은 용어는 컴퓨팅 시스템을 실행하는 소프트웨어 객체 또는 루틴을 지칭할 수 있다. 본 명세서에 기술된 서로 다른 구성요소, 모듈, 엔진 및 서비스는 (예를 들어, 별개의 스레드로서) 컴퓨팅 시스템 상에서 실행하는 객체 또는 프로세스로서 구현될 수 있다. 본 명세서에 기술된 시스템 및 방법이 소프트웨어로 구현될 수 있지만, 하드웨어 또는 소프트웨어와 하드웨어의 조합으로의 구현 또한 가능하며 고려된다. 이 명세서에서, "컴퓨팅 엔티티"는 본 명세서에 이전에 정의된 바와 같은 임의의 컴퓨팅 시스템, 또는 컴퓨팅 시스템 상에서 구동하는 임의의 모듈 또는 모듈들의 조합일 수 있다.

본 명세서에 기재된 모든 예시들 및 조건적 표현들은 기술을 발전시키기 위해 본 출원인이 공헌한 개념 및 본 발명을 이해하는데 있어서 독자를 돕기 위한 교육학적 대상으로 의도된 것이며, 이렇게 구체적으로 기재된 예시들 및 조건들에 대한 제한 없이 해석된다. 본 발명의 실시예들이 상세하게 기술되었지만, 다양한 변화, 치환 및 대체가 본 발명의 사상 및 범주로부터 벗어나지 않고 본 발명에 대해 이루어질 수 있다.

Claims (26)

1. 입체 비디오(stereoscopic video) 내의 깊이를 조정하는 방법으로서,
   평면 비디오의 제 1 프레임 내의 요소의 제 1 위치의 수평 오프셋 및 수직 오프셋을, 상기 평면 비디오의 제 2 프레임 내의 요소의 제 2 위치에 대해서 결정하는 단계;
   요소의 수직 오프셋을 제거하면서 요소의 수평 오프셋에 기초하여 수정된 제 1 프레임을 생성하는 단계로서, 상기 요소는 상기 제 1 프레임과 비교하여 상기 수정된 제 1 프레임에서 수평 방향으로 오프셋되고, 상기 요소는 제 1 프레임과 비교하여 상기 수정된 제 1 프레임에서 수직으로 오프셋되지 않도록 하는, 상기 제 1 프레임을 생성하는 단계;
   상기 제 1 프레임 및 수정된 제 1 프레임 중 하나 이상에 기초하여 입체 비디오의 제1-안의 뷰잉 프레임(first-eye viewing frame)을 생성하는 단계로서, 상기 제1-안의 뷰잉 프레임은 복수의 제1-안의 뷰잉 프레임 요소들을 포함하는, 제1-안의 뷰잉 프레임을 생성하는 단계;
   상기 제 1 프레임 및 상기 수정된 제 1 프레임 중 하나 이상에 기초하여 상기 입체 비디오의 제2-안의 뷰잉 프레임(second-eye viewing frame)을 생성하는 단계로서, 상기 제2-안의 뷰잉 프레임은 상기 제1-안의 뷰잉 프레임에 상응하고 복수의 제2-안의 뷰잉 프레임 요소들을 포함하며, 각각의 제2-안의 뷰잉 프레임 요소는 상기 제1-안의 뷰잉 프레임 요소들 중 하나에 상응하는, 제2-안의 뷰잉 프레임을 생성하는 단계;
   각각의 제2-안 뷰잉 프레임 요소 및 그와 상응하는 제1-안 뷰잉 프레임 요소 사이의 오프셋을 결정하는 단계로서, 하나 이상의 오프셋은 하나 이상의 다른 오프셋과 상이한, 오프셋을 결정하는 단계; 및
   상기 입체 비디오와 연관된 지각된 깊이(perceived depth)가 실질적으로 균일한 스케일에 대해 조정되도록 각각의 오프셋에 대한 수정된 오프셋을 생성하기 위해 각각의 오프셋에 배수 인자(multiplying factor)를 균일하게 적용하는 단계로서, 각각의 수정된 오프셋은 상기 배수 인자만큼 그와 상응하는 오프셋의 배수인, 오프셋에 배수 인자를 균일하게 적용하는 단계를 포함하는, 방법.
2. 제1항에 있어서,
   상기 복수의 제1-안의 뷰잉 프레임 요소들은 실질적으로 모든 제1-안의 뷰잉 프레임을 포함하며;
   상기 복수의 제2-안의 뷰잉 프레임 요소들은 실질적으로 모든 제2-안의 뷰잉 프레임을 포함하는, 방법.
3. 제2항에 있어서,
   상기 복수의 제1-안의 뷰잉 프레임 요소들은 제1-안의 뷰잉 프레임 픽셀들을 포함하며;
   상기 복수의 제2-안의 뷰잉 프레임 요소들은 제2-안의 뷰잉 프레임 픽셀들을 포함하는, 방법.
4. 제1항에 있어서,
   상기 배수 인자는 상기 입체 비디오와 연관된 상기 지각된 깊이를 감소시키도록 1보다 작은, 방법.
5. 제1항에 있어서,
   상기 배수 인자는 상기 입체 비디오와 연관된 상기 지각된 깊이를 증가시키도록 1보다 큰, 방법.
6. 제1항에 있어서,
   평면 비디오의 제1프레임과 상기 평면 비디오의 제2프레임 사이의 이동을 결정하는 단계;
   상기 이동에 기초하여 카메라 효과를 결정하는 단계; 및
   상기 카메라 효과에 기초하여 상기 제1-안의 뷰잉 프레임 및 상기 제2-안의 뷰잉 프레임을 생성하는 단계를 더 포함하는, 방법.
7. 제6항에 있어서,
   상기 카메라 효과는 패닝 효과(panning effect), 주밍 효과(zooming effect), 회전 효과(rotating effect) 및 고정 효과(stationary effect) 중 적어도 하나를 포함하는, 방법.
8. 제6항에 있어서,
   상기 제1프레임 및 상기 제2프레임에 기초하여 전경 및 배경 중 적어도 하나를 결정하는 단계;
   상기 전경 및 상기 배경 중 적어도 하나와 연관된 상기 제1프레임과 상기 제2프레임 사이의 상기 이동을 결정하는 단계; 및
   상기 전경 및 상기 배경 중 적어도 하나와 연관된 이동에 기초하여 상기 제1-안의 뷰잉 프레임 및 상기 제2-안의 뷰잉 프레임을 생성하는 단계를 더 포함하는, 방법.
9. 제8항에 있어서,
   상기 제1프레임 및 상기 제2프레임과 연관된 가장 빠르게 이동하는 요소, 느리게 이동하는 요소 및 주요 요소 중 적어도 하나를 결정하는 단계; 및
   상기 제1프레임 및 상기 제2프레임과 연관된 상기 가장 빠르게 이동하는 요소, 상기 느리게 이동하는 요소 및 상기 주요 요소 중 적어도 하나에 기초하여 상기 전경 및 상기 배경 중 적어도 하나를 결정하는 단계를 더 포함하는, 방법.
10. 제1항에 있어서,
    상기 제2프레임은 상기 제1프레임에 대한 후속 프레임인, 방법.
11. 제1항에 있어서,
    상기 제2프레임은 상기 제1프레임에 대한 이전 프레임인, 방법.
12. 제11항에 있어서,
    상기 제1프레임 및 상기 제2프레임과 연관된 장면에서 다른 장면으로의 상기 평면 비디오 내의 장면 변화를 검출하는 단계;
    상기 장면 변화의 검출에 응답하여 그리고 상기 제1프레임과 상기 제2프레임 사이의 이동에 기초하여 상기 제1프레임 및 상기 제2프레임과 연관된 상기 장면의 후속 프레임을 추론하는 단계; 및
    상기 추론된 후속 프레임에 기초하여 상기 제1-안의 뷰잉 프레임 및 상기 제2-안의 뷰잉 프레임 중 적어도 하나를 생성하는 단계를 더 포함하는, 방법.
13. 시스템으로 하여금 입체 비디오 내의 깊이를 조정하기 위한 동작들을 수행하게 하도록 구성된 컴퓨터 실행가능한 명령을 포함하는 비일시적 컴퓨터 판독가능한 저장 매체로서, 상기 동작들은:
    평면 비디오의 제 1 프레임 내의 요소의 제 1 위치의 수평 오프셋 및 수직 오프셋을, 상기 평면 비디오의 제 2 프레임 내의 요소의 제 2 위치에 대해서 결정하는 단계;
    요소의 수직 오프셋을 제거하면서 요소의 수평 오프셋에 기초하여 수정된 제 1 프레임을 생성하는 단계로서, 상기 요소는 상기 제 1 프레임과 비교하여 상기 수정된 제 1 프레임에서 수평 방향으로 오프셋되고, 상기 요소는 제 1 프레임과 비교하여 상기 수정된 제 1 프레임에서 수직으로 오프셋되지 않도록 하는, 상기 제 1 프레임을 생성하는 단계;
    상기 제 1 프레임 및 수정된 제 1 프레임 중 하나 이상에 기초하여 입체 비디오의 제1-안의 뷰잉 프레임(first-eye viewing frame)을 생성하는 단계로서, 상기 제1-안의 뷰잉 프레임은 복수의 제1-안의 뷰잉 프레임 요소들을 포함하는, 제1-안의 뷰잉 프레임을 생성하는 단계;
    상기 제 1 프레임 및 상기 수정된 제 1 프레임 중 하나 이상에 기초하여 상기 입체 비디오의 제2-안의 뷰잉 프레임(second-eye viewing frame)을 생성하는 단계로서, 상기 제2-안의 뷰잉 프레임은 상기 제1-안의 뷰잉 프레임에 상응하고 복수의 제2-안의 뷰잉 프레임 요소들을 포함하며, 각각의 제2-안의 뷰잉 프레임 요소는 상기 제1-안의 뷰잉 프레임 요소들 중 하나에 상응하는, 제2-안의 뷰잉 프레임을 생성하는 단계;
    각각의 제2-안 뷰잉 프레임 요소 및 그와 상응하는 제1-안 뷰잉 프레임 요소 사이의 오프셋을 결정하는 단계로서, 하나 이상의 오프셋은 하나 이상의 다른 오프셋과 상이한, 오프셋을 결정하는 단계; 및
    상기 입체 비디오와 연관된 지각된 깊이(perceived depth)가 실질적으로 균일한 스케일에 대해 조정되도록 각각의 오프셋에 대한 수정된 오프셋을 생성하기 위해 각각의 오프셋에 배수 인자(multiplying factor)를 균일하게 적용하는 단계로서, 각각의 수정된 오프셋은 상기 배수 인자만큼 그와 상응하는 오프셋의 배수인, 오프셋에 배수 인자를 균일하게 적용하는 단계를 포함하는, 비일시적 컴퓨터 판독가능한 저장 매체.
14. 삭제
15. 제13항에 있어서,
    상기 복수의 제1-안의 뷰잉 프레임 요소들은 실질적으로 모든 제1-안의 뷰잉 프레임을 포함하며;
    상기 복수의 제2-안의 뷰잉 프레임 요소들은 실질적으로 모든 제2-안의 뷰잉 프레임을 포함하는, 비일시적 컴퓨터 판독가능한 저장 매체.
16. 제15항에 있어서,
    상기 복수의 제1-안의 뷰잉 프레임 요소들은 제1-안의 뷰잉 프레임 픽셀들을 포함하며;
    상기 복수의 제2-안의 뷰잉 프레임 요소들은 제2-안의 뷰잉 프레임 픽셀들을 포함하는, 비일시적 컴퓨터 판독가능한 저장 매체.
17. 제13항에 있어서,
    상기 배수 인자는 상기 입체 비디오와 연관된 상기 지각된 깊이를 감소시키도록 1보다 작은, 비일시적 컴퓨터 판독가능한 저장 매체.
18. 제13항에 있어서,
    상기 배수 인자는 상기 입체 비디오와 연관된 상기 지각된 깊이를 증가시키도록 1보다 큰, 비일시적 컴퓨터 판독가능한 저장 매체.
19. 제13항에 있어서,
    상기 동작들은,
    평면 비디오의 제1프레임과 상기 평면 비디오의 제2프레임 사이의 이동을 결정하는 단계;
    상기 이동에 기초하여 카메라 효과를 결정하는 단계; 및
    상기 카메라 효과에 기초하여 상기 제1-안의 뷰잉 프레임 및 상기 제2-안의 뷰잉 프레임을 생성하는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능한 저장 매체.
20. 제19항에 있어서,
    상기 동작들은,
    상기 제1프레임 및 상기 제2프레임에 기초하여 전경 및 배경 중 적어도 하나를 결정하는 단계;
    상기 전경 및 상기 배경 중 적어도 하나와 연관된 상기 제1프레임과 상기 제2프레임 사이의 상기 이동을 결정하는 단계; 및
    상기 전경 및 상기 배경 중 적어도 하나와 연관된 이동에 기초하여 상기 제1-안의 뷰잉 프레임 및 상기 제2-안의 뷰잉 프레임을 생성하는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능한 저장 매체.
21. 제20항에 있어서,
    상기 동작들은,
    상기 제1프레임 및 상기 제2프레임과 연관된 가장 빠르게 이동하는 요소, 느리게 이동하는 요소 및 주요 요소 중 적어도 하나를 결정하는 단계; 및
    상기 제1프레임 및 상기 제2프레임과 연관된 상기 가장 빠르게 이동하는 요소, 상기 느리게 이동하는 요소 및 상기 주요 요소 중 적어도 하나에 기초하여 상기 전경 및 상기 배경 중 적어도 하나를 결정하는 단계를 더 포함하는, 비일시적 컴퓨터 판독가능한 저장 매체.
22. 입체 비디오 내의 깊이를 조정하는 방법으로서,
    평면 비디오의 제 1 프레임 내의 요소의 제 1 위치의 수평 오프셋 및 수직 오프셋을, 상기 평면 비디오의 제 2 프레임 내의 요소의 제 2 위치에 대해서 결정하는 단계;
    요소의 수직 오프셋을 제거하면서 요소의 수평 오프셋에 기초하여 수정된 제 1 프레임을 생성하는 단계로서, 상기 요소는 상기 제 1 프레임과 비교하여 상기 수정된 제 1 프레임에서 수평 방향으로 오프셋되고, 상기 요소는 제 1 프레임과 비교하여 상기 수정된 제 1 프레임에서 수직으로 오프셋되지 않도록 하는, 상기 제 1 프레임을 생성하는 단계;
    상기 제 1 프레임 및 수정된 제 1 프레임 중 하나 이상에 기초하여 입체 비디오의 제1-안의 뷰잉 프레임(first-eye viewing frame)을 생성하는 단계로서, 상기 제1-안의 뷰잉 프레임은 복수의 제1-안의 뷰잉 프레임 요소들을 포함하는, 제1-안의 뷰잉 프레임을 생성하는 단계;
    상기 제 1 프레임 및 상기 수정된 제 1 프레임 중 하나 이상에 기초하여 상기 입체 비디오의 제2-안의 뷰잉 프레임(second-eye viewing frame)을 생성하는 단계로서, 상기 제2-안의 뷰잉 프레임은 입체 비디오 프레임을 생성하기 위해 상기 제1-안의 뷰잉 프레임에 상응하고 복수의 제2-안의 뷰잉 프레임 요소들을 포함하며, 각각의 제2-안의 뷰잉 프레임 요소는 상기 제1-안의 뷰잉 프레임 요소에 상응하는, 제2-안의 뷰잉 프레임을 생성하는 단계;
    각각의 제2-안 뷰잉 프레임 요소 및 그와 상응하는 제1-안 뷰잉 프레임 요소 사이의 오프셋을 결정하는 단계;
    상기 입체 비디오와 연관된 지각된 깊이(perceived depth)가 실질적으로 균일한 스케일에 대해 조정되도록 각각의 오프셋에 대한 수정된 오프셋을 생성하기 위해 각각의 오프셋에 배수 인자(multiplying factor)를 균일하게 적용하는 단계로서, 각각의 수정된 오프셋은 상기 배수 인자만큼 그와 상응하는 오프셋의 배수인, 오프셋에 배수 인자를 균일하게 적용하는 단계, 및
    각각의 수정된 오프셋에 기초하여 수정된 제1-안의 뷰잉 프레임 및 수정된 제2-안의 뷰잉 프레임을 생성하는 단계로서, 수정된 제1-안의 뷰잉 프레임 내의 각각의 제1-안의 뷰잉 프레임 요소는 수정된 제2-안 뷰잉 프레임 내의 상응하는 제2-안의 뷰잉 프레임 요소로부터 상응하는 수정된 오프셋만큼 분리되는, 제1-안 및 제2-안의 뷰잉 프레임을 생성하는 단계를 포함하는, 방법.
23. 삭제
24. 삭제
25. 삭제
26. 삭제

Images