KR20010023561A

KR20010023561A - 영상처리 방법 및 장치

Info

Publication number: KR20010023561A
Application number: KR1020007002209A
Authority: KR
Inventors: 필립빅터 허먼
Original assignee: 로버트 베커; 다이나믹 디지탈 텝스 리서치 피티와이 엘티디
Priority date: 1997-09-02
Filing date: 1998-09-02
Publication date: 2001-03-26
Also published as: EP1019873A1; CN1278349A; WO1999012127A1; AUPO894497A0; KR20010023596A; US20020191841A1; US6496598B1; JP2001515287A; CA2302199A1

Abstract

평면 영상들을 수신하기에 적합한 입력수단, 제 1 영상과 평면 영상 시퀸스의 제 2 영상 사이에 연속성이 있는가를 판단하는 1차 해석수단, 연속성을 갖는 평면 영상을 수신하고 물체의 속도 및 이동방향 또는 원근, 크기 및 위치 중 최소한 하나를 판단하기 위해 영상들을 해석하는 2차 해석수단, 1차 해석 수단 및/또는 2차 해석 수단으로부터 수신된 데이타에 입각하여 평면 영상들을 처리하는 제 1 프로세싱 수단, 상기 제 1 프로세싱 수단으로부터 수신된 영상들을 더 처리하도록 제공되는 제 2 프로세싱 수단, 처리된 영상을 입체 디스플레이 시스템으로 전송할 수 있는 전송수단을 포함하는 3차원으로 시청하기 위해 평면 영상들을 변환하는 영상변환 시스템.

Description

영상처리 방법 및 장치{IMAGE PROCESSING METHOD AND APPARATUS}

종래의 평면 또는 2차원(2D) 디스플레이 시스템보다 시청자에게 더 실감나는 영상을 제공하는 입체 또는 3차원(3D) 디스플레이 장치의 출현은 입체 영상이 3D 디스플레이 시스템에 보여질 수 있는 것을 필요로 한다. 이와 관련하여 많은 평면 소오스 예컨대 2D 필름 또는 비디오가 있고, 이것들은 입체 영상 디스플레이 장치에 상영되기에 알맞게 입체 영상들을 생성하도록 조절될 수 있다.

이와같은 평면 영상을 입체 영상으로 변환시키는 종래의 방법은 만족스러운 결과를 제공하지 못했다. 동작 시차(Motion Parallax ; 動作視差)의 입체 원근 신호를 복사하는 기술을 필름 또는 비디오에 사용하는 다른 시도가 있었다. 수평 동작, 좌측 동작 또는 우측 동작이 영상들에 제공되면 종동 눈(trailing eye)에 제공된 영상들에 알맞은 딜레이를 생성시키는 방법을 포함한다. 원근 인식을 제공하도록 좌우측 눈으로 영상들을 '수평 이동(lateral shifiting)'시키는 방법을 사용하는 것이 시도되었다.

그러나, 이 두 기술은 한계가 있고 일반적으로 특정한 분야에만 적합하다. 예를 들어, '동작 시차' 기술은 오직 좌우측 움직이는 장면들에만 양호하고, 장면의 입체 강조를 하는데 한계가 있다. 수평 이동 기술은 어느 한 장면 전체에만 원근 효과를 제공하고, 원근이 변하는 곳에서 여러 가지 물체의 가변 원근을 인지하지 못한다. 이 두가지 기술을 조합하면 대부분의 2D 필름 또는 비디오에 한정된 입체 효과만을 제공할 것이다.

다소의 기존 접근 방법은 이러한 기술의 한계를 보여준다. 어느 한 영상이 수직 동작과 다수의 수평 동작을 가지며 딜레이가 종동 눈에 제공된 영상에 제공되면, 종종 좌우 시야 사이에 큰 수직적 불균형 발생하여 시청하기에 영상이 불안전하게 된다. 동일한 장면에서 물체가 좌측 및 우측으로 움직이는 것처럼 상반 동작을 가진 장면들 또한 시청하기에 불편하다. 이러한 방법의 실시예들은 가변 원근의 물체가 영상에 제공될 때 전방 배경에서 후방 배경으로 물체가 매끄럽게 이동하기 보다 별도의 원근 레이어들로 물체에 '화상 절단(card board cut-out)' 현상이 나타난다는 것이다.

모든 이러한 접근 방법은 모든 영상 시퀀스에 적합하거나 또는 시청자의 불불편함을 해결하거나 또는 모든 시청자 또는 디스플레이 장치에 대해 입체 효과를 최적화하는 시스템 또는 방법 개발에 성공하지 못했다.

본 발명은 일반적으로 입체 영상 시스템에 관한 것으로서, 보다 상세히는 입체 영상 디스플레이를 위해 평면 영상(monoscopic images)을 입체 영상 사진(stereoscopic image pairs)들로 합성하는 것에 관한 것이다. 본 발명은 또한 입체 영상들을 생성시키는 5 레이어 방법(five layer method)에 관한 것이다. 상기 5 레이어 방법은 평면 소오스(monoscopic source)를 디지털화하고, 동작을 위해 이것을 해석하고, 입체 영상 사진을 생성시키며, 입체 효과를 최적화하고, 이것들을 전송 또는 기억시킨 후 이것들을 입체 디스플레이 장치에 디스플레이시킨다.

도 1은 본 발명을 이용한 전체 시스템(complete system)의 상태 내역을 도시한 것이다.

도 2는 본 발명을 이용한 전체 시스템과 다중 처리장치의 사용을 도시한 것이다.

도 3은 레이어 1(비디오 디지탈화)과 레이어 2의 제 1부분(영상 해석)에 대한 플로우 다이어그램을 도시한 것이다.

도 4는 레이어 2의 제 2부분의 플로우 다이어그램을 도시한 것이다.

도 5는 레이어 2의 제 3부분의 플로우 다이어그램을 도시한 것이다.

도 6은 레이어 2의 제 4부분의 플로우 다이어그램을 도시한 것이다.

도 7은 레이어 3(3차원 생성)의 제 1부분의 플로루 다이어그램을 도시한 것이다.

도 8은 레이어 3, 레이어 4(3차원 매체-전송 및 저장) 및 레이어 5(3차원 디스플레이)의 제 2 부분의 플로우 다이어그램을 도시한 것이다.

발명의 목적

따라서, 평면 영상들을 입체 영상 사진으로 변환하는 개선된 방법을 갖춘 시스템 및 시청자에게 개선된 입체 영상들을 제공하는 시스템이 필요하게 되었다.

본 발명의 목적은 개선된 방법을 갖춘 이와같은 시스템을 제공하는 것이다.

발명의 요약

위에 기술된 문제점들에 해결하기 위해, 본 발명의 일 예로에서 평면 영상들을 입체 영상 사진으로 처리하는 방법은 영상내의 동작 특성을 판단하도록 평면 영상을 해석하는 단계, 동작 카테고리들의 예정된 범위와 검출된 동작을 비교하는 단계, 입체 영상 사진을 형성하기 위해 동작 카테고리에 좌우되는 최소한 하나의 프로세싱 방법을 이용하여 평면 영상들을 프로세싱하는 단계를 포함한다.

다른 예에 있어서, 본 발명은 평면 영상들을 수신하는 입력 수단, 영상 카테고리를 판단하기 위해 영상을 해석하는 해석 수단, 입체 시청을 위해 선택된 영상 카테고리 함수로 평면 영상들을 입체 영상 사진으로 변환시킬 수 있는 변환 수단을 포함하는 입체 영상 시스템을 제공한다.

이상적으로, 입력 수단들은 또한 평면 영상을 포착하고 디지탈화할 수 있는 수단들을 포함한다.

영상 해석 수단은 영상 내의 후방 배경과 물체의 동작 속도 및 방향, 물체의 원근, 크기 및 위치를 판단할 수 있는 것이 바람직하다.

또 다른 예에 있어서, 본 발명은 입체 효과를 더 향상시키기 위해 입체 영상을 최적화하는 방법을 제공하고, 이러한 방법은 일반적으로 전송, 기억, 및 디스플레이 전에 적용된다.

또 다른 예에 있어서, 본 발명은 영상에 시청자 기준점을 첨가하므로서 입체 영상 사진을 개선하는 방법을 제공한다.

또 다른 예에 있어서, 본 발명은 각각의 영상을 다수의 구역으로 스케일링(scaling)하는 단계, 제 1 영상과 제 2 영상 사이의 이동 특성을 판단하기 위해 제 1 영상의 구역과 제 2 영상의 대응 및 인접 구역들을 각각 비교하는 단계를 포함하는 입체 영상 사진으로 변환시키기 위해 평면 영상들을 해석하는 방법을 제공한다.

동작 벡터는 비 동작부터 완전한 장면 변화까지 예정된 동작 카테고리와 검출된 동작 특성을 비교한 것에 입각하여 각각의 영상에 알맞게 정의 되는 것이 바람직하다.

또 다른 예에 있어서, 본 발명은 평면 영상들을 수신하기에 적합한 입력 수단, 제 1 영상과 평면 영상 시퀀스의 제 2 영상 사이에 연속성이 있는가를 판단하는 1차 해석 수단, 연속성을 갖는 평면 영상들을 수신하고 동작의 속도 및 방향, 원근, 물체의 크기 및 위치 중 최소한 어느 하나를 판단하기 위해 영상들을 해석하는 2차 해석 수단, 1차 해석 수단 및 2차 해석 수단으로부터 수신된 데이터에 입각하여 평면 영상들을 처리하는 제 1 프로세싱 수단을 포함하는 3 차원에서 시청하기에 알맞도록 평면 영상들을 수신하는 영상 변환 시스템을 제공한다.

1차 프로세싱 수단으로부터 수신된 영상들을 더 처리할 수 있는 제 2 프로세싱 수단이 포함되는 것이 바람직하다. 이상적으로 상기 시스템은 입체 디스플레이 시스템 또는 기억 수단으로 처리된 영상들을 전송할 수 있는 전송 수단을 포함한다.

제 3 프로세싱 수단은 변환된 영상을 입체 디스플레이 장치로 전송하기 전에 제 2 프로세싱 수단으로부터 수신된 영상들을 임의적으로 강조하기 위해 제공되는 것이 바람직하다.

또 다른 예에 있어서, 평면 영상을 수신하기에 적합한 제 1 레이어, 영상 데이터를 만들기 위해 평면 영상을 수신하고 평면 영상을 해석하기에 적합한 제 2 레이어, 영상 데이터 함수로 선택된 최소한 하나의 예정된 기술을 이용하여 평면 영상으로부터 입체 영상을 만들기에 적합한 제 3 레이어, 입체 영상 사진을 입체 영상 수단으로 전송하기 전송하기에 적합한 제 4 레이어, 입체 디스플레이 수단으로 구성된 제 5 레이어를 포함하는 3차원으로 시청하기 알맞게 평면 영상들을 변환하는 방법을 제공한다.

바람직하게 제 1 레이어는 아날로그 영상들을 디지털 영상으로 변환시키기에 더 적합하다. 또한, 제 2 레이어는 장면에 있는 모든 물체를 검출하고 이와같은 모든 동작의 속도 및 방향에 관한 것을 판단하기에 적합하다. 영상은 이와같은 해석전에 압축되는 것이 편리하다.

제 3 레이어는 입체 영상 사진을 입체 디스플레이 장치로 전송하기 전에 입체 영상 사진을 더 강조하는 최적화 단계를 더 포함하는 것이 바람직하다. 제 4 레이어는 최근에 입체 디스플레이 수단을 디스플레이 하기에 알맞게 입체 영상을 기억하는 기억 수단을 포함할 수 있다.

장점

본 발명에 따른 처리방법이 어떤 단계에서 유지되고 최근에 연속해서 기억되거나 또는 필요한 경우 다른 위치로 계속해서 전송될 수 있다는 것을 알 수 있을 것이다.

본 발명은 아래의 많은 독특한 장점을 가진 변환기술을 제공한다.

1) 실시간 또는 비실시간 변환

평면 영상을 입체 영상 사진들로 변환하는 성능은 실시간 또는 비실시간에 수행될 수 있다. 작동기 조정은 영상을 수동으로 조작하도록 적용될 수 있다. 이러한 예는 모든 시쿼스가 시험될 수 있고 작동기에 의해 자체 입체 효과가 최적화될 수 잇는 필름 또는 비디오 변환에서 이다.

2) 기술은 입체영상 강조를 포함한다.

본 발명은 입체 영상 사진들을 생성시키는 동작 시차 또는 수평 이동(강제 시차)의 기본 기술을 더 향상시키기 위해 다수의 기술들을 이용한다. 이들 기술들은 물체 해석, 표식 붙이기(tagging), 트랙킹(tracking) 및 모핑(morphing), 시차 구역, 기준점, 운동 합성 및 시차 조정 기술의 사용을 포함할 뿐만 아니라 여기에 한정되지 않는다.

3) 역 3D의 검출 및 수정

역 3D는 영상의 동작 특성을 해석하므로서 3D 생성 단계에서 이상적으로 검출된다. 수정기술은 시청자의 불편함을 최소화하도록 역 3D를 최소화하여 사용한다.

4) 모든 분야에 사용-전송 및 저장을 포함한다.

본 발명은 폭 넓은 분야에 적용할 수 있는 기술을 기록하며 입체 변환 방법을 평면 기술분야에 적용하는 완전 처리 방법을 설명하고 있다. 본 발명은 한편으로 영상처리장치와 영상 디스플레이 장치가 실직적으로 같은 장소에 위치되는 3D 생성 기술을 설명하고 있다. 다른 한편으로 기술은 어느 한 장소에서 입체 영상 사진의 생성과 입체 영상 사진의 전송, 저장, 및 원격지에서의 디스플레이를 정의하고 있다.

5) 입체 디스플레이 장치와 함께 사용할 수 있다.

본 발명은 모든 입체 디스플레이 장치와 조화를 이루고 조정장치에 이상적으로 설치된다. 3D 생성 방법은 입체 효과를 최적화하기 위해 디스플레이 장치의 종류를 고려할 수 있다.

본 발명은 변환 방법 및 통합 시스템의 바람직한 실시예에 대한 첨부 도면을 참조함으로서 아래 설명으로 보다 더 완전하게 이해될 것이다. 그러나, 본 발명이 설명한 실시예에 한정되지 않는다는 것을 알 수 있을 것이다.

본 발명의 목적은 인간의 완전한 시각인식능력들을 이용하는 입체영상을 시청자에게 제공하는 것이다. 따라서 이와같은 영상을 해석하기 위해 필요한 두뇌에 완전한 신호를 제공하는 것이다.

도입

인간은 눈과 두뇌를 포함하는 육체적 및 정신적 처리들의 복잡한 조합에 의해 볼 수 있다. 시각인식은 자신의 분별능력에 의해 한정되기 때문에 짧고 긴 기억을 이용하여 알고 있거나 경험한 사실로 시각 정보를 해석할 수 있다. 예를 들어, 공간과 원근에 대한 카테시안 법칙(Cartesian laws)에 따라 물체가 시청자로부터 더 멀어질 수록 더 작게 보이게 된다. 즉 두뇌는 만약 물체가 작을 경우 물체가 시청자에게서 다소 멀리 떨어져 있다고 인식한다. 이것은 첫번째 장소에 있는 물체의 크기를 알고 있는 것에 근거한 학습방법이다. 시각 정보로 표현될 수 있는 기타 평면 또는 부수적 원근 신호는 예컨대 그림자, 초점을 흐리게 하는 것, 문자, 빛, 대기가 있다.

이들 원근 신호는 "원근을 나타내는 3차원(Perspective 3D)" 비디오 게임 및 컴퓨터 그래픽 생성에 큰 장점으로 이용된다. 그러나, 입체 효과를 달성하는데 있어서 이들 기술의 문제점은 인식된 시각 신호의 양을 정할 수 없다는 것이다. 2차원 환경에서 2차원 물체를 디스플레이하는 것으로 착각한다. 이와같은 디스플레이는 두 눈으로 보는 것이 동일하기 때문에 입체영상을 보지 못하는 것으로 실물을 보지 못한다.

원근 신호(DEPTH CUES)

입체영상들이 "실제 세계의 시계를 재창조하려는 시도이고, "원근을 나타내는 3차원" 영상보다 더 많은 시각 정보를 필요로 하므로 원근이 정해질 수 있다. 입체 또는 주요 원근신호들은 이러한 추가 데이타를 제공하므로 인간의 시각 인식이 3차원에서 자극될 수 있다. 이들 주요 원근신호들은 아래와 같이 설명된다.

1) 망막 시차(Retinal Disparity) - 2개의 눈은 약간 다른 풍경을 본다는 것이다. 이것은 사람 얼굴 앞에 물체를 위치시키고 후방 배경에 초점을 맞추는 것으로 쉽게 증명될 수 있다. 눈들이 후방배경에 초점을 맞추면 실제로 얼굴의 정면에 2개의 물체가 있는 것처럼 나타날 것이다. 시차(視差)는 겹쳐진 망막영상의 좌측 영상점과 우측 영상점 사이에 해당하는 수평거리이다. 반면 시차는 보여진 영상들 사이의 실제 차이이다.

2) 동작 시차(Motion Parallax) - 물체가 같은 속도로 이동할 때 시청자에게 더 가깝게 있는 물체들은 더 멀리 있는 물체들보다 더 빠르게 이동하는 것처럼 보인다. 따라서, 상대 운동은 부수적인 원근 신호이다. 그러나 수평 운동의 주요 입체 원근 신호는 동작 시차를 나타낸다. 영상 동작이 우측에서 좌측으로 이동하는 상태에서, 우측 눈은 주동 눈(Leading eye)이지만 좌측 눈은 딜레이되는 영상을 갖는 종동 눈(Trailing eye)이 된다. 이러한 딜레이(Delay)는 일반적으로 시각인식메카니즘 함수이다. 좌측에서 우측으로의 운동에서 우측 눈은 종동 눈이 된다. 이러한 딜레이 효과는 망막 시차(2개가 분에 다르게 보임)를 형성하고, 이것은 쌍안 시차로 인식되므로 동작 시차로 알려진 입체 신호를 제공한다.

3) 적응(Accommodation) - 눈은 시신경 활동을 통해 수정체를 수축(가까운 물체에 알맞게 더 볼록한 형상)하거나 수정체를 확장(먼 물체에 알맞게 덜 볼록한 형상)하므로서 정확하게 초점을 맞춘다.

4) 수렴(Convergence) : 수렴현상은 시신경 시스템의 반응이며 시신경 시스템은 눈의 중심 시계 영역으로 물체의 영상을 정렬하므로서 오직 하나의 물체만이 보이게 된다. 예를 들어 팔 길이에 고정된 손가락을 얼굴로 천천히 가져가 양 눈 근처에서 볼 때, 눈은 손가락이 더 가까워지는 것을 나타내기 위해 안쪽(수렴)으로 이동한다. 즉 손가락에 대한 원근이 감소한다.

눈의 수렴반응은 정상 상태에서 적응 메카니즘에 생리학적으로 연결되어 있다. 입체 영상 시청에 있어서, 시청자가 '시선고정현상(Fixation Plane)'(즉 눈이 수렴하는 것)으로 조절되지 않을 때, 불편함을 느낄 수 있다. "시선고정현상"은 일반적으로 촬상면이다.

개요 - 5 레이어 접근법

본 발명은 평면영상 입력을 취할 수 있고 평면영상을 개선된 입체영상 출력으로 변환할 수 있는 시스템을 설명하고 있다. 설명을 위해 이러한 전체 시스템은 많은 독립 레이어(layer) 또는 프로세싱 공정으로 분류될 수 있다. 즉, 제 1 레이어 : 단일 영상 입력(일반적으로 비디오 입력)

제 2 레이어 : 영상 해석

제 3 레이어 : 3D 생성

제 4 레이어 : 3D 매체(전송 또는 저장)

제 5 레이어 : 3D 디스플레이

도 1은 내림 차순 방법으로 입체 변환 처리를 도시한 것이다. 여기서 비디오 또는 다른 평면 영상 소오스가 입력되면, 영상들은 정해진 입체 영상 사진들이 발생되고, 전송되며, 저장되고 입체 디스플레이 장치에서 디스플레이 된다. 각각의 레이어는 평면 영상입력에서 입체 영상 디스플레이로 각 시스템의 독립 공정을 설명될 것이다. 그러나, 여러가지 레이어가 독립적으로 작동된다는 것을 알 수 있을 것이다.

적용

일반적으로 5 레이어 모두는 특정 분야에 알맞게 평면 영상 입력부터 디스플레이가지 이용된다. 예를 들어, 이러한 시스템은 극장 또는 영화관에서 사용될 수 있다. 이와같은 분야에 있어서 2D 비디오 입력은 아날로그 또는 디지털 형태를 비디오 소오스로부터 받을 수 있다. 그 후 이러한 소오스는 모든 동작의 속도 및 방향을 판단하기 위해 해석된다. 프로세싱 공정은 3D 영상을 생성하기 위해 실시간 또는 비 실시간에 작업한다. 이것은 경계, 시차 보정, 역 3D 해석, 음영처리 및/또는 문자처리를 통해 더 최적화될 수 있다. 3D 영상은 셔터글래스(shutter glasses), 폴라라이징 안경(polarising glasses) 또는 자동 입체 디스플레이를 포함하는 3D 디스플레이로 릴레이로 전송되거나 기억될 수 있다.

이러한 시스템은 케이블 또는 유료 TV 시스템에 사용하기에 적합하다. 이러한 분야에서 2D 비디오 입력은 VTR, 레이저 디스크 또는 기타 디지털 소오스에서 녹화될 수 있다. 3D생성 및/또는 최적화는 실시간 또는 비실시간에 처리될 수 있다. 3D 매체 레이어는 TV, 비디오 투사기, 또는 자동 입체 디스플레이에 3차원 영상을 디스플레이할 수 있도록 케이블 또는 인공위성을 거치는 전송 형태를 취할 수 있다는 것이 편리하다.

상기 시스템은 또한 비디오 아케이트 게임에 사용되거나, 다중매체에 사용되거나 지역 또는 네트워크 TV에 사용될 수 있다. 적용 분야에 따라 2D 비디오 입력 레이어는 게임 프로세서로부터 소오스 평면 영상을, 레이저 디스크로부터 비디오를, VTR로부터 비디오를, 네트워크로부터 또는 기타 디지털 기억 장치 또는 디지털 소오스 또는 텔레비젼 영화 프로세스로부터 비디오를 얻을 수 있다. 3D 생성은 실시간 또는 비실시간에 수행될 수 있고, 컴퓨터에 의해 중앙변환 사이트에서, 사용자 컴퓨터에서, 중앙 처리장치에서 또는 기타 영상 처리장치에서 생성될 수 있다.

입체영상은 지역네트워크로 전송되거나 극장으로 분배되기 전에 비디오 또는 기타 디지털 기억장치에 저장될 수 있다. 이들 입체영상들은 지역 전송방법 또는 이와달리 VHF/ UHF 시설 또는 인공위성을 통해 비디오영사기로 전송될 수 있다.

3D 디스플레이는 필요한 분야에 좌우되고, 자동입체 디스플레이장치, 폴라라이징 안경을 갖춘 비디오 영사기, 셔터글래스를 갖춘 지역 모니터 또는 적절한 시청안경을 갖춘 세트 탑 박스(set-top box) 형태이다.

단일 및 다중 처리장치

전체 시스템은 실제시간 또는 비실시간(레이어 2, 3 및 4)에 함께 또는 각각 독립적으로 작동되는 모두 5개의 레이어를 갖는 처리장치에서 작동될 수 있다. 레이어 2 및 3은 예컨대 도 2에 도시된 바와 같이 멀티테스킹(multitasking) 또는 자중처리장치 환경에 적합하도록 더 분할될 수 있다.

다중 처리장치는 휴대하기에 알맞은 형태로 사용될 수 있다. 예컨대, 레이어 1 및 2는 제 1 프로세싱 장치에 의해 처리되고 레이어 3 내지 5는 제 2 프로세싱 장치에 의해 처리될 수 있다. 경우에 따라, 이러한 장치의 제 1 프로세싱 장치는 예지능력이 있는 처리장치로 사용될 수 있고, 제 2 프로세싱 장치는 딜레이 후 입체영상을 생성할 수 있다. 다른 대안으로, 제 1 프로세싱 장치는 실시간 비디오를 수신하고 비디오를 디지털화하고 디지털 비디오를 적절한 디지털 저장 장치로 전송하는데 사용될 수 있다. 유선 방식으로 또는 무선방식으로 제 2프로세싱 장치는 디지털화된 영상을 해석할 수 있고 적절한 디스플레이장치에 입체영상을 디스플레이하도록 필요한 업무를 수행할 수 있다.

예지능력을 갖춘 프로세싱 기술은 필름 또는 비디오 시퀸스의 추세를 예견하도록 사용될 수 있어 영상처리모드가 모든 입체효과를 최적화하도록 더 효율적으로 선택될 수 있다.

본 발명은 1차적으로 평면영상해석과 평면 영상을 입체영상 사진으로의 변환과 함께 입체효과의 최적화에 관한 것이다. 이것을 고려할 때 본 발명은 평면영상 입력부, 전송수단 및 관측수단의 넓은 범위에 적용될 수 있다. 그러나 여기서는 전체 5개의 레이어가 설명될 것이다.

레이어 1 - 영상 또는 비디오 입력

레이어 1은 평면 영상 소오스 또는 비디오 입력부가 제공되는 것을 필요로 한다. 이러한 소오스는 디지털 영상 소오스 또는 디지털화될 수 있는 아날로그 영상 중 어느 하나가 제공될 수 있다. 이들 영상 소오스는 아래의 아날로그 소오스와 디지털 소오스를 포함한다.

1) 아날로그 소오스

a) 테이프 형태의 VCT/VTR 또는 필름

b) 디스크 형태의 레이저 디스크

c) 비디오 카메라 또는 기타 실시간 영상포착 장치

d) 영상 또는 그래픽이 생성되는 컴퓨터

2) 디지털 소오스

a) DAT, AMPEX's DCT, SONY의 디지탈 베타캄(Digital Betacam), Panasonic의 디지털 비디오 형태 또는 6.5mm 테이프를 이용하는 새로운 디지털 비디오 카세트(DVC)형태는 테이프 형태이다.

b) 디스크 형태의 기억장치- Magneto Optical(MO) 하드 디스크(HD), 콤팩트 디스크(CD), 레이저 디스크, CD-ROM, DAT, 디지털 비디오 카세트(DVC) 또는 데이타 기억장치에 입각한 디지털 비디오 디스크(DVD)-는 JPEG, MPEG 또는 기타 디지털 포맷을 사용한다.

c) 비디오 카메라 또는 기타 실시간 영상포착

d) 영상 또는 그래픽이 생성되는 컴퓨터

본 발명의 변환처리방법에 중요한 것은 평면 영상 소오스가 제공되는 것이다. 입체영상 소오스는 레이어 1 내지 3의 필요성을 방지하지만, 이와같은 입체영상은 디스플레이하기 전에 최적화 과정을 거칠 수 있다.

레이어 2 - 영상해석

도 3 내지 8을 참조하면, 도 3 내지 8은 본 발명의 바람직한 배열을 설명하는 플로우 다이어그램이다.

2D 영상, 디지털화된 비디오 또는 디지털 영상의 수신은 필드 대 필드 또는 하드웨어, 소프트웨어 또는 이 둘의 조합에 의한 실시간 또는 비실시간에 입각한 영상 대 영상으로 아래와 같이 처리된다. 먼저, 영상해석처리는 아래의 단계를 포함한다.

1) 영상압축

2) 동작검출

3) 물체검출

4) 동작해석

1)영상압축

영상압축은 필수적인 것은 아니나 많은 프로세싱, 응용, 압축을 위한 옵션사양이고, 프로세서는 필요한 시간에 전체 해상 영상을 처리할 만큼 강력하지 않다.

영상들은 더 작은 크기로 범위가 정해지는 것이 바람직하다. 스케일링 요소(scaling factor)는 각각의 영상에 사용된 디지털 비디오 해상도에 좌우되고 디지털화 공정에 사용되는 영상컴퓨터의 시설 타입으로 한정된다.

2)동작검출

바람직한 실시예에 있어서, 각각의 영상은 픽셀 블록으로 해석될 수 있다. 동작 벡터는 최소 평균분산오차(minimum Mean Squared Error)로 주어진 위치를 기록하므로서 그리고 예컨대 ±9의 픽셀 수까지 수평 및/또는 수직으로 오프세팅되는 인접한 영상의 대응 블록과 어느 한 영상의 블록을 비교하므로서 각각의 블록에 맞게 계산된다.

각각의 블록에서, 벡터와 최소 및 최대 평균분산오차는 이후의 프로세싱 공정에서 기록된다.

프로세싱 시간을 절약하기 위해, 벡터는 블록에 상세부가 없는 경우 예컨대 블록이 단일 칼라일 때 계산될 필요가 없다.

동작을 계산하기 위한 다른 방법은 예컨대 영상 삭감법(image subtraction)을 이용할 수 있다. 본 실시예는 평균 분산 오차 방법을 이용한다.

3) 물체검출

물체는 공통 특징을 갖는 영상부분을 동일시하는 영상소자 또는 픽셀그룹으로 정의된다. 이러한 특징은 동일한 휘도값(동일한 밝기), 색수차(동일한 칼라), 동작 벡터(동일한 동작속도 및 방향) 또는 동일한 영상 상세부(동일한 패턴 및 에지)의 구역과 관련된다.

자동차가 집을 지나가고 있는 경우, 자동차는 후방배경에 대해 다른 속도로 이동하고 있는 픽셀구역 또는 픽셀 블록이다. 자동차가 집 앞에 정지하여 자동차를 검출하기 어려운 경우 다른 방법이 이용될 수 있다.

연결 알고리즘은 동작 벡터를 동일한 동작 벡터의 구역으로 조합하기 위해 사용될 수 있다. 물체는 하나 이상의 이와같은 구역을 포함할 수 있다. 에지 검출 등과 같은 다른 영상처리 알고리즘이 물체검출에 사용될 수 있다.

물체들이 어느 한 영상에서 동일한 경우 물체에 표싱르 붙이거나(tagging) 동일한 번호가 주어지는 것이 바람직하다. 이들 물체들과 이와 관련된 상세한 부분(예컨대 위치, 크기, 운동벡터, 타입, 원근)이 데이타베이스에 저장되어 다음 처리과정이 수행될 수 있다. 물체가 영상 시퀀스 전체에서 이동할 경우 이것은 물체 트랙킹(Ovject Tracking)으로 알려져 있다. 물체를 트랙킹하고 그 특징을 해석하므로서 그것들은 앞 뒤 배경 물체가 되는 것으로 파악되므로서 영상에서 물체의 원근 위치가 강조된다.

4)동작해석

물체가 검출되면, 물체는 영상에서 동작의 전체적인 속도와 방향을 판단하도록 해석될 수 있다. 바람직한 실시예에 있어서, 이러한 단계는 영상에서 동작의 종류를 판단하고 전체 벡터를 제공한다.

물체검출 정보를 이용하고 몇 개의 영상 동작 모델에 대한 데이타를 비교하므로서 평면 영상을 입체영상 사진으로 변환하는 최선의 방법으로 1차 판단이 이루어질 수 있다.

본 발명의 바람직한 실시예에 사용되는 영상동작모델은 아래와 같다.

a) 장면변화(scene change)

b) 심플 팬(simple Pan)

c) 복합 팬(complex pan)

d) 물채가 고정 배경 전체를 가로질러 이동하는 것.

e) 전방 배경물체가 후방배경으로 이동하는 것.

f) 동작이 없는 것.

다른 동작 모델은 필요에 따라 사용될 수 있다.

a) 장면변화

이름 암시로써의 장면변화는 하나의 영상이 작거나 예전의 영상 또는 장면과 공통점이 없을 때이다. 두 영상 사이의 휘도가 아주 많은 차이로 검출되거나 두 영상의 색채가 큰 차이로 검출될 수 있다.

바람직한 실시예에서 장면변화는 예전과 현재의 영상 사이의 휘도값(0-255)의 차이 평균이 30이상일 때 판단될 수 있다. 이러한 값은 적용이 변할 수 있지만 시행착오방법은 이러한 값이 대부분의 장면변화를 판단할 수 있는 것으로 판단한다.

장면 변화를 판단하는 2차 실험은 동작 벡터의 구역이 너무 많은 때이고, 이것은 영상에 불규칙한 노이즈처럼 나타나고 마찬가지로 장면변화 때문이다. 이것은 영상에 동작의 양이 너무 많은 경우에 발생할 수 있다.

장면 변화를 검출하는 3차 기술은 장면변화를 검출하기 위해 각 영상의 상부라인 몇 개를 해석하는 것이다. 각 영상의 상부는 가장 적게 변한다.

다른 대안으로, 주요 동작 벡터 블록이 큰 오차값을 가질 때 두 영상간의 차이가 너무 크고 따라서 장면변화로 간주될 수 있다.

장면 변화와 필드 딜레이

바람직한 실시예에서 장면에 검출된 수평동작이 있을 때 종동 눈에 비추어지는 영상은 동작속도에 반비례하는 시간의 양만큼 딜레이된다. 영상이 우측에서 좌측으로 이동할 때 종동 눈은 좌측 눈이고 영상이 좌측에서 우측으로 이동할 때 종동 눈은 우측 눈이다.

종동 눈으로의 영상 시퀸스 딜레이(또는 필드 딜레이)는 메모리에 디지털 형태로 그것들을 저장하므로서 종동 눈에 비디오 필드의 시퀸스를 잠시 딜레이하므로서 발생될 수 있다. 현대의 비디오 필드는 주동 눈에 비추어지고 종동 눈으로 딜레이된 영상은 수평이동속도에 따라 기억된 비디오 필드로부터 선택된다.

많은 필드가 지나치게 디스플레이된 경우, 동작변화와 종동 눈으로의 필드 디스플레이 변화에 관한 내력이 유지될 수 있다. 이것은 영상프로세서가 동작방향을 예측하고 딜레이를 변경함에 따라 반응할 수 있는 것으로 매끄럽게 입체효과를 도우므로서 갑작스런 변화가 없게 된다.

장면변화가 검출되는 경우 본 발명의 바람직한 실시를 위한 필드 딜레이는 0으로 세팅되어 영상의 급변을 방지한다. 필드 딜레이 내력은 각각의 장면변화에서 리셋되는 것이 바람직하다.

b) 심플 팬(카메라를 상하좌우로 움직이는 것)

심플 팬은 일련의 영상들을 가로지르는 수평이동 방향을 설명하는 것으로서 이것에 의해 해석된 주요 이동은 어느 한 방향으로 이다. 이것은 주요장면이 일관된 이동을 가지며 고정물체가 전방 배경에서 검출되지 않는 상황을 커버할 것이다.

심플 팬은 0이 아닌 이동 벡터를 갖는 주요 물체처럼 검출될 수 있다.

심플 팬의 결과는 장면이 우측(좌측으로 패닝(panning))으로 이동하고 있는 경우 플러스 이동 벡터가 생성된다는 것이다. 이러한 경우에 있어서, 우측 눈의 영상이 딜레이될 것이다. 마찬가지로, 마이너스 이동 벡터는 장면이 좌측으로 이동(또는 우측으로 패닝)하고 있는 경우 생성된다. 이러한 경우, 좌측 눈의 영상이 딜레이될 것이다.

c) 복합 팬

복합 팬은 영상에 많은 수직이동이 있다는 점에서 심플 팬과 다르다. 따라서, 바람직한 실시예에 있어서, 입체 영상 사진 시퀀스들 사이에 수직 불균형을 최소화하도록, 필드 딜레이가 적용되지 않고 오직 물체 처리만이 입체 효과를 창조하도록 사용된다. 필드 딜레이 내력은 새로운 수평이동의 계속성을 유지하기 위해 저장된다.

d)고정후방배경을 가로질러 물체를 이동시키는 것

고정후방배경을 가로질러 물체를 이동시키는 것은 주요장면이 이동하지 않고 장면에 최소 크기의 물체 이동이 하나 이상 있는 단순한 상태이다. 이러한 상태는 또한 주요물체가 우측으로 이동하는 경우 플러스 이동 벡터가 생성되고, 주요물체가 좌측으로 이동하는 경우 마이너스 이동 벡터가 생성된다.

장면에 있는 물체의 동작 벡터가 일관되지 않은 경우, 예컨대, 물체가 같은 장면에서 좌측 및 우측으로 이동하는 경우, 반대 동작이 존재하고 역 3D 수정 기술이 적용될 수 있다.

e)전방배경물체가 후방배경으로 이동하는 것.

전방배경물체가 후방배경으로 이동하는 것은 주요장면이 이동하고, 장면에 다른 이동을 하는 물체가 있는 상황, 예컨대 카메라가 걷고 있는 사람을 뒤따르는 상황이다. 후방배경물체에서 동작 벡터가 주요물체에 반대이거나 또는 0 크기 매체의 물체 뒤에 0이 아닌 동작벡터(즉, 후방배경으로 이동하는 것)의 주요물체 또는 전체 필드 분포된 0이 아닌 벡터의 부수적 물체 전방에 있는 0 벡터의 주요 물체(즉, 큰 고정물체가 필드의 대부분을 채우지만 팬은 그 후방을 아직 볼 수 있다)가 검출된다.

전방배경 물체가 동작 시차 생성에 우선권이 주어져야할 것인가 또는 후방배경에 우선권이 주어져야 하는가에 관한 판단이 이루어져야 한다. 후방배경(예컨대 나무)이 큰 원근 변화를 포함할 경우 이동벡터가 심플 팬으로 발생하는 것처럼 할당된다. 후방배경(예컨대 벽)이 작은 원근 변화를 포함할 경우 이동벡터에 불균형 또는 마이너스가 할당된다.

후방배경이 큰 원근 변화를 포함할 때, 이동벡터가 단위 심플 팬 방법으로 장면에 할당되고, 전방배경 물체는 역 3D에 있을 것이고 적절한 수정방법이 적용되어야 한다.

f)비 동작

이동벡터가 전체적으로 0이거나 또는 가장 큰 이동 물체가 아주 작은 것으로 간주되어 이동이 검출되지 않는 경우 필드 딜레이가 0으로 세팅된다. 이러한 상황은 불규칙하거나 노이즈 동작 벡터가 판단되거나 이동 정보를 입수할 수 없는 상황예컨대 파란하늘을 팬이 가로지르는 상황에서 발생한다.

레이어 3 - 3D 생성

영상이 해석되면, 그것들은 입체 영상 사진을 만들도록 처리될 수 있다.

실제 세계를 볼 때 두 눈은 약간 다른 영상을 본다. 이것은 소위 망막 시차로 일컬어진다. 이것은 입체영상 또는 원근 인식을 생성한다. 즉, 우리는 같은 장면의 영상을 약간 다르게 보는 눈을 가지므로서 입체적으로 본다.

다른 한편 시차는 망막 시차에 만큼 시청자가 인지하는 영상들간의 수평 이동양으로 정의된다. 입체 영상 사진이 만들어지면, 3차원 장면이 2개의 수평 이동 관측지점으로부터 관찰된다.

본 발명은 평면 영상으로부터 입체영상 사진을 생성시키는 많은 영상 및 물체 프로세싱 기술을 이용한다.

1) 동작 시차

2) 강제 시차(수평 이동)

3) 시차 구역

4) Y축을 중심으로 한 영상 회전

5) 물체 처리

1) 동작 시차

장면이 우측에서 좌측으로 이동할 때, 우측 눈이 먼저 장면을 관측하고 좌측 눈이 딜레이된 영상을 보게되고, 반대 방향으로 이동하는 장면에 대해서는 그 반대이다. 동작이 빠를수록 영상과 두 눈 사이가 덜 딜레이된다. 이것은 동작 시차로 알려져 있으며 주요 원근 신호이다. 따라서, 장면에 수평 이동이 있는 경우, 영상과 두 눈 사이에 딜레이를 만듬으로서 입체 효과가 인지된다.

a) 필드 딜레이 계산

영상에 있는 동작 특성이 해석되고 전체 동작 벡터가 판단되면, 소정의 필드 딜레이가 계산될 수 있다. 바람직하게, 계산된 필드 딜레이는 '노이즈'값을 필터링하도록 예전의 딜레이 값이 평균되고 필드 딜레이가 너무 빠르게 변하는 것을 방지한다.

위에서 설명한 바와같이, 이동이 빠를수록 각각의 눈에 비추어지는 영상들 사이의 딜레이는 적어지게 된다. 따라서, 필드 딜레이의 더 작은 값이 큰 동작 벡터를 갖는 장면에 사용되지만, 큰 딜레이는 작은 수평이동을 갖는 장면에 사용된다. 즉 바람직한 실시예에서는 역함수 관계가 딜레이와 이동 양 사이에 존재한다.

장면변화가 판단되면, 필드 딜레이 내력은 이동이 전에 발생하지 않았던 것처럼 0으로 리셋되어야 한다. 제 1 동작방향에서 0이 아닌 필드 딜레이가 계산되지만 필드 딜레이가 여전히 0인 경우, 필드 딜레이의 전체 내력은 계산된 필드 딜레이로 세팅된다. 이것은 동작이 검출될 때 시스템이 정확한 필드 딜레이를 바로 디스플레이할 수 있게 한다.

b)필드 딜레이 실행

메모리에 디지털화된 영상을 기억시킴으로서 하드웨어와 소프트웨어에 이동시차가 생성될 수 있다. 바람직하게 디지털화된 영상은 버퍼와, 좌측 눈 영상에 알맞은 하나와 우측눈 영상에 알맞은 하나, 즉 2개의 출력점들에 사용된 신호 입력 포인터에 저장될 수 있다. 주동 눈의 영상 기억 포인터는 현재의 입력영상 기억 포인터 부근 또는 에서 유지되지만 딜레이된 눈의 영상기억 포인터는 딜레이된 출력을 생성하도록 버퍼에 더 입력된다. 많은 영상들은 비디오 분야에서 일반적인 8-10 비디오 필드까지 저장될 수 있다. 딜레이는 영상에서 해석된 동작 속도에 좌우된다. 최대 필드 딜레이는 최소 동작이 있을 때이다.

2)강제시차(수평이동)

강제시차는 아래의 것들 사이에 수평 이동을 도입하므로서 생성될 수 있다.

ⅰ) 영상 및 자체 영상의 정확한 복사

ⅱ) 비디오 프레임의 2 필드

ⅲ) 필름 시퀸스의 2 프레임

ⅳ) 영상과 자체영상의 변형복사

마이너스 수평 이동은 같은 양만큼 좌측으로의 우측 영상과 우측으로의 좌측 영상을 디스플레이함으로서 생성되고(영상 면으로부터 시작하여 영상면의 앞으로 진행하는 필드의 원근을 설정함), 플러스 수평 이동은 같은 양만큼 우측으로 우측 영상과 좌측으로 좌측영상을 디스플레이 함으로서 생성된다(영상면에서 시작하고 영상면 뒤로 후퇴하는 필드의 원근을 설정함).

강제시차는 팬(pan)의 전방에 있는 고정 물체에 입체효과를 강조하기위해 감소될 수 있다. 여기서 물체는 스크린 면에 더 가깝게 위치되고 배경은 지정된 물체 평면에서 멀어진다.

3) 시차구역

대부분의 스크린은 상부에 후방배경이 그리고 하부에 전방배경과 보여지기 때문에 강제시차를 V자로 변경하므로서 영상의 원근을 강조할 수 있다. 이것은 영상 하부보다 더 영상 상부를 수평으로 이동시킴으로서 그 후 화면에 관측된 전방에서 후방으로의 원근을 강조하므로서 이루어진다.

다른 기술은 이동시차와 영상의 다른 부분에 강제시차를 조합하는데 사용된다. 예컨대 절반부위에서 수직하게 영상을 분할하므로서 그리고 각각의 측부에 여러가지 시차 이동을 적용하므로서, 기차 트랙에서 아래로 이동하는 기차가 전방에 보이는 것과 같은 장면은 정확한 입체효과를 갖는다. 반대로 어느 한 측부는 언제나 역 3D에 나타나게 될 것이다.

4) Y축을 중심으로 한 영상회전

물체가 실제세계 장면에서 시청자 전방으로 이동할 때, 물체가 각 눈에 알맞은 모습에서 약간 회전된다. 회전효과는 물체가 더 가깝게 이동하는 것으로 알려져 있다. 이러한 회전을 입체영상사진내로 이동시키는 것은 아래와 같은 효과를 규정한다.

ⅰ) 시청자를 향한 이동 - 좌측영상이 반시계방향으로 자체 중심축을 중심으로 하여 수직하게 회전되고 우측영상이 시계방향으로 회전된다.

ⅱ) 시청자로부터 멀어지는 이동 - 좌측 영상이 시계방향으로 자신의 중심축을 중심으로 하여 수직하게 회전되고 우측영상이 반 시계방향으로 회전된다.

따라서, 영상회전에 의해 영상에 있는 물체의 원근이 약간 변경되어 원근이 감지된다. 이러한 기술이 모든 장면에 알맞게 강제시차와 조합될 때 조합된 효과는 매우 강력한 입체원근 신호를 제공한다.

5)물체처리(object processing)

물체처리는 영상에 입체효과를 더 강조하기 위해 물체와 후방배경을 분리하므로서 수행되어 이들 아이템들이 독립적으로 처리된다. 물체의 크기가 크고 갯수가 적고 필드 원근을 관통하여 뚜렷한 원근 수준을 가질 때 가장 효과적이다.

물체에 표식을 붙이는 것과 물체 트랙킹용 데이타베이스는 방향을 설정하기 위해 사용되어 물체가 자신의 후방배경에서 디지털적으로 잘릴 수 있고 입체효과를 강조하기 위해 취해진 측정에 전용된다. 처리가 수행되면 물체가 다시 같은 위치에서 후방배경에 부착된다. 이것은 "컷 앤드 페이스트(Cut and Paste)" 기술로 일컬어지고 변환 공정에 유용하다.

물체 태깅, 트랙킹, 커팅 및 페이스팅 방법을 통합하므로서, 강력한 도구가 물체처리 및 후방배경 처리에 사용가능하다.

다른 물체처리기술은 각각 이동하는 물체에 알맞은 독립된 원근을 한정하는 물체 레이어링이다. 물체가 그 위치에 있지 않을 때 지정되었던 상세부가 후방배경을 채우기 때문에 물체가 영상 어디에나 위치될 수 있다. 이것은 후방배경 삽입물이 삽입되지 않을 경우 물체와 함께 할 수 없다.

입체변환에서 가장 중요한 것은 역 3D와 시청자에게 불안함을 야기시키는 조절/변환 불균형의 수정이다. 바람직한 실시예에서 물체처리는 이러한 문제를 수정한다.

a) 메쉬 왜곡과 모핑(mesh distortion and morphing) - 이러한 물체처리 기술은 물체가 절단되어야 하고 왜곡된 메쉬에 부착되어야 하는 것을 가능하게 하여 원근 인식을 향상시킨다. 좌측 눈 영상의 물체를 우측으로 왜곡시킴으로서 그리고 우측 눈의 같은 물체를 좌측으로 왜곡시킴으로서 물체시차가 발생하고 입체 디스플레이 장치를 사용할 때 물체가 시청자에게 더 가깝게 나타나도록 한다.

b) 물체 배럴링(object barrelling) - 이 기술은 메쉬 왜곡의 특별한 형태이고 영상에서 물체를 절단하고 수직하게 위치된 절반원통을 감싸는 기술에 관한 것이다. 이것은 물체 에지보다 물체의 중심부를 더 가깝게 나타냄으로서 원근감이 물체에 나타나도록 한다.

c) 물체 에지 강조 - 물체의 에지들을 강조하므로서 영상에 있는 배경 또는 기타 물체들 사이에 더 큰 구별이 있게 된다. 입체효과는 많은 분야에서 이러한 기술에 의해 향상된다.

d) Y축을 중심으로 한 물체회전 - Y축을 중심으로 한 물체회전은 이때 회전이 물체에만 일어나는 것을 제외하고 Y축을 중심으로 한 영상회전의 프로세싱 방법과 같다.

3D 최적화

1) 기준점 및 경계

입체 영상들을 디스플레이하기 위해 일반 TV 또는 비디오 모니터를 이용할 때, 눈은 모니터 또는 스크린의 에지를 계속해서 관찰하고 이것은 모든 원근 인지를 위한 고정점 또는 기준점으로 인지된다. 즉, 모든 물체는 이러한 기준점의 전방 또는 후방에서 원근감이 인지된다.

모니터의 에지가 빛 또는 어두운 칼라 등 불량한 환경 때문에 쉽게 보여지지 않는 경우, 기준점은 없어질 수 있고 눈은 3D 도메인에서 고정점을 계속해서 찾게된다. 길게 연장된 입체영상을 시청할 때 이것은 눈의 피로를 야기시키고 원근 인식을 감소시킨다. 전방 또는 후방 투사 스크린 디스플레이 시스템은 같은 문제를 같고 있다.

따라서 본 발명은 비추어진 영상내의 공통 경계 또는 기준점을 지정한다. 이상적으로 기준면은 스크린 수준으로 세팅되고 모든 원근은 이러한 수준 이하로 감지된다. 이것은 많은 장면에서 입체 효과를 강조하는 장점을 갖는다.

이러한 기준점은 단순한 비디오 경계 또는 기준 그래픽일 수 있고 예컨대 아래와 같은 종류일 수 있다.

ⅰ) 영상 주변의 단순한 색채 비디오 경계

ⅱ) 경계들 사이의 불투명하거나 투명한 구역을 가질 수 있는 2 이상의 밀집경계를 구성하는 복합채색비디오 경계

ⅲ) 2개의 수평 또는 수직 변부 중 어느 하나 또는 어느 한 변부를 점유할 수 있는 부분경계

ⅳ) 로고(LOGO) 또는 영상내의 여러 지점에 위치된 다른 그래픽

ⅴ) 그림내의 그림

ⅵ) 위의 것들의 조합

본 실시예에서 본질적인 것은 시청자 눈에 기준점이 제공되고 이것에 의해 영상에서 물체의 원근이 인지될 수 있다는 것이다.

경계 또는 그래픽이 3D 생성 수준으로 추가될 경우 그것은 서로 수평하게 이동되는 좌측 및 우측 경계를 창조하므로서 특정 원근에 기준점을 제공할 수 있다. 이것은 기준점 또는 고정점이 공간에서 스크린 수준의 전방 또는 후방 어느 지점으로나 이동되도록 할 수 있다. 좌우측 눈에 시차가 없는 것으로 지정된 경계 또는 그래픽은 스크린 수준으로 인지될 것이다. 이것은 본 발명의 바람직한 형태이다.

영상 경계 또는 기준 그래픽이 3D 생성 지점에 삽입될 수 있거나 디스플레이용 입체영상 출력으로 함께 록킹되고 외부적으로 한정될 수 있다. 이와같은 영상경계 또는 기준 그래픽은 영상 후방배경이 검은색 또는 흰색 등으로 채색되거나 평면 등으로 형태를 갖거나 불투명, 반투명, 투명할 수 있거나 고정 또는 활동적일 수 있다. 고정 경계는 대부분의 경우에 전송되지만 다소의 환경에서 이동하거나 활동적인 경계는 이동 강조를 위해 사용될 수 있다.

2) 시차 조정 - 원근 감지성 제어

입체 디스플레이 장치를 통해 본 입체 영상은 영상 또는 물체에 적용된 시차의 종류와 양을 변경하므로서 증가되거나 감소될 수 있는 원근 범위(소위 원근감)를 자동으로 한정한다. 시청자마다 입체 영상 사진들에 의해 정해진 입체영상의 양 또는 원근 범위에 근거한 안라한 입체 시청 수준이 변한다는 것을 알았다. 즉 어떤 시청자는 더 큰 원근 범위를 갖는 뚜렷한 입체효과를 선호하고, 다른 시청자는 최소 원근을 갖는 영상을 선호한다.

원근감의 수준을 조절하고 안락한 시청을 위해 많은 기술들이 사용될 수 있다, 즉;

I) 필드 딜레이를 변화시키므로서 이동시차의 양을 변화시킴.

II) 강제 시차의 양을 영상으로 변화시킴.

III) 물체에 적용된 시차의 양을 변화시킴.

시차의 최대 수준을 감소시킴으로서 원근 범위가 감소될 수 있고 입체 영상에 더 큰 감도를 갖는 인지 기능으로 시청자의 안락한 시청을 향상시킨다.

3) 시차 평활

연속 함수로서 시차의 총량(운동시차 더하기 강제시차)을 유지하는 공정이다. 필드 딜레이에 특정 운동 형태를 변화시킨다. 즉 심플 팬과 전방 배경 물체 동작이 생성된 동작 시차의 양에서 불연속성을 야기시키고, 이것은 시청자에게 입체 영상들이 "점프"하는 것처럼 보이게 된다. 주동 눈에는 딜레이되지 않은 영상이 제공되기 때문에, 불연속성은 종동 눈에 생성된 영상에만 발생한다. 이러한 불연속성은 강제 시차 또는 물체 시차를 종동 눈에 알맞게 같거나 반대 방향으로 조정하므로 교정될 수 있고, 이것에 의해 연속적인 총 시차가 유지된다.

강제 시차 또는 물체 시차는 자체 노말 값으로 후방이 매끄럽게 조정될 수 있고 필드 딜레이에서 다음 변화를 위해 준비된다. 시차 평활에 의해 강제 시차로 이루어진 조정은 필드 딜레이 변화 동작 형태 및 동작 벡터의 함수이다. 시차 평활을 수행하기 위해 좌측 및 우측 눈 영상에 알맞은 강제 시차는 독립적으로 세팅되어야 한다.

4) 시차 조정

입체 효과를 만드는 강제시차 기술은 시청자에 의해 검출된 입체영상의 양을 조정하기 위해 사용된다. 이것은 물체 또는 영상의 인지 원근이 모든 시간에 걸쳐 변할 정도로 짧은 시간으로 최대값과 최소값 사이에서 세팅되는 강제 시차를 변화시키므로서 수행된다. 이상적으로 강제 시차는 매번 0.5 내지 1초로 세팅하는 최대값 및 최소값 사이에서 조정된다. 이것은 시청자가 자신의 입체감 수준으로 조절할 수 있다.

5) 이동 조합

가상 이동을 만듦으로서, 후방 배경을 검출할 수 없을 만큼 작은 증가량으로 불규칙하게 이동시킴으로서 전방 배경물체의 인지 원근이 향상된다. 전방배경 물체는 후방배경에서 '절단(cut)'된다. 후방 배경은 아래 기술들 중 어느 하나에 의해 가상으로 불규칙하게 선택되고 전방 배경 물체는 디스플레이를 위해 준비된 후방배경에 '부착(paste)'된다. 아래 기술들 중 어느 하나가 사용될 수 있다.

I) 가상의 불규칙한 원리에서 변하는 휘도값

II) 가상의 불규칙한 원리에서 변하는 색수차 값

III) 이동을 만들도록 후방배경으로 가상의 불규칙한 노이즈를 첨가하는 것.

6) 역 3D 해석 및 수정

역 3D는 시차에 의해 창조된 물체의 원근 정도가 실제 세계의 원근 정도에 대응하는 것과 차이가 있어 인지될 때 발생한다. 이것은 일반적으로 시청자의 불편함을 유도하여 수정되어야 한다.

입체 영상 사진 역 3D로 평면영상을 변환시킬 때 역 3D는

I) 같은 영상에서 좌측 및 우측으로 이동하는 물체, 반대운동

II) 다른 방향들로 이동하는 물체 및 후방 배경

III) 가변 속도로 이동하는 많은 물체에 의해 생성될 수 있다.

역 3D는 영상에서 물체의 운동 특성을 해석하므로서 수정되고, 메쉬 왜곡 기술을 각각 이용하는 각각의 물체를 조정하므로서 물체 시차가 예상된 시각 인식 수준과 매칭된다.

7) 혼합 기술

어느 한 영상내의 어느 한 물체의 원근을 조정하므로서 그리고 소수의 원근 신호 대부분을 강조하므로서 입체 효과가 강조될 수 있다. 아래 기술 모두는 '컷 앤드 페이스트' 기술을 이용하여 작동한다. 즉 전방물체는 "컷"으로 향상되고 "페이스트"로 후방 배경이 멀어진다.

a) 음영 - 음영처리는 물체 원근을 제공한다.

b) 전방 배경 / 후방 배경 - 흐림(blurring)과 농무(fogging) 처리를 통해 후방 배경의 초점을 제거하므로서, 전방 배경 물체가 강조될 수 있는 반면, 전방 배경 물체의 초점을 제거하므로서 후방 원근이 강조될 수 있다.

c) 에지 향상 - 에지들은 자체 후방 배경으로부터 물체를 구분하게 하는 것을 돕는다.

d) 문자 지도 - 후방 배경으로부터 물체를 구분하게 하는 것을 돕는다.

레이어 4 - 3D 매체(전송 및 저장)

레이어 1, 레이어 4 및 5에 관한 것은 본 발명에 본질적인 것은 아니다. 레이어 4는 입체 영상의 전송 및 기억을 위해 제공된다. 전송 수단은 특정 용도에 적합하다. 예컨대 아래의 것이 사용될 수 있다.

1) 지역 전송 - 코엑스 케이블(coax cable)을 거칠 수 있다.

2) 네트워크 TV 전송 - I) 케이블 II) 위성 III) 지상 통신소(Terrestrial)를 거칠 수 있다.

3) 디지털 네트워크 - 인터넷 등

4) 입체(3D) 영상 기억

영상 기억 수단은 전송후에 디스플레이를 위해 영상 데이터의 기억에 사용되고

I) 아날로그 기억 - 비디오 테이프, 필름 등

II) 디지털 기억 - 레이저 디스크, 하드 디스크, CD-ROM, 마그네틱 광학 디스크, 디지털 비디오 카세트(DVC), DVD를 포함할 수 있다.

레이어 5 - 3D 디스플레이

전송 수단에 관한 것으로 디스플레이 수단은 적용 요건에 종속되고 아래의 것들을 포함한다.

1) 셋-탑 박스

셋-탑 박스의 정의는 신호를 수신하고, 해독하며, 악세사리 인터페이스를 제공하고 마지막으로 적용하기에 적합한 출력을 갖는 작은 전자 박스이다. 이것은 아래의 것을 통합할 수 있다.

a) 비디오 또는 RF 수신기

b) 헤드 마운티드 장치 또는 분리형 비디오 채널이 필요한 다른 입체영상 디스플레이로 좌측 및 우측 영상 출력을 각각 제공하는 입체(3D) 디코더

c) 해상도 향상 - 라인 더블링/픽셀 삽입

d) 셔터 또는 시퀀셜 안경(sequential glasses) 동기화

e) 입체 원근 감도 제어 회로

f) 악세사리 인터페이스 - 2D/3D 스위치 및 원근 제어와 같은 특징을 갖는 원격 제어

g) 오디오 인터페이스 - 오디오 출력, 헤드폰 접속

h) 액세스 채널 디코딩 - 케이블 및 유료 TV 분야

I) 비디오 또는 RF 출력

2) 입체영상 디스플레이

a) 폴라라이징 안경 - 선형 또는 원형 폴라라이저

b) 애너글리픽 안경 - 채색 렌즈 - 빨간색/녹색 등

c) LCD 셔터 안경

d) 칼라 시퀀셜 안경

e) 헤드 마운티드 장치(HMD) - 2개의 소형 비디오 모니터(각각의눈에 하나씩)에 끼워진 헤드 기어, VR 헤드세트

3) 자동 입체 영상 디스플레이

a) 비디오 영사기/디스플레이 시스템에 근거한 역반사 스크린

b) 음량 디스플레이 장치

c) 디스플레이 시스템에 근거한 수정체형 렌즈

d) 디스플레이 시스템에 근거한 입체광학 소자(HOE)

바람직한 실시예

요약해서, 본 발명은 바람직한 실시예에서 아날로그를 디지털 변환처리가 포함된 아날로그 포맷에 또는 디지털 포맷에 평면 영상 시퀀스를 입력할 수 있는 시스템을 제공한다. 이러한 영상 데이터는 영상 해석 방법에 제공되고 이것에 의해 평면 영상들이 특정한 분야에 필요한 경우 압축된다.

영상의 픽셀 블록과 인접한 영상의 대응 블록을 비교하므로서, 그리고 각각의 블록에 알맞은 최소 평균 분포 오차를 얻으므로서, 영상내의 동작이 판단된다.

다음의 동작 감지, 영상안의 범위는 영상 밝기, 칼라, 동작, 패턴 및 에지 연속성과 같은 유사한 특성들에 의해 구분된다. 이 데이터는 영상내의 동작 특성을 결정하기 위해 동작 해석에 제공된다. 동작 해석은 영상내의 어떤 동작의 위치, 원근감, 타입, 속도, 방향을 결정하는 형태로 이루어진다. 동작은 동작이 전체 화면 변화인가, 실플 팬인가, 복잡한 팬(Pan)인가, 정적인 배경에 움직이는 물체인가, 움직이는 배경에 정적인 물체인가 또는 아예 아무런 동작이 없는가를 포함하는 많은 범위들로 카테고리화 된다. 더 이상의 행위들은 이러한 범위들을 근거로하여 평면 영상들을 적당한 입체 디스플레이 장치로 볼 수 있도록 하는 입체 영상 사진들로 변경하는 것을 결정한다.

바람직한 실시예에서 평면 영상들이 분석되고 화면 변화 또는 복잡한 팬 등이 감지되면 더 이상 특정 화면에 대한 분석을 필요로 하지 않는다. 즉, 필드 딜레이 및 필드 딜레이 내력이 0으로 리셋된다. 물체 검출 방법은 화면내에 물체들을 구분하고 시험하기 위해 새로운 화면에 적용된다. 이러한 물체들이 구분되면, 물체 처리를 수행한다. 더 이상의 물체들이 구분되지 않으면, 그 때 영상은 강제 시차와 3D 최적화를 이용하여 다음 프로세싱을 위해 이동된다.

영상 분석동안에 카테고리화된 동작이 화면 변화가 아닌 경우, 화면 해석이 더 요구된다. 만일 심플 팬으로 카테고리화된 동작에서 화면 분석이 더 발생한다면, 동작 시차의 원리에 따라 필드 딜레이를 적용하는 것이 필요하다. 그리고 나서 이것은 더 프로세싱되기 위해 이동된다. 만일 동작이 심플 팬으로 카테고리화되지 않고 정적인 배경에서 동작중인 물체로 카테고리화되어도 동작 시차의 원리에 따라 필드 딜레이를 적용하여야 한다. 이 관계에서 만일 동작 시차가 적용되었다면 이것은 그 물체들이 모두 동일한 방향을 가졌는가를 고려할 필요가 있다. 만일 물체들이 동일한 방향으로 움직인다면 그땐 다음 단계로 더 처리하기를 위해 넘겨진다. 만일 물체들이 균일한 방향 가지지 않았다면, 그땐 역 3D 효과를 에 대해 수정하도록 화면내에 선택된 물체 처리를 수행하는 것이 필요하다. 이것은 메쉬 왜곡 및 모핑 기술을 통해서 달성될 수 있다. 만일 동작이 움직이는 배경에 정적인 물체로 카테고리화되었다면, 이것은 배경에 원근감이 있어 커다란 차이를 가졌는지 어떤지를 판별하는 것이 필요하다. 만일 그렇지 않다면 동작 시차의 원리를 이용한 우선 순위를 가지는 물체를 필드 딜레이에 적용시킨다. 그러나 배경이 원근감에 있어서 커다란 차이를 가졌다면, 다시 동작 시차의 원리를 이용하여 그 물체에 반대되는 우선 순위를 가지는 배경을 가지고 필드 딜레이를 적용한다. 이 경우에 더 리를 위해 넘겨지기 전에 역 3D 효과를 수정하기 위해 전경에 물체에 대한 프로세싱을 수행하는 것이 필요하다.

더 이상의 동작이 탐지 되지않는다면, 그 때 다음 화면에 물체가 어떤 전의 동작으로부터 알려졌는가를 고려하는 것이 필요하다. 만일 그렇다면, 선택된 물체에 대해 물체 프로세싱을 실행하는 것이 필요하다. 만일 그렇지 않았다면, 화면에서 물체를 구별하도록 시도하기 위해 특정 화면에 물체 탐지를 적용한다. 만일 물체가 구분된다면, 특정 물체에 대해 물체 프로세싱을 실행하고 그렇지 않다면 강제 시차와 3D 최적화가 수행된다.

물체 처리가 필요한 곳에서 물체들이 구분되고, 표시되고 그리고 관측되며, 메쉬 왜곡 및 모핑, 물체 배럴링, 에지 강조, 발기 보정, 물체 회전 기술을 이용하여 처리된다.

모든 경우에 있어서, 동작들이 카테고리화되고 입체 영상들을 변환하는 주요한 기술들이 적용되면 , 강제 시차로 일컬어지는 수평 이동 또는 그 이상 양의 시차가 영상에 적용된다. 바람직한 실시예에서 강제 시차는 모든 영상에 적용되고 원근 평활 목적 뿐만 아니라 모든 영상들이 입체 디스플레이장치의 기준면 앞으로 또는 뒤로 원근감을 갖는 것처럼 보이므로서 입체 효과를 제공한다. 강제 시차 적용의 장점은 시청자의 원근감 인식에 갑작스런 변화를 일으키지 않으며 검출된 동작의 변화를 좀 더 잘 처리할 수 있는 데 있다.

강제 시차가 영상에 적용되면, 영상은 3D 최적화로 이송된다. 이것은 입체 영상을 보기위해 필요하지만 최적화는 시청자에 의해 영상의 원근 인식도를 향상시킨다. 3D 최적화는 특정 시청자의 원근감을 변경하기 위해 기준점 또는 경계 이외에 시차 보정, 시차 평활, 및 시차 조정을 포함하는 많은 형태로 이루어질 수 있다. 가상으로 불규칙하게 휘도값 또는 색수차를 변경하므로서 영상이 또한 최적화되어 전방배경 물체 뒤에 있는 후방배경의 동작이 보일 수 있으므로 원근인식이 향상된다. 역 3D를 해석할 수 있어 시청자의 눈피로가 최소화된다. 또한 음영처리 기술, 전방배경과 후방배경의 농무 기술 또는 흐림 기술 및 영상의 에지 강조 기술이 이 단계에서 수행될 수 있다.

영상이 최적화되면 적절한 디스플레이 장치로 전송된다. 이러한 전송은 케이블, 동축, 위성 등 많은 형태 또는 어느 한 지점에서 다른 지점으로 신호를 전송하는 다른 형태를 취할 수 있다. 또한, 디스플레이 장치로 전송되기 전에 영상이 저장될 수 있다. 디스플레이 장치는 많은 형태를 취할 수 있고, 응용분야에 적합하도록 처리할 필요가 있다. 예를 들어 좌우측 영상을 분리하고, 스캔 속도를 증가시키고, 시청용 안경을 동기화하기 위해서 셋-탑 장치를 가진 기존 비디오 모니터를 사용할 수 있다. 다른 대안으로, 전용 입체 디스플레이 장치가 사용될 수 있는데, 이것은 입체 영상을 제공하는 헤드 기어 또는 안경의 용도를 통합한다. 다른 대안으로, 자동 입체 디스플레이 장치가 사용될 수 있다. 극장, 영화관, 비디오 아케이트, 케이블, 또는 네트워크 텔레비젼, 교육분야, 특히 다중매체 산업 및 테마 유원지 및 기타 오락 분야에 본 발명이 적용될 수 있다는 것을 알 수 있을 것이다.

Claims

평면 영상들을 수신하기에 적합한 입력수단,

제 1 영상과 평면 영상 시퀸스의 제 2 영상 사이에 연속성이 있는가를 판단하는 1차해석수단,

연속성을 갖는 평면 영상을 수신하고 물체의 속도 및 이동방향 또는 원근, 크기 및 위치 중 최소한 하나를 판단하기 위해 영상들을 해석하는 2차 해석 수단,

1차 해석 수단 및/또는 2차 해석 수단으로부터 수신된 데이타에 입각하여 평면 영상들을 처리하는 제 1 프로세싱 수단을 포함하는 3차원으로 시청하기 위해 평면 영상들을 변환하는 영상변환 시스템.
제 1항에 있어서,

입체 디스플레이 시스템 또는 기억 시스템으로 처리된 영상들을 전송할 수 있는 전송 수단을 더 포함하는 영상변환 시스템.
제 1 항 또는 제 2 항에 있어서,

상기 제 1 프로세싱 수단은 이동시차, 강제 시차, 시차구역들, 영상회전 또는 물체처리 중 최소한 어느 하나를 이용하므로서 영상을 처리하는 것을 특징으로 하는 영상변환 시스템.
제 1 항 내지 제 3 항 중 어느 한 항에 있어서,

제 2 프로세싱 수단이 상기 제 1 프로세싱 수단으로부터 수신된 영상들을 더 처리하도록 제공되는 것을 특징으로 하는 영상변환 시스템.
제 4 항에 있어서,

상기 제 2 프로세싱 수단은 영상을 더 처리하도록 강제 시차를 사용하는 것을 특징으로 하는 영상변환 시스템.
제 1 항 내지 제 5 항 중 어느 한 항에 있어서,

제 3 프로세싱 수단이 입체 디스플레이 장치로 변환된 영상들을 전송하기전에 영상들을 임의적으로 향상시키기 위해 제공되는 것을 특징으로 하는 영상변환 시스템.
제 6 항에 있어서,

상기 제 3 프로세싱 수단은 기준점들, 시차조정, 시차평활, 시차 조정, 동작 해석, 역 3D 수정 또는 컷 앤드 페이스트 기술 중 최소한 어느 하나를 이용하므로서 영상을 강조하는 것을 특징으로 하는 영상변환 시스템.
영상내에서의 동작 특성을 판단하기 위해 평면 영상들을 해석하는 단계,

동작 카테고리의 예정된 범위와 검출된 동작을 비교하는 단계,

입체 영상 사진을 형성하기 위해 동작 카테고리에 따라 최소한 하나의 처리 방법을 이용하여 평면 영상들을 처리하는 단계를 포함하는 것을 특징으로 하는 평면 영상들을 입체영상 사진으로 처리하는 방법.
제 8 항에 있어서,

상기 프로세싱 방법들은 동작시차, 강제시차, 시차구역들, 영상회전 및/또는 물체처리를 포함하는 것을 특징으로 하는 방법.
제 8 항 또는 제 9 항에 있어서,

상기 동작 카테고리는 장면변화, 심플 팬, 복합 팬, 물체이동, 후방배경 이동 및 무동작을 포함하는 것을 특징으로 하는 방법.
제 8 항 내지 제 10 항 중 어느 한 항에 있어서,

입체영상은 해석을 하기 전에 압축되는 것을 특징으로 하는 방법.
제 8 항 내지 제 11 항 중 어느 한 항에 있어서,

평면 영상은 해석 전에 스케일링되는 것을 특징으로 하는 방법.
제 12 항에 있어서,

스케일링 요소는 각 영상의 디지털 비디오 해상도에 좌우되는 것을 특징으로 하는 방법.
평면 영상을 수신하기에 적합한 제 1 레이어,

평면 영상을 수신하고 영상 데이터를 만들기 위해 평면 영상을 해석하기에 적합한 제 2 레이어,

영상 테이타 함수로 선택된 최소한 하나의 예정된 기술을 이용하여 평면 영상으로부터 입체 영상 사진을 만들기에 적합한 제 3레이어,

입체 영상 사진을 입체 디스플레이 수단으로 전송하기에 적합한 제 4 레이어,

입체 디스플레이 수단으로 구성되는 제 5 레이어를 포함하는 것을 특징으로 하는 3 차원 시청을 위해 평면 영상들을 변환하는 방법.
제 14 항에 있어서,

상기 제 1 레이어는 아날로그 영상을 디지탈 영상으로 변환시키기에 더 적합한 것을 특징으로 하는 방법.
제 14 항 또는 제 15 항에 있어서,

상기 제 2 레이어는 장면에서 물체를 검출하고 이와 같은 물체들의 속도와 동작에 관한 것을 판단하기에 적합한 것을 특징으로 하는 방법.
제 14 항 내지 제 16 항 중 어느 한 항에 있어서,

영상은 해석전에 압축되는 것을 특징으로 하는 방법.
제 14 항 내지 제 17 항 중 어느 한 항에 있어서,

제 3 레이어는 입체 영상 사진을 입체 디스플레이 수단으로 전송하기 전에 입체 영상 사진을 더 강조하는 최적화 단계를 포함하는 것을 특징으로 하는 방법.
제 14 항 내지 제 18 항 중 어느 한 항에 있어서,

제 4 레이어는 시간순으로 입체 디스플레이 수단에 디스플레이하기 위해 입체 영상 사진을 기억하는 기억수단을 포함하는 것을 특징으로 하는 방법.
평면영상을 수신할 수 있는 입력 수단,

영상 카테고리를 판단하기 위해 영상들을 해석하는 해석수단,

입체 영상 시청을 위해 선택된 영상 카테고리 함수로 평면 영상을 입체 영상 쌍들로 변환시킬 수 있는 변환 수단을 포함하는 것을 특징으로 하는 입체 영상 시스템.
제 20 항에 있어서,

상기 입력수단은 상기 평면 영상들을 포착하고 디지털화하는 수단을 포함하는 것을 특징으로 하는 시스템.
제 20 항 또는 제 21항에 있어서,

영상 해석 수단은 영상내의 후방 배경과 물체의 속도 및 방향을 판단할 수 있는 것을 특징으로 하는 시스템.
제 20 항 내지 제 22 항 중 어느 한 항에 있어서,

영상 해석 수단은 영상내의 후방 배경과 물체의 원근, 크기, 위치를 판단할 수 있는 것을 특징으로 하는 시스템.
제 20 항 내지 제 23 항 중 어느 한 항에 있어서,

입체 효과를 더 향상시키기 위해 입체 영상을 최적화하는 수단을 더 포함하는 것을 특징으로 하는 시스템.
제 20 항 내지 제 24 항 중 어느 한 항에 있어서,

시청자 기준점을 영상에 첨가하므로서 입체 영상 사신을 향상시키는 방법을 더 포함하는 것을 특징으로 하는 시스템.
각각의 영상을 다수의 구역으로 스케일링하는 단계, 제 1 영상과 제 2 영상 사이의 이동 특성을 판단하기 위해 제 1 영상과 제 2 영상의 대응구역 및 인접 구역을 각각 비교하는 단계를 포함하는 것을 특징으로 하는 입체 영상 사진으로 변환 하는 평면 영상들을 해석하는 방법.
제 26 항에 있어서,

동작 벡터는 비동작에서 완전한 장면 변화까지 예정된 동작 카테고리와 검출된 동작 특성의 비교에 근거한 각각의 영상에 알맞게 정의되는 것을 특징으로 하는 방법.
시청자 기준점 제공을 포함하는 입체 디스플레이 시스템.
평면 영상을 수신하기에 적합한 입력수단,

영상들의 특징을 판단하는 제 1 해석 수단,

상기 제 1 해석 수단에서 판단된 특성에 근거한 영상을 처리하는 제 1 프로세싱수단,

적절한 저장 및 또는 입체 디스플레이 시스템으로 처리된 영상들을 전송할 수 있는 출력수단을 포함하는 3차원에서 시청하기에 알맞도록 평면 영상들을 변환하는 시스템.
제 29 항에 있어서,

상기 입력수단은 상기 평면영상들을 디지털화하기에 더 적합한 것을 특징으로 하는 시스템.
제 29 항 또는 제 30 항에 있어서,

상기 제 1 해석수단으로 해석하기 전에 상기 평면 영상들을 압축하기에 적합한 압축수단을 더 포함하는 것을 특징으로 하는 시스템.
제 29 항 내지 제 31 항 중 어느 한 항에 있어서,

상기 제 1 해석 수단으로 해석하기 전에 상기 평면영상을 스케일링하는 스케일링 수단을 더 포함하는 것을 특징으로 하는 시스템.
제 32 항에 있어서,

상기 평면 영상이 스케일링하는 스케일링 요소는 각 영상의 디지털 비디오 해상도에 좌우되는 것을 특징으로 하는 시스템.
제 29 항 내지 제 33 항 중 어느 한 항에 있어서,

이어지는 제 1 및 제 2 영상들 사이에 연속성이 있는가를 판단하는 1차 해석 수단을 더 포함하는 것을 특징으로 하는 시스템.
제 29 항 내지 제 34항 중 어느 한 항에 있어서,

상기 제 1 해석 수단은 상기영상들 내의 물체를 판단할 수 있는 것을 특징으로 하는 시스템.
제 29 항 내지 제 35 항 중 어느 한 항에 있어서,

상기 제 1 해석 수단은 영상들의 동작 및/또는 영상내의 물체동작을 판단할 수 있는 것을 특징으로 하는 시스템.
제 35 항 또는 제 36 항에 있어서,

상기 제 1 해석수단은 동작 카테고리의 예정된 범위들 중 어느 하나로 동작을 카테고리화할 수 있는 것을 특징으로 하는 시스템.
제 29 항 내지 제 37 항 중 어느 한 항에 있어서,

영상들을 더 처리하는 제 2 프로세싱 수단을 더 포함하는 것을 특징으로 하는 시스템.
제 38 항에 있어서,

상기 제 2 프로세싱 수단은 영상을 더 처리하기 위해 강제 시차를 사용하는 것을 특징으로 하는 시스템.
제 29 항 내지 제 39 항 중 어느 한 항에 있어서,

영상들을 입체 디스플레이 및/또는 저장 시스템으로 전송하기 전에 처리된 영상들을 강조하는 최적화 수단을 더 포함하는 것을 특징으로 하는 시스템.
제 29 항 내지 제 40 항 중 어느 한 항에 있어서,

상기 평면 영상들에 첨가된 원근 수준을 제어하는 수단을 더 포함하는 것을 특징으로 하는 시스템.
제 29 항 내지 제 41 항 중 어느 한 항에 있어서,

처리된 영상에 기준점을 첨가하는 수단을 더 포함하는 것을 특징으로 하는 시스템.
상기 평면 영상들을 수신하는 단계,

영상들의 특성을 판단하기 위해 상기 평면 영상들을 해석하는 단계,

판단된 영상 특성에 입각하여 상기 평면 영상을 처리하는 단계,

처리된 영상들을 적절한 저장 및/또는 입체 디스플레이 장치로 출력하는 단계를 포함하는 3차원에서 시청하기에 알맞도록 평면 영상들을 변환시키는 방법.
제 43 항에 있어서,

상기 평면 영상은 해석 또는 프로세싱 단계가 수행되기 전에 디지털화되는 것을 특징으로 하는 방법.
제 43 항 또는 제 44 항에 있어서,

상기 평면 영상은 해석 단계전에 압축되는 것을 특징으로 하는 시스템.
제 43 항 내지 제 45 항 중 어느 한 항에 있어서,

상기 평면 영상은 해석단계전에 스케일링되는 것을 특징으로 하는 시스템.
제 46 항에 있어서

평면 영상을 스케일링하는 스케일링 요소는 각 영상의 디지털 비디오 해상도에 좌우되는 것을 특징으로 하는 시스템.
제 43 항 내지 제 47 항 중 어느 한 항에 있어서,

이어지는 제 1 및 제 2 영상들이 영상특성들을 판단하기 전에 연속성을 위해 해석되는 것을 특징으로 하는 시스템,
제 48 항에 있어서,

이어지는 제 1 및 제 2 영상들 사이의 매체 휘도값을 비교하므로서 연속성이 판단되는 것을 특징으로 하는 시스템.
제 49 항에 있어서,

매체 휘도값의 차가 30을 초과할 때 연속성이 없는 것으로 가정하는 것을 특징으로 하는 방법.
제 48 항 내지 제 50항 중 어느 한 항에 있어서,

연속성 판단을 돕기위해 이어지는 영상들 중 몇 개의 상부라인이 비교하는 것을 특징으로 하는 방법.
제 43 항 내지 제 51 항 중 어느 한 항에 있어서,

비연속성이 판단되는 영상처리는 시청자의 다른 눈에 의해 비추어지기 전에 어느 한 눈에 의해 연속성이 부족한 영상이 보이도록 어느 한 눈에 필드 딜레이를 도입하는 단계를 포함하는 것을 특징으로 하는 방법.
제 43 항 내지 제 52 항 중 어느 한 항에 있어서,

상기 평면 영상들을 해석하는 동안, 상기 영상들이 정의되어 상기 프로세싱 중에 돕는 것을 특징으로 하는 방법.
제 43 항 내지 제 53 항 중 어느 한 항에 있어서,

상기 평면 영상해석중에 영상들 내의 물체 및/또는 영상의 이동이 상기 프로세싱 공정을 돕도록 판단되는 것을 특징으로 하는 방법.
제 54 항에 있어서,

상기 영상 및/또는 물체의 동작은 동작 카테고리의 예정된 범위 중 어느 하나로 카테고리화되는 것을 특징으로 하는 방법.
제 43 항 내지 제 55 항 중 어느 한 항에 있어서,

동작을 판단하기 위해 상기 평면 영상들을 해석하는 단계는 인접한 영상의 대응 블록들이 수평 및/또는 수직으로 오프셋되고 다수의 블록들로 각각의 영상을 분할하는 단계,

상기 블록과 상기 대응 블록을 비교하여 최소 평균 분포 오차를 구하고 이것으로 블록의 동작을 찾는 단계를 포함하는 것을 특징으로 하는 방법.
제 56 항에 있어서,

비상세부를 가진 상기 블록은 상기 대응블록들과 비교되지 않는 것을 특징으로 하는 방법.
제 48 항에 있어서,

주요 블록과 상기 대응 블록의 비교가 큰 오차값을 가지면 연속성이 없는 것으로 가정하는 것을 특징으로 하는 방법.
제 43 항 내지 제 58 항 중 어느 한 항에 있어서,

시청자의 어느 한 눈이 시청자의 다른 눈에 앞서 영상을 보도록 영상처리는 필드 딜레이를 도입하므로서 동작 시차의 사용을 포함하는 것을 특징으로 하는 방법.
제 59 항에 있어서,

동작의 양은 필드 딜레이에 반비례하는 것을 특징으로 하는 방법.
제 59 항 또는 제 60 항에 있어서,

필드 딜레이가 기억되고, 각각의 새로운 영상에 알맞는 필드 딜레이가 이전필드 딜레이의 평균이 되는 것을 특징으로 하는 방법.
제 61 항에 있어서,

기억된 필드 딜레이는 연속성이 검출되지 않을 때 삭제되는 것을 특징으로 하는 방법.
제 43 항 내지 제 62 항 중 어느 한 항에 있어서,

영상 처리 방법은 좌우측 눈의 영상 이동을 통해 수평 이동을 도입하므로서 강제 시차의 사용을 포함하는 것을 특징으로 하는 방법.
제 43 항 내지 제 63 항 중 어느 한 항에 있어서,

영상처리방법은 영상의 일부분으로 더 수평이동시키는 시차구역을 이용하는 것을 특징으로 하는 방법.
제 43 항 내지 제 64 항 중 어느 한 항에 있어서,

영상처리방법은 영상의 여러 부분에 강제 시차와 동작 시차의 조합을 포함하는 것을 특징으로 하는 방법.
제 43 항 내지 제 65 항 중 어느 한 항에 있어서,

영상처리방법은 반대방향으로 같은 양만큼 Y축을 중심으로 하여 좌우측 눈의 영상을 회전시키는 것을 특징으로 하는 방법.
제 43 항 내지 제 66 항 중 어느 한 항에 있어서,

영상처리방법은 메쉬 왜곡 및 모핑 방법

물체를 빨리 이동시키는 방법

물체 에지 강조 방법

물체 밝기 강조 방법

물체 회전 방법과 같은 물체 처리 기술들 중 최소한 어느 하나로 이용하는 것을 특징으로 하는 방법.
제 43항 내지 제 67 항 중 어느 한 항에 있어서,

최종 강제 시차를 처리된 영상에 적용하므로서 처리된 영상이 더 처리되는 것을 특징으로 하는 방법.
제 68 항에 있어서,

강제시차의 정도가 영상을 처리하는 동안 첨가된 시차의 양에 의해 판단되므로서, 프로세싱 중에 첨가된 시차의 총량과 강제시차가 인접한 영상의 총 시차량이 실질적으로 같은 것을 특징으로 하는 방법.
제 68 항 또는 제 69 항에 있어서,

최종 강제 시차 량은 예정된 시간 프레임 전체에 걸쳐 예정된 최대 세팅값과 최소 세팅값 사이에서 조절되는 것을 특징으로 하는 방법.
제 43 항 내지 제 70 항 중 어느 한 항에 있어서,

영상들을 입체 디스플레이 시스템 및/또는 기억시스템으로 전송하기 전에 처리된 영상들을 더 강조하도록 처리된 영상이 최적화되는 것을 특징으로 하는 방법.
제 43 항 내지 제 71 항 중 어느 한 항에 있어서,

기준점이 처리된 영상에 첨가되는 것을 특징으로 하는 방법.
제 43 항 내지 제 72 항 중 어느 한 항에 있어서,

상기 기준점은 영상주변 둘레의 경계, 다수의 중심경계, 부분경계, 로고(logo), 사진 중 최소한 어느 하나인 것을 특징으로 하는 방법.
제 43 항 내지 제 73 항 중 어느 한 항에 있어서,

영상 처리중에 평면 영상에 첨가되는 원근의 양은 시청자 선택에 따라 조절되는 것을 특징으로 하는 방법.
제 43 항 내지 제 74 항 중 어느 한항에 있어서,

영상의 후방 배경이 시청자가 인식할 수 없는 작은 증가량으로 불규칙하게 이동되는 것을 특징으로 하는 방법.
제 43 항 내지 제 75 항 중 어느 한 항에 있어서,

역 3D를 알맞게 보상하도록 독립적으로 조정된 물체들과 역 3D에 알맞게 영상이 시험되는 것을 특징으로 하는 방법.
제 43 항 내지 제 76 항 중 어느 한 항에 있어서,

컷 앤드 페이스트 기술은 입체효과를 더 강조하도록 사용되는 것을 특징으로 하는 방법.
첨부한 도면을 참조하여 기술한 것과 실질적으로 같은 방법.
첨부한 도면을 참조하여 기술한 것과 실질적으로 같은 시스템.