KR19980702317A - 시차 변환을 통해 입력 이미지를 하나 이상의 출력 이미지로 발생시키기 위한 이미지 처리 시스템과 그 프로세서 - Google Patents

시차 변환을 통해 입력 이미지를 하나 이상의 출력 이미지로 발생시키기 위한 이미지 처리 시스템과 그 프로세서 Download PDF

Info

Publication number
KR19980702317A
KR19980702317A KR1019970705714A KR19970705714A KR19980702317A KR 19980702317 A KR19980702317 A KR 19980702317A KR 1019970705714 A KR1019970705714 A KR 1019970705714A KR 19970705714 A KR19970705714 A KR 19970705714A KR 19980702317 A KR19980702317 A KR 19980702317A
Authority
KR
South Korea
Prior art keywords
input
pixel
output
image
processor
Prior art date
Application number
KR1019970705714A
Other languages
English (en)
Other versions
KR100445209B1 (ko
Inventor
파트릭 프란시스커스 파울루스 마이에르스
Original Assignee
요트.게.아,롤페즈
필립스 일렉트로닉스 엔.브이.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 요트.게.아,롤페즈, 필립스 일렉트로닉스 엔.브이. filed Critical 요트.게.아,롤페즈
Publication of KR19980702317A publication Critical patent/KR19980702317A/ko
Application granted granted Critical
Publication of KR100445209B1 publication Critical patent/KR100445209B1/ko

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/275—Image signal generators from 3D object models, e.g. computer-generated stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2213/00—Details of stereoscopic systems
    • H04N2213/003—Aspects relating to the "2D+depth" image format

Abstract

입력 이미지를 시차 변환하여 출력 이미지를 생성하는 이미지 처리 시스템과 이미지 변환 처리기를 개시하며, 입력 이미지의 픽셀은 색채값과 깊이값으로서 공급된다. 깊이 변환기(520)는 깊이값을 깊이에 관련된 픽셀 시프트로 변환하고, 이 픽셀 시프트는 색채값과 함께 메모리(510)에 저장된다. 프로세서(530)는 입력 픽셀을 시프트함으로써 저장된 입력 이미지로부터 출력 이미지를 발생시켜 입체시 디스플레이 시스템에 고속으로 공급한다. 3D 렌더링 처리를 사용하여 입체시 출력 이미지 쌍이나 동영상을 위해 하나의 입력 이미지를 생성하는 반면, 깊이에 관련된 시프트를 사용하여 시차 이미지 효과를 생성한다. 시프트로 인한 호울이나 겹침과 같은 인조 효과를 없앨 수 있다.

Description

시차 변환을 통해 입력 이미지를 하나 이상의 출력 이미지로 발생시키기 위한 이미지 처리 시스템과 그 프로세서
본 발명은 2D 디스플레이 상에 이미지를 디스플레이함에 있어서 깊이의 느낌을 제공하는 데에 대한 관심이 급속하게 증가하고 있는데, 특히 가상 현실 분야나 컴퓨터 게임 분야에 있어서 증가하고 있다. 명도 레벨이나 물체의 크기를 변동시키는 것 등의 깊이 자극을 제공하는 여러 가지 방식에 공지되어 있다. 특히, 입체시 기법(steropsis, or stereoscopic vision)은 깊이 자극을 제공하기 위한 기술로서 많은 관심을 받고 있다. 이 기법에서는 사람에게 동일한 장면을 약간 떨어진 두 위치에서 관찰하여 얻은 두 개의 2D 이미지를 제공함으로써 입체감을 일으키게 한다. 한 이미지는 좌안에 제공하고, 다른 이미지는 우안에 제공한다. 이 두 개의 이미지는 시차 관련되어 있다. 시차라는 용어는 물체와 직선상에 위치하지 않은 두 개의 서로 다른 지점으로부터 보았을 때의 시각적 변위 또는 물체의 시각 방향의 차이를 말한다. 이러한 시차를 통해, 장면에서 물체의 깊이(depth)를 사람이 인식할 수 있다.
US 5, 379, 369호에는 하나의 2D 이미지로부터 각각의 눈(eye)에 대한 별개의 출력 이미지를 발생하는 기술이 공지되어 있다. 공지된 시스템에서, 2D 입력 이미지는 두 눈의 중간 지점에 대응하는 지점에서 관찰한 물체를 나타낸다. 좌안 이미지(left eye image)는 좌안의 시점(visual point)에 대응하는지점에서 물체를 관찰한 2D 표현이다. 우안 이미지는 우안의 시점에 대응하는 지점에서 물체를 관찰한 2D 표현이다. 전형적으로, 2D 입력 이미지는 픽셀 어레이의 형태로 주어진다. 이 픽셀 어레이는 예컨대 카메라나 컴퓨터 그래픽스를 사용하여 얻을 수 있다. 입력 이미지의 각 픽셀에 대하여 추가적으로 깊이 정보를 얻을 수 있다. 공지의 시스템에서는, 깊이 정보를 2D 입력 이미지 자체로부터, 예컨대 2D 입력 이미지의 픽셀의 명도 레벨에 기초하여 유도한다. 동일한 물체를 눈의 시점 및 눈 사이의 중간 지점으로부터 관찰하여 얻은 시차에 기초하여, 입력 이미지의 픽셀을 시프트함으로써 이들 픽셀로부터 좌안 이미지와 우완 이미지의 픽셀을 유도한다. 좌표계의 수평축을 양 눈을 연결하는 라인에 평행하도록 선택함으로써, 수평 시프트만이 일어나도록 한다. 픽셀의 시프트 량은 깊이 정보에 따른다. 전형적으로, 입력 이미지로부터 시차 관련된 이미지를 발생하는 데에 적합한 그래픽 처리 시스템은 2D 입력 이미지 및 깊이 정보를 추가로 저장하기 위한 그래픽 메모리와 같은 메모리를 포함한다. 2D 입력 이미지와 깊이 정보는 일반적으로 응용 프로그램에 의해 공급된다. 전형적으로, 2D 입력 이미지와 깊이 정보는 이미지 처리 시스템에서 사용하기 위해 메모리에 또한 복사된다. 이미지 처리 시스템은 2D 입력 이미지와 깊이 정보로부터 하나 이상의 2D 출력 이미지를 발생시킨다. 상기 출력 이미지는 입력 이미지에 시차 관련되어 있다. 상기 출력 이미지의 발생은 2D 입력 이미지의 픽셀을 깊이에 따라 시프트함으로써 달성할 수 있다. 2D 출력 이미지는 그래픽 메모리에 저장된다. D/A 변환기를 통해, 2D 출력 이미지는 적절한 입체시 디스플레이 시스템을 이용하여 디스플레이된다. 입체시 이미지를 디스플레이하기 위한 여러 가지 기술이 공지되어 있다. 타임 패러랠 기법(time-parallel technique)을 사용하여 하나 또는 두 개의 디스플레이에 상기 하나 이상의 출력 이미지를 동시에 표현할 수 있다. 예를 들어, 두 개의 이미지를 보색(complementary cours)으로 필터링하여 한 디스플레이에 중첩할 수 있다. 관찰자는 투영 필터에 부합하는 필터를 구비한 안경을 착용한다. 한편, 두 개의 이미지를 한 디스플레이에 함께 디스플레이하고 각 이미지를 올바른 눈에 유도하는 뷰어(viewer)를 사용하여 볼 수도 있다. 다른 예로서, 두 개의 디스플레이를 사용하여 서로 상이하게 편광된 화면을 제공하고, 이에 대응하여 편광된 안경을 사용하여 볼 수도 있다. 한편, 각 눈에 대하여 별개의 디스플레이를 구비한 헤드 장착형 장치를 사용하여 두 개의 디스플레이를 제공할 수도 있다. 또한, 시간 멀티플렉싱 기술을 사용하여, 하나의 디스플레이이 좌안 이미지와 우안 이미지를 교번하여 디스플레이할 수도 있다. 하나의 예로서, 모니터의 짝수 주사선과 홀수 주사선에 각각 상이한 이미지를 기입한다. 셔터 시스템(shutter system)을 사용하여, 우안 이미지를 디스플레이할 때에는 좌안 이미지를 차단하고 좌안 이미지를 디스플레이할 때에는 우안 이미지를 차단한다. 상기 셔터 시스템은 관찰자가 착용한 안경에 장착할 수 있다. 한편, 제어가능한 편광기를 디스플레이 앞에 위치시키고 관찰자는 편광 유리를 구비한 헤드 장착형 장치를 착용한다.
공지의 이미지 처리 시스템은 게임 컴퓨터나 PC와 같은 가전용품으로 사용하기에는 상대적으로 고가이다. 더욱이, 그 화질도 뛰어나지 못하다.
본 발명은 입력 수단, 출력 수단, 메모리, 및 프로세서를 포함하고 시차 변환(parallactic transformation)을 통해 입력 이미지에 관련된 하나 이상의 출력 이미지를 발생시키기 위한 이미지 처리 시스템에 관한 것으로서, 상기 입력 수단은 각각의 입력 픽셀값(input pixel value) 및 입력 이미지의 입력 픽셀의 입력 픽셀 깊이(input pixel depth)를 수신하기 위한 수단과 상기 수신된 입력 픽셀값을 상기 메모리에 저장하기 위한 수단을 포함하고, 상기 프로세서는 하나 이상의 입력 픽셀의 입력 픽셀값으로부터 출력 픽셀에 대한 각각의 출력 픽셀값을 유도함으로써 출력 이미지의 출력 픽셀을 만들어내도록 동작하되, 상기 입력 픽셀과 상기 출력 픽셀이 각각의 입력 픽셀 깊이의 함수인 시차 관계(parallactic relationship)를 가지고 있고, 상기 출력 수단은 상기 출력 픽셀값을 출력하기 위한 수단을 포함한다.
본 발명은 또한 입력 이미지를 하나 이상의 출력 이미지로 시차 변환하기 위한 프로세서에 관한 것으로서, 상기 입력 이미지의 입력 픽셀의 각각의 입력 픽셀값을 수신하기 위한 입력부와 상기 출력 이미지의 출력 픽셀의 각각의 출력 픽셀값을 출력하기 위한 출력부를 포함하고, 상기 출력 픽셀에 시차 관련된(parallactically related) 하나 이상의 입력 픽셀의 입력 픽셀값으로부터 상기 출력 픽셀값 각각을 유도함으로써 상기 출력 픽셀을 발생하도록 동작한다.
도1은 이미지 처리 시스템을 사용한 종래 시스템의 블로도.
도2은 투영도.
도3은 상이한 위치에서 관찰할 때 물체의 겹치는 부분이 증가하는 것을 나타내는 도면.
도4는 상이한 위치에서 물체를 관찰할 때 호울이 나타나는 것을 나타내는 도면.
도5는 본 발명에 따른 이미지 처리 시스템의 블록도.
도6은 본 발명에 따른 이미지 처리 시스템의 실시예를 도시한 도면.
도7은 물체의 상대적 시프트를 도시하는 도면.
도8은 서브픽셀 위치로의 시프트를 도시하는 도면.
본 발명의 목적은 시차 관련된 고화질의 이미지를 발생할 수 있는 전술한 종류의 고속·저가 시스템을 제공하는 것이다.
상기 목적을 달성하기 위해, 본 발명에 따른 시스템은 입력 수단이 입력 픽셀 깊이를 입력 픽셀 시프트(input pixel shift)로 변환하고 상기 입력 픽셀 시프트의 표현(representation)을 메모리에 저장하기 위한 깊이 변환기(depth converter)를 포함하고, 프로세서는 입력 픽셀에 대응하는 저장된 입력 픽셀 시프트 표현에 기초하여 출력 픽셀과 입력 픽셀 사이의 시차 관계를 판단하는 특징으로 갖는다. 상기 픽셀 시프트의 범위는 전형적으로 픽셀 깊이의 범위보다 작다. 픽셀 깊이 대신 픽셀 시프트를 저장함으로써, 필요한 저장공간의 양을 감소시킬 수 있다. 또한, 픽셀 깊이의 범위를 증가시켜 픽셀의 시프트를 보다 명확히 하면서도 필요한 저장 공간의 양은 증가하지 않도록 할 수 있다. 예를 들면, 16비트 픽셀 깊이를 사용하는 시스템에 대하여 4~6비트의 픽셀 시프트 정보를 저장하는 것으로도 충분하다. 더욱이, 깊이 변환기를 사용하여 전처리함으로써 프로세서의 부하를 감소시켜 이로써 입력 이미지로부터 출력 이미지를 급속히 유도할 수 있는 저가형 프로세서를 얻을 수 있다. 바람직하게는, 상기 깊이 변환기는 프로세서가 픽셀을 처리하기 전에 복수의 연속된 픽셀을 변환하여 저장할 수 있다. 바람직하게는, 상기 복수의 픽셀은 이미지의 모든 픽셀이나 이미지 라인의 모든 픽셀, 또는 최대 픽셀 시프트에 대응하는 픽셀량(예컨대, 최대 16픽셀 위치만큼 픽셀을 시프트할 수 있다면, 프로세서가 처리하기 전에 깊이 변환기가 최소한 16픽셀을 처리한다)을 포함한다.
본 발명에 따른 시스템의 한 실시예에서는 픽셀 시프트는 소정의 최대 N 픽셀 위치로 한정되고, 프로세서는 픽셀값을 저장하기 위한 상기 N 이상의 위치를 갖는 슬라이딩 버퍼(sliding buffer)를 포함하고, 프로세서는 연속적인 입력 픽셀을 처리하도록 동작하되, 상기 처리는 메모리로부터의 입력 픽셀값 각각을 상기 슬라이딩 버퍼에서 대응하는 입력 픽셀 시프트에 따른 오프셋 위치로 복사하는 처리; 상기 슬라이딩 버퍼의 출력 위치로부터 픽셀값을 판독함으로써 출력 픽셀값을 출력하는 처리; 및 상기 슬라이딩 버퍼를 시프트하는 처리를 포함하는 특징을 갖는다. 출력 이미지의 픽셀은 출력 이미지를 저장할 필요없이 작은 슬라이딩 버퍼만을 사용하여 만들어낸다. 이에 의해 프로세서의 동작이 간단해지고, 이로써 프로세서를 고속·저가로 구현할 수 있다.
본 발명에 따른 시스템의 한 실시예에서는 전경 및 배경 입력 픽셀이 동일한 출력 픽셀에 시차 관련된 경우에 프로세서가 이후의 처리를 위해 전경 입력 픽셀을 선택하도록 동작하되, 상기 프로세서는 상기 슬라이딩 버퍼 위치가 점유되어 있는지 여부를 나타내기 위한 지시기(indicator)를 포함하여 상기 위치가 점유되어 있지 않다고 상기 지시기가 나타내는 경우에 입력 픽셀값을 상기 슬라이딩 버퍼의 위치 복사함으로써 상기 선택을 수행하도록 동작하는 특징을 갖는다. 입력 픽세은 픽셀에 의해 표현되는 물체가 초점면(focus plane)의 앞에 있는지 아니면 뒤에 있는지에 따라서 양쪽으로 시프트될 수 있다. 더욱이, 시프트되는 픽셀 위치의 양은 물체의 깊이에 따라 정해진다. 따라서, 하나 이상의 입력 픽셀이 동일한 출력 픽셀로 시프트될 수 있다. 이는 입력 이미지에 부합하는 관찰점으로부터는 서로 상이한 깊이를 갖는 소정의 물체가 겹치지 않거나 일부만 겹치는 반면, 출력 이미지에 부합하는 관찰점으로부터는 이 물체가 겹치거나 보다 많이 겹치는 것으로부터 상상할 수 있다. 공지의 시스템에서는, 입력 픽셀이 이미 다른 입력 픽셀이 복사된 출력 픽셀 위치로 시프트될 때마다, 관련된 양 입력 픽셀의 대응하는 깊이 정보를 사용하여 전경 입력 픽셀이 선택되도록 한다. 본 발명의 발명자는 버퍼와 지시기를 사용함으로써 출력 픽셀의 버퍼 위치가 이미 점유되어 있는지의 여부를 검사하는 것만으로도 원하는 입력 픽셀을 선택할 수 있도록 하였다. 깊이 정보는 더 이상 필요하지 않다.
본 발명에 따른 시스템의 한 실시예에서는 전경 및 배경 입력 픽셀이 동일한 출력 픽셀에 시차 관련되어 있는 경우에 프로세서는 이후의 처리를 위해 전경 입력 픽셀을 선택하도록 동작하고, 프로세서는 슬라이딩 버퍼 위치가 점유되어 있는지 여부를 나타내기 위한 지시기를 포함하고; 주어진 처리 방향으로 입력 이미지의 입력 픽셀 행(row)을 처리하고; 상기 입력 이미지에 부합하는 입력 관찰점과 상기 출력 이미지에 부합하는 출력 관찰점의 상대적 위치에 따라 입력 픽셀값을 슬라이딩 버퍼의 위치로 선택적으로 복사하기 위한 선택기를 포함하되, 상기 선택기는 입력 관찰점에서 출력 관찰점으로의 방향이 상기 처리 방향과 동일한 경우에는 상기 위치가 점유되어 있는지 여부에 상관없이 입력 픽셀값을 복사하고, 입력 관찰점에서 출력 관찰점으로의 방향이 상기 처리 방향과 반대인 경우에는 상기 지시기가 상기 위치가 점유되어 있지 않다고 나타내는 경우에 상기 입력 픽셀값을 복사하는 특징을 갖는다. 본 발명의 발명자는 입력 관찰점에서 출력 관찰점으로의 방향이 처리 방향과 동일한 경우에는 자동적으로 전경 입력 픽셀이 선택되도록 하였다. 상기 두 방향이 서로 반대인 경우에는 출력 픽셀의 버퍼 위치가 이미 점유되었는지를 점검하는 것만으로도 원하는 입력 픽셀을 선택할 수 있다. 선택기에 의해, 프로세서는 입력 관찰점과 출력 관찰점의 상대적인 위치에 따라 적절한 입력 픽셀을 효과적으로 선택할 수 있다.
본 발명에 따른 시스템의 한 실시예에서는 프로세서는, 입력 픽셀 중에 주어진 출력 픽셀에 시차 관련된 픽셀이 없는 경우에 상기 입력 픽셀값을 복제함으로써 출력 픽세의 각각의 출력 픽셀값을 만들어내기 위한 복제기(duplicator), 및 슬라이딩 버퍼 위치가 점유되어 있는지 여부를 나타내기 위한 지시기를 포함하며, 상기 복제기는 상기 지시기가 슬라이딩 버퍼의 소정의 출력 위치가 점유되어 있지 않다고 나타내는 경우에 슬라이딩 버퍼로부터 이전에 출력되었던 픽셀값을 재생하도록 동작하는 특징을 갖는다. 동일한 출력 픽셀로 시프트되는 입력 픽셀과는 반대로, 소정의 출력 픽셀 위치에는 입력 픽셀이 전혀 시프트되지 않을 수도 있다. 이는 입력 이미지에 부합하는 관찰점으로부터는 서로 상이한 깊이를 갖는 소정의 물체가 일부 겹치는 반면, 출력 이미지에 부합하는 관찰점으로부터는 이 물체가 더 적게 겹칠 수 있는 것(부분적으로 가려졌던 배경 물체의 더 많은 부분이 드러남)으로부터 상상할 수 있다. 이 방식에서 발생할 수 있는 호울(holes)은 이전의 출력 픽셀을 복제함으로써 채울 수 있다. 바람직하게는, 출력 관찰점에서 입력 관찰점으로의 방향은 처리 방향과 동일하다. 전형적으로는, 이 방식에서 배경 입력 픽셀이 재생되어 배경 물체의 드러난 부분(emerged part)을 표현한다.
본 발명에 따른 시스템의 한 실시예에서는 입력 픽셀 시프트는 대응하는 입력 픽셀이 출력 이미지의 픽셀 위치 사이의 위치로 시프트한 것을 나타내는 서브픽셀 시프트(sub-pixel shift)를 포함하고, 프로세서는 인접 픽셀의 픽셀값을 혼합하되 혼합의 가중치는 상기 인접 픽셀을 서브픽셀 시프트에 따라 정하는 혼합기(mixer)를 포함하는 특징을 갖는다. 인접 픽셀을 혼합하는 데에 서브픽셀 시프트를 사용함으로써 고화질의 출력을 얻을 수 있는데, 이 때 시프트에 있어서 깊이에 관련된 점프(depth-related jumps)가 별로 없는데, 이러한 깊이에 관련된 점프가 있는 경우에는 일련의 시프트된 평행 평면이 존재하는 것과 같은 느낌을 주었을 것이다.
본 발명에 따른 시스템의 한 실시예에서는 깊이 변환기는 입력 픽셀 깊이를 입력 픽셀 시프트로 변환하기 위한 테이블(table)을 포함하는 특징을 갖는다. 테이블을 이용하는 것을 예컨대 16비트로 표현되는 픽셀 깊이를 예컨대 4~6비트로 표현되는 픽셀 시프트로 변환할 수 있는 효과적인 방법이다.
본 발명에 따른 시스템의 한 실시예에서는 깊이 변환기는 하나 이상의 입력 픽셀의 입력 픽셀 시프트를 입력 픽셀 시프트 표현으로 압축하기 위한 압축 수단을 포함하고, 프로세서는 입력 픽셀 시프트 표현을 압축해제(decompress)하여 대응하는 입력 픽셀의 입력 픽셀 시프트로 만들기 위한 압축해제 수단을 포함하는 특징을 갖는다. 픽셀 시프트를 압축함으로써, 저장 공간의 요구량을 보다 줄일 수 있다.
본 발명에 따른 시스템의 한 실시예에서는 프로세서는 시차 변환을 통해 동일한 입력 이미지에 관련된 둘 이상의 출력 이미지를 발생하도록 동작하되, 입력 이미지는 출력 이미지의 어느 한 이미지를 구성하는 특징을 갖는다. 출력 이미지중에서 하나를 입력 이미지로 표현함으로써, 하나 적은 이미지를 발생할 필요가 있다. 하나의 입력 이미지로부터 두 개의 출력 이미지를 유도하는 종래의 입체시 시스템에 있어서는, 좌안 이미지 또는 우안 이미지를 입력 이미지로서 시스템에 제공한다. 나머지 출력 이미지는 시차 변환을 통해 입력 이미지로부터 유도한다.
본 발명에 따른 시스템의 한 실시예에서는 프로세서는 시차 변환을 통해 동일한 입력 이미지에 관련된 둘 이상의 출력 이미지를 발생하도록 동작하고, 입력 이미지에 부합하는 입력 관찰점은 출력 이미지 각각에 부합하는 출력 관찰점 사이에 수평적으로 위치하지 않는 특징을 갖는다. 이 방식으로, 동일한 처리를 사용하여 입력 이미지로부터 각 출력 이미지를 유도한다.
본 발명에 따른 시스템의 한 실시예에서는 입력 관찰점에서 출력 관찰점으로의 방향이 프로세서가 입력 이미지의 입력 픽셀 행(row)을 처리하는 방향과 반대방향인 특징을 갖는다. 이 방식으로, 처리가 간단해진다.
본 발명에 따른 시스템의 한 실시예에서는 출력 이미지를 디스플레이하기 위한 디스플레이 시스템을 포함하되, 프로세서는 상기 디스플레이 시스템에 직접 연결되어 출력 픽셀을 제공하는 특징으로 갖는다. 이를 통해, 프로세서의 출력을 저장하기 위한 추가적인 그래픽 메모리를 사용할 필요가 없다.
본 발명의 목적을 달성하기 위해서, 본 발명의 프로세서는 입력 픽셀의 입력 픽셀 시프트 각각의 표현을 수신하기 위한 입력부를 포함하되 상기 입력 픽셀 시프트는 소정의 최대 N 픽셀 위치로 한정되고, 프로세서는 픽셀값을 저장하기 위한 상기 N 이상의 위치를 갖는 슬라이딩 버퍼를 포함하고, 프로세서는 연속적인 입력 픽셀을 처리하도록 동작하되, 상기 처리는 상기 메모리로부터의 입력 픽셀값 각각을 슬라이딩 버퍼에서 대응하는 입력 픽셀 시프트에 따른 오프셋 위치로 복사하는 처리; 상기 슬라이딩 버퍼의 출력 위치로부터 픽셀값을 판독함으로써 출력 픽셀값을 출력하는 처리; 및 상기 슬라이딩 버퍼를 시프트하는 처리를 포함하는 특징을 갖는다.
본 발명의 여러 특징은 도면에 도시된 실시예를 참조하여 명확해질 것이다.
도1은 본 발명에 따른 이미지 처리 시스템이 사용될 수 있는 종래 시스템의 블록도를 도시한다. 종래 시스템은 2D 입력 이미지(110)를 저장하기 위한 그래픽 메모리와 같은 메모리(100)를 포함한다. 입력 이미지(110)는 행과 열로 구분된 픽셀 어레이를 포함한다. 각 픽셀에 대하여 픽셀값이 주어진다. RGB(적색, 녹색, 청색)나 YUV 코딩 등, 픽셀값을 나타내는 여러 가지 방식이 공지되어 있다. 예컨대 각 픽셀당 16비트 또는 24비트를 사용하여 픽셀값을 완전히 저장할 수 있다. 한편, 칼라 조사표(Colour Look-Up Table: CLUT) 방식을 채용하여 보다 적은 비트수, 예컨대 8비트를 사용하여 픽셀값을 코딩할 수도 있다. 픽셀값에 더하여, 각 픽셀에 대하여 깊이값이 입력 깊이(120)로서 메모리(100)에 저장된다. 깊이값은 예컨대 각 픽셀당 16비트를 사용하여 저장될 수 있다. 필요하다면 입력 깊이(120)를 저장하기 위해 별도의 메모리를 사용할 수 있다. 게임 컴퓨터나 개인용 컴퓨터상에서는 일반적으로 입력 이미지(110)와 입력 깊이(120)를, 메모리(150)에 저장된 3D 모델(140)로부터 정보를 유도하는 3D 렌더링 처리(3D rendering process: 130)에 의해 발생시킨다. 전형적으로. 메모리(150)는 컴퓨터의 메인 메모리(main memory)의 일부분이다. 메모리(150)는 RAM, ROM, 자기 또는 광학 배경 저장장치(background storage)와 같은 적절한 저장 수단을 사용하여 형성할 수 있다. 3D 렌더링 처리(130)는 전형적인 컴퓨터의 메인 CPU를 사용하거나 그래픽 프로세서 또는 액셀러레이터를 사용하여 수행한다. 입력 이미지(110)와 입력 깊이(120)는 다른 방식으로 공급 및 발생될 수 있다. 예를 들어, 원격통신 수단, 오디오/비디오 방송 또는 케이블 네트워크와 같은 통신 수단을 사용하여 입력 이미지(110)와 입력 깊이(120)를 공급할 수 있다. 3D 렌더링 처리(130) 대신, 다른 수단을 사용하여 이미지 및 깊이 정보를 발생시킬 수 있다. 예를 들어, 서로 다른 지점, 바람직하게는 두 눈을 각각 나타내는 지점에 위치한 두 대의 카메라를 사용할 수 있다. 이들 카메라에서 얻은 두 개의 2D 이미지로부터, 이미지와 깊이 정보를 형성할 수 있다. 그리고 나서, 상기 깊이 정보는 종래의 2D 이미지의 공급에 더하여 그리고 바람직하게는 상기 2D 이미지만 공급되었던 것과 호환성이 있도록 제공되어, 종래의 2D 디스플레이 시스템을 사용하거나 입체시 디스플레이 시스템을 사용하여 장면을 관찰할 수 있게 된다.
프로세서(160)는 입력 이미지(110)와 입력 깊이(120)를 사용하여 하나 이상의 출력 이미지를 발생시킨다. 도1에 도시된 예에서, 좌측 이미지(170)와 우측 이미지(180)가 발생된다. 좌측 이미지(170)는 3D 장면을 관찰자의 좌안에 대응하는 관찰점에서 관찰한 2D 표현을 나타낸다. 마찬가지로, 우측 이미지(180)는 3D 장면의 관찰자의 우안에 대응하는 관찰점에서 관찰한 2D 표현을 나타낸다. 전형적으로, 프로세서(160)는 그래픽 메모리와 같은 메모리(190)에 출력 이미지를 구성한다. 일반적으로 D/A 변환기(200)는 출력 이미지를 입체시 디스플레이와 같은 적절한 디스플레이(210) 상에 제공한다. 프로세서(160)가 입력 이미지와 입력 깊이 상에서 이러한 정보의 공급과 픽셀 레벨에서 동기화되지 않고서도 동작할 수 있게 하기 위해서, 전형적으로 메모리(210)를 사용하여 각각 입력 이미지(110)와 입력 길이(120)의 복사본인 입력 이미지(220)와 입력 길이(230)를 저장한다. 그리고 나서, 프로세서(160)는 입력 이미지(110)와 입력 길이(120)를 공급하는 3D 렌더링 처리(130)와는 독립적으로 입력 이미지(220)와 입력 기이(230) 상에서 동작한다. 예컨대 완전한 신규 이미지가 만들어 진 것과 같은 적절한 시기에, 입력 이미지(110)와 입력 길이(120)는 각각 입력 이미지(220)와 입력 길이(230)로 복사된다. 메모리(100, 210)가 물리적으로 하나의 메모리 블록으로 결합된 경우에는 이러한 복사 과정은 물리적으로 데이터를 복사하지 않고 예컨대 포인터 레지스터를 재할당하는 것에 의해 수행될 수 있다.
입력 이미지에서 출력 이미지로의 시차 변환은 서로에 대한 3D 물체의 변위에 관련되어 있다. 변위는 예컨대 장면과 관찰자의 상대적 위치의 변화, 이들 사이의 상대적 방향의 변화, 이들의 상대 속도에 의해 물체와 관찰자 사이의 상대적 위치의 변화, 또는 변화들의 결합에 의해 발생한다.
도2A는 투영도로서, x축(200), y축(210), z축(220)을 갖는 3D 좌표계를 도시한다. 2D 이미지는 행과 열로 정렬된 이산 픽셀(discrete pixels)의 어레이를 포함한다. 본 명세서에서 픽셀은 본 발명에 따른 이미지 처리에 있어서 고려하는 최소 단위를 나타낸다. 이미지에서 특정 행의 각 픽셀은 일련의 이산 지점에서 어느 한 지점의 의미를 갖는다. 이미지에서 각 픽셀 행은 x축(200)에 평행하도록 배열되어, 행의 각 픽셀은 그 x좌표에 기초하여 구분한다. 각 픽셀 열은 x축(200)에 직교 방향인 y축(210)에 평행하도록 배열된다. 장면의 깊이는 x축(200)과 y축(210)에 직교 방향인 z축(220)을 따라 표시한다. 각 픽셀에 할당된 z값은 그 픽셀에서 장면의 깊이를 나타낸다. 픽셀의 시차 시프트를 설명하기 위해서, 원점 0=(0, 0, 0)과 좌표계의 방향은 P=(x, y, z)로 표현되는 3D 물체가 관찰점 01=(D, 0, 0)로부터 관찰되도록 선택되었다. 초점면(관찰자 눈의 초점이 맞는 평면: 240)으로서 평면 z=zP이 선택되었다. 일반적으로, 디스플레이 평면은 초점면과 일치하도록 선택된다. 관찰점(01)으로부터 관찰한 2D 이미지는 3D 물체를 초점면상에 투영하여 형성하는데, 이를 투영면이라고 부른다. 점(P)은 P1=(xP, yP, zP)로 투영된다.
도2B는 도2A를 평면 y=0 상에 투영한 도면이다. P는 P'=(x, 0, z); P=(D, 0, z) 상으로 투영된다. 삼각형(01, P', P)으로부터 zP/z=(xP-D)/(x-D)가 되고, 이로부터 xP=D+(x-D)·zP/z를 얻는다.
도2C는 도2A를 평면 x=D 상에 투영한 도면이다. P는 P'=(D, y, z); P=(D, 0, z) 상으로 투영된다. 삼각형(01, P', P)으로부터 zP/z=yP/y가 되고, 이로부터 yP=y·zP/z를 얻는다.
이상으로부터, P1=(D+(x-D)·zP/z, y·zP/z, zp)를 얻는다. [IEEE 컴퓨터 그래픽스 ＆ 응용, 지침서: 시간 멀티플렉싱형 입체시 컴퓨터 그래픽스, 1992년 3월(IEEE Computer graphics ＆ Application, Tutorial : Time-Multiplexed Stereoscopic Computer Graphics, March 1992)]는 이와 유사한 공식을 제시한다. 위의 공식으로부터, x축을 관찰점을 통과하는 라인에 평행하도록 선택함으로써 P1과 P2의 y좌표가 동일하다. 따라서, 01에서 관찰한 이미지로부터 02에서 관찰한 이미지를 유도할 때에는 수직 시차(vertical parallax)가 발생하지 않는다. 일반적으로, x축을 이러한 방식으로 선택함으로써, 시차 계산이 간단해진다. 출력 이미지의 픽셀은 입력 이미지로부터 유도할 수 있다. 입력 이미지는 01에서 관찰한 이미지에 대응하고 출력 이미지는 02에서 관찰한 이미지에 대응한다고 가정한다. 또한, 입력 픽셀 Pi=(xi, yi)에 대하여 3D 점 P(x, yi, zi)의 깊이 zi외에 픽셀값도 주어지고, 이들로부터 Pi가 유도된다. 대응하는 출력 픽셀 Po=(xo ,yo) (yo=yi)는 동일한 3D 점P(x, yi, zi)에 관련되어 있다. 이로부터 xi=D+(x-D)·zP/zi와 xo=-D+(x+D)·zP/zi를 얻는다. 이상으로부터, xo=xi-2D+2D·zP/zi= xi+2D·(zP/zi-1)에 의해 xi로부터 xo를 유도할 수 있다는 것을 알 수 있다. 따라서, 출력 이미지는 수평 시프트 d (x방향)를 수행함으로써 입력 이미지로부터 유도할 수 있는데, 여기서 상기 d는
d = 2D·(zp/z-1)(1)
이다. 식(1)로부터, 시프트는 깊이의 역수에 비례함을 알 수 있다. 식(1)에서, 2D는 관찰점(01, 02) 사이의 오프셋에 대응한다. 이 값은 또한 가능한 최원점(z=∞)에서의 시차에 대응한다. 일반적으로, 최대 시차는 관찰점 사이의 오프셋보다 작다는 제한을 받는다. 이는 2D를 보다 작은 값으로 선택함으로써 이룰 수 있다. 종래의 17 디스플레이에서는 2D를 8픽셀로 선택함으로써 양호한 결과를 얻었다. 눈이 zp평면에서 수렴하므로 이 평면에 있는 물체에 대해서는 시차가 발생하지 않는다. 허용가능한 최대 깊이를 갖는 물체는 2D의 시프트를 갖는다. zp/2의 깊이를 갖는 물체는 -2D의 시프트(최대 깊이를 갖는 물체의 시차와 반대 방향)를 갖는다. 바람직하게는, 최대 깊이는 zp/2로 제한되는데, 이로써 양 방향의 최대 시프트가 동일하다. 깊이(z)는 여러 방식으로 표현할 수 있다. 예를 들어, 선형 스케일의 16비트 인코딩을 채용할 수 있는데, 이 방식에서는 허용가능한 최소 깊이를 갖는 물체의 깊이는 0000H(16진수)로 인코딩하고 허용가능한 최대 깊이를 갖는 물체의 깊이는 FFFFH로 인코딩한다. 본 기술 분야에서 지식을 가진 자는 다른 적절한 표현 방식을 선택할 수 있을 것이다.
전술한 바와 같이, 시프트의 절대 방향은 물체가 초점면의 전면에 있는지 아니면 배면에 있는지에 따라 영향을 받는다. 또한, 시프트의 절대 방향은 수평상에서 이미지 관찰점의 상대적 위치에 의해서도 결정된다. 전술한 예에서, 입력 이미지의 관찰점(02)은 입력 이미지의 관찰점(01)의 좌측에 위치한다. 관찰점의 위치가 서로 바뀌면, 시프트의 방향은 서로 반대가 된다. (수시에서 D는 -D로 치환) 이러한 경우, 허용가능한 최대 깊이를 갖는 물체의 시프트는 -2D이고 zp/2의 깊이를 갖는 물체의 시프트는 2D이다. 2D가 8픽셀에 대응하도록 선택함으로써, 수평상의 양방향으로 8픽셀 시프트가 일어날 수 있다. 이 경우, 시프트를 저장하기 위해서는 4비트가 필요한다.
도3A는 입력 이미지에 대응하여 관찰점(01)으로부터 관찰한 장면을 도시하는데, 여기에서 근처의 물체(300)는 좀더 떨어진 물체(310)와 부분적으로 겹친다. 도면을 명확히 하기 위해서, y축은 도시하지 않았다. 겹침 현상에 의해, 입력 이미지는 물체(300)의 픽셀 전체와 물체(310)의 픽셀의 일부분을 포함하는데, 이는 관찰 이미지(320)에 나타낸 바와 같다. 도3B는 동일한 장면을 관찰점(02)에서 관찰한 것인데, 이는 출력 이미지에 대응한다. 겹침 현상이 증가하였는데, 이는 도3B로부터 명백하다. 도3B의 출력 이미지(330)가 도3A의 입력 이미지(320)로부터 유도되는 경우에는, 이러한 겹침 현상의 증가는 배경 물체(310)에 대응하는 입력 픽셀로서 전경 물체(300)에 대응하는 입력 픽셀과 동일한 출력 픽셀 위치로 시프트된 픽셀에 의해 반영된다. 겹침 영역에 대해서는, 출력 이미지의 픽셀값에 대하여 사용할 수 있는 여러 가지 값이 존재한다. 명백히, 최저 깊이(z)를 갖는 물체에 속하는 입력 픽셀의 입력 픽셀값은 출력 이미지에서 겹침 영역을 차지해야 하고, 상기 물체가 불투명한(opaque) 경우에는 배경 물체의 감추어진 부분을 반영한다. 한편, 출력 이미지에서 겹침 영역의 픽셀값은 서로 상이한 물체에 속하는 픽셀값을 혼합함으로써 얻을 수 있다. 겹침 현상은 상이한 시프트를 유발하는 서로 상이한 갚이를 갖는 물체에 의해 발생한다. 초점면에 대한 물체의 위치는 무관하다.
입력 이미지의 상이한 픽셀이 동일한 출력 픽셀 위치로 시프트되는 것과는 반대로, 도4는 출력 이미지(430)의 소정의 지점을 채울 입력 픽셀이 공급되지 않아 출력 이미지(430)에 '호울(hole)'이 발생한 예를 도시한다. 도4A는 입력 이미지(420)에서 배경 물체(410)가 전경 물체(400)에 의해 적어도 일부분 덮이는 것을 도시한다. 도4B에서는, 관찰점(02)에서 관찰한 경우에 출력 이미지(430)에 나타낸 바와 같이 물체(400, 410) 사이에 겹침 현상(또는 부분 겹침 현상)이 발생하지 않는다. 이러한 호울은, 상기 호울의 좌우에서 수평적으로 인접하여 존재하는 사용가능한 픽셀값을 인터폴레이션(interpolation)하여 얻은 픽셀값을 대용함으로써 제거할 수 있다. 한편, 가장 큰 z값을 갖는 사용가능한 픽셀값을 대용할 수도 있다. 상기와 같이 대용하는 것은 관찰자가 전경 물체 뒤에서 나타나는 배경 물체를 주시하는 실제 생활의 경험과도 부합한다.
호울을 제거하거나 여러 사용가능한 값들 중에서 픽셀값을 선택하는 것에 적용한 것과 유사한 생각이 픽셀 어레이의 에지 효과(edge effects)에도 적용될 수 있다. 에지 효과의 한가지 해결 방법은 디스플레이하려는 것보다도 더 큰 어레이를 처리하는 것이다.
도5는 본 발명에 따른 이미지 처리 시스템(10)의 블록도를 도시한다. 이미지 처리 시스템(10)은 도1에 도시하였던 시스템의 기능을 가지고 있고 그와 동일한 참조 부호(10)를 가지고 있다. 이미지 처리 시스템(10)은 입력 이미지의 입력 픽셀을 수신하기 위한 입력 수단(500)을 포함한다. 입력 수단(500)은 메모리나 프로세서 입력을 위해 종래의 방식으로 구현할 수 있다. 각 입력 픽셀에 대하여, 입력 수단(500)은 픽셀값을 수신하고 이 수신한 값을 메모리(510)에 저장한다. 또한, 입력 수단(500)은 각 입력 픽셀에 대하여 각각의 입력 픽셀 깊이를 수신한다. 깊이 변환기(520)는 수신된 깊이를 상기 식(1)에 따라 픽셀 시프트로 변환한다. 일반적으로, 식(1)에 의한 행 방향의 픽셀 시프트는 픽셀 위치에 정확히 대응하지는 않는다. 이러한 불일치의 원인은 픽셀 어레이의 한 행에 존재하는 이산 픽셀 위치의 개수가 유한하기 때문이다. 이산 픽셀 위치를 얻기 위해서, 식(1)의 시프트 결과로 얻은 픽셀 시프트를 예컨대, 올림이나 내림, 또는 반올림할 수 있다. 변환기(520)는 종래의 하드웨어나 소프트웨어를 사용하여 구현할 수 있다. 전형적으로, 깊이 변환기(520)는 그 변동 범위가 넓은 깊이값(예컨대, 16비트)을 그 범위가 훨씬 좁은 시프트값(예컨대, 4비트)으로 변환한다. 이 변환에 테이블이 사용될 수 있다. 예로서, 상기 테이블은 서로 상이한 시프트값에 대응하는 16개의 엔트리를 포함할 수 있다. 예를 들면, 엔트리(1)는 7픽셀 위치의 시프트에 대응하고, 엔트리(2)는 6픽셀 위치의 시프트에 대응하고, 이러한 방식으로 하여 엔트리(7)는 1픽셀 위치의 시프트에 대응하고, 엔트리(8)는 시프트가 없는 것이고, 엔트리(9)는 반대 방향으로 1픽셀 위치의 시프트에 대응하고, 엔트리(10)는 반대 방향으로 2픽셀 위치의 시프트에 대응하며, 마찬가지로 이러한 방식으로 하여 엔트리(16)는 반대방향으로 8픽셀 위치의 시프트에 대응한다. 이 예에서, 정수의 비대칭 성질에 의해 음의 시프트보다 양의 시프트가 하나 더 적다. 각 엔트리에 대하여, 시프트값에 대응하는 상단 깊이값(upper depth value)이 저장된다. 입력 깊이값에 대하여 입력값을 포함하는 엔트리를 위치시킴으로서, 대응하는 시프트도 위치지정된다.
깊이 변환기(520)는 깊이에 관한 정보를 시프트에 관한 정보로 변환한다. 정보 자체는 여러 가지 형식을 가질 수 있다. 예를 들어, 필요하다면 응용물은 그 깊이에 관한 정보를 z값이나 아니면 1/z값의 형태로 공급할 수 있다. 특히, 테이블을 사용하면 깊이 변환기를 유연하게 구현할 수 있다. 깊이 변환기가 여러 가지 형식의 정보를 지원할 필요가 있는 경우에는, 변환 테이블을 EEPROM과 같은 비휘발성 메모리에 저장하는 것이 바람직하다. 한편, 상기 테이블은 RAM과 같은 휘발성 메모리에 저장되어 예컨대 소프트웨어 드라이버에 의해 메모리로 로딩될 수 있다. 변환기(520)는 발생된 픽셀 시프트를 메모리에 저장하는데, 상기 메모리는 바람직하게는 메모리(510)와 동일하다.
이미지 처리 시스템(10)은 프로세서(530)를 더 포함한다. 프로세서(530)는 입력 이미지의 입력 픽셀로부터 출력 이미지의 출력 픽셀을 만들어 낸다. 출력 픽셀의 값은 그 출력 픽셀의 위치와 시차적으로 관련되어 있는 하나이상의 입력 픽셀값으로부터 형성된다. 프로세서(530)는 저장된 픽셀 시프트를 사용하여 어떠한 입력 픽셀이 주어진 출력 픽셀에 관련되어 있는지를 판단한다. 예로써, 출력 이미지의 주어진 행과 픽셀 위치( i: 열 번호)에 출력 픽셀을 형성하기 위해서, 프로세서(530)는 동일한 행의 입력 픽셀을 검사한다. 이러한 입력 픽셀에 대하여, 픽셀 위치에 픽셀 시프트를 결합한다. 이러한 결합으로부터 픽세 위치(i) [또는 인접 픽셀 위치(i), 보다 상세히 후술함]를 얻으면, 이러한 입력 픽셀은 출력 픽셀에 시차 관련되어 있다. 예로써, 입력 픽셀 시프트가 3인 위치(i-3)의 입력 픽셀과 입력 픽셀 시프트가 0인 위치(i)의 입력 픽셀, 그리고 입력 픽셀 시프트가 -4인 위치(i+4)의 입력 픽셀은 모두 출력 이미지 행의 픽셀 위치(i)에 대응하는 위치로 시프트되고, 따라서 이 픽셀 위치에 시차 관련되어 있다.
이미지 처리 시스템(10)은 형성된 출력 픽셀의 값을 출력하기 위한 출력 수단(540)을 더 포함한다. 출력 수단(540)은 메모리 또는 프로세서 출력을 위해 종래 방식으로 구현할 수 있다. 입력 수단(500)[깊이 변환기(520)를 포함], 메모리(510), 프로세서(530), 및 출력 수단(540)은 모두 하나의 IC에 집적될 수 있다.
본 발명에 따른 다른 실시예에서, 깊이 변환기(520)는 하나 이상의 입력 픽셀에 관련된 입력 픽셀 시프트를 입력 픽셀 시프트 표현으로 압축하기 위한 압축기(550)를 포함한다. 그리고 나서, 각 입력 픽셀에 대한 시프트값 전체를 저장하는 대신, 이 표현을 메모리(510)에 저장한다. 바람직하게는, 입력 픽셀 시프트의 압축에 렌렝쓰 인코딩(run-length encoding) 기술을 사용한다. 많은 물체는 그 깊이가 그다지 변화하지 않는다. 그 결과, 동일한 물체에 관련된 많은 인접 픽셀이 동일한 시프트값을 갖는다. 런렝쓰 인코딩을 사용함으로써, 동일한 픽셀 시프트값을 갖는 연속된 픽셀을 하나의 런렝쓰 항목(run-length item)으로 나타내는데, 이 항목은 시프트값과 그 값을 갖는 연속된 픽셀의 개수(런렝쓰)를 나타낸다. 바람직하게는, 픽셀 시프트값을 보다 더 압축하기 위해 델타-런렝쓰 인코딩(delta-run-length edncoding)을 사용한다. 일반적으로, 물체의 깊이는 점차적으로 변화한다. 그 결과, 픽셀 시프트값이 변할 때(이에 따라, 새로운 런렝쓰 인코딩 항목이 생성), 픽셀 시프트값의 변화는 이전의 변화와 유사하다. 따라서, 픽셀 시프트값의 차이(즉, 델타)는 그 변경 범위가 훨씬 더 작다. 델타-런렝쓰 인코딩을 채용하여, 이러한 델타값과 시프트값의 변경 지점 표시(일반적으로, 이전의 변화 지점으로부터의 거리)를 함께 보유한다. 많은 경우에 있어서, 세그먼트의 길이를 인코딩하기 위해서는 5비트를 사용하는 것으로 충분하다는 것이 알려져 있다. 5비를 사용하면, 시프트값이 동일한 2~33개의 연속적인 픽셀 위치를 갖는 세그먼트를 나타낼 수 있다. 물론, 길이가 0인 세그먼트는 인코딩할 필요가 없다. 픽셀이 오직 하나인 세그먼트는 별도로 다룬다. 통상의 세그먼트에 대해서는, 2비트를 추가로 사용하여 델타값을 인코딩한다. 이로써 전체 7비트의 코드가 이루어진다. 델타값이 2비트를 사용하여 나타낼 수 있는 범위를 넘어 변경되는 경우에는, 전체 델타값을 나타낼 수 있는 대체 코드를 사용한다. 본 명세서에 기술한 실시예에서는, 이를 위해 7비트까지 예약되어 있다. 이 제2 포맷에서는, 세그먼트 길이를 인코딩하기 위한 비트 여유분이 없다. 따라서, 제2 코드는 1비트 세그먼트만을 나타내는데에 사용한다. 델타값에서 제1 코드를 사용하기에는 지나치게 큰 점프(too large jump)가 발생하고 새로운 세그먼트가 1비트 이상인 경우에는, 먼저 제2 코드를 사용하여 세그먼트의 제1픽셀에 대한 적절한 델타값을 제공하고 다음으로는 제1 코드를 사용하여 세그먼트의 나머지 부분의 길이를 제공한다. 이들 두 코드를 구별하기 위해서 선택 비트를 사용한다. 선택 비트가 '0'인 경우에는 다음의 7비트는 제1 코드에 대해 기술한 바와 같이 인코딩된다는 것을 나타내고, 선택 비트가 '1'인 경우에는 다음의 7비트는 제2 코드에 대해 기술한 바와 같이 인코딩된다는 것을 나타낸다. 다음의 표에 상기 인코딩을 요약하였다:
프로세서(530)는 상보적인 압축해제기(decompressor: 560)를 사용하여 저장된 픽셀 시프트 표현으로부터 원래의 픽셀 시프트를 복구한다. 카운터, 레지스터, 감산기, 비교기 등과 같은 종래의 기술을 사용하여 압축기(550)와 압축해제기(560)를 구현할 수 있다.
도6은 본 발명에 따른 다른 실시예로서, 프로세서(530)는 픽셀값을 저장하기 위한 슬라이딩 버퍼(600)를 포함한다. 좌측 시프트, 우측 시프트, 및 시프트를 하지 않는 것을 포함하여 서로 다른 시프트값의 최대 개수가 N으로 제한된 경우에는, 버퍼(600)는 픽셀값을 저장하기 위해 최소한 N 위치를 포함한다. 프로세서(530)는 대응하는 픽셀 시프트에 따라 입력 픽셀값을 버퍼(600)에 저장하는데, 이는 곧 입력 픽셀이 임의의 버퍼 위치에 저장된다는 것을 암시한다. 이 어드레스는 대응하는 입력 픽셀 시프트를 버퍼(600)의 중간 어드레스에 가산함으로써 결정된다. 이러한 경우, 시프트할 필요가 없는 입력 픽셀은 버퍼(600)의 중간 위치의 어드레스로 할당된다. 최대 시프트는 입력 픽셀이 버퍼(600)에서 최저 위치 또는 최고 위치 어드레스에 할당되도록 만든다. 입력 픽셀을 처리하고 또한 버퍼(600)로 복사되었을 수 있는 때마다, 버퍼(600)로부터 픽셀값이 제거된다. 이 픽셀은 버퍼(600)에서 알려진 출력 위치로부터 제거된다. 입력 픽셀을 처리한 후, 버퍼(600)의 내용은 한 위치만큼 시프트된다. 예를 들어, 입력 픽셀이 행 단위로 순차적으로 처리되고, 각 연속된 입력 픽셀이 하나 더 높은 열 번호를 갖는 위치에 대응된다고 가정한다. 또한, 픽셀을 좌에서 우로 처리한다고 가정한다. 양의 시프트값은 우측 시프트를 나타내고, 음의 시프트값은 좌측 시프트를 나타낸다. 이 예의 순차 처리에서, 각 위치는 한 위치 아래로 시프트된다. 결과적으로, 버퍼(600)의 중간 어드레스는 다음 입력 픽셀에 대응하는데, 이 입력 픽셀은 시프트할 필요가 없다고 가정한다. 버퍼 시프트동안 또는 시프트 이전에, 최저 어드레스 위치인 출력 위치에 저장된 값이 버퍼로부터 출력된다. 슬라이딩 버퍼(600)는 다른 기술을 사용하여 구현할 수도 있다. 예를 들어, 순환 버퍼(cyclic buffer)의 관리에서 공지된 바와 같이 포인터 조정과 같은 논리 시프트 연산만을 수행함으로써 버퍼 시프트동안 버퍼에 저장된 각 값을 물리적으로 복사하는 것을 피할 수 있다.
본 발명에 따른 다른 실시예에 따른면, 프로세서(530)는 슬라이딩 버퍼(600)의 위치가 픽셀값에 의해 점유되어 있는지 여부를 나타내기 위한 지시기(620)를 포함한다. 스라이딩 버퍼(600)의 위치에 픽셀이 저장되어 있는 때마다, 프로세서(530)는 그 위치가 점유되어 있다는 것을 나타내도록 지시기(620)를 설정한다. 슬라이딩 버퍼(600)가 시프트될 때마다. 프로세서(530)는 그 위치가 점유되어 있지 않다는 것을 나타내도록 지시기(620)를 설정한다. 전술한 예에서, 슬라이딩 버퍼(600)가 시프트되면 가장 높은 위치(the highest location)가 비게 된다. 더욱이, 지시기(620)는 슬라이딩 버퍼(600)가 시프트될 때마다 갱신되어 실제 버퍼 위치와 지속적으로 동조되도록 한다. 지시기(620)는 레지스터를 사용하여 구현할 수 있는데, 레지스터의 각 비트 위치는 버퍼 위치에 대응한다. 각 비트는 대응하는 버퍼 위치가 점유되어 있는지 여부를 나타낸다. 한편, 지시기(620)는 슬라이딩 버퍼(600)에 결합될 수도 있다. 예를 들어, 슬라이딩 버퍼(600)의 각 위치는 하나 이상의 비트를 추가로 저장하여 버퍼 위치의 나머지 부분에 픽셀값이 저장되어 있는지 여부를 나타낼 수 있다. 또한, 유효한 픽셀값으로는 사용되지 않는 예약값을 채용하여 버퍼 위치가 비어 있는지 여부를 나타낼 수 있다. 전경 물체에 대응하는 픽셀과 배경 물체에 대응하는 픽셀이 출력 이미지에서 동일한 위치에 시프트되는 경우에는, 프로세서(530)는 전경 픽셀을 선택하여 슬라이딩 버퍼(600)에 저장한다. 프로세서(530)는 지시기(620)가 비점유 상태라고 지시하는 슬라이딩 버퍼(600)의 위치로 입력 픽셀을 복사함으로써 상기 선택을 수행한다. 도7A는 물체(700, 702, 704)를 도시하는데, 이들 물체는 초점면(240)의 전방에 위치하고 입력 관찰점(01)과 출력 관찰점(02)과는 상이한 지점에 위치해 있다. 또한, 입력 이미지에 존재하는 각각의 투영(710, 712, 714)과 출력 이미지에 존재하는 각각의 투영(720, 722, 724)이 도시되어 있다. 마찬가지로, 도7B는 물체(720, 732, 734)를 도시하는데, 이들 물체는 초점면(240)의 후방에 위치하고 관찰점과는 상이한 지점에 위치해 있다. 또한, 입력 이미지에 존재하는 각각의 투영(740, 742, 744)과 출력 이미지에 존재하는 각각의 투영(750, 752, 754)이 도시되어 있다. 위치가 이미 점유되어 있는지의 여부에 기초하여 픽셀을 선택함으로써 가장 전방 물체 픽셀을 선택할 수 있다는 것은, 절대적인 관점에서는 픽셀을 임의의 방향으로 시프트할 수 있지만 주어진 입력 이미지와 출력 이미지의 세트(set)에 대해서는 전방 픽셀에 대한 배경 픽셀의 상대적인 시프트(the relative shift of a background pixel compared to foreground pixel)는 항상 같은 방향이라는 생각에 기초한 것이다. 도7A에 도시된 바와 같이, 초점면(240)의 전방에 있는 물체에 대해서는, 이미지 세그먼트(720, 722, 724)로 나타낸 출력 이미지는 각각의 입력 이미지 세그먼트(710, 712, 714)로부터, 그 세그먼트가 관찰점에 대하여 좌측에 있는지 아니면 우측에 있는지에 상관없이, 그 세그먼트 픽셀을 우측 시프트함으로써 유도할 수 있다. 마찬가지로, 도7B에 도시된 바와 같이, 초점면(240)의 후방에 있는 물체에 대해서는, 이미지 세그먼트(750, 752, 754)로 나타낸 출력 이미지는 각각의 입력 이미지 세그먼트(740, 742, 744)로부터 그 세그먼트 픽셀을 좌측 시프트함으로써 유도할 수 있다. 전술한 바와 같이, 시프트의 양은 픽셀에 결합된 깊이에 의해 정해진다. 예를 들어, 연속적인 다섯 개의 픽셀(p1~p5)을 순차적으로 처리하는데, 여기서 p1은 시퀀스에서 가장 좌측의 픽셀이라 하고 p5는 시퀀스에서 가장 우측의 픽셀이라고 가정한다. 더욱이, 상기 다섯 픽셀에 대응하는 픽셀 시프트가 p1: +2; p2 +1; p3 0; p4: -1; p5: -2로 표시되어 상기 다섯 픽셀이 모두 동일한 출력 픽셀 위치(p3)로 시프트된다고 가정한다. 도7에 도시된 상황을 생각하면, 전술한 바로부터 p1은 최전방 픽셀이고 p5는 최후방 픽셀이라는 것을 알 수 있다. 최근방 픽셀을 표시하는 것이 바람직하다. 입력 픽셀을 좌에서 우로 처리하여, 입력 픽셀(p1)을 출력 픽셀(p3)로 복사하고 입력 픽셀(p2, p3, p4, p5)은 복사하지 않음으로써(이들 네 픽셀은 절단) 이를 달성할 수 있다. 상기 과정은 출력 픽셀(p3)이 이전에 복사된 입력 픽셀에 의해서 이미 점유되어 있는지를 검사함으로써 검출할 수 있다. 이미 점유된 경우에는, 점유하고 있는 픽셀이 보다 전방에 있는 것이므로 이 픽셀만이 존재할 수 있다. 도7에서, 출력 이미지의 관찰점은 입력 이미지의 관찰점보다 좌측에 존재한다. 출력 이미지의 관찰점을 입력 이미지의 관찰점보다 우측에 위치시키고 (픽셀 시프트의 방향이 반대로 되어 p5가 최전방 입력 픽셀이 됨) 픽셀을 우에서 좌로 처리하면 동일한 결과를 얻을 수 있다.
출력 이미지의 관찰점이 입력 이미지의 관찰점보다 우측에 위치한 경우에는, 픽셀을 좌에서 우로 처리하고 위치가 이미 점유되었는지 여부에 관계없이 항상 복사를 수행함으로써 보다 간단하게 원하는 결과를 얻을 수 있다. 이 경우, p5는 최전방 입력 픽셀이다. 위치가 이미 점유되었는지를 검사하지 않고 복사함으로써, 최전방 픽셀이 배경 픽셀의 위에 자동적으로 복사된다. 출력 이미지의 관찰점이 입력 이미지의 관찰점보다 좌측에 위치하고 픽셀을 우에서 좌로 처리하는 경우에도 동일한 원리가 적용된다.
단순 복사법을 이용하여 최전방 픽셀을 선택하는 방식을 다음의 표에 정리하였다:
본 발명에 따른 다른 실시예에서, 프로세서(530)는 입력 픽셀을 소정의 방향으로 처리한다. 전술한 바에 기초하면, 프로세서(530)는 입력 이미지의 관찰점에 대한 출력 이미지의 관찰점의 상대적 위치에 따라 입력 픽셀값을 버퍼(600)의 위치에 선택적으로 복사하기 위한 선택기(630)를 포함한다. 상기 표에 나타낸 바와 같이, 입력 관찰점에서 출력 관찰점으로의 방향이 처리 방향과 동일한 경우에는 입력 픽셀을 항상 복사함으로써 원하는 결과를 얻을 수 있다. 그러나, 상기 두 방향이 반대인 경우에는, 상기 위치가 비어있는 경우에 복사하여야만 원하는 결과를 얻을 수 있다. 선택기(630)는 입력 관찰점에서 출력 관찰점으로의 방향에 관한 정보를 수신하기 위한 입력부를 구비한다. 이 정보를 프로세서의 처리 방향과 비교함으로써, 선택기(630)는 적절한 복사 방식을 수행한다.
본 발명에 따른 시스템에서, 하나의 입력 이미지로부터 하나 이상의 출력 이미지를 유도하는 것이 가능하다. 종래의 입체시에서는 사용자에 항상 두 개의 출력 이미지가 제공된다. 하나 이상의 출력 이미지가 발생되는 경우에는, 입력 이미지가 출력 이미지 중에서 한 이미지를 구성하는 것이 바람직하다. 이로써 출력 이미지 중에서 한 이미지는 발생할 필요가 없게 되어 처리가 간단해진다. 입력 이미지의 관찰점이 출력 이미지의 관찰점 사이에 있지 않는 것이 바람직하다. 이로써, 양 이미지에 대하여 복사 방식이 동일하다는 것을 보장할 수 있다. 또한, 입력 이미지에 대하여 관찰점이 출력 이미지의 관찰점에 대하여 동일한 방향으로 오프셋되어 있다는 것이 보장된 경우에는, 상기 표에 나타낸 네 가지 선택 사항 중에서 한 항목만 지원하면 된다.
바람직하게는, 프로세서(530)는 디스플레이 시스템에 직접 연결된다. 도1을 다시 참조하면, 이로써 메모리(190)가 필요하지 않게 됨을 알 수 있다. 슬라이딩 버퍼(600)를 효과적으로 사용하고 깊이 변환기(520)에 의한 전처리에 의해 메모리를 제거할 수 있어, 추가적인 이미지 저장공간 없이 출력 이미지를 급속히 발생시킬 수 있다.
전술한 바와 같이, 깊이에 따라 시프트를 행한 결과로서 '호울'이 나타날 수 있다. 출력 이미지의 특정 픽셀 위치에 대해서는 사용가능한 입력 픽셀이 없을 수도 있다. 이러한 경우, 인접한 픽셀들 중 가장 멀리 제거된(furthest removed) 하나를 복사하여 이 호울을 채우는 것이 바람직하다. 본 발명에 따른 다른 실시예에서, 도6의 프로세서(530)는 인접한 픽셀을 복사하기 위한 복제기(640)를 포함한다. 지시기(620)가 나타내는 바와 같이, 출력 위치로부터 픽셀값이 출력되어야 하는 시점에서 버퍼(600)의 출력 위치가 비어있는 경우에는, 호울이 발생한다. 이러한 경우, 복제기(640)는 일반적으로 이전에 출력된 픽셀값이나 다음에 출력할 픽셀값을 복제한다. 상기 선택은 관련된 입력 픽셀의 대응하는 깊이 정보에 기초하여야 한다. 그러나, 복제기(640)는, 지시기가 출력 위치가 비어있다고 나타내는 때에, 이전에 출력된 픽셀값을 단순히 복제함으로써 원하는 결과를 얻는다. 이러한 단순 접근법을 통해 원하는 결과를 얻을 수 있다는 것은, 절대적인 관점에서는 픽셀을 임의의 방향으로 시프트할 수 있지만 주어진 입력 이미지와 출력 이미지의 세트(set)에 대해서는 전방 픽셀에 대한 배경 픽셀의 상대적인 시프트는 항상 같은 방향이라고 하는 앞의 겹침 현상을 다루었을 때와 동일한 생각에 기초한 것이다. 도7A에 도시한 바와 같이, 초점면(240)의 전방에 있는 물체에 대해서는, 이미지 세그먼트(720, 722, 724)로 나타낸 출력 이미지는 각각의 입력 이미지 세그먼트(710, 712, 714)로부터, 그 세그먼트가 관찰점에 대하여 좌측에 있는지 아니면 우측에 있는지에 상관없이, 그 세그먼트 픽셀을 우측 시프트함으로써 유도할 수 있다. 마찬가지로, 도7B에 도시된 바와 같이, 초점면(240)의 후방에 있는 물체에 대해서는, 이미지 세그먼트(750, 752, 754)로 나타낸 출력 이미지는 각각의 입력 이미지 세그먼트(740, 742, 744)로부터 그 세그먼트 픽셀을 좌측 시프트함으로써 유도할 수 있다. 전술한 바와 같이, 시프트의 양은 픽셀에 결합된 깊이에 의해 정해진다. 이러한 관찰을 결합함으로써, 전경 물체에 대하여 배경 물체는 좌측 시프트됨이 명확하다. [양 물체가 초점면(740)의 전방에 있는 경우에는 이들 물체는 실제적으로는 우측 시프트된다. 이 경우, 전경 물체가 더 많이 우측 시프트되어 배경 물체는 상대적으로 좌측 시프트되는 것이다.] 결과적으로, 호울은 전경 물체의 좌측 에지에서만 나타날 수 있다. 즉, 이미지를 좌에서 우로 처리하고 호울이 검출될 때에 이전의 픽셀값을 복제함으로써 호울을 원하는 배경 물체로 채울 수 있다. 출력 관찰점이 입력 관찰점의 우측에 있고 픽셀을 우에서 좌로 처리하는 경우에도 동일한 방식을 적용할 수 있다. 결과적으로, 입력 관찰점에서 출력 관찰점으로의 방향과 프로세서가 입력 이미지에서 입력 픽셀 행을 처리하는 방향은 서로 반대인 것이 바람직하다.
주의를 기울이지 않으면 물체의 에지 주면에 인조 효과(artifacts)가 나타날 수 있다는 사실에 주의하여야 한다. 예를 들어, 입력 이미지에서 배경 물체의 좌측 에지가 전경 물체에 의해 덮여지고 시프트에 의해 배경 이미지의 좌측 에지가 나타나게 되는 경우에는, 배경 이미지에서 복사할 픽셀이 없다. 간단한 시스템에서는, 사용가능한 이전 픽셀을 복사하여 인조 효과를 줄일 수 있다. 보다 개선된 시스템에서는, 배경 픽셀을 별도로 발생시키는데, 그 방법으로는 예를 들어 3D 모델에서 유도하거나 동일한 행 또는 인접 행의 인근 픽셀을 혼합한다.
전술한 바와 같이, 버퍼(600)에 픽셀을 저장하기 위한 버퍼 위치는 입력 픽셀의 입력 위치와 입력 픽셀의 시프트를 결합하여 결정한다. 상기 시프트는 식(1)을 사용하여 계산한다. 픽셀은 이산의(discrete) 픽셀 위치로만 저장 및 디스플레이가 가능하기 때문에, 상기 계산된 시프트는 일반적으로 반올림 또는 절단된다. 실험에 따르면, 이에 의해 관찰자가 서로 상이한 시프트를 갖는 평면을 경험할 수 있다. 이러한 인조 효과를 극복하기 위해서, 본 발명에 따른 다른 실시예에서는 서브픽셀 시프트 정보를 또한 이용한다. 네 개의 서브픽셀 시프트 위치를 이용하여 시프트 정보를 2비트 확장함으로써 양호한 결과를 얻을 수 있음이 증명되었다. 전술한 바와 같이, 서브픽셀 시프트 정보는 픽셀값을 저장하기 위한 어드레스의 결정에는 필요하지 않다. 서브픽셀 시프트 정보는 디스플레이 화질을 향상시키기 위해 사용된다. 그 목적을 위하여, 프로세서(530)는 인접 픽셀의 픽셀값을 혼합하기 위한 혼합기(650)를 더 포함한다. 상기 혼합의 가중치는 혼합할 픽셀의 서브픽셀 시프트 정보에 따른다. 도8은 그 한 예를 도시하는데, 도8에는 픽셀 위치(802, 804, 806, 808, 810, 812, 814)의 행(800)의 일부분이 도시되어 있다. 식(1)에 따라 계산한 시차 시프트에 의해, 입력 이미지에서 위치(802)에서의 입력 픽셀값은 연속된 픽셀 위치(808, 810) 사이에 있는 위치(816)로 사상된다. 마찬가지로, 위치(804)에서의 입력 픽셀값은 연속된 픽셀 위치(810, 812) 사이에 있는 위치(818)로 사상된다. 위치(808)에서 위치(816)까지의 거리를 α1이라 하면, α1은 위치(802)에서의 입력 픽셀의 서브픽셀 시프트에 대응한다. 마찬가지로, 위치(810)에서 위치(818)까지의 거리를 나타내는 α2는 위치(804)에서의 입력 픽셀의 서브픽셀 시프트에 대응한다. 또한, 입력 이미지(즉, 시프트 이전)에서 위치(802)에서의 입력 픽셀의 입력 픽셀값을 c1이라 하고, 위치(804)에서의 입력 픽셀의 입력 픽셀값을 c2라 표시한다. 출력 이미지(즉, 시프트 이후)에서의 출력 픽셀(810)에는 위치(802, 804)에서의 입력 픽셀의 값의 가중합(weighted sum)에 따라 정해지는 출력 픽셀값이 할당된다. 출력 이미지에서 출력 픽셀(810)에 할당되는 값 c3은 아래와 같이 계산된다.
c3= {(1-α1)c1+ α2c2}/{1- α1+ α2}
(1-α1)과 α2항은 서브픽셀 시프트에 기초한 가중치 인자이다. 1-α1+α2항은 픽셀의 전체 가중치가 유지된다는 것을 보장한다. 많은 경우에 연속된 픽셀의 서브픽셀 시프트는 거의 변화하지 않고 따라서 1-α1+α2는 거의 1에 가까우므로, 간단한 시스템에서는 이 항은 무시할 수도 있다. 혼합에 있어서는 관련된 픽셀의 픽셀값과 서브픽셀 시프트값이 모두 필요한다는 것이 명확하다. 이를 위해, 프로세서(530)는 버퍼(600)와 같은 개수를 갖는 서브픽셀 시프트 버퍼(660)를 더 포함한다. 버퍼(600)에 저장된 각 픽셀값에 대하여, 대응하는 서브픽셀 시프트를 서브픽셀 시프트 버퍼(660)에 저장한다. 바람직하게는, 서브픽셀 시프트 버퍼(660)는 버퍼(600)와 같은 방식으로 관리한다. 이는 이들 두 버퍼를 결합함으로써 달성할 수 있다.
픽셀값을 저장하는 데에 필요한 저장공간의 양을 감소시키기 위해, 조사표(Colour Look-Up Table : CLUT)방식을 사용하여 픽셀값을 인코딩할 수 있다. 이 경우, 바람직하게는 디코딩은 픽셀을 혼합하기 전에 수행한다. 이를 위해, 프로세서(530)는 디코딩을 수행하기 위한 CLUT(670)를 더 포함한다.
서브픽셀 시프트의 절단 연산(또는 반올림)에 의해 미세한 인조 효과가 나타날 수 있다는 사실에 주목해야 한다. 예를 들어, 동일한 행에서 연속된 열 위치의 전경 물체 픽셀이 그 깊이가 현저히 변경되어 연속된 픽셀 위치의 시프트가 증가한다고, 예컨대 입력 픽셀 위치(i)와 연속된 픽셀에 대하여 각각 x, x+¼, x+½, x+¾, x+1, 그리고, x+1¼이 계산되었다고 가정한다. 서브픽셀 시프트를 절단 연산함으로써, 입력 이미지의 픽셀(i)의 값이 출력 이미지에 동일한 행의 픽셀 위치(i+x)로 복사되는 것을 의미한다. 다음의 표는 여섯 개의 연속된 픽셀에 대하여 이를 나타낸다.
이로부터 출력 이미지에서 픽셀(i+x+4)에 대하여 '호울'이 발생한다. 원칙적으로는 배경 물체의 픽셀을 이 위치에 시프트하는 것이 가능하다. 배경 픽셀이 전경 물체를 뚫고 나오는 것을 회피하기 위해서는, 추가적인 조치가 필요하다. 예를 들어, 연속된 픽셀의 절단 연산된 시프트가 증가하는 경우[하나 이상의 픽셀의 스킵(skip)을 표시]에는, 이전의 전경 픽셀을 스킵된 픽셀 위치에 복사한다.
본 발명에 따른 시스템은 사람이 장면을 통해 항해(navigate)할 수 있는 '가상 현실'에도 사용될 수 있다. 바람직하게는, 이러한 시스템에 대해서는 입력 이미지가 장면의 제1 이미지이다. 그리고 나서, 다수의 연속 이미지가, 3D 모델이 아닌 상기 입력 이미지로부터 유도된다. 이 과정은 소정의 이미지 개수만큼 또는 사용자가 소정의 거리 이상(예컨대, 입력 이미지 주변의 시프트 영역 외부로) 이동할 때까지 반복된다.
본 발명에 따른 시스템에서, 2D 입력 이미지와 깊이 정보는 전형적으로 렌더링 처리를 3D 좌표계에 기초한 3D 모델에 적용함으로써 발생된다. 두 개의 렌더링 처리를 병렬로 동작시킴으로써 실시간 응용에 대하여 고화질 입체시 이미지를 발생시킬 수 있다. 그러나, 렌더링 처리는 동영상, 그림자와 응달, 여러 시점(view points) 등을 다루기 위해서 전용의 고가 하드웨어를 필요로 하므로 상기 해법은 비용이 많이 소요된다. 이와 유사한 방법을 2D 이미지 시퀀스의 발생에 적용하여 3D 공간 화면에서 움직이는 느낌을 줄 수 있다. 예를 들어, 사용자가 디스플레이 상에 표시된 가상 현실을 통해 항해할 때, 시퀀스에서 다음 이미지는 약간 다른 시점에서의 장면을 보여주어야 하고, 따라서 전혀 새로운 렌더링 처리가 관련된다. 일반적으로, 실시간 응용에서 이는 상당한 계산 능력(computing power)을 요구한다. 본 발명에 따른 시스템에서는, 단지 하나의 렌더링 처리 또는 축소판(scaled down version) 렌더링 처리를 사용하여 각 장면에 대한 깊이 정보를 갖는 하나의 기초 이미지를 발생시키고, 본 발명에 따른 그래픽 처리를 사용하여 깊이 정보를 갖는 입력 이미지로부터 출력 이미지를 유도한다.

Claims (17)

  1. 입력 수단과, 출력 수단과, 메모리 및 프로세서를 포함하고 시차 변환(parallactic transformation)을 통해 입력 이미지에 관련된 하나 이상의 출력 이미지를 발생시키기 위한 이미지 처리 시스템으로서,
    상기 입력 수단은 각각의 입력 픽셀값(input pixel value)및 입력 이미지의 입력 픽셀의 입력 픽셀 깊이(input pixel depth)를 수신하기 위한 수단과 상기 수신된 입력 픽셀값을 상기 메모리에 저장하기 위한 수단을 포함하고,
    상기 프로세서는 적어도 하나 이상의 입력 픽셀의 입력 픽셀값으로부터 출력 픽셀에 대한 각각의 출력 픽셀값을 유도함으로써 출력 이미지의 출력 픽셀을 만들어내도록 동작하며, 상기 입력 픽셀과 상기 출력 픽셀과 각각의 입력 픽셀 깊이의 함수인 시차 관계(parallactic relationship)를 통해 관계하고,
    상기 출력 수단은 상기 출력 픽셀값을 출력하기 위한 수단을 포함하고 있는 이미지 처리 시스템에 있어서,
    상기 입력 수단은 상기 입력 픽셀 깊이를 입력 픽셀 시프트(input pixel shift)로 변환하고, 상기 입력 픽셀 시프트의 표현(representation)을 상기 메모리에 저장하기 위한 깊이 변환기(depth converter)를 포함하고,
    상기 프로세서는 상기 입력 픽셀에 대응하는 저장된 입력 픽셀 시프트 표현에 기초하여 출력 픽셀과 입력 픽셀 사이의 시차 관계를 판단하는 것을 특징으로 하는 이미지 처리 시스템.
  2. 제1항에 있어서,
    상기 프로세서는 픽셀값을 저장하기 위한 상기 N 이상의 위치를 갖는 슬라이딩 버퍼(sliding buffer)를 포함하고, 그 프로세서는 연속적인 입력 픽셀을 처리하도록 동작하되, 상기 처리는,
    상기 메모리로부터의 입력 픽셀값 각각을 상기 슬라이딩 버퍼에서 대응하는 입력 픽셀 시프트에 따른 오프셋 위치로 복사하는 처리와,
    상기 슬라이딩 버퍼의 출력 위치로부터 픽셀값을 판독함으로써 출력 픽셀값을 출력하는 처리와,
    상기 슬라이딩 버퍼를 시프트하는 단계를 포함하는 것을 특징으로 하며,
    상기 픽셀 시프트는 소정의 최대 N 픽셀 위치로 한정되는 이미지 처리 시스템.
  3. 제2항에 있어서,
    상기 프로세서는, 전경(foreground) 및 배경(background) 입력 픽셀이 동일한 출력 픽셀에 시차 관련된(parallactically related) 경우에, 이후의 처리를 위해 전경 입력 픽셀을 선택하도록 동작하되,
    상기 프로세서는 상기 슬라이딩 버퍼 위치가 점유되어 있는지 여부를 나타내기 위한 지시기(indicator)를 포함하여 상기 위치가 점유되어 있지 않다고 상기 지시기가 나타내는 경우에 입력 픽셀값을 상기 슬라이딩 버퍼의 위치로 복사함으로써 상기 선택을 수행하도록 동작하는 것을 특징으로 하는 이미지 처리 시스템.
  4. 제2항에 있어서,
    상기 프로세서는, 전경 및 배경 입력 픽셀이 동일한 출력 픽셀에 시차 관련되어 있는 경우에, 이후의 처리를 위해 전경 입력 픽셀을 선택하도록 동작하되,
    상기 프로세서는,
    상기 슬라이딩 버퍼 위치가 점유되어 있는지 여부를 나타내기 위한 지시기를 포함하고;
    주어진 처리 방향으로 입력 이미지의 입력 픽셀 행(row)을 처리하고;
    상기 프로세서는 상기 입력 이미지에 부합하는 입력 관찰점과 상기 출력 이미지에 부합하는 출력 관찰점의 상대적 위치에 따라 입력 픽셀값을 상기 슬라이딩 버퍼의 위치로 선택적으로 복사하기 위한 선택기를 포함하며,
    그 선택기는 상기 입력 관찰점에서 상기 출력 관찰점으로의 방향이 상기 처리 방향과 동일한 경우, 상기 위치가 점유되어 있는지 여부에 상관없이 상기 입력 픽셀값을 복사하고,
    상기 입력 관찰점에서 상기 출력 관찰점으로의 방향이 상기 처리 방향과 반대인 경우에는, 상기 지시기가 상기 위치가 점유되어 있지 않다고 나타내는 경우에 상기 입력 픽셀값을 복사하도록 동작하는 것을 특징으로 하는 이미지 처리 시스템.
  5. 제2항에 있어서, 상기 프로세서는,
    상기 입력 픽셀 중에 주어진 출력 픽셀에 시차 관련된 픽셀이 없는 경우에, 상기 입력 픽셀값을 복제함으로써 상기 출력 픽셀의 각각의 출력 픽셀값을 만들어 내기 위한 복제기(duplicator)를 포함하고,
    상기 슬라이딩 버퍼 위치가 점유되어 있는지 여부를 나타내기 위한 지시기를 포함하여, 상기 복제기는 상기 지시기가 상기 슬라이딩 버퍼의 소정의 출력 위치가 점유되어 있지 않다고 나타내는 경우에 상기 슬라이딩 버퍼로부터 이전에 출력되었던 픽셀값을 재생하도록 동작하는 것을 특징으로 하는 이미지 처리 시스템.
  6. 제1항 내지 제5항중 어느 한 항에 있어서,
    상기 입력 픽셀 시프트는 대응하는 입력 픽셀이 상기 출력 이미지의 픽셀 위치 사이의 위치로 시프트한 것을 나타내는 서브픽셀 시프트(sub-pixel shift)를 포함하고,
    상기 프로세서는 인접 픽셀의 픽셀값을 혼합하되 혼합의 가중치는 상기 인접 픽셀의 서브픽셀 시프트에 따라 정하는 혼합기(mixer)를 포함하는 것을 특징으로 하는 이미지 처리 시스템.
  7. 제1항 내지 제6항중 어느 한 항에 있어서,
    상기 깊이 변환기는 상기 입력 픽셀 깊이를 상기 입력 픽셀 시프트로 변환하기 위한 테이블을 포함하는 것을 특징으로 하는 이미지 처리 시스템.
  8. 제1항 내지 제7항중 어느 한 항에 있어서,
    상기 깊이 변환기는 하나 이상의 입력 픽셀의 입력 픽셀 시프트를 상기 입력 픽셀 시프트 표현으로 압축하기 위한 압축 수단을 포함하고,
    상기 프로세서는 상기 입력 픽셀 시프트 표현을 압축해제(decompress)하여 대응하는 입력 픽셀의 입력 픽셀 시프트로 만들기 위한 압축해제 수단을 포함하는 것을 특징으로 하는 이미지 처리 시스템.
  9. 제1항 내지 제8항중 어느 한 항에 있어서,
    상기 프로세서는 시차 변환을 통해 동일한 입력 이미지에 관련된 둘 이상의 출력 이미지를 발생하도록 동작하되, 상기 입력 이미지는 상기 출력 이미지의 어느 한 이미지를 구성하는 것을 특징으로 하는 이미지 처리 시스템.
  10. 제1항 내지 제9항중 어느 한 항에 있어서,
    상기 프로세서는 시차 변환을 통해 동일한 입력 이미지에 관련된 둘 이상의 출력 이미지를 발생하도록 동작하고,
    상기 입력 이미지에 부합하는 입력 관찰점은 상기 출력 이미지 각각에 부합하는 출력 관찰점 사이에 수평적으로 위치하지 않는 것을 특징으로 하는 이미지 처리 시스템.
  11. 제10항에 있어서,
    상기 입력 관찰점에서 상기 출력 관찰점으로의 방향이 상기 프로세서가 상기 입력 이미지의 입력 픽셀 행(row)을 처리하는 방향과 반대 방향인 것을 특징으로 하는 이미지 처리 시스템.
  12. 제1항 내지 제11항중 어느 한 항에 있어서,
    상기 이미지 처리 시스템은 상기 출력 이미지를 디스플레이하기 위한 디스플레이 시스템을 포함하며,
    상기 프로세서는 상기 디스플레이 시스템에 직접 연결되어 상기 출력 픽셀을 제공하는 것을 특징으로 하는 이미지 처리 시스템.
  13. 입력 이미지를 하나 이상의 출력 이미지로 시차 변환하기 위한 프로세서로서, 상기 입력 이미지의 입력 픽셀의 각각의 입력 픽셀값을 수신하기 위한 입력부와 상기 출력 이미지의 출력 픽셀의 각각의 출력 픽셀값을 출력하기 위한 출력부를 포함하고, 상기 출력 픽셀에 시차 관련된 하나 이상의 입력 픽셀의 입력 픽셀값으로부터 상기 출력 픽셀값 각각을 유도함으로써 상기 출력 픽셀을 발생하도록 동작하는 프로세서에 있어서,
    상기 프로세서는 상기 입력 픽셀의 각 입력 픽셀 시프트의 표현을 수신하기 위한 입력부를 포함하되, 상기 입력 픽셀 시프트는 소정의 최대 N 픽셀 위치로 한정되며,
    상기 프로세서는 픽셀값을 저장하기 위한 상기 N 이상의 위치를 갖는 슬라이딩 버퍼를 포함하고,
    상기 프로세서는 연속적인 입력 픽셀을 처리하도록 동작하되, 상기 처리는,
    상기 메모리로부터의 입력 픽셀값 각각을 상기 슬라이딩 버퍼에서 대응하는 입력 픽셀 시프트에 따른 오프셋 위치로 복사하는 처리와,
    상기 슬라이딩 버퍼의 출력 위치로부터 픽셀값을 판독함으로써 출력 픽셀값을 출력하는 처리 및,
    상기 슬라이딩 버퍼를 시프트하는 처리를 포함하는 것을 특징으로 하는 이미지 변환 프로세서.
  14. 제13항에 있어서,
    전경 및 배경 입력 픽셀이 동일한 출력 픽셀에 시차 관련되어 있는 경우, 이후의 처리를 위해 전경 입력 픽셀을 선택하도록 동작하되,
    상기 슬라이딩 버퍼 위치가 점유되어 있는지 여부를 나타내기 위한 지시기를 포함하여 상기 위치가 점유되어 있지 않다고 상기 지시기가 나타내는 경우에는, 입력 픽셀값을 상기 슬라이딩 버퍼의 위치로 복사함으로써 상기 선택을 수행하도록 동작하는 것을 특징으로 하는 이미지 변환 프로세서.
  15. 제13항에 있어서,
    상기 프로세서는 전경 및 배경 입력 픽셀이 동일한 출력 픽셀에 시차 관련되어 있는 경우에 이후의 처리를 위해 전경 입력 픽셀을 선택하도록 동작하되,
    상기 프로세서는,
    상기 슬라이딩 버퍼 위치가 점유되어 있는지 여부를 나타내기 위한 지시기와;
    상기 입력 이미지에 부합하는 입력 관찰점과 상기 출력 이미지에 부합하는 출력 관찰점의 상대적 위치에 따라 입력 픽셀값을 상기 슬라이딩 버퍼의 위치로 선택적으로 복사하기 위한 선택기를 포함하며,
    상기 프로세서는 소정의 처리 방향으로 상기 입력 이미지의 입력 픽셀 행(row)을 처리하고;
    상기 선택기는, 상기 입력 관찰점에서 상기 출력 관찰점으로의 방향이 상기 처리 방향과 동일한 경우에는, 상기 위치가 점유되어 있는지 여부에 상관없이 상기 입력 픽셀값을 복사하고,
    상기 입력 관찰점에서 상기 출력 관찰점으로의 방향이 상기 처리 방향과 반대인 경우에는, 상기 지시기가 상기 위치가 점유되어 있지 않다고 나타내는 경우에 상기 입력 픽셀값을 복사하는 것을 특징으로 하는 이미지 변환 프로세서.
  16. 제13항에 있어서,
    상기 입력 픽셀 중에 주어진 출력 픽셀에 시차 관련되지 않는 경우에, 상기 입력 픽셀값을 복제함으로써 상기 출력 픽셀의 각각의 출력 픽셀값을 만들어 내기 위한 복제기를 포함하고, 상기 슬라이딩 버퍼 위치가 점유되어 있는지 여부를 나타내기 위한 지시기를 포함하되,
    상기 복제기는 상기 지시기가 상기 슬라이딩 버퍼의 소정의 출력 위치가 점유되어 있지 않다고 나타내는 경우에는, 상기 슬라이딩 버퍼로부터 이전에 출력되었던 픽셀값을 재생하도록 동작하는 것을 특징으로 하는 이미지 변환 프로세서.
  17. 제13항 내지 제16항중 어느 한 항에 있어서,
    상기 입력 픽셀 시프트는 대응하는 입력 픽셀이 상기 출력 이미지의 픽셀 위치 사이의 위치로 시프트한 것을 나타내는 서브픽셀 시프트를 포함하고,
    상기 프로세서는 인접 픽셀의 픽셀값을 혼합하되 혼합의 가중치는 상기 인접 픽셀의 서브픽셀 시프트에 따라 정하는 혼합기를 포함하는 것을 특징으로 하는 이미지 변환 프로세서.
KR1019970705714A 1995-12-19 1996-12-09 시차변환을통해입력이미지를적어도하나의출력이미지로발생시키기위한이미지처리시스템및이미지변환프로세서 KR100445209B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
EP95203553.3 1995-12-19
EP95203553 1995-12-19
EP96201823.0 1996-07-01
EP96201823 1996-07-01

Publications (2)

Publication Number Publication Date
KR19980702317A true KR19980702317A (ko) 1998-07-15
KR100445209B1 KR100445209B1 (ko) 2004-12-13

Family

ID=26139926

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1019970705714A KR100445209B1 (ko) 1995-12-19 1996-12-09 시차변환을통해입력이미지를적어도하나의출력이미지로발생시키기위한이미지처리시스템및이미지변환프로세서

Country Status (7)

Country Link
US (1) US5929859A (ko)
EP (1) EP0809913B1 (ko)
JP (1) JP4392060B2 (ko)
KR (1) KR100445209B1 (ko)
DE (1) DE69621778T2 (ko)
TW (1) TW382093B (ko)
WO (1) WO1997023097A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100468848B1 (ko) * 2001-06-29 2005-01-29 삼성전자주식회사 3차원 정지 및 동작 객체의 계층적 이미지 기반 표현 및 렌더링방법 및 장치
WO2012074294A3 (ko) * 2010-11-30 2012-07-26 삼성전자 주식회사 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법
US9641822B2 (en) 2008-02-25 2017-05-02 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) images

Families Citing this family (95)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7907793B1 (en) 2001-05-04 2011-03-15 Legend Films Inc. Image sequence depth enhancement system and method
US8396328B2 (en) 2001-05-04 2013-03-12 Legend3D, Inc. Minimal artifact image sequence depth enhancement system and method
US6496183B1 (en) * 1998-06-30 2002-12-17 Koninklijke Philips Electronics N.V. Filter for transforming 3D data in a hardware accelerated rendering architecture
WO1997015150A1 (fr) * 1995-10-19 1997-04-24 Sony Corporation Procede et dispositif de formation d'images en trois dimensions
JP3231618B2 (ja) * 1996-04-23 2001-11-26 日本電気株式会社 ３次元画像符号化復号方式
US6784885B1 (en) * 1996-10-10 2004-08-31 Samsung Electronics Co., Ltd. Method and apparatus for three-dimensional parallax drawing
WO1998027451A1 (de) * 1996-12-18 1998-06-25 Technische Universität Dresden Verfahren und anordnung zur dreidimensionalen darstellung von information
JP3787939B2 (ja) * 1997-02-27 2006-06-21 コニカミノルタホールディングス株式会社 立体映像表示装置
US7116324B2 (en) * 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US6515659B1 (en) 1998-05-27 2003-02-04 In-Three, Inc. Method and system for creating realistic smooth three-dimensional depth contours from two-dimensional images
US20050231505A1 (en) * 1998-05-27 2005-10-20 Kaye Michael C Method for creating artifact free three-dimensional images converted from two-dimensional images
US7116323B2 (en) * 1998-05-27 2006-10-03 In-Three, Inc. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
US20050146521A1 (en) * 1998-05-27 2005-07-07 Kaye Michael C. Method for creating and presenting an accurate reproduction of three-dimensional images converted from two-dimensional images
US6208348B1 (en) 1998-05-27 2001-03-27 In-Three, Inc. System and method for dimensionalization processing of images in consideration of a pedetermined image projection format
US6388666B1 (en) * 1998-10-27 2002-05-14 Imax Corporation System and method for generating stereoscopic image data
JP2000209614A (ja) * 1999-01-14 2000-07-28 Sony Corp 立体映像システム
US6295067B1 (en) * 1999-03-12 2001-09-25 Richard Dubnow Method of manufacturing a 3D viewing disk
TW421969B (en) * 1999-03-19 2001-02-11 Asustek Comp Inc 3D image processing device and method
WO2001006462A1 (en) * 1999-07-20 2001-01-25 Koninklijke Philips Electronics N.V. Method and apparatus for computing a computer graphics image of a textured surface
KR100381817B1 (ko) * 1999-11-17 2003-04-26 한국과학기술원 제트버퍼를 이용한 입체영상 생성방법 및 기록매체
US8401336B2 (en) 2001-05-04 2013-03-19 Legend3D, Inc. System and method for rapid image sequence depth enhancement with augmented computer-generated elements
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
JP4729812B2 (ja) * 2001-06-27 2011-07-20 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
EP1353518A1 (en) * 2002-04-09 2003-10-15 STMicroelectronics S.r.l. Process and system for generating stereoscopic images from monocular images
US20030198290A1 (en) * 2002-04-19 2003-10-23 Dynamic Digital Depth Pty.Ltd. Image encoding system
EP1437898A1 (en) * 2002-12-30 2004-07-14 Koninklijke Philips Electronics N.V. Video filtering for stereo images
CN100414566C (zh) * 2003-06-19 2008-08-27 邓兴峰 平面图像全景重建立体图像的方法
CN100456328C (zh) * 2003-12-19 2009-01-28 Td视觉有限公司 三维视频游戏系统
EP1587035A1 (en) * 2004-04-14 2005-10-19 Koninklijke Philips Electronics N.V. Ghost artifact reduction for rendering 2.5D graphics
KR20060063265A (ko) * 2004-12-07 2006-06-12 삼성전자주식회사 영상 처리 방법 및 장치
WO2006077506A1 (en) * 2005-01-18 2006-07-27 Koninklijke Philips Electronics N.V. Multi-view display device
KR100913173B1 (ko) 2005-07-05 2009-08-19 삼성모바일디스플레이주식회사 3ｄ 그래픽 처리장치 및 이를 이용한 입체영상 표시장치
KR100898287B1 (ko) 2005-07-05 2009-05-18 삼성모바일디스플레이주식회사 입체 영상 표시 장치
KR100932977B1 (ko) 2005-07-05 2009-12-21 삼성모바일디스플레이주식회사 입체 영상 표시 장치
EP1750460A1 (en) 2005-08-05 2007-02-07 Samsung SDI Co., Ltd. 3D graphics processor and autostereoscopic display device using the same
DE102007033239A1 (de) 2007-07-13 2009-01-15 Visumotion Gmbh Verfahren zur Bearbeitung eines räumlichen Bildes
WO2009034519A1 (en) * 2007-09-13 2009-03-19 Koninklijke Philips Electronics N.V. Generation of a signal
DE102008016553A1 (de) 2008-03-27 2009-11-12 Visumotion Gmbh Verfahren zum Erzeugen einer 3D-Abbildung einer Szene aus einer 2D-Abbildung der Szene
US8508550B1 (en) * 2008-06-10 2013-08-13 Pixar Selective rendering of objects
JP4636149B2 (ja) * 2008-09-09 2011-02-23 ソニー株式会社 画像データ解析装置、および画像データ解析方法、並びにプログラム
JP4637942B2 (ja) * 2008-09-30 2011-02-23 富士フイルム株式会社 ３次元表示装置および方法並びにプログラム
USD603445S1 (en) 2009-03-13 2009-11-03 X6D Limited 3D glasses
USD624952S1 (en) 2008-10-20 2010-10-05 X6D Ltd. 3D glasses
USRE45394E1 (en) 2008-10-20 2015-03-03 X6D Limited 3D glasses
USD666663S1 (en) 2008-10-20 2012-09-04 X6D Limited 3D glasses
US8542326B2 (en) 2008-11-17 2013-09-24 X6D Limited 3D shutter glasses for use with LCD displays
CA2684513A1 (en) 2008-11-17 2010-05-17 X6D Limited Improved performance 3d glasses
KR20110095128A (ko) * 2008-11-18 2011-08-24 파나소닉 주식회사 특수재생을 고려한 재생장치, 집적회로, 재생방법
USD646451S1 (en) 2009-03-30 2011-10-04 X6D Limited Cart for 3D glasses
US8797383B2 (en) 2009-05-06 2014-08-05 Visumotion International Ltd. Method for stereoscopic illustration
JP4748251B2 (ja) * 2009-05-12 2011-08-17 パナソニック株式会社 映像変換方法および映像変換装置
USD650956S1 (en) 2009-05-13 2011-12-20 X6D Limited Cart for 3D glasses
JP5573316B2 (ja) * 2009-05-13 2014-08-20 セイコーエプソン株式会社 画像処理方法および画像処理装置
USD672804S1 (en) 2009-05-13 2012-12-18 X6D Limited 3D glasses
GB2470759A (en) * 2009-06-03 2010-12-08 Sony Comp Entertainment Europe Displaying videogame on 3D display by generating stereoscopic version of game without modifying source code
US9124874B2 (en) * 2009-06-05 2015-09-01 Qualcomm Incorporated Encoding of three-dimensional conversion information with two-dimensional video sequence
JP5620651B2 (ja) * 2009-06-26 2014-11-05 キヤノン株式会社 再生装置、撮像装置、及びその制御方法
CA2772607A1 (en) * 2009-09-01 2011-03-10 Prime Focus Vfx Services Ii Inc. System and process for transforming two-dimensional images into three-dimensional images
EP2323412A1 (en) 2009-11-13 2011-05-18 Koninklijke Philips Electronics N.V. Generating an image signal
USD669522S1 (en) 2010-08-27 2012-10-23 X6D Limited 3D glasses
USD671590S1 (en) 2010-09-10 2012-11-27 X6D Limited 3D glasses
USD692941S1 (en) 2009-11-16 2013-11-05 X6D Limited 3D glasses
KR101631514B1 (ko) * 2009-11-19 2016-06-17 삼성전자주식회사 전자기기에서 3차원 컨텐츠 생성 방법 및 장치
GB2475730A (en) 2009-11-27 2011-06-01 Sony Corp Transformation of occluding objects in 2D to 3D image generation
USD662965S1 (en) 2010-02-04 2012-07-03 X6D Limited 3D glasses
JP5660818B2 (ja) * 2010-07-21 2015-01-28 任天堂株式会社 画像処理プログラム、画像処理装置、画像処理システム、および、画像処理方法
USD664183S1 (en) 2010-08-27 2012-07-24 X6D Limited 3D glasses
US9865083B2 (en) 2010-11-03 2018-01-09 Industrial Technology Research Institute Apparatus and method for inpainting three-dimensional stereoscopic image
JP5242667B2 (ja) * 2010-12-22 2013-07-24 株式会社東芝 マップ変換方法、マップ変換装置及びマップ変換プログラム
US8730232B2 (en) 2011-02-01 2014-05-20 Legend3D, Inc. Director-style based 2D to 3D movie conversion system and method
US9113130B2 (en) 2012-02-06 2015-08-18 Legend3D, Inc. Multi-stage production pipeline system
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
JP2014506768A (ja) 2011-02-23 2014-03-17 コーニンクレッカ フィリップス エヌ ヴェ 三次元シーンの深さデータの処理
US8891854B2 (en) 2011-03-31 2014-11-18 Realtek Semiconductor Corp. Device and method for transforming 2D images into 3D images
WO2012143817A2 (en) 2011-04-19 2012-10-26 Koninklijke Philips Electronics N.V. Light output panel and device having the same
WO2012143836A1 (en) 2011-04-20 2012-10-26 Koninklijke Philips Electronics N.V. Position indicator for 3d display
WO2012176109A1 (en) 2011-06-22 2012-12-27 Koninklijke Philips Electronics N.V. Method and apparatus for generating a signal for a display
TWI486052B (zh) * 2011-07-05 2015-05-21 Realtek Semiconductor Corp 立體影像處理裝置以及立體影像處理方法
US8934707B2 (en) 2012-03-21 2015-01-13 Industrial Technology Research Institute Image processing apparatus and image processing method
TWI473038B (zh) * 2012-03-21 2015-02-11 Ind Tech Res Inst 影像處理裝置及影像處理方法
JP6224068B2 (ja) 2012-03-27 2017-11-01 コーニンクレッカ フィリップス エヌ ヴェＫｏｎｉｎｋｌｉｊｋｅ Ｐｈｉｌｉｐｓ Ｎ．Ｖ． 複数の観視者用の３ｄディスプレイ
JP5953916B2 (ja) * 2012-05-02 2016-07-20 ソニー株式会社 画像処理装置および方法、並びにプログラム
USD711959S1 (en) 2012-08-10 2014-08-26 X6D Limited Glasses for amblyopia treatment
CN102868899A (zh) * 2012-09-06 2013-01-09 华映光电股份有限公司 一种三维图像处理方法
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
EP2765774A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating an intermediate view image
EP2765775A1 (en) 2013-02-06 2014-08-13 Koninklijke Philips N.V. System for generating intermediate view images
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
CN117061720B (zh) * 2023-10-11 2024-03-01 广州市大湾区虚拟现实研究院 基于单目图像及深度图像渲染的立体图像对生成方法

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0792838B2 (ja) * 1989-12-28 1995-10-09 インターナショナル・ビジネス・マシーンズ・コーポレーション 三次元図形表示方法及びシステム
US5542025A (en) * 1991-01-16 1996-07-30 Hewlett-Packard Company Precision Z-interpolation method and apparatus
JPH0568268A (ja) * 1991-03-04 1993-03-19 Sharp Corp 立体視画像作成装置および立体視画像作成方法
EP0531515B1 (en) * 1991-03-27 1995-08-23 Exxon Production Research Company Displaying n dimensional seismic data in an n-1 dimensional format
JPH0589253A (ja) * 1991-09-27 1993-04-09 Sony Corp 画像描画装置
JPH07234927A (ja) * 1994-02-22 1995-09-05 Toshiba Medical Eng Co Ltd 三次元画像表示装置
JP3332551B2 (ja) * 1994-02-24 2002-10-07 三洋電機株式会社 立体動画像再生装置
TW269094B (en) * 1994-11-11 1996-01-21 Nitendo Kk Three dimensional visual image display device and electric game apparatus, memory device thereof
DE69523723D1 (de) * 1994-12-15 2001-12-13 Sanyo Electric Co Verfahren zur Umsetzung zweidimensionaler Bilder in dreidimensionale Bilder in einer Videospielkonsole

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100468848B1 (ko) * 2001-06-29 2005-01-29 삼성전자주식회사 3차원 정지 및 동작 객체의 계층적 이미지 기반 표현 및 렌더링방법 및 장치
US9641822B2 (en) 2008-02-25 2017-05-02 Samsung Electronics Co., Ltd. Method and apparatus for processing three-dimensional (3D) images
WO2012074294A3 (ko) * 2010-11-30 2012-07-26 삼성전자 주식회사 에너지값을 이용한 이미지 처리 장치와 그 이미지 처리 방법 및 디스플레이 방법

Also Published As

Publication number Publication date
DE69621778D1 (de) 2002-07-18
KR100445209B1 (ko) 2004-12-13
EP0809913B1 (en) 2002-06-12
EP0809913A2 (en) 1997-12-03
DE69621778T2 (de) 2003-03-13
WO1997023097A3 (en) 1997-07-31
TW382093B (en) 2000-02-11
JP4392060B2 (ja) 2009-12-24
US5929859A (en) 1999-07-27
JPH11501188A (ja) 1999-01-26
WO1997023097A2 (en) 1997-06-26

Similar Documents

Publication Publication Date Title
KR100445209B1 (ko) 시차변환을통해입력이미지를적어도하나의출력이미지로발생시키기위한이미지처리시스템및이미지변환프로세서
EP1582074B1 (en) Video filtering for stereo images
EP1738331B1 (en) Ghost artifact reduction for rendering 2.5d graphics
US6480192B1 (en) Recording medium, apparatus and method for processing images
JP6517245B2 (ja) 三次元画像を生成するための方法及び機器
US8633967B2 (en) Method and device for the creation of pseudo-holographic images
JP4047387B2 (ja) 立体画像ディスプレイ駆動装置
JP5238887B2 (ja) 多視点画像生成方法および装置
US6954223B2 (en) Stereoscopic image generating apparatus and game apparatus
CN104052983A (zh) 使用显示控制器窗口的高效自动立体支持
JPH11510940A (ja) ３次元画像テクスチュアマッピング
US20090262125A1 (en) Rendering A Multiple Viewpoint Image Into A Single Frame Buffer Using Off-Screen Rendering Surfaces
CN114615485A (zh) 用于处理包括堆栈在具有填充的基于立方体的投影布局中的投影面的基于投影的帧的方法
Schwerdtner et al. Dresden 3D display (D4D)
KR100239132B1 (ko) 3차원 시차 그리기 장치 및 방법
JP4258236B2 (ja) 立体視画像生成装置
US7154501B2 (en) Method and apparatus for three-dimensional parallax drawing
Trapp et al. Enhancing interactive NonPlanar projections of 3D geovirtual environments with stereoscopic imaging

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20120806

Year of fee payment: 9

FPAY Annual fee payment

Payment date: 20130730

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20150803

Year of fee payment: 12

FPAY Annual fee payment

Payment date: 20160809

Year of fee payment: 13

EXPY Expiration of term