KR20030029649A - 화상 변환 및 부호화 기술 - Google Patents

화상 변환 및 부호화 기술 Download PDF

Info

Publication number
KR20030029649A
KR20030029649A KR10-2003-7001634A KR20037001634A KR20030029649A KR 20030029649 A KR20030029649 A KR 20030029649A KR 20037001634 A KR20037001634 A KR 20037001634A KR 20030029649 A KR20030029649 A KR 20030029649A
Authority
KR
South Korea
Prior art keywords
layer
depth
image
objects
eye image
Prior art date
Application number
KR10-2003-7001634A
Other languages
English (en)
Inventor
허먼필립
Original Assignee
다이나믹 디지탈 텝스 리서치 피티와이 엘티디
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from AUPQ9222A external-priority patent/AUPQ922200A0/en
Priority claimed from AUPR2757A external-priority patent/AUPR275701A0/en
Application filed by 다이나믹 디지탈 텝스 리서치 피티와이 엘티디 filed Critical 다이나믹 디지탈 텝스 리서치 피티와이 엘티디
Publication of KR20030029649A publication Critical patent/KR20030029649A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Processing Or Creating Images (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

적어도 하나의 층과, 상기 적어도 하나의 층에 존재하는 적어도 하나의 대상물을 포함하는 층으로 된 소오스로부터 입체적인 표시를 위한 좌안 영상 및 우안 영상을 형성하기 위한 방법은 각각의 대상물 또는 층을 위한 깊이 특성을 정의하는 단계와, 각각의 층의 깊이 특성의 함수로서 각각의 대상물 또는 층을 소정의 양만큼 측면 방향으로 각각 이동시키는 단계를 포함한다.

Description

화상 변환 및 부호화 기술{IMAGE CONVERSION AND ENCODING TECHNIQUE}
데이터 전송시의 대역폭의 제한은 잘 알려진 문제이며, 최대량의 데이터를 가능한 가장 짧은 시간에 전송할 수 있도록 하는 많은 기술들이 시도되어 왔다. 컴퓨터에 의해 생성된 화상을 포함한 화상들의 전송에 있어서 대역폭은 더욱 더 요구된다.
컴퓨터에 의해 생성된 화상이나 동영상 장면과 관련된 대역폭 및 성능문제를 처리하기 위한 한 가지 방법은 원래의 장면을 전송한 다음 화상의 변화만을 전송하는 것이었다. 이 기술은 전통적으로 만화가 만들어지는 방식을 이용한 것이다. 즉, 만화가는 창출될 움직임을 만드는 모든 중간 단계들을 포함하는 일련의 정지영상들을 생성함으로써 움직임을 만들어낼 수 있다.
용이한 수정을 위하여 화상내의 각각의 대상물은 일반적으로 별도의 분리된 층에 형성되며 이러한 층들이 조합되어 화상을 형성한다. 즉, 움직이는 대상물은 일련의 종이들 위에 그려짐으로써 그 대상물의 움직임을 표현한다. 그러나 일반적으로 다른 대상물들이나 배경은 그 종이 위에 그리지 않고, 변화가 없는 배경은 별도의 종이에 그리고 대상물들과 배경이 그려진 종이들을 조합하여 화상을 형성한다. 어떤 경우에는 하나의 정지영상을 만들기 위해 많은 종이가 사용된다.
일련의 다른 층들을 사용하여 만들어진 만화 또는 동영상에 대하여 수정된 층들만을 전송함으로써 데이터 전송을 절약할 수 있다. 예를 들어, 배경이 변하지 않으면, 배경층을 재전송할 필요가 없다. 그보다는 디스플레이 매체가 상기 배경층을 보존하도록 할 수 있다.
동영상 또는 컴퓨터에 의해 생성된 영상의 이용이 증가함에 따라 입체 영상에 대한 요구도 증가하게 되었다. (촬영단계에서의) 입체 영상의 생성은 2차원 영상보다 매우 비용이 많이 들고 어려우며 시간이 많이 소요된다. 따라서 실재의 입체영상의 양이 부족하므로 기존의 2차원 영상을 3차원 영상으로 변환하는 것이 요구된다.
2차원 영상을 3차원 영상으로 변환하기 위한 초기의 시도는 화상내의 대상들을 선택하고 이 대상들을 잘라서 다른 위치에 붙임으로써 3차원 효과를 창출하는 것이었다. 그러나 이 기술은 일반인 또는 산업분야에서, 생성된"오려낸" 영역을 영상에 붙이는 기술로서 받아들여질 수 없는 것으로 곧 확인되었다. 즉, 대상물을 잘라서 이동시킴으로써 영상 데이터가 없는 빈 영역이 만들어졌다.
2차원 영상을 3차원 영상으로 변환하는 시스템을 제공하기 위하여 본 출원인은
a. 본래의 영상내의 적어도 하나의 대상물을 식별하고,
b. 각각의 대상물의 윤곽을 그리고,
c. 각각의 대상물에 대한 깊이 특성을 정의하고,
d. 각각의 대상물의 선택된 영역을 각각의 대상물의 깊이 특성의 함수로서 측면 방향으로 소정의 양만큼 각각 변위시켜 관찰자의 좌우 눈에 보이는 두 개의 스트레칭된 영상을 형성함으로써 본래의 2차원 영상으로부터 입체 영향을 생성하는 시스템을 고안하였다.
이 시스템은 PCT/AU96/00820에 개시되어 있는 바, 본래의 영상내의 대상들을 스트레칭하거나 왜곡함으로써 오려낸 부분이 형성되는 것을 방지한다. 즉, 이 종래의 시스템은 단순히 대상물을 움직이는 오려내기의 문제점을 발생시키지 않는다.
본 출원인의 종래의 시스템은 2차원 만화 또는 애니메이션을 변환하는데 이용될 수 있으나, 어떤 상황에서는 이상적이지 않다. 예를 들어, 디스플레이 시스템이 2차원 영상 전체를 입력하지 않고 2차원 영상의 변경되는 부분만 입력할 경우, 본 출원인의 종래의 시스템은 영상을 재생성하여 상술한 단계들을 수행할 필요가 있다.
본 발명은 2차원 화상을 3차원으로 변환하는 기술에 관한 것으로, 특히 층으로 이루어진 소오스로부터 형성된 2차원 화상을 변환하는 방법에 관한 것이다.
도 1은 층으로 된 합성 2차원 화상의 일례를 나타낸 도면,
도 2는 도 1의 합성 화상이 어떻게 별도의 층들위에 존재하는 대상들로 구성되는지를 보여주는 도면,
도 3은 좌안(left eye) 영상과 우안(right eye) 영상이 어떻게 형성되는지를 보여주는 도면,
도 4는 본 발명의 바람직한 실시예에 따른 과정을 나타낸 흐름도.
따라서, 본 발명의 목적은 만화, 애니메이션 또는 기타 컴퓨터에 의해 생성된 화상들, 그리고 분리된 소오스로부터 생성된 화상을 포함하는 층으로 된 2차원 화상들에 적용할 수 있는 개선된 2차원 화상을 3차원 화상으로 변환하는 방법을 제공하는 데 있다.
상기 목적을 달성하기 위하여, 본 발명은 적어도 하나의 층과, 상기 적어도 하나의 층에 존재하는 적어도 하나의 대상물을 포함하는 층으로 된 소오스로부터입체적인 표시를 위한 좌안 영상 및 우안 영상을 형성하기 위한 방법에 있어서, 각각의 대상물 또는 층을 위한 깊이 특성을 정의하는 단계와, 각각의 층의 깊이 특성의 함수로서 각각의 대상물 또는 층을 소정의 양만큼 측면 방향으로 각각 이동시키는 단계를 포함하는 방법을 제공한다.
대상물들을 부가적인 층들로 더 분할하기 위하여 시스템을 수정할 수 있으며, 이상적으로는 영상을 스트레칭하거나 왜곡함으로써 상기 이동된 대상물들을 더 처리하여 3차원 영상을 향상시킨다.
각각의 대상물에 대한 저장된 파라미터들을 수정할 수 있으며, 예컨대 깊이 특성을 정의하는 부가적인 태그를 추가할 수 있다. 이러한 시스템에 있어서, 대상물들을 이동시키는 것을 돕기 위해 태그 정보를 이용할 수도 있다.
영상을 기존의 2차원 시스템과 호환할 수 있도록 하기 위해 전송측의 2차원 영상을 수신측과 반대로 처리하고 각각의 대상물 또는 층에 대한 깊이 특성을 정의하는 정보를 상기 2차원 영상에 포함시킴으로써 수신측이 본래의 2차원 영상 또는 변환된 3차원 영상을 디스플레이할 수 있도록 한다.
상기 시스템에 의하면 움직이는 영상 및 층으로 된 소오스로부터 생성된 움영상을 3차원 영상으로 보이도록 효과적이고 효율적으로 변환할 수 있다. 영상에 부가되는 부가 데이터는 2차원 영상의 크기에 비해 작지만 수신측이 2차원 영상을 3차원으로 투사하도록 할 수 있다. 바람직한 배열에 있어서, 상기 시스템은 관찰자로 하여금 강도 및 깊이감 등과 같은 3차원 특성을 제어할 수 있도록 한다.
바람직한 실시예에 있어서, 본 발명의 변환 기술은 각각의 층의 각각의 대상물을 식별하고 각각의 대상물에 깊이 특성을 부여하는 단계를 포함한다.
후술될 과정은 층으로 된 소오스로부터 만들어진 2차원 영상에 적용되는 것이다. 이러한 영상은 만화, MPEG 비디오 시퀀스 (특히, 각각의 대상에 비디오 오브젝트 플레인(Video Object Plane)이 할당되는 MPEG4를 이용하여 처리한 비디오 영상) 및 인터넷을 통해 전송하기 위한 멀티미디어 영상, 예를 들면, 매크로미디어 "플래쉬" 포맷으로 존재하는 영상들을 포함한다.
이러한 포맷에서, 각각의 층의 본래의 대상물은 각각의 대상물의 벡터로 나타낼 수 있으며, 그와 관련된 태그(Tag)를 가진다. 이 태그는 각 대상물의 특성, 예를 들면, 색깔, 위치 및 질감을 표현한다.
이와 같이 층으로 된 2차원 영상을 도 1에 나타내었다. 도 2는 어떻게 도 1의 합성 영상이 별도의 층들위에 존재하는 대상물들로 구성되고 통합되어 하나의 영상을 형성할 수 있는지를 나타낸 것이다. 상기 합성 영상을 형성하는 별도의 층들은 디지털 또는 비디오 포맷으로도 나타낼 수 있다는 것을 해당 분야의 통상의 지식을 가진 자라면 이해할 수 있을 것이다. 특히, 상기 별도의 층들의 대상물들을 벡터 포맷으로 나타낼 수 있다는데 주목해야 한다. 필요할 경우, 변환될 2차원 영상의 각 층의 대상물은 조작자의 시각에 의한 검사를 이용하여 식별할 수 있다. 상기 조작자는 컴퓨터 마우스, 라이트 펜(light pen), 스타일러스(stylus) 또는 다른 장치를 이용하여 영상내의 각각의 대상 또는 대상들의 그룹에 표시를 하고 그 대상에 고유 번호를 할당한다. 이 고유 번호는 조작자에 직접 생성하거나 컴퓨터에 의해 특정한 순서로 자동적으로 생성할 수 있다.
조작자는 동일한 시퀀스에 대해 작업하는 다른 조작자에 의해 생성되거나 유사한 장면에 대한 이전의 변환으로부터 생성된 대상 식별 정보를 사용할 수도 있다.
특정 층에 하나 이상의 대상물이 존재하는 경우, 그 대상물들을 부가적인 층들로 더 분할하여 3차원 효과를 증진시키는 것이 바람직하다. 이것은 하나의 층이 다수의 대상물들을 가지는 경우이며, 이 대상물들은 서로 다른 깊이를 갖는 것이 바람직하다. 즉, 하나의 층에 다수의 대상물이 존재하고 각각의 대상물이 각기 다른 깊이를 가지면, 그 층을 하나 이상의 대상물 및/또는 층으로 분할한다.
바람직한 실시예에 있어서, 각각의 층과 그 층내의 대상물에 식별자가 할당된다. 또한, 각각의 대상물에는 PCT/AU98/01005(본 명세서에 참고로 포함됨)에서 상술한 바와 같이 깊이 특성이 부여된다.
벡터로 표현하기 위해 부가적인 태그를 벡터 표현에 부가하여 대상물의 깊이를 기술할 수 있다. 대상물의 깊이는 미터로 나타내거나 선형 램프(linear ramp)와 같은 복소 깊이(complex depth)로 나타낼 수 있다.
상기 대상물을 기술하는 태그는 깊이를 직접 기술하지 않고 깊이의 함수를 나타내어야 한다는 것에 주목해야 한다. 당 분야의 통상의 지식을 가진 자는 이러한 표현방식에 디스패러티 및 풀 맵(Disparity and pull maps)이 포함된다는 것을 이해할 수 있을 것이다.
대상물 또는 대상물들의 깊이는 수동이나 자동, 또는 반자동으로 결정할 수 있다. 대상물의 깊이는 알파뉴메릭 정보, 시각 정보, 청각정보 또는 촉각정보를 이용하여 지정할 수 있다. 다른 실시예에 있어서, 대상물의 깊이에 수치값을 부여할 수 있다. 이 값은 선형 또는 비선형 열로 된 양의 값 또는 음의 값일 수 있으며, 하나 또는 다수의 숫자들을 포함한다. 바람직한 실시예에 있어서, 이 값은 단일 바이트로 코딩될 수 있도록 0~255의 범위의 값이며, 여기서 255는 변환되었을 때 관찰자와 가장 가까운 3차원 위치에 나타나는 대상물을 나타내며, 0은 관찰자로부터 가장 먼 3차원 위치에 있는 대상물을 나타낸다. 상기 범위는 수정되거나 다른 범위가 사용될 수 있다.
수동으로 깊이를 정의함에 있어서, 작업자는 컴퓨터 마우스, 라이트 펜, 스타일러스 또는 다른 장치를 사용하여 대상물 또는 대상물들의 깊이를 부여할 수 있다. 조작자는 대상물의 윤곽선 내에 포인팅 장치(pointing device)를 위치시키고 깊이값을 입력함으로써 대상물의 깊이를 부여한다. 이 대상물의 깊이는 조작자가 수치값, 알파뉴메릭값 또는 그래픽값으로 입력하여 부여할 수 있으며, 또는 컴퓨터에 의해 소정의 허용 가능한 값들의 범위로부터 자동적으로 부여할 수 있다. 조작자는 허용 가능한 깊이들의 라이브러리 또는 메뉴로부터 대상물의 깊이를 선택할 수도 있다.
조작자는 대상물 내의 깊이의 범위 또는 시간에 따라 변하는 깊이 범위, 대상물의 위치 또는 움직임 또는 이들 요소들의 조합을 할당할 수도 있다. 예를 들면, 이상적으로는 관찰자를 향한 가장 가까운 모서리와 관찰자로부터 가장 먼 모서리를 가진 테이블이 대상물이 될 수 있다. 이러한 테이블은 3차원으로 변환되면 테이블의 깊이는 그 길이에 따라 변화해야 한다. 이를 성취하기 위해 조작자는 테이블을 다수의 부분들 또는 층들로 분할하고 각각의 부분에 개별적인 깊이를 부여할 수 있다. 또는 대상물에 명암(shading)을 줌으로써 대상물에 연속적으로 변화하는 깊이를 부여할 수 있다. 이때, 명암의 정도는 테이블이 놓인 특정위치에서의 깊이를 나타낸다. 이 예에 있어서, 밝은 명암(light shading)은 가까운 대상을 나타내고, 어두운 명암(dark shading)은 멀리 있는 대상을 나타낼 수 있다. 상기한 테이블에 대한 예에 있어서, 가장 가까운 모서리는 명암을 밝게 하고, 가장 먼 모서리에 이를 때까지 점차로 명암을 더 어둡게 한다.
대상물의 깊이의 변화는 선형 또는 비선형이며, 시간, 대상물의 위치 또는 움직임 또는 이들 요소들의 조합에 따라 변화될 수 있다.
대상물의 깊이의 변화는 램프(ramp)의 형태를 가질 수 있다. 선형 램프는 시작점(A)과 종료점(B)을 가진다. A점과 B점의 색을 정의한다. A점에서 B점까지의 기울기는 수직선을 이룬다.
방사형 램프(Radial Ramp)는 중심점(A)에서 반경(radius)(B)까지의 거리를 사용하지만 선형 경사와 유사한 경사를 나타낸다. 예를 들면, 방사형 깊이는
x,y,r,d1,d2,fn
과 같이 나타낼 수 있다. 여기서, x와 y는 반경의 중심점의 좌표이고, d1은 중심에서의 깊이, d2는 반경에서의 깊이, fn은 선형이며 2차인 경우에 어떻게 깊이가 d1에서 d2로 변화하는지를 나타내는 함수이다.
방사형 램프의 단순한 확장(Simple Extension)은 바깥쪽 테두리를 점차로 얇게 하거나 중심점이 변화하는 크기를 갖도록 한다.
선형 확장(Linear Extension)은 수직거리와는 대조적으로 라인 부분으로부터의 거리이다. 여기서, 라인 부분에 대한 색과 "바깥쪽"에 대한 색이 정의된다. 라인 부분을 따라 색이 정의되고, 이 색은 "바깥쪽" 색으로 변화된다.
다양한 램프를 쉽게 부호화할 수 있다. 램프는 보다 복잡한 곡선, 방정식, 가변 투명도 등에 기초할 수 있다.
다른 예에 있어서, 대상물은 프레임 기간동안 영상의 앞부분에서 뒷부분으로 이동할 수 있다. 조작자는 첫 번째 프레임에서 대상물에 깊이를 부여하고 마지막 또는 후속 장면에서 대상물에 깊이를 부여할 수 있다. 그런 다음, 컴퓨터가 연속되는 프레임에서 대상물의 깊이를 선형 또는 다른 소정의 방식으로 보간할 수 있다. 이 과정은 컴퓨터가 대상물이 시간에 따라 움직임으로써 발생하는 대상물의 크기를 변화에 기초하여 대상물의 깊이의 변화를 부여하도록 완전 자동화할 수 있다.
대상물에 특정 깊이가 부여되면, 대상물은 연속되는 프레임들 동안 영상내에서 움직일 경우 수동, 자동 또는 반자동으로 트랙킹된다. 예를 들어, 대상물이 시간에 따라 영상내에서 움직일 경우, 대상물의 벡터를 이용하여 이 움직임을 모니터링할 수 있다. 즉, 시간에 따른 벡터의 크기를 모니터하여 대상물이 커지는지 작아지는지를 결정할 수 있다. 일반적으로, 대상물이 커지면 관찰자쪽으로 가까워지는 것이고 대상물이 작아지면 멀어지는 것이다. 많은 경우에 있어서, 대상물은 특정층에서 유일한 대상물이 된다.
조작자는 동일한 시퀀스에 대해 작업하는 또 다른 조작자에 의해 생성되거나 유사한 장면의 사전 변환으로부터 생성되는 깊이를 이용할 수도 있다.
보다 사실적인 3차원 영상을 만들기 위해 단순한 램프 또는 선형 변화보다 복잡한 깊이를 사용하는 것이 바람직한 경우도 있다. 이것은 특히 나무와 같이 깊이에 변화가 많은 복잡한 내부 구조를 가진 대상물에 바람직하다. 이러한 대상물에 대한 깊이 맵(depth map)은 그 대상물에 텍스쳐 범프 맵(texture bump map)을 부가하여 생성할 수 있다. 예를 들어, 나무일 경우에는 우선 나무에 깊이를 부여한 다음, 텍스쳐 범프 맵을 부가하여 각각의 나뭇잎에 개별적인 깊이를 부여한다. 이러한 텍스쳐 맵은 상대적으로 단순한 대상물에 세부적인 것(detail)을 부여하므로 본 발명에 유용한 것으로 밝혀졌다.
그러나, 나뭇잎이나 다른 복잡한 대상물과 같은 정교한 부분에 대해서는 나무가 바람에 움직이거나 프레임에서 프레임으로 카메라 각도가 변화할 경우 상기한 방법은 훨씬 복잡해지므로 바람직하지 않다. 더욱 바람직한 방법은 원래의 대상물의 휘도(또는 흑백요소들)를 이용하여 필요한 범프 맵을 형성하는 것이다. 일반적으로, 관찰자와 가까운 대상물의 요소들은 보다 밝고 먼 요소들은 어둡다. 따라서 가까운 요소에는 밝은 휘도를 할당하고 먼 요소에는 어두운 휘도를 할당함으로써 범프 맵을 자동적으로 생성할 수 있다. 이 기술의 장점은 대상물 자체가 자신의 범프 맵을 생성하는데 이용될 수 있고 프레임에서 프레임으로의 대상물의 움직임이 자동적으로 트랙킹된다는 것이다. 대상물의 다른 특성들도 범프 맵을 생성하는데 이용될 수 있는데, 이러한 특성들에는 색도(chrominance), 채도, 색 배치(colour grouping), 반사, 음영, 초점, 명확도(sharpness) 등이 포함된다.
대상물의 특성들로부터 얻은 범프맵값은 대상물에 있어서의 깊이 변화의 범위가 전체 영상의 일반적인 깊이 범위와 일치하도록 조정된다.
각각의 층과 각각의 대상물에는 식별자가 부여되고, 각각의 대상물에는 또한 깊이 특성이 부여된다. 대상물을 정의하는 일반적인 포맷은 다음과 같다.
<층 식별자><대상물 식별자><깊이 특성>
여기서, 각각의 식별자는 알파뉴메릭 식별자가 될 수 있으며, 깊이 특성은 상술한 바와 같다. 깊이 특성은 대상물의 깊이를 알파뉴메릭값으로 표현한 것을 포함할 수 있다는데 주목해야 한다.
본 발명은 존재하는 층에 기초한 영상의 저장 및 전송 프로토콜에 다른 수단에 의해 영상내의 대상물들을 이미 식별하는 깊이 특성 식별자를 부가하는 방법을 제안한다.
가장 단순한 실행예에 있어서, 상기 층 식별자는 대상물 깊이의 직접적인 기준으로서 이용될 수 있다.
각각의 층이 하나의 대상물을 포함하는 4개의 층들로 이루어진 2차원 영상을 예로 들면, 상기 층들에 1에서 4까지의 번호를 매기고, 입체적으로 디스플레이할 때 제 1층의 대상물이 관찰자에 가장 가깝게 나타나고 제 2층의 대상물이 제 1층의 대상물 뒤에 나타나고 제 4층의 대상물이 관찰자로부터 가장 멀리 나타나도록 배열할 수 있다. 당 분야의 통상의 지식을 가진 자는 이러한 순서를 반대로 할 수 있다는 것을 알 수 있을 것이다. 즉, 제 4층이 관찰자에게 가장 가까운 대상물을 포함하고 제 1층이 가장 먼 대상물을 포함하도록 할 수 있다. 또는 비순서적인 깊이 또는 비선형적인 표현이 적용될 수도 있다.
깊이 값으로서 층번호를 할당하는 이러한 기술은 대상물, 층 및 상대적인 깊이의 개수가 영상의 지속시간동안 변화하지 않는 비교적 단순한 영상에 적합하다.
그러나 본 실시예는 부가적인 층들을 2차원 시퀀스 동안 도입하거나 제거해야 하고 영상의 전체적인 깊이가 장면들 사이에서 변화할 수 있다는 단점을 가진다. 따라서 대상물을 정의하는 일반적인 형태는 대상물 깊이와 층과 관련된 식별자들을 분리함으로써 이러한 제한을 극복한다.
수평으로 변위되는 각각의 층
설명을 목적으로, 2차원 영상이 각기 다른 층들에 존재하는 다수의 대상물들로 구성되었다고 가정한다. 또한, 이 2차원 영상이 3차원으로 변환되어 분리된 좌안 영상 및 우안 영상들을 필요로 하는 입체 디스플레이상에 디스플레이된다고 가정한다. 상기 층들은 제1층의 대상물이 입체 영상으로 변환되었을 때 관찰자에게 가장 가깝게 보이고 제 n층의 대상물이 가장 멀리 보이도록 배열된다.
설명을 위해 대상물의 깊이는 층수와 같거나 층수의 함수인 것으로 가정한다. 또한, 가장 가까운 대상물, 즉, 제 1층은 디스플레이 장치의 표면에 나타나고 연속되는 층들의 다른 모든 대상물들은 연속적인 대상물들의 뒤에 나타나도록 입체 표시장치 상에서 0의 시차(parallax)를 가지는 것으로 가정한다.
좌안 영상 시퀀스를 생성하기 위해 2차원 영상의 제 1층을 복사한다. 이어서 제2층을 복사하여 좌측으로 이동하여 제 2층 아래에 놓는다. 이때 측면으로 이동시키는 양은 미적으로 만족스러운 입체 효과를 생성하도록 결정하거나 또는 사전에 협약된 표준, 규약 또는 지시에 따라 결정한다. 연속되는 층들을 상기와 유사한 방식으로 복사하는바, 상기와 동일한 정도로 측면으로 이동시키거나 각각의 층의 이동량을 증가시켜 복사한다. 측면 이동량은 대상물이 관찰자로부터 얼마나 멀리 있는가를 결정한다. 대상물의 식별은 어떤 대상물을 이동시키는지를 나타내고, 부여된 깊이는 얼마나 이동시키는지를 나타낸다.
우안 영상 시퀀스를 생성하기 위해 2차원 영상의 제2층을 복사한다. 이어서 제 2층을 복사하여 우측으로 이동시켜 제 2층 아래에 놓는다. 바람직한 실시예에 있어서, 우측으로의 이동량은 상기한 좌안 영상 시퀀스를 생성할 때 사용된 이동량과 동일하며 단위는 반대이다. 예를 들면, 제 2층은 좌측으로 -2mm 이동하고 오른쪽 눈에 대해서는 +2mm 이동한다. 이동량 측정의 단위는 2차원 영상이 표현되는 매체와 관련되며 픽셀, 영상 크기의 백분율, 스크린 크기의 백분율 등을 포함한다.
상기 각기 다른 층들로부터 합성 영상을 생성하여 입체 쌍으로서 연속적으로 보여지는 분리된 좌안 영상 및 우안 영상을 형성한다. 이것을 도 3에 나타내었다.
전술한 설명에서, 본래의 층으로 된 영상을 복사본을 만드는 대안으로서 한쪽 눈 영상을 만드는데 사용할 수 있다. 즉, 본래의 영상이 우안 영상이 되고, 좌안 영상은 각각의 층들의 위치를 바꿈으로써 형성할 수 있다.
당 분야의 통상의 지식을 가진 자들은 상기한 기술이 일련의 영상들에 적용될 수 있음을 이해할 수 있을 것이다. 상기에서 설명의 위해 하나의 2차원 영상을 나타내었다.
또한, 당 분야의 통상의 지식을 가진 자들은 본래의 2차원 영상의 대상물을 가시적인 영상 이외의 것, 예컨대 대상물의 벡터로 나타낼 수 있음을 이해할 수 있을 것이다. 본 발명 특유의 목적은 층들로 구성되는 모든 영상 포맷에 적용 가능하도록 하는 것이다. 상기한 영상 포맷에는 만화, 벡터에 기초한 영상, 즉, 매크로미디어 플래쉬(Macromedia Flash), MPEG 코딩된 영상(특히, MPEG4 및 MPEG7 포맷의 영상) 및 스프라이트(sprite)에 기초한 영상을 포함한다.
도 4에 본 발명의 바람직한 실시예의 흐름도를 나타내었다. 층으로 된 소오스로부터 영상을 입력한 후, 시스템은 소오스 자료로부터 제 1층을 선택한다. 어떤 경우에는 대상물이 각기 다른 층에 위치할 수도 있으나, 동일한 층에 다수의 대상물들이 위치할 수도 있다. 예를 들면, 단순히 배경의 역할을 하는 층이 실제로는 그 층에 존재하는 다수의 대상물들을 가질 수도 있다. 따라서 이 층을 분석하여 그 층에 다수의 대상물들이 존재하는지의 여부를 결정한다.
상기 층이 다수의 대상물들을 가진 경우에는 그 층의 각각의 대상물이 다른 대상물과 같은 깊이로 보여지는지를 결정할 필요가 있다. 상기 층의 적어도 하나의대상물은 다른 대상물과 다른 깊이로 보여지는 것이 바람직하며 이 대상물을 위해 새로운 층이 생성되어야 한다. 이와 유사하게, 단일 층의 다수의 대상물들이 각각 다른 깊이로 보일 경우에는 각각의 깊이에 대한 층을 생성해야 한다. 이와 같은 식으로 하나의 층은 하나의 대상물을 포함하거나 동일한 깊이로 보여지는 다수의 대상물들을 포함하게 된다.
단일 대상물층 또는 동일한 깊이로 보여지는 다수의 대상물들을 가진 층이 결정되면, 이 대상물들에 깊이를 부여해야 한다. 이 깊이는 조작자에 의해 수동으로 할당되거나 소정의 룰셋(rule set)과 같은 다른 수단에 의해 부여될 수 있다. 상기 층의 대상물에 깊이 특성이 부여되면, 상기 대상물 및/또는 층을 수정하여 입체 영상을 만들어낸다.
상기 입체 영상은 좌안 영상과 우안 영상을 모두 포함한다. 시스템은 깊이 특성에 따라 상기 층을 측면으로 이동시킴으로써 좌안 영상을 먼저 편리하게 형성할 수 있다. 또는 영상의 전자적인 형태를 위해 상기 층의 대상물 또는 대상물들을 측면으로 이동시키는 것이 보다 용이하다. 플래쉬와 같은 전자적인 형태를 예로 들면, 대상물과 관련된 태그들을 조정함으로써 대상물을 이동시킬 수 있다. 대상물 태그들 중의 하나는 x, y 좌표가 된다. 본 시스템을 대상물의 깊이 특성의 함수로서 상기 x,y좌표를 변경하도록 구성하여 대상물을 측면으로 이동시킬 수 있다. 대상물 및/또는 층을 측면으로 이동시킴으로써 좌안 영상이 생성된다.
우안 영상을 생성하기 위해 새로운 층을 형성하고 좌안 영상을 생성하기 위해 측면으로 이동시키기 전의 원래의 대상물 및/또는 층을 상기 좌안 영상을 생성하는데 사용된 방향과 반대방향으로 이동시킨다. 예를 들어, 좌안 영상을 위한 대상물을 좌측으로 2mm 이동시켰을 경우에는 우안 영상을 위해 동일한 대상물을 우측으로 2mm 이동시킨다. 이와 같은 식으로 우안 영상을 형성한다. 상기 층의 대상물 또는 대상물들에 대한 좌안 영상 및 우안 영상이 형성되면, 시스템은 영상의 다음 층을 선택하여 동일한 과정을 실행한다. 시스템은 제 1층을 선택하지 않고 마지막 층을 먼저 선택하여 상기한 과정을 수행할 수도 있다.
각각의 층이 상기한 바와 같이 처리되면, 각 층들을 조합하여 좌안 및 우안 영상들을 형성하는 것이 필요하다. 이 조합된 층은 적절한 디스플레이 상에서 보여질 수 있다.
분석 과정을 결정하고 전송에 앞서 원래의 2차원 영상에 데이터를 포함시킨다고 가정한다. 이 데이터는 입체 영상을 생성하기 위해 디스플레이 시스템이 필요로 하는 정보를 포함한다. 이와 같은 식으로 본래의 영상을 전송하여 2차원 또는 3차원으로 보이도록 할 수 있다. 즉, 표준 디스플레이 시스템은 원래의 2차원 영상을 입력하여 처리할 수 있고 3차원 디스플레이 시스템은 동일한 2차원 영상을 입력하여 입체영상을 표시할 수 있다. 2차원 영상에 포함된 부가적인 데이터는 본질적으로 각각의 대상물 및/또는 층을 이동시키는데 필요한 데이터를 포함하는 데이터 파일 또는 각각의 대상물과 관련된 부가적인 태그가 될 수 있다.
어떤 응용에 있어서는 대상물의 측면 이동에 의해 편평하고 "판지를 오려낸(cardboard cut-out)" 것과 같은 형태를 갖는 대상물이 얻어진다. 이러한 모양은 예컨대 애니메이션 및 만화 캐릭터와 같은 응용에는 적용이 가능하다. 그러나다른 응용에서는 측면 이동 이외에도 상술한 스트레칭 기술을 이용하여 영상 또는 대상물을 더 처리하는 것이 바람직하다. 즉, 대상물에 부여된 깊이 특성에 따라 대상물 및/또는 층을 측면으로 이동할 뿐만 아니라 대상물을 PCT/AU96/00820에 개시된 기술을 이용하여 스트레칭한다.
실제로, 도 1에 도시한 제 1층, 제 2층, 제 3층 및 제 4층의 4개의 층을 포함하는 플래쉬 애니메이션 파일을 예로 들어 보자. 조작자는 이 파일을 매크로미디어 플래쉬 소프트웨어에 로딩한다. 도 2에 나타낸 대상물들이 각각의 층들에 존재한다. 바람직한 실시예에 있어서, 조작자는 각각의 대상물, 예컨대, 제 1층의 "사람"을 마우스로 클릭한다. 그러면 상기 소프트웨어가 메뉴를 오픈하여 조작자로 하여금 상기 대상물에 대한 깊이 특성을 선택하도록 한다. 상기 메뉴는 관찰자로부터의 절대적 또는 상대적인 깊이와 복소 깊이와 같은 단순한 선택사항들을 포함한다. 예를 들면, 상기 메뉴는 조작자가 선택한 깊이에 따라 대상물에 적용되는 대상물 타입 "사람"에 대한 소정의 범프맵을 포함할 수 있다. 깊이 특성을 선택한 후, 소프트웨어는 새로운 층, 이 예에 있어서는 제5층을 생성하고 상기 "사람"을 복사하여 필요한 만큼 측면으로 이동시키고 이 새로운 층을 스트레칭한다. 원래의 제 1층도 필요한 만큼 측면 이동하도록 수정하고 확대한다. 이 과정을 각각의 층의 각각의 대상물에 대해 반복하여 부가적인 제 6층, 제 7층 및 제 8층이 형성되도록 한다. 그런 다음, 제 1층 내지 제 4층을 합성하여 예컨대, 좌안 및 우안 영상인 제 5층 내지 제 8층을 형성한다.
현재 이용 가능한 매크로미디어 플래쉬 소프트웨어는 대상물에 깊이 특성을할당하는 장치를 지원하지 못하며 도해(illustration)를 목적으로 하는 기능은 제안한다는데 주목해야 한다.
각각의 대상물에 각기 다른 층이 할당되고 측면 이동이 적용할 경우, 상기 과정은 자동화할 수 있다. 예를 들면, 조작자가 제 1층의 대상물과 제 n층의 대상물에 대해 깊이를 부여할 수 있다. 그런 다음, 조작자는 제 1층과 제 n층 사이에서 깊이가 변화된 방식을 기술한다. 이 방식은 선형, 로그함수, 지수함수 등을 포함한다. 상기 소프트웨어는 새로운 층들을 자동으로 생성하고 원래의 층에 존재하는 대상물에 필요한 수정을 행한다.
수동 및 자동 처리를 모두 이용할 수 있다는데 주목해야 한다. 예를 들면, 자동 처리는 제 1층 내지 제 4층에 이용하고 제 5층에는 수동처리, 제 6층 내지 제 n층에는 자동처리를 이용할 수 있다.
부호화 및 압축
어떤 상황에서는 대상물에 깊이를 부여함에 있어서 중요한 중복(redundancy)이 있을 수 있다. 예를 들면, 연속되는 영상 프레임들에 동일한 x,y 좌표와 동일한 깊이로 어떤 대상물이 나타나면, 이 대상물이 처음 나타났을 때 상기 정보를 기록하거나 전송하면 된다.
당 분야의 통상의 지식을 가진 자들은 이러한 성질의 중복 데이터를 부호화하고 압축하는 기술에 익숙할 것이다.
대체 실시예들
측면 이동 기술은 밑에 있는 층들의 대상물들이 완전히 묘사된 경우에 적용할 수 있다는 것을 이해할 수 있을 것이다. 그렇지 않은 경우, 예를 들면, 2차원 영상이 층으로 된 형태로 원래 존재하지 않았을 경우에는 입체 영상을 형성하기 위해 상술한 스트레칭 기술을 적용할 수 있다. 이 점에 관해서는 대상물을 단순히 오려내어 붙이는 것은 상업적으로 수용할 수 없으므로 스트레칭 기술이 필요하다는 것에 주목해야 한다. 또한, 층으로 이루어지지 않은 2차원 소오스는 영상 분할 기술을 사용하여 층으로 된 소오스로 변환할 수 있다. 이러한 상황에서 본 발명은 적용이 가능하다.
대상물을 단순히 측면으로 이동시킴으로써 얻어지는 3차원 영상은 편평하게 보이거나 "판지를 오려낸" 것과 같은 특징을 갖는 대상물을 포함할 수 있다. 몇몇 실시예들에 있어서, 이것은 3차원 영상을 편평하고 비현실적으로 보이도록 만든다. 그러나 어떤 경우에는 이것이 바람직하다. 예를 들어, 만화는 바람직한 결과를 창출한다. 3차원 효과가 창출될 수 있으나 이것은 어떤 상황에서는 최적이 될 수 없다. 따라서 대상물에 입체감을 더욱 부여하기를 원한다면, 상술한 본 출원인의 스트레칭 기술을 적용하여 3차원 효과를 증진시킴으로써 대상물 및/또는 층들을 더 처리할 수 있다. 예를 들면, 대상물은 측면 이동과 깊이 램프를 조합한 깊이 특성을 가질 수 있다. 따라서 처리 결과 얻어지는 대상물은 본 발명에서 설명한 바와 같이 측면으로 이동되고 PCT/AU96/00820에 개시된 바와 같이 스트레칭된다.
대상물들이 층으로 된 형태로 존재하고 부분적 또는 전체적으로 묘사될 경우, 스트레칭 기술은 이미 수행되었으므로 대상물들을 식별하고 그 윤곽을 파악하는데 필요하지 않다. 그러나 깊이 특성의 부여는 여전히 필요하다.
그 동작이 좌안 및 우안 영상들에 의존하지 않는 입체 디스플레이가 생겨나고 있다는 것은 당 분야의 통상의 지식을 가진 자들에게 알려져 있다. 본 발명이 의도하는 것은 현재와 미래의 디스플레이 기술로서 이러한 기술을 이용할 수 있다는 것이다.
예를 들면, 2차원 영상 및 이와 관련된 깊이 맵을 필요로 하는 디스플레이가 제작되고 있다. 이 경우, 각각의 대상물의 2차원 영상은 상술한 깊이 특성 식별자를 각각의 대상물에 적용함으로써 깊이 맵으로 변환할 수 있다.
그런 다음, 각각의 층들을 겹쳐 관련된 2차원 영상을 위한 깊이 맵을 나타내는 하나의 영상을 형성한다. 이 과정은 입체 영상을 표시하기 전 또는 실시간으로 적용될 수 있다는 것을 당 분야의 통상의 지식을 가진 자들은 이해할 수 있을 것이다.
또한, 단순한 입체 쌍보다 더 많은 영상들을 필요로 하는 다른 형태의 디스플레이도 생겨나고 있다. 예를 들면, 필립스에 의해 제조된 자동 입체 LCD디스플레이 장치는 각각의 인접한 영상의 쌍이 입체 쌍으로 구성되는 7개 또는 9개의 불연속 영상들을 필요로 한다. 이러한 디스플레이에 적합한 다수의 스테레오 쌍들을 생성하기 위해 상술한 측면 이동 기술을 사용할 수 있다. 예를 들면, 7개의 영상을 필요로 하는 자동 입체 디스플레이에 적합한 영상 시퀀스를 생성하기 위해 원래의 2차원 영상을 중앙 영상인 제 4영상과 연속적인 좌측 이동에 의해 얻어진 제 1 및 제 3영상을 위해 이용할 수 있다. 제 5, 제 6 및 제 7영상들은 연속적인 우측 이동에 의해 형성된다.
상술한 바와 같이 깊이 특성은 원래의 2차원 영상의 정의에 포함되어 2차원 겸용 3차원 영상을 생성할 수 있다. 이 데이터의 크기가 작다면, 최소 오버헤드의 2차원 호환성이 얻어진다.
상기 깊이 특성이 본래의 2차원 영상에 포함되거나 또는 별도로 저장되거나 전송될 수 있다는 것은 위에서 설명하였다.
본 발명은 층으로 된 소오스로부터 형성된 2차원 영상을 변환하는 시스템에 대해 기술하였으나, 본 발명의 범위내에서 수정 및 변경이 가능하다는 것을 당 분야의 통상의 지식을 가진 자들은 이해할 수 있을 것이다.

Claims (12)

  1. 적어도 하나의 층과, 상기 적어도 하나의 층에 존재하는 적어도 하나의 대상물을 포함하는 층으로 된 소오스로부터 입체적인 표시를 위한 좌안 영상 및 우안 영상을 형성하기 위한 방법에 있어서,
    각각의 대상물 또는 층을 위한 깊이 특성을 정의하는 단계와,
    각각의 층의 깊이 특성의 함수로서 각각의 대상물 또는 층을 소정의 양만큼 측면 방향으로 각각 이동시키는 단계를 포함하는 것을 특징으로 하는 방법.
  2. 제 1항에 있어서,
    다수의 대상물들을 가진 상기 적어도 하나의 층을 부가적인 층들로 분할하는 것을 특징으로 하는 방법.
  3. 제 2항에 있어서,
    상기 각각의 대상물에 대해 부가적인 층을 생성하는 것을 특징으로 하는 방법.
  4. 제 1항 내지 제 3항 중 어느 한 항에 있어서,
    상기 적어도 하나의 대상물을 스트레칭하여 입체 영상을 향상시키는 것을 특징으로 하는 방법.
  5. 제 1항 내지 제 4항 중 어느 한 항에 있어서,
    상기 각각의 대상물과 관련된 태그가 상기 대상물에 대한 깊이 특성을 포함하는 것을 특징으로 하는 방법.
  6. 제 1항 내지 제 5항 중 어느 한 항에 있어서,
    상기 각각의 대상물과 층에 식별자 및/또는 깊이 특성이 부여되는 것을 특징으로 하는 방법.
  7. 제 6항에 있어서,
    대상물 식별은 <층 식별자><대상물 식별자><깊이 특성>으로 정의되는 것을 특징으로 하는 방법.
  8. 제 7항에 있어서,
    상기 각각의 식별자는 알파뉴메릭 식별자인 것을 특징으로 하는 방법.
  9. 제 6항에 있어서,
    상기 층 식별자는 상기 깊이 특성과 관련된 것을 특징으로 하는 방법.
  10. 제 1항의 방법을 이용하여 생성된 입체 영상들을 전송하기 위한 시스템에 있어서, 상기 각각의 대상물 또는 층에 대한 깊이 특성이 상기 층으로 된 소오스에 포함된 것을 특징으로 하는 시스템.
  11. 적어도 하나의 층과, 상기 적어도 하나의 층에 존재하는 적어도 하나의 대상물을 포함하는 층으로 된 소오스로부터 입체적인 표시를 위한 좌안 영상 및 우안 영상을 형성하기 위한 방법에 있어서,
    상기 각각의 층을 복사하여 상기 좌안 영상 및 우안 영상을 생성하는 단계와,
    각각의 대상물 또는 층에 대한 깊이 특성을 정의하는 단계, 및
    각 층의 깊이 특성의 함수로서 각각의 대상물 또는 층을 소정의 양만큼 측면 방향으로 각각 이동시키는 단계를 포함하는 것을 특징으로 하는 방법.
  12. 제 11항에 있어서, 상기 좌안 영상 및 우안 영상을 동일한 반대 방향으로 이동시키는 것을 특징으로 하는 방법.
KR10-2003-7001634A 2000-08-04 2001-08-03 화상 변환 및 부호화 기술 KR20030029649A (ko)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
AUPQ9222A AUPQ922200A0 (en) 2000-08-04 2000-08-04 Image conversion and encoding techniques
AUPQ9222 2000-08-04
AUPR2757 2001-01-29
AUPR2757A AUPR275701A0 (en) 2001-01-29 2001-01-29 Image conversion and encoding technique
PCT/AU2001/000946 WO2002013143A1 (en) 2000-08-04 2001-08-03 Image conversion and encoding technique

Publications (1)

Publication Number Publication Date
KR20030029649A true KR20030029649A (ko) 2003-04-14

Family

ID=25646396

Family Applications (1)

Application Number Title Priority Date Filing Date
KR10-2003-7001634A KR20030029649A (ko) 2000-08-04 2001-08-03 화상 변환 및 부호화 기술

Country Status (8)

Country Link
US (1) US20020118275A1 (ko)
EP (1) EP1314138A1 (ko)
JP (1) JP2004505394A (ko)
KR (1) KR20030029649A (ko)
CN (1) CN1462416A (ko)
CA (1) CA2418089A1 (ko)
MX (1) MXPA03001029A (ko)
WO (1) WO2002013143A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009119955A1 (en) * 2008-03-25 2009-10-01 Samsung Electronics Co., Ltd. Method and apparatus for providing and reproducing three-dimensional video content and recording medium thereof

Families Citing this family (80)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7116323B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method of hidden surface reconstruction for creating accurate three-dimensional images converted from two-dimensional images
US7116324B2 (en) 1998-05-27 2006-10-03 In-Three, Inc. Method for minimizing visual artifacts converting two-dimensional motion pictures into three-dimensional motion pictures
US9286941B2 (en) 2001-05-04 2016-03-15 Legend3D, Inc. Image sequence enhancement and motion picture project management system
JP2004145832A (ja) * 2002-08-29 2004-05-20 Sharp Corp コンテンツ作成装置、コンテンツ編集装置、コンテンツ再生装置、コンテンツ作成方法、コンテンツ編集方法、コンテンツ再生方法、コンテンツ作成プログラム、コンテンツ編集プログラム、および携帯通信端末
WO2004051577A1 (en) * 2002-11-27 2004-06-17 Vision Iii Imaging, Inc. Parallax scanning through scene object position manipulation
US7403201B2 (en) * 2003-01-20 2008-07-22 Sanyo Electric Co., Ltd. Three-dimensional video providing method and three-dimensional video display device
EP1628491A4 (en) * 2003-05-28 2011-10-26 Sanyo Electric Co 3-DIMENSIONAL VIDEO DISPLAY DEVICE, TEXT DATA PROCESSING DEVICE, PROGRAM AND STORAGE MEDIUM
CN100414566C (zh) * 2003-06-19 2008-08-27 邓兴峰 平面图像全景重建立体图像的方法
KR101315080B1 (ko) * 2003-07-11 2013-10-08 코닌클리케 필립스 일렉트로닉스 엔.브이. 디스플레이 디바이스를 위한 캡슐과 그 제조 방법
GB0329312D0 (en) * 2003-12-18 2004-01-21 Univ Durham Mapping perceived depth to regions of interest in stereoscopic images
JP3746506B2 (ja) * 2004-03-08 2006-02-15 一成 江良 立体視化パラメータ埋込装置及び立体視画像再生装置
US20060087556A1 (en) * 2004-10-21 2006-04-27 Kazunari Era Stereoscopic image display device
US7643672B2 (en) * 2004-10-21 2010-01-05 Kazunari Era Image processing apparatus, image pickup device and program therefor
JP4283785B2 (ja) * 2005-05-10 2009-06-24 株式会社マーキュリーシステム 立体視画像生成装置およびプログラム
CN101322155B (zh) * 2005-12-02 2013-03-27 皇家飞利浦电子股份有限公司 立体图像显示方法和设备、从2d图像数据输入产生3d图像数据的方法以及从2d图像数据输入产生3d图像数据的设备
US7911467B2 (en) * 2005-12-30 2011-03-22 Hooked Wireless, Inc. Method and system for displaying animation with an embedded system graphics API
GB0613352D0 (en) * 2006-07-05 2006-08-16 Ashbey James A Improvements in stereoscopic imaging systems
JP4895372B2 (ja) * 2006-10-27 2012-03-14 サミー株式会社 二次元動画像生成装置、遊技機、及び画像生成プログラム
JP2010028456A (ja) * 2008-07-18 2010-02-04 Sony Corp データ構造、再生装置および方法、並びにプログラム
EP2306749B1 (en) * 2008-07-24 2017-04-12 Panasonic Intellectual Property Management Co., Ltd. Playback device capable of stereoscopic playback, playback method, and program
US9251621B2 (en) * 2008-08-14 2016-02-02 Reald Inc. Point reposition depth mapping
EP2319016A4 (en) * 2008-08-14 2012-02-01 Reald Inc STEREOSCOPIC DEPTH MAPPING
WO2010040146A1 (en) * 2008-10-03 2010-04-08 Real D Optimal depth mapping
CN101960862A (zh) * 2008-11-06 2011-01-26 松下电器产业株式会社 再现装置、再现方法、再现程序及集成电路
US8335425B2 (en) * 2008-11-18 2012-12-18 Panasonic Corporation Playback apparatus, playback method, and program for performing stereoscopic playback
US20110279468A1 (en) * 2009-02-04 2011-11-17 Shinya Kiuchi Image processing apparatus and image display apparatus
US9172940B2 (en) 2009-02-05 2015-10-27 Bitanimate, Inc. Two-dimensional video to three-dimensional video conversion based on movement between video frames
US9524700B2 (en) * 2009-05-14 2016-12-20 Pure Depth Limited Method and system for displaying images of various formats on a single display
JP4825321B2 (ja) * 2009-05-25 2011-11-30 パナソニック株式会社 再生装置、再生方法、プログラム
US20100303437A1 (en) * 2009-05-26 2010-12-02 Panasonic Corporation Recording medium, playback device, integrated circuit, playback method, and program
US8928682B2 (en) * 2009-07-07 2015-01-06 Pure Depth Limited Method and system of processing images for improved display
US9294751B2 (en) 2009-09-09 2016-03-22 Mattel, Inc. Method and system for disparity adjustment during stereoscopic zoom
US8884948B2 (en) * 2009-09-30 2014-11-11 Disney Enterprises, Inc. Method and system for creating depth and volume in a 2-D planar image
US8947422B2 (en) * 2009-09-30 2015-02-03 Disney Enterprises, Inc. Gradient modeling toolkit for sculpting stereoscopic depth models for converting 2-D images into stereoscopic 3-D images
US8502862B2 (en) * 2009-09-30 2013-08-06 Disney Enterprises, Inc. Method and system for utilizing pre-existing image layers of a two-dimensional image to create a stereoscopic image
US8538135B2 (en) * 2009-12-09 2013-09-17 Deluxe 3D Llc Pulling keys from color segmented images
US8638329B2 (en) * 2009-12-09 2014-01-28 Deluxe 3D Llc Auto-stereoscopic interpolation
US20110157155A1 (en) * 2009-12-31 2011-06-30 Disney Enterprises, Inc. Layer management system for choreographing stereoscopic depth
US9042636B2 (en) * 2009-12-31 2015-05-26 Disney Enterprises, Inc. Apparatus and method for indicating depth of one or more pixels of a stereoscopic 3-D image comprised from a plurality of 2-D layers
GB2477793A (en) * 2010-02-15 2011-08-17 Sony Corp A method of creating a stereoscopic image in a client device
TW201130285A (en) * 2010-02-26 2011-09-01 Hon Hai Prec Ind Co Ltd System and method for controlling 3D images
TW201031179A (en) * 2010-04-15 2010-08-16 Xiu-Ping Zhou Image transform method, imaging methods and system for stereo vision
JP5143856B2 (ja) * 2010-04-16 2013-02-13 株式会社ソニー・コンピュータエンタテインメント ３次元画像表示装置、および３次元画像表示方法
KR20120063349A (ko) * 2010-12-07 2012-06-15 한국과학기술원 3ｄ 입체 카툰 변환 방법 및 시스템, 이를 위한 기록매체
US10134150B2 (en) * 2010-08-10 2018-11-20 Monotype Imaging Inc. Displaying graphics in multi-view scenes
KR101688153B1 (ko) * 2010-08-11 2016-12-20 엘지전자 주식회사 3차원 영상의 편집 방법 및 이를 이용하는 이동 단말기
KR20120023268A (ko) * 2010-09-01 2012-03-13 삼성전자주식회사 디스플레이 장치 및 그 영상 생성 방법
JP2012053741A (ja) * 2010-09-02 2012-03-15 Sony Corp 画像処理装置、画像処理方法及びコンピュータプログラム
US9485497B2 (en) 2010-09-10 2016-11-01 Reald Inc. Systems and methods for converting two-dimensional images into three-dimensional images
US8831273B2 (en) 2010-09-10 2014-09-09 Reald Inc. Methods and systems for pre-processing two-dimensional image files to be converted to three-dimensional image files
JP5668385B2 (ja) * 2010-09-17 2015-02-12 ソニー株式会社 情報処理装置、プログラムおよび情報処理方法
JP2012094111A (ja) * 2010-09-29 2012-05-17 Sony Corp 画像処理装置、画像処理方法及びプログラム
JP5438082B2 (ja) * 2010-11-16 2014-03-12 パナソニック株式会社 表示装置及び表示方法
JP5649169B2 (ja) 2010-11-22 2015-01-07 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ タッチパネルにおけるドラッグ操作でオブジェクトを移動させる方法、装置及びコンピュータプログラム
FR2969791B1 (fr) * 2010-12-23 2012-12-28 Thales Sa Procede de correction de l'hyperstereoscopie et systeme de visualisation de casque associe
US20120202187A1 (en) * 2011-02-03 2012-08-09 Shadowbox Comics, Llc Method for distribution and display of sequential graphic art
US9288476B2 (en) 2011-02-17 2016-03-15 Legend3D, Inc. System and method for real-time depth modification of stereo images of a virtual reality environment
US9241147B2 (en) 2013-05-01 2016-01-19 Legend3D, Inc. External depth map transformation method for conversion of two-dimensional images to stereoscopic images
US9407904B2 (en) 2013-05-01 2016-08-02 Legend3D, Inc. Method for creating 3D virtual reality from 2D images
US9282321B2 (en) 2011-02-17 2016-03-08 Legend3D, Inc. 3D model multi-reviewer system
JP5987267B2 (ja) 2011-03-28 2016-09-07 ソニー株式会社 画像処理装置および画像処理方法
KR101777875B1 (ko) * 2011-04-28 2017-09-13 엘지디스플레이 주식회사 입체 영상 표시장치와 그 입체 영상 조절 방법
US9154767B2 (en) 2011-05-24 2015-10-06 Panasonic Intellectual Property Management Co., Ltd. Data broadcast display device, data broadcast display method, and data broadcast display program
US20130016098A1 (en) * 2011-07-17 2013-01-17 Raster Labs, Inc. Method for creating a 3-dimensional model from a 2-dimensional source image
JP2013058956A (ja) * 2011-09-09 2013-03-28 Sony Corp 情報処理装置、情報処理方法、プログラム及び情報処理システム
JP6017795B2 (ja) * 2012-02-10 2016-11-02 任天堂株式会社 ゲームプログラム、ゲーム装置、ゲームシステム、およびゲーム画像生成方法
US9007365B2 (en) 2012-11-27 2015-04-14 Legend3D, Inc. Line depth augmentation system and method for conversion of 2D images to 3D images
US9547937B2 (en) 2012-11-30 2017-01-17 Legend3D, Inc. Three-dimensional annotation system and method
US9007404B2 (en) 2013-03-15 2015-04-14 Legend3D, Inc. Tilt-based look around effect image enhancement method
US9438878B2 (en) 2013-05-01 2016-09-06 Legend3D, Inc. Method of converting 2D video to 3D video using 3D object models
RU2013141807A (ru) * 2013-09-11 2015-03-20 Челибанов Владимир Петрович Способ стереоскопии и устройство для его осуществления ("рамка горлова")
US10122992B2 (en) 2014-05-22 2018-11-06 Disney Enterprises, Inc. Parallax based monoscopic rendering
IL236420A (en) 2014-12-23 2016-06-30 Ron Schneider Methods and systems for producing an enlarged 3D image
US9992473B2 (en) 2015-01-30 2018-06-05 Jerry Nims Digital multi-dimensional image photon platform system and methods of use
US10033990B2 (en) 2015-01-30 2018-07-24 Jerry Nims Digital multi-dimensional image photon platform system and methods of use
CN104869389B (zh) * 2015-05-15 2016-10-05 北京邮电大学 离轴式虚拟摄像机参数确定方法及系统
WO2017040784A1 (en) * 2015-09-01 2017-03-09 Jerry Nims Digital multi-dimensional image photon platform system and methods of use
US9609307B1 (en) 2015-09-17 2017-03-28 Legend3D, Inc. Method of converting 2D video to 3D video using machine learning
WO2018191312A1 (en) 2017-04-11 2018-10-18 Dolby Laboratories Licensing Corporation Layered augmented entertainment experiences
KR101990373B1 (ko) * 2017-09-29 2019-06-20 클릭트 주식회사 가상현실 영상 제공 방법 및 이를 이용한 프로그램

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4925294A (en) * 1986-12-17 1990-05-15 Geshwind David M Method to convert two dimensional motion pictures for three-dimensional systems
US4928301A (en) * 1988-12-30 1990-05-22 Bell Communications Research, Inc. Teleconferencing terminal with camera behind display screen
DE69417824T4 (de) * 1993-08-26 2000-06-29 Matsushita Electric Ind Co Ltd Stereoskopischer Abtastapparat
TW269094B (en) * 1994-11-11 1996-01-21 Nitendo Kk Three dimensional visual image display device and electric game apparatus, memory device thereof
US5790086A (en) * 1995-01-04 1998-08-04 Visualabs Inc. 3-D imaging system
US5819017A (en) * 1995-08-22 1998-10-06 Silicon Graphics, Inc. Apparatus and method for selectively storing depth information of a 3-D image
US6108005A (en) * 1996-08-30 2000-08-22 Space Corporation Method for producing a synthesized stereoscopic image
US6031564A (en) * 1997-07-07 2000-02-29 Reveo, Inc. Method and apparatus for monoscopic to stereoscopic image conversion
AUPO894497A0 (en) * 1997-09-02 1997-09-25 Xenotech Research Pty Ltd Image processing method and apparatus
CA2252063C (en) * 1998-10-27 2009-01-06 Imax Corporation System and method for generating stereoscopic image data
JP3634677B2 (ja) * 1999-02-19 2005-03-30 キヤノン株式会社 画像の補間方法、画像処理方法、画像表示方法、画像処理装置、画像表示装置、及びコンピュータプログラム記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009119955A1 (en) * 2008-03-25 2009-10-01 Samsung Electronics Co., Ltd. Method and apparatus for providing and reproducing three-dimensional video content and recording medium thereof
US8824820B2 (en) 2008-03-25 2014-09-02 Samsung Electronics Co., Ltd. Method and apparatus for providing and reproducing three-dimensional video content and recording medium thereof

Also Published As

Publication number Publication date
JP2004505394A (ja) 2004-02-19
EP1314138A1 (en) 2003-05-28
US20020118275A1 (en) 2002-08-29
MXPA03001029A (es) 2003-05-27
CN1462416A (zh) 2003-12-17
CA2418089A1 (en) 2002-02-14
WO2002013143A1 (en) 2002-02-14

Similar Documents

Publication Publication Date Title
KR20030029649A (ko) 화상 변환 및 부호화 기술
JP7283513B2 (ja) 映像表示装置、映像投影装置、それらの方法、プログラム
US7894633B1 (en) Image conversion and encoding techniques
US10095953B2 (en) Depth modification for display applications
KR20110090958A (ko) 이미지 속성들에 대한 오클루젼 데이터의 생성
WO2004019621A1 (ja) 立体視用画像を作成する方法および装置
KR20110093828A (ko) 3ｄ 이미지 신호를 인코딩하기 위한 방법 및 시스템, 인코딩된 3ｄ 이미지 신호, 3ｄ 이미지 신호를 디코딩하기 위한 방법 및 시스템
KR20120095059A (ko) 2ｄ 이미지를 3ｄ 입체 이미지로 전환시키는 방법
TW201921922A (zh) 用於產生影像之設備及方法
CN1524249A (zh) 用于自动进行二维和三维转换的方法
WO2001001348A1 (en) Image conversion and encoding techniques
KR100321897B1 (ko) 입체영상이미지변환방법및그장치
JP6457964B2 (ja) 装置、投影装置、表示装置、画像生成装置、それらの方法、およびプログラム
Galabov A real time 2D to 3D image conversion techniques
EP2249312A1 (en) Layered-depth generation of images for 3D multiview display devices
KR20060114708A (ko) ３차원 모델을 스케일링하는 스케일링 유닛 및 방법
Peterka Dynallax: Dynamic parallax barrier autostereoscopic display
JP6845181B2 (ja) 映像生成装置、映像生成方法、およびプログラム
AU738692B2 (en) Improved image conversion and encoding techniques
JP2004200784A (ja) ３次元映像端末装置、プログラムおよび記録媒体
Huang et al. P‐8.13: Low‐cost Multi‐view Image Synthesis method for Autostereoscopic Display
CN115814415A (zh) 动态效果的模型渲染方法及装置、电子设备、存储介质
TW202325016A (zh) 生成立體光場資料的電子裝置及方法
TWI463434B (zh) 將２ｄ影像形成３ｄ影像之影像處理方法
Tövissy et al. AUTOMATED STEREOSCOPIC IMAGE CONVERSION AND RECONSTRUCTION. DISPLAYING OBJECTS IN THEIR REAL DIMENSIONS (STEREOSCOPIC IMAGE CONVERSION)

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid