KR20120099993A - 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체 - Google Patents

모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체 Download PDF

Info

Publication number
KR20120099993A
KR20120099993A KR1020110018562A KR20110018562A KR20120099993A KR 20120099993 A KR20120099993 A KR 20120099993A KR 1020110018562 A KR1020110018562 A KR 1020110018562A KR 20110018562 A KR20110018562 A KR 20110018562A KR 20120099993 A KR20120099993 A KR 20120099993A
Authority
KR
South Korea
Prior art keywords
frames
frame
rendering
rendered
transfer function
Prior art date
Application number
KR1020110018562A
Other languages
English (en)
Other versions
KR101187530B1 (ko
Inventor
노준용
로제
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020110018562A priority Critical patent/KR101187530B1/ko
Priority to US13/095,464 priority patent/US20120223939A1/en
Publication of KR20120099993A publication Critical patent/KR20120099993A/ko
Application granted granted Critical
Publication of KR101187530B1 publication Critical patent/KR101187530B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/139—Format conversion, e.g. of frame-rate or size

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Processing Or Creating Images (AREA)

Abstract

모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체를 공개한다. 본 발명은 연속되는 복수개의 프레임을 구비하는 이미지 시퀀스를 렌더링함에 있어서, 먼저 기준 프레임을 선택하여 렌더링하고, 선택된 기준 프레임 사이의 노멀 프레임들에 대해서는 채널상에서 시간적으로 이전 프레임에 대한 렌더링 정보뿐만 아니라 이후 프레임에 대한 렌더링 정보 또한 전달함수를 통해 인가받아 렌더링 동작을 수행하므로, 렌더링 시간과 렌더링 오류를 줄일 수 있다. 또한 이미지 시퀀스가 스테레오 스코픽 및 멀티뷰를 위한 다채널 이미지 시퀀스이면, 인접한 채널의 동일 시간 프레임에 대한 렌더링 정보를 전달함수를 통해 추가로 인가받을 수 있으므로, 더욱 효율적인 렌더링 작업을 수행할 수 있다.

Description

모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체{Rendering strategy for monoscopic, stereoscopic and multi-view computer generated imagery, system using the same and recording medium for the same}
본 발명은 렌더링 방법, 시스템 및 이를 위한 기록매체에 관한 것으로 특히 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체에 관한 것이다.
컴퓨터로 제작되는 영상 컨텐츠(visual content)는 대부분 렌더링(rendering) 작업을 반드시 필요로 한다. 애니메이션 또는 CG로 제작되는 컨텐츠는 소위 프레임으로 불리는 이미지들의 집합으로 구성된다.
컴퓨터 그래픽 기술의 발전으로 렌더링 시간이 기존에 비해 줄어들었다. 그러나 컴퓨터 그래픽 기술의 주요 목적은 실제적인 흡입력 있는 이미지를 창조하는 것이다. 흡입력 있는 이미지를 생성하기 위한 광 추적(ray tracing) 또는 3D 텍스처(texture)와 같은 최신 기술은 기존의 이미지 생성 방법에 비해 매우 사실적인 이미지를 생성 할 수 있지만, 종래에 비하여 매우 복잡한 연산을 필요로 한다. 또한 최신 기술은 각 프레임에 대해 추가의 고려되어야 할 렌더링 시간을 필요로 한다. 경우에 따라서 렌더링 시간은 각 프레임당 90시간 또는 그 이상을 필요로 한다. 그리고 장편 영화를 위한 표준 프레임율은 초당 24, 25 또는 30프레임이다. 만일 상영 시간이 1시간 30분인 영화에 초당 24프레임이 적용되면, 렌더링 되어야 하는 전체 프레임은 129,600 프레임이다. 또한 이미지의 해상도가 영상의 발전에 따라 하는 추세이고, 렌더링 되어야 하는 픽셀의 개수는 이미지의 크기에 지수적으로 증가하므로, 영상 컨텐츠 제작 시에 렌더링을 위해 소비되는 시간은 더욱 증가하는 추세이다.
상기한 렌더링 시간을 줄이기 위한 방법의 하나로 렌더 팜(Render farm) 및 병렬 렌더링(Parallel rendering) 기법이 활용되고 있다. 그러나 렌더 팜 및 병렬 렌더링 기법은 복수개의 프로세서 코어들이 독립적으로 병렬 렌더링을 수행함으로서 렌더링 시간을 줄이는 기법이다. 따라서 렌더 팜 및 병렬 렌더링 기법은 하드웨어의 성능을 높임으로서 렌더링 시간을 줄이는 기법이며, 이는 결과적으로 시간 비용은 줄일 수 있으나 설비비용의 증가를 초래한다. 그러므로 고비용이 요구되고, 다양한 영역에서 렌더링이 광범위하게 사용되는데 장애가 된다.
상기한 이유로 영상 효과 또는 애니메이션 영화를 위한 이미지 시퀀스(image sequences)들을 생성하는 컴퓨터의 창작 작업 시에 렌더링 작업은 비록 핵심 작업은 아닐지라도, 가장 많은 시간을 필요로 하는 작업이며, 이는 영상 컨텐츠 제작의 비용 증가를 초래한다. 특히 3차원 입체 영상을 렌더링하기 위한 시간 비용은 2차원 영상보다 매우 높게 나타나며, 최근에는 3차원 입체 영상이 멀티뷰(multi-view)를 제공할 수 있도록 발전하고 있으므로, 렌더링을 위해 필요한 시간이 급격하게 증가하고 있다.
본 발명의 목적은 모노스코픽을 위한 렌더링 방법을 제공하는데 있다.
본 발명의 다른 목적은 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법을 제공하는데 있다.
본 발명의 또 다른 목적은 상기 목적 및 다른 목적을 달성하기 위한 렌더링 시스템을 제공하는 있다.
상기 목적을 달성하기 위한 모노스코픽을 위한 렌더링 방법은 시간에 따라 연속적으로 획득된 복수개의 프레임으로 구성되는 이미지 시퀀스가 인가되는 단계, 상기 복수개의 프레임에서 시간적으로 이산된 복수개의 기준 프레임이 렌더링되는 단계, 및 상기 복수개의 기준 프레임 사이의 하나 또는 그 이상의 노멀 프레임이 시간적으로 이전 및 이후의 상기 렌더링된 기준 프레임으로부터 인접한 프레임을 통해 순차적으로 전달되는 전달함수를 이용하여 렌더링 되는 단계를 구비한다.
상기 다른 목적을 달성하기 위한 스테레오스코픽 및 멀티뷰를 위한 렌더링 방법은 각각 시간에 따라 연속적으로 획득된 복수개의 프레임으로 구성되는 복수개의 채널을 구비하는 이미지 시퀀스가 인가되는 단계, 상기 복수개의 채널 각각의 상기 복수개의 프레임에서 시간적으로 이산된 복수개의 기준 프레임이 렌더링되는 단계, 상기 복수개의 채널 각각에서 상기 복수개의 기준 프레임 사이의 하나 또는 그 이상의 노멀 프레임이 시간적으로 이전 및 이후의 상기 렌더링된 기준 프레임으로부터 인접한 프레임을 통해 순차적으로 전달되는 전달함수를 이용하여 렌더링되는 단계, 및 상기 복수개의 채널 중 인접한 채널의 렌더링된 상기 기준 프레임 또는 상기 노멀 프레임으로부터 전달되는 상기 전달함수를 이용하여 상기 노멀 프레임이 추가적으로 렌더링되는 단계를 구비한다.
상기 목적을 달성하기 위한 복수개의 기준 프레임이 렌더링되는 단계는 상기 이미지 시퀀스의 상기 복수개의 채널 각각에서 상기 복수개의 프레임의 변화율이 순차적으로 확인되는 단계, 상기 변화율이 제 1 기준값보다 크면, 변화율이 큰 프레임이 상기 기준 프레임으로 선택되는 단계, 및 상기 선택된 기준 프레임이 렌더링되는 단계를 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 기준 프레임으로 선택되는 단계는 상기 변화율이 제 1 기준값보다 크면, 상기 기준 프레임으로 선택되는 단계, 상기 변화율이 제 1 기준값보다 작으면, 이후 프레임의 변화율이 확인되는 단계, 선택된 기준 프레임 사이의 변화율이 확인되는 단계, 및 상기 선택된 기준 프레임 사이의 변화율이 제 2 기준값보다 크면, 상기 선택된 기준 프레임 사이에 상기 기준 프레임이 추가되는 단계를 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 이후 프레임의 변화율이 확인되는 단계는 확인된 프레임의 개수가 설정된 프레임의 개수보다 큰지 판별되는 단계, 상기 확인된 프레임의 개수가 설정된 프레임의 개수보다 크지 않으면, 이후 프레임의 변화율이 확인되는 단계, 및 상기 확인된 프레임의 개수가 설정된 프레임의 개수보다 크면, 현재 프레임이 기준 프레임으로 설정되는 단계를 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 전달함수를 이용하여 렌더링되는 단계는 상기 렌더링된 기준 프레임의 렌더링 정보가 상기 전달함수로서 상기 기준 프레임에 시간적으로 이전 및 이후로 인접한 노멀 프레임으로 전달되는 단계, 상기 기준 프레임에 인접한 노멀 프레임이 상기 전달 함수를 이용하여 렌더링되는 단계, 및 상기 렌더링된 노멀 프레임의 렌더링 정보가 상기 전달함수로서 상기 렌더링된 노멀 프레임의 시간적으로 이전 및 이후로 인접한 다른 노멀 프레임으로 전달되어 렌더링되는 단계를 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 전달함수를 이용하여 렌더링되는 단계는 상기 렌더링된 기준 프레임으로부터 시간의 순서에 따라 순차적으로 인접한 노멀 프레임이 렌더링된 후, 시간의 역순에 따라 순차적으로 인접한 노멀 프레임이 렌더링되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 추가적으로 렌더링되는 단계는 상기 복수개의 채널 중 인접한 채널의 동시간의 프레임에 대한 렌더링 정보가 상기 전달함수로서 전달되는 단계, 및 상기 인접한 채널의 인접한 채널의 동시간의 프레임에 대한 전달함수를 이용하여 상기 노멀 프레임이 렌더링되는 단계를 구비하는 것을 특징으로 한다.
상기 목적을 달성하기 위한 추가적으로 렌더링되는 단계는 상기 복수개의 채널 중 일측의 채널로부터 타측으로 순차적으로 인접한 노멀 프레임이 렌더링된 후, 상기 타측의 채널로부터 상기 일측으로 인접한 노멀 프레임이 렌더링되는 것을 특징으로 한다.
상기 목적을 달성하기 위한 이미지 시퀀스가 인가되는 단계는 외부에서 상기 이미지 시퀀스가 인가되는 단계, 및 상기 이미지 시퀀스가 버퍼링되는 단계를 구비하는 것을 특징으로 한다.
따라서, 본 발명의 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체는 채널상에서 시간적으로 이전 프레임에 대한 렌더링 정보뿐만 아니라 이후 프레임에 대한 렌더링 정보 또한 전달함수를 통해 인가받아 렌더링 동작을 수행하므로, 렌더링 시간과 렌더링 오류를 줄일 수 있다. 더욱이 이미지 시퀀스가 스테레오 스코픽 및 멀티뷰를 위한 다채널 이미지 시퀀스이면, 인접한 채널의 동일 시간 프레임에 대한 렌더링 정보를 전달함수를 통해 추가로 인가받을 수 있으므로, 더욱 효율적인 렌더링 작업을 수행할 수 있다.
도 1은 본 발명의 일예에 따른 렌더링 시스템을 나타내는 도면이다.
도 2는 본 발명의 일예에 따른 모노스코픽을 위한 렌더링 과정을 나타내는 도면이다.
도 3은 본 발명의 일예에 따른 렌더링 방법을 나타내는 도면이다.
도 4는 본 발명의 다른 예에 따른 스테레오스코픽을 위한 렌더링 방법을 나타내는 도면이다.
도 5는 본 발명의 다른 예에 따른 멀티뷰를 위한 렌더링 방법을 나타내는 도면이다.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로서, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 “포함”한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 “...부”, “...기”, “모듈”, “블록” 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 일예에 따른 렌더링 시스템을 나타내는 도면이다.
도 1을 참조하면 본 발명의 렌더링 시스템은 버퍼부(10), 이미지 분석부(20), 렌더링 실행부(30), 전달함수 생성부(40) 및 저장 및 출력부(50)를 구비한다.
버퍼부(10)는 외부에서 인가되는 입력 이미지 시퀀스(in)를 버퍼링하여 저장한다. 일반적으로 영상 컨텐츠(visual content)로 이용되는 이미지 시퀀스는 복수개의 프레임으로 구성되고, 연속되는 복수개의 프레임은 장면 전환 등의 특별한 경우를 제외하면 대부분 유사한 내부 이미지를 갖는다. 따라서 이미지 시퀀스(in)를 인가받아 영상 처리를 수행하는 시스템은 대부분 버퍼를 구비하여 복수개의 프레임을 동시에 영상 처리하거나, 이전 영상 처리된 프레임을 기준으로 이후 인가되는 프레임에 대해 영상 처리를 수행한다. 그리고 본 발명의 렌더링 시스템 또한 인가되는 이미지 시퀀스(in)에서 연속되는 복수개의 프레임에 대해 영상처리를 수행하기 위해 버퍼부(10)를 구비하여 이미지 시퀀스(in)를 버퍼링한다.
이미지 분석부(20)는 버퍼부(10)에 버퍼링된 이미지 시퀀스(in)를 인가받아 각 프레임별로 이미지를 분석한다. 예를 들어 연속되는 복수개의 프레임에서 장면 전환과 같이 완전히 다른 내부 이미지를 갖는 프레임이 나타나는지를 판별하고, 이전 프레임과 매우 다른 내부 이미지를 갖는 프레임이 나타나면 해당 프레임과 바로 이전 프레임을 각각 기준 프레임으로 선택한다. 여기서 현재 프레임이 이전 프레임과 매우 다른 내부 이미지를 갖는지 여부는 이미 공지된 다양한 영상 분석 기법을 이용하여 판단할 수 있다. 그리고 이미지 분석부(20)는 이전 프레임과 현재 프레임을 기준 프레임으로 선택할지 여부를 판별하기 위한 기준값이 미리 지정될 수 있다. 또한 본 발명에서 이미지 분석부(20)는 이미지 시퀀스의 렌더링을 용이하게 할 수 있도록, 매우 큰 변화를 갖는 연속된 프레임 이외의 연속된 프레임에서도 기준 프레임을 선택할 수 있도록 복수개의 기준값이 지정될 수도 있다.
렌더링 실행부(30)는 이미지 분석부(20)에 의해 선택된 기준 프레임에 대해 렌더링 동작을 수행한다. 렌더링 실행부(30)가 기준 프레임에 대해서 렌더링 동작을 수행할 때, 렌더링 실행부(30)는 기준 프레임의 내부 이미지 전체에 대해 렌더링 동작을 수행한다.
그리고 렌더링 실행부(30)는 전달함수 생성부(40)에서 인가되는 전달함수를 이용하여, 기준 프레임 이외의 나머지 프레임(이하 노멀 프레임)들에 대해 렌더링 동작을 수행한다. 그러나 렌더링 실행부(30)는 노멀 프레임에 대해서 렌더링 동작을 수행할 때, 렌더링 실행부(30)는 인접한 프레임에서 인가되는 전달함수를 이용하여 렌더링 동작을 수행한다. 전달 함수를 이용하여 렌더링 동작을 수행하면, 각각의 프레임 내부 이미지 전체에 대해 렌더링 동작을 수행하기 보다는 인접한 프레임의 전달함수를 통해 렌더링 정보를 이용하므로, 전체 내부 이미지를 렌더링 하는 기준 프레임에 대한 렌더링 동작보다 매우 간단하게 렌더링 동작을 수행할 수 있다.
또한 본 발명의 렌더링 시스템에서는 노멀 프레임에 대해서 렌더링 동작을 수행할 때, 렌더링 실행부(30)는 연속되는 프레임들 중에서 시간적으로 이전 프레임뿐만 아니라 이후 프레임에 대한 렌더링 정보 또한 전달함수로서 인가받아 렌더링 동작을 수행한다. 상기한 바와 같이 렌더링 되어야하는 이미지 시퀀스(in)가 시간적으로 연속되는 복수개의 프레임으로 구성되고, 연속되는 복수개의 프레임이 버퍼부(10)에 버퍼링되어 저장된다. 그리고 렌더링 실행부(30)는 버퍼부(10)에서 저장된 복수개의 프레임 중에서 기준 프레임에 대해 먼저 렌더링 동작을 수행한다. 따라서 두 개의 기준 프레임 사이의 배치된 하나 또는 그 이상의 프레임들은 이미지 시퀀스에서 시간적으로 이전 기준 프레임과 이후 기준 프레임이 먼저 렌더링 되었으므로, 이전 프레임뿐만 아니라 이후 프레임에 대한 렌더링 정보 또한 전달함수로서 인가받을 수 있다.
추가적으로 이미지 시퀀스가 모노스코픽(monoscopic)을 위한 단일 채널 이미지 시퀀스가 아니라 스테레오스코픽(stereoscopic)을 위한 2채널 이미지 시퀀스이거나, 멀티뷰(multi-view)를 위한 다채널 이미지 시퀀스인 경우, 렌더링 실행부(30)는 이전 및 이후 프레임에 대한 렌더링 정보뿐만 아니라 인접한 채널의 동일 시간의 프레임에 대한 렌더링 정보 또한 전달함수로서 인가받아 렌더링 동작을 수행하기 위해 이용할 수 있다.
전달함수 생성부(40)는 렌더링 실행부(30)에서 렌더링된 기준 프레임 및 노멀 프레임과 함께 기준 프레임 및 노멀 프레임에 대한 렌더링 정보를 인가받아 전달 함수를 생성하여 렌더링 실행부(30)로 피드백하고, 렌더링된 기준 프레임 및 노멀 프레임을 저장 및 출력부(50)로 전송한다. 전달함수 생성부(40)는 렌더링 실행부(30)에서 렌더링된 기준 프레임 또는 노멀 프레임의 렌더링 정보로부터 이전 프레임을 위한 전달함수, 이후 프레임을 위한 전달함수를 생성하여 렌더링 실행부(30)로 전송한다. 또한 상기한 바와 같이 이미지 시퀀스가 스테레오스코픽 또는 멀티뷰를 위한 다채널 이미지 시퀀스이면, 인접한 채널의 동시간 프레임을 위한 전달 함수도 추가로 생성하여 렌더링 실행부(30)로 전송한다.
여기서 전달 함수는 다양한 방법으로 생성될 수 있으며, 전달 함수를 생성하는 많은 기술이 공지되어 있다. 대표적으로 옵티컬 플로우(optical flow) 기법에 이용되는 모션 벡터(motion vector)(또는 벡터 맵)가 전달 함수로서 사용될 수 있다. 모션 벡터는 객체의 움직임을 시간에 따라 추적하는 기법으로 단채널 이미지 시퀀스 및 다채널 이미지 시퀀스에 모두 사용 될 수 있다. 한편 이미지 시퀀스가 다채널 이미지 시퀀스일 때, 전달 함수의 일예로 깊이 맵(depth map) 또는 디스패리티 맵(disparity map)이 사용 될 수 있다. 다채널 이미지 시퀀스는 대부분의 경우 3차원 입체 영상을 위해 사용되고 있으며, 깊이 맵(depth map)과 디스패리티 맵(disparity map)은 3차원 입체 영상에서 일반적으로 사용되는 정보이다. 깊이 맵은 특정 장면에서 카메라로부터 각 객체들의 거리 정보를 인코딩한 것으로 렌더링 되는 깊이 맵의 각 픽셀 값은 카메라로부터 구분되는 객체까지의 거리에 비례한다. 그리고 디스패리티 맵은 다채널 이미지 시퀀스에서 각 채널 사이의 시차(disparity )를 나타내는 정보이다. 또한 깊이 맵과 디스패리티 맵은 상호 연관성이 있으며, 일반적으로 반비례 관계로 나타난다.
저장 및 출력부(50)는 렌더링된 이미지 시퀀스의 복수개의 프레임을 저장하고, 시간에 따른 순서로 정렬한 후 외부로 출력한다. 상기한 바와 같이, 본 발명에서 렌더링 시스템은 시간적인 순서에 따라 프레임을 렌더링하는 것이 아니라 선택된 기준 프레임을 렌더링한 이후 렌더링된 기준 프레임에서 인접한 프레임으로부터 점차로 먼 프레임을 전달 함수를 이용하여 렌더링한다. 따라서 이미지 시퀀스의 복수개의 프레임은 시간에 따른 순서대로 렌더링 되지 않으므로, 렌더링된 이미지 시퀀스를 출력하기 위해서는 렌더링된 복수개의 프레임을 시간 순서에 따라 재정렬해야한다. 따라서 저장 및 출력부(50)는 일단 렌더링된 이미지 시퀀스의 복수개의 프레임을 재정렬하기 위하여 렌더링되어 인가되는 복수개의 프레임을 먼저 저장하고, 재정렬한 후에 렌더링 되고 재정렬된 이미지 시퀀스(out)를 외부로 출력한다.
즉 본 발명의 렌더링 방법은 인가되는 이미지 시퀀스의 복수개의 프레임을 분석하여 시간적으로 이산(discreted)된 기준 프레임을 선택하여 렌더링하고, 렌더링된 기준 프레임의 렌더링 정보를 이용하여 전달 함수를 생성하여 렌더링 된 기준 프레임에 인접한 노멀 프레임을 렌더링하며, 이후 렌더링된 노멀 프레임의 렌더링 정보를 이용하여 전달 함수를 생성하여 연속적으로 인접한 노멀 프레임을 렌더링한다.
도 2는 본 발명의 일예에 따른 모노스코픽을 위한 렌더링 과정을 나타내는 도면이다.
도 2는 모노스코픽을 위한 렌더링이므로 단일 채널 이미지 시퀀스를 나타내며, 이미지 시퀀스의 연속되는 복수개의 프레임 중 n번째 프레임(Fr(n))으로부터 연속되는 5개의 프레임만을 도시하였다. 그리고 도 2에서는 n번째 프레임(Fr(n))과 n+5번째 프레임(Fr(n+5))이 이미지 분석부(20)에 의해 기준프레임으로 선택된 것으로 가정하여 설명한다.
n번째 프레임(Fr(n))과 n+5번째 프레임(Fr(n+5))이 기준 프레임으로 선택되었으므로, 두 기준 프레임(Fr(n), Fr(n+5)) 사이의 n+1번째 프레임(Fr(n+1))부터 n+4번째 프레임(Fr(n+4))은 노멀 프레임이다. 상기한 바와 같이 본 발명에 따른 렌더링 시스템은 먼저 선택된 렌더링 실행부(30)에서 기준 프레임(Fr(n), Fr(n+5))에 대해 렌더링 동작을 수행한다.
그러면 전달함수 생성부(40)는 렌더링된 기준 프레임(Fr(n), Fr(n+5))에 대한 렌더링 정보를 기초로 하여 각각 인접한 프레임을 렌더링하기 위한 전달 함수(T(n,n+1), T(n+5,n+4))를 생성하여 렌더링 실행부(30)로 생성된 전달 함수(T(n,n+1), T(n+5,n+4))를 피드백한다.
렌더링 실행부(30)는 전달함수 생성부(40)에서 피드백 되어 인가되는 전달 함수(T(n,n+1), T(n+5,n+4))를 이용하여 기준 프레임(Fr(n), Fr(n+5))에 인접한 노멀 프레임(Fr(n+1), Fr(n+4))을 렌더링하고, 전달함수 생성부(40)는 다시 렌더링된 노멀 프레임(Fr(n+1), Fr(n+4))을 기초로 하여 각각 인접한 프레임을 렌더링하기 위한 전달 함수(T(n+1,n+2), T(n+4,n+3))를 생성하여 렌더링 실행부(30)로 생성된 전달 함수(T(n+1,n+2), T(n+4,n+3))를 피드백한다. 즉 렌더링 실행부(30)와 전달함수 생성부(40)는 기준 프레임(Fr(n), Fr(n+5))으로부터 인접한 노멀 프레임(Fr(n+1) ~ Fr(n+4))을 순차적으로 렌더링하고, 전달함수를 생성하는 과정을 반복적으로 수행한다. 그리고 노멀 프레임(Fr(n+4), Fr(n+1))을 렌더링한 이후 렌더링 순서에서 이후 렌더링되어야 하는 프레임이 기준 프레임(Fr(n+5), Fr(n))이면, 전달함수 생성을 중지한다. 이는 기준 프레임(Fr(n), Fr(n+5))은 전달함수를 이용하여 렌더링이 수행되지 않는 프레임이기 때문이다.
도 2에 도시된 바와 같이, 본 발명의 일예에 따른 모노스코픽을 위한 렌더링 방법은 이미지 시퀀스를 구성하는 복수개의 프레임 전체에 대해 각각 렌더링 작업을 수행하지 않고 소정 개수의 프레임만을 선택하여 렌더링 작업을 수행하고, 이후 렌더링 된 프레임을 기초로하여 렌더링 되지 않은 나머지 프레임에 대해서는 복수개의 내부 프레임 전달 함수(inter-frame transfer functions)를 이용하여 렌더링 작업을 수행한다. 이때 렌더링되는 프레임으로 선택되는 프레임은 시간적으로 연속되는 프레임이 선택되는 것이 아니라 이산적으로 분산된 프레임이 선택된다.
도 2에 도시된바와 같이, 양방향 전달함수를 이용하여 이미지 시퀀스에 대해서 렌더링 동작을 수행하면, 일방향만으로 전달함수를 이용하여 렌더링 동작을 수행하는 경우보다 기준 프레임 사이의 간격을 더 넓게 설정하여도 렌더링 오류를 줄일 수 있다. 예를 들어 일방향 전달 함수를 이용하여 렌더링 동작을 수행할 때, 이미지 시퀀스의 연속되는 복수개의 프레임에서 5개의 프레임마다 기준 프레임이 선택되어야 한다고 가정하면, 양방향 전달 함수를 이용하여 렌더링 동작을 수행하는 경우에는 10개의 프레임마다 기준 프레임을 선택하여도 동일하거나 더 적은 오류로 렌더링 동작을 수행할 수 있다. 이는 노멀 프레임이 전달 함수를 통해 양방향에서 렌더링 정보를 인가받음으로서, 더욱 일방향 전달 함수를 이용한 렌더링 동작에 비해 더욱 많은 렌더링 정보를 획득할 수 있기 때문이다. 더욱이 시간의 흐름에 따른 카메라의 이동을 고려할 때, 일방향 전달 함수만을 렌더링 정보로서 이용하는 경우에 획득할 수 없는 렌더링 정보를 양방향 전달 함수를 이용하면, 획기적으로 줄일 수 있다. 예를 들어 카메라가 좌측에서 우측으로 이동하는 경우, 특정 객체에 의해 가려지는 배경 영역은 렌더링되어야 하는 프레임보다 시간적으로 이후의 프레임에 나타날 수 있다. 물론 이후의 프레임의 렌더링 정보를 이용하더라도 모든 배경 영역에 대한 렌더링 정보를 획득할 수 없을 수 있으나, 이전 프레임의 렌더링 정보만을 이용하는 경우에 비하여 획득할 수 없는 렌더링 정보는 대폭 줄어들게 된다. 따라서 렌더링 오류 영역을 줄일 수 있다.
그럼에도 기준 프레임 사이의 간격과 렌더링 오류는 서로 비례하여 증가하므로, 기준 프레임 사이의 간격은 사용하는 전달함수의 특성이나 인가되는 이미지 시퀀스의 특성 및 요구되는 출력 이미지 시퀀스(out)의 품질 등을 고려하여 사용자가 조절할 수 있어야 할 것이다.
상기에서 렌더링 오류는 여러 가지 방법으로 측정될 수 있으며, 일예로 렌더링된 프레임에서 렌더링되지 않는 영역의 양으로서 측정될 수 있다. 일반적으로 렌더링 과정에서 채워지지 않는 영역들은 홀(hole)로 불리며, 고품질의 영상을 생성하기 위해서는 이러한 홀을 최대한 줄여야하고, 이러한 홀을 줄이는 과정을 홀채우기(hole filling)이라 일컫는다.
그리고 상기한 바와 같이, 기준 프레임은 전달함수를 이용하지 않고 전체 내부 이미지가 개별적으로 렌더링되어야 하므로, 렌더링을 위해 많은 시간이 소요된다. 그러므로 동일한 이미지 시퀀스에 대해 선택되는 기준 프레임의 개수가 줄고, 전달 함수를 이용하여 렌더링되는 노멀 프레임의 개수가 늘어나게 되면 전체 이미지 시퀀스에 대한 렌더링 시간 또한 대폭 줄어들게 된다.
따라서 렌더링 시간을 줄일 수 있을 뿐만 아니라 보다 정확한 렌더링 작업을 수행할 수 있다.
도 3은 본 발명의 일예에 따른 렌더링 방법을 나타내는 도면이다.
도 1 및 도 2를 참고하여, 도 3의 렌더링 방법을 설명하면, 먼저 복수개의 프레임으로 구성되는 이미지 시퀀스(in)가 버퍼부(10)로 인가된다(S11). 이미지 시퀀스(in)는 단채널 이미지 시퀀스 일수도 있으며, 다채널 이미지 시퀀스 일 수도 있다. 이미지 시퀀스(in)가 버퍼부(10)에 버퍼링되면, 이미지 분석부(20)는 버퍼링된 이미지 시퀀스(in)를 분석하여 이미지 시퀀스(in)의 연속되는 복수개의 프레임의 변화율을 확인한다(S12). 프레임의 변화율이 미리 설정된 제 1기준값보다 큰지 판별한다(S13). 이는 이미지 시퀀스(in)의 연속되는 복수개의 프레임에서 장면 전환과 같이 내부 이미지의 차이가 큰 이미지를 획득하여 기준 프레임을 선택하기 위함이다.
이미지 시퀀스(in)에서 전달함수를 이용하여 렌더링 동작을 수행하기 위해서는 몇 가지 선행 조건이 요구된다. 첫 번째 조건은 이미지 시퀀스에서 객체의 움직임이나 카메라의 움직임 등에 의해 복수개의 프레임 사이의 이미지가 서로 다를 지라도 두 개의 연속적인 두 개의 프레임 사이의 내부 이미지는 매우 유사하다는 것이다. 이는 인접한 두 개의 프레임이 서로 유사한 경우에만 전달 함수로서 전달이 가능하기 때문이다. 그리고 두 번째 조건은 주어진 시간 내의 복수개의 프레임은 전체적으로 유사하다는 것이다. 이 두 번째 조건은 첫 번째 조건의 확장의 의미로서, 두 기준 프레임 사이에서 전달 함수를 통해 렌더링되는 모든 프레임들은 서로 유사한 내부 이미지를 가져야 한다는 것이다. 세 번째 조건은 상기한 바와 같이, 양방향 전달 함수를 이용하는 경우에 오류 영역은 일방향 전달 함수를 이용하는 경우보다 줄어든다는 것이다. 즉 양방향 전달 함수를 통해 렌더링된 프레임의 오류 영역이 줄어들지 않는다면, 기준 프레임 사이의 시간 간격을 넓게 설정할 수가 없으므로 양방향 전달 함수를 이용하는 효과가 반감된다. 세 번째 조건에서 위배되는 경우는 극히 드문 경우로서 카메라가 일방향으로 이동하다가 다시 원위치로 복귀하는 경우에 해당할 수 있다. 그러나 일반적으로 기준 프레임 사이의 시간은 이러한 카메라의 큰 이동이 반영될 만큼 길게 설정되지 않으므로, 세 번째 조건에 위배되는 이미지 시퀀스는 거의 나타나지 않는다.
상기한 세가지 조건 중 첫 번째 조건을 만족하는 기준 프레임을 설정하기 위하여 본 발명에서는 프레임의 변화율이 미리 설정된 제 1기준값보다 큰지 판별한다(S13).
프레임의 변화율이 미리 설정된 제 1기준값보다 크면, 해당 프레임을 기준 프레임으로 선택한다(S14). 그러나 프레임의 변화율이 제 1기준값보다 크지 않으면, 확인된 프레임 개수가 설정된 프레임의 개수보다 큰지 판별한다(S15).
이는 두 기준 프레임 사이의 시간 간격이 너무 커지지 않도록 하기 위함이다. 두 기준 프레임 사이의 시간 간격이 너무 커지게 되면, 버퍼부(10)와 저장 및 출력부(50)에 매우 큰 저장 공간을 요구하게 된다. 또한 실시간 영상 처리와 같이, 즉시적인 영상 출력이 요구되는 경우에 대응할 수 없게 되며, 기준 프레임 사이의 시간 간격이 커지게 되면, 양방향 전달함수를 이용할지라도 필연적으로 오류 영역이 커지게 될수 있다. 따라서 연속된 프레임의 변화율이 크지 않더라도, 기준 프레임 사이의 간격이 너무 넓어지지 않도록, 미리 프레임 개수를 제한할 필요가 있다. 즉 상기한 세가지 조건 중 세 번째 조건을 만족하는 기준 프레임을 설정하기 위하여, 본 발명에서는 확인된 프레임 개수가 설정된 프레임의 개수보다 큰지 판별한다(S15).
확인된 프레임 개수가 설정된 프레임의 개수보다 크지 않으면, 이미지 시퀀스(in)에서 다음 프레임의 변화율을 확인한다(S12). 그러나 확인된 프레임 개수가 설정된 프레임의 개수보다 크면, 프레임의 변화율이 큰 경우와 마찬가지로 해당 프레임을 기준 프레임으로 선택한다(S14).
기준 프레임이 선택되면, 기준 프레임 사이의 변화율을 확인한다(S16). 기준 프레임 사이의 변화율을 확인하는 것은 상기한 세가지 조건 중 두 번째 조건을 만족하는 기준 프레임을 설정하기 위한 것으로, 비록 연속되는 프레임 사이에 변화율이 크지 않더라도, 두 기준 프레임 사이의 변화율이 크다면 오류 영역이 증가 할 수 있기 때문이다.
기준 프레임 사이의 변화율이 미리 설정된 제 2기준값보다 크면, 해당 시간 구간내의 변화율이 크다는 것을 의미하므로, 선택된 두 기준 프레임 사이의 노멀 프레임 중 하나를 추가로 기준 프레임으로 선택한다(S18). 그리고 선택된 기준 프레임들에 대해 렌더링 실행부(30)이 렌더링 작업을 수행한다(S19). 그러나 기준 프레임 사이의 변화율이 미리 설정된 제 2기준값보다 크지 않으면, 기준 프레임 추가 없이 선택된 기준 프레임들에 대해 렌더링 작업을 수행한다(S19).
선택된 기준 프레임들에 대한 렌더링 작업이 완료되면, 렌더링된 기준 프레임의 렌더링 정보를 기초로 전달함수 생성부(40)가 전달 함수를 생성하여 렌더링 실행부(30)로 피드백한다(S20). 그리고 렌더링 실행부(30)로 피드백된 전달 함수를 이용하여 렌더링 실행부(30)는 기준 프레임에 시간적으로 전후로 인접한 프레임을 렌더링한다(S21).
프레임을 렌더링한 후, 전달함수 생성부(40)는 렌더링된 프레임에 이전 렌더링된 순서에 따라 타측으로 인접한 프레임이 기준 프레임인지 확인한다(S23). 타측으로 인접한 프레임이 기준 프레임이 아니면, 타측으로 인접한 프레임을 렌더링하기 위해 다시 전달함수를 생성하여 렌더링 실행부(30)로 피드백한다. 그러나 기준 프레임은 이미 렌더링 되었으므로 추가적으로 렌더링할 필요가 없다. 따라서 현재 선택된 기준 프레임과 기준 프레임 사이의 노멀 프레임에 대해서는 모두 렌더링된 것으로 판단하고, 이미지 시퀀스에서 렌더링 되지 않은 프레임이 있는지 판별한다(S24). 모든 프레임이 렌더링되었으면, 렌더링 작업을 종료하고, 렌더링 되지 않은 프레임이 남아 있다면, 다시 기준 프레임을 선택하기 위해 이미지 시퀀스의 프레임 변화율을 확인한다(S12).
상기에서 제 1 및 제 2기준값과 설정된 프레임의 개수는 사용되는 렌더링 시간 전달함수에 따라 조절될 수 있으며, 사용자가 설정할 수 있다.
도 4는 본 발명의 다른 예에 따른 스테레오스코픽을 위한 렌더링 방법을 나타내는 도면이다.
스테레오스코픽을 위한 이미지 시퀀스는 3D 입체 영상을 생성하기 위한 기본적인 이미지 시퀀스로서 일반적으로 좌우 2개의 카메라를 이용하여 좌채널(Ch_L)과 우채널(Ch_R)의 2채널로 생성된다. 그리고 좌우 2개의 카메라는 입체 영상을 위한 리그(rig)에 배치되므로, 리그의 양 카메라의 위치 및 거리를 알면 하나의 카메라로부터 다른 카메라로 렌더링 정보, 즉 전달 함수를 전달할 수 있다.
본 발명에서는 도 4에 도시된 바와 같이 스테레오스코픽을 위한 이미지 시퀀스에서 각 채널별로 시간적으로 양방향으로 전달함수를 전달할 뿐만 아니라 두 개의 채널(Ch_L, Ch_R) 사이에도 서로 전달함수를 전달하도록 한다. 스테레오스코픽을 위한 이미지 시퀀스에서 각 채널의 동일 시간의 프레임은 실질적으로 카메라의 위치 차이로 인한 뷰포인트의 차이이며, 따라서 각 채널의 동일 시간의 프레임은 동일 채널에서 인접한 프레임들과 마찬가지로 서로 유사한 내부 이미지를 갖는다. 그러므로 모노스코픽을 위한 이미지 시퀀스에서 시간적으로 양방향으로 전달함수를 이용하는 것과 유사하게 2개의 채널(Ch_L, Ch_R) 사이에도 서로 전달함수를 이용하여 복수개의 프레임에 대해 렌더링 동작을 수행할 수 있게 된다.
도 4에서는 이미지 시퀀스에서 2개 채널(Ch_L, Ch_R)에 대해 각각 n번째 프레임(FrL(n), FrR(n))부터 n+4번째 프레임(FrL(n+4), FrR(n+4))까지의 렌더링 과정을 도시하였다. 좌채널(Ch_L)에서는 n번째 프레임(FrL(n))과 n+4번째 프레임(FrL(n+4))이 기준 프레임으로 선택되었으며, 우채널(Ch_R)에서는 n+2번째 프레임(FrR(n+2))이 기준 프레임으로 선택된 것으로 가정하였다. 2개의 채널(Ch_L, Ch_R)에서 동일 시간의 프레임이 기준 프레임으로 선택될 수도 있으나, 전달함수를 전달하여 렌더링을 수행하는 경우에 2개의 채널(Ch_L, Ch_R)에서 서로 다른 시간의 프레임이 기준 프레임으로 선택되는 것이 렌더링 오류를 줄일 수 있다.
그리고 도 4에 도시된 바와 같이, 동일 채널내에서 각 프레임에 대해 렌더링 을 위한 전달함수를 전달하는 과정은 도 2의 단일 채널상의 프레임에 대해 렌더링 을 위한 전달함수를 전달하는 과정과 동일하다. 그러나 도 4는 도 2와 달리, 렌더링되는 프레임이 기준 프레임(FrL(n+4), FrR(n+4), FrR(n+2))이 아닌 노멀 프레임이면, 해당 프레임은 동일 채널 내의 시간적으로 인접한 프레임뿐만 아니라, 다른 채널의 동시간의 프레임으로부터도 전달함수를 인가받아 렌더링된다. 하나의 노멀 프레임은 동일 채널에서 양방향으로 인접한 두 개의 프레임과 인접한 채널의 프레임으로부터 전달함수를 인가받아 도합 3개의 전달함수를 인가받는다. 따라서 동일 채널 내에서 양방향으로 전달함수를 인가받아 렌더링하는 경우보다 더욱 렌더링 오류를 줄일 수 있다.
예를 들어 도 4에서 좌채널(Ch_L)의 n+1번째 프레임(FrL(n+1))이 렌더링 되는 경우에 렌더링 실행부(30)는 좌채널(Ch_L)의 n번째 프레임(FrL(n))과 n+2번째 프레임(FrL(n+2))의 렌더링 정보를 포함하는 전달함수(TL(n,n+1), TL(n+2,n+1))를 인가받을 뿐만 아니라, 우채널(Ch_R)의 n+1번째 프레임(FrR(n+1))의 렌더링 정보를 포함하는 전달함수(TRL(n+1))를 인가받는다.
그리고 n+1번째 프레임(FrL(n+1))에 대한 렌더링 정보는 동일 채널(Ch_L)의 n+2번째 프레임(FrL(n+2))을 렌더링하기 위한 전달함수(TL(n+1,n+2))로서 인가될 뿐만 아니라, 우채널(Ch_R)의 n+1번째 프레임(FrR(n+1))을 렌더링하기 위한 전달함수(TLR(n+1))로서 인가된다. 그러나 동일 채널(Ch_L)의 n번째 프레임(FrL(n))은 기준 프레임이므로 전달함수를 인가받지 않는다.
도 5는 본 발명의 다른 예에 따른 멀티뷰를 위한 렌더링 방법을 나타내는 도면이다.
멀티뷰를 위한 이미지 시퀀스는 스테레오스코픽의 확장된 개념으로서 다중 시점을 제공하기 위하여 m개(m은 2보다 큰 자연수)의 카메라에서 인가되는 m개의 채널(Ch_1 ~ Ch_m) 각각에서 연속된 복수개의 프레임을 구비한다. 스테레오스코픽에서는 채널이 2개이므로 2개의 채널(Ch_L, Ch_R)이 서로 전달함수를 전달하도록 하여 렌더링 작업을 수행하였다. 그러나 멀티뷰를 위한 이미지 시퀀스는 스테레오스코픽보다 많은 채널이 구비되므로, 스테레오스코픽을 위한 렌더링 방법을 확장하여 하나의 채널에서의 프레임은 양측의 인접한 채널로부터 전달함수를 인가받을 수 있다. 예를 들어 제 2채널(Ch_2)의 n+3번째 프레임(Fr2(n+3))은 동일 채널(Ch_2)의 시간적으로 양측의 인접한 프레임(Fr2(n+2), Fr2(n+4))의 렌더링 정보를 포함하는 전달함수(T2(n+2,n+3), T2(n+4,n+3))와 함께, 양측 인접 채널(Ch_1, Ch_3)의 동일한 시간의 프레임(Fr1(n+3), Fr3(n+3))의 렌더링 정보를 포함하는 전달함수(T12(n+3), T32(n+3))를 인가받아 렌더링 동작을 수행한다. 즉 도 5에 도시된바와 같이 4방향에서 전달함수(T2(n+2,n+3), T2(n+4,n+3), T12(n+3), T32(n+3))를 인가받는다.
그러나 양끝단의 채널(Ch_1, Ch_m)은 인접한 채널(Ch_2, Ch_m-1)이 일측에만 있으므로, 스테레오스코픽에 대한 이미지 시퀀스의 렌더링과 마찬가지로 3방향에서 전달함수를 인가받는다.
멀티뷰에서 인접한 채널은 실제로 m개의 카메라 중에서 인접한 카메라에서 인가되는 이미지 시퀀스를 의미하는 것이므로, 서로 유사한 내부 이미지를 가지므로, 상기한 바와 같이 렌더링 오류를 줄이기 위한 정보로 사용될 수 있다.
상기에서는 기준 프레임으로부터 노멀 프레임으로의 렌더링 작업이 각 방향에 따른 순서가 없이 진행되는 것으로 설명하였으나, 안정적인 렌더링 작업을 위하여 각 방향에 대해 우선순위를 설정하여 우선순위에 따른 렌더링 작업을 수행할 수 있다. 도 5의 다채널 이미지 시퀀스를 예를 들어 설명하면, 전 채널(Ch_1 ~ Ch_m)의 기준 프레임이 먼저 렌더링된 후, 각 채널(Ch_1 ~ Ch_m)에서 시간적 순서에 따라 노멀 프레임이 렌더링된다. 그리고 각 채널(Ch_1 ~ Ch_m)에서 시간의 역순으로 다시 노멀 프레임이 렌더링된다. 이 후 노멀 프레임은 다시 제 1채널(Ch_1)로부터 제 m채널(Ch_m)로 순서대로 렌더링되고, 마지막으로 제 m채널(Ch_m)로부터 제 1채널(Ch_1)로 렌더링되어 모든 렌더링 작업을 완료할 수 있다.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 등록청구범위의 기술적 사상에 의해 정해져야 할 것이다.

Claims (21)

  1. 시간에 따라 연속적으로 획득된 복수개의 프레임으로 구성되는 이미지 시퀀스가 인가되는 단계;
    상기 복수개의 프레임에서 시간적으로 이산된 복수개의 기준 프레임이 렌더링되는 단계; 및
    상기 복수개의 기준 프레임 사이의 하나 또는 그 이상의 노멀 프레임이 시간적으로 이전 및 이후의 상기 렌더링된 기준 프레임으로부터 인접한 프레임을 통해 순차적으로 전달되는 전달함수를 이용하여 렌더링 되는 단계를 구비하는 모노스코픽을 위한 렌더링 방법.
  2. 제 1항에 있어서, 상기 복수개의 기준 프레임이 렌더링되는 단계는
    상기 이미지 시퀀스의 상기 복수개의 프레임의 변화율이 순차적으로 확인되는 단계;
    상기 변화율이 제 1 기준값보다 크면, 변화율이 큰 프레임이 상기 기준 프레임으로 선택되는 단계; 및
    상기 선택된 기준 프레임이 렌더링되는 단계를 구비하는 것을 특징으로 하는 모노스코픽을 위한 렌더링 방법.
  3. 제 2항에 있어서, 상기 기준 프레임으로 선택되는 단계는
    상기 변화율이 제 1 기준값보다 크면, 상기 기준 프레임으로 선택되는 단계;
    상기 변화율이 제 1 기준값보다 작으면, 이후 프레임의 변화율이 확인되는 단계;
    선택된 기준 프레임 사이의 변화율이 확인되는 단계; 및
    상기 선택된 기준 프레임 사이의 변화율이 제 2 기준값보다 크면, 상기 선택된 기준 프레임 사이에 상기 기준 프레임이 추가되는 단계를 구비하는 것을 특징으로 하는 모노스코픽을 위한 렌더링 방법.
  4. 제 3항에 있어서, 상기 이후 프레임의 변화율이 확인되는 단계는
    확인된 프레임의 개수가 설정된 프레임의 개수보다 큰지 판별되는 단계;
    상기 확인된 프레임의 개수가 설정된 프레임의 개수보다 크지 않으면, 이후 프레임의 변화율이 확인되는 단계; 및
    상기 확인된 프레임의 개수가 설정된 프레임의 개수보다 크면, 현재 프레임을 기준 프레임으로 설정되는 단계를 구비하는 것을 특징으로 하는 모노스코픽을 위한 렌더링 방법.
  5. 제 1항에 있어서, 상기 전달함수를 이용하여 렌더링되는 단계는
    상기 렌더링된 기준 프레임의 렌더링 정보가 상기 전달함수로서 상기 기준 프레임에 시간적으로 이전 및 이후로 인접한 노멀 프레임으로 전달되는 단계;
    상기 기준 프레임에 인접한 노멀 프레임이 상기 전달 함수를 이용하여 렌더링되는 단계; 및
    상기 렌더링된 노멀 프레임의 렌더링 정보가 상기 전달함수로서 상기 렌더링된 노멀 프레임의 시간적으로 이전 및 이후로 인접한 다른 노멀 프레임으로 전달되어 렌더링되는 단계를 구비하는 것을 특징으로 하는 모노스코픽을 위한 렌더링 방법.
  6. 제 5항에 있어서, 상기 전달함수를 이용하여 렌더링되는 단계는
    상기 렌더링된 기준 프레임으로부터 시간의 순서에 따라 순차적으로 인접한 노멀 프레임이 렌더링된 후, 시간의 역순에 따라 순차적으로 인접한 노멀 프레임이 렌더링되는 것을 특징으로 하는 모노스코픽을 위한 렌더링 방법.
  7. 제 1항에 있어서, 상기 이미지 시퀀스가 인가되는 단계는
    외부에서 상기 이미지 시퀀스가 인가되는 단계; 및
    상기 이미지 시퀀스가 버퍼링되는 단계를 구비하는 것을 특징으로 하는 모노스코픽을 위한 렌더링 방법.
  8. 제 1 내지 제 7항 중 어느 한 항에 있어서, 상기 모노스코픽을 위한 렌더링 방법을 구동시키기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체.
  9. 제 1 내지 제 7항 중 어느 한 항에 있어서, 모노스코픽을 위한 렌더링 방법을 이용하여 상기 이미지 시퀀스의 상기 복수개의 프레임을 렌더링하는 모노스코픽을 위한 렌더링 시스템.
  10. 각각 시간에 따라 연속적으로 획득된 복수개의 프레임으로 구성되는 복수개의 채널을 구비하는 이미지 시퀀스가 인가되는 단계;
    상기 복수개의 채널 각각의 상기 복수개의 프레임에서 시간적으로 이산된 복수개의 기준 프레임이 렌더링되는 단계;
    상기 복수개의 채널 각각에서 상기 복수개의 기준 프레임 사이의 하나 또는 그 이상의 노멀 프레임이 시간적으로 이전 및 이후의 상기 렌더링된 기준 프레임으로부터 인접한 프레임을 통해 순차적으로 전달되는 전달함수를 이용하여 렌더링되는 단계; 및
    상기 복수개의 채널 중 인접한 채널의 렌더링된 상기 기준 프레임 또는 상기 노멀 프레임으로부터 전달되는 상기 전달함수를 이용하여 상기 노멀 프레임이 추가적으로 렌더링되는 단계를 구비하는 스테레오스코픽 및 멀티뷰를 위한 렌더링 방법.
  11. 제 10항에 있어서, 상기 복수개의 기준 프레임이 렌더링되는 단계는
    상기 이미지 시퀀스의 상기 복수개의 채널 각각에서 상기 복수개의 프레임의 변화율이 순차적으로 확인되는 단계;
    상기 변화율이 제 1 기준값보다 크면, 변화율이 큰 프레임이 상기 기준 프레임으로 선택되는 단계; 및
    상기 선택된 기준 프레임이 렌더링되는 단계를 구비하는 것을 특징으로 하는 스테레오스코픽 및 멀티뷰를 위한 렌더링 방법.
  12. 제 11항에 있어서, 상기 기준 프레임으로 선택되는 단계는
    상기 변화율이 제 1 기준값보다 크면, 상기 기준 프레임으로 선택되는 단계;
    상기 변화율이 제 1 기준값보다 작으면, 이후 프레임의 변화율이 확인되는 단계;
    선택된 기준 프레임 사이의 변화율이 확인되는 단계; 및
    상기 선택된 기준 프레임 사이의 변화율이 제 2 기준값보다 크면, 상기 선택된 기준 프레임 사이에 상기 기준 프레임이 추가되는 단계를 구비하는 것을 특징으로 하는 스테레오스코픽 및 멀티뷰를 위한 렌더링 방법.
  13. 제 12항에 있어서, 상기 이후 프레임의 변화율이 확인되는 단계는
    확인된 프레임의 개수가 설정된 프레임의 개수보다 큰지 판별되는 단계;
    상기 확인된 프레임의 개수가 설정된 프레임의 개수보다 크지 않으면, 이후 프레임의 변화율이 확인되는 단계; 및
    상기 확인된 프레임의 개수가 설정된 프레임의 개수보다 크면, 현재 프레임이 기준 프레임으로 설정되는 단계를 구비하는 것을 특징으로 하는 스테레오스코픽 및 멀티뷰를 위한 렌더링 방법.
  14. 제 12항에 있어서, 상기 기준 프레임으로 선택되는 단계는
    상기 복수개의 채널에서 인접한 채널의 동시간의 프레임이 기준 프레임으로 설정되면, 현재 채널의 대응하는 프레임은 노멀 프레임으로 설정되는 것을 특징으로 하는 스테레오스코픽 및 멀티뷰를 위한 렌더링 방법.
  15. 제 10항에 있어서, 상기 전달함수를 이용하여 렌더링되는 단계는
    상기 렌더링된 기준 프레임의 렌더링 정보가 상기 전달함수로서 상기 기준 프레임에 시간적으로 이전 및 이후로 인접한 노멀 프레임으로 전달되는 단계;
    상기 기준 프레임에 인접한 노멀 프레임이 상기 전달 함수를 이용하여 렌더링되는 단계; 및
    상기 렌더링된 노멀 프레임의 렌더링 정보가 상기 전달함수로서 상기 렌더링된 노멀 프레임의 시간적으로 이전 및 이후로 인접한 다른 노멀 프레임으로 전달되어 렌더링되는 단계를 구비하는 것을 특징으로 하는 스테레오스코픽 및 멀티뷰를 위한 렌더링 방법.
  16. 제 15항에 있어서, 상기 전달함수를 이용하여 렌더링되는 단계는
    상기 렌더링된 기준 프레임으로부터 시간의 순서에 따라 순차적으로 인접한 노멀 프레임이 렌더링된 후, 시간의 역순에 따라 순차적으로 인접한 노멀 프레임이 렌더링되는 것을 특징으로 하는 스테레오스코픽 및 멀티뷰를 위한 렌더링 방법.
  17. 제 10항에 있어서, 상기 추가적으로 렌더링되는 단계는
    상기 복수개의 채널 중 인접한 채널의 동시간의 프레임에 대한 렌더링 정보가 상기 전달함수로서 전달되는 단계; 및
    상기 인접한 채널의 인접한 채널의 동시간의 프레임에 대한 전달함수를 이용하여 상기 노멀 프레임이 렌더링되는 단계를 구비하는 것을 특징으로 하는 스테레오스코픽 및 멀티뷰를 위한 렌더링 방법.
  18. 제 17항에 있어서, 상기 추가적으로 렌더링되는 단계는
    상기 복수개의 채널 중 일측의 채널로부터 타측으로 순차적으로 인접한 노멀 프레임이 렌더링된 후, 상기 타측의 채널로부터 상기 일측으로 인접한 노멀 프레임이 렌더링되는 것을 특징으로 하는 스테레오스코픽 및 멀티뷰를 위한 렌더링 방법.
  19. 제 10항에 있어서, 상기 이미지 시퀀스가 인가되는 단계는
    외부에서 상기 이미지 시퀀스가 인가되는 단계; 및
    상기 이미지 시퀀스가 버퍼링되는 단계를 구비하는 것을 특징으로 하는 스테레오스코픽 및 멀티뷰를 위한 렌더링 방법.
  20. 제 10 내지 제 19항 중 어느 한 항에 있어서, 상기 스테레오스코픽 및 멀티뷰를 위한 렌더링 방법을 구동시키기 위한 프로그램 명령어가 기록된, 컴퓨터가 판독가능한 기록매체.
  21. 제 10 내지 제 19항 중 어느 한 항에 있어서, 모노스코픽을 위한 렌더링 방법을 이용하여 상기 이미지 시퀀스의 상기 복수개의 프레임을 렌더링하는 스테레오스코픽 및 멀티뷰를 위한 렌더링 시스템.
KR1020110018562A 2011-03-02 2011-03-02 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체 KR101187530B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110018562A KR101187530B1 (ko) 2011-03-02 2011-03-02 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체
US13/095,464 US20120223939A1 (en) 2011-03-02 2011-04-27 Rendering strategy for monoscopic, stereoscopic and multi-view computer generated imagery, system using the same and recording medium for the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110018562A KR101187530B1 (ko) 2011-03-02 2011-03-02 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체

Publications (2)

Publication Number Publication Date
KR20120099993A true KR20120099993A (ko) 2012-09-12
KR101187530B1 KR101187530B1 (ko) 2012-10-02

Family

ID=46753014

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110018562A KR101187530B1 (ko) 2011-03-02 2011-03-02 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체

Country Status (2)

Country Link
US (1) US20120223939A1 (ko)
KR (1) KR101187530B1 (ko)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9407864B2 (en) * 2013-07-25 2016-08-02 Beijing Lenovo Software Ltd. Data processing method and electronic device
CN104766364A (zh) * 2015-02-12 2015-07-08 上海交通大学 低维传递函数空间中属性相似结构的分离方法
KR102354992B1 (ko) 2015-03-02 2022-01-24 삼성전자주식회사 양안 시차 영상에 대한 타일 기반 렌더링 방법 및 장치
US10373286B2 (en) 2016-08-03 2019-08-06 Samsung Electronics Co., Ltd. Method and apparatus for performing tile-based rendering
GB2602841A (en) * 2021-01-19 2022-07-20 Sony Interactive Entertainment Inc Image generation system and method

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05137131A (ja) * 1991-11-13 1993-06-01 Sony Corp フレーム間動き予測方法
FR2703535A1 (fr) * 1993-03-31 1994-10-07 Philips Electronique Lab Procédé et dispositif pour décoder des images comprimées.
US5515107A (en) * 1994-03-30 1996-05-07 Sigma Designs, Incorporated Method of encoding a stream of motion picture data
JPH09182083A (ja) * 1995-12-27 1997-07-11 Matsushita Electric Ind Co Ltd ビデオ画像符号化方法及び復号化方法とその装置
US6055012A (en) * 1995-12-29 2000-04-25 Lucent Technologies Inc. Digital multi-view video compression with complexity and compatibility constraints
US5668599A (en) * 1996-03-19 1997-09-16 International Business Machines Corporation Memory management for an MPEG2 compliant decoder
US5990959A (en) * 1996-12-20 1999-11-23 U S West, Inc. Method, system and product for direct rendering of video images to a video data stream
US5739862A (en) * 1996-12-23 1998-04-14 Tektronix, Inc. Reverse playback of MPEG video
US6115420A (en) * 1997-03-14 2000-09-05 Microsoft Corporation Digital video signal encoder and encoding method
US20020080870A1 (en) * 1999-01-07 2002-06-27 Thomas A. Piazza Method and apparatus for performing motion compensation in a texture mapping engine
JP2000270264A (ja) 1999-03-15 2000-09-29 Sony Corp 画像処理装置及びその方法
US6331859B1 (en) * 1999-04-06 2001-12-18 Sharp Laboratories Of America, Inc. Video skimming system utilizing the vector rank filter
JP3593929B2 (ja) * 1999-09-03 2004-11-24 日本電気株式会社 動画像符号化方法及び動画像符号化装置
US6351545B1 (en) * 1999-12-14 2002-02-26 Dynapel Systems, Inc. Motion picture enhancing system
US6707853B1 (en) * 2000-01-10 2004-03-16 Intel Corporation Interface for performing motion compensation
EP1361690B1 (en) * 2000-03-02 2006-01-11 Matsushita Electric Industrial Co., Ltd. Method and apparatus for retransmitting data packets based on channel conditions
US7224837B2 (en) * 2000-10-11 2007-05-29 Screenpeaks Ltd. Digital video broadcasting
US20020122491A1 (en) * 2001-01-03 2002-09-05 Marta Karczewicz Video decoder architecture and method for using same
US7693220B2 (en) * 2002-01-03 2010-04-06 Nokia Corporation Transmission of video information
US7496283B2 (en) * 2002-06-28 2009-02-24 Microsoft Corporation Methods and systems for processing digital data rate and directional playback changes
US8711923B2 (en) * 2002-12-10 2014-04-29 Ol2, Inc. System and method for selecting a video encoding format based on feedback data
US7489342B2 (en) * 2004-12-17 2009-02-10 Mitsubishi Electric Research Laboratories, Inc. Method and system for managing reference pictures in multiview videos
EP1496704B1 (en) * 2003-07-07 2009-01-21 STMicroelectronics S.r.l. Graphic system comprising a pipelined graphic engine, pipelining method and computer program product
US20050089232A1 (en) * 2003-10-23 2005-04-28 Chun-Ming Hsu Method of video compression that accommodates scene changes
US7539393B2 (en) * 2003-12-05 2009-05-26 Microsoft Corporation Method and system for reverse playback of compressed data
JP2006165795A (ja) * 2004-12-03 2006-06-22 Canon Inc 画像形成装置およびその方法
US7671894B2 (en) * 2004-12-17 2010-03-02 Mitsubishi Electric Research Laboratories, Inc. Method and system for processing multiview videos for view synthesis using skip and direct modes
JP2006345445A (ja) * 2005-06-10 2006-12-21 Sony Corp 動画像変換装置、および動画像変換方法、並びにコンピュータ・プログラム
WO2007011147A1 (en) * 2005-07-18 2007-01-25 Electronics And Telecommunications Research Institute Apparatus of predictive coding/decoding using view-temporal reference picture buffers and method using the same
US8340098B2 (en) * 2005-12-07 2012-12-25 General Instrument Corporation Method and apparatus for delivering compressed video to subscriber terminals
US7596300B2 (en) * 2005-12-07 2009-09-29 Sony Corporation System and method for smooth fast playback of video
KR100898990B1 (ko) 2006-12-04 2009-05-25 한국전자통신연구원 3차원 공간에서 시간일관성을 이용한 실루엣 렌더링 장치및 방법
MY162861A (en) * 2007-09-24 2017-07-31 Koninl Philips Electronics Nv Method and system for encoding a video data signal, encoded video data signal, method and system for decoding a video data signal
JP2009135686A (ja) * 2007-11-29 2009-06-18 Mitsubishi Electric Corp 立体映像記録方法、立体映像記録媒体、立体映像再生方法、立体映像記録装置、立体映像再生装置
US20100008419A1 (en) * 2008-07-10 2010-01-14 Apple Inc. Hierarchical Bi-Directional P Frames
US8781305B2 (en) * 2008-12-02 2014-07-15 Microsoft Corporation Media streaming with smooth fast-forward and rewind

Also Published As

Publication number Publication date
US20120223939A1 (en) 2012-09-06
KR101187530B1 (ko) 2012-10-02

Similar Documents

Publication Publication Date Title
US10979663B2 (en) Methods and apparatuses for image processing to optimize image resolution and for optimizing video streaming bandwidth for VR videos
EP2150065B1 (en) Method and system for video rendering, computer program product therefor
US11120623B2 (en) Optimized volumetric video playback
KR102538939B1 (ko) 텍스처 맵들 및 메시들에 기초한 3d 이미지 정보의 처리
KR101187530B1 (ko) 모노스코픽, 스테레오 스코픽 및 멀티뷰를 위한 렌더링 방법, 시스템 및 이를 위한 기록매체
US9031356B2 (en) Applying perceptually correct 3D film noise
US20130321586A1 (en) Cloud based free viewpoint video streaming
KR20110090958A (ko) 이미지 속성들에 대한 오클루젼 데이터의 생성
CN106254885A (zh) 利用共位块进行运动估计
Lafruit et al. Understanding MPEG-I coding standardization in immersive VR/AR applications
WO2011109898A1 (en) Generating 3d multi-view interweaved image(s) from stereoscopic pairs
US11570418B2 (en) Techniques for generating light field data by combining multiple synthesized viewpoints
CN102821293A (zh) 图像处理方法和设备
Rogmans et al. Real-time stereo-based view synthesis algorithms: A unified framework and evaluation on commodity GPUs
JP2016032298A (ja) 映像レンダリング装置及び方法
CN102450025A (zh) 图像处理方法和设备
US20140293018A1 (en) Method and Device for Generating an Image View for 3D Display
US11601636B2 (en) Methods, systems, and media for generating an immersive light field video with a layered mesh representation
US9479766B2 (en) Modifying images for a 3-dimensional display mode
KR20170046434A (ko) 영상 처리 방법 및 영상 처리 장치
Lipski et al. Making of who cares? HD stereoscopic free viewpoint video
US9131252B2 (en) Transmission of 3D models
KR20180108967A (ko) 멀티비전 화면 영상 렌더링 시스템, 장치 및 방법
US9361689B2 (en) Image processing apparatus and method
Wang et al. GPU based implementation of 3DTV system

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150826

Year of fee payment: 4

LAPS Lapse due to unpaid annual fee