KR20110062083A - 영상 복원 장치 및 그 방법 - Google Patents

영상 복원 장치 및 그 방법 Download PDF

Info

Publication number
KR20110062083A
KR20110062083A KR1020090118670A KR20090118670A KR20110062083A KR 20110062083 A KR20110062083 A KR 20110062083A KR 1020090118670 A KR1020090118670 A KR 1020090118670A KR 20090118670 A KR20090118670 A KR 20090118670A KR 20110062083 A KR20110062083 A KR 20110062083A
Authority
KR
South Korea
Prior art keywords
image
unit
texture
mesh
rendering
Prior art date
Application number
KR1020090118670A
Other languages
English (en)
Other versions
KR101271460B1 (ko
Inventor
박지영
구본기
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020090118670A priority Critical patent/KR101271460B1/ko
Priority to US12/695,319 priority patent/US20110128286A1/en
Publication of KR20110062083A publication Critical patent/KR20110062083A/ko
Application granted granted Critical
Publication of KR101271460B1 publication Critical patent/KR101271460B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery
    • G06T7/55—Depth or shape recovery from multiple images
    • G06T7/564—Depth or shape recovery from multiple images from contours
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/28—Indexing scheme for image data processing or generation, in general involving image processing hardware
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/52—Parallel processing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 다시점 2차원 영상을 사용하여 3차원 정보를 복원하는 장치에 관한 것으로, 입력 영상을 로딩하여 전경 및 배경을 분리하고, 전경 및 배경이 분리된 각 영상을 3차원 텍스처로 변환하여 그래픽 프로세서로 전송하면, 그래픽 프로세서의 연산 유닛을 통해 전송된 3차원 텍스처에 대한 복셀 단위의 비주얼 헐을 생성하고, 메쉬 단위로 변환한 후에, 렌더링 파이프라인의 버텍스 쉐이더, 래스터 라이저 및 픽셀 쉐이더를 통해 데이터 정렬, 픽셀 변환, 화면 표시 값 결정의 과정을 수행하고, 결정된 화면 표시 값을 이용하여 렌더링함으로써, 실시간으로 다시점 2차원 영상을 고속으로 병렬 연산하여 3차원 영상으로 복원할 수 있는 것이다.
영상 복원, 비주얼 헐(visual hull)

Description

영상 복원 장치 및 그 방법{VIDEO RESTORATION APPARATUS AND ITS METHOD}
본 발명은 영상 복원 기법에 관한 것으로, 더욱 상세하게는 다시점 입력 영상을 이용하여 3차원 영상으로 복원하는데 적합한 영상 복원 장치 및 그 방법에 관한 것이다.
본 발명은 문화체육관광부의 IT원천기술개발사업의 일환으로 수행한 연구로부터 도출된 것이다[과제관리번호: 2008-F-030-02, 과제명: 방통융합형 Full 3D 복원 기술 개발].
잘 알려진 바와 같이, 3차원 물체를 복원하는 연구는 로봇 비전(robot vision)이나 머신 비전(machine vision) 시스템에서 실제 장면의 구조나 객체의 모양을 복원/인식하기 위한 연구가 주를 이루고 있다.
이러한 3차원 복원 기술은 크게 두 가지로 나눌 수 있는데, 첫째, 별도의 하드웨어(예를 들면, 레인지 스캐너, 구조화된 광선 패턴, 깊이 카메라(depth camera) 등)를 이용하는 방식, 둘째, 특별한 하드웨어 없이 일반적인 CCD(charge coupled device) 카메라를 이용하는 방식(예를 들면, 스테레오 정합, 움직임 기반 모양 추정, 초점 변화 기반 방식, 실루엣을 이용한 방식 등)이 있다.
여기에서, 별도의 하드웨어를 이용하여 3차원 구조를 복원하면 그 정확도가 우수하지만, 움직이는 물체에 대해서는 실시간으로 복원하기 어렵기 때문에, 일반적으로 별도의 하드웨어 없이 3차원 구조를 복원하는 방식이 주로 연구되고 있다.
이와 같이 실시간 시스템에 적용되는 3차원 구조 복원 알고리즘 중 카메라가 고정되어 있는 실내에서 쉽게 획득할 수 있고, 구현하기에도 상대적으로 쉬운 실루엣 영상을 이용한 방법이 사용되고 있는데, 실루엣 영상으로부터 3차원 공간상에 영상을 복원할 경우 복원된 3차원상의 체적 화소 또는 복셀(volume+pixel)들의 집합을 비주얼 헐(visual hull)이라 한다.
이러한 비주얼 헐을 복원하는 기법은 3차원 공간상에 가상의 3차원 큐브를 생성한 후, 각 실루엣 영상에서 실루엣 부분을 역투영(backward projection)시켜 실루엣 영역(inner voxel)은 남겨두고 실루엣이 아닌 영역은 깎아 내는 방식으로 3차원 영상을 복원할 수 있다.
한편, 영상을 기반으로 3차원 영상을 복원하는 데에는 다시점의 2차원 입력 영상을 조합하여 3차원 공간 정보를 복원하는 방법이 널리 사용되고 있는데, 복원하고자 하는 객체와 배경을 분리하고, 분리된 영상으로부터 복셀 구조의 3차원 모델(즉, 비주얼 헐)을 생성하게 된다.
상술한 바와 같이 종래에 사용되는 방법에서의 복원 결과의 품질은 복원 대상을 촬영한 입력 영상 시점의 개수와 영상의 해상도 증가에 따라 비례하지만, 이 또한 연산 시간을 급격하게 증가시키는 요인으로 작용하고 있다.
이에 따라, 본 발명은 그래픽 프로세서 유닛을 이용하여 연산 처리 및 렌더링 파이프라인 처리를 수행함으로써, 고해상도의 3차원 영상을 고속으로 복원할 수 있는 영상 복원 장치 및 그 방법을 제공하고자 한다.
본 발명의 일 실시 예에 따르면, 로딩된 입력 영상에서 전경 및 배경을 분리하여 3차원 텍스처로 전송하는 컨트롤 프로세서 유닛과, 상기 전송된 3차원 텍스처에 대한 복셀 단위의 비주얼 헐을 생성하고, 상기 생성된 비주얼 헐을 메쉬 단위로 변환하며, 데이터 정렬 및 픽셀 변환을 수행한 후에, 화면 표시 값을 결정하고, 상기 결정된 화면 표시 값을 이용하여 렌더링하는 그래픽 프로세서 유닛을 포함하는 영상 복원 장치가 제공된다.
바람직하게는, 상기 컨트롤 프로세서 유닛은, 다시점에서 촬영한 영상인 상기 로딩된 입력 영상에서 상기 전경 및 배경을 분리하는 데이터 입력부와, 상기 전경 및 배경이 분리된 영상을 상기 3차원 텍스처로 변환하여 전송하는 데이터 전송부를 포함하는 영상 복원 장치가 제공된다.
바람직하게는, 상기 그래픽 프로세서 유닛은, 연산 유닛을 통해 상기 3차원 텍스처에 대한 상기 복셀 단위의 상기 비주얼 헐을 생성하고, 상기 생성된 비주얼 헐을 상기 메쉬 단위로 변환하는 그래픽 연산부와, 렌더링 파이프라인을 통해 상기 비주얼 헐의 데이터를 정렬하고, 상기 픽셀 변환을 수행하며, 상기 화면 표시 값을 결정한 후에, 상기 결정된 화면 표시 값을 이용하여 렌더링하는 그래픽 렌더링부를 포함하는 영상 복원 장치가 제공된다.
바람직하게는, 상기 그래픽 연산부는, 상기 연산 유닛의 개수에 따라 복셀을 트리 구조로 분할하여 관리하는 영상 복원 장치가 제공된다.
바람직하게는, 상기 그래픽 연산부는, 상기 비주얼 헐에 대한 각 복셀의 병렬 처리를 수행하기 위해 상기 각 복셀의 중점을 3차원 텍스처 맵에 투영하는 방식으로 처리하는 영상 복원 장치가 제공된다.
바람직하게는, 상기 그래픽 연산부는, 마칭 큐브를 적용하여 복셀 모델의 외곽이 메쉬 형태로 표현된 메쉬 모델을 생성하는 방식으로 변환하는 영상 복원 장치가 제공된다.
바람직하게는, 상기 그래픽 렌더링부는, 상기 메쉬 단위로 변환된 상기 비주얼 헐이 버텍스 쉐이더에 입력되어 출력된 데이터를 정렬한 후 래스터 라이저를 통해 픽셀로 변환하는 영상 복원 장치가 제공된다.
바람직하게는, 상기 그래픽 렌더링부는, 상기 변환된 픽셀을 기반으로 픽셀 쉐이더를 통해 상기 화면 표시 값을 결정하는 영상 복원 장치가 제공된다.
바람직하게는, 상기 그래픽 렌더링부는, 상기 픽셀 쉐이더 내에서 텍스처링을 수행할 경우 화면에 나타날 화소의 텍스처 값만을 병렬 처리하는 영상 복원 장치가 제공된다.
바람직하게는, 상기 그래픽 렌더링부는, 상기 픽셀 쉐이더 내에서 텍스처링을 수행할 경우 화면에 나타날 화소의 텍스처 값만을 병렬 처리하되, 상기 렌더링 파이프라인의 내부에서 3차원 모델의 깊이 값을 참조하는 영상 복원 장치가 제공된 다.
본 발명의 다른 실시 예에 따르면, 로딩된 입력 영상에서 전경 및 배경을 분리하여 3차원 텍스처로 전송하는 단계와, 상기 전송된 3차원 텍스처에 대한 복셀 단위의 비주얼 헐을 생성하여 메쉬 단위로 변환하는 단계와, 상기 메쉬 단위로 변환된 상기 비주얼 헐에 대한 데이터 정렬 및 픽셀 변환을 수행한 후에, 화면 표시 값을 결정하여 렌더링하는 단계를 포함하는 영상 복원 방법이 제공된다.
바람직하게는, 상기 3차원 텍스처로 전송하는 단계는, 다시점에서 촬영한 영상인 상기 로딩된 입력 영상에서 상기 전경 및 배경을 분리하는 단계와, 상기 전경 및 배경이 분리된 영상을 상기 3차원 텍스처로 변환하여 전송하는 단계를 포함하는 영상 복원 방법이 제공된다.
바람직하게는, 상기 메쉬 단위로 변환하는 단계는, 연산 유닛을 통해 상기 3차원 텍스처에 대한 상기 복셀 단위의 상기 비주얼 헐을 생성하고, 상기 생성된 비주얼 헐을 상기 메쉬 단위로 변환하는 영상 복원 방법이 제공된다.
바람직하게는, 상기 화면 표시 값을 결정하여 렌더링하는 단계는, 렌더링 파이프라인을 통해 상기 비주얼 헐의 데이터를 정렬하고, 상기 픽셀 변환을 수행하며, 상기 화면 표시 값을 결정한 후에, 상기 결정된 화면 표시 값을 이용하여 렌더링하는 영상 복원 방법이 제공된다.
바람직하게는, 상기 메쉬 단위로 변환하는 단계는, 상기 연산 유닛의 개수에 따라 복셀을 트리 구조로 분할하여 관리되는 영상 복원 방법이 제공된다.
바람직하게는, 상기 메쉬 단위로 변환하는 단계는, 상기 비주얼 헐에 대한 각 복셀의 병렬 처리를 수행하기 위해 상기 각 복셀의 중점을 3차원 텍스처 맵에 투영하는 방식으로 처리되는 영상 복원 방법이 제공된다.
바람직하게는, 상기 메쉬 단위로 변환하는 단계는, 마칭 큐브를 적용하여 복셀 모델의 외곽이 메쉬 형태로 표현된 메쉬 모델을 생성하는 방식으로 변환되는 영상 복원 방법이 제공된다.
바람직하게는, 상기 화면 표시 값을 결정하여 렌더링하는 단계는, 상기 메쉬 단위로 변환된 상기 비주얼 헐이 버텍스 쉐이더에 입력되어 출력된 데이터를 정렬한 후 래스터 라이저를 통해 픽셀로 변환하고, 상기 변환된 픽셀을 기반으로 픽셀 쉐이더를 통해 상기 화면 표시 값이 결정되는 영상 복원 방법이 제공된다.
바람직하게는, 상기 화면 표시 값을 결정하여 렌더링하는 단계는, 상기 픽셀 쉐이더 내에서 텍스처링을 수행할 경우 화면에 나타날 화소의 텍스처 값만이 병렬 처리되는 영상 복원 방법이 제공된다.
바람직하게는, 상기 화면 표시 값을 결정하여 렌더링하는 단계는, 상기 픽셀 쉐이더 내에서 텍스처링을 수행할 경우 화면에 나타날 화소의 텍스처 값만을 병렬 처리하되, 상기 렌더링 파이프라인의 내부에서 3차원 모델의 깊이 값을 참조하는 영상 복원 방법이 제공된다.
본 발명은, 강력한 병렬 처리 기능을 지원하는 그래픽 프로세서의 연산 유닛과 렌더링 파이프라인을 통해 다시점 2차원 영상을 3차원 영상으로 렌더링 및 복원함으로써, 렌더링에 소요되는 시간을 크게 단축시켜 고속의 3차원 복원을 수행할 수 있다.
본 발명은, 영상 복원 장치에서 입력 영상이 로딩되면, 로딩된 입력 영상에서 전경 및 배경을 분리하고, 전경 및 배경이 분리된 각 영상을 3차원 텍스처로 변환하여 전송하면, 전송된 3차원 텍스처에 대한 복셀 단위의 비주얼 헐을 생성하고, 메쉬 단위로 변환하며, 버텍스 쉐이더를 통해 데이터를 정렬하고, 래스터 라이저를 통해 픽셀 변환을 수행하며, 픽셀 쉐이더를 통해 화면 표시 값을 결정한 후에, 결정된 화면 표시 값을 이용하여 렌더링한다는 것이며, 이러한 기술적 수단을 통해 종래 기술에서의 문제점을 해결할 수 있다.
본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시 예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시 예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 단지 본 실시 예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 명세서 전체에 걸쳐 동일 참조 부호는 동일 구성 요소를 지칭한다.
본 발명의 실시 예들을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명의 실시 예에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
첨부된 블록도의 각 블록과 흐름도의 각 단계의 조합들은 컴퓨터 프로그램 인스트럭션들에 의해 수행될 수도 있다. 이들 컴퓨터 프로그램 인스트럭션들은 범용 컴퓨터, 특수용 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서에 탑재될 수 있으므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비의 프로세서를 통해 수행되는 그 인스트럭션들이 블록도의 각 블록 또는 흐름도의 각 단계에서 설명된 기능들을 수행하는 수단을 생성하게 된다. 이들 컴퓨터 프로그램 인스트럭션들은 특정 방식으로 기능을 구현하기 위해 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장되는 것도 가능하므로, 그 컴퓨터 이용가능 또는 컴퓨터 판독 가능 메모리에 저장된 인스트럭션들은 블록도의 각 블록 또는 흐름도 각 단계에서 설명된 기능을 수행하는 인스트럭션 수단을 내포하는 제조 품목을 생산하는 것도 가능하다. 컴퓨터 프로그램 인스트럭션들은 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에 탑재되는 것도 가능하므로, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비 상에서 일련의 동작 단계들이 수행되어 컴퓨터로 실행되는 프로세스를 생성해서 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 수행하는 인스트럭션들은 블록도의 각 블록 및 흐름도의 각 단계에서 설명된 기능들을 실행하기 위한 단계들을 제공하는 것도 가능하다.
또한, 각 블록 또는 각 단계는 특정된 논리적 기능(들)을 실행하기 위한 하 나 이상의 실행 가능한 인스트럭션들을 포함하는 모듈, 세그먼트 또는 코드의 일부를 나타낼 수 있다. 또, 몇 가지 대체 실시 예들에서는 블록들 또는 단계들에서 언급된 기능들이 순서를 벗어나서 발생하는 것도 가능함을 주목해야 한다. 예컨대, 잇달아 도시되어 있는 두 개의 블록들 또는 단계들은 사실 실질적으로 동시에 수행되는 것도 가능하고 또는 그 블록들 또는 단계들이 때때로 해당하는 기능에 따라 역순으로 수행되는 것도 가능하다.
이하, 첨부된 도면을 참조하여 본 발명의 실시 예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시 예에 따라 그래픽 프로세서의 연산 처리 및 렌더링 파이프라인을 이용하여 3차원 영상을 복원하는데 적합한 영상 복원 장치의 블록 구성도로서, 컨트롤 프로세서 유닛(100), 그래픽 프로세서 유닛(200) 등을 포함할 수 있다.
도 1을 참조하면, 컨트롤 프로세서 유닛(100)은 복원하고자 하는 객체가 포함된 다시점에서 촬영한 영상(즉, 2차원 영상)이 로딩되면, 로딩된 입력 영상에서 전경 및 배경(즉, 객체와 배경)을 분리하고, 전경 및 배경이 분리된 각 영상을 3차원 텍스처로 변환하여 그래픽 프로세서 유닛(200)으로 전송한다.
그리고, 그래픽 프로세서 유닛(200)은 다수의 연산 유닛을 이용하여 복셀 단위의 비주얼 헐을 생성하고, 메쉬 단위의 비주얼 헐로 변환하는 것으로, 3차원 텍스처로 변환된 다시점 2차원 영상(즉, 전경 및 배경이 분리된 다시점 2차원 영상)이 전송되면, 이러한 다시점 영상을 이용하여 실루엣 교차를 통해 복셀 단위의 비 주얼 헐을 생성한다.
이러한 비주얼 헐 생성의 경우 연산량은 공간 크기(N)의 3제곱에 비례하며, 입력 영상의 시점 개수에 비례하는데, 복셀 모델의 정확도는 공간을 분할하는 복셀의 크기가 작을수록 증가하게 되며, 복셀의 크기가 작으면 복셀 해상도가 증가하게 되므로 연산량을 증가시키는 요인이 된다. 이에 따라 그래픽 프로세서를 이용한 병렬 처리를 통해 비주얼 헐 계산을 수행할 수 있다.
또한, 그래픽 프로세서 유닛(200)은 생성된 비주얼 헐을 복셀 단위에서 메쉬 단위로 변환하는데, 이러한 메쉬 단위로의 변환을 수행하는 이유는 이 후 3차원 비주얼 헐 모델을 렌더링하기 위해 입력 영상을 조합하여 모델에 텍스처를 입히게 되는데, 렌더링 파이프라인을 통해 수행할 경우 화면 출력을 위한 화소별로 병렬 처리가 가능하므로 매우 빠른 텍스처링을 수행할 수 있기 때문에, 렌더링 파이프라인의 입력 형태인 메쉬 단위(즉, 메쉬 구조)로 변환하는 것이다.
다음에, 그래픽 프로세서 유닛(200)은 예를 들면, 버텍스 쉐이더(vertex shader), 래스터 라이저(rasterizer), 픽셀 쉐이더(pixel shader) 등으로 구성되는 렌더링 파이프라인을 포함하는데, 메쉬 단위로 변환된 비주얼 헐이 버텍스 쉐이더에 입력되어 출력된 데이터를 정렬한 후 래스터 라이저를 통해 픽셀로 변환하고, 이러한 픽셀을 기반으로 픽셀 쉐이더를 통해 화면에 표시될 값(즉, 화면 표시 값)을 결정하며, 결정된 화면 표시 값을 이용하여 렌더링하여 3차원 영상을 복원한다.
예를 들면, 메쉬 단위로 변환된 3차원 모델의 메쉬 데이터(즉, 비주얼 헐)가 렌더링 파이프라인에 입력되면, 사용자 시점에 따라 기하 변환을 통해 2차원 화면 데이터로 변환하고, 3D 텍스처로 구성된 입력 영상을 참조하여 최종 화면에 렌더링할 화소의 텍스처 값(즉, 화면 표시 값)을 결정할 수 있다.
따라서, 로딩된 입력 영상에서 전경 및 배경을 분리하고, 전경 및 배경이 분리된 각 영상을 3차원 텍스처로 변환하여 전송하면, 그래픽 연산을 통해 복셀 단위의 비주얼 헐을 생성하고, 메쉬 단위로 변환하며, 렌더링 파이프라인을 통해 화면 표시 값을 결정하여 렌더링을 수행함으로써, 병렬 처리를 통해 3차원 영상에 대한 고속 복원을 수행할 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 영상 복원 장치에서 입력 영상이 로딩되면, 로딩된 입력 영상에서 전경 및 배경을 분리하고, 전경 및 배경이 분리된 각 영상을 3차원 텍스처로 변환하여 전송하는 컨트롤 프로세서 유닛에 대해 설명한다.
도 2는 본 발명의 일 실시 예에 따라 입력된 영상을 전경 및 배경으로 분리하여 3차원 텍스처로 변환 및 전송하는데 적합한 컨트롤 프로세서 유닛의 블록 구성도로서, 컨트롤 프로세서 유닛(100)은 데이터 입력부(102), 데이터 전송부(104) 등을 포함할 수 있다.
도 2를 참조하면, 데이터 입력부(102)는 복원하고자 하는 객체가 포함된 다시점에서 촬영한 영상(즉, 2차원 영상)이 로딩되면, 로딩된 입력 영상에서 전경 및 배경(즉, 객체와 배경)을 분리한다.
그리고, 데이터 전송부(104)는 전경 및 배경이 분리된 각 영상을 3차원 텍스처로 변환하여 그래픽 프로세서 유닛(200)으로 전송한다.
여기에서, 그래픽 프로세서 유닛(200)의 내부 메모리는 일반적인 연산 용도로 할당되어 있는 공용 메모리와 별도의 텍스처 메모리가 포함되어 있는데, 공용 메모리의 경우 연산을 위해 사용 빈도가 높지만 그 크기가 상대적으로 제한적이며, 데이터의 전송 속도보다 느린 특징이 있다.
이에 따라, 입력 영상을 공용 메모리가 아닌 텍스처 메모리에 관리함으로써, 연산에 사용할 공용 메모리의 공간을 최대한 확보할 수 있고, 텍스처 메모리의 경우 그패픽 프로세서에 정의되어 있는 형태의 텍스처 데이터만을 관리할 수 있기 때문에 다시점의 2차원 입력 영상을 3차원 텍스처 맵의 형태로 구성하여 전송하는 것이며, 이를 통해 영상의 전송이 한번에 수행될 수 있어 연산을 위한 공용 메모리의 공간 확보는 물론 상대적으로 느린 전송 속도의 단점을 극복할 수 있다.
따라서, 복원하고자 하는 객체가 포함된 영상을 다시점에서 촬영한 2차원 영상이 로딩되면, 로딩된 입력 영상에서 전경 및 배경을 분리하고, 전경 및 배경이 분리된 각 영상을 3차원 텍스처로 변환하여 전송함으로써, 3차원 영상으로 복원하기 위한 2차원 영상을 효과적으로 전송할 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 영상 복원 장치에서 3차원 텍스처가 전송되면, 복셀 단위의 비주얼 헐을 생성하고, 메쉬 단위로 변환하며, 버텍스 쉐이더를 통해 데이터를 정렬하고, 래스터 라이저를 통해 픽셀 변환을 수행하며, 픽셀 쉐이더를 통해 화면 표시 값을 결정한 후에, 결정된 화면 표시 값을 이용하여 렌더링하는 그래픽 프로세서 유닛에 대해 설명한다.
도 3은 본 발명의 일 실시 예에 따라 그래픽 연산 및 렌더링 파이프라인을 통해 3차원 영상으로 렌더링하는데 적합한 그래픽 프로세서 유닛의 블록 구성도로서, 그래픽 프로세서 유닛(100)은 그래픽 연산부(202), 그래픽 렌더링부(204) 등을 포함할 수 있다.
도 3을 참조하면, 그래픽 연산부(202)는 다수의 연산 유닛을 포함하여 복셀 단위의 비주얼 헐을 생성한 후 복셀 단위를 메쉬 단위로 변환하는 것으로, 3차원 텍스처로 변환된 다시점 2차원 영상(즉, 전경 및 배경이 분리된 다시점 2차원 영상)이 전송되면, 이러한 다시점 영상을 이용하여 실루엣 교차를 통해 복셀 단위의 비주얼 헐을 생성한다. 이러한 비주얼 헐 생성의 경우 연산량은 공간 크기(N)의 3제곱에 비례하며, 입력 영상의 시점 개수에 비례하고, 복셀 모델의 정확도는 공간을 분할하는 복셀의 크기가 작을수록 증가하게 되는데, 복셀의 크기가 작으면 복셀 해상도가 증가하게 되므로 연산량을 증가시키는 요인이 된다. 이에 따라 그래픽 프로세서를 이용한 병렬 처리를 통해 비주얼 헐 계산을 수행할 수 있다.
이때, 그래픽 프로세서에서 지원하는 연산 유닛의 개수에 최적화하여 복셀을 트리 구조로 분할하여 관리하게 되는데, 각 복셀은 병렬 처리를 수행하기 위해 복셀의 중점을 3차원 텍스처 맵에 투영하는 방식으로 처리되며, 영역에 점을 투영하는 방식에서 발생하는 오차는 복셀의 크기를 상대적으로 작게 하여 보상할 수 있다.
또한, 그래픽 연산부(202)는 생성된 비주얼 헐을 복셀 단위에서 메쉬 단위로 변환한다. 이러한 메쉬 단위로의 변환을 수행하는 이유는 이 후 3차원 비주얼 헐 모델을 렌더링하기 위해 입력 영상을 조합하여 모델에 텍스처를 입히게 되는데, 렌 더링 파이프라인을 통해 수행할 경우 화면 출력을 위한 화소별로 병렬 처리가 가능하므로 매우 빠른 텍스처링을 수행할 수 있기 때문에, 렌더링 파이프라인의 입력 형태인 메쉬 단위(즉, 메쉬 구조)로 변환하는 것이다.
이러한 메쉬 변환은 복셀 구조의 비주얼 헐 모델이 입력되면 마칭 큐브(marching cubes)를 적용하여 복셀 모델의 외곽이 메쉬 형태로 표현된 메쉬 모델을 생성하는 방식으로 수행될 수 있으며, 이러한 변환도 각 메쉬별로 병렬 처리될 수 있다.
다음에, 그래픽 렌더링부(204)는 렌더링 파이프라인을 이용하여 3차원 영상으로 렌더링하는 것으로, 렌더링 파이프라인은 예를 들면, 버텍스 쉐이더, 래스터 라이저, 픽셀 쉐이더 등이 포함되어 구성되는데, 메쉬 단위로 변환된 비주얼 헐이 버텍스 쉐이더에 입력되어 출력된 데이터를 정렬한 후 래스터 라이저를 통해 픽셀로 변환하고, 이러한 픽셀을 기반으로 픽셀 쉐이더를 통해 화면에 표시될 값(즉, 화면 표시 값)을 결정하며, 결정된 화면 표시 값을 이용하여 렌더링하여 3차원 영상을 복원한다.
예를 들면, 메쉬 단위로 변환된 3차원 모델의 메쉬 데이터(즉, 비주얼 헐)가 렌더링 파이프라인에 입력되면, 사용자 시점에 따라 기하 변환을 통해 2차원 화면 데이터로 변환하고, 3D 텍스처로 구성된 입력 영상을 참조하여 최종 화면에 렌더링할 화소의 텍스처 값(즉, 화면 표시 값)을 결정할 수 있다. 여기에서, 픽셀 쉐이더 내에서 텍스처링을 수행할 경우 화면에 나타날 화소의 텍스처 값만을 병렬 처리함으로써, 상대적으로 빠르게 화면 표시 값을 결정할 수 있으며, 렌더링 파이프라인 의 내부에서 3차원 모델의 깊이 값(즉, 모델 내부에서 z축으로의 거리 값)을 참조할 경우 텍스처링만 수행하는 경우보다 상대적으로 더욱 정교한 텍스처 결정할 수 있다.
따라서, 전송된 3차원 텍스처에 대한 복셀 단위의 비주얼 헐을 생성하고, 메쉬 단위로 변환하며, 버텍스 쉐이더를 통해 데이터를 정렬하고, 래스터 라이저를 통해 픽셀 변환을 수행하며, 픽셀 쉐이더를 통해 화면 표시 값을 결정한 후에, 결정된 화면 표시 값을 이용하여 렌더링함으로써, 3차원 영상을 효과적으로 복원할 수 있다.
다음에, 상술한 바와 같은 구성을 갖는 영상 복원 장치에서 입력 영상이 로딩되면, 로딩된 입력 영상에서 전경 및 배경을 분리하고, 전경 및 배경이 분리된 각 영상을 3차원 텍스처로 변환하여 전송하면, 전송된 3차원 텍스처에 대한 복셀 단위의 비주얼 헐을 생성하고, 메쉬 단위로 변환하며, 버텍스 쉐이더를 통해 데이터를 정렬하고, 래스터 라이저를 통해 픽셀 변환을 수행하며, 픽셀 쉐이더를 통해 화면 표시 값을 결정한 후에, 결정된 화면 표시 값을 이용하여 렌더링하는 과정에 대해 설명한다.
도 4는 본 발명의 다른 실시 예에 따라 그래픽 프로세서의 연산 처리 및 렌더링 파이프라인을 이용하여 3차원 영상을 복원하는 과정을 도시한 플로우차트이다.
도 4를 참조하면, 데이터 입력부(102)에서는 복원하고자 하는 객체가 포함된 다시점에서 촬영한 영상(즉, 2차원 영상)이 로딩되면(단계402), 로딩된 입력 영상 에서 전경 및 배경(즉, 객체와 배경)을 분리한다(단계404). 일 예로서, 도 5a 내지 도 5d는 본 발명의 실시 예에 따라 3차원 영상으로 복원하는 것을 설명하기 위한 도면으로, 도 5a에 도시한 바와 같은 영상은 전경 및 배경이 분리된 영상을 나타낸다.
그리고, 데이터 전송부(104)에서는 전경 및 배경이 분리된 각 영상을 3차원 텍스처로 변환한 후에(단계406), 3차원 텍스처로 변환된 영상을 그래픽 프로세서 유닛(200)으로 전송한다(단계408).
여기에서, 그래픽 프로세서 유닛(200)의 내부 메모리는 일반적인 연산 용도로 할당되어 있는 공용 메모리와 별도의 텍스처 메모리가 포함되어 있는데, 공용 메모리의 경우 연산을 위해 사용 빈도가 높지만 그 크기가 상대적으로 제한적이며, 데이터의 전송 속도보다 느린 특징이 있기 때문에, 입력 영상을 공용 메모리가 아닌 텍스처 메모리에 관리함으로써, 연산에 사용할 공용 메모리의 공간을 최대한 확보할 수 있고, 텍스처 메모리의 경우 그패픽 프로세서에 정의되어 있는 형태의 텍스처 데이터만을 관리할 수 있기 때문에, 다시점의 2차원 입력 영상을 3차원 텍스처 맵의 형태로 구성하여 전송하는 것이며, 이를 통해 영상의 전송이 한번에 수행될 수 있어 연산을 위한 공용 메모리의 공간 확보는 물론 상대적으로 느린 전송 속도의 단점을 극복할 수 있다.
다음에, 그래픽 연산부(202)에서는 3차원 텍스처로 변환된 다시점 2차원 영상(즉, 전경 및 배경이 분리된 다시점 2차원 영상)이 전송되면, 이러한 다시점 영상을 이용하여 실루엣 교차를 통해 복셀 단위의 비주얼 헐을 생성한다(단계410). 일 예로서, 도 5b에 도시한 영상은 복셀 단위의 비주얼 헐을 나타낸다.
이러한 비주얼 헐 생성의 경우 연산량은 공간 크기(N)의 3제곱에 비례하며, 입력 영상의 시점 개수에 비례하고, 복셀 모델의 정확도는 공간을 분할하는 복셀의 크기가 작을수록 증가하게 되는데, 복셀의 크기가 작으면 복셀 해상도가 증가하게 되므로 연산량을 증가시키는 요인이 된다. 이에 따라 그래픽 프로세서를 이용한 병렬 처리를 통해 비주얼 헐 계산을 수행할 수 있다.
이 때, 그래픽 프로세서에서 지원하는 연산 유닛의 개수에 최적화하여 복셀을 트리 구조로 분할하여 관리하게 되는데, 각 복셀은 병렬 처리를 수행하기 위해 복셀의 중점을 3차원 텍스처 맵에 투영하는 방식으로 처리되며, 영역에 점을 투영하는 방식에서 발생하는 오차는 복셀의 크기를 상대적으로 작게 하여 보상할 수 있다.
또한, 그래픽 연산부(202)에서는 생성된 비주얼 헐을 복셀 단위에서 메쉬 단위로 변환한다(단계412). 이러한 메쉬 단위로의 변환을 수행하는 이유는 이 후 3차원 비주얼 헐 모델을 렌더링하기 위해 입력 영상을 조합하여 모델에 텍스처를 입히게 되는데, 렌더링 파이프라인을 통해 수행할 경우 화면 출력을 위한 화소별로 병렬 처리가 가능하므로 매우 빠른 텍스처링을 수행할 수 있기 때문에, 렌더링 파이프라인의 입력 형태인 메쉬 단위(즉, 메쉬 구조)로 변환하는 것이다.
이러한 메쉬 변환은 복셀 구조의 비주얼 헐 모델이 입력되면 마칭 큐브를 적용하여 복셀 모델의 외곽이 메쉬 형태로 표현된 메쉬 모델을 생성하는 방식으로 수행될 수 있으며, 이러한 변환도 각 메쉬별로 병렬 처리될 수 있다. 일 예로서, 도 5c에 도시한 바와 같은 영상은 마칭 큐브를 이용하여 메쉬 단위로 변환된 비주얼 헐을 나타낸 도면이다.
다음에, 그래픽 렌더링부(204)에서는 메쉬 단위로 변환된 비주얼 헐이 버텍스 쉐이더에 입력되어 출력된 데이터를 정렬한 후 래스터 라이저를 통해 픽셀로 변환한다(단계414, 416).
그리고, 그래픽 렌더링부(204)에서는 이러한 픽셀을 기반으로 픽셀 쉐이더를 통해 화면에 표시될 값(즉, 화면 표시 값)을 결정한다(단계418).
이어서, 그래픽 렌더링부(204)에서는 결정된 화면 표시 값을 이용하여 렌더링함으로써, 3차원 영상으로 복원한다(단계420). 일 예로서, 도 5d에 도시한 바와 같은 영상은 복원된 3차원 영상을 나타낸다.
예를 들면, 메쉬 단위로 변환된 3차원 모델의 메쉬 데이터(즉, 비주얼 헐)가 렌더링 파이프라인에 입력되면, 사용자 시점에 따라 기하 변환을 통해 2차원 화면 데이터로 변환하고, 3D 텍스처로 구성된 입력 영상을 참조하여 최종 화면에 렌더링할 화소의 텍스처 값(즉, 화면 표시 값)을 결정할 수 있다. 여기에서, 픽셀 쉐이더 내에서 텍스처링을 수행할 경우 화면에 나타날 화소의 텍스처 값만을 병렬 처리함으로써, 상대적으로 빠르게 화면 표시 값을 결정할 수 있으며, 렌더링 파이프라인의 내부에서 3차원 모델의 깊이 값(즉, 모델 내부에서 z축으로의 거리 값)을 참조할 경우 텍스처링만 수행하는 경우보다 상대적으로 더욱 정교한 텍스처 결정할 수 있다.
따라서, 로딩된 입력 영상에서 전경 및 배경을 분리하고, 전경 및 배경이 분 리된 각 영상을 3차원 텍스처로 변환하여 전송하면, 그래픽 연산을 통해 복셀 단위의 비주얼 헐을 생성하고, 메쉬 단위로 변환하며, 렌더링 파이프라인을 통해 화면 표시값을 결정하여 렌더링을 수행함으로써, 병렬 처리를 통해 3차원 영상에 대한 고속 복원을 수행할 수 있다.
이상의 설명에서는 본 발명의 다양한 실시 예들을 제시하여 설명하였으나 본 발명이 반드시 이에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능함을 쉽게 알 수 있을 것이다.
도 1은 본 발명의 일 실시 예에 따라 그래픽 프로세서의 연산 처리 및 렌더링 파이프라인을 이용하여 3차원 영상을 복원하는데 적합한 영상 복원 장치의 블록 구성도,
도 2는 본 발명의 일 실시 예에 따라 입력된 영상을 전경 및 배경으로 분리하여 3차원 텍스처로 변환 및 전송하는데 적합한 컨트롤 프로세서 유닛의 블록 구성도,
도 3은 본 발명의 일 실시 예에 따라 그래픽 연산 및 렌더링 파이프라인을 통해 3차원 영상으로 렌더링하는데 적합한 그래픽 프로세서 유닛의 블록 구성도,
도 4는 본 발명의 다른 실시 예에 따라 그래픽 프로세서의 연산 처리 및 렌더링 파이프라인을 이용하여 3차원 영상을 복원하는 과정을 도시한 플로우차트,
도 5a 내지 도 5d는 본 발명의 실시 예에 따라 3차원 영상으로 복원하는 것을 설명하기 위한 도면.
<도면의 주요부분에 대한 부호의 설명>
100 : 컨트롤 프로세서 유닛 102 : 데이터 입력부
104 : 데이터 전송부 200 : 그래픽 프로세서 유닛
202 : 그래픽 연산부 204 : 그래픽 렌더링부

Claims (19)

  1. 로딩된 입력 영상에서 전경 및 배경을 분리하여 3차원 텍스처로 전송하는 컨트롤 프로세서 유닛과,
    상기 전송된 3차원 텍스처에 대한 복셀 단위의 비주얼 헐을 생성하고, 상기 생성된 비주얼 헐을 메쉬 단위로 변환하며, 데이터 정렬 및 픽셀 변환을 수행한 후에, 화면 표시 값을 결정하고, 상기 결정된 화면 표시 값을 이용하여 렌더링하는 그래픽 프로세서 유닛을 포함하는
    영상 복원 장치.
  2. 제 1 항에 있어서,
    상기 컨트롤 프로세서 유닛은,
    다시점에서 촬영한 영상인 상기 로딩된 입력 영상에서 상기 전경 및 배경을 분리하는 데이터 입력부와,
    상기 전경 및 배경이 분리된 영상을 상기 3차원 텍스처로 변환하여 전송하는 데이터 전송부를 포함하는
    영상 복원 장치.
  3. 제 1 항 또는 제 2 항에 있어서,
    상기 그래픽 프로세서 유닛은,
    연산 유닛을 통해 상기 3차원 텍스처에 대한 상기 복셀 단위의 상기 비주얼 헐을 생성하고, 상기 생성된 비주얼 헐을 상기 메쉬 단위로 변환하는 그래픽 연산부와,
    렌더링 파이프라인을 통해 상기 비주얼 헐의 데이터를 정렬하고, 상기 픽셀 변환을 수행하며, 상기 화면 표시 값을 결정한 후에, 상기 결정된 화면 표시 값을 이용하여 렌더링하는 그래픽 렌더링부를 포함하는
    영상 복원 장치.
  4. 제 3 항에 있어서,
    상기 그래픽 연산부는, 상기 연산 유닛의 개수에 따라 복셀을 트리 구조로 분할하여 관리하는
    영상 복원 장치.
  5. 제 4 항에 있어서,
    상기 그래픽 연산부는, 상기 비주얼 헐에 대한 각 복셀의 병렬 처리를 수행하기 위해 상기 각 복셀의 중점을 3차원 텍스처 맵에 투영하는 방식으로 처리하는
    영상 복원 장치.
  6. 제 5 항에 있어서,
    상기 그래픽 연산부는, 마칭 큐브를 적용하여 복셀 모델의 외곽이 메쉬 형태 로 표현된 메쉬 모델을 생성하는 방식으로 변환하는
    영상 복원 장치.
  7. 제 3 항에 있어서,
    상기 그래픽 렌더링부는, 상기 메쉬 단위로 변환된 상기 비주얼 헐이 버텍스 쉐이더에 입력되어 출력된 데이터를 정렬한 후 래스터 라이저를 통해 픽셀로 변환하는
    영상 복원 장치.
  8. 제 7 항에 있어서,
    상기 그래픽 렌더링부는, 상기 변환된 픽셀을 기반으로 픽셀 쉐이더를 통해 상기 화면 표시 값을 결정하는
    영상 복원 장치.
  9. 제 8 항에 있어서,
    상기 그래픽 렌더링부는, 상기 픽셀 쉐이더 내에서 텍스처링을 수행할 경우 화면에 나타날 화소의 텍스처 값만을 병렬 처리하는
    영상 복원 장치.
  10. 제 8 항에 있어서,
    상기 그래픽 렌더링부는, 상기 픽셀 쉐이더 내에서 텍스처링을 수행할 경우 화면에 나타날 화소의 텍스처 값만을 병렬 처리하되, 상기 렌더링 파이프라인의 내부에서 3차원 모델의 깊이 값을 참조하는
    영상 복원 장치.
  11. 로딩된 입력 영상에서 전경 및 배경을 분리하여 3차원 텍스처로 전송하는 단계와,
    상기 전송된 3차원 텍스처에 대한 복셀 단위의 비주얼 헐을 생성하여 메쉬 단위로 변환하는 단계와,
    상기 메쉬 단위로 변환된 상기 비주얼 헐에 대한 데이터 정렬 및 픽셀 변환을 수행한 후에, 화면 표시 값을 결정하여 렌더링하는 단계를 포함하는
    영상 복원 방법.
  12. 제 11 항에 있어서,
    상기 3차원 텍스처로 전송하는 단계는,
    다시점에서 촬영한 영상인 상기 로딩된 입력 영상에서 상기 전경 및 배경을 분리하는 단계와,
    상기 전경 및 배경이 분리된 영상을 상기 3차원 텍스처로 변환하여 전송하는 단계를 포함하는
    영상 복원 방법.
  13. 제 11 항 또는 제 12 항에 있어서,
    상기 메쉬 단위로 변환하는 단계는, 연산 유닛을 통해 상기 3차원 텍스처에 대한 상기 복셀 단위의 상기 비주얼 헐을 생성하고, 상기 생성된 비주얼 헐을 상기 메쉬 단위로 변환하는
    영상 복원 방법.
  14. 제 13 항에 있어서,
    상기 화면 표시 값을 결정하여 렌더링하는 단계는, 렌더링 파이프라인을 통해 상기 비주얼 헐의 데이터를 정렬하고, 상기 픽셀 변환을 수행하며, 상기 화면 표시 값을 결정한 후에, 상기 결정된 화면 표시 값을 이용하여 렌더링하는
    영상 복원 방법.
  15. 제 14 항에 있어서,
    상기 메쉬 단위로 변환하는 단계는, 상기 비주얼 헐에 대한 각 복셀의 병렬 처리를 수행하기 위해 상기 각 복셀의 중점을 3차원 텍스처 맵에 투영하는 방식으로 처리되는
    영상 복원 방법.
  16. 제 15 항에 있어서,
    상기 메쉬 단위로 변환하는 단계는, 마칭 큐브를 적용하여 복셀 모델의 외곽이 메쉬 형태로 표현된 메쉬 모델을 생성하는 방식으로 변환되는
    영상 복원 방법.
  17. 제 14 항에 있어서,
    상기 화면 표시 값을 결정하여 렌더링하는 단계는, 상기 메쉬 단위로 변환된 상기 비주얼 헐이 버텍스 쉐이더에 입력되어 출력된 데이터를 정렬한 후 래스터 라이저를 통해 픽셀로 변환하고, 상기 변환된 픽셀을 기반으로 픽셀 쉐이더를 통해 상기 화면 표시 값이 결정되는
    영상 복원 방법.
  18. 제 17 항에 있어서,
    상기 화면 표시 값을 결정하여 렌더링하는 단계는, 상기 픽셀 쉐이더 내에서 텍스처링을 수행할 경우 화면에 나타날 화소의 텍스처 값만이 병렬 처리되는
    영상 복원 방법.
  19. 제 17 항에 있어서,
    상기 화면 표시 값을 결정하여 렌더링하는 단계는, 상기 픽셀 쉐이더 내에서 텍스처링을 수행할 경우 화면에 나타날 화소의 텍스처 값만을 병렬 처리하되, 상기 렌더링 파이프라인의 내부에서 3차원 모델의 깊이 값을 참조하는
    영상 복원 방법.
KR1020090118670A 2009-12-02 2009-12-02 영상 복원 장치 및 그 방법 KR101271460B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020090118670A KR101271460B1 (ko) 2009-12-02 2009-12-02 영상 복원 장치 및 그 방법
US12/695,319 US20110128286A1 (en) 2009-12-02 2010-01-28 Image restoration apparatus and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020090118670A KR101271460B1 (ko) 2009-12-02 2009-12-02 영상 복원 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20110062083A true KR20110062083A (ko) 2011-06-10
KR101271460B1 KR101271460B1 (ko) 2013-06-05

Family

ID=44068524

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020090118670A KR101271460B1 (ko) 2009-12-02 2009-12-02 영상 복원 장치 및 그 방법

Country Status (2)

Country Link
US (1) US20110128286A1 (ko)
KR (1) KR101271460B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190045053A (ko) * 2017-10-23 2019-05-02 한국전자통신연구원 (초)다시점 미디어의 라이브 스트리밍 방법 및 장치
US11232632B2 (en) 2019-02-21 2022-01-25 Electronics And Telecommunications Research Institute Learning-based 3D model creation apparatus and method

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104169941A (zh) * 2011-12-01 2014-11-26 莱特克拉夫特科技有限责任公司 自动跟踪抠像区系统
CN105531743A (zh) * 2013-09-13 2016-04-27 史克威尔·艾尼克斯控股公司 描绘装置
KR102082132B1 (ko) 2014-01-28 2020-02-28 한국전자통신연구원 2ｄ 동영상으로부터 새로운 3ｄ 입체 동영상 제작을 위한 장치 및 방법
CN106162142A (zh) * 2016-06-15 2016-11-23 南京快脚兽软件科技有限公司 一种高效的vr场景绘画方法
WO2018119786A1 (zh) * 2016-12-28 2018-07-05 深圳前海达闼云端智能科技有限公司 一种显示数据处理方法及装置
US11665308B2 (en) 2017-01-31 2023-05-30 Tetavi, Ltd. System and method for rendering free viewpoint video for sport applications
CN107392873A (zh) * 2017-07-28 2017-11-24 上海鋆创信息技术有限公司 物体虚拟修复方法、物体修复方法及物体虚拟展示系统
US20230082607A1 (en) * 2021-09-14 2023-03-16 The Texas A&M University System Three dimensional strobo-stereoscopic imaging systems and associated methods

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2002303082A1 (en) * 2001-01-26 2002-09-12 Zaxel Systems, Inc. Real-time virtual viewpoint in simulated reality environment
US6792140B2 (en) * 2001-04-26 2004-09-14 Mitsubish Electric Research Laboratories, Inc. Image-based 3D digitizer
JP4635392B2 (ja) * 2001-08-09 2011-02-23 コニカミノルタホールディングス株式会社 ３次元物体の表面形状モデリング装置、および、プログラム
US20050017968A1 (en) * 2003-07-21 2005-01-27 Stephan Wurmlin Differential stream of point samples for real-time 3D video
KR101349171B1 (ko) * 2007-01-17 2014-01-09 삼성전자주식회사 3차원 그래픽 가속기 및 그것의 픽셀 분배 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20190045053A (ko) * 2017-10-23 2019-05-02 한국전자통신연구원 (초)다시점 미디어의 라이브 스트리밍 방법 및 장치
US11232632B2 (en) 2019-02-21 2022-01-25 Electronics And Telecommunications Research Institute Learning-based 3D model creation apparatus and method
US12033276B2 (en) 2019-02-21 2024-07-09 Electronics And Telecommunications Research Institute Learning-based 3D model creation apparatus and method

Also Published As

Publication number Publication date
KR101271460B1 (ko) 2013-06-05
US20110128286A1 (en) 2011-06-02

Similar Documents

Publication Publication Date Title
KR101271460B1 (ko) 영상 복원 장치 및 그 방법
KR101199475B1 (ko) 3차원 모델 생성 방법 및 장치
US11699263B2 (en) Apparatus, method and computer program for rendering a visual scene
EP3643059B1 (en) Processing of 3d image information based on texture maps and meshes
CN114863038B (zh) 基于显式几何形变的实时动态自由视角合成方法及装置
KR20160033128A (ko) 3d 표면 재구성을 위한 스파스 gpu 복셀화
US10217259B2 (en) Method of and apparatus for graphics processing
CN111612878B (zh) 将静态照片制作成三维效果视频的方法及装置
US20180211434A1 (en) Stereo rendering
WO2022263923A1 (en) Techniques for generating light field data by combining multiple synthesized viewpoints
WO2020184174A1 (ja) 画像処理装置および画像処理方法
Gu et al. Ue4-nerf: Neural radiance field for real-time rendering of large-scale scene
JP6901885B2 (ja) 前景抽出装置及びプログラム
CN109816765B (zh) 面向动态场景的纹理实时确定方法、装置、设备和介质
Hapák et al. Real-time 4D reconstruction of human motion
KR101227155B1 (ko) 저해상도 그래픽 영상을 고해상도 그래픽 영상으로 실시간 변환하는 그래픽 영상 처리 장치 및 방법
JP2023153534A (ja) 画像処理装置、画像処理方法、およびプログラム
Chuchvara et al. A speed-optimized RGB-Z capture system with improved denoising capabilities
KR20220130706A (ko) 하이브리드 비닝
Shujun et al. DreamWorld: CUDA-accelerated real-time 3D modeling system
KR101807821B1 (ko) 실시간 다 시점 영상 다중화를 위한 영상 처리장치 및 그 방법
JP7264788B2 (ja) 提示システム、サーバ及び端末
Meder et al. Decoupling rendering and display using fast depth image based rendering on the gpu
Kunita et al. Layered probability maps: basic framework and prototype system
Luo et al. Spherical projective displacement mesh

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee