KR100764382B1 - 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그방법 - Google Patents

컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그방법 Download PDF

Info

Publication number
KR100764382B1
KR100764382B1 KR1020060058472A KR20060058472A KR100764382B1 KR 100764382 B1 KR100764382 B1 KR 100764382B1 KR 1020060058472 A KR1020060058472 A KR 1020060058472A KR 20060058472 A KR20060058472 A KR 20060058472A KR 100764382 B1 KR100764382 B1 KR 100764382B1
Authority
KR
South Korea
Prior art keywords
image
directional
lens
virtual
generated
Prior art date
Application number
KR1020060058472A
Other languages
English (en)
Inventor
박경신
민성욱
이빛나라
조용주
한민수
Original Assignee
한국정보통신대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국정보통신대학교 산학협력단 filed Critical 한국정보통신대학교 산학협력단
Priority to KR1020060058472A priority Critical patent/KR100764382B1/ko
Application granted granted Critical
Publication of KR100764382B1 publication Critical patent/KR100764382B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법에 관한 것으로, 가상의 카메라를 이용하여 가상의 2차원 또는 3차원 객체모델에 대한 기초영상집합을 생성하기 위한 이미지 매핑장치와, 상기 생성된 기초영상집합을 3차원 집적영상으로 구현하기 위한 디스플레이 장치 및 다수개의 기초렌즈로 이루어진 렌즈 어레이를 포함하는 CG(Computer-Generated) 집적영상시스템에 있어서, 상기 이미지 매핑장치는, 가상의 2차원 또는 3차원 객체모델들을 저장 및 갱신하는 객체처리모듈과, 기설정된 상기 기초렌즈에 대한 정보들을 이용하여 상기 객체처리모듈에 저장된 가상의 객체모델을 촬영한 디렉셔널 장면 및 가상의 카메라 위치에 대한 다양한 정보데이터를 연산하는 제어모듈과, 상기 제어모듈로부터 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수만큼 가상의 카메라 위치를 이동 촬영하여 디렉셔널 장면 집합을 생성하는 렌더링 처리모듈과, 상기 렌더링 처리모듈로부터 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 상기 기초렌즈의 개수에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 상기 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성하며, 상기 생성된 기초영상집합을 상기 디스플레이 장치로 출력하는 영상처리모듈을 포함함으로써, 실시간 영상처리에 보다 효과적으로 적용할 수 있다.
가상현실, 집적영상시스템, 이미지 매핑장치, 디스플레이 장치, 렌즈 어레이, 기초렌즈, 가상의 카메라, 기초영상집합, 디렉셔널 장면

Description

컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법{APPARATUS FOR IMAGE MAPPING IN COMPUTER-GENERATED INTEGRAL IMAGING SYSTEM AND METHOD THEREOF}
도 1은 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치를 설명하기 위한 전체적인 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법을 설명하기 위한 전체적인 흐름도이다.
도 3a 및 도 3b는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법을 설명하기 위한 개념도로서, 도 3a는 가상의 카메라를 이용하여 디렉셔널 장면을 촬영하는 과정을 설명하기 위한 개념도이고, 도 3b는 디렉셔널 장면을 기초영상집합으로 변환하는 과정을 설명하기 위한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법과 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식을 비교하여 나타낸 그림이다.
도 5는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법과 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식을 비교하기 위하여 기초렌즈 개수에 따른 기초영상 생성 속도를 나타낸 그래프이다.
*** 도면의 주요 부분에 대한 부호 설명 ***
100 : 이미지 매핑장치, 110 : 객체처리모듈,
120 : 제어모듈, 130 : 렌더링 처리모듈,
140 : 영상처리모듈, 200 : 디스플레이 장치,
300 : 렌즈 어레이
본 발명은 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법에 관한 것으로, 보다 상세하게는 가상의 2차원 또는 3차원 객체모듈을 가상의 카메라를 이용하여 디렉셔널 장면(Directional scene)을 촬영하고, 이를 미리 계산된 크기로 조각 처리한 후 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성함으로써, 실시간 영상처리에 보다 효과적으로 적용할 수 있도록 한 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법에 관한 것이다.
일반적으로, 가상현실(Virtual Reality) 환경이란, 컴퓨터를 통해 인공적으로 만들어진 자연현상 등을 상호작용식(혹은 상호대화식)으로 실제인 것처럼 사용자가 경험하고 몰입할 수 있도록 도와주는 하드웨어(Hardware)와 소프트웨어(Software)로 구성된 환경이다.
이러한 가상환경을 구축할 때 사용하는 가상현실 시스템은 주로 시각, 청각 및 촉각 등과 같은 인간의 감각 기관을 자극하는 3차원 입체영상 디스플레이, 렌더링 엔진(Rendering Engine), 트랙킹(Tracking), 청각 및 촉각 장치 형태로 구성된다. 그 중에서도 인간의 정보 습득 과정은 시각정보에 가장 큰 영향을 받는다.
이런 점에 착안하여 가상현실 환경 구축 시에 사용자에게 현실감 있는 시각 정보를 줄 수 있는 3차원 입체영상을 주로 사용하게 된다. 이런 이유로 많은 국내외 대학교, 산업체 연구 기관에서 3차원 입체영상 디스플레이에 관한 연구를 활발히 진행되고 있다.
상기 가상현실은 과학적 현상 분석을 위한 과학적 가시화(Scientific Visualization), 산업현장에서 상품 디자인(Industry and Product Design), 교육이나 군사작전 시뮬레이션(Education and Military Simulation)등 다양하게 사용되고 있다.
그리고, 3차원적 가시화 가상현실 환경은 기존에 모니터 화면에서 텍스트나 2차원 그림으로 볼 때보다 방대한 자료 분석이나 군사작전 시뮬레이션 수행 시 상황판단을 더 빠르고 쉽게 이해할 수 있게 도와준다.
또한, 상기 가상현실은 자동차나 공장 설비 등 제조업에서 비용과 시간이 많이 드는 시제품 제작에 기존의 찰흙모델을 대체하여 많이 사용되고 있다. 그 외에도 건축, 의료 및 교육 등에서도 활용성이 높아 현재 국내외 대학교, 산업체 연구 기관 등에서 연구 및 사용 중이다. 특히, 상기 가상현실의 구현은 게임 교육 훈련 등에서 저렴한 비용으로 실지 상황에서와 동일한 체험을 할 수 있고 매우 효 율적으로 교육 및 훈련이 가능하다.
한편, 현재 가상현실 시스템에서 가장 많이 사용되고 있는 3차원 디스플레이 방법은 구현이 쉽고 사실적인 입체표현이 가능한 양안시차(Stereoscopic) 방식이다. 상기 양안시차 방식은 두개의 스크린을 분리해서 보내주는 두부 장착형 디스플레이(Head-Mounted Display, HMD)와 미국 일리노리 주립대학교 전자시각화연구소에서 개발한 프로젝션을 사용한 완전 몰입형 CAVE나 ImmersaDesk 등과 같은 능동형 양안시차(Active-stereoscopic) 방식이다.
그러나, 상기 능동형 스테레오 방식은 가장 확실한 3차원 입체효과를 주는 반면 디스플레이 장치 가격과 셔터글라스를 착용하기에 부피가 크며 가격이 비싸고 약한 단점이 있다. 한편, 편광 필터를 사용한 수동형 양안시차(Passive-stereoscopic) 방식은 가격은 저렴하나 역시 편광 안경을 착용해야 3차원 입체영상을 볼 수 있다. 따라서, 사용자가 언제나 즉각적으로 3차원 입체영상을 볼 수 있는 즉시성이 떨어진다.
이런 즉시성 문제를 해결하기 위해서, 사용자가 특수 장비를 착용하는 대신 특정장치들을 디스플레이에 설치하거나 소프트웨어적으로 해결하여 관찰자가 다른 보조 장치 없이 육안으로 3차원 입체영상을 볼 수 있도록 해주는 무안경식 양안시차(Auto-stereoscopic) 방식 기술이 현재 많이 개발 및 연구 수행되고 있다.
이러한 무안경식 양안시차방식은 선진 외국 연구소와 다국적 기업, 또한 국내 대기업을 중심으로 연구 및 개발되고 있지만, 아직까지 상호작용적인 가상현실 환경에 적합한 무안경식 양안시차 디스플레이가 사용된 곳은 찾아보기 힘들다.
하지만 최근에 주목을 받고 있는 집적영상시스템(Integral Imaging System, IIS)은 무안경식 입체영상 방식임에도 불구하고, 마치 부피표현(Volumetric) 디스플레이 방식처럼 연속된 시차와 컬러 정보를 제공해줄 수 있어 관찰자가 시점을 비교적 자유롭게 움직일 수 있다는 장점을 제공한다.
상기 집적영상시스템(IIS)은 크게 렌즈 어레이(Lens array)와 카메라 등과 같은 장치들을 이용해서 3차원 정보를 2차원 이미지인 기초영상(Elemental images)으로 바꿔서 저장해주는 픽업(Pick-up) 부분과, 만들어진 기초영상들(Elemental images)을 이용해서 다시 입체영상의 형태로 보여주는 디스플레이(Display) 부분으로 나누어진다.
이때, 상기 픽업 부분을 구성하는 장치대신 컴퓨터 그래픽(Computer Graphic)을 이용해서 기초영상을 만들 수 있다. 이렇게 컴퓨터 그래픽을 활용해서 기초영상을 생성하는 시스템을 컴퓨터-생성(Computer-Generated, CG) 집적영상시스템이라고 칭하며, 컴퓨터 그래픽을 이용해 기초영상을 만들어내는 과정을 이미지 매핑(Image Mapping)이라 칭한다.
상기 이미지 매핑을 이용하면 카메라가 찍기 어려운 개체나 환경의 재현이 가능하며, 실제 존재하지 않는 개체들도 입체영상을 통해서 보는 것이 가능해진다. 또한, 표현할 수 있는 범위에 제한이 없으므로 기존의 집적영상시스템에 비해서 사용자들에게 훨씬 다양한 경험을 줄 수 있어 그 활용성이 무궁무진하다고 할 수 있겠다.
기존에 제안된 대표적인 이미지 매핑기술들로 포인트 리트레이싱 렌더 링(Point Retracing Rendering, PRR), 다중 뷰포인트 렌더링(Multiple Viewpoint Rendering, MVR) 및 병렬 그룹 렌더링(Parallel Group Rendering, PGR) 등이 있다. 하지만 이러한 종래의 이미지 매핑기술들은 속도가 매우 느리거나 기초렌즈의 개수와 디스플레이 장치의 해상도에 의해 기초영상의 생성 속도가 영향을 받아 가상현실이나 게임처럼 복잡한 3차원 물체를 실시간 그래픽 처리해야하는 분야에서 사용하기에 힘들다.
즉, 상기 포인트 리트레이싱 렌더링(PRR) 방식은 이미지 매핑기술 중에서 가장 간단한 방법으로서, 이러한 포인트 리트레이싱 렌더링(PRR) 방식은 화면에 표시할 개체의 모든 점들을 기초영상들의 픽셀에 대응시켜 만들어 낸다. 대상물의 한 점이 일정한 간격을 갖는 점들의 형태로 기초영상이 표현되며, 이 과정을 대상물의 모든 점에 대해 적용시키는 것이다. 상기 포인트 리트레이싱 렌더링(PRR) 방식은 구현이 간단하지만, 대상물의 모든 점들에 대해서 기초영상을 만들어내는 계산이 수행되므로 대상물의 크기가 커짐에 따라 계산량이 늘어나 실시간 그래픽에서 사용하기는 어렵다는 단점이 있다.
그리고, 상기 다중 뷰포인트 렌더링(MVR) 방식은 집적영상시스템(IIS)이 렌즈 어레이를 이용하여 기초영상을 픽업하는 과정을 컴퓨터 그래픽을 이용해서 유사하게 수행하는 방식이다. 상기 다중 뷰포인트 렌더링(MVR) 방식에서는 3차원 컴퓨터 그래픽 라이브러리로 가상의 3차원 공간에 존재하는 개체를 가상의 카메라를 이용해 촬영하여 기초영상들을 만들어낸다.
이때, 가상의 카메라는 렌즈 어레이의 기초렌즈 피치(Pitch)만큼씩 이동하 고 뷰포인트(Viewpoint)와 배율(Magnification)이 기초영상의 생성에 많은 영향을 미치게 된다. 이러한 다중 뷰포인트 렌더링(MVR) 방식은 렌더링 과정이 단순하지만 정확한 기초영상을 얻을 수 있는 방법이다. 또한, 다양한 3차원 객체를 별다른 변환 과정을 거치지 않고 직접영상시스템(IIS)에 적용시킬 수 있으며, 상기 포인트 리트레이싱 렌더링(PRR) 방식과는 달리 대상물의 크기가 기초영상 생성 속도에 크게 영향을 미치지는 않는다.
하지만, 상기 다중 뷰포인트 렌더링(MVR) 방식은 상기 포인트 리트레이싱 렌더링(PRR) 방식과는 달리 렌즈 어레이에 존재하는 기초렌즈의 개수만큼 뷰포인트를 생성해 가상의 카메라를 각각의 기초렌즈 위치에 놓고 찍게 된다. 따라서, 기초렌즈의 수가 증가함에 따라 기초영상을 만들어내는 속도가 느려지게 되므로, 해상도가 높아지거나 기초렌즈의 개수가 많아질 경우에는 실시간 처리가 어렵다는 단점이 있다.
그리고, 상기 병렬 그룹 렌더링(PGR) 방식은 집적영상시스템(IIS)에서 초점모드(Focused mode)일 경우, 각각의 기초렌즈가 픽셀처럼 보이는 특성을 적용한다. 상기 초점모드는 기초렌즈의 초점거리와 디스플레이 장치와 렌즈어레이와의 간격이 같은 값을 갖는 경우로, 이 경우 집적영상시스템(IIS)은 렌즈 어레이 앞뒤로 동시에 집적영상을 표시할 수 있다. 이러한 병렬 그룹 렌더링(PGR) 방식은 시스템 요소들에 의해 정해진 방향에서 촬영된 디렉셔널 장면(Directional scene)들을 픽셀 단위로 처리하여 기초영상을 만드는 방법이다. 상기 다중 뷰포인트 렌더링(MVR) 방식에서 촬영되는 디렉셔널 장면의 개수가 렌즈 어레이의 기초렌즈의 개 수에 의해 결정되는 반면에, 상기 병렬 그룹 렌더링(PGR) 방식은 기초렌즈 영역 내의 픽셀의 수로 결정된다. 그러므로, 상기 병렬 그룹 렌더링(PGR) 방식에서는 렌즈 어레이의 기초렌즈의 개수는 기초영상 생성 속도에 영향을 미치지 않는다.
그러나, 상기 병렬 그룹 렌더링(PGR) 방식은 초점모드의 특성을 이용하는 방법이므로, 초점모드의 특성상 집적영상의 두께는 충분히 표현할 수 있지만, 해상도는 기초렌즈 크기의 역수로 떨어지는 문제점이 있다.
본 발명은 전술한 문제점을 해결하기 위하여 안출된 것으로서, 본 발명의 목적은 가상의 2차원 또는 3차원 객체모듈을 가상의 카메라를 이용하여 디렉셔널 장면(Directional scene)을 촬영하고, 이를 미리 계산된 크기로 조각 처리한 후 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성함으로써, 실시간 영상처리에 보다 효과적으로 적용할 수 있도록 한 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법을 제공하는데 있다.
전술한 목적을 달성하기 위하여 본 발명의 제1 측면은, 가상의 카메라를 이용하여 가상의 2차원 또는 3차원 객체모델에 대한 기초영상집합을 생성하기 위한 이미지 매핑장치와, 상기 생성된 기초영상집합을 3차원 집적영상으로 구현하기 위한 디스플레이 장치 및 다수개의 기초렌즈로 이루어진 렌즈 어레이를 포함하는 CG(Computer-Generated) 집적영상시스템에 있어서, 상기 이미지 매핑장치는, 가상의 2차원 또는 3차원 객체모델들을 저장 및 갱신하는 객체처리모듈; 기설정된 상기 기초렌즈에 대한 정보들을 이용하여 상기 객체처리모듈에 저장된 가상의 객체모델을 촬영한 디렉셔널 장면 및 가상의 카메라 위치에 대한 다양한 정보데이터를 연산하는 제어모듈; 상기 제어모듈로부터 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수만큼 가상의 카메라 위치를 이동 촬영하여 디렉셔널 장면 집합을 생성하는 렌더링 처리모듈; 및 상기 렌더링 처리모듈로부터 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 상기 기초렌즈의 개수에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 상기 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성하며, 상기 생성된 기초영상집합을 상기 디스플레이 장치로 출력하는 영상처리모듈을 포함하는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치를 제공하는 것이다.
본 발명의 제2 측면은, 가상의 카메라를 이용하여 가상의 2차원 또는 3차원 객체모델에 대한 기초영상집합을 생성하기 위한 이미지 매핑장치와, 상기 생성된 기초영상집합을 3차원 집적영상으로 구현하기 위한 디스플레이 장치 및 다수개의 기초렌즈로 이루어진 렌즈 어레이를 포함하는 CG(Computer-Generated) 집적영상시스템을 이용하여 이미지를 매핑하는 방법에 있어서, (a) 기설정된 상기 기초렌즈에 대한 정보들을 이용하여 가상의 객체모델을 촬영한 디렉셔널 장면 및 가상의 카메라 위치에 대한 다양한 정보데이터를 연산하는 단계; (b) 상기 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수만큼 가상의 카메라 위치를 이동 촬 영하여 디렉셔널 장면 집합을 생성하는 단계; 및 (c) 상기 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 상기 기초렌즈의 개수에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 상기 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법을 제공하는 것이다.
여기서, 상기 단계(d)이후에, 상기 생성된 기초영상집합을 상기 디스플레이 장치로 출력하는 단계를 더 포함함이 바람직하다.
바람직하게는, 상기 디렉셔널 장면은 가상의 카메라 촬영 범위 내에 있는 현재 가상의 카메라 위치에서 가상의 객체모델을 생성할 상기 디스플레이 장치의 윈도우 크기의 1/기초렌즈의 배율(M) 크기로 촬영한 이미지이다.
이하, 첨부 도면을 참조하여 본 발명의 실시예를 상세하게 설명한다. 그러나, 다음에 예시하는 본 발명의 실시예는 여러 가지 다른 형태로 변형될 수 있으며, 본 발명의 범위가 다음에 상술하는 실시예에 한정되는 것은 아니다. 본 발명의 실시예는 당업계에서 통상의 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위하여 제공되어지는 것이다.
도 1은 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치를 설명하기 위한 전체적인 블록 구성도이다.
도 1을 참조하면, 본 발명의 일 실시예에 적용된 컴퓨터-생성(Computer-Generated, CG) 집적영상시스템은 크게, 이미지 매핑장치(100), 디스플레이 장 치(200) 및 다수개의 기초렌즈(Elemental lens)로 이루어진 렌즈 어레이(Lens array)(300)를 포함하여 이루어진다.
여기서, 본 발명의 일 실시예에 따른 이미지 매핑장치(100)는 고성능의 퍼스널 컴퓨터(Personal Computer, PC)에서 동작하게 될 기초영상을 만들어내는 소프트웨어(Software)로서, 예컨대, OpenGL이나 DirectX와 같은 3차원 그래픽 라이브러리를 이용하여 구현됨이 바람직하지만, 이에 국한하지 않으며, 통상의 하드웨어(Hardware) 장치로 구현할 수도 있다.
이러한 이미지 매핑장치(100)는 가상의 2차원 또는 3차원 객체모델 대한 기초영상집합을 생성하기 위한 기능을 수행하는 것으로서, 객체처리모듈(110), 제어모듈(120), 렌더링 처리모듈(130) 및 영상처리모듈(140)을 포함하여 구성되어 있다.
객체처리모듈(110)은 가상의 2차원 또는 3차원 객체모델 정보데이터들을 저장 및 갱신하는 기능을 수행한다.
제어모듈(120)은 장치의 초기화를 비롯한 전체적인 제어를 수행하는 바, 특히 기설정된 렌즈 어레이(300)의 기초렌즈(Elemental lens)에 대한 정보들(예컨대, 기초렌즈의 크기, 개수 및 초점거리 등)을 이용하여 객체처리모듈(110)에 저장된 가상의 2차원 또는 3차원 객체모델을 촬영한 디렉셔널 장면(Directional scene)에 대한 각종 정보데이터(예컨대, 디렉셔널 장면의 크기 및 개수, 디렉셔널 장면을 조각 낼 크기 및 개수 등) 및 가상의 카메라 위치 및 전방시야각(Field Of View, FOV) 등의 정보데이터를 연산하는 기능을 수행한다.
렌더링 처리모듈(130)은 제어모듈(120)로부터 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수만큼 가상의 카메라 위치를 매번 이동 촬영하여 디렉셔널 장면 집합을 생성하는 기능을 수행한다.
영상처리모듈(140)은 렌더링 처리모듈(130)로부터 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 렌즈 어레이(300)의 기초렌즈(Elemental lens)의 개수에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 디스플레이 장치(200)의 윈도우(Window) 위치에 재배치하여 기초영상집합을 생성하며, 상기 생성된 기초영상집합을 디스플레이 장치(200)로 출력하는 기능을 수행한다.
한편, 디스플레이 장치(200)와 렌즈 어레이(300)는 이미지 매핑장치(100)로부터 완성된 기초영상집합을 제공받아 3차원 집적영상으로 구현하기 위한 구성요소들로서, 기존의 컴퓨터-생성(CG) 집적영상시스템에서의 구성과 동일하다.
즉, 디스플레이 장치(200)는 이미지 매핑장치(100)의 영상처리모듈(140)로부터 생성된 기초영상집합을 제공받아 이를 디스플레이(Display)하는 장치로서 예컨대, 통상의 액정 표시 장치(LCD), CRT 모니터 또는 프로젝터(Projector) 등이 사용될 수 있다.
그리고, 렌즈 어레이(300)는 디스플레이 장치(200)의 표시 영역에 대응하여 행렬로 배열되어 있는 다수의 렌즈들로 이루어지며, 이러한 렌즈 어레이(300)를 구성하는 렌즈들을 기초렌즈(Elemental lens)라고 명명한다.
이러한 렌즈 어레이(300)를 통해 사용자는 3차원의 집적영상을 보게 된다. 이때 볼 수 있는 집적영상은 다른 3차원 영상과는 달리 부피표현(Volumetric) 디스플레이 방식처럼 연속된 시차와 컬러 정보를 제공해줄 수 있어 관찰자가 비교적 자유로운 시점을 가질 수 있다.
도 2는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법을 설명하기 위한 전체적인 흐름도이고, 도 3a 및 도 3b는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법을 설명하기 위한 개념도로서, 도 3a는 가상의 카메라를 이용하여 디렉셔널 장면을 촬영하는 과정을 설명하기 위한 개념도이고, 도 3b는 디렉셔널 장면을 기초영상집합으로 변환하는 과정을 설명하기 위한 개념도이다.
도 2 및 도 3을 참조하면, 먼저, 가상의 카메라를 이용하여 객체처리모듈(110, 도 1 참조)에 저장된 가상의 2차원 또는 3차원 객체모델에 대한 디렉셔널 장면(Directional scene)을 촬영하기 위하여 제어모듈(120, 도 1 참조)을 통해 몇몇 요건 값들의 연산이 필요하다.
즉, 제어모듈(120)은 기설정된 렌즈 어레이(300, 도 1 참조)의 기초렌즈에 대한 정보들(예컨대, 기초렌즈의 크기, 개수 및 초점거리 등)을 이용하여 가상의 2차원 또는 3차원 객체모델을 촬영한 디렉셔널 장면에 대한 각종 정보데이터(예컨대, 디렉셔널 장면의 크기 및 개수, 디렉셔널 장면을 조각 낼 크기 및 개수 등) 및 가상의 카메라 위치(Vij) 및 전방시야각(Field Of View, FOV) 등의 정보데이터 를 연산한다(S100).
여기서, 상기 디렉셔널 장면은 가상의 카메라 촬영 범위 내에 있는 현재 가상의 카메라 위치에서 가상의 객체모델을 생성할 디스플레이 장치(200, 도 1 참조)의 윈도우(window) 크기의 1/M 크기로 촬영하여 나온 이미지이다.
이때, 상기 M은 렌즈 어레이(300)에서 하나의 원소에 해당하는 기초렌즈(Elemental lens)의 배율(Magnification)이다. 하기의 수학식 1은 집적영상시스템의 배율(Magnification)을 나타낸다.
Figure 112006046152075-pat00001
여기서, f는 상기 기초렌즈의 초점거리이고, g는 디스플레이 장치(200)와 렌즈 어레이(300)와의 거리이며, L은 렌즈 어레이(300)와 CDP(Central Depth Plane)와의 거리이며, 상기 CDP는 상기 g에 의해서 정해지는 초점이 맺히는 위치이다.
그리고, 상기 디렉셔널 장면을 촬영하기 위하여 3차원 공간상의 정확한 가상의 카메라 위치(Vij)를 구해야 한다. 이를 위해 먼저, 상기 기초렌즈의 배율(M)의 중간 값인 CM을 계산하고, 상기 가상의 카메라 위치(Vij)는 하기의 수학식 2에 의해 연산되며, 상기 디렉셔널 장면의 개수는 상기 기초렌즈의 배율(M)의 자승(M×M)으로 연산된다.
Figure 112006046152075-pat00002
여기서, 상기 N은 렌즈 어레이(300) 한 변의 기초렌즈 개수이다.
다음으로, 렌더링 처리모듈(130, 도 1 참조)을 통해 상기 단계S100에서 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수(M×M)만큼 가상의 카메라 위치를 매번 이동 촬영하여 디렉셔널 장면 집합을 생성한 후(S200), 영상처리모듈(140, 도 1 참조)를 통해 상기 단계S200에서 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 렌즈 어레이(300)의 기초렌즈의 개수(N×N)에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 디스플레이 장치(200)의 윈도우 위치에 재배치하여 기초영상집합을 생성한다(S300). 마지막으로, 상기 단계S300에서 생성된 기초영상집합을 디스플레이 장치(200)로 출력하여 렌즈 어레이(300)를 통해 사용자는 3차원의 집적영상을 보게 된다(S400).
이때, 상기 조각 처리된 각각의 디렉셔널 장면들을 재배치하기 위한 디스플레이 장치(200)의 윈도우 위치(Vxy)는 하기의 수학식 3에 의해 연산된다.
Figure 112006046152075-pat00003
여기서, nx, ny=0, 1, 2,..., N-1 이고, my, my=0, 1, 2,..., M-1 이고, 상기 SW는 디스플레이 장치(200)의 윈도우의 픽셀 개수로서 하기의 수학식 4에 의해 연산되며, 상기 DS는 상기 디렉셔널 장면을 분리할 크기로서 하기의 수학식 5에 의해 연산된다.
Figure 112006046152075-pat00004
여기서, SI는 상기 디렉셔널 장면에 대한 한 변의 크기로서, 렌즈 어레이(300)의 기초렌즈의 지름(PL)과 렌즈 어레이(300) 한 변의 기초렌즈 개수(N)의 곱으로 결정되며, 상기 Px는 디스플레이 장치(200)의 도트(Dot) 크기이다. 즉, 상기 구해진 SI 값을 디스플레이 장치(200)의 도트 크기(PX)로 나누면 시스템이 생성하는 디스플레이 장치(200)의 윈도우의 픽셀 개수(SW)가 나온다.
Figure 112006046152075-pat00005
도 3a 및 도 3b를 참조하여 구체적으로 예를 들어 설명하면, 상기 기초렌즈의 배율(M)이 5이고, 상기 기초렌즈가 13×13(N×N)개 있는 렌즈 어레이(300)를 사용할 경우, 본 발명의 일 실시예에 따른 이미지 매핑방법 즉, 뷰포인트 벡터 렌더링(Viewpoint Vector Rendering, VVR) 방식으로 촬영을 하게 되면 M×M개, 하나의 완성된 기초영상집합을 생성하기 위해 도 3a에 도시된 바와 같이 25개의 디렉셔널 장면을 촬영하고, 도 3b에 도시된 바와 같이 영상처리를 한다.
하지만, 상기 기초렌즈에 맺히게 되는 이미지를 촬영하게 된다면 N×N개인 169개를 촬영하고 영상처리를 하지 않는다. 하지만 3D 그래픽 라이브러리를 생성한 가상공간을 한번 촬영하는 것은 2D 영상처리를 하는 것에 비해 매우 많은 컴퓨터 3차원 렌더링을 요하게 되므로, 같은 배율의 기초렌즈 수가 늘어날수록 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식과 기존의 이미지 매핑방법들과의 속도 차이는 더욱 벌어지게 된다.
도 3b는 촬영한 디렉셔널 장면을 조각 내서 완전한 기초영상집합이 되기 위해 각 조각들이 맺히게 될 기초렌즈의 위치로 재배치하는 영상처리 과정을 나타낸 것으로서, 상기 영상처리 과정에서 하나의 디렉셔널 장면은 기초렌즈의 개수 즉, N×N개의 조각들로 쪼개진다. 이 조각들이 재배치되는 위치는 항상 고정되어 있는데, 이 위치는 다음과 같이 구해진다.
상기 완성된 기초영상집합의 크기를 N×N개로 나눈 후, 그 하나의 구역을 다시 M×M개로 나눈다. 이 과정을 거쳐 나오게 된 하나의 구역들이 디렉셔널 장면을 쪼갠 조각들이 위치할 구역이 된다. 이때, 상기 조각의 크기(DS)는 상기의 수학식 5에 의해 구해지며, 상기 조각들이 디스플레이 장치(200)의 윈도우에 위치할 좌표 (Vxy)는 상기의 수학식 3에 의해 구해진다. 이때, 상기의 수학식 5에서 조각 내는 크기(DS)는 디스플레이 장치(200)의 도트 크기(PX)보다 작을 수 없다.
즉, 도 3b의 디렉셔널 장면 집합에서 왼쪽 상단을 첫 번째 디렉셔널 장면, 오른쪽 하단을 M×M번째 디렉셔널 장면이라고 하고, 디렉셔널 장면을 조각 낸 부분에서 왼쪽 상단을 첫 번째 디렉셔널 장면 조각, 오른쪽 하단을 N×N번째 디렉셔 널 장면 조각이라 하자.
그리고, 기초영상집합에서 왼쪽 상단을 첫 번째 기초영상, 오른쪽 하단을 N×N번째 기초영상, 하나의 기초영상을 분리한 것에 대해 왼쪽 상단을 첫 번째 기초영상 구역, 오른쪽 하단을 M×M번째 기초영상 구역이라고 하자.
그러면, 첫 번째 디렉셔널 장면은 N×N개의 조각으로 나눠지고, 첫 번째 디렉셔널 장면 조각부터 N×N번째 디렉셔널 장면 조각들은 각각 첫 번째 기초영상부터 N×N번째 기초영상의 각각 첫 번째 구역에 재배치된다.
또한, 두 번째 디렉셔널 장면도 N×N개의 조각으로 나눠지고, 첫 번째 디렉셔널 장면 조각부터 N×N번째 디렉셔널 장면 조각들은 각각 첫 번째 기초영상부터 N×N번째 기초영상의 각각 두 번째 구역에 재배치된다. 이러한 과정을 M×M번째 디렉셔널 장면까지 반복하게 되면, 하나의 완성된 기초영상집합이 생성되고, 관찰자는 이 영상을 렌즈 어레이(300)를 통해 3차원 영상으로 관찰할 수 있게 된다.
도 4는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법 즉, 뷰포인트 벡터 렌더링(Viewpoint Vector Rendering, VVR) 방식과 종래 기술의 다중 뷰포인트 렌더링(Multiple Viewpoint Rendering, MVR) 방식을 비교하여 나타낸 그림이다.
도 4를 참조하면, 도 4의 (a)에서 좌측 그림은 2차원 객체모델 예컨대, M 글씨에 대한 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식을 사용하여 만들어낸 기초영상들이며, 우측 그림은 2차원 M 글씨에 대한 종래 기술의 다중 뷰포인트 렌더 링(MVR) 방식을 사용하여 만들어낸 기초영상들이다.
도 4의 (b)에서 좌측 그림은 2차원 객체모델 예컨대, 주전자 이미지에 대한 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식을 사용하여 만들어낸 기초영상들이며, 우측 그림은 2차원 주전자 이미지에 대한 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식을 사용하여 만들어낸 기초영상들이다.
도 4의 (c)에서 좌측 그림은 3차원 객체모델 예컨대, 소 모델에 대한 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식을 사용하여 만들어낸 기초영상들이며, 우측 그림은 3차원 소 모델에 대한 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식을 사용하여 만들어낸 기초영상들이다.
도 4의 (d)에서 좌측 그림은 3차원 객체모델 예컨대, 주전자 모델에 대한 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식을 사용하여 만들어낸 기초영상들이며, 우측 그림은 3차원 주전자 모델에 대한 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식을 사용하여 만들어낸 기초영상들이다.
이와 같이 본 발명에 따른 뷰포인트 벡터 렌더링(VVR) 방식과 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식으로 생성된 두 그림은 육안으로 볼 때에 큰 차이를 느낄 수 없다. 그리고, 하기의 표 1의 PSNR(Peak Signal to Noise Ratio) 값을 보았을 때도 50dB에서 150dB 정도로 이미지 차이가 거의 없음을 알 수 있다.
MVR vs. VVR PSNR_r PSNR_g PSNR_b
2차원 M 글씨 143.84 143.84 143.84
2차원 주전자 그림 121.45 120.51 120.89
3차원 소 모델 59.73 63.75 62.31
3차원 주전자 모델 49.17 53.63 56.17
즉, 본 발명에 따른 뷰포인트 벡터 렌더링(VVR) 방식으로 생성한 기초영상이 유효하다는 것을 검증하기 위해 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식으로 생성한 기초영상과 PSNR 값을 비교하였다. 상기 PSNR은 그림간의 유사성을 찾기 위하여 사용하는 것으로 일반적으로 40dB 이상일 경우 유사한 그림으로 생각한다.
이를 구체적으로 설명하면, 2차원 객체모델들(2차원 M 글씨와 주전자 그림)의 경우에는 PSNR 값이 매우 높게 나타났다. 그러나, 3차원 객체모델들(3차원 소와 주전자 그림)은 객체의 두께, 조명 또는 카메라 위치의 차이 등의 요소로 인하여 각각 가상의 카메라 위치에서 촬영된 장면이 조금 더 차이가 생긴다. 그래서, 상기의 표 1에서 보는 바와 같이 3차원 객체모델로 만든 기초영상은 2차원 객체모델로 만든 기초영상에 비해 PSNR 값이 상대적으로 낮다. 이는 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식의 뷰포인트 위치 차이로 인해 깊이를 표현할 때에 에러(error)가 생기기 때문이다.
예를 들어 3차원 주전자 모델의 경우, 깊이 정보가 다른 모델에 비해 상대적으로 두꺼웠던 점 때문에 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식과 비교했을 때 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식의 기초영상의 품질이 좀 더 떨어진 것을 볼 수 있다. 하지만, 이것 역시 40dB이상이므로 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식으로 3차원 객체모델을 이용하여 생성한 기초영상도 유효하다고 볼 수 있다.
이렇게 비슷한 기초영상을 만들어낼 수 있으면서도, 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식과 본 발명의 뷰포인트 벡터 렌더링(VVR) 두 방식의 렌더링 속도를 비교하면, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식이 약 1.5∼5배정도 빠르다. 이는 하기의 표 2의 요건을 갖는 직접영상시스템의 경우, 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식이 13×13만큼 카메라 촬영을 해야 하는 반면에 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 5×5만큼 촬영하기 때문에, 이론상 6배 이상 속도가 빨리 나와야 하지만, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식이 3차원 렌더링의 부담을 줄이기 위해 2차원 영상처리를 하는 과정을 수행하기 때문에 전체적인 렌더링 속도를 떨어뜨린 결과이다.
디스플레이 장치와 렌즈 어레이와의 거리(g) 17.6mm
렌즈 어레이와 CDP와의 거리(L) 88mm
기초렌즈의 지름(PL) 10mm
디스플레이 장치의 도트 크기(PD) 0.25mm
배율(M) 5
렌즈 어레이의 기초렌즈 개수 13×13
기초렌즈의 초점거리(f) 22mm
도 5는 본 발명의 일 실시예에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법과 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식을 비교하기 위하여 기초렌즈 개수에 따른 기초영상 생성 속도를 나타낸 그래프이다.
도 5를 참조하면, 예컨대, 3차원 소 객체모델을 이용하여 렌즈 어레이(300)의 기초렌즈 개수에 따른 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식과 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식의 FPS(frames per second)를 측정한 것으로서, 현재 뷰포인트 벡터 렌더링(VVR)의 구현은 Windows PC 기반의 오프스크린 렌더링(offscreen rendering) 방식으로 구현된 것으로 그래픽 하드웨어 가속이 되지 않아 FPS가 낮다.
그러나, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식이 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식에 비해 상대적으로 시스템 요건에 영향을 덜 받는 경향성을 보여준다. 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식이 렌즈 어레이(300)의 기초렌즈 개수의 증가에 따라 속도가 급속하게 감소하는 것에 비해 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 기초렌즈 개수에 영향을 받지 않는다. 또한, 종래 기술의 병렬 그룹 렌더링(PGR) 방식은 초점모드만 지원하는 반면에, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 리얼모드, 가상모드에서도 다 사용할 수 있으며, 초점모드일 때 본 발명의 뷰포인트 벡터 렌더링(VVR)은 종래 기술의 병렬 그룹 렌더링(PGR) 방식과 일치한다.
전술한 바와 같은 본 발명에서 제안된 뷰포인트 벡터 렌더링(VVR) 방식은 각각의 기초렌즈에 맺히게 되는 이미지들을 촬영하여 기초영상을 만들어내는 방법을 취하지 않고, 디렉셔널 장면을 촬영한다.
또한, 본 발명의 일 실시예에 따른 컴퓨터-생성(CG) 집적영상시스템에서의 이미지 매핑장치 및 그 방법은 실시간 그래픽을 처리하는 프로그램에서 쉽게 사용할 수 있도록 사물의 크기나 기초렌즈의 개수, 해상도에 의해서 크게 영향을 받지 않는 빠른 이미지 매핑 즉, 뷰포인트 벡터 렌더링(Viewpoint Vector Rendering, VVR) 방식을 구현하고 있다.
이러한 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 실시간 그래픽 처리를 통해 무안경식 입체영상 집적영상시스템을 만들 수 있는 기초를 구축할 수 있으며, 이는 양안시차만을 사용하던 가상현실 시스템에 비해 즉시성 문제뿐만 아니라 거추장스러운 장비를 착용해야 하는 문제를 해결할 수 있다.
즉, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 표현하는 대상의 크기나 시스템에서 사용하는 렌즈 어레이(Lens array)의 기초렌즈(Elemental lens)의 수에 영향을 받지 않아서 실시간 영상처리에 보다 유리하다.
또한, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 촬영해야 하는 장면의 개수가 종래 기술의 다중 뷰포인트 렌더링(MVR) 방식과 같이 렌즈 어레이의 기초렌즈 개수에 영향을 받지 않고, 배율에 따라 디렉셔널 장면(Directional scene)을 사용하는 점에서 종래 기술의 병렬 그룹 렌더링(PGR) 방식과 흡사하다. 하지만, 종래 기술의 병렬 그룹 렌더링(PGR) 방식과는 달리 디렉셔널 장면을 픽셀 단위가 아니라 미리 계산된 크기로 잘라 처리하기 때문에 집적영상시스템의 디스플레이 모드 중 초점모드(Focused mode)뿐만 아니라, 기초렌즈의 초점거리가 디스플레이 장치와 렌즈 어레이와의 간격이 작아서 집적영상이 렌즈 어레이 앞에 맺히는 리얼모드(Real mode)와 기초렌즈의 초점거리가 디스플레이 장치와 렌즈 어레이와의 간격이 커서 집적영상이 렌즈 어레이 뒤에 맺히는 가상모드(Virtual mode)에서 다 사용할 수 있다.
따라서, 본 발명의 뷰포인트 벡터 렌더링(VVR) 방식은 실시간 기초영상 생성 처리가 가능하고, OpenGL 같은 잘 알려진 3차원 그래픽 라이브러리를 사용하여 가상의 3차원 물체에 대한 기초영상(Elemental image)을 형성하는 컴퓨터-생성(CG) 집적영상시스템에 적용이 쉽다.
더욱이, 3차원 게임이 주류를 이루고 있는 현 시점에서 기존의 가상현실 장비에 비해 훨씬 저렴한 집적영상 인터페이스(interface)를 활용해 입체영상을 보여줄 수 있다면, 게이머들이나 가상환경 사용자들의 호기심을 자극할 수 있으므로 게임 및 가상현실 응용 프로그램 제작 업체에서 본 발명을 적용한다면 각종 엔터테인먼트 산업에 상당히 큰 파급효과를 줄 수 있다.
전술한 본 발명에 따른 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법에 대한 바람직한 실시예에 대하여 설명하였지만, 본 발명은 이에 한정되는 것이 아니고 특허청구범위와 발명의 상세한 설명 및 첨부한 도면의 범위 안에서 여러 가지로 변형하여 실시하는 것이 가능하고 이 또한 본 발명에 속한다.
이상에서 설명한 바와 같은 본 발명의 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그 방법에 따르면, 가상의 2차원 또는 3차원 객체모듈을 가상의 카메라를 이용하여 디렉셔널 장면(Directional scene)을 촬영하고, 이를 미리 계산된 크기로 조각 처리한 후 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성함으로써, 실시간 영상처리에 보다 효과적으로 적용할 수 있는 이점이 있다.
또한, 본 발명에 따르면, 집적영상시스템의 디스플레이 모드 중 초점모드(Focused mode)뿐만 아니라 기초렌즈의 초점거리가 디스플레이 장치와 렌즈 어레이와의 간격이 작아서 집적영상이 렌즈 어레이 앞에 맺히는 리얼모드(Real mode)와 기초렌즈의 초점거리가 디스플레이 장치와 렌즈 어레이와의 간격이 커서 집적영상이 렌즈 어레이 뒤에 맺히는 가상모드(Virtual mode)에서 모두 용이하게 사용할 수 있는 이점이 있다.

Claims (7)

  1. 가상의 카메라를 이용하여 가상의 2차원 또는 3차원 객체모델에 대한 기초영상집합을 생성하기 위한 이미지 매핑장치와, 상기 생성된 기초영상집합을 3차원 집적영상으로 구현하기 위한 디스플레이 장치 및 다수개의 기초렌즈로 이루어진 렌즈 어레이를 포함하는 CG(Computer-Generated) 집적영상시스템에 있어서,
    상기 이미지 매핑장치는,
    가상의 2차원 또는 3차원 객체모델들을 저장 및 갱신하는 객체처리모듈;
    기설정된 상기 기초렌즈에 대한 정보들을 이용하여 상기 객체처리모듈에 저장된 가상의 객체모델을 촬영한 디렉셔널 장면 및 가상의 카메라 위치에 대한 다양한 정보데이터를 연산하는 제어모듈;
    상기 제어모듈로부터 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수만큼 가상의 카메라 위치를 이동 촬영하여 디렉셔널 장면 집합을 생성하는 렌더링 처리모듈; 및
    상기 렌더링 처리모듈로부터 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 상기 기초렌즈의 개수에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 상기 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성하며, 상기 생성된 기초영상집합을 상기 디스플레이 장치로 출력하는 영상처리모듈을 포함하는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치.
  2. 제 1 항에 있어서, 상기 기초렌즈에 대한 정보들은 상기 기초렌즈의 크기, 개수 및 초점거리 정보이며,
    상기 가상의 객체모델을 촬영한 디렉셔널 장면 및 가상의 카메라 위치에 대한 정보데이터는 상기 디렉셔널 장면의 크기 및 개수, 상기 디렉셔널 장면을 조각낼 크기 및 개수, 상기 디렉셔널 장면을 촬영할 가상의 카메라 위치 및 전방시야각(Field Of View, FOV) 정보데이터인 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치.
  3. 제 1 항에 있어서, 상기 디렉셔널 장면은 가상의 카메라 촬영 범위 내에 있는 현재 가상의 카메라 위치에서 가상의 객체모델을 생성할 상기 디스플레이 장치의 윈도우 크기의 1/기초렌즈의 배율(M) 크기로 촬영한 이미지이고, 상기 기초렌즈의 배율(M)은 하기의 수학식 6에 의해 연산되며, 상기 가상의 카메라 위치(Vij)는 하기의 수학식 7에 의해 연산되며, 상기 디렉셔널 장면의 개수는 상기 기초렌즈의 배율(M)의 자승(M×M)으로 연산되는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치.
    Figure 112006046152075-pat00006
    여기서, f는 상기 기초렌즈의 초점거리이고, g는 상기 디스플레이 장치와 상기 렌즈 어레이와의 거리이며, L은 상기 렌즈 어레이와 CDP(Central Depth Plane)와의 거리이며, 상기 CDP는 상기 g에 의해서 정해지는 초점이 맺히는 위치이다.
    Figure 112006046152075-pat00007
    여기서, CM은 상기 기초렌즈의 배율(M)의 중간 값이고, 상기 N은 상기 렌즈 어레이 한 변의 기초렌즈 개수이다.
  4. 제 1 항에 있어서, 상기 조각 처리된 각각의 디렉셔널 장면들을 재배치하기 위한 상기 디스플레이 장치의 윈도우 위치(Vxy)는 하기의 수학식 8에 의해 연산되는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치.
    Figure 112006046152075-pat00008
    여기서, nx,ny=0,1,2,...,N-1 이고, my,my=0,1,2,...,M-1 이고, 상기 SW는 상기 디스플레이 장치의 윈도우의 픽셀 개수로서 하기의 수학식 9에 의해 연산되며, 상기 DS는 상기 디렉셔널 장면을 분리할 크기로서 하기의 수학식 10에 의해 연산된다.
    Figure 112006046152075-pat00009
    여기서, SI는 상기 디렉셔널 장면에 대한 한 변의 크기로서, 상기 기초렌즈의 지름(PL)과 상기 렌즈 어레이 한 변의 기초렌즈 개수(N)의 곱으로 결정되며, 상기 Px는 상기 디스플레이 장치의 도트 크기이다.
    Figure 112006046152075-pat00010
    여기서, 상기 M은 상기 기초렌즈의 배율로서 하기의 수학식 11에 의해 연산된다.
    Figure 112006046152075-pat00011
    여기서, f는 상기 기초렌즈의 초점거리이고, g는 상기 디스플레이 장치와 상기 렌즈 어레이와의 거리이며, L은 상기 렌즈 어레이와 CDP(Central Depth Plane)와의 거리이며, 상기 CDP는 상기 g에 의해서 정해지는 초점이 맺히는 위치이다.
  5. 가상의 카메라를 이용하여 가상의 2차원 또는 3차원 객체모델에 대한 기초영상집합을 생성하기 위한 이미지 매핑장치와, 상기 생성된 기초영상집합을 3차원 집적영상으로 구현하기 위한 디스플레이 장치 및 다수개의 기초렌즈로 이루어진 렌즈 어레이를 포함하는 CG(Computer-Generated) 집적영상시스템을 이용하여 이미지를 매핑하는 방법에 있어서,
    (a) 기설정된 상기 기초렌즈에 대한 정보들을 이용하여 가상의 객체모델을 촬영한 디렉셔널 장면 및 가상의 카메라 위치에 대한 다양한 정보데이터를 연산하는 단계;
    (b) 상기 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수만큼 가상의 카메라 위치를 이동 촬영하여 디렉셔널 장면 집합을 생성하는 단계; 및
    (c) 상기 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 상기 기초렌즈의 개수에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 상기 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성하는 단계를 포함하는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법.
  6. 제 5 항에 있어서, 상기 단계(d)이후에, 상기 생성된 기초영상집합을 상기 디스플레이 장치로 출력하는 단계를 더 포함하는 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법.
  7. 제 5 항에 있어서, 상기 디렉셔널 장면은 가상의 카메라 촬영 범위 내에 있는 현재 가상의 카메라 위치에서 가상의 객체모델을 생성할 상기 디스플레이 장치의 윈도우 크기의 1/기초렌즈의 배율(M) 크기로 촬영한 이미지인 것을 특징으로 하는 컴퓨터-생성 집적영상시스템에서의 이미지 매핑방법.
KR1020060058472A 2006-06-28 2006-06-28 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그방법 KR100764382B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020060058472A KR100764382B1 (ko) 2006-06-28 2006-06-28 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020060058472A KR100764382B1 (ko) 2006-06-28 2006-06-28 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그방법

Publications (1)

Publication Number Publication Date
KR100764382B1 true KR100764382B1 (ko) 2007-10-08

Family

ID=39419390

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020060058472A KR100764382B1 (ko) 2006-06-28 2006-06-28 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그방법

Country Status (1)

Country Link
KR (1) KR100764382B1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101356378B1 (ko) 2012-07-02 2014-01-28 충북대학교 산학협력단 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치
US9135521B2 (en) 2008-10-31 2015-09-15 Samsung Electronics Co., Ltd. Image processing apparatus and method for determining the integral image
KR101567002B1 (ko) 2014-02-19 2015-11-09 동서대학교산학협력단 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
CN102138095B (zh) * 2008-07-08 2016-08-24 3M创新有限公司 用于制备显示虚像的光学元件的方法
CN112837428A (zh) * 2021-01-13 2021-05-25 西安飞蝶虚拟现实科技有限公司 基于虚拟现实技术的课件制作系统及方法
KR20230087795A (ko) 2021-12-10 2023-06-19 재단법인 구미전자정보기술원 3d/2d 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
2006.2.9. 한국광학회 2006년도 동계학술발표회 논문집(제287면 내지 제288면)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102138095B (zh) * 2008-07-08 2016-08-24 3M创新有限公司 用于制备显示虚像的光学元件的方法
US9135521B2 (en) 2008-10-31 2015-09-15 Samsung Electronics Co., Ltd. Image processing apparatus and method for determining the integral image
KR101356378B1 (ko) 2012-07-02 2014-01-28 충북대학교 산학협력단 일반 카메라를 이용한 3차원 집적 영상 디스플레이 방법 및 장치
KR101567002B1 (ko) 2014-02-19 2015-11-09 동서대학교산학협력단 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템
CN112837428A (zh) * 2021-01-13 2021-05-25 西安飞蝶虚拟现实科技有限公司 基于虚拟现实技术的课件制作系统及方法
CN112837428B (zh) * 2021-01-13 2023-11-21 西安飞蝶虚拟现实科技有限公司 基于虚拟现实技术的课件制作系统及方法
KR20230087795A (ko) 2021-12-10 2023-06-19 재단법인 구미전자정보기술원 3d/2d 변환이 가능한 집적영상 생성 및 재생 장치와 그 방법

Similar Documents

Publication Publication Date Title
CN101636747B (zh) 二维/三维数字信息获取和显示设备
US7787009B2 (en) Three dimensional interaction with autostereoscopic displays
Schmidt et al. Multiviewpoint autostereoscopic dispays from 4D-Vision GmbH
CN108282648B (zh) 一种vr渲染方法、装置、穿戴式设备及可读存储介质
JP4489610B2 (ja) 立体視可能な表示装置および方法
CN115951504A (zh) 使用眼睛位置的无三维眼镜光场显示
KR102121389B1 (ko) 무안경 3d 디스플레이 장치 및 그 제어 방법
CN101631257A (zh) 一种实现二维视频码流立体播放的方法及装置
US9933626B2 (en) Stereoscopic image
KR100764382B1 (ko) 컴퓨터-생성 집적영상시스템에서의 이미지 매핑장치 및 그방법
CN104702936A (zh) 一种基于裸眼3d显示的虚拟现实交互方法
CN105007477A (zh) 基于Unity3D引擎实现裸眼3D显示的方法
WO2012140397A2 (en) Three-dimensional display system
CN109493409B (zh) 基于左右眼空间复用的虚拟三维场景立体画面绘制方法
JPWO2019198784A1 (ja) ライトフィールド画像生成システム、画像表示システム、形状情報取得サーバ、画像生成サーバ、表示装置、ライトフィールド画像生成方法及び画像表示方法
WO2007085194A1 (fr) Dispositif d'affichage d'image stéréo faisant appel à un obturateur à cristaux liquides et procédé d'affichage de ce dernier
CN107948631A (zh) 一种基于集群和渲染的裸眼3d系统
CN102063735B (zh) 通过改变视点角度制作三维图像源的方法和装置
US20080316299A1 (en) Virtual stereoscopic camera
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及系统
US20210327121A1 (en) Display based mixed-reality device
KR101912242B1 (ko) 3d 디스플레이 장치 및 그 영상 처리 방법
Jeong et al. Efficient light-field rendering using depth maps for 100-mpixel multi-projection 3D display
CN114637391A (zh) 基于光场的vr内容处理方法及设备
Katayama et al. A method for converting three-dimensional models into auto-stereoscopic images based on integral photography

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20110901

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20120907

Year of fee payment: 6

LAPS Lapse due to unpaid annual fee