KR20150098252A - 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템 - Google Patents

Abstract

본 발명은 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상 생성 시스템에 관한 것으로서, 더욱 상세하게는 3D 영상정보가 저장되어 있는 3D영상 데이터부, 3D영상 데이터부의 3D영상정보를 컴퓨터 그래픽스 기반에서 사물이 사람의 좌우 시야에 달리 보이는 것처럼 좌우영상으로 구분하여 픽업하는 영상픽업부, 상기 영상픽업부에 가상의 카메라의 위치를 설정하는 양안 카메라 설정부로 구성된 컴퓨터 그래픽스 기반의 스테레오 영상픽업부와; 상기 영상픽업부에서 획득된 좌우영상들이 겹쳐지지 않고 관측자들의 눈 영역에 표시되도록 콘텐츠를 생성하는 콘텐츠 생성부, 상기 양안 카메라 설정부와 콘텐츠 생성부에 한 명 혹은 다수의 관측자들의 양안을 추적하여 양안 위치, 기울기 등의 정보를 제공하는 양안 관측부, 상기 콘텐츠 생성부에서 생성된 콘텐츠 순서대로 좌우영상을 관측자에게 디스플레이하는 집적 영상시스템부로 구성된 스테레오 플로팅 집적 영상디스플레이부;에 의해 3D영상을 제공하는 것이 특징인 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상 생성 시스템에 관한 것이다.
상술한 바와 같이 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템에서 양안 관측부에서 관측한 관측자의 양안 정보를 기반으로 고해상도의 다양한 콘텐츠를 고속으로 생성할 수 있으며, 관측자의 관측위치와 머리 기울어짐에 대해서도 3차원 영상의 콘텐츠를 생성할 수 있다는 등의 현저한 효과가 있다.

Description

컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템{Computer graphics based stereo floting integral imaging creation system}

본 발명은 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템에 관한 것으로서, 더욱 상세하게는 3D 영상정보가 저장되어 있는 3D영상 데이터부, 3D영상 데이터부의 3D영상정보를 컴퓨터 그래픽스 기반에서 사물이 사람의 좌우 시야에 달리 보이는 것처럼 좌우영상으로 구분하여 픽업하는 영상픽업부, 상기 영상픽업부에 가상의 카메라의 위치를 설정하는 양안 카메라 설정부로 구성된 컴퓨터 그래픽스 기반의 스테레오 영상픽업부와; 상기 영상픽업부에서 획득된 좌우영상들이 겹쳐지지 않고 관측자들의 눈 영역에 표시되도록 콘텐츠를 생성하는 콘텐츠 생성부, 상기 양안 카메라 설정부와 콘텐츠 생성부에 한 명 혹은 다수의 관측자들의 양안을 추적하여 양안 위치, 기울기 등의 정보를 제공하는 양안 관측부, 상기 콘텐츠 생성부에서 생성된 콘텐츠 순서대로 좌우영상을 관측자에게 디스플레이하는 집적 영상시스템부로 구성된 스테레오 플로팅 집적 영상디스플레이부;에 의해 3D영상을 제공하는 것이 특징인 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상 생성 시스템에 관한 것이다.

컴퓨터 그래픽스는(Computer Graphices,CG)는 컴퓨터를 이용해서 실제 세계의 영상을 조작하거나 새로운 영상을 만들어 내는 기술을 말한다.

최근에는 일반적으로 3차원 컴퓨터 그래픽스를 컴퓨터 그래픽스로 부르기도 한다.

컴퓨터 그래픽스는 가상 세계에 구축된 모델 즉, 3차원 영상 정보를 렌더링 파이프라인의 단계별 계산에 의해서 최종 결과물이 2D 이미지로 만들어진다.

이러한 컴퓨터 그랙픽스의 종래기술로는 등록특허공보 제0764382호에 가상의 카메라를 이용하여 가상의 2차원 또는 3차원 객체모델에 대한 기초영상집합을 생성하기 위한 이미지 매핑장치와, 상기 생성된 기초영상집합을 3차원 집적 영상으로 구현하기 위한 디스플레이 장치 및 다수개의 기초렌즈로 이루어진 렌즈 어레이를 포함하는 CG(Computer-Generated) 집적 영상시스템에 있어서, 상기 이미지 매핑장치는, 가상의 2차원 또는 3차원 객체모델들을 저장 및 갱신하는 객체처리모듈; 기설정된 상기 기초렌즈에 대한 정보들을 이용하여 상기 객체처리모듈에 저장된 가상의 객체모델을 촬영한 디렉셔널 장면 및 가상의 카메라 위치에 대한 다양한 정보데이터를 연산하는 제어모듈; 상기 제어모듈로부터 연산된 다양한 정보데이터를 통해 상기 디렉셔널 장면의 개수만큼 가상의 카메라 위치를 이동 촬영하여 디렉셔널 장면 집합을 생성하는 렌더링 처리모듈; 및 상기 렌더링 처리모듈로부터 생성된 디렉셔널 장면 집합의 각 디렉셔널 장면들을 상기 기초렌즈의 개수에 대응되게 조각 처리한 후, 상기 조각 처리된 각각의 디렉셔널 장면들을 미리 정해진 상기 디스플레이 장치의 윈도우 위치에 재배치하여 기초영상집합을 생성하며, 상기 생성된 기초영상집합을 상기 디스플레이 장치로 출력하는 영상처리모듈을 포함하는 것을 특징으로 하는 컴퓨터-생성 집적 영상시스템에서의 이미지 매핑장치가 등록공개되어 있다.

또한, 집적 영상 시스템의 성능 향상을 위한 종래기술로는 등록특허공보 제0860611호(다층 표시 소자를 이용한 입체 영상시스템)에 동일한 중심축 상에 순차적으로 배열되어 있는 다수의 표시 소자를 포함하며, 각각의 상기 표시 소자들은 인가되는 기초 영상을 각각 다른 중심깊이 평면-여기서 중심깊이 평면은 해당 표시 소자에 의하여 표시되는 영상의 초점이 맺히는 위치를 기준으로 설정 거리 내에 포함되는 영역을 나타냄-에 표시하는 다층 영상 표시부; 상기 다수의 표시 소자에 대응되는 각각의 기초 영상을 제공하는 영상 처리부; 및 다수의 기초 렌즈로 구성되며 상기 다층 영상 표시부의 각각의 상기 표시 소자에서 표시되는 기초 영상들을 서로 다른 중심깊이 평면에 결상시켜, 입체 영상을 표시하는 렌즈 어레이를 포함하며, 상기 영상 처리부는, 상기 다층 영상 표시부를 구성하는 표시 소자의 수에 따라 대응하는 수의 기초 영상을 생성하는 것을 특징으로 하는 입체 영상시스템이 소개되어 있다.

그러나 상기한 종래의 기술들은 복잡한 시스템 구조나 시분할 다중화 기술과 같은 복잡한 원리를 사용하여 단순히 하나의 변수를 극복하는 방법을 제시하였고, 또한, 관측자의 위치나 머리의 기울어짐에 대해 즉각적으로 반응하지 못함으로써 고해상도의 다양한 콘텐츠를 고속으로 생성할 수 없다는 단점이 있었다.

본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상 생성 방법에서 양안 관측부에서 관측한 한 명 혹은 다수의 양안 정보를 기반으로 고해상도의 다양한 컨텐츠를 고속으로 생성할 수 있으며, 관측자들의 관측위치와 머리의 기울어짐에 대해서도 3차원 영상의 콘텐츠를 생성하여 제공할 수 있다.

본 발명 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템은 3D 영상정보가 저장되어 있는 3D영상 데이터부, 3D영상 데이터부의 3D영상정보를 컴퓨터 그래픽스 기반에서 사물이 사람의 좌우 시야에 달리 보이는 것처럼 좌우영상으로 구분하여 픽업하는 영상픽업부, 상기 영상픽업부에 가상의 카메라의 위치를 설정하는 양안 카메라 설정부로 구성된 컴퓨터 그래픽스 기반의 스테레오 영상픽업부와;

상기 영상픽업부에서 획득된 좌우영상들이 겹쳐지지 않고 관측자들의 눈 영역에 표시되도록 콘텐츠를 생성하는 콘텐츠 생성부, 상기 양안 카메라 설정부와 콘텐츠 생성부에 한 명 혹은 다수 관측자들의 양안을 추적하여 양안 위치, 기울기 등의 정보를 제공하는 양안 관측부, 상기 콘텐츠 생성부에서 생성된 콘텐츠 순서대로 좌우영상을 관측자에게 디스플레이하는 집적 영상시스템부로 구성된 스테레오 플로팅 집적 영상디스플레이부;에 의해 3D영상을 제공하는 것이 특징이다.

상술한 바와 같이 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템에서 양안 관측부에서 관측한 관측자의 양안 정보를 기반으로 고해상도의 다양한 콘텐츠를 고속으로 생성할 수 있으며, 관측자의 관측위치와 머리 기울어짐에 대해서도 3차원 영상의 콘텐츠를 생성할 수 있다는 등의 현저한 효과가 있다.

도 1은 실상 집적 영상과 허상 집적 영상 디스플레이 개념도.
도 2는 본 발명 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템 개념도.
도 3은 관측자의 우안에 대한 우안용 요소 영상 생성에 대한 개념도.
도 4는 우안용 요소 영상을 이용한 스테레오 집적 영상 디스플레이 개념도.
도 5는 관측자의 좌안에 대한 좌안용 요소 영상 생성에 대한 개념도.
도 6은 좌안용 요소 영상을 이용한 스테레오 집적 영상 디스플레이 개념도.
도 7은 본 발명의 실험에 따른 좌우영상, 좌우안용 요소 영상 그리고 좌우안용 요소영상 합성영상, 그리고 광학디스플레이 장치에서 관측영상사진.
도 8은 컴퓨터 그래픽스 기반의 스테레오 영상픽업부의 동작 순서도.
도 9는 스테레오 플로팅 집적 영상디스플레이부의 동작 순서도.
도 10은 컴퓨터 그래픽스 파이프라인 개념도.
도 11은 컴퓨터 그래픽스 파이프라인의 응용프로그램 단계를 나타낸 개념도.
도 12는 컴퓨터 그래픽스 파이프라인의 지오메트리 단계를 나타낸 개념도이다.
도 13은 지오메트리 단계의 클립핑 개념도.
도 14는 컴퓨터 그래픽스 파이프라인의 레스트화 단계를 나타낸 개념도.
도 15는 실제공간에서의 양안과 가상공간에서의 카메라의 1대1 매칭 개념도.
도 16은 실제공간에서 관측자의 양안 위치와 가상공간에서 카메라의 위치를 나타낸 개념도.
도 17은 콘텐츠 생성부에서 다수의 스테레오 플로팅 집적 영상 결합 개념도.
도 18은 편광판의 원리를 나타낸 개요도.
도 19는 편광판이 설치되지 않은 디스플레이패널의 개요도.
도 20은 편광판이 설치된 디스플레이패널의 개요도.
도 21은 디스플레이패널에 편광판이 적용된 전·후의 영상비교사진.

본 발명 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템은 3D영상정보가 저장되어 있는 3D영상 데이터부(130), 상기 3D영상 데이터부(130)의 3D영상정보를 컴퓨터 그래픽스 기반에서 사물이 사람의 좌우 시야에 달리 보이는 것처럼 좌우영상으로 구분하여 픽업하는 영상픽업부(110), 상기 영상픽업부(110)에 가상의 카메라의 위치를 설정하는 양안 카메라 설정부(120)로 구성된 컴퓨터 그래픽스 기반의 스테레오 영상픽업부(100)와; 상기 영상픽업부(110)에서 획득된 좌우영상들이 겹쳐지지 않고 관측자들의 눈 영역에 표시되도록 콘텐츠를 생성하는 콘텐츠 생성부(210), 상기 양안 카메라 설정부(120)와 콘텐츠 생성부(210)에 한 명 혹은 다수의 관측자들의 양안을 추적하여 양안 위치, 기울기 등의 정보를 제공하는 양안과측부(220), 상기 콘텐츠 생성부에서 생성된 콘텐츠 순서대로 좌우영상을 관측자에게 디스플레이하는 집적 영상시스템부(230)로 구성된 스테레오 플로팅 집적 영상디스플레이부(200);에 의해 3D영상을 제공하는 것이 특징이다.

그리고 상기 스테레오 영상픽업부(100)는 3D 영상데이터를 로딩하는 1단계; 양안 수만큼 가상 카메라의 3D 공간 위치를 설정하는 2단계; 설정된 정보들의 데이터에 의해 컴퓨터 그래픽스의 파이프라인에 따라 양안의 수만큼 랜더링하여 스테레오 영상을 생성하는 3단계; 생성된 스테레오 영상들을 순차적으로 콘텐츠 생성부에 전송하는 4단계;로 이루어진 것이 특징이다.

또한, 상기 스테레오 플로팅 집적 영상디스플레이부(200)는 스트레오 영상이미지를 입력받는 1단계; 입력받은 스트레오 영상과 양안 관측부에서 입력된 양안 정보를 설정하는 2단계; 입력받은 양안 정보를 이용하여 스트레오 플로팅 집적영상을 생성하는 3단계; 생성된 스테레오 플로팅 집적 영상을 관측자의 각각의 위치에 맞도록 생성된 집적 영상을 순서대로 하나의 스테레오 플로팅 집적 영상으로 결합하는 4단계;로 이루어진 것이 특징이다.

이하, 본 발명 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템을 첨부한 도면에 의해 상세히 설명하면 다음과 같다.

도 1은 실상 집적 영상과 허상 집적 영상 디스플레이 개념도이다.

집적 영상 디스플레이 기술은 크게 픽업부 및 디스플레이부로 구성된다.

픽업부는 렌즈 어레이를 구성하는 기초 렌즈들에 의해 생성되는 3차원 물체의 여러 방향에서의 기초 영상을 촬영(촬상) 소자에 저장한다.

디스플레이부는 촬영부의 역 과정으로서, 상기 저장된 기초 영상들을 표시하고, 다시 이 기초 영상들이 렌즈 어레이를 통과하면서 합쳐져서 원래 3차원 물체가 있었던 위치에서 입체 영상으로 재생하게 된다.

이때 디스플레이부에서 3D 영상이 재생되는 위치는 렌즈 어레이와 요소영상 표시부와의 거리에 의해 결정된다.

즉, 다음의 식과 같다.

수학식 1

(여기에서 d는 3D 영상의 렌즈 어레이로부터의 위치 (중심깊이면: central depth plane), g는 렌즈 어레이와 표시부와의 거리, f는 렌즈 어레이를 구성하는 기초 렌즈의 초점거리이다.)

여기서, d가 f보다 클 경우에는 상이 맺히는 거리 g 값이 양수가 되어 입체 영상이 렌즈 어레이의 앞면에 재생되며, 반대의 경우에는 렌즈 어레이의 후면에 재생된다.

전자를 실상 집적 영상(real-field integral imaging)이라하고 후자를 허상 집적 영상 (Virtual-field integral imaging)이라고 한다.

도 1에 이 두 가지 표시 방법을 비교하였다.

상기 집적 영상 디스플레이 시스템에는 렌즈 어레이 및 시스템의 구조에 의해 영상 해상도(image resolution), 시야각 (viewing angle), 영상깊이(image depth) 등이 결정된다.

이 중에서 시야각은 플리핑(flipping)현상 없이 집적 영상을 관찰할 수 있는 시야영역의 각도를 나타내며, 다음의 수식으로 결정된다.

식 2

(여기에서 p는 렌즈 어레이를 구성하는 기초 렌즈의 직경이고 g는 렌즈 어레이와 표시부와의 거리이다.)

그리고 집적 영상에서 영상깊이는 중심깊이면(central depth plane)을 중심으로 일정한 두께 안에서만 표현이 가능하다.

이것은 중심깊이면이 실제 기초 렌즈가 상을 맺는 위치이기 때문에 이 깊이 영역이 3차원 영상을 왜곡 없이 표현하는 실제 영역이다.

이를 증가시키기 위해서 요소 영상 디스플레이의 기계적 움직임, 시분할 디스플레이 등과 같은 매우 복잡한 시스템 구조가 연구되어 왔다.

또한, 해상도, 시야각, 영상 깊이는 서로 복잡하게 연결되어 있는 변수들로써 전체적으로 향상시키는 것이 불가능하다는 문제점이 있었다.

참고로 간단한 용어를 정리하면, 요소렌즈(elemental lens)는 렌즈배열을 구성하는 한 개의 렌즈를 말한다.

그리고 이 요소렌즈의 크기에 대응하는 결상면(imaging plane)위 결상영역(image formation region)을 요소영상(elemental image)이라 한다.

또한, 이 요소영상들의 집합을 요소영상배열(elemental image array)라 한다.

일반적으로 하나의 작은 렌즈를 기초 렌즈 또는 렌즈릿이라고 하며, 작은 렌즈의 배열된 군을 렌즈 어레이라 표현하다.

도 2는 본 발명 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템 개념도로서, 도 2에서 (a)는 종래의 스테레오 플로팅 집적 영상생성시스템의 개념을 나타낸 것이며, (b)는 본 발명 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템의 개념을 나타낸 것이다.

한편, 붉은색 부분은 컴퓨터 그래픽스 기반으로 스테레오 영상을 생성하는 부분이며, 파란색 부분은 기존의 스테레오 집적영상 시스템 부분을 나타낸 것이다.

도 2의 (b)에 도시된 바와 같이 본 발명 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템은 3D영상정보가 저장되어 있는 3D영상 데이터부(130), 상기 3D영상 데이터부(130)의 3D영상정보를 컴퓨터 그래픽스 기반에서 사물이 사람의 좌우 시야에 달리 보이는 것처럼 좌우영상으로 구분하여 픽업하는 영상픽업부(110), 상기 영상픽업부(110)에 가상의 카메라의 위치를 설정하는 양안 카메라 설정부(120)로 구성된 컴퓨터 그래픽스 기반의 스테레오 영상픽업부(100)와; 상기 영상픽업부(110)에서 획득된 좌우영상들이 겹쳐지지 않고 관측자들의 눈 영역에 표시되도록 콘텐츠를 생성하는 콘텐츠 생성부(210), 상기 양안 카메라 설정부(120)와 콘텐츠 생성부(210)에 한 명 혹은 다수의 관측자들의 양안을 추적하여 양안 위치, 기울기 등의 정보를 제공하는 양안과측부(220), 상기 콘텐츠 생성부에서 생성된 콘텐츠 순서대로 좌우영상을 관측자에게 디스플레이하는 집적 영상시스템부(230)로 구성된 스테레오 플로팅 집적 영상디스플레이부(200);에 의해 3D영상을 제공하는 것이 특징이다.

즉, 양안 관측부(220)는 비전을 이용하여 사람의 얼굴을 검출하고 검출된 얼굴에서 사람의 양안 즉 좌안,우안의 공간적 위치와, 기울기, 그리고 각각의 크기 정보를 검출한다.

한 명 혹은 그 이상의 양안 정보를 검출한다.

양안 카메라 설정부(120)는 양안 관측부에서 검출한 양안(좌우)의 정보를 양안 카메라 설정부에 세팅한다.

그리고 실제공간에서의 양안 위치와 동일한 가상의 공간(컴퓨터 그래픽스)에 카메라 위치를 설정한다.

3D영상 데이터부(130)는 컴퓨터 그래픽스를 이용해 가상의 공간(컴퓨터 그래픽스)에 생성할 3D영상정보가 보관되어 있다.

일반적으로 3D영상정보는 3차원 물체가 가지는 꼭지점(Vertex), 메쉬(Mesh), 모서리(Edge), 질감(Texture), 명암(lighting) 등의 정보를 가리킨다.

영상픽업부(110)는 양안 카메라 설정부(120)의 정보와 3D영상데이터의 정보를 컴퓨터그래픽스를 이용하여 콘텐츠 생성부(210)에 필요한 스테레오 이미지들을 만들어 낸다.

그리고 양안 관측부(220)에서 제공하는 한 개 혹은 다수의 양안 수 만큼(1~N) 컴퓨터 그래픽스는 스테레오 이미지를 만들어낸다.

예를 들어 양안 관측부(220)에서 관측하는 사람이 2명이면 스테레오 이미지는 2개가 영상픽업부(110)에서 생성된다.

콘텐츠 생성부(SFII)(210)는 3D영상픽업부(110)에서 생성된 스테레오 이미지들을 입력받는다.

그리고 양안 관측부(220)에서 양안정보(위치,좌안 우안의 각각 크기)를 입력 받고, 좌안,우안의 위치와 크기에 맞는 스테레오 플로팅 집적영상을 생성한다.

그리고 양안관측부(220)에서 검출한 양안의 수가 하나 이상일 경우에는 콘텐츠 생성부(210)에서 생성된 각각의 스테레오 플로팅 집적 영상들을 결합한다.

즉, 본 발명을 효과적으로 구현하기 위해서는 영상픽업부(110)에서 생성된 좌영상과 우영상에 대해서 좌우안용 요소 영상을 관측자의 눈 영역에 디스플레이되도록 생성하여야 하며, 좌우 양안의 디스플레이 영역이 겹쳐지지 않도록 콘텐츠를 생성하여야 한다.

영상픽업부(110)는 스테레오 카메라를 직접적으로 이용하거나 컴퓨터 그래픽스적으로 3차원 모델로부터 좌영상과 우영상을 생성할 수 있다.

도 3은 관측자의 우안에 대한 우안용 요소 영상 생성에 대한 개념도로서, 영상픽업부에 생성된 영상에 대해서 관측자의 한쪽 눈 영역에 표시할 요소 영상을 생성하기 위한 개념을 보여준다.

만약 우안(오른쪽 눈)에 대한 3차원 영상의 요소 영상 생성한다고 가정하면, 도 3에서와 같이 우안에 표시할 우영상을 집적 영상의 중심 깊이 영역에 위치시키고, 요소 영상을 생성한다.

이때 관측자의 우안에 표시할 영역 A에 대해서 매핑이 되는 우영상의 B 영역이 요소 영상의 C 영역에 기록이 되도록 모든 핀홀에 대해서 각각의 콘텐츠를 생성한다.

이렇게 생성된 영상이 우안에 대한 우안용 요소 영상이다.

본 발명에서는 기존의 방식과는 달리 관측자의 거리를 고려하여 요소 영상이 생성된다.

따라서, 디스플레이할 때 관측자의 위치와 머리의 움직임에 상관없이 자유롭게 요소 영상을 생성할 수 있다는 장점을 가진다.

도 4는 우안용 요소 영상을 스테레오 집적 영상 디스플레이하는 개념도로서, 도 4는 도 3에서 생성한 우안의 요소 영상을 집적 영상 디스플레이 시스템에 표시할 경우에 관측자의 우안에서 영상이 표시되는 방법을 설명한 것이다.

우안의 요소 영상은 각각의 렌즈배열을 통과하여 집적 영상 시스템의 중심깊이영역에 우영상이 올바르게 표현이 되고 이 플로팅 영상을 관측자는 우안으로 관측하게 된다.

동일한 방법으로 관측자의 좌안에 대해서도 좌영상을 이용하여 좌안용 요소 영상을 생성할 수 있다.

도 5는 관측자의 좌안에 대한 좌안용 요소 영상 생성에 대한 개념도로서, 관측자의 좌안 영역에 표시할 요소 영상을 생성하기 위한 개념을 나타낸 것이고, 도 6은 좌안용 요소 영상을 스테레오 집적 영상 디스플레이하는 개념도로서, 좌안용 요소 영상을 이용한 3차원 플로팅 영상을 표시하고 관측자의 좌안영역 A'에서 관측됨을 확인하는 개념도이다.

도 7은 본 발명의 실험에 따른 좌우영상, 좌우안용 요소 영상 그리고 좌우안용 요소영상 합성영상, 그리고 광학디스플레이 장치에서 관측 영상사진으로서, 본 발명에 대한 실험적 관측자의 우안에 대한 요소 영상 생성 및 3차원 영상의 예를 나타낸 것이다.

두 개의 영상 (좌영상, 우영상)은 스테레오 페어인 영상이며, 도 3과 도 5의 원리에 의하여 생성된 좌안용 요소 영상과 우안용 요소 영상을 각각 보여주고 있다.

스테레오 페어란 스테레오 영상을 디스플레이할 때에 좌영상 우영상의 두 영상이 필요한데, 이때 같은 프레임에 동시에 사용되는 좌영상, 우영상의 두 세트를 스테레오 페어라고 한다.

따라서, 이 두 영상을 관측자의 각각의 좌안, 우안에 영상을 표시하기 위해서 두 개의 영상을 단순히 합하여 최종 디스플레이용 요소 영상을 생성한다.

이렇게 생성된 요소 영상을 집적 영상 디스플레이 장치에 표시하게 되면 좌우안에 대한 각각의 서로 다른 스테레오 플로팅 영상이 관측자에게 관측이 된다.

본 발명은 집적 영상 기술에서 영상의 표현 깊이를 이용하여 스테레오 플로팅 영상을 동시에 표시하기 때문에, 관측자가 3차원 영상의 깊이감을 쉽게 느끼게 된다.

본 발명의 또 다른 장점은 기존의 스테레오 방식의 문제인 초점과 수렴의 불일치 부분을 완하시키는 방법이다.

집적영상시스템부는 콘텐츠 생성부에서 생성된 스테레오 플로팅 집적 영상을 디스플레이하는 시스템이다.

한편, 붉은색 부분은 컴퓨터 그래픽스 기반으로 스테레오 영상을 생성하는 스테레오 영상픽업부 영역으로 P3의 기존의 스테레오 집적영상 시스템에서 영상 픽업 부분에 해당하는 것으로, 컴퓨터 그래픽스 기반으로 스테레오 영상을 생성하며, 한 명 혹은 다수의 사람이 관측되었을 때 다수의 관측자에 맞는 스테레오 영상을 생성하는 것이다.

또한, 파란색 부분은 기존의 스테레오 집적영상 방법을 그대로 이용하는 스테레오 플로팅 집적 영상디스플레이부 영역이다.

도 8은 컴퓨터 그래픽스 기반의 스테레오 영상픽업부의 동작 순서도이다.

도 8에 도시된 바와 같이 상기 스테레오 영상픽업부(100)는 3D 영상데이터를 로딩하는 1단계, 양안 수만큼 가상 카메라의 3D 공간 위치를 설정하는 2단계; 설정된 정보들의 데이터에 의해 컴퓨터 그래픽스의 파이프라인에 따라 양안의 수만큼 랜더링하여 스테레오 영상을 생성하는 3단계; 생성된 스테레오 영상들을 순차적으로 콘텐츠 생성부에 전송하는 4단계로 동작한다.

도 9는 스테레오 플로팅 집적 영상디스플레이부의 동작 순서도이다.

도 9에 도시된 바와 같이 스테레오 플로팅 집적 영상디스플레이부(200)는 스트레오 영상이미지를 입력받는 1단계, 입력받은 스트레오 영상과 양안 관측부에서 입력된 양안 정보를 설정하는 2단계, 입력받은 양안 정보를 이용하여 스트레오 플로팅 집적영상을 생성하는 3단계, 생성된 스테레오 플로팅 집적 영상을 관측자의 각각의 위치에 맞도록 생성된 집적 영상을 순서대로 하나의 스테레오 플로팅 집적 영상으로 결합하는 4단계 과정에 의해 3D영상을 관측자에게 디스플레이 하도록 이루어진 것이 특징이다.

도 10은 컴퓨터 그래픽스 파이프라인 개념도이다.

도 10에 도시된 바와 같이 컴퓨터 그래픽 카드에서 제공되는 3D영상은 마우스,키보드 등과 같은 입력과 3차원 영상 정보를 파이프라인에 입력하는 응용프로그래밍 단계(Application Stage), 입력된 각각의 정보들을 기하학적 계산을 통한 변환하는 지오메트리 단계(Geometry Stage),지오지오메트리 단계에서 나온 3차원 영상 정보를 이용하여 2D 이미지로 만들어주는 레스터화 단계(Rasterizer Stage)로 3단계로 크게 나누어진다.

도 11은 컴퓨터 그래픽스 파이프라인의 응용프로그램단계를 나타낸 개념도이다.

도 11에 도시된 바와 같이 우선, 응용프로그램 단계는 일반적으로 우리가 알고 있는 3차원 프로그램에서 하드디스크에서 읽어온 3차원 영상정보를 마우스,키보드 등과 같은 입력 장치 정보들을 각각 설정해 그래픽카드의 렌더링 파이프라인으로 데이터를 입력하는 단계를 말한다.

도 12는 컴퓨터 그래픽스 파이프라인의 지오메트리 단계를 나타낸 개념도이다.

또한, 응용프로그램 단계를 통해 입력된 3차원 영상 데이터와 키보드 마우스 정보를 이용하여 지오메트리 단계(Geometry Stage)에서는 수학적으로 기하학 정보를 계산한다.

이에, 지오메트리 단계도 4단계로 나눌 수 있다.

렌더링 파이프라인에서 가장 중요한 개념인 좌표계 변환으로서 어떻게 보면 좌표계 변환 자체가 각각의 파이프라인 프로세서라 할 수 있다.

로컬 좌표계(Local Coordinate System)에서 모델변환(Model Transform)은 3차원 영상과 그 속에 있는 특정 물체를 제어하는 과정으로 크게 물체를 특정위치로 기본적으로 이동하고, 회전시키고, 크기를 바꾸는 것을 말한다.

이 외에도 다양하게 모델을 변환하는 식이 있다.

기본적은 모델 변환에 대한 식인 이동, 회전, 크기 변환 그리고 변환된 로컬 좌표를 월드 좌표(World Coordinate System)로 변환하는 수학적 식은 아래와 같다.

---(1)

월드 좌표계에서 다음 단계인 시점변환(View Transform)으로 변환을 해야 한다.

시점좌표계(View Coordinate System)는 물체를 바라보는 위치를 말하는데 일반적으로 우리가 시점좌표계를 가상 카메라와 동일하다고 본다.

시점좌표계의 식(2)와 같다.

---(2)

시점변환이 끝나면 다음 단계인 2차원 투상(Projection)으로 사상시키는 과정이 필요하다.

3차원 공간에서는 원근 투상(Perspective Projection)을 한다.

그 이유는 실 공간에 존재하는 원근감(Depth Feeling)을 표현하기 위해서이다.

원근 투상을 하기 위한 식은 아래 (3)식과 같이 행렬로 표현할 수 있다.

---(3)

도 13은 지오메트리 단계의 클립핑(Clipping) 개념도이다.

원근 투상 과정까지 기하 계산이 끝나면 마지막으로 레스터화 단계로 넘어가기 전에 불필요한 정보를 제거하는 클립핑(Clipping)단계가 있다.

클립핑을 하는 이유는 레스터화 단계에서 연산량이 많아 불필요한 데이터를 제거하기 위해서이다.

원근 투상 범위 포함되지 않는 3D 영상 정보들(점,선,면 등)을 클리핑 단계의 연산을 통해 제거하게 된다.

클립핑에 대한 개념은 아래 그림에서 보는 것과 같이 물체가 카메라의 시점에서 벗어나면 제거되고, 레스터화 단계에서는 연산에 반영되지 않는다.

도 14는 컴퓨터 그래픽스 파이프라인의 레스트화 단계를 나타낸 개념도이다.

레스터화 단계는 지오메트리 단계에서 정점연산이 끝나고 나면 3D 영상 정보들의 정점을 기반으로 3차원 정보를 2차원 이미지로 변환하는 과정을 말한다.

도 14에서 보는 것과 같이 삼각형의 정점을 레스터화 하면 삼각형의 정점을 기준으로 삼각형의 내부의 색상까지 채워서 그려준다.

이러한 단계를 통해서 컴퓨터 그래픽스는 3차원 영상 정보를 가지고 3차원 입체 영상을 만들어 낼 수 있다.

도 15는 실제공간에서의 양안과 가상공간에서의 카메라의 1대1 매칭 개념도이다.

도 15에 도시된 바와 같이 양안 관측부에서 제공된 실제공간에서의 양안(좌 :e1-1 , 우 :e1-2 )위치 정보와 가상공간의 카메라(좌 : c1-1, 우 : c1-2)를 1대 1로 매칭한 것으로, 각각 좌안 e1-1은 카메라 c1-1에 우안 e1-2은 카메라 c1-2에 매칭되는 것을 의미한다.

도 16은 실제공간에서 관측자의 양안 위치와 가상공간에서 카메라의 위치를 나타낸 개념도이다.

도 16은 양안 관측부에 다수의 사람이 검출되어 다수의 사람들의 양안 정보들을 제공될 때 컴퓨터 그래픽스 공간에서 어떻게 매칭이 되는지 개념적으로 나타내었다.

양안 관측부에서 3명을 검출하면 3명의 양안 정보가 도 2의 양안 카메라 설정부에 설정이 된다.

실제공간에서 양안 위치들과 가상공간에서의 카메라 위치가 동일한 위치를 가지게 된다.

즉, e1-1, e1-2와 c1-1, c1-2가 개념적으로 같은 위치에 배열된다.

나머지 두 명의 양안도 가상공간상에 각각 배치된다.

도 17은 콘텐츠 생성부에서 다수의 스테레오 플로팅 집적 영상 결합 개념도이다.

도 17에서 1번 영상은 도 16의 가상공간에서 각 왼쪽(C1-1), 오른쪽(C1-2)카메라의 영상을 픽업해 스테레오 플로팅 집적영상 알고리즘으로 생성된 영상이다.

도 17의 1번∼3번까지 생성된 스테레오 플로팅 영상은 2차원 공간(x, y)으로 볼 때, 서로 다른 위치에 영상이 생성된다.

그 이유는 관측하는 사람의 눈 위치가 서로 다르기 때문이다.

n개의 스테레오 플로팅 집적 영상에서 영상의 좌표 공간에서 1:1로 결합하게 된다.

도 18은 편광판의 원리를 나타낸 개요도이며, 도 19는 편광판이 설치되지 않은 디스플레이패널의 개요도이고, 도 20은 편광판이 설치된 디스플레이패널의 개요도이다.

도 19에 도시된 바와 같이 렌즈 어레이(231)의 전면에 편광판을 설치하지 않으면 반사광에 의해 눈부심이 발생하여 영상이 깨끗하지 못하기 때문에 도 20에서와 같이 렌즈 어레이(231)의 전면과 외부광원의 전면에 편광판을 설치하되, 렌즈 어레이(231)의 전면에는 수평편광판(300)을 설치하고, 외부광원(700)의 전면에는 수직편광판(400)을 설치함으로써 영상잡음을 해소하도록 하였다.

상기 수평편광판(300)과 수직평광판(600)은 서로 바꾸어 배치하여도 무관하다.

특히, LCD처럼 편광된 빛을 발산하는 디스플레이패널(232)을 사용하는 경우는 렌즈 어레이(231)에 부착되는 편광판의 편광방향을 디스플레이패널(232)의 편광방향과 일치시키도록 한다.

편광은 진행방향에 수직인 임의의 평면에서 전기장의 방향이 일정한 빛을 가리키는 것으로, 이러한 빛의 전기장의 방향으로 편광의 방향(polarization)을 구별한다.

즉, 특정한 방향으로 진동하는 빛을 편광이라고 한다.

도 18에 도시된 바와 같이 종파에 대하여 종방향으로 형성된 틈새로 종파가 통과하고 횡방향의 틈새로는 종파는 걸러지게 되는 것으로, 일종의 틈새와 같은 역할을 하는 것을 편광판이라 할 수 있다.

편광판 전기석이나 자수정을 전기축에 평행하게 잘라서 얻어지는 것으로, 천연산은 착색이 심하고 소형이기 때문에 착색이 심하지 않고 투명도도 좋은 헤라파타이트라고 하는 단결정축을 가지런히 하여 박막으로 한 폴라로이드를 널리 사용하고 있다.

보통의 광원에서 나오는 빛을 두 개의 나란히 놓인 편광판에 통과시키면 두 편광판의 방향이 이루는 각도에 따라 통과한 빛의 세기가 변한다.

이때, 두 편광판의 방향이 같을 때 빛의 세기는 최대이고 서로 수직일 때 빛의 세기는 최소가 된다.

도 21은 디스플레이패널에 편광판이 적용된 전·후의 영상비교사진으로서, (a)는 편광판이 적용된 전의 사진이며, (b)는 편광판이 적용된 후의 사진이다.

도 21에 도시된 바와 같이 편광판이 적용된 영상사진이 적용되기 전의 영상영상보다 훨씬 선명한 영상을 획득한다는 것을 알 수 있다.

또한, 렌즈 어레이(231)에 설치된 수평편광판(300)에 무반사 코팅된 필름을 추가로 부착하면 편광판 표면의 반사광이 감소하게 된다.

상술한 바와 같이 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템에서 양안 관측부에서 관측한 관측자의 양안 정보를 기반으로 고해상도의 다양한 콘텐츠를 고속으로 생성할 수 있으며, 관측자의 관측위치와 머리 기울어짐에 대해서도 3차원 영상의 콘텐츠를 생성할 수 있다는 등의 현저한 효과가 있다.

100. 스테레오 영상픽업부 200. 스테레오 플로팅 집적 영상디스플레이부
300. 수평편광판 400. 수직편광판
110. 영상픽업부 120. 양안 카메라 설정부
130. 3D영상 데이터부
210. 콘텐츠 생성부 220. 양안관측부
230. 집적영상시스템부
231. 렌즈 어레이 232. 디스플레이패널
L. 외부광원 P. 관측자
B. 빛

Claims (3)

1. 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템에 있어서,
   3D영상정보가 저장되어 있는 3D영상 데이터부(130), 상기 3D영상 데이터부(130)의 3D영상정보를 컴퓨터 그래픽스 기반에서 사물이 사람의 좌우 시야에 달리 보이는 것처럼 좌우영상으로 구분하여 픽업하는 영상픽업부(110), 상기 영상픽업부(110)에 가상의 카메라의 위치를 설정하는 양안 카메라 설정부(120)로 구성된 컴퓨터 그래픽스 기반의 스테레오 영상픽업부(100)와;
   상기 영상픽업부(110)에서 획득된 좌우영상들이 겹쳐지지 않고 관측자들의 눈 영역에 표시되도록 콘텐츠를 생성하는 콘텐츠 생성부(210), 상기 양안 카메라 설정부(120)와 콘텐츠 생성부(210)에 한 명 혹은 다수의 관측자들의 양안을 추적하여 양안 위치, 기울기 등의 정보를 제공하는 양안과측부(220), 상기 콘텐츠 생성부에서 생성된 콘텐츠 순서대로 좌우영상을 관측자에게 디스플레이하는 집적 영상시스템부(230)로 구성된 스테레오 플로팅 집적 영상디스플레이부(200);
   에 의해 3D영상을 제공하는 것이 특징인 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템.
   
2. 제 1항에 있어서,
   상기 스테레오 영상픽업부(100)는 3D 영상데이터를 로딩하는 1단계;
   양안 수만큼 가상 카메라의 3D 공간 위치를 설정하는 2단계;
   설정된 정보들의 데이터에 의해 컴퓨터 그래픽스의 파이프라인에 따라 양안의 수만큼 랜더링하여 스테레오 영상을 생성하는 3단계;
   생성된 스테레오 영상들을 순차적으로 콘텐츠 생성부에 전송하는 4단계;
   로 이루어진 것이 특징인 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템.
   
3. 제 1항에 있어서,
   상기 스테레오 플로팅 집적 영상디스플레이부(200)는 스트레오 영상이미지를 입력받는 1단계;
   입력받은 스트레오 영상과 양안 관측부에서 입력된 양안 정보를 설정하는 2단계;
   입력받은 양안 정보를 이용하여 스트레오 플로팅 집적영상을 생성하는 3단계;
   생성된 스테레오 플로팅 집적 영상을 관측자의 각각의 위치에 맞도록 생성된 집적 영상을 순서대로 하나의 스테레오 플로팅 집적 영상으로 결합하는 4단계;
   로 이루어진 것이 특징인 컴퓨터 그래픽스 기반의 스테레오 플로팅 집적 영상생성시스템.
   

Images