KR101001856B1

KR101001856B1 - 동화상 입력장치를 이용한 3차원 가상현실 디스플레이 시스템 및 방법

Info

Publication number: KR101001856B1
Application number: KR1020090014058A
Authority: KR
Inventors: 김연길; 최주현
Original assignee: 최주현; 김연길
Priority date: 2008-12-02
Filing date: 2009-02-19
Publication date: 2010-12-17
Also published as: KR20100062774A

Abstract

본 발명은 디스플레이된 3차원 가상공간 영상이 사용자의 움직임에 따라 변화하는 디스플레이 시스템 및 방법에 관한 것이다. 이 디스플레이 방법 및 시스템은, 촬영 영상에서 특징점을 도출하고, 상기 특징점을 기준으로 사용자의 움직임 정도를 검출하도록 동작하고, 3차원 공간영상을 형성하고, 상기 사용자의 움직임 정도를 반영하여 상기 3차원 공간영상을 재설정하도록 동작하고, 상기 3차원 공간영상을 평면좌표로 변환하여 평면영상을 형성하도록 동작하며, 상기 평면영상을 디스플레이하도록 동작한다.

디스플레이 시스템, 가상 공간, 3차원

Description

동화상 입력장치를 이용한 3차원 가상현실 디스플레이 시스템 및 방법 {SYSTEM AND METHOD FOR DISPLAYING 3D VIRTUAL IMAGE USING MOVING PICTURE INPUT DEVICE}

본 발명은 디스플레이 시스템 및 방법에 관한 것으로, 특히 디스플레이된 3차원 가상공간 영상이 사용자의 움직임에 따라 변화하는 디스플레이 시스템 및 방법에 관한 것이다.

일반적으로, 디스플레이 시스템은 화면상에 문자나 도형의 형식으로 데이터를 시각적으로 표시할 수 있는 시스템을 말한다. 문자 발생 방법으로는 도트방식, 스트로크방식, 모노스코프방식의 세가지 방식이 사용된다. 디스플레이 시스템의 종류로는 CRT 디스플레이, 기억형 표시 장치, 플라스마 표시 및 액정(液晶) 장치, EL(electroluminescence) 디스플레이, 발광(發光) 다이오드 디스플레이 및 ECD(electro chromic display) 등이 있다. 디스플레이 시스템은 2차원 영상 및 3차원 영상을 사용자에게 제공할 수 있다.

3차원 영상인 공간영상은 2차원 평면 영상과 달리 깊이 및 공간 형성 정보를 제공하는 보다 사실적인 영상을 말한다. 즉, 이미 학습한 경험이 있은 볼 륨(Volume)을 갖는 환경을 인간의 양안(좌, 우측 눈)이 인식하여 뇌에서 정리하는 과정에서 종합되는 공간인식 개념의 영상으로, 3D(Dimension, 차원) 영상이라고도 한다. 일반적으로 3D영상은 모델링변환, 뷰잉변환, 투영변환, 윈도우뷰포트 변환의 순차적인 단계를 통해 형성된다. 3D 영상은 현장에서 실물을 보는 듯한 임장감, 사실감 및 가상현실감 등을 제공한다.

그러나, 일반적인 디스플레이 시스템은 단순히 3차원 공간영상만을 디스플레이할 뿐, 사용자의 움직임을 반영하여 사실감 있는 영상을 디스플레이하지 못한다.

본 발명은 디스플레이된 3차원 가상공간 영상이 동화상 입력장치를 이용하여 검출된 사용자의 움직임에 따라 변화하는 디스플레이 시스템 및 방법을 제공한다.

본 발명의 디스플레이 시스템은, 촬영 영상에서 특징점을 도출하고, 상기 특징점을 기준으로 사용자의 움직임 정도를 검출하도록 동작하는 사용자 감지부; 3차원 공간영상을 형성하고, 상기 사용자의 움직임 정도를 반영하여 상기 3차원 공간영상을 재설정하도록 동작하는 공간영상 형성부; 상기 3차원 공간영상을 평면좌표로 변환하여 평면영상을 형성하도록 동작하는 투영변환부; 및 상기 평면영상을 디스플레이하도록 동작하는 디스플레이부를 포함한다.

본 발명의 디스플레이 방법은, a) 촬영 영상에서 특징점을 도출하는 단계; b) 상기 특징점을 기준으로 사용자의 움직임 정도를 검출하는 단계; c) 3차원 공간 영상을 형성하는 단계; d) 상기 사용자의 움직임 정도를 반영하여 상기 3차원 공간영상을 재설정하는 단계; e) 상기 3차원 공간영상을 평면좌표로 변환하여 평면영상을 형성하는 단계; 및 f) 상기 평면영상을 디스플레이하는 단계를 포함한다.

본 발명에 따르면 사용자의 위치 이동에 따라서 디스플레이 시스템에 표시되는 공간 영상이 변화하도록 하여 입체감을 향상시킬 수 있다.

이하 첨부된 도면을 참조하여 본 발명의 실시예들에 대해 상세히 설명한다. 다만, 이하의 설명에서는 본 발명의 요지를 불필요하게 흐릴 우려가 있는 경우, 널리 알려진 기능이나 구성에 관한 구체적 설명은 생략하기로 한다.

도 1은 본 발명의 실시예에 따른 디스플레이 시스템의 구성을 보이는 블록도이고, 도 2는 본 발명의 실시예에 따른 사용자 영상과 2차원 평면좌표를 보이는 예시도이고, 도 3은 본 발명의 실시예에 따른 공간 영상을 보이는 예시도이다. 본 발명의 디스플레이 시스템(100)은 사용자 감지부(110), 공간 영상 형성부(120), 투영변환부(130) 및 디스플레이부(display unit)(140)를 포함한다.

사용자 감지부(110)는 사용자를 촬영하여 특징점을 도출하고, 특징점을 기준으로 사용자의 움직임 정도를 검출한다. 예를 들어, 사용자 감지부(110)는 디스플레이 시스템(100)을 관찰하는 사용자의 영상을 촬영하여 2차원 평면 좌표를 설정한다. 설정된 2차원 평면 좌표를 기준으로 사용자의 눈, 코, 입, 얼굴 형상 및 움직이는 사용자 등에서 도출되는 특징점(S)들 중 어느 하나의 평면좌표를 도출한다. 예를 들어, 사용자의 두 눈을 기준점으로 잡고 이들의 중점을 특징점(S)으로 설정할 수 있다. 기준점간의 거리 변화를 이용하여 3차원 공간영상의 z축 좌표 변화량을 계산할 수 있다. 그리고, 사용자 감지부(110)는 특징점(S)의 움직임 정도를 3차원 좌표로 검출한다. 사용자의 평면 방향으로의 움직임은 사용자 영상 평면 좌표의 x, y 좌표 변화로 파악할 수 있고, 평면 방향에 수직한 z축 방향으로의 움직임은 사용자 얼굴 모양 등의 크기 변화(확대 및 축소) 또는 기준점간의 거리 변화를 일정한 비율로 변환하여 검출할 수 있다. 예를 들어 기준점간의 거리가 2배 확대되면 z축 좌표는 "+" 방향으로 10 만큼 증가시키고, 기준점간의 거리가 1/2로 축소되면 z축좌표는 "-" 방향으로 10만큼 감소시키는 방법을 이용할 수 있다. 임의의 방향으로의 사용자 움직임값을 3차원 벡터(Δx, Δy, Δz)로 설정 할 수 있다. 예를 들면 x축 방향으로의 사용자 움직임값을 Δx, y축방향으로의 사용자 움직임값을 Δy, z축 방향으로의 사용자 움직임값을 Δz로 설정할 수 있다. 상기 시점 재설정 과정은 사용자의 이동방향과 변화량, 3차원 공간에서의 이동방향과 변화량간의 비율을 매칭시키기 위함이다.

공간영상 형성부(120)는 화면상에 디스플레이할 공간영상을 형성 및 재설정한다. 공간영상 형성부(120)는 특정 3차원 공간 모델로부터 모델링 변환 및 뷰잉 변환을 수행하여 3차원 공간영상(P)을 형성한다. 이러한 3차원 공간영상(P)을 프러스텀(P)이라 한다. 도 3에서 보이는 바와 같이 프러스텀(P)은 일예로 앞평면, 뒷평면 및 옆면으로 둘러싸인 사각뿔대 모양일 수 있다. 그리고, 프러스텀의 옆면 모서리들의 연장선이 모이는 점 즉, 사각뿔의 꼭지점을 사용자가 프러스텀을 바라보는 시점(VP)으로 설정할 수 있다. 프러스텀에서 앞평면은 시점(VP)과 가까운 쪽 방향의 평면이고, 뒷평면은 시점(VP)과 먼쪽 방향의 평면이다. 그리고, 공간영상 형성부(120)는 시점(VP)의 3차원 좌표와 사용자 감지부(110)에서 형성한 사용자 영상에서 도출한 특징점의 평면좌표를 시점(VP)의 좌표와 매칭시킨다. 이때 시점의 3차원 좌표는 임의의 좌표(OP)로 설정 될 수 있으나 시점의 움직임값은 임의의 좌표(OP)에서 사용자 감지부에서 도출된 변화량(Δx, Δy, Δz)를 더한 값으로 사용한다. 예를 들어, 시점(VP)의 3차원 좌표가 (a,b,c)라고 가정하면, 사용자의 움직임을 반영한 새로운 시점(VP`)의 좌표는 ( a+Δx , b+Δy , c+Δz )이 된다. 공간영상 형성부(120)는 새로운 시점(VP`)을 기준으로 프러스텀을 재설정한다. 공간영상 형성부(120)는 프러스텀 재설정을 위하여 새로운 시점(VP`)으로 뷰잉변환을 거쳐 생성된 프러스텀의 앞평면의 각 지점 값에 사용자 감지부에서 도출된 이동변화량(Δx, Δy, Δz)의 값을 빼는 방법을 통해 프러스텀의 앞평면의 위치를 고정시킨다. 각 지점을 연결한 직선의 연장선과 뒷평면이 만나는 점들을 연결하여 새로운 뒷평면을 형성한다. 앞평면과 새로운 뒷평면의 각지점들을 연결하여 형성한 입체모형을 새로운 프러스텀으로 설정한다.

투영변환부(130)는 3차원 공간영상을 디스플레이하기 위하여 평면영상으로 변환한다. 투영변환부(130)는 3차원의 공간영상을 2차원의 화면에 디스플레이하기 위하여 앞평면과 시점사이의 임의의 지점에 앞평면과 평행하도록 투영평면을 설정하고, 뷰평면에 프러스텀을 투영하여 평면영상을 형성한다. 도 5에서와 같이 프러스텀(P) 영역을 벗어나는 물체(OB)까지 디스플레이하여 사용자가 입체감을 느끼도 록 하기 위해서는 디스플레이하고자 하는 물체가 제한되지 않도록 투영평면을 설정한다.

디스플레이부(140)는 투영변환부(130)에서 형성한 평면영상을 디스플레이한다.

상기 방법들은 특정 실시예들을 통하여 설명되었지만, 상기 방법들은 또한 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 컴퓨터가 읽을 수 있는 기록매체의 예로는 ROM, RAM, CD-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등이 있으며, 또한 케리어 웨이브(예를 들어 인터넷을 통한 전송)의 형태로 구현되는 것도 포함한다. 또한, 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 그리고, 상기 실시예들을 구현하기 위한 기능적인(functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술분야의 프로그래머들에 의해 용이하게 추론될 수 있다.

또한, 본 명세서에서는 본 발명이 일부 실시예들과 관련하여 설명되었지만, 본 발명이 속하는 기술분야의 당업자가 이해할 수 있는 본 발명의 정신 및 범위를 벗어나지 않는 범위에서 다양한 변형 및 변경이 이루어질 수 있다는 점을 알아야 할 것이다. 또한, 그러한 변형 및 변경은 본 명세서에 첨부된 특허청구의 범위 내에 속하는 것으로 생각되어야 한다.

도 1은 본 발명의 실시예에 따른 디스플레이 시스템의 구성을 보이는 블록도.

도 2는 본 발명의 실시예에 따른 사용자 영상과 2차원 평면좌표를 보이는 예시도.

도 3 내지 5는 본 발명의 실시예에 따른 공간영상을 보이는 예시도.

도 6은 본 발명의 실시예에 따른 공간영상을 보이는 평면도.

Claims

디스플레이 시스템에 있어서,

촬영 영상에서 특징정보을 도출하고, 상기 특징정보를 기준으로 사용자의 움직임 정도를 3차원 벡터로 검출하도록 동작하는 사용자 감지부;

3차원 공간영상을 형성하고, 상기 사용자의 움직임 정도를 반영하여 상기 3차원 벡터만큼 가상공간의 시점을 이동하고, 이동된 시점을 기준으로 상기 3차원 공간영상을 재설정하도록 동작하는 공간영상 형성부;

상기 3차원 공간영상을 평면좌표로 변환하여 평면영상을 형성하도록 동작하는 투영변환부; 및

상기 평면영상을 디스플레이하도록 동작하는 디스플레이부를 포함하는 디스플레이 시스템.
제1항에 있어서,

상기 특징정보는, 사용자의 눈, 코, 입, 얼굴 형상의 중심점, 움직이는 사용자의 중심점 및 사용자의 두 눈 사이의 중점인 것을 특징으로 하는 디스플레이 시스템.
삭제
삭제
제2항에 있어서,

상기 투영변환부는,

상기 평면영상을 형성하기 위한 투영평면을 상기 3차원 공간영상이 제한되지 않도록 설정하는 디스플레이 시스템.
디스플레이 방법에 있어서,

a) 촬영 영상에서 특징정보를 도출하는 단계;

b) 상기 특징정보를 기준으로 사용자의 움직임 정도를 3차원 벡터로 검출하는 단계;

c) 3차원 공간영상을 형성하는 단계;

d) 상기 사용자의 움직임 정도가 반영된 상기 3차원 벡터만큼 3차원 가상공간의 시점을 이동하는 단계;

e) 이동된 시점을 기준으로 상기 3차원 공간영상을 재설정하는 단계;

f) 상기 3차원 공간영상을 평면좌표로 변환하여 평면영상을 형성하는 단계; 및

g) 상기 평면영상을 디스플레이하는 단계

를 포함하는 디스플레이 방법.
제6항에 있어서,

상기 특징정보는,

사용자의 눈, 코, 입, 얼굴 형상의 중심점, 움직이는 사용자의 중심점 및 사용자의 두 눈 사이의 중점인 것을 특징으로 하는 디스플레이 방법.
삭제
삭제
제7항에 있어서,

상기 단계 f)는,

상기 평면영상을 형성하기 위한 투영평면을 상기 3차원 공간영상이 제한되지 않도록 설정하는 것을 특징으로 하는 디스플레이 방법.