KR20020081661A

KR20020081661A - 네트워크 환경에서 3차원 물체의 시각화와 조작을 위한방법 및 장치

Info

Publication number: KR20020081661A
Application number: KR1020010027296A
Authority: KR
Inventors: 송문호
Original assignee: 주식회사 오픈비주얼; 송문호
Priority date: 2001-04-19
Filing date: 2001-05-18
Publication date: 2002-10-30
Also published as: EP1425678A1; US6983064B2; US20030031380A1; WO2002086752A1

Abstract

3차원 물체의 시각화와 조작을 위한 새로운 방법과 기구를 제안한다. 이 새로운 기법은 최신의 비디오 압축기술을 적용한 디지털 압축 영상을 이용한다. 전체 시스템은 3차원 이미지 획득 장치, 3차원 이미지 재생기, 데이터베이스로 구성되어 있다. 이 시스템은 먼저 가능한 모든 각도에서 물체의 이미지를 촬영하여 하나의 이미지 시퀀스 (a video) 를 만든다. 시퀀스 내에서 이웃 하는 이미지들은 대체로 서로 유사하기 때문에 시퀀스는 MPEG과 같은 표준 압축기술을 적용하기에 적합할 것이다. 획득 된 이미지 데이터 (3차원 물체를 표현) 는 데이터베이스에 저장하여 차후에 인터넷과 같은 매체를 통해 접근하게 된다. 개발된 전용 소프트웨어 (Specially developed software) 를 통해 3차원으로 물체를 보면서 저장된 데이터를 조작할 수 있다. 사용자가 입력장치 (예를 들어, 마우스) 를 통해서 보고싶은 각도를 입력하기만 하면 소프트웨어는 자동으로 영상 (저장된 데이터) 내에서 해당 프레임을 보여준다. 소프트웨어는 임의의 방향으로 물체를 회전, 확대/축소, 이동 (pan) 등의 다양한 조작기능을 제공한다. 펜티엄III 프로세서를 사용하고, 특정 프레임들을 미리 복호화 (pre-decoding) 하는 작업을 통해 MPEG 시퀀스에 임의로 접근이 가능한 전용 이미지 재생기는 사용자가 실시간으로 물체를 조작하기에 충분히 빠른 속도로 복호화 (decoding) 할 수 있다. 획득 된 3차원 이미지 데이터들은 중앙 (또는 분산) 데이터베이스에 저장되고 사용자들은 객체에 할당된 URL을 통해서 인터넷으로 데이터에 접근한다. 데이터는 암호에 의해 보호될 수도 있다. 이와같이 전체 시스템은 실제 물체의 3차원 시각화 정보를 인터넷을 통해 제공하려는 사람들을 위한 one-stop 서비스의 구현이다.

Description

네트워크 환경에서 3차원 물체의 시각화와 조작을 위한 방법 및 장치{Method and Apparatus for Visualization and Manipulation of Real 3-D Objects in Networked Environments}

전통적으로 이는 컴퓨터 그래픽의 영역이었고 메쉬나 기타의 물체 모델을 기반으로 이미지를 렌더링 하였다 (Girod00, Robb00). 이러한 기존 패러다임의 문제점은 렌더링 과정의 계산비용이 비싸다는 것이다. 비록 렌더링 과정을 최적에 근접하게 향상할 수 있는 방법들이 있기는 하지만 기본적으로 격자/메쉬 요소의 확대와 같은 근사법들에 기반을 두고 있다. 이러한 기법들을 통해 얻어진 이미지들은 당연히 현실감이 떨어지며 특히, 자연적으로 복잡한 물체는 모델링하기가 곤란하므로 이러한 현상이 두드러진다 (Girod00).

현재 이용할 수 있는 대부분의 시각화 패러다임은 반드시 모델링과 렌더링의 2단계 과정을 따른다 (Girod00). 먼저 모델링 단계에서는 물체를 표현하는 파라미터들을 추출하여 저장한다. 다음으로 렌더링 단계에서는 (되도록 이면 실시간으로) 저장된 물체의 파라미터들을 기반으로 사용자가 요청한 특정 뷰에 대한 물체의 이미지를 렌더링한다. 모델링 단계는 오프라인으로 수행할 수도 있고 매우 복잡한 알고리즘을 적용할 수도 있지만, 렌더링 단계는 물체의 현실감 있는 조작을 위해 실시간으로 수행되어야 한다.

한편, 웹상의 클라이언트는 제한된 계산능력을 가진 PC가 대부분이기 때문에 자연적으로 복잡한 물체에 대한 렌더링 과정은 일반적으로 클라이언트 측에서는 수행될 수 없는 문제점이 있다.

한편, 서버측 (예를 들어, 슈퍼컴퓨터) 에 렌더링 단계를 두더라도 서버가 동시에 서비스할 수 있는 렌더링 요청 횟수를 제한할 것이므로 이것 또한 문제를 해결하지는 못한다는 문제점이 있다.

본 발명의 목적은 모델링 단계를 이미지 획득 단계로, 렌더링 단계를 간단한 영상 압축을 푸는 단계로 대신하는 솔루션을 제공할 수 있는 네트워크 환경에서 3차원 물체의 시각화와 조작을 위한 방법 및 장치를 제공하는데 있다.

본 발명의 다른 목적은 기존 시각화 기법에 있던 계산을 요구하는 부분들과 모델링 파라미터를 추출하는 수 작업 부분을 제거할 수 있는 네트워크 환경에서 3차원 물체의 시각화와 조작을 위한 방법 및 장치를 제공하는데 있다. 본 발명의또 다른 목적은 사용자가 실제 3차원 물체를 인터넷을 통해 실시간으로 보고 조작할 수 있는 네트워크 환경에서 3차원 물체의 시각화와 조작을 위한 방법 및 장치를 제공하는데 있다.

도 1은 이미지 획득 장치의 기하학적 구조를 보여주는 다이어그램

도 2는 "fuzz-ball" 카메라의 위치에서 시작하여 원점(물체의 중심)을 지나는 모든 직선의 집합을 보여주는 다이어그램

도 3a는 슬라이스 샘플링 전략에서 이미지를 촬영하는 위치를 보여주는 다이어그램으로서, 모든 영상을 촬영하는 위치(점)와 3차원 궤적(선)을 보여주는 다이어그램

도 3b는 슬라이스 샘플링 전략에서 이미지를 촬영하는 위치를 보여주는 다이어그램으로서, 샌슨투영에 의해 사상된 모든 촬영 위치를 보여주는 다이어그램

도 4a는 비등방 나선형 전략에서 이미지 촬영 위치를 보여주는 다이어그램으로서, 이미지 촬영 위치의 3차원 궤적을 보여주는 다이어그램

도 4b는 비등방 나선형 전략에서 이미지 촬영 위치를 보여주는 다이어그램으로서, 이미지 촬영 위치의 샌슨투영을 보여주는 다이어그램

도 5a는 등방 나선형 샘플링 전략에서 이미지 촬영 위치를 보여주는 다이어그램으로서, 이미지를 촬영하는 위치(점)과 3차원 궤적(선)을 보여주는 다이어그램

도 5b는 등방 나선형 샘플링 전략에서 이미지 촬영 위치를 보여주는 다이어그램으로서, 샌슨 투영에 의해서 사상된 촬영 위치를 보여주는 다이어그램

도 6은 3차원 이미지 촬영 시스템의 실물을 보여주는 다이어그램

도 7은 3차원 이미지 편집기 프로그램의 메인 화면을 보여주는 다이어그램

도 8a는 디스플레이 프로그램에서 NEWS 모드의 동작 방식을 보여주는 다이어그램

도 8b는 디스플레이 프로그램에서 AVIATION 모드의 동작 방식을 보여주는 다이어그램

도 9는 3차원 영상 시각화물체의 3차원 시각화의 주요 목표는 사용자가 바라보는 각도에 따라 물체의 이미지를 보여주는 다이어그램

본 발명에서, 3차원 데이터를 가진 서버는 요청한 클라이언트에게 데이터를 전송하기만 한다. 이하에서, 먼저 이미지 획득 장치,그리고 3차원 이미지 데이터베이스에 접근하여 실시간으로 물체를 보고 조작하기 위한 3차원 재생기 (3D player) 에 대하여 상세히 설명하기로 한다.

* 이미지 획득 장치 (Image Acquisition Device)

도 1은 이미지 획득 장치의 기하학적 구조를 보여주는 다이어그램이다.

도 1을 참조하면, 물체를 원점에 놓고 거리가 R만큼 떨어진 카메라를 물체 주위로 회전하여 미리 정한 다양한 각도θ와 φ에서 이미지를 촬영한다. 한편 사용자가 요청할 수도 있는 특정 뷰 각도에 해당하는 물체 이미지를 재생하기 위해서는 물체는 모든 가능한 뷰 각도에서의 이미지로 표현되어야 한다.

모든 가능한 뷰 각도의 정의는 원점으로부터 모든 가능한 직선 (Ray) 들 (모든 가능한 뷰 각도) 의 부분 집합을 그려서 이해할 수 있다. 이러한 모든 선들은 동시에 모아서 보면 도 2와 같은 퍼즈볼(fuzz ball)이 될 것이다. 도2는 퍼즈-볼, 카메라의 위치에서 시작해서 원점(물체의 중심)을 지나는 모든 직선의 집합을 보여주는 다이어그램이다.

도 2에서 θ와 φ는 θ=와 φ=(0.5+n) pi /7에 의해 샘플링 되며 여기서 m=0,1,,31 이고 n=0,1,,6이다. 기본적으로 선들 사이의 간격이 해당 방향 θ와 φ로의뷰 해상도 (viewing resolution)를 조절하는 것에 주목해야 한다. 뷰 해상도는 마우스를 움직여 θ와 φ를 변경해 뷰 각을 회전할 때의 매끄러움을 결정한다.

카메라가 각 직선들의 위치에서 원점을 향해 촬영을 할 때 카메라는 물체를 둘러싼 표면 주위로 움직여야 한다. 따라서 카메라의 이동 거리 최소화의 관점에서 최적의 표면은 물체를 포함하면서 가장 작은 표면적을 가진 표면이 된다.

카메라는 물체에서 떨어져 있어야 하기 때문에, 가령 원점에서 정해진 거리 R만큼, 최적 표면은 반경 R인 구이다.

물체가 표면 (카메라가 원점을 향해 보고 있는) 상의 모든 점에 투영된다면, 모든 가능한 뷰 각에서 물체를 투영할 수 있는 것이 된다. 반경 R인 구가 최적의 표면이라고 설정한 후에도, 우리는 뷰 각 θ와 φ를 매개변수를 결정하고 이를 불연속적으로 나눌 필요가 있다. 매개 변수 화된 각도는, 즉 θ(t)와 φ(t), 0 = t <=T [T는 전체 획득 시간], 카메라 경로를 결정한다. 뷰 각을 불연속적인 값들로 구분함으로써, 즉 θ_k와, φ_k, k=0,1,,N-1, 유한개의 시퀀스의 이미지들을 얻을 수 있다. 두 각도 시퀀스, θ_k와, φ_k, k=0,1,,N-1는 카메라의 유일한 경로를 설정한다.

또한 이 시퀀스는 촬영시간을 줄이기 위해 효율적으로 설계되어야 한다. 카메라의 위치가 원점으로부터 거리 R에 고정되기 때문에 카메라의 움직임이 한 번에 반경 R인 구의 표면을 포함할 수 있다면 제일 좋을 것이다. 이러한 세 가지 설계 안을 제안한다.

* 슬라이스 샘플링 전략 (Slice Sampling Strategy)

도 3a는 카메라가 반경 R의 구를 한 번에 포함할 수 있는 하나의 이동 경로를 보여주고 있다. 도 3b는 도 2가 수평면에 샌슨 투영 (Sanson projection, Kreyszig91) 을 이용해 맵핑된 3차원 도면을 보여주고 있다. 산손 투영은 지리적인 맵핑을 하는 응용분야에 자주 이용된다. N_θ와 N_φ는 각각 범위 [0,2 pi ] 과 [0, pi ] 에서 촬영된 평균 (또는 정확한) 프레임 수를 나타낸다고 하자. N_θ와 N_φ는 정수일 필요는 없다. 이때 촬영된 전체 이미지들의 수는 NN_θN_φ가 된다. 다음 이미지 촬영 지점들을 고려해보자:

여기서, 연산자는 버림 연산 (floor operation) 을 나타내며 이는 인자보다 작거나 같은 최대 정수를 취한다. 이와 같이 N_θ와 N_φ는 각각 θ와 φ방향에 대한뷰 해상도(viewing resolution) 를 결정한다. 예를 들어, N_θ=N_φ는 θ와 φ방향에 대해 뷰 해상도가 같음을 의미한다. 도 3a와 도 3b는 수학식 1과 수학식 2의 촬영 지점을 이용한 결과를 보여준다.

가장 편리한 모터 제어방법은 일정한 각속도로 θ를 회전하면서 φ를 불연속적인 값만큼 회전 시키는 것이다.T는N프레임을 촬영하는데 걸리는 시간이므로 2개의 모터는 다음을 따라 제어된다.

여기서, T_θ는 카메라가 θ방향으로 1회 회전하는데 걸리는 시간이다. 따라서 두 개의 모터가 수학식 3과 수학식 4에 따라 제어되고 이미지 획득 시점을 다음과 같이 취하면 :

이미지 촬영 지점들은 수학식 1과 수학식 2에 의해 주어진 점들과 정확히 일치한다. 도 3a와 도 3b는 촬영 각을 보여주고 있으며 여기의 점들은 실제 카메라가 이미지를 촬영하는 지점을 가리킨다. 정확한 매개 변수들의 설정은 도면의 설명을 보면 알 수 있다.

* 비등방 나선형 샘플링 전략 (Anisotropic Spiral Sampling Strategy)

수학식 3과 수학식 4에 의한 모터제어는 θ방향으로의 각각의 회전에 대해 θ방향으로는 단속적(斷續的)인 여러 단계로 진행된다. 특히 시간이 중요한 임계 값이 될 경우에 실제로 이와 같은 방식의 모터 제어는 어렵다. 이러한 단속성(斷續性)을 제거하면 다음의 모터 제어식이 된다:

수학식 5에 의해 이미지 획득 시점을 취하고 수학식 6과 수학식 7을 따르는 모터 제어를 하면 다음과 같은 이미지 촬영 위치를 구할 수 있다.

도 4a 내지 도 4b는 도 3a 내지 도 3b와 동일한 매개 변수를 취했을 경우의 이미지 촬영 위치를 보여준다. 도 3a 및 도 3b와 마찬가지로 도 4a와 도 4b는 이미지 촬영 위치의 3차원 궤적과 샌슨 투영을 보여준다. 사용된 매개 변수들은 (N_θ,Nψ)=(16,16), (θ_o,ψ_o)=(0,) 이다. 슬라이스 샘플링 전략과 마찬가지로 이 방법을 이용해서 총 256장의 프레임을 촬영한다.

단순하기는 하나 슬라이스 샘플링 (수학식 1 및 수학식 2) 이나 위의 비등방 나선형 샘플링 (수학식 8과 수학식 9) 는 모든 곳에서 동일한 뷰 해상도를 제공하지 못한다. 도 3a 내지 도 3b 및 도 4a 내지 도 4b 처럼 두 극 가까이 에 더 많은 이미지 촬영 지점들이 있다. 따라서 뷰 해상도는 양극으로 갈수록 더 높다. 보통 투사될 3차원 물체는 전체 투사 면에 등방 형으로 투사될 필요가 있다. 두 극에서 편중하여 많은 이미지를 촬영할 필요는 없다.

뷰 해상도의 불균형 (구의 적도부분에서의 저 해상도) 은 부자연스럽기 때문에 이는 스캐닝 전략을 재 설계하여 제거할 수 있다. 다음절에서 개발된 다른 스캐닝 전략은 뷰 해상도를 모든 이미지 촬영 지점들이 존재하는 전체 구면에 대해 동일하게 한다.

* 등방 나선형 샘플링 전략 (Isotropic Spiral Sampling Strategy)

이전 기법에서는 두개의 모터를 일정한 속도로 회전하면서 시간적으로 동일한 간격으로 이미지를 촬영하였다. 도 3a 내지 도 3b 및 도 4a내지 도 4b에서 볼 수 있는 것처럼 이미지 촬영 지점들은 양 극점에 가까울수록 밀도가 높다. 그러나 극 주위에서 이미지를 낮은 빈도로 촬영한다면, 수학식 6과 수학식 7에 의해 주어진 모터 제어 식으로, 즉 모터를 일정한 속도로 회전시키면서, 등방 형의 뷰 해상도를 얻을 수 있을 것이다. 당연히 이 경우 이미지 촬영 시간은 시간적으로 동일한 간격은 아닐 것이다.

등방형 나선 스캐닝 전략에서는 우선 두 각의 ,(θ(t),φ(t)), 0 = t <=T , t는 [0,T]인 시간, 매개변수를 결정한다. 물체를 포함하는 구의 반경을 R이라고 하고 이미지 촬영 지점들은 이 구 위에 존재한다고 가정하면 카메라의 경로의 미소(微少) 변화량은 다음과 같다.

여기서, 수학식 10에 의해 위치 벡터r은 항상 반경 R인 구 위에 존재한다. 미소(微少)거리 dr(벡터)을 매개변수t에 대해 일정하게 유지하고 카메라 위치벡터r을 매개변수t에 대해 일정한 간격으로 샘플링 하는 방법이 있다. 따라서 이웃하는 촬영 지점들은 경로를 따라 같은 간격을 유지한다.

그러나 수직방향 φ로의 간격은 실제 φ의 각도에 따라 다를 수도 있다. 즉, 수직방향으로의 간격은 sin(φ)에 따라 변화할 것이다. 따라서 미소거리 dr이 t에 대해 항상 일정하게 설계하게 되면 등방형 이미지 촬영 지점들은 제공되지 못할 것이다. 따라서 다음과 같은 다른 해결책을 찾아 본다.

구현하기가 단순하므로 다음 모터 제어 식을 계속 사용한다.

여기서, 앞에서와 같이, T와 T_θ는 각각 카메라가 φ와 θ방향으로 한바퀴 회전하는데 걸리는 시간이다. 이 수학식들을 수학식 10에 대입하면 다음의 수학식을 구할 수 있다.

수학식 11 및 수학식 12에서 알 수 있듯이 설계에 의해 θ를 제어하는 모터는 φ를 제어하는 모터보다 더 빨리 회전한다. 따라서 아주 적은 값 t와 초기값 φ₀에 대해성분은 무시할 수 있다고 가정한다. 따라서 다음의 근사값을 이용할 수 있다:

위 수학식을 적분하면 다음의 호 길이를 구할 수 있고 이것은 카메라의 이동 거리가 된다.

따라서 카메라가 이동하는 전체 거리 (t=0에서t=T까지) 는 다음과 같다.

등간 격으로 떨어진 카메라 궤적을 샘플링 하는 것이 목적이므로 위의 전체 거리를 전체 프레임 수 N(-1)로 나눈 것을 이미지 촬영 지점들 사이의 간격으로 정한다. 따라서 이미지 촬영 지점들은 다음과 같이 나타낼 수 있다.

수학식 15 및 수학식 17을 등식으로 놓고 촬영시간에 대해 풀면 다음의 결과를 얻을 수 있다.

촬영시간 t와 인덱스 k는와 같은 관계를 가지고 있다. 또한N은 사용자가 뷰 해상도를 결정하기 위한 매개변수로 이용할 수 있다. 이전 방법들에서 (도 3a 내지 도 3b 및 도 4a 내지 도 4b)일 때 뷰 해상도를 유지하기 위해서 다음과 같이 놓을 수 있다.

여기서,은 반올림 연산을 나타낸다. 이전 두 가지 방법에서는 촬영된 전체 이미지의 수가 NN_θN_φ이었다. 나선형 샘플링 전략에서는 이전 방법들에 비해 총 프레임 수가의 비율로 감소한다. 이러한 감소는 다른 두 방법들에서는 불필요하게 너무 많이 촬영되었던 양극 주위에서의 프레임의 수를 줄인 대가이다.

도 5a 및 도 5b는 이에 따른 이미지 촬영 지점들을 보여준다. 촬영 위치가 시각적으로 동일한 간격이고 이는 사실상 등방형 뷰 해상도를 제공한다.

사용된 매개 변수들은 (N_θ,N_φ)=(16,16),이다. 이전의 접근 방법들과는 다르게, 이 방법에 의해서는 총 163개의 이미지를 촬영한다. 여기서, 등방 형의 뷰 해상도와 총 프레임 수가의 비율로 감소했다는 사실에 주목해야 한다.

* 이미지 촬영과 각도정보 첨부 (Image Capture and Frame Tagging)

이미지 시퀀스를 얻기 위해서 어떤 접근 방법을 사용하던지, 이미지획득장비는 차후 네트웍을 통한 접속을 위해서 다음의 두 데이터를 중앙 (또는 분산) 데이터 베이스에 저장할 것이다:

압축된 이미지 시퀀스f(k), k=0,1,,N-1.

각각의 이미지에 대응하는 θ_k와 φ_k, k=0,1,,N-1.

각각의 프레임을 얻은 위치 θ_k와 φ_k가 프레임과 함께 저장된다는 점에 유의해야 한다.

도 6은 3-D 이미지 획득 장비의 사진이다. 물체는 턴테이블 위에 놓이게 되고 이송체에 부착되어 있는 카메라에 의해서 촬영된다. 모터에 의해서 구동되는 이송체는 타이밍 벨트가 부착되어 있는 수직축의 C 암(C arm)을 따라서 움직인다. 턴테이블은 또 다른 독립적인 모터에 의해서 구동된다. 턴테이블(θ)와 카메라 이송체(φ)를 제어하는 이 두 개의 모터는 오퍼레이터 콘솔(PC)에서 정해진 방법에 의해서 미리 프로그램되어 있다.

두 모터 모두 부호화기가 장착되어 있고 부호화기가 모든 이미지를 촬영하는 순간의 각도(θ)와 (φ)를 기록한다.

두개의 모터가 카메라의 위치를 결정짓는 두개의 각도를 제어한다. 턴테이블이 돌면서 θ값을 제어하는 동안 카메라는 수직축의 C-arm (φ방향) 을 따라서 움직인다. 이렇게 해서 이 기계는 이미지 시퀀스들을 획득하면서 모터에 장착된 부호기에서 발생된 두개의 각도 θ와 φ도 같이 저장한다.

* 3차원 이미지 편집기 (The 3-D Image Editor)

이미지의 시퀀스f(k), k=0,1,,N-1를 획득하고 난 뒤, 얻어진 3차원 이미지들은 배경제거, 프레임들의 삽입/삭제, 칼러 보정, unsharp 매스킹 등의 다양한 편집 작업이 가능하다. 도 7은 3-D 이미지 편집기를 보여준다. 편집기 프로그램은 3개의 주요 창으로 나누어져 있다. 첫째는 산손 투영 창(도 7에서 좌측 상단)으로서 실제 이미지를 얻은 위치(점으로 표시)를산손 투영 (Sanson projection)방법으로 보여준다. 둘째는 획득 된 이미지를 3차원으로 보여주는 3-D 뷰 창 (도 7에서 좌측 하단)이고, 샛째는 썸네일 창으로서 모든 프레임의 썸네일을 보여준다.

3개의 창은 내부적으로 서로 연계 되어있다. 예를 들어 사용자가 산손 투영 창에서 한 점을 클릭 했을 경우 선택된 점의 색이 바뀌게 되고, 동시에 3-D 뷰 창에는 그 점에 해당되는 프레임이 나타나고, 썸네일 창에서는 해당되는 이미지가 강조 된다. 마찬가지로 다른 창 (3-D 뷰 창과 썸네일 창) 에서의 동작은 나머지 창들이 상응하는 동작을 하게 한다.

이하에서, 3차원 재생기 (The 3-D Viewer)에 대하여 설명하기로 한다.

* 룩업 테이블의 생성 (Generation of the look-up-table)

각각의 이미지들 (비디오 프레임들) 은 획득과정에서 그에 해당하는 각도들 (θ,φ) 과 함께 저장된다. 효율적인 동작을 위해서 3-D 재생기는 반드시 뷰 각도들 (θ,φ)을 프레임 번호에 사상(寫像) 시켜주는 룩업테이블, LUT(θ,φ)을 필요로 한다. 이 작업에 필요한 시간은 미미하기 때문에 이미지 데이터를 서버로부터 전송 받는 도중에도 계산할 수 있다. LUT는 다음 과정에 따라서 만들어진다.

L_θxL_φ크기의 LUT는 다음 과정에 의해서 한번씩 채워진다.

초기화:LUT(i,j)=-1, for all(i,j)

반복: k=0,1,,N-1

반복 종료

여기서,는 실수를 인자보다 작거나 같은 정수로 바꾸는 버림 연산을 나타낸다. 의심의 여지도 없이 위의 연산을 했을 경우에는 채워지지 않은 셀(-1을 가지는)이 존재 한다. 이 셀들은 가장 근접한 프레임의 값으로 채워지게 된다. 예를 들어 다음과 같은 과정을 거치게 된다.

LUT(i,j)=-1를 만족하는 모든 에 대해서 반복

을 만족시키는 가장 근접한를 찾는다.

반복종료

앞서 언급한 가장 근접한 프레임 값은 가장 작은l ₂ -norm을 가지는 어떤 값으로 생각할 수 있다:

여기서와는 각각에 해당하는 프레임 번호들이다.

위의 Loop에서 사용한 연산은 '팽창 (dilate)'과 같은 몰폴로지 (morphological) 연산을 반복함으로써 수행 할 수 있다 (Serra82). 다른 거리나 간격도 가장 근접한 셀을 찾는 과정에서 사용될 수 있음을 유념하라.

사용자의 입력 (θ와φ) 을 받자마자 3-D 재생기는 다음의 프레임 번호에 해당하는 프레임을 압축을 푼 다음 화면에 출력하게 된다.

시각 응용프로그램에서는 각도정보 (θ와φ ) 의 정확도가 중요한 요소가 될 수 있다 (Parker97, Schlkoff89). 그러나 제안된 3-D 시각화 응용에서는 이미지를 조밀하게 획득 하는 한도 내에서는, 이미지를 단지 시각화 목적으로 보여주는 경우처럼 두 각도의 정확성이 심각한 문제는 아니다. 따라서 식 (23)에 의해서 가장 근접한 프레임 즉, 현재의 (θ와φ ) 에 가장 가까운 프레임을 보여 주는 일이 해결된다.

* 랜덤 액세스에 의한 3차원 물체 디스플레이 (Display of 3-D Objects by Random Access)

3-D 재생기는 사용자가 화면에 보여지는 물체 위에서 클릭이나 마우스 드래그를 할 때 3-D 이미지 시퀀스f(k),k=0,1,,N-1를 보여줄 수 있다. 처음에는 사용자에게 이미지 시퀀스 중의 하나를 보여주게 되고 사용자가 마우스를 드래그 하게 되면 화면이 실제 3-D 물체를 다루는 것처럼 느낄 수 있게 하는 규칙에 따라서 적절한 순서의 이미지들로 화면을 재출력 한다. 화면에 보이는 물체를 다루는 방법은 다음의 두 가지 모드중의 하나에 기반 하게 된다: NEWS (north-east-west-south) 와 AVIATION. 이 두 모드는 동일한 마우스 동작에 대해서 서로 다른 행동을 하게 된다.

NEWS 모드에서, 왼쪽 (또는 오른쪽)으로 드래그 하는 것은 물체를 서쪽 (또는 동쪽) 방향으로 돌린다. 아래 (또는 위) 방향으로 드래그를 하면 물체는 남쪽 (또는 북쪽) 방향으로 돌아간다. 반면, AVIATION 모드에서는 한 쪽 방향으로 드래그를 하게 되면 물체도 그 방향으로 돌아가게 된다. 다시 말해서 AVIATION 모드에서는 마우스 드래그 방향은 항상 두개의 직각인 원의 방향과 일치하고, 그 중의 하나는 현재 물체의 방향과 일치한다. 도 8a는 디스플레이 프로그램에서의 NEWS 모드의 동작 방식을 보여주는 다이어그램이고, 도 8b는 디스플레이 프로그램에서의 AVIATION 모드의 동작 방식을 보여주는 다이어그램이다. 도 8a와 도 8b은 상기 두 방법들의 동작 차이를 보여주고 있다. 도 8a 와 도 8b에서 사용자가 마우스 드래그를 통해서 입력한 δU와 δR를 각각 U축과 R축에서의 변이로 간주한다. NEWS 모드에서는 U축과 R축은 각각 북쪽과 동쪽에 대응한다. AVIATION 모드의 경우, U축과 R축은 두 개의 직각인 대원에 의해서 정의된 평면 위에 놓이게 된다. 이때 하나의 원은 북극과 Ψ의 각을 이룬다.

수학적으로는 두 작동 모드가 다음과 같이 정리 될 수 있다.

현재 물체의 방향이 북극을 기준으로 했을 때 의 각도를 가지고 있고 사용자가 마우스를 와 만큼 드래그를 했다고 가정하자. 그러면 NEWS 모드의 경우 갱신공식은 다음과 같다:

또한, AVIATION 모드의 경우는

AVIATION 모드에서 갱신 함수 θ()φ() PSI ()에 대해서 몇 가지 사용 가능한 시스템이 있다. 특히 항법 시스템에서 일반적으로 사용되는 다음 north reference system 이 적용 가능하다.

위의 두 가지 경우 모두 PSI 는 마우스의 움직임에 따라 변하지 않고, 사용자는 원하는 각도의 이미지를 보기 위해서 수동으로 이미지를 회전시켜야 한다. 물론 다른 방법도 가능하다. 도7에서 좌측하단의 창 (3-D뷰 창) 은 3차원 물체를 컨트롤 할 수 있는 두 가지의 방법, 즉NEWS 와 AVIATION 모드를 구현한 ActiveX 컨트롤이다.

웹서핑 하는 사람이 3차원 물체를 볼 수 있게 하기위해서는 ActiveX 컨트롤 (3-D 뷰 창) 만 보이게 하면 된다. 어떤 경우든 간에 두 가지 모드 모두 화면에 디스플레이 되는 프레임은이 된다. 여기서 아래 첨자 PSI 는 이미지 (물체) 의 회전 각도를 나타낸다. 따라서 3-D 뷰어는 물체의 회전 뿐만 아니라 임의의 프레임으로의 랜덤 액세스도 지원해야 한다. 또한 3-D 뷰어는 확대/축소 (zoom) 와 상,하,좌, 그리고 우 이동 (pan) 과 같은 일반적인 기능도 제공한다.

* 사전 복호화(Pre-Decode for Fast Display)

이미지 시퀀스가 비디오로 부호화 되기 때문에, 실시간 조작을 용이하게 만들기 위해서는 특정한 프레임들을 사전에 복호화 하는 작업이 수행되어야 한다.예를 들면, MPEG 표준은 비디오 시퀀스들은 GOP (group of pictures) 단위로 부호화 된다 (bhaskaran95). 12프레임으로 이루어진 GOP 의 구조의 한 예로 IBBPBBPBBPBB 이 가능할 것이다. 여기서 각각의 알파벳은 프레임 타입을 나타낸다. I-프레임은 독자적으로 복호가 가능하다; P-프레임은 이전의 앵커프레임 (I-또는 P-프레임) 이 먼저 복호화 되어 있어야 한다; 그리고 B-프레임은 앞뒤로 2 개의 앵커 프레임이 미리 복호화 되어 있어야 한다.

우리와 같이 GOP 내의 임의의 프레임으로의 랜덤 액세스를 하는 특별한 경우에는, GOP 내의 특정한 프레임을 복호 하기 전에 그 프레임의 앞과 뒤에 있는 몇 개의 프레임을 미리 복호 해야 한다. 물론 일반 비디오나 동영상처럼 부호 화된 영상을 플레이하는 경우에는 모든 프레임을 순차적으로 복호화 하면 되기 때문에 앞서 언급한 문제는 발생하지 않는다. 그러나 우리의 경우는 순차적이지 않은 프레임도 복호 할 수 있어야 한다.

IBBPBBPBBPBB의 순서를 가지는 GOP 의 경우, I-프레임들만 미리 복호해 놓았다면, 마지막 2 개의 B-프레임으로 랜덤 액세스를 하기 위해서는 4 번의 복호 과정을 거쳐야 한다. 그러나 모든 I-프레임과 P-프레임이 미리 복호 되어 메모리에 저장되어 있다면, GOP 내의 하나의 영상을 풀기 위해서 단 한번의 복호화 과정이면 충분하다(또는 한번도 필요없다).

본 발명에서 택한 방법이 바로 이 것이다. 다시 말해서, 모든 I-프레임과 P-프레임을 로컬 버퍼에 미리 복호 화 해 두었기 때문에, 특정한 프레임을 보기 위해서 최대 한 번의 복호만 하면 된다. 사용되는 메모리의 크기를 줄이기 위해서 미리 복호된 영상들은 비 손실 압축방법으로 압축되어있다.

다른 가능성의 하나는 IBBBBBBBBBBB 와 같은 GOP 구조로 부호화하고 I-프레임을 미리 복호화 하는 경우일 것이다. 이 경우, 만약 비디오 내의 모든 I-프레임들이 복호화 되었다면, 한 번 또는 복호화 과정 없이 원하는 프레임에 랜덤 액세스 할 수 있다.

* 멀티미디어 스트리밍 (Multimedia Streaming)

디스플레이 응용프로그램 (ActiveX 컨트롤) 을 이용해 3 차원 이미지를 화면에서 보거나 조작할 때 모든 데이터가 들어 올 때 까지 기다릴 필요가 없다. 데이터가 네트웍을 통해서 전송될 때 하나 이상의 프레임만 들어오면 이미지를 화면으로 보거나 조작할 수가 있다.

구현된 응용프로그램은 우선 전체 프레임의 개수, GOP 구조의 세세한 부분, bit rate 등을 포함하는 데이터 헤더를 받은 다음에 이것을 복호화 하게 된다. 상기 과정을 통해서 모든 필요한 정보가 얻어지게 되면, 독립적인 Thread (우선 순위가 낮은) 가 활성화되어 나머지 데이터를 받아들인다. Thread 는 데이터를 받을 때 어떤 프레임이 전송이 되었고 어떤 것은 전송이 되지 않았는지에 대해서 메인 프로그램과 통신하게 된다. 또한 MPEG 시퀀스의 전송 순서는 모든 I-프레임을 먼저 보내고, 모든 P-프레임을 그 다음에, 모든 B-프레임을 마지막으로 보내도록 바뀌어진다.

같은 프레임 타입, 예를 들어 I-프레임, 중에서도 중요도가 높은 프레임이 낮은 프레임 보다 먼저 전송되도록 한다. 프레임을 전송 받으면서 응용프로그램은I-프레임과 P-프레임들을 사전에 복호화 한다. 이미지를 화면에 보여주는 프로그램이 이미 들어와 있는 프레임만을 사용하도록 전송 받은 프레임들에는 표시를 한다.

파일은 비디오 데이터뿐만 아니라 사용자의 요구가 있을 때 다운로드 되어야 할 다른 데이터들, 예를 들면 줌 데이터나 또 다른 비디오 데이터로 구성되어 있다. 예를 들어 만약 사용자가 어떤 각도에서 좀더 세밀한 이미지를 보고 싶어한다면, 사용자의 요구가 있을 때, 별개의 멀티미디어 데이터의 다운로드가 시작된다. 사용자의 요구에 의해 특정한 비디오 (냉장고 문을 여는) 을 다운로드 하는 것이 다른 예가 될 수 있을 것이다.

도 9는 우리의 3 차원 물체를 다루는 방법에 대한 one-stop 모델을 개념적으로 보여준다. 도 9는 인터넷에 연결된 3 차원 이미지 획득 장치를 가지고 있는 3-D 이미지 센터를 포함하고 있다. 3 차원 물체를 가지고 있는 개인이 그 물체를 3 차원으로 시각화하기 위해서 3-D 이미지 센터를 찾을 것이다.

도 9에 따르면, 모든 가능한 각도에서, 슬라이스형 샘플링 또는 나선형 샘플링을 사용하여, 물체의 이미지를 얻은 즉시 이미지 시퀀스들은 중앙의 (또는 분산된) 데이터 베이스로 보내져서 저장된다. 서비스를 이용한 개인은 3 차원 물체 파일의 URL 만을 가지고 서비스센터를 나선다.

상기 이용자는 그 URL 을 자신의 웹에 공개해서 다른 웹서핑을 하는 사람들이 이 3-D 데이터에 접속할 수 있도록 한다. URL 을 특정 웹페이지에 올려 놓지 않더라도 이용자는 단순히 웹 브라우저에 URL 을 타이핑하는 것만으로도 자기가 만든 3차원 물체를 볼 수 있다. URL (3차원 데이터) 은 패스워드에 의해서 보호 될수 도 있고 그렇지 않을 수 도 있다. 3-D 이미지 센터의 고객은 개인만이 아니라 인터넷을 통해서 물체를 3 차원으로 보여주기를 원하는 크고 작은 기업도 될 수 있다.

이하에서, 본 발명의 효과들을 언급하기로 한다.

첫째, 현존하는 대부분의 3 차원 시각화 기술들은 2 단계의 과정을 거친다. 우선 물체의 모델을 만든 다음 이것을 저장한다. 사용자가 특정한 각도에서 물체를 보고자 하면, 사용자에게 보여주기 전에 미리 제작된 모델에 기반해서 렌더링을 하게 된다. 바로 이러한 이미지 렌더링 과정 때문에 복잡하고 자연스러운 물체의 경우 사용자가 실시간으로 물체를 다룰 수 없게 만든다. 본 발명에 따르면, 렌더링 뿐만 아니라 모델 제작 과정이 제거된다. 그 결과 일반 PC 를 클라이언트로 사용해서 네트웍을 통해 실시간으로 3 차원 물체를 시각화하거나 다룰 수 있다.

둘째, 물체를 3 차원으로 시각화하거나 다루는 방법은 비디오나 이미지가 누렸던 대중성을 얻지는 못하고 있다. 그 이유는 아마도 웹을 통해서 3 차원 물체를 보여주기를 원했던 대부분의 개인들이 3 차원 물체를 자신의 홈페이지에 올려 놓기 위해서는 많은 노력과 시간을 투자해야 하기 때문일 것이다. 본 발명에 따른 3 차원 물체 one-stop 서비스 개념은 개인이나 전문가가 3 차원 물체를 홈페이지에 넣기 위해서 겪어야 했던 이러한 노력과 시간을 근본적으로 줄여줄 수 있다.

셋째, 본 발명에 따른 시스템은 실제 물체를 3 차원으로 시각화를 하기 위해서 오늘날의 모든 사용자들이 알아야 하는 자세한 기술적인 내용들을 모두 제거했기 때문에 비 전문가도 사용할 수 있다.

Claims

물체의 이미지들을 하나의 이미지 시퀀스로 포착하고, 여기서 상기 물체의 이미지들의 샘플들을 구 좌표들 내에서 방위 각 θ과 상승 각 φ의 뷰 각도로부터 취하는 스텝;

상기 이미지 시퀀스를 상기 방위 각 θ과 상승 각 φ으로 태그된 비디오 프레임들을 갖는 비디오로서 인코딩하는 스텝; 그리고

상기 비디오의 랜덤 엑세스에 의해 3차원으로 상기 물체를 뷰잉하는 스텝을 구비함을 특징으로 하는 컴퓨터를 이용하여 사용자에 의해 실제 3차원 물체를 시각화하는 방법.
제1항에 있어서, 상기 샘플들을 취하는 스텝은 일련의 샘플들이 일정 스텝들 내에서 변경된 θ와 또 다른 일련의 샘플들이 변경된 φ를 가지고 취해지기 전에 고정된 φ를 가지고 취해지는 슬라이싱 샘플링 기술을 사용하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 샘플링을 취하는 스텝은 일련의 샘플들이 일정 스텝들로 변경된 방위각 θ와 상승각 φ을 가지고 취해지는 비 등방성 나선 샘플링 기술을 사용하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 샘플링을 취하는 스텝은 두 인접하는 샘플들 사이의 거리가 실질적으로 동일하도록 일련의 샘플들이 변경된 방위각 θ와 상승각 φ을 가지고 취해지는 등방성 나선 샘플링 기술을 사용하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 비디오는 상기 뷰잉이 하나 또는 그 이상의 프레임들이 수신될 때 곧 시작하도록 스트림라인화 되어지는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 인코딩 스텝은 MPEG을 이용하여 상기 비디오를 압축하는 스텝을 포함하는 것을 특징으로 하는 방법.
제6항에 있어서, 상기 뷰잉 스텝은 빠른 회수를 위해 상기 비디오를 프리-코딩하는 스텝, B 프레임, P 프레임, I 프레임을 순차적으로 디스플레이하는 스텝, 그리고 가장 중요한 프레임을 먼저 디스플레이하는 스텝을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 인코딩하기 전에 상기 포착된 이미지를 편집하는 스텝과, 상기 물체를 뷰잉하는 동안 상기 물체를 처리하는 스텝을 더 포함하는 것을 특징으로 하는 방법.
제8항에 있어서, 상기 처리하는 스텝은 상기 물체를 회전하는 스텝과, 상기물체를 줌(zoom)하는 스텝과, 동-서 방향 또는 북-남 방향을 따라 회전된 상기 물체를 뉴스(news)(북-동-서-남) 모드에서 처리하는 스텝과, 중심에 상기 물체를 갖는 구의 큰 써클 방향을 따라 회전된 상기 물체를 애비테이션(avitation) 모드에서 처리되는 스텝을 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 데이터베이스에 상기 이미지 시퀀스를 저장하는 스텝을 더 포함하는 것을 특징으로 하는 방법.
제10항에 있어서, 상기 데이터베이스는 집중된 데이터베이스 또는 분배된 데이터베이스인 것을 특징으로 하는 방법.
제10항에 있어서, 상기 데이터베이스는 인터넷을 포함하는 네트워크를 통해 접근되는 것을 특징으로 하는 방법.
제12항에 있어서, 상기 데이터베이스의 위치에 상응하도록 패스워드로 보호된 상기 URL을 공시하는 스텝을 더 포함하는 것을 특징으로 하는 방법.
제1항에 있어서, 상기 뷰잉하는 스텝은 사용자에 의해 요청되는 줌 데이터를 포함하는 개별 멀티미디어 스트림을 다운로딩하는 스텝을 포함하는 것을 특징으로 하는 방법.
이미지들의 시퀀스로서 물체의 이미지를 포착하는 이미지 포착 디바이스;

비디오 프레임들을 갖는 비디오로서 이미지들의 시퀀스를 인코딩하는 인코더; 그리고,

3차원으로 상기 물체를 뷰잉하는 뷰어를 구비함을 특징으로 하는 컴퓨터를 이용하여 사용자에 의해 실제 3차원 물체를 시각화하는 시스템.
제15항에 있어서, 상기 이미지 포착 디바이스는 카메라를 포함하는 것을 특징으로 하는 시스템.
제16항에 있어서, 상기 이미지 포착 디바이스는 수평면에서 방위각 θ과 수평면으로부터 상승각 φ의 시야각으로부터 상기 물체의 이미지 샘플들을 취하는 수단을 가지며, 여기서 비디오 스트림들은 상기 방위 각 θ과 상승 각 φ으로 태그된 것을 특징으로 하는 시스템.
제15항에 있어서, 상기 비디오는 상기 뷰잉이 하나 또는 그 이상의 프레임들이 수신될 때 곧 시작하도록 스트림라인화 되어지는 것을 특징으로 하는 시스템.
제15항에 있어서, 상기 인코더는 MPEG 인코더를 포함하며, 상기 비디오를 압축하는 비디오 압축기를 포함하는 것을 특징으로 하는 시스템.
제15항에 있어서, 상기 뷰어는 프레임 번호로 상기 시야각을 맵핑하는 룩-업-테이블(LUT)을 포함하고, 빠른 회수를 위해 상기 비디오를 프리-디코딩하는 프리-디코더를 포함하는 것을 특징으로 하는 시스템.
제15항에 있어서, 인코딩 후에 포착된 이미지들을 편집하는 편집기와, 이미지 시퀀스를 저장하는 데이터베이스를 더 포함하는 것을 특징으로 하는 시스템.
제21항에 있어서, 상기 데이터베이스는 집중된 데이터베이스 또는 분배된 데이터베이스인 것을 특징으로 하는 시스템.
제21항에 있어서, 상기 데이터베이스에 접근하도록 인터넷을 포함하는 네트워크를 더 포함하는 것을 특징으로 하는 시스템.
제15항에 있어서, 상기 뷰어는 뷰잉동안 상기 물체를 처리하는 수단을 포함하는 것을 특징으로 하는 시스템.
이미지들의 시퀀스로서 물체의 이미지들을 포착하는 스텝;

비디오 프레임을 갖는 비디오로서 상기 이미지들의 시퀀스를 MPEG을 이용하여 인코딩하는 스텝;

데이터베이스에 상기 비디오를 저장하는 스텝;

상기 비디오의 임의의 접근을 통해 3차원으로 상기 물체를 뷰잉하는 스텝; 그리고,

3차원으로 상기 이미지를 처리하는 스텝을 수행하여 컴퓨터로 운용되도록 실제 3차원 물체를 처리하고 시각화하는 프로그램물.
이미지들의 시퀀스로서 물체의 이미지들을 포착하는 스텝;

비디오 프레임을 갖는 비디오로서 상기 이미지들의 시퀀스를 MPEG을 이용하여 인코딩하는 스텝;

서버의 데이터베이스에 상기 비디오를 저장하는 스텝; 그리고,

인터넷을 포함하는 네트워크를 통해 사용자 요청으로 상기 비디오를 보내는 스텝을 구비함을 특징으로 하는 사용자에 의해 실제 3차원 물체를 처리하고 시각화하는 방법.
제26항에 있어서, 사용자에 의해 상기 비디오를 받는 스텝과, 상기 받은 비디오의 임의의 접근을 통해 3차원으로 이미지를 뷰잉하는 스텝과, 3차원으로 상기 물체를 처리하는 스텝을 더 포함하는 것을 특징으로 하는 방법.