KR20150058733A - 가상현실 이미지 프레젠테이션 및 3d 공간 내에서의 컨트롤을 위한 3d 기하학 데이터의 이용방법 - Google Patents

Abstract

이 방법은, 포토 이미지들의 각 프레임에 대한 한 세트의 키 기하학 파라미터들과 함께, 상이한 뷰잉 앵글들에서 촬상된 오브젝트의 사진 이미지들의 컬렉션을 이용하여, 오브젝트의 3D 모델링 데이터와 연관지으며, 이는 컴퓨팅 디바이스에서 리얼타임으로 고품질, 포토-리얼리스틱 3D 이미지를 나타내는데 이용될 수 있다. 이는 또한, 자동 또는 수동 포토-촬상 시스템을 이용하는 물리적 어플리케이션을 위한 3D 기하학 데이터를 제공하고, 동일 하드웨어 시스템을 가지고 또는 독립적 3D 기하학 스케닝 시스템으로부터의 동일 오브젝트의 수입된 3D 모델링 데이터는, 수동, 세미-자동 도는 자동 소프트웨어 툴에 의하여, 이들 정보를 파일들의 완전한 패키지로 컴포즈하고, 이는 3D 환경을 가지는 뷰잉 프로그램에 의하여 나타내어진다. 이는 또한, 스테레오스코픽 시스템에 확장될 수 있고, 리얼타임 물리적 조작 능력, 고품질, 리얼리스틱 비주얼 효과를 제공할 수 있다.

Description

가상현실 이미지 프레젠테이션 및 3D 공간 내에서의 컨트롤을 위한 3D 기하학 데이터의 이용방법 {A METHOD USING 3D GEOMETRY DATA FOR VIRTUAL REALITY IMAGE PRESENTATION AND CONTROL IN 3D SPACE}

본 발명은, 일반적으로 3D 사진 프레젠테이션 분야에 관한 것이다. 가상현실 기술이 고품질 포토 이미지를 나타내는데 이용된다. 이는, 물리적 측정이나 컨트롤을 위한 기하학 데이터를 제공하는데, 3D 모델링 기술의 장점을 취하고, 증강현실 어플리케이션에 이용될 수 있다. 이는 또한, 리얼타임 어플리케이션을 위한 스테레오스코픽(stereoscopic) 디스플레이 시스템에 확장될 수 있다.

가상현실은, 상이한 뷰 앵글에서 보이는 입체 오브젝트를 나타내는데에 한 세트의 포토 이미지들을 이용한다. 이는, 프레젠테이션 어플리케이션용 고품질 포토 이미지들을 제공한다. 하지만, 포토 프레임의 수가 제한적이라면, 뷰잉 앵글은 몇몇 포토 촬상 위치의 수에 제한이 되어, 매끄럽지 못한 애니메이션이 되고 만다. 포토 이미지는 또한, 기하학(치수) 데이터를 포함하지 않는다. 포토 이미지들은 프레젠테이션 내에서 정확하게 정렬될 수가 없어서, 측정용 또는 컨트롤용의 물리 관련 어플리케이션 내에서는 이용될 수 없다.

3D 모델링은, 입체 오브젝트를 나타내는 다른 어프로치이다. 이는, 기하학 정보를 가져서, 증강현실을 포함하는 물리적 어플리케이션에서 이용될 수 있다. 하지만, 정확한 기하학 데이터를 얻고, 좋은 품질의 프레젠테이션을 위한 텍스쳐 매핑 기술을 나타내기 위해서, 기하학 데이터를 얻고, 방대한 양의 텍스쳐 이미지들을 저장하는 것은 매우 고비용이 된다. 또한, 저성능 개인 컴퓨팅 디바이스를 가지고 리얼타임으로 포토-리얼리스틱 렌더링을 하는 것은 어렵다.

특히 데스크탑 퍼스널 컴퓨터 또는 태블릿 PC와 스마트폰과 같은 모바일 디바이스에 대하여, 상업적 어플리케이션용으로 고품질 이미지의 포토-리얼리스틱 가상현실 프레젠테이션을 생성하고자 하는 니즈가 있고, 물리적 증강현실 어플리케이션에 대하여 기하학 정보를 포함시키고자 하는 니즈가 있다. 고품질 뷰잉 성능과 물리적 정보 양쪽을 제공하기 위해서는, 가상현실과 3D 모델링이라는 상이한 두 가지 어프로치의 장점을 결합하는 것이, 경제적인 솔루션을 제공하고 이용가능한 컴퓨팅 디바이스에 대한 품질 요구조건을 만족시키는 한가지 방법이다. 본 발명은, 이들 목표를 달성하고자 하며, 현존하는 컴퓨팅 디바이스 및 메카니컬 시스템에서 구현될 수 있다.

본 발명은, 3D 사진 프레젠테이션 분야에 있어서, 고품질 포토 이미지를 나타내는데 이용되는 가상현실 기술이, 물리적 측정이나 컨트롤을 위한 기하학 데이터를 제공하는데, 3D 모델링 기술의 장점을 취하여, 증강현실 어플리케이션에 이용될 수 있고, 리얼타임 어플리케이션을 위한 스테레오스코픽(stereoscopic) 디스플레이 시스템에 확장될 수 있는 기술을 제공한다.

본 발명의 한가지 측면에 의하면, 한 세트의 포트 프레임들을 한 세트의 기하학 정보와 결합하는 방법이 설명되고, 2D 포토들을 컴퓨팅 디바이스의 뷰잉 윈도우에 있는 3D 공간 내에 나타내는 체계적 방식이 설명된다. 이미지 프레임 관련 파라미터들과 3D 프레젠테이션 공간에서의 입체 오브젝트의 뷰잉 변환 사이의 수학적 관계가 설명된다.

본 발명의 다른 측면에 의하면, 상이한 뷰 앵글로 자동적으로 포토 이미지들을 캡쳐하기 위한, 컴퓨터로 컨트롤되는 메카니컬 시스템으로 이루어지는 시스템이 설명된다. 다양한 광학 스캐닝 하드웨어에 기초하는 3D 기하학 데이터 스캐닝 서브시스템, 또는 실루엣 또는 레퍼런싱 매트 또는 스트라이프에 의하여 3D 기하학 데이터를 추출하기 위한 포토 촬상 카메라가 설명된다.

본 발명의 다른 측면에 의하면, 본 발명을 실행하기 위한 워크스테이션, 스토리지 시스템 및 리모트 서버 및 클라이언트 뷰잉 디바이스로 이루어지는 소프트웨어 시스템이 설명된다. 2D 포토 프레임들을 스캔된 3D 기하학 데이터와 컴포즈하여 한 세트의 컨트롤링 파라미터를 수동적으로 또는 자동적으로 생성하는 소프트웨어 프로그램이 설명된다. 이미지 및 기하학 데이터를 로드하고, 포토-리얼리스틱 입체 오브젝트의 뷰잉, 측정 및 컨트롤을 행하는 소프트웨어 프로그램이 설명된다.

본 발명의 다른 측면에 의하면, 스테레오스코픽 디스플레이 및 컨트롤 기능에의 하드웨어 및 소프트웨어 시스템의 확장이 설명된다.

본 발명은, 3D 사진 프레젠테이션 분야에 있어서, 고품질 포토 이미지를 나타내는데 이용되는 가상현실 기술이, 물리적 측정이나 컨트롤을 위한 기하학 데이터를 제공하는데, 3D 모델링 기술의 장점을 취하여, 증강현실 어플리케이션에 이용될 수 있고, 리얼타임 어플리케이션을 위한 스테레오스코픽(stereoscopic) 디스플레이 시스템에 확장될 수 있는 기술을 제공한다.

본 발명은, 첨부도면을 이용한 하기 설명에 의하여 보다 잘 이해될 수 있지만, 상세한 설명은 시각적 도면에 의하여 제한되지 않는 보다 추상적인 시스템을 커버하는 것으로 이해되어야 한다.
도 1: 3D 모델링 데이터를 가지는 3D 공간 내에 있어서의 가상현실 이미지 프레젠테이션의 예시도,
실제 오브젝트, 뷰 윈도우, 고해상도 이미지 및 3D 메쉬, 그리고 뷰어(관찰자)의 관계를 나타낸다.
도 2: 3D 가상현실 시스템의 구축예시도,
메카니컬 이미지 및 3D 데이터 캡쳐링 시스템, 컴포징 컴퓨터, 데이터 및 프로그램 서버, 그리고 클라이언트 뷰잉 디바이스를 나타낸다.
도 3: 데이터 캡쳐링, 컴포징 및 뷰잉 시스템의 블럭 다이어그램,
데이터를 캡쳐하고, 데이터가 저장되는 프로세스, 컴포징 프로그램 및 뷰잉프로그램을 나타낸다.
도 4: 포토 이미지 캡쳐링 시스템도,
포토 캡쳐링용 메카니컬 시스템 및 생성되는 이미지 파일의 워크플로우(workflow)를 나타낸다.
도 5: 포토 카메라 또는 3D 스캐너에 의한 3D 모델링 데이터 캡쳐링의 설명도,
포토 카메라 또는 3D 스캐너의 메카니컬 시스템 및 생성된 3D 기하학 데이터의 워크플로우를 나타낸다.
도 6: 임베딩(embedding) 3D 데이터 시스템 다이어그램,
이미지들에 대하여 6 자유도 변수를 할당하기 위한 3D 기하학 데이터와 2D 포토들의 프레임별 임베딩을 나타낸다.
자동 프로세스를 행하기 위하여 필요한 참조 프레임들을 나타낸다.
도 7: 스케일링, 트랜슬레이팅 및 로테이팅에 의한 프레임 파라미터의 조정 설명도,
각 프레임에 대한 6 변수들 또는 그 대응되는 데이터를 조정하기 위한 유저 인터페이스(구현된 3개의 주요 조정 프로시져)를 나타낸다.
도 8: 모든 프레임들을 생성하는 자동 파라미터들의 설명도,
각 프레임에 대한 6 변수들 또는 그 대응되는 데이터를 조정하기 위한 유저 인터페이스 (구현된 3개의 주요 조정 프로시져)를 나타낸다.
도 9: 이미징, 3D 데이터 및 프로파일링을 위한 파일시스템의 구성과 뷰잉 프로그램의 플로우챠트,
생성되는 데이터 파일 및 대응되는 이미징 및 기하학 데이터 파일들을 나타낸다.
이미지 및 데이터 로딩을 나타내는 뷰잉 프로그램 플로우챠트를 나타낸다.
도 10: 3D 프레젠테이션 및 컨트롤을 가지는 뷰잉 프로그램 예시도,
엔드유저용 뷰잉 프로그램 기능 및 컨트롤을 나타낸다.
고해상도 프레젠테이션을 위한 데이터 리소스 구조 및 부드러운 동작을 위한 모핑(morphing) 기술을 나타낸다.
도 11: 스테레오스코픽 시스템으로의 확장 설명도,
스테레오스코픽 디스플레이 및 컨트롤을 위한 사양에 따르는 프레임들을 가지는 2 세트의 포토 이미지들을 얻기 위하여 동일 시스템이 이용된다.

본 발명의 특정 실시예에 대하여 상세히 참조한다. 이들 실시예들은, 첨부도면에 예시되어 있다. 본 발명이 이들 특정 실시예를 가지고 설명되지만, 이들 실시예로 본 발명을 제한하고자 하는 의도가 아닌 것으로 이해되어야 한다. 실제로는, 첨부된 청구범위에서 정의되는 본 발명의 사상 및 범위 내에 속하는 대체물, 변형물, 및 등가물을 커버하고자 한다. 다음 상세한 설명, 수많은 특정 세부사항들은, 본 발명의 보다 완전한 이해를 제공하기 위하여 기재되어 있다. 본 발명은, 이들 특정 세부사항의 일부 또는 전부가 없더라도 실시될 수도 있다. 한편, 주지의 프로세스 동작은, 본 발명을 모호하게 하지 않게 하기 위하여 상세히 설명되지 않았다. 그리고, 하기 모든 실시예에 있어서, 동일 또는 유사한 구성요소에는 상이한 실시예 내에서 설명되더라도 동일 부호가 붙여져 있다.

도 1을 참조하면, 2D 뷰 윈도우(106) 상에 프로젝트된 매핑을 가지는 2D 포토 이미지(108)를 위한 방법(100)이 예시되어 있다.

입체적인 대상물로서의 입체 오브젝트(102)에 대하여 6 자유도를 가지는 매트릭스 변환을 이용함으로써 2D 포토 이미지(108)는 3D 메쉬(110)와 매칭된다. 여기서, 입체 오브젝트는, 설명을 위하여 머그컵으로 예시되어 있지만, 다른 예시되지 않은 실시예에서는 그 대신에 신발, 전구 등의 다른 입체 오브젝트일 수 있다. 3D 스캐너로부터 생성된 기하학(치수) 파라미터들이 3D 메쉬(110)를 구축할 수 있다.

뷰어(관찰자, 104)는, 이미지들을 인터렉티브하게 보고 컨트롤한다. 2D 포토들은, 각 컬럼(열), 로우(행) 위치 내의 한 세트의 프레임들에 의하여 나타내어지는 스케일(s)로 줌되고, 스크린 좌표(x, y)에 의하여 팬(pan, 팽행이동)되고, ω 앵글, 플러스 (θ, φ) 앵글로 회전될 수 있다.

도 2를 참조하면, 구축예(120)는, 메카니컬 컨트롤, 이미지 프로세싱 및 데이터 컴포지션(합성)을 위한 컴퓨터 시스템(126)으로 이루어진다. 포토 캡쳐 시스템(121)은, 컨트롤드 회전 플랫폼(122) 및 카메라(123)들을 가지는 멀티암(124)으로 이루어지고, 입체 오브젝트(102)의 상이한 (θ, φ) 위치에서 포토들을 촬상하도록 컨트롤되는 렌즈 줌 및 틸팅을 가지고 φ 방향으로 움직인다.

(하드웨어 또는 소프트웨어 향상된) 3D 스캐너 서브시스템(128)은, 3D 메쉬(110)(도 1에 도시)로 구축될 3D 기하학 데이터를 캡쳐링하기 위하여 포함되어 있다. 3D 모델링을 위하여 2D 포토 이미지(108)(도 1에 도시)의 실루엣에 사진 측량법(photogrammetry)이 이용된다면, 상기 스캐너 서브시스템(128)은 카메라들(123)로 대체될 수 있다.

컴퓨터 시스템(126)은, 2D 포토 이미지(108)와 3D 메쉬(110)를 컴포즈(합성)하고, 이들을 인터넷망(130)에 링크되어 있는 리모트 서버 및 네트워크 스토리지 시스템(134)에 인터넷망(130)을 통하여 보낸다.

클라이언트 디바이스(132)는, 뷰잉 및 컨트롤 소프트웨어를 구비하고, 인터넷에 접속되어 있는 PC, 태블릿 PC, 스마트폰 등과 같은 것으로서, 2D 포토 이미지(108) 및 3D 메쉬(110)를 인터렉티브하게 뷰 및 컨트롤하는데 이용된다.

도 3을 참조하면, 어떻게 데이터가 캡쳐되고, 처리되고, 저장되고, 그 후 클라이언트 측에서 뷰어에 의하여 소비되는지를, 블럭 다이어그램(140)이 보여준다.

블럭 142에서, 각 뷰 위치에서 프레임별로 2D 포토 이미지들이 캡쳐되고, 이들은 필요하다면 이미지 배경을 제거하기 위하여 전처리되거나, 또는 계층적 픽셀 해상도, 투명도 정보를 가지는 JPEG 포맷으로 압축되고, 그 후 나아가서 블럭 144에 보인 바와 같이, 2D 포토 이미지 파일 내에 저장된다.

블럭 146에서. 3D 기하학 데이터가, 예컨대 (단, 이에 한하지 않음) 3D 모델링 데이터 스캔에 의하여, 상이한 뷰 위치들에서 스캔된다. 하지만, 신뢰할 수 있는 데이터를 얻기 위하여, 필터링 프로세스를 거친 후에, 이들은 더욱 3D 메쉬로 알려진 블럭 148에 나타낸 바와 같은 입체 오브젝트 파일과 같은 글로벌 좌표 시스템을 가지는 한 세트의 메쉬로 컴포즈된다.

블럭 150에서, 컴포징 시스템이 2D 포토 이미지 파일 및 입체 오브젝트 파일을 프로세스하여, 고품질 이미지의 포토-리얼리스틱 가상현실 프레젠테이션 및 물리적 증강현실 어플리케이션을 위하여, 3D 메쉬의 3D 기하학 파라미터들이 대응되는 2D 이미지 파일 내의 2D 포토 이미지들의 2D 포토 이미지 파라미터들에 따르게 하고, 그 후 2D 포토 이미지 파일이 3D 메쉬와 매칭이 이루어지게 할 수 있다. 컴포즈된 결과는, 블럭 152에 나타낸 바와 같은 어플리케이션 및 데이터 폴더와 같은 파일구조에 저장되는데, 이는 상이한 해상도 레벨의 포토 이미지들, 입체 오브젝트 파일 및 대응하는 파라미터를 저장하는 프로파일을, 예컨대 (단, 이에 한하지 않음) xml 파일 구조로 저장하기 위함이다.

블럭 154에 나타낸 바와 같이, 뷰잉 프로그램은, 매칭되는 파라미터들을 디코딩하여, 엔드유저와 인터랙티브하게 고품질로 포토 이미지를 나타내기 위하여 클라이언트 디바이스에서 실행되고, 증강현실과 같은 특정 어플리케이션을 위한 3D 메쉬의 컨트롤 및 측정을 추가적으로 제공할 수도 있다.

도 4를 참조하면, 2D 포토 캡쳐링 시스템(160)이, 컴퓨터 컨트롤드 회전기구(162)에 위치된 입체 오브젝트의 포토 이미지들을 촬상한다.

입체 오브젝트는, 고정된 회전축을 가지고, 입체 오브젝트 주변에서 수평으로 및 수직으로 적어도 한대의 카메라가 움직이면서, 상이한 뷰 앵들들로부터 보여지게 된다. 본 실시예에 있어서, 입체 오브젝트는, 컴퓨터 컨트롤드 회전기구(162)의 예컨대 0°, 45°, 90°, 135°, 180°, 225°, 270° 및 315°의 회전을 통하여, 예시적으로 상이한 뷰 앵글들, 예컨대 바닥측, 하방우측, 우측, 상방우측 및 상측에서, 그리고 입체 오브젝트에 대한 8가지 상이한 수평 오리엔테이션으로 5대의 상이한 포토 카메라들에 의하여 가능한 가장 높은 해상도로 포토들이 촬상되어, 40개의 상이한 이미지 파일들을 형성하고, 이미지 파일들은 특정 네이밍 컨벤션(164)을 가지고 프레임별로 저장된다. 하지만, 예시되지 않은 다른 실시예에 있어서는, 입체 오브젝트에 대하여 더 적거나 더 많은 포토들을 촬상하는 것도 가능하다.

이미지 파일들은, 장래의 컴포징 또는 뷰잉 프로세스를 위하여, 원하지 않는 배경 이미지들을 제거하도록 전처리되거나, 투명도 정보가 추가되거나, 계층적 저해상도로 전환되고, 단일 루트 디렉토리 하에 저장될 수도 있음을 유의하여야 한다.

도 5를 참조하면, 3D 기하학 데이터 캡쳐링 시스템(180)이 입체 오브젝트의 기하학(치수) 데이터를 획득하는데 이용된다. 이는 물리적으로 도 4에서 설명된 바와 같은 포토 캡쳐링 시스템에 대하여 독립 시스템이거나, 서브시스템일 수도 있다.

3D 기하학 데이터 캡쳐링 시스템(180)은, 각 오브젝트 기하학의 깊이 데이터(182)를 획득함으로써, 또는, 단순히 2D 포토 이미지(108)의 실루엣을 촬상함으로써, 가시적 특정 파장의 광학 카메라, 레이저빔, 또는 비가시적 적외선 및 반사 캡쳐링 시스템을 이용한다.

3D 기하학 데이터는, 신뢰할 수 없는 데이터를 필터하는 컴퓨팅 루틴(184)과 같이, 신뢰할 수 없는 노이즈 데이터가 먼저 제거된 후에, 측정에 의하여 프로세스되며, 그 후 통계적으로 기하학 데이터를 계산하는 루틴(186)과 같이, 3D 글로벌 좌표 시스템 내의 최종 노드 위치로서 통계학적으로 보다 정확한 데이터를 계산한다.

기하학 데이터(186)는, 비교되어, 글로벌 데이터셋(188)에 합병되고, 저장되어 스탠다드 입체 오브젝트 파일(190) 내에 축적된다.

입체 오브젝트에 대한 모든 필요한 기하학 데이터 및 파라미터들을 얻기 위한 수많은 주요 위치로부터의 반복된 측정 및 데이터 연산에 의하여, 복수개의 3D 기하학 파라미터들로부터 최종 3D 메쉬(192)가 구축될 수 있다.

도 6을 참조하면, 파라미터 매칭 시스템(200)이 2D 포토들을 3D 기하학 데이터와 매칭하기 위하여 생성되어 있다.

포토 이미지들은 각 뷰 앵글로 각 포토 프레임들(202) 내에 저장되므로, 3D 메쉬(204)의 3D 기하학 파라미터들은 대응되는 2D 포토 이미지들/프레임들(202)의 2D 포토 이미지 파라미터들과 매치시켜서, 동일 프레젠테이션 공간에서 보이도록 해야 한다.

어떠한 입체 오브젝트도 6 자유도로 표현될 수 있음이 알려져 있다. 포토 이미지와 3D 기하학 데이터 사이의 상관관계를 나타내기 위하여, 3D 공간 (x, y, z)에서 레퍼런스 포인트 및 오브젝트의 오리엔테이션 앵글 (θ, φ, ω)을 선택할 수 있다.

따라서, 각 포토 프레임(202)에 대하여, 장래의 프레젠테이션 및 컨트롤 기능을 위하여, 한 세트의 6 파라미터들을 할당하고, 이들을 함께 묶을 필요가 있다. 본 실시예에 있어서, 예컨대 (단, 이에 한하지 않음), 포토 프레임(202)은, 프레임i,j.jpg로 네이밍되어, M개의 컬럼(열) 및 N개의 로우(행)로 이루어지고, 그 레퍼런스 포인트(206)는 (xi,j, yi,j, zi,j)로 나타내어질 수 있다. 결국, 3D 기하학 데이터의 6 파라미터들은, (x0,0, y0,0, z0,0, θ0,0, φ0,0, ω0,0)로 나타내어질 수 있고, 포토 프레임(202)들의 6 파라미터들은 (xi,j, yi,j, zi,j, θi,j, φi,j, ωi,j) (여기서, i=1, 2...M, 및 J=1, 2...N)로 나타내어질 수 있다.

도 7을 참조하면, 이들 파라미터들을 각 포토 프레임들과 매칭시키기 위하여, 파라미터 매칭 소프트웨어 프로그램(220)이 이용될 수 있다.

매칭 소프트웨어 프로그램(220)은, 오리지널 2D 포토 이미지들과 3D 메쉬(226)의 3D 기하학 파라미터들을 로드하고, 컴포즈된 데이터를 저장하기 위한 기능(222)들을 가진다.

매칭 소프트웨어 프로그램(220)은, 프레임 셀렉션(230) 내에 나타낸 바와 같이 2D 이미지 프레임 중의 어느 하나 속의 포토 이미지(224)와 3D 메쉬(226)의 양측을 다 나타냄으로써, 유저와 인터랙트하도록 디자인되어 있다.

컴퓨터 스크린 상의 마우스 커서는, 오직 2 자유도로만 움직일 수 있으므로, 유저는, 파라미터 매칭을 수동적으로 할 수 있다. 이는, θ 및/또는 φ의 값을 컨트롤하기 위하여 축의 선단을 움직임으로써, 그 후 ω의 값을 컨트롤하기 위하여 입체 오브젝트 바디 축(236)을 회전시킴으로써, 입체 오브젝트 바디 축(236)을 컨트롤할 수 있다.

레퍼런스 포인트(234)는 그 후, x, y 값을 컨트롤하기 위하여 스크린 상에서 팬(pan)될 수 있고, 3D 메쉬의 사이즈를 컨트롤하기 위하여 마우스 휠을 사용할 수 있으며, 이는 오브젝트의 스케일 및 결국 프로젝트된 z 위치와 등가이다. 본 실시예에 있어서, 2D 이미지 프레임(224)을 3D 메쉬(226)에 수동으로 매칭시키기 위하여, 6 파라미터(x, y, z, θ, φ, ω)들이 모두 조정되고 있음을 유의하여야 한다. 하지만, 예시되지 않은 다른 실시예에 있어서는, 만일 필요치 않다면, 6 파라미터들 모두를 조정하지 않는 것도 가능함은 물론이다.

반면에, 파라미터들을 매칭하는 것을 돕기 위한 오토 컴퓨팅 매칭 프로세스(228)가 더욱 제공되고, 이는 파라미터들을 프로그램적으로 단일 프레임에 대하여, 또는 복수의 프레임들에 대하여, 더욱 매칭시킬 수 있으며, 이에 대해서는 도 8에서 설명된다.

수동 매칭 프로세스(232)는, 캡쳐링 프로세스를 함께 행하고 있는 동안에, 오토 컴퓨팅 매칭 프로세스(228)를 이용함으로써, 직접 연산에 의하여 더욱 대체될 수 있음에 유의하여야 한다. 2D 포토 이미지 파일을 3D 메쉬와 자동으로 매칭하는 것은, 3D 기하학 스캔 메카니즘이 2D 포토 이미지들과 3D 메쉬 사이의 파라미터의 관계를 제공할 수 있는 동안에, 2D 포토 이미지들의 파라미터들을 3D 메쉬의 3D 기하학 파라미터들과 프로그램적으로 자동 매칭하는 것이다.

도 8을 참조하면, 자동으로 각 포토 프레임에서의 모든 뷰잉 앵글에 대하여 파라미터 매칭을 생성하기 위하여, 연산 스킴(scheme)(240)이 개발되어 있다.

쿼터니언(Quaternion, 4원수) 기법을 적용함으로써, 레퍼런스 포인트 및 바디 축을 나타내는 어떠한 3D 벡터 v도, 회전 단위 축 n을 중심으로 회전 앵글 θ로 회전한 후에 3D 공간 내의 새로운 벡터 r를 획득하도록 계산될 수 있다.

따라서, 회전 단위 축 n을 연산하기 위하여 파라미터들을 이용함으로써, 기지(旣知)의 회전 앵글을 가지는 동일 로우의 어떠한 2개의 프레임도 이용할 수 있다. 일단 알려지면, 동일 로우(242)의 각 프레임들의 어떠한 다른 레퍼런스 포인트와 바디 축도 연산될 수 있고, 따라서 자동으로 파라미터들을 매칭시킨다.

상이한 로우(252)의 단일 컬럼(254)에서의 이미지 프레임들에 대하여, 동일 연산이 수직방향으로 이루어질 수 있다. 동일 프로세스를 반복함으로써, 모든 프레임들이 계산될 수 있다.

이론적으로, 수평 및 수직방향의 회전 단위 축을 연산하기 위하여, 단지 3개의 수동적으로 매칭된 프레임들이 필요할 뿐이어서, 매칭 파라미터들을 찾아내기 위한 엄청난 수고를 덜 수 있다. 하지만, 실제 실행에 있어서는, 카메라의 회전 궤적은 완벽한 원형 패스에 위치되지 않을 수 있어서, 틸팅 앵글 및 줌 렌즈가 포토 이미지들을 비선형적 방식으로 프로젝트할 수 있으므로, 보다 신뢰가능한 데이터를 획득하기 위해서는, 5개 또는 7개 정도의 보다 많은 수동적으로 매칭된 프레임들이 필요할 수 있다. 매칭 연산을 검토하기 위한 시각적 조정이 또한, 미세 조정을 행하기 위하여 제공된다.

도 9를 참조하면, 그 클라이언트 디바이스에서 고해상도 포토 이미지들 플러스 3D 기하학 데이터를 보도록 하는 뷰잉 메카니즘을 엔드유저에게 제공하기 위하여, 인터넷 서버(260)에 파일 시스템이 구축되어 있다.

뷰어 프로그램들, 리얼타임의 고해상도 이미지 데이터, 기하학 데이터, 보조 데이터 및 프레젠테이션 프로파일은 모두, 크로스 도메인 액세스 문제가 없는 것이 확실한 루트 디렉토리(262) 하에 저장된다.

엔드유저에 의하여 억세스되는 뷰어 프로그램은, 블럭 264에 나타낸 바와 같이, 모든 필요한 프로그램 루틴들과, 여기에 네이밍된 뷰어를 로드하고, 그 후 블럭 266에 나타낸 바와 같이, 자동으로 3D 메시의 리얼타임 이미지 및 기하학 데이터를 획득한다. 다음으로, 블럭 269에 나타낸 바와 같이, 고해상도 이미지들을 획득하기 위하여, 블럭 268에 나타낸 바와 같이, 고해상도 이미지 및 3D 메쉬를 보이기 위한 인터렉티브 조작이 가능하다. 게다가, 블럭 272에 나타낸 바와 같이 필요한 3D 측정을 위한 증강현실 어플리케이션이나, 블럭 274에 나타낸 바와 같이 3D 컨트롤 기능에 따라서는, 블럭 270에 나타낸 바와 같은 기능적 조작이 더욱 가능하다.

프로그램은, OpenGL 또는 WebGL, 기타 다른 3D 환경 등의 3D 오퍼레이팅 환경을 가지는 클라이언트 디바이스 상에서 실행될 수 있다.

도 10을 참조하면, 도 9에서 설명된 기능들을 실행하기 위하여, 클라이언트측 뷰잉 프로그램(280)이 개발되어 있다.

뷰잉 프로그램(280)은, 데스크탑 컴퓨터, 모바일 디바이스 또는 조작 윈도우(282)를 나타낼 수 있는 임의의 디바이스와 같은 컴퓨터 시스템(126)(도 2에 나타냄)을 위한 윈도우 플랫폼용 WebGL-enabled browser-based HTML5 뷰잉 프로그램, 또는 OpenGL ES enabled 모바일 디바이스에 있는 네이티브 프로그램일 수 있다.

프로그램은, 인터렉티브하게 포토 이미지를 볼 때의 줌, 팬(pan) 및 회전기능을 수행하기 위한 조작버튼(286)을 가지고, 상이한 투명도로, 고품질로 포토 이미지를 보거나 3D 모델의 와이어 프레임을 보거나, 이들 둘 다 보기 위한 슬라이더 컨트롤러를 가진다.

3D 공간 내의 2D 포토 이미지들의 매끄러운 정도를 나타내기 위하여, 앵글 0<Δθ<θ 증분 및/또는 앵글 0<Δφ<φ 증분을 변화시킴으로써, 2D 포토 이미지(들)(284)의 앵귤러 모핑을 더욱 수행할 수 있다.

어플리케이션에 따라서는, 측정 및 어플리케이션 컨트롤, 기타 필요한 임의의 기능을 수행하기 위한 기능버튼(288)을 더욱 구비한다.

도 11을 참조하면, 인간의 눈의 인지로 인한, 보다 리얼한 감각으로 오브젝트를 보이기 위하여, 시스템이 스테레오스코픽(stereoscopic) 시스템(300)으로 더욱 확장될 수 있다.

뷰잉 윈도우는, 좌측 눈(302) 및 우측 눈(304)에 각각 이미지들을 제공하는, 좌측 스테레오그램(306) 및 우측 스테레오그램(308)의 양쪽을 위한 2개의 독립적인 것들이다.

두 세트의 이미지들 및 매칭 파라미터들은, 동일 오브젝트(310)에 대한 뷰 앵글 차이를 고려하여 획득된다. 좌측 것(312) 및 우측 것(314)의 세트가, 독립적으로 존재한다. 본 실시예에 있어서는, 예컨대 (단, 이에 한하지 않음), 좌측 것(312) 및 우측 것(314)이 각각, 프레임Li,j.jpg 및 프레임Ri,j.jpg로 네이밍될 수 있고, 그 레퍼런스 포인트(316 및 318)가 각각, (xi,j, yi,j, zi,j)R 및 (xi,j, yi,j, zi,j)L로 나타내어질 수 있다. 결국, 좌측 것(312) 및 우측 것(314)에 대한 3D 기하학 데이터의 6 파라미터들은 각각, (x0,0, y0,0, z0,0, θ0,0, φ0,0, ω0,0)R 및 (x0,0, y0,0, z0,0, θ0,0, φ0,0, ω0,0)L로 나타내어질 수 있고, 좌측 것(312) 및 우측 것(314)의 6 파라미터들이 각각, (xi,j, yi,j, zi,j, θi,j, φi,j, ωi,j)R 및 (xi,j, yi,j, zi,j, θi,j, φi,j, ωi,j)L (여기서, i=1, 2...M, 및 J=1, 2...N)로 나타내어질 수 있다.

하지만, 이미지들의 동일 로우에 대한 상이한 컬럼 인덱스를 가지는 2D 포토들의 단일 세트를 이용하는 것도 또한 가능하다. 이는, 뷰잉 앵글 및 거리 시뮬레이션에 있어서 매우 정확하지는 않겠으나, 평균적 뷰어들에 대하여 충분한 깊이감을 제공할 것이다.

뷰 윈도우는, TV, 무비 스크린, 또는 아예 뷰 안경을 가지는 신규 웨어러블 기기에도 적용될 수 있다.

비록 본 발명의 특정 실시예가 설명되었지만, 설명된 실시예와 등가인 다른 실시예가 있을 것이라는 점을, 이 기술분야의 통상의 전문가는 이해할 것이다. 따라서, 본 발명은 예시된 특정 실시예에 의하여 한정되는 것이 아니고, 오직 첨부된 청구항의 범위에 의할 것임은 당연하다.

본 발명은, 일반적으로 3D 사진 프레젠테이션 분야에 이용될 수 있다.

100: 방법, 102: 입체 오브젝트, 104: 뷰어, 106: 2D 뷰 윈도우, 108: 2D 포토 이미지, 110: 3D 메쉬, 120: 구축예, 140: 블럭 다이어그램, 160: 2D 포토 캡쳐링 시스템, 180: 3D 기하학 데이터 캡쳐링 시스템, 200: 파라미터 매칭 시스템, 220: 파라미터 매칭 소프트웨어 프로그램, 240: 연산 스킴, 260: 인터넷 서버, 280: 클라이언트측 뷰잉 프로그램, 300: 스테레오스코픽 시스템

Claims (10)

1. 입체 오브젝트에 대한 6 자유도를 가지는 매트릭스 변환을 이용함으로써 2D 포토 이미지 파일을 3D 메쉬에 매칭하는 방법으로서,
   고품질 이미지의 포토-리얼리스틱 가상현실 프레젠테이션 및 물리적 증강현실 어플리케이션을 위하여, 3D 메쉬의 3D 기하학 데이터가 2D 이미지 파일의 2D 포토 이미지 파라미터들과 대응되도록 구성됨
   을 특징으로 하는 2D 포토 이미지 파일을 3D 메쉬에 매칭하는 방법.
2. 청구항 1에 있어서,
   상기 2D 포토 이미지 파일 내의 2D 포토 이미지들이,
   (1) 그 이미지 배경을 제거하는 것;
   (2) 계층적 픽셀 해상도, 투명도 정보를 가지는 JPEG 포맷으로 압축되는 것; 및
   (3) 상기 2D 포토 이미지 파일 내에 저장되는 것
   중의 적어도 하나로 선택적으로 처리되는 것
   을 특징으로 하는 2D 포토 이미지 파일을 3D 메쉬에 매칭하는 방법.
3. 청구항 1에 있어서,
   3D 기하학 파라미터들이, 상기 2D 포토 이미지 파일 내의 2D 포토 이미지들의 실루엣 또는 입체 오브젝트의 각 오브젝트 기하학의 깊이 데이터를 획득함으로써, 특정 파장의 가시적 광학 카메라, 레이저 빔 또는 비가시적 적외선 및 반사 캡쳐링 시스템으로부터 생성될 수 있음
   을 특징으로 하는 2D 포토 이미지 파일을 3D 메쉬에 매칭하는 방법.
4. 청구항 1에 있어서,
   상기 입체 오브젝트에 대한 6 자유도를 가지는 매트릭스 변환은, 수동으로 또는 자동으로 행하여지는 것
   을 특징으로 하는 2D 포토 이미지 파일을 3D 메쉬에 매칭하는 방법.
5. 청구항 4에 있어서,
   수동으로 행하여지는 것은
   (1) θ의 값을 컨트롤하기 위하여 축의 선단을 수동으로 움직이는 것;
   (2) φ의 값을 컨트롤하기 위하여 축의 선단을 수동으로 움직이는 것;
   (3) ω의 값을 컨트롤하기 위하여 상기 입체 오브젝트의 바디 축을 수동으로 회전시키는 것; 및
   (4) 상기 2D 포토 이미지 파일의 세트 전체가 소진될 때까지, 상기 2D 포토 이미지 파일로부터 선택된 2D 포토 이미지 파라미터들과 매칭되도록 상기 3D 메쉬의 사이즈를 스케일링하는 것
   중의 적어도 하나를 포함하고,
   여기서,
   상기 2D 포토 이미지 파일 내의 2D 포토 이미지들의 적어도 3개가, 연산에 의하여 보조되면서 수평 또는 수직방향으로 바디 축으로부터 수동으로 선택됨
   을 특징으로 하는 2D 포토 이미지 파일을 3D 메쉬에 매칭하는 방법.
6. 청구항 4에 있어서,
   자동으로 행하여지는 것은, 3D 기하학 스캔 메카니즘이 상기 2D 포토 이미지 파일 내의 2D 포토 이미지들과 상기 3D 메쉬 사이의 파라미터 관계를 제공하는 동안에, 2D 포토 이미지 파라미터들을 3D 기하학 파라미터들과 프로그램적으로 자동을 매칭시키는 것임
   을 특징으로 하는 2D 포토 이미지 파일을 3D 메쉬에 매칭하는 방법.
7. 청구항 1에 있어서,
   상기 고품질 이미지의 포토-리얼리스틱 가상현실 프레젠테이션은, 고해상도 포토 이미지들 및 상기 3D 메쉬를 보기 위한 뷰잉 메카니즘을 엔드유저에게 제공하도록 구축되어 있는 인터넷 서버에 있는 파일시스템이고, 상기 물리적 증강현실 어플리케이션은, 3D 측정 또는 3D 컨트롤 기능을 위한 것임
   을 특징으로 하는 2D 포토 이미지 파일을 3D 메쉬에 매칭하는 방법.
8. 청구항 7에 있어서,
   고해상도 포토 이미지들과 상기 3D 메쉬는, 상이한 투명도로 함께 나타내어짐
   을 특징으로 하는 2D 포토 이미지 파일을 3D 메쉬에 매칭하는 방법.
9. 청구항 7에 있어서,
   상기 고품질 이미지의 포토-리얼리스틱 가상현실 프레젠테이션은, 각각 좌측 눈 및 우측 눈을 위한 좌측 스테레오그램 및 우측 스테레오그램의 뷰잉 윈도우를 가지는 스테레오스코픽 시스템으로 더욱 확장됨
   을 특징으로 하는 2D 포토 이미지 파일을 3D 메쉬에 매칭하는 방법.
10. 청구항 7에 있어서,
    상기 고품질 이미지의 포토-리얼리스틱 가상현실 프레젠테이션은, θ 방향 및 φ 방향 중의 적어도 하나에 있어서의 2D 포토 이미지들의 앵귤러 모핑을 통하여, 3D 공간 내의 2D 포토 이미지 파일 내의 2D 포토 이미지의 매끄러운 정도를 나타내도록 더욱 확장됨
    을 특징으로 하는 2D 포토 이미지 파일을 3D 메쉬에 매칭하는 방법.

Images