KR20120071281A - 모바일에서 현실환경과 가상환경을 융합하여 제공하는 장치 및 방법 - Google Patents

모바일에서 현실환경과 가상환경을 융합하여 제공하는 장치 및 방법 Download PDF

Info

Publication number
KR20120071281A
KR20120071281A KR1020110025498A KR20110025498A KR20120071281A KR 20120071281 A KR20120071281 A KR 20120071281A KR 1020110025498 A KR1020110025498 A KR 1020110025498A KR 20110025498 A KR20110025498 A KR 20110025498A KR 20120071281 A KR20120071281 A KR 20120071281A
Authority
KR
South Korea
Prior art keywords
data
real
virtual
real object
mesh
Prior art date
Application number
KR1020110025498A
Other languages
English (en)
Inventor
김상원
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to US13/333,459 priority Critical patent/US20120162372A1/en
Publication of KR20120071281A publication Critical patent/KR20120071281A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/50—Depth or shape recovery

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 모바일에서 현실과 가상환경을 융합하여 제공하는 장치 및 방법을 제공한다. 현실가상융합장치는 모바일 단말에 포함된 적어도 하나의 카메라로부터 촬영된 현실환경 영상데이터를 보정하는 영상 처리부, 보정된 현실환경 영상데이터의 현실객체를 3차원으로 분석하여 가상화한 현실객체 가상화 데이터를 생성하는 현실환경 가상화부 및 모바일 단말의 위치와 방향 데이터를 참조하여 현실객체 가상화 데이터와 미리 저장된 합성하려는 가상환경 데이터를 연동하여 현실객체 가상화 데이터와 가상환경 데이터의 가상객체를 합성한 융합영상을 생성하는 현실가상 합성부를 포함한다.

Description

모바일에서 현실환경과 가상환경을 융합하여 제공하는 장치 및 방법{Apparatus and method for fusion of real and virtual environment on mobile}
본 발명은 모바일에서 현실환경과 가상환경을 융합하여 제공하는 장치 및 방법에 관한 것으로, 보다 상세하게는 모바일 단말을 통해 현실환경과 가상환경을 융합하여 제공하기 위한 장치 및 방법에 관한 것이다.
현실환경과 가상환경을 융합하기 위해 종래에는 증강현실(augmented reality), 혼합현실(mixed reality) 및 확장현실(extended reality) 기술 등이 사용되었다. 이러한 기술들은 모두 같은 개념들을 공유하며 현실환경에 가상의 사물이나 정보를 합성하여 보조적인 정보를 제공하는 것을 목적으로 한다. 예를 들어, 박물관에서 전시된 전시물들에 대해 디스플레이를 통해 추가적인 정보를 제공하거나 또는 동영상과 동작하는 가상 캐릭터의 추가 서비스를 제공하는데 사용된다.
이러한 증강현실을 위한 시스템은 일반적으로 고성능 서버, 카메라, 위치추적 센서 및 디스플레이를 포함한다. 이러한 시스템은 현실환경의 카메라를 통해 이미지를 촬영하고, 카메라의 위치나 현실환경 내 특정 현실객체(마커)의 위치를 위치 추적 센서를 통해 파악하며, 위치 추적을 통해 가상 객체들을 현실환경 이미지 위에 매핑하고, 가상객체와 현실환경 이미지들을 영상 합성하여 증강영상을 실시간으로 제공한다.
이처럼 제공되는 증강영상은 현실환경 위에 가상객체가 삽입되어 제공되는 것은 가능하지만 현실환경 내 현실객체들 사이로 가상객체들을 삽입하여 제공하는 것은 불가능하다. 이러한 삽입을 위해 현실환경 그 자체를 가상화하는 기술이 요구된다. 현실환경의 가상화는 현실환경을 공간적으로 분석하여 배경과 현실객체들을 구분하고 현실객체를 가상객체로 변환하는 것을 포함한다. 이러한 방법으로 현실객체에서 추출된 가상객체들 사이에 다른 가상객체를 쉽게 삽입할 수 있다. 하지만, 현실환경을 촬영한 2차원 이미지만으로 3차원 현실공간을 분석하는 것은 매우 어려운 일이며, 이를 위해 3차원 현실공간 분석을 위한 다양한 방법들이 존재하며 대표적인 기술이 레인지 이미징(Range Imaging)기술이다.
레인지 이미징 기술은 센서 디바이스를 사용하여 깊이 정보를 갖는 2차원 이미지인 시차맵(disparity map)을 생성한다. 레인지 이미징 기술은 카메라만 사용하는 제약조건이 거의 없는 피동형(Passive) 방식 및 카메라와 함께 빔프로젝터를 이용하는 능동형(active) 방식으로 분류된다.
또한, 레인지 이미징 기술은 사용하는 센서의 종류에 따라 스테레오 카메라를 사용하는 스테레오 정합(stereo matching)방식과 부호화 개구(coded aperture)방식으로 분류되며, 가시광선이나 적외선 패턴을 물체에 이용하여 결과 영상을 분석하는 광삼각망(sheet of light triangulation)방식과 구조광(structured light)방식으로 분류되고, 레이더와 유사한 방식으로 전파대신 광펄스(light pulse)를 사용하는 TOF(Time-of-flight) 방식과 간섭굴절측정법(Interferometry) 방식으로 분류된다.
여기서, 스테레오 정합방식은 두 대의 카메라를 이용하므로 휴대단말기에 적용하기 좋은 장점을 갖지만 계산시간이 지나치게 많은 문제점이 있다. 그리고, 구조광 방식이나 TOF 방식은 실시간 처리가 가능하나 실내환경만 가능하거나 동시 여러 대의 카메라 촬영이 불가능하고 가격이 높은 문제점이 있다. 또한, 스테레오 정합방식이나 구조광 방식은 카메라를 사용하므로 렌즈 왜곡(distortion)을 해결하기 위한 영상 보정(calibration)과 카메라 위치와 방향을 계산하는 전처리 과정이 필요하다. 이러한 전처리 과정은 많은 시간을 요구하며 만일 카메라가 이동형인 경우 프레임마다 카메라의 위치와 방향을 새로 계산해야 하는 번거로움이 있다.
전술한 바와 같이 3차원 공간분석을 위한 레인지 이미징 기술 이외에도 카메라 한대만으로도 가능한 동영상기반 구조화(structure from motion) 기술이 사용되기도 한다. 이러한 동영상기반 구조화 기술은 카메라 한대를 사용하여 여러 방향에서 장시간 촬영한 동영상 데이터가 요구되므로 실시간 공간분석을 할 수는 없지만 센서를 사용하거나 카메라 여러 대를 동시에 사용하여 실시간 공간분석이 가능하기도 하다. 그러나, 레인지 이미징 기술은 촬영된 모든 대상에서 완벽하게 시차맵을 생성하지는 못하지만 레인지 이미징 기술의 결과물인 시차맵의 깊이 정보를 활용하여 배경과 현실객체를 쉽게 분리하거나, 시차맵을 포인트 클라우드 데이터(point cloud data)로 변환하고, 포인트 클라우드 데이터로부터 삼각망화(triangulation)를 통해 현실객체의 3차원 메쉬(mesh)를 생성하여 가상객체로 활용할 수도 있다.
이러한 현실객체의 3차원 메쉬 생성, 즉 현실객체의 가상화은 3차원 형상복원 기술로도 불린다. 레인지 이미징 기술을 사용하여 생성된 3차원 메쉬는 현실객체의 전체 형상이 아니라 일부분만 복원된다. 따라서, 현실객체의 전체 형상을 복원하려면 여러 방향에서 촬영된 시차맵으로부터 생성된 부분 3차원 메쉬를 메쉬 와핑(Mesh Warping)기술을 사용하여 이어 붙여야 한다. 예를 들어, 레인지 이미징 기술을 사용하여 사람과 같은 관절구조를 갖는 현실객체의 모션 캡쳐(Motion Capture)를 하는 경우, 현실객체의 한 방향에서 촬영된 부분 메쉬가 복원되며, 이러한 부분 메쉬로부터 나머지 전체 메쉬를 추정할 수 있는 기술을 사용하여 매프레임마다 전체 형상을 복원하고 형상의 자세를 분석하여 형상의 동작을 생성하거나 또는 각 관절의 특징점을 부여하고 부분 복원된 변위맵으로부터 특징점의 깊이 정보를 참조하여 각 관절의 특징점을 추적하여 동작을 생성해야 한다.
이와 같이, 3차원 공간분석 관련 기술은 많은 계산 시간을 요구하여 실시간 처리가 어렵고 높은 비용의 고성능 서버를 이용해야 하므로 고정된 장소에서 동작하는 3차원 스캐너 등과 같이 매우 한정적인 분야에서만 활용되는 문제점이 있다.
본 발명의 목적은 모바일 단말에서 현실환경과 가상환경을 융합하여 제공하기 위한 장치 및 방법에 관한 것이다.
상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 모바일 환경에서의 현실가상융합장치는 모바일 단말에 포함된 적어도 하나의 카메라로부터 촬영된 현실환경 영상데이터를 보정하는 영상 처리부; 상기 보정된 현실환경 영상데이터의 현실객체를 3차원으로 분석하여 가상화한 현실객체 가상화 데이터를 생성하는 현실환경 가상화부; 및 상기 모바일 단말의 위치와 방향 데이터를 참조하여 상기 현실객체 가상화 데이터와 미리 저장된 합성하려는 가상환경 데이터를 연동하여 상기 현실객체 가상화 데이터와 상기 가상환경 데이터의 가상객체를 합성한 융합영상을 생성하는 현실가상 합성부를 포함한다.
상기 현실환경 가상화부는 상기 보정된 현실환경 영상데이터를 3차원 공간적으로 분석하여 시차맵 데이터를 생성하는 멀티영상 정합부; 상기 시차맵 데이터를 이용하여 상기 현실객체별 현실객체 시차맵 데이터를 생성하고, 상기 현실객체 시차맵 데이터를 이용하여 부분 3차원 메쉬데이터를 생성하는 3차원 형상 복원부; 및 상기 부분 3차원 메쉬데이터를 메쉬 부분 없이 이어 붙이는 메쉬 와핑을 수행하여 완성 3차원 메쉬데이터를 생성하는 메쉬 와핑부를 포함한다.
상기 현실환경 가상화부는 상기 완성 3차원 메쉬 데이터 중 비어있는 메쉬 부분을 추정하여 추정 3차원 메쉬데이터를 생성하며, 상기 추정 3차원 메쉬데이터를 이용하여 현실객체 리깅 데이터를 생성하는 추정 변환부를 포함한다.
상기 추정 변환부는 상기 추정 3차원 메쉬데이터를 이용하여 골격구조 및 동작 데이터를 생성하고, 상기 골격구조 및 동작 데이터를 이용하여 현실객체의 동작에 따른 메쉬 변형을 결정하여 상기 현실객체 리깅 데이터를 생성한다.
상기 추정 변환부는 상기 완성 3차원 메쉬데이터, 상기 골격구조 및 동작 데이터와 상기 현실객체 리깅 데이터를 이용하여 상기 현실객체 가상화 데이터를 생성하는 가상화 데이터 생성부를 포함한다.
상기 3차원 형상 복원부는 상기 현실객체 시차맵 데이터를 포인트 클라우드 데이터로 변환한 후 삼각망 방식을 적용하여 상기 부분 3차원 메쉬데이터를 생성한다.
상기 가상화 데이터 생성부는 상기 완성 3차원 메쉬데이터, 상기 골격구조 및 동작 데이터와 상기 현실객체 리깅 데이터를 이용하여 상기 현실객체별 개별 가상화 데이터를 생성하고, 상기 현실객체별 개별 가상화 데이터의 집합하여 상기 현실객체 가상화 데이터를 생성한다.
상기 현실가상 합성부는 상기 모바일 단말의 위치와 방향 데이터를 참조하여 상기 현실객체 가상화 데이터와 상기 가상환경 데이터를 융합하여 융합공간 데이터를 생성하며, 상기 융합공간 데이터를 렌더링하여 상기 융합영상을 생성한다.
상기 기술적 과제를 해결하기 위한 본 발명의 다른 실시예에 따른 모바일 환경에서 현실환경과 가상환경을 융합하기 위해 모바일 단말에 포함된 적어도 하나의 카메라로부터 촬영된 현실환경 영상데이터를 보정하는 단계; 상기 보정된 현실환경 영상데이터의 현실객체를 3차원으로 분석하여 가상화한 현실객체 가상화 데이터를 생성하는 단계; 상기 모바일 단말의 위치와 방향 데이터를 수신하는 단계; 및 상기 모바일 단말의 위치와 방향 데이터를 참조하여 상기 현실객체 가상화 데이터와 미리 저장된 합성하려는 가상환경 데이터를 합성하여 융합영상을 제공하는 단계를 포함한다.
상기 현실객체 가상화 데이터를 생성하는 단계는 상기 보정된 현실환경 영상데이터를 3차원 공간적으로 분석하여 시차맵 데이터를 생성하는 단계; 상기 시차맵 데이터를 이용하여 상기 현실객체별 현실객체 시차맵 데이터를 생성하고, 상기 현실객체 시차맵 데이터를 이용하여 부분 3차원 메쉬데이터를 생성하는 단계; 및 상기 부분 3차원 메쉬데이터를 메쉬 부분 없이 이어 붙이는 메쉬 와핑을 수행하여 완성 3차원 메쉬데이터를 생성하는 단계를 포함한다.
상기 현실객체 가상화 데이터를 생성하는 단계는 상기 완성 3차원 메쉬 데이터 중 비어있는 메쉬 부분을 추정하여 추정 3차원 메쉬데이터를 생성하는 단계; 상기 추정 3차원 메쉬데이터를 분석하여 골격구조 및 동작 데이터를 생성하여 상기 현실객체의 동작을 분석하는 단계; 상기 현실객체의 동작에 따른 메쉬 변형을 결정하여 현실객체 리깅 데이터를 생성하는 단계; 및 상기 완성 3차원 메쉬데이터, 상기 골격구조 및 동작 데이터와 상기 현실객체 리깅 데이터를 이용하여 상기 현실객체 가상화 데이터를 생성하는 단계를 포함한다.
상기 융합영상을 제공하는 단계는 상기 모바일 단말의 위치와 방향 데이터를 참조하여 상기 현실객체 가상화 데이터와 상기 가상환경 데이터를 융합하여 융합공간 데이터를 생성하는 단계; 및 상기 융합공간 데이터를 렌더링하여 상기 융합영상을 생성하는 단계를 포함한다.
상기 부분 3차원 메쉬데이터를 생성하는 단계는 상기 현실객체 시차맵 데이터를 포인트 클라우드 데이터로 변환하는 단계; 및 상기 포인트 클라우드 데이터에 삼각망 방식을 적용하여 상기 부분 3차원 메쉬데이터를 생성하는 단계를 포함한다.
본 발명의 실시예에 따르면, 모바일 단말에서 현실환경의 모든 객체를 가상화하여 현실객체 가상화 데이터를 생성하고, 모바일 단말의 절대 위치와 방향 데이터 정보를 참조하여 현실객체 가상화 데이터와 미리 저장된 가상환경 영상데이터를 연동하여 현실객체와 가상객체가 합성된 융합영상을 생성하여 제공함에 따라 이동 중에도 현실과 가상이 융합된 영상 서비스를 제공할 수 있다.
본 발명의 실시예에 따르면, 모바일 단말에서 촬영되는 현실환경을 3차원 공간적으로 분석하여 가상화하고, 미리 저장된 3차원 가상환경을 삽입하여 연동화 시킴에 따라 보다 쉽고 간편하게 현실과 가상이 융합된 영상 서비스를 실시간으로 제공할 수 있다.
도 1은 본 발명의 실시예에 따른 모바일 환경에서의 현실가상융합장치를 개략적으로 나타내는 도면이다.
도 2는 도 1에 도시한 현실가상융합장치의 현실환경 가상화부를 개략적으로 나타내는 도면이다.
도 3은 도 1에 도시한 현실가상융합장치에서 현실과 가상환경을 합성하여 융합영상을 제공하는 흐름을 나타내는 순서도이다.
도 4는 본 발명의 실시예에 따른 현실객체 가상화 데이터를 생성하는 흐름을 나타내는 순서도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
도 1은 본 발명의 실시예에 따른 모바일 환경에서의 현실가상융합장치를 개략적으로 나타내는 도면이다. 도 2는 도 1에 도시한 현실가상융합장치의 현실환경 가상화부를 개략적으로 나타내는 도면이다.
도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 현실가상융합장치(100)는 모바일 단말에 포함되며, 현실환경의 객체를 3차원 가상객체로 변환하여 현실객체와 가상객체를 합성한 융합영상을 제공한다. 이러한 현실가상융합장치(100)는 영상 입력부(110), 영상 처리부(120), 위치 추적부(130), 현실환경 가상화부(140), 현실가상 합성부(150) 및 융합영상 제공부(160)를 포함한다.
영상 입력부(110)는 적어도 하나의 카메라를 포함하며, 적어도 하나의 카메라를 통해 촬영한 현실을 바라보는 현실환경 영상데이터를 영상 처리부(120)로 전달한다. 본 발명의 실시예에서는 영상 입력부(110)에 두 개의 카메라(110a, 110b)가 포함되며, 카메라(110a, 110b)는 서로 다른 방향을 촬영하는 것으로 가정한다.
영상 처리부(120)는 영상 입력부(110)로부터 현실환경 영상데이터를 전달받으며, 현실환경 영상데이터를 보정하여 보정된 현실환경 영상데이터를 생성한다.
위치 추적부(130)는 모바일 단말의 절대 위치와 방향 데이터 정보 등을 추적하여 저장한다.
현실환경 가상화부(140)는 영상 처리부(120)로부터 보정된 현실환경 영상데이터를 변환하여 모든 현실객체를 가상화한 집합인 현실객체 가상화 데이터를 생성한다. 이러한, 현실환경 가상화부(140)는 도 2에 도시한 바와 같이 멀티영상 정합부(141), 3차원 형상 복원부(142), 메쉬 와핑부(143), 추정 변환부(144) 및 가상화 데이터 생성부(145)를 포함한다.
멀티영상 정합부(141)는 영상 처리부(120)로부터 보정된 현실환경 영상데이터를 전달받는다. 멀티영상 정합부(141)는 보정된 현실환경 영상데이터를 3차원 공간적으로 분석하는 멀티 영상 정합을 수행하여 시차맵 데이터를 생성한다.
3차원 형상 복원부(142)는 시차맵 데이터에서 현실환경 내의 개별 현실객체를 구분하여 현실 객체별로 현실객체 시차맵 데이터를 생성한다. 3차원 형상 복원부(142)는 현실객체 시차맵 데이터를 포인트 클라우드 데이터로 변환하고, 삼각망을 수행하여 현실객체의 부분 3차원 메쉬데이터(이하, "부분 3차원 메쉬데이터"라고 함)를 생성하여 현실객체 3차원 형상을 복원한다.
메쉬 와핑부(143)는 서로 다른 방향에서 촬영된 보정된 영상데이터로부터 복원되는 부분 3차원 메쉬데이터를 비어있는 메쉬 부분 없이 서로 이어 붙이는 메쉬 와핑을 수행하여 현실객체의 완성 3차원 메쉬데이터(이하, "완성 3차원 메쉬 데이터"라고 함)를 생성한다.
추정 변환부(144)는 완성 3차원 메쉬 데이터 중 비어있는 메쉬 부분을 이후 생성되는 3차원 부분 메쉬데이터를 참조하여 추정하는 메쉬 추정을 수행하여 현실객체 3차원 추정 메쉬데이터(이하, "추정 3차원 메쉬데이터"라고 함)를 생성한다. 그리고, 추정 변환부(144)는 추정 3차원 메쉬데이터를 분석하여 해당 현실객체의 골격구조 및 동작 데이터를 생성하여 동작 분석을 수행한다. 추정 변환부(144)는 3차원 메쉬데이터와 현실객체의 골격구조 및 동작데이터를 분석하여 골격의 동작에 의한 메쉬 변형(deformation)을 결정하는 변환을 수행하여 현실객체 리깅(rigging) 데이터를 생성한다.
가상화 데이터 생성부(145)는 완성 3차원 메쉬 데이터, 현실객체의 골격구조 및 동작데이터 및 현실객체 리깅 데이터를 이용하여 개별 현실객체의 가상화된 현실객체 데이터(이하, "개별 가상화 데이터"라고 함)를 생성한다. 가상화 데이터 생성부(145)는 현실환경내의 개별 현실객체에 대한 개별 가상화 데이터를 이용하여 가상화된 현실객체 데이터의 집합인 현실객체 가상화 데이터를 생성한다.
다시 도 1을 참고하면, 현실가상 합성부(150)는 모바일 단말의 절대 위치와 방향 데이터 정보를 참조하여 현실객체 가상화 데이터와 가상환경 영상데이터를 융합하여 융합공간 데이터를 생성한다. 즉, 현실가상 합성부(150)는 모바일 단말의 절대 위치와 방향 데이터 정보 및 3차원 현실객체 가상화 데이터로 변환과정에서 생성되는 적어도 하나의 카메라(110a, 110b)의 상대 위치 및 방향 데이터를 참조하여 가상화된 현실환경의 좌표축과 가상환경의 좌표축을 서로 일치시킨다. 그리고, 현실가상 합성부(150)는 융합공간 데이터를 렌더링(rendering)하여 현실객체와 가상객체가 합성된 융합영상을 생성한다. 여기서, 가상환경 영상데이터는 모바일 단말과 연동하여 동작하는 서버로부터 제공될 수 있으며, 현실객체와 연동시키기 위해 미리 생성되어 저장된다.
예를 들면, 카메라를 통해 촬영된 현실환경 영상데이터가 기차역이고 기차역에 대한 현실객체 가상화 데이터가 생성되었으며, 카메라를 통해 공중에 떠있는 가상의 기차 출발 및 도착시간을 알려주는 게시판이 가상환경 데이터로 미리 저장된 경우, 현실가상 합성부(150)는 기차역에 진입하였을 때 카메라를 통해 기차역에 공중에 떠있는 가상의 기차 출발 및 도착시간을 알려주는 게시판이 융합된 융합영상을 생성하여 제공한다.
융합영상 제공부(150)는 현실가상합성부(140)로부터 융합영상을 전달받아 모바일 단말의 표시부(도시하지 않음)을 통해 표시한다.
본 발명의 실시예에 따른 현실객체는 가시광선 카메라를 통해 식별 가능한 지도 데이터, 이벤트 정보, 건물, 운송수단, 사람 및 건물 등과 같은 물체들뿐만 아니라 적외선 카메라를 통해 식별 가능한 특수한 물체들까지 포함될 수 있다. 그리고, 사용자가 카메라를 통해 바라보는 외부의 현실객체뿐만 아니라 사용자 자신이 될 수도 있다. 즉, 카메라 앞에 사용자의 얼굴, 손등 및 전신이 촬영되면 사용자를 가상화하며 가상 캐릭터로 제작할 수도 있다. 또한, 카메라를 통해 보이는 가상의 메뉴보드의 각 버튼을 누르도록 가상화할 수도 있으며 이러한 기능은 모바일 단말의 표시부위에 장착된 터치패널을 필요 없게 만들어 단가 절감이 가능하도록 할 수도 있다.
본 발명의 실시예에서는 현실가상융합장치(100)에서 현실가상합성부(140)가 모바일 단말에 포함되어 동작하는 것으로 도시하였으나, 본 발명은 이에 한정되지 않으며, 모바일 단말을 제어하는 중앙처리부(CPU)의 성능이 낮은 경우 현실가상합성부(140)가 모바일 단말과 연동하는 서버에 포함되어 동작될 수도 있다. 이때, 각 개인의 모바일 단말을 통해 촬영된 현실환경을 가상화한 현실객체 가상화 데이터가 서버에 집중되는 것이 허락된다면, 수집된 현실객체 가상화 데이터들을 서로 이어 붙여 지속적으로 갱신 가능한 현실세계를 가상환경에 반영하여 보다 간편하게 미러월드(mirror world)를 구축할 수도 있다.
도 3은 도 1에 도시한 현실가상융합장치에서 현실과 가상환경을 합성하여 융합영상을 제공하는 흐름을 나타내는 순서도이다.
도 1 및 도 3을 참고하면, 본 발명의 실시예에 따른 현실가상융합장치(100)의 영상 입력부(110)는 적어도 하나의 카메라(110a, 110b)를 통해 촬영된 현실을 바라보는 현실환경 영상데이터를 영상 처리부(120)로 전달한다(S100).
영상 처리부(120)는 영상 입력부(110)로부터 현실환경 영상데이터를 전달받으며, 현실환경 영상데이터를 보정하여 보정된 현실환경 영상데이터를 생성한다(S110). 영상 처리부(120)는 보정된 현실환경 영상데이터를 현실환경 가상화부(140)로 전달한다.
현실환경 가상화부(140)는 보정된 현실환경 영상데이터를 분석하여 현실환경의 모든 현실객체를 가상화한 집합인 현실객체 가상화 데이터를 생성한다(S120). 현실환경 가상화부(140)는 위치 추적부(130)로부터 전달되는 모바일 단말의 절대 위치와 방향 데이터 정보를 참조하여 현실객체 가상화 데이터와 미리 준비된 가상환경 영상데이터를 융합하여 융합공간 데이터를 생성한다(S130). 현실가상합성부(140)는 융합공간 데이터를 렌더링(rendering)하여 현실객체와 가상객체가 합성된 융합영상을 생성한다(S140). 현실가상합성부(140)는 융합영상을 융합영상 제공부(150)로 전달한다.
융합영상 제공부(150)는 융합영상을 모바일 단말의 표시부(도시하지 않음)을 통해 제공한다.
도 4는 본 발명의 실시예에 따른 현실객체 가상화 데이터를 생성하는 흐름을 나타내는 순서도이다.
도 4에 도시한 바와 같이, 본 발명의 실시예에 따른 현실가상융합장치(100)에서 현실환경 가상화부(140)의 멀티영상 정합부(141)는 보정된 현실환경 영상데이터를 영상 처리부(120)로부터 전달받는다(S200). 현실가상합성부(140)는 보정된 현실환경 영상데이터를 3차원 공간적으로 분석하는 멀티 영상 정합을 수행하여 시차맵 데이터를 생성한다(S210).
3차원 형상 복원부(142)는 시차맵 데이터에서 현실환경 내의 개별 현실객체를 구분하여 현실 객체별로 현실객체 시차맵 데이터를 생성한다(S220). 3차원 형상 복원부(142)는 현실객체 시차맵 데이터를 포인트 클라우드 데이터로 변환하고, 삼각망을 수행하여 현실객체 3차원 형상의 복원을 수행하여 부분 3차원 메쉬데이터를 생성한다(S230).
메쉬 와핑부(143)는 서로 다른 방향에서 촬영된 보정된 영상데이터로부터 복원되는 부분 3차원 메쉬데이터를 비어있는 메쉬 부분 없이 서로 이어 붙여 완성 3차원 메쉬 데이터를 생성한다(S240).
추정 변환부(144)는 완성 3차원 메쉬 데이터 중 비어있는 메쉬 부분을 이후 생성되는 3차원 부분 메쉬데이터의 메쉬 부분을 참조하여 메쉬 추정을 수행하고 추정 3차원 메쉬데이터를 생성한다(S250). 추정 변환부(144)는 추정 3차원 메쉬데이터의 동작 분석을 수행하여 해당 현실객체의 골격구조 및 동작 데이터를 생성한다(S260). 추정 변환부(144)는 완성 3차원 메쉬데이터와 현실객체의 골격구조 및 동작데이터를 분석하여 골격의 동작에 의한 메쉬 변형(deformation)을 결정하는 변환을 수행하여 현실객체 리깅 데이터를 생성한다(S270).
가상화 데이터 생성부(145)는 완성 3차원 메쉬 데이터, 현실객체의 골격구조 및 동작데이터 및 현실객체 리깅 데이터를 이용하여 개별 가상화 데이터를 생성한다(S280). 가상화 데이터 생성부(145)는 현실환경내의 개별 객체에 대한 개별 가상화 데이터를 이용하여 가상화된 현실객체 데이터의 집합인 현실객체 가상화 데이터를 생성한다(S290).
본 발명의 실시예에서는 적어도 하나의 카메라를 이용하여 현실환경을 가상화하는 것으로 도시하였으나, 한 개의 카메라가 모바일 단말에 장착된 경우, 카메라를 고정한 상태에서 촬영된 영상들로 현실환경을 가상화하기 힘들므로 카메라를 이동하면서 계속 촬영하여 이전 촬영된 프레임에서 영상과 현재 촬영된 프레임에서 영상간 정합을 통해 현실환경을 가상화해야 하는 번거로움이 있을 수 있다. 그러나, 근거리에 있는 다른 사람의 모바일 단말기를 통해서 촬영된 영상을 공유하는 것이 허락된다면 정합 가능한 영상들의 다수 확보 가능하므로 모바일 단말에 한 개의 카메라만 장착하는 것도 충분할 수 있다. 그리고, 세 개의 카메라가 모바일 단말에 장착된 경우, 영상 정합 과정의 정밀도는 상승하지만 계산량이 증가하게 되므로 본 발명의 실시예에서는 두 개의 카메라를 이용하여 현실환경을 가상화하는 것으로 도시하였다.
이와 같이, 본 발명의 실시예에서는 모바일 단말에서 현실환경의 모든 객체를 가상화하여 현실객체 가상화 데이터를 생성하고, 모바일 단말의 절대 위치와 방향 데이터 정보를 참조하여 현실객체 가상화 데이터와 미리 저장된 가상환경 영상데이터를 연동하여 현실객체와 가상객체가 합성된 융합영상을 생성하여 제공함에 따라 이동 중에도 현실과 가상이 융합된 영상 서비스를 제공할 수 있다.
그리고, 본 발명의 실시예에서는 모바일 단말에서 촬영되는 현실환경을 3차원 공간적으로 분석하여 가상화하고, 미리 저장된 3차원 가상환경을 삽입하여 연동화 시킴에 따라 보다 쉽고 간편하게 현실과 가상이 융합된 영상 서비스를 실시간으로 제공할 수 있다.
이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.
100: 현실가상융합장치
110: 영상 입력부
120: 영상 처리부
130: 위치 추적부
140: 현실환경 가상화부
150: 현실가상 합성부
160: 융합영상 제공부
141: 멀티영상 정합부
142: 3차원 형상 복원부
143: 메쉬 와핑부
144: 추정 변환부
145: 가상화 데이터 생성부

Claims (13)

  1. 모바일 단말에 포함된 적어도 하나의 카메라로부터 촬영된 현실환경 영상데이터를 보정하는 영상 처리부;
    상기 보정된 현실환경 영상데이터의 현실객체를 3차원으로 분석하여 가상화한 현실객체 가상화 데이터를 생성하는 현실환경 가상화부; 및
    상기 모바일 단말의 위치와 방향 데이터를 참조하여 상기 현실객체 가상화 데이터와 미리 저장된 합성하려는 가상환경 데이터를 연동하여 상기 현실객체 가상화 데이터와 상기 가상환경 데이터의 가상객체를 합성한 융합영상을 생성하는 현실가상 합성부
    를 포함하는 모바일 환경에서의 현실가상융합장치.
  2. 청구항 1에 있어서,
    상기 현실환경 가상화부는,
    상기 보정된 현실환경 영상데이터를 3차원 공간적으로 분석하여 시차맵 데이터를 생성하는 멀티영상 정합부;
    상기 시차맵 데이터를 이용하여 상기 현실객체별 현실객체 시차맵 데이터를 생성하고, 상기 현실객체 시차맵 데이터를 이용하여 부분 3차원 메쉬데이터를 생성하는 3차원 형상 복원부; 및
    상기 부분 3차원 메쉬데이터를 메쉬 부분 없이 이어 붙이는 메쉬 와핑을 수행하여 완성 3차원 메쉬데이터를 생성하는 메쉬 와핑부
    를 포함하는 모바일 환경에서의 현실가상융합장치.
  3. 청구항 2에 있어서,
    상기 현실환경 가상화부는,
    상기 완성 3차원 메쉬 데이터 중 비어있는 메쉬 부분을 추정하여 추정 3차원 메쉬데이터를 생성하며, 상기 추정 3차원 메쉬데이터를 이용하여 현실객체 리깅 데이터를 생성하는 추정 변환부를 포함하는 모바일 환경에서의 현실가상융합장치.
  4. 청구항 3에 있어서,
    상기 추정 변환부는,
    상기 추정 3차원 메쉬데이터를 이용하여 골격구조 및 동작 데이터를 생성하고, 상기 골격구조 및 동작 데이터를 이용하여 현실객체의 동작에 따른 메쉬 변형을 결정하여 상기 현실객체 리깅 데이터를 생성하는 모바일 환경에서의 현실가상융합장치.
  5. 청구항 4에 있어서,
    상기 추정 변환부는,
    상기 완성 3차원 메쉬데이터, 상기 골격구조 및 동작 데이터와 상기 현실객체 리깅 데이터를 이용하여 상기 현실객체 가상화 데이터를 생성하는 가상화 데이터 생성부를 포함하는 모바일 환경에서의 현실가상융합장치.
  6. 청구항 2에 있어서,
    상기 3차원 형상 복원부는,
    상기 현실객체 시차맵 데이터를 포인트 클라우드 데이터로 변환한 후 삼각망 방식을 적용하여 상기 부분 3차원 메쉬데이터를 생성하는 모바일 환경에서의 현실가상융합장치.
  7. 청구항 2에 있어서,
    상기 가상화 데이터 생성부는,
    상기 완성 3차원 메쉬데이터, 상기 골격구조 및 동작 데이터와 상기 현실객체 리깅 데이터를 이용하여 상기 현실객체별 개별 가상화 데이터를 생성하고, 상기 현실객체별 개별 가상화 데이터의 집합하여 상기 현실객체 가상화 데이터를 생성하는 모바일 환경에서의 현실가상융합장치.
  8. 청구항 1에 있어서,
    상기 현실가상 합성부는,
    상기 모바일 단말의 위치와 방향 데이터를 참조하여 상기 현실객체 가상화 데이터와 상기 가상환경 데이터를 융합하여 융합공간 데이터를 생성하며, 상기 융합공간 데이터를 렌더링하여 상기 융합영상을 생성하는 모바일 환경에서의 현실가상융합장치.
  9. 모바일 단말에 포함된 적어도 하나의 카메라로부터 촬영된 현실환경 영상데이터를 보정하는 단계;
    상기 보정된 현실환경 영상데이터의 현실객체를 3차원으로 분석하여 가상화한 현실객체 가상화 데이터를 생성하는 단계;
    상기 모바일 단말의 위치와 방향 데이터를 수신하는 단계; 및
    상기 모바일 단말의 위치와 방향 데이터를 참조하여 상기 현실객체 가상화 데이터와 미리 저장된 합성하려는 가상환경 데이터를 합성하여 융합영상을 제공하는 단계
    를 포함하는 모바일 환경에서의 현실가상융합방법.
  10. 청구항 9에 있어서,
    상기 현실객체 가상화 데이터를 생성하는 단계는,
    상기 보정된 현실환경 영상데이터를 3차원 공간적으로 분석하여 시차맵 데이터를 생성하는 단계;
    상기 시차맵 데이터를 이용하여 상기 현실객체별 현실객체 시차맵 데이터를 생성하고, 상기 현실객체 시차맵 데이터를 이용하여 부분 3차원 메쉬데이터를 생성하는 단계; 및
    상기 부분 3차원 메쉬데이터를 메쉬 부분 없이 이어 붙이는 메쉬 와핑을 수행하여 완성 3차원 메쉬데이터를 생성하는 단계를 포함하는 모바일 환경에서의 현실가상융합방법.
  11. 청구항 10에 있어서,
    상기 현실객체 가상화 데이터를 생성하는 단계는,
    상기 완성 3차원 메쉬 데이터 중 비어있는 메쉬 부분을 추정하여 추정 3차원 메쉬데이터를 생성하는 단계;
    상기 추정 3차원 메쉬데이터를 분석하여 골격구조 및 동작 데이터를 생성하여 상기 현실객체의 동작을 분석하는 단계;
    상기 현실객체의 동작에 따른 메쉬 변형을 결정하여 현실객체 리깅 데이터를 생성하는 단계; 및
    상기 완성 3차원 메쉬데이터, 상기 골격구조 및 동작 데이터와 상기 현실객체 리깅 데이터를 이용하여 상기 현실객체 가상화 데이터를 생성하는 단계를 포함하는 모바일 환경에서의 현실가상융합방법.
  12. 청구항 9에 있어서,
    상기 융합영상을 제공하는 단계는,
    상기 모바일 단말의 위치와 방향 데이터를 참조하여 상기 현실객체 가상화 데이터와 상기 가상환경 데이터를 융합하여 융합공간 데이터를 생성하는 단계; 및
    상기 융합공간 데이터를 렌더링하여 상기 융합영상을 생성하는 단계를 포함하는 모바일 환경에서의 현실가상융합방법.
  13. 청구항 10에 있어서,
    상기 부분 3차원 메쉬데이터를 생성하는 단계는,
    상기 현실객체 시차맵 데이터를 포인트 클라우드 데이터로 변환하는 단계; 및
    상기 포인트 클라우드 데이터에 삼각망 방식을 적용하여 상기 부분 3차원 메쉬데이터를 생성하는 단계를 포함하는 모바일 환경에서의 현실가상융합방법.
KR1020110025498A 2010-12-22 2011-03-22 모바일에서 현실환경과 가상환경을 융합하여 제공하는 장치 및 방법 KR20120071281A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US13/333,459 US20120162372A1 (en) 2010-12-22 2011-12-21 Apparatus and method for converging reality and virtuality in a mobile environment

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20100132874 2010-12-22
KR1020100132874 2010-12-22

Publications (1)

Publication Number Publication Date
KR20120071281A true KR20120071281A (ko) 2012-07-02

Family

ID=46706359

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110025498A KR20120071281A (ko) 2010-12-22 2011-03-22 모바일에서 현실환경과 가상환경을 융합하여 제공하는 장치 및 방법

Country Status (1)

Country Link
KR (1) KR20120071281A (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104048674A (zh) * 2013-03-15 2014-09-17 康耐视公司 利用不准确的校准靶的机器视觉系统校准
KR20160002099A (ko) 2014-06-30 2016-01-07 (주)인스페이스 파노라마 영상이 포함된 실내정보 기반 식당 예약시스템
WO2018101551A1 (ko) * 2016-12-02 2018-06-07 안상돈 만물 인터넷을 융합한 생활 밀착형 가상현실 비즈니스 플랫폼과 그 운영방법
KR20190000069A (ko) * 2017-06-22 2019-01-02 한국전자통신연구원 가상 체험 콘텐츠 제공 방법 및 이를 위한 장치
KR20190063345A (ko) 2017-11-29 2019-06-07 연세대학교 산학협력단 지연 라인 회로
KR20220074103A (ko) * 2020-11-27 2022-06-03 주식회사 소프트그래피 3차원 모델에 대한 영상 정합 장치 및 방법
WO2023063570A1 (ko) * 2021-10-14 2023-04-20 삼성전자 주식회사 손 동작에 관한 이미지 데이터를 획득하는 전자 장치 및 그 동작 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104048674A (zh) * 2013-03-15 2014-09-17 康耐视公司 利用不准确的校准靶的机器视觉系统校准
KR20160002099A (ko) 2014-06-30 2016-01-07 (주)인스페이스 파노라마 영상이 포함된 실내정보 기반 식당 예약시스템
WO2018101551A1 (ko) * 2016-12-02 2018-06-07 안상돈 만물 인터넷을 융합한 생활 밀착형 가상현실 비즈니스 플랫폼과 그 운영방법
KR20190000069A (ko) * 2017-06-22 2019-01-02 한국전자통신연구원 가상 체험 콘텐츠 제공 방법 및 이를 위한 장치
KR20190063345A (ko) 2017-11-29 2019-06-07 연세대학교 산학협력단 지연 라인 회로
KR20220074103A (ko) * 2020-11-27 2022-06-03 주식회사 소프트그래피 3차원 모델에 대한 영상 정합 장치 및 방법
WO2023063570A1 (ko) * 2021-10-14 2023-04-20 삼성전자 주식회사 손 동작에 관한 이미지 데이터를 획득하는 전자 장치 및 그 동작 방법

Similar Documents

Publication Publication Date Title
US20120162372A1 (en) Apparatus and method for converging reality and virtuality in a mobile environment
CN110383343B (zh) 不一致检测系统、混合现实系统、程序和不一致检测方法
CN108765498B (zh) 单目视觉跟踪方法、装置及存储介质
CN110582798B (zh) 用于虚拟增强视觉同时定位和地图构建的系统和方法
JP5260705B2 (ja) ３次元拡張現実提供装置
US10789765B2 (en) Three-dimensional reconstruction method
CN107274438B (zh) 支持移动虚拟现实应用的单Kinect多人跟踪系统及方法
KR20120071281A (ko) 모바일에서 현실환경과 가상환경을 융합하여 제공하는 장치 및 방법
JP4804256B2 (ja) 情報処理方法
TWI494898B (zh) 從地理參考影像擷取和映對三維特徵之技術
US8963943B2 (en) Three-dimensional urban modeling apparatus and method
KR102152436B1 (ko) 3차원 포인트 클라우드 기반의 동적 3차원 모델 생성을 위한 뼈대 정보 처리 시스템 및 방법
JPH11331874A (ja) 画像処理装置、奥行き画像計測装置、複合現実感提示システム、画像処理方法、奥行き画像計測方法、複合現実感提示方法、およびプログラムの記憶媒体
JP2013171523A (ja) Ａｒ画像処理装置及び方法
JP2018106661A (ja) 不整合検出システム、複合現実システム、プログラム及び不整合検出方法
CN102831816B (zh) 一种提供实时场景地图的装置
JP2014186004A (ja) 計測装置、方法及びプログラム
KR20190062102A (ko) 비디오 영상기반 2d/3d ar 실감체험 방법 및 장치
JP5731462B2 (ja) 映像コミュニケーションシステム及び映像コミュニケーション方法
CN112085777A (zh) 六自由度vr眼镜
JP6168597B2 (ja) 情報端末装置
CN109961395B (zh) 深度图像的生成及显示方法、装置、系统、可读介质
JP5759439B2 (ja) 映像コミュニケーションシステム及び映像コミュニケーション方法
CN104463958A (zh) 基于视差图融合的三维超分辨率方法
CN113822936A (zh) 数据处理方法、装置、计算机设备及存储介质

Legal Events

Date Code Title Description
WITN Withdrawal due to no request for examination