KR102214827B1 - 증강 현실 제공 장치 및 방법 - Google Patents

증강 현실 제공 장치 및 방법 Download PDF

Info

Publication number
KR102214827B1
KR102214827B1 KR1020140019692A KR20140019692A KR102214827B1 KR 102214827 B1 KR102214827 B1 KR 102214827B1 KR 1020140019692 A KR1020140019692 A KR 1020140019692A KR 20140019692 A KR20140019692 A KR 20140019692A KR 102214827 B1 KR102214827 B1 KR 102214827B1
Authority
KR
South Korea
Prior art keywords
image
augmented reality
virtual
state information
real scene
Prior art date
Application number
KR1020140019692A
Other languages
English (en)
Other versions
KR20140108128A (ko
Inventor
마껑위
쟝쉬
김지연
조정욱
문영수
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to US14/193,411 priority Critical patent/US20140240354A1/en
Priority to US14/323,298 priority patent/US9224426B2/en
Publication of KR20140108128A publication Critical patent/KR20140108128A/ko
Application granted granted Critical
Publication of KR102214827B1 publication Critical patent/KR102214827B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00—Indexing scheme for image generation or computer graphics
    • G06T2210/16—Cloth

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강 현실 제공 장치 및 방법이 제공된다. 증강 현실 장치는, 서로 이격하게 배치되어, 대상체를 포함하는 실제 장면을 촬영하는 복수개의 촬영 모듈; 촬영된 실제 장면에 포함된 대상체를 트래킹하여, 대상체의 상태 정보를 획득하는 트래킹부; 대상체의 획득된 상태 정보에 기초하여 가상 이미지의 촬영된 실제 장면과 대응되는 상태 정보를 산출하고, 산출된 상태 정보에 기초하여 가상 이미지 및 촬영된 실제 장면을 합성하여 증강 현실 이미지를 생성하는 이미지 처리부 및 생성된 증강 현실 이미지를 디스플레이하기 위하여 렌더링하는 렌더링부를 포함한다.

Description

증강 현실 제공 장치 및 방법{METHOD AND APPARATUS FOR PROVIDING AUGMENTED REALITY}
증강 현실(Augmented Reality) 기술을 사용한 가상 시착 서비스 제공 방법 및 장치에 관한 것이다.
증강 현실이란, 가상 현실의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
증강 현실 기술은 인간과 컴퓨터 사이의 상호작용에 관한 기술로서, 증강 현실 기술을 이용하면, 현실 세계의 장면에 가상 물체를 겹쳐 보여주어 시뮬레이션할 수 있다. 증강 현실 기술은 상호성과 상상력을 기본 특징으로한 컴퓨터의 고급 “인간 컴퓨터 인터페이스”이다. 사용자는 가상 현실 시스템을 통해 객관적인 물리 세계에서 경험했던 직접적인 현실감을 느낄 수 있고, 공간, 시간 및 기타 객관적 제약을 뛰어 넘어, 현실 세계에서 몸소 경험할 수 없는 체험을 할 수 있다.
최근, 증강 현실 기술의 비약적인 발전으로, 응용 범위가 점점 더 넓어지고 있으며, 콘텐츠 디스플레이 방식도 매우 다양화 되고 있다.
서로 다른 복수개의 시각에서 대상체를 포함하는 실제 장면을 촬영하고, 촬영된 대상체로부터 획득된 상태 정보에 기초하여 가상 이미지의 상태 정보를 산출하고, 산출된 상태 정보에 기초하여 가상 이미지 및 촬영된 실제 장면을 합성하여 증강 현실 이미지를 렌더링하는 증강 현실 제공 방법 및 장치를 제공한다.
본 실시예가 해결하려는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
일 측면에 따르면, 증강 현실 제공 장치는, 서로 이격하게 배치되어, 대상체를 포함하는 실제 장면을 촬영하는 복수개의 촬영 모듈; 상기 촬영된 실제 장면에 포함된 상기 대상체를 트래킹하여, 상기 대상체의 상태 정보를 획득하는 트래킹부; 상기 대상체의 상기 획득된 상태 정보에 기초하여 가상 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하고, 상기 산출된 상태 정보에 기초하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 합성한 증강 현실 이미지를 생성하는 이미지 처리부; 및 상기 생성된 증강 현실 이미지를 디스플레이하기 위하여 렌더링하는 렌더링부를 포함한다.
또한, 상기 이미지 처리부는, 상기 가상 이미지의 상기 산출된 상태 정보에 기초하여, 상기 대상체에 대응하는 투명 모형을 생성하고, 상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩할 수 있다.
또한, 상기 이미지 처리부는, 상기 대상체의 상기 획득된 상태 정보에 기초하여, 상기 대상체에 대응하는 투명 모형을 생성하고, 상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩할 수 있다.
또한, 상기 렌더링부는, 복수개의 렌더러블 카메라를 포함하며, 상기 복수개의 렌더러블 카메라를 이용하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 렌더링할 수 있다.
또한, 상기 가상 이미지는 가상 안경 이미지이고, 상기 복수개의 촬영 모듈은 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 상기 트래킹부를 포함하고, 상기 제1 카메라는 상기 실제 장면을 좌측에서 촬영하고, 상기 제2 카메라는 상기 실제 장면을 우측에서 촬영할 수 있다.
또한, 상기 이미지 처리부는, 상기 제1 카메라 및 상기 제2 카메라 중 상기 트래킹부를 포함하는 적어도 하나의 카메라를 이용하여, 상기 대상체의 머리 부분을 트래킹하여 상기 대상체의 머리 부분의 상태 정보를 획득하고, 상기 대상체의 머리 부분의 상태 정보에 기초하여 상기 가상 안경 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하고, 상기 산출된 상태 정보에 기초하여 상기 가상 안경 이미지를 상기 대상체의 머리 부분에 오버랩하여 증강 현실 이미지를 생성할 수 있다.
또한, 상기 가상 이미지는 가상 의복 이미지이고, 상기 복수개의 촬영 모듈은 제1 카메라 및 제2 카메라를 포함하고, 상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 상기 트래킹부를 포함하고, 상기 제1 카메라는 상기 실제 장면을 좌측에서 촬영하고, 상기 제2 카메라는 상기 실제 장면을 우측에서 촬영할 수 있다.
또한, 상기 이미지 처리부는, 상기 대상체의 형태 정보를 획득하는 깊이 센서를 포함하고, 상기 깊이 센서에 의해 획득된 상기 대상체의 형태 정보에 기초하여 상기 가상 의복 이미지의 형태 정보를 산출하고, 상기 산출된 형태 정보에 기초하여 상기 가상 의복 이미지의 형태를 변경하고, 상기 변경된 가상 의복 이미지를 상기 대상체에 오버랩하여 증강 현실 이미지를 생성하고, 상기 렌더링부는 상기 실제 장면이 촬영된 위치인 양 측면에서 상기 증강 현실 이미지를 렌더링할 수 있다.
상기 복수개의 촬영 모듈은 상기 트래킹부를 포함하는 복수개의 트래킹 카메라를 포함하며, 상기 렌더링부는 복수개의 렌더러블 카메라를 포함하고, 상기 복수개의 렌더러블 카메라 각각의 파라미터는 상기 복수개의 트래킹 카메라 각각의 파라미터와 대응되도록 설정될 수 있다.
또한, 상기 장치는 상기 렌더링된 증강 현실 이미지를 디스플레이하는 디스플레이부를 더 포함할 수 있다.
다른 일 측면에 따르면, 증강 현실 제공 방법은, 서로 다른 복수개의 시각에서 대상체를 포함하는 실제 장면을 촬영하는 단계; 상기 촬영된 실제 장면에 포함된 상기 대상체를 트래킹하여, 상기 대상체의 상태 정보를 획득하는 단계; 상기 대상체의 상기 획득된 상태 정보에 기초하여 가상 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하는 단계; 상기 산출된 상태 정보에 기초하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 합성한 증강 현실 이미지를 생성하는 단계; 및 상기 증강 현실 이미지를 렌더링하는 단계를 포함한다.
또한, 상기 증강 현실 이미지를 생성하는 단계는, 상기 가상 이미지의 상기 산출된 상태 정보에 기초하여, 상기 대상체에 대응하는 투명 모형을 생성하는 단계; 상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩하는 단계; 및 상기 가상 이미지 및 상기 촬영된 실제 장면을 합성하여, 상기 가림 효과가 적용된 상기 증강 현실 이미지를 생성하는 단계를 포함할 수 있다.
또한, 상기 증강 현실 이미지를 생성하는 단계는, 상기 대상체의 상기 획득된 상태 정보에 기초하여, 상기 대상체에 대응하는 투명 모형을 생성하는 단계; 상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩하는 단계; 및 상기 가상 이미지 및 상기 촬영된 실제 장면을 합성하여, 상기 가림 효과가 적용된 상기 증강 현실 이미지를 생성하는 단계를 포함할 수 있다.
또한, 상기 증강 현실 이미지를 렌더링하는 단계는, 복수개의 렌더링부를 이용하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 렌더링할 수 있다.
또한, 상기 가상 이미지는 가상 안경 이미지이고, 상기 실제 장면을 촬영하는 단계는 상기 실제 장면을 좌측 및 우측에서 촬영할 수 있다.
또한, 상기 대상체의 상태 정보를 획득하는 단계는, 상기 좌측에서 촬영된 실제 장면 및 상기 우측에서 촬영된 실제 장면 중 적어도 하나를 이용하여, 상기 대상체의 머리 부분을 트래킹하여, 상기 대상체의 머리 부분의 상태 정보를 획득하는 단계를 포함하고, 상기 가상 이미지의 상태 정보를 산출하는 단계는, 상기 대상체의 머리 부분의 상태 정보에 기초하여 상기 가상 안경 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하는 단계를 포함하고, 상기 증강 현실 이미지를 생성하는 단계는, 상기 산출된 상태 정보에 기초하여 상기 가상 안경 이미지를 상기 대상체의 머리 부분에 오버랩하여 증강 현실 이미지를 생성하는 단계를 포함하고, 상기 증강 현실 이미지를 렌더링하는 단계는, 상기 실제 장면을 촬영한 위치인 양 측면에서 상기 증강 현실 이미지를 렌더링하는 단계를 포함할 수 있다.
또한, 상기 가상 이미지는 가상 의복 이미지이고, 상기 실제 장면을 촬영하는 단계는, 상기 실제 장면을 좌측 및 우측에서 촬영할 수 있다.
또한, 상기 대상체의 상태 정보를 획득하는 단계는, 깊이 센서를 이용하여 상기 대상체의 형태 정보를 획득하는 단계를 포함하고, 상기 가상 이미지의 상태 정보를 산출하는 단계는, 상기 획득된 대상체의 형태 정보에 기초하여 상기 가상 의복 이미지의 형태 정보를 산출하는 단계를 포함하고, 상기 증강 현실 이미지를 생성하는 단계는 상기 산출된 형태 정보에 기초하여 상기 가상 의복 이미지의 형태를 변형하고, 상기 변형된 가상 의복 이미지를 상기 대상체에 오버랩하여 증강 현실 이미지를 생성하는 단계를 포함하고, 상기 증강 현실 이미지를 렌더링하는 단계는, 상기 실제 장면을 촬영한 위치인 양 측면에서 상기 증강 현실 이미지를 렌더링하는 단계를 포함할 수 있다.
다른 일 측면에 따르면, 상기 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체를 제공한다.
상기된 바에 따르면, 증강 현실 기술과 3D 디스플레이 기술을 이용하여, 가상 시착 서비스를 제공할 수 있다.
도 1은 일 실시예에 따른 증강 현실 제공 장치의 구조를 도시한 블록도이다.
도 2는 도 1에 도시된 증강 현실 제공 장치가 증강 현실 이미지를 디스플레이하는 것을 설명하기 위한 도면이다.
도 3은 도 1에 도시된 증강 현실 제공 장치가 가상 안경 시착 서비스를 제공하는 것을 설명하기 위한 도면이다.
도 4는 도 1에 도시된 증강 현실 제공 장치가 가상 안경 시착 서비스를 제공할 때의 데이터 구조를 나타낸 도면이다.
도 5는 도 1에 도시된 증강 현실 제공 장치가 대상체의 투명 모형을 이용하여 가림 효과를 발생시키는 것을 설명하기 위한 도면이다.
도 6 내지 도 7은 도 1에 도시된 증강 현실 제공 장치가 가상 의복 시착 서비스를 제공하는 것을 설명하기 위한 도면이다.
도 8은 일 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 흐름도이다.
아래에서는 첨부한 도면을 참조하여 개시된 실시예들이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 실시예를 상세히 설명한다. 그러나 실시예들은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 도면을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
명세서 전체에서, “가상 시착(virtual try-on)”이란, 증강 현실 기술을 이용하여 가상의 의복, 모자, 안경, 신발, 장신구 등을 시험 삼아 착용해 보는 것을 의미한다.
명세서 전체에서, “가림 효과”란, 실제 장면의 이미지 상에 가상 이미지가 합성될 때, 가상 이미지 중 실제 장면 내의 대상체의 후면에 위치하여 대상체에 의해 가려지는 부분이 디스플레이상에 보이지 않도록 하는 효과를 의미한다.
명세서 전체에서, “트래킹”이란, 촬영된 실제 장면의 이미지와 가상 이미지를 합성하기 위하여, 촬영된 실제 장면 내의 대상체의 위치, 형태, 움직임 등을 추적하는 것을 의미한다.
이하 첨부된 도면을 참고하여 실시예를 상세히 설명하기로 한다.
도 1은 일 실시예에 따른 증강 현실 제공 장치의 구조를 도시한 블록도이다.
일 실시예에 따른 증강 현실 제공 장치(100)는 촬영 모듈(110), 트래킹부(120), 이미지 처리부(130) 및 렌더링부(140)를 포함한다.
일 실시예에 따른 촬영 모듈(110)들은, 서로 이격하게 배치되어, 대상체를 포함하는 실제 장면을 촬영한다.
일 실시예에 따른 촬영 모듈(110)은, 직교형 입체 카메라, 일체형 입체 카메라, 평행식 입체 카메라 등을 포함할 수 있으나, 이에 제한되지 않는다.
일 실시예에 따른 촬영 모듈(110)은, 트래킹부(120)를 포함하는 트래킹 카메라를 포함할 수 있다.
일 실시예에 따른 트래킹부(120)는, 대상체를 검출하고 트래킹하여, 대상체의 상태 정보를 획득한다.
일 실시예에 따른 트래킹부(120)는, 복수개의 촬영 모듈(110) 중 적어도 하나에 포함될 수 있다.
일 실시예에 따른 이미지 처리부(130)는, 대상체의 획득된 상태 정보에 기초하여 가상 이미지에 대한, 촬영된 실제 장면과 대응되는 상태 정보를 산출한다. 또한, 이미지 처리부(130)는 가상 이미지의 산출된 상태 정보에 기초하여 가상 이미지 및 촬영된 실제 장면을 합성한 증강 현실 이미지를 생성한다.
일 실시예에 따른 이미지 처리부(130)는, 가상 이미지의 산출된 상태 정보에 기초하여, 대상체에 대응하는 투명 모형을 생성하고, 가상 이미지와 대상체 사이의 가림 효과를 발생시키기 위하여, 투명 모형을 대상체에 오버랩할 수 있다.
또한, 이미지 처리부(130)는, 대상체의 획득된 상태 정보에 기초하여, 대상체에 대응하는 투명 모형을 생성하고, 가상 이미지와 대상체 사이의 가림 효과를 발생시키기 위하여, 투명 모형을 대상체에 오버랩할 수 있다.
일 실시예에 따른 렌더링부(140)는, 생성된 증강 현실 이미지를 디스플레이하기 위하여 렌더링한다.
일 실시예에 따른 렌더링부(140)는, 복수개의 렌더러블 카메라를 포함하며, 복수개의 렌더러블 카메라를 이용하여 가상 이미지 및 촬영된 실제 장면을 렌더링할 수 있다.
도 2는 도 1에 도시된 증강 현실 제공 장치가 증강 현실 이미지를 디스플레이하는 것을 설명하기 위한 도면이다.
일 실시예에 따른 복수개의 촬영 모듈(110)은 복수개의 카메라를 포함할 수 있다. 복수개의 촬영 모듈(110)은 서로 이격하게 배치되어 대상체를 포함하는 실제 장면을 촬영할 수 있다. 예를 들면, 촬영 모듈 1은 제1 시각 이미지를 촬영하고, 촬영 모듈 2는 제2 시각 이미지를 촬영하고, 촬영 모듈 n은 제 n 시각 이미지를 촬영할 수 있다.
일 실시예에 따른 트래킹부(120)는 촬영된 실제 장면에 포함된 대상체를 검출하고, 트래킹하여, 대상체의 상태 정보를 획득할 수 있다. 예를 들어, 트래킹부(120)는 대상체의 위치, 형태, 움직임 등을 트래킹할 수 있다. 트래킹부(120)는 복수개의 센서를 포함할 수 있으며, 깊이 센서를 포함할 수 있다. 또한, 트래킹부(120)는 깊이 카메라(depth camera)를 포함하는 촬영 모듈(110)에 포함되어 구현될 수 있다.
일 실시예에 따른 이미지 처리부(130)는, 복수개의 촬영 모듈(110)에 의해 각각 다른 시각에서 촬영된 실제 장면의 이미지들을 수신할 수 있다. 또한, 이미지 처리부(130)는 트래킹부(120)에 의해 획득된 실제 장면에 포함된 대상체의 상태 정보(220)를 수신할 수 있다. 이미지 처리부(130)는 획득된 대상체의 상태 정보(220)에 기초하여 가상 이미지에 대한, 촬영된 실제 장면과 대응되는 상태 정보(230)를 산출할 수 있다. 이미지 처리부(130)는 산출된 가상 이미지의 상태 정보(230)에 기초하여 가상 이미지와 실제 장면을 합성한 증강 현실 이미지 즉, 복수개의 서로 다른 시각에서의 렌더링 이미지(240)를 생성할 수 있다. 이미지 처리부(130)는 워크스테이션, 데스크탑 컴퓨터, 태블릿 PC 등의 컴퓨팅 장치를 이용하여 구현될 수 있다.
일 실시예에 따른 이미지 처리부(130)는 가상 이미지의 산출된 상태 정보에 기초하여, 대상체에 대응하는 투명 모형을 생성할 수 있다. 이미지 처리부(130)는 가상 이미지 중 대상체 후면에 위치하여 대상체에 의해 가려지는 부분에 대하여 가림 효과를 발생시키기 위하여, 투명 모형을 대상체에 오버랩할 수 있다.
또한, 이미지 처리부(130)는 획득된 대상체의 상태 정보(220)에 기초하여, 대상체에 대응하는 투명 모형을 생성할 수 있다. 이미지 처리부(130)는 가상 이미지 중 대상체 후면에 위치하여 대상체에 의해 가려지는 부분에 대하여 가림 효과를 발생시키기 위하여, 투명 모형을 대상체에 오버랩할 수 있다.
일 실시예에 따른 렌더링부(미도시)는, 복수개의 렌더러블 카메라를 포함할 수 있다. 복수개의 렌더러블 카메라는 복수개의 촬영 모듈과 대응되도록 위치할 수 있다. 복수개의 렌더러블 카메라의 내부 파라미터 및 외부 파라미터는 복수개의 촬영 모듈의 카메라의 파라미터와 대응되도록 설정될 수 있다.
일 실시예에 따른 렌더링부는, 렌더링 영역을 디스플레이부(250)의 디스플레이 영역과 대응되도록 하여, 촬영된 실제 장면 및 가상 이미지를 렌더링할 수 있다. 복수개의 렌더러블 카메라는 복수개의 서로 다른 시각에서의 렌더링 이미지(240)를 렌더링할 수 있다.
일 실시예에 따른 디스플레이부(250)는, 이미지 처리부(130)에서 합성된 증강 현실 이미지를 디스플레이할 수 있다. 디스플레이부(250)는, 편광 방식, 시분할 방식, HMD(Head Mounted Display) 방식, 색차 방식, 패럴랙스 배리어(Parallax Barrier) 방식 및 렌티큘러(Lenticular) 방식 등의 3D 디스플레이를 이용하여 구현될 수 있으나, 이에 제한되지 않는다.
도 3은 도 1에 도시된 증강 현실 제공 장치가 가상 안경 시착 서비스를 제공하는 것을 설명하기 위한 도면이다.
도 3에 도시한 바와 같이, 증강 현실 제공 장치(100)는 촬영 모듈(110)로서 좌측 카메라(310)와 우측 카메라(320)를 포함하고, 트래킹부(미도시), 이미지 처리부(미도시), 렌더링부(미도시) 및 3D 디스플레이(330)를 포함할 수 있다.
좌측 카메라(310)와 우측 카메라(320)는 대상체(340)를 포함하는 실제 장면을 각각 좌측 시각 및 우측 시각에서 촬영할 수 있다.
이미지 처리부는 트래킹부를 포함할 수 있다. 트래킹부는 깊이 센서를 이용하여, 대상체(340)의 머리를 트래킹할 수 있다. 트래킹부는 좌측 카메라(310) 및 우측 카메라(320) 중 적어도 하나를 이용해 대상체(340)의 머리의 위치, 형태, 움직임 등과 같은 상태 정보를 획득할 수 있다.
이미지 처리부는 획득된 대상체의 상태 정보에 기초하여, 가상 안경 이미지가 대상체(340)의 머리 부분에 적절히 위치하도록, 가상 안경 이미지의 상태 정보를 산출할 수 있다. 이미지 처리부는 산출된 상태 정보에 기초하여, 가상 안경 이미지 및 촬영된 실제 장면을 합성할 수 있다.
렌더링부는, 좌측 시각 및 우측 시각에서 합성된 이미지를 렌더링할 수 있다.
생성된 증강 현실 이미지는 3D 디스플레이를 통해 디스플레이될 수 있다.
도 4는 도 1에 도시된 증강 현실 제공 장치가 가상 안경 시착 서비스를 제공할 때의 데이터 구조를 나타낸 도면이다.
도 4에 도시된 데이터 구조는 트리 형상 구조로서, 각 노드(node)에 하나 또는 다수의 자식 노드가 있고, 이와 관련된 하나 또는 다수의 이미지를 포함할 수 있다. 이미지는 3D 모형을 포함할 수 있다.
도 4에 도시된 바와 같이, 루트 노드(410)는 제1 촬영 모듈 노드(420)와 제2 촬영 모듈 노드(430)를 포함할 수 있다. 제1 촬영 모듈 노드(420) 및 제2 촬영 모듈 노드(430)는 각각 좌측 시각 이미지(425)와 우측 시각 이미지(435)를 저장할 수 있다. 제1 촬영 모듈 노드(420)는 가상 안경 이미지(445)를 포함한 가상 이미지 노드(440)와 대상체의 투명 모형(455)을 포함한 투명 모형 노드(450)를 연결할 수 있다.
트래킹부(120)는 실시간으로, 촬영 모듈(110)에 의해 촬영된 실제 장면(425, 435)에 포함된 대상체의 머리를 검출하고, 트래킹하여, 대상체의 상태 정보를 획득할 수 있다. 이미지 처리부(130)는 대상체의 머리의 상태 정보에 기초하여 대상체와 대응하는 투명 모형(455)의 위치, 크기, 형태, 움직임 등의 상태 정보를 산출할 수 있다. 이미지 처리부(130)는 투명 모형(455)의 상태 정보에 기초하여 가상 안경 이미지(445)를 적절한 위치 및 방향으로 배치할 수 있다.
렌더링부(140)는 적절한 가림 효과를 발생시키기 위하여, 이미지의 렌더링 순서를 결정할 수 있다. 예를 들어, 렌더링부(140)는 촬영된 실제 장면(425, 435)을 렌더링한 후, 대상체의 투명 모형(455)을 렌더링하고, 가상 안경 이미지(445)를 렌더링하여, 가상 안경 이미지 중 대상체 후면에 위치해야 하는 부분이 대상체에 의해 가려지고, 대상체 중 가상 안경 이미지 후면에 위치해야 하는 부분이 가상 안경 이미지에 의해 가려지도록 할 수 있다.
도 5는 도 1에 도시된 증강 현실 제공 장치가 대상체의 투명 모형을 이용하여 가림 효과를 발생시키는 것을 설명하기 위한 도면이다.
도 5의 (a)는, 일 실시예에 따른 증강 현실 제공 장치(100)가 가림 효과를 적용하지 않고 대상체에 가상 이미지를 합성하여 디스플레이한 것을 나타낸다. 도 5의 (a)에 따르면, 가상 안경 이미지 중 대상체의 머리에 의해 가려져야 하는 부분이 가림 효과 없이 디스플레이된다.
도 5의 (b)는, 일 실시예에 따른 증강 현실 제공 장치(100)가 대상체의 머리 부분과 대응되는 투명 모형을 생성하여, 가상 안경 이미지 중 대상체의 머리에 의해 가려져야 하는 부분이 투명 모형에 의해 가려지는 가림 효과를 발생시키는 것을 나타낸다. 투명 모형은 대상체와 대응되는 형태, 크기, 위치, 움직임을 갖도록 생성되며, 가상 이미지의 가림 효과를 발생시키기 위하여 사용되고, 투명 모형 자체가 디스플레이되지는 않는다.
결과적으로, 증강 현실 이미지는 도 5의 (c)와 같이 디스플레이될 수 있다.
일 실시예에 따른 증강 현실 제공 장치(100)는 대상체를 트래킹하여, 대상체의 상태 정보가 갱신됨에 따라, 투명 모형 및 가상 이미지의 상태 정보를 실시간으로 갱신할 수 있다.
도 6 내지 도 7은 도 1에 도시된 증강 현실 제공 장치가 가상 의복 시착 서비스를 제공하는 것을 설명하기 위한 도면이다.
도 6에 도시된 바와 같이, 일 실시예에 따른 가상 의복 시착용 증강 현실 제공 장치(100)는 촬영 모듈(110)로서 좌측 카메라(610) 및 우측 카메라(620)를 포함하고, 트래킹부(630), 이미지 처리부(미도시), 렌더링부(미도시) 및 3D 디스플레이(640)를 포함할 수 있다.
좌측 카메라(610) 및 우측 카메라(620)는 대상체(650)를 포함하는 실제 장면을 각각 좌측 시각 및 우측 시각에서 촬영할 수 있다.
트래킹부(630)는 깊이 센서를 포함할 수 있고, 깊이 센서는 대상체(650)의 위치, 형태, 움직임 등을 검출할 수 있다.
이미지 처리부(130)는 획득된 대상체의 상태 정보에 기초하여, 가상 의복 이미지가 대상체(650)의 이미지 상에 적절히 위치하도록, 가상 의복 이미지의 상태 정보를 산출할 수 있다. 이미지 처리부(130)는 산출된 상태 정보에 기초하여, 가상 의복 이미지 및 촬영된 실제 장면을 합성할 수 있다.
렌더링부(140)는, 좌측 시각 및 우측 시각에서 합성된 이미지를 렌더링할 수 있다.
생성된 증강 현실 이미지는 3D 디스플레이(640)를 통해 디스플레이될 수 있다.
도 7을 참조하면, 본 발명의 일 실시예에 따른 증강 현실 제공 장치(100)는, 대상체를 포함하는 실제 장면을 복수개의 촬영 모듈(110)을 이용하여, 좌측에서 촬영한 이미지(710) 및 우측에서 촬영한 이미지(720)를 획득할 수 있다.
본 발명의 일 실시예에 따른 트래킹부(120)는 촬영된 이미지 중 적어도 하나를 이용하여, 촬영된 실제 장면에 포함된 대상체를 검출할 수 있다. 또한, 트래킹부(120)는 검출된 대상체를 트래킹(730)하여, 대상체의 위치, 형태, 움직임 등과 같은 대상체의 상태 정보를 획득할 수 있다.
본 발명의 일 실시예에 따른 이미지 처리부(130)는 획득된 대상체의 상태 정보에 기초하여, 가상 의복 이미지의 상태 정보를 산출하고, 산출된 상태 정보에 기초하여, 가상 의복 이미지를 촬영된 실제 장면 이미지와 합성할 수 있다. 이미지 처리부(130)는 대상체의 상태 정보가 갱신됨에 따라, 가상 의복 이미지의 상태 정보를 실시간으로 갱신할 수 있다.
본 발명의 일 실시예에 따른 렌더링부(140)는 가상 의복 이미지와 촬영된 실제 장면 이미지가 합성된 증강 현실 이미지를 렌더링할 수 있다. 렌더링부(140)는 좌측 시각에서의 합성 이미지(740) 및 우측 시각에서의 합성 이미지(750)를 복수개의 렌더러블 카메라를 이용하여 렌더링할 수 있다.
도 8은 일 실시예에 따른 증강 현실 제공 방법을 설명하기 위한 흐름도이다.
단계 810에서, 일 실시예에 따른 증강 현실 제공 장치(100)는 서로 다른 복수개의 시각에서 대상체를 포함하는 실제 장면을 촬영한다.
단계 820에서, 일 실시예에 따른 증강 현실 제공 장치(100)는 촬영된 실제 장면에 포함된 대상체를 트래킹하여, 대상체의 상태 정보를 획득한다.
단계 830에서, 일 실시예에 따른 증강 현실 제공 장치(100)는 대상체의 획득된 상태 정보에 기초하여, 가상 이미지의 촬영된 실제 장면과 대응되는 상태 정보를 산출한다.
단계 840에서, 일 실시예에 따른 증강 현실 제공 장치(100)는 산출된 상태 정보에 기초하여 가상 이미지 및 촬영된 실제 장면을 합성한 증강 현실 이미지를 생성한다.
일 실시예에 따른 증강 현실 제공 장치(100)는 산출된 가상 이미지의 상태 정보 및 획득된 대상체의 상태 정보 중 적어도 하나에 기초하여, 대상체에 대응하는 투명 모형을 생성할 수 있다. 증강 현실 제공 장치(100)는 가상 이미지와 대상체 사이의 가림 효과를 발생시키기 위하여, 투명 모형을 대상체에 오버랩할 수 있다. 증강 현실 제공 장치(100)는 가상 이미지 및 촬영된 실제 장면을 합성하여, 가림 효과가 적용된 증강 현실 이미지를 생성할 수 있다.
단계 850에서, 일 실시예에 따른 증강 현실 제공 장치(100)는 생성된 증강 현실 이미지를 렌더링한다.
일 실시예에 따른 증강 현실 제공 장치(100)는 3D 디스플레이가 가능한 전자 장치에서 구현될 수 있다.
일 실시예에 따른 증강 현실 제공 장치(100)는 사용자에게 3D 가상 시착 서비스를 제공할 수 있다.
일 실시예는 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 설명은 예시를 위한 것이며, 개시된 실시예들이 속하는 기술분야의 통상의 지식을 가진 자는 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
개시된 실시예들의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 개시된 실시예들의 범위에 포함되는 것으로 해석되어야 한다.
100: 증강 현실 제공 장치 110: 촬영 모듈
120: 트래킹부 130: 이미지 처리부
140: 렌더링부 220: 대상체의 상태 정보
230: 가상 이미지의 상태 정보 250: 디스플레이부

Claims (19)

  1. 서로 이격하게 배치되어, 대상체를 포함하는 실제 장면을 촬영하는 복수개의 촬영 모듈;
    상기 촬영된 실제 장면에 포함된 상기 대상체를 트래킹하여, 상기 대상체의 상태 정보를 획득하는 트래킹부;
    상기 대상체의 상기 획득된 상태 정보에 기초하여 가상 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하고, 상기 가상 이미지의 상기 산출된 상태 정보에 기초하여 상기 대상체에 대응하는 투명 모형을 생성하고, 상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여 상기 투명 모형을 상기 대상체에 오버랩하고, 상기 가림 효과가 적용된 가상 이미지 및 상기 촬영된 실제 장면을 합성한 증강 현실 이미지를 생성하는 이미지 처리부; 및
    상기 생성된 증강 현실 이미지를 디스플레이하기 위하여 렌더링하는 렌더링부를 포함하는 증강 현실 제공 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서, 상기 렌더링부는,
    복수개의 렌더러블 카메라를 포함하며,
    상기 복수개의 렌더러블 카메라를 이용하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 렌더링하는 증강 현실 제공 장치.
  5. 제1항에 있어서, 상기 가상 이미지는
    가상 안경 이미지이고,
    상기 복수개의 촬영 모듈은 제1 카메라 및 제2 카메라를 포함하고,
    상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 상기 트래킹부를 포함하고,
    상기 제1 카메라는 상기 실제 장면을 좌측에서 촬영하고, 상기 제2 카메라는 상기 실제 장면을 우측에서 촬영하는, 증강 현실 제공 장치.
  6. 제5항에 있어서, 상기 이미지 처리부는,
    상기 제1 카메라 및 상기 제2 카메라 중 상기 트래킹부를 포함하는 적어도 하나의 카메라를 이용하여, 상기 대상체의 머리 부분을 트래킹하여 상기 대상체의 머리 부분의 상태 정보를 획득하고, 상기 대상체의 머리 부분의 상태 정보에 기초하여 상기 가상 안경 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하고, 상기 산출된 상태 정보에 기초하여 상기 가상 안경 이미지를 상기 대상체의 머리 부분에 오버랩하여 증강 현실 이미지를 생성하는, 증강 현실 제공 장치.
  7. 제1항에 있어서, 상기 가상 이미지는
    가상 의복 이미지이고,
    상기 복수개의 촬영 모듈은 제1 카메라 및 제2 카메라를 포함하고,
    상기 제1 카메라 및 상기 제2 카메라 중 적어도 하나는 상기 트래킹부를 포함하고,
    상기 제1 카메라는 상기 실제 장면을 좌측에서 촬영하고, 상기 제2 카메라는 상기 실제 장면을 우측에서 촬영하는, 증강 현실 제공 장치.
  8. 제7항에 있어서, 상기 이미지 처리부는,
    상기 대상체의 형태 정보를 획득하는 깊이 센서를 포함하고, 상기 깊이 센서에 의해 획득된 상기 대상체의 형태 정보에 기초하여 상기 가상 의복 이미지의 형태 정보를 산출하고, 상기 산출된 형태 정보에 기초하여 상기 가상 의복 이미지의 형태를 변경하고, 상기 변경된 가상 의복 이미지를 상기 대상체에 오버랩하여 증강 현실 이미지를 생성하고,
    상기 렌더링부는 상기 실제 장면이 촬영된 위치인 양 측면에서 상기 증강 현실 이미지를 렌더링하는, 증강 현실 제공 장치.
  9. 제1항에 있어서, 상기 복수개의 촬영 모듈은
    상기 트래킹부를 포함하는 복수개의 트래킹 카메라를 포함하며,
    상기 렌더링부는 복수개의 렌더러블 카메라를 포함하고,
    상기 복수개의 렌더러블 카메라 각각의 파라미터는 상기 복수개의 트래킹 카메라 각각의 파라미터와 대응되도록 설정된, 증강 현실 제공 장치.
  10. 제1항에 있어서,
    상기 렌더링된 증강 현실 이미지를 디스플레이하는 디스플레이부를 더 포함하는 증강 현실 제공 장치.
  11. 서로 다른 복수개의 시각에서 대상체를 포함하는 실제 장면을 촬영하는 단계;
    상기 촬영된 실제 장면에 포함된 상기 대상체를 트래킹하여, 상기 대상체의 상태 정보를 획득하는 단계;
    상기 대상체의 상기 획득된 상태 정보에 기초하여 가상 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하는 단계;
    상기 가상 이미지의 상기 산출된 상태 정보에 기초하여 상기 대상체에 대응하는 투명 모형을 생성하는 단계;
    상기 가상 이미지와 상기 대상체 사이의 가림 효과를 발생시키기 위하여, 상기 투명 모형을 상기 대상체에 오버랩하는 단계;
    상기 가림 효과가 적용된 가상 이미지 및 상기 촬영된 실제 장면을 합성한 증강 현실 이미지를 생성하는 단계; 및
    상기 증강 현실 이미지를 렌더링하는 단계를 포함하는 증강 현실 제공 방법.
  12. 삭제
  13. 삭제
  14. 제11항에 있어서, 상기 증강 현실 이미지를 렌더링하는 단계는,
    복수개의 렌더링부를 이용하여 상기 가상 이미지 및 상기 촬영된 실제 장면을 렌더링하는, 증강 현실 제공 방법.
  15. 제11항에 있어서, 상기 가상 이미지는
    가상 안경 이미지이고,
    상기 실제 장면을 촬영하는 단계는 상기 실제 장면을 좌측 및 우측에서 촬영하는, 증강 현실 제공 방법.
  16. 제15항에 있어서, 상기 대상체의 상태 정보를 획득하는 단계는,
    상기 좌측에서 촬영된 실제 장면 및 상기 우측에서 촬영된 실제 장면 중 적어도 하나를 이용하여, 상기 대상체의 머리 부분을 트래킹하여, 상기 대상체의 머리 부분의 상태 정보를 획득하는 단계를 포함하고,
    상기 가상 이미지의 상태 정보를 산출하는 단계는,
    상기 대상체의 머리 부분의 상태 정보에 기초하여 상기 가상 안경 이미지의 상기 촬영된 실제 장면과 대응되는 상태 정보를 산출하는 단계를 포함하고,
    상기 증강 현실 이미지를 생성하는 단계는,
    상기 산출된 상태 정보에 기초하여 상기 가상 안경 이미지를 상기 대상체의 머리 부분에 오버랩하여 증강 현실 이미지를 생성하는 단계를 포함하고,
    상기 증강 현실 이미지를 렌더링하는 단계는,
    상기 실제 장면을 촬영한 위치인 양 측면에서 상기 증강 현실 이미지를 렌더링하는 단계를 포함하는 증강 현실 제공 방법.
  17. 제11항에 있어서, 상기 가상 이미지는
    가상 의복 이미지이고,
    상기 실제 장면을 촬영하는 단계는, 상기 실제 장면을 좌측 및 우측에서 촬영하는, 증강 현실 제공 방법.
  18. 제17항에 있어서, 상기 대상체의 상태 정보를 획득하는 단계는,
    깊이 센서를 이용하여 상기 대상체의 형태 정보를 획득하는 단계를 포함하고,
    상기 가상 이미지의 상태 정보를 산출하는 단계는,
    상기 획득된 대상체의 형태 정보에 기초하여 상기 가상 의복 이미지의 형태 정보를 산출하는 단계를 포함하고,
    상기 증강 현실 이미지를 생성하는 단계는
    상기 산출된 형태 정보에 기초하여 상기 가상 의복 이미지의 형태를 변형하고, 상기 변형된 가상 의복 이미지를 상기 대상체에 오버랩하여 증강 현실 이미지를 생성하는 단계를 포함하고,
    상기 증강 현실 이미지를 렌더링하는 단계는,
    상기 좌측 및 우측에서 상기 증강 현실 이미지를 렌더링하는 단계를 포함하는 증강 현실 제공 방법.
  19. 제11항, 제14항 내지 제18항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020140019692A 2003-10-15 2014-02-20 증강 현실 제공 장치 및 방법 KR102214827B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/193,411 US20140240354A1 (en) 2013-02-28 2014-02-28 Augmented reality apparatus and method
US14/323,298 US9224426B2 (en) 2003-10-15 2014-07-03 Apparatus and method for managing multimedia playback

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201310063294.8A CN104021590A (zh) 2013-02-28 2013-02-28 虚拟试穿试戴系统和虚拟试穿试戴方法
CN201310063294.8 2013-02-28

Publications (2)

Publication Number Publication Date
KR20140108128A KR20140108128A (ko) 2014-09-05
KR102214827B1 true KR102214827B1 (ko) 2021-02-15

Family

ID=51438326

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140019692A KR102214827B1 (ko) 2003-10-15 2014-02-20 증강 현실 제공 장치 및 방법

Country Status (2)

Country Link
KR (1) KR102214827B1 (ko)
CN (1) CN104021590A (ko)

Families Citing this family (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10026228B2 (en) 2015-02-25 2018-07-17 Intel Corporation Scene modification for augmented reality using markers with parameters
KR101696102B1 (ko) * 2015-11-04 2017-01-13 계명대학교 산학협력단 가상현실 제공 시스템 및 그 방법
CN107025584B (zh) * 2016-01-29 2020-05-08 中芯国际集成电路制造(上海)有限公司 基于眼镜式交互终端的试衣服务处理方法
KR102279063B1 (ko) 2016-03-31 2021-07-20 삼성전자주식회사 이미지 합성 방법 및 그 전자장치
FR3053509B1 (fr) * 2016-06-30 2019-08-16 Fittingbox Procede d’occultation d’un objet dans une image ou une video et procede de realite augmentee associe
CN106355479A (zh) * 2016-09-22 2017-01-25 京东方科技集团股份有限公司 一种虚拟试衣方法、虚拟试衣眼镜及虚拟试衣系统
CN108108370A (zh) * 2016-11-24 2018-06-01 百度在线网络技术（北京）有限公司 搜索结果展示方法和装置
CN106773050B (zh) * 2016-12-28 2019-07-05 广州时间网络科技有限公司 一种基于二维图像虚拟整合的智能ar眼镜
CN109685906A (zh) * 2017-10-18 2019-04-26 深圳市掌网科技股份有限公司 基于增强现实的场景融合方法和装置
CN107833109A (zh) * 2017-11-27 2018-03-23 赵明 一种智慧零售的全息匹配方法及系统
US10552665B2 (en) * 2017-12-12 2020-02-04 Seiko Epson Corporation Methods and systems for training an object detection algorithm using synthetic images
CN108108023B (zh) * 2018-01-02 2021-02-19 联想(北京)有限公司 一种显示方法和显示系统
CN108182730B (zh) 2018-01-12 2022-08-12 北京小米移动软件有限公司 虚实对象合成方法及装置
WO2019147237A1 (en) 2018-01-24 2019-08-01 Hewlett-Packard Development Company, L.P. Augmented reality display
CN108764135B (zh) * 2018-05-28 2022-02-08 北京微播视界科技有限公司 图像生成方法、装置，及电子设备
CN108830928A (zh) * 2018-06-28 2018-11-16 北京字节跳动网络技术有限公司 三维模型的映射方法、装置、终端设备和可读存储介质
CN111710044A (zh) * 2019-03-18 2020-09-25 北京京东尚科信息技术有限公司 图像处理方法、装置和计算机可读存储介质
CN110179296B (zh) * 2019-06-05 2020-10-16 浙江中谷塑业有限公司 一种基于目标识别和兴趣商品检测的智能展台
CN111951407A (zh) * 2020-08-31 2020-11-17 福州大学 一种具有真实位置关系的增强现实模型叠加方法
KR102500144B1 (ko) * 2020-11-11 2023-02-15 홍인숙 증강현실을 이용한 가상 악세서리 피팅 시뮬레이션 시스템
CN114640838B (zh) * 2022-03-15 2023-08-25 北京奇艺世纪科技有限公司 画面合成方法、装置、电子设备及可读存储介质
CN114445601A (zh) * 2022-04-08 2022-05-06 北京大甜绵白糖科技有限公司 一种图像处理方法、装置、设备和存储介质
CN115174985B (zh) * 2022-08-05 2024-01-30 北京字跳网络技术有限公司 特效展示方法、装置、设备及存储介质
KR102533209B1 (ko) * 2022-09-29 2023-05-17 주식회사 리콘랩스 다이나믹 확장현실(xr) 콘텐츠 생성 방법 및 시스템
CN117292097B (zh) * 2023-11-23 2024-02-02 南昌世弘泛亚科技股份有限公司 Ar试穿互动体验方法及系统

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006249618A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 仮想試着装置
US20120086783A1 (en) 2010-06-08 2012-04-12 Raj Sareen System and method for body scanning and avatar creation
US20120313955A1 (en) * 2010-01-18 2012-12-13 Fittingbox Augmented reality method applied to the integration of a pair of spectacles into an image of a face
US20130314410A1 (en) 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for rendering virtual try-on products

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100403332B1 (ko) * 2001-07-14 2003-11-07 (주)아트윈텍 패션물의 디자인 삼차원입체 매핑 기능을 갖는 디자인 방법
EP1495447A1 (en) * 2002-03-26 2005-01-12 KIM, So-Woon System and method for 3-dimension simulation of glasses
KR20090054779A (ko) * 2007-11-27 2009-06-01 백진철 웹기반 가상 패션코디장치 및 그 방법
CN101231790A (zh) * 2007-12-20 2008-07-30 北京理工大学 基于多个固定摄像机的增强现实飞行模拟器
KR101221451B1 (ko) * 2008-12-22 2013-01-11 한국전자통신연구원 다시점 영상기반 동적 개체의 디지털 클론 생성 방법
KR101227255B1 (ko) * 2010-03-17 2013-01-28 에스케이플래닛 주식회사 마커 크기 기반 인터렉션 방법 및 이를 구현하기 위한 증강 현실 시스템
KR101250619B1 (ko) * 2010-03-25 2013-04-09 에스케이플래닛 주식회사 가상 사용자 인터페이스를 이용한 증강현실 시스템 및 그 방법
KR101638630B1 (ko) * 2010-06-14 2016-07-11 주식회사 비즈모델라인 증강현실 데이터 최적화 방법
KR20110136038A (ko) * 2010-06-14 2011-12-21 주식회사 비즈모델라인 복수개의 센서를 이용한 증강현실 장치 방향 트래킹 시스템
KR101193223B1 (ko) * 2010-07-15 2012-10-22 경희대학교 산학협력단 인체 동작의 3ｄ 모션 구현방법
CN102073793A (zh) * 2011-01-25 2011-05-25 张庆国 一种基于Cube算法的4D数字影片网络协同创作系统
CN102156810A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟试衣系统及方法
CN102156808A (zh) * 2011-03-30 2011-08-17 北京触角科技有限公司 增强现实实时虚拟饰品试戴系统及方法
CN102682211A (zh) * 2012-05-09 2012-09-19 晨星软件研发(深圳)有限公司 一种立体试衣方法及装置
CN202662016U (zh) * 2012-07-20 2013-01-09 长安大学 一种实时虚拟试衣装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006249618A (ja) * 2005-03-11 2006-09-21 Toshiba Corp 仮想試着装置
US20120313955A1 (en) * 2010-01-18 2012-12-13 Fittingbox Augmented reality method applied to the integration of a pair of spectacles into an image of a face
US20120086783A1 (en) 2010-06-08 2012-04-12 Raj Sareen System and method for body scanning and avatar creation
US20130314410A1 (en) 2012-05-23 2013-11-28 1-800 Contacts, Inc. Systems and methods for rendering virtual try-on products

Also Published As

Publication number Publication date
KR20140108128A (ko) 2014-09-05
CN104021590A (zh) 2014-09-03

Similar Documents

Publication Publication Date Title
KR102214827B1 (ko) 증강 현실 제공 장치 및 방법
US11010958B2 (en) Method and system for generating an image of a subject in a scene
TWI712918B (zh) 擴增實境的影像展示方法、裝置及設備
JP5260705B2 (ja) ３次元拡張現実提供装置
US20140240354A1 (en) Augmented reality apparatus and method
US20180192033A1 (en) Multi-view scene flow stitching
Lin et al. Seamless video stitching from hand‐held camera inputs
JP4489610B2 (ja) 立体視可能な表示装置および方法
US20110216160A1 (en) System and method for creating pseudo holographic displays on viewer position aware devices
TWI547901B (zh) 模擬立體圖像顯示方法及顯示設備
WO2019085022A1 (zh) 光场3d显示单元图像的生成方法及生成装置
WO2013108285A1 (ja) 画像記録装置、立体画像再生装置、画像記録方法、及び立体画像再生方法
TW201701051A (zh) 全景立體圖像的合成方法、裝置及其移動終端
JP2022183177A (ja) ヘッドマウントディスプレイ装置
JP2016504828A (ja) 単一のカメラを用いて３ｄ画像を取り込む方法およびシステム
EP3038061A1 (en) Apparatus and method to display augmented reality data
KR101212223B1 (ko) 촬영장치 및 깊이정보를 포함하는 영상의 생성방법
US20190281280A1 (en) Parallax Display using Head-Tracking and Light-Field Display
US20140347352A1 (en) Apparatuses, methods, and systems for 2-dimensional and 3-dimensional rendering and display of plenoptic images
CN106412562A (zh) 三维场景中显示立体内容的方法及其系统
KR20170044319A (ko) 헤드 마운트 디스플레이의 시야 확장 방법
CN101908233A (zh) 产生用于三维影像重建的复数视点图的方法及系统
Mori et al. An overview of augmented visualization: observing the real world as desired
Nocent et al. 3d displays and tracking devices for your browser: A plugin-free approach relying on web standards
JP7336871B2 (ja) 全天周映像処理装置及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant