KR102280716B1 - 증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법 - Google Patents

증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법 Download PDF

Info

Publication number
KR102280716B1
KR102280716B1 KR1020190152783A KR20190152783A KR102280716B1 KR 102280716 B1 KR102280716 B1 KR 102280716B1 KR 1020190152783 A KR1020190152783 A KR 1020190152783A KR 20190152783 A KR20190152783 A KR 20190152783A KR 102280716 B1 KR102280716 B1 KR 102280716B1
Authority
KR
South Korea
Prior art keywords
camera
target
augmented reality
position correction
user terminal
Prior art date
Application number
KR1020190152783A
Other languages
English (en)
Other versions
KR20210063998A (ko
Inventor
윤석희
Original Assignee
윤석희
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 윤석희 filed Critical 윤석희
Priority to KR1020190152783A priority Critical patent/KR102280716B1/ko
Publication of KR20210063998A publication Critical patent/KR20210063998A/ko
Application granted granted Critical
Publication of KR102280716B1 publication Critical patent/KR102280716B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration by the use of more than one image, e.g. averaging, subtraction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras

Abstract

본 발명은 증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법에 관한 것으로서, a) 사용자 단말에 구비된 카메라로부터 현실 공간상에서 대상 타겟을 포함한 현실 영상 정보가 획득되면, 상기 사용자 단말에 구비된 센서와 상기 현실 영상 정보를 분석하여 사용자 주변 환경을 인식하고, 상기 사용자 단말의 위치와 방향을 결정하는 단계; b) 상기 사용자 주변 환경에 기반하여 가상공간을 구축한 후 상기 사용자 단말과 대상 타겟 사이에 하나 이상의 가상 스크린을 설정하는 단계; c) 상기 사용자 단말의 위치와 방향에 따라 상기 가상 스크린과 카메라 간의 위치를 보정하는 위치보정 알고리즘을 수행하고, 상기 위치보정 알고리즘에 의해 보정된 최종 위치보정 거리값을 반영하여 상기 가상 스크린의 위치를 결정하는 단계; 및 d) 상기 사용자 단말의 위치와 방향에 따라 실시간 위치가 변화되는 상기 가상 스크린상에 상기 현실 영상을 재생하고, 상기 가상공간에 상기 현실 영상에 중첩되어 표시될 증강 현실 콘텐츠를 제공하는 단계를 포함하되, 상기 위치보정 알고리즘은, 상기 대상 타겟과 카메라 사이에 목표 거리를 설정하고, 상기 설정된 목표 거리를 기준으로 상기 가상 스크린의 크기 정보와 상기 카메라의 파라미터 정보를 적용하여 목표 거리에 따른 카메라와 가상 스크린 간의 위치보정 거리값을 도출하는 방법일 수 있다.

Description

증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법{Augmented reality providing server and Method for playing content based on augmented reality using the same}
본 발명은 사용자 단말 상에 현실 영상과 증강현실 콘텐츠를 제공하기 위한 증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법에 관한 것이다.
증강현실(Augmented Reality)은 가상현실의 한 분야로서, 실제 환경에 가상의 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽스 기법이다. 이러한 증강현실 기술은 현실 세계를 바탕으로 사용자가 가상의 물체와 상호 작용하여 향상된 현실감을 줄 수 있다는 특징을 가지며, 현실세계와 가상세계의 결합, 상호작용, 3차원 공간의 성질을 가진 시스템을 포함할 수 있다.
최근에는, 모바일 기기들의 발달로 인해 다양한 연구가 진행되고 있는 분야이며, 항공기, 자동차 및 선박 등 여러 산업 분야에의 적용 기술도 다양하게 개발되고 있다.
이러한 증강현실은 디지털 정보를 보다 직관적으로 제공하는 특징을 가지고 있어서, 빠르고 정확한 정보의 제공이 필요한 분야에 활용되고 있다. 최근, 투명 디스플레이 기술이 상용화되면서, 다양한 분야에서 투명 디스플레이가 적용된 증강현실 시스템을 이용하려는 노력을 하고 있다. 이러한 투명 디스플레이는 현실과 가상의 결합이라는 관점에서 가장 자연스럽고, 증강현실의 장점을 극대화할 수 있는 유용한 디스플레이 장치이다.
한편, 증강현실을 구현함에 있어, 현실과 가상의 위치를 일치시키기 위한 기술을 정합이라고 한다. 이러한 정합은 현실의 물체에 대한 정보를 디스플레이상에 자연스럽게 매칭하기 위하여 사용된다. 더불어, 단말기의 증강현실을 이용한 다양한 부가서비스에 대한 사용자 요구가 증대하고 있으며, 이를 이용하여 단말기 사용자에게 다양한 증강현실 컨텐츠를 적용하려는 시도가 증가하고 있다. 대부분의 증강현실 기술은 현실과 가상이미지의 투시가 일치하도록 하기위해, 가상의 이미지는 3차원 그래픽으로 실시간으로 렌더링하여 합성된 컨텐츠를 사용자에게 제공한다. 그러나 가상의 이미지는 실사를 촬영한 이미지나 영상은 현실과 투사가 일치하지 않기 때문에 사용하지 못하는 한계가 있다. 또한 현실은 입체인 반면 촬영된 이미지나 영상은 재생장치를 포함하여 모두 평면이기 때문에 현실과 정교하게 겹친다고 하여도 현실과 이미지와의 일치감이 떨어지는 문제가 있다.
[선행기술문헌]
대한민국 등록특허공보 제10-0911376호(발명의 명칭: 투명 디스플레이를 이용한 증강 현실 구현 방법 및 장치)
본 발명은 전술한 문제점을 해결하기 위하여, 본 발명의 일 실시예에 따라 가상 스크린상에 사용자 단말에 포함된 카메라를 통해 획득한 현실 영상을 재생하면서 가상 스크린을 제외한 가상공간에 증강현실 콘텐츠를 제공하도록 하는 것에 목적이 있다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서 본 발명의 일 실시예에 따른 증강현실 제공 서버에 의해 수행되는 증강현실 기반의 콘텐츠 재생 방법에 있어서, a) 사용자 단말에 구비된 카메라로부터 현실 공간상에서 대상 타겟을 포함한 현실 영상 정보가 획득되면, 상기 사용자 단말에 구비된 센서와 상기 현실 영상 정보를 분석하여 사용자 주변 환경을 인식하고, 상기 사용자 단말의 위치와 방향을 결정하는 단계; b) 상기 사용자 주변 환경에 기반하여 가상공간을 구축한 후 상기 사용자 단말과 대상 타겟 사이에 하나 이상의 가상 스크린을 설정하는 단계; c) 상기 사용자 단말의 위치와 방향에 따라 상기 가상 스크린과 카메라 간의 위치를 보정하는 위치보정 알고리즘을 수행하고, 상기 위치보정 알고리즘에 의해 보정된 최종 위치보정 거리값을 반영하여 상기 가상 스크린의 위치를 결정하는 단계; 및 d) 상기 사용자 단말의 위치와 방향에 따라 실시간 위치가 변화되는 상기 가상 스크린상에 상기 현실 영상을 재생하고, 상기 가상공간에 상기 현실 영상에 중첩되어 표시될 증강 현실 콘텐츠를 제공하는 단계를 포함하되, 상기 위치보정 알고리즘은, 상기 대상 타겟과 카메라 사이에 목표 거리를 설정하고, 상기 설정된 목표 거리를 기준으로 상기 가상 스크린의 크기 정보와 상기 카메라의 파라미터 정보를 적용하여 목표 거리에 따른 카메라와 가상 스크린 간의 위치보정 거리값을 도출하는 방법일 수 있다.
상기 카메라의 파라미터 정보는, 해당 카메라의 초점거리와 촬영소자의 크기, 카메라의 위치좌표 정보, 카메라의 회전각도 정보를 포함하는 것이다.
상기 위치보정 알고리즘은, 상기 대상 타겟과 가상 스크린 사이에 기설정된 거리마다 가상 거리 표시 막대를 출력하고, 사용자에 의해 선택된 가상 거리 표시 막대에 설정된 거리를 상기 목표 거리로 설정할 수 있다.
상기 사용자 단말은, 스마트폰, 태블릿 PC, 노트북을 포함한 핸드헬드(Handheld) 기반의 무선 통신 장치, HMD(Head mount display), HUD(Head up display) 중 어느 하나일 수 있다.
또한, 본 발명의 다른 일 실시예에 따른 사용자 단말에 증강현실 콘텐츠를 제공하기 위한 증강현실 제공 서버에 있어서, 증강현실 기반의 콘텐츠 재생 방법을 수행하기 위한 프로그램이 기록된 메모리; 및 상기 프로그램을 실행하기 위한 프로세서를 포함하며, 상기 프로세서는, 상기 프로그램의 실행에 의해, 상기 사용자 단말에 구비된 카메라로부터 현실 공간상에서 대상 타겟을 포함한 현실 영상 정보가 획득되면, 상기 사용자 단말에 구비된 센서와 상기 현실 영상 정보를 분석하여 사용자 주변 환경을 인식하고, 상기 사용자 주변 환경에 기반하여 가상공간을 구축한 후 상기 사용자 단말과 대상 타겟 사이에 하나 이상의 가상 스크린을 설정하고, 상기 사용자 단말의 위치와 방향에 따라 상기 가상 스크린과 카메라 간의 위치를 보정하는 위치보정 알고리즘을 수행하고, 상기 위치보정 알고리즘에 의해 보정된 최종 위치보정 거리값을 반영하여 상기 가상 스크린의 위치를 결정하고, 상기 사용자 단말의 위치와 방향에 따라 실시간 위치가 변화되는 상기 가상 스크린상에 상기 현실 영상을 재생하고, 상기 가상공간에 상기 현실 영상에 중첩되어 표시될 증강 현실 콘텐츠를 제공하되, 상기 위치보정 알고리즘은, 상기 대상 타겟과 카메라 사이에 목표 거리를 설정하고, 상기 설정된 목표 거리를 기준으로 상기 가상 스크린의 크기 정보와 상기 카메라의 파라미터 정보를 적용하여 목표 거리에 따른 카메라와 가상 스크린간의 위치보정 거리값을 도출할 수 있다.
전술한 본 발명의 과제 해결 수단에 의하면, 대상 타겟을 포함한 현실 영상을 가상 스크린상에 출력하면서 현실 영상과 중첩 표기될 증강현실 콘텐츠를 제공할 수 있고, 가상 스크린의 위치를 사용자의 움직임(예를 들어, 사용자 단말의 위치와 방향)에 따라 이동시킴으로써, 사용자의 이동에 따른 사용자의 시선변화에 대응하여 가상 스크린이 지속적으로 매칭되어 디스플레이될 수 있도록 한다. 따라서, 사용자의 움직임에 따라 가상 스크린의 위치도 이동됨으로써 스크린상의 대상타겟이 현실과의 위치가 일치하게 재생할 수 있다 .
도 1은 본 발명의 일 실시예에 따른 증강현실 제공 서버의 구성을 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 증강현실 기반의 콘텐츠 재생 방법을 설명하는 순서도이다.
도 3은 본 발명의 일 실시예에 따른 카메라와 대상 타겟 간의 목표 거리를 설명하는 도면이다.
도 4는 도 3의 카메라 이동에 따른 가상 스크린의 대상 타겟의 현실 영상 재생 상태를 설명하는 도면이다.
도 5는 본 발명의 일 실시예에 따른 위치보정 알고리즘을 수행하는 과정을 설명하는 도면이다.
도 6은 도 5의 위치보정 알고리즘의 수행 결과에 따른 최종 위치보정 거리값을 설명하는 도면이다.
도 7은 도 5의 위치보정 알고리즘에서 목표 거리에 따른 대상 타겟의 현실 영상의 출력 상태를 설명하는 도면이다.
도 8은 본 발명의 일 실시예에 따른 증강현실 기반의 콘텐츠 재생 방법이 HMD에 의한 재생 과정을 설명하는 도면이다.
도 9는 도 8에 의한 증강현실 콘텐츠의 실행 과정을 설명하는 도면이다.
도 10은 본 발명의 일 실시예에 따른 증강현실 기반의 콘텐츠 재생 방법이 로봇 관절에 부착된 카메라와 디스플레이에 의한 재생 과정을 설명하는 도면이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 명세서에서 '단말'은 휴대성 및 이동성이 보장된 무선 통신 장치일 수 있으며, 예를 들어 스마트폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치일 수 있다. 또한, *?**?*단말*?**?*은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 장치인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.
무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.
이하의 실시예는 본 발명의 이해를 돕기 위한 상세한 설명이며, 본 발명의 권리 범위를 제한하는 것이 아니다. 따라서 본 발명과 동일한 기능을 수행하는 동일 범위의 발명 역시 본 발명의 권리 범위에 속할 것이다.
이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 증강현실 제공 서버의 구성을 나타낸 도면이다.
도 1을 참조하면, 증강현실 제공 서버(100)는 통신 모듈(110), 메모리(120), 프로세서(130) 및 데이터베이스(140)를 포함한다.
상세히, 통신 모듈(110)은 통신망과 연동하여 증강현실 제공 서버(100)로 송수신되는 신호를 패킷 데이터 형태로 제공하는 데 필요한 통신 인터페이스를 제공한다. 여기서, 통신 모듈(110)은 다른 네트워크 장치와 유무선 연결을 통해 제어 신호 또는 데이터 신호와 같은 신호를 송수신하기 위해 필요한 하드웨어 및 소프트웨어를 포함하는 장치일 수 있다.
메모리(120)는 증강현실 기반의 콘텐츠 재생 방법을 수행하기 위한 프로그램이 기록된다. 또한, 프로세서(130)가 처리하는 데이터를 일시적 또는 영구적으로 저장하는 기능을 수행한다. 여기서, 메모리(120)는 휘발성 저장 매체(volatile storage media) 또는 비휘발성 저장 매체(non-volatile storage media)를 포함할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
프로세서(130)는 증강현실 기반의 콘텐츠 재생 방법을 실행하기 위한 전체 과정을 제어하는 것으로서, 사용자 단말(200)에 증강현실 기반의 콘텐츠 재생 방법을 수행하기 위한 어플리케이션을 제공하고, IMU 등의 센서와 카메라를 포함한 사용자 단말(200)에서 어플리케이션이 실행됨에 따라 사용자 단말(200)의 위치와 방향에 따라 움직이는 가상 스크린상에 카메라로부터 획득한 현실 영상을 표시하면서 가상공간 상에 현실 영상과 중첩되어 표시될 증강현실 콘텐츠를 제공할 수 있다. 이러한 프로세서(130)가 수행하는 각 단계에 대해서는 도 2를 참조하여 후술하기로 한다.
여기서, 프로세서(130)는 프로세서(processor)와 같이 데이터를 처리할 수 있는 모든 종류의 장치를 포함할 수 있다. 여기서, '프로세서(processor)'는, 예를 들어 프로그램 내에 포함된 코드 또는 명령으로 표현된 기능을 수행하기 위해 물리적으로 구조화된 회로를 갖는, 하드웨어에 내장된 데이터 처리 장치를 의미할 수 있다. 이와 같이 하드웨어에 내장된 데이터 처리 장치의 일 예로써, 마이크로프로세서(microprocessor), 중앙처리장치(central processing unit: CPU), 프로세서 코어(processor core), 멀티프로세서(multiprocessor), ASIC(application-specific integrated circuit), FPGA(field programmable gate array) 등의 처리 장치를 망라할 수 있으나, 본 발명의 범위가 이에 한정되는 것은 아니다.
데이터베이스(140)는 증강현실 기반의 콘텐츠 재생 방법을 위한 프로그램을 실행하면서 누적되는 데이터가 저장된다. 예컨대, 데이터베이스(140)에는 사용자 정보, 어플리케이션 정보, 알고리즘 정보, 증강현실 콘텐츠 등이 저장될 수 있다.
도 2는 본 발명의 일 실시예에 따른 증강현실 기반의 콘텐츠 재생 방법을 설명하는 순서도이고, 도 3은 본 발명의 일 실시예에 따른 카메라와 대상 타겟 간의 목표 거리를 설명하는 도면이며, 도 4는 도 3의 카메라 이동에 따른 가상 스크린의 대상 타켓의 현실 영상 재생 상태를 설명하는 도면이다.
도 2를 참조하면, 증강현실 제공 서버(100)는 사용자 단말(200)에 증강현실 기반의 콘텐츠 재생 방법을 구현하기 위한 어플리케이션을 제공하고, 사용자 단말(200)은 해당 어플리케이션을 설치하여 실행함으로써 증강현실 제공 서버(100)와 어플리케이션이 서로 연동하여 사용자 단말(200)에 포함된 카메라(210)를 통해 획득한 현실 영상과 함께 증강현실 콘텐츠를 화면상에 표시하도록 한다.
즉, 사용자 단말(200)에 구비된 카메라(210)로부터 현실 공간상에서 대상 타겟을 포함한 현실 영상 정보를 획득하면(S1), 사용자 단말(200)에 구비된 모션 센서(예를 들어, IMU 등)와 현실 영상 정보를 분석하는데, 어플리케이션은 AR Core, AR Kit, Project Tango 기술 중 어느 하나 이상을 이용하여 카메라의 위치 추적 기능을 실행할 수 있다(S2). 이때, 카메라 위치 추적 기능은 어플리케이션을 통해 사용자 단말(200) 상에서 실현될 수 있지만, 사용자 단말(200)의 사양에 따라 증강현실 제공 서버(100)에서 카메라 위치 추적 기능을 수행할 수 있다.
증강현실 제공 서버(100)는 카메라 위치 추적 기능을 통해 사용자 주변 환경을 인식하고, 사용자 단말(200)의 위치와 방향을 결정한다(S3). 그리고 사용자 주변 환경에 기반하여 가상공간을 구축하고, 상기 가상공간상에 사용자 단말(200)과 대상 타겟 사이에 하나 이상의 가상 스크린(300)을 설정한다(S4).
그리고, 증강현실 제공 서버(100)는 사용자 단말(200)의 위치와 방향을 기준으로 가상 스크린(300)과 카메라(210) 사이의 위치를 보정하는 위치보정 알고리즘을 수행하고(S5), 위치보정 알고리즘에 의해 보정된 최종 위치보정 거리값을 반영하여 가상 스크린(300)의 위치를 결정한다(S6).
이때, 위치보정 알고리즘은 대상 타겟과 카메라 사이에 목표 거리를 설정하고, 설정된 목표 거리를 기준으로 가상 스크린(300)의 크기 정보와 카메라(210)의 파라미터 정보를 적용하여 목표 거리에 따른 카메라(210)와 가상 스크린(300) 간의 위치보정 거리값을 도출한다.
도 3 및 도 4에 도시된 바와 같이, 대상 타겟과 카메라(210) 간에 목표 거리(TD)를 설정하고, 카메라 이동 방향과 동일하게 가상 스크린(300)이 이동하면서 가상 스크린(300) 상에 대상 타켓의 현실 영상을 실시간 재생한다.
증강현실 제공 서버(100)는 사용자 단말(200)의 위치와 방향에 따라 실시간 위치가 변화되는 가상 스크린(300)에 현실 영상을 재생하고, 가상공간상에 현실 영상에 중첩되어 표시될 증강 현실 콘텐츠를 제공한다(S7). 증강현실 제공 서버(100)는 실시간으로 변화하는 사용자 주변 환경에 대한 연속적인 현실 영상을 가상 스크린(300)에 출력하되, 사용자의 시선 방향(사용자 단말의 위치와 방향)에 따라 가상 스크린(300)을 이동하면서 현실 영상을 끊김없이 재생할 수 있다.
한편 도 2의 단계 S1 내지 S7은 본 발명의 구현예에 따라서 추가적인 단계들로 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계간의 순서가 변경될 수도 있다.
도 5는 본 발명의 일 실시예에 따른 위치보정 알고리즘을 수행하는 과정을 설명하는 도면이고, 도 6은 도 5의 위치보정 알고리즘의 수행 결과에 따른 최종 위치보정 거리값을 설명하는 도면이며, 도 7은 도 5의 위치보정 알고리즘에서 목표 거리에 따른 대상 타겟의 현실 영상의 출력 상태를 설명하는 도면이다.
도 5에 도시된 바와 같이, 카메라와 가상 스크린 간의 위치보정을 수행하는 위치보정 알고리즘은 목표 거리를 기준으로 가상 스크린(300)의 크기 정보와 카메라(210)의 파라미터 정보를 적용하여 목표 거리에 따른 카메라(210)와 가상 스크린(300) 간의 위치보정 거리값을 도출한다.
위치보정 알고리즘은 스크린의 크기(Screen Size, SS), 목표 거리(Target Distance, TD), 표 1에 나타나 바와 같이 카메라의 파라미터 정보를 변수값으로 한다.
카메라의 파라미터 변수값
카메라의 초점거리 F
촬영소자의 가로크기(CMOS Size) CS
카메라 X축 위치(Camera Position X) CPX
카메라 Y축 위치(Camera Position Y) CPY
카메라 Z축 위치(Camera Position Z) CPZ
카메라 X축 회전각도(Camera Rotation X) CRX
카메라 Y축 회전각도(Camera Rotation Y) CRY
카메라 Z축 회전각도(Camera Rotation Z) CRZ
위치보정 알고리즘은 변수값에 의해 카메라와 가상 스크린 간의 위치보정 거리값, 목표 거리에 따른 위치 보정된 XYZ 축의 값, 카메라와 가상 스크린의 사양에 따른 위치보정된 XYZ축 값 등의 변화값을 도출한다.
먼저, 위치보정을 위한 비율값(Position Adjust Ratio Value, PARV)은하기 수학식 1을 통해 계산하고, 카메라-스크린 위치보정 거리값(Camera-Screen Adjust Value, CSAV)은 수학식 2를 통해 계산한다.
[수학식 1]
Figure 112019121419057-pat00001
[수학식 2]
Figure 112019121419057-pat00002
위치 보정 알고리즘은 목표거리에 따른 위치보정된 X축 값(Target Adjusted Position X, TAPX)은 수학식 3을 통해 계산하고, 목표거리에 따른 위치보정된 Y축 값(Target Adjusted Position Y, TAPY)은 수학식 4를 통해 계산하며, 목표거리에 따른 위치보정된 Z축 값(Target Adjusted Position Z, TAPZ)는 수학식 5를 통해 계산한다.
[수학식 3]
Figure 112019121419057-pat00003
[수학식 4]
Figure 112019121419057-pat00004
[수학식 5]
Figure 112019121419057-pat00005
위치보정 알고리즘은, 카메라-스크린 사양에 따른 위치 보정 X축 값(Camera-Screen Adjusted X, CSAX)은 수학식 6을 통해 계산되고, 카메라-스크린 사양에 따른 위치 보정 Y축 값(Camera-Screen Adjusted Y, CSAY)은 수학식 7에 의해 계산되며, 카메라, 스크린 사양에 따른 위치 보정 Z축 값 (Camera-Screen Adjusted Z, CSAZ)은 수학식 8에 의해 계산된다.
[수학식 6]
Figure 112019121419057-pat00006
[수학식 7]
Figure 112019121419057-pat00007
[수학식 8]
Figure 112019121419057-pat00008
수학식 1 내지 수학식 8을 통해 위치보정 알고리즘은 보정된 최종 위치값 X( CSAX + TAPX), 보정된 최종 위치값 Y(CSAY + TAPY), 보정된 최종 위치값 Z(CSAZ + TAPZ)을 각각 산출한다.
도 7에 도시된 바와 같이, 대상 타겟을 기준으로 설정된 목표 거리에 따라 카메라와 가상 스크린 간에 보정된 최종 위치값을 반영하여 가상 스크린(300) 상에 대상 타겟을 포함한 현실 영상이 재생됨으로써 영상의 흔들림없이 연속적으로 영상을 재생할 수 있다. 이때, 대상 타겟과 카메라 간의 목표 거리를 설정하기 위해 일정 거리마다 가상 거리 표시 막대(예를 들어, Green Bar=300mm)를 제공할 수 있다. 따라서, 사용자는 가상 거리 표시 막대를 이용하여 목표 거리를 설정할 수 있다.
도 8은 본 발명의 일 실시예에 따른 증강현실 기반의 콘텐츠 재생 방법이 HMD에 의한 재생 과정을 설명하는 도면이고, 도 9는 도 8에 의한 증강현실 콘텐츠의 실행 과정을 설명하는 도면이다.
도 8 및 도 9에 도시된 바와 같이, 증강현실 기반의 콘텐츠 재생 방법은 스마트폰, 태블릿 PC 등의 사용자 단말(200) 상에서 구현될 수 있고, HDM(Head mount display)(220)나 HUD(Head up display) 등의 디스플레이 장치를 통해 구현될 수도 있다.
HMD(220)를 착용한 사용자는 가상공간상에 복수 개의 가상 스크린(300)이 출력되면 손이나 눈 등의 사용자 제스처를 통해 어느 하나의 가상 스크린(300)을 선택하여 현실 영상을 실시간 재생할 수 있다. 또한, 증강현실 기반의 콘텐츠 재생 방법은 카메라 위치 추적 기능을 통해 HMD(220)의 움직임을 반영하여 사용자의 시선 방향을 따라 가상 스크린(300)을 이동하면서 연속적으로 현실 영상을 재생할 수 있다.
도 10은 본 발명의 일 실시예에 따른 증강현실 기반의 콘텐츠 재생 방법이 로봇 관절에 부착된 카메라와 디스플레이에 의한 재생 과정을 설명하는 도면이다.
도 10에 도시된 바와 같이, 증강현실 기반의 콘텐츠 재생 방법은 로봇 관절의 끝단에 설치된 카메라를 통해 현실 영상을 획득하고, 로봇 관절의 끝단에 설치된 투명 디스플레이 등의 모니터를 통해 증강현실 콘텐츠와 함께 현실 영상을 중첩하여 표시한다.
이때, 증강현실 기반의 콘텐츠 재생 방법은 카메라 위치 추적 기능을 통해 객체를 인식할 수 있고, 인식된 객체의 크기, 위치, 방향에 따라 증강현실 콘텐츠와 현실 영상이 중첩되어 표시되도록 한다.
이상에서 설명한 본 발명의 실시예에 따른 증강현실 기반의 콘텐츠 재생 방법은, 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 이러한 기록 매체는 컴퓨터 판독 가능 매체를 포함하며, 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 포함하며, 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 증강현실 제공 서버
110: 통신 모듈 120: 메모리
130: 프로세서 140: 데이터베이스
200: 사용자 단말 210 : 카메라
300 : 가상 스크린

Claims (10)

  1. 증강현실 제공 서버에 의해 수행되는 증강현실 기반의 콘텐츠 재생 방법에 있어서,
    a) 사용자 단말에 구비된 카메라로부터 현실 공간상에서 대상 타겟을 포함한 현실 영상 정보가 획득되면, 상기 사용자 단말에 구비된 센서와 상기 현실 영상 정보를 분석하여 사용자 주변 환경을 인식하고, 상기 사용자 단말의 위치와 방향을 결정하는 단계;
    b) 상기 사용자 주변 환경에 기반하여 가상공간을 구축한 후 상기 사용자 단말과 대상 타겟 사이에 하나 이상의 가상 스크린을 설정하는 단계;
    c) 상기 사용자 단말의 위치와 방향에 따라 상기 가상 스크린과 카메라 간의 위치를 보정하는 위치보정 알고리즘을 수행하고, 상기 위치보정 알고리즘에 의해 보정된 최종 위치보정 거리값을 반영하여 상기 가상 스크린의 위치를 결정하는 단계;
    d) 상기 사용자 단말의 위치와 방향에 따라 실시간 위치가 변화되는 상기 가상 스크린상에 상기 현실 영상을 재생하고, 상기 가상공간에 상기 현실 영상에 중첩되어 표시될 증강 현실 콘텐츠를 제공하는 단계를 포함하되,
    상기 위치보정 알고리즘은,
    상기 대상 타겟과 카메라 사이에 목표 거리를 설정하고, 상기 설정된 목표 거리를 기준으로 상기 가상 스크린의 크기 정보와 상기 카메라의 파라미터 정보를 적용하여 목표 거리에 따른 카메라와 가상 스크린 간의 위치보정 거리값을 도출하는 것으로서,
    위치보정을 위한 비율값(Position Adjust Ratio Value, PARV)과 카메라와 스크린 간의 위치보정 거리값(Camera Screen Adjust Value, CSAV)을 수학식 1 및 수학식 2에 의해 계산하는 것인, 증강현실 기반의 콘텐츠 재생 방법.
    [수학식 1]
    Figure 112021008929612-pat00009

    [수학식 2]
    Figure 112021008929612-pat00010

    TD: 목표 거리
    SS: 가상스크린의 크기
    CS: 촬영소자의 크기(CMOS Size)
    F: 카메라의 초점거리
  2. 삭제
  3. 삭제
  4. 제 1 항에 있어서,
    상기 위치보정 알고리즘은,
    목표거리에 따른 위치보정된 X축 값(Target Adjusted Position X, TAPX)은 수학식 3을 통해 계산하고, 목표거리에 따른 위치보정된 Y축 값(Target Adjusted Position Y, TAPY)은 수학식 4를 통해 계산하며, 목표거리에 따른 위치보정된 Z축 값(Target Adjusted Position Z, TAPZ)는 수학식 5를 통해 계산하는 것인, 증강현실 기반의 콘텐츠 재생 방법.
    [수학식 3]
    Figure 112021008929612-pat00011

    [수학식 4]
    Figure 112021008929612-pat00012

    [수학식 5]
    Figure 112021008929612-pat00013

    CPX: 카메라 X축 위치(Camera Position X)
    CPY: 카메라 Y축 위치(Camera Position Y)
    CPZ: 카메라 Z축 위치(Camera Position Z)
  5. 제 1 항에 있어서,
    상기 위치보정 알고리즘은, 카메라-스크린 사양에 따른 위치 보정 X축 값(Camera-Screen Adjusted X, CSAX)은 수학식 6을 통해 계산하고, 카메라-스크린 사양에 따른 위치 보정 Y축 값(Camera-Screen Adjusted Y, CSAY)은 수학식 7에 의해 계산하며, 카메라, 스크린 사양에 따른 위치 보정 Z축 값 (Camera-Screen Adjusted Z, CSAZ)은 수학식 8에 의해 계산하는 것인, 증강현실 기반의 콘텐츠 재생 방법.
    [수학식 6]
    Figure 112021008929612-pat00014

    [수학식 7]
    Figure 112021008929612-pat00015

    [수학식 8]
    Figure 112021008929612-pat00016

    CRX: 카메라 X축 회전각도(Camera Rotation X)
    CRY: 카메라 Y축 회전각도(Camera Rotation Y)
    CRZ: 카메라 Z축 회전각도(Camera Rotation Z)
  6. 제 4 항 또는 제 5 항에 있어서,
    상기 위치 보정 알고리즘은 최종 위치보정된 X축 값(X= CSAX + TAPX), 최종 위치보정된 Y축 값(Y=CSAY + TAPY), 최종 위치보정된 Z축 값(Z=CSAZ + TAPZ)을 각각 산출하는 것인,증강현실 기반의 콘텐츠 재생 방법.
  7. 제 1 항에 있어서,
    상기 위치보정 알고리즘은,
    상기 대상 타겟과 가상 스크린 사이에 기설정된 거리마다 가상 거리 표시 막대를 출력하고, 사용자에 의해 선택된 가상 거리 표시 막대에 설정된 거리를 상기 목표 거리로 설정하는 것인, 증강현실 기반의 콘텐츠 재생 방법.
  8. 제 1 항에 있어서,
    상기 사용자 단말은, 스마트폰, 태블릿 PC, 노트북을 포함한 핸드헬드(Handheld) 기반의 무선 통신 장치, HMD(Head mount display), HUD(Head up display) 중 어느 하나인 것인, 증강현실 기반의 콘텐츠 재생 방법.
  9. 사용자 단말에 증강현실 콘텐츠를 제공하기 위한 증강현실 제공 서버에 있어서,
    증강현실 기반의 콘텐츠 재생 방법을 수행하기 위한 프로그램이 기록된 메모리; 및
    상기 프로그램을 실행하기 위한 프로세서를 포함하며,
    상기 프로세서는, 상기 프로그램의 실행에 의해,
    상기 사용자 단말에 구비된 카메라로부터 현실 공간상에서 대상 타겟을 포함한 현실 영상 정보가 획득되면, 상기 사용자 단말에 구비된 센서와 상기 현실 영상 정보를 분석하여 사용자 주변 환경을 인식하고,
    상기 사용자 주변 환경에 기반하여 가상공간을 구축한 후 상기 사용자 단말과 대상 타겟 사이에 하나 이상의 가상 스크린을 설정하고,
    상기 사용자 단말의 위치와 방향에 따라 상기 가상 스크린과 카메라 간의 위치를 보정하는 위치보정 알고리즘을 수행하고, 상기 위치보정 알고리즘에 의해 보정된 최종 위치보정 거리값을 반영하여 상기 가상 스크린의 위치를 결정하고,
    상기 사용자 단말의 위치와 방향에 따라 실시간 위치가 변화되는 상기 가상 스크린상에 상기 현실 영상을 재생하고, 상기 가상공간에 상기 현실 영상에 중첩되어 표시될 증강 현실 콘텐츠를 제공하되,
    상기 위치보정 알고리즘은, 상기 대상 타겟과 카메라 사이에 목표 거리를 설정하고, 상기 설정된 목표 거리를 기준으로 상기 가상 스크린의 크기 정보와 상기 카메라의 파라미터 정보를 적용하여 목표 거리에 따른 카메라와 가상 스크린 간의 위치보정 거리값을 도출하는 것으로,
    위치보정을 위한 비율값(Position Adjust Ratio Value, PARV)과 카메라와 스크린 간의 위치보정 거리값(Camera Screen Adjust Value, CSAV)을 수학식 1 및 수학식 2에 의해 계산하는 것인, 증강현실 제공 서버.
    [수학식 1]
    Figure 112021008929612-pat00027

    [수학식 2]
    Figure 112021008929612-pat00028

    TD: 목표 거리
    SS: 가상스크린의 크기
    CS: 촬영소자의 크기(CMOS Size)
    F: 카메라의 초점거리
  10. 삭제
KR1020190152783A 2019-11-25 2019-11-25 증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법 KR102280716B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190152783A KR102280716B1 (ko) 2019-11-25 2019-11-25 증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190152783A KR102280716B1 (ko) 2019-11-25 2019-11-25 증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법

Publications (2)

Publication Number Publication Date
KR20210063998A KR20210063998A (ko) 2021-06-02
KR102280716B1 true KR102280716B1 (ko) 2021-07-22

Family

ID=76372944

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190152783A KR102280716B1 (ko) 2019-11-25 2019-11-25 증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법

Country Status (1)

Country Link
KR (1) KR102280716B1 (ko)

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100327120B1 (ko) * 1999-12-13 2002-03-13 오길록 증강현실 기반의 3차원 트래커와 컴퓨터 비젼을 이용한영상 정합 방법
KR101539087B1 (ko) * 2013-08-22 2015-07-29 김정한 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법
KR102103980B1 (ko) * 2017-12-27 2020-04-23 주식회사 버넥트 사용자의 응시정보에 따른 증강영상의 동적 표현기술이 적용된 증강현실 시스템

Also Published As

Publication number Publication date
KR20210063998A (ko) 2021-06-02

Similar Documents

Publication Publication Date Title
CN111083380B (zh) 一种视频处理方法、电子设备及存储介质
RU2679316C1 (ru) Способ и устройство для воспроизведения видеоконтента из любого местоположения и с любого момента времени
US9525821B2 (en) Video stabilization
KR20230044137A (ko) 다중 카메라 비디오 안정화
WO2011048773A1 (en) Image display apparatus, image display method, and program
EP2328125A1 (en) Image splicing method and device
US11113787B2 (en) Image distribution device, image distribution system, image distribution method, and image distribution program
US9727137B2 (en) User view point related image processing apparatus and method thereof
US8965105B2 (en) Image processing device and method
WO2015142971A1 (en) Receiver-controlled panoramic view video share
KR102644833B1 (ko) Vr 스트림의 지연을 보상하는 방법 및 시스템
CN113875220B (zh) 拍摄防抖方法、装置、终端及存储介质
US8471896B2 (en) Signal processing apparatus, signal processing method, display apparatus, and program product
US10911677B1 (en) Multi-camera video stabilization techniques
KR102501713B1 (ko) 영상 표시 방법 및 그 전자장치
KR102280716B1 (ko) 증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법
EP3805899A1 (en) Head mounted display system and scene scanning method thereof
KR101082545B1 (ko) 영상 변환 기능을 구비한 이동통신 단말기
CN105094614B (zh) 图像显示方法及装置
KR20160135661A (ko) 비디오에서의 객체를 바운딩하기 위한 방법 및 디바이스
US10194087B2 (en) Transmission apparatus, setting apparatus, transmission method, reception method, and storage medium
JP5818326B2 (ja) 映像視聴履歴解析方法、映像視聴履歴解析装置及び映像視聴履歴解析プログラム
US20180174345A1 (en) Non-transitory computer-readable storage medium, display control device and display control method
US20210297649A1 (en) Image data output device, content creation device, content reproduction device, image data output method, content creation method, and content reproduction method
KR101741150B1 (ko) 영상에디팅을 수행하는 영상촬영장치 및 방법

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right