KR101539087B1 - 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법 - Google Patents

모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법 Download PDF

Info

Publication number
KR101539087B1
KR101539087B1 KR1020130099804A KR20130099804A KR101539087B1 KR 101539087 B1 KR101539087 B1 KR 101539087B1 KR 1020130099804 A KR1020130099804 A KR 1020130099804A KR 20130099804 A KR20130099804 A KR 20130099804A KR 101539087 B1 KR101539087 B1 KR 101539087B1
Authority
KR
South Korea
Prior art keywords
augmented reality
mobile device
reality contents
providing server
image
Prior art date
Application number
KR1020130099804A
Other languages
English (en)
Other versions
KR20150022233A (ko
Inventor
김정한
Original Assignee
김정한
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 김정한 filed Critical 김정한
Priority to KR1020130099804A priority Critical patent/KR101539087B1/ko
Publication of KR20150022233A publication Critical patent/KR20150022233A/ko
Application granted granted Critical
Publication of KR101539087B1 publication Critical patent/KR101539087B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
    • H04N13/117—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation the virtual viewpoint locations being selected by the viewers or determined by viewer tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/293—Generating mixed stereoscopic images; Generating mixed monoscopic and stereoscopic images, e.g. a stereoscopic image overlay window on a monoscopic image background
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/23412—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs for generating or manipulating the scene composition of objects, e.g. MPEG-4 objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras

Abstract

스마트폰 또는 타블렛PC(taplet PC) 와 같은 모바일 기기를 이용한 증강 현실 제공방법에 관하여 개시한다.
본 발명은 실시간 동영상을 촬영할 수 있는 카메라부와, 상기 카메라부에서 촬영된 이미지를 실시간으로 표시하는 터치스크린 방식의 디스플레이부와, 상기 카메라부와 피사체 사이의 거리를 측정할 수 있는 거리측정부를 포함하는 모바일 기기; 및 상기 모바일 기기와 무선통신으로 연결되어 정보를 주고 받으며, 상기 모바일 기기에서 촬영된 영상을 이미지프로세싱하여 실제 공간의 바닥면과 거리를 인식하고, 그에 대응하는 각도의 증강 현실 컨텐츠를 상기 모바일 기기로 제공하는 증강 현실 컨텐츠 제공서버;를 포함하며, 상기 모바일 기기에는 상기 증강 현실 컨텐츠 제공서버와 필요 정보를 주고 받기 위한 어플리케이션이 설치되어, 상기 모바일 기기가 미리 마련된 마커를 인식하면 상기 증강 현실 컨텐츠 제공서버로부터 3차원 증강 현실 컨텐츠를 전달받아 실제 이미지와 합성된 영상을 디스플레이부로 표시하는 것을 특징으로 하는 모바일 기기를 이용한 증강 현실 구현 장치 및 이를 이용한 증강 현실 구현 방법을 제공한다.

Description

모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법{AUGMENTED REALITY DEVICE USING MOBILE DEVICE AND METHOD OF IMPLEMENTING AUGMENTED REALITY}
본 발명은 스마트폰 또는 타블렛PC(taplet PC) 와 같은 모바일 기기를 이용한 증강 현실 제공방법에 관한 것이다.
증강 현실(Augmented Reality)이란 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 새로운 환경을 생성한다. 현실환경과 가상환경을 융합하는 증강 현실 시스템은 1990년대 후반부터 미국과 일본을 중심으로 연구 개발이 진행되고 있다. 현실세계를 가상세계로 보완해주는 개념인 증강 현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다.
사용자가 보고 있는 실사 영상에 3차원 가상영상을 정합함(register)으로써 현실환경과 가상환경과의 구분이 모호해지도록 한다는 뜻이다. 가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강 현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감을 제공한다.
관련선행기술로는 대한민국 공개특허 제10-2012-0037735호 '스마트폰을 이용한 증강 현실 구현 시스템 및 증강 현실 구현 방법' (공개일자 2012년 4월 20일)이 있다.
본 발명의 목적은 모바일 기기를 이용하여 다양한 증강 현실 컨텐츠를 제공하기 위함에 있다.
본 발명은 실시간 동영상을 촬영할 수 있는 카메라부와, 상기 카메라부에서 촬영된 이미지를 실시간으로 표시하는 터치스크린 방식의 디스플레이부와, 상기 카메라부와 피사체 사이의 거리를 측정할 수 있는 거리측정부를 포함하는 모바일 기기; 및 상기 모바일 기기와 무선통신으로 연결되어 정보를 주고 받으며, 상기 모바일 기기에서 촬영된 영상을 이미지프로세싱하여 실제 공간의 바닥면과 거리를 인식하고, 그에 대응하는 각도의 증강 현실 컨텐츠를 상기 모바일 기기로 제공하는 증강 현실 컨텐츠 제공서버;를 포함하며, 상기 모바일 기기에는 상기 증강 현실 컨텐츠 제공서버와 필요 정보를 주고 받기 위한 어플리케이션이 설치되어, 상기 모바일 기기가 미리 마련된 마커를 인식하면 상기 증강 현실 컨텐츠 제공서버로부터 3차원 증강 현실 컨텐츠를 전달받아 실제 이미지와 합성된 영상을 디스플레이부로 표시하는 것을 특징으로 하는 모바일 기기를 이용한 증강 현실 구현 장치를 제공한다.
상기 모바일 기기는 상기 모바일 기기의 각도와 움직임을 감지하는 모션센서부를 더 포함하는 것이 바람직하다.
그리고 본 발명은 실시간 동영상을 촬영할 수 있는 카메라부와, 상기 카메라부에서 촬영된 이미지를 실시간으로 표시하는 터치스크린 방식의 디스플레이부와, 상기 카메라부와 피사체 사이의 거리를 측정할 수 있는 거리측정부와, 모바일기기의 움직임과 위치를 감지하는 모션센서부를 포함하는 모바일 기기와, 상기 모바일 기기와 무선통신으로 연결되어 정보를 주고 받으며, 상기 모바일 기기에서 촬영된 영상을 이미지프로세싱하여 실제 공간의 바닥면과 거리를 인식하고, 그에 대응하는 각도의 증강 현실 컨텐츠를 상기 모바일 기기로 제공하는 증강 현실 컨텐츠 제공서버를 이용한 증강 현실 컨텐츠 제공 방법에 있어서,
상기 모바일기기에 설치된 어플리케이션을 실행하여 상기 카메라부를 활성화하여 실시간으로 영상을 촬영하고 디스플레이부에 표시하는 단계; 상기 촬영된 영상에서 마커가 존재하는지 여부를 식별하는 단계; 상기 모바일 기기에서 식별된 마커에 관한 정보와, 상기 모바일기기에서 촬영된 영상 정보를 상기 증강 현실 컨텐츠 제공서버로 전달하여 증강 현실 컨텐츠를 요청하는 단계; 상기 증강 현실 컨턴츠 제공서버에서 증강 현실 컨텐츠를 상기 모바일 기기로 전송할 증강 현실 컨텐츠를 생성하여 전달하는 단계; 및 상기 모바일 기기에서 전달된 증강 현실 컨텐츠를 디스플레이부에 표시하는 단계;를 포함하는 증강 현실 구현 방법을 제공한다.
상기 모바일 기기의 위치 변화에 따라서, 상기 증강 현실 컨텐츠 제공버서는 3차원 증강 현실 컨텐츠의 화면에 표시되는 크기가 실사와 합성되었을 때 실제의 크기에 대응하도록 생성하여 모바일 기기로 전송하는 것이 바람직하다.
상기 증강 현실 컨텐츠 제공서버는 3차원 증강 현실 컨텐츠의 뷰를 모바일 기기의 위치 변화에 대응하도록 변환하여 생성한 후 전송하는 것이 바람직하다.
상기 증가현실 컨텐츠 제공서버는 상기 모바일 기기로 상기 증강 현실 컨텐츠를 제공함과 동시에 컨트롤 프로그램 모듈을 전송하면 더욱 바람직하다.
본 발명에 따른 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법는 모바일 기기를 통하여 실사와 합성된 3차원 증강 현실 컨텐츠를 제공함으로써 사용자에게 다양한 정보를 편리하게 전달할 수 있는 효과를 가져온다.
도 1은 본 발명에 따른 모바일 기기를 이용한 증강 현실 구현 장치를 나타낸 구성도,
도 2는 본 발명에 따른 모바일 기기를 이용한 증강 현실 구현 방법을 나타낸 순서도,
도 3 내지 도 5는 실사이즈 제공 기능을 가지는 증강 현실 컨텐츠가 활성화된 상태를 나타낸 도면,
도 6은 도 3과 동일한 식탁과 의자 증강 현실 컨텐츠를 제공받는 상태에서 모바일 기기를 들고 이동하여 촬영되는 부분의 각도를 변경한 상태를 나타낸 것이다.
도 7 및 도 8은 실사이즈 제공 기능과 사이즈 선택 기능을 가지는 증강 현실 컨텐츠가 활성화된 상태를 나타낸 도면임.
이하, 본 발명의 실시예에 따른 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법에 관하여 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명에 따른 모바일 기기를 이용한 증강 현실 구현 장치를 나타낸 구성도이다.
도시된 바와 같이, 본 발명에 따른 증강 현실 구현 장치는 모바일 기기(100)와, 증강 현실 컨텐츠 제공서버(200)를 포함한다. 모바일 기기(100)와 증강 현실 컨텐츠 제공서버(200)는 무선통신으로 연결된다. 여기서 무선통신으로는 WIFI, 3G, 4G 통신 네트워크 등의 방법을 사용할 수 있다.
모바일 기기(100)에는 증강 현실 컨텐츠를 제공하기 위한 AR어플리케이션(150)이 설치된다.
모바일 기기(100)로는 스마트폰, 타블렛PC, PDA, 노트북 컴퓨터 등이 포함될 수 있다.
본 발명에서 사용되기 위한 모바일 기기(100)는 실시간 동영상 촬영 및 재생이 가능한 카메라부(110)와 디스플레이부(120)를 포함하며, 피사체와의 거리를 측정하기 위한 거리측정부(130)를 포함한다. 디스플레이부(120)는 터치 스크린 방식으로 후술하는 커멘드창(command window)을 터치 조작할 수 있도록 하는 것이 바람직하다.
거리측정부(130)는 카메라부의 오토 포커싱 기능을 이용할 수도 있으며, 이미지 프로세싱 방법을 이용하여 거리를 측정할 수도 있다.
그리고, 모바일 기기(100)에는 모바일 기기(100)와 지면과의 각도를 측정할 수 있는 모션센서부(140)를 포함할 수 있다.
증강 현실 컨텐츠 제공서버(200)에는 다양 증강 현실 컨텐츠가 3차원 입체 영상 정보로 저장되어 있으며, 모바일 기기(100)의 요청에 의하여 3차원 입체 영상 정보를 모바일 기기(100)로 제공한다.
본 발명에 따른 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법은 증강 현실 컨텐츠 제공서버(200)에서 입체 영상 컨텐츠의 다양한 각도에서의 뷰를 모바일 기기(100)로 전송하는 것으로, 이는 모바일 기기(100)와 피사체와의 상대적인 위치와 거리등에 의하여 달라지게 된다.
이러한 입체 영상 컨텐츠의 변환은 증강 현실 컨텐츠 제공서버(200)에서 이루어진다.
모바일 기기(100)에서 AR어플리케이션(150)을 구동하면, 카메라부(110)를 이용하여 실사의 이미지를 실시간으로 동영상으로 촬영하며 디스플레이부(120)에 표시하게 된다.
모바일 기기(100)의 AR어플리케이션(150)은 촬영되는 동영상 이미지에서 마커가 존재하는지 여부를 실시간으로 점검하게 된다.
마커는 증강 현실 컨텐츠와 연결되는 키가 되는 것으로, 다양한 매체를 마커로 활용할 수 있다.
예를 들면 영화포스터, 특정 웹페이지의 화면, 신문 책자 등 인쇄물의 특정 이미지 등을 포함할 수 있다.
AR어플리케이션(150)은 실시간으로 촬영되는 동영상 이미지에서 마커를 식별하기 위한 이미지프로세싱 작업을 수행하게 된다.
마커(marker)를 식별하게 되면, 해당 마커의 아이디값을 추출하여 증강 현실 컨텐츠 제공서버(200)에 마커에 관한 정보를 전달하면, 증강 현실 컨텐츠 제공서버(200)가 입체 영상 컨텐츠를 모바일 기기(100)로 전달한다.
도 2는 본 발명에 따른 모바일 기기를 이용한 증강 현실 구현 방법을 나타낸 순서도이다.
먼저 모바일 기기에서 AR어플리케이션을 실행하면, 카메라부가 활성화되어 실시간으로 실사 이미지의 동영상 촬영을 시작하고, 촬영된 이미지를 실시간으로 디스플레이부에 표시하게 된다.
AR어플리케이션에서는 실사의 이미지에 마커가 포함되어 있는지를 실시간으로 식별하고 마커를 식별하게 되면, 식별된 마커와 관련된 증강 현실 컨텐츠를 증강 현실 컨텐츠 제공 서버에 요청한다.
증강 현실 컨텐츠가 모바일 기기로 전송되면, 모바일 기기는 디스플레이부에 실사 동영상 이미지와 제공된 증강 현실 컨텐츠를 합성하여 디스플레이부에 표시한다.
디스플레이부에 증강 현실 컨텐츠가 합성된 이미지가 표시됨과 동시에 증강 현실 컨텐츠를 컨트롤하기 위한 커멘드창이 함께 표시된다.
커멘드창의 터치 조작을 통해서, 증강 현실 컨텐츠를 활용할 수 있게 된다.
기본적으로는 상기와 같은 순서로 동작하게 되나, 컨텐츠의 종류의 따라서 커멘드창의 종류가 다르게 생성되며, 다양한 형태로 증강 현실 컨텐츠를 제공하고 활용할 수 있다.
실사이즈 제공 기능을 가지는 증강 현실 컨텐츠를 예를 들어 설명한다.
가구나 가전 제품과 같이 사용자에게 제품의 실제 사이즈 제공이 유용한 경우에는 증강 현실 컨텐츠를 통해서 실사의 이미지에 실제 사이즈의 증강 현실 컨텐츠를 합성하여 보여 줄 수 있다.
이 경우 마커로서는 제품의 광고 사진, 광고 배너 등이 사용될 수 있다.
예를 들어, 식탁과 의자 세트 가구 제품의 광고 이미지를 마커로 활용하고 식탁과 가구 제품의 증강 현실 컨텐츠를 제공하는 경우에 관하여 설명한다.
식탁과 의자 세트 가구의 광고 사진을 마커로 설정하고, 이에 관한 3D 입체 영상을 증강 현실 컨텐츠에 저장하고 있다가, 모바일 기기의 어플리케이션이 구동되어 마커인 광고 사진이 식별되면, 해당 마커에 대응하는 증강 현실 컨텐츠를 증강 현실 컨텐츠 제공서버에 요청한다.
증강 현실 컨텐츠 제공서버는 요청에 의하여 초기화 컨텐츠를 모바일 기기로 전송한다.
초기화 컨텐츠에는 마커로부터 증강 현실 컨텐츠가 입체적으로 튀어 나오는 효과를 포함하는 초기화 증강 현실 컨텐츠와, 해당 증강 현실 컨텐츠를 컨트롤 할 수 있는 컨트롤 프로그램 모듈을 전송하게 된다.
이를 전달 받은 모바일 기기는 초기화 컨텐츠를 실행하면서, 컨트롤 프로그램 모듈을 실행하게 된다.
컨트롤 프로그램 모듈을 실행하게 되면, 디스플레이부에 커멘드창이 표시된다.
그리고, 실사이즈화를 실행시키면 모바일 기기의 디스플레이부에 실사이즈의 증강 현실 컨텐츠가 표시된다.
식탁과 의자 세트의 경우, 실제 주방을 카메라부로 촬영하면서, 실사이즈화를 실행하게 되면 실제 사이즈의 식탁과 의자 세트 입체 영상 컨텐츠가 중첩되어 표시되므로, 실제 주방에 배치했을 때의 색감의 조화 공간 배치의 여유 정도 등을 확인 할 수 있게 된다.
여기서 본 발명의 특징은 실제 증강 현실 컨턴츠가 실제로 제품이 놓여진 것과 같은 효과를 가져온다는 것이다.
이를 위해서, 증강 현실 컨텐츠 제공서버에 3D 입체 컨텐츠가 제공된다.
도 3 내지 도 5는 실사이즈 제공 기능을 가지는 증강 현실 컨텐츠가 활성화된 상태를 나타낸 도면이다.
배경과 냉장고(300)는 실사 촬영된 이미지이며, 식탁(310)과 의자(320)는 증강 현실 컨텐츠 제공서버에서 제공된 입체 영상 컨텐츠이다.
도시한 바와 같이, 실사의 동영상 이미지에 식탁(310)와 의자(320)의 입체 영상 컨텐츠가 합성된 이미지가 모바일 기기의 디스플레이부에 표시되는 것이다.
디스플레이부에는 커멘드창(400)이 함께 표시된다.
식탁과 의자 세트와 같은 실사이즈 구현 기능을 가지는 컨텐츠의 경우에는 커멘드창(400)에 위치 조절 스위치(410, 420)와 실사이즈화 스위치(430)가 생성된다. 위치 조절 스위치(410,420)는 전후좌우 조절을 위한 전후좌우 조절 스위치(410)와, 놓여진 각도를 조절하는 회전 조절 스위치(420)를 포함할 수 있다.
초기화 컨텐츠를 실행하면서, 모바일기기는 피사체에서 지면을 인식하고 지면과의 거리를 측정한다. 지면과의 거리는 실사이즈 컨텐츠 생성에 활용된다.
사용자가 실사이즈화 스위치(430)를 조작하면, 인식된 지면 상에 식탁(310)의 투영 이미지(310A)가 표시된다.
투영 이미지(310A)를 사용자가 드래그 등의 터치 조작을 통해서 인식된 바닥면 상에서의 위치를 조절할 수 있다. 이 때 위치의 조절은 직교 방향의 전후좌우 이동과, 놓여진 각도를 조절하는 회전 조절이 될 수 있다.
전후좌우이동을 위해서 전후좌우 조절 스위치(410)를 터치하면, 도 4에 표시된 바와 같이 투영 이미지(310A) 상에 전후좌우 조절 표시가 나타나며, 이 상태에서 화면의 터치 조작에 따라 식탁(310)이 놓여진 위치가 전후 좌우로 조절된다.
놓여진 각도를 조절하기 위해서 회전 조절 스위치(420)를 터치하면, 도 5에 표시된 바와 같이 투영 이미지(310A) 상에 회전 조절 표시가 나타나며, 이 상태에서 화면의 터치 조작에 따라 식탁(310)이 놓여진 각도가 시계방향 또는 반시계방향으로 회전하며 변화하게 된다.
도 6은 도 3과 동일한 식탁과 의자 증강 현실 컨텐츠를 제공받는 상태에서 모바일 기기를 들고 이동하여 촬영되는 부분의 각도를 변경한 상태를 나타낸 것이다.
모바일 기기는 손에 들고 다양한 각도로 이동시킬 수 있는 특성을 가지는데, 이러한 특성을 이용하여, 지면을 기준으로 놓여진 증강 현실 컨텐츠의 다양한 면을 볼 수 있다.
즉, 식탁과 의자가 바닥에 놓여진 것처럼 화면에 중첩되어 제공될 뿐 아니라, 모바일 기기를 들고 여기 저기 이동함에 따라 제공되는 컨텐츠의 다양한 각도에서의 모습을 볼 수 있게 된다.
이러한 연산 과정은 증강 현실 컨텐츠 제공서버에서 이루어진다. 서버에 저장되어 있는 3차원 입체 영상 정보는 카메라부에서 촬영되는 이미지를 이미지프로세싱을 통해서 3차원 가상공간에서 증강 현실 컨텐츠를 생성하고, 카메라부의 움직임에 따라 증강 현실 컨텐츠의 뷰 앵글을 바꾸는 등의 연산을 통해서 실제로 제품이 놓여져 있을 때 촬영하는 것과 같은 다양한 컨텐츠 정보를 제공할 수 있게 되는 것이다.
도 7 및 도 8은 실사이즈 제공 기능과 사이즈 선택 기능을 가지는 증강 현실 컨텐츠가 활성화된 상태를 나타낸 도면이다.
예를 들어, 반지와 같이 사이즈가 다양한 물품의 경우에는 커멘드창(400)에 반지의 사이즈를 선택하는 사이즈선택 스위치(440)이 표시될 수 있다.
반지는 여러 가지 크기를 가지고 있는데, 사용자가 자신이 착용하는 반지의 정확한 호수를 모르는 경우 구매하기에 어려움이 있다.
이러한 경우, 사용자가 자신이 사용하던 반지를 빼 놓고, 반지 증강 현실 컨텐츠를 실행시켜, 다양한 크기의 반지를 증강 현실로 자신의 반지 크기와 비교하여 자신의 반지의 사이즈를 식별할 수 있도록 할 수 있다.
커멘드창(400)에 표시되는 사이즈선택 스위치(440)를 조절하여, 증강 현실에서 다양한 크기의 반지의 구현할 수 있고, 다양한 크기의 증강 현실 반지(520,530)와 실제 자신이 소유하고 있는 반지(510)의 크기를 육안으로 확인하여 자신에게 맞는 크기를 선택할 수 있다.
다른 예로, 영화 포스터를 증강 현실 컨텐츠의 마커로 하고, 관련 증강 현실 컨텐츠로 영화 주인공의 3차원 영상을 활용할 수 있다.
이러한 경우, 영화 주인공이 실제 사이즈로 주변 실사 배경과 합성되어 디스플레이부에 표시되므로, 피사체인 실제 인물과 기념 촬영을 할 수도 있다.
영화 주인공이 증강 현실 컨텐츠로 제공되는 경우, 피사체인 실제 인물의 동작을 인식하여, 인식된 동작으로부터 증강 현실 컨텐츠가 상호 작용하도록 할 수도 있다.
예를 들어, 피사체의 실제 인물이 악수하는 듯 손을 내밀면 그에 맞게 영화주인공도 악수하는 듯 손을 내미는 포즈를 취할 수 있고, 기념 촬영하듯 카메라부를 응시하며 웃을 경우, 증강 현실 컨텐츠의 영화 주인공도 카메라부를 응시하며 미소짓는 영상을 합성하여 제공할 수 있다.
명함을 마커로 이용하는 경우, 증강 현실 컨텐츠에는 명함자의 소개 동영상등이나 제품 홍보 영상 등을 증강 현실 컨텐츠로 제공할 수 있다.
상기와 같이 본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 그러므로, 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.
100 : 모바일 기기
110 : 카메라부
120 : 디스플레이부
130 : 거리측정부
140 : 모션센서부
150 : AR어플리케이션
200 : 증강 현실 컨텐츠 제공서버

Claims (8)

  1. 삭제
  2. 삭제
  3. 실시간 동영상을 촬영할 수 있는 카메라부와, 상기 카메라부에서 촬영된 이미지를 실시간으로 표시하는 터치스크린 방식의 디스플레이부와, 상기 카메라부와 피사체 사이의 거리를 측정할 수 있는 거리측정부와, 모바일기기의 움직임과 위치를 감지하는 모션센서를 포함하는 모바일 기기와, 상기 모바일 기기와 무선통신으로 연결되어 정보를 주고 받으며, 상기 모바일 기기에서 촬영된 영상을 이미지프로세싱하여 실제 공간의 바닥면과의 거리와, 상기 모바일 기기와 바닥면과의 각도를인식하고, 인식된 거리와 각도에 부합하는 증강 현실 컨텐츠를 상기 모바일 기기로 제공하는 증강 현실 컨텐츠 제공서버를 이용한 증강 현실 컨텐츠 제공 방법에 있어서,
    상기 모바일기기에 설치된 어플리케이션을 실행하여 상기 카메라부를 활성화하여 실시간으로 영상을 촬영하고 디스플레이부에 표시하는 단계;
    상기 촬영된 영상에서 마커가 존재하는지 여부를 식별하는 단계;
    상기 모바일 기기에서 식별된 마커에 관한 정보와, 상기 모바일기기에서 촬영된 영상 정보를 상기 증강 현실 컨텐츠 제공서버로 전달하여 증강 현실 컨텐츠를 요청하는 단계;
    상기 증강 현실 컨텐츠 제공서버에서 증강 현실 컨텐츠를 상기 모바일 기기로 전송할 증강 현실 컨텐츠를 생성하여 전달하는 단계; 및
    상기 모바일 기기에서 전달된 증강 현실 컨텐츠를 디스플레이부에 표시하는 단계;를 포함하며,
    상기 증강 현실 컨텐츠 제공서버는 상기 촬영된 영상에서 피사체 인물의 동작을 인식하여, 인식된 동작으로부터 증강 현실 컨텐츠가 상호작용하도록 하며,
    상기 모바일 기기의 위치 변화에 따라서,
    상기 증강 현실 컨텐츠 제공버서는 3차원 증강 현실 컨텐츠의 화면에 표시되는 크기가 실사와 합성되었을 때 실제의 크기에 대응하도록 생성하여 모바일 기기로 전송하는 것을 특징으로 하는 증강 현실 구현 방법.
  4. 삭제
  5. 제 3 항에 있어서,
    상기 증강 현실 컨텐츠 제공서버는 3차원 증강 현실 컨텐츠의 뷰를 모바일 기기의 위치 변화에 대응하도록 변환하여 생성한 후 전송하는 것을 특징으로 하는 증강 현실 구현 방법.
  6. 제 3 항에 있어서,
    상기 증강현실 컨텐츠 제공서버는 상기 모바일 기기로 상기 증강 현실 컨텐츠를 제공함과 동시에 컨트롤 프로그램 모듈을 전송하는 것을 특징으로 하는 증강 현실 구현 방법.
  7. 제 6 항에 있어서,
    상기 컨트롤 프로그램 모듈은
    상기 모바일 기기에서 증강 현실 컨텐츠를 제어하기 위한 커멘드창을 실행하는 것을 특징으로 하는 증강 현실 구현 방법.
  8. 제 7 항에 있어서,
    상기 커멘드창에는
    위치 조절 스위치, 실사이즈화 스위치를 포함하는 것을 특징으로 하는 증강 현실 구현 방법.
KR1020130099804A 2013-08-22 2013-08-22 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법 KR101539087B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130099804A KR101539087B1 (ko) 2013-08-22 2013-08-22 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130099804A KR101539087B1 (ko) 2013-08-22 2013-08-22 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법

Publications (2)

Publication Number Publication Date
KR20150022233A KR20150022233A (ko) 2015-03-04
KR101539087B1 true KR101539087B1 (ko) 2015-07-29

Family

ID=53020280

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130099804A KR101539087B1 (ko) 2013-08-22 2013-08-22 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법

Country Status (1)

Country Link
KR (1) KR101539087B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3312801A1 (en) 2016-10-18 2018-04-25 DS Global Method and system for providing augmented reality content using user-edited image
KR20200031460A (ko) 2018-09-14 2020-03-24 김준현 이미지 인식을 통한 ar 콘텐츠 제공방법
US11638472B2 (en) 2017-11-06 2023-05-02 Ds Global Sticker with user-edited image printed thereon and method for manufacturing same

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101882951B1 (ko) * 2017-12-29 2018-07-27 주식회사테스앤테스 마커 인식과 오픈 플랫폼을 이용한 통합 실습장치
KR102280716B1 (ko) * 2019-11-25 2021-07-22 윤석희 증강현실 제공 서버 및 이를 이용한 증강현실 기반의 콘텐츠 재생 방법

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256876A (ja) * 2002-03-04 2003-09-12 Sony Corp 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003256876A (ja) * 2002-03-04 2003-09-12 Sony Corp 複合現実感表示装置及び方法、記憶媒体、並びにコンピュータ・プログラム

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
모바일 환경 증강현실 콘텐츠 현장 저작 인터페이스, 한국콘텐츠학회 제10권7호(2010.7) *
야외 증강현실기반의 문화유적지 3D모델 시각화시스템, 한국전자통신학회 제8권3호(2013.3) *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3312801A1 (en) 2016-10-18 2018-04-25 DS Global Method and system for providing augmented reality content using user-edited image
US10339383B2 (en) 2016-10-18 2019-07-02 Ds Global Method and system for providing augmented reality contents by using user editing image
US11638472B2 (en) 2017-11-06 2023-05-02 Ds Global Sticker with user-edited image printed thereon and method for manufacturing same
KR20200031460A (ko) 2018-09-14 2020-03-24 김준현 이미지 인식을 통한 ar 콘텐츠 제공방법

Also Published As

Publication number Publication date
KR20150022233A (ko) 2015-03-04

Similar Documents

Publication Publication Date Title
US9939914B2 (en) System and method for combining three-dimensional tracking with a three-dimensional display for a user interface
EP2956843B1 (en) Human-body-gesture-based region and volume selection for hmd
CN102959616B (zh) 自然交互的交互真实性增强
JP7079231B2 (ja) 情報処理装置及び情報処理システム及び制御方法、プログラム
US9619105B1 (en) Systems and methods for gesture based interaction with viewpoint dependent user interfaces
US20130229396A1 (en) Surface aware, object aware, and image aware handheld projector
US20130207962A1 (en) User interactive kiosk with three-dimensional display
JP6478360B2 (ja) コンテンツ閲覧
KR101539087B1 (ko) 모바일 기기를 이용한 증강 현실 구현 장치 및 증강 현실 구현 방법
US20100053151A1 (en) In-line mediation for manipulating three-dimensional content on a display device
TW201104494A (en) Stereoscopic image interactive system
JP2013521544A (ja) 拡張現実のポインティング装置
TW201214266A (en) Three dimensional user interface effects on a display by using properties of motion
Hoberman et al. Immersive training games for smartphone-based head mounted displays
JP2013156889A (ja) 移動制御装置、移動制御装置の制御方法、及びプログラム
EP3172721B1 (en) Method and system for augmenting television watching experience
US9594461B1 (en) Apparatus and method of hosting or accepting hologram images and transferring the same through a holographic or 3-D camera projecting in the air from a flat surface
JP2017033294A (ja) ３次元描画システム及び３次元描画プログラム
JP2013168120A (ja) 立体画像処理装置、立体画像処理方法、及びプログラム
WO2016102948A1 (en) Coherent touchless interaction with stereoscopic 3d images
TWI512547B (zh) 互動式系統及互動式裝置
US20140168165A1 (en) Electronic device with virtual touch function and instant adjusting method for virtual touch
US20180125605A1 (en) Method and system for correlating anatomy using an electronic mobile device transparent display screen
Olwal An introduction to augmented reality
JP5520772B2 (ja) 立体画像の表示システム及び表示方法

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180717

Year of fee payment: 4