KR100789100B1 - 모바일 증강 현실 서비스 시스템 및 방법 - Google Patents

모바일 증강 현실 서비스 시스템 및 방법 Download PDF

Info

Publication number
KR100789100B1
KR100789100B1 KR1020070007386A KR20070007386A KR100789100B1 KR 100789100 B1 KR100789100 B1 KR 100789100B1 KR 1020070007386 A KR1020070007386 A KR 1020070007386A KR 20070007386 A KR20070007386 A KR 20070007386A KR 100789100 B1 KR100789100 B1 KR 100789100B1
Authority
KR
South Korea
Prior art keywords
terminal
target terminal
image
augmented reality
information
Prior art date
Application number
KR1020070007386A
Other languages
English (en)
Inventor
김진식
Original Assignee
에스케이 텔레콤주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이 텔레콤주식회사 filed Critical 에스케이 텔레콤주식회사
Application granted granted Critical
Publication of KR100789100B1 publication Critical patent/KR100789100B1/ko

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)

Abstract

본 발명은 적어도 하나 이상의 이동통신 단말을 이용하여 실제 현실 화면에 가상 이미지를 처리하여 증강된 현실을 보여주는 서비스를 제공하는 모바일 증강 현실 서비스 시스템 및 방법에 관한 것이다.
본 발명은 이동 통신망과 연결되어, 이동통신 단말과 모바일 증강 현실 서비스 시스템 간의 정보 송수신 기능을 수행하는 정보 송수신부; 적어도 하나 이상의 이동통신 단말을 각각 가상 이미지를 적용할 증강 현실(Augmented Reality; AR) 대상 단말과 증강 현실 대상 단말을 촬영하여 실제 이미지 데이터를 제공할 증강 현실 시청 단말로 설정하여 저장 및 관리하는 AR 가입자 등록부; AR 대상 단말과 AR 시청 단말이 시스템에 접속하여 초기 위치 및 자세 설정을 요청함에 따라 AR 대상 단말과 AR 시청 단말로부터 전송되는 초기 위치 및 자세 정보를 초기 정보로 설정하여 저장하고, 이후 AR 대상 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, AR 시청 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, AR 대상 단말이 촬영된 실제 이미지 데이터를 변경 정보로 하여 저장 및 관리하는 데이터 수집부; 기 저장되어 있는 AR 이미지 리스트를 AR 대상 단말로 전송하여, AR 이미지 리스트 중 가상 이미지로 사용할 이미지를 선택하도록 하고, AR 대상 단말로부터 전송되는 AR 이미지 선택 정보를 저장하는 AR 이미지 설정부; 데이터 수집부에 의해 수집된 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보로부터 AR 대상 단말과 AR 시청 단말의 상대적인 위치 및 자세를 파악하는 위치 및 자세 파악 부; 및 위치 및 자세 파악부에 의해서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에 가상 이미지 데이터를 적용하고, 이를 정보 송수신부를 통해 AR 시청 단말로 전송하는 AR 이미지 생성부를 포함하여, 이동통신 단말 만을 움직임으로 해서 실제로 소지하고 있지 않은 동적인 가상 이미지를 합성한 이미지를 사용자에게 제공할 수 있다는 장점이 있다.
증강현실

Description

모바일 증강 현실 서비스 시스템 및 방법{Mobile Augment Reality Service System and Method}
도 1은 본 발명에 의한 모바일 증강 현실 서비스 시스템과 통신망의 연결 관계를 나타내는 도면,
도 2는 본 발명에 의한 모바일 증강 현실 서비스 방법을 간략하게 설명하기 위한 도면,
도 3은 본 발명의 일 실시예에 의한 모바일 증강 현실 서비스 시스템의 구성을 상세하게 나타내는 도면,
도 4는 본 발명에 의한 이동통신 단말의 초기 위치 및 자세 설정 방법을 설명하기 위한 도면,
도 5는 본 발명에 의한 데이터 수집 방법을 설명하기 위한 도면,
도 6은 본 발명에 의한 실제 이미지에 가상 이미지를 합성하는 방법을 설명하기 도면,
도 7은 본 발명의 일 실시예에 의한 모바일 증강 현실 서비스 방법을 설명하기 위한 흐름도,
도 8은 본 발명의 다른 실시예에 의한 모바일 증강 현실 서비스 시스템의 상세 구성도,
도 9는 본 발명의 다른 실시예에 의한 모바일 증강 현실 서비스 방법을 설명하기 위한 흐름도이다.
<도면의 주요한 부분에 대한 부호의 설명>
10, 30 : 이동통신 단말 110 : BTS
130 : BSC 150 : PDSN
200 : 모바일 증강 현실 서비스 시스템 210 : AR 가입자 등록부
220 : 데이터 수집부 230 : AR 이미지 설정부
240 : 위치 및 자세 파악부 250 : AR 이미지 생성부
260 : 정보 송수신부 270 : 데이터베이스
271 : 가입자 등록 정보 DB 273 : 위치 및 자세 정보 DB
275 : 실제 이미지 정보 DB 277 : AR 이미지 정보 DB
279 : 효과음 DB 280 : 효과음 설정부
290 : 속도 계산부
본 발명은 모바일 증강 현실 서비스 시스템에 관한 것으로서, 보다 상세하게는 적어도 하나 이상의 이동통신 단말을 이용하여 실제 현실 화면에 가상 이미지를 처리하여 증강된 현실을 보여주는 서비스를 제공하는 모바일 증강 현실 서비스 시스템 및 방법에 관한 것이다.
현재, 증강 현실(Augment Reality, 이하 'AR'이라 함) 기술은 실제 현실 물체에 가상 현실을 추가하고자 하는 경우, 물체 표면에 문양 등을 표시하여 가상 현실을 추가할 대상이라는 것을 나타내었다. 증강 현실 서비스를 제공하는 AR 시스템은 물체 표면에 표시된 문양 등을 확인하여 가상 현실을 추가할 대상이라는 것을 인식하고, 해당 물체에 실제 이미지 대신 AR의 가상 이미지를 대체하였다.
그러나, AR의 대상 물체와 AR 시스템 간의 거리가 멀거나 혹은 AR 대상 물체의 자세가 변경되면, AR 시스템에서 AR 대상 물체에 표시된 문양을 시각적으로 인식하지 못하기 때문에, AR 대상 물체를 멀리 위치시키거나 AR 대상 물체의 자세 및 방향을 사용자 마음대로 변경하지 못하는 문제점이 발생한다.
또한, 상기에서 개시한 AR 기술은 기술 구현 시마다 AR 대상 물체에 다른 물체와 구별될 수 있는 문양을 표시해야 하는 번거로움이 따른다.
본 발명은 상술한 문제점을 해결하기 위하여 안출된 것으로서, 위치 변화 및 자세 변화를 감지할 수 있는 장치가 내장된 이동통신 단말의 위치 변화 및 자세 변화를 주기적으로 감지하고, 감지된 정보를 기초로 증강 현실 촬영 대상과 증강 현실 시청 대상의 상대적인 위치 및 자세를 파악하여 가상 이미지를 반영하는 모바일 증강 현실 서비스 시스템 및 방법을 제공하는데 그 기술적 과제가 있다.
본 발명의 다른 기술적 과제는 모바일 증강 현실 서비스에 따른 가상 이미지를 제공할 때 효과음을 함께 제공함으로써 증강 현실의 현실감을 극대화하고자 하는 데 있다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 의한 모바일 증강 현실 서비스 시스템은 위치 및 자세 정보를 측정하는 관성 측정 기능을 구비한 이동통신 단말을 이용하여, 실제 이미지에 가상 이미지를 적용하여 서비스를 제공하는 모바일 증강 현실 서비스 시스템으로서,
이동 통신망과 연결되어, 이동통신 단말과 모바일 증강 현실 서비스 시스템 간의 정보 송수신 기능을 수행하는 정보 송수신부; 적어도 하나 이상의 이동통신 단말을 각각 가상 이미지를 적용할 증강 현실(Augmented Reality; AR) 대상 단말과 상기 증강 현실 대상 단말을 촬영하여 실제 이미지 데이터를 제공할 증강 현실 시청 단말로 설정하여 저장 및 관리하는 AR 가입자 등록부; 상기 AR 대상 단말과 AR 시청 단말이 시스템에 접속하여 초기 위치 및 자세 설정을 요청함에 따라 상기 AR 대상 단말과 AR 시청 단말로부터 전송되는 초기 위치 및 자세 정보를 초기 정보로 설정하여 저장하고, 이후 상기 AR 대상 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, 상기 AR 시청 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, AR 대상 단말이 촬영된 실제 이미지 데이터를 변경 정보로 하여 저장 및 관리하는 데이터 수집부; 기 저장되어 있는 AR 이미지 리스트를 상기 AR 대상 단말로 전송하여, AR 이미지 리스트 중 가상 이미지로 사용할 이미지를 선택하도록 하고, AR 대상 단말로부터 전송되는 AR 이미지 선택 정보를 저장하는 AR 이미지 설정부; 상기 데이터 수집부에 의해 수집된 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보로부터 AR 대상 단말과 AR 시청 단말의 상대적인 위치 및 자세를 파악 하는 위치 및 자세 파악부; 및 상기 위치 및 자세 파악부에 의해서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에 가상 이미지 데이터를 적용하고, 이를 정보 송수신부를 통해 AR 시청 단말로 전송하는 AR 이미지 생성부;를 포함한다.
또한, 본 발명의 일 실시예에 의한 모바일 증강 현실 서비스 방법은 위치 및 자세 정보를 측정하는 관성 측정 기능을 구비한 이동통신 단말을 이용하여, 실제 이미지에 가상 이미지를 적용하여 서비스를 제공하는 모바일 증강 현실 서비스 시스템을 이용한 모바일 증강 현실 서비스 방법으로서,
모바일 증강 현실 서비스 시스템이 적어도 하나 이상의 이동통신 단말로부터 각각 가상 이미지를 적용할 증강 현실(Augmented Reality; AR) 대상 단말과 상기 증강 현실 대상 단말을 촬영하여 실제 이미지 데이터를 제공할 증강 현실 시청 단말로 설정을 요청하는 신호를 수신하면, 해당 단말을 각각 AR 대상 단말과 AR 시청 단말로 설정하는 제1단계; 상기 AR 대상 단말과 AR 시청 단말이 초기 위치 및 자세 설정을 요청함에 따라 상기 AR 대상 단말과 AR 시청 단말로부터 전송되는 초기 위치 및 자세 정보를 초기 정보로 설정하여 저장하는 제2단계; 이후, 상기 AR 대상 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와 상기 AR 시청 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와 AR 대상 단말이 촬영된 실제 이미지 데이터를 변경 정보로 하여 저장하는 제3단계; 기 저장되어 있는 AR 이미지 리스트를 상기 AR 대상 단말로 전송하여, 상기 AR 이미지 리스트 중 가상 이미지로 사용할 이미지를 선택하도록 하고, AR 대상 단말로부터 전송되는 AR 이미지 선택 정보를 수신하여 AR 이미지로 설정하는 제4단계; 상기 제2단계와 제3단계에서 수집된 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보로부터 AR 대상 단말과 AR 시청 단말의 상대적인 위치 및 자세를 파악하는 제5단계; 및 상기 제5단계에서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에 제4단계에서 선택된 가상 이미지 데이터를 합성하고, 이를 AR 시청 단말로 전송하는 제6단계;를 포함한다.
한편, 본 발명의 다른 실시예에 의한 모바일 증강 현실 서비스 시스템은 위치 및 자세 정보를 측정하는 관성 측정 기능을 구비한 이동통신 단말을 이용하여, 실제 이미지에 가상 이미지를 적용하여 서비스를 제공하는 모바일 증강 현실 서비스 시스템으로서, 이동 통신망과 연결되어, 이동통신 단말과 모바일 증강 현실 서비스 시스템 간의 정보 송수신 기능을 수행하는 정보 송수신부; 적어도 하나 이상의 이동통신 단말을 각각 가상 이미지를 적용할 증강 현실(Augmented Reality; AR) 대상 단말과 상기 증강 현실 대상 단말을 촬영하여 실제 이미지 데이터를 제공할 증강 현실 시청 단말로 설정하여 저장 및 관리하는 AR 가입자 등록부; 상기 AR 대상 단말과 AR 시청 단말이 시스템에 접속하여 초기 위치 및 자세 설정을 요청함에 따라 상기 AR 대상 단말과 AR 시청 단말로부터 전송되는 초기 위치 및 자세 정보를 초기 정보로 설정하여 저장하고, 이후 상기 AR 대상 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, 상기 AR 시청 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, AR 대상 단말이 촬영된 실제 이미지 데이터를 변경 정보로 하여 저장 및 관리하는 데이터 수집부; 기 저장되어 있는 AR 이미지 리스트를 상기 AR 대상 단말로 전송하여, AR 이미지 리스트 중 가상 이미지로 사용할 이미지 를 선택하도록 하고, AR 대상 단말로부터 전송되는 AR 이미지 선택 정보를 저장하는 AR 이미지 설정부; AR 이미지에 따라 매칭되어 기 저장되어 있는 효과음 리스트를 상기 AR 대상 단말로 전송하여 효과음을 선택하도록 하고, 상기 AR 대상 단말로부터 전송되는 효과음을 저장하는 효과음 설정부; 상기 데이터 수집부에 의해 수집된 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보로부터 AR 대상 단말과 AR 시청 단말의 상대적인 위치 및 자세를 파악하는 위치 및 자세 파악부; 및 상기 위치 및 자세 파악부에 의해서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에 가상 이미지 데이터를 적용하고, 상기 효과음 설정부에서 저장한 효과음을 삽입하여 정보 송수신부를 통해 AR 시청 단말로 전송하는 AR 이미지 생성부;를 포함한다.
아울러, 본 발명의 다른 실시예에 의한 모바일 증강 현실 서비스 방법은 위치 및 자세 정보를 측정하는 관성 측정 기능을 구비한 이동통신 단말을 이용하여, 실제 이미지에 가상 이미지를 적용하여 서비스를 제공하는 모바일 증강 현실 서비스 시스템을 이용한 모바일 증강 현실 서비스 방법으로서, 모바일 증강 현실 서비스 시스템이 적어도 하나 이상의 이동통신 단말로부터 각각 가상 이미지를 적용할 증강 현실(Augmented Reality; AR) 대상 단말과 상기 증강 현실 대상 단말을 촬영하여 실제 이미지 데이터를 제공할 증강 현실 시청 단말로 설정을 요청하는 신호를 수신하면, 해당 단말을 각각 AR 대상 단말과 AR 시청 단말로 설정하는 제1단계; 상기 AR 대상 단말과 AR 시청 단말이 초기 위치 및 자세 설정을 요청함에 따라 상기 AR 대상 단말과 AR 시청 단말로부터 전송되는 초기 위치 및 자세 정보를 초기 정보 로 설정하여 저장하는 제2단계; 이후, 상기 AR 대상 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와 상기 AR 시청 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와 AR 대상 단말이 촬영된 실제 이미지 데이터를 변경 정보로 하여 저장하는 제3단계; 기 저장되어 있는 AR 이미지 리스트를 상기 AR 대상 단말로 전송하여, 상기 AR 이미지 리스트 중 가상 이미지로 사용할 이미지를 선택하도록 하고, AR 대상 단말로부터 전송되는 AR 이미지 선택 정보를 수신하여 AR 이미지로 설정하는 제4단계; 상기 AR 이미지에 매칭되어 기 저장되어 있는 효과음 리스트를 상기 AR 대상 단말로 전송하여, 상기 효과음 리스트 중 어느 하나를 선택하도록 하고, 상기 AR 대상 단말로부터 전송되는 효과음 선택 정보를 수신하여 효과음으로 설정하는 제5단계; 상기 제2단계와 제3단계에서 수집된 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보로부터 AR 대상 단말과 AR 시청 단말의 상대적인 위치 및 자세를 파악하는 제6단계; 및 상기 제6단계에서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에 제4단계에서 선택된 가상 이미지 데이터를 합성하고, 상기 제5단계에서 선택된 효과음을 합성한 후, AR 시청 단말로 전송하는 제7단계;를 포함한다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 보다 상세히 설명하기로 한다.
도 1은 본 발명에 의한 모바일 증강 현실 서비스 시스템과 통신망의 연결 관계를 나타내는 도면으로서, 모바일 증강 현실 서비스 방법을 간략하게 설명하기 위한 도 2를 참조하여 설명하기로 한다.
모바일 증강 현실 서비스 시스템(200)은 이동 통신망(110, 130, 150)을 통해 증강 현실(Augmented Reality; AR) 대상 단말(이하, 'AR 대상 단말'이라 함)(10) 및 증강 현실 시청 단말(이하, 'AR 시청 단말'이라 함)(30)과 통신을 수행하며, 실제 이미지에 가상 이미지를 합성하는 증강 현실 서비스를 제공한다.
도 2를 참조하여 보다 상세히 설명하면, 모바일 증강 현실 서비스 시스템(200)은 AR 대상 단말(10)과 AR 시청 단말(30)로부터 전송되는 등록 정보와 초기 위치 및 자세 정보를 수신하면, 이를 이용하여 AR 대상 단말과 AR 시청 단말로 각각 구분하고, 해당 단말에 대한 초기 위치 및 자세 정보를 저장한다(①).
이후, 모바일 증강 현실 서비스 시스템(200)은 AR 대상 단말(10)과 AR 시청 단말(30)로부터 실시간으로 전송되는 촬영된 실제 이미지 데이터와 변경된 위치 및 자세 정보를 수신하고(②), 수신된 정보를 기초로 AR 대상 단말(10)과 AR 시청 단말(30) 간의 상대적 위치를 파악하여 실제 이미지에 가상 이미지를 합성하여 AR 시청 단말(30)로 전송한다(③). 여기에서, 촬영된 실제 이미지 데이터는 AR 시청 단말(30)이 AR 대상 단말(10)을 촬영함에 따라, AR 시청 단말(30)로부터 전송되는 데이터이다.
도 1에서 개시하는 AR 대상 단말(10)과 AR 시청 단말(30)은 자신의 위치 및 자세를 측정할 수 있는 관성 측정 장치(Inertial Measurement Unit; IMU)를 구비하며 이동 통신망을 통해 특정 서버와 데이터 통신 수행이 가능한 단말로, PCS, 휴대폰, PDA, DMB 폰과 같은 이동통신 단말을 의미한다.
도 3은 본 발명에 의한 모바일 증강 현실 서비스 시스템의 구성을 상세하게 나타내는 도면으로서, 이동통신 단말의 초기 위치 및 자세 설정 방법을 설명하기 위한 도 4와 데이터 수집 방법을 설명하기 위한 도 5 및 가상 이미지 합성 방법을 설명하기 위한 도 6을 참조하여 설명하기로 한다.
도시하는 것과 같이, 모바일 증강 현실 서비스 시스템(200)은 데이터베이스(270), AR 가입자 등록부(210), 데이터 수집부(220), AR 이미지 설정부(230), 위치 및 자세 파악부(240), AR 이미지 생성부(250) 및 정보 송수신부(260)를 포함한다.
보다 상세히 설명하면, 데이터베이스(270)는 AR 대상 단말 정보와 AR 시청 단말 정보를 각각 구분하여 저장하는 가입자 등록 정보 DB(271), AR 대상 단말(10)과 AR 시청 단말(30)로부터 전송되는 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보를 저장하는 위치 및 자세 정보 DB(273), AR 시청 단말(30)에 의해 촬영된 AR 대상 단말(10)의 실제 이미지를 저장하는 실제 이미지 정보 DB(275) 및 실제 이미지에 합성하기 위해 미리 생성한 복수의 가상 이미지를 저장하는 AR 이미지 정보 DB(277)를 포함한다.
정보 송수신부(260)는 이동 통신망과 연결되어, 이동통신 단말(AR 대상 단말과 AR 시청 단말 포함)과 모바일 증강 현실 서비스 시스템(200) 간의 정보 송수신 기능을 수행한다.
AR 가입자 등록부(210)는 적어도 하나 이상의 이동통신 단말을 각각 가상 이미지를 적용할 증강 현실(Augmented Reality; AR) 대상 단말(이하 'AR 대상 단말' 이라 함)(10)과 상기 증강 현실 대상 단말을 촬영하여 실제 이미지 데이터를 제공할 증강 현실 시청 단말(이하 'AR 시청 단말'이라 함)(30)로 설정하여 등록하면, 이를 데이터베이스(260)에 저장 및 관리한다.
데이터 수집부(220)는 AR 대상 단말(10)과 AR 시청 단말(30)이 모바일 증강 현실 서비스 시스템(200)에 접속하여 초기 위치 및 자세 설정을 요청함에 따라 AR 대상 단말(10)과 AR 시청 단말(30)로부터 전송되는 초기 위치 및 자세 정보를 초기 정보로 설정하여 데이터베이스(260)에 저장한다.
예를 들어, AR 시청 단말(30)과 AR 대상 단말(10)의 초기 위치 및 자세를 설정하는 방법은 도 4에서 도시하는 것과 같이, AR 시청 단말(30)과 AR 대상 단말(10)을 평형 상태로 밀착시킨 후, 모바일 증강 현실 서비스 시스템(200)에 접속하여 양 단말의 초기 위치 및 자세 정보를 시스템으로 전송하는 것이다.
상기 양 단말의 초기 위치 및 자세 정보는 X, Y, Z 좌표로 구성된 위치 정보와 X, Y, Z축 방향의 회전각으로 구성된 자세 정보를 포함하는데, AR 대상 단말(10)의 초기치는 예를 들어, X, Y, Z 좌표는 0이고, X, Y, Z축 회전각은 0이며, AR 시청 단말(30)의 초기치는 예를 들어, X, Z 좌표는 0이고, Y 좌표는 단말의 폭이며 X, Y, Z축 회전각은 0이다. 여기에서, AR 시청 단말(30)의 Y 좌표가 단말의 폭이 되는 이유는 양 단말의 초기 위치 및 자세를 설정할 때, AR 대상 단말(10)과 AR 시청 단말(30)을 도 4와 같이 평형 상태로 위치시키기 때문이다.
또한, 데이터 수집부(220)는 AR 대상 단말(10)로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, AR 시청 단말(30)로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, AR 대상 단말(10)이 촬영된 실제 이미지 데이터를 변경 정보로 하여 데이터베이스(260)에 저장 및 관리한다.
예를 들어, 도 5에서 도시하는 것과 같이, 데이터 수집부(220)는 AR 대상 단말(10)로부터 전송되는 변경된 위치 및 자세 정보를 수신하고(①), AR 시청 단말(30)로부터 촬영된 실제 이미지와 함께 변경된 위치 및 자세 정보를 수신한다(②).
상기 AR 대상 단말(10)과 AR 시청 단말(30)은 위치 및 자세 정보를 측정하기 위한 관성 측정 장치(Inertial Measurement Unit; IMU)를 각각 구비하며, 데이터 수집부(220)는 AR 대상 단말(10)과 AR 시청 단말(30)로부터 전송되는 관성 측정 장치에 의해서 측정된 X, Y, Z 좌표로 구성된 위치 정보와 X, Y, Z축 방향의 회전각으로 구성된 자세 정보를 수신한다.
상기 관성 측정 장치는 속도의 변화량인 가속도를 측정하는 가속도계나 물체가 회전하는 속도(각속도)를 측정하는 센서인 자이로스코프를 통칭하는 것으로, 본 발명에서는 AR 대상 단말(10)과 AR 시청 단말(30)에 탑재되어 현재 측정한 가속도로 어느 정도 이동했는지를 파악하고, 3차원의 X, Y, Z축 방향의 회전각을 측정하여 물체의 현재 자세/방향을 측정한다. 즉, 후술하는 위치 및 자세 파악부(240)는 관성 측정 장치에 의해 측정된 값을 이용하여 AR 대상 단말(10) 또는 AR 시청 단말(30)이 초기 위치에서 어떤 방향으로 어느 정도 이동했는지 위치 및 자세 변화를 파악할 수 있다.
AR 이미지 설정부(230)는 데이터베이스(260)에 기 저장되어 있는 AR 이미지 리스트를 AR 대상 단말(10)로 전송하여, AR 이미지 리스트 중 가상 이미지로 사용할 이미지를 선택하도록 하고, AR 대상 단말(10)로부터 전송되는 AR 이미지 선택 정보를 데이터베이스(260)에 저장한다.
위치 및 자세 파악부(240)는 데이터 수집부(220)에 의해 수집된 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보에 벡터 연산을 적용하여 AR 대상 단말과 AR 시청 단말의 상대적인 위치 및 자세를 파악한다.
예를 들어, AR 시청 단말(30)의 변경된 위치 좌표값이 a, b, c, 변경된 자세 정보의 회전각이 d, e, f이고, AR 대상 단말(10)의 변경된 위치 좌표값이 i, j, k, 변경된 자세 정보의 회전각이 p, q, r일 경우, 위치 및 자세 파악부(240)는 양 단말에서 전송된 측정치를 벡터 차이계산을 통해 상대적인 위치 좌표값인 i-a, j-b, k-c와 상대적인 회전각인 p-d, q-e, r-f를 산출한다.
이후, 위치 및 자세 파악부(240)는 상대적인 좌표값으로부터 양 단말간의 거리를 계산하여 실제 이미지에 합성될 가상 이미지(예를 들어, 3D 대체물)의 크기를 결정하며, 상대적인 회전각으로부터 가상 이미지의 자세각도를 결정한다.
예를 들어, 상대적인 거리는 (i-a)2+(j-b)2+(k-c)2의 루트값이고, 상대적인 회전각은 (p-d), (q-e), (r-f)이다.
AR 이미지 생성부(250)는 위치 및 자세 파악부에 의해서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에 가상 이미지 데이터를 적용하고, 이를 정보 송수신부(260)를 통해 AR 시청 단말(30)로 전송한다(도 5의 ③).
예를 들어, 도 6에서 도시하는 것과 같이, AR 이미지 생성부(250)는 위치 및 자세 파악부(240)에 의해서 파악된 두 단말 간의 상대적인 위치 및 자세 변화 정보를 이용하여 AR 대상 단말(10)을 손에 쥔 형태의 실제 이미지 데이터(①)에 사용자에 의해서 선택된 가상 이미지 데이터(②)를 합성하여 레이저 검을 손에 쥔 형태의 가상 이미지 데이터(③)를 완성한다.
도 7은 본 발명에 의한 모바일 증강 현실 서비스 방법을 설명하기 위한 흐름도이다.
먼저, 모바일 증강 현실 서비스 시스템(200)의 AR 가입자 등록부(210)는 적어도 하나 이상의 이동통신 단말로부터 각각 가상 이미지를 적용할 증강 현실(Augmented Reality; AR) 대상 단말과 증강 현실 대상 단말을 촬영하여 실제 이미지 데이터를 제공할 증강 현실 시청 단말로 설정을 요청하는 신호를 수신하면, 해당 단말을 각각 AR 대상 단말(10)과 AR 시청 단말(30)로 설정한다(S101).
이어서, 데이터 수집부(220)는 AR 대상 단말(10)과 AR 시청 단말(30)이 초기 위치 및 자세 설정을 요청함에 따라 AR 대상 단말(10)과 AR 시청 단말(30)로부터 전송되는 초기 위치 및 자세 정보를 초기 정보로 설정하여 위치 및 자세 정보 DB(273)에 저장한다(S103).
예를 들어, AR 시청 단말(30)과 AR 대상 단말(10)의 초기 위치 및 자세를 설정하는 방법은 도 4에서 도시하는 것과 같이, AR 시청 단말(30)과 AR 대상 단말(10)을 평형 상태로 밀착시킨 후, 모바일 증강 현실 서비스 시스템(200)에 접속하여 양 단말의 초기 위치 및 자세 정보를 시스템(200)으로 전송하는 것이다.
이후, 데이터 수집부(220)는 AR 대상 단말(10)로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, 상기 AR 시청 단말(30)로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, AR 대상 단말이 촬영된 실제 이미지 데이터를 변경 정보로 하여 위치 및 자세 정보 DB(273)와 실제 이미지 정보 DB(275)에 구분하여 저장한다(S105).
상기 AR 대상 단말(10)과 AR 시청 단말(30)은 위치 및 자세 정보를 측정하기 위한 관성 측정 장치(Inertial Measurement Unit; IMU)를 각각 구비하며, 데이터 수집부(220)는 AR 대상 단말(10)과 AR 시청 단말(30)로부터 전송되는 관성 측정 장치에 의해서 측정된 X, Y, Z 좌표로 구성된 위치 정보와 X, Y, Z축 방향의 회전각으로 구성된 자세 정보를 수신한다.
이어서, AR 이미지 설정부(230)는 기 저장되어 있는 AR 이미지 리스트를 AR 대상 단말(10)로 전송하여, AR 이미지 리스트 중 가상 이미지로 사용할 이미지를 선택하도록 하고(S107), AR 대상 단말(10)로부터 전송되는 AR 이미지 선택 정보를 수신하여 AR 이미지로 설정한다(S109).
위치 및 자세 파악부(240)는 단계 S103과 S105에서 수집된 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보에 벡터 연산을 적용하여 AR 대상 단말(10)과 AR 시청 단말(30)의 상대적인 위치 및 자세를 파악한다(S111).
이후, AR 이미지 생성부(250)는 단계 S111에서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에 단계 S109에서 사용자에 의해 선택된 가상 이미지 데이터를 합성하고, 이를 정보 송수신부(260)를 통해 AR 시청 단말(30)로 전송한 다(S113).
도 8은 본 발명의 다른 실시예에 의한 모바일 증강 현실 서비스 시스템의 상세 구성도이다.
본 실시예에 의한 모바일 증강 현실 서비스 시스템(200-1)은 도 3에 도시한 모바일 증강 현실 서비스 시스템(200)에 더하여, 효과음 DB(279) 및 효과음 설정부(280)를 더 포함하고, 부가적으로 속도 계산부(29)를 더 포함할 수 있다. 추가되는 구성 요소를 제외한 나머지 구성 요소들의 기능은 도 3을 참조하여 상술한 것과 유사다.
효과음 DB(279)에는 AR 이미지 정보와 어울리는 다양한 효과음이 AR 이미지와 매칭되어 저장되는데, 예를 들어, 무기나 도구 등이 움직이는 소리가 될 수 있다. 아울러, 효과음 DB(279)에는 하나의 AR 이미지 정보에 매칭되는 속도의 범위에 따라 구분된 단계별로 복수개 저장하는 것이 바람직하다. 즉, AR 이미지로서의 무기나 도구가 움직일 때, 움직이는 속도에 따라 각기 다른 효과음을 설정하여, AR 이미지 시청자에게 보다 현실감 있는 AR 이미지를 제공하는 것이다.
한편, 효과음 설정부(280)는 효과음 DB(279)에 기 저장되어 있는 효과음 리스트를 AR 대상 단말(10)로 전송하여, 효과음 리스트 중 어느 하나를 선택하도록 하고, AR 대상 단말(10)에서 선택한 효과음을 효과음 DB(279)에 저장한다.
그리고, 속도 계산부(290)는 위치 파악부(240)에서 파악한 AR 대상 단말(10)과 AR 시청 단말(30) 간의 상대적인 거리를 기 설정된 경과 시간으로 나누어 계산하며, 여기에서 경과 시간이란 AR 대상 단말(10)의 이동 속도를 계산하기 위해 기 설정된 시간 주기를 의미한다.
예를 들어, 경과 시간을 t로 설정한 경우, 속도 계산부(290)는 시점 0에서 AR 대상 단말(10)과 AR 시청 단말(30) 간의 상대적 위치에 따라 산출된 두 단말(10, 30) 간의 거리를 t로 나눔으로써 속도를 계산하고, 이후, t 시간 경과 후 두 단말의 상대적 위치에 따라 산출된 두 단말의 거리를 t로 나눔으로써 속도를 재계산하는 것이다.
이와 같이, AR 대상 단말(10)와 AR 시청 단말(30) 간의 거리와 경과 시간을 이용하여 속도를 계산한 후, 효과음 DB(279)로부터 해당 AR 이미지 정보에 매칭되어 저장된 효과음 중 계산된 속도에 대응하는 효과음을 추출하여 AR 시청 단말(30)로 전송함으로써, 보다 현실감 있는 모바일 증강 현실 서비스가 가능하게 된다.
도 9는 본 발명의 다른 실시예에 의한 모바일 증강 현실 서비스 방법을 설명하기 위한 흐름도이다.
본 실시예의 모바일 증강 현실 서비스 방법에서, 단계 S201 내지 S209는 도 7에 도시한 서비스 방법의 단계 S101 내지 S109와 유사하다.
다만, 본 실시예에서는 단계 S209 이후, 효과음 설정부(280)에서 AR 대상 단말(10)로 단계 S109에서 선택한 AR 이미지에 매칭되어 저장되어 있는 효과음 리스트를 전송하고, 이에 따라 AR 대상 단말(10) 사용자가 효과음을 선택함에 따라 이를 저장한다(S211).
그리고, 위치 및 자세 파악부(240)는 단계 S203과 S205에서 수집된 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보에 벡터 연산을 적용하여 AR 대상 단 말(10)과 AR 시청 단말(30)의 상대적인 위치 및 자세를 파악한다(S213).
이후, AR 이미지 생성부(250)는 단계 S213에서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에, 단계 S109에서 사용자에 의해 선택된 가상 이미지 데이터와 단계 S111에서 선택된 효과음을 합성하고, 이를 정보 송수신부(260)를 통해 AR 시청 단말(30)로 전송한다(S215, S217).
한편, 단계 S213 이후 S215를 수행하기 전 기 설정된 경과 시간에 대한 AR 대상 단말(10)과 AR 시청 단말(30)의 상대적인 거리의 비율에 따라 속도를 계산하는 단계를 더 수행할 수 있고, 이 경우 AR 이미지 생성부(250)에서 가상 이미지를 합성할 때, 기 저장되어 있는 효과음들 중에서 속도 계산 과정에서 산출된 속도의 단계에 대응하는 효과음을 추출하여 가상 이미지와 함께 합성하는 것도 가능하다.
이와 같이, 본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
상술한 바와 같이 본 발명의 모바일 증강 현실 서비스 시스템 및 방법은 이동통신 단말 만을 움직임으로 해서 실제로 소지하고 있지 않은 동적인 가상 이미지 를 합성한 이미지를 사용자에게 제공할 수 있다는 장점이 있다.
또한, 본 발명은 실제 이미지를 위해 촬영되는 대상(물체)을 자유자재로 움직여도 선명한 실제 이미지를 촬영할 수 있다는 장점이 있다.
뿐만 아니라, 가상 이미지에 어울리는 효과음을 AR 이미지와 함께 제공함으로써, 모바일 증강 현실 서비스의 사실감을 극대화할 수 있고, 단말의 속도에 따라 변형된 효과음을 제공함으로써, 사실감을 더욱더 극대화시킬 수 있다.

Claims (10)

  1. 위치 및 자세 정보를 측정하는 관성 측정 기능을 구비한 이동통신 단말을 이용하여, 실제 이미지에 가상 이미지를 적용하여 서비스를 제공하는 모바일 증강 현실 서비스 시스템으로서,
    이동 통신망과 연결되어, 이동통신 단말과 모바일 증강 현실 서비스 시스템 간의 정보 송수신 기능을 수행하는 정보 송수신부;
    적어도 하나 이상의 이동통신 단말을 각각 가상 이미지를 적용할 증강 현실(Augmented Reality; AR) 대상 단말과 상기 증강 현실 대상 단말을 촬영하여 실제 이미지 데이터를 제공할 증강 현실 시청 단말로 설정하여 저장 및 관리하는 AR 가입자 등록부;
    상기 AR 대상 단말과 AR 시청 단말이 시스템에 접속하여 초기 위치 및 자세 설정을 요청함에 따라 상기 AR 대상 단말과 AR 시청 단말로부터 전송되는 초기 위치 및 자세 정보를 초기 정보로 설정하여 저장하고, 이후 상기 AR 대상 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, 상기 AR 시청 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, AR 대상 단말이 촬영된 실제 이미지 데이터를 변경 정보로 하여 저장 및 관리하는 데이터 수집부;
    기 저장되어 있는 AR 이미지 리스트를 상기 AR 대상 단말로 전송하여, AR 이미지 리스트 중 가상 이미지로 사용할 이미지를 선택하도록 하고, AR 대상 단말로부터 전송되는 AR 이미지 선택 정보를 저장하는 AR 이미지 설정부;
    상기 데이터 수집부에 의해 수집된 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보로부터 AR 대상 단말과 AR 시청 단말의 상대적인 위치 및 자세를 파악하는 위치 및 자세 파악부; 및
    상기 위치 및 자세 파악부에 의해서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에 가상 이미지 데이터를 적용하고, 이를 정보 송수신부를 통해 AR 시청 단말로 전송하는 AR 이미지 생성부;
    를 포함하는 것을 특징으로 하는 모바일 증강 현실 서비스 시스템.
  2. 제1항에 있어서,
    상기 AR 대상 단말과 AR 시청 단말은 위치 및 자세 정보를 측정하기 위한 관성 측정 장치를 각각 구비하며,
    데이터 수집부는 상기 AR 대상 단말과 AR 시청 단말로부터 각각 전송되는 관성 측정 장치에 의해서 측정된 X, Y, Z 좌표로 구성된 위치 정보와 X, Y, Z축 방향의 회전각으로 구성된 자세 정보를 수신하는 것을 특징으로 하는 모바일 증강 현실 서비스 시스템.
  3. 위치 및 자세 정보를 측정하는 관성 측정 기능을 구비한 이동통신 단말을 이용하여, 실제 이미지에 가상 이미지를 적용하여 서비스를 제공하는 모바일 증강 현실 서비스 시스템을 이용한 모바일 증강 현실 서비스 방법으로서,
    모바일 증강 현실 서비스 시스템이 적어도 하나 이상의 이동통신 단말로부터 각각 가상 이미지를 적용할 증강 현실(Augmented Reality; AR) 대상 단말과 상기 증강 현실 대상 단말을 촬영하여 실제 이미지 데이터를 제공할 증강 현실 시청 단말로 설정을 요청하는 신호를 수신하면, 해당 단말을 각각 AR 대상 단말과 AR 시청 단말로 설정하는 제1단계;
    상기 AR 대상 단말과 AR 시청 단말이 초기 위치 및 자세 설정을 요청함에 따라 상기 AR 대상 단말과 AR 시청 단말로부터 전송되는 초기 위치 및 자세 정보를 초기 정보로 설정하여 저장하는 제2단계;
    이후, 상기 AR 대상 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와 상기 AR 시청 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와 AR 대상 단말이 촬영된 실제 이미지 데이터를 변경 정보로 하여 저장하는 제3단계;
    기 저장되어 있는 AR 이미지 리스트를 상기 AR 대상 단말로 전송하여, 상기 AR 이미지 리스트 중 가상 이미지로 사용할 이미지를 선택하도록 하고, AR 대상 단말로부터 전송되는 AR 이미지 선택 정보를 수신하여 AR 이미지로 설정하는 제4단계;
    상기 제2단계와 제3단계에서 수집된 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보로부터 AR 대상 단말과 AR 시청 단말의 상대적인 위치 및 자세를 파악하는 제5단계; 및
    상기 제5단계에서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에 제4단계에서 선택된 가상 이미지 데이터를 합성하고, 이를 AR 시청 단말로 전송하는 제6단계;
    를 포함하는 것을 특징으로 하는 모바일 증강 현실 서비스 방법.
  4. 제3항에 있어서,
    상기 AR 대상 단말과 AR 시청 단말은 위치 및 자세 정보를 측정하기 위한 관성 측정 장치를 각각 구비하며,
    상기 제2단계 및 제3단계에서,
    상기 AR 대상 단말과 AR 시청 단말로부터 각각 전송되는 관성 측정 장치에 의해서 측정된 X, Y, Z 좌표로 구성된 위치 정보와 X, Y, Z축 방향의 회전각으로 구성된 자세 정보를 수신하는 것을 특징으로 하는 모바일 증강 현실 서비스 방법.
  5. 위치 및 자세 정보를 측정하는 관성 측정 기능을 구비한 이동통신 단말을 이용하여, 실제 이미지에 가상 이미지를 적용하여 서비스를 제공하는 모바일 증강 현실 서비스 시스템으로서,
    이동 통신망과 연결되어, 이동통신 단말과 모바일 증강 현실 서비스 시스템 간의 정보 송수신 기능을 수행하는 정보 송수신부;
    적어도 하나 이상의 이동통신 단말을 각각 가상 이미지를 적용할 증강 현실(Augmented Reality; AR) 대상 단말과 상기 증강 현실 대상 단말을 촬영하여 실제 이미지 데이터를 제공할 증강 현실 시청 단말로 설정하여 저장 및 관리하는 AR 가입자 등록부;
    상기 AR 대상 단말과 AR 시청 단말이 시스템에 접속하여 초기 위치 및 자세 설정을 요청함에 따라 상기 AR 대상 단말과 AR 시청 단말로부터 전송되는 초기 위치 및 자세 정보를 초기 정보로 설정하여 저장하고, 이후 상기 AR 대상 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, 상기 AR 시청 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와, AR 대상 단말이 촬영된 실제 이미지 데이터를 변경 정보로 하여 저장 및 관리하는 데이터 수집부;
    기 저장되어 있는 AR 이미지 리스트를 상기 AR 대상 단말로 전송하여, AR 이미지 리스트 중 가상 이미지로 사용할 이미지를 선택하도록 하고, AR 대상 단말로부터 전송되는 AR 이미지 선택 정보를 저장하는 AR 이미지 설정부;
    AR 이미지에 따라 매칭되어 기 저장되어 있는 효과음 리스트를 상기 AR 대상 단말로 전송하여 효과음을 선택하도록 하고, 상기 AR 대상 단말로부터 전송되는 효과음을 저장하는 효과음 설정부;
    상기 데이터 수집부에 의해 수집된 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보로부터 AR 대상 단말과 AR 시청 단말의 상대적인 위치 및 자세를 파악하는 위치 및 자세 파악부; 및
    상기 위치 및 자세 파악부에 의해서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에 가상 이미지 데이터를 적용하고, 상기 효과음 설정부에서 저장한 효과음을 삽입하여 정보 송수신부를 통해 AR 시청 단말로 전송하는 AR 이미지 생성부;
    를 포함하는 것을 특징으로 하는 모바일 증강 현실 서비스 시스템.
  6. 제5항에 있어서,
    상기 효과음은, 상기 AR 이미지와 매칭되어 속도의 범위에 따라 구분된 단계별로 복수 개 저장되고,
    상기 모바일 증강 현실 서비스 시스템은, 상기 위치 및 자세 파악부에서 파악한 상기 AR 대상 단말과 AR 시청 단말의 상대적인 위치에 따라 산출된 거리를 기 설정된 시간으로 나누어 속도를 계산하고, 상기 계산된 속도에 대응하는 단계에 따라 복수의 효과음 중 어느 하나를 선택하는 속도 계산부를 더 포함하는 것을 특징으로 하는 모바일 증강 현실 서비스 시스템.
  7. 제5항 또는 제6항에 있어서,
    상기 AR 대상 단말과 AR 시청 단말은 위치 및 자세 정보를 측정하기 위한 관성 측정 장치를 각각 구비하며,
    데이터 수집부는 상기 AR 대상 단말과 AR 시청 단말로부터 각각 전송되는 관성 측정 장치에 의해서 측정된 X, Y, Z 좌표로 구성된 위치 정보와 X, Y, Z축 방향의 회전각으로 구성된 자세 정보를 수신하는 것을 특징으로 하는 모바일 증강 현실 서비스 시스템.
  8. 위치 및 자세 정보를 측정하는 관성 측정 기능을 구비한 이동통신 단말을 이용하여, 실제 이미지에 가상 이미지를 적용하여 서비스를 제공하는 모바일 증강 현실 서비스 시스템을 이용한 모바일 증강 현실 서비스 방법으로서,
    모바일 증강 현실 서비스 시스템이 적어도 하나 이상의 이동통신 단말로부터 각각 가상 이미지를 적용할 증강 현실(Augmented Reality; AR) 대상 단말과 상기 증강 현실 대상 단말을 촬영하여 실제 이미지 데이터를 제공할 증강 현실 시청 단말로 설정을 요청하는 신호를 수신하면, 해당 단말을 각각 AR 대상 단말과 AR 시청 단말로 설정하는 제1단계;
    상기 AR 대상 단말과 AR 시청 단말이 초기 위치 및 자세 설정을 요청함에 따라 상기 AR 대상 단말과 AR 시청 단말로부터 전송되는 초기 위치 및 자세 정보를 초기 정보로 설정하여 저장하는 제2단계;
    이후, 상기 AR 대상 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와 상기 AR 시청 단말로부터 실시간으로 전송되는 변경된 위치 및 자세 정보와 AR 대상 단말이 촬영된 실제 이미지 데이터를 변경 정보로 하여 저장하는 제3단계;
    기 저장되어 있는 AR 이미지 리스트를 상기 AR 대상 단말로 전송하여, 상기 AR 이미지 리스트 중 가상 이미지로 사용할 이미지를 선택하도록 하고, AR 대상 단말로부터 전송되는 AR 이미지 선택 정보를 수신하여 AR 이미지로 설정하는 제4단계;
    상기 AR 이미지에 매칭되어 기 저장되어 있는 효과음 리스트를 상기 AR 대상 단말로 전송하여, 상기 효과음 리스트 중 어느 하나를 선택하도록 하고, 상기 AR 대상 단말로부터 전송되는 효과음 선택 정보를 수신하여 효과음으로 설정하는 제5단계;
    상기 제2단계와 제3단계에서 수집된 초기 위치 및 자세 정보와 변경된 위치 및 자세 정보로부터 AR 대상 단말과 AR 시청 단말의 상대적인 위치 및 자세를 파악하는 제6단계; 및
    상기 제6단계에서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에 제4단계에서 선택된 가상 이미지 데이터를 합성하고, 상기 제5단계에서 선택된 효과음을 합성한 후, AR 시청 단말로 전송하는 제7단계;
    를 포함하는 것을 특징으로 하는 모바일 증강 현실 서비스 방법.
  9. 제8항에 있어서,
    상기 효과음은, 상기 AR 이미지와 매칭되어 속도의 범위에 따라 구분된 단계별로 복수 개 저장되고,
    상기 제6단계 수행 후, 상기 제7단계를 수행하기 전, 상기 AR 대상 단말과 AR 시청 단말의 상대적인 위치로부터 거리를 산출하고, 상기 산출된 거리를 기 설정된 시간으로 나누어 속도를 계산하는 제6-1단계; 및
    상기 제6-1단계에서 계산된 속도에 대응하는 단계에 따라 복수의 효과음 중 어느 하나를 선택하는 제6-2단계;
    를 더 포함하고, 상기 제7단계는, 상기 제6단계에서 파악된 실제 이미지 데이터의 상대적인 위치 및 자세 정보에 제4단계에서 선택된 가상 이미지 데이터를 합성하고, 상기 제6-2단계에서 선택된 효과음을 합성한 후, AR 시청 단말로 전송하는 단계인 것을 특징으로 하는 모바일 증강 현실 서비스 방법.
  10. 제8항에 있어서,
    상기 AR 대상 단말과 AR 시청 단말은 위치 및 자세 정보를 측정하기 위한 관성 측정 장치를 각각 구비하며,
    상기 제2단계 및 제3단계에서,
    상기 AR 대상 단말과 AR 시청 단말로부터 각각 전송되는 관성 측정 장치에 의해서 측정된 X, Y, Z 좌표로 구성된 위치 정보와 X, Y, Z축 방향의 회전각으로 구성된 자세 정보를 수신하는 것을 특징으로 하는 모바일 증강 현실 서비스 방법.
KR1020070007386A 2006-09-19 2007-01-24 모바일 증강 현실 서비스 시스템 및 방법 KR100789100B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020060090500 2006-09-19
KR20060090500 2006-09-19

Publications (1)

Publication Number Publication Date
KR100789100B1 true KR100789100B1 (ko) 2007-12-26

Family

ID=39148112

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070007386A KR100789100B1 (ko) 2006-09-19 2007-01-24 모바일 증강 현실 서비스 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR100789100B1 (ko)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101923791A (zh) * 2010-05-31 2010-12-22 华中师范大学 一种利用增强现实技术与平面读物相结合的汉字学习方法
KR101045989B1 (ko) 2010-04-30 2011-07-04 동국대학교 산학협력단 온라인 및 오프라인 편재형 게임 구현 시스템
WO2011122717A1 (ko) * 2010-03-30 2011-10-06 Hyun Min-Ho 휴대 단말기를 이용한 문자 관련 정보 제공 방법 및 휴대 단말기
KR101266418B1 (ko) 2010-12-21 2013-05-22 박경호 증강현실 및 위치기반서비스를 이용한 동물위치추적시스템
KR101295710B1 (ko) * 2010-07-28 2013-08-16 주식회사 팬택 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법
KR101335617B1 (ko) 2009-04-16 2013-12-02 주식회사 제니텀 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치
KR101459175B1 (ko) * 2010-12-23 2014-11-07 주식회사 케이티 이동하는 가상 이미지를 공유하는 단말 장치 및 시스템과 그 방법
KR101774807B1 (ko) 2010-12-06 2017-09-05 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR20190045012A (ko) 2017-10-23 2019-05-02 주식회사 에이알미디어웍스 증강현실 기반의 스마트 글래스를 이용한 전시장 및 전시물 가이드 시스템
KR20190046559A (ko) * 2017-10-26 2019-05-07 한국전자통신연구원 증강 현실 콘텐츠를 제공하는 방법
WO2020171558A1 (en) * 2019-02-19 2020-08-27 Samsung Electronics Co., Ltd. Method of providing augmented reality contents and electronic device therefor

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060083140A (ko) * 2005-01-14 2006-07-20 삼성전기주식회사 증강 현실 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20060083140A (ko) * 2005-01-14 2006-07-20 삼성전기주식회사 증강 현실 장치 및 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
국내공개특허공보 10-2006-83140

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101335617B1 (ko) 2009-04-16 2013-12-02 주식회사 제니텀 모바일 환경에서의 증강 현실 구현 방법 및 이를 위한 장치
WO2011122717A1 (ko) * 2010-03-30 2011-10-06 Hyun Min-Ho 휴대 단말기를 이용한 문자 관련 정보 제공 방법 및 휴대 단말기
KR101045989B1 (ko) 2010-04-30 2011-07-04 동국대학교 산학협력단 온라인 및 오프라인 편재형 게임 구현 시스템
CN101923791A (zh) * 2010-05-31 2010-12-22 华中师范大学 一种利用增强现实技术与平面读物相结合的汉字学习方法
KR101295710B1 (ko) * 2010-07-28 2013-08-16 주식회사 팬택 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법
KR101774807B1 (ko) 2010-12-06 2017-09-05 엘지전자 주식회사 휴대 단말기 및 그 동작 방법
KR101266418B1 (ko) 2010-12-21 2013-05-22 박경호 증강현실 및 위치기반서비스를 이용한 동물위치추적시스템
KR101459175B1 (ko) * 2010-12-23 2014-11-07 주식회사 케이티 이동하는 가상 이미지를 공유하는 단말 장치 및 시스템과 그 방법
US10147231B2 (en) 2010-12-23 2018-12-04 Kt Corporation System and terminal device for sharing moving virtual images and method thereof
KR20190045012A (ko) 2017-10-23 2019-05-02 주식회사 에이알미디어웍스 증강현실 기반의 스마트 글래스를 이용한 전시장 및 전시물 가이드 시스템
KR20190046559A (ko) * 2017-10-26 2019-05-07 한국전자통신연구원 증강 현실 콘텐츠를 제공하는 방법
KR102074370B1 (ko) * 2017-10-26 2020-02-06 한국전자통신연구원 증강 현실 콘텐츠를 제공하는 방법
WO2020171558A1 (en) * 2019-02-19 2020-08-27 Samsung Electronics Co., Ltd. Method of providing augmented reality contents and electronic device therefor
US11238622B2 (en) 2019-02-19 2022-02-01 Samsung Electronics Co., Ltd. Method of providing augmented reality contents and electronic device therefor

Similar Documents

Publication Publication Date Title
KR100789100B1 (ko) 모바일 증강 현실 서비스 시스템 및 방법
CN106998409B (zh) 一种图像处理方法、头戴显示器以及渲染设备
JP6258953B2 (ja) 単眼視覚ｓｌａｍのための高速初期化
CN105450736B (zh) 与虚拟现实连接的方法和装置
EP1708139B1 (en) Calibration method and apparatus
CN104380347B (zh) 视频处理设备、视频处理方法和视频处理系统
JP5389111B2 (ja) 拡張現実情報提供装置及び方法
US20140267234A1 (en) Generation and Sharing Coordinate System Between Users on Mobile
US10841570B2 (en) Calibration device and method of operating the same
WO2019043568A1 (en) ASSISTED ENHANCED REALITY
CN102446048B (zh) 信息处理设备以及信息处理方法
CN102939139A (zh) 共享虚拟空间中便携式设备的校准
WO2017027338A1 (en) Apparatus and method for supporting interactive augmented reality functionalities
CN103517061B (zh) 一种终端设备的显示控制方法及装置
CN108733206A (zh) 一种坐标对齐方法、系统和虚拟现实系统
JP6409644B2 (ja) 表示制御方法、表示制御プログラム、及び情報処理装置
US9292963B2 (en) Three-dimensional object model determination using a beacon
CN107229055B (zh) 移动设备定位方法和移动设备定位装置
CN112950711B (zh) 一种对象的控制方法、装置、电子设备及存储介质
CN113190113A (zh) 超宽带定位的虚拟现实系统及实现位置和方向的定位方法
CN112788443B (zh) 基于光通信装置的交互方法和系统
CN109587188A (zh) 确定终端设备之间相对位置关系的方法、装置及电子设备
Cho et al. A comparative evaluation of a single and stereo lighthouse systems for 3-D estimation
CN110095792B (zh) 定位终端的方法及装置
JP5189673B1 (ja) 表示装置、表示方法、ならびに、プログラム

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20121203

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20131202

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20141126

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20161130

Year of fee payment: 10

FPAY Annual fee payment

Payment date: 20171213

Year of fee payment: 11

FPAY Annual fee payment

Payment date: 20190417

Year of fee payment: 12