KR20150039233A - 소셜 증강현실 서비스 시스템 및 방법 - Google Patents
소셜 증강현실 서비스 시스템 및 방법 Download PDFInfo
- Publication number
- KR20150039233A KR20150039233A KR20130117118A KR20130117118A KR20150039233A KR 20150039233 A KR20150039233 A KR 20150039233A KR 20130117118 A KR20130117118 A KR 20130117118A KR 20130117118 A KR20130117118 A KR 20130117118A KR 20150039233 A KR20150039233 A KR 20150039233A
- Authority
- KR
- South Korea
- Prior art keywords
- service
- information
- server
- terminal
- user terminal
- Prior art date
Links
- 230000003190 augmentative effect Effects 0.000 title claims abstract description 94
- 238000000034 method Methods 0.000 title claims abstract description 45
- 239000003550 marker Substances 0.000 claims abstract description 127
- 230000003993 interaction Effects 0.000 claims abstract description 9
- 238000004891 communication Methods 0.000 claims description 11
- 238000001514 detection method Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 8
- 238000005516 engineering process Methods 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 239000000203 mixture Substances 0.000 description 2
- 238000013461 design Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000003745 diagnosis Methods 0.000 description 1
- 230000002708 enhancing effect Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000001502 supplementing effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/01—Social networking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/40—Business processes related to the transportation industry
Landscapes
- Business, Economics & Management (AREA)
- Engineering & Computer Science (AREA)
- Human Resources & Organizations (AREA)
- Tourism & Hospitality (AREA)
- Strategic Management (AREA)
- General Business, Economics & Management (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Marketing (AREA)
- Physics & Mathematics (AREA)
- Economics (AREA)
- Health & Medical Sciences (AREA)
- General Health & Medical Sciences (AREA)
- Primary Health Care (AREA)
- Entrepreneurship & Innovation (AREA)
- Data Mining & Analysis (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Computing Systems (AREA)
- Processing Or Creating Images (AREA)
Abstract
본 발명은 사용자가 스마트 폰 등의 모바일 단말기를 통해 증강현실 서비스를 이용하고 있을 때 주변에 있는 다른 사용자들이 모바일 단말기를 통해 동일한 물체 또는 마커(Marker)나 랜드마크(Landmark)를 동시에 또는 비동기적으로 인식하면, 인식한 사용자들의 모바일 단말기에 참여자 수나 참여자 정보에 따라 다른 증강현실 서비스를 제공하고, 참여자들이 증강현실을 매개로 상호 인터랙션이 가능하도록 하는 소셜 증강현실 서비스 시스템 및 방법에 관한 것이다.
본 발명에 따른 소셜 증강현실 서비스 시스템은, 마커 정보에 따른 증강현실(AR) 서비스를 이용하는 중에 다른 단말기로부터 참여 요청이 있으면 수락하여 상기 AR 서비스에 대해 증강된 갱신 AR 서비스를 상기 다른 단말기와 함께 제공받는 사용자 단말기; 상기 사용자 단말기에 마커 정보에 따른 AR 서비스를 제공하는 중에, 다른 단말기로부터 동일한 상기 마커 정보와 더불어 상기 AR 서비스에 참여 요청이 있는 경우, 상기 사용자 단말기에 참여 여부를 문의하여 수락할 때, 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보를 증강시킨 갱신 AR 서비스를 상기 사용자 단말기와 다른 단말기에 제공하는 AR 서버; 및 상기 사용자 단말기가 이용하는 상기 AR 서비스에 참여하기 위해 상기 AR 서비스에 대응된 마커 정보를 촬영하여 획득한 사물이나 랜드마크의 이미지를 상기 AR 서버에 전송하여 상기 AR 서비스에 참여를 요청하고, 이후 상기 사용자 단말기의 참여 수락에 따라 상기 AR 서버로부터 참여자의 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스를 제공받는 하나 이상의 다른 단말기를 포함하는 것을 특징으로 한다.
본 발명에 따른 소셜 증강현실 서비스 시스템은, 마커 정보에 따른 증강현실(AR) 서비스를 이용하는 중에 다른 단말기로부터 참여 요청이 있으면 수락하여 상기 AR 서비스에 대해 증강된 갱신 AR 서비스를 상기 다른 단말기와 함께 제공받는 사용자 단말기; 상기 사용자 단말기에 마커 정보에 따른 AR 서비스를 제공하는 중에, 다른 단말기로부터 동일한 상기 마커 정보와 더불어 상기 AR 서비스에 참여 요청이 있는 경우, 상기 사용자 단말기에 참여 여부를 문의하여 수락할 때, 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보를 증강시킨 갱신 AR 서비스를 상기 사용자 단말기와 다른 단말기에 제공하는 AR 서버; 및 상기 사용자 단말기가 이용하는 상기 AR 서비스에 참여하기 위해 상기 AR 서비스에 대응된 마커 정보를 촬영하여 획득한 사물이나 랜드마크의 이미지를 상기 AR 서버에 전송하여 상기 AR 서비스에 참여를 요청하고, 이후 상기 사용자 단말기의 참여 수락에 따라 상기 AR 서버로부터 참여자의 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스를 제공받는 하나 이상의 다른 단말기를 포함하는 것을 특징으로 한다.
Description
본 발명은 증강현실 서비스에 관한 것으로서, 더욱 자세하게는 사용자가 스마트 폰 등의 모바일 단말기를 통해 증강현실 서비스를 이용하고 있을 때 주변에 있는 다른 사용자들이 모바일 단말기를 통해 동일한 물체 또는 마커(Marker)나 랜드마크(Landmark)를 동시에 또는 비동기적으로 인식하면, 인식한 사용자들의 모바일 단말기에 참여자 수, 참여자 정보, 혹은 다른 참여자의 인터랙션에 따라 다른 증강현실 서비스를 제공함으로써 주변 사용자들이 증강현실 서비스를 함께 이용할 수 있도록 하는 소셜 증강현실 서비스 시스템 및 방법에 관한 것이다.
증강현실은 가상 현실(Virtual Reality)의 한 분야로 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법이다.
현실세계에 실시간으로 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주므로 혼합현실(Mixed Reality, MR)이라고도 한다. 현실환경과 가상환경을 융합하는 복합형 가상현실 시스템(hybrid VR system)으로 1990년대 후반부터 미국·일본을 중심으로 연구·개발이 진행되고 있다.
현실세계를 가상세계로 보완해주는 개념인 증강현실은 컴퓨터 그래픽으로 만들어진 가상환경을 사용하지만 주역은 현실환경이다. 컴퓨터 그래픽은 현실환경에 필요한 정보를 추가 제공하는 역할을 한다. 사용자가 보고 있는 실사 영상에 3차원 가상영상을 겹침(overlap)으로써 현실환경과 가상화면과의 구분이 모호해지도록 한다는 뜻이다.
가상현실기술은 가상환경에 사용자를 몰입하게 하여 실제환경을 볼 수 없다. 하지만 실제환경과 가상의 객체가 혼합된 증강현실기술은 사용자가 실제환경을 볼 수 있게 하여 보다 나은 현실감과 부가 정보를 제공한다. 예를 들어 스마트폰 카메라로 주변을 비추면 인근에 있는 상점의 위치, 전화번호 등의 정보가 입체영상으로 표기된다.
원격의료진단·방송·건축설계·제조공정관리 등에 활용된다. 최근 스마트폰이 널리 보급되면서 본격적인 상업화 단계에 들어섰으며, 게임 및 모바일 솔루션 업계·교육 분야 등에서도 다양한 제품을 개발하고 있다.
증강현실을 실외에서 실현하는 것이 착용식 컴퓨터(wearable computer)이다. 특히 머리에 쓰는 형태의 컴퓨터 화면장치는 사용자가 보는 실제환경에 컴퓨터 그래픽·문자 등을 겹쳐 실시간으로 보여줌으로써 증강현실을 가능하게 한다.
따라서 증강현실에 대한 연구는 착용컴퓨터 개발이 주를 이룬다. 개발된 증강현실시스템으로 비디오방식과 광학방식 등의 HMD(head mounted display)가 있다.
이반 서덜랜드가 see-through HMD를 발전시킨 것을 시초로 하여 연구되기 시작한 증강현실은 가상 현실의 한 분야로서 가상 현실과는 또 다른 의미를 가진다. 가상현실 기술은 일반적으로 사용자가 가상의 환경에 몰입하게 하므로 사용자는 실제 환경을 볼 수 없는 반면, 증강 현실 기술에서는 사용자가 실제 환경을 볼 수 있으며, 실제 환경과 가상의 객체가 혼합된 형태를 띤다. 다시 말하면, 가상 현실은 현실 세계를 대체하여 사용자에게 보여 주지만 증강 현실은 현실 세계에 가상의 물체를 중첩함으로써 현실 세계를 보충하여 사용자에게 보여 준다는 차별성을 가지며, 가상 현실에 비해 사용자에게 보다 나은 현실감을 제공한다는 특징이 있다. 무엇보다 중요한 것은 증강 현실이 현실에는 부재하는 속성을 가상 현실을 통해서 현실 사물에 내재시킴으로써 증강된 현실을 보여 준다는 것이다.
그런데, 종래의 증강현실 시스템은 하나의 사용자가 증강현실 서비스를 이용할 경우에 주변에 있는 다른 사용자가 즉시로 함께 증강현실 서비스에 참여할 수 없는 단점이 있다. 예를 들면, 종래의 증강현실은 한 사용자가 증강현실 야구 게임을 즐기고 있는 경우에 주변에 있는 다른 사용자들이 그 모습을 보고 함께 참여하고자 하는 경우 그 게임을 강제로 종료시키고 참여자를 다시 설정한 후 실행해야 함에 따라 게임을 즐기다가 다른 사용자를 참여시킬 때 게임의 연속성이 보장되지 못하는 문제점이 있었다.
전술한 문제점을 해결하기 위한 본 발명의 목적은, 사용자가 스마트 폰 등의 모바일 단말기를 통해 증강현실 서비스를 이용하고 있을 때 주변에 있는 다른 사용자들이 모바일 단말기를 통해 동일한 물체 또는 마커(Marker)나 랜드마크(Landmark)를 동시에 또는 비동기적으로 인식하면, 인식한 사용자들의 모바일 단말기에 참여자 수나 참여자 정보에 따라 다른 증강현실 서비스를 제공하고, 참여자들이 증강현실을 매개로 상호 인터랙션이 가능하도록 하는 소셜 증강현실 서비스 시스템 및 방법을 제공함에 있다.
전술한 목적을 달성하기 위한 본 발명의 일 측면에 따르면, 마커 정보에 따른 증강현실(AR) 서비스를 이용하는 중에 다른 단말기로부터 참여 요청이 있으면 수락하여 상기 AR 서비스에 대해 증강된 갱신 AR 서비스를 상기 다른 단말기와 함께 제공받는 사용자 단말기; 상기 사용자 단말기에 마커 정보에 따른 AR 서비스를 제공하는 중에, 다른 단말기로부터 동일한 상기 마커 정보와 더불어 상기 AR 서비스에 참여 요청이 있는 경우, 상기 사용자 단말기에 참여 여부를 문의하여 수락할 때, 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보를 증강시킨 갱신 AR 서비스를 상기 사용자 단말기와 다른 단말기에 제공하는 AR 서버; 및 상기 사용자 단말기가 이용하는 상기 AR 서비스에 참여하기 위해 상기 AR 서비스에 대응된 마커 정보를 촬영하여 획득한 사물이나 랜드마크의 이미지를 상기 AR 서버에 전송하여 상기 AR 서비스에 참여를 요청하고, 이후 상기 사용자 단말기의 참여 수락에 따라 상기 AR 서버로부터 참여자의 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스를 제공받는 하나 이상의 다른 단말기를 포함하는 소셜 증강현실 서비스 시스템이 제공된다.
한편, 전술한 목적을 달성하기 위한 본 발명의 다른 측면에 따르면, 사용자 단말기 및 하나 이상의 다른 단말기들과 유선 또는 무선으로 데이터를 송수신하는 통신부; 상기 사용자 단말기나 상기 하나 이상의 다른 단말기에 제공하는 증강현실(이하 AR) 서비스의 근거가 되는 마커(marker) 정보를 저장하는 마커 저장부; 상기 마커 정보 또는 상기 AR 서비스에 대응하는 AR 객체의 정보를 저장하는 객체 저장부; 상기 마커 정보와 상기 AR 객체의 정보가 AR 세션에 참여 중인 상기 사용자 단말기 및 상기 하나 이상의 단말기들 간에 공유되도록 중계하고, 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보를 증강시킨 갱신 AR 서비스를 상기 사용자 단말기와 상기 AR 서비스의 참여자에 해당되는 다른 단말기에 제공하는 AR 제공부; 및 상기 사용자 단말기에 상기 마커 정보에 근거해 상기 AR 서비스를 제공하는 중에, 상기 다른 단말기로부터 상기 마커 정보의 이미지와 더불어 상기 AR 서비스에 참여 요청이 있는 경우, 상기 사용자 단말기에 참여 여부를 문의하고, 상기 사용자 단말기가 수락할 때, 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보를 증강시킨 갱신 AR 서비스를 상기 사용자 단말기와 상기 AR 서비스에 참여가 수락된 다른 단말기에 제공하도록 제어하는 제어부를 포함하는 소셜 증강현실 서비스 서버가 제공된다.
여기서, 상기 마커 정보는, QR 코드와 사물 이미지, 랜드마크 이미지 중 하나일 수 있다.
그리고, 상기 제어부는, 상기 다른 단말기로부터 상기 AR 서비스에 참여 요청이 있는 경우, 상기 다른 단말기로부터 수신한 상기 마커 정보와 상기 사용자 단말기에 제공하는 AR 서비스의 마커 정보를 비교하여 동일한지를 판단하고, 동일한 경우 상기 AR 서비스에 참여하는 참여자 수를 산출하여, 상기 AR 제공부를 통해 참여자 수에 해당하는 AR 객체와 자원 정보를 증강시킨 갱신 AR 서비스를 생성하여 상기 사용자 단말기와 상기 AR 서비스의 참여자에 해당되는 다른 단말기들에 제공하도록 제어할 수 있다.
다른 한편, 전술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, AR 서버와 유선 또는 무선으로 데이터를 송수신하는 통신부; 상기 AR 서버를 통해 AR 서비스에 대한 마커 정보와 AR 객체의 정보를 AR 세션에 연결된 다른 단말기들과 공유하는 AR 공유부; 피사체를 촬영하여 획득한 프리뷰 영상에서 상기 마커 정보를 검출하는 마커 검출부; 상기 AR 객체의 정보를 이용해서 상기 마커 정보에 대응된 AR 객체를 생성하고, 생성된 AR 객체를 상기 프리뷰 영상과 함께 디스플레이하는 AR 엔진부; 및 상기 AR 객체의 동작을 AR 실행에 따라 처리하고, 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스를 상기 AR 공유부를 통해 공유하도록 제어하는 AR 제어부를 포함하는 소셜 증강현실 서비스 단말기가 제공된다.
또한, 상기 피사체를 촬영하는 위치를 GPS 정보로 획득하는 위치 획득부를 더 포함하고, 상기 마커 검출부는 상기 피사체를 촬영하는 획득한 피사체 이미지와 상기 GPS 정보를 결합해서 상기 마커 정보로 검출할 수 있다.
또한, 상기 마커 검출부는, 상기 촬영하여 획득하는 피사체 이미지가 고유한 랜드마크에 해당되는 경우 상기 획득된 피사체 이미지를 마커 정보로 검출할 수 있다.
또한, 상기 AR 공유부는, 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스에 대한 AR 객체의 정보를 AR 세션에 연결된 다른 단말기들과 공유할 수 있다.
또한, 상기 AR 제어부는, 상기 AR 서버로부터 다른 단말기의 AR 세션 참여 요청 메시지를 수신하면, 사용자의 선택에 따른 참여 허가 여부를 상기 AR 서버에 전송해 주게 된다.
그리고, 상기 AR 제어부는, 상기 마커 검출부를 통해 상기 프리뷰 영상에서 상기 마커 정보를 검출하여 상기 AR 세션에 참여를 요청하는 AR 세션 참여 요청 메시지를 상기 AR 서버에 전송하고, 상기 AR 서버로부터 AR 참여 허가 메시지를 수신한 후, 상기 AR 서버로부터 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스에 대한 AR 객체의 정보를 수신하게 된다.
다른 한편, 전술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, 사용자 단말기와 하나 이상의 다른 단말기 및 AR 서버를 포함하는 시스템의 소셜 증강현실 서비스 방법으로서, (a) 상기 사용자 단말기가 상기 AR 서버로부터 AR 객체의 정보를 수신하여 마커 정보에 따른 AR 객체를 생성하여 AR 서비스를 이용하는 단계; (b) 상기 다른 단말기가 촬영을 통해 상기 마커 정보를 검출하여, 상기 AR 서비스에 참여를 요청하는 참여 요청 메시지를 상기 마커 정보와 함께 상기 AR 서버에 전송하는 단계; (c) 상기 AR 서버가 상기 다른 단말기의 AR 서비스 참여 요청을 상기 사용자 단말기에 전달하는 단계; (d) 상기 사용자 단말기가 상기 다른 단말기의 AR 서비스 참여 수락 메시지를 상기 AR 서버에 전송하는 단계; (e) 상기 AR 서버가 상기 AR 서비스의 참여자 수를 산출하여, 참여자 수에 따라 AR 객체의 정보와 자원 정보를 증강시킨 갱신 AR 서비스를 상기 사용자 단말기 및 상기 다른 단말기에 제공하는 단계; 및 (f) 상기 사용자 단말기 및 상기 다른 단말기가 상기 AR 서버로부터 갱신 AR 서비스를 수신하여 이용하는 단계를 포함하는 소셜 증강현실 서비스 방법이 제공된다.
여기서, 상기 마커 정보는, QR 코드와 사물 이미지, 랜드마크 이미지, 단말기 위치와 사물 이미지의 결합 중 하나일 수 있다.
다른 한편, 전술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, 사용자 단말기 및 하나 이상의 다른 단말기와 유선 또는 무선으로 데이터를 송수신하는 AR 서버의 소셜 증강현실 서비스 방법으로서, (a) 상기 사용자 단말기에 마커 정보에 따른 AR 서비스를 제공하는 단계; (b) 상기 다른 단말기로부터 상기 마커 정보의 이미지와 더불어 상기 AR 서비스의 참여 요청 메시지를 수신하는 단계; (c) 상기 사용자 단말기에 상기 다른 단말기의 AR 서비스 참여 요청을 전달하는 단계; (d) 상기 사용자 단말기로부터 AR 서비스의 참여 수락 시, 상기 AR 서비스의 참여자 수를 산출하는 단계; 및 (e) 상기 AR 서비스의 참여자 수에 따라 AR 객체의 정보와 자원 정보를 증강시켜 갱신 AR 서비스를 생성해 상기 사용자 단말기와 상기 다른 단말기 및 상기 AR 서비스에 참여한 다른 단말기들에 제공하는 단계를 포함하는 AR 서버의 소셜 증강현실 서비스 방법이 제공된다.
여기서, 상기 마커 정보는, QR 코드와 사물 이미지, 랜드마크 이미지 중 하나일 수 있다.
그리고, (f) 상기 사용자 단말기와 상기 다른 단말기 및 상기 AR 서비스에 참여한 다른 단말기들 간에 상기 갱신 AR 서비스를 매개로 상호 인터랙션이 가능하도록 제어하는 단계를 포함할 수 있다.
다른 한편, 전술한 목적을 달성하기 위한 본 발명의 또 다른 측면에 따르면, AR 서버와 유선 또는 무선으로 데이터를 송수신하는 AR 단말기의 소셜 증강현실 서비스 방법으로서, (a) 다른 단말기가 마커 정보에 따라 AR 서비스를 이용할 때, 상기 마커 정보를 촬영하여 획득하는 단계; (b) 상기 획득된 마커 정보와 함께 AR 서비스의 참여 요청 메시지를 상기 AR 서버에 전송하는 단계; (c) 상기 AR 서버로부터 상기 다른 단말기의 AR 서비스 참여 수락 메시지를 수신하는 단계; (d) 상기 AR 서버로부터 상기 마커 정보에 따른 AR 서비스에 대해 참여자 수에 따라 AR 객체와 자원 정보가 갱신된 갱신 AR 서비스를 수신하는 단계; 및 (e) 상기 갱신 AR 서비스에 대한 마커 정보와 AR 객체의 정보를 AR 세션에 연결된 다른 단말기들과 공유하는 단계를 포함하는 AR 단말기의 소셜 증강현실 서비스 방법이 제공된다.
또한, 상기 (a) 단계는, 상기 마커 정보를 촬영하는 위치를 GPS 정보로 획득하고, 상기 촬영하여 획득된 이미지와 상기 GPS 정보를 결합해서 상기 마커 정보를 획득할 수 있다.
또한, 상기 (a) 단계는, 상기 촬영하여 획득하는 이미지가 고유한 랜드마크에 해당되는 경우 상기 획득된 랜드마크 이미지를 상기 마커 정보로 획득할 수 있다.
그리고, (f) 상기 AR 서버를 통한 갱신 AR 서비스를 매개로 상기 다른 단말기들과 상호 인터랙션을 수행하는 단계를 포함할 수 있다.
본 발명에 의하면, 사용자가 증강현실 서비스를 이용할 경우에 주변에 있는 다른 사용자가 즉시로 함께 증강현실 서비스에 참여할 수 있다.
또한, 사용자가 증강현실 게임을 즐기고 있는 경우에 주변에 있는 다른 사용자들이 함께 참여하고자 하는 경우 그 게임을 강제로 종료시키지 않고, 참여자를 다시 설정하는 과정이 없이 다른 사용자를 참여시키게 됨에 따라 게임의 연속성을 보장할 수 있다.
또한, 증강현실을 활용한 전투형 게임에 적용하여 여러 사람이 협력해서 적을 물리치는 형태로 활용할 수 있다.
또한, 증강현실을 매개로 참여자들이 상호 인터랙션을 수행할 수 있다. 예를들어, 주변에 있는 태그들에 대해서 증강현실을 통해서 경품을 찾는 경우에 한 참가자가 경품을 찾아서 획득한 경우(경품 태그를 찾고, 증강현실로 확인해서, 증강현실로 나타난 경품을 클릭 등의 방법을 통해서 획득)에는 다른 참가자는 동일한 태그를 봐도 경품이 나타나지 않는다.
그리고, 증강현실을 활용해서 정보를 공유하고, 협력해야 하는 경우에도 적용할 수 있다. 예를 들어, 태그 혹은 랜드마크를 이용해서 증강현실을 이용한 메모장이 있는 경우에 이곳에 메시지를 남겨서 다른 사용자들이 이 메시지를 읽을 수 있다.
도 1은 본 발명의 실시예에 따른 소셜 증강현실 서비스 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 2는 본 발명의 실시예에 따른 AR 서버의 기능 블럭을 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 소셜 증강현실 서비스 단말기의 내부 구성을 개략적으로 나타낸 기능 블럭도이다.
도 4는 본 발명의 실시예에 따른 시스템의 소셜 증강현실 서비스 방법을 설명하기 위한 전체 흐름도를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 AR 서버의 소셜 증강현실 서비스 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 AR 단말기의 소셜 증강현실 서비스 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따라 QR 코드와 사물, 랜드마크 이미지 중 하나를 마커 정보로 획득하는 예를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따라 참여자 A와 참여자 B가 AR 서비스를 매개로 상호 인터랙션하는 경우를 나타내는 동작 흐름도이다.
도 2는 본 발명의 실시예에 따른 AR 서버의 기능 블럭을 나타낸 구성도이다.
도 3은 본 발명의 실시예에 따른 소셜 증강현실 서비스 단말기의 내부 구성을 개략적으로 나타낸 기능 블럭도이다.
도 4는 본 발명의 실시예에 따른 시스템의 소셜 증강현실 서비스 방법을 설명하기 위한 전체 흐름도를 나타낸 도면이다.
도 5는 본 발명의 실시예에 따른 AR 서버의 소셜 증강현실 서비스 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 6은 본 발명의 실시예에 따른 AR 단말기의 소셜 증강현실 서비스 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 7은 본 발명의 실시예에 따라 QR 코드와 사물, 랜드마크 이미지 중 하나를 마커 정보로 획득하는 예를 나타낸 도면이다.
도 8은 본 발명의 실시예에 따라 참여자 A와 참여자 B가 AR 서비스를 매개로 상호 인터랙션하는 경우를 나타내는 동작 흐름도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 특정한 실시형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
본 발명에 따른 소셜 증강현실 서비스 시스템 및 방법의 실시예를 첨부도면을 참조하여 상세히 설명하기로 한다. 첨부도면을 참조하여 설명함에 있어 동일하거나 대응하는 구성 요소는 동일한 도면번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
먼저, 본 발명의 개념은 제1 사용자가 스마트 폰 등의 모바일 단말기를 통해 제공받는 증강현실 서비스에 대해 주변에 있는 다른 사용자들이 함께 참여하고 싶을 때 각자 모바일 단말기를 통해 동일한 물체 또는 마커(Marker)나 랜드마크(Landmark)를 동시에 또는 비동기적으로 인식하면, 인식한 사용자들의 모바일 단말기에 참여자 수나 참여자 정보에 따라 갱신된 증강현실 서비스를 제공하는 것이다. 따라서, 주변 사용자들이 증강현실 서비스를 함께 이용할 수 있도록 하는 점에서 '소셜 증강현실 서비스(Social Augmented Reality Service)'라 칭하여 설명한다.
도 1은 본 발명의 실시예에 따른 소셜 증강현실 서비스 시스템을 개략적으로 나타낸 블럭 구성도이다.
도 1을 참조하면, 본 발명의 실시예에 따른 소셜 증강현실 서비스 시스템(100)은, 사용자 단말기(110)와 하나 이상의 다른 단말기(120 ~ 126) 및 증강현실(Augmented Reality) 서비스 서버(이하 AR 서버)(130)를 포함한다.
사용자 단말기(110)는 물체나 랜드마크 등 마커 정보에 근거해 증강현실(이하 AR) 서비스를 이용하는 중에 다른 단말기(120 ~ 126)로부터 참여 요청이 있으면 수락하여 AR 서비스에 대해 AR 객체의 정보와 자원 정보가 증강된 갱신 AR 서비스를 AR 서비스에 참여가 허가된 다른 단말기(120 ~ 126)와 함께 제공받는다.
하나 이상의 다른 단말기(120 ~ 126)는 사용자 단말기(110)가 이용하는 AR 서비스에 참여하기 위해 AR 서비스에 따른 물체나 랜드마크 등의 마커 정보를 촬영하여 획득한 물체나 랜드마크의 이미지를 AR 서버(130)에 전송하여 AR 서비스에 참여를 요청하고, 이후 사용자 단말기(110)의 참여 수락에 따라 AR 서버(130)로부터 참여자의 수에 따라 AR 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스를 제공받는다.
여기서, 사용자 단말기(110)와 하나 이상의 다른 단말기(120 ~ 126)는 서로 기능을 바꾸어 구성할 수 있다.
AR 서버(130)는 사용자 단말기(110)에 물체나 랜드마크 등 마커 정보에 근거해 AR 서비스를 제공하는 중에, 다른 단말기(120)로부터 동일한 물체나 랜드마크의 이미지와 더불어 AR 서비스에 참여 요청이 있는 경우, 사용자 단말기(110)에 참여 여부를 문의하여 수락할 때, AR 서비스의 참여자 수에 따라 AR 객체를 비롯해 자원 정보를 증강시킨 갱신 AR 서비스를 사용자 단말기(110)와 다른 단말기(120) 및 참여가 허가된 다른 단말기들(122 ~ 126)에 제공하게 된다.
도 2는 본 발명의 실시예에 따른 AR 서버의 기능 블럭을 나타낸 구성도이다.
도 2를 참조하면, 본 발명의 실시예에 따른 AR 서버(130)는, 통신부(210), 마커 저장부(220), 객체 저장부(230), AR 제공부(240) 및 제어부(250)를 포함한다.
통신부(210)는 사용자 단말기(110) 및 하나 이상의 다른 단말기(120 ~ 126)들과 유선 또는 무선으로 데이터를 송수신하게 된다.
마커 저장부(220)는 사용자 단말기(110)나 하나 이상의 다른 단말기(120 ~ 126)에 제공하는 증강현실(AR) 서비스에 대응되는 마커(marker) 정보를 저장하게 된다.
객체 저장부(230)는 마커 정보 또는 AR 서비스에 대응하는 AR 객체의 정보를 저장하게 된다.
AR 제공부(240)는 마커 정보와 AR 객체의 정보가 AR 세션에 참여 중인 사용자 단말기(110) 및 하나 이상의 단말기(120 ~ 126)들 간에 공유되도록 중계하고, AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보를 증강시킨 갱신 AR 서비스를 사용자 단말기(110)와 AR 서비스의 참여자에 해당되는 다른 단말기(120 ~ 126)에 제공하게 된다.
제어부(250)는 사용자 단말기(110)에 마커 정보에 따른 AR 서비스를 제공하는 중에, 다른 단말기(120)로부터 마커 정보의 이미지와 더불어 AR 서비스에 참여 요청이 있는 경우, 사용자 단말기(110)에 참여 여부를 문의하고, 사용자 단말기(110)가 수락할 때, AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보를 증강시킨 갱신 AR 서비스를 사용자 단말기(110)와 AR 서비스에 참여가 수락된 다른 단말기(120 ~ 126)에 제공하도록 제어하게 된다.
여기서, 마커 정보는, QR 코드와 사물 이미지, 랜드마크 이미지 중 하나일 수 있다.
그리고, 제어부(250)는, 다른 단말기(120)로부터 AR 서비스에 참여 요청이 있는 경우, 다른 단말기(120)로부터 수신한 마커 정보와 사용자 단말기(110)에 제공하는 AR 서비스의 마커 정보를 비교하여 동일한지를 판단하고, 동일한 경우 AR 서비스에 참여하는 참여자 수를 산출하여, AR 제공부(240)를 통해 참여자 수에 해당하는 AR 객체와 자원 정보를 증강시킨 갱신 AR 서비스를 생성하여 사용자 단말기(110)와 AR 서비스의 참여자에 해당되는 다른 단말기(120 ~ 126)들에 제공하도록 제어할 수 있다.
도 3은 본 발명의 실시예에 따른 소셜 증강현실 서비스 단말기의 내부 구성을 개략적으로 나타낸 기능 블럭도이다.
도 3을 참조하면, 본 발명의 실시예에 따른 소셜 증강현실 서비스 단말기(이하 AR 단말기)(110)는 통신부(310), AR 공유부(320), 마커 검출부(330), AR 엔진부(340), AR 제어부(350) 및 위치 획득부(360)를 포함한다.
전술한 구성 외에 데이터의 입력을 위한 입력부와, 처리 결과와 데이터, 촬영된 영상 및 AR 객체를 화면 상에 디스플레이하기 위한 디스플레이부, 데이터와 처리 결과 및 AR 객체 등을 저장하기 위한 저장부를 더 포함하나, 일반적으로 공지된 기술에 해당하므로 그에 대한 구성과 설명은 생략한다.
통신부(310)는 AR 서버(130)와 유선 또는 무선으로 데이터를 송수신하게 된다.
AR 공유부(320)는 AR 서버(130)를 통해 AR 서비스에 대한 마커 정보와 AR 객체의 정보를 AR 세션에 연결된 다른 단말기들(120 ~ 126)과 공유하게 된다.
또한, AR 공유부(320)는, AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스에 대한 AR 객체의 정보를 AR 세션에 연결된 다른 단말기들과 공유하게 된다.
마커 검출부(330)는 피사체를 촬영하여 획득한 프리뷰 영상에서 마커 정보를 검출하게 된다.
AR 엔진부(340)는 AR 객체의 정보를 이용해서 마커 정보에 대응된 AR 객체를 생성하고, 생성된 AR 객체를 프리뷰 영상과 함께 디스플레이하게 된다.
AR 제어부(350)는 AR 객체의 동작을 AR 실행에 따라 처리하고, AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스를 AR 공유부(320)를 통해 공유하도록 제어하게 된다.
위치 획득부(360)는 피사체를 촬영하는 위치를 GPS 정보로 획득하게 되고, 마커 검출부(330)는 피사체를 촬영하여 획득한 피사체 이미지와 GPS 정보를 결합해서 마커 정보로 검출할 수 있다.
또한, 마커 검출부(330)는, 촬영하여 획득하는 피사체 이미지가 고유한 랜드마크에 해당되는 경우, 획득된 피사체 이미지를 마커 정보로 검출할 수 있다.
또한, AR 제어부(350)는 AR 서버(130)로부터 다른 단말기(120)의 AR 세션 참여 요청 메시지를 수신하면, 사용자의 선택에 따른 참여 허가 여부를 AR 서버(130)에 전송해 주게 된다.
그리고, AR 제어부(350)는, 마커 검출부(330)를 통해 프리뷰 영상에서 마커 정보를 검출하여 AR 세션에 참여를 요청하는 AR 세션 참여 요청 메시지를 AR 서버(130)에 전송하고, AR 서버(130)로부터 AR 참여 허가 메시지를 수신한 후, AR 서버(130)로부터 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스에 대한 AR 객체의 정보를 수신하게 된다.
도 4는 본 발명의 실시예에 따른 시스템의 소셜 증강현실 서비스 방법을 설명하기 위한 전체 흐름도를 나타낸 도면이다.
도 4를 참조하면, 본 발명의 실시예에 따른 소셜 AR 서비스 시스템(100)은, 먼저 사용자 단말기(110)가 AR 서버(130)로부터 AR 객체의 정보를 수신하여 마커 정보에 따른 AR 객체를 생성하여 AR 서비스를 이용한다(S410).
이어, 다른 단말기(120)가 촬영을 통해 마커 정보를 검출하고(S420), AR 서비스에 참여를 요청하는 참여 요청 메시지를 마커 정보와 함께 AR 서버(130)에 전송한다(S422).
이에, AR 서버(130)는 다른 단말기(120)의 AR 서비스 참여 요청을 사용자 단말기(110)에 전달한다(S430).
이어, 사용자 단말기(110)는 다른 단말기(120)의 AR 서비스 참여 수락 메시지를 AR 서버(130)에 전송한다(S432).
여기서, 다른 단말기(120)로부터의 AR 서비스의 참여 요청을 사용자 단말기(110)에 전달하여, AR 서비스를 개설한 사용자가 먼저 승인하도록 실시하였으나, 사용자의 승인 없이 누구나 참여하도록 실시할 수 있다.
이어, AR 서버(130)는 AR 서비스의 참여자 수를 산출하고(S440), 참여자 수에 따라 AR 객체의 정보와 자원 정보를 증강시킨 갱신 AR 서비스를 사용자 단말기(110) 및 다른 단말기(120 ~ 126)에 제공한다(S450).
따라서, 사용자 단말기(110) 및 다른 단말기(120 ~ 126)는 AR 서버(130)로부터 갱신 AR 서비스를 수신하여 이용하게 된다(S460).
여기서, 마커 정보는, QR 코드와 사물 이미지, 랜드마크 이미지, 단말기 위치와 사물 이미지의 결합 중 하나일 수 있다.
도 5는 본 발명의 실시예에 따른 AR 서버의 소셜 증강현실 서비스 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 5를 참조하면, 본 발명의 실시예에 따른 AR 서버(130)는, 사용자 단말기(110)에 마커 정보에 따른 AR 서비스를 제공한다(S510).
여기서, 마커 정보는, QR 코드와 사물 이미지, 랜드마크 이미지 중 하나일 수 있다.
이어, 다른 단말기(120)로부터 마커 정보의 이미지와 더불어 AR 서비스의 참여 요청 메시지를 수신하면(S520-예), 다른 단말기의 AR 서비스 참여 요청을 사용자 단말기에 전달한다(S530).
이어, 사용자 단말기로부터 AR 서비스의 참여 수락 시(S540-예), AR 서버(130)는 AR 서비스의 참여자 수를 산출한다(S550).
여기서, 다른 단말기(120)로부터의 AR 서비스의 참여 요청을 사용자 단말기(110)에 전달하여 AR 서비스를 개설한 사용자가 먼저 승인하도록 실시하였으나, 사용자의 승인 없이 참여 요청하는 누구나 참여하도록 실시할 수 있다.
이어, AR 서버(130)는 AR 서비스의 참여자 수에 따라 AR 객체의 정보와 자원 정보를 증강시켜 갱신 AR 서비스를 생성한다(S560).
그리고, AR 서버(130)는 생성된 갱신 AR 서비스를 사용자 단말기와 다른 단말기 및 AR 서비스에 참여한 다른 단말기들에 제공한다(S570).
따라서, AR 서버(130)는 제공된 갱신 AR 서비스를 매개로 도 8에 도시된 바와 같이 사용자 단말기와 다른 단말기 및 AR 서비스에 참여한 다른 단말기들 간에 상호 인터랙션이 가능하도록 제어할 수 있다. 도 8은 본 발명의 실시예에 따라 참여자 A와 참여자 B가 AR 서비스를 매개로 상호 인터랙션하는 경우를 나타내는 동작 흐름도이다. 즉, 도 8에 도시된 바와 같이 참여자 A가 마커를 통해서 나타난 내용(예를 들어, 추첨권)을 단말기 상에서 터치해서 획득하면, AR 서버(130)는 다른 참여자 B가 동일한 마커를 보더라도 단말기 상에 증강현실 내용이 나타나지 않도록 제어하는 것을 보여준다.
도 6은 본 발명의 실시예에 따른 AR 단말기의 소셜 증강현실 서비스 방법을 설명하기 위한 동작 흐름도를 나타낸 도면이다.
도 6을 참조하면, 본 발명의 실시예에 따른 AR 단말기(110)는 다른 단말기가 마커 정보에 따라 AR 서비스를 이용할 때, 다른 단말기가 이용하는 마커 정보를 촬영하여 획득한다(S610).
이때, 마커 정보는 도 7에 도시된 바와 같이 QR 코드 이미지와 사물 이미지 및 랜드마크 이미지 중 하나일 수 있다. 도 7은 본 발명의 실시예에 따라 QR 코드와 사물, 랜드마크 이미지 중 하나를 마커 정보로 획득하는 예를 나타낸 도면이다.
또한, AR 단말기(110)는 다른 단말기(120)가 이용하는 마커 정보를 촬영하는 위치를 GPS 정보로 획득하고, 카메라를 통해 촬영하여 획득된 이미지와 GPS 정보를 결합해서 마커 정보를 획득할 수 있다.
그리고, AR 단말기(110)는 촬영하여 획득하는 이미지가 고유한 랜드마크에 해당되는 경우, 획득된 랜드마크 이미지를 마커 정보로 획득할 수 있다.
이어, AR 단말기(110)는 획득된 마커 정보와 함께 AR 서비스의 참여 요청 메시지를 AR 서버(130)에 전송한다(S620).
이어, AR 단말기(110)는 AR 서버(130)로부터 다른 단말기(120)의 AR 서비스 참여 수락 메시지를 수신한다(S630).
여기서, 다른 단말기(120)로부터의 AR 서비스의 참여 요청을 사용자 단말기(110)에 전달하여 AR 서비스를 개설한 사용자가 먼저 승인하도록 실시하였으나, 사용자의 승인 없이 참여 요청한 누구나 참여하도록 실시할 수 있다.
이어, AR 단말기(110)는 AR 서버(130)로부터 마커 정보에 따른 AR 서비스에 대해 참여자 수에 따라 AR 객체와 자원 정보가 갱신된 갱신 AR 서비스를 수신한다(S640).
이어, AR 단말기(110)는 갱신 AR 서비스에 대한 마커 정보와 AR 객체의 정보를 AR 세션에 연결된 다른 단말기들과 공유한다(S650).
즉, AR 단말기(110)는 AR 제어부(350)가 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스를 AR 공유부(320)를 통해 공유하도록 AR 엔진부(340)를 통해 AR 객체의 정보를 이용해서 마커 정보에 대응된 AR 객체를 생성하고, 생성된 AR 객체를 프리뷰 영상과 함께 디스플레이하게 되는 것이다.
따라서, 사용자가 본 발명에 따른 소셜 증강현실 서비스 단말기를 이용해 게임을 진행하는 경우에, 주변에 있는 여러 사람이 같이 게임에 참여하여 공동으로 적을 물리치거나 공동으로 도시를 건설하는 등의 게임을 함께 즐길 수 있다.
또한, AR 단말기(110)는 갱신 AR 서비스를 매개로 도 8에 도시된 바와 같이 다른 단말기 및 AR 서비스에 참여한 다른 단말기들과 상호 인터랙션을 수행할 수 있다. 예를 들어, 주변에 있는 태그들에 대해서 증강현실을 통해서 경품을 찾는 경우에 한 참가자가 경품을 찾아서 획득(경품 태그를 찾고, 증강현실로 확인해서, 증강현실로 나타난 경품을 클릭 등의 방법을 통해서 획득)한 경우에는 다른 참가자가 동일한 태그를 보고 확인해도 단말기 상에는 경품이 나타나지 않도록 하는 것이다. 다른 예로, 태그 혹은 랜드마크를 이용해서 증강현실을 이용한 메모장이 있는 경우에 한 사용자가 메모장에 메시지를 남겨서 다른 사용자들이 메모장에 적힌 메시지를 함께 읽을(볼) 수 있도록 하는 것이다.
전술한 바와 같이 본 발명에 의하면, 사용자가 스마트 폰 등의 모바일 단말기를 통해 증강현실 서비스를 이용하고 있을 때 주변에 있는 다른 사용자들이 모바일 단말기를 통해 동일한 물체 또는 마커(Marker)나 랜드마크(Landmark)를 동시에 또는 비동기적으로 인식하면, 인식한 사용자들의 모바일 단말기에 참여자 수나 참여자 정보에 따라 다른 증강현실 서비스를 제공하고, 참여자들이 증강현실을 매개로 상호 인터랙션이 가능하도록 하는 소셜 증강현실 서비스 시스템 및 방법을 실현할 수 있다.
본 발명이 속하는 기술분야의 당업자는 본 발명이 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있으므로, 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적인 것이 아닌 것으로서 이해해야만 한다. 본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 등가개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
본 발명은 사용자가 모바일 단말기를 통해 증강현실 서비스를 이용하고 있을 때 주변에 있는 다른 사용자들이 모바일 단말기를 통해 동일한 물체 또는 마커(Marker)나 랜드마크(Landmark)를 동시에 또는 비동기적으로 인식하면, 인식한 사용자들의 모바일 단말기에 참여자 수나 참여자 정보에 따라 갱신된 다른 증강현실 서비스를 제공함으로써 주변 사용자들이 증강현실 서비스를 함께 이용할 수 있도록 하는 소셜 증강현실 서비스 시스템 및 방법에 적용할 수 있다.
100 : 소셜 증강현실 서비스 시스템 110 : 사용자 단말기
120 ~ 126 : 다른 단말기 130 : AR 서버
210 : 통신부 220 : 마커 저장부
230 : 객체 저장부 240 : AR 제공부
250 : 제어부 310 : 통신부
320 : AR 공유부 330 : 마커 검출부
340 : AR 엔진부 350 : AR 제어부
360 : 위치 획득부
120 ~ 126 : 다른 단말기 130 : AR 서버
210 : 통신부 220 : 마커 저장부
230 : 객체 저장부 240 : AR 제공부
250 : 제어부 310 : 통신부
320 : AR 공유부 330 : 마커 검출부
340 : AR 엔진부 350 : AR 제어부
360 : 위치 획득부
Claims (19)
- 마커 정보에 따른 증강현실(AR) 서비스를 이용하는 중에 다른 단말기로부터 참여 요청이 있으면 수락하여 상기 AR 서비스에 대해 증강된 갱신 AR 서비스를 상기 다른 단말기와 함께 제공받는 사용자 단말기;
상기 사용자 단말기에 마커 정보에 따른 AR 서비스를 제공하는 중에, 다른 단말기로부터 동일한 상기 마커 정보와 더불어 상기 AR 서비스에 참여 요청이 있는 경우, 상기 사용자 단말기에 참여 여부를 문의하여 수락할 때, 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보를 증강시킨 갱신 AR 서비스를 상기 사용자 단말기와 다른 단말기에 제공하는 AR 서버; 및
상기 사용자 단말기가 이용하는 상기 AR 서비스에 참여하기 위해 상기 AR 서비스에 대응된 마커 정보를 촬영하여 획득한 사물이나 랜드마크의 이미지를 상기 AR 서버에 전송하여 상기 AR 서비스에 참여를 요청하고, 이후 상기 사용자 단말기의 참여 수락에 따라 상기 AR 서버로부터 참여자의 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스를 제공받는 하나 이상의 다른 단말기;
를 포함하는 소셜 증강현실 서비스 시스템.
- 사용자 단말기 및 하나 이상의 다른 단말기들과 유선 또는 무선으로 데이터를 송수신하는 통신부;
상기 사용자 단말기나 상기 하나 이상의 다른 단말기에 제공하는 증강현실(이하 AR) 서비스의 근거가 되는 마커(marker) 정보를 저장하는 마커 저장부;
상기 마커 정보 또는 상기 AR 서비스에 대응하는 AR 객체의 정보를 저장하는 객체 저장부;
상기 마커 정보와 상기 AR 객체의 정보가 AR 세션에 참여 중인 상기 사용자 단말기 및 상기 하나 이상의 단말기들 간에 공유되도록 중계하고, 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보를 증강시킨 갱신 AR 서비스를 상기 사용자 단말기와 상기 AR 서비스의 참여자에 해당되는 다른 단말기에 제공하는 AR 제공부; 및
상기 사용자 단말기에 상기 마커 정보에 근거해 상기 AR 서비스를 제공하는 중에, 상기 다른 단말기로부터 상기 마커 정보의 이미지와 더불어 상기 AR 서비스에 참여 요청이 있는 경우, 상기 사용자 단말기에 참여 여부를 문의하고, 상기 사용자 단말기가 수락할 때, 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보를 증강시킨 갱신 AR 서비스를 상기 사용자 단말기와 상기 AR 서비스에 참여가 수락된 다른 단말기에 제공하도록 제어하는 제어부;
를 포함하는 소셜 증강현실 서비스 서버.
- 청구항 2에 있어서,
상기 마커 정보는, QR 코드와 사물 이미지, 랜드마크 이미지 중 하나인 것을 특징으로 하는 소셜 증강현실 서비스 서버.
- 청구항 2에 있어서,
상기 제어부는, 상기 다른 단말기로부터 상기 AR 서비스에 참여 요청이 있는 경우, 상기 다른 단말기로부터 수신한 상기 마커 정보와 상기 사용자 단말기에 제공하는 AR 서비스의 마커 정보를 비교하여 동일한지를 판단하고, 동일한 경우 상기 AR 서비스에 참여하는 참여자 수를 산출하여, 상기 AR 제공부를 통해 참여자 수에 해당하는 AR 객체와 자원 정보를 증강시킨 갱신 AR 서비스를 생성하여 상기 사용자 단말기와 상기 AR 서비스의 참여자에 해당되는 다른 단말기들에 제공하도록 제어하는 것을 특징으로 하는 소셜 증강현실 서비스 서버.
- AR 서버와 유선 또는 무선으로 데이터를 송수신하는 통신부;
상기 AR 서버를 통해 AR 서비스에 대한 마커 정보와 AR 객체의 정보를 AR 세션에 연결된 다른 단말기들과 공유하는 AR 공유부;
피사체를 촬영하여 획득한 프리뷰 영상에서 상기 마커 정보를 검출하는 마커 검출부;
상기 AR 객체의 정보를 이용해서 상기 마커 정보에 대응된 AR 객체를 생성하고, 생성된 AR 객체를 상기 프리뷰 영상과 함께 디스플레이하는 AR 엔진부; 및
상기 AR 객체의 동작을 AR 실행에 따라 처리하고, 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스를 상기 AR 공유부를 통해 공유하도록 제어하는 AR 제어부;
를 포함하는 소셜 증강현실 서비스 단말기.
- 청구항 5에 있어서,
상기 피사체를 촬영하는 위치를 GPS 정보로 획득하는 위치 획득부를 더 포함하고,
상기 마커 검출부는 상기 피사체를 촬영하는 획득한 피사체 이미지와 상기 GPS 정보를 결합해서 상기 마커 정보로 검출하는 것을 특징으로 하는 소셜 증강현실 서비스 단말기.
- 청구항 5에 있어서,
상기 마커 검출부는, 상기 촬영하여 획득하는 피사체 이미지가 고유한 랜드마크에 해당되는 경우 상기 획득된 피사체 이미지를 마커 정보로 검출하는 것을 특징으로 하는 소셜 증강현실 서비스 단말기.
- 청구항 5에 있어서,
상기 AR 공유부는, 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스에 대한 AR 객체의 정보를 AR 세션에 연결된 다른 단말기들과 공유하는 것을 특징으로 하는 소셜 증강현실 서비스 단말기.
- 청구항 5에 있어서,
상기 AR 제어부는, 상기 AR 서버로부터 다른 단말기의 AR 세션 참여 요청 메시지를 수신하면, 사용자의 선택에 따른 참여 허가 여부를 상기 AR 서버에 전송해 주는 것을 특징으로 하는 소셜 증강현실 서비스 단말기.
- 청구항 5에 있어서,
상기 AR 제어부는, 상기 마커 검출부를 통해 상기 프리뷰 영상에서 상기 마커 정보를 검출하여 상기 AR 세션에 참여를 요청하는 AR 세션 참여 요청 메시지를 상기 AR 서버에 전송하고, 상기 AR 서버로부터 AR 참여 허가 메시지를 수신한 후, 상기 AR 서버로부터 상기 AR 서비스의 참여자 수에 따라 객체를 비롯해 자원 정보가 증강된 갱신 AR 서비스에 대한 AR 객체의 정보를 수신하는 것을 특징으로 하는 소셜 증강현실 서비스 단말기.
- 사용자 단말기와 하나 이상의 다른 단말기 및 AR 서버를 포함하는 시스템의 소셜 증강현실 서비스 방법으로서,
(a) 상기 사용자 단말기가 상기 AR 서버로부터 AR 객체의 정보를 수신하여 마커 정보에 따른 AR 객체를 생성하여 AR 서비스를 이용하는 단계;
(b) 상기 다른 단말기가 촬영을 통해 상기 마커 정보를 검출하여, 상기 AR 서비스에 참여를 요청하는 참여 요청 메시지를 상기 마커 정보와 함께 상기 AR 서버에 전송하는 단계;
(c) 상기 AR 서버가 상기 다른 단말기의 AR 서비스 참여 요청을 상기 사용자 단말기에 전달하는 단계;
(d) 상기 사용자 단말기가 상기 다른 단말기의 AR 서비스 참여 수락 메시지를 상기 AR 서버에 전송하는 단계;
(e) 상기 AR 서버가 상기 AR 서비스의 참여자 수를 산출하여, 참여자 수에 따라 AR 객체의 정보와 자원 정보를 증강시킨 갱신 AR 서비스를 상기 사용자 단말기 및 상기 다른 단말기에 제공하는 단계; 및
(f) 상기 사용자 단말기 및 상기 다른 단말기가 상기 AR 서버로부터 갱신 AR 서비스를 수신하여 이용하는 단계;
를 포함하는 소셜 증강현실 서비스 방법.
- 청구항 11에 있어서,
상기 마커 정보는, QR 코드와 사물 이미지, 랜드마크 이미지, 단말기 위치와 사물 이미지의 결합 중 하나인 것을 특징으로 하는 소셜 증강현실 서비스 방법.
- 사용자 단말기 및 하나 이상의 다른 단말기와 유선 또는 무선으로 데이터를 송수신하는 AR 서버의 소셜 증강현실 서비스 방법으로서,
(a) 상기 사용자 단말기에 마커 정보에 따른 AR 서비스를 제공하는 단계;
(b) 상기 다른 단말기로부터 상기 마커 정보의 이미지와 더불어 상기 AR 서비스의 참여 요청 메시지를 수신하는 단계;
(c) 상기 사용자 단말기에 상기 다른 단말기의 AR 서비스 참여 요청을 전달하는 단계;
(d) 상기 사용자 단말기로부터 AR 서비스의 참여 수락 시, 상기 AR 서비스의 참여자 수를 산출하는 단계; 및
(e) 상기 AR 서비스의 참여자 수에 따라 AR 객체의 정보와 자원 정보를 증강시켜 갱신 AR 서비스를 생성해 상기 사용자 단말기와 상기 다른 단말기 및 상기 AR 서비스에 참여한 다른 단말기들에 제공하는 단계;
를 포함하는 AR 서버의 소셜 증강현실 서비스 방법.
- 청구항 13에 있어서,
상기 마커 정보는, QR 코드와 사물 이미지, 랜드마크 이미지 중 하나인 것을 특징으로 하는 AR 서버의 소셜 증강현실 서비스 방법.
- 청구항 13에 있어서,
(f) 상기 사용자 단말기와 상기 다른 단말기 및 상기 AR 서비스에 참여한 다른 단말기들 간에 상기 갱신 AR 서비스를 매개로 상호 인터랙션이 가능하도록 제어하는 단계;
를 포함하는 것을 특징으로 하는 AR 서버의 소셜 증강현실 서비스 방법.
- AR 서버와 유선 또는 무선으로 데이터를 송수신하는 AR 단말기의 소셜 증강현실 서비스 방법으로서,
(a) 다른 단말기가 마커 정보에 따라 AR 서비스를 이용할 때, 상기 마커 정보를 촬영하여 획득하는 단계;
(b) 상기 획득된 마커 정보와 함께 AR 서비스의 참여 요청 메시지를 상기 AR 서버에 전송하는 단계;
(c) 상기 AR 서버로부터 상기 다른 단말기의 AR 서비스 참여 수락 메시지를 수신하는 단계;
(d) 상기 AR 서버로부터 상기 마커 정보에 따른 AR 서비스에 대해 참여자 수에 따라 AR 객체와 자원 정보가 갱신된 갱신 AR 서비스를 수신하는 단계; 및
(e) 상기 갱신 AR 서비스에 대한 마커 정보와 AR 객체의 정보를 AR 세션에 연결된 다른 단말기들과 공유하는 단계;
를 포함하는 AR 단말기의 소셜 증강현실 서비스 방법.
- 청구항 16에 있어서,
상기 (a) 단계는, 상기 마커 정보를 촬영하는 위치를 GPS 정보로 획득하고, 상기 촬영하여 획득된 이미지와 상기 GPS 정보를 결합해서 상기 마커 정보를 획득하는 것을 특징으로 하는 AR 단말기의 소셜 증강현실 서비스 방법.
- 청구항 16에 있어서,
상기 (a) 단계는, 상기 촬영하여 획득하는 이미지가 고유한 랜드마크에 해당되는 경우 상기 획득된 랜드마크 이미지를 상기 마커 정보로 획득하는 것을 특징으로 하는 AR 단말기의 소셜 증강현실 서비스 방법.
- 청구항 16에 있어서,
(f) 상기 AR 서버를 통한 갱신 AR 서비스를 매개로 상기 다른 단말기들과 상호 인터랙션을 수행하는 단계;
를 포함하는 것을 특징으로 하는 AR 단말기의 소셜 증강현실 서비스 방법.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130117118A KR101600038B1 (ko) | 2013-10-01 | 2013-10-01 | 소셜 증강현실 서비스 시스템 및 방법 |
| PCT/KR2013/011758 WO2015050288A1 (ko) | 2013-10-01 | 2013-12-17 | 소셜 증강현실 서비스 시스템 및 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020130117118A KR101600038B1 (ko) | 2013-10-01 | 2013-10-01 | 소셜 증강현실 서비스 시스템 및 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20150039233A true KR20150039233A (ko) | 2015-04-10 |
| KR101600038B1 KR101600038B1 (ko) | 2016-03-04 |
Family
ID=52778863
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020130117118A KR101600038B1 (ko) | 2013-10-01 | 2013-10-01 | 소셜 증강현실 서비스 시스템 및 방법 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR101600038B1 (ko) |
| WO (1) | WO2015050288A1 (ko) |
Cited By (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO2018074870A1 (ko) * | 2016-10-19 | 2018-04-26 | (주)잼투고 | 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버 |
| WO2018125494A1 (en) * | 2016-12-30 | 2018-07-05 | Intel Corporation | Dynamic, local augmented reality landmarks |
| KR20200013412A (ko) * | 2018-07-30 | 2020-02-07 | 박윤진 | 증강현실 기반 정보 제공 방법 |
| KR20200027459A (ko) * | 2016-10-13 | 2020-03-12 | 알리바바 그룹 홀딩 리미티드 | 증강 현실에 기초한 오프라인 서비스 다중 사용자 상호작용 |
| KR102099852B1 (ko) * | 2018-10-30 | 2020-04-10 | 한동대학교 산학협력단 | 증강현실 게임북을 이용한 멀티유저 증강현실 컨텐츠 제공 시스템 및 방법 |
| WO2020096376A1 (en) * | 2018-11-07 | 2020-05-14 | Samsung Electronics Co., Ltd. | System and method for coded pattern communication |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11145122B2 (en) | 2017-03-09 | 2021-10-12 | Samsung Electronics Co., Ltd. | System and method for enhancing augmented reality (AR) experience on user equipment (UE) based on in-device contents |
| EP3416092A1 (en) * | 2017-06-16 | 2018-12-19 | Thomson Licensing | Method and devices to optimize marker management for pose estimation |
| KR102428921B1 (ko) * | 2017-09-22 | 2022-08-04 | 삼성전자주식회사 | Ar 서비스를 제공하는 방법 및 디바이스 |
| CN111177167B (zh) * | 2019-12-25 | 2024-01-19 | Oppo广东移动通信有限公司 | 增强现实的地图更新方法、装置、系统、存储与设备 |
Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110088774A (ko) * | 2010-01-29 | 2011-08-04 | 주식회사 팬택 | 증강 현실 제공 시스템 및 방법 |
| KR20120080410A (ko) * | 2011-01-07 | 2012-07-17 | 삼성전자주식회사 | 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법 |
| US20120198021A1 (en) * | 2011-01-27 | 2012-08-02 | Pantech Co., Ltd. | System and method for sharing marker in augmented reality |
| KR20120086795A (ko) * | 2011-01-27 | 2012-08-06 | 주식회사 팬택 | 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법 |
| KR20130082530A (ko) | 2011-12-07 | 2013-07-22 | (주)엘에이치에스지 | 소셜 네트워크 서비스와 연동되는 증강 현실 서비스 제공 장치, 방법 및 그 시스템 |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101573329B1 (ko) * | 2008-05-27 | 2015-12-01 | 삼성전자주식회사 | 멀티캐스트 세션을 통해 수신한 어플리케이션에 기초한 ｉｐｔｖ 서비스 이용 방법 및 장치 |
-
2013
- 2013-10-01 KR KR1020130117118A patent/KR101600038B1/ko active IP Right Grant
- 2013-12-17 WO PCT/KR2013/011758 patent/WO2015050288A1/ko active Application Filing
Patent Citations (5)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20110088774A (ko) * | 2010-01-29 | 2011-08-04 | 주식회사 팬택 | 증강 현실 제공 시스템 및 방법 |
| KR20120080410A (ko) * | 2011-01-07 | 2012-07-17 | 삼성전자주식회사 | 디바이스간 동기화된 인터랙션을 제공하는 콘텐츠 동기화 장치 및 방법 |
| US20120198021A1 (en) * | 2011-01-27 | 2012-08-02 | Pantech Co., Ltd. | System and method for sharing marker in augmented reality |
| KR20120086795A (ko) * | 2011-01-27 | 2012-08-06 | 주식회사 팬택 | 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법 |
| KR20130082530A (ko) | 2011-12-07 | 2013-07-22 | (주)엘에이치에스지 | 소셜 네트워크 서비스와 연동되는 증강 현실 서비스 제공 장치, 방법 및 그 시스템 |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200027459A (ko) * | 2016-10-13 | 2020-03-12 | 알리바바 그룹 홀딩 리미티드 | 증강 현실에 기초한 오프라인 서비스 다중 사용자 상호작용 |
| US10789475B2 (en) | 2016-10-13 | 2020-09-29 | Alibaba Group Holding Limited | Offline-service multi-user interaction based on augmented reality |
| WO2018074870A1 (ko) * | 2016-10-19 | 2018-04-26 | (주)잼투고 | 이미지 인증을 이용한 증강현실 객체 제공 방법 및 제공 서버 |
| US11023572B2 (en) | 2016-10-19 | 2021-06-01 | Jong Yoon Chun | Augmented reality object providing method and server using image authentication |
| WO2018125494A1 (en) * | 2016-12-30 | 2018-07-05 | Intel Corporation | Dynamic, local augmented reality landmarks |
| US10262464B2 (en) | 2016-12-30 | 2019-04-16 | Intel Corporation | Dynamic, local augmented reality landmarks |
| KR20200013412A (ko) * | 2018-07-30 | 2020-02-07 | 박윤진 | 증강현실 기반 정보 제공 방법 |
| KR102099852B1 (ko) * | 2018-10-30 | 2020-04-10 | 한동대학교 산학협력단 | 증강현실 게임북을 이용한 멀티유저 증강현실 컨텐츠 제공 시스템 및 방법 |
| WO2020096376A1 (en) * | 2018-11-07 | 2020-05-14 | Samsung Electronics Co., Ltd. | System and method for coded pattern communication |
| US10691767B2 (en) | 2018-11-07 | 2020-06-23 | Samsung Electronics Co., Ltd. | System and method for coded pattern communication |
Also Published As
| Publication number | Publication date |
|---|---|
| KR101600038B1 (ko) | 2016-03-04 |
| WO2015050288A1 (ko) | 2015-04-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101600038B1 (ko) | 소셜 증강현실 서비스 시스템 및 방법 | |
| EP3531649B1 (en) | Method and device for allocating augmented reality-based virtual objects | |
| KR101292463B1 (ko) | 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법 | |
| US10430558B2 (en) | Methods and systems for controlling access to virtual reality media content | |
| WO2022088918A1 (zh) | 虚拟图像的显示方法、装置、电子设备及存储介质 | |
| US10650598B2 (en) | Augmented reality-based information acquiring method and apparatus | |
| CN111357297A (zh) | 从第一屏幕设备到第二屏幕设备的反向投射 | |
| KR101338700B1 (ko) | 마커를 분할해서 공유하는 증강 현실 시스템 및 그 방법 | |
| KR20210135683A (ko) | 인터넷 전화 기반 통화 중 리액션을 표시하는 방법, 시스템, 및 컴퓨터 프로그램 | |
| US20090241039A1 (en) | System and method for avatar viewing | |
| KR101329935B1 (ko) | 이종 마커를 이용해서 원격으로 증강현실 서비스를 공유하는 증강현실 시스템 및 그 방법 | |
| US20150265922A1 (en) | Information processing system, information processing apparatus, storage medium having stored therein information processing program, and information processing method | |
| JP2017162309A (ja) | ヘッドマウントディスプレイシステムを制御するための方法、および、プログラム | |
| US10493360B2 (en) | Image display device and image display system | |
| US9621703B2 (en) | Motion to connect to kiosk | |
| KR20140108436A (ko) | 증강현실을 이용한 소셜네트워크형 운동 게임 시스템 및 방법 | |
| JP6883140B1 (ja) | 情報処理システム、情報処理方法およびコンピュータプログラム | |
| KR20220140391A (ko) | 가상 카메라 머신을 이용한 콘텐츠 제공 시스템 및 방법 | |
| CN111459432A (zh) | 虚拟内容的显示方法、装置、电子设备及存储介质 | |
| KR101045989B1 (ko) | 온라인 및 오프라인 편재형 게임 구현 시스템 | |
| CN108092950B (zh) | 一种基于位置的ar或mr社交方法 | |
| JP6149967B1 (ja) | 動画配信サーバ、動画出力装置、動画配信システム、及び動画配信方法 | |
| KR20100114707A (ko) | 증강현실에 기반하여 메시지를 표시하는 방법 및 장치 | |
| JP7225016B2 (ja) | Ａｒ空間画像投影システム、ａｒ空間画像投影方法及びユーザ端末 | |
| KR20220160558A (ko) | 가상 공간에서 사용자의 동작을 따라 하는 아바타를 표현하는 방법 및 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| FPAY | Annual fee payment |
Payment date: 20190108 Year of fee payment: 4 |
|
| FPAY | Annual fee payment |
Payment date: 20200225 Year of fee payment: 5 |