KR102434832B1 - 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법 - Google Patents
인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법 Download PDFInfo
- Publication number
- KR102434832B1 KR102434832B1 KR1020200080526A KR20200080526A KR102434832B1 KR 102434832 B1 KR102434832 B1 KR 102434832B1 KR 1020200080526 A KR1020200080526 A KR 1020200080526A KR 20200080526 A KR20200080526 A KR 20200080526A KR 102434832 B1 KR102434832 B1 KR 102434832B1
- Authority
- KR
- South Korea
- Prior art keywords
- image
- tourist destination
- user
- user terminal
- artificial intelligence
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 63
- 238000013473 artificial intelligence Methods 0.000 title claims abstract description 49
- 230000015572 biosynthetic process Effects 0.000 title claims abstract description 41
- 238000003786 synthesis reaction Methods 0.000 title claims abstract description 41
- 230000011218 segmentation Effects 0.000 title claims description 6
- 238000000926 separation method Methods 0.000 claims abstract description 37
- 238000004422 calculation algorithm Methods 0.000 claims abstract description 17
- 239000002131 composite material Substances 0.000 claims abstract description 16
- 230000002194 synthesizing effect Effects 0.000 claims abstract description 14
- 230000006870 function Effects 0.000 claims description 13
- 230000008569 process Effects 0.000 claims description 13
- 238000013527 convolutional neural network Methods 0.000 claims description 5
- 238000013507 mapping Methods 0.000 claims description 4
- 238000005070 sampling Methods 0.000 claims description 2
- 208000013057 hereditary mucoepithelial dysplasia Diseases 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 12
- 238000002156 mixing Methods 0.000 description 12
- 230000005540 biological transmission Effects 0.000 description 9
- 238000004891 communication Methods 0.000 description 9
- 230000000694 effects Effects 0.000 description 7
- 238000005516 engineering process Methods 0.000 description 6
- 238000003860 storage Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000000605 extraction Methods 0.000 description 4
- 230000002457 bidirectional effect Effects 0.000 description 3
- 238000002372 labelling Methods 0.000 description 3
- 239000011159 matrix material Substances 0.000 description 3
- 238000012549 training Methods 0.000 description 3
- 230000009466 transformation Effects 0.000 description 3
- 230000006399 behavior Effects 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 2
- 239000003205 fragrance Substances 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 208000025721 COVID-19 Diseases 0.000 description 1
- VYZAMTAEIAYCRO-UHFFFAOYSA-N Chromium Chemical compound [Cr] VYZAMTAEIAYCRO-UHFFFAOYSA-N 0.000 description 1
- 241000711573 Coronaviridae Species 0.000 description 1
- 230000004308 accommodation Effects 0.000 description 1
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000033228 biological regulation Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000003749 cleanliness Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000010411 cooking Methods 0.000 description 1
- 238000012937 correction Methods 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007547 defect Effects 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000003708 edge detection Methods 0.000 description 1
- 238000005538 encapsulation Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000003709 image segmentation Methods 0.000 description 1
- 238000007654 immersion Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000005304 joining Methods 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000006855 networking Effects 0.000 description 1
- 238000011176 pooling Methods 0.000 description 1
- 238000003825 pressing Methods 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000000611 regression analysis Methods 0.000 description 1
- 238000012827 research and development Methods 0.000 description 1
- 230000035939 shock Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
- G06Q50/14—Travel agencies
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20081—Training; Learning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20084—Artificial neural networks [ANN]
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/20—Special algorithmic details
- G06T2207/20212—Image combination
- G06T2207/20221—Image fusion; Image merging
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Tourism & Hospitality (AREA)
- General Business, Economics & Management (AREA)
- Software Systems (AREA)
- Strategic Management (AREA)
- Primary Health Care (AREA)
- Marketing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Resources & Organizations (AREA)
- Health & Medical Sciences (AREA)
- Economics (AREA)
- General Health & Medical Sciences (AREA)
- Radar, Positioning & Navigation (AREA)
- General Engineering & Computer Science (AREA)
- Computer Hardware Design (AREA)
- Computer Graphics (AREA)
- Remote Sensing (AREA)
- Processing Or Creating Images (AREA)
Abstract
인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법이 제공되며, 사용자 단말에 표시되는 세계지도 내 적어도 하나의 관광지 중 어느 하나의 관광지가 선택되는 경우 360도 VR 뷰(View)로 선택된 관광지의 이미지를 출력하는 단계, 사용자 단말에서 셀카모드를 선택하는 경우, 사용자 단말의 전면에 구비된 카메라를 통하여 사용자의 얼굴 및 신체를 기 저장된 인공지능 알고리즘으로 획득하는 단계 및 선택된 관광지를 배경으로 사용자의 얼굴 및 신체를 실시간 합성하여 합성영상을 표시하는 단계를 포함한다.
Description
본 발명은 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법에 관한 것으로, 360도 파노라마 뷰를 이용하여 여행 일정 및 루트에 맞는 여행 상품을 가상으로 제공할 수 있는 방법을 제공한다.
코로나(COVID-19)의 전 세계적인 확산으로 국제 관광객 수가 급감하고, 관광시장이 위축됨에 따라 국내 관광산업은 전례 없는 충격과 위기를 맞고 있다. 코로나는 관광수요 감소뿐 아니라 사람들의 관광패턴에도 영향을 줄 것으로 예측되는데, 당분간 해외여행 대신 국내여행, 장거리 여행보다는 근거리 여행이 증가할 것으로 보인다. 특히, 관광지와 숙박시설을 결정하는데 청결이 최우선 조건이 되고, 사회적 거리두기를 고려한 관광활동을 선호할 것이다. 이와 함께 관광 분야에 비대면 기술, VR 및 AR 등이 도입되면서 관광산업의 디지털 트랜스포메이션은 더욱 가속화될 것으로 전망된다.
이때, 언택트 마케팅이 활성화되면서 관광업계에서도 파노라마 영상에 사용자 객체 이미지를 합성하여 실제로 그 공간에 있는 것과 같은 효과를 주는 기술이 연구 및 개발되었는데, 이와 관련하여, 선행기술인 한국공개특허 제2018-0013712호(2018년02월07일 공개) 및 한국등록특허 제2020-0010909호(2020년01월31일 공고)에는, VR 영상 컨텐츠를 수신하고, VR 영상 컨텐츠의 모핑영역에 광고 컨텐츠를 모핑한 합성 VR컨텐츠를 형성하며, 시야범위에 따라 합성 VR 컨텐츠를 선택적으로 출력하는 구성과, 360도 파노라마 배경 영상을 저장하고, 오브젝트를 촬영한 영상을 입력받은 후 배경 크로마 백을 추출 및 제거하며, 오브젝트 영상의 크기 정보 및 오브젝트 영상이 위치할 영상내 위치 정보를 생성하고, 오브젝트 영상의 크기 정보 및 영상 내 위치 정보를 기초로 재생 배경 영상 및 오브젝트 영상을 합성하여 합성 영상을 생성하는 구성이 각각 개시되어 있다.
다만, 상술한 구성은 가상 콘텐츠를 가상 배경에 합성하는 기술일 뿐, 실제 사람이 그 장소에 있는 것과 같은 효과를 주기 위하여 실시간으로 입력되는 촬영화면 내에서 배경과 객체를 분리한 후 파노라마 영상이나 이미지에 객체를 합성하는 구성이 전혀 아니다. 또, 코로나 이후 관광산업의 위기 속에서 관광패턴 변화에 적극적으로 대응할 필요성이 대두됨에 따라, 실제 여행을 가고 싶지만 각국의 여행규제 및 코로나의 걱정에 따라 여행을 포기한 사람들에게 대체제를 주어야 억누르고 있던 욕구가 폭발하지 않는다. 이에, 실제로 여행을 가면서 관광지를 여행일정 및 루트대로 구경하고 주요 관광지에서 사진을 찍는 상황을 가상현실에서라도 진행할 수 있도록 하는 플랫폼의 연구 및 개발이 요구된다.
본 발명의 일 실시예는, 맞춤형 패키지 여행 상품을 제공하고, 여행 상품 중 어느 하나가 선택되면 실제 관광 일정 및 루트대로 이동을 하면서 관광지를 다닐 수 있도록 이미지를 제공하고, 유명 관광지에서 사진을 찍는 사람의 관광객의 행동을 모사하여 실제 사용자의 얼굴 및 신체에 해당하는 객체 이미지와 360도 파노라마 뷰를 가지는 관광지 이미지를 실시간으로 합성함으로써, 실제 사용자가 관광지에 있는 것과 같은 효과를 줄 수 있으며, 객체 이미지와 배경 이미지를 적어도 하나의 종류의 인공지능 알고리즘으로 픽셀단위로 분리함으로써 합성을 했을 때 어색한 부분을 없애고 실제로 해당 공간에 있는 것과 같은 효과를 극대화할 수 있는, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 사용자 단말에 표시되는 세계지도 내 적어도 하나의 관광지 중 어느 하나의 관광지가 선택되는 경우 360도 VR 뷰(View)로 선택된 관광지의 이미지를 출력하는 단계, 사용자 단말에서 셀카모드를 선택하는 경우, 사용자 단말의 전면에 구비된 카메라를 통하여 사용자의 얼굴 및 신체를 기 저장된 인공지능 알고리즘으로 획득하는 단계 및 선택된 관광지를 배경으로 사용자의 얼굴 및 신체를 실시간 합성하여 합성영상을 표시하는 단계를 포함한다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 맞춤형 패키지 여행 상품을 제공하고, 여행 상품 중 어느 하나가 선택되면 실제 관광 일정 및 루트대로 이동을 하면서 관광지를 다닐 수 있도록 이미지를 제공하고, 유명 관광지에서 사진을 찍는 사람의 관광객의 행동을 모사하여 실제 사용자의 얼굴 및 신체에 해당하는 객체 이미지와 360도 파노라마 뷰를 가지는 관광지 이미지를 실시간으로 합성함으로써, 실제 사용자가 관광지에 있는 것과 같은 효과를 줄 수 있으며, 객체 이미지와 배경 이미지를 적어도 하나의 종류의 인공지능 알고리즘으로 픽셀단위로 분리함으로써 합성을 했을 때 어색한 부분을 없애고 실제로 해당 공간에 있는 것과 같은 효과를 극대화할 수 있다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 시스템을 설명하기 위한 도면이다.
도 2는 도 1의 시스템에 포함된 가상여행 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 내 인공지능 알고리즘 및 객체 분리를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스가 구현된 일 실시예 중 메인화면을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스가 구현된 일 실시예 중 관광지를 선택하는 화면을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스가 구현된 일 실시예 중 360도 뷰 감상화면을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스가 구현된 일 실시예 중 360도 뷰 감상화면에서 셀카모드로 변경하여 사진을 찍는 화면을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스가 구현된 일 실시예 중 패키지 여행 상품이 선택된 화면이다
도 10은 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
도 2는 도 1의 시스템에 포함된 가상여행 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 내 인공지능 알고리즘 및 객체 분리를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스가 구현된 일 실시예 중 메인화면을 도시한 도면이다.
도 6은 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스가 구현된 일 실시예 중 관광지를 선택하는 화면을 도시한 도면이다.
도 7은 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스가 구현된 일 실시예 중 360도 뷰 감상화면을 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스가 구현된 일 실시예 중 360도 뷰 감상화면에서 셀카모드로 변경하여 사진을 찍는 화면을 도시한 도면이다.
도 9는 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스가 구현된 일 실시예 중 패키지 여행 상품이 선택된 화면이다
도 10은 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1 개의 유닛이 2 개 이상의 하드웨어를 이용하여 실현되어도 되고, 2 개 이상의 유닛이 1 개의 하드웨어에 의해 실현되어도 된다. 한편, '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, '~부'는 어드레싱 할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체 지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.
본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.
이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 시스템을 설명하기 위한 도면이다. 도 1을 참조하면, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 시스템(1)은, 적어도 하나의 사용자 단말(100), 가상여행 서비스 제공 서버(300), 적어도 하나의 피공유 단말(400)을 포함할 수 있다. 다만, 이러한 도 1의 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통하여 본 발명이 한정 해석되는 것은 아니다.
이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 적어도 하나의 사용자 단말(100)은 네트워크(200)를 통하여 가상여행 서비스 제공 서버(300)와 연결될 수 있다. 그리고, 가상여행 서비스 제공 서버(300)는, 네트워크(200)를 통하여 적어도 하나의 사용자 단말(100), 적어도 하나의 피공유 단말(400)과 연결될 수 있다. 또한, 적어도 하나의 피공유 단말(400)은, 네트워크(200)를 통하여 가상여행 서비스 제공 서버(300)와 연결될 수 있다.
여기서, 네트워크는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크의 일 예에는 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷(WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다. 무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), 5GPP(5th Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), RF(Radio Frequency), 블루투스(Bluetooth) 네트워크, NFC(Near-Field Communication) 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.
하기에서, 적어도 하나의 라는 용어는 단수 및 복수를 포함하는 용어로 정의되고, 적어도 하나의 라는 용어가 존재하지 않더라도 각 구성요소가 단수 또는 복수로 존재할 수 있고, 단수 또는 복수를 의미할 수 있음은 자명하다 할 것이다. 또한, 각 구성요소가 단수 또는 복수로 구비되는 것은, 실시예에 따라 변경가능하다 할 것이다.
적어도 하나의 사용자 단말(100)은, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하여 패키지 관광 상품을 선택하거나 관광지를 선택하고, 관광 일정 및 루트대로 관광지의 이미지를 출력하는 단말일 수 있다. 그리고, 적어도 하나의 사용자 단말(100)은, 셀카모드로 전환된 경우 촬영되는 화면 내에 배경 이미지를 객체 이미지와 픽셀단위로 분리하고, 객체 이미지를 관광지의 이미지와 실시간으로 합성하여 출력하는 단말일 수 있다. 또한, 적어도 하나의 사용자 단말(100)은, 촬영된 합성영상 및 합성이미지를 적어도 하나의 종류의 소셜미디어에 공유하는 단말일 수 있다.
여기서, 적어도 하나의 사용자 단말(100)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 사용자 단말(100)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 사용자 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
가상여행 서비스 제공 서버(300)는, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 그리고, 가상여행 서비스 제공 서버(300)는, 가상여행 서비스를 제공하기 위하여 각국 관광지의 파노라마 360도 이미지를 관광 일정 및 루트에 맞추어 매핑하여 저장하고 데이터베이스화하는 서버일 수 있다. 또한, 가상여행 서비스 제공 서버(300)는, 사용자 단말(100)에서 관광지를 선택하거나 패키지 여행 상품을 선택하는 경우, 관광지의 이미지를 파노라마 360도 뷰로 제공하고, 패키지 여행 상품의 관광 일정 및 루트대로 관광지의 이미지를 역시 파노라마 360도 뷰로 제공하는 서버일 수 있다. 이때, 가상여행 서비스 제공 서버(300)는, 사용자 단말(100)에서 셀카모드로 사진을 찍거나 동영상을 촬영하고자 하는 경우, 사용자의 얼굴 및 신체를 포함하는 객체 이미지를 배경 이미지와 분리한 후, 360도 파노라마 뷰에 실시간 합성하여 화면에 제공하는 서버일 수 있다. 물론, 사용자 단말(100)에서 객체 분리 및 합성을 실시간으로 할 수 있는 컴퓨팅 자원 및 네트워킹 자원을 갖춘 경우에는 사용자 단말(100)에서 실행되도록 할 수도 있다. 그리고, 가상여행 서비스 제공 서버(300)는, 사용자 단말(100)에서 적어도 하나의 종류의 소셜미디어로 정보를 공유하는 경우 촬영된 사진 또는 동영상을 소셜미디어에 업로드하도록 사용자 단말(100)을 제어하는 서버일 수 있다.
여기서, 가상여행 서비스 제공 서버(300)는, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.
적어도 하나의 피공유 단말(400)은, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 관련 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 이용하는 피공유자의 단말일 수 있다. 이때, 피공유 단말(400)은 사용자 단말(100)에서 공유한 사진 또는 동영상을 공유받는 단말일 수 있다. 물론, 피공유 단말(400)도 사용자 단말(100)의 구성 및 프로세스를 모두 포함 또는 수행할 수 있으나 본 발명의 설명의 편의를 위하여 그 역할을 구분하여 설명하기로 한다. 물론, 그 역도 성립한다(Vice Versa).
여기서, 적어도 하나의 피공유 단말(400)은, 네트워크를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 네비게이션, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 적어도 하나의 피공유 단말(400)은, 네트워크를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 적어도 하나의 피공유 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트 패드(Smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
도 2는 도 1의 시스템에 포함된 가상여행 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3 내지 도 9는 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스가 구현된 일 실시예를 설명하기 위한 도면이다.
도 2를 참조하면, 가상여행 서비스 제공 서버(300)는, 출력부(310), 획득부(320), 표시부(330), 학습부(340), 데이터베이스화부(350), 공유부(360), 패키지여행부(370)를 포함할 수 있다.
본 발명의 일 실시예에 따른 가상여행 서비스 제공 서버(300)나 연동되어 동작하는 다른 서버(미도시)가 적어도 하나의 사용자 단말(100) 및 적어도 하나의 피공유 단말(400)로 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 적어도 하나의 사용자 단말(100) 및 적어도 하나의 피공유 단말(400)은, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 적어도 하나의 사용자 단말(100) 및 적어도 하나의 피공유 단말(400)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: World Wide Web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(Hyper Text Mark-up Language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(Chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(Application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(App)을 포함한다.
도 2를 참조하면, 출력부(310)는, 사용자 단말(100)에 표시되는 세계지도 내 적어도 하나의 관광지 중 어느 하나의 관광지가 선택되는 경우 360도 VR 뷰(View)로 선택된 관광지의 이미지를 출력할 수 있다. 이때, 사용자 단말(100)에서 HMD(Head Mount Display)가 연결된 경우, HMD를 통하여 관광지의 이미지를 출력할 수 있다. 여기서, HMD를 이용하는 경우 관광지의 이미지 외에도 관광지 VR 콘텐츠, 예를 들어, 동영상을 출력할 수도 있다. 360도 VR 비디오 서비스는 일반적인 영상 서비스와는 달리 압축 및 전송을 위해서 스티칭(Stitching), 프로젝션(Projection) 등의 추가적인 기법이 요구되고, 한 장면을 서비스하기 위해 뷰포트(Viewport)가 아닌 영역도 전송해야 하기 때문에 매우 큰 채널 용량을 요구한다. 이에 따라, 소비자의 4K 화질 경험을 위해서는 전체 VR 비디오의 해상도가 최소한 10K 이상으로 서비스되어야 하는데, 예를 들어, 뷰포트에 해당하는 영역을 고화질로 전송하고, 나머지 영역을 상대적인 저화질로 전송하는 뷰포트 적응적 전송(Viewport Adaptive Streaming) 기법이 이용될 수도 있고, 타일 기반 전송기법이나 QER(Quality Emphasized Region) 기반 전송 기법이 이용될 수도 있다.
또는, 출력부(310)는 MMT(MPEG Media Transport) 프로토콜 기반의 개선된 QER 선택 알고리즘을 이용할 수도 있다. 출력부(310)는 QER 기반 전송 기법을 채택하여 360도 VR 비디오를 전송하고, MMT 프로토콜로 전송하기 위해 MMT의 데이터 구조에 적합하도록 캡슐화(Encapsulation) 과정을 거칠 수 있다. 캡슐화된 데이터들은 이종망을 통해 한 개 이상의 클라이언트인 사용자 단말(100)로 전송되며, 사용자 단말(100)은, HMD에 랜더링할 수 있다. MMT 기술은 IP기반 전송 프로토콜로서, 실시간 및 저지연 미디어 전송에 적합하여 360도 VR 비디오와 같은 실감형 미디어를 전송하기 위해 이용될 수 있다. 하나의 360도 VR 비디오 스트림을 하나의 독립적인 MMT 패키지(Package)로 포장하고, 이 패키지에 포함되는 각각의 에셋(Asset)마다 특정 QER을 포함하도록 구현할 수 있으며, 각각의 에셋은 VR 비디오를 압축한 특정 길이의 비트스트림을 캡슐화한 MPU(Media Processing Unit)들로 구성될 수 있다. 이때, QER 기반 전송 기법은 다수의 QER 영상을 미리 준비하고, 사용자의 뷰포트 영역에 가장 적합한 QER을 전송하는 기법인데, 각 QER은 강조된 화질의 중심좌표인 QEC(Quality Emphasis Center)를 통해 구분할 수 있고, QEC에 가까울수록 고화질로 부호화된다. 또한 출력부(310)는 대역폭 상황을 고려하여, 각 QER을 두 가지 종류의 스트림으로 준비하고, 사용자가 현재 시청하고 있는 뷰포트 영역과 가장 근접한 QER을 선택하고 전송하기 위해서 각 QER과 시점 좌표 사이의 거리 계산을 수행할 수 있다.
획득부(320)는, 사용자 단말(100)에서 셀카모드를 선택하는 경우, 사용자 단말(100)의 전면에 구비된 카메라를 통하여 사용자의 얼굴 및 신체를 기 저장된 인공지능 알고리즘으로 획득할 수 있다. 기 저장된 인공지능 알고리즘은, 예를 들어, 도 3의 (a)와 같은 DCNN(Deep Convolutional Neural Network)일 수 있다. 이때, 객체 검출(Object detection)은 특정 객체가 어느 위치에 존재하는지 알아내는 탐색(Localization) 문제와 그 객체가 무슨 클래스인지 알아내는 인식(Recognition) 문제를 해결해야 한다. 객체를 인식하고 검출하기 위해서, 복잡한 구조의 DCNN을 학습하는 것이 가능해졌는데, DCNN은 계층적 특징 표현(Hierarchical feature representation)을 학습함으로써 일반적인 특징 추출 방식의 단점을 극복할 수 있다. 특히 대용량 데이터셋(예를 들어, ImageNet)에 대해 CNN(Convolutional Neural Networks)을 이용하여 영상 분류 문제를 해결할 수 있다.
획득부(320)에서 사용자 단말(100)에서 셀카모드를 선택하는 경우, 사용자 단말(100)의 전면에 구비된 카메라를 통하여 사용자의 얼굴 및 신체를 기 저장된 인공지능 알고리즘으로 획득할 때, 셀카모드의 카메라 구동화면 내에서 사용자의 얼굴 및 신체와, 사용자가 피사체로 존재하는 화면 내 배경을 구분하기 위한 프레임 수 만큼 카메라 화면을 캡쳐할 수 있다. 그리고, 획득부(320)는, 사용자의 얼굴 및 신체에 대응하는 사람 객체의 윤곽선을 정사각형 형태의 픽셀단위로 세분하여 배경의 배경 이미지를 분할(Image Segmentation)할 수 있으며, 이는 도 3의 (b)와 같을 수 있다.
표시부(330)는, 선택된 관광지를 배경으로 사용자의 얼굴 및 신체를 실시간 합성하여 합성영상을 표시할 수 있다. 이때, 표시부(330)는, 선택된 관광지를 배경으로 사용자의 얼굴 및 신체를 실시간 합성하여 합성영상을 표시할 때, 분할된 배경 이미지를 투명도(Transparency) 100%로 처리하고, 사람 객체의 이미지인 객체 이미지에 선택된 관광지를 추가하여 실시간으로 두 개의 이미지를 합성한 후 사용자 단말(100)의 화면 상에 표출할 수 있다. 이때, 합성에서 가장 문제가 되는 것이 색 차이이다. 예를 들어, 관광지의 날씨(360도 파노라마 뷰 내에서)는 맑은데 현재 사용자가 촬영하고 있는 화면은 어둡고 비가오는 날씨라면 색 차이는 더 나게 되어, 두 개의 이미지를 합성했을 때 사용자의 얼굴과 신체만 오려붙인 것과 같이 배경에서 튀게 되어 어우러지지 못한다.
이에 따라, 표시부(330)는 관광지 이미지와 사용자 이미지나 영상 간의 색상 불일치 문제를 해결하기 위하여 다항식 모델을 이용할 수 있다. 다항식 모델의 정확도를 높이기 위하여 객체와 배경을 분리하여 색상을 보정하고, 보정된 사진 또는 영상을 사용하여 중간시점 영상으로 합성한 뒤, 국지적 양방향 필터를 사용하여 자연스러운 사진 또는 영상을 얻도록 한다. 우선, 두 개의 이미지 또는 영상의 객체와 배경을 분리하여 기준 시점과 대상 시간 간의 색상 대응 관계의 정확성을 높인다. 상술한 획득부(320)를 통하여 얼굴 및 신체는 배경 이미지로부터 분리했으니, 객체 이미지, 즉 얼굴 및 신체의 색상을 보정해야 한다. 이때, 추출한 객체 영역의 마스크에 3D 워핑을 수행하여 중간시점으로 이동하고 논리곱 연산을 통해 대응점을 찾는데, 기준시점 영상(관광지 이미지 또는 영상)에서 중간시점 영상의 화소를 얻어내는 방법을 이용할 수 있다. 이때, 중간시점의 화소값 및 기준시점의 깊이값을 이용할 수 있다. 3D 워핑이 수행된 두 이미지 또는 영상에 논리곱 연산을 하여 일치점을 얻고, 색상 변환 행렬을 구하게 된다. 이 방법은 일치점으로부터 R, G, B 각각의 관계를 계산하는데, 다항회귀 분석을 위한 기준시점과 대상시점으로 구성된 벡터를 이용할 수 있고, 기준시점과 대상시점 간의 화소차를 이용하며, 색상 변환 행렬을 구한 후, 변환 행렬에 사용자의 얼굴과 신체의 화소값을 넣으면, 변환된 화소를 구할 수 있다.
색상보정을 수행한 두 이미지 또는 영상을 합성하더라도 두 이미지 또는 영상의 경계선 부분에는 이질감이 발생한다. 이러한 자연스럽지 못한 합성을 해결하기 위해 워핑된 두 이미지 또는 영상의 논리차 연산을 통해서 합성이 되는 영역을 얻어 내고 연산된 얼굴 및 신체 부분에 팽창을 한다. 얼굴 및 신체 부분 영역에 국지적으로 양방향 필터를 수행하여 경계는 보존하며 노이즈를 감소시키는 연산을 할 수 있다. 양방향 필터는 가우시간 필터에 기초하여 거리와 화소 차이로 가중치를 결정할 수 있고, 거리에 따른 가중치와 화소값 차이에 따른 가중치를 이용할 수 있다. 색상이 보정되는 경우 사용자가 한국 역삼동 회사의 자기 자리에 앉아있더라도, 로마의 콜로세움에 있는 것과 같이 비슷한 색감으로 합성될 수 있다. 물론, 자연스러운 합성을 위한 방법은 상술한 방법에 한정되지 않고 다양한 방법이 이용될 수 있음은 물론이라 할 것이다.
학습부(340)는, 출력부(310)에서 사용자 단말(100)에 표시되는 세계지도 내 적어도 하나의 관광지 중 어느 하나의 관광지가 선택되는 경우 360도 VR 뷰(View)로 선택된 관광지의 이미지를 출력하기 이전에, 빅데이터로 수집된 이미지 내에서 사람 객체의 객체 이미지와 배경 이미지를 분할하고, 객체 이미지를 이루는 적어도 하나의 픽셀을 적어도 하나의 종류의 샘플링 및 적어도 하나의 인공지능 알고리즘을 통하여 학습을 진행하여 분류 정확도를 높일 수 있다. 예를 들어, 반복되는 픽셀 단위로 이미지를 잘라 생성한 학습 데이터를 DCNN의 입력으로 사용하여 학습을 진행할 수 있다. 예를 들어, 『O』 모양인 얼굴이 존재한다고 가정하면, 『O』모양의 얼굴라인을 배경과 분리를 잘해야 합성을 했을 때 어색하지 않다. 이때, 『O』 라인을 따라가다보면, 얼굴라인을 에지 디텍션으로 잘 잘랐다고 할지라도 픽셀단위로 구분하다보면, 배경부분과 얼굴부분이 합쳐져 한 픽셀 내에서 화소가 차이가 나는 픽셀이 존재하는데, 이 화소 차이를 학습시켜 이렇게 화소 차이가 나는 부분을 검출하고, 그 라인을 보다 정확하게 따오도록 하는 것이다.
예를 들어, 이미지에서 각 픽셀을 의미있는 영역으로 분류하는 세그멘테이션을 이용하여, 딥러닝을 기반으로 하는 세그멘테이션 학습을 진행할 수 있는데, SegNet은, 픽셀와이즈(Pixel-wise) 라벨링의 거친 이미지 결과를 개선할 수 잇다. 이때, SegNet은 입력 이미지를 인코딩하고, 다시 디코딩하여 세그멘테이션된 이미지 결과를 만들어내는데, 본 발명의 일 실시예에서는, 세그멘테이션 네트워크를 학습하는데 있어서, 인코딩, 디코딩 레이어를 순차적으로 증가시키는 알고리즘을 이용하기로 한다. 합성곱 레이어를 사용하는 일반적인 세그멘테이션 아키텍쳐인 경우, 전체 레이어를 학습하게 되는데, 입력 이미지를 받아 이를 인코딩 및 디코딩하여 세그멘테이션된 결과를 출력하도록 네트워크를 학습하는 것이다. 이렇게 전체 레이어를 학습시키는 것은 합성곱 레이어에서 일반적인 것이며 잘 동작하지만, 사용자 단말(100) 단(End)에서 수행할 것을 고려하면 기종이 노후되거나 낡은 것, 즉 컴퓨팅 자원이 최적으로 만족되지 않는 경우도 고려해야 한다.
이에 따라, 본 발명의 인공지능 알고리즘은, 각 레이어를 학습하는데 있어서 레이어를 증가시키면서 학습하게 되도록 설정할 수 있다. 예를 들어, 인코딩에서 3 개의 블록을 사용하며, 이와 대칭적으로 디코딩에서 3 개의 블록을 사용한다. 인코딩에서 각 블록은 두 개의 합성곱과 풀링 레이어(Pooling Layer)로 구성될 수 있다. 디코딩에서 각 블록은 언풀링(Unpooling) 레이어 및 두 개의 전치 합성곱 레이어로 구성될 수 있다. 처음 학습을 시작할 때(Phase1) 저해상도의 이미지로부터 시작하고 인코딩 부분의 첫 번째 블록과 디코딩 부분의 마지막 블록만을 사용하여 학습할 수 있다. 값이 어느 정도 수렴되면 인코딩 부분의 두 번째 블록과 디 코딩 부분의 두 번째 블록을 추가하여 학습하게 되고, 이때에는(Phase2) 이전에 학습할 때의 이미지보다 해상도가 높은 학습 이미지를 사용할 수 있다. 마지막으로 세 번째 블록을 도입하여 학습을 하게 되고, 이때에는(Phase3) 원래 학습하고자 하는 학습 이미지의 해상도를 가지고 학습을 하게 된다. 이렇게 합성곱 네트워크를 계속하여 증가시키면 네트워크는 특정 레이어 블록을 미리 학습함으로써 프리 트레이닝(Pre-Training) 효과를 가져올 수 있고, 최종적으로 학습률을 높이게 된다. 또한, 저해상도 이미지로부터 시작하여 본래의 학습 이미지 해상도로 계속하여 해상도를 높이며 학습하게 되므로, 처음부터 본래의 학습 이미지 해상도로 학습하는 것과 비교하여 학습 시간 및 학습률까지 높일 수 있다.
데이터베이스화부(350)는, 출력부(310)에서 사용자 단말(100)에 표시되는 세계지도 내 적어도 하나의 관광지 중 어느 하나의 관광지가 선택되는 경우 360도 VR 뷰(View)로 선택된 관광지의 이미지를 출력하기 이전에, 적어도 하나의 종류의 패키지 여행 상품과, 적어도 하나의 종류의 패키지 여행 상품에 포함될 여행 코스 및 360도 VR 뷰 관광지 이미지를 매핑하여 데이터베이스를 구축할 수 있다. 사진을 분할하여 촬영한 사진을 이은 하나의 파노라마 사진, 특히 360도 VR 영상을 제작하는 데 있어 이미지 스티칭 기술이 이용될 수 있는데, 스티칭 기술은은 일반적으로 특징점 추출 -> 매칭 -> 와핑 -> 블랜딩 순서로 구성되어 있으며, 고품질의 파노라마 영상을 얻기 위해서는 모든 단계에서 좋은 성능을 가져야 한다. 이 중 블랜딩(Blending)은 와핑된 영상의 부자연스러운 경계선을 제거하는 기능을 한다. 블랜딩에는 일반적으로 알파 블랜딩(Feathering 혹은 Alpha blending), 피라미드 블랜딩(Pyramid Blending), 포아송 블랜딩(Poisson blending) 등이 있으며 대부분의 블랜딩이 배경의 영상과 객체 영상을 구분해주는 마스크(가중치)를 사용하여, 블랜딩을 한다. 영상 간의 오버랩되는 영역에서 고스팅(Ghosting) 이 없고, 이미지간의 경계선이 불분명하게 보여야 고품질의 스티칭 영상을 얻을 수 있다. 이러한 기능은 마스크가 하고, 마스크를 어떻게 설정하는가에 따라, 이미지 간의 어긋남이 선명해질 수도 있고, 밝기 차이로 인한 얼룩이 생길수도 있다. 반대로, 오차가 심한 부분은 가려 와핑의 결점을 보완하고, 자연스러운 스티칭 영상을 만들 수도 있다.
따라서, 데이터베이스화부(350)는, 이미지 자체를 변환하여 밝기 정보만으로 마스크를 만드는 방법을 이용할 수 있고, 이음새 부분의 부자연스러움을 줄이고 영상간의 밝기 오차를 줄일 수 있도록 한다. 우선, 블랜딩의 기본 원리는 이하 수학식 1과 같다.
왼쪽 이미지(Ileft) 와 오른쪽 이미지(Iright)의 가중치 α와 1-α을 곱하여 최종 블랜딩 영상을 얻는다. 이때 원본 이미지에 곱해지는 가중치가 마스크이다. 일반적으로 사용되는 마스크 추출(Seam finding) 방법으로 보로노이 경계선 추출 방법과, 다이나믹 프로그래밍(dynamic programming) 방법이 있는데, 보로노이 경계선 추출 방법은 블랜딩하려는 두 이미지의 와핑된 모양의 정보만 담긴 마스크를 이용하여, 가장 가까운 검은색 픽셀까지의 거리를 계산하는 거리변환을 통해 오버랩된 영역을 이진화하며 분할하는 기법이고 고속으로 마스크를 찾을 수 있다. 다이나믹 프로그래밍 방법은 이미지의 각 픽셀마다, 에너지 함수를 계산하여, 에너지 함수가 최소인 픽셀을 찾아 그 위치에서 수직방향의 아래의 세 개의 픽셀의 비교하여, 가장 작은 에너지 함수를 갖는 픽셀을 탐색하여, 경계선을 추출하고, 경계선을 기준으로 이진화 하는 방법이며 영상의 저주파 성분을 따라가기 때문에 정교한 경계선을 추출할 수 있다. 그 외에서 그래프 컷(Graph cut) 방법과 두 영상간의 최소 오차 경계선(Minimal error boundary)을 추출하는 방법이 있다.
이때, 본 발명의 일 실시예에서는 밝기 대비를 이용한 마스크 추출 방법을 이용할 수 있다. 즉, 한 이미지의 밝기 값의 차이를 이용하여 물체를 검출하고, 물체의 형상을 따라 마스크를 만드는 방식이다. 블랜딩 하려는 두 영상의 오버랩 영역에서 히스토그램 평활화를 이용하여, 밝기 대비를 비슷하게 만들고, 고주파 성분과 노이즈를 제거한다. 그리고 밝기값이 낮은 영역은 검은색으로, 밝기값이 높은 영역을 하얀색으로 이진화 하며, 이진화된 영상을 이용하여 마스크를 만들게 되면, 만들어진 마스크에 의해 검은색 영역의 이미지는 차단시키고, 하얀색 영역의 이미지는 통과시킨다. 상술한 수학식 1과 같이 왼쪽 이미지에 마스크를 곱하고, 오른쪽 이미지에 반전된 마스크를 곱하여 최종 블랜딩된 이미지를 얻을 수 있게 되고, 이를 통하여 이음새가 없는 블랜딩 및 360도 파노라마 뷰 보기를 위한 DB 구축이 완료될 수 있다.
이때, 적어도 하나의 종류의 패키지 여행 상품은 적어도 하나의 테마별로 분류되어 카테고리화될 수 있다. 여기서, 카테고리화는 라벨링만 되어 있다면 자동으로 구분이 가능한데, 혹시라도 라벨링이 되어 있지 않은 경우를 위하여 CNN을 이용하여 이미지를 자동으로 분류할 수도 있다.
공유부(360)는, 표시부(330)에서 선택된 관광지를 배경으로 사용자의 얼굴 및 신체를 실시간 합성하여 합성영상을 표시한 후, 사용자 단말(100)에서 합성영상으로 촬영하는 경우, 합성영상을 사진 또는 동영상으로 촬영되도록 제어할 수 있다. 그리고, 공유부(360)는, 사용자 단말(100)로부터 사진 또는 동영상을 공유하는 공유 이벤트가 출력되는 경우, 적어도 하나의 종류의 소셜미디어 아이콘을 출력하고, 어느 하나의 소셜미디어 아이콘이 선택되면, 선택된 소셜미디어 아이콘의 소셜미디어로 사진 또는 동영상을 업로드할 수 있다.
패키지여행부(370)는, 표시부(330)에서 선택된 관광지를 배경으로 사용자의 얼굴 및 신체를 실시간 합성하여 합성영상을 표시한 후, 사용자 단말(100)에서 패키지 여행 상품을 선택한 후 마지막 관광지에 도달하지 않은 경우, 현재 관광지의 다음 관광지의 이미지를 사용자 단말(100)에서 360도 VR 뷰(View)로 출력할 수 있다. 예를 들어, 패키지 여행은 일반적으로 개인 또는 단체가 여행사에서 짠 일정 및 루트에 맞게 돌아다니면서 관광지를 구경하고 사진을 찍고 기념품을 사며 그 나라를 구경하게 되는 프로그램인데, 본 발명의 일 실시예에서는, 실제로 복수의 사용자를 가상으로 모집하여 그 시간에 맞게 복수의 사용자 단말(100)에서 HMD를 쓰고 사람들과 이야기도 하면서 그 공간을 걸으면서 둘러볼 수 있는 구성을 더 부가하여 제공할 수도 있다.
이때, 360도 VR 뷰는, 가상으로 제작된 환경이 아닌 실제 환경을 사용자에게 보여줌으로써 현실성을 높일 수 있는데, 예를 들어, 구글 스트리트 뷰나 다음 또는 네이버 지도에서 제공하는 360도 VR 파노라마 뷰가 존재하기 때문에 직접 DB를 구축하지 않고 공개 API를 이용할 수도 있다. 이에 따라, API에서 제공해주는 장소에 대해서 가상의 공간 생성이 실시간으로 가능하기 때문에 전 세계의 다양한 지역을 여행할 수 있고, HMD를 이용하여 사용자가 현재 바라보고 있는 방향을 지속적으로 추적하고, 트레드밀 기반의 가상현실 장비를 더 추가하거나 실내 위치 추적 방법을 이용하는 경우, 사용자가 서로 걷는 동작을 하는 경우 상호작용 방식으로 뷰를 제공할 수 있어 가상의 공간을 이동할수 있는 자연스러운 도보 여행 체험을 제공할 수 있다. 트레드밀을 이용하는 경우 사용자 단말(100)과 트레드밀은 연동되어야 하며, 트레드밀은 직진만 할 수 있기 때문에 직진 위주의 코스로 제공할 수 있다. 코로나가 종료된 후 자신이 가보고 싶은 여행지에서 얼마나 걸어야 하는지가 감이 오지 않을 때, 또 경사가 어느 정도인지 감이 오지 않을 때 이를 먼저 체험할 수도 있다. 트레드밀은 경사설정이 가능하고 그 속도도 제어할 수 있고 몇 미터를 걸었는지 확인할 수 있기 때문에, 경로 데이터에 포함된 경사 정보, 기울기 정보, 거리 정보 등에 기반하여 트레드밀을 제어 또는 트레드밀로부터 온 데이터에 기반하여 HMD의 화면을 변형 또는 진행할 수 있게 된다. 더 나아가, 각 지역의 특유의 냄새나 공기 또는 향기 등을 DB화 하는 경우, 특유의 냄새나 향기가 나도록 가스를 발생시켜 3D를 넘어 4D까지도 체험이 가능하게 구현할 수도 있다.
이하, 상술한 도 2의 가상여행 서비스 제공 서버의 구성에 따른 동작 과정을 도 4 내지 도 9를 예로 들어 상세히 설명하기로 한다. 다만, 실시예는 본 발명의 다양한 실시예 중 어느 하나일 뿐, 이에 한정되지 않음은 자명하다 할 것이다.
도 4를 참조하면, 사용자 단말(100)에서 메인화면을 출력하는 경우(S4100), 관광지를 바로 선택할 것인지 또는 추천 패키지 여행을 갈 것인지를 선택할 수 있다. 이때, 바로 관광지를 선택하는 경우(S4200), 360도 뷰가 출력되고(S4300) 여기서 사용자는 관광지에 온 듯하게 이를 배경삼아 사진도 찍을 수 있다(S4400). 만약 후자를 선택하는 경우라면(S4500), 이달의 테마여행에서(S4600) 원하는 테마를 선택하고(S4700), 여행을 시작하면서 각 일정과 루트에 맞게 이미지 또는 영상이 출력된다(S4710). 그리고, 각 관광지에서 사진을 찍어 인증샷을 남기려는 소비자의 심리를 반영하여 S4300 단계로 돌아가 360도 뷰를 제공하고 셀카를 촬영할 수 있는 단계를 진행하며, 마지막 여행지(관광지)가 끝날 때까지 이 과정을 반복한다(S4800).
상술한 단계들(S4100~S4800)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S4100~S4800)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
도 5를 참조하면, 사용자 단말(100)에서 메인화면이 구동되는 것을 도시한다. 화면의 3/4는 세계지도로 채우도록 그래픽 설정을 하고, 세계지도 위에는 여행이 가능한 국가가 아이콘으로 표시되며 선택할 수 있도록 구성된다. 세계지도는 상하스크롤 및 좌우스크롤을 통해 이동시켜 확인할 수 있다. 세계지도 표시영역에는 체험가능한 국가가 표시되고 아이콘을 선택하면 해당 국가와 관련된 애니메이션 화면이 출력될 수 있다. 도 6을 참조하면, 관광지 선택화면인데, 메인화면의 국가선택을 위해 세계지도 표시영역을 상세히 도시한 도면이다. 세계지도 위에는 여행이 가능한 국가가 아이콘으로 표시되어 해당 아이콘을 선택하면 여행지의 360도 이미지를 감상할 수 있다. 지구본은 손가락 터치를 통해 돌려볼 수 있으며, 아이콘 안에는 랜드마크의 이미지나 관광지명을 표시하여 해당 지역을 인지가능토록 구성할 수 있다. 지구본 아래에는 해당 국가 선택을 돕기 위해 지구본 에 표시된 국가의 국기가 표시되고, 여행지를 선택하면 발생하는 여행시작을 알리는 인트로 화면이 재생되고, 입국도장을 받는 느낌을 받도록 스탬프(Admited)를 찍어주는 콘텐츠를 재생할 수도 있다. 지구본에 따라 표시되는 해당 관광지의 국기 표시 영역에는, 지구본의 아이콘 뿐만 아니라 해당 국기를 선택하면 관광지 체험 가능하도록 설정될 수 있고, 동일 국가에 관광지가 2개 이상일 경우, 분기하여 선택 가능하도록 설정될 수 있다.
도 7을 참조하면, 메인화면의 세계지도에서 관광지를 선택하면 나타나는 360도 뷰 감상 화면을 도시한다. 이때, 줌 인이나 아웃 또는 스크롤은 지원하지 않음으로써 몰입을 극대화할 수 있다. 사용방법을 간단히 시각화한 팝업이 표출되고, 이후 뷰를 감상할 수 있도록 구성될 수 있다. 사용방법을 안내하는 팝업창에는, 다운로드 이후 최초 실행시 발생하며, x표시를 선택하면 재진입시에는 팝업 발생하지 않도록 설정될 수 있고, 전체 화면으로 360도 이미지가 표시되는 영역에는, 각 관광지의 랜드마크를 맨 처음 인지할 수 있도록 이미지를 표출할 수 있다. 또, 사용자가 단말기를 움직여 360도에서 감상할 수 있도록 구성될 수 있고, 화면 위측 상단에는 셀카모드로 전환할 수 있는 아이콘이 표시되며, 이는 화면이 3초간 터치가 되지 않는다면 아이콘이 사라지고 전체 화면으로 관광지 이미지가 나타날 수 있다. 다만, 사용자가 화면을 터치하게 될 경우에는 셀카모드 아이콘이 화면에 나타나도록 구성될 수 있다. 셀카를 촬영하지 않을 경우 또는 해당 관광지 감상을 중단하고자 할 경우, 단말기의 이전(Back) 버튼을 눌러 메인화면으로 이동할 수 있다. 셀카모드 전환 아이콘은, 해당 아이콘을 선택하면 전면 카메라가 ON되어, 가상의 관광지 이미지에서 셀카를 촬영할 수 있도록 구성된다.
도 8을 참조하면, 360도 뷰 감상 화면인데, 각각의 버튼 및 그에 따른 기능은 이하 표 1과 같다.
| a | . 카메라 변경 버튼 . 셀카모드에서 해당 버튼을 선택하면 360도 뷰 감상모드로 변경됨 |
| b | . 카메라 화면 조정 버튼 . 버튼 선택을 통해 거리(화각) 조정 가능 |
| c | . 카메라 촬영 버튼 |
| d | . 셀카촬영 후, 재촬영하고자 하거나 저장하고 싶지 않을때 선택하는 버튼 |
| e | . 사진을 단말기에 저장하는 버튼 . 이미지는 카메라 폴더에 별도 폴더를 만들어 저장 . 저장버튼을 누르면 저장 과정 및 완료 과정이 아이콘으로 표시되어 저장 완료를 사용자가 인지할 수 있도록 한다. . 저장경로 : /storage/emulated/Darling |
| f | . 사진을 저장하고 다른 앱으로 공유할때 사용하는 버튼 . ⓖ와 같이 최근 사용한 앱 4종을 보여주고 그외에는 ⓗ의 더보기 버튼을 선택 |
| g | . 촬영한 사진을 공유하고자 하는 앱을 선택하면, 해당 앱으로 연결 |
| h | . 더 많은 앱을 보고자 할 경우 선택하는 더보기 메뉴 . 더보기를 선택하면 3줄로 앱리스트를 먼저 보여주고, 스크롤을 통해 더 많은 앱들을 확인할 수 있도록 한다. |
도 9는 패키지 여행 상품을 선택했을 때 출력되는 화면이다. 메인화면에서 추천패키지를 선택하면 표시되는 화면으로, 카드형식으로 테마가 노출되며 좌우 스크롤을 통하여 지난 테마를 확인 및 취사 선택을 가능하게 한다. 또, 여행시작 후에는 상술한 구성들과 같이 진행되고, 마지막 여행지를 선택하는 경우에는 사용자가 알 수 있도록 알림을 제공하도록 할 수 있다. 도 9의 각 버튼의 기능은 이하 표 2와 같다.
| a | . 타이틀 표시영역 |
| b | . 패키지가 표시되는 영역으로, 카드 형식으로 좌우 스크롤을 통해 리스트가 표시됨. . 카드 상단에는 ‘이달의 Theme’ 또는 ‘지난 Theme’이 표시되고, 중앙부는 대표 이미지가, 하단에는 패키지에 대한 설명으로 구성 |
| c | . 패키지 여행을 시작할 때 선택하는 버튼으로, ⓑ의 리스트 화면과 ⓓ의 패키지 상세화면의 하단에 고정되어 표시됨 |
| d,e | . 패키지를 선택하면 표시되는 화면으로, ⓑ의 카드 화면이 full 화면으로 표시되어 패키지에 대한 상세 내용 확인 가능 . ‘여행시작‘ 버튼을 선택하면 ⓓ화면으로 연결되도록 구성 |
| f,h | 여행시작을 선택하면 나타나는 화면으로 하단에는 여행지를 표시하는 버튼을 두어 패키지 내 도시를 선택하여 관람 가능토록 함, . 단 마지막 여행지에는 마지막임을 인지할 수 있도록 팝업발생토록 함 |
이와 같은 도 2 내지 도 9의 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 10은 본 발명의 일 실시예에 따른 도 1의 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 10를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 10에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.
도 10을 참조하면, 가상여행 서비스 제공 서버는, 사용자 단말에 표시되는 세계지도 내 적어도 하나의 관광지 중 어느 하나의 관광지가 선택되는 경우 360도 VR 뷰(View)로 선택된 관광지의 이미지를 출력한다(S1100).
그리고, 가상여행 서비스 제공 서버는, 사용자 단말에서 셀카모드를 선택하는 경우, 사용자 단말의 전면에 구비된 카메라를 통하여 사용자의 얼굴 및 신체를 기 저장된 인공지능 알고리즘으로 획득하고(S1200), 선택된 관광지를 배경으로 사용자의 얼굴 및 신체를 실시간 합성하여 합성영상을 표시한다(S1300).
상술한 단계들(S1100~S1300)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S1100~S1300)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.
이와 같은 도 10의 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 9를 통해 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.
도 10을 통해 설명된 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.
전술한 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
Claims (10)
- 가상여행 서비스 제공 서버에서 실행되는 가상여행 서비스 제공 방법에 있어서,
패키지 여행 상품을 선택하거나 관광지를 선택할 수 있고 선택한 관광지의 360도 VR 뷰를 배경으로 하여 사진을 찍을 수 있는 사용자의 사용자 단말에 표시되는 세계지도 내 적어도 하나의 관광지 중 어느 하나의 관광지가 선택되는 경우 360도 VR 뷰(View)로 선택된 관광지의 이미지를 출력하는 단계;
상기 사용자 단말에서 셀카모드를 선택하는 경우, 상기 사용자 단말의 전면에 구비된 카메라를 통하여 사용자의 얼굴 및 신체를 기 저장된 인공지능 알고리즘으로 획득하는 단계;
상기 선택된 관광지를 배경으로 상기 사용자의 얼굴 및 신체를 실시간 합성하여 합성영상을 표시하는 단계; 및
상기 사용자 단말에서 패키지 여행 상품을 선택한 후 마지막 관광지에 도달하지 않은 경우, 현재 관광지의 다음 관광지의 이미지를 상기 사용자 단말에서 360도 VR 뷰(View)로 출력하는 단계를 포함하고,
상기 사용자 단말에서 메인화면은, 지구본 아이콘으로 표현되는 상기 세계지도 상에 여행 가능한 국가가 아이콘으로 표시되어 선택할 수 있도록 구성되되, 상기 아이콘에는 관광지의 랜드마크의 이미지나 관광지명이 표시되고, 상기 세계지도는 상하스크롤 및 좌우스크롤을 통해 이동시켜 확인할 수 있도록 마련되며,
상기 출력하는 단계는, 여행 가능한 국가 중 어느 한 국가 내 상기 어느 하나의 관광지의 선택이 이루어지면, 선택된 관광지에 대한 여행 시작을 알리는 인트로 화면의 재생 및 상기 선택된 관광지에 대하여 입국도장을 받는 느낌을 받도록 스탬프를 찍어주는 콘텐츠의 재생이 이루어지도록 한 후 선택된 관광지의 360도 VR 뷰가 표시되도록 하되, 360도 VR 뷰의 표시시 줌 인, 줌 아웃 및 스크롤 기능이 지원되지 않도록 하고,
사용자가 상기 사용자 단말을 움직여서 선택된 관광지의 360도 VR 뷰를 감상하는 중에 화면의 상단에 표시된 셀카모드 아이콘의 선택이 이루어지면, 전면 카메라가 ON 되어 상기 선택된 관광지의 이미지에 셀카를 촬영할 수 있도록 구성되고,
상기 표시하는 단계는, 상기 획득하는 단계에서 상기 셀카모드의 카메라 구동화면 내 상기 사용자의 얼굴 및 신체에 대응하는 사람 객체의 윤곽선을 정사각형 형태의 픽셀단위로 세분하여 상기 배경의 배경 이미지를 분할(Image Segmentation)한 경우, 상기 셀카모드의 카메라 구동화면 내에서 분할된 상기 배경 이미지를 투명도(Transparency) 100%로 처리하고, 이후 상기 셀카모드의 카메라 구동화면 내 상기 사용자의 얼굴 및 신체에 대응하는 사람 객체의 이미지인 객체 이미지에 상기 선택된 관광지의 이미지를 추가하여 실시간으로 두 개의 이미지를 합성함으로써, 상기 선택된 관광지의 360도 VR 뷰를 배경으로 상기 셀카모드의 카메라 구동화면 내 상기 사용자의 얼굴 및 신체가 합성된 상기 합성영상을 상기 사용자 단말의 화면 상에 표출하고,
상기 현재 관광지의 다음 관광지의 이미지를 상기 사용자 단말에서 360도 VR 뷰로 출력하는 단계는,
개인 또는 단체가 여행사에서 제공하는 일정 및 루트에 맞게 돌아다니며 관광지를 구경하며 사진을 찍는 프로그램인 상기 패키지 여행 상품의 선택이 이루어진 경우, 상기 패키지 여행 상품의 일정 및 루트에 맞게 관광지의 이미지를 360도 VR 뷰를 출력하되, 사용자가 상기 패키지 여행 상품 내 각 관광지에서 사진을 찍어 인증샷을 남길 수 있도록 상기 패키지 여행 상품 내 복수의 관광지 중 마지막 관광지가 끝날 때까지 복수의 관광지 각각에 대하여 관광지의 360도 VR 뷰를 제공하는 과정과 셀카 촬영이 가능하도록 하는 과정이 반복 수행되도록 하고, 복수의 사용자를 가상으로 모집하여 상기 패키지 여행 상품의 일정의 시간에 맞추어 HMD를 착용한 복수의 사용자 단말에서 모집된 사용자들 간에 대화하며 패키지 여행 상품의 관광지의 360도 VR 뷰에 대응하는 공간을 걸으며 둘러볼 수 있도록 하는 환경을 제공하는 것인, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법.
- 제 1 항에 있어서,
상기 기 저장된 인공지능 알고리즘은, DCNN(Deep Convolutional Neural Network)인 것인, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법.
- 제 1 항에 있어서,
상기 사용자 단말에서 셀카모드를 선택하는 경우, 상기 사용자 단말의 전면에 구비된 카메라를 통하여 사용자의 얼굴 및 신체를 기 저장된 인공지능 알고리즘으로 획득하는 단계는,
상기 셀카모드의 카메라 구동화면 내에서 상기 사용자의 얼굴 및 신체와, 상기 사용자가 피사체로 존재하는 화면 내 배경을 구분하기 위한 프레임 수 만큼 상기 카메라 구동화면을 캡쳐하는 단계;
를 포함하는 것인, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법.
- 삭제
- 제 1 항에 있어서,
상기 사용자 단말에 표시되는 세계지도 내 적어도 하나의 관광지 중 어느 하나의 관광지가 선택되는 경우 360도 VR 뷰(View)로 선택된 관광지의 이미지를 출력하는 단계 이전에,
빅데이터로 수집된 이미지 내에서 사람 객체의 객체 이미지와 배경 이미지를 분할하고, 상기 객체 이미지를 이루는 적어도 하나의 픽셀을 적어도 하나의 종류의 샘플링 및 적어도 하나의 인공지능 알고리즘을 통하여 학습을 진행하여 분류 정확도를 높이는 단계;
를 더 포함하는 것인, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법.
- 제 1 항에 있어서,
상기 사용자 단말에 표시되는 세계지도 내 적어도 하나의 관광지 중 어느 하나의 관광지가 선택되는 경우 360도 VR 뷰(View)로 선택된 관광지의 이미지를 출력하는 단계 이전에,
적어도 하나의 종류의 패키지 여행 상품과, 상기 적어도 하나의 종류의 패키지 여행 상품에 포함될 여행 코스 및 360도 VR 뷰 관광지 이미지를 매핑하여 데이터베이스를 구축하는 단계;
를 더 포함하는 것인, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법.
- 제 6 항에 있어서,
상기 적어도 하나의 종류의 패키지 여행 상품은 적어도 하나의 테마별로 분류되어 카테고리화된 것인, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법.
- 제 1 항에 있어서,
상기 선택된 관광지를 배경으로 상기 사용자의 얼굴 및 신체를 실시간 합성하여 합성영상을 표시하는 단계 이후에,
상기 사용자 단말에서 합성영상으로 촬영하는 경우, 상기 합성영상을 사진 또는 동영상으로 촬영되도록 제어하는 단계;
상기 사용자 단말로부터 상기 사진 또는 동영상을 공유하는 공유 이벤트가 출력되는 경우, 적어도 하나의 종류의 소셜미디어 아이콘을 출력하고, 어느 하나의 소셜미디어 아이콘이 선택되면, 선택된 소셜미디어 아이콘의 소셜미디어로 상기 사진 또는 동영상을 업로드하는 단계;
를 더 포함하는 것인, 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법.
- 삭제
- 제 1 항 내지 제 3 항 및 제5항 내지 제8항 중 어느 한 항의 방법을 실행하기 위한 프로그램을 기록한 컴퓨터로 판독가능한 기록매체.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200080526A KR102434832B1 (ko) | 2020-06-30 | 2020-06-30 | 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020200080526A KR102434832B1 (ko) | 2020-06-30 | 2020-06-30 | 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20220001969A KR20220001969A (ko) | 2022-01-06 |
| KR102434832B1 true KR102434832B1 (ko) | 2022-08-22 |
Family
ID=79347973
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020200080526A KR102434832B1 (ko) | 2020-06-30 | 2020-06-30 | 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102434832B1 (ko) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102461889B1 (ko) * | 2022-01-10 | 2022-10-31 | 한태석 | 인공지능 연예인 네컷 시스템 및 그 연예인 사진 출력 방법 |
| KR102398788B1 (ko) * | 2022-02-21 | 2022-05-18 | 주식회사 코코넛랩 | 블록체인 기반 영상압축기술을 이용한 고화질 실시간 관제 서비스 제공 시스템 |
| KR20230144900A (ko) | 2022-04-08 | 2023-10-17 | 최해숙 | 컬러 카드 기반의 감정 진단을 이용한 힐링 정보 제공장치 및 방법 |
| KR20230150698A (ko) | 2022-04-22 | 2023-10-31 | 주식회사 지에스아이티엠 | 확장현실 기반의 여행 서비스를 지원하는 시스템 및 방법 |
| KR102515935B1 (ko) * | 2022-08-25 | 2023-03-30 | 주식회사 비브스튜디오스 | 신경망 모델을 위한 학습 데이터 생성 방법 |
| KR20240037658A (ko) | 2022-09-15 | 2024-03-22 | 배재대학교 산학협력단 | 가상 현실 기반 관광지 이동수단 체험 시스템 |
| KR102593715B1 (ko) * | 2022-11-17 | 2023-10-24 | 박지호 | 증강 현실 사진 출력 키오스크 앱 뷰어 시스템 |
| KR102565420B1 (ko) * | 2022-11-21 | 2023-08-09 | 주식회사 비브스튜디오스 | 가상 제작 환경에서 객체 분할을 수행하는 방법 |
| CN117726511B (zh) * | 2024-02-18 | 2024-05-03 | 科睿特软件集团股份有限公司 | 用于旅游景观展示的全景成像装置及方法 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20130123629A (ko) * | 2012-05-03 | 2013-11-13 | 주식회사 어니언텍 | 파노라마 동영상을 이용하여 원하는 시선방향의 동영상 및 관심지점 정보를 제공하는 방법 |
| KR20180009304A (ko) * | 2016-07-18 | 2018-01-26 | (주)한국지식재산경영원 | 현지 언어 기반의 여행용 외국어 안내 프로그램을 저장하는 컴퓨터로 판독 가능한 기록매체 |
| KR102066412B1 (ko) * | 2017-08-11 | 2020-01-15 | (주) 인터마인즈 | 전경 영상 추출 장치 및 방법 |
| KR102142567B1 (ko) * | 2017-09-15 | 2020-08-07 | 주식회사 케이티 | 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램 |
-
2020
- 2020-06-30 KR KR1020200080526A patent/KR102434832B1/ko active IP Right Grant
Also Published As
| Publication number | Publication date |
|---|---|
| KR20220001969A (ko) | 2022-01-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102434832B1 (ko) | 인공지능 기반 실시간 배경분리 및 객체합성을 이용한 가상여행 서비스 제공 방법 | |
| US11323605B2 (en) | Method and apparatus for managing a camera network | |
| CN107958490B (zh) | 用于无线通信装置的免提增强现实 | |
| US9122707B2 (en) | Method and apparatus for providing a localized virtual reality environment | |
| US9071709B2 (en) | Method and apparatus for providing collaboration between remote and on-site users of indirect augmented reality | |
| US9665986B2 (en) | Systems and methods for an augmented reality platform | |
| CN108713322B (zh) | 用于准备视频内容和回放经编码的内容的方法、装置 | |
| CN104602127B (zh) | 导播视频同步播放方法和系统以及视频导播设备 | |
| CN111899155B (zh) | 视频处理方法、装置、计算机设备及存储介质 | |
| US20130229546A1 (en) | Apparatus and method for generating images | |
| KR20140038355A (ko) | 뷰이미지의 적어도 하나의 피처에 주석을 달기 위한 컴퓨터화 방법 및 장치 | |
| CN110930517A (zh) | 一种全景视频交互系统及方法 | |
| KR20170086203A (ko) | 스포츠 중계 서비스 제공 방법 | |
| CN103918010A (zh) | 用于生成与多媒体内容相关联的动画图像的方法、装置和计算机程序产品 | |
| Langlotz et al. | AR record&replay: situated compositing of video content in mobile augmented reality | |
| KR20150064485A (ko) | Poi 연관 동영상 제공 방법, poi 연관 동영상 재생 방법, 컴퓨팅 장치 및 컴퓨터 판독 가능 매체 | |
| KR20130037634A (ko) | 사용자에게 여행 장소와 연관된 대중 문화 컨텐트를 제공하기 위한 방법, 시스템, 단말 장치 및 컴퓨터 판독 가능한 기록 매체 | |
| CN114760517B (zh) | 图像活动嵌入方法及其装置、设备、介质、产品 | |
| KR102298121B1 (ko) | 인공지능 기반 콘텐츠 ｉｐ를 이용한 동영상 공유 서비스 제공 시스템 | |
| KR101221540B1 (ko) | 인터랙티브 미디어 매핑 시스템 및 그 방법 | |
| KR102070458B1 (ko) | Ar 스캔엔진을 이용한 ar 커머스 및 콘텐츠 서비스 제공 방법 | |
| CN111367598B (zh) | 动作指令的处理方法、装置、电子设备及计算机可读存储介质 | |
| KR102335096B1 (ko) | 전경 동영상 및 배경 동영상을 합성하는 영상 제작 서비스 제공 시스템 | |
| EP3739468A1 (en) | System for and method of lodging georeferenced digital user-generated content | |
| Demiris et al. | intGuide: A platform for context-aware services featuring augmented-reality, based on the outcome of European Research Projects |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |