KR20190034035A

KR20190034035A - 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법

Info

Publication number: KR20190034035A
Application number: KR1020170122907A
Authority: KR
Inventors: 김영선
Original assignee: 김영선
Priority date: 2017-09-22
Filing date: 2017-09-22
Publication date: 2019-04-01

Abstract

롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법이 제공되며, 대리체험 단말로부터 대리체험 서비스를 신청하도록 체험자의 정보를 등록하는 이벤트를 수신하는 단계, 대리체험 단말에서 지정된 피체험자와, 피체험자와 체험자가 만나는 장소, 시간 및 피체험자의 피체험 단말의 정보를 수신하여 저장하는 단계, 저장된 장소에서 대리체험 단말로부터 피체험 단말을 검색하도록 검색 신호를 활성화시키고, 피체험 단말이 검색되는 경우 대리체험 단말의 음성 감지를 활성화시키는 단계, 음성 감지 결과 피체험자 및 체험자의 음성이 감지되는 경우, 대리체험 단말의 카메라를 턴온(Turn on)시켜 피체험자와 체험자가 촬영 객체로 영상 프레임에 포함되도록 촬영제어하는 단계, 촬영된 피체험자와 체험자의 영상 프레임을 분석하여 스트레스 시나리오를 추출하는 단계, 스트레스 시나리오와 기 저장된 시나리오와 결합하여 가상현실 대리체험 콘텐츠를 생성하는 단계, 및 생성된 가상현실 대리체험 콘텐츠를 대리체험 단말로 전송하는 단계를 포함한다.

Description

롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법{METHOD FOR PROVIDING VICARIOUS EXPERIENCE SERVICE USING VIRTUAL REALITY BASED ON ROLE-PLAYING AND BIGDATA}

본 발명은 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법에 관한 것으로, 역지사지를 적용하여 제3자의 눈으로 자신을 바라봄과 동시에 상대방의 입장을 이해할 수 있는 역할극을 가상현실 콘텐츠로 제공할 수 있는 방법을 제공한다.

실감효과를 위한 가상현실(Virtual Reality: VR), 증강현실(Augmented Reality: AR), 혼합현실(Mixed Reality: MR), 촉각과 동작인식 등 감각 자극 센서 기술은 4D 영화관, 게임, 테마 마크 혹은 스마트폰 시장에서 상용화되기 시작했고, 급격하게 성장한 네트워크 기술의 발전과 스마트폰 시장에 의해 다양한 실감미디어 서비스들이 출현하고 서비스되고 있으며, 이러한 확장성과 시장성 때문에 미래의 혁신 산업으로 예측된다.

이때, 어떠한 상황을 가상 체험 콘텐츠를 이용하여 간접 체험하는 방법이 개발되고 있다. 이와 관련하여, 선행기술인 한국공개특허 제2017-0028752호(2017년03월14일 공개)에는, 사용자 단말을 통해 사용자에게 상황별 가상체험컨텐츠를 제공하는 가상체험컨텐츠 제공부와, 가상체험컨텐츠를 실행한 사용자의 감정상태정보를 획득하는 감정상태정보 획득부와, 감정상태정보를 이용하여 사용자에 대한 스트레스모델을 생성하는 스트레스모델 생성부와, 스트레스모델에 따라 사용자에 대한 심리치료모델을 매칭하는 심리치료모델 매칭부와, 사용자가 심리치료모델의 실행 여부를 모니터링하는 모니터링부를 포함하는 구성을 개시한다.

다만, 스트레스를 받는 상황과 가상 현실 간의 괴리감이 존재하는 경우, 실제 스트레스를 받은 사람으로부터 치료를 받는 가장 확실한 효과를 가지는 체험을 하지 못하게 되고, 이는 다시 현실의 스트레스를 주는 사람에게 미움의 감정이 발생하고, 감정상태가 조절되지 못하는 악순환이 계속되며, 미움의 감정을 가지고 있는 사람이 미움을 받는 사람보다 더 불안한 상태로 빠지게 되고, 상대방의 입장을 이해하지 못한 채로 가상 현실과 현실의 괴리로 인하여 시간 및 비용만 낭비하고, 현실에서는 감정의 골만 깊어지는 현상을 초래하게 된다.

본 발명의 일 실시예는, 역지사지로 상대방의 입장으로 자신을 바라볼 수 있는 가상현실 콘텐츠를 제공하는 것 뿐만 아니라, 가상이 아닌 실제 자신과 상대방의 실사 또는 캐릭터와 상황을 그대로 이용함으로써 콘텐츠의 현실감을 극대화시킬 수 있고, 제3자의 입장에서 보는 자신과, 자신이 상대방의 상황에 처해있을 때에는 어떻게 대처할 것인지를 게임의 형식으로 부담감없이 다가감으로써, 대인관계 등으로 스트레스를 받는 현대인들에게 폭력적이지 않은 방법으로 내면에 자리한 증오나 미움을 없앨 수 있도록 하고, 스트레스의 근원을 없앰으로써 더 나은 인간관계 및 사회를 만들 수 있도록 하는, 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법을 제공할 수 있다. 다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일 실시예는, 대리체험 단말로부터 대리체험 서비스를 신청하도록 체험자의 정보를 등록하는 이벤트를 수신하는 단계, 대리체험 단말에서 지정된 피체험자와, 피체험자와 체험자가 만나는 장소, 시간 및 피체험자의 피체험 단말의 정보를 수신하여 저장하는 단계, 저장된 장소에서 대리체험 단말로부터 피체험 단말을 검색하도록 검색 신호를 활성화시키고, 피체험 단말이 검색되는 경우 대리체험 단말의 음성 감지를 활성화시키는 단계, 음성 감지 결과 피체험자 및 체험자의 음성이 감지되는 경우, 대리체험 단말의 카메라를 턴온(Turn on)시켜 피체험자와 체험자가 촬영 객체로 영상 프레임에 포함되도록 촬영제어하는 단계, 촬영된 피체험자와 체험자의 영상 프레임을 분석하여 스트레스 시나리오를 추출하는 단계, 스트레스 시나리오와 기 저장된 시나리오와 결합하여 가상현실 대리체험 콘텐츠를 생성하는 단계, 및 생성된 가상현실 대리체험 콘텐츠를 대리체험 단말로 전송하는 단계를 포함한다.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 상대방의 입장으로 자신을 바라볼 수 있는 가상현실 콘텐츠를 제공하는 것 뿐만 아니라, 가상이 아닌 실제 자신과 상대방의 실사 또는 캐릭터와 상황을 그대로 이용함으로써 콘텐츠의 현실감을 극대화시킬 수 있고, 제3자의 입장에서 보는 자신과, 자신이 상대방의 상황에 처해있을 때에는 어떻게 대처할 것인지를 게임의 형식으로 부담감없이 다가감으로써, 대인관계 등으로 스트레스를 받는 현대인들에게 폭력적이지 않은 방법으로 내면에 자리한 증오나 미움을 없앨 수 있도록 하고, 스트레스의 근원을 없앰으로써 더 나은 인간관계 및 사회를 만들 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 시스템을 설명하기 위한 구성도이다.
도 2는 도 1에 도시된 대리체험 서비스 제공 서버를 설명하기 위한 블록 구성도이다.
도 3은 본 발명의 일 실시예에 따라 대리체험 서비스가 구현되는 다양한 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 도 1의 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다.
도 5는 본 발명의 일 실시예에 따른 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법을 설명하기 위한 동작 흐름도이다.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.

명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명의 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.

본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다.

본 명세서에 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다.

본 명세서에서 있어서, 단말과 매핑(Mapping) 또는 매칭(Matching)으로 기술된 동작이나 기능 중 일부는, 단말의 식별 정보(Identifying Data)인 단말기의 고유번호나 개인의 식별정보를 매핑 또는 매칭한다는 의미로 해석될 수 있다.

본 명세서에 있어서, 적어도 하나의(At least one)의 의미는 단수 또는 복수로 해석될 수 있고, 적어도 하나의 라는 용어를 사용한 경우, 이하에서 중복으로 삭제할 수 있고, 이는 정의된 용어와 동일한 용어로 해석될 수 있다.

이하 첨부된 도면을 참고하여 본 발명을 상세히 설명하기로 한다.

도 1은 본 발명의 일 실시예에 따른 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 시스템을 설명하기 위한 구성도이다. 도 1을 참조하면, 대리체험 서비스 제공 시스템(1)은, 대리체험 단말(100), 대리체험 서비스 제공 서버(300), 피체험 단말(400) 및 연동 단말(500)을 포함할 수 있다. 다만, 이러한 도 1의 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 시스템(1)은, 본 발명의 일 실시예에 불과하므로, 도 1을 통해 본 발명이 한정 해석되는 것은 아니다.

이때, 도 1의 각 구성요소들은 일반적으로 네트워크(network, 200)를 통해 연결된다. 예를 들어, 도 1에 도시된 바와 같이, 대리체험 단말(100)은, 네트워크(200)를 통하여 대리체험 서비스 제공 서버(300)와 연결될 수 있다. 또한, 대리체험 단말(100)은, 네트워크(200)를 통하여 피체험 단말(400) 및 연동 단말(500)과 연결될 수 있다. 그리고, 대리체험 서비스 제공 서버(300)는, 네트워크(200)를 통하여 대리체험 단말(100), 피체험 단말(400), 연동 단말(500)과 연결될 수 있다. 또한, 피체험 단말(400)은, 네트워크(200)를 통하여 대리체험 단말(100), 대리체험 서비스 제공 서버(300), 연동 단말(500)과 연결될 수 있다. 그리고, 연동 단말(500)은, 네트워크(200)를 통하여 대리체험 단말(100), 대리체험 서비스 제공 서버(300), 피체험 단말(400)과 연결될 수 있다.

여기서, 네트워크(200)는, 복수의 단말 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 이러한 네트워크(200)의 일 예에는 RF, 3GPP(3rd Generation Partnership Project) 네트워크, LTE(Long Term Evolution) 네트워크, 5GPP(5rd Generation Partnership Project) 네트워크, WIMAX(World Interoperability for Microwave Access) 네트워크, 인터넷(Internet), LAN(Local Area Network), Wireless LAN(Wireless Local Area Network), WAN(Wide Area Network), PAN(Personal Area Network), 블루투스(Bluetooth) 네트워크, NFC 네트워크, 위성 방송 네트워크, 아날로그 방송 네트워크, DMB(Digital Multimedia Broadcasting) 네트워크 등이 포함되나 이에 한정되지는 않는다.

대리체험 단말(100)은, 대리체험 서비스를 이용하는 사용자의 단말일 수 있다. 그리고, 대리체험 단말(100)은, 대리체험의 롤플레잉을 수행할 체험자인 자신과 상대방을 촬영하는 단말일 수 있다. 이를 위하여, 대리체험 단말(100)은, 연락처 등을 이용하여 대리체험(롤플레잉, 역지사지)을 할 상대방을 지정하고, 상대방과 함께 정기적으로 지정된 장소에 위치하는 경우에는, 시간 및 장소를, 지정된 장소에 랜덤한 시간에 위치하는 경우에는, 장소만을 지정하고, 상대방의 특성에 대하여 입력하는 단말일 수 있다. 이때, 상대방이 랜덤한 장소에 랜덤한 시간에 마주치거나 마주칠 가능성이 있는 경우에는, 상대방을 인지할 수 있는 특징, 예를 들어, 목소리 등을 입력하는 단말일 수 있다. 또한, 대리체험 단말(100)은, 대리체험 서비스 제공 서버(300)에서 상대방을 잘 파악하고 학습할 수 있도록, 목소리 톤, 자주 쓰는 문구나 단어 등을 입력하는 단말일 수 있다. 그리고, 대리체험 단말(100)은, 대리체험 서비스 제공 서버(300)에서 자신의 특성을 파악하도록 하기 위해, 자신을 촬영 또는 음성을 녹음하는 동작을 수행하는 단말일 수 있다. 또한, 대리체험 단말(100)은, 대리체험 서비스 제공 서버(300)에서 롤플레잉을 가상체험하기 위한 콘텐츠가 수신되는 경우, 이를 편집하거나 배경을 변경할 수 있는 사용자 인터페이스를 출력하는 단말일 수 있다. 그리고, 대리체험 단말(100)은, 연동 단말(500)과 연동되어 촬영을 실시하도록 하는 단말일 수 있다. 이를 위하여, 대리체험 단말(100)은, 대리체험 서비스 제공 서버(300)로 연동 단말(500)을 등록하고 사전에 카메라 등록 및 위치 확인 동작에 대한 허가 또는 승인을 입력하는 단말일 수 있다. 그리고, 대리체험 단말(100)은 촬영한 화면에 포함된 체험자 및 피체험자를 식별하도록 구분자를 입력하는 단말일 수 있다. 그리고, 대리체험 단말(100)은, 체험자 및 피체험자의 캐릭터를 생성하는데 실사와 가까운 현실감을 제공하기 위하여, 키, 체형, 각종 치수 등을 입력하는 단말일 수 있다.

여기서, 대리체험 단말(100)은, 네트워크(200)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 셋탑 박스, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 대리체험 단말(100)은, 네트워크(200)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 대리체험 단말(100)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

대리체험 서비스 제공 서버(300)는, 대리체험 서비스 웹 페이지, 앱 페이지, 프로그램 또는 애플리케이션을 제공하는 서버일 수 있다. 또한, 대리체험 서비스 제공 서버(300)는, 대리체험 단말(100)로부터 체험자와 피체험자의 정보를 수신하여 등록받는 서버일 수 있다. 또한, 대리체험 서비스 제공 서버(300)는, 대리체험 단말(100)로부터 체험자 및 피체험자가 영상에 촬영 객체로 포함된 영상을 수신하는 서버일 수 있다. 그리고, 대리체험 서비스 제공 서버(300)는 영상에 포함된 촬영 객체로부터 스트레스 시나리오를 추출하는 서버일 수 있고, 스트레스 시나리오와 기 저장된 시나리오(시나리오 포맷, 플랫폼)을 결합하여 가상 현실 콘텐츠를 생성하는 서버일 수 있다. 이때, 기 저장된 시나리오는, 실제로 촬영된 영상을 가상 현실 콘텐츠에 맞도록 제작하기 위한 레이아웃 또는 플랫폼일 수 있다. 또한, 대리체험 서비스 제공 서버(300)는, 스트레스 시나리오를 신경망 학습 알고리즘을 통하여 학습을 시키고, 학습된 결과를 업데이트하기 위하여 지속적으로 영상을 수집하는 서버일 수 있다. 그리고, 대리체험 서비스 제공 서버(300)는, 대리체험 단말(100)에서 배경을 바꾸거나 설정을 바꾸는 경우, 이를 반영하여 가상 현실 콘텐츠에 반영하는 서버일 수 있다. 또한, 대리체험 서비스 제공 서버(300)는, 대화형 에이전트를 이용하고, 피체험자별로 자주 쓰는 단어나 음성 등의 데이터베이스를 구축하는 서버일 수 있다. 그리고, 대리체험 서비스 제공 서버(300)는, 대리체험 단말(100)에서 연동 단말(500)을 등록하고, 대리체험 단말(100)에서 촬영 시야를 확보하지 못하는 경우, 연동 단말(500)을 자동으로 구동시키고 촬영을 하도록 제어하는 서버일 수 있다. 이때, 대리체험 서비스 제공 서버(300)는, 체험자가 피체험자의 역할을 하는 것 뿐만 아니라(3인칭 시점), 체험자가 체험자 자신이 되고 실생활을 그대로 가상에서 체험하는 것(1인칭 시점) 또한 가능하도록 하는 서버일 수 있다.

이때, 대리체험 서비스 제공 서버(300)는, 네트워크(200)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다.

피체험 단말(400)은, 대리체험 서비스 제공 서버(300)에 의해 식별되는 단말일 수 있다. 이때, 피체험 단말(400)은, 대리체험 서비스 제공 서버(300)에 가입된 경우, 단말의 위치를 대리체험 서비스 제공 서버(300)로 전송하는 단말일 수 있다. 여기서, 피체험 단말(400)은, 자신이 주체가 되는 경우 대리체험 단말(100)로 동작할 수 있고, 그 역도 가능하므로, 상세한 설명은 생략하기로 한다.

여기서, 피체험 단말(400)은, 네트워크(200)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, POS, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 피체험 단말(400)은, 네트워크(200)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 피체험 단말(400)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

연동 단말(500)은, 대리체험 단말(100)에서 등록한 체험자의 다른 단말일 수 있다. 이때, 연동 단말(500)은 촬영을 할 수 있는 카메라와 녹음을 할 수 있는 녹음기가 구비된 단말일 수 있다. 그리고, 연동 단말(500)은, 대리체험 단말(100)에서 등록을 하고, 대리체험 서비스 제공 서버(300)에서 촬영 제어 신호를 전송하는 경우, 촬영 프레임에 체험자와 피체험자가 식별되는지의 여부를 확인하고, 식별되는 경우 그대로 촬영을 하고, 촬영이 되지 않는 경우, 녹음을 하여 대리체험 서비스 제공 서버(300)로 전송하는 단말일 수 있다. 이를 통하여, 대리체험 단말(100)의 고장 또는 배터리 없음이나 다른 기능 구동 등으로 촬영이 되지 않는 상황을 미연에 방지하도록 할 수 있다.

여기서, 연동 단말(500)은, 네트워크(200)를 통하여 원격지의 서버나 단말에 접속할 수 있는 컴퓨터로 구현될 수 있다. 여기서, 컴퓨터는 예를 들어, 셋탑 박스, 웹 브라우저(WEB Browser)가 탑재된 노트북, 데스크톱(Desktop), 랩톱(Laptop) 등을 포함할 수 있다. 이때, 연동 단말(500)은, 네트워크(200)를 통해 원격지의 서버나 단말에 접속할 수 있는 단말로 구현될 수 있다. 연동 단말(500)은, 예를 들어, 휴대성과 이동성이 보장되는 무선 통신 장치로서, 네비게이션, PCS(Personal Communication System), GSM(Global System for Mobile communications), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(smartphone), 스마트 패드(smartpad), 타블렛 PC(Tablet PC) 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.

도 2는 도 1에 도시된 대리체험 서비스 제공 서버를 설명하기 위한 블록 구성도이고, 도 3은 본 발명의 일 실시예에 따라 대리체험 서비스가 구현되는 다양한 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 본 발명의 일 실시예에 따른 대리체험 서비스 제공 서버(300)는, 수신부(310), 저장부(320), 활성화부(330), 촬영 제어부(340), 추출부(350), 생성부(360), 전송부(370), 인터렉션 관리부(380) 및 업데이트부(390)를 포함할 수 있다.

본 발명의 일 실시예에 따른 대리체험 서비스 제공 서버(300) 또는 대리체험 서비스 제공 서버(300)와 연동되어 동작하는 다른 서버(미도시)가 대리체험 단말(100), 피체험 단말(400), 및 연동 단말(500)로 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 전송하는 경우, 대리체험 단말(100), 피체험 단말(400), 및 연동 단말(500)은, 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 애플리케이션, 프로그램, 앱 페이지, 웹 페이지 등을 설치하거나 열 수 있다. 또한, 웹 브라우저에서 실행되는 스크립트를 이용하여 서비스 프로그램이 대리체험 단말(100), 피체험 단말(400), 및 연동 단말(500)에서 구동될 수도 있다. 여기서, 웹 브라우저는 웹(WWW: world wide web) 서비스를 이용할 수 있게 하는 프로그램으로 HTML(hyper text mark-up language)로 서술된 하이퍼 텍스트를 받아서 보여주는 프로그램을 의미하며, 예를 들어 넷스케이프(Netscape), 익스플로러(Explorer), 크롬(chrome) 등을 포함한다. 또한, 애플리케이션은 단말 상의 응용 프로그램(application)을 의미하며, 예를 들어, 모바일 단말(스마트폰)에서 실행되는 앱(app)을 포함한다.

이때, 네트워크(200)의 연결은, 대리체험 단말(100), 대리체험 서비스 제공 서버(300), 피체험 단말(400), 연동 단말(500)이 네트워크(200)로 연결되어 있는 단말과 통신을 위해 통신 접점에 통신 객체를 생성하는 것을 의미한다. 대리체험 서비스 제공 서버(300)는 통신 객체를 통해 서로 데이터를 교환할 수 있다.

수신부(310)는, 대리체험 단말(100)로부터 대리체험 서비스를 신청하도록 체험자의 정보를 등록하는 이벤트를 수신할 수 있다. 이때, 대리체험 서비스는, 자신과 상대방의 입장을 바꿔보도록 하는 역지사지의 개념을 적용한 서비스로서, 자신이 상대방의 입장으로 자신과 대화하는 롤플레잉일 수 있다. 이때, 자신은 가상현실에서의 자신으로, 상대방 또한 가상현실에서 그대로 상대방으로 나타나는 가상현실 서비스도 포함될 수 있음은 물론이다. 이때, 대리체험 단말(100)은, 자신의 캐릭터 또는 실사 등에 대응하는 가상현실 콘텐츠를 생성해야 하므로, 자신의 평소 행동이나 말투, 음정, 사투리 여부, 목소리 톤 등을 녹음하고 촬영하여 이에 대한 콘텐츠를 등록할 때 수신부(310)로 전송하는 단말일 수 있다. 이때, 수신부(310)는 대리체험자(신청자, 대리체험 단말(100)의 사용자)로부터 촬영된 정보 등을 수신할 수 있다.

저장부(320)는, 대리체험 단말(100)에서 지정된 피체험자와, 피체험자와 체험자가 만나는 장소, 시간 및 피체험자의 피체험 단말(400)의 정보를 수신하여 저장할 수 있다. 예를 들어, 가상현실 콘텐츠를 생성하기 위해서는 실제 상황의 상대방과 자신이 어떻게 지내는지를 확인해야 하는데, 이를 위해서는 언제, 어디서 만나는 사용자인지 또는 상대방에 대한 정보를 알아야 대리체험 단말(100)에서 촬영을 하거나 녹음을 할 수 있다. 그렇지 않은 경우에는, 촬영을 하거나 녹음을 하기 위해서, 지속적으로 상대방과 자신을 찾는 이미지 인식 또는 음성 인식을 실행할 수 있고, 이에 따라 배터리 소모량이 급격하게 늘어날 수 있다. 이에 따라, 대리체험자가 피체험자와 언제 어디서 만나는지를 아는 경우, 해당 장소 및 시간에 음성 인식 및 이미지 인식 등을 활성화시켜서 대리체험자와 피체험자를 확인하고 촬영 또는 녹음하도록 할 수 있다.

이에 따라, 활성화부(330)는, 저장된 장소에서 대리체험 단말(100)로부터 피체험 단말(400)을 검색하도록 검색 신호를 활성화시키고, 피체험 단말(400)이 검색되는 경우 대리체험 단말(100)의 음성 감지를 활성화시킬 수 있다.

촬영 제어부(340)는, 음성 감지 결과 피체험자 및 체험자의 음성이 감지되는 경우, 대리체험 단말(100)의 카메라를 턴온(Turn on)시켜 피체험자와 체험자가 촬영 객체로 영상 프레임에 포함되도록 촬영제어할 수 있다. 그리고, 촬영 제어부(340)는, 음성 감지 결과 피체험자 및 체험자의 음성이 감지되는 경우, 대리체험 단말(100)의 카메라를 턴온(Turn on)시켜 피체험자와 체험자가 촬영 객체로 영상 프레임에 포함되도록 촬영제어하기 이전에, 대리체험 단말(100)로부터 체험자의 다른 단말인 연동 단말(500)을 등록받을 수 있다.

이때, 촬영 제어부(340)는, 카메라가 턴온되었지만, 피체험자와 체험자를 영상 프레임에 담을 수 없는 경우, 대리체험 서비스 제공 서버(300)는, 대리체험 단말(100)과 동일한 장소에 위치한 연동 단말(500)에서 촬영을 하도록 제어할 수 있다.

예를 들어, 과장인 대리체험자가 부장인 피체험자를 상대로 대리체험 서비스를 신청했다고 가정하자. 이때, 부장과 과장이 만나는 순간은 많지만, 이를 포착하여 프레임에 담으려는 순간, 카메라가 바닥을 향하고 있다던가 하는 경우에는 촬영을 제대로 할 수 없고, 이에 따라 실사를 담을 수 없어 실사에 기초한 가상현실 캐릭터를 만들 수가 없다. 이에 따라, 대리체험자의 단말이 복수이고, 해당 장소 및 해당 시간에 위치한 경우, 이를 연동하여 촬영하도록 함으로써, 동일한 장면에 대한 다양한 촬영 각도도 만들 수 있게 하고, 동일한 장면을 담는다고 할지라도, 한 카메라가 고장나거나 촬영을 못하는 각도에 위치한 경우, 촬영을 하지 못하는 사태를 방지할 수 있다. 예를 들어, 대리체험자의 연동 단말(500)은, 회사의 컴퓨터 등일 수 있다.

만약, 고부갈등이 있는 경우라면, 대리체험자는 며느리이고, 피체험자는 시어머니일 수 있다. 이때, 대리체험자인 며느리의 스마트 폰 등은 대리체험 단말(100)일 수 있고, 며느리의 집 등에 위치한 노트북, 랩탑 또는 PC 등의 고정 단말이나, 스마트 패드 등의 핸드헬드 단말 등이 모두 연동 단말(500)이 될 수 있다.

추출부(350)는, 촬영된 피체험자와 체험자의 영상 프레임을 분석하여 스트레스 시나리오를 추출할 수 있다. 이때, 스트레스 시나리오는, 대리체험자가 지정한 구간 내에 포함된 음성이 추출되고, 추출된 음성이 기 설정된 스트레스 단어와 일치하거나 유사도가 높을 경우에 스트레스 시나리오로 추출될 수 있다.

생성부(360)는, 스트레스 시나리오와 기 저장된 시나리오와 결합하여 가상현실 대리체험 콘텐츠를 생성할 수 있다. 이때, 가상현실 대리체험 콘텐츠는, 가상의 배경이 아닌 촬영된 영상으로부터 추출된 현실의 배경과 가상의 캐릭터를 합성한 혼합현실 또는 증강현실 콘텐츠로 더 구현될 수 있다. 이때, 기 저장된 시나리오는, 빅데이터를 통하여 상황별로, 예를 들어, 직장내, 고부갈등, 인간관계, 왕따 등의 키워드에 매핑된 다양한 빅데이터로부터 추출된 시나리오일 수 있다. 해당 시나리오는 신경망 학습 알고리즘으로 학습되어 다양한 시나리오를 학습하고 유연성있는 시나리오를 포함할 수 있는 플랫폼 또는 레이아웃을 제공할 수 있다.

이때, 빅데이터 분석은 방대한 데이터에서 원하는 결과를 도출하기 위해 분석모델을 설계하고 구현하고 검증하는 과정을 가진다. 빅데이터 분석 기술에는 텍스트 마이닝(Text Mining), 평판 분석(Opinion Mining), 소셜 네트워크 분석(Social Network Analytics) 등이 최근 주목을 받고 있다. 이러한 기술들은 이미 기계학습 및 데이터 마이닝 분야에서 사용되었던 기술이며, 분산 환경에서 적합한 구조로 변경하여 적용하고 있다.

여기서, 머신러닝(machine learning)이란, 인간과 같은 학습 능력을 기계를 통해구현하는 여러 가지 방법들에 대해 연구하는 것을 말하며, 주어진 데이터를 분석하여 분석된 결과에서 학습 가능한 규칙이나 새로운 지식을 자동적으로 추출해 궁극적으로는 기계가 학습하는 효과를 얻도록 한다. 본 발명의 일 실시예에서는, 복수의 스트레스 시나리오를 드라마, 블로그의 글, 또는 기사 등을 통하여 추출한 후, 데이터마이닝 및 머신러닝을 통하여 복수의 스트레스 시나리오 플랫폼을 만든다.

예를 들어, 직장인이 직장에 지각했고, 상사에게 혼났고, 스트레스를 받는다 라는 등의 기본적인 시나리오를 추출하고 저장할 수 있다. 이때, 대리체험자의 대리체험 단말(100)로부터 "이대리, 또 지각하면 어떻게 하나?"라는 문장이 추출된 경우, 저장된 기본적인 시나리오에 "이대리, 또 지각했다"라는 상사에게 혼났다는 파트를 채우는 경우, 기본적인 시나리오(지각-상사에게 혼남-스트레스 받음)을 "이대리"라는 대리체험자에 맞게 각색 및 완성할 수 있는 것이다.

정리하면, 본 발명의 일 실시예에 따른 대리체험 서비스 제공 방법은, 다양한 데이터 소스로부터 데이터를 수집하고, 필요한 경우 수집된 데이터로부터 필요없는 데이터를 필터링 혹은 적절한 형태로 가공하는 전처리 단계를 거친 다음, 정보를 저장 관리하면서이로부터 유용한 정보를 추출 혹은 분석 과정을 통해 지능을 발굴하고 이를 가시화하여 활용하는 단계를 통하여 기본 시나리오를 추출할 수 있다.

경우에 따라서는 정보 저장 관리 단계 전에 유용한 정보를 추출 혹은 분석 작업이 선행된 후 필요시 저장 관리한다. 데이터 규모, 데이터 생성 및 처리 속도, 데이터 다양성, 데이터 활용 환경의 복잡성 등 빅데이터 속성을 고려한 기술이 이용될 수 있다. 또한, 빅데이터 활용을 지원하기 위한 빅데이터 분석 플랫폼의 주요 기술은 크게 이기종 데이터 융합 기술, 빅데이터 저장 관리 기술, 빅데이터 처리 기술, 빅데이터 분석 기술 및 지능 가시화 기술이 적용될 수 있다.

이때, 이기종 데이터 융합 기술은, 빅데이터 분석을 위해 다양한 데이터 소스에 접근, 데이터 수집 및 데이터 융합 처리를 지원하는 이기종 멀티데이터 융합 기술이고, 빅데이터 저장 관리 기술은, 폭증하는 다양한 형식의 데이터를 저장 관리할 수 있는 고확장성의 분산 저장 관리 기술 및 실시간 분석 환경을 지원하는 고성능 저장 관리 기술이다. 또한, 빅데이터 처리 기술은, 지속적으로 발생하는 스트림 데이터 및 대규모 저장 데이터의 적시 분석 처리를 지원하기 위한 분산 병렬 데이터 처리 기술이고, 빅데이터 분석 기술은 빅데이터에 내재된 가치를 추출하기 위해 필요한 대규모 데이터 및 스트림 데이터기반 통계 처리, 데이터 마이닝 등 공통 분석 기술 및 기계 학습, 인공 지능 기법을 적용한 고급 분석 기술이며, 지능 가시화 기술은 분석된 결과를 쉽게 직관적으로 이해할 수 있도록 도표, 이미지, 애니메이션 등을 활용하여 가시화하여 제공하는 기술로 정의될 수 있다.

전송부(370)는, 생성된 가상현실 대리체험 콘텐츠를 대리체험 단말(100)로 전송할 수 있다. 피체험자는 복수로 구비되고, 복수의 피체험자와 체험자를 촬영함으로써, 복수의 스트레스 시나리오가 추출될 수 있고, 체험자는 피체험자를 선택하고, 대리체험 단말(100)은, 선택된 피체험자에 대응하는 가상현실 대리체험 콘텐츠를 출력할 수 있다. 예를 들어, A라는 나를 중심으로, 복수의 인간관계가 생성될 수 있다. A가 직장인을 다니는 경우, 직장 내에서도 상사와의 관계, 부하와의 관계, 동료와의 관계, 클라이언트와의 관계가 있을 수 있다.

또한, A는 부모이자, 자식이고, 형제이고, 친구일 수 있다. 이렇게 다양한 인간관계 속에서 인간관계 유지를 위해, 클라이언트 관리를 위해, 돈을 벌기 위해, 어른에게 예의없게 대하지 않기 위해 A는 하고 싶은 말을 참는 경우도 많고, 또는 인간관계에서 스트레스가 생기는 일도 많을 수 있다. 대부분 상대방의 입장에서 생각을 해보면 스트레스를 받지 않고 상대방을 미워하지 않을 수 있는데, 자신의 입장을 먼저 생각하는 것이 대부분이기 때문에, 많은 현대인들은 속앓이를 하고 있다.

물론, 부당한 경우도 있을테지만, 내가 모르는 상대방의 입장을 고려하고, 그러한 상황에 처하게 된다면, 스트레스는 없어질 수 있다. 누군가를 미워하게 된다면, 미워하는 자신이 더 힘들 뿐이기 때문이다.

이에 따라, 본 발명의 일 실시예에서는, 현대인이 맺는 다양한 인간관계에서 다양한 피체험자를 설정할 수 있다. 상술한 예를 들면, 가족, 부모, 자식, 형제, 친구, 클라이언트, 상사, 부하, 동료 등이 피체험자로 설정될 수 있다. 이렇게 피체험자는 "A"라는 체험자를 중심으로 복수일 수 있다.

인터렉션 관리부(380)는, 전송부(370)에서 생성된 가상현실 대리체험 콘텐츠를 대리체험 단말(100)로 전송한 후, 대리체험 단말(100)에서 가상현실 대리체험 콘텐츠를 재생하고, 인터렉션 작용을 위한 입력이 수신된 경우, 인공지능 대화 알고리즘과 스트레스 시나리오 및 기 저장된 시나리오에 기반하여 체험자의 캐릭터가 응답을 하도록 제어할 수 있다.

이때, 가상현실 대리체험 콘텐츠에서 피체험자와 체험자의 캐릭터는 촬영된 영상으로부터 추출되어 실제 형상와 일치하도록 생성되고, 피체험자와 체험자의 캐릭터는, 촬영된 영상으로부터 추출되어 신경망 학습 알고리즘에 의해 상황별 음성, 어조, 말투, 문장, 및 단어를 학습한 결과를 대화형 에이전트(Agent)를 통하여 대화를 출력할 수 있다.

이때, 대화형 에이전트는, 사용자와 에이전트 사이에서 인간이 사용하는 자연어 대화를 통해 정보를 주고받는 시스템이다. 이는, 사용자가 원하는 정보를 단순한 키워드나 메뉴 등의 방식으로 습득하는 것이 아니라 자연어로 된 문장을 입력하게 함으로써 사용자에게 보다 친숙한 인터페이스를 제공한다. 여기서, 대화형 에이전트는 상호작용을 통해 사용자가 원하는 정보를 제공한다. 정적인 답변 스크립트를 기반으로 동작하는 기존의 대화형 에이전트와는 달리 본 발명의 일 실시예에 따른 대화형 에이전트는, 스트레스 시나리오와, 학습한 체험자 및 피체험자의 자주 사용하는 단어, 용어, 문장 등에 기반하여, 지식구조가 동적으로 갱신되기 때문에 답변도 동적으로 생성될 수 있다.

그리고, 사용자 질의에 대한 동적 답변을 생성해야 하는데, 답변 템플릿을 구성하여 사용자가 요구하는 정보를 답변 템플릿에 삽입하여 사용자에게 제공할 수 있고, 답변 템플릿은 스트레스 시나리오 및 체험자와 피체험자의 성격, 용어 등의 데이터베이스에 기반하여 답변 템플릿에는 대상 영역에서 얻어진 온톨로지 정보와 답변 제공을 위한 답변 원형이 포함될 수 있다. 추출된 온톨로지 정보가 클라이언트가 재촉는 것에 대한 대응이라면, 템플릿은 "사과", "재촉에 대한 답변"과 "클라이언트의 정보"를 변수로 가지며, 답변 원형으로 "고객님, <재촉에 대한 답변>이며, <사과>입니다"라는 답변을 출력할 수 있다. <사과>는 사용자에 따라 "사과"를 할 때 이용하는 문장이 변수가 될 수 있다.

또한, 본 발명의 일 실시예에서는, 인간관계의 형성과 발전에 관계된 가장 중요한 요인 중 하나인 자기노출(self-disclosure)을 의인화된 인터페이스 에이전트에 적용함으로써, 에이전트의 자기노출 정도에 따라 사용자-에이전트의 관계 형성을 높일 수 있도록 한다.

또한, 인터렉션 관리부(380)는, 전송부(370)에서 생성된 가상현실 대리체험 콘텐츠를 대리체험 단말(100)로 전송한 후, 대리체험 단말(100)에서 가상현실 대리체험 콘텐츠에 포함된 적어도 하나의 조건을 변경하고자 하는 경우, 변경하고자 하는 하나의 조건을 선택받을 수 있다. 그리고, 인터렉션 관리부(380)는, 선택된 조건에 대응하는 구성요소를 변경하고, 변경된 구성요소가 업데이트된 가상현실 대리체험 콘텐츠를 대리체험 단말(100)에서 구동되도록 제어할 수 있다. 예를 들어, 대리체험자가 피체험자를 시어머니로 지정했다가, 동료로 지정할 수도 있고, 배경을, 몰입감을 높이기 위해서 배경을 실제 배경을 촬영한 배경으로 변경할 수도 있으며, 캐릭터(실사 등)를 변경할 수도 있다. 이때, 캐릭터는 실제 영상으로부터 피체험자의 이미지를 추출하여 생성될 수 있다. 예를 들어, 아바타와 같은 캐릭터도 가능하지만, 실제 사람을 촬영한 결과를 이용하여 캐릭터를 만들 수도 있다. 이를 위하여, A라는 사람을 피체험자로 지정하기 위해서는, A라는 사람의 기준 모습이 있어야 영상 프레임으로부터 객체로 추출 및 추적을 할 수 있으므로, 대리체험 단말(100)은, 영상에서 피체험자와 대응하는 객체를 지정하거나, 이미지를 입력할 수 있다. 여기서, 영상에서 객체를 추적하는 기술은, 객체 추적 알고리즘 등을 이용하며, 이는 상용 기술을 이용할 수 있으므로 상세히 설명하지 않기로 한다.

업데이트부(390)는, 전송부(370)에서 생성된 가상현실 대리체험 콘텐츠를 대리체험 단말(100)로 전송한 후, 피체험자 및 체험자의 인터렉션 상황이 발생할 때마다 히스토리 로그로 촬영하여 저장할 수 있다. 그리고, 업데이트부(390)는, 저장된 히스토리 로그로 기 설정된 주기별로 가상현실 대리체험 콘텐츠를 업데이트할 수 있고, 업데이트된 가상현실 대리체험 콘텐츠를 대리체험 단말(100)로 전송할 수 있다.

예를 들어, A(대리체험자)와 B(피체험자)가 어제까지 계속 사이가 안좋았다가, 오늘은 A의 심경 또는 환경 변화 또는 B의 심경 또는 환경 변화로 사이가 좋아졌다고 가정하자. 이때, 가상 현실 콘텐츠에 계속 싸우는 시나리오만이 반복된다면, 현실과 가상 현실 간의 괴리감으로 몰입을 할 수가 없다. 또는, 상술한 상황이 아니더라도, 인간관계는 지속적으로 변할 수 있으므로, 이러한 상황을 실시간 또는 주기적으로 업데이트되도록 하여, 실제와 가상 간의 간극을 없애도록 할 수 있다. 다만, 업데이트를 하지 않고 하나의 시나리오만 지속적으로 이용하는 것을 배제하는 것은 아니다.

이하, 상술한 구성을 가지는 롤플레잉 기반 가상현실을 이용한 대리체험 서비스를 도 3을 참조로 하여 설명하기로 한다.

도 3을 참조하면, (a) 대리체험 단말(100)의 대리체험자는, X 부장의 연락처를 롤플레잉 피체험자로 선정할 수 있다. 이때, (b) 대리체험 단말(100)은, 회사-집을 규칙적인 시간에 왕복할 것이므로, 회사에 가는 시간과 장소를 파악하여 월-금, 9시-6시까지 음성을 인식하여 X 부장과 대리체험자 간의 대화가 발생하는지를 파악하도록 한다. 이때, 초기 데이터 수집을 위해서 대리체험자는 X 부장의 음성이나 사진을 미리 입력할 수 있다. 이에 따라, 대리체험 단말(100)은, X 부장과 대리체험자 간의 대화가 발생하는지 음성 인식을 먼저하고, 이후에 음성이 인식된 경우 촬영을 하도록 제어된다.

여기서, (c) 촬영된 내용이 X 부장이, 대리체험자에게 "일을 이렇게 하면 곤란해요"라며 질책을 하는 내용이었고, (d) 스트레스와 매칭되는 음정(피치), 목소리, 톤, 키워드가 존재하는 경우, 스트레스 시나리오로 추출된다. 이때, 스트레스 시나리오는, 기 저장된 시나리오와 결합되어 말로 표현되지 않았거나 촬영되지 않은 부분이 보상된다. 이때, 촬영되지 않은 부분은, 대리체험자의 속마음이나, X 부장의 속마음 또는 의도일 수 있고, 이는 빅데이터를 통하여 추출 및 기 저장된 데이터일 수 있다.

또한, (e) 대리체험자가 해당 가상현실 콘텐츠를 대리체험 단말(100)에서 구동하는 경우, 대리체험자 자신을 부장의 시선으로 보게 된다. 그리고, 부장의 시선에서 대리체험자가 지각을 했고, 이를 반복하여, 일이 밀리고, 부장의 상사에게 부장이 질책을 받고, 품행을 단속하라는 명령이 내려왔다. 또한, 이번에 한 번이 아니고, 두 세번 반복되었다거나 하여 자신도 더 이상 상사로부터 푸시를 견딜 수 없는 경우라고 가정한다. 이때, (f) 대리체험자는 부장의 속마음이나 환경을 이해하게 되고, 가상현실에서 대리체험자 자신에게 부장의 입장으로(부장의 시선에서, 자신이 부장이 되어) 자신에게 한 마디를 하고, 가상현실 콘텐츠에서 "자신"인 대리체험자가 죄송하다는 말도 없이 자리에 앉는 것을 보게 된다고 가정한다. 이때, "자신"의 행동을 "부장"의 입장에서 보게 되고, "부장"이 자신 때문에 어떠한 상황에 처해있는지를 깨닫게 됨으로서, "부장"이 왜 화를 냈는지를 이해하게 되고, 스트레스를 받지 않을 수 있다.

이와 같은 도 2 및 도 3의 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1을 통해 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 4는 본 발명의 일 실시예에 따른 도 1의 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 시스템에 포함된 각 구성들 상호 간에 데이터가 송수신되는 과정을 나타낸 도면이다. 이하, 도 4를 통해 각 구성들 상호간에 데이터가 송수신되는 과정의 일 예를 설명할 것이나, 이와 같은 실시예로 본원이 한정 해석되는 것은 아니며, 앞서 설명한 다양한 실시예들에 따라 도 4에 도시된 데이터가 송수신되는 과정이 변경될 수 있음은 기술분야에 속하는 당업자에게 자명하다.

도 4를 참조하면, 대리체험 서비스 제공 서버(300)는, 대리체험 단말(100)로부터 사용자 등록을 받고(S4100), 피체험자 지정 및 캐릭터를 수신하여 저장한다(S4200).

그리고 나서, 대리체험 서비스 제공 서버(300)는, 대리체험 단말(100)의 위치 모니터링을 하고(S4300), 기 저장된 스트레스 장소와 현재 대리체험 단말(100)의 위치가 일치할 경우(S4400), 대리체험 단말(100)의 음성인식을 시작한다(S4500).

또한, 대리체험 단말(100) 및 연동 단말(500)로부터 대리체험 서비스 제공 서버(300)는 촬영된 영상을 전송받고(S4600), 스트레스 시나리오와 기 저장된 시나리오를 합성하여 가상 현실 콘텐츠를 생성한다(S4700).

이에 따라, 생성된 가상 현실 콘텐츠는 대리체험 단말(100)로 전송되고(S4710), 대리체험 단말(100)에서 피체험자를 바꾸는 변경 또는 환경을 변경하는 편집을 하는 경우(S4800), 대리체험 서비스 제공 서버(300)는, 변경을 반영하여 구동되도록 제어하고(S4810), 대화형 에이전트를 구동한다(S4830).

한편, 대리체험 서비스 제공 서버(300)는, 피체험 단말(400)을 모니터링하고(S4900), 체험자와 동일한 장소에 위치하는 경우(S4910), 대리체험 단말(100)에서 촬영을 시작하도록 하고(S4930), 새로이 입력된 영상을 기반으로 업데이트를 하도록 한다(S4950). 그리고, 대리체험 서비스 제공 서버(300)는, 업데이트를 반영하여 시나리오를 변경한다(S4970).

상술한 단계들(S4100~S4970)간의 순서는 예시일 뿐, 이에 한정되지 않는다. 즉, 상술한 단계들(S4100~S4970)간의 순서는 상호 변동될 수 있으며, 이중 일부 단계들은 동시에 실행되거나 삭제될 수도 있다.

이와 같은 도 4의 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 3을 통해 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5는 본 발명의 일 실시예에 따른 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법을 설명하기 위한 동작 흐름도이다. 도 5를 참조하면, 대리체험 서비스 제공 서버는, 대리체험 단말로부터 대리체험 서비스를 신청하도록 체험자의 정보를 등록하는 이벤트를 수신한다(S5100).

그리고 나서, 대리체험 서비스 제공 서버는, 대리체험 단말에서 지정된 피체험자와, 피체험자와 체험자가 만나는 장소, 시간 및 피체험자의 피체험 단말의 정보를 수신하여 저장하고(S5200), 저장된 장소에서 대리체험 단말로부터 피체험 단말을 검색하도록 검색 신호를 활성화시키고, 피체험 단말이 검색되는 경우 대리체험 단말의 음성 감지를 활성화시킨다(S5300).

또한, 대리체험 서비스 제공 서버는, 음성 감지 결과 피체험자 및 체험자의 음성이 감지되는 경우, 대리체험 단말의 카메라를 턴온(Turn on)시켜 피체험자와 체험자가 촬영 객체로 영상 프레임에 포함되도록 촬영제어한다(S5400).

그리고, 대리체험 서비스 제공 서버는, 촬영된 피체험자와 체험자의 영상 프레임을 분석하여 스트레스 시나리오를 추출하고(S5500), 스트레스 시나리오와 기 저장된 시나리오와 결합하여 가상현실 대리체험 콘텐츠를 생성한다(S5600).

마지막으로, 대리체험 서비스 제공 서버는, 생성된 가상현실 대리체험 콘텐츠를 대리체험 단말로 전송한다(S5700).

이와 같은 도 5의 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법에 대해서 설명되지 아니한 사항은 앞서 도 1 내지 도 4를 통해 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법에 대하여 설명된 내용과 동일하거나 설명된 내용으로부터 용이하게 유추 가능하므로 이하 설명을 생략하도록 한다.

도 5를 통해 설명된 일 실시예에 따른 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법은, 컴퓨터에 의해 실행되는 애플리케이션이나 프로그램 모듈과 같은 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다.

전술한 본 발명의 일 실시예에 따른 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법은, 단말기에 기본적으로 설치된 애플리케이션(이는 단말기에 기본적으로 탑재된 플랫폼이나 운영체제 등에 포함된 프로그램을 포함할 수 있음)에 의해 실행될 수 있고, 사용자가 애플리케이션 스토어 서버, 애플리케이션 또는 해당 서비스와 관련된 웹 서버 등의 애플리케이션 제공 서버를 통해 마스터 단말기에 직접 설치한 애플리케이션(즉, 프로그램)에 의해 실행될 수도 있다. 이러한 의미에서, 전술한 본 발명의 일 실시예에 따른 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법은 단말기에 기본적으로 설치되거나 사용자에 의해 직접 설치된 애플리케이션(즉, 프로그램)으로 구현되고 단말기에 등의 컴퓨터로 읽을 수 있는 기록매체에 기록될 수 있다.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.

Claims

대리체험 서비스 제공 서버에서 실행되는 대리체험 서비스 제공 방법에 있어서,
대리체험 단말로부터 대리체험 서비스를 신청하도록 체험자의 정보를 등록하는 이벤트를 수신하는 단계;
상기 대리체험 단말에서 지정된 피체험자와, 피체험자와 상기 체험자가 만나는 장소, 시간 및 상기 피체험자의 피체험 단말의 정보를 수신하여 저장하는 단계;
상기 저장된 장소에서 상기 대리체험 단말로부터 상기 피체험 단말을 검색하도록 검색 신호를 활성화시키고, 상기 피체험 단말이 검색되는 경우 상기 대리체험 단말의 음성 감지를 활성화시키는 단계;
상기 음성 감지 결과 상기 피체험자 및 상기 체험자의 음성이 감지되는 경우, 상기 대리체험 단말의 카메라를 턴온(Turn on)시켜 상기 피체험자와 체험자가 촬영 객체로 영상 프레임에 포함되도록 촬영제어하는 단계;
상기 촬영된 피체험자와 체험자의 영상 프레임을 분석하여 스트레스 시나리오를 추출하는 단계;
상기 스트레스 시나리오와 기 저장된 시나리오를 결합하여 가상현실 대리체험 콘텐츠를 생성하는 단계; 및
상기 생성된 가상현실 대리체험 콘텐츠를 상기 대리체험 단말로 전송하는 단계;
를 포함하는 것인, 롤플레잉(Role-Playing) 기반 가상현실을 이용한 대리체험 서비스 제공 방법.
제 1 항에 있어서,
상기 생성된 가상현실 대리체험 콘텐츠를 상기 대리체험 단말로 전송하는 단계 이후에,
상기 대리체험 단말에서 상기 가상현실 대리체험 콘텐츠를 재생하고, 인터렉션 작용을 위한 입력이 수신된 경우, 인공지능 대화 알고리즘과 상기 스트레스 시나리오 및 기 저장된 시나리오에 기반하여 상기 체험자의 캐릭터가 응답을 하도록 제어하는 단계;
를 더 포함하는 것인, 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법.
제 1 항에 있어서,
상기 피체험자는 복수로 구비되고,
상기 복수의 피체험자와 상기 체험자를 촬영함으로써, 복수의 스트레스 시나리오가 추출되고,
상기 체험자는 상기 피체험자를 선택하고, 상기 대리체험 단말은, 상기 선택된 피체험자에 대응하는 가상현실 대리체험 콘텐츠를 출력하는 것인, 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법.
제 1 항에 있어서,
상기 가상현실 대리체험 콘텐츠에서 상기 피체험자와 체험자의 캐릭터는 상기 촬영된 영상으로부터 추출되어 실제 형상와 일치하도록 생성되고,
상기 피체험자와 체험자의 캐릭터는, 상기 촬영된 영상으로부터 추출되어 신경망 학습 알고리즘에 의해 상황별 음성, 어조, 말투, 문장, 및 단어를 학습한 결과를 대화형 에이전트(Agent)를 통하여 대화를 출력하는 것인, 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법.
제 1 항에 있어서,
상기 생성된 가상현실 대리체험 콘텐츠를 상기 대리체험 단말로 전송하는 단계 이후에,
상기 피체험자 및 체험자의 인터렉션 상황이 발생할 때마다 히스토리 로그로 촬영하여 저장하는 단계;
상기 저장된 히스토리 로그로 기 설정된 주기별로 상기 가상현실 대리체험 콘텐츠를 업데이트하는 단계;
상기 업데이트된 가상현실 대리체험 콘텐츠를 상기 대리체험 단말로 전송하는 단계;
를 더 포함하는 것인, 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법.
제 1 항에 있어서,
상기 음성 감지 결과 상기 피체험자 및 상기 체험자의 음성이 감지되는 경우, 상기 대리체험 단말의 카메라를 턴온(Turn on)시켜 상기 피체험자와 체험자가 촬영 객체로 영상 프레임에 포함되도록 촬영제어하는 단계 이전에,
상기 대리체험 단말로부터 상기 체험자의 다른 단말인 연동 단말을 등록받는 단계;
를 더 포함하고,
상기 카메라가 턴온되었지만, 상기 피체험자와 체험자를 상기 영상 프레임에 담을 수 없는 경우, 상기 대리체험 서비스 제공 서버는, 상기 대리체험 단말과 동일한 장소에 위치한 연동 단말에서 촬영을 하도록 제어하는 것인, 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법.
제 1 항에 있어서,
상기 가상현실 대리체험 콘텐츠는, 가상의 배경이 아닌 상기 촬영된 영상으로부터 추출된 현실의 배경과 가상의 캐릭터를 합성한 혼합현실 또는 증강현실 콘텐츠로 더 구현되는 것인, 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법.
제 1 항에 있어서,
상기 생성된 가상현실 대리체험 콘텐츠를 상기 대리체험 단말로 전송하는 단계 이후에,
상기 대리체험 단말에서 상기 가상현실 대리체험 콘텐츠에 포함된 적어도 하나의 조건을 변경하고자 하는 경우, 상기 변경하고자 하는 하나의 조건을 선택받는 단계;
상기 선택된 조건에 대응하는 구성요소를 변경하는 단계;
상기 변경된 구성요소가 업데이트된 가상현실 대리체험 콘텐츠를 상기 대리체험 단말에서 구동되도록 제어하는 단계;
를 더 포함하는 것인, 롤플레잉 기반 가상현실을 이용한 대리체험 서비스 제공 방법.