KR20230083468A - 메타버스 기반 화상 채팅 서비스 시스템 및 방법 - Google Patents

Abstract

본 발명의 일 실시예에 따른 메타버스 기반 화상 채팅 서비스 시스템은, 네트워크를 통하여 화상 채팅에 참여할 복수의 사용자단말이 접속되고, 접속된 사용자단말들 간에 메타버스 기반의 화상 채팅 서비스를 제공하되, 현실과 유사한 3D 입체 가상현실 공간으로 구현된 메타버스 공간 상에서 사용자단말로부터 실시간 촬영된 자신의 화상 영상을 통하여 화상 채팅 서비스를 받도록 제공하는 통합관리서버를 포함하며, 본 발명에 의하면, 다양한 형태의 화상 채팅방을 메타버스로 구현하여 더욱 몰입감을 줄 수 있으며, 사용자가 온라인 비대면으로 안전하게 화상 채팅을 수행할 수 있는 장점이 있다.

Description

메타버스 기반 화상 채팅 서비스 시스템 및 방법{Metaverse-based video chat service system and method}

본 발명은 메타버스 기반 화상 채팅 서비스 시스템 및 방법에 관한 것으로, 더욱 상세하게는 현실에 가까운 입체적인 가상 현실의 메타버스 공간에서 화상 채팅 서비스를 제공할 수 있는 메타버스 기반 화상 채팅 서비스 시스템 및 방법에 관한 것이다.

일반적으로, 정보통신 기술 분야의 비약적인 발전으로 의사소통을 위한 새로운 방법으로서 데이터통신을 이용하는 이메일, 채팅, 채팅 등이 각광리에 이용되고 있다.

특히, 채팅 서비스 제공시스템은 실시간으로 지인을 포함하는 불특정인과 문자, 음성 및 영상으로 상호 의사소통이 이루어질 수 있게 하며, 단순한 대화 뿐만 아니라 일반회의, 국제회의, 전문가상담, 외국인과의 대화 등의 용도로도 활용되고 있다.

또한, 종래의 화상 채팅 서비스 제공시스템은 사용자가 가입을 하여 소정의 ID를 등록하고 다른 사용자들과 1:1 또는 1:다수로 채팅을 수행할 수 있도록 구현되기도 하고, 별도의 가입 절차가 없거나 사용자의 개인정보를 비공개함으로써 익명성이 보장된 상태로 다른 사용자들과 채팅을 수행할 수 있도록 구현되기도 한다.

최근에는, 스마트폰의 보급이 증가함에 따라, 스마트폰을 이용하는 다양한 채팅 서비스도 상용화되고 있다.

그러나, 종래의 채팅 서비스 제공시스템의 경우 사용자들 간의 익명성을 제공함에 따라, 불법업체 홍보, 욕설, 개인비방, 개인정보 노출 및 거짓정보 제공 등의 다양한 부작용이 발생하는 문제점이 있었다.

한편, 최근 각광받고 있는 메타버스(현실을 초월한 가상 세계)를 활용한 비대면 온라인 서비스는 코로나19 재확산으로 비대면 생활이 길어지면서 현실을 가상 세계로 확장하려는 열망과 맞물리면서 더욱 주목을 받고 있다.

메타버스는 초월이라는 뜻의 '메타(Meta)'와 세계를 뜻하는 '유니버스(Universe)'가 합쳐진 단어다.

메타버스를 활용한 구체적인 예를 들면, 대학에서 메타버스로 입시 설명회와 신입생 환영회, 대학 축제를 열었고 최근 도서관도 구축하고 있다.

다른 예로, 기업들은 신입 사원 채용 설명회나 사회공헌 프로그램을 메타버스에서 진행하고 있으며, 정치권에서도 대선 후보들이 이른바 'MZ세대' 표심을 잡기 위해 네이버Z의 메타버스 플랫폼 '제페토'에 유세장을 마련한 경우도 있다.

일반적으로 생각하는 메타버스는 아바타를 활용한 게임 혹은 가상공간에서 이뤄지는 비대면 회의 등이다.

따라서, 전술한 문제를 해결하기 위하여 현실에 가까운 가상 현실의 메타버스 공간에서 아바타를 활용하여 채팅 상대의 공개성을 유지하면서, 온라인 비대면으로 현장감과 몰입감 있는 화상 채팅 서비스를 제공할 수 있는 메타버스 기반 화상 채팅 서비스 시스템 및 방법에 대한 연구가 필요하게 되었다.

대한민국 공개특허 제10-2018-0003911호(2018년01월10일 공개)

본 발명의 목적은 현실에 가까운 가상 현실의 메타버스 공간에서 화상 채팅 서비스를 제공할 수 있으며, 회원가입시 인증과 함께 화상 채팅시 화자 감정 상태에 따라 채팅 서비스 제한할 수 있으며, 채팅 후 채팅 상대 평가에 의해 채팅 신뢰도를 산출하고 이후 조회할 수 있도록 제공하는 메타버스 기반 화상 채팅 서비스 시스템 및 방법을 제공하는 것이다.

본 발명의 일 실시예에 따른 메타버스 기반 화상 채팅 서비스 시스템은, 네트워크를 통하여 화상 채팅에 참여할 복수의 사용자단말이 접속되고, 접속된 사용자단말들 간에 메타버스 기반의 화상 채팅 서비스를 제공하되, 현실과 유사한 3D 입체 가상현실 공간으로 구현된 메타버스 공간 상에서 사용자단말로부터 실시간 촬영된 자신의 화상 영상을 통하여 화상 채팅 서비스를 받도록 제공하는 통합관리서버를 포함한다.

상기 통합관리서버는 상기 네트워크를 통하여 사용자단말이 접속 가능한 통신 프로토콜이 포함되고, 화상 채팅 서비스를 제공하기 위한 정보를 송수신하는 통신부; 화상 채팅 서비스를 수행하기 위한 온라인 상의 가상 공간인 메타버스를 생성하는 메타버스생성부; 상기 메타버스생성부에서 저장된 화상 채팅방에 해당하는 가상공간인 메타버스 데이터를 활용하여 화상 채팅 서비스를 접속된 사용자단말에 제공할 수 있는 채팅관리부; 인공지능 기반 추천 알고리즘을 활용하여 모임 성향이나 종류에 맞는 맞춤형 모임 장소를 추천해주거나, 채팅 상대 매칭시 회원가입시 수집된 사용자 개인정보를 토대로 사용자 성향에 맞는 채팅 상대를 자동 추천해줄 수 있는 추천학습부; 상기 통합관리서버에서 메타버스 기반 화상 채팅 서비스를 제공하기 위해 필요한 데이터를 저장하고 관리하는 데이터베이스를 더 포함한다.

상기 채팅관리부는 채팅 도중 객체 인식 기반 감정 추정 알고리즘을 통하여 화상 채팅을 진행하는 화자의 감정 상태를 인식할 수 있으며, 이를 토대로 인식된 감정 상태가 불쾌한 것으로 일정 시간 이상 또는 일정 횟수 이상 지속되면 경고 및 알람 메시지를 전송하고, 상기 경고 및 알람 메시지 전송이 일정 횟수 이상 지속되면 상대방에게 불쾌한 감정을 유발시킨 화자에게 화면 차단 및 벌점 부여할 수 있는 것을 특징으로 한다.

상기 통합관리서버는 화상 채팅시 가상 배경 상에서 사용자단말로부터 촬영된 화상 영상 합성시 자연스러운 화면 연출을 위해 전송받은 각 사용자의 화상 영상 원본에 배경 부분만 크로마키 적용한 후 화상 채팅에 참여하는 각 사용자단말의 화면에 송신함으로써, 가상배경과 어울리도록 화면을 제공하는 것을 특징으로 한다.

본 발명의 일 실시예에 따른 통합관리서버를 이용한 메타버스 기반 화상 채팅 서비스 방법에 있어서, 다수 사용자가 소지한 사용자단말을 이용하여 통합관리서버에서 제공하는 화상 채팅 서비스를 이용하기 위해 회원가입 후 로그인하여 접속하는 단계; 상기 사용자단말은 로그인 후 메타버스 기반의 화상 채팅 서비스를 이용하기 위하여 가상 또는 자신의 이미지를 활용한 아바타를 선택하고, 채팅 상대 또는 메타버스 화상 채팅방 공간을 선택하거나, 요청시 통합관리서버의 추천 알고리즘을 통하여 채팅 상대 또는 메타버스 화상 채팅방 공간을 자동 추천 받는 단계; 및 상기 사용자단말은 사용자가 원하는 화상 채팅방 선택 또는 자동 추천에 의해 선택된 메타버스 공간의 화상 채팅방에서 화상 채팅 서비스를 수행하는 단계를 포함한다.

상기 통합관리서버는 화상 채팅 도중에는 상술한 객체 인식 기반 감정 추정 알고리즘을 활용하여 감정 인식을 통한 화자별 상태 인식 및 차단 여부 결정하는 단계; 및 화상 채팅 종료 후 화상 채팅 서비스 및 채팅상대(화자)에 대한 평가 결과를 사용자단말은 통합관리서버에 제공하여, 채팅상대에 대한 신뢰도를 산출하고, 추후 화상 채팅 서비스 이용시 다른 사용자에게 채팅상대에 대한 신뢰도를 조회할 수 있도록 하는 단계를 더 포함한다.

상기 통합관리서버는 사용자가 입력한 온라인 모임 채팅 평가 결과를 수집하는 단계; 상기 통합관리서버는 수집된 채팅 평가 결과가 미리 설정된 기준값 이상인지 판단하는 단계; 상기 통합관리서버는 채팅 평가 결과가 상기 기준값 이상인 경우 채팅 주최자의 레벨 상승 후 오프라인 모임 개최 권한을 부여하는 단계; 상기 통합관리서버는 채팅 평가 결과가 기준값 이하인 경우 경고 및 레벨 하락 후 권한을 제한하는 단계; 및 상기 통합관리서버는 레벨정보가 포함된 사용자 정보 데이터를 DB 저장 및 갱신하여 레벨에 따른 차등 권한을 설정 완료하는 단계를 더 포함한다.

상기 사용자단말은 통합관리서버에 접속 후 화상 채팅 서비스에 필요한 개인정보인 사용자정보를 입력하여 회원 가입을 요청하는 단계; 상기 사용자단말은 회원 가입된 사용자정보로 로그인 후 맞춤형 화상 채팅을 위한 관심사, 선호직업, 취미에 대한 정보를 추가로 입력받는 단계; 및 상기 통합관리서버는 회원가입시 입력된 사용자정보의 최종 확인 후 회원가입을 최종 수락하여 회원가입을 완료하는 단계를 더 포함한다.

본 발명의 메타버스 기반 화상 채팅 서비스 시스템 및 방법은 현실에 가까운 가상 현실의 메타버스 공간에서 화상 채팅 서비스를 제공할 수 있어 현실감 있고 몰입감 있는 화상 채팅 서비스를 제공하며, 다양한 형태의 화상 채팅방을 메타버스로 구현하여 더욱 몰입감을 줄 수 있으며, 사용자가 온라인 비대면으로 안전하게 화상 채팅을 수행할 수 있는 장점이 있다.

또한 회원가입시 인증과 함께 화상 채팅시 화자 감정 상태에 따라 자동 차단하거나 벌점을 부여하도록 선택 가능하여 건전한 채팅 문화가 이루어지도록 하는 장점이 있다.

또한, 채팅 후 채팅 상대 평가에 의해 채팅 신뢰도를 산출하고 이후 조회할 수 있도록 제공하여 다음 채팅 상대 선택시 참조할 수 있도록 하여 사용자 편의성을 제공하는 장점이 있다.

또한, 추천 알고리즘을 기반으로 채팅 상대 또는 모임 종류나 성향에 맞는 메타버스 화상 채팅방을 자동 선택하도록 추천해주어 사용자 편의성이 증대되고, 원하는 채팅 상대 또는 모임 화상 채팅방을 선택할 수 있도록 하는 장점이 있다.

또한, 가상 메타버스 배경 상에서 사용자단말의 내장 카메라 또는 웹캠으로부터 촬영된 화상 영상을 합성시 크로마키 적용 후 화상 채팅에 참여하는 각 사용자단말의 화면에 송수신함으로써, 가상 배경과 어울리도록 자연스러운 화면을 연출할 수 있어 메타버스 공간 상의 화상 채팅 사용자의 몰입감을 더욱 높일 수 있는 장점이 있다.

도 1은 본 발명의 일 실시예에 따른 메타버스 기반 화상 채팅 서비스 시스템의 구성을 보인 블록도이다.
도 2는 도 1의 통합관리서버의 내부 구성을 세부적으로 보인 블록도이다.
도 3은 본 발명의 일 실시예에 따른 메타버스 기반 화상 채팅 서비스 방법의 전체 과정을 설명한 순서도이다.
도 4는 도 3의 메타버스 기반 화상 채팅 서비스 방법의 회원가입 인증 과정을 구체적으로 설명한 순서도이다.
도 5는 도 3의 메타버스 기반 화상 채팅 서비스 방법의 서비스 평가 및 사용자 권한 설정 과정을 구체적으로 설명한 순서도이다.
도 6은 본 발명의 일 실시예에 따른 화상 채팅의 모임 장소가 테이블 회의인 경우, 테이블 가상 배경에서 화상 채팅 참여자의 화상 영상을 배치하는 과정을 설명한 순서도이다.
도 7은 화상 채팅시 자연스러운 연출을 위한 크로마키 처리 과정을 예시적으로 도시한 도면이다.

이하에서는 도면을 참조하여 본 발명의 구체적인 실시예를 상세하게 설명한다. 다만, 본 발명의 사상은 제시되는 실시예에 제한되지 아니하고, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서 다른 구성요소를 추가, 변경, 삭제 등을 통하여, 퇴보적인 다른 발명이나 본 발명 사상의 범위 내에 포함되는 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본원 발명 사상 범위 내에 포함된다고 할 것이다. 또한, 각 실시예의 도면에 나타나는 동일한 사상의 범위 내의 기능이 동일한 구성요소는 동일한 참조부호를 사용하여 설명한다.

도 1은 본 발명의 일 실시예에 따른 메타버스 기반 화상 채팅 서비스 시스템의 구성을 보인 블록도이고, 도 2는 도 1의 통합관리서버의 내부 구성을 세부적으로 보인 블록도이다.

본 발명에서 화상 채팅 혹은 채팅이라 함은 개인이나 그룹 간 화상 채팅 또는 화상 통화(채팅과 통화가 동시에 이루어지기도 함)뿐만 아니라, 화상 미팅(Meeting), 화상 회의 등과 같이, 화상 관련 채팅 및 통화 서비스를 모두 포함하는 의미로서, 해석될 수 있다.

본 발명의 메타버스 기반 화상 채팅 서비스 시스템은 도 1을 참조하면, 네트워크(400)를 통하여 화상 채팅에 참여할 복수의 사용자단말(사용자단말 1~N, 100)이 접속되고, 접속된 사용자단말(100)들 간에 메타버스 기반의 화상 채팅 서비스를 제공하는 통합관리서버(300)를 포함한다.

구체적으로 통합관리서버(300)는 현실과 유사한 3D 입체 가상현실 공간이 메타버스 공간 상에서 사용자단말(100)의 내장 카메라(미도시) 또는 사용자단말(100)과 연결된 웹캠(미도시) 등으로부터 실시간 촬영된 자신의 화상 영상을 통하여 화상 채팅 서비스를 받도록 제공하며, 다양한 모임 장소를 구현하여 현실감있는 화상 채팅을 진행하도록 제공할 수 있으며, 인공지능 기반 추천 알고리즘을 활용하여 모임 성향이나 종류에 맞는 맞춤형 모임 장소를 추천해주거나, 채팅 상대 매칭시 회원가입시 수집된 사용자 개인정보를 토대로 사용자 성향에 맞는 채팅 상대를 자동 추천해줄 수도 있다.

또한 통합관리서버(300)는 채팅 도중 객체 인식 기반 감정 추정 알고리즘을 통하여 채팅을 진행하는 화자의 감정 상태를 인식할 수 있으며, 이를 토대로 감정 변화가 불쾌한 상태, 화난 상태 등 채팅하기 어려운 상황으로 판단되면 경고 및 알람 메시지를 전송하고, 기준 시간 이상으로 지속시 화면 차단 및 벌점 부여하는 기능이 포함될 수 있다.

또한 사용자단말(100)에서 직접 채팅상대를 신고할 수도 있으며, 신고시 해당 화면을 캡처하거나 녹화한 데이터를 별도로 저장하여 통합관리서버(300)에 제공함으로써, 통합관리서버(300)에서는 해당 데이터를 확인하여 벌점을 부여하는 등의 조치를 취할 수도 있다.

또한 통합관리서버(300)는 채팅 이후 채팅 서비스 및 채팅 상대(화자)에 대한 사용자 평가를 직접 입력받아 제공받으며, 각 수집된 평가 결과를 토대로 채팅 신뢰도를 측정하고 추후 채팅시 조회할 수 있도록 신뢰도 조회 서비스를 제공할 수도 있다.

상술한 기능들을 구체적으로 수행하기 위한 통합관리서버(300)는 도 2를 참조하면, 통신부(310), 메타버스생성부(320), 채팅관리부(330), 추천학습부(340), 정보보호부(350) 및 데이터베이스(360)를 더 포함할 수 있다.

통신부(310)는 네트워크(400)를 통하여 사용자단말(100)이 접속 가능한 통신 프로토콜이 포함되고, 화상 채팅 서비스를 제공하기 위한 각종 정보(회원가입시 개인정보, 채팅 평가정보 등)를 송수신할 수 있다.

또한, 화상 채팅 서비스는 웹기반뿐만 아니라, 사용자단말(100)의 형태에 따라서 모바일 기반으로 서비스될 수 있으며, 이에 통신부(310)는 사용자단말(100)에 설치 및 실행되는 모바일 기반 메타버스 화상 채팅 앱과 연동하기 위한 API(Application programming interface) 인터페이스가 더 포함될 수 있다.

메타버스생성부(320)는 화상 채팅 서비스를 수행하기 위한 온라인 상의 가상 공간인 메타버스를 생성할 수 있다.

메타버스의 형태는 예컨대 채팅에 적합한 모임 장소에 대한 가상 공간이나 채팅 전 아바타가 위치하는 공간이 될 수 있으며, 메타버스 공간의 경우 다양한 모임 장소에 대해 별개의 메타버스 데이터로 생성하고 데이터베이스(360)에 정한 후 적합한 모임 장소에 맞게 화상 채팅방에 선택적으로 구현할 수 있다.

모임 장소는 예를 들어 회의실, 카페, 레스토랑, 해변가, 미팅룸, 공원, 게임시설, 관광지, 놀이공원 등이 될 수 있으며, 모임 성격이나 모임 종류 등의 필요에 따라 다양한 모임 장소에 대한 메타버스 데이터가 개별적으로 생성될 수 있다.

또한 메타버스 데이터는 3D 입체 가상 공간으로 구현됨에 따라 화상 채팅 서비스시 자연스러운 연출을 위한 가상 배경과 화상 영상의 크로마키 합성, 채팅 목적, 환경에 맞게 다양한 각도나 시점으로 변경하여 채팅서비스를 제공할 수도 있으며, 구체적인 예를 들어 1인칭(정면), 3인칭 시점(사시, 투시 관점)으로 진행하거나 360도 좌우상하 각도 내에서 사용자가 직접 설정 및 전환할 수도 있다.

구체적 예를 들면, 도 7은 화상 채팅시 자연스러운 연출을 위한 크로마키 적용 처리 과정을 보여주는 예시를 도시하고 있으며, 가상 메타버스 배경 상에서 사용자단말(100)의 내장 카메라 또는 웹캠으로부터 촬영된 화상 영상 원본(source)을 합성시 자연스러운 화면 연출을 위해 예를 들어 유니티(Unity) 엔진의 쉐이더(Shader) 기능 등을 활용하여 크로마키 적용 후 화상 채팅에 참여하는 각 사용자단말의 화면에 송수신함으로써, 가상 배경과 어울리도록 자연스러운 화면을 연출할 수 있는 것이다.

즉, 크로마키 합성 기술은 각 사용자의 화상 영상 원본에서 사람 형태(실루엣) 외 주변 배경을 인식하여 화상 영상 내 배경 영역을 그린 스크린(Green screen) 또는 블루 스크린(Blue screen)을 활용하여 투명 처리하면, 합성시 해당 영역을 가상 배경으로 대체할 수 있으므로 도 7과 같은 자연스러운 합성 화면을 연출할 수 있게 한다.

실제 현장에서와 같은 화상 회의 화면을 연출하기 위해서 1인칭(정면), 3인칭 시점(사시, 투시 관점)으로 진행하거나 360도 좌우상하 각도 각도 조절 기능에 의해 연출 가능하다.

또한, 화상 채팅시 모임 장소가 테이블에 착석해서 이루어지는 경우, 연출되는 채팅 서비스 화면 상에서 가상 배경 테이블에서 아바타가 착석시 이용자가 실제 테이블에 앉아 있는 모습 연출이 가능하도록 크로마키 적용된 화상 영상에 추가로 가상 테이블과 화상화면이 겹치는 부분에서 물체를 인식하여 물체와 맞닿은 부분만큼 크로마키 기능을 적용하여 투명 처리함으로써, 자연스러운 착석 상황을 연출할 수 있다.

또한, 테이블 상에서의 화상 채팅시 앉은 위치에 따른 비스듬히 앉기 기능을 구현할 수 있으며, 테이블에 착석시 측면 착석 상황인 경우 측면에 배치된 각도에 따라 화상 영상의 기울어짐을 적용하여 자연스러운 착석 상황을 연출할 수도 있다.

또한, 도 6은 본 발명의 일 실시예에 따른 화상 채팅의 모임 장소가 테이블 회의인 경우, 테이블 가상 배경에서 화상 채팅 참여자의 화상 영상을 배치하는 과정을 설명한 순서도이다.

구체적으로 통합관리서버(300)는 테이블 회의 참여자들의 화상 영상(사진 화면)을 수집할 수 있다(S400). 이때 사용자단말(100)과 연결된 웹캠을 통하여 실시간 복수의 화상 영상 또는 동영상 형태로 수집될 수도 있다.

또한 통합관리서버(300)는 화상 영상 상의 얼굴 추출후 균형적인 평균 사이즈에 맞게 조절할 수 있다(S402).

여기서, 통합관리서버(300)는 참여자의 얼굴 사이즈 뿐만 아니라 상체의 사이즈도 함께 조절할 수 있다. 예를 들어, 복수의 참석자의 영상에서 얼굴을 포함하는 상체 영상을 획득하고, 이들의 크기를 산출 후 평균 사이즈를 산출하며, 이후 평균 사이즈 보다 작거나 큰 사이즈의 참여자에 대해 해당 얼굴과 상체의 크기를 평균 크기로 조절함으로써 참여자들에게 동일한 공간에 있는 것 같은 현실적인 느낌을 제공할 수 있다.

다른 실시예로서, 참여자들의 화상 영상 상의 얼굴 사이즈 평균을 산출 후 이를 기준으로 얼굴 사이즈의 크기를 조절한 후 이 조절 비율에 맞게 상체 사이즈를 조절할 수도 있다.

또한, 얼굴 포함한 화상 영상(사진)을 가상 배경인 테이블에 배치한다(S404).

테이블 배치시 원근감이 느껴지도록 사이즈 조절할 수 있으며, 화상 채팅방에서 자연스러운 연출을 위해 테이블 사이즈를 원하는 형태로 자동 조절할 수도 있고, 나아가 테이블에 착석되는 화면으로 전환시(사용자의 착석 버튼 인터페이스 작용에 의해 착석 화면으로 전환됨) 측면 각도에 따라 화면 기울어짐을 조절하여 가상 배경과 어울리도록 자연스러운 연출에 의해 채팅 화면을 사용자에게 제공할 수 있다(S406, S408).

여기서, 통합관리서버(300)는 정면을 바라보는 일자형 배열의 경우 원근감을 위해서 참여자의 착석 각도를 조절할 수 있는데, 각도 조절에 따른 테이블과 화상 화면 상의 빈 공간이 발생될 수 있다. 이 경우 통합관리서버(300)는 참여자와 테이블 간 빈 공간을 참여자 화상화면과 가상 테이블 오브젝트 이미지 사이의 빈 공간을 커버할 수 있을 정도로 테이블의 사이즈를 조절할 수 있다.

나아가 화상 채팅 전 메타버스 공간 상에 존재하는 가상 아바타 대신 자신의 화상 영상의 얼굴 데이터가 합성된 아바타를 이용하여 화상 채팅 서비스를 이용할 수도 있으며, 이와 같이 화상 영상의 얼굴 데이터가 합성된 아바타 등으로 화상 채팅 서비스를 제공하더라도, 카메라 성능의 한계나 화면 왜곡 등으로 인하여 메타버스 공간 내 구현된 사용자의 화상 영상이 선명하지 않는 경우의 이미지 복원에 활용하기 위한 추가 신경망 학습 알고리즘을 활용할 수도 있다.

구체적으로 생성적 적대 신경망(Generative Adversarial Networks)을 활용함으로써, 새로운 이미지를 생성 또는 재생성할 수 있어 손상된 이미지 복원에 활용될 수 있다.

생성적 적대 신경망은 기존의 딥러닝 네트워크와는 달리 여러 개의 심층 신경망으로 이루어진 구조로, 고해상도 이미지를 생성하기 위해 기존 심층 신경망 모델보다 수십 배 많은 연산량을 요구하지만, 이미지 복원에 탁월한 성능을 제공할 수 있다.

또한 생성적 적대 신경망은 생성기(Generator)와 판별기(Discriminator)로 두 네트워크를 적대적(Adversarial)으로 학습시키는 비지도 학습 기반 생성모델로서, 생성기에는 입력 데이터가 입력되어 실제 이미지와 유사한 가짜 이미지를 만들어내도록 학습될 수 있다. 입력 데이터는 노이즈 값이 입력될 수 있다. 노이즈 값은 어떤 확률 분포를 따를 수 있다. 예컨대, 제로 평균 가우시안(Zero-Mean Gaussian)으로 생성된 데이터일 수 있다.

판별기는 실제 이미지와 생성기가 생성한 가짜 이미지를 판별하도록 학습할 수 있다. 보다 구체적으로는, 실제 이미지를 입력하면 높은 확률이 나오도록, 가짜 이미지를 입력하면 확률이 낮아지도록 학습할 수 있다. 즉, 판별기는 실제 이미지와 가짜 이미지를 잘 판별하도록 점진적으로 학습할 수 있다.

또한, 생성적 적대 신경망(GAN) 알고리즘을 활용하여 가짜 이미지를 생성하여, 가상 공간인 메타버스 세계에 자신의 실물 사진 대신에 자신의 아바타를 구현할 수도 있으며, 학습에 의해 가짜 이미지가 진짜 이미지에 가깝게 만들어낼 수도 있다.

더 나아가 GAN 중에서도 딥컨벌루션 생성적 적대 신경망에 해당하는 DC-GAN을 활용하여 딥페이크 아바타 형태로도 구현하고, 딥페이크의 형태는 자신의 얼굴을 닮은 형태가 될 수 있으며, 초상권 문제와 관련하여서는 당사자의 협의를 전제로 하여 딥페이크가 허용되는 선에서 이루어지도록 할 수 있다.

DC-GAN은 두 개의 생성기와 두 개의 판별기를 구성한 Cycle-GAN을 구성할 필요가 있으며, 훈련 기간 동안 두 개의 서로 다른 수많은 이미지 세트가 입력으로 전송되며, 각각 두 개의 DCGAN 즉 이 두 도메인을 X 및 Y로 나타낸다.

DCGAN 중 하나의 경우 입력 이미지 x는 도메인 X의 구성원 및 노이즈 신호는 도메인 Y의 이미지와 비슷해야 하고, 기존 도메인과 다른 도메인 X의 GAN의 생성기를 G로 표시하고 G에 의해 생성된 이미지를 G (x)로 표시한다.

도메인 Y는 이 GAN의 대상 도메인이고, 마찬가지로 다른 GAN의 경우 입력 이미지는 도메인 Y에 속하는 y이고, 생성기 (F로 표시)도 이미지 (표시 이미지와 구분하기 어려운 F(y)) 따라서 X는 이 GAN의 대상 도메인이 된다.

생성기 G가 있는 GAN의 판별기는 다음과 같이 표시될 수 있다.

목적은 가짜 이미지 G(x)를 도메인 Y의 실제 이미지와 구별하는 것이므로 DY로 다른 GAN은 DX로 표시될 수 있다.

또한, 주기 일관성 손실(cycle consistency loss, Lcyc)을 도입하여 한 도메인에서 다른 도메인으로 이미지를 변환하면 다시 이 도메인으로 복귀시, 마지막으로 이미지가 있던 곳으로 복귀한다. 이것은 입력과 출력을 매핑하는 것이 합리적임을 의미하며, 이때의 주기 일관성 손실은 다음의 두 부분으로 구성된다.

하나는 F(G(x)) = x (G 매핑을 통해 입력 이미지 x를 도메인 X에서 도메인 Y로, 그리고 매핑을 통해 다시 도메인 X로 변환)를 통해 도메인 X로 돌아가는 전방향 주기 일관성 손실(forward cycle-consistency loss)이고, 다른 하나는 G(F(y)) = y에 해당하는 역방향 주기 일관성 손실(backward cycle-consistency loss)이라고 한다.

채팅관리부(330)는 메타버스생성부(320)에서 저장된 화상 채팅방에 해당하는 가상공간인 메타버스 데이터를 활용하여 화상 채팅 서비스를 접속된 사용자단말(100)에 제공할 수 있으며, 화상 채팅방의 인원수는 방장이 설정할 수 있으며, 1 대 1, 1 대 다수 화상 미팅 등이 자유롭게 진행될 수 있으며, 미팅 인원수에 따라 제공될 메타버스 공간도 미팅 성격에 맞게 방장이 선택하여 변할 수 있다.

화상 채팅 서비스를 위한 다양한 기능 및 사용자 인터페이스를 포함할 수 있으며, 특히 화상채팅 도중 객체 인식 기반 감정 추정 알고리즘을 통하여 채팅을 진행하는 화자의 감정 상태를 인식할 수 있으며, 이를 토대로 감정 변화가 불쾌한 상태, 화난 상태 등 상대방을 불편하여 지속적인 화상 채팅이 어려운 상황에 해당할 수 있는 감정이 지속되는 상황이라 판단되면 경고 및 알람 메시지를 전송하고, 기준 시간 이상으로 지속시 이용자가 화면 차단 및 벌점 부여하도록 선택할 수 있는 기능이 포함될 수 있다.

구체적으로 화상 채팅 이용자의 얼굴 표정 변화를 알 수 있도록 화상 영상을 제공받아 화상 영상의 얼굴 이미지로부터 실시간 감정 상태를 판단할 수 있으며, 이를 위한 별도의 객체 인식 기반 감정 추정 알고리즘이 활용될 수 있다.

이때 객체 인식 기반 감정 추정 알고리즘은 우선적으로 화상채팅 상대 이미지가 감정 상태에 따라 실시간 내지 주기적으로 변화되는 것을 감지하기 위해 실시간 화상 영상 형태로 제공됨을 전제하며, 이와 같은 채팅 상대의 화상 영상(적어도 감정 상태를 알 수 있도록 전신 중 얼굴 이미지 포함)을 통하여 객체 인식 기반 감정 추정 알고리즘으로 감정 상태를 주기적으로 판단할 수 있다.

또한 여기서 감정 상태는 크게 불쾌한 상태(공포, 분노, 두려움, 불만, 경직, 슬픔, 무기력, 절망 등)와 유쾌한 상태로 구분되어, 채팅 지속이 어려운 상황(불쾌한 상태에 해당하는 경우 경고 및 알람 메시지를 전송하고, 기준 시간 이상으로 지속시 이용자가 화면 차단 및 벌점 부여하도록 선택할 수 있는 상황)으로 판단할 수 있는 것이다.

여기서 화자의 감정이 상기 불쾌한 상태 중 어느 하나로 일정 시간 이상 지속되거나 일정 횟수 이상 반복되는 경우 현재 화자의 상태가 불쾌한 상태로 판단될 수 있으며, 이를 알리는 경고 및 알람 메시지가 참여자(불쾌한 상태의 감정을 느낀 참여자, 상대방에게 불쾌한 상태를 유발한 참여자, 해당 화상 대화(회의)에 참석한 모든 참여자)에게 전송될 수 있다.

이후 경고 및 알람 메시지 전송이 일정 횟수 이상 지속되면 상대방에게 불쾌한 감정을 유발시킨 화자에게는 해당 화상 대화(회의)의 화면 차단 및 패널티(벌점)가 부여될 수 있다. 이러한 과정은 불쾌한 상태의 감정을 느낀 참여자의 동의, 즉 특정 상대방이 불쾌한 감정을 유발하고 있는지, 해당 상대방에게 일정 패널티를 부여하기를 원하는지 등의 확인이 이루어진 경우에 수행될 수 있다.

만약 채팅 상대 이미지가 없이 가상 아바타로만 구현되는 경우에는 채팅 시작을 위하여 별도의 자신의 화상 영상을 통합관리서버(300)로 전송하도록 하여, 통합관리서버(300)에서 주기적으로 화상 영상을 모니터링하여 감정 상태를 파악하도록 할 수도 있으며, 화상 영상을 별도로 전송받지 않거나 못하는 경우에는 채팅 텍스트 정보를 토대로 미리 설정된 불쾌한 단어, 문장을 판단하여 감정 상태를 파악할 수도 있으며, 상술한 화상 영상이 포함된 아바타에 대해서 텍스트 정보와 병행하여 보다 정확하게 감정상태를 파악하여 채팅하기 어려운 상태로 판단할 수도 있다.

화상 아바타 내 객체 인식은 객체 인식 알고리즘을 활용할 수 있으며, 예컨대 아바타 얼굴 화상으로부터 객체 인식 알고리즘인 CNN 알고리즘 등을 적용하여 객체를 인식할 수 있다.

CNN 알고리즘은 합성곱 연산을 통하여 객체를 인식시키는 신경망 알고리즘으로, 본 발명에서는 특히 객체 위치를 검출하는데 탁월하도록 딥러닝 회귀 방법을 사용한 R-CNN(Region-based Convolutional Neural Networks) 알고리즘을 이용하여 객체를 인식할 수 있다.

R-CNN 알고리즘은 먼저 후보영역을 생성하고 이를 기반으로 CNN을 학습시켜 영상 내 객체의 위치를 찾아내는 신경망 알고리즘으로, 객체인식과정은 입력된 영상에서 선택적 탐색을 이용하여 후보 영역 생성하는 과정과, 생성된 각 후보 영역들을 동일한 크기로 변환하고, CNN을 통해 특징을 추출하는 과정과, 추출된 특징을 이용하여 후보 영역 내의 객체를 SVM(Suppor Vector Machine)을 이용하여 분류하는 과정을 포함한다. 후보 영역의 위치는 정확하지 않기 때문에 최종적으로 회귀 학습을 통해 객체 영역 박스 위치를 정확히 보정할 수 있다.

또한 다른 신경망 알고리즘으로 Fast R-CNN, R-FCN, YOLO(You only Look Once), 텐서플로(TensorFlow), SSD(Single Shot MultiBox Detector) 등이 있는데, 상술한 신경망 알고리즘을 추가로 적용하거나 R-CNN을 대체하여 적용할 수 있으며, 상술한 신경망 알고리즘을 적용하여 다중 객체를 동시에 인식시켜 객체 인식 속도를 향상시킬 수도 있다.

나아가, 객체 인식율을 높이기 위해 에이다부스트(AdaBoost), 서포트 벡터 머신(Support Vector Machine: SVM), 선형판별식 해석(Linear Disciminant Analysis: LDA), 주성분 분석(Principal Component Analusis: PCA) 등의 알고리즘이 추가로 이용될 수도 있으며, 이러한 알고리즘 기법들은 모두 외형에 기반하여 인식대상 영역을 식별하는 것으로, 트레이닝에 사용될 영상 이미지들의 집합에 의해 트레이닝된 모델을 이용해서 객체 주위의 영역을 검출하며, 여러 주변의 제약 조건들이 트레이닝을 통해 극복되어지기 때문에 결과적으로 객체 인식 정확도와 신뢰도를 높일 수 있다.

또한 채팅 이후 채팅 서비스 및 채팅 상대(화자)에 대한 사용자 평가를 직접 입력받아 제공받으며, 각 수집된 평가 결과를 토대로 채팅 신뢰도를 측정하고 추후 채팅시 조회할 수 있도록 신뢰도 조회 서비스를 제공할 수도 있으며, 화상 채팅 종료 후 평가를 측정하기 위해 사용자단말(100)에 평가 화면을 제공할 수도 있다.

추천학습부(340)는 인공지능 기반 추천 알고리즘을 활용하여 모임 성향이나 종류에 맞는 맞춤형 모임 장소를 추천해주거나, 채팅 상대 매칭시 회원가입시 수집된 사용자 개인정보를 토대로 사용자 성향에 맞는 채팅 상대를 자동 추천해줄 수 있는 기능이 포함될 수 있다.

나아가 통합관리서버(300)는 최초에 회원가입시 사용자 정보를 수집한 후에 해당 사용자 정보를 토대로 추천할 정보가 존재하지 않는 경우, 추천 알고리즘의 콜드 스타트(Cold start)를 이용하여 해당 사용자와 유사한 조건의 사용자 정보를 검색하여 가장 유사한 조건의 사용자에게 제공된 모임 장소나 채팅 상대를 추천하도록 제공할 수 있다.

이때 추천되는 조건은 사용자 정보를 기초로 수행되며, 이를 위해 수집되는 사용자 정보는 이름, 연령, 성별, 성격, 취미, 관심사 등이 포함될 수 있다. 여기서 가상 유사한 조건은 예를 들어 사용자 정보에 포함된 정보들의 일치되거나 유사한 정보의 갯수가 가장 많은 조건이 될 수 있다.

또한, 유사 조건에 적용되는 추천 알고리즘 방식은 유사도 분석을 이용한 인공지능 알고리즘을 활용할 수 있다.

나아가 유사도 계산 방식 이외에 상호 작용 행렬의 차원을 줄이고 k 개의 잠재 구성 요소가 있는 두 개 이상의 작은 행렬로 근사하며, 해당 행과 열을 곱하면 사용자 별 항목의 등급을 예측할 수 있는 행렬인수분해(matrix factorization) 방법을 활용할 수도 있다.

또한 자주 소비되는 항목이 그래프의 가장자리와 연결되는 연관 규칙(association rule)이나, 마이닝 규칙(mining rule)을 활용하여 가능한 빈번 항목 집합의 상태 공간을 탐구하고 빈번하지 않은 검색 공간의 분기를 제거하며, 자주 사용되는 항목 집합은 규칙을 생성하는 데 사용되며, 이러한 규칙은 추천(권장) 사항을 생성할 수도 있다.

예를 들면, 통합관리서버(300)에서 사용자단말(100)로 추천되는 채팅 서비스(화상 채팅방 공간 맞춤형 자동 선택이나 채팅 상대 자동 선택)를 제공하기 위해 사용자 정보를 최초에 수집하고, 수집된 사용자 정보에 기반하여 가장 연령대에 적합한 채팅 서비스를 추천해주거나 사용자의 사용자정보에 포함된 연령, 성별, 취미, 관심사 등을 고려하여 연관 규칙을 생성하고, 이에 부합되는 채팅 서비스를 추천해줄 수도 있다.

나아가 추천학습부(340)는 추천 알고리즘의 사용자 정보에 대한 수집 데이터가 추가되고 많아질수록 학습을 통하여 빅데이터를 기반으로 더욱 더 세밀하고 정확한 사용자 맞춤형 추천 서비스를 제공해줄 수 있다.

정보보호부(350)는 다수의 블록체인서버와 연계하여 블록체인망을 구축하고, 기구축된 내부의 블록체인 네트워크를 통해 공개키 및 개인키를 생성하여 해쉬값으로 변환하여 분산 저장하고, 분산 저장된 공개키와 회원가입시 제공받은 사용자의 개인정보인 사용자정보를 기반으로 사용자 인증을 수행할 수 있다.

더 나아가 정보보호부(350)는 다수의 사용자단말(100)에서 공개키와 함께 개인 고유의 사용자 정보를 전송받아 사용자 정보에 대한 해쉬값을 포함하는 사용자 인증서를 각각 생성할 수 있으며, 각 사용자 인증서에 대한 저장 방식은 머클 트리 구조에 의해 이루어질 수 있다.

가령, 각각의 사용자 인증서(거래)를 최하위 자식 노드에 해쉬값을 포함하여 저장하고, 머클 트리의 최상위 레벨인 머클 루트(부모 노드)에는 최하위 자식 노드와 이어지는 경로 상에 있는 중간 노드에 해시값을 공유하도록 해싱(hashing)하여 저장하게 된다.

이를 통해 저장된 사용자 인증서의 진위 여부를 판단할 때, 개인의 사용자단말(100)에 복사된 사용자 인증서와 데이터베이스(360)의 사용자 인증서를 비교하게 되고, 머클 트리의 경로를 따라 해싱된 해쉬값만을 비교하여 이루어지게 된다.

이때, 머클 트리의 경로 상에서 비교 연산이 이루어짐에 따라 모든 노드의 블록에 대한 비교 연산을 수행하지 않아도 되기 때문에, 비교적 쉬운 연산량으로 진위 여부를 판단할 수 있으며, 거래의 위변조도 쉽고 빠르게 찾아낼 수 있으며, 용량이 작은 휴대 단말 형태의 사용자단말(100)에서도 쉽게 거래를 검증할 수 있게 된다.

데이터베이스(360)는 통합관리서버(300)에서 메타버스 기반 화상 채팅 서비스를 제공하기 위해 필요한 데이터를 저장하고 관리할 수 있으며, 이를테면 회원가입시 제공된 사용자정보, 화상 채팅방으로 활용될 복수의 메타버스 데이터가 기본적으로 포함될 수 있으며, 그 외에도 화상 채팅 서비스에 필요한 제어정보, 이력정보, 이벤트 정보 등이 포함될 수 있다.

도 3은 본 발명의 일 실시예에 따른 메타버스 기반 화상 채팅 서비스 방법의 전체 과정을 설명한 순서도이다.

먼저, 본 발명의 메타버스 플랫폼에 다수 사용자가 소지한 사용자단말(100)을 이용하여 통합관리서버(300)에서 제공하는 가상 공간에서의 화상 채팅을 위한 메타버스 플랫폼 서비스를 이용하기 위해 회원가입 후 로그인하여 접속한다(S100).

다음, 메타버스 플랫폼 서비스를 이용하기 위하여 가상 또는 자신의 이미지를 활용한 아바타를 선택하고, 원하는 채팅 상대 또는 화상 채팅방을 선택하거나, 상술한 추천 알고리즘을 통하여 자동 추천을 받을 수 있다(S102).

이후 사용자가 원하는 화상 채팅방 선택 또는 자동 추천에 의해 선택된 3D 메타버스 공간의 화상 채팅방에서 메타버스 플랫폼 기반의 화상 채팅 서비스를 수행한다(S104).

또한, 화상 채팅 도중에는 상술한 객체 인식 기반 감정 추정 알고리즘을 활용하여 감정 인식을 통한 화자별 상태 인식 및 차단 여부 결정한다(S106).

마지막으로, 화상 채팅 종료 후 화상 채팅 서비스 및 채팅상대(화자)에 대한 평가 결과를 사용자단말(100)은 통합관리서버(300)에 제공하여, 채팅상대에 대한 신뢰도를 산출하고, 추후 화상 채팅 서비스 이용시 다른 사용자에게 채팅상대에 대한 신뢰도를 조회하여 신뢰도가 높은 상대를 선택하여 화상 채팅을 수행할 수 있도록 도움을 줄 수 있다(S108).

도 4는 도 3의 메타버스 기반 화상 채팅 서비스 방법의 회원가입 인증 과정을 구체적으로 설명한 순서도이다.

사용자단말(100)은 통합관리서버(300)에 접속 후 화상 채팅 서비스에 필요한 개인정보인 사용자정보를 입력하여 회원 가입을 요청한다(S200).

회원 가입 요청시 통합관리서버(300)는 휴대폰 번호를 요청하여 해당 휴대폰 번호로 통신사서버(미도시)와 연동하여 본인 인증을 수행하고, 본인 인증 완료시 회원가입을 수락할 수 있다(S202).

이후 사용자단말(100)은 회원 가입된 사용자정보로 로그인 후 이용자(사용자) 맞춤형 메타버스 모임 추천을 위한 관심사, 선호직업, 취미 등을 추가로 입력받을 수도 있다(S204).

마지막으로 통합관리서버(300)는 회원가입시 입력된 사용자정보의 최종 확인 후 회원가입을 최종 수락하여 회원가입을 완료할 수 있다(S206).

도 5는 도 3의 메타버스 기반 화상 채팅 서비스 방법의 서비스 평가 및 사용자 권한 설정 과정을 구체적으로 설명한 순서도이다.

먼저 통합관리서버(300)는 사용자가 입력한 온라인 모임 채팅 평가 결과 수집할 수 있다(S300).

통합관리서버(300)는 수집된 채팅 평가 결과가 미리 설정된 기준값 이상인지 판단할 수 있다(S302).

여기서 기준값은 채팅 평가 결과를 점수화한 기준값에 해당하는 점수가 될 수 있으며, 통합관리서버(300)는 모든 사용자의 평가 결과를 합산하여 기준값 이상의 점수(또는 별점) 이상인 경우에 신뢰할 수 있다고 판단하여 해당 화상 채팅방장인 주최자에게 주어진 레벨을 상승시켜 권한을 추가로 부여해줄 수 있다.

즉, 모든 채팅 서비스를 이용하는 사용자들은 기본적으로 레벨을 가지고 있으며, 초기 레벨 1로 시작하여 레벨을 상승시킬 수 있으며, 레벨 정도에 따라 차별적인 권한을 부여할 수 있다.

구체적으로 채팅 평가 결과가 상기 기준값 이상인 경우 채팅 주최자의 레벨 상승 후 오프라인 모임 개최 권한을 부여할 수 있다(S304).

또한 채팅 평가 결과가 기준값 이하인 경우 경고 및 레벨 하락 후 권한을 제한할 수도 있다(S306).

또한 채팅 평가는 화상 채팅 모임에 대한 평가와 대화파트너인 채팅상대에 대한 평가로 구분해서 진행될 수 있으며, 구체적 내용은 모임 소개와 동일성 여부, 주최자 전문성, 모임 분위기, 오프라임 모임 참여 의사, 모임 만족도, 채팅상태 프로필 소개 동일성 여부, 대화 매너, 매칭 만족도 등에 대해 포함될 수 있다.

통합관리서버(300)는 레벨정보가 포함된 사용자 정보 데이터를 DB 저장 및 갱신하여 레벨에 따른 차등 권한을 설정 완료할 수 있다(S308).

본 명세서에서 ‘단말’은 휴대성 및 이동성이 보장된 무선 통신 시스템일 수 있으며, 예를 들어 스마트폰, 태블릿 PC 또는 노트북 등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 시스템일 수 있다. 또한, ‘단말’은 네트워크를 통해 다른 단말 또는 서버 등에 접속할 수 있는 PC 등의 유선 통신 시스템인 것도 가능하다. 또한, 네트워크는 단말들 및 서버들과 같은 각각의 노드 상호 간에 정보 교환이 가능한 연결 구조를 의미하는 것으로, 근거리 통신망(LAN: Local Area Network), 광역 통신망(WAN: Wide Area Network), 인터넷 (WWW: World Wide Web), 유무선 데이터 통신망, 전화망, 유무선 텔레비전 통신망 등을 포함한다.

무선 데이터 통신망의 일례에는 3G, 4G, 5G, 3GPP(3rd Generation Partnership Project), LTE(Long Term Evolution), WIMAX(World Interoperability for Microwave Access), 와이파이(Wi-Fi), 블루투스 통신, 적외선 통신, 초음파 통신, 가시광 통신(VLC: Visible Light Communication), 라이파이(LiFi) 등이 포함되나 이에 한정되지는 않는다.

100 : 사용자단말
300 : 통합관리서버
310 : 통신부
320 : 메타버스생성부
330 : 채팅관리부
340 : 추천학습부
350 : 정보보호부
360 : 데이터베이스
400 : 네트워크

Claims (8)

1. 네트워크를 통하여 화상 채팅에 참여할 복수의 사용자단말이 접속되고, 접속된 사용자단말들 간에 메타버스 기반의 화상 채팅 서비스를 제공하되,
   현실과 유사한 3D 입체 가상현실 공간으로 구현된 메타버스 공간 상에서 사용자단말로부터 실시간 촬영된 자신의 화상 영상을 통하여 화상 채팅 서비스를 받도록 제공하는 통합관리서버를 포함하는 메타버스 기반 화상 채팅 서비스 시스템.
2. 청구항 1에 있어서,
   상기 통합관리서버는
   상기 네트워크를 통하여 사용자단말이 접속 가능한 통신 프로토콜이 포함되고, 화상 채팅 서비스를 제공하기 위한 정보를 송수신하는 통신부;
   화상 채팅 서비스를 수행하기 위한 온라인 상의 가상 공간인 메타버스를 생성하는 메타버스생성부;
   상기 메타버스생성부에서 저장된 화상 채팅방에 해당하는 가상공간인 메타버스 데이터를 활용하여 화상 채팅 서비스를 접속된 사용자단말에 제공할 수 있는 채팅관리부;
   인공지능 기반 추천 알고리즘을 활용하여 모임 성향이나 종류에 맞는 맞춤형 모임 장소를 추천해주거나, 채팅 상대 매칭시 회원가입시 수집된 사용자 개인정보를 토대로 사용자 관심사와 성향에 맞는 채팅 상대를 자동 추천해줄 수 있는 추천학습부;
   상기 통합관리서버에서 메타버스 기반 화상 채팅 서비스를 제공하기 위해 필요한 데이터를 저장하고 관리하는 데이터베이스
   를 더 포함하는 메타버스 기반 화상 채팅 서비스 시스템.
3. 청구항 2에 있어서,
   상기 채팅관리부는 채팅 도중 객체 인식 기반 감정 추정 알고리즘을 통하여 화상 채팅을 진행하는 화자의 감정 상태를 인식할 수 있으며, 이를 토대로 인식된 감정 상태가 불쾌한 것으로 일정 시간 이상 또는 일정 횟수 이상 지속되면 경고 및 알람 메시지를 전송하고, 상기 경고 및 알람 메시지 전송이 일정 횟수 이상 지속되면 상대방에게 불쾌한 감정을 유발시킨 화자에게 화면 차단 및 벌점 부여할 수 있는 것을 특징으로 하는 메타버스 기반 화상 채팅 서비스 시스템.
4. 청구항 2에 있어서,
   상기 통합관리서버는
   화상 채팅시 가상 배경 상에서 사용자단말로부터 촬영된 화상 영상 합성시 자연스러운 화면 연출을 위해 전송받은 각 사용자의 화상 영상 원본에 배경 부분만 크로마키 적용한 후 화상 채팅에 참여하는 각 사용자단말의 화면에 송신함으로써, 가상배경과 어울리도록 화면을 제공하는 것을 특징으로 하는 메타버스 기반 화상 채팅 서비스 시스템.
5. 청구항 1 내지 청구항 4 중 어느 한 항의 통합관리서버를 이용한 메타버스 기반 화상 채팅 서비스 방법에 있어서,
   다수 사용자가 소지한 사용자단말을 이용하여 통합관리서버에서 제공하는 화상 채팅 서비스를 이용하기 위해 회원가입 후 로그인하여 접속하는 단계;
   상기 사용자단말은 로그인 후 메타버스 기반의 화상 채팅 서비스를 이용하기 위하여 가상 또는 자신의 이미지를 활용한 아바타를 선택하고, 채팅 상대 또는 메타버스 화상 채팅방 공간을 선택하거나, 요청시 통합관리서버의 추천 알고리즘을 통하여 채팅 상대 또는 메타버스 화상 채팅방 공간을 자동 추천 받는 단계; 및
   상기 사용자단말은 사용자가 원하는 화상 채팅방 선택 또는 자동 추천에 의해 선택된 메타버스 공간의 화상 채팅방에서 화상 채팅 서비스를 수행하는 단계
   를 포함하는 메타버스 기반 화상 채팅 서비스 방법.
6. 청구항 5에 있어서,
   상기 통합관리서버는 화상 채팅 도중에는 상술한 객체 인식 기반 감정 추정 알고리즘을 활용하여 감정 인식을 통한 화자별 상태 인식 및 차단 여부 결정하는 단계; 및
   화상 채팅 종료 후 화상 채팅 서비스 및 채팅상대(화자)에 대한 평가 결과를 사용자단말은 통합관리서버에 제공하여, 채팅상대에 대한 신뢰도를 산출하고, 추후 화상 채팅 서비스 이용시 다른 사용자에게 채팅상대에 대한 신뢰도를 조회할 수 있도록 하는 단계
   를 더 포함하는 메타버스 기반 화상 채팅 서비스 방법.
7. 청구항 6에 있어서,
   상기 통합관리서버는 사용자가 입력한 온라인 모임 채팅 평가 결과를 수집하는 단계;
   상기 통합관리서버는 수집된 채팅 평가 결과가 미리 설정된 기준값 이상인지 판단하는 단계;
   상기 통합관리서버는 채팅 평가 결과가 상기 기준값 이상인 경우 채팅 주최자의 레벨 상승 후 오프라인 모임 개최 권한을 부여하는 단계;
   상기 통합관리서버는 채팅 평가 결과가 기준값 이하인 경우 경고 및 레벨 하락 후 권한을 제한하는 단계; 및
   상기 통합관리서버는 레벨정보가 포함된 사용자 정보 데이터를 DB 저장 및 갱신하여 레벨에 따른 차등 권한을 설정 완료하는 단계
   를 더 포함하는 메타버스 기반 화상 채팅 서비스 방법.
8. 청구항 5에 있어서,
   상기 사용자단말은 통합관리서버에 접속 후 화상 채팅 서비스에 필요한 개인정보인 사용자정보를 입력하여 회원 가입을 요청하는 단계;
   상기 사용자단말은 회원 가입된 사용자정보로 로그인 후 맞춤형 화상 채팅을 위한 관심사, 선호직업, 취미에 대한 정보를 추가로 입력받는 단계; 및
   상기 통합관리서버는 회원가입시 입력된 사용자정보의 최종 확인 후 회원가입을 최종 수락하여 회원가입을 완료하는 단계
   를 더 포함하는 메타버스 기반 화상 채팅 서비스 방법.

Images