KR102419932B1 - 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템 - Google Patents

메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템 Download PDF

Info

Publication number
KR102419932B1
KR102419932B1 KR1020210189945A KR20210189945A KR102419932B1 KR 102419932 B1 KR102419932 B1 KR 102419932B1 KR 1020210189945 A KR1020210189945 A KR 1020210189945A KR 20210189945 A KR20210189945 A KR 20210189945A KR 102419932 B1 KR102419932 B1 KR 102419932B1
Authority
KR
South Korea
Prior art keywords
user
metaverse
office environment
display control
image
Prior art date
Application number
KR1020210189945A
Other languages
English (en)
Inventor
김대욱
김대호
제성철
이도행
최용재
Original Assignee
주식회사 직방
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 직방 filed Critical 주식회사 직방
Priority to KR1020210189945A priority Critical patent/KR102419932B1/ko
Application granted granted Critical
Publication of KR102419932B1 publication Critical patent/KR102419932B1/ko
Priority to PCT/KR2022/018848 priority patent/WO2023128309A1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/20—3D [Three Dimensional] animation
    • G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Tourism & Hospitality (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Marketing (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Architecture (AREA)
  • Operations Research (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법에 관한 것으로, 보다 상세하게는 메타버스 기반으로 3차원 가상공간에 오피스환경을 구축함에 있어, 해당 오피스환경에 접속한 캐릭터에 해당하는 참여자(유저)의 현재상황을 실시간으로 촬영하여 가상영상에 오버랩함으로써, 메타버스가 추구하는 가상공간에서의 사회적 유대관계를 크게 향상시킬 수 있도록 한 것이다.
특히, 본 발명은 대화그룹의 대화에 필요한 가상공간 상에서의 특정 객체(공유화면) 및 현재 대화하는 유저의 유저영상을 강조하도록 디스플레이의 투명도 등을 조정함으로써, 대화를 참여한 유저들의 몰입도를 향상시키고 커뮤니케이션의 질을 크게 향상시킬 수 있다.
또한, 본 발명은 원격지점에서 촬영된 화상카메라의 영상데이터를 수신하여 3차원 가상공간의 캐릭터 머리위치에 2차원형상으로 위치시켜, 캐릭터의 얼굴을 실시간으로 촬영된 유저의 영상데이터로 대체함으로써, 단순히 텍스트에 의한 대화에 제한하지 않고 상대방의 표정이나 행동에 의한 추가적인 정보를 동시에 전달할 수 있다.
따라서, 메타버스 분야, 가상현실분야 및 가상오피스 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.

Description

메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템{Display control method in metaverse based office environment, storage medium in which a program executing the same, and display control system including the same}
본 발명은 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법에 관한 것으로서, 보다 상세하게는 메타버스 기반으로 3차원 가상공간에 오피스환경을 구축함에 있어, 해당 오피스환경에 접속한 캐릭터(아바타)에 해당하는 참여자(유저)의 현재상황을 실시간으로 촬영하여 가상영상에 오버랩함으로써, 메타버스가 추구하는 가상공간에서의 사회적 유대관계를 크게 향상시킬 수 있도록 한 것이다.
특히, 본 발명은 대화그룹의 대화에 필요한 가상공간 상에서의 특정 객체(공유화면) 및 현재 대화하는 유저의 유저영상을 강조하도록 디스플레이의 투명도 등을 조정함으로써, 대화를 참여한 유저들의 몰입도를 향상시키고 커뮤니케이션의 질을 크게 향상시킬 수 있는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법에 관한 것이다.
메타버스 '가상', '초월' 등을 뜻하는 영어 단어 '메타'(Meta)와 우주를 뜻하는 '유니버스'(Universe)의 합성어로, 현실세계와 같은 사회적활동이 이뤄지는 3차원의 가상세계를 말한다.
메타버스는 가상현실(VR, 컴퓨터로 만들어 놓은 가상의 세계에서 사람이 실제와 같은 체험을 할 수 있도록 하는 최첨단 기술)보다 한 단계 더 진화한 개념으로, 아바타를 활용해 단지 게임이나 가상현실을 즐기는 데 그치지 않고 실제 현실과 같은 구성원(아바타) 간의 사회적, 문화적 활동 등을 할 수 있다는 특징이 있다.
한편, 가상현실은 어떤 특정한 환경이나 상황을 컴퓨터로 만들어서, 그것을 사용하는 사람이 마치 실제 주변 상황, 환경과 상호작용을 하고 있는 것처럼 만들어 주는 인간과 컴퓨터 사이의 인터페이스를 말한다.
이러한 가상현실은 주로 사람들이 일상적으로 경험하기 어려운 환경을 직접 체험하지 않고서도 그 환경에 들어와 있는 것처럼 보여주고 조작할 수 있게 해주기 위한 것으로, 응용분야는 게임, 교육, 고급 프로그래밍, 원격조작, 원격위성 표면탐사, 탐사자료 분석, 과학적 시각화(Scientific visualization) 등이다.
결과적으로, 메타버스는 컴퓨터에 의해 어떤 특정한 환경이나 상황을 만들고, 이러한 환경이나 상황 속에서 유저들 간의 사회적 유대관계가 보다 적극적으로 이어질 수 있도록 한 것을 말한다고 볼 수 있다.
최근 들어, IT인프라와 사회적인 발전, 그리고 보건위기 등의 다양한 이유로 인해 재택근무가 활성화됨에 따라, 이러한 메타버스 기반의 가상오피스환경에서 업무를 수행하는 방법들이 개발되고 있다.
하기의 선행기술문헌인 대한민국 공개특허공보 제10-2019-0062045호 '가상 회의 구현 방법 및 장치'(이하 '선행기술'이라 한다)는, 가상회의가 진행되는 영상에 사용자의 신체 중 일부를 오버랩하여 디스플레이 함으로써, 현실감이 증가된 가상 회의 공간을 구현하기 위한 것이다.
그러나, 선행기술에서 오버랩되는 유저의 이미지는 정지상태의 사진과 같은 이미지이므로, 유저들이 대화하는 과정에서 텍스트 이상의 향상된 정보(표정이나 행동 등에 의한 정보)가 전달된다고 하기에는 무리가 있다.
일반적으로, 현실세계에서의 구성원(사람)간의 커뮤니케이션에 있어서 가장 중요한 것 중 하나인 대화는, 대화 자체의 음성정보에 더하여 표정이나, 성조, 몸짓 등의 시각정보를 추가적으로 확인함으로써, 보다 정확한 의미의 정보를 전달하게 된다.
이로 인해, 채팅과 같은 텍스트에 의한 대화에서, 문장 자체만으로 오해를 유발할 수 있기 때문에, 다양한 이모티콘 등을 함께 사용하여 대화하게 되지만, 이러한 이모티콘 만으로는 정확한 의미나 느낌을 충분히 전달하는데 한계가 있었다.
다시 말해, 선행기술은 온라인상에서 단순히 텍스트에 의해 대화하는 정도의 수준에 머무르는 것으로, 현실세계와 같은 구성원간의 유대감을 향상시키지는 못한다는 문제점이 있다.
더욱이, 선행기술은 단지 컴퓨터상에서 사무실이미지를 배경으로 하여, 각 유저들의 이미지를 단순히 오버랩한 것으로, 가상공간을 배경으로 하지는 않기 때문에, 그 기술분야가 가상현실을 기반으로 한다고 하기에는 무리가 있다.
대한민국 공개특허공보 제10-2019-0062045호 '가상 회의 구현 방법 및 장치'
상기와 같은 문제점을 해결하기 위해서, 본 발명은 메타버스 기반으로 3차원 가상공간에 오피스환경을 구축함에 있어, 해당 오피스환경에 접속한 캐릭터(아바타)에 해당하는 참여자(유저)의 현재상황을 실시간으로 촬영하여 가상영상에 오버랩함으로써, 메타버스가 추구하는 가상공간에서의 사회적 유대관계를 크게 향상시킬 수 있는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법을 제공하는데 목적이 있다.
특히, 본 발명은 대화그룹의 대화에 필요한 가상공간 상에서의 특정 객체(공유화면) 및 현재 대화하는 유저의 유저영상을 강조하도록 디스플레이의 투명도 등을 조정함으로써, 대화를 참여한 유저들의 몰입도를 향상시키고 커뮤니케이션의 질을 크게 향상시킬 수 있는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법을 제공하는데 목적이 있다.
또한, 원격지점에서 촬영된 화상카메라의 영상데이터를 수신하여 3차원 가상공간의 캐릭터 머리위치에 2차원형상으로 위치시켜, 캐릭터의 얼굴을 실시간으로 촬영된 유저의 영상데이터로 대체함으로써, 단순히 텍스트에 의한 대화에 제한하지 않고 상대방의 표정이나 행동에 의한 추가적인 정보를 동시에 전달할 수 있는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법을 제공하는데 목적이 있다.
상기와 같은 목적을 달성하기 위해서, 본 발명에 따른 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법은, 가상영상 내의 대화그룹에 포함된 각 그룹유저의 아바타에, 해당 그룹유저를 실시간으로 촬영한 유저영상을 매칭하는 유저영상 매칭단계; 및 상기 가상영상에 포함된 공유화면을 포함하는 객체 중 적어도 하나를 강조하는 객체강조단계;를 포함한다.
또한, 상기 객체강조단계는, 상기 객체를 선명하게 처리하고 상기 유저영상은 반투명으로 처리할 수 있다.
또한, 상기 객체강조단계는, 상기 유저영상의 크기를 설정크기로 축소할 수 있다.
또한, 상기 객체강조단계는, 상기 아바타를 반투명으로 처리할 수 있다.
또한, 상기 대화그룹에 포함된 그룹유저의 음성이 감지되면, 해당 그룹유저의 유저영상을 강조하는 유저영상 강조단계;를 포함할 수 있다.
또한, 상기 유저영상 강조단계는, 상기 음성이 설정된 기준크기보다 큰 경우, 해당 그룹유저의 유저영상을 강조할 수 있다.
또한, 상기 유저영상 강조단계는, 상기 음성이 감지된 그룹유저의 영상수신이 유지되면, 해당 그룹유저가 대화를 지속하는 것으로 판단하고, 해당 그룹유저의 유저영상을 강조할 수 있다.
또한, 상기 유저영상 강조단계는, 상기 객체와 유저영상의 적어도 일부가 겹칠 경우, 현재 대화하는 유저의 유저영상을 객체에 비하여 상위레이어에 배치할 수 있다.
또한, 상기 유저영상 매칭단계는, 3차원좌표계의 가상공간이 투영되는 카메라좌표계의 가상영상에서, 해당 아바타의 머리위치가 투영되는 2차원좌표를 확인하는 타겟좌표확인단계; 및 해당 가상영상의 2차원좌표에 해당 유저영상을 오버랩하는 유저영상오버랩단계;를 포함할 수 있다.
또한, 상기 타겟좌표확인단계는, 3차원 가상공간에서 해당 아바타의 위치를 확인하는 아바타위치확인단계; 해당 아바타의 뼈대구조에서 머리의 상대위치를 계산하는 상대위치확인단계; 해당 아바타의 3차원좌표에 상대위치를 적용하여 머리의 3차원좌표를 계산하는 머리위치확인단계; 및 해당 아바타의 머리위치가 투영되는 2차원좌표를 확인하는 투영좌표확인단계;를 포함할 수 있다.
또한, 본 발명은 상기의 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법을 실행하는 프로그램이 기록된 저장매체를 포함한다.
또한, 본 발명은 메타버스 기반의 오피스 환경에서 상기 저장매체를 포함하는 디스플레이 디스플레이 제어 시스템을 포함한다.
상기와 같은 해결수단에 의해, 본 발명은 메타버스 기반으로 3차원 가상공간에 오피스환경을 구축함에 있어, 해당 오피스환경에 접속한 캐릭터(아바타)에 해당하는 참여자(유저)의 현재상황을 실시간으로 촬영하여 가상영상에 오버랩함으로써, 메타버스가 추구하는 가상공간에서의 사회적 유대관계를 크게 향상시킬 수 있는 장점이 있다.
특히, 본 발명은 대화그룹의 대화에 필요한 가상공간 상에서의 특정 객체(공유화면) 및 현재 대화하는 유저의 유저영상을 강조하도록 디스플레이의 투명도 등을 조정함으로써, 대화를 참여한 유저들의 몰입도를 향상시키고 커뮤니케이션의 질을 크게 향상시킬 수 있는 장점이 있다.
또한, 본 발명은 유저영상의 크기를 조절하거나 아바타의 투명도를 조정함으로써, 대화를 참여한 유저들의 몰입도를 더욱 향상시킬 수 있는 장점이 있다.
또한, 본 발명은 원격지점에서 촬영된 화상카메라의 영상데이터를 수신하여 3차원 가상공간의 캐릭터 머리위치에 2차원형상으로 위치시켜, 캐릭터의 얼굴을 실시간으로 촬영된 유저의 영상데이터로 대체함으로써, 단순히 텍스트에 의한 대화에 제한하지 않고 상대방의 표정이나 행동에 의한 추가적인 정보를 동시에 전달할 수 있는 장점이 있다.
이를 통해 본 발명은 대화 자체의 음성정보와 더불어, 유저들 간의 표정이나, 성조, 몸짓 등의 시각정보를 추가적으로 확인함으로써, 보다 정확한 의미의 정보를 전달할 수 있는 장점이 있다.
결과적으로, 본 발명은 각각의 구성원(유저)들이 온라인 상에서 접속하고 있으나, 실제 현실세계에서 직접 만나서 이야기 하는 것과 동일한 수준의 대화레벨을 제공할 수 있으며, 이를 통해 구성원 간의 유대관계를 크게 향상시킬 수 있다.
또한, 본 발명은 가상공간에 접속한 유저들 중 일정조건을 만족하는 대화그룹을 설정하고, 해당 대화그룹 내에서만 대화가 가능하도록 함으로써, 정보를 전달하는 과정에서 발생하는 정보유출 등의 문제를 미연에 방지할 수 있는 장점이 있다
특히, 현실세계에서도 대화의 내용을 다른 사람들이 듣는 경우가 발생하여 정보가 유출되고 확산되며, 심한 경우 루머 등을 만들게 되지만, 본 발명에서는 이러한 문제점을 원천적으로 방지할 수 있다.
따라서, 메타버스 분야, 가상현실분야 및 가상오피스 분야는 물론 이와 유사 내지 연관된 분야에서 신뢰성 및 경쟁력을 향상시킬 수 있다.
도 1은 본 발명의 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법에 대한 일 실시예를 나타내는 흐름도이다.
도 2는 도 1에 나타난 단계 'S200'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 3은 도 1의 다른 일 실시예를 나타내는 흐름도이다.
도 4는 도 1의 구체적인 일 실시예를 나타내는 순서도이다.
도 5는 도 1에 나타난 단계 'S100'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 6은 도 5에 나타난 단계 'S110'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 7은 도 1에 의해 객체인 공유화면이 강조된 가상영상의 일 실시예를 나타내는 도면이다.
본 발명에 따른 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법에 대한 예는 다양하게 적용할 수 있으며, 이하에서는 첨부된 도면을 참조하여 가장 바람직한 실시 예에 대해 설명하기로 한다.
먼저, 본 발명의 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법은, 인터넷 상의 서버/클라이언트 시스템에서 운용이 가능하며, 해당 방법을 실행하는 구성으로는 데스크탑(Desktop), 워크스테이션(Workstation) 또는 서버(Server)와 같은 고정식 컴퓨팅 장치 중 어느 하나가 될 수 있으며, 이 외에도 스마트폰(Smart phone), 랩탑(Laptaop), 태블릿(Tablet), 패블릿(Phablet), 휴대용 멀티미디어 재생장치(Portable Multimedia Player, PMP), 개인용 휴대 단말기(Personal Digital Assistants, PDA) 또는 전자책 단말기(E-book reader)과 같은 이동식 컴퓨팅 장치 중 어느 하나가 될 수도 있다.
또한, 본 발명의 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법은, 서버/클라인언트 시스템에서 서버 또는 클라이언트 중 적어도 하나의 구성에서 실행될 수 있으며, 적어도 두 개의 구성이 연동하면서 해당 방법에 의한 프로세스를 운용방식에 따라 분할하여 분산실행할 수 있다. 이때, 클라이언트는 사용자가 사용하는 사용자단말기는 물론 서버를 제외한 관리자단말기를 포함할 수 있음은 물론이다.
또한, 본 발명을 설명하는 과정에서 사용되는 기술적 용어는, 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 함은 당연하다.
또한, 본 발명을 설명하면서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는, 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 한다.
또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.
또한, 본 발명을 설명하면서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함할 수 있다.
또한, '구성된다' 또는 '가지다' 등의 용어는 여러 구성 요소들, 또는 여러 단계들을 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.
또한, 제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 해당 구성 요소들은 해당 용어들에 의해 한정되어서는 안 되며, 해당 용어들은 하나의 구성 요소를 다른 구성요소로부터 구별하는 목적으로만 사용됨은 당연하다.
예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성 요소는 제2 구성 요소로 명명될 수 있고, 유사하게 제2 구성 요소도 제1 구성 요소로 명명될 수 있다.
또한, 어떤 구성 요소가 다른 구성 요소에 '연결되어' 있다거나 '접속되어' 있다고 언급된 때에는, 그 다른 구성 요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성 요소가 존재할 수도 있다.
반면에, 어떤 구성요소가 다른 구성 요소에 '직접 연결되어' 있다거나 '직접 접속되어' 있다고 언급된 때에는, 중간에 다른 구성 요소가 존재하지 않는 것으로 이해되어야 할 것이다.
이하, 첨부된 도면을 참조하여 본 발명을 설명함에 있어, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략할 수 있다.
또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 되며, 본 발명의 사상은 첨부된 도면 외에 모든 변경, 균등물 내지 대체물에 까지도 확장되는 것으로 해석되어야 한다.
도 1은 본 발명의 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법에 대한 일 실시예를 나타내는 흐름도이다.
먼저, 본 발명은 메타버스 기반의 오피스 환경에서, 대상유저(본인)과 대화가능한 유저(그룹유저)들을 확인하는 과정을 거치며, 가상공간에서 대상유저의 카메라시점을 확인하고, 해당 카메라시점의 가상영상에 포함된 유저들에 대한 대화그룹 포함여부를 확인할 수 있다.
여기서, 카메라시점은 대상유저의 아바타 또는 대상유저의 아바타의 후방상부를 기준으로 할 수 있고, 가상공간은 3차원좌표계를 기준으로 형성될 수 있으며, 가상영상은 카메라시점을 기준으로 유저의 단말기에 출력되는 영상으로, 가상공간의 3차원좌표가 2차원으로 투영된 영상을 말한다.
결과적으로, 대상유저의 단말기에 디스플레이되는 아바타 중 일정한 조건에 의해 대화그룹에 포함될 적어도 일부의 유저들을 확인할 수 있다.
유저영상 매칭단계(S100)는 가상영상 내의 대화그룹에 포함된 각 그룹유저의 아바타에, 해당 그룹유저를 실시간으로 촬영한 유저영상을 매칭하는 과정으로, 보다 구체적으로는 아바타의 머리에 해당 유저의 유저영상을 매칭할 수 있다.
객체강조단계(S200)는 가상영상에 포함된 중 적어도 하나를 강조하는 과정으로, 주로 해당 대화그룹의 그룹핑 목적에 따라 중요하다고 판단되는 가상의 객체를 강조하게 된다.
예를 들어, 대화그룹의 그룹핑 목적이 업무회의일 경우, 가상의 객체는 화이트보드 등과 같은 회의정보를 출력하는 객체를 포함할 수 있다.
다른 예로, 가상 객체는 도 7에 나타난 바와 같이 대화그룹에 포함된 그룹유저들 중 어느 한 그룹유저가 제공하면 다른 그룹유저들이 모두 볼 수 있는 공유화면을 포함할 수 있으며, 이러한 공유화면은 그룹유저의 시선(카메라시점)이 변하거나 아바타가 이동하더라도 그 크기나 형상이 변화하지 않고 고정된 상태를 유지할 수 있다.
이에, 객체강조단계(S200)에서는 해당 객체(화이트보드)를 강조하고, 다른 객체나 아바타 및 유저영상 등은 강조되지 않도록 조정할 수 있다.
하기에서는 이를 보다 상세히 살펴보기로 한다.
도 2는 도 1에 나타난 단계 'S200'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 2를 참조하면, 객체강조단계(S200)는 강조하고자 하는 대상객체는 선명하게 처리하고(S210), 유저영상은 반투명으로 처리하여 강조되지 않도록 할 수 있다(S220).
예를 들어, 대상객체의 강조는 대상객체의 밝기를 높이거나 선명도를 향상시키는 조정을 통해 수행될 수 있다.
더불어, 유저영상의 크기를 설정크기로 축소하거나 가상영상의 특정위치(예를 들어, 가장자리)로 이동시키는 방법을 통해 강조되지 않도록 할 수 있다(S230).
마찬가지로, 유저와 매칭된 아바타를 반투명으로 처리하거나, 축소 또는 골격화 등의 방법을 통해 강조되지 않도록 할 수 있다(S240).
이와 같이, 해당 대화그룹은 대화의 목적에 따른 가상의 객체만을 강조함으로써, 대화의 집중도를 크게 향상시킬 수 있다.
도 3은 도 1의 다른 일 실시예를 나타내는 흐름도이다.
도 3을 참조하면, 대화그룹에 포함된 그룹유저의 음성이 감지되면, 해당 그룹유저의 유저영상을 강조하는 유저영상 강조단계(S300)를 포함할 수 있다.
예를 들어, 특정 대화그룹이 업무회의를 위해 프리젠테이션을 진행하는 경우, 발표자가 되는 유저에 대해서는 앞서 설명한 대상객체와 더불어, 해당 대화그룹에 포함된 그룹유저들이 집중하도록 해야 할 필요가 있다.
이에, 유저영상 강조단계(S300)에서는 현재 말하고 있는 그룹유저의 유저영상을 강조함으로서, 해당 발표내용에 대한 집중도를 보다 더 향상시킬 수 있다.
예를 들어, 해당 유저영상은 밝기를 향상시키는 방법, 해당 유저영상을 최상단 레이어에 배치하는 방법, 해당 유저영상의 테두리에 별도의 이미지를 추가하는 방법 등을 수행함으로써, 해당 유저영상을 강조할 수 있다.
도 4는 도 1의 구체적인 일 실시예를 나타내는 순서도이다.
도 4를 참조하면, 먼저 해당 대화그룹의 목적에 따라 가장 중요한 가상의 대상객체를 강조하고(S200), 해당 대상객체가 강조된 상태에서 유저의 음성이 수신되는지를 확인할 수 있다(S311).
만약, 음성이 아닌 소음이나 불특정 음향이 수신될 경우(S311), 해당 데이터는 폐기할 수 있다(S316). 이러한 과정은 수신된 소리의 패턴을 분석하여 수행될 수 있으며, 해당 소리의 패턴 분석 방법은 당업자의 요구에 따라 다양한 방법이 적용될 수 있으므로 특정한 것에 한정하지 않음은 물론이다.
특정 유저의 음성이 수신된 경우에는(S311), 해당 음성의 크기와 설정된 기준크기를 비교한 후(S313), 해당 음성이 설정된 기준크기보다 큰 경우(S313_, 해당 그룹유저의 유저영상을 강조할 수 있다9S315).
더불어, 음성이 감지된 그룹유저의 영상수신이 지속적으로 유지되면(S314), 해당 그룹유저가 대화를 지속하는 것으로 판단하고, 해당 그룹유저의 유저영상을 강조할 수 있다(S315).
이때, 강조하는 대상이 되는 객체(대상객체)와 유저영상의 적어도 일부가 겹칠 경우, 현재 대화하는 유저의 유저영상을 객체에 비하여 상위레이어에 배치함으로써, 유저영상에 대한 집중도를 더 향상시킬 수 있다. 여기서, 상위레이어에 배치한다 함은 두 이미지 중 어느 하나가 보다 위쪽에 놓여진 것처럼 디스플레이함은 의미한다.
도 5는 도 1에 나타난 단계 'S100'의 구체적인 일 실시예를 나타내는 흐름도이다.
도 5를 참조하면, 유저영상 매칭단계(S100)는 타겟좌표확인단계(S110) 및 유저영상오버랩단계(S120)를 포함한다.
타겟좌표확인단계(S110)는 메타버스 기반의 오피스 환경이 구축된 3차원좌표계의 가상공간이, 유저가 사용하는 유저단말기의 디스플레이로 투영되는 카메라좌표계의 가상영상에서, 해당 아바타의 머리위치가 투영되는 2차원좌표를 확인하는 과정을 수행한다.
예를 들어, 아바타의 머리부분에 해당 유저의 유저영상을 오버랩할 경우, 타겟좌표확인단계(S110)에서는 3차원의 가상공간에 위치하는 아바타의 머리부분에 해당하는 3차원좌표를, 투영되는 평면영상인 가상영상의 2차원좌표계로 변환한 2차원좌표를 산출하게 된다.
이후, 유저영상오버랩단계(S120)에서, 해당 가상영상의 2차원좌표에 해당 유저영상을 오버랩하는 하게 된다.
예를 들어, 가상공간의 아바타 머리부분에 유저영상을 매칭한 후, 이를 디스플레이하게 되면, 아바타의 움직임에 따라 유저영상의 크기 등을 조절하는데 많은 연산을 필요로 하게 되는 바, 본 발명과 같이 3차원좌표를 2차원좌표로 변환하고 해당 2차원좌표에 유저영상을 매칭하게 되면, 해당 과정에서 좌표변환만 연산하면 되므로, 데이터의 연산량을 크게 줄일 수 있으며, 이를 통해 보다 쉽게 온라인상에서의 실시간처리가 가능하도록 할 수 있다.
이하에서는 3차원좌표를 2차원좌표로 변환하는 과정에 대해 보다 상세히 살펴보기로 한다.
도 6은 도 5에 나타난 단계 'S110'의 구체적인 일 실시예를 나타내는 흐름도이다.
먼저, 대상유저가 메타버스기반의 오피스 환경에 접속하게 되면, 3차원 가상공간에서 대상유저에 매칭된 아바타의 위치를 확인할 수 있다(S111).
이때, 로그인(Login)시 아바타의 처음 위치는 이전 로그아웃(Logout)시 위치이거나, 설정된 고정위치(예를 들어, 가상 오피스의 정문 등)를 포함할 수 있다.
그리고, 해당 아바타의 뼈대구조에서, 아바타의 기준위치와 머리의 상대위치를 계산하고(S112), 해당 아바타의 3차원좌표에 상대위치를 적용하여 머리의 3차원좌표를 계산할 수 있다(S113).
한편, 아바타는 대상유저에 의해 다양한 형태로 설정될 수 있다.
이에, 본 발명에서는 타겟좌표확인단계(S110) 이전에, 앞서 대화그룹 확인단계(S10)에서 확인된 해당 그룹유저의 아바타에 대한 설정정보를 확인하는 아바타설정정보확인단계를 수행할 수 있다.
다시 말해, 대화그룹 확인단계(S10)에서 대화그룹으로 확인된 그룹유저에 대하여, 해당 그룹유저의 설정정보를 확인하여 매칭된 아바타의 외형적 특징(골격)을 확인하고, 이에 기초하여 아바타의 머리에 대한 상대위치를 계산할 수 있다(S112).
이후, 해당 아바타의 머리위치에 대한 3차원좌표를 확인하고(S113), 해당 아바타의 머리위치가 투영되는 2차원좌표를 확인하여, 가상영상에 디스플레이되는 아바타의 머리(타겟) 위치를 확인할 수 있다(S114).
이상에서 본 발명에 의한 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법은, 컴퓨터로 읽을 수 있는 기록 매체에 컴퓨터가 읽을 수 있는 코드로 구현하는 것이 가능할 수 있다.
여기서, 컴퓨터가 읽을 수 있는 기록 매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록 장치를 포함한다. 예를 들어, 컴퓨터가 읽을 수 있는 기록 매체는 ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 데이터 저장장치 등을 포함할 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록 매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어, 분산 방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
그리고 본 발명을 구현하기 위한 기능적인(Functional) 프로그램, 코드 및 코드 세그먼트들은 본 발명이 속하는 기술 분야의 프로그래머들에 의하여 용이하게 추론될 수 있다.
또한, 이러한 본 발명의 기술적 구성은 본 발명이 속하는 기술분야의 당업자가 본 발명의 그 기술적 사상이나 필수적 특징을 변경하지 않고서 다른 구체적인 형태로 실시될 수 있다는 것을 이해할 수 있을 것이다.
그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며, 한정적인 것이 아닌 것으로서 이해되어야 한다.

Claims (12)

  1. 메타버스 기반의 오피스환경으로 설정된 가상공간에 접속한 유저들 중 대상유저의 카메라시점을 확인하고, 해당 카메라시점의 가상영상에 포함된 유저들 중 적어도 일부를 대화그룹으로 포함하고, 대화그룹에 포함된 각 그룹유저의 아바타에, 해당 그룹유저를 실시간으로 촬영한 유저영상을 매칭하는 유저영상 매칭단계; 및
    상기 가상영상에 포함된 공유화면을 포함하는 객체 중 해당 대화그룹의 그룹핑 목적에 따라 중요하다고 판단되는 객체를 조정하여 강조하면서, 카메라시점 및 아바타의 위치 중 적어도 하나가 변하더라도 강조된 객체의 크기나 형상이 고정된 상태를 유지하는 객체강조단계;를 포함하는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법.
  2. 제 1항에 있어서,
    상기 객체강조단계는,
    상기 객체를 선명하게 처리하고 상기 유저영상은 반투명으로 처리하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법.
  3. 제 2항에 있어서,
    상기 객체강조단계는,
    상기 유저영상의 크기를 설정크기로 축소하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법.
  4. 제 2항에 있어서,
    상기 객체강조단계는,
    상기 아바타를 반투명으로 처리하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법.
  5. 제 1항에 있어서,
    상기 대화그룹에 포함된 그룹유저의 음성이 감지되면, 해당 그룹유저의 유저영상을 강조하는 유저영상 강조단계;를 포함하는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법.
  6. 제 5항에 있어서,
    상기 유저영상 강조단계는,
    상기 음성이 설정된 기준크기보다 큰 경우, 해당 그룹유저의 유저영상을 강조하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법.
  7. 제 6항에 있어서,
    상기 유저영상 강조단계는,
    상기 음성이 감지된 그룹유저의 영상수신이 유지되면, 해당 그룹유저가 대화를 지속하는 것으로 판단하고, 해당 그룹유저의 유저영상을 강조하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법.
  8. 제 5항에 있어서,
    상기 유저영상 강조단계는,
    상기 객체와 유저영상의 적어도 일부가 겹칠 경우, 현재 대화하는 유저의 유저영상을 객체에 비하여 상위레이어에 배치하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법.
  9. 제 1항에 있어서,
    상기 유저영상 매칭단계는,
    3차원좌표계의 가상공간이 투영되는 카메라좌표계의 가상영상에서, 해당 아바타의 머리위치가 투영되는 2차원좌표를 확인하는 타겟좌표확인단계; 및
    해당 가상영상의 2차원좌표에 해당 유저영상을 오버랩하는 유저영상오버랩단계;를 포함하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법.
  10. 제 9항에 있어서,
    상기 타겟좌표확인단계는,
    3차원 가상공간에서 해당 아바타의 위치를 확인하는 아바타위치확인단계;
    해당 아바타의 뼈대구조에서 머리의 상대위치를 계산하는 상대위치확인단계;
    해당 아바타의 3차원좌표에 상대위치를 적용하여 머리의 3차원좌표를 계산하는 머리위치확인단계; 및
    해당 아바타의 머리위치가 투영되는 2차원좌표를 확인하는 투영좌표확인단계;를 포함하는 것을 특징으로 하는 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법.
  11. 제 1항 내지 제 10항 중 어느 하나의 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법을 실행하는 프로그램이 기록된 저장매체.
  12. 제 11항의 저장매체를 포함하는 메타버스 기반의 오피스 환경에서 디스플레이 제어 시스템.
KR1020210189945A 2021-12-28 2021-12-28 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템 KR102419932B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020210189945A KR102419932B1 (ko) 2021-12-28 2021-12-28 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템
PCT/KR2022/018848 WO2023128309A1 (ko) 2021-12-28 2022-11-25 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020210189945A KR102419932B1 (ko) 2021-12-28 2021-12-28 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템

Publications (1)

Publication Number Publication Date
KR102419932B1 true KR102419932B1 (ko) 2022-07-13

Family

ID=82401644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210189945A KR102419932B1 (ko) 2021-12-28 2021-12-28 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템

Country Status (2)

Country Link
KR (1) KR102419932B1 (ko)
WO (1) WO2023128309A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128309A1 (ko) * 2021-12-28 2023-07-06 주식회사 직방 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160154A (ja) * 1999-12-02 2001-06-12 Nippon Telegr & Teleph Corp <Ntt> 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
JP2013078105A (ja) * 2011-09-13 2013-04-25 Ricoh Co Ltd 会議システム、イベント管理サーバ、および、プログラム
KR20180062045A (ko) * 2016-11-30 2018-06-08 에릭슨엘지엔터프라이즈 주식회사 가상 회의 구현 방법 및 장치
KR20190062045A (ko) 2017-11-28 2019-06-05 제주대학교 산학협력단 수평유지장치
KR20210085789A (ko) * 2019-12-31 2021-07-08 주식회사 버넥트 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180000022A (ko) * 2016-06-21 2018-01-02 한양대학교 에리카산학협력단 가상 오피스 구현 방법
KR102419932B1 (ko) * 2021-12-28 2022-07-13 주식회사 직방 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001160154A (ja) * 1999-12-02 2001-06-12 Nippon Telegr & Teleph Corp <Ntt> 仮想空間通信システムにおけるアバタ表示装置、アバタ表示方法および記憶媒体
JP2013078105A (ja) * 2011-09-13 2013-04-25 Ricoh Co Ltd 会議システム、イベント管理サーバ、および、プログラム
KR20180062045A (ko) * 2016-11-30 2018-06-08 에릭슨엘지엔터프라이즈 주식회사 가상 회의 구현 방법 및 장치
KR20190062045A (ko) 2017-11-28 2019-06-05 제주대학교 산학협력단 수평유지장치
KR20210085789A (ko) * 2019-12-31 2021-07-08 주식회사 버넥트 디지털 트윈을 이용한 증강현실 기반 현장 모니터링 시스템 및 방법

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023128309A1 (ko) * 2021-12-28 2023-07-06 주식회사 직방 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템

Also Published As

Publication number Publication date
WO2023128309A1 (ko) 2023-07-06

Similar Documents

Publication Publication Date Title
Aseeri et al. The influence of avatar representation on interpersonal communication in virtual social environments
US11403595B2 (en) Devices and methods for creating a collaborative virtual session
US20220319139A1 (en) Multi-endpoint mixed-reality meetings
US11533354B1 (en) Storage and retrieval of video conference state based upon participants
US8099458B2 (en) Workgroup application with contextual clues
KR102395940B1 (ko) 메타버스 기반의 오피스 환경에서 유저영상데이터 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 제어 시스템
US8243116B2 (en) Method and system for modifying non-verbal behavior for social appropriateness in video conferencing and other computer mediated communications
CN113168231A (zh) 用于跟踪真实世界对象的移动以改进虚拟对象定位的增强技术
US11743064B2 (en) Private collaboration spaces for computing systems
KR20130022434A (ko) 통신단말장치의 감정 컨텐츠 서비스 장치 및 방법, 이를 위한 감정 인지 장치 및 방법, 이를 이용한 감정 컨텐츠를 생성하고 정합하는 장치 및 방법
KR102419906B1 (ko) 메타버스 기반의 오피스 환경에서 유저영상데이터 매칭 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 매칭 시스템
Hrimech et al. How 3D interaction metaphors affect user experience in collaborative virtual environment
EP3777133A1 (en) Resource collaboration with co-presence indicators
KR102419932B1 (ko) 메타버스 기반의 오피스 환경에서 디스플레이 제어 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 디스플레이 제어 시스템
Anjos et al. Adventures in hologram space: exploring the design space of eye-to-eye volumetric telepresence
US11656747B2 (en) Established perspective user interface and user experience for video meetings
CN114615455A (zh) 远程会议的处理方法、装置、会议系统和存储介质
KR102419919B1 (ko) 메타버스 기반의 오피스 환경에서 유저영상데이터 디스플레이 방법과 이를 실행하는 프로그램이 기록된 저장매체 및 이를 포함하는 유저영상데이터 디스플레이 시스템
Clayes et al. Real faces and robot faces: The effects of representation on computer-mediated communication
US11800060B1 (en) Immersive and reflective video chat
US20240214454A1 (en) Systems and methods for recommending interactive sessions based on social inclusivity
Irlitti et al. Volumetric Hybrid Workspaces: Interactions with Objects in Remote and Co-located Telepresence
Liu et al. Telepresence Chameleon: Improve User Experience of Telepresence Robot With Chameleon Effect
JP2023180598A (ja) コミュニケーション支援システム、およびコミュニケーション支援方法
CN117931022A (zh) 界面控制方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant