KR20230127734A - 가상협업 비대면 실시간 원격 실험 시스템 - Google Patents
가상협업 비대면 실시간 원격 실험 시스템 Download PDFInfo
- Publication number
- KR20230127734A KR20230127734A KR1020220025386A KR20220025386A KR20230127734A KR 20230127734 A KR20230127734 A KR 20230127734A KR 1020220025386 A KR1020220025386 A KR 1020220025386A KR 20220025386 A KR20220025386 A KR 20220025386A KR 20230127734 A KR20230127734 A KR 20230127734A
- Authority
- KR
- South Korea
- Prior art keywords
- face
- user
- virtual reality
- image
- module
- Prior art date
Links
- 238000002474 experimental method Methods 0.000 title claims abstract description 74
- 238000000034 method Methods 0.000 claims description 31
- 238000004458 analytical method Methods 0.000 claims description 27
- 238000004891 communication Methods 0.000 claims description 27
- 238000010191 image analysis Methods 0.000 claims description 25
- 238000012360 testing method Methods 0.000 claims description 21
- 230000008569 process Effects 0.000 claims description 18
- 238000012545 processing Methods 0.000 claims description 18
- 230000008859 change Effects 0.000 claims description 14
- 238000012549 training Methods 0.000 claims description 12
- 238000013473 artificial intelligence Methods 0.000 claims description 10
- 230000004044 response Effects 0.000 claims description 7
- 238000005516 engineering process Methods 0.000 claims description 6
- 238000000926 separation method Methods 0.000 claims description 6
- 230000003416 augmentation Effects 0.000 claims description 4
- 230000001133 acceleration Effects 0.000 claims description 3
- 230000004424 eye movement Effects 0.000 claims description 3
- 238000011160 research Methods 0.000 description 12
- 238000010586 diagram Methods 0.000 description 9
- 238000010276 construction Methods 0.000 description 6
- 230000002194 synthesizing effect Effects 0.000 description 5
- 241001516908 Metabus Species 0.000 description 3
- 230000003213 activating effect Effects 0.000 description 3
- 238000001514 detection method Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 2
- 230000014509 gene expression Effects 0.000 description 2
- 239000000463 material Substances 0.000 description 2
- 230000003014 reinforcing effect Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 150000001875 compounds Chemical class 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01P—MEASURING LINEAR OR ANGULAR SPEED, ACCELERATION, DECELERATION, OR SHOCK; INDICATING PRESENCE, ABSENCE, OR DIRECTION, OF MOVEMENT
- G01P1/00—Details of instruments
- G01P1/07—Indicating devices, e.g. for remote indication
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
-
- G—PHYSICS
- G02—OPTICS
- G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
- G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
- G02B27/01—Head-up displays
- G02B27/017—Head mounted
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/003—Navigation within 3D models or images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformation in the plane of the image
- G06T3/40—Scaling the whole image or part thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Abstract
본 발명은 가상협업 비대면 실시간 원격 실험 시스템에 관한 것으로, 본 발명의 일 실시예는 가상협업 비대면 실시간 원격 실험 시스템에 있어서, 사용자가 휴대하며, 사용자를 촬영하여 사용자 영상정보를 획득하고, 상기 사용자 영상정보를 이용하여 생성된 아바타와, 비대면 실시간 원격 실험을 위한 가상현실 콘텐츠를 표시하는 VR(Virtual Reality) 헤드셋; 및 상기 아바타 및 상기 가상현실 콘텐츠를 생성하여 상기 VR 헤드셋에 제공하고, 상기 VR 헤드셋으로부터 수신한 사용자의 입력정보를 바탕으로 상기 가상현실 콘텐츠의 구현 및/또는 작동을 제어하는 메타버스 플랫폼 서버를 포함하는, 가상협업 비대면 실시간 원격 실험 시스템을 제공한다.
Description
본 발명은 가상협업 비대면 실시간 원격 실험 시스템에 관한 것이다.
메타버스(Metaverse)란, 가상, 초월을 의미하는 '메타(meta)'와 세계, 우주를 의미하는 '유니버스(universe)'의 합성어로, 현실과 연동된 3차원 가상 세계를 의미한다.
최근, 대용량의 정보를 빠르게 전송할 수 있는 고속 통신망이 확충되고, 전 세계적인 전염병의 확산으로 사람들 간의 접촉과 이동이 제한되면서 다양한 가상 세계를 지원하는 메타버스 서비스들이 속속 등장하고 있다.
이러한 메타버스 서비스는 온라인 학습에 유용하여 오프라인 방식의 교육방법과 달리 특정 장소로 이동하기 위한 시간과 비용이 필요하지 않고, 사용자의 학습수준 또는 난이도에 맞춰 다양한 콘텐츠를 지원할 수 있다. 또한, 사용자는 메타버스 환경을 이용하여 물리적인 제약 없이 다양한 교육 환경을 간접적으로 경험할 수 있다.
본 발명이 해결하고자 하는 기술적 과제는 메타버스 플랫폼을 활용하여 핵심연구지원센터 조성, 연구장비 구축, 공동연구 활성화의 추진체계를 마련할 수 있는 가상협업 비대면 실시간 원격 실험 시스템을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예는 가상협업 비대면 실시간 원격 실험 시스템에 있어서, 사용자가 휴대하며, 사용자를 촬영하여 사용자 영상정보를 획득하고, 상기 사용자 영상정보를 이용하여 생성된 아바타와, 비대면 실시간 원격 실험을 위한 가상현실 콘텐츠를 표시하는 VR(Virtual Reality) 헤드셋; 및 상기 아바타 및 상기 가상현실 콘텐츠를 생성하여 상기 VR 헤드셋에 제공하고, 상기 VR 헤드셋으로부터 수신한 사용자의 입력정보를 바탕으로 상기 가상현실 콘텐츠의 구현 및/또는 작동을 제어하는 메타버스 플랫폼 서버를 포함하는, 가상협업 비대면 실시간 원격 실험 시스템을 제공한다.
본 발명의 실시예에 있어서, 상기 메타버스 플랫폼 서버는, 상기 VR 헤드셋과 통신하는 서버통신모듈; 상기 VR 헤드셋으로부터 수신된 사용자의 영상정보로부터 객체를 분석하는 영상분석모듈; 사용자의 명령으로부터 버튼신호 및/또는 사용자의 제스처를 분석하여 그에 대응되는 실행명령을 검출하는 명령분석모듈; 사용자의 영상정보를 분석하여 3차원 객체로 이루어진 아바타를 생성하고, 가상 협업이 가능하고, 비대면으로 실시간 원격 실험이 가능하도록 상기 가상현실 공간 및/또는 상기 가상현실 객체를 포함하는 상기 가상현실 콘텐츠를 생성하는 콘텐츠제공모듈; 및 상기 영상분석모듈 및/또는 상기 명령분석모듈로부터 분석결과를 수신하며, 사용자의 명령에 대응하여 상기 아바타가 행동하도록 상기 콘텐츠제공모듈을 제어하는 서버제어모듈을 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 영상분석모듈은, 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되, 상기 이미지 인식 모델은, 객체 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원할 수 있다.
본 발명의 실시예에 있어서, 상기 콘텐츠제공모듈은, 상기 인공지능모델을 이용한 비전기술을 기반으로 사용자가 선택한 시험체의 스캐닝 데이터 및/또는 이미지 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 상기 가상현실 콘텐츠를 생성할 수 있다.
본 발명의 실시예에 있어서, 상기 VR 헤드셋은, 상기 가상현실 콘텐츠의 원점을 기준으로 사용자의 이동이나 눈의 움직임에 기초하여 사용자의 시선을 감지하는 감지모듈; 감지된 이동 및/또는 시선에 따라 상기 가상현실 콘텐츠의 구동 중 대응하는 시야 영역을 표시하는 표시모듈; 사용자의 명령을 수신하여 입력 처리하는 명령입력모듈; 상기 메타버스 플랫폼 서버와 통신하는 헤드셋통신모듈; 및 상기 헤드셋통신모듈을 통해 수신한 상기 가상현실 콘텐츠가 상기 표시모듈에 표시되도록 처리하는 헤드셋제어모듈을 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 감지모듈은, 상기 VR 헤드셋의 이동을 감지하기 위하여 가속도 센서, 각속도 센서, 자이로 센서 중 적어도 하나를 포함하거나, 눈의 방향이나 움직임을 감지하는 아이트래킹 센서를 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 명령입력모듈은, 사용자로부터 선택 신호 및/또는 조작 신호의 명령을 입력받을 수 있도록, 사용자에 의한 버튼 누름을 입력받거나, 사용자의 제스처를 인식할 수 있다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 다른 실시예는 가상협업 비대면 실시간 원격 실험 시스템에 있어서, 게스트 사용자가 휴대하며, 게스트 사용자를 촬영하여 게스트 사용자 영상정보를 획득하고, 상기 게스트 사용자 영상정보를 이용하여 생성된 아바타와, 비대면 실시간 원격 실험을 위한 가상현실 콘텐츠를 표시하는 게스트 단말기; 호스트 사용자가 사용(휴대)하며, 호스트 사용자를 촬영하여 호스트 사용자 영상정보를 획득하고, 상기 호스트 사용자 영상정보를 이용하여 생성된 호스트 아바타와, 가상 협업 비대면 실시간 원격 실험을 위한 가상현실 콘텐츠를 표시하고, 호스트가 지시하는 지시사항정보를 상기 게스트 단말기 및/또는 하기 메타버스 플랫폼 서버로 제공하는 호스트 단말기; 및 상기 아바타 및 상기 가상현실 콘텐츠를 생성하여 상기 게스트 단말기 및/또는 상기 호스트 단말기에 제공하고, 상기 게스트 단말기 및/또는 상기 호스트 단말기로부터 수신한 게스트 및/또는 호스트의 입력정보를 바탕으로 상기 가상현실 콘텐츠의 구현 및/또는 작동을 제어하는 메타버스 플랫폼 서버를 포함하는, 가상협업 비대면 실시간 원격 실험 시스템을 제공한다.
본 발명의 실시예에 있어서, 상기 메타버스 플랫폼 서버는, 상기 게스트 단말기 및/또는 상기 호스트 단말기와 통신하는 서버통신모듈; 상기 게스트 단말기 및/또는 상기 호스트 단말기로부터 수신된 게스트 사용자 및/또는 호스트 사용자의 영상정보로부터 객체를 분석하는 영상분석모듈; 게스트 사용자의 명령으로부터 버튼신호 및/또는 게스트 사용자의 제스처를 분석하여 그에 대응되는 실행명령을 검출하는 명령분석모듈; 게스트 사용자 및/또는 호스트 사용자의 영상정보를 분석하여 3차원 객체로 이루어진 아바타를 생성하고, 가상 협업이 가능하고, 비대면으로 실시간 원격 실험이 가능하도록 상기 가상현실 공간 및/또는 상기 가상현실 객체를 포함하는 상기 가상현실 콘텐츠를 생성하는 콘텐츠제공모듈; 및 상기 영상분석모듈 및/또는 상기 명령분석모듈로부터 분석결과를 수신하며, 게스트 사용자의 명령에 대응하여 상기 아바타가 행동하도록 상기 콘텐츠제공모듈을 제어하는 서버제어모듈을 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 영상분석모듈은, 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되, 상기 이미지 인식 모델은, 객체 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원할 수 있다.
본 발명의 실시예에 있어서, 상기 콘텐츠제공모듈은, 상기 인공지능모델을 이용한 비전기술을 기반으로 게스트 사용자가 선택한 시험체의 스캐닝 데이터 및/또는 이미지 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 상기 가상현실 콘텐츠를 생성할 수 있다.
본 발명의 실시예에 있어서, 상기 호스트 단말기는, 비대면 실시간 원격 실험 서비스를 제공하기 위하여, 시험체 재원, 실험장비, 실험조건, 실험방법, 지도사항 중 적어도 하나가 포함된 실험 가이드를 이용하여 상기 지시사항정보를 생성할 수 있다.
본 발명의 실시예에 있어서, 상기 호스트 단말기는, 호스트의 발화, 채팅, 포인터, 드로잉 중 적어도 하나를 추가로 포함하여 상기 지시사항정보로 생성할 수 있다.
본 발명의 실시예에 따르면, 메타버스 플랫폼을 활용하여 핵심연구지원센터 조성, 연구장비 구축, 공동연구 활성화의 추진체계를 마련할 수 있다.
또한, 본 발명의 실시예에 따르면, 가상 협업이 가능하고 비대면으로 실시간 원격 실험이 가능한 서비스를 제공할 수 있고, 사용자가 근접으로 실험결과를 실시간 확인하여 사용자의 만족도를 증대시킬 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 가상협업 비대면 실시간 원격 실험 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 VR헤드셋의 세부 구성을 예시적으로 나타내는 도면이다.
도 3은 도 2의 헤드셋제어모듈의 세부 구성을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 메타버스 플랫폼 서버의 세부 구성을 예시적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 메타버스 플랫폼 서버에서 생성한 아바타를 예시적으로 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 메타버스 플랫폼 서버에서 생성한 가상현실 콘텐츠를 이용하여 실험하는 예시를 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 가상협업 비대면 실시간 원격 실험 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 VR헤드셋의 세부 구성을 예시적으로 나타내는 도면이다.
도 3은 도 2의 헤드셋제어모듈의 세부 구성을 예시적으로 나타내는 도면이다.
도 4는 본 발명의 일 실시예에 따른 메타버스 플랫폼 서버의 세부 구성을 예시적으로 나타내는 도면이다.
도 5는 본 발명의 일 실시예에 따른 메타버스 플랫폼 서버에서 생성한 아바타를 예시적으로 나타내는 도면이다.
도 6은 본 발명의 일 실시예에 따른 메타버스 플랫폼 서버에서 생성한 가상현실 콘텐츠를 이용하여 실험하는 예시를 나타내는 도면이다.
도 7은 본 발명의 다른 실시예에 따른 가상협업 비대면 실시간 원격 실험 시스템의 구성을 나타내는 도면이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 가상협업 비대면 실시간 원격 실험 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 가상협업 비대면 실시간 원격 실험 시스템은 VR(Virtual Reality) 헤드셋(100), 및 메타버스 플랫폼 서버(300)를 포함할 수 있다.
상기 VR 헤드셋(100)은 사용자가 휴대하며, 사용자를 촬영하여 사용자 영상정보를 획득할 수 있다. 또한, 상기 VR 헤드셋(100)은 상기 사용자 영상정보를 이용하여 생성된 아바타와, 원격 실험을 위한 가상현실 콘텐츠를 표시할 수 있다. 이를 위하여, 상기 VR 헤드셋(100)은 상기 가상현실 콘텐츠의 원점을 기준으로 사용자의 회전(이동)이나 눈의 움직임에 기초하여 사용자의 시선을 감지하는 감지모듈(110), 감지된 회전(이동) 및/또는 시선에 따라 상기 가상현실 콘텐츠의 구동 중 대응하는 시야 영역을 표시하는 표시모듈(120), 사용자의 명령을 수신하여 입력 처리하는 명령입력모듈(130), 상기 메타버스 플랫폼 서버(300)와 통신하는 헤드셋통신모듈(140), 및 상기 헤드셋통신모듈(140)을 통해 수신한 상기 가상현실 콘텐츠가 상기 표시모듈(120)에 표시되도록 처리하는 헤드셋제어모듈(150)을 포함할 수 있다.
상기 감지모듈(110)은 상기 VR 헤드셋(100)의 이동(회전)을 감지하기 위하여, 가속도 센서, 각속도 센서, 자이로 센서 중 적어도 하나를 포함할 수 있다. 또한, 상기 감지모듈(110)은 눈의 방향(시선)이나 움직임을 감지하는 아이트래킹 센서를 포함할 수 있다.
상기 표시모듈(120)은 사용자의 신체(안면)에 착용되어 상기 가상현실 콘텐츠의 구동에 따라 시야 영역을 표시할 수 있다. 이를 위하여, 상기 표시모듈(120)은 사용자의 안면에 착용할 수 있는 고글 형태로 형성되고, 사용자의 눈 앞에 가상현실 콘텐츠를 표시하는 디스플레이를 포함할 수 있다.
상기 명령입력모듈(130)은 사용자로부터 선택 신호, 조작 신호 등의 명령을 입력받을 수 있도록, 다양한 조작 버튼과 사용자의 제스처를 인식할 수 있는 구성요소를 포함할 수 있다. 예를 들면, 상기 명령입력모듈(130)은 사용자에 의한 버튼 누름을 입력받거나, 사용자의 손가락의 펼침 및/또는 손가락의 오므림을 제스처를 파지하여 사용하는 입력장치를 포함할 수 있다.
상기 헤드셋통신모듈(140)은 상기 표시모듈(120)의 일측에 설치되며, 통신망을 통해 상기 메타버스 플랫폼 서버(300)와 통신할 수 있다. 이러한 상기 헤드셋통신모듈(140)은 상기 메타버스 플랫폼 서버(300)의 통신 프로토콜(protocol)에 따라서 유선 또는 무선을 통한 광역 또는 근거리 네트워크나 로컬 접속 방식으로 상기 메타버스 플랫폼 서버(300)에 접속할 수 있다.
상기 헤드셋제어모듈(150)은 상기 헤드셋통신모듈(140)을 통해 수신한 상기 가상현실 콘텐츠가 상기 표시모듈(120)에 표시되도록 (신호)처리할 수 있다. 또한, 상기 헤드셋제어모듈(150)은 사용자로부터 입력받은 명령에 대응하여 설정된 기능(동작)을 수행하도록 처리할 수 있다. 이를 위하여, 상기 헤드셋제어모듈(150)은 도 3에 도시된 바와 같이, 영상처리부(152), 입력명령처리부(154), 메인제어부(156)를 포함할 수 있다.
상기 영상처리부(152)는 상기 메타버스 플랫폼 서버(300)로부터 수신한 상기 가상현실 콘텐츠가 상기 표시모듈(120)에 표시되도록 상기 가상현실 콘텐츠를 신호처리하여 상기 표시모듈(120)에 제공할 수 있다. 여기서, 상기 영상처리부(152)는 수신된 상기 가상현실 콘텐츠에 포함된 영상신호에 대해 다양한 영상처리 프로세스를 수행할 수 있다. 또한, 상기 영상처리부(152)는 이러한 프로세스를 수행한 영상신호를 상기 표시모듈(120)의 디스플레이를 통해 출력시킬 수 있다. 이를 통해, 상기 영상처리부(152)는 상기 디스플레이에 해당 영상신호에 기초하는 영상을 표시되도록 만들 수 있다. 예를 들면, 상기 영상처리부(152)는 수신한 상기 가상현실 콘텐츠로부터 영상데이터 및/또는 부가데이터를 추출하고, 기 설정된 해상도로 조정하여 상기 영상데이터 및/또는 상기 부가데이터를 상기 디스플레이를 통해 출력시킬 수 있다.
상기 영상처리부(152)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
상기 입력명령처리부(154)는 상기 명령입력모듈(130)로부터 수신한 사용자의 명령을 신호처리하여 상기 헤드셋통신모듈(140)을 통해 상기 메타버스 플랫폼 서버(300)로 송신할 수 있다. 여기서, 상기 입력명령처리부(154)는 상기 명령입력모듈(130)로부터 수신한 사용자의 제스처를 설정된 제스처와 비교하여 명령 여부를 판단하고, 판단 결과에 따라 설정된 대응 동작(기능)이 수행될 수 있도록 지원할 수 있다.
상기 메인제어부(156)는 상기 명령입력모듈(130)를 통해 입력받은 사용자의 명령을 처리하도록 상기 입력명령처리부(154)를 제어할 수 있다. 또한, 상기 메인제어부(156)는 상기 영상처리부(152)를 통해 상기 가상현실 콘텐츠를 영상신호로 신호처리하여 상기 표시모듈(120)로 표시할 때 상기 명령입력모듈(130)을 통해 상기 가상현실 콘텐츠에 대한 실행을 요구하는 사용자의 명령이 입력되면 사용자의 명령이 실행되도록 상기 영상처리부(152)를 제어할 수 있다.
상기와 같은, 상기 헤드셋제어모듈(150)은 이러한 여러 기능을 통합시킨 SOC(system-on-chip), 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 구성들이 인쇄회로기판 상에 장착됨으로써 영상처리보드(미도시)로 구현되어 상기 VR 헤드셋(100)에 내장될 수 있다.
상기 메타버스 플랫폼 서버(300)는 상기 아바타 및 상기 가상현실 콘텐츠를 생성하여 상기 VR 헤드셋(100)에 제공하고, 상기 VR 헤드셋으로부터 수신한 사용자의 입력정보를 바탕으로 상기 가상현실 콘텐츠의 구현 및/또는 작동을 제어할 수 있다. 이때, 상기 메타버스 플랫폼 서버(300)는 사용자의 설정 및/또는 요청에 따라 기 보유한 공간데이터 및/또는 객체데이터를 바탕으로 상기 가상현실 콘텐츠에 포함되는 가상현실 공간 및/또는 가상현실 객체를 생성할 수 있다. 또한, 상기 메타버스 플랫폼 서버(300)는 상기 VR 헤드셋(100)으로부터 사용자의 명령을 수신하여 분석하고, 사용자의 명령에 대응하는 가상현실 객체 및/또는 그의 동작을 상기 VR 헤드셋(100)에 제공할 수 있다. 이를 위하여, 상기 메타버스 플랫폼 서버(300)는 서버통신모듈(310), 영상분석모듈(320), 명령분석모듈(330), 콘텐츠제공모듈(340), 및 서버제어모듈(350)을 포함할 수 있다.
상기 서버통신모듈(310)은 통신망을 통해 상기 헤드셋통신모듈(140)과 통신할 수 있다. 여기서, 상기 서버통신모듈(310)은 상기 헤드셋통신모듈(140)로부터 사용자의 명령을 수신하고, 상기 가상현실 콘텐츠를 영상신호로 송신할 수 있다.
상기 영상분석모듈(320)은 상기 VR 헤드셋(100)으로부터 수신된 사용자의 영상정보로부터 객체를 분석하고, 분석결과를 상기 콘텐츠제공모듈(340) 및/또는 상기 서버제어모듈(350)로 제공할 수 있다. 예를 들면, 상기 영상분석모듈(320)은 기 설정된 이미지 인식 모델을 이용하여 영상으로부터 객체를 구분하고, 구분된 객체를 생명체와 사물로 분석할 수 있다.
여기서, 상기 이미지 인식 모델은 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정될 수 있으며, 객체 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리, (오브젝트 디텍션, OCR, 바코드 또는 QR코드, 객체 추적 등을) 시뮬레이션하는 인식처리 등의 항목을 지원할 수 있다. 예를 들면, 상기 이미지 인식 모델은 상기 데이터 아규먼트가 적용된 이미지 데이터셋 약 1만장 기준으로 약 94% 이상의 정확도를 확보할 수 있다.
상기 명령분석모듈(330)은 사용자의 명령으로부터 버튼신호 및/또는 사용자의 제스처를 분석하고, 분석결과를 상기 콘텐츠제공모듈(340) 및/또는 상기 서버제어모듈(350)로 제공할 수 있다. 예를 들면, 상기 명령분석모듈(330)은 상기 버튼신호 및/또는 사용자의 제스처를 분석하여 그에 대응되는 실행명령을 검출(확인)할 수 있다.
상기 콘텐츠제공모듈(340)은 상기 사용자의 영상정보를 바탕으로 아바타를 생성할 수 있다. 이때, 상기 콘텐츠제공모듈(340)은 사용자의 영상정보를 분석하여 3차원 객체로 이루어진 아바타를 생성할 수 있다. 또한, 상기 콘텐츠제공모듈(340)은 기 설정된 산업도메인 데이터(예컨대, 건설/건축 데이터) 및/또는 실험 데이터를 바탕으로 인공지능모델을 설정하고, 상기 공간데이터 및/또는 상기 객체데이터를 이용하여 상기 인공지능모델에서 상기 가상현실 공간 및/또는 상기 가상현실 객체를 포함하는 상기 가상현실 콘텐츠를 생성할 수 있다.
여기서, 상기 콘텐츠제공모듈(340)은 가상 협업이 가능하고, 비대면으로 실시간 원격 실험이 가능하도록 상기 가상현실 공간 및/또는 상기 가상현실 객체를 생성할 수 있다. 예를 들면, 도 6을 참조하여, 상기 콘텐츠제공모듈(340)은 인텔리전트 건설시스템 핵심지원센터에 사용자의 아바타가 입장하여 스트럽 철근강도에 따른 전단마찰시험을 실시할 수 있다. 이때, 사용자는 아바타를 이용하여 가상으로 전단마찰시험을 위한 시험체를 가력하는 실험을 수행하고, 실험 결과로 시험체 균열 성상을 근접하여 실시간으로 확인할 수 있다.
여기서, 상기 콘텐츠제공모듈(340)은 상기 인공지능모델을 이용한 비전기술(라이브 가상현실 툴킷)을 기반으로 사용자가 선택한 시험체의 스캐닝 데이터 및/또는 이미지 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 상기 가상현실 콘텐츠를 생성할 수 있다. 이를 통해, 상기 콘텐츠제공모듈(340)은 다양한 시험체에 대한 스캐닝 데이터 및/또는 이미지 데이터만으로 다양한 실험환경에 최적화된 가상현실 콘텐츠를 손쉽게 생성할 수 있고, 가상현실 콘텐츠 생성을 위한 작업시간을 대폭 단축시켜 매우 우수한 작업효율을 얻을 수 있다.
상기 서버제어모듈(350)은 상기 영상분석모듈(320) 및/또는 상기 명령분석모듈(330)로부터 분석결과를 수신하며, 사용자의 명령에 대응하여 상기 아바타가 행동하도록 상기 콘텐츠제공모듈(340)을 제어할 수 있다.
이를 통해, 상기 메타버스 플랫폼 서버(300)는 가상 협업이 가능하고 비대면으로 실시간 원격 실험이 가능한 서비스를 제공할 수 있고, 사용자가 근접으로 실험결과를 실시간 확인하여 사용자의 만족도를 증대시킬 수 있다.
이하에서는, 도 7을 참조하여 본 발명의 다른 실시예에 따른 가상협업 비대면 실시간 원격 실험 시스템을 상세하게 설명한다.
도 7은 본 발명의 다른 실시예에 따른 가상협업 비대면 실시간 원격 실험 시스템의 구성을 나타내는 도면이다.
도 7을 참조하면, 본 발명의 다른 실시예에 따른 가상협업 비대면 실시간 원격 실험 시스템은 게스트 단말기(100), 호스트 단말기(200) 및 메타버스 플랫폼 서버(300)를 포함할 수 있다.
상기 게스트 단말기(100)는 게스트 사용자가 휴대하며, 도 를 참조하여 설명한 상기 VR 헤드셋(100)과 실질적으로 동일한 구성 및 기술적 특징을 포함할 수 있다. 이에 따라, 설명의 편의상, 상술한 상기 VR 헤드셋과 중복되는 구성 및 기술적 특징에 대한 설명을 생략하기로 한다.
상기 호스트 단말기(200)는 가상 협업 비대면 실시간 원격 실험을 진행하기 위하여 호스트 사용자가 사용(휴대)하며, 호스트 사용자를 촬영하여 호스트 사용자 영상정보를 획득할 수 있다. 또한, 상기 호스트 단말기(200)는 상기 호스트 사용자 영상정보를 이용하여 생성된 호스트 아바타와, 가상 협업 비대면 실시간 원격 실험을 위한 가상현실 콘텐츠를 표시할 수 있다. 이때, 상기 호스트 단말기(200)는 비대면 실시간 원격 실험 서비스를 진행하기 위한 가상현실 공간 및/또는 가상현실 객체를 포함하는 가상현실 콘텐츠를 표시하며, 호스트가 지시하는 지시사항정보를 상기 게스트 단말기(100) 및/또는 상기 메타버스 플랫폼 서버(300)로 제공할 수 있다.
여기서, 상기 호스트 단말기(200)는 비대면 실시간 원격 실험 서비스를 제공하기 위하여, 시험체 재원, 연구(실험)장비, 연구(실험)조건, 연구(실험)방법, 지도사항 중 적어도 하나가 포함된 연구(실험) 가이드를 이용하여 상기 지시사항정보를 생성할 수 있다. 또한, 상기 호스트 단말기(200)는 호스트의 발화, 채팅, 포인터, 드로잉 중 적어도 하나를 추가로 포함하여 상기 지시사항정보로 생성할 수 있다. 이러한 상기 호스트 단말기(200)는 상기 게스트 단말기(100)와 실시간으로 다자간 인터렉션을 수행하여 가상 협업 비대면 원격 실험을 진행할 수 있다.
상기 메타버스 플랫폼 서버(300)는 게스트 사용자 및 호스트 사용자 각각에 대한 아바타 및 상기 가상현실 콘텐츠를 생성하여 상기 게스트 단말기(100)와 상기 호스트 단말기(200)에 제공하며, 상기 게스트 단말기(100) 및/또는 상기 호스트 단말기(200)로부터 수신한 게스트 사용자 및/또는 호스트 사용자의 입력정보, 명령, 지시사항정보 중 적어도 하나를 바탕으로 상기 가상현실 콘텐츠의 구현 및/또는 작동을 제어할 수 있다. 이때, 상기 메타버스 플랫폼 서버(300)는 게스트 사용자 및/또는 호스트 사용자의 설정 및/또는 요청에 따라 기 보유한 공간데이터 및/또는 객체데이터를 바탕으로 상기 가상현실 콘텐츠에 포함되는 가상현실 공간 및/또는 가상현실 객체를 생성할 수 있다. 또한, 상기 메타버스 플랫폼 서버(300)는 상기 게스트 단말기(100) 및/또는 상기 호스트 단말기(200)로부터 게스트 사용자 및/또는 호스트 사용자의 명령을 수신하여 분석하고, 게스트 사용자 및/또는 호스트 사용자의 명령에 대응하는 가상현실 객체 및/또는 그의 동작을 상기 게스트 단말기(100) 및/또는 상기 호스트 단말기(200)에 제공할 수 있다. 이를 위하여, 상기 메타버스 플랫폼 서버(300)는 도 4에 도시된 바와 같이 서버통신모듈(310), 영상분석모듈(320), 명령분석모듈(330), 콘텐츠제공모듈(340), 및 서버제어모듈(350)을 포함할 수 있다.
상기 서버통신모듈(310)은 통신망을 통해 상기 게스트 단말기(100) 및/또는 상기 호스트 단말기(200)와 통신할 수 있다. 여기서, 상기 서버통신모듈(310)은 상기 게스트 단말기(100) 및/또는 상기 호스트 단말기(200)로부터 게스트 사용자의 명령 및/또는 호스트 사용자의 지시사항정보를 수신하고, 상기 가상현실 콘텐츠를 영상신호로 송신할 수 있다.
상기 영상분석모듈(320)은 상기 게스트 단말기(100) 및/또는 상기 호스트 단말기(200)으로부터 수신된 게스트 사용자 및/또는 호스트 사용자의 영상정보로부터 객체를 분석하고, 분석결과를 상기 콘텐츠제공모듈(340) 및/또는 상기 서버제어모듈(350)로 제공할 수 있다. 예를 들면, 상기 영상분석모듈(320)은 기 설정된 이미지 인식 모델을 이용하여 영상으로부터 객체를 구분하고, 구분된 객체를 생명체와 사물로 분석할 수 있다.
여기서, 상기 이미지 인식 모델은 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정될 수 있으며, 객체 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리, (오브젝트 디텍션, OCR, 바코드 또는 QR코드, 객체 추적 등을) 시뮬레이션하는 인식처리 등의 항목을 지원할 수 있다. 예를 들면, 상기 이미지 인식 모델은 상기 데이터 아규먼트가 적용된 이미지 데이터셋 약 1만장 기준으로 약 94% 이상의 정확도를 확보할 수 있다.
상기 명령분석모듈(330)은 게스트 사용자의 명령으로부터 버튼신호 및/또는 게스트 사용자의 제스처를 분석하고, 분석결과를 상기 콘텐츠제공모듈(340) 및/또는 상기 서버제어모듈(350)로 제공할 수 있다. 예를 들면, 상기 명령분석모듈(330)은 상기 버튼신호 및/또는 사용자의 제스처를 분석하여 그에 대응되는 실행명령을 확인할 수 있다.
상기 콘텐츠제공모듈(340)은 게스트 사용자 및/또는 호스트 사용자의 영상정보를 바탕으로 아바타를 생성할 수 있다. 이때, 상기 콘텐츠제공모듈(340)은 게스트 사용자 및/또는 호스트 사용자의 영상정보를 분석하여 3차원 객체로 이루어진 아바타를 생성할 수 있다. 또한, 상기 콘텐츠제공모듈(340)은 기 설정된 산업도메인 데이터(예컨대, 건설/건축 데이터) 및/또는 실험 데이터를 바탕으로 인공지능모델을 설정하고, 상기 공간데이터 및/또는 상기 객체데이터를 이용하여 상기 인공지능모델에서 상기 가상현실 공간 및/또는 상기 가상현실 객체를 포함하는 상기 가상현실 콘텐츠를 생성할 수 있다.
여기서, 상기 콘텐츠제공모듈(340)은 가상 협업이 가능하고, 비대면으로 실시간 원격 실험이 가능하도록 상기 가상현실 공간 및/또는 상기 가상현실 객체를 생성할 수 있다. 예를 들면, 도6을 참조하여, 상기 콘텐츠제공모듈(340)은 인텔리전트 건설시스템 핵심지원센터에 게스트 사용자의 아바타가 입장하여 스트럽 철근강도에 따른 전단마찰시험을 실시할 수 있다. 이때, 게스트 사용자는 아바타를 이용하여 가상으로 전단마찰시험을 위한 시험체를 가력하는 실험을 수행하고, 실험 결과로 시험체 균열 성상을 근접하여 실시간으로 확인할 수 있다.
여기서, 상기 콘텐츠제공모듈(340)은 상기 인공지능모델을 이용한 비전기술(라이브 가상현실 툴킷)을 기반으로 게스트 사용자가 선택한 시험체의 스캐닝 데이터 및/또는 이미지 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 상기 가상현실 콘텐츠를 생성할 수 있다. 이를 통해, 상기 콘텐츠제공모듈(340)은 다양한 시험체에 대한 스캐닝 데이터 및/또는 이미지 데이터만으로 다양한 실험환경에 최적화된 가상현실 콘텐츠를 손쉽게 생성할 수 있고, 가상현실 콘텐츠 생성을 위한 작업시간을 대폭 단축시켜 매우 우수한 작업효율을 얻을 수 있다.
상기 서버제어모듈(350)은 상기 영상분석모듈(320) 및/또는 상기 명령분석모듈(330)로부터 분석결과를 수신하며, 사용자의 명령에 대응하여 상기 아바타가 행동하도록 상기 콘텐츠제공모듈(340)을 제어할 수 있다.
이를 통해, 상기 메타버스 플랫폼 서버(300)는 가상 협업이 가능하고 비대면으로 실시간 원격 실험이 가능한 서비스를 제공할 수 있고, 게스트 사용자가 근접으로 실험결과를 실시간 확인하여 게스트 사용자의 만족도를 증대시킬 수 있다.
본 발명의 실시예에 따르면, 메타버스 플랫폼을 활용하여 핵심연구지원센터 조성, 연구장비 구축, 공동연구 활성화의 추진체계를 마련할 수 있다.
또한, 본 발명의 실시예에 따르면, 가상 협업이 가능하고 비대면으로 실시간 원격 실험이 가능한 서비스를 제공할 수 있고, 사용자가 근접으로 실험결과를 실시간 확인하여 사용자의 만족도를 증대시킬 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: VR 헤드셋
200: 메타버스 플랫폼 서버
200: 메타버스 플랫폼 서버
Claims (13)
- 가상협업 비대면 실시간 원격 실험 시스템에 있어서,
사용자가 휴대하며, 사용자를 촬영하여 사용자 영상정보를 획득하고, 상기 사용자 영상정보를 이용하여 생성된 아바타와, 비대면 실시간 원격 실험을 위한 가상현실 콘텐츠를 표시하는 VR(Virtual Reality) 헤드셋; 및
상기 아바타 및 상기 가상현실 콘텐츠를 생성하여 상기 VR 헤드셋에 제공하고, 상기 VR 헤드셋으로부터 수신한 사용자의 입력정보를 바탕으로 상기 가상현실 콘텐츠의 구현 및/또는 작동을 제어하는 메타버스 플랫폼 서버;
를 포함하는, 가상협업 비대면 실시간 원격 실험 시스템.
- 제1항에 있어서,
상기 메타버스 플랫폼 서버는,
상기 VR 헤드셋과 통신하는 서버통신모듈;
상기 VR 헤드셋으로부터 수신된 사용자의 영상정보로부터 객체를 분석하는 영상분석모듈;
사용자의 명령으로부터 버튼신호 및/또는 사용자의 제스처를 분석하여 그에 대응되는 실행명령을 검출하는 명령분석모듈;
사용자의 영상정보를 분석하여 3차원 객체로 이루어진 아바타를 생성하고, 가상 협업이 가능하고, 비대면으로 실시간 원격 실험이 가능하도록 상기 가상현실 공간 및/또는 상기 가상현실 객체를 포함하는 상기 가상현실 콘텐츠를 생성하는 콘텐츠제공모듈; 및
상기 영상분석모듈 및/또는 상기 명령분석모듈로부터 분석결과를 수신하며, 사용자의 명령에 대응하여 상기 아바타가 행동하도록 상기 콘텐츠제공모듈을 제어하는 서버제어모듈;
을 포함하는 것을 특징으로 하는, 가상협업 비대면 실시간 원격 실험 시스템.
- 제2항에 있어서,
상기 영상분석모듈은,
형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되,
상기 이미지 인식 모델은,
객체 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원하는 것을 특징으로 하는, 가상협업 비대면 실시간 원격 실험 시스템.
- 제2항에 있어서,
상기 콘텐츠제공모듈은,
인공지능모델을 이용한 비전기술을 기반으로 사용자가 선택한 시험체의 스캐닝 데이터 및/또는 이미지 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 상기 가상현실 콘텐츠를 생성하는 것을 특징으로 하는, 가상협업 비대면 실시간 원격 실험 시스템.
- 제1항에 있어서,
상기 VR 헤드셋은,
상기 가상현실 콘텐츠의 원점을 기준으로 사용자의 이동이나 눈의 움직임에 기초하여 사용자의 시선을 감지하는 감지모듈;
감지된 이동 및/또는 시선에 따라 상기 가상현실 콘텐츠의 구동 중 대응하는 시야 영역을 표시하는 표시모듈;
사용자의 명령을 수신하여 입력 처리하는 명령입력모듈;
상기 메타버스 플랫폼 서버와 통신하는 헤드셋통신모듈; 및
상기 헤드셋통신모듈을 통해 수신한 상기 가상현실 콘텐츠가 상기 표시모듈에 표시되도록 처리하는 헤드셋제어모듈;
을 포함하는 것을 특징으로 하는, 가상협업 비대면 실시간 원격 실험 시스템.
- 제5항에 있어서,
상기 감지모듈은,
상기 VR 헤드셋의 이동을 감지하기 위하여 가속도 센서, 각속도 센서, 자이로 센서 중 적어도 하나를 포함하거나, 눈의 방향이나 움직임을 감지하는 아이트래킹 센서를 포함하는 것을 특징으로 하는, 가상협업 비대면 실시간 원격 실험 시스템.
- 제5항에 있어서,
상기 명령입력모듈은,
사용자로부터 선택 신호 및/또는 조작 신호의 명령을 입력받을 수 있도록, 사용자에 의한 버튼 누름을 입력받거나, 사용자의 제스처를 인식하는 것을 특징으로 하는, 가상협업 비대면 실시간 원격 실험 시스템.
- 가상협업 비대면 실시간 원격 실험 시스템에 있어서,
게스트 사용자가 휴대하며, 게스트 사용자를 촬영하여 게스트 사용자 영상정보를 획득하고, 상기 게스트 사용자 영상정보를 이용하여 생성된 아바타와, 비대면 실시간 원격 실험을 위한 가상현실 콘텐츠를 표시하는 게스트 단말기;
호스트 사용자가 사용(휴대)하며, 호스트 사용자를 촬영하여 호스트 사용자 영상정보를 획득하고, 상기 호스트 사용자 영상정보를 이용하여 생성된 호스트 아바타와, 가상 협업 비대면 실시간 원격 실험을 위한 가상현실 콘텐츠를 표시하고, 호스트가 지시하는 지시사항정보를 상기 게스트 단말기 및/또는 하기 메타버스 플랫폼 서버로 제공하는 호스트 단말기; 및
상기 아바타 및 상기 가상현실 콘텐츠를 생성하여 상기 게스트 단말기 및/또는 상기 호스트 단말기에 제공하고, 상기 게스트 단말기 및/또는 상기 호스트 단말기로부터 수신한 게스트 및/또는 호스트의 입력정보를 바탕으로 상기 가상현실 콘텐츠의 구현 및/또는 작동을 제어하는 메타버스 플랫폼 서버;
를 포함하는, 가상협업 비대면 실시간 원격 실험 시스템.
- 제8항에 있어서,
상기 메타버스 플랫폼 서버는,
상기 게스트 단말기 및/또는 상기 호스트 단말기와 통신하는 서버통신모듈;
상기 게스트 단말기 및/또는 상기 호스트 단말기로부터 수신된 게스트 사용자 및/또는 호스트 사용자의 영상정보로부터 객체를 분석하는 영상분석모듈;
게스트 사용자의 명령으로부터 버튼신호 및/또는 게스트 사용자의 제스처를 분석하여 그에 대응되는 실행명령을 검출하는 명령분석모듈;
게스트 사용자 및/또는 호스트 사용자의 영상정보를 분석하여 3차원 객체로 이루어진 아바타를 생성하고, 가상 협업이 가능하고, 비대면으로 실시간 원격 실험이 가능하도록 상기 가상현실 공간 및/또는 상기 가상현실 객체를 포함하는 상기 가상현실 콘텐츠를 생성하는 콘텐츠제공모듈; 및
상기 영상분석모듈 및/또는 상기 명령분석모듈로부터 분석결과를 수신하며, 게스트 사용자의 명령에 대응하여 상기 아바타가 행동하도록 상기 콘텐츠제공모듈을 제어하는 서버제어모듈;
을 포함하는 것을 특징으로 하는, 가상협업 비대면 실시간 원격 실험 시스템.
- 제9항에 있어서,
상기 영상분석모듈은,
형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되,
상기 이미지 인식 모델은,
객체 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원하는 것을 특징으로 하는, 가상협업 비대면 실시간 원격 실험 시스템.
- 제10항에 있어서,
상기 콘텐츠제공모듈은,
인공지능모델을 이용한 비전기술을 기반으로 게스트 사용자가 선택한 시험체의 스캐닝 데이터 및/또는 이미지 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 상기 가상현실 콘텐츠를 생성하는 것을 특징으로 하는, 가상협업 비대면 실시간 원격 실험 시스템.
- 제8항에 있어서,
상기 호스트 단말기는,
비대면 실시간 원격 실험 서비스를 제공하기 위하여, 시험체 재원, 실험장비, 실험조건, 실험방법, 지도사항 중 적어도 하나가 포함된 실험 가이드를 이용하여 상기 지시사항정보를 생성하는 것을 특징으로 하는, 가상협업 비대면 실시간 원격 실험 시스템.
- 제12항에 있어서,
상기 호스트 단말기는,
호스트의 발화, 채팅, 포인터, 드로잉 중 적어도 하나를 추가로 포함하여 상기 지시사항정보로 생성하는 것을 특징으로 하는, 가상협업 비대면 실시간 원격 실험 시스템.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220025386A KR20230127734A (ko) | 2022-02-25 | 2022-02-25 | 가상협업 비대면 실시간 원격 실험 시스템 |
| PCT/KR2023/000620 WO2023163376A1 (ko) | 2022-02-25 | 2023-01-13 | 가상협업 비대면 실시간 원격 실험 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020220025386A KR20230127734A (ko) | 2022-02-25 | 2022-02-25 | 가상협업 비대면 실시간 원격 실험 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230127734A true KR20230127734A (ko) | 2023-09-01 |
Family
ID=87766206
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020220025386A KR20230127734A (ko) | 2022-02-25 | 2022-02-25 | 가상협업 비대면 실시간 원격 실험 시스템 |
Country Status (2)
| Country | Link |
|---|---|
| KR (1) | KR20230127734A (ko) |
| WO (1) | WO2023163376A1 (ko) |
Families Citing this family (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN117539367B (zh) * | 2023-11-20 | 2024-04-12 | 广东海洋大学 | 基于交互式智能实验教学系统的图像识别跟踪方法 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030057507A (ko) | 2003-06-18 | 2003-07-04 | 김스캇 | 인터넷 화상 채팅 기능(Video Conferencing Function)과 웹사이트를 이용한 원거리 자동차 판매 영업 상담 방식 |
Family Cites Families (7)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101360999B1 (ko) * | 2013-08-09 | 2014-02-10 | 코리아디지탈 주식회사 | 증강현실 기반의 실시간 데이터 제공 방법 및 이를 이용한 휴대단말기 |
| KR101763636B1 (ko) * | 2015-10-15 | 2017-08-02 | 한국과학기술원 | 헤드 마운트 디스플레이를 이용한 협업 방법 |
| KR101784172B1 (ko) * | 2016-08-03 | 2017-10-11 | 한국해양과학기술원 | 해양생물 3d 모델링 및 가상체험 콘텐츠의 제작 시스템 및 방법 |
| JP6480627B1 (ja) * | 2018-07-17 | 2019-03-13 | アビームコンサルティング株式会社 | コンテンツ再生制御プログラム |
| KR102291740B1 (ko) * | 2019-11-26 | 2021-08-23 | 주식회사 딥파인 | 영상처리 시스템 |
| KR20210146193A (ko) * | 2020-05-26 | 2021-12-03 | 주식회사 빌리버 | 가상현실을 이용한 원격수업제공방법 |
| KR102341752B1 (ko) * | 2021-09-13 | 2021-12-27 | (주)인더스트리미디어 | 메타버스에서 아바타를 이용한 강의 보조 방법 및 그 장치 |
-
2022
- 2022-02-25 KR KR1020220025386A patent/KR20230127734A/ko not_active Application Discontinuation
-
2023
- 2023-01-13 WO PCT/KR2023/000620 patent/WO2023163376A1/ko unknown
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030057507A (ko) | 2003-06-18 | 2003-07-04 | 김스캇 | 인터넷 화상 채팅 기능(Video Conferencing Function)과 웹사이트를 이용한 원거리 자동차 판매 영업 상담 방식 |
Also Published As
| Publication number | Publication date |
|---|---|
| WO2023163376A1 (ko) | 2023-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108874126B (zh) | 基于虚拟现实设备的交互方法及系统 | |
| Li et al. | A web-based sign language translator using 3d video processing | |
| CN110716645A (zh) | 一种增强现实数据呈现方法、装置、电子设备及存储介质 | |
| JP6527507B2 (ja) | シーン抽象化を用いた人工視覚を促進するためのスマート人工器官 | |
| EP2879022A1 (en) | Three-dimensional user-interface device, and three-dimensional operation method | |
| CN106462242A (zh) | 使用视线跟踪的用户界面控制 | |
| CN106127552B (zh) | 一种虚拟场景显示方法、装置及系统 | |
| CN111898407B (zh) | 一种基于人脸动作识别的人机交互操作系统 | |
| US20190302880A1 (en) | Device for influencing virtual objects of augmented reality | |
| CN114333046A (zh) | 舞蹈动作评分方法、装置、设备和存储介质 | |
| KR20230127734A (ko) | 가상협업 비대면 실시간 원격 실험 시스템 | |
| CN109116987B (zh) | 一种基于Kinect手势控制的全息展示系统 | |
| KR102291740B1 (ko) | 영상처리 시스템 | |
| KR101525011B1 (ko) | Nui 기반의 실감형 가상공간 디스플레이 제어장치 및 제어방법 | |
| Nguyen-Duc-Thanh et al. | A new approach for human-robot interaction using human body language | |
| KR101447958B1 (ko) | 신체 부분 검출 방법 및 장치 | |
| CN106598233A (zh) | 基于手势识别的输入方法及输入系统 | |
| KR20230077178A (ko) | 원격협업 지원 시스템 | |
| RU168332U1 (ru) | Устройство для воздействия на виртуальные объекты дополненной реальности | |
| CN110262662A (zh) | 一种智能人机交互方法 | |
| Gandage et al. | Virtual Paint | |
| Haritaoglu et al. | Attentive Toys. | |
| CN113807280A (zh) | 一种基于Kinect的虚拟船舶机舱系统与方法 | |
| Suenaga et al. | Human reader: An advanced man‐machine interface based on human images and speech | |
| Sobota et al. | Mixed reality: a known unknown |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |