KR20230077178A - 원격협업 지원 시스템 - Google Patents
원격협업 지원 시스템 Download PDFInfo
- Publication number
- KR20230077178A KR20230077178A KR1020210164154A KR20210164154A KR20230077178A KR 20230077178 A KR20230077178 A KR 20230077178A KR 1020210164154 A KR1020210164154 A KR 1020210164154A KR 20210164154 A KR20210164154 A KR 20210164154A KR 20230077178 A KR20230077178 A KR 20230077178A
- Authority
- KR
- South Korea
- Prior art keywords
- module
- voice
- host
- digital object
- server
- Prior art date
Links
- 230000003993 interaction Effects 0.000 claims abstract description 12
- 239000011521 glass Substances 0.000 claims description 54
- 238000000034 method Methods 0.000 claims description 34
- 238000012545 processing Methods 0.000 claims description 32
- 238000004891 communication Methods 0.000 claims description 26
- 238000004458 analytical method Methods 0.000 claims description 22
- 230000008569 process Effects 0.000 claims description 21
- 238000013473 artificial intelligence Methods 0.000 claims description 15
- 238000010191 image analysis Methods 0.000 claims description 11
- 230000003190 augmentative effect Effects 0.000 claims description 10
- 230000007547 defect Effects 0.000 claims description 8
- 230000008859 change Effects 0.000 claims description 7
- 238000012549 training Methods 0.000 claims description 6
- 238000013135 deep learning Methods 0.000 claims description 5
- 238000005516 engineering process Methods 0.000 claims description 5
- 238000003058 natural language processing Methods 0.000 claims description 5
- 238000000926 separation method Methods 0.000 claims description 3
- 238000012360 testing method Methods 0.000 claims description 3
- 238000010586 diagram Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 3
- 230000008451 emotion Effects 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000014509 gene expression Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 208000003028 Stuttering Diseases 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000008909 emotion recognition Effects 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 238000011002 quantification Methods 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000012800 visualization Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/06—Buying, selling or leasing transactions
- G06Q30/0601—Electronic shopping [e-shopping]
- G06Q30/0641—Shopping interfaces
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/16—Sound input; Sound output
- G06F3/167—Audio in a user interface, e.g. using voice commands for navigating, audio feedback
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q10/00—Administration; Management
- G06Q10/10—Office automation; Time management
- G06Q10/103—Workflow collaboration or project management
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T19/00—Manipulating 3D models or images for computer graphics
- G06T19/006—Mixed reality
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/282—Image signal generators for generating image signals corresponding to three or more geometrical viewpoints, e.g. multi-view systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/81—Monomedia components thereof
- H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/57—Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
Landscapes
- Engineering & Computer Science (AREA)
- Business, Economics & Management (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Multimedia (AREA)
- Strategic Management (AREA)
- Human Resources & Organizations (AREA)
- Signal Processing (AREA)
- Economics (AREA)
- General Business, Economics & Management (AREA)
- Marketing (AREA)
- General Engineering & Computer Science (AREA)
- Entrepreneurship & Innovation (AREA)
- Finance (AREA)
- Accounting & Taxation (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- General Health & Medical Sciences (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computer Graphics (AREA)
- Computer Hardware Design (AREA)
- Software Systems (AREA)
- Audiology, Speech & Language Pathology (AREA)
- Data Mining & Analysis (AREA)
- Development Economics (AREA)
- Operations Research (AREA)
- Quality & Reliability (AREA)
- Tourism & Hospitality (AREA)
- User Interface Of Digital Computer (AREA)
Abstract
본 발명은 다자간 인터렉션을 활용하여 물리적으로 다른 공간에 있는 두 명 이상의 사용자끼리 디지털 객체를 동시에 확인, 조작, 상호작용 등이 가능한 원격협업 지원 시스템에 관한 것으로, 본 발명의 일 실시예는 다자간 인터렉션을 활용하여 비대면 쇼핑을 지원하는 원격협업 지원 시스템에 있어서, 호스트가 휴대하며, 협업대상제품을 촬영하여 제품영상정보를 획득하고, 상기 제품영상정보에 관련된 디지털 객체를 표시하는 호스트 단말기; 상기 호스트 단말기에서 획득한 상기 제품영상정보 및 상기 디지털 객체를 표시하며, 게스트가 지시하는 지시사항정보를 상기 호스트 단말기 및/또는 하기 서버로 제공하는 게스트 단말기; 및 상기 호스트 단말기와 상기 게스트 단말기 사이에서 데이터를 상호 중계하고, 상기 제품영상정보에 정합되어 표시되도록 상기 디지털 객체를 생성하여 상기 호스트 단말기에 제공하고, 상기 지시사항정보를 바탕으로 상기 디지털 객체의 구현 및/또는 작동을 제어하는 서버를 포함하는, 원격협업 지원 시스템을 제공한다.
Description
본 발명은 원격협업 지원 시스템에 관한 것으로, 더욱 상세하게는 다자간 인터렉션을 활용하여 물리적으로 다른 공간에 있는 두 명 이상의 사용자끼리 디지털 객체를 동시에 확인, 조작, 상호작용 등이 가능한 원격협업 지원 시스템에 관한 것이다.
최근, 소비자들은 인터넷의 발달과 모바일 기기의 보급으로 온라인 쇼핑 시장을 통해 다양한 제품을 구매하고 있다.
다만, 자동차와 같은 특정 제품은 크기, 가격 및 특유의 소비 특성상 게스트가 직접 확인하고 체험해보는 것이 매우 중요하다. 이로 인해, 게스트들은 자동차와 같은 제품을 판매하는 매장을 방문하여 제품을 직접 확인하고 조작해본 후 구매하고 있다.
그러나, 일부 제품의 경우, 운영 여건상 판매자가 일부 지역에만 매장을 운영하고 있기 때문에, 매장과 멀리 떨어진 곳에 거주하는 구매 희망자는 먼 거리를 이동하여 매장을 방문하는 불편함을 겪고 있다.
본 발명이 해결하고자 하는 기술적 과제는 다자간 인터렉션을 활용하여 물리적으로 다른 공간에 있는 두 명 이상의 사용자끼리 디지털 객체를 동시에 확인, 조작, 상호작용 등이 가능한 원격협업 지원 시스템을 제공하는 것이다.
또한, 본 발명이 해결하고자 하는 기술적 과제는 매장을 직접 방문하지 않더라도 호스트와 게스트가 디지털 객체를 이용하여 비대면으로 제품의 기능을 설명 및 체험할 수 있는 원격협업 지원 시스템을 제공하는 것이다.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 언급되지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 기술적 과제를 달성하기 위하여, 본 발명의 일 실시예는 다자간 인터렉션을 활용하여 비대면 쇼핑을 지원하는 원격협업 지원 시스템에 있어서, 호스트가 휴대하며, 협업대상제품을 촬영하여 제품영상정보를 획득하고, 상기 제품영상정보에 관련된 디지털 객체를 표시하는 호스트 단말기; 상기 호스트 단말기에서 획득한 상기 제품영상정보 및 상기 디지털 객체를 표시하며, 게스트가 지시하는 지시사항정보를 상기 호스트 단말기 및/또는 하기 서버로 제공하는 게스트 단말기; 및 상기 호스트 단말기와 상기 게스트 단말기 사이에서 데이터를 상호 중계하고, 상기 제품영상정보에 정합되어 표시되도록 상기 디지털 객체를 생성하여 상기 호스트 단말기에 제공하고, 상기 지시사항정보를 바탕으로 상기 디지털 객체의 구현 및/또는 작동을 제어하는 서버를 포함하는, 원격협업 지원 시스템을 제공한다.
본 발명의 실시예에 있어서, 상기 호스트 단말기는, 호스트의 안면에 착용되는 프레임, 상기 프레임에 설치되는 렌즈 및 상기 프레임에 결합되어 기 설정된 좌표영역이 표시되도록 설정된 디스플레이를 포함하는 글래스모듈; 상기 프레임에 설치되어 호스트의 시선 및/또는 이동에 따라 호스트가 바라보는 현장을 실시간으로 촬영하여 상기 제품영상정보를 획득하는 카메라모듈; 상기 프레임에 적어도 하나가 설치되어 호스트의 음성을 입력처리하는 음성입력모듈; 상기 프레임에 설치되어 상기 게스트 단말기 및/또는 상기 서버와 통신하는 글래스통신모듈; 및 설정된 인공지능모델을 이용하여 상기 제품영상정보로부터 설정된 불량 및/또는 균열을 검출하고, 검출된 불량 및/또는 균열이 확인 가능하도록 상기 글래스모듈에 표시시키며, 상기 글래스통신모듈을 통해 수신한 상기 디지털 객체를 상기 글래스모듈에 표시되도록 처리하고, 상기 음성에 대응하여 설정된 동작을 수행하도록 처리하는 글래스제어모듈을 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 글래스제어모듈은, 상기 서버로부터 수신한 상기 디지털 객체가 상기 글래스모듈에서 표시되도록 상기 디지털 객체를 신호처리하여 상기 글래스모듈에 제공하는 영상처리부; 상기 음성입력모듈로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈을 통해 상기 서버로 음성명령을 제공하는 음성처리부; 및 상기 영상처리부에서 신호처리된 상기 디지털 객체가 호스트의 음성에 매칭되어 상기 글래스모듈에 표시되도록, 상기 영상처리부 및/또는 상기 음성처리부를 제어하는 메인제어부을 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 음성처리부는, 호스트의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이에 설정된 좌표영역에 대한 키워드를 추출하거나, 디지털 객체의 실행명령에 대한 키워드를 추출하여 음성명령으로 신호처리하고 상기 서버에 음성명령을 제공할 수 있다.
본 발명의 실시예에 있어서, 상기 서버는, 상기 호스트 단말기 및/또는 상기 게스트 단말기와 통신하는 서버통신모듈; 상기 인공지능모델을 이용하여 상기 제품영상정보로부터 설정된 객체를 추출하는 영상분석모듈; 상기 호스트 단말기로부터 수신한 상기 음성명령으로부터 키워드 및/또는 입력신호를 분석하는 음성명령분석모듈; 설정된 산업 도메인의 데이터를 바탕으로 상기 인공지능모델을 설정하고, 상기 객체에 상기 지시사항정보를 반영하여 상기 디지털 객체를 생성하며, 상기 제품영상정보의 객체의 각 위치에 표시되도록 상기 디지털 객체에 좌표를 정합하는 컨텐츠제공모듈; 및 상기 영상분석모듈 및/또는 상기 음성명령분석모듈로부터 분석결과를 수신하며 상기 제품영상정보, 상기 지시사항정보 및/또는 상기 음성명령에 대응하는 상기 디지털 객체를 매칭하여 상기 호스트 단말기에 제공하도록, 상기 컨텐츠제공모듈을 제어하는 서버제어모듈을 포함할 수 있다.
본 발명의 실시예에 있어서, 상기 영상분석모듈은, 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되, 상기 이미지 인식 모델은, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원할 수 있다.
본 발명의 실시예에 있어서, 상기 음성명령분석모듈은, 노이즈와 음성을 분리하고, 분리된 노이즈와 음성을 딥러닝 학습하고, 딥러닝을 통해 학습된 인공지능 모델에 음성인식 기법을 적용하여 음성데이터를 텍스트로 변환하는 상기 자연어 처리모델을 이용하여 상기 음성명령을 분석할 수 있다.
본 발명의 실시예에 있어서, 상기 컨텐츠제공모듈은, 상기 인공지능모델을 이용한 비전기술을 기반으로 상기 호스트 단말기로부터 수신한 모델링 대상물의 360도 스캐닝 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 증강현실 컨텐츠를 생성할 수 있다.
본 발명의 실시예에 따르면, 다자간 인터렉션을 활용하여 물리적으로 다른 공간에 있는 두 명 이상의 사용자끼리 디지털 객체를 동시에 확인, 조작, 상호작용 등이 가능한 원격협업 지원 시스템을 제공할 수 있다.
또한, 본 발명의 실시예에 따르면, 매장을 직접 방문하지 않더라도 호스트와 게스트가 디지털 객체를 이용하여 비대면으로 제품의 기능을 설명 및 체험할 수 있다.
본 발명의 효과는 상기한 효과로 한정되는 것은 아니며, 본 발명의 상세한 설명 또는 특허청구범위에 기재된 발명의 구성으로부터 추론 가능한 모든 효과를 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 원격협업 지원 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 호스트 단말기 및 서버의 구성을 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 호스트 단말기의 외형을 나타내는 도면이다.
도 4는 도 2의 글래스제어모듈의 세부 구성을 예시적으로 나타내는 도면이다.
도 5 내지 도 8은 본 발명의 일 실시예에 따른 판매 제품에 정합된 디지털 객체의 조작을 나타내는 도면들이다.
도 2는 본 발명의 일 실시예에 따른 호스트 단말기 및 서버의 구성을 예시적으로 나타내는 도면이다.
도 3은 본 발명의 일 실시예에 따른 호스트 단말기의 외형을 나타내는 도면이다.
도 4는 도 2의 글래스제어모듈의 세부 구성을 예시적으로 나타내는 도면이다.
도 5 내지 도 8은 본 발명의 일 실시예에 따른 판매 제품에 정합된 디지털 객체의 조작을 나타내는 도면들이다.
이하에서는 첨부한 도면을 참조하여 본 발명을 설명하기로 한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 따라서 여기에서 설명하는 실시예로 한정되는 것은 아니다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 다른 부분과 "연결(접속, 접촉, 결합)"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다.
본 명세서에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
본 발명은 다자간 인터렉션을 활용하여 물리적으로 다른 공간에 있는 두 명 이상의 사용자끼리 디지털 객체를 동시에 확인, 조작, 상호작용 등이 가능하도록 지원하는 원격협업 지원 시스템을 핵심으로 한다. 특히, 본 발명은 비대면 쇼핑에 적합할 뿐만 아니라 제조, 정비, 설비 분야에서도 효과적으로 적용이 가능한 기술이다. 예를 들면, 본 발명은 제조시설 또는 차량/항공 엔진 정비에 대해 디지털 객체를 증강시킨 후 원격 협업을 진행할 수 있다.
본 발명에서는 편의상 사용자를 호스트와 게스트로 구분하였으며, 호스트는 협업대상제품에 대한 정보(실물영상, 디지털 객체 등)을 생성, 출력, 조작 등을 수행할 수 있고, 게스트는 호스트로부터 제공받은 협어대상제품에 대한 정보를 출력, 조작 등을 수행할 수 있다.
이하 첨부된 도면을 참고하여 본 발명의 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 원격협업 지원 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 원격협업 지원 시스템은 호스트 단말기(100), 게스트 단말기(200) 및 서버(300)를 포함할 수 있다.
상기 호스트 단말기(100)는 상기 게스트 단말기(200) 및/또는 상기 서버(300)와 통신망으로 연결되고, 협업대상제품(판매제품)을 촬영하여 제품영상정보를 획득하고, 확장현실(XR)을 바탕으로 상기 제품영상정보에 관련된 디지털 객체를 표시할 수 있다. 또는, 상기 호스트 단말기(100)는 호스트의 신체(안면)에 착용되어 상기 게스트 단말기(200) 및/또는 상기 서버(300)로 호스트가 바라보는 판매제품 및/또는 물체를 촬영한 영상을 실시간으로 제공할 수 있다. 이를 위하여, 상기 호스트 단말기(100)는 글래스모듈(110), 카메라모듈(120), 음성입력모듈(130), 글래스통신모듈(140) 및 글래스제어모듈(150)을 포함할 수 있다.
도 3을 더 참조하면, 상기 글래스모듈(110)은 호스트의 안면에 착용할 수 있도록 안경 형태의 형상으로 형성될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 호스트의 안면에 착용되는 프레임(112), 상기 프레임(112)에 설치되는 렌즈(114) 및 상기 프레임(112)에 결합되어 기 설정된 좌표영역이 표시되도록 설정된 디스플레이(116)을 포함할 수 있다.
여기서, 상기 글래스모듈(110)은 상기 카메라모듈(120), 상기 음성입력모듈(130), 상기 글래스통신모듈(140) 및 상기 글래스제어모듈(150)을 상기 프레임(112) 및/또는 상기 디스플레이(116)에 결합 및/또는 내장할 수 있다.
또한, 상기 글래스모듈(110)은 눈금자 유저인터페이스로 상기 디스플레이(116)에 좌표영역이 설정될 수 있다. 이를 위하여, 상기 글래스모듈(110)은 눈금자 유저인터페이스를 상기 디스플레이(116)에서 별도의 고정출력신호에 따라 표시하거나, 눈금자 유저인터페이스가 포함된 영상신호를 수신하여 상기 디스플레이(116)에서 출력할 수 있다.
상기 카메라모듈(120)은 상기 프레임(112)의 일측에 설치되어 호스트의 시선 및/또는 이동에 따라 호스트가 바라보는 물체를 실시간으로 촬영하여 실물영상을 생성할 수 있다.
상기 음성입력모듈(130)은 상기 프레임(112)의 일측에 적어도 하나가 설치되어 호스트의 음성을 입력 처리할 수 있다. 예를 들면, 상기 음성입력모듈(130)은 마이크로 구현되며, 상기 글래스모듈(110)을 착용한 호스트의 발화로부터 음성을 감지할 수 있다. 이때, 상기 음성입력모듈(130)이 감지하는 소리는 호스트에 의한 발화와, 호스트 이외에 다양한 요인에 의해 발생하는 소리를 포함할 수 있다.
상기 글래스통신모듈(140)은 상기 프레임(112)의 일측에 설치되며, 통신망을 통해 상기 서버(300)와 통신할 수 있다. 이러한 상기 글래스통신모듈(140)은 상기 서버(300)의 통신 프로토콜(protocol)에 따라서 유선/무선을 통한 광역/근거리 네트워크나 로컬 접속 방식으로 상기 서버(300)에 접속할 수 있다.
상기 글래스제어모듈(150)은 설정된 인공지능모델을 이용하여 상기 제품영상정보로부터 설정된 불량 및/또는 균열을 검출하고, 검출된 불량 및/또는 균열이 확인 가능하도록 상기 글래스모듈(110)에 표시시키며, 상기 글래스통신모듈(140)을 통해 수신한 상기 디지털 객체를 상기 글래스모듈(110)에 표시되도록 처리하고, 상기 음성에 대응하여 설정된 동작을 수행하도록 처리할 수 있다. 또한, 상기 글래스제어모듈(150)은 수신한 영상신호를 상기 글래스모듈(110)의 디스플레이(116)에 표시되도록 처리하고, 상기 음성에 대응하여 기 설정된 동작을 수행하도록 처리할 수 있다. 이를 위하여, 상기 글래스제어모듈(150)은 도 4에 도시된 바와 같이 영상처리부(152), 음성처리부(154), 메인제어부(156)를 포함할 수 있다.
상기 영상처리부(152)는 상기 서버(300)로부터 수신한 디지털 객체가 상기 글래스모듈(110)에서 표시되도록 상기 디지털 객체를 신호처리하여 상기 글래스모듈(110)로 제공할 수 있다. 여기서, 상기 영상처리부(152)는 수신된 디지털 객체에 포함된 영상신호에 대해 다양한 영상처리 프로세스를 수행할 수 있다. 또한, 상기 영상처리부(152)는 이러한 프로세스를 수행한 영상신호를 상기 글래스모듈(110)의 디스플레이(116)을 통해 출력시킬 수 있다. 이를 통해, 상기 영상처리부(152)는 상기 디스플레이(116)에 해당 영상신호에 기초하는 영상을 표시되게 만들 수 있다. 예를 들면, 상기 영상처리부(152)는 수신한 디지털 객체로부터 해당 디지털 객체에 대응하는 영상, 음성 및 부가데이터를 추출하고, 기 설정된 해상도로 조정하여 상기 글래스모듈(110)을 통해 출력시킬 수 있다.
상기 영상처리부(152)가 수행하는 영상처리 프로세스의 종류는 한정되지 않으며, 예를 들면 영상데이터의 영상 포맷에 대응하는 디코딩(decoding), 인터레이스(interlace) 방식의 영상데이터를 프로그레시브(progressive) 방식으로 변환하는 디인터레이싱(de-interlacing), 영상데이터를 기 설정된 해상도로 조정하는 스케일링(scaling), 영상 화질 개선을 위한 노이즈 감소(noise reduction), 디테일 강화(detail enhancement), 프레임 리프레시 레이트(frame refresh rate) 변환 등을 포함할 수 있다.
상기 음성처리부(154)는 상기 음성입력모듈(130)로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈(140)을 통해 상기 서버(300)로 음성명령을 제공할 수 있다.
구체적으로, 상기 음성처리부(154)는 상기 음성입력모듈(130)에 입력되는 음성 및/또는 소리에 대한 음성처리 프로세스를 수행할 수 있다. 여기서, 상기 음성처리부(154)는 상기 음성입력모듈(130)에 음성 및/또는 소리가 입력되면, 입력된 음성 및/또는 소리가 호스트에 의한 발화인지 아니면 기타 요인에 의하여 발생한 소리인지 여부를 판단할 수 있다. 그러나, 이러한 판단 방법은 다양한 구조가 적용될 수 있으므로 입력된 음성 및/또는 소리가 사람의 목소리에 대응하는 파장 및/또는 주파수 대역에 해당하는지 판단하거나, 또는 사전에 지정된 호스트의 음성의 프로파일에 해당하는지 판단하는 등의 방법을 사용할 수 있다.
또한, 상기 음성처리부(154)는 호스트의 발화가 입력된 것으로 판단되면, 상기 음성으로부터 상기 디스플레이(116)에 설정된 좌표영역에 대한 키워드(이하, 좌표영역 키워드)를 추출하거나, 디지털 객체의 실행명령에 대한 키워드(실행명령 키워드)를 추출하여 음성명령으로 신호처리하고 상기 서버(300)에 음성명령을 제공할 수 있다. 이를 통해, 상기 음성처리부(154)는 호스트의 발화에 따라 기 설정된 대응 동작이 수행될 수 있도록 지원할 수 있다.
상기 메인제어부(156)는 상기 음성입력모듈(130)을 통해 호스트의 음성이 입력되면, 입력된 음성을 신호처리하도록 상기 음성처리부(154)를 제어할 수 있다. 또한, 상기 메인제어부(156)는 상기 영상처리부(152)를 통해 디지털 객체를 영상신호로 신호처리하여 상기 글래스모듈(110)로 표시할 때 상기 음성입력모듈(130)을 통해 컨텐츠에 대한 실행을 명령하는 호스트의 음성이 입력되면 음성명령을 실행하도록 상기 영상처리부(152)를 제어할 수 있다.
상기와 같은, 상기 글래스제어모듈(150)은 이러한 여러 기능을 통합시킨 SOC(system-on-chip), 또는 이러한 각 프로세스를 독자적으로 수행할 수 있는 개별적인 구성들이 인쇄회로기판 상에 장착됨으로써 영상처리보드(미도시)로 구현되어 상기 글래스모듈(110)에 내장될 수 있다.
상기 게스트 단말기(200)는 상기 호스트 단말기(100)에서 획득한 제품영상정보 및 상기 디지털 객체를 표시하며, 게스트가 지시하는 지시사항정보를 상기 호스트 단말기(100) 및/또는 상기 서버(300)로 제공할 수 있다. 여기서, 상기 게스트 단말기(200)는 기 설정된 좌표영역이 접목 및/또는 반영된 상기 지시사항정보를 생성할 수 있다. 또한, 상기 게스트 단말기(200)는 게스트의 발화를 상기 지시사항정보로 생성할 수 있다. 또한, 상기 게스트 단말기(200)는 상기 제품영상정보를 바탕으로 게스트의 포인터나 드로잉 정보가 접목 및/또는 반영된 상기 지시사항정보를 생성할 수 있다. 이러한 상기 게스트 단말기(200)는 상기 호스트 단말기(100)와 실시간으로 다자간 인터렉션을 수행하여 다자간 원격 통화 및/또는 상기 디지털 객체의 조작을 수행할 수 있다.
상기 서버(300)는 상기 호스트 단말기(100)와 상기 게스트 단말기(200) 사이에서 데이터를 상호 중계하고, 상기 제품영상정보에 정합되어 표시되도록 상기 디지털 객체를 생성하여 상기 호스트 단말기(100)에 제공하고, 상기 지시사항정보를 바탕으로 상기 디지털 객체의 구현 및/또는 작동을 제어할 수 있다. 이때, 상기 서버(300)는 호스트가 상기 판매제품을 보유한 경우 상기 디지털 객체를 상기 제품영상정보에 정합되는 증강현실 데이터로 생성할 수 있다. 만약, 호스트가 상기 판매제품을 보유하지 않은 경우, 호스트의 요청에 따라 상기 서버(300)는 기 보유한 판매제품 데이터를 바탕으로 상기 디지털 객체를 가상현실(VR) 데이터로 생성할 수 있다. 이러한 상기 서버(300)는 상황에 따라 증강현실 데이터 또는 가상현실 데이터를 선택적으로 생성하여 확장현실(XR)을 바탕으로 하는 디지털 객체를 생성할 수 있다.
또한, 상기 서버(300)는 상기 호스트 단말기(100)로부터 상기 음성명령을 수신하여 상기 음성명령을 분석하고, 상기 음성명령에 대응하는 디지털 객체를 상기 호스트 단말기(100)에게 제공할 수 있다. 이를 위하여, 상기 서버(300)는 서버통신모듈(210), 영상분석모듈(220), 음성명령분석모듈(230), 컨텐츠제공모듈(240), 서버제어모듈(250)을 포함할 수 있다.
상기 서버통신모듈(210)은 통신망을 통해 상기 글래스통신모듈(140)과 통신할 수 있다. 여기서, 상기 서버통신모듈(210)은 상기 글래스통신모듈(140)로부터 제품영상정보 및/또는 음성명령을 수신하고, 상기 디지털 객체를 영상신호로 송신할 수 있다.
또한, 상기 서버통신모듈(210)은 통신망을 통해 상기 게스트 단말기(200)와 통신할 수 있다. 여기서, 상기 서버통신모듈(210)은 상기 게스트 단말기(200)로부터 상기 지시사항정보를 수신할 수 있다.
상기 영상분석모듈(220)은 상기 호스트 단말기(100)로부터 수신된 제품영상정보로부터 객체를 분석하고, 분석결과를 상기 컨텐츠제공모듈(240) 및/또는 상기 서버제어모듈(250)로 제공할 수 있다. 예를 들면, 상기 영상분석모듈(220)은 기 설정된 이미지 인식 모델을 이용하여 영상으로부터 객체를 구분하고, 구분된 객체를 생명체와 사물로 분석할 수 있다.
여기서, 상기 이미지 인식 모델은 형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정될 수 있으며, 상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리, (오브젝트 디텍션, OCR, 바코드 또는 QR코드, 객체 추적 등을) 시뮬레이션하는 인식처리 등의 항목을 지원할 수 있다.
예를 들면, 상기 이미지 인식 모델은 상기 데이터 아규먼트가 적용된 이미지 데이터셋 약 1만장 기준으로 약 94% 이상의 정확도를 확보할 수 있다.
또한, 상기 영상분석모듈(220)은 상기 제품영상정보를 자체 학습시킨 인공지능모델로 분석하여 균열, 파손 등과 같은 결함 파악과 함께 데이터 정량화 및/또는 가시화 기술을 구현할 수 있다.
상기 음성명령분석모듈(230)은 상기 호스트 단말기(100)로부터 수신한 음성명령으로부터 상기 음성명령에 포함된 키워드를 분석하고, 상기 컨텐츠제공모듈(240) 및/또는 상기 서버제어모듈(250)로 제공할 수 있다. 예를 들면, 상기 음성명령분석모듈(230)은 상기 음성명령에 포함된 좌표영역 키워드 또는 실행명령 키워드를 분석할 수 있다. 이때, 상기 음성명령분석모듈(230)은 자연어 인식에 관련된 처리모델(이하, 자연어 처리모델)을 이용하여 음성명령을 분석할 수 있다.
여기서, 상기 자연어 처리모델은 노이즈와 음성을 분리하여 딥러닝 학습할 수 있다. 또한, 상기 자연어 처리모델은 딥러닝을 통해 학습된 인공지능 모델에 음성인식(speech-to-text) 기법을 적용하여 음성 데이터를 텍스트로 변환할 수 있다.
또한, 상기 음성명령분석모듈(230)은 음성에 대한 감정 판별 엔진의 음성 감정 인식 특성(Voice Emotion Recognition Feature: VERF)을 이용하여 호스트의 감정을 분석할 수 있다.
예를 들면, 호스트의 음성에서 피치(pitch) 측면으로 소리가 떨리고 더듬거리며 같은 단어를 반복하는 경우, 또는 음색(timbre) 측면으로 호스트의 고유 습관이 있는 경우, 톤(tone) 측면으로 목소리 톤 변화가 크게 없거나 목소리 톤의 높낮이가 느껴지지만 인위적인 경우에, 상기 음성명령분석모듈(230)은 호스트의 다양한 감정을 분석할 수 있다. 즉, 음성명령분석모듈(230)은 호스트가 발화했을 때 불안해하는 부분, 서두르는 부분, 애매한 부분 등을 분석하여 분석 결과를 생성할 수 있다.
상기 컨텐츠제공모듈(240)은 설정된 산업 도메인의 데이터를 바탕으로 상기 인공지능모델을 설정하고, 상기 객체에 상기 지시사항정보를 반영하여 상기 디지털 객체를 생성하며, 상기 제품영상정보의 객체의 각 위치에 표시되도록 상기 디지털 객체에 좌표를 정합할 수 있다.
여기서, 상기 컨텐츠제공모듈(240)은 상기 호스트 단말기(100)에서 촬영한 영상에 대한 정보(이하, 영상정보)를 저장하고, 상기 영상정보, 상기 좌표영역 키워드 또는 상기 실행명령 키워드에 대응하는 증강현실 정합태그(좌표 그리드 정보)를 이용하여 디지털 객체를 생성하며, 상기 서버제어모듈(250)의 제어에 따라 디지털 객체를 상기 호스트 단말기로 제공할 수 있다. 이때, 상기 컨텐츠제공모듈(240)은 상기 영상정보, 상기 좌표영역 키워드 및 상기 실행명령 키워드와, 상기 디지털 객체를 상호 대응하게 맵핑하는 관계 데이터베이스를 저장할 수 있다.
또한, 상기 컨텐츠제공모듈(240)은 손쉽게 증강현실 모델링을 수행할 수 있다. 여기서, 상기 컨텐츠제공모듈(240)은 인공지능모델을 이용한 비전기술(라이브 증강현실 툴킷)을 기반으로 상기 호스트 단말기(100)로부터 수신한 모델링 대상물의 360도 스캐닝 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 증강현실 컨텐츠를 생성할 수 있다. 이를 통해, 상기 컨텐츠제공모듈(240)은 전문적인 기술없이 사진 촬영만으로 각 산업현장에서 최적화된 증강현실 컨텐츠를 손쉽게 생산할 수 있고, 증강현실 컨텐츠 생성을 위한 작업시간을 대폭 단축시켜 매우 우수한 작업효율을 얻을 수 있다.
상기 서버제어모듈(250)은 상기 영상분석모듈(320) 및/또는 상기 음성명령분석모듈(330)로부터 분석결과를 수신하며 상기 제품영상정보, 상기 지시사항정보 및/또는 상기 음성명령에 대응하는 상기 디지털 객체를 매칭하여 상기 호스트 단말기(100)에 제공하도록, 상기 컨텐츠제공모듈(340)을 제어할 수 있다.
이를 통해, 상기 서버(300)는 비대면 쇼핑을 위하여 현장의 호스트와, 하나 이상의 게스트 간의 다자간 인터렉션을 활용하여 확장현실(XR)을 바탕으로 하는 디지털 객체를 활용 및/또는 감상할 수 있도록 상기 호스트 단말기(100)와 상기 게스트 단말기(200)를 중계할 수 있다.
[실시예]
도 5 내지 도 8은 본 발명의 일 실시예에 따른 판매 제품에 정합된 디지털 객체의 조작을 나타내는 도면들이다.
도 5 내지 도 8을 참조하면, 본 발명의 일 실시예에 따른 원격협업 지원 시스템에서는 자동차를 판매하는 호스트와 하나 이상의 게스트가 인원수 제약없이 참여하는 다자간 영상 및 음성통신이 가능한 다자간 영상통화에서 게스트의 요청에 따라 호스트가 자동차의 다양한 옵션 및/또는 기능을 선택적으로 적용하여 디지털 객체를 구현할 수 있다.
게스트는 표시장치를 통해 호스트가 제공하는 판매 제품에 대한 제품영상정보 및 디지털 객체를 출력시켜 감상할 수 있다. 또한, 게스트는 호스트뿐만 아니라 다른 게스트와 함께 디지털 객체를 동시에 조작할 수 있으며, 매장을 직접 방문하지 않더라도 자동차의 기능을 체험해볼 수 있어서 비대면으로 쇼핑을 즐길 수 있다.
또한, 호스트는 게스트의 요청에 따라 다양한 옵션과 기능을 선택적으로 적용하여 게스트에게 보여줄 수 있고, 게스트가 디지털 객체를 감상 및/또는 체험하는 도중에 실시간으로 구매 비용 견적을 제공할 수 있으며, 게스트는 호스트가 제공하는 구매 비용 견적을 실시간으로 가감하거나 수정할 수 있다.
또한, 호스트는 판매 제품인 자동차의 핵심 장점인 엔진을 자세하게 설명하기 위하여 엔진에 대한 디지털 객체를 별도로 구현하여 게스트에게 판매 포인트로 어필할 수 있다.
본 발명의 실시예에 따르면, 다자간 인터렉션을 활용하여 원격지의 사용자끼리 디지털 객체를 조작할 수 있다. 또한, 본 발명의 실시예에 따르면, 매장을 직접 방문하지 않더라도 자동차의 기능을 체험해볼 수 있어서 비대면으로 쇼핑을 즐길 수 있다. 또한, 본 발명의 실시예에 따르면, 게스트가 확장현실을 구현하는 단말기를 보유하지 않더라도 호스트가 제공하는 정보만 수신하여 장치 부담없이 편리하게 판매 제품을 감상할 수 있다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100: 호스트 단말기
200: 게스트 단말기
300: 서버
200: 게스트 단말기
300: 서버
Claims (8)
- 다자간 인터렉션을 활용하여 원격협업을 지원하는 원격협업 지원 시스템에 있어서,
호스트가 휴대하며, 협업대상제품을 촬영하여 제품영상정보를 획득하고, 상기 제품영상정보에 관련된 디지털 객체를 표시하는 호스트 단말기;
상기 호스트 단말기에서 획득한 상기 제품영상정보 및 상기 디지털 객체를 표시하며, 게스트가 지시하는 지시사항정보를 상기 호스트 단말기 및/또는 하기 서버로 제공하는 게스트 단말기; 및
상기 호스트 단말기와 상기 게스트 단말기 사이에서 데이터를 상호 중계하고, 상기 제품영상정보에 정합되어 표시되도록 상기 디지털 객체를 생성하여 상기 호스트 단말기에 제공하고, 상기 지시사항정보를 바탕으로 상기 디지털 객체의 구현 및/또는 작동을 제어하는 서버;
를 포함하는, 원격협업 지원 시스템.
- 제1항에 있어서,
상기 호스트 단말기는,
호스트의 안면에 착용되는 프레임, 상기 프레임에 설치되는 렌즈 및 상기 프레임에 결합되어 기 설정된 좌표영역이 표시되도록 설정된 디스플레이를 포함하는 글래스모듈;
상기 프레임에 설치되어 호스트의 시선 및/또는 이동에 따라 호스트가 바라보는 현장을 실시간으로 촬영하여 상기 제품영상정보를 획득하는 카메라모듈;
상기 프레임에 적어도 하나가 설치되어 호스트의 음성을 입력처리하는 음성입력모듈;
상기 프레임에 설치되어 상기 게스트 단말기 및/또는 상기 서버와 통신하는 글래스통신모듈; 및
설정된 인공지능모델을 이용하여 상기 제품영상정보로부터 설정된 불량 및/또는 균열을 검출하고, 검출된 불량 및/또는 균열이 확인 가능하도록 상기 글래스모듈에 표시시키며, 상기 글래스통신모듈을 통해 수신한 상기 디지털 객체를 상기 글래스모듈에 표시되도록 처리하고, 상기 음성에 대응하여 설정된 동작을 수행하도록 처리하는 글래스제어모듈;
을 포함하는 것을 특징으로 하는, 원격협업 지원 시스템.
- 제2항에 있어서,
상기 글래스제어모듈은,
상기 서버로부터 수신한 상기 디지털 객체가 상기 글래스모듈에서 표시되도록 상기 디지털 객체를 신호처리하여 상기 글래스모듈에 제공하는 영상처리부;
상기 음성입력모듈로부터 수신한 음성을 명령으로 신호처리하여 상기 글래스통신모듈을 통해 상기 서버로 음성명령을 제공하는 음성처리부; 및
상기 영상처리부에서 신호처리된 상기 디지털 객체가 호스트의 음성에 매칭되어 상기 글래스모듈에 표시되도록, 상기 영상처리부 및/또는 상기 음성처리부를 제어하는 메인제어부;
을 포함하는 것을 특징으로 하는, 원격협업 지원 시스템.
- 제3항에 있어서,
상기 음성처리부는,
호스트의 발화가 입력된 것으로 판단되면, 음성으로부터 상기 디스플레이에 설정된 좌표영역에 대한 키워드를 추출하거나, 디지털 객체의 실행명령에 대한 키워드를 추출하여 음성명령으로 신호처리하고 상기 서버에 음성명령을 제공하는 것을 특징으로 하는, 원격협업 지원 시스템.
- 제2항에 있어서,
상기 서버는,
상기 호스트 단말기 및/또는 상기 게스트 단말기와 통신하는 서버통신모듈;
상기 인공지능모델을 이용하여 상기 제품영상정보로부터 설정된 객체를 추출하는 영상분석모듈;
상기 호스트 단말기로부터 수신한 음성명령으로부터 키워드 및/또는 입력신호를 분석하는 음성명령분석모듈;
설정된 산업 도메인의 데이터를 바탕으로 상기 인공지능모델을 설정하고, 상기 객체에 상기 지시사항정보를 반영하여 상기 디지털 객체를 생성하며, 상기 제품영상정보의 객체의 각 위치에 표시되도록 상기 디지털 객체에 좌표를 정합하는 컨텐츠제공모듈; 및
상기 영상분석모듈 및/또는 상기 음성명령분석모듈로부터 분석결과를 수신하며 상기 제품영상정보, 상기 지시사항정보 및/또는 상기 음성명령에 대응하는 상기 디지털 객체를 매칭하여 상기 호스트 단말기에 제공하도록, 상기 컨텐츠제공모듈을 제어하는 서버제어모듈;
을 포함하는 것을 특징으로 하는, 원격협업 지원 시스템.
- 제5항에 있어서,
상기 영상분석모듈은,
형체 인식을 위한 이미지 분석 인공지능 프로그램으로 설정되는 상기 이미지 인식 모델을 이용하여 객체를 분석하되,
상기 이미지 인식 모델은,
상품 인식을 위한 1,2차원 바코드 데이터를 자동으로 생성하는 테스트 이미지 자동생성, 이미지 증식 기법을 포함하여 이미지 해상도 변경에 따른 패딩 자동 처리하는 데이터 아규먼트(data argument), 트레이닝 이미지의 해상도를 변경하였을 때 발생되는 바운딩 박스의 위치변화를 보정하기 위한 알고리즘을 도입하는 해상도 변경, 상품 및 형상 인식을 하기 위해 촬영된 이미지의 업스케일링을 위한 트레이닝 데이터를 자동 분류하는 이미지 복원을 위한 데이터셋 분리 중 적어도 하나를 포함하는 항목을 지원하는 것을 특징으로 하는, 원격협업 지원 시스템.
- 제5항에 있어서,
상기 음성명령분석모듈은,
노이즈와 음성을 분리하고, 분리된 노이즈와 음성을 딥러닝 학습하고, 딥러닝을 통해 학습된 인공지능 모델에 음성인식 기법을 적용하여 음성데이터를 텍스트로 변환하는 자연어 처리모델을 이용하여 상기 음성명령을 분석하는 것을 특징으로 하는, 원격협업 지원 시스템.
- 제5항에 있어서,
상기 컨텐츠제공모듈은,
상기 인공지능모델을 이용한 비전기술을 기반으로 상기 호스트 단말기로부터 수신한 모델링 대상물의 360도 스캐닝 데이터를 샘플링하여 설정된 각도에서 촬영된 복수의 이미지를 추출하여 합성하고, 추출된 이미지를 3차원 오브젝트로 생성한 후 3차원 편집툴로 보정하여 증강현실 컨텐츠를 생성하는 것을 특징으로 하는, 원격협업 지원 시스템.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210164154A KR20230077178A (ko) | 2021-11-25 | 2021-11-25 | 원격협업 지원 시스템 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020210164154A KR20230077178A (ko) | 2021-11-25 | 2021-11-25 | 원격협업 지원 시스템 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20230077178A true KR20230077178A (ko) | 2023-06-01 |
Family
ID=86770808
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020210164154A KR20230077178A (ko) | 2021-11-25 | 2021-11-25 | 원격협업 지원 시스템 |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20230077178A (ko) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102605981B1 (ko) * | 2023-08-09 | 2023-11-24 | 주식회사 엘케이비티 | 온라인 계약체결 관리시스템 |
Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030057507A (ko) | 2003-06-18 | 2003-07-04 | 김스캇 | 인터넷 화상 채팅 기능(Video Conferencing Function)과 웹사이트를 이용한 원거리 자동차 판매 영업 상담 방식 |
-
2021
- 2021-11-25 KR KR1020210164154A patent/KR20230077178A/ko not_active Application Discontinuation
Patent Citations (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20030057507A (ko) | 2003-06-18 | 2003-07-04 | 김스캇 | 인터넷 화상 채팅 기능(Video Conferencing Function)과 웹사이트를 이용한 원거리 자동차 판매 영업 상담 방식 |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR102605981B1 (ko) * | 2023-08-09 | 2023-11-24 | 주식회사 엘케이비티 | 온라인 계약체결 관리시스템 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN112088402B (zh) | 用于说话者识别的联合神经网络 | |
| US11736756B2 (en) | Producing realistic body movement using body images | |
| US11783524B2 (en) | Producing realistic talking face with expression using images text and voice | |
| CN108874126B (zh) | 基于虚拟现实设备的交互方法及系统 | |
| CN111510701A (zh) | 虚拟内容的显示方法、装置、电子设备及计算机可读介质 | |
| US20120306850A1 (en) | Distributed asynchronous localization and mapping for augmented reality | |
| JP7127659B2 (ja) | 情報処理装置、仮想・現実合成システム、学習済みモデルの生成方法、情報処理装置に実行させる方法、プログラム | |
| CN115049016B (zh) | 基于情绪识别的模型驱动方法及设备 | |
| WO2017137952A1 (en) | Intelligent chatting on digital communication network | |
| KR20120120858A (ko) | 영상통화 서비스 및 그 제공방법, 이를 위한 영상통화서비스 제공서버 및 제공단말기 | |
| CN108491881A (zh) | 用于生成检测模型的方法和装置 | |
| JP2007257088A (ja) | ロボット装置及びそのコミュニケーション方法 | |
| CN117333645A (zh) | 一种环形全息交互系统及其设备 | |
| KR20230077178A (ko) | 원격협업 지원 시스템 | |
| AU2018100585A4 (en) | System and method for the floor plan automatic recognition and 3D model transformation | |
| KR102291740B1 (ko) | 영상처리 시스템 | |
| Ekmen et al. | From 2D to 3D real-time expression transfer for facial animation | |
| JP2000194876A (ja) | 仮想空間共有装置 | |
| WO2018033952A1 (ja) | パノラマ画像合成解析システム、パノラマ画像合成解析方法及びプログラム | |
| Putra et al. | Designing translation tool: Between sign language to spoken text on kinect time series data using dynamic time warping | |
| KR20230076410A (ko) | 메타버스 샵 운영시스템 | |
| Sobota et al. | Mixed reality: a known unknown | |
| KR102605552B1 (ko) | 증강현실시스템 | |
| KR102706447B1 (ko) | 가상협업 비대면 실시간 원격 실험 시스템 | |
| KR20230127734A (ko) | 가상협업 비대면 실시간 원격 실험 시스템 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| AMND | Amendment | ||
| E601 | Decision to refuse application | ||
| X091 | Application refused [patent] | ||
| E601 | Decision to refuse application | ||
| E801 | Decision on dismissal of amendment |