KR102601819B1 - 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 - Google Patents

시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 Download PDF

Info

Publication number
KR102601819B1
KR102601819B1 KR1020220177753A KR20220177753A KR102601819B1 KR 102601819 B1 KR102601819 B1 KR 102601819B1 KR 1020220177753 A KR1020220177753 A KR 1020220177753A KR 20220177753 A KR20220177753 A KR 20220177753A KR 102601819 B1 KR102601819 B1 KR 102601819B1
Authority
KR
South Korea
Prior art keywords
unit
worker
work
information
technical information
Prior art date
Application number
KR1020220177753A
Other languages
English (en)
Inventor
김태균
남해기
Original Assignee
주식회사 코탁스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 코탁스 filed Critical 주식회사 코탁스
Priority to KR1020220177753A priority Critical patent/KR102601819B1/ko
Application granted granted Critical
Publication of KR102601819B1 publication Critical patent/KR102601819B1/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16—Sound input; Sound output
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/10—Office automation; Time management
    • G06Q10/103—Workflow collaboration or project management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/04—Manufacturing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Tourism & Hospitality (AREA)
  • Marketing (AREA)
  • General Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • Economics (AREA)
  • Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Primary Health Care (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Data Mining & Analysis (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Optics & Photonics (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Manufacturing & Machinery (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

본 발명은 작업자의 두부에 장착되며, 작업자의 작업 공간을 촬영한 공간 영상을 수신받고, 기술자로부터 기술 정보를 수신하여, 작업자에게 기술 정보를 제공하는 워크 어시스턴트 유닛; 워크 어시스턴트 유닛과 네트워킹하여, 작업 공간에 대한 공간 영상을 수신하고, 기술자로부터 작업 공간에 대한 기술 정보를 수신받아 워크 어시스턴트 유닛에 제공하는 네트워크 서포팅 유닛; 및 워크 어시스턴트 유닛으로부터 기술 정보를 제공받으며, 기술 정보를 미리 설정된 에어리어 내에 배치하고 디스플레이하는 오버래핑 유닛을 포함하는 기술적 사상을 개시한다.

Description

시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템{Control system for remote helmet based on augmented reality using real-time sharing of visual information}
본 발명은 원격유지보수 지원 시스템에 관한 것으로서, 보다 자세하게는, 현장의 문제를 원격을 통하여 정확히 파악하고 의사결정 내리도록 하기 위하여 전문가가 현장 작업자에게 정보를 전송하면, 현장 작업자는 정보를 수신하고 업무를 수행하도록 하는 것으로, 영상 전송기술과 통신 프로그램을 통한 솔루션 기능이 제공되는, 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템에 관한 기술분야이다.
기업들은 프로세스별 생산성과 품질, 효율 향상에 역점을 두고 있다. 대부분의 솔루션들은 고객들로부터 높은 수준의 생산성과 품질, 효율을 기업 환경에 적용할 있도록 개발되고 있는데, 이에 따라 지능형 커뮤니케이션의 필요성이 대두되고 있다.
지능형 커뮤니케이션은 기업들이 보다 빠르고 효율적으로 기능할 수 있도록 도울 뿐 아니라 스스로를 시장에서 차별화시킬 수 있도록 지원하고 있는데, 1990년대 중반부터 IP 네트워크 전문 기업들은 고객들이 기존의 음성 솔루션이 지원하는 성능과 신뢰성, 기능들을 일반 IP 네트워크에서도 이용, 유비쿼터스 커뮤니케이션 애플리케이션 지원과 비용 절감, 운용 효율 향상을 기할 수 있도록 노력해 왔으며 이에 따라 음성·데이터 통합(Conver-gence)이라는 새로운 차원의 고객 수요가 발생하기 시작했다.
지능형 커뮤니케이션을 통하여 고객사와 실시간으로 시각적 정보를 공유하고 원격지원하는 서비스의 경우, 마이크로소프트 사의 다이나믹365 또는 PTC 사의 Vuforia Chalk의 경우가 대표적이다.
Vuforia Chalk의 경우, 고급 AR 협업 도구를 통하여 실시간으로 비디오 통신을 통해 현장 기술자와 전문가를 연결하며, 현장에서 당면한 상황에 대하여 논의 가능하도록 지원하나, 작업자의 경우 디바이스를 손에 들고 작업해야 하는 단점이 있다.
다이나믹 365의 경우, 전문가와 원격으로 화면을 공유하고 실시간으로 원격유지운영이 가능하도록 하지만, 특정 클라우드 서비스를 활용해야 하며, 특정 장비를 구입해야 한다.
대표적인 원격지원 커뮤니케이션에 대한 장비와 지원 프로그램의 경우, 다양한 형태로 개발되고 발전되고 있으며, 이에 대한 다양한 특허문헌도 존재한다.
예컨대, "실시간 현장 작업 모니터링 방법 및 시스템(등록번호 10-2289745호, 이하 특허문헌1이라 한다.)"가 존재한다.
특허문헌 1의 경우, 원격 관리자의 컴퓨팅 디바이스에서 수행하는 실시간 현장 작업 모니터링 방법으로서, 현장의 물리적 공간에 대응된 3차원 가상공간을 나타내는 현장 트윈모델을 출력하는 단계; 현장의 카메라 시스템의 실제 카메라에 대응된 가상 카메라 이미지를 현장 트윈모델 상에 표시하는 단계; 가상 카메라 이미지에 대응된 실제 카메라의 현장영상을 수신하고, 수신된 현장영상을 현장 트윈모델과 매칭하여 출력하는 단계; 및 가상 카메라 이미지를 기초로 실제 카메라를 원격 제어하는 원격 카메라 제어 인터페이스를 제공하는 단계를 포함한다.
아울러, "증강현실 상의 스마트팩토리 원격협업 ＣＭＳ 시스템 및 그 구동방법 (등록번호 제10-2086451호, 특허문헌2라 한다.)"도 존재한다.
특허문헌 2의 경우, 스마트 공장 내 비치된 다수의 장비 중 선택된 어느 하나인 담당 장비에 부착된 고유식별 마크나 실물 그대로를 자동 인식할 시 스마트팩토리 원격협업 CMS 플랫폼 상에서 제공되는 AR 화면을 통해 담당 장비에 관한 빅데이터 정보들을 실시간으로 제공해 주며, 현장 작업자용 통신 단말기와 인공지능 스마트 팩토리 컨설팅용 통신 단말기 간의 대화용 가상 비스 서비스를 지원해 줌으로써, 실제 작업 현장에서 활용되는 담 당 장비에 관한 원격 협업을 실시 가능케 한다.
특허문헌 2 발명에 따르면, AR 기술을 수반하는 스마트팩토리 원격협업 CMS 플랫폼의 유용성을 더욱 고취시켜 담당 장비를 대상으로 한 정기점검의 편리성 향상 및 그에 따른 장비 고장, 장비 오작동의 감소율 증대, 사고 위험율 저감 및 작업중단 여태로 생길만한 막대한 인적 물적 피해를 최대한 줄여 나감과 동시에 제품의 원가 경쟁력과 기업 수익성을 더욱 증대시켜 기업의 이익추구 및 4차산업 관련 산업계 및 학계 전반을 크게 공헌하는데 이바지한다.
또한, "혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버(등록번호 제10-2114496호, 특허문헌 3이라 한다.)"도 존재한다.
특허문헌 3의 경우, 혼합 현실(Mixed Reality, MR)에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버가 제공된다.
특허문헌 3에 따른 발명은, 적어도 하나의 프로세서에 의해 동작하는 작업 지원 정보 제공 시스템이 작업 지원 정보를 제공하는 방법으로서, 카메라 시야의 실 환경을 3차원 메쉬 이미지로 생성하는 단계, 실 환경을 캡쳐하여 실사 이미지를 생성하는 단계, 실사 이미지로부터 적어도 하나의 작업 지원 객체를 검출하는 단계, 그리고 3차원 메쉬 이미지에서 작업 지원 객체의 3차원 위치에 해당하는 지점에 작업 지원 객체의 3차원 위치를 나타내는 가상 객체를 출력하고, 가상 객체가 출력된 지점의 근접 위치에 작업 지원 객체에 대한 작업지 원 정보를 표시하는 단계를 포함하고, 작업 지원 정보는, 작업 지원 객체를 설명하는 정보 또는 작업 지원 객체에 대한 부가 정보를 포함한다.
기존 시장에서 활용되는 장비와 협업 프로그램의 경우, 특정 장비를 사용해야 함에 대한 문제와 작업자가 프로그램을 활용하기 위해서는 디바이스를 들고 있어야 한다는 문제점이 존재하였다.
또한, 특정 클라우드나 서버 사용으로 인하여 고가의 비용을 지불해야 한다는 문제점으로 고객사에게 사용에 대한 비용 허들과 사용 유지에 대한 비용 부담에 대한 문제점이 존재하였으며, 이로 인하여 원격 작업 지원 서비스에 대한 사용이 본격화되지 못하는 문제점이 존재하였다.
등록번호 10-2289745호 등록번호 제10-2086451호 등록번호 제10-2114496호
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템은 상기한 바와 같은 종래 문제점을 해결하기 위해 안출된 것으로서, 다음과 같은 해결하고자 하는 과제를 제시한다.
첫째, 기존 협업 프로그램을 사용하고자 하는 경우, 고가의 장비 또는 고가의 라이선스 비용을 지급해야하며, 자체적인 클라우드 서버를 사용해야 함으로 발생되는 비용과 사용료를 줄이도록 한다.
둘째, 작업자가 작업을 하는 도중 협업 프로그램을 활용하기 위하여 협업 프로그램 툴을 실행하는 등의 비효율적인 시간 활용의 문제를 해결하고자 한다.
본 발명의 해결 과제는 이상에서 언급된 것들에 한정되지 않으며, 언급되지 아니한 다른 해결과제들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템은 상기의 해결하고자 하는 과제를 위하여 다음과 같은 과제 해결 수단을 가진다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템은 작업자의 두부에 장착되며, 상기 작업자의 작업 공간을 촬영한 공간 영상을 수신받고, 기술자로부터 기술 정보를 수신하여, 상기 작업자에게 상기 기술 정보를 제공하는 워크 어시스턴트 유닛(work assistant unit); 상기 워크 어시스턴트 유닛과 네트워킹하여, 상기 작업 공간에 대한 공간 영상을 수신하고, 기술자로부터 상기 작업 공간에 대한 상기 기술 정보를 수신받아 상기 워크 어시스턴트 유닛에 제공하는 네트워크 서포팅 유닛(network supporting unit); 및 상기 워크 어시스턴트 유닛으로부터 상기 기술 정보를 제공받으며, 상기 기술 정보를 미리 설정된 에어리어(area) 내에 배치하고 디스플레이하는 오버래핑 유닛(overlapping unit)을 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 상기 워크 어시스턴트 유닛은, 상기 작업자의 두부에 장착되어, 작업자의 두부를 커버(cover)하는 커버부; 상기 네트워크 서포팅 유닛과 네트워킹하며, 상기 네트워크 서포팅 유닛으로부터 상기 기술 정보를 수신받는 네트워킹부; 상기 워크 어시스턴트 유닛 상에 제공되어, 상기 작업자의 안면 방향에 따라 상기 작업자의 작업 공간을 촬영하는 스페이스 디텍팅부; 상기 워크 어시스턴트 유닛 상에 제공되어, 상기 작업자로부터 소정의 파장대를 가지는 음파를 인식하는 음성 통신부; 및 상기 작업자의 안면에 제공되며, 상기 작업자의 작업 공간을 투사하여 제공하고, 상기 작업자에게 상기 전문가로부터의 상기 기술 정보를 상기 작업 현장과 오버랩핑하여 상기 작업자에게 제공하는 디스플레이부를 포함하는 것을 특징으로 할 수 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 상기 워크 어시스턴트 유닛은, 상기 스페이스 디텍팅부를 통해 소정의 디텍팅 정보가 촬영되면, 상기 디텍팅 소정의 정보를 통하여 상기 네트워크 서포팅 유닛과 연결되도록 하는 것을 특징으로 할 수 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 상기 디스플레이부는, 상기 커버부의 소정의 영역을 선택적으로 커버하며, 목적하는 바에 따라 조절되어 상기 작업자의 안구의 전면에 선택적으로 제공되는 것을 특징으로 할 수 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 상기 워크 어시스턴트 유닛은, 상기 스페이스 디텍팅부를 통해 촬영되는 앵글과 상기 디스플레이부를 통해 투시되는 앵글이 소정의 레인지에 해당되는 디폴트 앵글이 설정되는 것을 특징으로 할 수 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 상기 오버랩핑 유닛은, 상기 기술 정보에 대한 교신을 통해 상기 미리 설정된 에어리어 내에 상기 기술 정보를 디스플레이하는 것을 특징으로 할 수 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 상기 미리 설정된 에어리어는, 상기 디스플레이부 상에 가상의 영역으로 임의 설정되며 선택적으로 확장성을 가지는 것을 특징으로 할 수 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 상기 미리 설정된 에어리어는, 상기 작업자의 주시안에 따라 상기 미리 설정된 에어리어의 바운더리 설정이 가능하도록 하며, 상기 주시안의 위치에 따라 상기 바운더리로부터 선택적으로 좌우 확장 가능하도록 하는 것을 특징으로 할 수 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 상기 디스플레이부는, 선택적인 투명도를 제공하여, 상기 작업자의 작업 환경에 대한 선택적인 노출 정도를 조절하는 것을 특징으로 할 수 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 상기 네트워크 서포팅 유닛은, 상기 작업자가 작업하는 작업 공간에 대한 촬영 정보를 제공받으며, 상기 작업자의 소정의 요구에 따라 상기 기술자로부터 상기 기술 정보를 수신하여 상기 워크 어시스턴트 유닛에 제공하는 것을 특징으로 할 수 있다.
이상과 같은 구성의 본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템은 다음과 같은 효과를 제공한다.
첫째, 본사와 해외/국내 장거리 고객사에 대한 유지보수로 인한 잦은 출장으로 인한 비효율성을 해결하고자 한다.
둘째, 실시간 정보 공유 문제로 인한 정확한 정보 전달 및 정보 공유에 대한 문제점을 해결하고자 한다.
셋째, 제품에 대한 유지보수 및 기술 설명에 대한 대응이 이루어질 수 있도록 한다.
넷째, 운영 담당자 간 공장 원격 업무 수행이 가능하도록 하며, 맞춤형 솔루션 제공이 지원되도록 한다.
본 발명의 효과는 이상에서 언급한 것들에 한정되지 않으며, 언급되지 아니한 다른 효과들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 각 구성요소를 도시한 개념도이다.
도 2는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 워크 어시스턴트 유닛의 스페이스 디텍팅부를 통해 디텍팅 정보가 디텍팅되면, 네트워크 서포팅 유닛과 연결되는 것을 도시한 개념도이다.
도 3은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 디스플레이부가 목적하는 바에 따라 선택적으로 조절되어 작업자의 안면의 전면에 제공되도록 하는 것을 도시한 개념도이다.
도 4는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 디스플레이부가 목적하는 바에 따라 조절되어 작업자의 안구의 전면에 제공된 후 작업자에게 작업현장과 기술정보를 오버래핑하여 제공하는 것을 도시한 개념도이다.
도 5는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 스페이스 디텍팅부와 디스플레이부에 디폴트 앵글이 설정되는 것을 도시한 개념도이다.
도 6는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 디스플레이부에 미리 설정된 에어리어가 제공되는 것을 도시한 개념도이다.
도 7은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 디스플레이부에 미리 설정된 에어리어가 제공되어 미리 설정된 에어리어 내에서 기술 정보가 디스플레이되는 것을 도시한 개념도이다.
도 8은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 주시안에 따라 디스플레이부 내의 미리 설정된 에어리어가 설정되어 주시안에 따라 미리 설정된 에어리어의 확장이 이루어지도록 하는 것을 도시한 개념도이다.
도 9은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 작업자와 기술자 간에 워크 어시스턴트 유닛과 네트워크 서포팅 유닛을 통해 연결되어 원격 유지 운영이 가능하도록 하는 것을 도시한 개념도이다.
도 10은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 각 유닛을 도시한 블록도이다.
도 11은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 워크 어시스턴트 유닛의 각 부분에 대하여 도시한 블록도이다.
도 12는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 안구 인식부를 통하여 인구에 대한 움직임을 파악하는 것을 도시한 개념도이다.
도 13은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 디스플레이부에 기술 정보가 사용자의 주시에 제공되고, 사용자의 작업 현장과 기술 정보가 오버랩되는 것을 도시한 개념도이다.
도 14는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 디스플레이부에 기술 정보가 사용자의 부시에 제공되고, 사용자의 작업 현장과 기술 정보의 오버랩 구간과 오버랩 정도가 주시에 제공되는 것과 차이가 형성되는 것을 도시한 개념도이다.
도 15는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 데이터 관리부를 통해 정보가 분할되고 정보의 분산 저장이 이루어지는 과정을 도시한 개념도이다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 기술적 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
도 1은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 각 구성요소를 도시한 개념도이다. 도 2는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 워크 어시스턴트 유닛의 스페이스 디텍팅부를 통해 디텍팅 정보가 디텍팅되면, 네트워크 서포팅 유닛과 연결되는 것을 도시한 개념도이다. 도 3은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 디스플레이부가 목적하는 바에 따라 선택적으로 조절되어 작업자의 안면의 전면에 제공되도록 하는 것을 도시한 개념도이다. 도 4는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 디스플레이부가 목적하는 바에 따라 조절되어 작업자의 안구의 전면에 제공된 후 작업자에게 작업현장과 기술정보를 오버래핑하여 제공하는 것을 도시한 개념도이다. 도 5는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 스페이스 디텍팅부와 디스플레이부에 디폴트 앵글이 설정되는 것을 도시한 개념도이다. 도 6는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 디스플레이부에 미리 설정된 에어리어가 제공되는 것을 도시한 개념도이다. 도 7은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 디스플레이부에 미리 설정된 에어리어가 제공되어 미리 설정된 에어리어 내에서 기술 정보가 디스플레이되는 것을 도시한 개념도이다. 도 8은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 주시안에 따라 디스플레이부 내의 미리 설정된 에어리어가 설정되어 주시안에 따라 미리 설정된 에어리어의 확장이 이루어지도록 하는 것을 도시한 개념도이다. 도 9은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 작업자와 기술자 간에 워크 어시스턴트 유닛과 네트워크 서포팅 유닛을 통해 연결되어 원격 유지 운영이 가능하도록 하는 것을 도시한 개념도이다. 도 10은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 각 유닛을 도시한 블록도이다. 도 11은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 워크 어시스턴트 유닛의 각 부분에 대하여 도시한 블록도이다. 도 12는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 안구 인식부를 통하여 인구에 대한 움직임을 파악하는 것을 도시한 개념도이다. 도 13은 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 디스플레이부에 기술 정보가 사용자의 주시에 제공되고, 사용자의 작업 현장과 기술 정보가 오버랩되는 것을 도시한 개념도이다. 도 14는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 디스플레이부에 기술 정보가 사용자의 부시에 제공되고, 사용자의 작업 현장과 기술 정보의 오버랩 구간과 오버랩 정도가 주시에 제공되는 것과 차이가 형성되는 것을 도시한 개념도이다. 도 15는 본 발명의 일 실시예에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 중 데이터 관리부를 통해 정보가 분할되고 정보의 분산 저장이 이루어지는 과정을 도시한 개념도이다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 경우, 도 1에 도시된 바와 같이, 워크 어시스턴트 유닛(work assistant unit, 1000), 네트워크 서포팅 유닛(network supporting unit, 2000), 오버래핑 유닛(overlapping unit, 3000)을 포함하는 구성이다.
먼저, 워크 어시스턴트 유닛(1000)의 경우, 작업자의 두부에 장착되며, 작업자의 작업 공간을 촬영한 공간 영상을 수신받고, 기술자로부터 기술 정보를 수신하여, 작업자에게 기술 정보를 제공한다.
도 1에 도시된 바와 같이 워크 어시스턴트 유닛(1000)은, 작업자의 두부에 장착되는 형태로 제공되는 것으로, 전면에 작업 공간에 대한 촬영이 가능하도록 함으로 작업자의 작업 공간에 대한 촬영이 가능하도록 하는 것이다.
또한, 네트워크 서포팅 유닛(2000)은, 워크 어시스턴트 유닛(1000)과 네트워킹하여, 작업 공간에 대한 공간 영상을 수신하고, 기술자로부터 작업 공간에 대한 기술 정보를 수신받아 워크 어시스턴트 유닛(1000)에 제공한다.
네트워크 서포팅 유닛(2000)의 경우, 기술자가 사용하는 네트워킹 가능한 단말기로서, 스마트폰, PC, 테블릿 등에 해당할 수 있다.
네트워크 서포팅 유닛(2000)은 기술자로부터 기술 정보를 제공받아 워크 어시스턴트 유닛(1000)에게 제공하는 것으로
기술 정보의 경우, 이미지, 동영상, 문자 등에 대한 정보로 구현될 수 있으며, 기술 정보의 종류로는 영상 파일, 이미지파일, 3D 오브젝트 파일에 해당할 수도 있다.
네크워크 서포팅 유닛(2000)의 경우, 작업자의 작업 영상이 실시간으로 제공되고 표출될 수 있다.
기술자의 PC 등에 보관된 영상 자료, 이미지 자료, 3D 오브젝트 자료를 작업자에게 전달할 수도 있다.
예컨대, 3D 오브젝트에 대한 전달이 이루어지는 경우, 기술자의 터치를 통하여 화면의 확대 및 축소, 회전이 가능하도록 할 수 있으며, 이에 대한 인터랙션 값을 실시간으로 현장 작업자에게 전달하여 AR로 표출되도록 할 수 있다.
아울러, 오버래핑 유닛(3000)은, 워크 어시스턴트 유닛(1000)으로부터 기술 정보를 제공받으며, 기술 정보를 미리 설정된 에어리어(area) 내에 배치하고 디스플레이한다.
오버래핑 유닛(3000)의 경우, 기술자로부터 제공받은 기술 정보를 작업자에게 제공하는 화면에 AR로 표출할 수 있으며, 실시간으로 기술자와 네트워킹함으로 통하여 워크 어시스턴트 유닛(1000)으로부터 받은 영상 신호에 대하여 전달받아 작업자의 안구 전면에 제공할 수 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 워크 어시스턴트 유닛(1000)은, 커버부(100), 네트워킹부(200), 스페이스 디텍팅부(300), 음성 통신부(400), 디스플레이부(500)를 포함하는 구성이다.
먼저, 커버부(100)는, 작업자의 두부에 장착되어, 작업자의 두부를 커버(cover)한다.
네트워킹부(200)는, 네트워크 서포팅 유닛(2000)과 네트워킹하며, 네트워크 서포팅 유닛(2000)으로부터 기술 정보를 수신받는다.
네트워킹부(200)의 경우, Wifi, 3G, 4G, 5G 등 다양한 네트워크 환경 내에서 네트워킹하며, WebTRC(Web Real-Time Communication)을 이용하여 실시간 정보를 공유할 수도 있다.
스페이스 디텍팅부(300)는, 워크 어시스턴트 유닛(1000) 상에 제공되어, 작업자의 안면 방향에 따라 작업자의 작업 공간을 촬영한다.
도 1에 도시된 바와 같이, 스페이스 디텍팅부(300)의 경우, 커버부(100) 중 작업자의 안면 방향에 형성되어, 작업자가 바라보는 방향에 대하여 촬영이 가능하도록 하는 것이 바람직하다.
스페이스 디텍팅부(300)는 작업자가 작업하는 작업 공간에 대한 영상 정보를 형성하고, 기술자에게 제공하고자 하는 영상 정보를 촬영하는 것이 바람직하다.
음성 통신부(400)는, 워크 어시스턴트 유닛(1000) 상에 제공되어, 작업자로부터 소정의 파장대를 가지는 음파를 인식한다.
음성 통신부(400)의 경우, 작업자의 음성에 대하여 전달하기 위한 것으로서, 영상과는 별개로 채널을 구성할 수 있다.
음성 통신부(400)는 작업자의 음성을 인식하여 작업자의 음성을 네트워크 서포팅 유닛(2000)으로 제공하며, 네트워크 서포팅 유닛(2000)으로부터 받은 음성에 대하여서는 작업자에게 음성 전달부(미도시)를 통하여 전달되도록 할 수 있다.
음성 통신부(400)는 작업자의 음성을 인식하여 워크 어시스턴트 유닛(1000)을 통제 가능하도록 하는 것으로, 예컨대, 작업자의 음성을 통하여 메뉴 선택, 기술자와의 연결, 기술자와의 음성 통신이 가능하도록 하는 것이 바람직하다.
디스플레이부(500)는, 작업자의 안면에 제공되며, 작업자의 작업 공간을 투사하여 제공하고, 작업자에게 전문가로부터의 기술 정보를 작업 현장과 오버랩핑하여 작업자에게 제공한다.
디스플레이부(500)의 경우, 글라스 형태로 제공될 수 있으며, 작업자의 손을 자유롭게 유지하도록 한다.
다만, 업무 환경에 따라 도 1에 도시된 바와 같은 스마트 글라스로 제공될 수도 있으며, 테블릿, 스마트폰, PC 등의 기기를 사용할 수도 있다.
예컨대, 음성에 대한 지원이 되지 않는 열악한 상황이 발생하는 경우, 텍스트만으로 의미 전달이 가능하도록 디스플레이부(500)는 음성 통신과는 별도로 네트워킹하며 프로그램을 구축할 수 있다.
디스플레이부(500)의 경우, 네트워크 서포팅 유닛(2000)으로부터 제공받은 파일에 대하여 작업자의 안구 전면에 AR화면으로 표출할 수도 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 워크 어시스턴트 유닛(1000)은, 스페이스 디텍팅부(300)를 통해 소정의 디텍팅 정보가 촬영되면, 디텍팅 소정의 정보를 통하여 네트워크 서포팅 유닛(2000)과 연결되도록 한다.
도 2에 도시된 바와 같이, 디텍팅 정보는 예컨대, 제품에 대한 바코드, 시리얼 넘버, 제품에 제공된 QR코드, 제품명, 제품 제조일, 제품에 대한 특수한 형태에 해당할 수 있으며, 이러한 디텍팅 정보를 촬영함을 통하여 네트워크 서포팅 유닛(2000)과 연결이 가능하도록 할 수 있다.
예컨대, 네트워크 서포팅 유닛(2000)의 경우, 제품에 대한 서비스 센터 혹은 제품에 대한 전문가 또는 기술자와 연결되는 것으로, 스페이스 디텍팅부(300)가 촬영한 디텍팅 정보와 연계되어 연결되는 것이 바람직하다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 디스플레이부(500)는, 커버부(100)의 소정의 영역을 선택적으로 커버하며, 목적하는 바에 따라 조절되어 작업자의 안구의 전면에 선택적으로 제공되어진다.
도 3에 도시된 바와 같이 커버부(100)의 경우, 선택적으로 조절이 가능하도록 하는 것으로, 목적하는 바에 따라 조절되는데, 예컨대, 디스플레이부(500)가 커버부(100)의 일부를 커버하고 있는 경우, 목적하는 바에 따라 작업자의 안면 중 안구 전면에 제공되도록 하기 위해서는 도 3에 도시된 바와 같이, 작업자의 안구 위치에 도달하도록 조절되어 한다.
예컨대, 디스플레이부(500)와 스페이스 디텍팅부(300)는 디스플레이부(500)가 작업자의 안면에 제공되어지는 것이 확인되면, 스페이스 디텍팅부(300)의 동작이 개시되도록 할 수도 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 워크 어시스턴트 유닛(1000)은, 스페이스 디텍팅부(300)를 통해 촬영되는 앵글과 디스플레이부(500)를 통해 투시되는 앵글이 소정의 레인지로 설정되는 디폴트 앵글이 설정되도록 한다.
도 5에 도시된 바와 같이, 스페이스 디텍팅부(300)를 통하여 촬영되는 촬영 공간과 디스플레이부를 통하여 투시되는 작업자의 육안으로 확인되는 작업 공간이 일정 부분 일치되는 지도록 하는 것이 바람직하다.
즉, 작업자의 카메라로부터 입력되는 영상 포지션과 작업자에게 투시되는 작업 공간에 대한 앵글이 어느 정도 일치되어야 하며, 이러한 포지션에 대한 일치를 통하여 디스플레이부(500)는 AR정보를 디스플레이부에 제공할 수도 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 오버래핑 유닛(3000)은, 기술 정보에 대한 교신을 통해 미리 설정된 에어리어(area) 내에 기술 정보를 디스플레이 하도록 한다.
오버래핑 유닛(3000)의 경우, 영상 제공부(미도시)를 통하여 디스플레이부(500) 내측면에 기술 정보에 대하여 디스플레이 되도록 할 수 있으며, 예컨대, 종래의 Head(s) Up Display(HUD)와 같은 기술을 활용하여 디스플레이부 내측면에 디스플레이 되도록 할 수 있다. 이러한 기술에 대하여서는 기존 기술에 복속되도록 한다.
미리 설정된 에어리어의 경우, 도 6에 도시된 바와 같이, 디스플레이부(500) 내에 제공되는 것으로 가상으로 설정된 에어리어에 해당할 수 있다.
미리 설정된 에어리어는, 디스플레이부(500) 상에서 작업자의 안구로 정보가 최대한 보이도록 하는 가상의 영역에 해당하는 것으로, 임의 설정 가능하다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 미리 설정된 에어리어는, 디스플레이부(500) 상에 가상의 영역으로 임의 설정되며 선택적으로 확장성을 가지도록 한다.
미리 설정된 에어리어의 경우, 선택적 확장성을 가지며, 디스플레이부(500) 내에서 확장성을 가지게 된다.
미리 설정된 에어리어는 작업자에게 기술 정보를 제공하는 영역에 해당하며, 작업자의 육안으로 확인 가능한 공간으로서 기술 정보가 제공되도록 하는 것이다.
이러한 미리 설정된 에어리어는 임의 설정 가능 하도록 하는 것이 바람직하다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 미리 설정된 에어리어는, 작업자의 주시안에 따라 미리 설정된 에어리어의 바운더리(boundary) 설정이 가능하도록 하며, 주시안의 위치에 따라 바운더리로부터 선택적으로 좌우 확장 가능하도록 한다.
주시안의 경우, 우세안(Dominate eye)으로서 시각 정보를 받아들일 때 주로 의존하는 눈에 해당하는 것으로, 작업자에 따라 주시안의 방향이 상이할 수 있다.
디스플레이부(500)는 작업자의 주시안에 따라 미리 설정된 에어리어에 대한 설정이 가능하도록 할 수 있는데, 도 8에 도시된 바와 같이, 예컨대, 작업자의 주시안이 좌측에 해당하는 경우, 디스플레이부(500)의 미리 설정된 에어리어도 좌측에 치우쳐 설정된 형태로 제공될 수 있다.
또한, 주시안에 따라 미리 설정된 에어리어의 확장이 상이하게 제공되어질 수도 있다.
작업자의 주시안에 대한 정보는 작업자의 주 시선방향을 통하여 파악 가능할 수도 있다.
설정된 바운더리 내에서 작업자에게 제공되는 기술 정보가 실제 작업 공간에 오버래핑을 통하여 제공되는 것이 바람직하다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 디스플레이부(500)는, 선택적인 투명도를 제공하여, 작업자의 작업 환경에 대한 선택적인 노출 정도를 조절하도록 한다.
디스플레이부(500)는 선택적으로 투명도 조절이 가능하도록 함으로 작업자의 작업 환경에 대한 노출 정도가 조절되는데, 예컨대, 글라스로 제공되는 디스플레이부(500)에 대한 투명도 조절이 가능하도록 하는 것이다.
작업자에게는 작업 환경과 기술 정보가 동시에 육안으로 보여지도록 제공되어 질 수도 있으며, 기술 정보에 따라 투명도에 대한 조절을 통하여 기술 정보를 우선적으로 제공하도록 할 수도 있는 것이다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 네트워크 서포팅 유닛(2000)은, 작업자가 작업하는 작업 공간에 대한 촬영 정보를 제공받으며, 작업자의 소정의 요구에 따라 기술자로부터 기술 정보를 수신하여 워크 어시스턴트 유닛(1000)에 제공한다.
워크 어시스턴트 유닛(1000)의 경우, 영상 정보와 AR위치 정보를 네트워크 서포팅 유닛(2000)에 제공할 수 있으며, 네트워크 서포팅 유닛(2000)은 기술에 대한 이미지 정보, 동영상 정보, AR위치값, 필기 전송 정보, 문자 전송 정보를 워크 어시스턴트 유닛(1000)에 제공할 수 있다.
예컨대, 필기 전송 정보의 경우, 기술자로부터 특정한 부분에 대하여 AR 마킹 또는 필기 정보를 제공받을 수 있다.
워크 어시스턴트 유닛(1000)은 안구 인식부(600)를 더 포함할 수 있다.
안구 인식부(600)는 동작 인식 센서(미도시)를 통하여 작업자의 안구를 인식하게 된다.
안구 인식부(600)는 하나 혹은 복수 개의 센서를 구비하여, 작업자의 안구 동작을 인식하도록 하며, 안구 정보를 추출하게 된다.
안구 정보의 경우, 눈을 확대 및 증폭하여, 눈을 구성하는 각 부위의 수평적 비율, 눈을 구성하는 각 부위의 수직적 비율, 그리고 눈을 구성하는 각 부위의 각도적 비율 등을 분석할 수 있다.
이러한 안구 정보를 통하여 안구의 움직임에 대하여 확대 및 증폭함으로 안구에 대한 움직임 패턴과 주시안에 대한 정보를 파악할 수 있다.
안구 인식부(600)를 통하여 주시안이 확인되는 경우, 작업자의 안구 움직임을 가상의 표식 닷(dot)을 통하여 표시하여 표식 닷이 평균 이상에 해당하는 영역은 시선에 대한 초점 중심으로 인식하도록 할 수 있다.
또한, 가상의 표식 닷이 평균 이상에 해당하는 영역을 중심으로 작업자에게 기술 정보를 제공하도록 할 수도 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템의 디스플레이부(500)는 작업자의 주시안에 기술 정보를 제공할 수도 있으며, 사용자의 임의 변경에 따라 부사안 앞에 기술 정보가 제공되도록 할 수도 있다.
예컨대, 도 13에 도시된 바와 같이, 작업자의 주시가 좌측인 경우, 기술 정보가 좌측에 제공되면, 디스플레이부(500)로부터 투시되어 보여지는 작업 환경과 디스플레이부(500)를 통해 디스플레이되는 기술 정보가 오버랩되어 작업 공간의 사물이 뚜렷하게 보이지 않게 된다.
또한, 도 14에 도시된 바와 같이, 작업자의 주시가 좌측인 경우, 기술 정보가 우측에 제공되면, 디스플레이부(500)를 통해 투시되는 작업 환경과 디스플레이되는 기술 정보의 오버랩 정도에 차이가 나타나며, 작업 공간이 보다 선명하게 보일 수 있다.
작업자가 작업 공간과 기술 정보의 오버랩 정도를 선택적으로 보고자 하는 경우, 주시안과 부시안에 기술 정보가 선택적으로 제공되도록 선택할 수 있으며, 이는 소정의 시그널을 통하여 선택 가능하도록 하는 것이 바람직하다.
소정의 시그널이라 함은, 미리 정해진 동작 또는 음성 인식 등을 통하여 가능하도록 할 수 있다.
본 발명에 따른 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템은 데이터를 관리하고 저장하는 데이터 관리부(4000)를 포함할 수 있다.
데이터 관리부(4000)의 경우, 정보 분할부(1), 난수 생성부(2), 분산 저장부(3)를 포함하는 구성이다.
정보 분할부(1)의 경우, 작업자의 작업 환경을 촬영한 영상 정보와 기술자로부터 제공받은 기술 정보에 대한 영상 정보를 분할한다.
분할된 기술 정보와 영상 정보의 경우, 개별적인 ID가 각각 부여된다.
난수 생성부(2)는 소정의 시간 동안 상이한 난수를 생성하게 된다.
예컨대, 난수 생성부(2)는 11시 00분 10초부터 11시 00분 20초까지 10초 동안 456789라는 난수를 발생시키며, 이후 11시00분 20초부터 11시 00분 30초까지 10초 동안 8543215라는 난수를 발생시킨다.
정보 저장부(3)는 분할된 기술 정보와 영상 정보를 분할하여 저장하는데, 난수 발생부로부터 발생된 난수와 함께 물리적으로 분할된 공간에 독립적으로 저장되도록 할 수 있다.
이러한 과정을 통하여 분할된 공간에 저장된 정보는 동일한 난수를 공유하게 된다. 이들은 함께 합쳐져야 할 정보임에 대한 정보를 공유하는 것으로 매개 변수를 가지게 되는 것이다. 물론 이러한 난수는 보안 숫자로 이루어지는 것이 바람직하다.
본 발명의 권리 범위는 특허청구범위에 기재된 사항에 의해 결정되며, 특허 청구범위에 사용된 괄호는 선택적 한정을 위해 기재된 것이 아니라, 명확한 구성요소를 위해 사용되었으며, 괄호 내의 기재도 필수적 구성요소로 해석되어야 한다.
1000: 워크 어시스턴트 유닛
100: 커버부
200: 네트워킹부
300: 스페이스 디텍팅부
400: 음성 통신부
500: 디스플레이부
600: 안구 인식부
2000: 네트워크 서포팅 유닛
3000: 오버래핑 유닛
4000: 데이터 관리부

Claims (10)

  1. 작업자의 두부에 장착되며, 상기 작업자의 작업 공간을 촬영한 공간 영상을 수신받고, 기술자로부터 기술 정보를 수신하여, 상기 작업자에게 상기 기술 정보를 제공하는 워크 어시스턴트 유닛(work assistant unit);
    상기 워크 어시스턴트 유닛과 네트워킹하여, 상기 작업 공간에 대한 공간 영상을 수신하고, 기술자로부터 상기 작업 공간에 대한 상기 기술 정보를 수신받아 상기 워크 어시스턴트 유닛에 제공하는 네트워크 서포팅 유닛(network supporting unit); 및
    상기 워크 어시스턴트 유닛으로부터 상기 기술 정보를 제공받으며, 상기 기술 정보를 미리 설정된 에어리어(area) 내에 배치하고 디스플레이하는 오버래핑 유닛(overlapping unit)을 포함하되,
    상기 워크 어시스턴트 유닛은,
    상기 작업자의 두부에 장착되어, 작업자의 두부를 커버(cover)하는 커버부;
    상기 네트워크 서포팅 유닛과 네트워킹하며, 상기 네트워크 서포팅 유닛으로부터 상기 기술 정보를 수신받는 네트워킹부;
    상기 워크 어시스턴트 유닛 상에 제공되어, 상기 작업자의 안면 방향에 따라 상기 작업자의 작업 공간을 촬영하는 스페이스 디텍팅부;
    상기 워크 어시스턴트 유닛 상에 제공되어, 상기 작업자로부터 소정의 파장대를 가지는 음파를 인식하는 음성 통신부; 및
    상기 작업자의 안면에 제공되며, 상기 작업자의 작업 공간을 투사하여 제공하고, 상기 작업자에게 상기 기술자로부터의 상기 기술 정보를 작업 현장과 오버랩핑하여 상기 작업자에게 제공하는 디스플레이부를 포함하며,
    상기 디스플레이부는,
    상기 커버부의 소정의 영역을 선택적으로 커버하며, 목적하는 바에 따라 조절되어 상기 작업자의 안구의 전면에 선택적으로 제공되고,
    상기 워크 어시스턴트 유닛은,
    상기 스페이스 디텍팅부를 통해 촬영되는 앵글과 상기 디스플레이부를 통해 투시되는 앵글이 소정의 레인지에 해당되는 디폴트 앵글이 설정되며,
    상기 오버래핑 유닛은,
    상기 기술 정보에 대한 교신을 통해 상기 미리 설정된 에어리어 내에 상기 기술 정보를 디스플레이하고,
    상기 미리 설정된 에어리어는,
    상기 디스플레이부 상에 가상의 영역으로 임의 설정되며 선택적으로 확장성을 가지며,
    상기 작업자의 주시안에 따라 상기 미리 설정된 에어리어의 바운더리 설정이 가능하도록 하며, 상기 주시안의 위치에 따라 상기 바운더리로부터 선택적으로 좌우 확장 가능하도록 하며,
    상기 작업자의 상기 주시안이 좌측에 해당하는 경우,
    상기 디스플레이부의 상기 미리 설정된 에어리어가 좌측에 치우쳐 설정된 형태로 제공되고,
    상기 디스플레이부는,
    상기 작업자의 상기 주시안이 좌측인 경우,
    i) 상기 기술 정보가 좌측에 제공되면, 투시되어 보여지는 상기 작업 공간과 디스플레이되는 상기 기술 정보가 오버랩되어 상기 작업 공간의 사물이 뚜렷하게 보이지 않으며,
    ii) 상기 기술 정보가 우측에 제공되면, 상기 작업 공간과 상기 디스플레이되는 상기 기술 정보의 오버랩 차이가 나타나며,
    상기 작업자의 주시안 정보는,
    상기 작업자의 주 시선 방향을 통하여 파악하고,
    상기 작업자가 상기 작업 공간과 상기 기술 정보의 오버랩 정도를 선택적으로 보고자 하는 경우,
    상기 주시안과 부시안에 상기 기술 정보가 선택적으로 제공되도록 하는 것을 특징으로 하는, 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 워크 어시스턴트 유닛은,
    상기 스페이스 디텍팅부를 통해 소정의 디텍팅 정보가 촬영되면, 상기 소정의 디텍팅 정보를 통하여 상기 네트워크 서포팅 유닛과 연결되도록 하는 것을 특징으로 하는, 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템.
  4. 삭제
  5. 삭제
  6. 삭제
  7. 삭제
  8. 삭제
  9. 제1항에 있어서, 상기 디스플레이부는,
    선택적인 투명도를 제공하여, 상기 작업자의 작업 환경에 대한 선택적인 노출 정도를 조절하는 것을 특징으로 하는, 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템.
  10. 제1항에 있어서, 상기 네트워크 서포팅 유닛은,
    상기 작업자가 작업하는 작업 공간에 대한 촬영 정보를 제공받으며, 상기 작업자의 소정의 요구에 따라 상기 기술자로부터 상기 기술 정보를 수신하여 상기 워크 어시스턴트 유닛에 제공하는 것을 특징으로 하는, 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템.
KR1020220177753A 2022-12-19 2022-12-19 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템 KR102601819B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020220177753A KR102601819B1 (ko) 2022-12-19 2022-12-19 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220177753A KR102601819B1 (ko) 2022-12-19 2022-12-19 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템

Publications (1)

Publication Number Publication Date
KR102601819B1 true KR102601819B1 (ko) 2023-11-14

Family

ID=88744976

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220177753A KR102601819B1 (ko) 2022-12-19 2022-12-19 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템

Country Status (1)

Country Link
KR (1) KR102601819B1 (ko)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150096948A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
KR102086451B1 (ko) 2019-09-06 2020-05-29 주식회사 글로벌제조혁신네트웍 증강현실 상의 스마트팩토리 원격협업 ｃｍｓ 시스템 및 그 구동방법
KR102114496B1 (ko) 2018-09-05 2020-06-02 전남대학교산학협력단 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버
KR20200109201A (ko) * 2019-03-12 2020-09-22 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치 및 증강현실을 이용한 원격 업무지원 시스템
KR102289745B1 (ko) 2019-12-31 2021-08-13 주식회사 버넥트 실시간 현장 작업 모니터링 방법 및 시스템
KR20220010356A (ko) * 2020-07-17 2022-01-25 주식회사 버넥트 증강현실 콘텐츠 기반 작업관리 시스템 및 방법
KR20220058122A (ko) * 2020-10-30 2022-05-09 대구가톨릭대학교산학협력단 Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법
KR20220085142A (ko) * 2020-12-15 2022-06-22 주식회사 동우 이앤씨 확장현실 기반 지능형 건설현장 관리 지원 시스템 및 방법

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150096948A (ko) * 2014-02-17 2015-08-26 엘지전자 주식회사 증강 현실 사진 촬영 가이드를 디스플레이 하는 헤드 마운티드 디스플레이 디바이스 및 그 제어 방법
KR102114496B1 (ko) 2018-09-05 2020-06-02 전남대학교산학협력단 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버
KR20200109201A (ko) * 2019-03-12 2020-09-22 주식회사 피앤씨솔루션 머리 착용형 디스플레이 장치 및 증강현실을 이용한 원격 업무지원 시스템
KR102086451B1 (ko) 2019-09-06 2020-05-29 주식회사 글로벌제조혁신네트웍 증강현실 상의 스마트팩토리 원격협업 ｃｍｓ 시스템 및 그 구동방법
KR102289745B1 (ko) 2019-12-31 2021-08-13 주식회사 버넥트 실시간 현장 작업 모니터링 방법 및 시스템
KR20220010356A (ko) * 2020-07-17 2022-01-25 주식회사 버넥트 증강현실 콘텐츠 기반 작업관리 시스템 및 방법
KR20220058122A (ko) * 2020-10-30 2022-05-09 대구가톨릭대학교산학협력단 Hmd를 활용한 현장과 원격지의 협업 시스템 및 방법
KR20220085142A (ko) * 2020-12-15 2022-06-22 주식회사 동우 이앤씨 확장현실 기반 지능형 건설현장 관리 지원 시스템 및 방법

Similar Documents

Publication Publication Date Title
US10643394B2 (en) Augmented reality
US10339382B2 (en) Feedback based remote maintenance operations
US10095458B2 (en) Information processing apparatus, information processing method, non-transitory computer-readable storage medium, and system
US8988343B2 (en) Method of automatically forming one three-dimensional space with multiple screens
JP5966510B2 (ja) 情報処理システム
US20170053445A1 (en) Augmented Reality
US20150042678A1 (en) Method for visually augmenting a real object with a computer-generated image
TR201702966A2 (tr) Kafaya takilan görüntüleme ci̇hazi (hmd&#8217#&ler)i̇le vi̇deo konferanslari i̇çi̇n i̇yi̇leşti̇ri̇lmi̇ş yöntem ve si̇stem
US10142609B2 (en) Dynamically adjustable situational awareness interface for control of unmanned vehicles
EP2661077A1 (en) System and method for eye alignment in video
CN109118233B (zh) 基于人脸识别的认证方法和装置
WO2017209363A2 (ko) 시각화 암호를 이용한 인증 장치 및 그 방법
JP2018036812A (ja) Ｉｔ運用作業遠隔支援システム及び方法
EP3944201B1 (en) Maintenance assistance system, maintenance assistance method, and program
KR102601819B1 (ko) 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템
US10591986B2 (en) Remote work supporting system, remote work supporting method, and program
JP2016531519A (ja) パラメータを用いてガイドイメージを生成する装置及び方法
JPWO2018189980A1 (ja) 光通信方法
KR20240096955A (ko) 시각정보의 쉐어링을 통한 확장 현실 기반의 원격 콘트롤 솔루션 네트워크 시스템
KR20200050095A (ko) 증강현실을 이용한 착용 서비스 제공 방법
JP2005142765A (ja) 撮像装置及び方法
CN111752221B (zh) 控制系统
CN109565584A (zh) 立体数字内容的动态重配准
EP3502836B1 (en) Method for operating an augmented interactive reality system
US11889237B2 (en) Setting method and a non-transitory computer-readable storage medium storing a program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant