KR102114496B1 - 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버 - Google Patents

혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버 Download PDF

Info

Publication number
KR102114496B1
KR102114496B1 KR1020180106165A KR20180106165A KR102114496B1 KR 102114496 B1 KR102114496 B1 KR 102114496B1 KR 1020180106165 A KR1020180106165 A KR 1020180106165A KR 20180106165 A KR20180106165 A KR 20180106165A KR 102114496 B1 KR102114496 B1 KR 102114496B1
Authority
KR
South Korea
Prior art keywords
job support
image
information
job
support information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020180106165A
Other languages
English (en)
Other versions
KR20200027846A (ko
Inventor
이재열
박경범
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020180106165A priority Critical patent/KR102114496B1/ko
Publication of KR20200027846A publication Critical patent/KR20200027846A/ko
Application granted granted Critical
Publication of KR102114496B1 publication Critical patent/KR102114496B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/20—Finite element generation, e.g. wire-frame surface description, tesselation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Architecture (AREA)
  • Processing Or Creating Images (AREA)

Abstract

혼합 현실(Mixed Reality, MR)에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버가 제공된다. 이 방법은, 적어도 하나의 프로세서에 의해 동작하는 작업 지원 정보 제공 시스템이 작업 지원 정보를 제공하는 방법으로서, 카메라 시야의 실 환경을 3차원 메쉬 이미지로 생성하는 단계, 상기 실 환경을 캡쳐하여 실사 이미지를 생성하는 단계, 상기 실사 이미지로부터 적어도 하나의 작업 지원 객체를 검출하는 단계, 그리고 상기 3차원 메쉬 이미지에서 상기 작업 지원 객체의 3차원 위치에 해당하는 지점에 상기 작업 지원 객체의 3차원 위치를 나타내는 가상 객체를 출력하고, 상기 가상 객체가 출력된 지점의 근접 위치에 상기 작업 지원 객체에 대한 작업 지원 정보를 표시하는 단계를 포함하고, 상기 작업 지원 정보는, 상기 작업 지원 객체를 설명하는 정보 또는 상기 작업 지원 객체에 대한 부가 정보를 포함한다.

Description

혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버{METHOD, TERMINAL UNIT AND SERVER FOR PROVIDING TASK ASSISTANCE INFORMATION IN MIXED REALITY}
본 발명은 혼합 현실(Mixed Reality, MR)에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버에 관한 것이다.
혼합 현실이란 실제 환경에 가상 정보를 증강시켜 현실 세계와 가상 세계를 하나의 영상으로 보여주는 증강 현실(Augmented Reality, AR)에 사용자 주위의 실 공간을 3차원 메쉬 데이터로 재구성 및 매핑(Mapping)하여 실 환경 기반 가시화 및 상호 작용을 실시하는 컴퓨터 그래픽 기법을 의미한다. 특히, 혼합 현실을 제조, 건설, 의료 등의 다양한 산업에 적용하여 효과적인 작업 지원을 제공할 수 있다.
미리 등록된 이미지 마커의 특징을 추출 및 획득하고, 이를 중심으로 3차원 가상 정보를 증강시키는 마커 기반 증강현실이 많이 활용되고 있다.
하지만, 이러한 마커 기반 증강현실을 이용하여 실 환경에 가상의 정보를 증강시키기 위해서는 물리적인 마커가 필요하고, 미리 마커를 등록시켜야하는 불편함이 존재할 뿐만 아니라, 마커 추적 중에 가림 현상이나 마커 식별 범위를 벗어나면 인식이 제대로 진행되지 않는 문제점이 발생한다.
기존 혼합 현실도 사용자 주위를 실 공간으로 매핑하지만, 실 공간의 특정 위치(예를들면, 실 객체의 위치)는 자동으로 인식하지 못하기 때문에 마커 기반 증강 현실과 같은 문제점이 존재한다.
현재 혼합 현실 및 증강 현실은 제조, 건설, 의료 등의 다양한 산업에 적용되어 모듈 배치, 측량, 데이터 가시화 등의 작업을 직관적으로 실시하는데 많은 도움을 주고 있다.
하지만, 여전히 사용자가 직접 단말 장치를 제어하여 해당 객체를 찾고, 알맞은 정보를 검색하는 식의 수동적인 상호 작용이 이루어지고 있다.
본 발명이 해결하고자 하는 과제는 사용자의 인지 부하를 줄이고 정교한 작업 지침을 지원하기 위해 딥러닝 기반의 객체 검출과 혼합 현실을 정합하여 사용자 중심의 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버를 제공하는 것이다.
본 발명의 하나의 특징에 따르면, 작업 지원 정보 제공 방법은 적어도 하나의 프로세서에 의해 동작하는 작업 지원 정보 제공 시스템이 작업 지원 정보를 제공하는 방법으로서, 카메라 시야의 실 환경을 3차원 메쉬 이미지로 생성하는 단계, 상기 실 환경을 캡쳐하여 실사 이미지를 생성하는 단계, 상기 실사 이미지로부터 적어도 하나의 작업 지원 객체를 검출하는 단계, 그리고 상기 3차원 메쉬 이미지에서 상기 작업 지원 객체의 3차원 위치에 해당하는 지점에 상기 작업 지원 객체의 3차원 위치를 나타내는 가상 객체를 출력하고, 상기 가상 객체가 출력된 지점의 근접 위치에 상기 작업 지원 객체에 대한 작업 지원 정보를 표시하는 단계를 포함하고, 상기 작업 지원 정보는, 상기 작업 지원 객체를 설명하는 정보 또는 상기 작업 지원 객체에 대한 부가 정보를 포함한다.
상기 객체를 검출하는 단계는, 딥러닝 학습 알고리즘을 기초로, 상기 실사 이미지를 분석하여 객체를 분류하고, 분류된 객체 별로 사각 영역을 검출하며, 상기 가상 객체는, 상기 사각 영역의 중심점을 통해 계산되어 상기 3차원 메쉬 이미지 상에 표시될 수 있다.
상기 출력하는 단계는, 상기 실사 이미지에 상기 검출한 객체의 사각 영역을 표시한 2차원 이미지를 생성하는 단계, 캡쳐한 위치를 기준으로 상기 2차원 이미지를 전면에 배치하고, 상기 2차원 이미지에 표시된 상기 사각 영역의 중심점을 관통하도록 상기 캡쳐한 위치에서 광선을 발사하는 단계, 그리고 상기 3차원 메쉬 이미지 상에 상기 광선이 맞닿는 지점에 상기 작업 지원 객체의 3차원 위치를 나타내는 가상 객체 및 상기 작업 지원 정보를 표시하는 단계를 포함할 수 있다.
상기 발사하는 단계는, 상기 실사 이미지를 캡쳐한 시점에 상기 실사 이미지를 캡쳐한 카메라의 3차원 위치 및 상기 사각 영역의 중심점을 기초로, 방향 벡터를 계산하는 단계, 그리고 상기 방향 벡터를 이용하여 상기 광선을 발사하는 단계를 포함할 수 있다.
본 발명의 다른 특징에 따르면, 단말은 적어도 하나의 카메라를 포함하는 혼합 현실 인터페이스부, 화면을 구비하는 디스플레이, 작업 지원 서버와 통신망을 통해 연결되는 통신 장치, 작업 지원 정보를 제공하는 프로그램이 저장된 메모리 장치, 그리고 상기 프로그램을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 프로그램은, 상기 적어도 하나의 카메라를 통해 생성된 실사 이미지를 상기 작업 지원 서버로 전송하고, 상기 실사 이미지에서 검출된 객체에 대응하여 기 설정된 가상 객체 및 상기 가상 객체에 대한 작업 지원 정보를 상기 작업 지원 서버로부터 수신하고, 상기 적어도 하나의 카메라로부터 획득한 실 객체 및 주위 공간의 색상 정보 및 깊이 정보를 이용하여 상기 주위 공간을 3차원 메쉬 이미지로 재구성하고, 상기 3차원 메쉬 이미지 상에, 상기 가상 객체 및 상기 작업 지원 정보를 표시한 혼합현실 화면을 생성하여, 상기 디스플레이로 출력하는 명령어들(Instructions)을 포함할 수 있다.
상기 프로그램은, 상기 실사 이미지에 상기 검출된 객체를 표시한 2차원 이미지를 생성하고, 상기 2차원 이미지를 관통하여 발사된 광선이 상기 3차원 메쉬 이미지에 맞닿는 지점에 상기 가상 객체 및 상기 작업 지원 정보를 표시하는 명령어들을 포함하며, 상기 혼합 현실 인터페이스부는, 상기 디스플레이의 전면에 상기 2차원 이미지를 배치하고, 상기 2차원 이미지에 표시된 객체의 사각 영역의 중심점을 관통하여 상기 2차원 메쉬 이미지의 후면에 배치된 3차원 메쉬 이미지를 향하도록 상기 광선을 발사할 수 있다.
상기 프로그램은, 상기 작업 지원 서버와 연동하여 동작하는 스마트폰 어플리케이션으로 구현될 수 있다.
본 발명의 또 다른 특징에 따르면, 작업 지원 서버는 단말과 통신망을 통해 연결되는 통신 장치, 프로그램을 저장하는 메모리, 그리고 상기 프로그램을 실행하는 적어도 하나의 프로세서를 포함하고, 상기 프로그램은, 상기 단말로부터 수신한 실사 이미지로부터 실 객체를 검출하고, 검출한 실 객체의 3차원 위치를 나타내는 가상 객체 및 상기 작업 지원 객체에 대한 작업 지원 정보를 상기 단말로 전송하는 명령어들(Instructions)을 포함하고, 상기 가상 객체 및 상기 작업 지원 정보는, 상기 단말에서 실사 이미지가 재구성된 3차원 메쉬 이미지 상에 표시된다.
상기 통신 장치는, 상기 단말과 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP) 기반 소켓(Socket) 통신을 수행할 수 있다.
상기 프로그램은, 상기 실 객체에 대응하여 저장된 작업 지원 정보를 기초로, 상기 가상 객체 및 상기 작업 지원 정보를 생성하여, 상기 단말로 전송하는 명령어들(Instructions)을 포함할 수 있다.
본 발명의 실시예에 따르면, 3차원 실 환경이 재구성된 3차원 메쉬 데이터를 이용하여 혼합 현실에서 보다 자연스러운 가시화 및 상호 작용 환경을 제공하고, 딥러닝 기반 객체 검출 기법을 활용하여 실 객체의 3차원 위치를 파악함으로써, 다양하고 복잡한 상황에서의 작업을 보다 직관적이고 효과적으로 지원할 수 있다.
도 1은 본 발명의 한 실시예에 따른 작업 지원 정보 제공 시스템의 구성을 나타낸 블록도이다.
도 2는 본 발명의 실시예에 따른 3차원 메쉬 이미지 생성을 설명하기 위한 개념도이다.
도 3은 본 발명의 실시예에 따른 실 공간 매핑 과정을 설명하는 개념도이다.
도 4는 본 발명의 한 실시예에 따른 작업 지원 정보 제공 화면의 예시도이다.
도 5는 본 발명의 다른 실시예에 따른 작업 지원 정보 제공 화면의 예시도이다.
도 6은 본 발명의 또 다른 실시예에 따른 작업 지원 정보 제공 화면의 예시도이다.
도 7은 본 발명의 다른 실시예에 따른 작업 지원 정보 제공 시스템의 구성을 나타낸 블록도이다.
도 8은 본 발명의 실시예에 따른 혼합 현실 기반의 작업 지원 정보 제공 방법을 나타낸 흐름도이다.
도 9는 본 발명의 실시예에 따른 객체 검출 화면의 예시이다.
도 10은 본 발명의 실시예에 따른 단말의 하드웨어 구성을 나타낸 블록도이다.
도 11은 본 발명의 다른 실시예에 따른 작업 지원 서버의 하드웨어 구성을 나타낸 블록도이다.
아래에서는 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나 본 발명은 여러가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 명세서에서 단수로 기재된 표현은 "하나" 또는 "단일" 등의 명시적인 표현을 사용하지 않은 이상, 단수 또는 복수로 해석될 수 있다.
이제, 도면을 참조하여 혼합 현실(Mixed Reality, MR)에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버에 대하여 설명한다.
본 발명의 실시예에 따른 작업 지원 정보 제공 시스템은 실 공간 학습 기반의 혼합 현실을 구현한다. 작업 지원 정보 제공 시스템은 RGB 카메라 및 깊이 센서를 이용한 공간 학습 기술과 딥러닝(Deep Learning) 기반 객체 검출 기법을 이용하여 실사 이미지로부터 복수의 객체 및 각 객체의 3차원 위치 정보를 도출한다. 그리고 객체의 3차원 위치 상에 객체와 관련된 사용자 중심의 작업 지원 정보를 제공한다. 여기서, 사용자 중심의 작업 지원 정보는 유지 보수나 부품 조립 등의 다양한 작업에 실질적인 도움을 줄 수 있는 정보들로 구성된다. 따라서, 사용자가 직관적으로 실제 물체 또는 도구의 위치를 찾고 확인할 수 있게 한다.
도 1은 본 발명의 한 실시예에 따른 작업 지원 정보 제공 시스템의 구성을 나타낸 블록도이고, 도 2는 본 발명의 실시예에 따른 3차원 메쉬 이미지 생성을 설명하기 위한 개념도이며, 도 3은 본 발명의 실시예에 따른 실 공간 매핑 과정을 설명하는 개념도이고, 도 4는 본 발명의 한 실시예에 따른 작업 지원 정보 제공 화면의 예시도이며, 도 5는 본 발명의 다른 실시예에 따른 작업 지원 정보 제공 화면의 예시도이고, 도 6은 본 발명의 또 다른 실시예에 따른 작업 지원 정보 제공 화면의 예시도이다.
먼저, 도 1을 참조하면, 작업 지원 정보 제공 시스템(100)은 MR 인터페이스부(110), 딥러닝 엔진부(130), 시각 증강(Visual Augmentation) 엔진부(150) 및 작업 지원부(170)를 포함한다.
MR 인터페이스부(110)는 MR에서의 비전을 구현하는 수단이다. 한 실시예에 따르면, MR 인터페이스부(110)는 홀로렌즈(HoloLens)가 사용될 수 있다. 다른 실시예에 따르면, MR 인터페이스부(110)는 공간 학습을 위한 계산이 가능한 단말 기기, 예를들면, 스마트폰, 태블릿 등과 같은 스마트 디바이스에 탑재될 수 있다.
MR 인터페이스부(110)는 제조 설비가 포함된 실 환경을 캡쳐하여 실사 이미지를 생성한다. 여기서, 실 환경은 물리적인 작업 공간으로서, 예를들면, 책상, 바닥, 벽 등의 평면의 공간을 포함하는 공간일 수 있다.
이때, MR 인터페이스부(110)는 자이로 센서 및 가속도계를 포함하고, 물체 감지의 실패를 줄이기 위해 자이로 센서 및 가속도계의 값 변화를 고려하여 MR 인터페이스부(110) 의 움직임이 최소화된 경우에만 실사 이미지를 캡쳐할 수 있다.
MR 인터페이스부(110)는 컬러 영상 및 깊이를 입력받는 적어도 하나의 카메라를 포함할 수 있는데, 예를들면, RGB 카메라, 깊이 카메라 등을 포함할 수 있다. 홀로렌즈의 경우, 깊이 카메라, RGB 카메라를 모두 포함하는 반면, 스마트 디바이스에서는 RGB 카메라를 포함할 수 있다.
MR 인터페이스부(110)는 캡쳐 이미지를 렌더링한다. 여기서, 렌더링은 대상 물체와 그 특성, 카메라, 광원 위치 및/또는 종류 등을 결정하여 최종 이미지를 결정하는 일련의 과정을 말한다.
MR 인터페이스부(110)는 이미지 렌더링 과정을 거쳐, 최종적으로 결정된 캡쳐 이미지를 딥러닝 엔진부(130)로 전달한다.
딥러닝 엔진부(130)는 MR 인터페이스부(110)가 캡쳐한 이미지, 즉, 캡쳐 이미지 상에서 다수의 객체를 사각 영역으로 검출한다. 구체적으로, 딥러닝 엔진부(130)는 학습된 딥러닝 기반 객체 검출 알고리즘을 이용하여 캡쳐 이미지 상에서 각각의 객체의 종류를 분류하고 분류된 객체의 사각 영역을 검출한다.
여기서, 딥러닝 기반 객체 검출 알고리즘은 검출하고자 하는 객체 이미지를 이용하여 학습된, 즉, 사용 환경에 맞게 학습된 것으로서, 예를들면, Faster R-CNN(Regions with Convolutional Neural Networks features), 다크넷(Darknet) 기반 YOLO(You Only Look Once) 등을 이용할 수 있다.
딥러닝 엔진부(130)는 캡쳐 이미지에 대한 객체 검출 결과, 즉, 검출된 객체의 개수, 객체에 부여된 ID, 객체의 사각 영역의 크기 등을 증강 엔진부(150)로 출력한다.
실사 이미지를 캡쳐하기 전에 시각 증강 엔진부(150)는 실 공간을 3차원 메쉬 이미지로 재구성하기 위한 SLAM(Simultaneous Localization And Mapping) 알고리즘 기반 공간 학습을 진행한다. 시각 증강 엔진부(150)는 동작이 실행되는 시점부터 자동으로 공간 학습을 진행한다. 이때, MR 인터페이스부(110)의 카메라가 활성화되어 카메라의 시야에서 촬영한 실 공간을 실시간으로 3차원 메쉬 이미지로 재구성한다. 여기서, 촬영은 이미지의 저장은 수행되지 않고, 촬영을 통해 획득한 실사 이미지 상에 3차원 메쉬 이미지를 재구성하는 동작만을 나타낸다.
시각 증강 엔진부(150)는 검출할 하나 이상의 실 객체가 위치한 지역에서의 실 공간을 3차원 메쉬 이미지로 재구성하기 위해서 시야를 다각도에서 이동 및 회전하여 실 객체 주위 실 공간을 학습할 수 있다.
공간 학습 기술에 따르면, 실 공간에서의 바닥이나 벽면과 같은 평평한 면을 실시간으로 찾아 실 환경을 3차원 메쉬 데이터로 재구성한다. 3차원 메쉬 데이터는 정점(vertex), 연결 정보(edge), 면(face), 다각형(polygon), 표면(surface) 등의 구성요소 들의 조합으로 생성될 수 있다.
한 실시예에 따르면, 사용자 주위의 3차원 실 환경, 예를들면, 바닥, 옆면과 같은 비교적 찾기 쉬운 형태 뿐만 아니라 실 객체의 형태와 같은 자세한 형태를 탐색하여, 디테일한 형태의 3차원 메쉬 데이터로 구성하고 매핑할 수 있다.
시각 증강 엔진부(150)는 딥러닝 엔진부(130)로부터 수신되는 객체 검출 결과를 3차원 메쉬 이미지에 가시화한다. 도 2를 참조하면, 시각 증강 엔진부(150)는 실 공간이 재구성된 3차원 메쉬 이미지에 객체(P1)를 표시할 수 있다.
도 3을 참조하면, 시각 증강 엔진부(150)는 이미지를 캡쳐한 순간에 저장한 현재 위치(P0)를 기초로, 전면에 2차원 면(200)을 생성한다. 시각 증강 엔진부(150)는 MR 인터페이스부(110)의 화면에 비치는 영상(300), 즉, 3차원 메쉬 이미지의 객체와, 2차원 면(200)에 비치는 캡쳐 이미지의 객체가 서로 동일하도록 2차원 면(200)의 위치와 크기를 조정한다. 즉, 3차원 메쉬 이미지(300)의 객체와 2차원 면(200)의 객체 간의 위치가 서로 일치하도록 조정한다.
이때, 시각 증강 엔진부(150)는 딥러닝 엔진부(130)로부터 수신한 객체 검출 결과를 반영한 2차원 이미지(200)를 생성한다.
시각 증강 엔진부(150)는 MR 인터페이스부(110)로부터 수신한 캡쳐 실사 이미지에, 딥러닝 엔진부(130)가 검출한 적어도 하나의 객체를 표시한 2차원 이미지(200)를 생성한다.
시각 증강 엔진부(150)는 딥러닝 엔진부(130)로부터 수신한 객체 검출 결과를 기초로, 각 객체의 사각 영역을 2차원 이미지(200)에 표시한다. 시각 증강 엔진부(150)는 각 객체의 사각 영역의 가운데 지점(P), 즉, 상대 좌표를 계산하고, 계산된 가운데 지점(P)을 2차원 면(200) 위에 표시한다. 시각 증강 엔진부(150)는 현재 위치(P0)로부터 2차원 면(200) 위의 가운데 지점(P)에 이르는 방향으로 선을 생성하여 3차원 메쉬 이미지(300)까지 잇는다. 선은 Raycast 알고리즘을 이용하여 생성되는데, 현재 위치(P0)로부터 2차원 면(200) 위의 가운데 지점(P)에 이르는 방향으로 광선(Ray)을 발사하는 것이다.
여기서, 광선의 방향은 MR 인터페이스부(110)의 시야각(FOV, Field of View)에 따라 달라지기 때문에 발사하기 전에 FOV에 맞는 방향 벡터(
Figure 112018088458310-pat00001
)를 계산해야한다. 이를 수식화하면, 다음 수학식 1과 같다.
Figure 112018088458310-pat00002
방향 벡터(
Figure 112018088458310-pat00003
)는 이미지를 캡쳐한 순간에 저장한 사용자의 좌표(P0)와 생성된 2차원 이미지(200)에서의 중간 지점에 관한 상대 좌표(P)를 이용해 구할 수 있다. 계산한 방향 벡터(
Figure 112018088458310-pat00004
)를 이용하여 광선을 발사하면, 실제 객체의 중간 지점을 찾을 수 있다.
시각 증강 엔진부(150)는 선을 따라 광선을 발사하여, 광선이 처음 닿는 3차원 메쉬 부분을 검출된 객체로 인식하여 이 메쉬 부분에 객체의 3차원 위치를 나타내는 가상 객체를 표시한다. 이때, 표시되는 가상 객체의 정보는 작업 지원 정보 제공부(170)로부터 제공된다. 여기서, 가상 객체의 정보는 객체 ID 또는 객체 위치 정보를 나타낸다.
시각 증강 엔진부(150)는 딥러닝 엔진부(130)로부터 수신한 객체 검출 결과를 기초로, 객체에 부여된 ID, 객체 위치 정보 등을 작업 지원 정보 제공부(170)에 전달하여, 매칭되는 작업 지원 정보를 수신한다. 작업 지원 정보는 실 객체의 형상, 지시선, 주석(Annotation) 등을 포함한다.
시각 증강 엔진부(150)는 작업 지원 정보 제공부(170)로부터 실 객체의 크기와 형체가 같은 3차원 가상 모델 정보, 즉, 가상 객체를 수신하여 표시할 수 있다.
시각 증강 엔진부(150)는 도 4와 같이, 실 객체(P3, P5)를 지시하는 표시와 함께 객체명, 예를들면, 'Mini-Motor Head', 'Flat Driver'를 표시할 수 있다. 즉, 상황에 따라 현재 작업자에게 필요한 객체의 위치를 직관적으로 알려줄 수 있다.
시각 증강 엔진부(150)는 도 5와 같이, 특정 객체(P7)를 가리키는 화살표(P9)를 표시할 수 있다. 즉, 검출된 객체의 3차원 위치 정보를 통해 사용자에게 필요한 객체의 위치를 현재 사용자의 위치에서 가리키는 지시선이나 지시 화살표를 통해 표시할 수 있다.
시각 증강 엔진부(150)는 도 6과 같이, 검출한 객체의 위치를 표시한 가상 객체(P13) 주변에 해당 과업을 알려주는 가이드 매뉴얼(P11)을 표시할 수 있다. 예를들면, 객체의 위치를 표시한 가상 객체(P13) 주변에 이미지나 영상 정보를 증강시켜 사용자의 과업을 순차적으로 알려줄 수 있다.
또한, 시각 증강 엔진부(150)는 가시화된 검출 결과에 대한 피드백을 상호작용을 통하여 사용자로부터 수집할 수 있다. 즉, 사용자가 직접 검출된 객체의 종류와 검출 객체의 3차원 위치를 표시한 지점을 확인하고, 확인 결과를 피드백할 수 있다. 피드백은 MR 인터페이스부(110)에 포함된 입력 수단을 이용하거나 또는 별도의 입력 수단(미도시)을 이용하여 시각 증강 엔진부(150)로 제공될 수 있다.
피드백은 객체 검출 결과가 맞지 않다면, 객체 검출 결과의 폐기를 포함하고, 실 공간 매핑 전 단계로 돌아가도록 할 수 있다. 피드백은 객체 검출 결과가 맞다면, 검출된 객체 및 3차원 위치를 지정하도록 할 수 있다.
도 7은 본 발명의 다른 실시예에 따른 작업 지원 정보 제공 시스템의 구성을 나타낸 블록도이다.
도 7을 참조하면, 작업 지원 정보 제공 시스템은 단말 장치(400)와 작업 지원 서버(500)로 구현될 수 있다. 이때, 단말 장치(400)와 작업 지원 서버(500)는 통신망(600)을 통해 연결된다. 통신망(600)은 LTE(Long term evolution)망, WCDMA(wideband code division multiple access)망과 같은 이동통신망, Wi-Fi 망과 같은 다양한 종류의 무선망, 및 이들의 조합으로 구성될 수 있다.
단말 장치(400)와 작업 지원 서버(500)는 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP) 기반 소켓(Socket) 네트워크를 사용할 수 있다.
단말 장치(400)는 제조 설비가 설치된 작업 환경에서 작업자가 구비하는 단말로서, 무선 데이터 통신 기능과 캡쳐 기능 등을 구비한다. 단말 장치(400)는 실 제조 설비를 캡쳐하고, 실 제조 설비에 대한 정보를 화면에 출력한다.
이때, 단말 장치(400)는 도 1 ~ 도 6에서 설명한 내용을 참조하면, MR 인터페이스부(110) 및 시각 증강 엔진부(150)를 포함할 수 있다. 여기서, MR 인터페이스부(110) 및 시각 증강 엔진부(150)는 모바일 어플리케이션의 형태로 구현될 수도 있다.
단말 장치(400)의 MR 인터페이스부(110)는 RGB 카메라를 구비하고, RGB 카메라를 통해 획득한 RGB 정보를 기초로, 사용자, 즉, 단말 장치(400) 주위의 3차원 실 환경, 예를들면, 바닥, 옆면과 같은 비교적 찾기 쉬운 형태를 간단한 면(Plane) 형태의 3차원 메쉬 데이터로 구성하고 매핑을 실시할 수 있다.
작업 지원 서버(500)는 높은 연산 처리 능력을 요구하는 딥러닝 기반 객체 검출을 실시하는 컴퓨터 장치로, 단말 장치(400)의 제한적인 연산 처리 능력을 대신하여 객체 검출 결과를 계산하는 역할을 한다.
도 1 ~ 도 6에서 설명한 내용을 참고하면, 작업 지원 서버(500)는 딥러닝 엔진부(130) 및 작업 지원 정보 제공부(170)를 포함할 수 있다.
작업 지원 서버(500)의 딥러닝 엔진부(130)는 단말 장치(400)의 MR 인터페이스부(110)로부터 수신한 캡쳐 이미지를 기초로, 객체를 검출한다. 그리고 객체 검출 결과를 단말 장치(400)의 시각 증강 엔진부(150)로 전송한다.
단말 장치(400)의 시각 증강 엔진부(150)는 MR 인터페이스부(110)가 스캔하는 물리적 실 공간을 3차원 메쉬 이미지로 재구성하고, 작업 지원 서버(500)의 딥러닝 엔진부(130)로부터 수신한 객체 검출 결과를 3차원 메쉬 이미지에 표시한다. 이때, 단말 장치(400)의 시각 증강 엔진부(150)는 객체 검출 결과로부터 추출한 객체 ID 및/또는 객체 위치 정보를 작업 지원 서버(500)의 작업 지원 정보 제공부(170)로 전송하여, 객체 ID 및/또는 객체 위치 정보에 대응하는 가상 객체 정보, 작업 지원 정보를 수신한다.
단말 장치(400)의 시각 증강 엔진부(150)는 3차원 메쉬 이미지의 객체에 대응하는 지점에 작업 지원 서버(500)의 작업 지원 정보 제공부(170)로부터 수신한 가상 객체 정보, 작업 지원 정보를 표시한다.
작업 지원 정보 제공부(170)는 작업 시퀀스 정보, 형상 정보, 제조 정보를 제공한다. 여기서, 작업 시퀀스 정보는 작업자가 검출한 객체들의 3차원 위치 정보를 바탕으로 작업자가 행할 과업의 순서를 지시하는 정보이다. 먼저, 주어진 과업 수행을 위해 작업자에게 필요한 객체를 이미지를 통해 지시하고, 해당 객체의 3차원 위치를 지시선이나 지시 화살표를 통해 지시한다. 이를 통해, 작업자가 해당 객체를 찾으면, 검출한 3차원 위치 정보를 바탕으로 해당 객체 주위에 가이드 매뉴얼, 예를들면, 과업 실시 이미지 및 영상을 출력함으로써, 작업자가 과업을 실시할 수 있게 도와준다.
형상 정보는 3차원 가상 모델을 의미한다. 검출한 실 객체 주위에 3차원 가상 모델을 증강시켜 모듈의 레이아웃을 변경시키는 등의 행위를 수행할 수 있다.
제조 정보는 검출한 실 객체, 예를들면, 제조 모듈, 기타 장비 등에 대한 불량률, 재고량, 안전 관련 정보 등의 제조 정보를 의미한다. 검출한 실 객체 주위에 필요한 제조 정보를 증강시켜 작업자가 직관적으로 실 객체에 대한 상태, 상황 등을 알 수 있게 한다. 또한, 제조 정보는 외부 서버(미도시)와 연결되어 있어 실시간으로 업데이트된다. 여기서, 외부 서버(미도시)는 제조 정보를 관리하고, 업데이트하는 구성을 통칭한다.
도 8은 본 발명의 실시예에 따른 MR 기반의 작업 지원 정보 제공 방법을 나타낸 흐름도이다.
도 8을 참조하면, MR 인터페이스부(110)는 실 환경을 캡쳐하여, 실사 이미지를 생성한다(S101). 이때, MR 인터페이스부(110)는 캡쳐 지점의 위치를 측정할 수 있다.
MR 인터페이스부(110)는 실 환경을 캡쳐하여, 실사 이미지를 생성(S101)하고, 실사 이미지를 시각 증강 엔진부(150)로 전송한다(S103).
시각 증강 엔진부(150)는 앞서 설명한 바와 같이, 실사 이미지를 캡쳐하기 전에 공간 학습 기술을 기초로, 카메라의 시야를 다각도에서 이동 및 회전하여 검출할 적어도 하나 이상의 실 객체 및 주위 실 공간을 3차원 메쉬 이미지로 재구성한다.
MR 인터페이스부(110)는 S101 단계에서 생성한 실사 이미지를 딥러닝 엔진부(130)로 전송한다(S107). 딥러닝 엔진부(130)는 앞서 설명한 바와 같이, 딥러닝 알고리즘을 기초로, 실사 이미지로부터 적어도 하나의 객체를 추출한다(S109). 그리고 S109 단계에서의 객체 추출 결과를 시각 증강 엔진부(150)로 전송한다(S111).
시각 증강 엔진부(150)는 MR 인터페이스부(110)로부터 수신(S103)한 실사 이미지, 즉, 2차원 이미지에 딥러닝 엔진부(130)로부터 수신(S111)한 객체 검출 결과를 가시화한다(S113). 즉, 도 9에 나타낸 것처럼, 검출된 해당 객체 주변을 사각 영역으로 표시한다.
시각 증강 엔진부(150)는 앞서 설명한 바와 같이, 광선 투사 기법을 이용하여, 3D 메쉬 이미지에서 객체를 검출한다(S115).
시각 증강 엔진부(150)는 검출(S115)한 객체에 대한 작업 지원 정보를 작업 지원 정보 제공부(170)로 요청한다(S117). 요청시, 검출(S115)한 객체에 대한 ID, 위치 정보를 함께 전송한다.
작업 지원 정보 제공부(170)는 요청된 객체 ID 및/또는 위치에 대응하는 가상 객체와 작업 지원 정보를 추출(S119)하여, 시각 증강 엔진부(150)로 전달한다(S121). 작업 지원 정보는 가상 객체 정보 및 작업 지시 정보를 포함할 수 있다.
시각 증강 엔진부(150)는 수신(S121)한 작업 지원 정보를 기초로, 실 객체에 해당하는 가운데 지점에 위치를 표시할 가상 객체, 예를들면, 객체마다 색이 다른 3차원 구(도 4의 P3, P5)를 표시하고, 가상 객체에 근접한 위치에 작업 지원 정보를 증강한 증강 화면을 생성한다(S123). 그리고 시각 증강 엔진부(150)는 증강 화면을 MR 인터페이스부(110)에게 전달한다(S125). 여기서, 가상 객체는 검출한 객체의 ID 또는 3차원 위치를 나타낸다.
그러면, MR 인터페이스부(110)는 시각 증강 엔진부(150)로부터 수신한 증강 화면을 디스플레이한다(S127).
한편, 지금까지 설명한 작업 지원 정보 제공 시스템의 하드웨어 구성에 대해 설명한다. 먼저, 도 10은 본 발명의 실시예에 따른 단말의 하드웨어 구성을 나타낸 블록도이다.
도 10을 참조하면, 단말(900)은 카메라(901), 통신 장치(903), 입력 장치(905), 메모리 장치(907), 디스플레이(909) 및 적어도 하나의 프로세서(911)를 포함하는 하드웨어로 구성된다. 메모리 장치(907)는 도 1 ~ 도 9에서 도면을 참고로 설명한 단말의 동작을 실행하기 위한 명령어들(instructions)을 포함하는 소프트웨어 프로그램으로서, 카메라(901), 통신 장치(903), 입력 장치(905), 메모리 장치(907), 디스플레이(909) 및 적어도 하나의 프로세서(911) 등의 하드웨어와 결합하여 프로그램된 동작을 실행한다. 적어도 하나의 프로세서(711)는 메모리 장치(907)에 저장되어 있거나 로드된 명령어를 실행하여 본 발명을 구동한다. 디스플레이(909)는 본 발명의 실시예에 따른 증강 화면을 출력하는 수단이다. 이때, 디스플레이(909)는 입력 장치(905)와 통합된 하나의 장치로 구현될 수도 있다. 적어도 하나의 프로세서(711)는 위에서 설명한 3차원 공간 모델링 및 데이터 경량화 방법을 실행하기 위한 GPU(Graphic Processor Unit)와 CPU(Central Processor Unit)를 포함한다.
도 11은 본 발명의 다른 실시예에 따른 작업 지원 서버의 하드웨어 구성을 나타낸 블록도이다.
도 11을 참조하면, 작업 지원 서버(1000)는 통신 장치(1001), 메모리(1003), 저장 장치(1005) 및 적어도 하나의 프로세서(1007)등을 포함하는 하드웨어로 구성되고, 지정된 장소에 하드웨어와 결합하여 실행되는 프로그램이 저장된다.
프로세서(1007)는 통신 장치(1001), 메모리(1003), 저장 장치(1005)와 통신하고, 이들을 제어한다. 통신 장치(1001)는 외부 장치와의 물리적 연결을 위한 하드웨어로서, 통신망(600)을 통해 단말(400, 900)과 연결되어 데이터를 송수신한다. 메모리(803)는 도 1 ~ 도 9에서 도면을 참고로 설명한 서버의 동작을 실행하기 위한 명령어들을 포함하는 소프트웨어 프로그램으로서, 저장된 프로그램 또는 저장 장치(1005)로부터 명령어들을 로딩한다.
이상에서 설명한 본 발명의 실시예는 장치 및 방법을 통해서만 구현이 되는 것은 아니며, 본 발명의 실시예의 구성에 대응하는 기능을 실현하는 프로그램 또는 그 프로그램이 기록된 기록 매체를 통해 구현될 수도 있다.
이상에서 본 발명의 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (10)

  1. 적어도 하나의 프로세서에 의해 동작하는 작업 지원 정보 제공 시스템이 작업 지원 정보를 제공하는 방법으로서,
    카메라 시야의 실 환경을 3차원 메쉬 이미지로 생성하는 단계,
    상기 실 환경을 캡쳐하여 실사 이미지를 생성하는 단계,
    상기 실사 이미지로부터 적어도 하나의 작업 지원 객체를 검출하는 단계, 그리고
    상기 3차원 메쉬 이미지에서 상기 작업 지원 객체의 3차원 위치에 해당하는 지점에 상기 작업 지원 객체의 3차원 위치를 나타내는 가상 객체를 출력하고, 상기 가상 객체가 출력된 지점의 근접 위치에 상기 작업 지원 객체에 대한 작업 지원 정보를 표시하는 단계를 포함하고,
    상기 작업 지원 정보는,
    상기 작업 지원 객체를 설명하는 정보 또는 상기 작업 지원 객체에 대한 부가 정보를 포함하고,
    상기 출력하는 단계는,
    상기 실사 이미지에 상기 검출한 객체의 사각 영역을 표시한 2차원 이미지를 생성하는 단계,
    캡쳐한 위치를 기준으로 상기 2차원 이미지를 전면에 배치하고, 상기 2차원 이미지에 표시된 상기 사각 영역의 중심점을 관통하도록 상기 캡쳐한 위치에서 광선을 발사하는 단계, 그리고
    상기 3차원 메쉬 이미지 상에 상기 광선이 맞닿는 지점에 상기 작업 지원 객체의 3차원 위치를 나타내는 가상 객체 및 상기 작업 지원 정보를 표시하는 단계
    를 포함하는, 작업 지원 정보 제공 방법.
  2. 제1항에서,
    상기 객체를 검출하는 단계는,
    딥러닝 학습 알고리즘을 기초로, 상기 실사 이미지를 분석하여 객체를 분류하고, 분류된 객체 별로 사각 영역을 검출하며,
    상기 가상 객체는,
    상기 사각 영역의 중심점을 통해 계산되어 상기 3차원 메쉬 이미지 상에 표시되는, 작업 지원 정보 제공 방법.
  3. 삭제
  4. 제1항에서,
    상기 발사하는 단계는,
    상기 실사 이미지를 캡쳐한 시점에 상기 실사 이미지를 캡쳐한 카메라의 3차원 위치 및 상기 사각 영역의 중심점을 기초로, 방향 벡터를 계산하는 단계, 그리고
    상기 방향 벡터를 이용하여 상기 광선을 발사하는 단계
    를 포함하는, 작업 지원 정보 제공 방법.
  5. 적어도 하나의 카메라를 포함하는 혼합 현실 인터페이스부,
    화면을 구비하는 디스플레이,
    작업 지원 서버와 통신망을 통해 연결되는 통신 장치,
    작업 지원 정보를 제공하는 프로그램이 저장된 메모리 장치, 그리고
    상기 프로그램을 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 프로그램은,
    상기 적어도 하나의 카메라를 통해 생성된 실사 이미지를 상기 작업 지원 서버로 전송하고,
    상기 실사 이미지에서 검출된 객체에 대응하여 기 설정된 가상 객체 및 상기 가상 객체에 대한 작업 지원 정보를 상기 작업 지원 서버로부터 수신하고,
    상기 적어도 하나의 카메라로부터 획득한 실 객체 및 주위 공간의 색상 정보 및 깊이 정보를 이용하여 상기 주위 공간을 3차원 메쉬 이미지로 재구성하고,
    상기 실사 이미지에 상기 검출된 객체를 표시한 2차원 이미지를 생성하고,
    상기 2차원 이미지를 관통하여 발사된 광선이 상기 3차원 메쉬 이미지에 맞닿는 지점에 상기 가상 객체 및 상기 작업 지원 정보를 표시한 혼합현실 화면을 생성하여 상기 디스플레이로 출력하는 명령어들(Instructions)을 포함하고,
    상기 혼합 현실 인터페이스부는,
    상기 디스플레이의 전면에 상기 2차원 이미지를 배치하고, 상기 2차원 이미지에 표시된 객체의 사각 영역의 중심점을 관통하여 상기 2차원 이미지의 후면에 배치된 3차원 메쉬 이미지를 향하도록 상기 광선을 발사하는, 단말.
  6. 삭제
  7. 제5항에서,
    상기 프로그램은,
    상기 작업 지원 서버와 연동하여 동작하는 스마트폰 어플리케이션으로 구현되는, 단말.
  8. 단말과 통신망을 통해 연결되는 통신 장치,
    프로그램을 저장하는 메모리, 그리고
    상기 프로그램을 실행하는 적어도 하나의 프로세서를 포함하고,
    상기 프로그램은,
    상기 단말로부터 수신한 실사 이미지로부터 실 객체를 검출하고, 검출한 실 객체의 3차원 위치를 나타내는 가상 객체 및 작업 지원 객체에 대한 작업 지원 정보를 상기 단말로 전송하고,
    상기 실사 이미지에 상기 검출한 객체의 사각 영역을 표시한 2차원 이미지를 생성하고,
    캡쳐한 위치를 기준으로 상기 2차원 이미지를 전면에 배치하고, 상기 2차원 이미지에 표시된 상기 사각 영역의 중심점을 관통하도록 상기 캡쳐한 위치에서 광선을 발사하며,
    3차원 메쉬 이미지 상에 상기 광선이 맞닿는 지점에 상기 작업 지원 객체의 3차원 위치를 나타내는 가상 객체 및 상기 작업 지원 정보를 표시하는 명령어들(Instructions)을 포함하고,
    상기 가상 객체 및 상기 작업 지원 정보는,
    상기 단말에서 실사 이미지가 재구성된 상기 3차원 메쉬 이미지 상에 표시되는, 작업 지원 서버.
  9. 제8항에서,
    상기 통신 장치는,
    상기 단말과 사용자 데이터그램 프로토콜(User Datagram Protocol, UDP) 기반 소켓(Socket) 통신을 수행하는, 작업 지원 서버.
  10. 제8항에서,
    상기 프로그램은,
    상기 실 객체에 대응하여 저장된 작업 지원 정보를 기초로, 상기 가상 객체 및 상기 작업 지원 정보를 생성하여, 상기 단말로 전송하는 명령어들(Instructions)을 포함하는, 작업 지원 서버.
KR1020180106165A 2018-09-05 2018-09-05 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버 Active KR102114496B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180106165A KR102114496B1 (ko) 2018-09-05 2018-09-05 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180106165A KR102114496B1 (ko) 2018-09-05 2018-09-05 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버

Publications (2)

Publication Number Publication Date
KR20200027846A KR20200027846A (ko) 2020-03-13
KR102114496B1 true KR102114496B1 (ko) 2020-06-02

Family

ID=69938360

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180106165A Active KR102114496B1 (ko) 2018-09-05 2018-09-05 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버

Country Status (1)

Country Link
KR (1) KR102114496B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023075351A1 (ko) * 2021-10-25 2023-05-04 (주)바질컴퍼니 산업용 로봇의 인공지능 학습 방법
WO2023100743A1 (ja) * 2021-12-03 2023-06-08 株式会社日立製作所 作業支援システム、作業対象特定装置および方法
KR102601819B1 (ko) 2022-12-19 2023-11-14 주식회사 코탁스 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템
KR20240096955A (ko) 2022-12-19 2024-06-27 주식회사 코탁스 시각정보의 쉐어링을 통한 확장 현실 기반의 원격 콘트롤 솔루션 네트워크 시스템

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102371446B1 (ko) * 2020-05-14 2022-03-07 한국과학기술연구원 유럽연구소 우편물에 인쇄된 배송지 주소를 인식하는 방법 및 장치
CN112950755B (zh) * 2021-03-23 2024-08-23 广东电网有限责任公司 一种安全围栏布置方法及装置
KR102434084B1 (ko) * 2021-12-13 2022-08-19 주식회사 맥스트 현실공간 기반 콘텐츠 저작 장치, 콘텐츠 저작 시스템 및 방법
KR102680198B1 (ko) * 2021-12-30 2024-07-03 세종대학교산학협력단 객체 인식 기반 지능형 특수효과 생성 장치 및 방법
KR102605429B1 (ko) * 2022-04-20 2023-11-23 주식회사 큐에스 증강현실 영상 표시 방법
CN115051974B (zh) * 2022-05-30 2025-03-11 深圳市中视典数字科技有限公司 一种远程指导方法、远程指导系统、电子设备及存储介质
KR102524149B1 (ko) 2022-09-05 2023-04-20 세종대학교산학협력단 가상세계 생성 방법 및 장치

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140108428A (ko) * 2013-02-27 2014-09-11 한국전자통신연구원 착용형 디스플레이 기반 원격 협업 장치 및 방법
KR102317247B1 (ko) * 2015-06-15 2021-10-26 한국전자통신연구원 영상정보를 이용한 증강현실 기반 손 인터랙션 장치 및 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101768521B1 (ko) * 2016-05-02 2017-08-17 네이버 주식회사 이미지에 포함된 객체에 대한 정보 데이터를 제공하는 방법 및 시스템

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023075351A1 (ko) * 2021-10-25 2023-05-04 (주)바질컴퍼니 산업용 로봇의 인공지능 학습 방법
WO2023100743A1 (ja) * 2021-12-03 2023-06-08 株式会社日立製作所 作業支援システム、作業対象特定装置および方法
JP7636316B2 (ja) 2021-12-03 2025-02-26 株式会社日立製作所 作業支援システム、作業対象特定装置および方法
KR102601819B1 (ko) 2022-12-19 2023-11-14 주식회사 코탁스 시각 정보의 실시간 쉐어링 기능을 이용한, 확장 현실 기반의 원격 헬멧 콘트롤 시스템
KR20240096955A (ko) 2022-12-19 2024-06-27 주식회사 코탁스 시각정보의 쉐어링을 통한 확장 현실 기반의 원격 콘트롤 솔루션 네트워크 시스템

Also Published As

Publication number Publication date
KR20200027846A (ko) 2020-03-13

Similar Documents

Publication Publication Date Title
KR102114496B1 (ko) 혼합 현실에서 작업 지원 정보를 제공하는 방법, 단말 및 작업 지원 서버
US10235771B2 (en) Methods and systems of performing object pose estimation
US11188739B2 (en) Processing uncertain content in a computer graphics system
CN112652016B (zh) 点云预测模型的生成方法、位姿估计方法及其装置
US11308347B2 (en) Method of determining a similarity transformation between first and second coordinates of 3D features
Park et al. Deep learning-based mobile augmented reality for task assistance using 3D spatial mapping and snapshot-based RGB-D data
US8243061B2 (en) Image processing apparatus and method of controlling operation of same
CN110520899A (zh) 标识在环境中的标记的位置
US20190268509A1 (en) Image processing device, image processing method, and recording medium
US10347029B2 (en) Apparatus for measuring three dimensional shape, method for measuring three dimensional shape and three dimensional shape measurement program
US11209277B2 (en) Systems and methods for electronic mapping and localization within a facility
WO2016029939A1 (en) Method and system for determining at least one image feature in at least one image
US11107241B2 (en) Methods and systems for training an object detection algorithm using synthetic images
WO2021244187A1 (en) Method for tracking head mounted display device and head mounted display system
US12236639B2 (en) 3D object detection using random forests
US11727658B2 (en) Using camera feed to improve quality of reconstructed images
US11758100B2 (en) Portable projection mapping device and projection mapping system
US11138807B1 (en) Detection of test object for virtual superimposition
CN111047710B (zh) 虚拟现实系统及交互设备显示方法和计算机可读存储介质
CN115100257A (zh) 套管对准方法、装置、计算机设备、存储介质
US20220284667A1 (en) Image processing method and image processing device for generating 3d content by means of 2d images
US12315195B2 (en) Using cloud computing to improve accuracy of pose tracking
Trujillo-Romero et al. A virtual active camera for scene modelling in robotic vision tasks
CN117274525A (zh) 一种虚拟卷尺测量仿真方法及系统
CN116385537A (zh) 一种用于增强现实的定位方法及装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20180905

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20191105

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200428

PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200515

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200515

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20250430

Start annual number: 6

End annual number: 6