KR102088011B1 - 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법 및 장치 - Google Patents

3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법 및 장치 Download PDF

Info

Publication number
KR102088011B1
KR102088011B1 KR1020190029250A KR20190029250A KR102088011B1 KR 102088011 B1 KR102088011 B1 KR 102088011B1 KR 1020190029250 A KR1020190029250 A KR 1020190029250A KR 20190029250 A KR20190029250 A KR 20190029250A KR 102088011 B1 KR102088011 B1 KR 102088011B1
Authority
KR
South Korea
Prior art keywords
maintenance
information
unit
image
augmented reality
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
KR1020190029250A
Other languages
English (en)
Inventor
이병호
Original Assignee
이병호
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 이병호 filed Critical 이병호
Priority to KR1020190029250A priority Critical patent/KR102088011B1/ko
Application granted granted Critical
Publication of KR102088011B1 publication Critical patent/KR102088011B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G06K9/00201—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/64—Three-dimensional objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Business, Economics & Management (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Tourism & Hospitality (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Evolutionary Computation (AREA)
  • Operations Research (AREA)
  • Health & Medical Sciences (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Processing Or Creating Images (AREA)

Abstract

3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법 및 장치가 개시되며, 본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치는, 복수의 부품을 포함하는 정비 대상 장비의 적어도 일 영역을 촬영하여 입력 영상을 생성하는 영상 촬영부, 상기 정비 대상 장비의 상기 복수의 부품의 도면 데이터에 기초하여 상기 복수의 부품에 대응되는 스펙트럼 패턴을 획득하는 패턴 생성부, 상기 스펙트럼 패턴에 기초하여 상기 입력 영상에 포함된 상기 정비 대상 장비의 부품을 식별하는 객체 인식부 및 상기 식별 결과에 기초하여 해당 부품의 정비 교범 정보를 상기 입력 영상에 오버랩한 출력 영상을 표시하는 출력 표시부를 포함할 수 있다.

Description

3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법 및 장치{APPARATUS AND METHOD FOR MAINTAINING BASED ON AUGMENTED REALITY USING 3D OBJECT RECOGNITION ALGORITHM}
본원은 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법 및 장치에 관한 것이다.
가상현실(Virtual Reality, VR)은 컴퓨터로 만들어 놓은 가상의 세계에서 사용자가 실제와 같은 체험을 할 수 있도록 하는 기술을 총칭하며, 그 중 증강현실 (Augmented Reality, AR)은 현실의 이미지나 배경에 가상영상을 증강시켜 사용자에게 부가정보를 제공해주는 기술을 말하며, 차량 주행 중 운행정보를 차량 전방 유리에 표시해주는 HUD(Head Up Display) 등이 그 예이다.
또한, 객체 인식은 시각 정보를 컴퓨터가 대신하여 분석하고 해석할 수 있도록 하는 연구 분야로, 영상 감시, 얼굴 인식, 로봇 제어, IoT, 자율 주행, 제조업, 보안 등에 활용됨으로써 산업 전반에서 빠질 수 없는 핵심기술로 사용되고 있으며, 정비 분야에서도 정비 대상 장비의 특정 부품을 인식, 식별하기 위하여 적용되고 있다.
종래의 객체 인식 기법은 객체가 가지는 특성을 설계하고 검출함으로써 객체를 찾아내는 방식으로 진행되었는데, 객체를 인식하기 위해 2차원 이미지가 중점적으로 사용되었으며, 마커(예를 들어, QR 코드)에 기초하여 객체를 식별하는 기술이 주를 이루어 유사한 구조를 갖는 객체를 높은 정확도로 구분하여 인식하기 어렵다는 한계를 보였다.
또한, 군용 장비의 경우, 갑작스러운 전투가 발생하더라도 즉각적으로 운용이 가능해야 하므로 운영 유지가 다른 어떤 분야의 장치보다 완벽하게 이루어져야 함에도 군복무기간의 지속적인 단축에 따라 군용 장비 정비에 대한 기술적인 노하우가 전해지지 않고 사장되는 경향이 강하여 정비 교범을 익히고, 실질적인 실무 경험을 취득하는데 소요되는 시간이 단축되어야 할 필요성이 점점 커지고 있다.
본원의 배경이 되는 기술은 한국등록특허공보 제10-1701278호에 개시되어 있다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 3차원 객체 인식 알고리즘을 이용하여 정비 대상 장비의 부품을 높은 정확도로 식별하고, 식별 결과와 연계하여 해당 부품의 정비 방법 등을 포함하는 정비 교범 정보를 증강현실을 기반으로 표시함으로써 정비자가 쉽게 부품을 식별하고 해당 부품을 정비하는 데 요구되는 노하우를 습득할 수 있는 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법 및 장치를 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 마커 기반의 불완전한 객체 인식 기술의 한계를 극복하고, 부품의 식별을 위한 정보를 스펙트럼 패턴에 기초한 기계 학습과 연계된 3차원 객체 인식 알고리즘을 도입하여 정비 대상 장비에 포함된 개별 부품을 높은 정확도로 식별할 수 있는 방법을 제공하려는 것을 목적으로 한다.
본원은 전술한 종래 기술의 문제점을 해결하기 위한 것으로서, 정비자가 정비 대상 장비의 정비에 필요한 정보를 습득하고 노하우를 체득하는 데 소요되는 시간을 단축하려는 것을 목적으로 한다.
다만, 본원의 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치는, 복수의 부품을 포함하는 정비 대상 장비의 적어도 일 영역을 촬영하여 입력 영상을 생성하는 영상 촬영부, 상기 정비 대상 장비의 상기 복수의 부품의 도면 데이터에 기초하여 상기 복수의 부품에 대응되는 스펙트럼 패턴을 획득하는 패턴 생성부, 상기 스펙트럼 패턴에 기초하여 상기 입력 영상에 포함된 상기 정비 대상 장비의 부품을 식별하는 객체 인식부 및 상기 식별 결과에 기초하여 해당 부품의 정비 교범 정보를 상기 입력 영상에 오버랩한 출력 영상을 표시하는 출력 표시부를 포함할 수 있다.
또한, 상기 패턴 생성부는, 상기 복수의 부품을 포함하는 정비 대상 장비의 상기 복수의 부품의 도면 데이터를 수신하고 상기 도면 데이터 상에 상기 부품의 형체를 특정하는 포인트를 지정하여 모델링을 수행하는 포인트 지정부, 상기 모델링 수행 결과에 3차원 회전을 반복하여 상기 포인트마다 스펙트럼 정보를 도출하는 데이터 로깅부 및 상기 스펙트럼 정보에 대한 기계 학습을 수행하여 상기 스펙트럼 정보를 패턴화하는 기계 학습부를 포함할 수 있다.
또한, 상기 영상 촬영부 및 상기 출력 표시부는 AR 글래스와 연계될 수 있다.
또한, 상기 영상 촬영부는 상기 AR 글래스에 구비된 카메라에 의해 상기 입력 영상을 생성할 수 있다.
또한, 상기 출력 표시부는 상기 AR 글래스의 디스플레이 상에 상기 출력 영상을 증강하여 출력할 수 있다.
또한, 본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치는, 상기 AR 글래스의 규격에 기초하여 상기 출력 영상의 해상도를 결정하고, 외부 환경의 조도에 기초하여 상기 출력 영상의 선명도를 결정하는 영상 보정부를 포함할 수 있다.
또한, 상기 정비 교범 정보는, 상기 해당 부품의 수리부속 제원 정보, 조립 절차 정보, 분해 절차 정보, 검사 기준 정보 중 적어도 하나를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치는, 상기 부품의 전기적 신호를 계측하는 오실로스코프를 포함할 수 있다.
또한, 상기 출력 표시부는 상기 오실로스코프의 계측값을 포함하여 상기 출력 영상을 표시할 수 있다.
한편, 본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법은, 복수의 부품을 포함하는 정비 대상 장비의 상기 복수의 부품의 도면 데이터를 수신하는 단계, 상기 도면 데이터 상에 상기 부품의 형체를 특정하는 포인트를 지정하여 모델링을 수행하는 단계, 상기 모델링 수행 결과에 3차원 회전을 반복하여 상기 포인트마다 스펙트럼 정보를 도출하는 단계, 상기 스펙트럼 정보에 대한 기계 학습을 수행하여 상기 스펙트럼 정보를 패턴화하여 스펙트럼 패턴을 획득하는 단계, 상기 복수의 부품을 포함하는 정비 대상 장비의 적어도 일 영역을 촬영한 입력 영상을 수신하는 단계, 상기 스펙트럼 패턴에 기초하여 상기 입력 영상에 포함된 상기 정비 대상 장비의 부품을 식별하는 단계 및 상기 식별 결과에 기초하여 해당 부품의 정비 교범 정보를 상기 입력 영상에 오버랩한 출력 영상을 표시하는 단계를 포함할 수 있다.
또한, 상기 입력 영상을 수신하는 단계는, AR 글래스에 구비된 카메라에 의해 촬영된 상기 입력 영상을 수신하는 것일 수 있다.
또한, 상기 출력 영상을 표시하는 단계는, AR글래스의 디스플레이 상에 상기 출력 영상을 증강하여 출력하는 것일 수 있다.
또한, 본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법은, 상기 AR글래스의 규격에 기초하여 상기 출력 영상의 해상도를 결정하는 단계 및 외부 환경의 조도에 기초하여 상기 출력 영상의 선명도를 결정하는 단계를 포함할 수 있다.
또한, 상기 정비 교범 정보는, 상기 해당 부품의 수리부속 제원 정보, 조립 절자 정보, 분해 절차 정보, 검사 기준 정보 중 적어도 하나를 포함할 수 있다.
또한, 본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법은, 상기 부품의 전기적 신호를 오실로스코프를 통해 계측하는 단계 및 상기 오실로스코프의 계측값을 상기 출력 영상에 매핑하는 단계를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본원을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 추가적인 실시예가 존재할 수 있다.
전술한 본원의 과제 해결 수단에 의하면, 3차원 객체 인식 알고리즘을 이용하여 정비 대상 장비의 부품을 높은 정확도로 식별하고, 식별 결과와 연계하여 해당 부품의 정비 방법 등을 포함하는 정비 교범 정보를 증강현실을 기반으로 표시함으로써 정비자가 쉽게 부품을 식별하고 해당 부품을 정비하는 데 요구되는 노하우를 습득할 수 있는 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법 및 장치를 제공할 수 있는 효과가 있다.
전술한 본원의 과제 해결 수단에 의하면, 정비자가 정비 대상 장비의 정비에 필요한 정보를 습득하고 노하우를 체득하는 데 소요되는 시간을 단축할 수 있다.
다만, 본원에서 얻을 수 있는 효과는 상기된 바와 같은 효과들로 한정되지 않으며, 또 다른 효과들이 존재할 수 있다.
도 1은 본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치의 개략적인 구성도이다.
도2는 본원의 일 실시예에 따른 패턴 생성부의 개략적인 구성도이다.
도3은 본원의 일 실시예에 따른 부품의 형체를 특정하는 포인트를 지정한 모델링 결과를 예시적으로 도시한 도면이다.
도4는 본원의 일 실시예에 따른 모델링 수행 결과에 3차원 회전을 반복하여 포인트마다 도출된 스펙트럼 정보를 예시적으로 도시한 도면이다.
도5는 본원의 일 실시예에 따른 스펙트럼 정보에 대한 기계 학습을 통해 스펙트럼 정보를 패턴화한 스펙트럼 패턴을 획득하는 과정을 예시적으로 도시한 도면이다.
도6은 본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법의 동작흐름도이다.
아래에서는 첨부한 도면을 참조하여 본원이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본원의 실시예를 상세히 설명한다. 그러나 본원은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본원을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본원 명세서 전체에서, 어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐 아니라, 그 중간에 다른 소자를 사이에 두고 "전기적으로 연결" 또는 "간접적으로 연결"되어 있는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부재가 다른 부재 "상에", "상부에", "상단에", "하에", "하부에", "하단에" 위치하고 있다고 할 때, 이는 어떤 부재가 다른 부재에 접해 있는 경우뿐 아니라 두 부재 사이에 또 다른 부재가 존재하는 경우도 포함한다.
본원 명세서 전체에서, 어떤 부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
도1은 본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치의 개략적인 구성도이다.
도1을 참조하면, 본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치는, 영상 촬영부(110), 패턴 생성부(120), 객체 인식부(130), 영상 보정부(140) 및 출력 표시부(150)를 포함할 수 있다.
본원에 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치(100)는, 통상 정비자에 의해 사용 가능한 3차원 입력 장치 및 시각적인 표시장치와 연계될 수 있으며, 예시적으로 HMD(Head Mounted Display), Crystal Eyes, 각종 VR 기기, 각종 AR 기기 등이 있을 수 있다.
본원의 일 실시예에 따르면, 상기 정비 대상 장비는 군용 차량, 전차, 장갑차, 미사일 발사체, 레이더 등의 군용 장비일 수 있다.
구체적으로, 상기 정비 대상 장비는 육군 K1E1 전차의 발전기(알터네이터)일 수 있다.
다만, 상기 정비 대상 장비의 유형은 예시적 기재일 뿐, 상기 정비 대상 장비는 일반 자동차, 엔진 장비, 트랜스미션, 제너레이터 등 다양한 분야에서 활용되는 장비를 포함하는 개념으로 이해될 수 있다.
영상 촬영부(110)는, 복수의 부품을 포함하는 정비 대상 장비의 적어도 일 영역을 촬영하여 입력 영상을 생성할 수 있다.
본원의 일 실시예에 따르면, 영상 촬영부(110)는 정비자 주위의 영상을 촬영하여 입력 영상을 생성하기 위한 카메라가 내장될 수 있다.
본원의 일 실시예에 따르면, 영상 촬영부(110)는 AR 글래스와 연계될 수 있다.
이 경우, 영상 촬영부(110)는 상기 AR 글래스에 구비된 카메라에 의해 상기 입력 영상을 생성할 수 있다.
패턴 생성부(120)는, 상기 정비 대상 장비의 상기 복수의 부품의 도면 데이터에 기초하여 상기 복수의 부품에 대응되는 스펙트럼 패턴을 획득할 수 있다.
본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치(100)는, 별도의 저장 매체를 포함할 수 있으며, 상기 저장 매체는 램(RAM)이나 롬(ROM) 등과 같이 컴퓨터로 읽을 수 있는 기록 매체를 의미할 수 있다.
이 때, 패턴 생성부(120)가 생성한 상기 복수의 부품 각각에 대응되는 스펙트럼 패턴은 상기 저장 매체에 기록되는 것일 수 있다.
객체 인식부(130)는, 상기 스펙트럼 패턴에 기초하여 상기 입력 영상에 포함된 상기 정비 대상 장비의 부품을 식별할 수 있다.
또한, 본원의 일 실시예에 따르면, 상기 정비 대상 장비의 부품을 식별하는 것은, 상기 입력 영상으로부터 상기 입력 영상에 포함된 상기 정비 대상 장비의 부품과 연계된 스펙트럼 정보를 파악하고, 상기 파악된 스펙트럼 정보를 상기 별도의 저장 매체에 포함된 부품별 스텍트럼 패턴과 비교하여 소정 이상의 유사도를 갖는 부품을 결정하여 식별 결과를 제공하는 것을 의미할 수 있다.
또한, 본원의 일 실시예에 다르면, 객체 인식부(130)는 상기 정비 대상 장비의 부품을 식별한 결과에 식별에 대한 정확도(신뢰도) 정보(예를 들어, 90%의 식별 정확도 형태로 표기)를 포함시킬 수 있다.
또한, 본원의 일 실시예에 따르면, 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치(100)는 GPS 또는 방위센서를 포함할 수 있고, 상기 GPS 또는 방위센서 중 적어도 하나에 기초하여 정비자의 시선 정보를 파악할 수 있다.
이 때, 객체 인식부(130)는 상기 정비자의 시선 정보와 연계하여 상기 입력 영상에 포함되고 상기 정비자가 현재 바라보고 있는 부품에 대한 식별을 우선적으로 수행할 수 있다.
본원의 일 실시예에 따르면, 상기 정비 대상 장비의 부품을 식별하는 것은, 해당 부품의 명칭, 상기 해당 부품을 포함하는 조립체 정보, 상기 조립체에서 상기 해당 부품이 차지하는 위치 정보, 상기 조립체 내에서 상기 해당 부품의 기능 정보를 포괄하여 파악하는 것으로 이해될 수 있다.
예시적으로, 객체 인식부(130)는 부품 식별 결과와 식별한 부품에 대응되는 내구도 정보 또는 마모도 정보 중 적어도 하나를 함께 제공할 수 있다.
영상 보정부(140)는, 상기 AR 글래스의 규격에 기초하여 상기 출력 영상의 해상도를 결정할 수 있다.
또한, 영상 보정부(140)는, 외부 환경의 조도에 기초하여 상기 출력 영상의 선명도를 결정할 수 있다.
본원의 일 실시예에 따르면, 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치(100)가 헤드 마운트 디스플레이 장치(HMD)와 연계될 경우, 상기 헤드 마운트 디스플레이 장치를 통해 외부 환경을 바라보는 정비자의 시야는 반투명 형태인 경우가 많으므로, 영상 보정부(140)는 선명도를 외부 환경의 조도에 기초하여 결정함으로써 정비자가 명료하게 외부 환경을 식별할 수 있도록 할 수 있다.
출력 표시부(150)는, 상기 식별 결과에 기초하여 해당 부품의 정비 교범 정보를 상기 입력 영상에 오버랩한 출력 영상을 표시할 수 있다.
본원의 일 실시예에 따르면, 상기 정비 교범 정보는, 상기 해당 부품의 수리부속 제원 정보, 조립 절차 정보, 분해 절차 정보, 검사 기준 정보 중 적어도 하나를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 정비 교범 정보는 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치(100)에 포함된 상기 별도의 저장 매체에 저장된 것일 수 있다.
본원의 일 실시예에 따르면, 상기 정비 교범 정보는, 상기 정비 대상 장비에 대한 숙련자의 정비 노하우를 포함할 수 있다.
본원의 일 실시예에 따르면, 출력 표시부(150)는 상기 부품과 연계된 상기 정비 교범 정보를 상기 입력 영상 내 상기 부품이 디스플레이 되는 화면 내 위치에 인접하여 위치시켜 표시할 수 있다.
또한, 본원의 일 실시예에 따르면, 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치(100)는 GPS 또는 방위센서를 포함할 수 있고, 상기 GPS 또는 방위센서 중 적어도 하나에 기초하여 정비자의 시선 정보를 파악할 수 있다.
이 때, 출력 표시부(150)는 상기 정비자의 시선 정보와 연계하여 상기 정비자가 현재 바라보는 부품에 대하여 상기 정비 교범 정보를 상기 입력 영상에 오버랩한 출력 영상을 표시하는 것일 수 있다.
본원의 일 실시예에 따르면, 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치(100)는, 정비자의 음성 또는 제스처를 통한 사용자 입력을 통해 상기 정비자가 상기 정비 교범 정보를 얻고자 하는 부품을 선택할 수 있도록 별도의 사용자 입력 수신 모듈(예를 들어, 음성 인식 모듈 또는 제스처 인식 모듈)을 포함할 수 있다.
이 때, 본원의 일 실시예에 따르면, 출력 표시부(150)는 상기 사용자 입력에 기초하여 정비자가 선택한 부품의 정비 교범 정보를 우선적으로 출력 영상에 표시할 수 있다.
본원의 일 실시예에 따르면, 출력 표시부(150)는 AR 글래스와 연계될 수 있다.
이 경우, 출력 표시부(150)는 상기 AR 글래스의 디스플레이 상에 상기 출력 영상을 증강하여 출력할 수 있다.
본원의 일 실시예에 따르면, 출력 표시부(150)는 상기 출력 영상을 증강 현실, 가상 현실 또는 혼합 현실의 형태로 구현하여 출력할 수 있다.
도2는 본원의 일 실시예에 따른 패턴 생성부의 개략적인 구성도이다.
도2를 참조하면, 본원의 일 실시예에 따른 패턴 생성부(120)는 포인트 지정부(121), 데이터 로깅부(122) 및 기계 학습부(123)를 포함할 수 있다.
도3은 본원의 일 실시예에 따른 부품의 형체를 특정하는 포인트를 지정한 모델링 결과를 예시적으로 도시한 도면이다.
도3을 참조하면, 포인트 지정부(121)는, 상기 복수의 부품을 포함하는 정비 대상 장비의 상기 복수의 부품의 도면 데이터를 수신하고 상기 도면 데이터 상에 상기 부품의 형체를 특정하는 포인트를 지정하여 모델링을 수행할 수 있다.
본원의 일 실시예에 따르면, 포인트 지정부(121)는 3차원 모델링에 관한 소프트웨어(3D S/W; 예를 들어, 3D Studio max, Maya, 라이노 등)과 연계되어 상기 도면 데이터를 수신하는 것일 수 있다.
또한, 본원의 일 실시예에 따르면, 포인트 지정부(121)는 상기 도면 데이터가 2차원 도면 데이터인 경우, 3차원 모델링 기법을 이용하여 상기 2차원 도면 데이터로부터 상기 2차원 도면 데이터와 연계된 부품의 3차원 도면 데이터를 생성할 수 있다.
또한, 본원의 일 실시예에 따르면 상기 2차원 도면 데이터는 하나의 부품에 대하여 여러 방향에서 촬영된 복수의 화상 데이터를 포함할 수 있으며, 포인트 지정부(121)는 상기 복수의 화상 데이터를 분석하여 상기 3차원 도면 데이터를 생성할 수 있다.
또한, 본원의 일 실시예에 따르면, 상기 3차원 모델링 기법은 TL-embedding 네트워크 기법, 3D Recurrent Reconstruction Neural Network(3D-R2N2) 기법, MarrNet 등을 포함할 수 있으나, 이에 한정되는 것은 아니며, 다양한 방식의 딥 러닝 기반 3차원 모델링 기법이 적용될 수 있다.
또한, 본원의 일 실시예에 따르면, 포인트 지정부(121)는 Harris 기법, SIFT(scale-invariant feature transform) 기법 또는 SURF 기법을 활용하여 상기 부품의 형체를 특정하는 포인트를 지정할 수 있으나 이에 한정되는 것은 아니다.
또한, 본원의 일 실시예에 따르면, 상기 부품의 형체를 특정하는 포인트는 가상의 3차원 좌표계 상에서의 좌표 정보 또는 3차원 벡터 정보와 연계되어 결정될 수 있다.
도4는 본원의 일 실시예에 따른 모델링 수행 결과에 3차원 회전을 반복하여 포인트마다 도출된 스펙트럼 정보를 예시적으로 도시한 도면이다.
도4를 참조하면, 데이터 로깅부(122)는, 상기 모델링 수행 결과에 3차원 회전을 반복하여 상기 포인트마다 스펙트럼 정보를 도출할 수 있다.
본원의 일 실시예에 따르면, 데이터 로깅부(122)는 포인트 지정부(121)에 의해 도출된 부품의 형체를 특정하는 포인트가 결정된 모델링 수행 결과를 3차원 좌표계 상에서 무작위적으로 회전을 반복하여 상기 포인트의 좌표 정보 또는 3차원 벡터 정보의 변화 정도에 따라 결정되는 스펙트럼 정보를 3차원 좌표계 상의 회전 정도(예를 들면, 회전 방향, 각도)에 매칭하여 획득할 수 있다.
본원의 일 실시예에 따르면, 데이터 로깅부(122)가 스펙트럼 정보를 도출하는 것은, 상기 모델링 수행 결과를 3차원 좌표계 상에서의 회전 정도와 상기 스펙트럼 정보의 연관 관계(함수)를 도출하는 과정을 반복하여, 모든 회전 방향에 대하여 상기 연관 관계를 기술하여 상기 연관 관계에 대한 정보를 포함하는 복수의 로그파일(logfile)을 생성하는 것을 의미할 수 있다.
도5는 본원의 일 실시예에 따른 스펙트럼 정보에 대한 기계 학습을 통해 스펙트럼 정보를 패턴화한 스펙트럼 패턴을 획득하는 과정을 예시적으로 도시한 도면이다.
도5를 참조하면, 기계 학습부(123)는, 상기 스펙트럼 정보에 대한 기계 학습을 수행하여 상기 스펙트럼 정보를 패턴화할 수 있다.
또한, 본원의 일 실시예에 따르면, 상기 스펙트럼 정보를 패턴화한 스펙트럼 패턴은, 반복적 회전을 통한 스펙트럼 정보의 축적을 통한 기계 학습에 기초하여 하나의 부품을 정비자가 여러 방향에서 바라보더라도 상기 스펙트럼 패턴을 통해 해당 부품을 식별하도록 활용될 수 있다.
또한, 본원의 일 실시예에 따르면, 기계 학습부(123)는 상기 스펙트럼 정보를 패턴화하기 위하여 합성곱 신경망(Convolutional Neural Networks; CNN), k-최근접 이웃 알고리즘(k-NN), 랜덤 포레스트(Random Forest), 에이다부스트(adaptive boosting; AdaBoost), 선형 서포트 벡터 머신(Linear Support Vector Machine; SVM), 로지스틱 회귀분석(Logistic Regression) 등의 기계 학습 기법을 활용할 수 있으나, 이는 이해를 돕기 위한 예시적 기재일 뿐, 다른 기계 학습의 실시예가 본 사상에 적용되는 것을 제한하거나 한정하는 것으로 해석되어서는 안될 것이다.
또한, 본원의 일 실시예에 따른 증강현실 기반 정비 장치(100)는 상기 부품의 전기적 신호를 계측하는 오실로스코프를 포함할 수 있다.
본원의 일 실시예에 따르면, 상기 오실로스코프는 웨어러블 장치와 연계되어 정비자가 착용가능 한 형태로 구비될 수 있다.
또한, 본원의 일 실시예에 따르면, 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치(100)는 부품 상태 센서부(미도시)를 포함할 수 있다.
정비 대상 장비가 군용 장비에 해당하는 경우, 상기 정비 대상 장비는 전투 상황, 전시 상황 등 상기 정비 대상 장비가 운용되어야 하는 상황이 갑작스럽게 발생하더라도, 하자 없이 운용될 수 있도록, 유지 관리가 타 장비에 비해 엄격하게 이루어져야 하고, 상기 정비 대상 장비에 외부 충격 또는 진동이 가해지는 상황, 우천 시, 야간 상황, 외부 온도가 고온인 상황 등 악조건 속에서도 상기 정비 대상 장비의 운용이 가능하도록, 상기 정비 대상 장비의 복수의 부품의 현재 상태(예를 들어, 결합 부품의 경우 결합이 강하게 이루어진 상태 혹은 느슨한 상태, 부품이 견딜 수 있는 외부 충격의 임계치, 작동 온도 범위 등)를 지속적으로 파악할 필요성이 크다.
따라서, 본원의 일 실시예에 따르면, 상기 부품 상태 센서부는 충격 센서, 압력 센서, 진동 센서, 습도 센서, 온도 센서 등 상기 부품의 현재 상태를 파악할 수 있는 다양한 센서와 연계될 수 있고, 상기 부품 상태 센서부가 계측한 센싱 정보는 객체 인식부(130)가 식별한 부품에 대한 정보와 매칭될 수 있다.
본원의 일 실시예에 따르면, 출력 표시부(150)는, 상기 오실로스코프의 계측값을 포함하여 상기 출력 영상을 표시할 수 있다.
또한, 본원의 일 실시예에 따르면, 출력 표시부(150)는, 상기 부품 상태 센서부가 계측한 센싱 정보를 포함하여 상기 출력 영상을 표시할 수 있다.
도6은 본원의 일 실시예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법의 동작흐름도이다.
도 6에 도시된 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법은 앞서 설명된 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치(100)에 의하여 수행될 수 있다. 따라서, 이하 생략된 내용이라고 하더라도 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치(100)에 대하여 설명된 내용은 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법에 대한 설명에도 동일하게 적용될 수 있다.
도6을 참조하면, 단계 S610에서 패턴 생성부(120)는, 복수의 부품을 포함하는 정비 대상 장비의 상기 복수의 부품의 도면 데이터를 수신할 수 있다.
다음으로, 단계 S620에서 포인트 지정부(121)는, 상기 도면 데이터 상에 상기 부품의 형체를 특정하는 포인트를 지정하여 모델링을 수행할 수 있다.
또한, 본원의 일 실시예에 따르면, 단계 S620에서 포인트 지정부(121)는, 상기 도면 데이터가 2차원 도면 데이터인 경우, 3차원 모델링 기법을 이용하여 상기 2차원 도면 데이터로부터 상기 2차원 도면 데이터와 연계된 부품의 3차원 도면 데이터를 생성할 수 있다.
또한, 본원의 일 실시예에 따르면, 상기 부품의 형체를 특정하는 포인트는 가상의 3차원 좌표계 상에서의 좌표 정보 또는 3차원 벡터 정보와 연계되어 결정될 수 있다.
다음으로, 단계 S630에서 데이터 로깅부(122)는, 상기 모델링 수행 결과에 3차원 회전을 반복하여 상기 포인트마다 스펙트럼 정보를 도출할 수 있다.
또한, 본원의 일 실시예에 따르면, 단계 S630에서 데이터 로깅부(122)는, 포인트 지정부(121)에 의해 도출된 부품의 형체를 특정하는 포인트가 결정된 모델링 수행 결과를 3차원 좌표계 상에서 무작위적으로 회전을 반복하여 상기 포인트의 좌표 정보 또는 3차원 벡터 정보의 변화 정도에 따라 결정되는 스펙트럼 정보를 3차원 좌표계 상의 회전 정도(예를 들면, 회전 방향, 각도)에 매칭하여 획득할 수 있다.
다음으로, 단계 S640에서 기계 학습부(123)는, 상기 스펙트럼 정보에 대한 기계 학습을 수행하여 상기 스펙트럼 정보를 패턴화하여 스펙트럼 패턴을 획득할 수 있다.
다음으로, 단계 S650에서 영상 촬영부(110)는, 상기 복수의 부품을 포함하는 정비 대상 장비의 적어도 일 영역을 촬영한 입력 영상을 수신할 수 있다.
또한, 영상 촬영부(110)는 AR 글래스와 연계되어 단계 S650에서 상기 AR 글래스에 구비된 카메라에 의해 촬영된 상기 입력 영상을 수신할 수 있다.
다음으로, 단계 S660에서 객체 인식부(130)는, 상기 스펙트럼 패턴에 기초하여 상기 입력 영상에 포함된 상기 정비 대상 장비의 부품을 식별할 수 있다.
다음으로, 단계 S670에서 출력 표시부(150)는, 상기 식별 결과에 기초하여 해당 부품의 정비 교범 정보를 상기 입력 영상에 오버랩한 출력 영상을 표시할 수 있다.
또한, 출력 표시부(150)는 AR 글래스와 연계되어 단계 S670에서 상기 AR 글래스의 디스플레이 상에 상기 출력 영상을 증강하여 출력할 수 있다.
또한, 상기 정비 교범 정보는, 상기 해당 부품의 수리부속 제원 정보, 조립 절자 정보, 분해 절차 정보, 검사 기준 정보 중 적어도 하나를 포함할 수 있다.
또한, 본원의 일 실시예에 따르면, 단계 S670에서 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치(100)는, 상기 부품의 전기적 신호를 오실로스코프를 통해 계측하고, 상기 오실로스코프의 계측값을 상기 출력 영상에 매핑할 수 있다.
다음으로, 단계 S680에서 영상 보정부(140)는, AR글래스의 규격에 기초하여 상기 출력 영상의 해상도를 결정하고, 외부 환경의 조도에 기초하여 상기 출력 영상의 선명도를 결정할 수 있다.
상술한 설명에서, 단계 S610 내지 S680은 본원의 구현예에 따라서, 추가적인 단계들로 더 분할되거나, 더 적은 단계들로 조합될 수 있다. 또한, 일부 단계는 필요에 따라 생략될 수도 있고, 단계 간의 순서가 변경될 수도 있다.
본원의 일 실시 예에 따른 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
또한, 전술한 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법은 방법은 기록 매체에 저장되는 컴퓨터에 의해 실행되는 컴퓨터 프로그램 또는 애플리케이션의 형태로도 구현될 수 있다.
전술한 본원의 설명은 예시를 위한 것이며, 본원이 속하는 기술분야의 통상의 지식을 가진 자는 본원의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본원의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본원의 범위에 포함되는 것으로 해석되어야 한다.
100: 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치
110: 영상 촬영부
120: 패턴 생성부
121: 포인트 지정부
122: 데이터 로깅부
123: 기계 학습부
130: 객체 인식부
140: 영상 보정부
150: 출력 표시부

Claims (12)

  1. 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 장치에 있어서,
    복수의 부품을 포함하는 정비 대상 장비의 적어도 일 영역을 촬영하여 입력 영상을 생성하는 영상 촬영부;
    상기 정비 대상 장비의 상기 복수의 부품의 도면 데이터에 기초하여 상기 복수의 부품에 대응되는 스펙트럼 패턴을 획득하는 패턴 생성부;
    상기 스펙트럼 패턴에 기초하여 상기 입력 영상에 포함된 상기 정비 대상 장비의 부품을 식별하는 객체 인식부;
    식별 결과에 기초하여 해당 부품의 정비 교범 정보를 상기 입력 영상에 오버랩한 출력 영상을 표시하는 출력 표시부;
    정비자가 상기 정비 교범 정보를 얻고자 하는 부품을 선택할 수 있도록 음성 또는 제스처를 통한 사용자 입력을 수신하는 사용자 입력 수신 모듈; 및
    식별 결과에 기초하여 결정된 부품과 연계된 센싱 정보를 충격 센서, 압력 센서, 진동 센서, 습도 센서 및 온도 센서 중 적어도 하나로부터 획득하는 부품 상태 센서부,
    를 포함하고,
    상기 객체 인식부는,
    상기 입력 영상에 포함된 상기 정비 대상 장비의 부품과 연계된 스펙트럼 정보를 파악하고, 파악된 상기 스펙트럼 정보를 상기 증강현실 기반 정비 장치에 구비되는 저장 매체에 포함된 부품별 상기 스펙트럼 패턴과의 유사도를 도출하여, 소정 이상의 유사도를 갖는 부품을 결정하여 상기 식별 결과를 생성하되,
    상기 정비 대상 장비의 부품을 식별한 상기 식별 결과에 식별에 대한 정확도 정보가 포함되도록 하고,
    상기 출력 표시부는,
    상기 사용자 입력이 수신되는 경우, 상기 사용자 입력에 기초하여 정비자가 선택한 부품의 정비 교범 정보를 우선적으로 상기 출력 영상에 표시하고,
    해당 부품에 대한 상기 센싱 정보를 상기 출력 영상에 포함하여 출력하는 것을 특징으로 하는, 증강현실 기반 정비 장치.
  2. 제1항에 있어서,
    상기 패턴 생성부는,
    상기 복수의 부품을 포함하는 정비 대상 장비의 상기 복수의 부품의 도면 데이터를 수신하고 상기 도면 데이터 상에 상기 부품의 형체를 특정하는 포인트를 지정하여 모델링을 수행하는 포인트 지정부;
    모델링 수행 결과에 3차원 회전을 반복하여 상기 포인트마다 스펙트럼 정보를 도출하는 데이터 로깅부; 및
    상기 스펙트럼 정보에 대한 기계 학습을 수행하여 상기 스펙트럼 정보를 패턴화하는 기계 학습부,
    를 포함하는 것인, 증강현실 기반 정비 장치.
  3. 제1항에 있어서,
    상기 영상 촬영부 및 상기 출력 표시부는 AR 글래스와 연계되되,
    상기 영상 촬영부는 상기 AR 글래스에 구비된 카메라에 의해 상기 입력 영상을 생성하고,
    상기 출력 표시부는 상기 AR 글래스의 디스플레이 상에 상기 출력 영상을 증강하여 출력하는 것인, 증강현실 기반 정비 장치.
  4. 제3항에 있어서,
    상기 AR 글래스의 규격에 기초하여 상기 출력 영상의 해상도를 결정하고, 외부 환경의 조도에 기초하여 상기 출력 영상의 선명도를 결정하는 영상 보정부를 더 포함하는 것인, 증강현실 기반 정비 장치.
  5. 제1항에 있어서,
    상기 정비 교범 정보는,
    상기 해당 부품의 수리부속 제원 정보, 조립 절차 정보, 분해 절차 정보, 검사 기준 정보 중 적어도 하나를 포함하는 것을 특징으로 하는,
    증강현실 기반 정비 장치.
  6. 제1항에 있어서,
    상기 부품의 전기적 신호를 계측하는 오실로스코프를 더 포함하고,
    상기 출력 표시부는 상기 오실로스코프의 계측값을 포함하여 상기 출력 영상을 표시하는 것인, 증강현실 기반 정비 장치.
  7. 삭제
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020190029250A 2019-03-14 2019-03-14 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법 및 장치 Active KR102088011B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190029250A KR102088011B1 (ko) 2019-03-14 2019-03-14 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190029250A KR102088011B1 (ko) 2019-03-14 2019-03-14 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법 및 장치

Publications (1)

Publication Number Publication Date
KR102088011B1 true KR102088011B1 (ko) 2020-03-11

Family

ID=69809833

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190029250A Active KR102088011B1 (ko) 2019-03-14 2019-03-14 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법 및 장치

Country Status (1)

Country Link
KR (1) KR102088011B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220145976A (ko) * 2021-04-22 2022-11-01 (주) 인텍플러스 구조광을 이용한 3차원 형상 측정장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101195446B1 (ko) * 2012-01-26 2012-12-24 이에스이 주식회사 증강현실 기반의 정비 가이드 제공 단말기 및 이를 이용한 정비 가이드 제공 방법
KR20160064784A (ko) * 2014-11-28 2016-06-08 주식회사 어반베이스 2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램
KR101656697B1 (ko) * 2016-06-02 2016-10-04 (주)탑인프라 휴대용 태양광모듈 노화 계측장치 및 그 계측방법
KR101874461B1 (ko) * 2018-02-23 2018-07-05 (주)프론티스 증강 현실, 가상 현실 또는 혼합 현실 기반 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101195446B1 (ko) * 2012-01-26 2012-12-24 이에스이 주식회사 증강현실 기반의 정비 가이드 제공 단말기 및 이를 이용한 정비 가이드 제공 방법
KR20160064784A (ko) * 2014-11-28 2016-06-08 주식회사 어반베이스 2차원 도면에 기반한 3차원 자동 입체모델링 방법 및 프로그램
KR101656697B1 (ko) * 2016-06-02 2016-10-04 (주)탑인프라 휴대용 태양광모듈 노화 계측장치 및 그 계측방법
KR101874461B1 (ko) * 2018-02-23 2018-07-05 (주)프론티스 증강 현실, 가상 현실 또는 혼합 현실 기반 군용 장비의 정비를 지원하는 서버, 방법 및 웨어러블 디바이스

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220145976A (ko) * 2021-04-22 2022-11-01 (주) 인텍플러스 구조광을 이용한 3차원 형상 측정장치
KR102560351B1 (ko) * 2021-04-22 2023-07-28 (주) 인텍플러스 구조광을 이용한 3차원 형상 측정장치

Similar Documents

Publication Publication Date Title
US8860760B2 (en) Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene
US11922711B2 (en) Object tracking assisted with hand or eye tracking
US20180136332A1 (en) Method and system to annotate objects and determine distances to objects in an image
US7961117B1 (en) System, module, and method for creating a variable FOV image presented on a HUD combiner unit
US20170344110A1 (en) Line-of-sight detector and line-of-sight detection method
JP6891954B2 (ja) 物体検知装置、物体検知方法、及びプログラム
US10684674B2 (en) Tracking portions of a user's face uncovered by a head mounted display worn by the user
KR20090034824A (ko) 애플리케이션 제어 방법, 위치 정보 제공 시스템 및 컴퓨터판독가능 매체
KR102641117B1 (ko) 영상을 증강하는 방법 및 장치
US20190114490A1 (en) Information processing device, learned model, information processing method, and computer program product
KR101550972B1 (ko) 레이저 스캐너를 이용하여 장애물을 인식하기 위한 특징점 추출 장치 및 방법
US20200184678A1 (en) Methods and systems for training an object detection algorithm using synthetic images
KR102236469B1 (ko) 운전자 부주의 측정 장치와 방법
US20170106798A1 (en) Method and apparatus for detecting a pedestrian by a vehicle during night driving
US12190601B2 (en) Advanced driver assist system and method of detecting object in the same
US20220051438A1 (en) Testing and validation of a camera under electromagnetic interference
US20200302245A1 (en) Action classification based on manipulated object movement
JP2023100258A (ja) 空中給油のための姿勢推定の修正
KR102088012B1 (ko) 웨어러블 오실로스코프를 이용한 증강현실 기반 정비 방법 및 시스템
KR102088011B1 (ko) 3차원 객체 인식 알고리즘을 이용한 증강현실 기반 정비 방법 및 장치
Osahor et al. Deep adversarial attack on target detection systems
Hosseini et al. A system design for automotive augmented reality using stereo night vision
KR102071720B1 (ko) 차량용 레이다 목표 리스트와 비전 영상의 목표물 정합 방법
Ryu et al. Heterogeneous sensor fusion based omnidirectional object detection
US10586343B1 (en) 3-d head mounted display based environmental modeling system

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20190314

PA0201 Request for examination
PA0302 Request for accelerated examination

Patent event date: 20190314

Patent event code: PA03022R01D

Comment text: Request for Accelerated Examination

PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20190718

Patent event code: PE09021S01D

PE0902 Notice of grounds for rejection

Comment text: Final Notice of Reason for Refusal

Patent event date: 20191114

Patent event code: PE09021S02D

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200120

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200305

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200305

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230116

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240221

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20250304

Start annual number: 6

End annual number: 6