KR101274556B1 - 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법 - Google Patents

증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법 Download PDF

Info

Publication number
KR101274556B1
KR101274556B1 KR1020110081556A KR20110081556A KR101274556B1 KR 101274556 B1 KR101274556 B1 KR 101274556B1 KR 1020110081556 A KR1020110081556 A KR 1020110081556A KR 20110081556 A KR20110081556 A KR 20110081556A KR 101274556 B1 KR101274556 B1 KR 101274556B1
Authority
KR
South Korea
Prior art keywords
real
mounting
augmented reality
distance
marker
Prior art date
Application number
KR1020110081556A
Other languages
English (en)
Other versions
KR20130019546A (ko
Inventor
류태규
이호근
김성호
김현순
이명섭
김신형
최권영
Original Assignee
국방과학연구소
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 국방과학연구소 filed Critical 국방과학연구소
Priority to KR1020110081556A priority Critical patent/KR101274556B1/ko
Publication of KR20130019546A publication Critical patent/KR20130019546A/ko
Application granted granted Critical
Publication of KR101274556B1 publication Critical patent/KR101274556B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01B—MEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00—Measuring arrangements characterised by the use of optical techniques
    • G01B11/14—Measuring arrangements characterised by the use of optical techniques for measuring distance or clearance between spaced objects or spaced apertures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/10—Geometric effects
    • G06T15/20—Perspective computation
    • G06T15/205—Image-based rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/60—Analysis of geometric attributes
    • G06T7/62—Analysis of geometric attributes of area, perimeter, diameter or volume
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/01—Arrangements or apparatus for facilitating the optical investigation
    • G01N2021/0181—Memory or computer-assisted visual determination

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Geometry (AREA)
  • Computing Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법에 관한 것으로, 항공기, 군함, 지상 차량의 외부 장착대상 실물(real object); 및 상기 실물에 장착되는 외부 장착물에 대하여 첨단 장비 설계 단계에서 3차원 설계 데이터를 이용하여 상기 실물과 외부 장착물의 장착 적합성을 미리 검증하기 위해 증강현실 기반의 모델링과 시뮬레이션 기술을 적용하여 외부 장착물 장비 장착 전 실물과 같은 크기의 CAD 데이터를 증강현실로 나타내고 실물과 외부 장착물의 이격 거리를 계산하여 장착 적합성을 분석하는 가상 물체 동기화 인터페이스로 구성된다. 가상 물체 동기화 인터페이스는 소형 카메라를 사용하는 인지장치; 증강현실을 사용하여 실물 영상과 가상 물체 영상을 합성한 후 마커(Marker)를 이용하여 두 물체 사이의 거리를 측정하는 거리측정 알고리즘이 구현된 프로그램을 구동하는 AR 모의장치; 운용자의 위치/시선 방향을 판단하기 위해 마커를 이용한 입력장치; 장착물 전산 목업; 및 증강현실 영상과 항공기 등의 실물과 장착물의 가상 물체의 거리 측정 결과를 화면에 출력하는 시현장치로 구성된다. 상기 시스템은 기존 항공기나 자동차 등의 실물에 장착되는 외부 장착물 개발시 실제 제작품을 이용하지 않고 증강현실 및 전산목업 기술과 3차원 모델링 및 시뮬레이션을 사용하여 기존 항공기나 자동차 등의 실물에 장착되는 외부 장착물의 가상 물체의 이격거리를 계산하여 장착 적합성을 검사한다.

Description

증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법{The distance measurement system between a real object and a virtual model using aumented reality}
본 발명은 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법에 관한 것으로, 특히 항공기 기체 부품 또는 항공기의 외부 장착물 설계시 또는 자동차나 중장비 또는 선박의 설계시, 기존 항공기, 군함 또는 지상 차량 등의 실물(real object)에 장착되는 외부 장착물 개발시 가상 개발 환경에서 증강현실(Augmented Reality)과 3차원 모델링 및 시뮬레이션을 사용하여 실물(real object)에 장착되는 외부 장착물의 가상 모델(virtual model)의 이격거리를 계산하여 장착 적합성을 검증하는, 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법에 관한 것이다.
기존의 증강현실(Augmented Reality)과 전산목업(Computerized Digital Mockup)기술 분야는 증강현실을 이용한 디지털 기반 3차원 연구개발 모델링 및 시뮬레이션을 지원하고 통합화된 가상 개발 환경 및 기술을 지원하는 증강현실 가상 목업 및 가상 시제 기술들로 발전하고 있는 추세이다.
기존의 증강현실과 전산 목업은 컴퓨터나 스마트폰 등에서 단순한 3차원 형상 구현/증강, 부품 간섭/맞춤 및 설계 검토 기능에 적합한 알고리즘 및 기술들만 적용되었으나, 고정형 또는 이동형 실제 물체에 외부 장착물을 장착시 증강현실을 이용하여 실제 물체(real object)와의 거리 측정과 항공기의 위치 변화에 따른 가상 장비의 위치변화를 자동으로 변환시켜주는 시스템에 관한 기술은 보고된 것들이 없다.
일반적으로 자동차나 항공기의 외부 장착물을 개발할 경우 먼저 CAD(Computer Aided Design)로 모델링 된 자동차나 항공기 가상 모델과 설계중인 가상 CAD 모델로 두 모델 간 간섭이 일어나는지, 이격거리는 적절한지 검사한 후, 시제품을 제작하여 실물에 장착한 후 같은 방법으로 검사를 수행하여야한다. 이 경우 설계 의도와 동일할 경우에는 문제가 없지만, 미처 고려하지 못한 부분에 의해 재설계를 하여야 할 경우 시제품 재제작 비용뿐만 아니라, 상당한 시간 소요가 필수적이다. 또한, 실물에 장착 대상물 즉, 자동차나 항공기의 CAD 모델이 없을 경우에는 모델링을 하여야 하는 불필요한 시간이 필요하며, 만약 장착하고자 하는 대상이 여럿일 경우 그 시간은 그에 비례하여 증가한다.
군수 분야에서 설계 검토시 실제 장비(실물)에 새로이 개발될 장착 장비(장착물)과 관련된 장착적합성을 적용하는 연구를 선진국이 일부 수행하고 있으며, 민수 분야에서 최근에 휴대폰에 증강현실을 적용하였으나, 두 분야 모두 항공기, 군함, 자동차의 응용 분야는 사례가 없으며, 향후 다양한 분야의 설계 검토시에 증강현실 기술이 적용이 가능하여, 향후 모델링 및 시뮬레이션에서 중요한 기술 및 도구로써 그 중요성이 있다.
종래 기술의 문제점을 해결하기 위한 본 발명의 목적은 기존 항공기, 군함, 지상 차량 등의 실물(real object)에 장착되는 외부 장착물 설계시 증강현실(Augmented Reality)과 전산목업(Computerized Digital Mockup) 기술을 이용한 3차원 연구개발 모델링 및 시뮬레이션으로 실물(real object)에 장착되는 외부 장착물의 가상 물체(virtual model)의 장착 적합성을 검사하며, 실제 항공기의 구조를 고려한 첨단 장비 체계 설계시 장착물의 설계 요구사항에 따라 실제 장비와 가상 장비, 가상 장비와 실제 지면과의 거리를 거리측정 연산처리 알고리즘으로 증강현실을 이용하여 실시간으로 실물과 가상 모델을 합성한 후 마커(Marker)를 이용하여 두 물체 사이의 이격거리를 측정하여 설계자에게 제공하고, 항공기 체계의 외부 장착 장비를 디지털 기반의 3차원 통합 모델링 및 시뮬레이션에 의해 실물에 부착되는 외부 장착물의 설계 단계에서 최종 생산단계에 발생하는 문제점 및 오류 사항을 증강현실을 이용한 시뮬레이션으로 실물과 외부 장착물의 장착 적합성을 검증하는, 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템을 제공하는 것이다.
본 발명의 다른 목적은 상기 시스템에 적용되는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 방법을 제공하는 것이다.
상기 본 발명의 목적을 달성하기 위해, 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템은, 항공기, 군함 또는 지상 차량의 실물(real object); 및 상기 실물(real object)에 장착되는 외부 장착물에 대하여 첨단 장비 설계 단계에서 3차원 설계 데이터를 이용하여 상기 실물과 상기 외부 장착물의 장착 적합성을 미리 검증하기 위해 증강현실 기반의 모델링과 시뮬레이션(M&S:Modeling & Simulation) 기술을 적용하여 외부 장착물 장비 장착 전 실물과 같은 크기의 CAD 데이터를 증강현실로 나타내고 실물과 외부 장착물의 이격 거리를 계산하여 장착 적합성을 분석하는 가상 물체 동기화 인터페이스로 구성되고, 상기 가상 물체 동기화 인터페이스는 상기 장착대상 실물에 증강현실로 실물(real object)과 같은 영상을 제공하기 위한 소형 카메라를 사용하는 인지장치; 증강현실을 사용하여 실물 영상과 외부 장착물의 가상 모델 영상을 합성한 후 마커(Marker)를 이용하여 실물과 외부 장착물의 두 물체 사이의 거리를 측정하는 거리측정 알고리즘이 구현된 프로그램을 구동하는 AR 모의장치; 운용자의 위치/시선 방향을 판단하기 위해 마커를 이용한 입력장치; 상기 마커가 부착된 실물(real object) 영상에 새로이 장착하기 위한 장착물 장비의 3차원 CAD설계 데이터(전산 목업 데이터)를 로딩하는 장착물 전산 목업; 및 증강현실 영상과 항공기 등의 실물(real object)과 장착물의 가상 모델(virtual model)의 거리 측정 결과를 화면에 출력하는 시현장치를 포함한다.
상기 본 발명의 다른 목적을 달성하기 위해, 증강현실을 이용한 실물(real object)과 장착물의 가상모델(virtual object) 사이의 거리측정 방법은, (a) 항공기, 군함 또는 지상 차량 등의 실물(real object)에 입력장치인 마커(Marker)를 부착시키고 인지장치로 사용되는 카메라를 이용하여 상기 입력장치에 의해 실물 영상에 마커(Marker) 부위를 촬영하여 카메라의 USB 통신을 통해 실물 영상을 AR모의장치로 전송하는 단계; (b) 장착물 전산 목업으로부터 상기 마커가 부착된 실물 영상에 새로이 장착하기 위한 장착물 장비의 3차원 CAD설계데이터(장착물의 전산 목업 데이터)를 AR 모의장치로 로딩하는 단계; (c) 상기 AR모의장치에 의해 카메라로부터 전송된 실물 영상을 영상처리 알고리즘을 통해 미리 정의해 놓은 ID와 비교 분석하고, 비교 분석된 ID와 마커ID와 매칭되는 것을 찾으며, 매칭된 마커 ID에 맞는 3차원 설계 데이터를 장착물 전산 목업에 따라 위치, 크기, 방향을 판단하여 실제 크기로 마커가 부착된 실물 영상과 상기 장착물의 가상모델 영상을 합성하고 증강현실 렌더링을 수행하는 단계; (d) 상기 AR모의장치에 의해 증강현실을 이용한 실물(real object)과 장착물의 가상 물체(virtual object)의 거리측정 알고리즘을 이용하여, 상기 실물 영상에 부착된 마커(Marker)를 기준으로 증강된 장착물의 가상 물체(장착 장비)의 최단 거리를 측정하며, 지면과의 거리를 측정하는 단계; 및 (e) 증강현실 영상 및 항공기 등의 실물(real object)과 장착물의 가상 물체(virtual object)의 거리 측정 결과를 시현장치의 화면에 출력하는 단계를 포함한다.
상기 본 발명의 또 다른 목적을 달성하기 위해, 증강현실을 이용한 실물(real object)과 장착물의 가상모델(virtual object) 사이의 거리측정 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체는, (a) 항공기, 군함 또는 지상 차량 등의 실물(real object)에 입력장치인 마커(Marker)를 부착시키고 인지장치로 사용되는 카메라를 이용하여 상기 입력장치에 의해 실물 영상에 마커(Marker) 부위를 촬영하여 카메라의 USB 통신을 통해 실물 영상을 AR모의장치로 전송하는 기능; (b) 장착물 전산 목업으로부터 상기 마커가 부착된 실물 영상에 새로이 장착하기 위한 장착물 장비의 3차원 CAD설계데이터(장착물의 전산 목업 데이터)를 AR 모의장치로 로딩하는 기능; (c) 상기 AR모의장치에 의해 카메라로부터 전송된 실물 영상을 영상처리 알고리즘을 통해 미리 정의해 놓은 ID와 비교 분석하고, 비교 분석된 ID와 마커ID와 매칭되는 것을 찾으며, 매칭된 마커 ID에 맞는 3차원 설계 데이터를 장착물 전산 목업에 따라 위치, 크기, 방향을 판단하여 실제 크기로 마커가 부착된 실물 영상과 상기 장착물의 가상모델 영상을 합성하고 증강현실 렌더링을 수행하는 기능; (d) 상기 AR모의장치에 의해 증강현실을 이용한 실물(real object)과 장착물의 가상 물체(virtual object)의 거리측정 알고리즘을 이용하여, 상기 실물 영상에 부착된 마커(Marker)를 기준으로 증강된 장착물의 가상 물체(장착 장비)의 최단 거리를 측정하며, 지면과의 거리를 측정하는 기능; 및 (e) 증강현실 영상 및 항공기 등의 실물(real object)과 장착물의 가상 물체(virtual object)의 거리 측정 결과를 시현장치의 화면에 출력하는 기능을 포함한다.
본 발명에 따른 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법은 방산 분야의 항공기 기체 부품 설계, 항공기의 외부 장착물 설계시 또는 민수 분야의 자동차나 중장비 또는 선박의 설계시 가상 개발 환경에서 증강현실(Augmented Reality)과 전산목업(Computerized Digital Mockup) 기술을 이용한 3차원 연구개발 모델링 및 시뮬레이션을 사용하여 기존에 존재하는 항공기나 군함, 군용 차량 등의 실물(real object)에 장착되는 외부 장착물의 CAD로 모델링 된 가상 물체(virtual model)간의 실제 장비와 가상 장비, 가상 장비와 실제 지면과의 거리를 거리측정 연산처리 알고리즘으로 증강현실 기법을 이용하여 실시간으로 실물과 외부 장착물의 두 물체간 이격거리를 측정하여 장착 적합성을 검사하고, 개발 단가 및 설계 프로세스의 과정을 대폭 간소화시키며 개발시간을 단축하여 정밀도를 높이며, 장비 설계 단계에서 가변적으로 설계 변경에 따른 비용을 줄이고, 연구개발 전 수명 주기를 효율적으로 대처하여 시제품 제작비용을 절감하며, 설계 오류시 재제작 비용을 줄이는 효과를 제공한다.
본 발명에 따른 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법은 항공기, 군함 또는 지상 차량 등의 실물에 장착되는 외부 장착물의 가상 물체(virtual model)의 장착 적합성을 미리 검사하고, 설계 진행 단계별로 설계 결과를 운용자 측면으로 설계 단계에서 최종 생산단계에 나올 문제점 및 오류 사항을 미리 증강현실을 이용한 시뮬레이션을 통해 명확히 검토하고 검증하며, 이를 바탕으로 실제 항공기의 구조를 고려한 신규 및 첨단 장비 체계 설계시 설계 변경을 감소시키고, 연구개발 비용의 절감 및 무기체계 설계에서 생산까지의 프로세스 과정을 대폭 단축하는 효과를 제공한다.
군사적 측면에서 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법은 실제 장비(실물)에 장착되는 외부 장착물의 CAD 모델을 활용하여 실물 항공기, 군함 또는 지상 차량과의 간섭을 육안으로 분석하고 지면이나 다른 구조물과의 이격거리를 계산할 수 있는 기법을 제공함으로써 설계 검토시 군 실무자에게 좀 더 쉽게 설명이 가능하며 설계시 사용자와의 의견차를 줄이는 것이 가능하게 되었다.
경제적 측면에서 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템은 실물과 외부 장착물의 가상 모델 간에 장착적합성을 검증하고, 기존의 설계 후 시제품 제작을 통해서만 가능했던 장착 적합성을 장착물의 가상 모델을 활용함으로써 시제품 제작비용이 절감되며, 설계 오류시 재제작 비용을 줄이는 효과를 제공한다.
도 1은 본 발명에 따른 증강현실(Augmented Reality)을 이용한 실물(real object)과 가상 물체(virtual object)와의 거리측정 시스템 구성도이다.
도 2는 증강현실을 이용한 실물과 가상 물체 동기화 인터페이스의 상세 H/W 구성품을 나타낸 사진이다.
도 3은 증강현실을 이용한 가상물체 동기화 시스템의 순서도이다.
도 4는 증강현실을 이용한 실물과 가상 물체와의 거리측정 알고리즘을 설명한 순서도이다.
도 5는 핸드헬드 뷰어(Handheld Viewer)의 사진을 도시한 도면이다.
도 6은 See-Through HMD + USB 카메라 시스템의 사진을 나타낸 도면이다.
도 7은 증강현실(Augmented Reality)을 이용한 외부 장착물 장착 적합성을 설명하기 위한 사진이다.
도 8은 정상적인 항공기 타이어(Tire)와 장착장비의 위치 정보를 나타낸 평면도이다.
도 9는 항공기 Right Tire Flat시 항공기 기울어짐 계산을 나타낸 평면도이다.
도 10은 항공기 Right Tire Flat시 항공기 기울어짐 계산을 나타낸 측면도이다.
도 11은 항공기 Right Tire Flat시 원점 이동 후 항공기 기울어짐 계산을 나타낸 도면이다.
도 12는 항공기 Left Tire Flat시 항공기 기울어짐 계산을 나타낸 평면도이다.
도 13은 항공기 NLG Tire Flat시 항공기 기울어짐 계산을 나타낸 평면도이다.
도 14는 항공기 NLG Tire Flat시 항공기 기울어짐 계산을 나타낸 측면도이다.
이하, 본 발명의 바람직한 실시예를 첨부된 도면을 참조하여 구성 및 동작을 상세하게 설명한다.
도 1은 본 발명에 따른 증강현실(Augmented Reality)을 이용한 실물(real object)과 가상 물체(virtual object)와의 거리측정 시스템 구성도이다.
증강현실을 이용한 실물(real object)과 가상 물체(virtual object)와의 거리측정 시스템은 방산분야에서 항공기 기체 부품 설계 검토, 항공기 외부 장착물 설계 검토, 민수분야에서 자동차나 중장비 또는 선박의 설계 검토시 사용된다.
증강현실을 이용한 실물과 가상 물체와의 거리측정 시스템은 총 7가지로 구성되고, 크게 기존에 존재하는 항공기, 군함 또는 지상 차량의 실물(①); 및 항공기, 군함 또는 지상 차량 등의 실물(real object)에 장착되는 외부 장착물에 대하여 방산 분야의 항공기 기체 부품 설계, 항공기의 외부 장착물 설계시 또는 민수 분야의 자동차나 중장비 또는 선박의 첨단 군사장비 설계시 가상 개발 환경에서 3차원 설계 데이터를 이용하여 신규 개발하는 항공기 등의 실물과 외부 장착물의 장착 적합성을 미리 검증하기 위해 증강현실 기반의 모델링과 시뮬레이션(M&S:Modeling & Simulation) 기술을 적용하여 장비 장착 전 실물과 같은 크기의 3차원 CAD 데이터를 증강현실로 나타내고 실물과 외부 장착물의 가상모델의 이격 거리를 계산하여 장착 적합성을 분석하는 가상 물체 동기화 인터페이스(②)로 구성된다.
주요 기능은 항공기, 군함 또는 지상 차량 등의 장착 대상 실물(①)에 새로운 장착물 장비를 장착할 경우 생길 수 있는 크기나 주위 물체와의 거리 문제점 등을 해결하기 위해, 장착물 장비 장착 전 실물(real object)과 같은 크기의 CAD 데이터를 가상물체 동기화 인터페이스(②)를 통해 증강현실(Augmented Reality)로 나타내 볼 수 있다.
가상 물체 동기화 인터페이스(②)는 장착대상 실물(①)에 증강현실로 실물(real object)과 같은 영상을 제공하기 위한 소형 카메라를 사용하는 인지장치(③); 상기 인지장치로부터 들어오는 증강현실을 사용한 항공기, 군함, 지상 차량 등의 실물 영상과 외부 장착물의 가상 모델 영상을 합성한 후 마커(Marker)를 이용하여 실물과 외부 장착물의 두 물체 사이의 거리를 측정하는 거리측정 알고리즘이 구현된 프로그램을 구동하는 AR 모의장치(④); 운용자의 위치/시선 방향을 판단하기 위해 마커(Marker)를 이용한 입력장치(⑤); 상기 마커(Marker)가 부착된 실물(real object) 영상에 새로이 장착하기 위한 장착물 장비의 3차원 CAD설계데이터(전산 목업 데이터)를 로딩하는 장착물 전산 목업(⑥); 및 HMD(Head Mounted Display)나 핸드헬드 뷰어(HandHeld Viewer), 모니터 등을 사용하며, 실물과 외부 장착물의 영상이 합성된 증강현실 영상과 항공기,군함, 지상 차량 등의 실물(real object)과 장착물의 가상 물체(virtual object)와의 거리 측정 결과를 화면에 출력하는 시현장치(⑦)로 구성되고, 이들을 연계하여 구동하는 증강현실을 이용한 실물(real object)과 외부 장착물의 가상 물체(virtual object)와의 거리측정 알고리즘을 수행한다.
가상물체 동기화 인터페이스(②)는 장착물 장비가 장착될 항공기, 군함, 지상 차량 등의 실물(①) 영상에 입력장치(⑤)에 의해 마커(Marker)를 부착하고, 소형카메라를 사용하는 인지장치(③)를 이용하여 영상을 획득한다. 획득한 영상은 AR모의장치(④)의 프로그램에서 인식과 동시에 설계자가 설계한 장착물의 3차원 장비 데이터를 장착물 전산 목업(⑥)을 이용하여 해당 마커ID에 맞는 영상을 일예로 항공기 장착 대상 실물(①)에 증강현실로 나타나게 되며, 항공기 장착 대상 실물(①)의 여러 방향에서 검토할 수 있도록 HMD(Head Mounted Display)나 핸드헬드 뷰어(HandHeld Viewer) 등의 시현장치(⑦)를 이용하여 증강현실 영상을 볼 수 있다.
인지장치(③)는 소형카메라를 사용하고, 실시간 영상을 입력받고 운용자가 움직임을 자유롭게 하기 위해 무게나 크기를 고려하여 성능면에서 실시간 입출력이 가능한 30hz이상을 지원하고, 색 균형(Auto WhiteBalance)과 초점(Focus), 대비(Contrast)기능을 가지고 있다.
AR모의장치(④)는 인지 장치(③)로 사용되는 카메라로부터 실시간으로 항공기, 군함, 지상 차량과 관련된 실물 영상을 획득하고, 입력장치(⑤)에 의해 실물(①) 영상에 마커(Marker)를 부착하며, 장착물 전산 목업(⑥)로부터 장착물(장착 장비)의 전산 목업 데이터를 로딩받아 실제 크기로 마커가 부착된 실물 영상과 장착물 영상을 합성하여 증강 현실 렌더링을 수행하며 두 물체 사이의 이격 거리를 추출하여 시현장치(⑦)로 장착 적합성 결과 리포트 파일을 출력하는 데이터 입출력 모듈; 카메라 캘리브레이션(Camera calibration, 특징점 검출 및 실시간 추적), 마커 인식 및 추적, 마커 기하정보 계산(특징점 매칭을 통해 3D position, orientation 계산, 인지장치(③)의 제스처 및 이벤트 인식, 2차원 영상과 그래픽 모델 합성(실물 영상과 장착물의 가상 모델의 기하정보를 적용하여 증강현실 합성) 기능을 제공하는 영상 처리 모듈; 및 실물 영상과 장착물의 가상모델이 정합된 모델과 주위 물체(실물)사이의 거리 측정, 및 실물 장비와 장착물 장비와의 이격거리를 계산하여 장착 적합 여부 판단하는 적합성 검사 모듈을 포함한다.
AR모의장치(노트북)(④)는 컴퓨터 또는 노트북을 사용하고, 인지장치(③)로부터 입력된 실물 영상(화면영상)을 영상처리를 통해 실시간으로 증강시키고, 증강현실(Augmented Reality)을 사용하여 마커(Marker)가 부착된 실물 영상(①)과 장착물의 거리측정 및 지면과의 거리를 실시간으로 처리하는 프로그램 기능을 수행한다.
입력장치(Marker)(⑤)는 3차원 영상의 증강 위치 및 거리측정을 위해 기준점이 되는 곳을 정의하고, 정의할 지점 출발지(Source)에 입력장치(⑤)를 설치해 놓고 항공기 등의 실물(real object)과 가상 물체(virtual object)와의 실제 거리 측정시에 운용자가 원하는 실물의 목적지(Destination)에 정의된 마커(Marker)를 설치함으로써 거리 측정 시에 기준점을 제공한다.
장착물 전산 목업(⑥)은 항공기, 군함, 군용 차량 등의 실물(real object)에 장착될 장착물의 생산품이 만들기 전에 X,Y,Z축의 3차원 CAD 설계 데이터를 이용하여 항공기 등의 실물에 장착물 장비를 장착한 것과 같이 가상으로 볼 수 있도록 장착물의 3차원 디지털 CAD 데이터를 제공한다.
시현장치(⑦)는 See-Through 타입의 HMD(Head Mounted Display), HandHeld Viewer, 모니터 중 어느 하나를 사용하며, 항공기 등의 실물에 장착할 장비(장착물)를 증강현실로 보고자 할 때 영상을 출력하고, 상기 실물(real object)과 상기 장착물의 가상 물체(virtual object)와의 거리측정 결과를 화면에 출력하는 기능을 제공한다.
도 2는 증강현실을 이용한 실물과 가상 물체 동기화 인터페이스의 상세 H/W 구성품을 나타낸 사진이다.
증강현실을 이용한 실물과 외부 장착물의 가상 물체 동기화 인터페이스의 상세 H/W 구성품은 카메라 포함 Handheld Viewer, HMD, 거리측정 자, 노트북, 배터리, 공간마우스, LCD 모니터, 마커(Marker), 케이블, USB 허브, backpack로 구성된다.
본 발명은 기존에 존재하는 항공기나 자동차 등의 실물과 여기에 장착되는 외부 장착물의 가상 모델간의 장착적합성을 검증할 수 있는 거리 측정시스템에 관한 것이다. 거리 측정 시스템은 1개의 카메라(인지장치(3))와 AR 모의 장치(4)로 사용되는 소형 컴퓨터 그리고 디스플레이 장치의 3 부분으로 이루어져 있다. 각각의 기능은 카메라로부터 기준 마커(Marker)가 부착된 실물체를 촬영하고, AR 모의 장치(4)로 사용되는 소형 컴퓨터에서 촬영된 영상으로부터 가상모델간의 상관관계를 계산하고, See-Through 타입의 HMD(Head Mounted Display), HandHeld Viewer, 모니터 등의 시현장치(7)의 디스플레이로 실물과 가상 모델의 합성 결과를 출력한다.
기준 마커(Marker)는 정육면체에 알파벳 대문자를 프린트하여 사용하였다. 가상모델은 CATIA라는 CAD 소프트웨어에서 모델링된 자료를 변환하여 활용하였다. 주 대상체는 자동차나 항공기와 같이 타이어(Tire) 형태의 바퀴가 달린 이동체로써, 이러한 실물(real object)에 필요한 외부 장착물을 설계하고자 할 때, 시제품 제작하기 전 가상의 모델을 이용하여 장착 적합성을 확인할 수 있으며, 특히 항공기의 일부 타이어에 이상이 생겼을 경우의 상황을 시뮬레이션(Simulation,모의)할 수 있다. 즉, 타이어 일부에 공기가 적을 경우 외부 장착물이 지면이나 다른 구조물과의 이격 거리를 증강현실 기법을 활용하여 개발하였으며, 이러한 일련의 실험 과정을 동영상으로 저장할 수 있다. 본 발명은 실물에 부착되는 외부 장착물 개발에 비용대비 시간을 절약할 수 있는 시스템이며, 향후 다양한 실물이나 외부 장착물에도 재사용이 가능한 구조이다.
본 발명은 시제품 제작 없이 CAD 모델을 이용하여 실제 자동차나 항공기와 개발될 시스템의 장착 적합성을 검사하기 위하여 증강 현실 기법을 이용하여 간단하게 이격거리를 계산할 수 있는 기법을 제안한다. 본 발명과 유사한 특징을 갖춘 거리측정 시스템의 국내외에서는 찾아볼 수 없는 상태이다. 대부분의 증강 현실 기법은 가상현실이나 방송에서 많이 활용되고 있으며, 제한된 환경에서 복잡하고 고가의 시스템을 활용하여 개발되었다. 그러나 본 발명은 두 명의 사용자가 한명은 시험하고 하는 부분을 촬영하고 다른 한 사람이 측정하고자 하는 부분에 마커를 지시하는 아주 간단한 조작만으로 동작이 가능하다. 이 방법은 향후 다양한 무기체계를 비롯하여, 민간 분야의 자동차, 항공기에서 활용이 가능하다.
도 3은 증강현실을 이용한 가상물체 동기화 시스템에서 증강현실(Augmented Reality)을 이용한 실물과 가상 물체와의 거리측정 방법을 설명한 순서도이다.
본 발명에 따른 증강현실을 이용한 실물(real object)과 장착물의 가상모델(virtual object) 사이의 거리측정 방법은, (a) 항공기, 군함 또는 지상 차량 등의 실물(real object)에 입력장치인 마커(Marker)를 부착시키고 인지장치(3)로 사용되는 카메라를 이용하여 상기 입력장치(5)에 의해 실물 영상에 마커(Marker) 부위를 촬영하여 카메라의 USB 통신을 통해 실물 영상을 AR모의장치(4)로 전송하는 단계; (b) 장착물 전산 목업으로부터 상기 마커가 부착된 실물 영상에 새로이 장착하기 위한 장착물 장비의 3차원 CAD설계데이터(장착물의 전산 목업 데이터)를 AR 모의장치(4)로 로딩하는 단계; (c) 상기 AR모의장치(4)에 의해 인지 장치(카메라)(3)로부터 전송된 실물 영상을 영상처리 알고리즘을 통해 미리 정의해 놓은 ID와 비교 분석하고, 비교 분석된 ID와 마커ID와 매칭되는 것을 찾으며, 매칭된 마커 ID에 맞는 3차원 설계 데이터를 장착물 전산 목업에 따라 위치, 크기, 방향을 판단하여 실제 크기로 마커가 부착된 실물 영상과 상기 장착물의 가상모델 영상을 합성하고 증강현실 렌더링을 수행하는 단계; (d) 상기 AR모의장치(4)에 의해 증강현실을 이용한 실물(real object)과 장착물의 가상 물체(virtual object)의 거리측정 알고리즘을 이용하여, 상기 실물 영상에 부착된 마커(Marker)를 기준으로 증강된 장착물의 가상 물체(장착 장비)의 최단 거리를 측정하며, 지면과의 거리를 측정하는 단계; 및 (e) 증강현실 영상 및 항공기 등의 실물(real object)과 장착물의 가상 물체(virtual object)의 거리 측정 결과를 시현장치(7)의 화면으로 출력하는 단계를 포함한다.
증강현실을 이용한 실물(real object)과 장착물의 가상모델(virtual object) 사이의 거리측정 방법을 실현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체는, (a) 항공기, 군함 또는 지상 차량 등의 실물(real object)에 입력장치인 마커(Marker)를 부착시키고 인지장치(3)로 사용되는 카메라를 이용하여 상기 입력장치(5)에 의해 실물 영상에 마커(Marker) 부위를 촬영하여 카메라의 USB 통신을 통해 실물 영상을 AR모의장치(4)로 전송하는 기능; (b) 장착물 전산 목업으로부터 상기 마커가 부착된 실물 영상에 새로이 장착하기 위한 장착물 장비의 3차원 CAD설계데이터(장착물의 전산 목업 데이터)를 AR 모의장치(4)로 로딩하는 기능; (c) 상기 AR모의장치(4)에 의해 인지 장치(카메라)(3)로부터 전송된 실물 영상을 영상처리 알고리즘을 통해 미리 정의해 놓은 ID와 비교 분석하고, 비교 분석된 ID와 마커ID와 매칭되는 것을 찾으며, 매칭된 마커 ID에 맞는 3차원 설계 데이터를 장착물 전산 목업에 따라 위치, 크기, 방향을 판단하여 실제 크기로 마커가 부착된 실물 영상과 상기 장착물의 가상모델 영상을 합성하고 증강현실 렌더링을 수행하는 기능; (d) 상기 AR모의장치(4)에 의해 증강현실을 이용한 실물(real object)과 장착물의 가상 물체(virtual object)의 거리측정 알고리즘을 이용하여, 상기 실물 영상에 부착된 마커(Marker)를 기준으로 증강된 장착물의 가상 물체(장착 장비)의 최단 거리를 측정하며, 지면과의 거리를 측정하는 기능; 및 (e) 증강현실 영상 및 항공기 등의 실물(real object)과 장착물의 가상 물체(virtual object)의 거리 측정 결과를 시현장치(7)의 화면으로 출력하는 기능을 포함한다.
가상물체 동기화 인터페이스(②) 동작원리는 항공기, 군함, 지상 차량에 장착할 장비 대신에 입력장치(⑤)인 마커(Marker)를 부착시켜 놓고 인지장치(③)로 사용되는 카메라를 이용하여 마커(Marker) 부위를 촬영하고, 카메라의 USB 통신을 통해 실물 영상을 AR모의장치(④)로 전송한다.
장착물 전산 목업(⑥)은 상기 마커가 부착된 실물 영상에 새로이 장착하기 위한 장착물 장비의 3차원 CAD설계데이터(가상모델 영상)를 AR 모의장치(4)로 로딩시킨다.
AR모의장치(4)는 인지장치(카메라)(3)로부터 전송된 실물 영상을 영상처리 알고리즘을 통해 미리 정의해 놓은 ID와 비교 분석하고, 비교 분석된 ID와 마커ID와 매칭되는 것을 찾으며, 매칭된 마커 ID에 맞는 3차원 설계 데이터를 장착물 전산 목업에 따라 위치, 크기, 방향을 판단하여 실제 크기로 마커가 부착된 실물 영상과 상기 장착물의 가상모델 영상을 합성하고 증강현실 렌더링을 수행한다.
AR모의장치(4)는 증강현실을 이용한 실물(real object)과 장착물의 가상 물체(virtual object)의 거리측정 알고리즘을 이용하여, 상기 실물 영상에 부착된 마커(Marker)를 기준으로 증강된 장착물의 가상 물체(장착 장비)의 최단 거리를 측정하며, 지면과의 거리를 측정한다.
AR모의장치(④)는 인지장치인 카메라로부터 전송된 실물 영상을 영상처리 알고리즘을 통해 미리 정의해 놓은 ID와 비교 분석하고, 비교 분석된 ID와 마커ID와 매칭되는 것을 찾으며, 마커ID와 매칭된 ID에 맞는 3차원 설계 데이터를 장착물 전산 목업(⑥)에 따라 위치, 크기, 방향을 판단하여 실물 영상과 장착물의 가상모델 영상을 합성하고 증강시킨다. 운용자는 특정한 장소가 아닌 원하는 위치에서 관측할 수 있도록 마커 제작시 360도를 지원하는 Cubic Marker를 사용한다.
마커(Marker) 기반의 증강현실(Augmented Reality)기법을 이용한 실물(항공기)와 가상 장착장비(장착물)의 거리측정 알고리즘을 이용한 최단거리 측정하였다.
AR모의장치(4)는 증강현실 영상 및 항공기 등의 실물(real object)과 장착물의 가상 물체(virtual object)의 거리 측정 결과를 시현장치(7)의 화면으로 출력한다.
도 4에 도시된 바와 같이, AR 모의장치(4)는 자체 개발한 증강현실을 이용한 실물(real object)과 장착물의 가상 물체(virtual object)와의 거리측정 알고리즘을 이용하여 운용자가 실물 영상에 부착된 마커(Marker)를 기준으로 증강된 장착물의 가상 물체(장착 장비)와의 거리를 측정하며, 지면과의 거리측정 기능도 제공한다. 증강현실을 이용한 실물(real object)과 장착물의 가상물체(virtual object) 사이의 거리측정 알고리즘은 항공기 실물 영상의 마커(Marker)가 부착된 지점으로부터 운용자가 지정한 실제 장착 대상 장착물의 위치까지의 거리를 계산하며, 수치계산 및 영상 보정 등의 연산처리 등을 통해 실시간으로 거리를 계산한다.
항공기의 위치 및 Tire Flat시와 같은 돌발 상황에도 거리 측정 알고리즘은 마커(Marker)의 위치 및 자세보정 알고리즘에 의해 자동으로 가상 장비와 실제 장비, 가상 장비와 지면과의 거리측정이 실시간으로 계산한다.
증강현실을 이용한 실물(real object)과 장착물의 가상 물체(virtual object)와의 거리측정 알고리즘은 항공기 실물에 장착할 장착물 장비 대신 실물에 마커(Marker)를 부착시키고 마커의 위치와 방향에 따라 디지털 전산 목업에 의해 생성된 장착물의 3차원 가상장비 데이터를 합성하여 증강시키고, 증강시킨 3차원 가상 장비 데이터의 정점(Vertex) 위치정보와 거리측정 기준이 되는 마커의 위치정보를 실시간으로 계산해 상대좌표로 거리를 추출하고, 여러 지점을 거리 스캔(Distance Scan)하였을 때 최단 거리의 위치좌표와 거리를 저장하고 실시간 갱신이 가능한 알고리즘이다.
전 과정의 프로세스를 일괄적으로 처리하기 위해 운용자는 이동의 편의성을 위해 촬영영상을 보면서 카메라로 촬영할 수 있도록 자체 개발된 도 5에 도시된 바와 같이 시현장치(⑦)로 사용되는 가벼운 터치 모니터와 USB카메라가 일체형으로 결합된 핸드헬드 뷰어(Handheld Viewer) 시스템을 이용하여 운용자가 손으로 들고 다니면서 증강된 영상을 디스플레이할 수 있으며, 도 6에 도시된 바와 같이 See-Through 타입의 HMD(Head Mounted Display) 및 USB 카메라를 장착하여 편리하게 촬영과 동시에 화면을 볼 수 있다.
도 5는 핸드헬드 뷰어(Handheld Viewer)의 사진을 도시한 도면이다.
시현장치(⑦)로 사용되는 핸드헬드 뷰어(Handheld Viewer)는 인체 공학적인 사용자 인터페이스를 고려한 카메라와 터치스크린의 일체형 치구 시스템이고, 사용자가 항공기에 장착할 장비를 증강현실로 보기 위한 입출력 방식 일체형 치구로써, 시스템 입력방식인 USB카메라와 프로그램 운용을 위한 입출력 방식인 터치스크린을 일체형으로 통합하여 사용자가 보고자 하는 부분을 촬영과 동시에 터치스크린 상으로 확인하며 치구양쪽에 손잡이를 두고, 앞쪽에 프로그램 실행 및 옵션설정, 결과물을 디스플레이할 수 있는 터치스크린이 있으며 바깥쪽에 USB카메라가 부착되어 있는 제작 치구로써 사용자 측면에서 가볍고 손쉽게 사용할 수 있는 기능을 제공한다.
도 6은 See-Through HMD + USB 카메라 시스템의 사진을 나타낸 도면이다.
도 7은 증강현실(Augmented Reality)을 이용한 외부 장착물 장착 적합성을 설명하기 위한 사진이다.
증강현실을 이용한 실물(real object)과 가상 물체(virtual object)와의 거리측정 시스템은 가상 개발 환경에서 증강현실(Augmented Reality)과 전산목업(Computerized Digital Mockup) 기술을 이용한 디지털 기반 3차원 연구개발 모델링 및 시뮬레이션하여 기존에 존재하는 항공기나 자동차 등의 실물(real object)에 장착되는 외부 장착물의 CAD(Computer Aided Design)로 모델링 된 가상 물체(virtual model)간의 실제 장비(실물)와 가상 장비(장착물), 가상 장비와 실제 지면과의 거리를 거리측정 연산처리 알고리즘으로 증강현실 기법을 이용하여 실시간으로 이격거리를 측정하여 장착 적합성을 검사한다.
도 7을 참조하면, 증강현실 기술 및 모델링과 시뮬레이션(M&S:Modeling & Simulation)기술을 이용한 항공기 외부 장착물 장착 적합성 모의 시스템 기술은 첨단 장비 설계 단계에서 나온 3차원 설계 데이터를 이용하여 신규 개발하는 항공기 외부 장착물과 항공기 간의 장착 적합성을 증강현실(Augmented Reality) 기반의 모델링과 시뮬레이션(M&S:Modeling & Simulation) 기술을 적용하여 미리 검증하는 시스템 기법을 사용하였다.
도 8은 정상적인 항공기 타이어(Tire)와 장착장비의 위치 정보를 나타낸 평면도이다. 도 9는 항공기 Right Tire Flat시 항공기 기울어짐 계산을 나타낸 평면도이다. 도 10은 항공기 Right Tire Flat시 항공기 기울어짐 계산을 나타낸 측면도이다. 도 11은 항공기 Right Tire Flat시 원점 이동 후 항공기 기울어짐 계산을 나타낸 도면이다.
도 12는 항공기 Left Tire Flat시 항공기 기울어짐 계산을 나타낸 평면도이다. 도 13은 항공기 NLG Tire Flat시 항공기 기울어짐 계산을 나타낸 평면도이다. 도 14는 항공기 NLG Tire Flat시 항공기 기울어짐 계산을 나타낸 측면도이다.
도 8 내지 도 14를 참조하면, 실물(real object)로 항공기를 사용하는 경우, 항공기 Tire Flat 상황에 따른 가상 장착장비의 자동 위치연산 및 거리 측정 알고리즘은 항공기 상황을 고려한 신규 및 첨단 장비체계 장착여부를 검증하기 위한 것으로써 항공기 Tire Flat상황에서 항공기 실제 장비(실물)에 부착될 장착 장비(장착물)와 지면의 거리가 얼마만큼 떨어져 있는지 판단하도록 실시간 연산 및 지면과의 거리 측정을 해주는 알고리즘이다.
항공기 Tire Flat은 총 8가지 상황으로써 1) 정상상태, 2) Right Tire Flat, 3) Left Tire Flat, 4) Nose Tire Flat, 5) Left-Right Tire Flat, 6) Left-Nose Tire Flat, 7) Right-Nose Tire Flat, 8) All Tire(Left-Right-Nose) Flat상황에 따라 장착장비 위치 및 지면과의 거리연산을 실시간으로 처리가 가능하다.
도 8은 정상적인 항공기 타이어(Tire)와 장착장비의 위치 정보를 나타낸 평면도이다. 도 8은 외부 장착물과 전륜착륙장치(NLG:Nose Landing Gear) 타이어와 주륜착륙장치(MLG:Main Landing Gear) 좌/우 타이어 사이의 위치관계를 표현하는 그림으로, 외부 장착물의 좌표축을 사용하여 각각의 위치좌표를 변환하여 사용하게 된다.
도 9는 항공기 Right Tire Flat시 항공기 기울어짐 계산을 나타낸 평면도이다. 실제 일부 타이어가 flat된 경우 다른 정상 타이어를 축으로 항공기가 회전하게 되지만, 가상현실 시스템 상에서 실제 발생하지 않은 flat상황을 모사하는 것이므로 항공기와 외부 장착물은 실제 존재하는 위치에 그대로 있는 반면, 지면을 예상되는 각도만큼 회전시켜 구현하게 된다. 이 때 지면을 회전시킬 회전축과 중심점의 좌표를 외부 장착물의 좌표계를 기준으로 구해야 한다.
여기서,
Figure 112011063456066-pat00001
: 항공기 Right 타이어 중심부와 Left 타이어 중심부 까지의 거리(Z축거리),
Figure 112011063456066-pat00002
: 항공기 Right 타이어에서 NLG 타이어 까지의 X축 거리,
Figure 112011063456066-pat00003
: NLG 타이어와 Left 타이어의 선상에 Right 타이어가 직각을 이루는 점 까지의 거리,
Dheight: NLG 타이어와 Left 타이어의 선상에 Right 타이어가 직각을 이루는 점에서 부터 Left 타이어까지의 X축 길이,
Dp: NLG타이어와 Left 타이어의 선상에 Right 타이어가 직각을 이루는 점으로부터 Left 타이어까지의 X축과 Z축길이(
Figure 112011063456066-pat00004
),
θ : NLG 타이어와 Left 및 Right 타이어와의 평면도에서 본 각도이다.
우측 주륜착륙장치(Right MLG) 타이어가 flat된 경우, 항공기가 좌측 주륜착륙장치(Left MLG:Main Landing Gear)와 전륜착륙장치(NLG:Node Landing Gear)를 잇는 직선을 중심으로 회전하며, 기울어지는 각도 계산을 위해 필요한 회전반경은
Figure 112011063456066-pat00005
(NLG 타이어와 Left 타이어의 선상에 Right 타이어가 직각을 이루는 점 까지의 거리) 임을 알 수 있다. 이에 필요한 각각의 길이/각도값은 항공기 형상에 의해 결정되며, 항공기 고유의 입력값으로 사용된다.
직교점을 알기 위해 위의 그림과 같은 도시법을 이용하여 각 거리와 기준점의 좌표이 구해진다.
먼저 θ(NLG 타이어와 Left 및 Right 타이어와의 평면도에서 본 각도)를 구하기 위해, 이미 알고 있는
Figure 112011063456066-pat00006
과
Figure 112011063456066-pat00007
을 피타고라스 정리를 이용하여 θ를 구할 수 있다.
Figure 112011063456066-pat00008
여기서 구한 θ(NLG 타이어와 Left 및 Right 타이어와의 평면도에서 본 각도)를 가지고 DP (NLG타이어와 Left 타이어의 선상에 Right 타이어가 직각을 이루는 점으로부터 Left 타이어까지의 X축과 Z축길이(
Figure 112011063456066-pat00009
))를 구할 수 있다.
Figure 112011063456066-pat00010
θ와 DP 를 가지고 Dheight와 Dweight를 구할 수 있다.
Figure 112011063456066-pat00011
여기서, Dheight는 NLG 타이어와 Left 타이어의 선상에 Right 타이어가 직각을 이루는 점에서 부터 Left 타이어까지의 X축 길이,
Dp는 NLG타이어와 Left 타이어의 선상에 Right 타이어가 직각을 이루는 점으로부터 Left 타이어까지의 X축과 Z축길이(
Figure 112011063456066-pat00012
)를 나타낸다.
위 식에서 구한 Dheight와 Dweight를 원점을 기준으로 계산하면, Left Tire와 NLG Tire를 중심으로 Right Tire와 직교하는 점의 기준점 좌표가 구해진다.
기준점이 구해지면, 기준점은 원점과 매핑시켜야 한다. 오브젝트의 회전 변환은 원점을 기준으로 하기 때문에 기준점을 원점과 매핑시킨 후 축으로 회전을 시켜 축을 맞쳐준다.
먼저, 회전 변환 행렬을 이용하여 위치를 원점으로 이동해 준다. 점 (x,y,z)를 (J,K,L) 만큼 이동시킬 때 다음 식과 같은 변환행렬식을 이용한다.
Figure 112011063456066-pat00013
이동이 끝났으면 각 축에 맞도록 회전을 시켜주어야 한다.
먼저 X축에 맞추기 위해 Y축을 기준으로 만큼 회전시킨다.
Y축회전 변환 행렬은 다음식과 같다.
Figure 112011063456066-pat00014
Y축으로 회전 시킨후, Left Tire와 NLG Tire의 높이가 다르기 때문에 높이에 따른 위치와 각도를 계산해 주어야 한다.
도 10은 항공기 Right Tire Flat시 항공기 기울어짐 계산을 나타낸 측면도이다.
전륜착륙장치(NLG:Node Landing Gear)의 회전중심과 주륜착륙장치(MLG:Main Landing Gear)의 회전중심이 지면에서 이격되어 있는 거리는 각각의 타이어 반경(DN, DL) 에 해당하며
Figure 112011063456066-pat00015
이다.
Figure 112011063456066-pat00016
이므로, θ1 값을 구할 수 있다.
여기서, DN : 지면에서 NLG타이어의 중심까지의 높이,
DL : 지면에서 Left(Right)타이어의 중심까지의 높이,
Figure 112011063456066-pat00017
: Left(Right)타이어와 NLG타이어의 높이 차이,
θ1: 왼쪽이나 또는 오른쪽에서 봤을때 NLG타이어와 Left(Right)타이어의 높이에 따른 각도,
Figure 112011063456066-pat00018
: Left 타이어와 Right타이어의 중심부를 NLG타이어와 연결했을 때의 실제 길이
Figure 112011063456066-pat00019
이다.
Left Tire와 NLG Tire의 높이 차이에 따른 각도 θ1 만큼 Z축으로 회전시켜줘야 한다. Z축 회전 변환 행렬은 다음과 같다.
Figure 112011063456066-pat00020
이동과 회전으로 축을 맞추었으면 Right Tire가 Flat되었을 때의 각도만큼 회전시켜 줘야 한다.
이때 각도 θ2는 다음과 같이 구할 수 있다.
도 11은 항공기 Right Tire Flat시 원점 이동 후 항공기 기울어짐 계산을 나타낸 도면이다.
NLG 타이어와 Left 타이어의 선상에 Right 타이어가 직각을 이루는 점 까지의 거리(
Figure 112011063456066-pat00021
)는 다음 식에 의해 구한다.
Figure 112011063456066-pat00022
여기서,
Figure 112011063456066-pat00023
: NLG 타이어와 Left 타이어의 선상에 Right 타이어가 직각을 이루는 점 까지의 거리,
Figure 112011063456066-pat00024
: 항공기 Right 타이어 중심부와 Left 타이어 중심부 까지의 거리(Z축거리), DP :NLG타이어와 Left 타이어의 선상에 Right 타이어가 직각을 이루는 점으로부터 Left 타이어까지의 X축과 Z축길이(
Figure 112011063456066-pat00025
), θ2 : Right 타이어 Flat시에 발생되는 각도, RL: 지면에서 Left(Right) 타이어의 중심까지의 높이를 나타낸다.
위에서 구한 θ2만큼 X축으로 회전시키면 Right Tire가 Flat 되어짐을 구할 수 있다. X축 회전식은 다음과 같은 행렬 식으로 표현할 수 있다.
Figure 112011063456066-pat00026
X축으로 θ2만큼 회전한 다음 원래 위치로 이동 및 회전하여 외부 장착물의 위치와 지면과의 최단거리를 구해야 한다. 원래 위치로 이동 및 회전변환 하기 위해 이제까지 변환한 순서의 역순으로 회전 이동을 하면 된다.
먼저 Z축으로 -θ1 만큼 회전시켜 주고, Y축으로 -θ1 만큼 회전시켜준 다음 (-J, -K, -L) 만큼 이동시켜 주면 원래 위치로 돌아오게 되면, Right Tire Flat시 외부 장착물 오브젝트의 위치가 정해지고 그 오브젝트의 정보와 지면과의 거리를 측정하여 최단거리를 구하게 된다.
도 12는 항공기 Left Tire Flat시 항공기 기울어짐 계산을 나타낸 평면도이다. Left Tire Flat은 외부 장착물의 Z축이 Left Tire와 Right Tire의 정 중앙에 존재하므로 각 θ, θ1 ,θ2 가 Right Tire Flat시와 같다. 따라서, 회전 및 이동 방향을 반대부호로 계산하면 된다.
여기서,
Figure 112011063456066-pat00027
: 항공기 Right 타이어 중심부와 Left 타이어 중심부 까지의 거리(Z축거리),
Figure 112011063456066-pat00028
: 항공기 Right 또는 Left 타이어에서 NLG 타이어 까지의 X축 거리,
Figure 112011063456066-pat00029
: NLG타이어와 Right 타이어의 선상에 Left 타이어가 직각을 이루는 점 까지의 거리,
Dheight: NLG타이어와 Right타이어의 선상에 Left타이어가 직각을 이루는 점에서 부터 Right 타이어까지의 X축 길이,
DP: NLG타이어와 Right타이어의 선상에 Left타이어가 직각을 이루는 점에서부터 Right 타이어까지의 X축과 Z축길이(
Figure 112011063456066-pat00030
),
θ: NLG 타이어와 Left 및 Right 타이어와의 평면도에서 본 각도
도 13은 항공기 NLG Tire Flat시 항공기 기울어짐 계산을 나타낸 평면도이고 도 14는 항공기 NLG Tire Flat시 항공기 기울어짐 계산을 나타낸 측면도이다.
NLG Tire Flat시에는 기준점이 Left Tire와 Right Tire 선분의 중점을 기준으로 잡으면 된다. 이동 행렬을 이용하여 기준점 중점으로 위치시킨 후에는 NLG Tire가 Flat된 높이만큼 회전시켜야 한다. 여기서, 회전각은 다음과 같이 구할 수 있다.
Figure 112011063456066-pat00031
여기서, θ1 : NLG타이어와 뒤에 있는 Left(Right) 타이어와의 각도,
θ2 : NLG 타이어 Flat시에 발생되는 각도로써 뒤에 있는 타이어와의 최종각도는θ1 +θ2 임,
RL: 지면에서 Left(Right) 타이어의 중심까지의 높이
RN : 지면에서 NLG 타이어의 중심까지의 높이
따라서, NLG Tire Flat시의 외부 장착물위치정보는 -Z축으로 θ2만큼 회전해주고 기준점(P)을 원래 위치로 이동시켜주면 된다.
전술한 바와 같이 본 발명의 방법은 프로그램으로 구현되어 개인용 컴퓨터의 소프트웨어와 장치를 이용하여 읽을 수 있는 형태로 기록매체(씨디롬, 램, 롬, 플로피 디스크, 플래시 메모리, 하드 디스크, 광자기 디스크 등)에 저장될 수 있다.
이상에서 설명한 바와 같이, 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니므로, 본 발명은 본 발명의 사상 및 특허 청구범위에 기재된 범주 내에서 다양한 형태로 수정, 변경, 또는 개선될 수 있으며 본 발명의 보호 범위는 아래의 특허 청구범위를 기준으로 그와 동등한 범위 내에 있는 모든 기술 사상에 대해서까지 포함되는 것으로 해석되어야할 것이다.
1: 장착 대상 실물 2: 가상 물체 동기화 인터페이스
3: 인지 장치 4: AR 모의 장치
5: 입력장치 6: 장착물 전산 목업
7: 시현 장치

Claims (15)

  1. 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템에 있어서,
    항공기, 군함 또는 지상 차량의 실물(real object); 및
    상기 실물(real object)에 장착되는 외부 장착물에 대하여 장비 설계 단계에서 3차원 설계 데이터를 이용하여 상기 실물과 상기 외부 장착물의 장착 적합성을 미리 검증하기 위해 증강현실 기반의 모델링과 시뮬레이션(M&S:Modeling & Simulation) 기술을 적용하여 외부 장착물 장비 장착 전 실물 크기의 CAD 데이터를 증강현실로 나타내고 실물과 외부 장착물의 이격 거리를 계산하여 장착 적합성을 분석하는 가상 물체 동기화 인터페이스로 구성되고,
    상기 가상 물체 동기화 인터페이스는 실물에 대한 실물(real object) 영상을 제공하기 위한 인지장치; 상기 인지장치로부터 들어오는 실물 영상과 외부 장착물의 가상 모델 영상을 합성한 후 마커(Marker)를 이용하여 실물과 외부 장착물의 두 물체 사이의 거리를 측정하는 거리측정 알고리즘이 구현된 프로그램을 구동하는 AR 모의장치; 운용자의 위치와 시선 방향을 판단하기 위해 마커를 이용한 입력장치; 상기 마커가 부착된 실물(real object) 영상에 새로이 장착하기 위한 장착물 장비의 3차원 CAD설계 데이터(전산 목업 데이터)를 로딩하는 장착물 전산 목업; 및 증강현실 영상과 실물(real object)과 장착물의 가상 모델(virtual model)의 거리 측정 결과를 화면에 출력하는 시현장치를 포함하며,
    상기 AR모의장치는, 상기 인지 장치로부터 상기 실물 영상을 획득하고, 상기 입력장치에 의해 실물 영상에 마커(Marker)를 부착하며, 상기 장착물 전산 목업으로부터 장착물(장착 장비)의 전산 목업 데이터를 로딩받아 실제 크기로 마커가 부착된 실물 영상과 장착물 영상을 합성하여 증강 현실 렌더링을 수행하며 두 물체 사이의 이격 거리를 추출하여 상기 시현장치로 장착 적합성 결과 리포트 파일을 출력하는 데이터 입출력 모듈; 카메라 캘리브레이션(Camera calibration, 특징점 검출 및 실시간 추적), 마커 인식 및 추적, 마커 기하정보 계산(특징점 매칭을 통해 3D position, orientation 계산), 상기 인지장치의 제스처 및 이벤트 인식, 2차원 영상과 그래픽 모델 합성(실물 영상과 장착물의 가상 모델의 기하정보를 적용하여 증강현실 합성) 기능을 제공하는 영상 처리 모듈; 및 상기 실물 영상과 장착물의 가상모델이 정합된 모델과 주위 물체(실물)사이의 거리 측정, 및 실물 장비와 장착물 장비와의 이격거리를 계산하여 장착 적합 여부 판단하는 적합성 검사 모듈로 구성되는 것을 특징으로 하는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템.
  2. 제1항에 있어서,
    상기 인지장치는,
    소형 카메라를 사용하여 실시간 영상을 입력받고, 운용자가 움직임을 자유롭게 하기 위해 무게나 크기를 고려하여 성능면에서 실시간 입출력이 가능하며, 색 균형(Auto WhiteBalance)과 초점(Focus), 대비(Contrast)기능을 가지고 있는 것을 특징으로 하는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템.
  3. 삭제
  4. 제1항에 있어서,
    상기 AR모의장치는,
    컴퓨터 또는 노트북을 사용하며, 상기 인지장치로부터 입력된 화면영상을 영상처리를 통해 실시간으로 증강시키고, 증강현실을 이용하여 마커가 부착된 실물 영상과 장착물과의 거리측정 및 지면과의 거리를 실시간으로 처리하는 기능을 수행하는 것을 특징으로 하는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템.
  5. 삭제
  6. 제1항에 있어서,
    상기 장착물 전산 목업은,
    상기 실물(real object)에 장착될 상기 장착물을 가상으로 볼 수 있도록, 장착물의 3차원 디지털 CAD 데이터를 제공하는 것을 특징으로 하는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템.
  7. 제1항에 있어서,
    상기 시현장치는,
    See-Through 타입의 HMD(Head Mounted Display), 핸드헬드 뷰어(HandHeld Viewer), 모니터 중 어느 하나를 사용하며, 상기 실물에 장착할 장비(장착물)를 증강현실로 보고자 할 때 영상을 출력하고, 상기 실물(real object)과 상기 장착물의 가상 물체(virtual object)와의 거리측정 결과를 화면에 출력하는 기능을 제공하는 것을 특징으로 하는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템.
  8. 제7항에 있어서,
    상기 핸드헬드 뷰어(Handheld Viewer)는,
    인체 공학적인 사용자 인터페이스를 고려한 카메라와 터치스크린의 일체형 치구 시스템이고, 사용자가 항공기에 장착할 장비를 증강현실로 보기 위한 입출력 방식 일체형 치구로써, 시스템 입력방식인 USB카메라와 프로그램 운용을 위한 입출력 방식인 터치스크린을 일체형으로 통합하여 사용자가 보고자 하는 부분을 촬영과 동시에 터치스크린 상으로 확인하며 치구양쪽에 손잡이를 두고, 앞쪽에 프로그램 실행 및 옵션설정, 결과물을 디스플레이할 수 있는 터치스크린이 있으며 바깥쪽에 USB카메라가 부착되어 있는 제작 치구를 사용하는 것을 특징으로 하는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템.
  9. 제1항 또는 제4항에 있어서,
    상기 AR 모의 장치는,
    마커(Marker) 기반의 증강현실(Augmented Reality)기법을 이용하여 마커가 부착된 실물과 가상 장착장비(장착물)의 거리측정 알고리즘을 이용한 최단거리 측정하는 것을 특징으로 하는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템.
  10. 증강현실을 이용한 실물(real object)과 장착물의 가상모델(virtual object) 사이의 거리측정 방법에 있어서,
    (a) 항공기, 군함 또는 지상 차량의 실물(real object)에 입력장치인 마커(Marker)를 부착시키고, 인지장치로 사용되는 카메라를 이용하여 상기 마커가 부착된 실물 영상을 촬영하며, 카메라의 USB 통신을 통해 실물 영상을 AR모의장치로 전송하는 단계;
    (b) 장착물 전산 목업으로부터 상기 마커가 부착된 실물 영상에 새로이 장착하기 위한 장착물 장비의 3차원 CAD설계데이터(장착물의 전산 목업 데이터)를 AR 모의장치로 로딩하는 단계;
    (c) 상기 AR모의장치에 의해 카메라로부터 전송된 실물 영상을 영상처리 알고리즘을 통해 미리 정의해 놓은 ID와 비교 분석하고, 비교 분석된 ID와 마커ID와 매칭되는 것을 찾으며, 매칭된 마커 ID에 맞는 3차원 설계 데이터를 장착물 전산 목업에 따라 위치, 크기, 방향을 판단하여 실제 크기로 마커가 부착된 실물 영상과 상기 장착물의 가상모델 영상을 합성하고 증강현실 렌더링을 수행하는 단계;
    (d) 상기 AR모의장치에 의해 증강현실을 이용한 실물(real object)과 장착물의 가상 물체(virtual object)의 거리측정 알고리즘을 이용하여, 상기 실물 영상에 부착된 마커(Marker)를 기준으로 증강된 장착물의 가상 물체(장착 장비)의 최단 거리를 측정하며, 지면과의 거리를 측정하는 단계; 및
    (e) 증강현실 영상 및 상기 실물(real object)과 장착물의 가상 물체(virtual object)의 거리 측정 결과를 시현장치의 화면에 출력하는 단계;
    를 포함하는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 방법.
  11. 제10항에 있어서,
    상기 단계(d)에서,
    상기 증강현실을 이용한 실물(real object)과 장착물의 가상 물체(virtual object)의 거리측정 알고리즘은 항공기에 장착할 장비 대신 카메라로 촬영된 실물 에 마커(Marker)를 장착시키고, 실물 영상의 마커의 위치와 방향에 따라 디지털 전산 목업에 의해 생성된 장착물의 3차원 가상장비 데이터를 합성하여 증강시키고, 증강시킨 3차원 가상 장비 데이터의 Vertex 위치정보와 거리측정 기준이 되는 마커의 위치정보를 실시간으로 계산해 상대좌표로 거리를 추출하고, 여러 지점을 거리 스캔(Distance Scan)하였을 때 최단 거리의 위치좌표와 거리를 저장하는 것을 특징으로 하는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 방법.
  12. 제10항에 있어서,
    상기 단계 (d)는,
    상기 증강현실을 이용한 실물(real object)과 장착물의 가상물체(virtual object) 사이의 거리측정 알고리즘은 실제 실물인 항공기를 기준으로 마커(Marker)가 부착된 지점으로부터 운용자가 지정한 장착물의 위치까지의 거리를 계산하며, 수치계산 및 영상 보정의 연산처리를 통해 실시간으로 거리를 계산하고, 항공기의 위치 및 Tire Flat시의 돌발 상황에도 거리 측정 알고리즘은 마커(Marker)의 위치 및 자세보정 알고리즘에 의해 자동으로 가상 장비(장착물)와 실제 장비(실물), 가상 장비와 지면과의 거리측정을 실시간으로 계산하는 것을 특징으로 하는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 방법.
  13. 제10항에 있어서,
    상기 단계 (e)에서의 상기 시현장치는,
    See-Through 타입의 HMD(Head Mounted Display), 핸드헬드 뷰어(HandHeld Viewer), 모니터 중 어느 하나를 사용하는 것을 특징으로 하는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 방법.
  14. 제10항에 있어서,
    상기 실물(real object)로 항공기를 사용하는 경우, 항공기 Tire Flat 상황에 따른 가상 장착장비의 자동 위치연산 및 거리 측정 알고리즘은 1) 정상상태, 2) Right Tire Flat, 3) Left Tire Flat, 4) Nose Tire Flat, 5) Left-Right Tire Flat, 6) Left-Nose Tire Flat, 7) Right-Nose Tire Flat, 8) All Tire(Left-Right-Nose) Flat상황에 따라 장착장비 위치 및 지면과의 거리연산을 실시간으로 처리가 가능하며,
    상기 항공기 Tire Flat 상황을 고려한 장비체계 장착여부를 검증하기 위한 것으로써, 항공기 Tire Flat 상황에서 항공기(실물)에 부착될 장착 장비(장착물)와 지면의 거리가 얼마만큼 떨어져 있는지 판단하도록 실시간 연산 및 지면과의 거리를 측정하는 것을 특징으로 하는 증강현실을 이용한 실물과 가상모델 사이의 거리측정 방법.
  15. 증강현실을 이용한 실물(real object)과 장착물의 가상모델(virtual object) 사이의 거리측정 방법을 구현하기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 있어서,
    (a) 항공기, 군함 또는 지상 차량의 실물(real object)에 입력장치인 마커(Marker)를 부착시키고, 인지장치로 사용되는 카메라를 이용하여 상기 마커가 부착된 실물 영상을 촬영하며, 카메라의 USB 통신을 통해 실물 영상을 AR모의장치로 전송하는 기능;
    (b) 장착물 전산 목업으로부터 상기 마커가 부착된 실물 영상에 새로이 장착하기 위한 장착물 장비의 3차원 CAD설계데이터(장착물의 전산 목업 데이터)를 AR 모의장치로 로딩하는 기능;
    (c) 상기 AR모의장치에 의해 카메라로부터 전송된 실물 영상을 영상처리 알고리즘을 통해 미리 정의해 놓은 ID와 비교 분석하고, 비교 분석된 ID와 마커ID와 매칭되는 것을 찾으며, 매칭된 마커 ID에 맞는 3차원 설계 데이터를 장착물 전산 목업에 따라 위치, 크기, 방향을 판단하여 실제 크기로 마커가 부착된 실물 영상과 상기 장착물의 가상모델 영상을 합성하고 증강현실 렌더링을 수행하는 기능;
    (d) 상기 AR모의장치에 의해 증강현실을 이용한 실물(real object)과 장착물의 가상 물체(virtual object)의 거리측정 알고리즘을 이용하여, 상기 실물 영상에 부착된 마커(Marker)를 기준으로 증강된 장착물의 가상 물체(장착 장비)의 최단 거리를 측정하며, 지면과의 거리를 측정하는 기능; 및
    (e) 증강현실 영상 및 상기 실물(real object)과 장착물의 가상 물체(virtual object)의 거리 측정 결과를 시현장치의 화면에 출력하는 기능;
    을 실현시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110081556A 2011-08-17 2011-08-17 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법 KR101274556B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110081556A KR101274556B1 (ko) 2011-08-17 2011-08-17 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110081556A KR101274556B1 (ko) 2011-08-17 2011-08-17 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20130019546A KR20130019546A (ko) 2013-02-27
KR101274556B1 true KR101274556B1 (ko) 2013-06-17

Family

ID=47897623

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110081556A KR101274556B1 (ko) 2011-08-17 2011-08-17 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101274556B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107450720A (zh) * 2016-05-31 2017-12-08 Fove股份有限公司 视线检测系统
KR102364898B1 (ko) 2020-09-29 2022-02-18 윤원섭 영상장치를 활용한 시설 모니터링 시스템

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101638610B1 (ko) * 2014-12-16 2016-07-20 현대자동차주식회사 웨어러블 디바이스와의 통신이 가능한 차량용 장치 및 그 제어 방법
CN106817508B (zh) 2015-11-30 2019-11-22 华为技术有限公司 一种同步对象确定方法、装置和系统
JP2017215928A (ja) * 2016-05-31 2017-12-07 フォーブ インコーポレーテッド 視線検出システム
KR102063086B1 (ko) * 2018-04-05 2020-01-07 주식회사 리안 Ais 내장 소형선박용 안전항해 함체
KR102152217B1 (ko) * 2018-12-20 2020-09-04 서강대학교 산학협력단 Vr 장비와 ar 장비간의 좌표계 일치용 지그 및 이를 이용한 물리 공간 공유 방법
KR102346964B1 (ko) * 2019-11-22 2022-01-03 울산과학기술원 객체 인식 장치 및 방법
CN112214830B (zh) * 2020-08-31 2024-05-14 北京卫星制造厂有限公司 一种基于增强现实的航天器电缆网立体成形系统与方法
CN114049800B (zh) * 2021-10-15 2024-05-07 东南大学 混合现实环境下的深度感知实验平台及其实验方法
CN117094173B (zh) * 2023-10-13 2024-02-20 北京世冠金洋科技发展有限公司 系统仿真方法、装置、设备及可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100047563A (ko) * 2008-10-29 2010-05-10 에이알비전 (주) 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법
KR20100097582A (ko) * 2009-02-26 2010-09-03 한국과학기술원 컨테이너 도킹 시스템, 컨테이너 크레인, 및 컨테이너 도킹 방법

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20100047563A (ko) * 2008-10-29 2010-05-10 에이알비전 (주) 모의 훈련을 위한 증강 현실 장치 및 가상 이미지 합성 방법
KR20100097582A (ko) * 2009-02-26 2010-09-03 한국과학기술원 컨테이너 도킹 시스템, 컨테이너 크레인, 및 컨테이너 도킹 방법

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
김현순 외 3인, 증강현실 기술을 활용한 항공기 외장형 포드 장착 적합성 모의 시스템 개발, 한국항공우주학회 2009년도 추계학술발표회논문집: 한국항공우주학회, 2009년 11월, 1181-1184 면 *
김현순 외 3인, 증강현실 기술을 활용한 항공기 외장형 포드 장착 적합성 모의 시스템 개발, 한국항공우주학회 2009년도 추계학술발표회논문집: 한국항공우주학회, 2009년 11월, 1181-1184 면*

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107450720A (zh) * 2016-05-31 2017-12-08 Fove股份有限公司 视线检测系统
KR102364898B1 (ko) 2020-09-29 2022-02-18 윤원섭 영상장치를 활용한 시설 모니터링 시스템

Also Published As

Publication number Publication date
KR20130019546A (ko) 2013-02-27

Similar Documents

Publication Publication Date Title
KR101274556B1 (ko) 증강현실을 이용한 실물과 가상모델 사이의 거리측정 시스템 및 방법
US10896497B2 (en) Inconsistency detecting system, mixed-reality system, program, and inconsistency detecting method
US10086955B2 (en) Pattern-based camera pose estimation system
CN110780285B (zh) 激光雷达与组合惯导的位姿标定方法、系统及介质
US7663649B2 (en) Information processing device and method for aiding control operations relating to controlling the position and orientation of a virtual object and method for changing the positioning and orientation of a virtual object
US9858669B2 (en) Optimized camera pose estimation system
US20170116776A1 (en) Structure-based camera pose estimation system
WO2018106220A1 (en) Systems and methods for tracking motion and gesture of heads and eyes
CN109961522A (zh) 图像投射方法、装置、设备和存储介质
US20150098623A1 (en) Image processing apparatus and method
JP2013539147A5 (ko)
US9245063B2 (en) Creating ergonomic manikin postures and controlling computer-aided design environments using natural user interfaces
EP3822850B1 (en) Method and apparatus for 3d modeling
JP4772789B2 (ja) カメラ・ポーズを決定する方法および装置
CN113409444B (zh) 三维重建方法、装置、电子设备及存储介质
US20120293628A1 (en) Camera installation position evaluating method and system
CN105184268A (zh) 手势识别设备、手势识别方法及虚拟现实系统
CN112486331A (zh) 基于imu的三维空间手写输入方法和装置
CN111127661B (zh) 一种数据处理方法、装置及电子设备
CN114266876B (zh) 定位方法、视觉地图的生成方法及其装置
JP6800599B2 (ja) 情報処理装置、方法及びプログラム
Bownes Using motion capture and augmented reality to test aar with boom occlusion
JP2016099839A (ja) 情報処理装置、情報処理方法、およびプログラム
Miyake et al. Outdoor augmented reality using optical see-through HMD system for visualizing building information
JP2004108836A (ja) 撮像装置の方位角計算方法及び装置、撮像装置の姿勢検出装置、撮像装置の傾きセンサ、コンピュータプログラム、並びに三次元モデル構成装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160602

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170601

Year of fee payment: 5