KR101816041B1 - 시스루 스마트 안경 및 그 투시 방법 - Google Patents

시스루 스마트 안경 및 그 투시 방법 Download PDF

Info

Publication number
KR101816041B1
KR101816041B1 KR1020177009100A KR20177009100A KR101816041B1 KR 101816041 B1 KR101816041 B1 KR 101816041B1 KR 1020177009100 A KR1020177009100 A KR 1020177009100A KR 20177009100 A KR20177009100 A KR 20177009100A KR 101816041 B1 KR101816041 B1 KR 101816041B1
Authority
KR
South Korea
Prior art keywords
image
target object
target
marker
external marker
Prior art date
Application number
KR1020177009100A
Other languages
English (en)
Other versions
KR20170046790A (ko
Inventor
난 푸
야오퀸 시
얀춘 추
샤오데 유
지쳉 장
Original Assignee
센젠 인스티튜트스 오브 어드밴스트 테크놀로지, 차이니즈 아카데미 오브 사이언시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 센젠 인스티튜트스 오브 어드밴스트 테크놀로지, 차이니즈 아카데미 오브 사이언시스 filed Critical 센젠 인스티튜트스 오브 어드밴스트 테크놀로지, 차이니즈 아카데미 오브 사이언시스
Publication of KR20170046790A publication Critical patent/KR20170046790A/ko
Application granted granted Critical
Publication of KR101816041B1 publication Critical patent/KR101816041B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/70—Determining position or orientation of objects or cameras
    • G06T7/73—Determining position or orientation of objects or cameras using feature-based methods
    • G06T7/75—Determining position or orientation of objects or cameras using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G02—OPTICS
    • G02C—SPECTACLES; SUNGLASSES OR GOGGLES INSOFAR AS THEY HAVE THE SAME FEATURES AS SPECTACLES; CONTACT LENSES
    • G02C5/00—Constructions of non-optical parts
    • G02C5/001—Constructions of non-optical parts specially adapted for particular purposes, not otherwise provided for or not fully classifiable according to technical characteristics, e.g. therapeutic glasses
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G06T1/20—Processor architectures; Processor configuration, e.g. pipelining
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/24—Aligning, centring, orientation detection or correction of the image
    • G06V10/245—Aligning, centring, orientation detection or correction of the image by locating a pattern; Special marks for positioning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/0132—Head-up displays characterised by optical features comprising binocular systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/0101—Head-up displays characterised by optical features
    • G02B2027/014—Head-up displays characterised by optical features comprising information/image processing systems
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00—Indexing scheme for image data processing or generation, in general
    • G06T2200/04—Indexing scheme for image data processing or generation, in general involving 3D image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30204—Marker
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components

Abstract

본 발명은 시스루 스마트 안경(100) 및 그 투시 방법에 관한 것으로, 상기 시스루 스마트 안경(100)은, 목표 물체(200)의 3D 모형을 저장하기 위한 모형 저장 모듈(110);
이미지 표시 모듈(120);
사용자의 관찰 각도에 따라 목표 물체(200)의 목표 외부 마커(210')를 인식하고, 목표 물체(200)의 3D 모형에 따라 목표 외부 마커(210')와 내부 구조(220) 사이의 상대적 공간 연관을 찾아내며, 상대적 공간 연관에 따라 관찰 각도에 대응되는 목표 물체(200)의 내부 이미지를 생성하고, 상기 이미지 표시 모듈(120)을 통해 상기 내부 이미지를 표시하기 위한 이미지 처리 모듈(130)을 포함한다. 본 발명은 물체 표면과 전체 구조를 파괴하지 않는 전제하에서, 사용자의 관찰 각도에 따라 관찰 각도에 대응되는 내부 구조(220)의 이미지를 생성하여 사용자가 쉽게 정확하고 직관적이며 형상적으로 물체의 내부 구조(220)를 관측하도록 한다.

Description

시스루 스마트 안경 및 그 투시 방법{SEE-THROUGH SMART GLASSES AND SEE-THROUGH METHOD THEREOF}
본 발명은 스마트 안경 기술분야에 관한 것으로, 특히 시스루 스마트 안경 및 그 투시 방법에 관한 것이다.
전자기술의 진보에 따라 스마트 안경도 점진적으로 발전하고 있는데, 예컨대, 구글 글라스(google glass)와 앱손Moverio BT-200 스마트 안경 등이 있다. 종래의 스마트 안경은 스마트 폰과 마찬가지로 독립된 운영 체제를 구비하여 사용자가 소프트웨어, 게임 등 소프트웨어 서비스 업체에서 제공하는 프로그램을 설치할 수 있고, 음성 또는 동작 제어를 통해 스케줄 추가, 지도 네비게이션, 친구와의 소통, 사진과 동영상 촬영, 친구와의 동영상 통화 등 기능을 실행할 수 있으며, 이동 통신망을 통해 무선 인터넷 접속을 실현할 수 있다.
종래의 스마트 안경은, 사용자가 스마트 안경을 통해 물체를 투시할 수 없어 사용자가 정확하고 직관적이며 형상적으로 물체의 내부 구조를 이해하기 어려운 단점이 있다.
본 발명은 시스루 스마트 안경 및 그 투시 방법을 제공한다.
본 발명은 하기와 같이 실현된다. 시스루 스마트 안경은, 목표 물체의 3D 모형을 저장하기 위한 모형 저장 모듈; 이미지 표시 모듈; 사용자의 관찰 각도에 따라 목표 물체의 목표 외부 마커를 인식하고, 목표 물체의 3D 모형에 따라 목표 외부 마커와 내부 구조 사이의 상대적 공간 연관을 찾아내며, 상대적 공간 연관에 따라 관찰 각도에 대응되는 목표 물체의 내부 이미지를 생성하고, 상기 이미지 표시 모듈을 통해 상기 내부 이미지를 표시하기 위한 이미지 처리 모듈을 포함한다.
본 발명의 실시예에 사용되는 기술적 해결수단은 하기와 같은 것을 더 포함한다. 상기 이미지 처리 모듈은 이미지 수집 유닛과 연관 구축 유닛을 포함하고, 상기 이미지 표시 모듈은 사용자의 관찰 각도에 따라 목표 물체의 표면 이미지를 표시하며, 상기 이미지 수집 유닛은 목표 물체의 표면 이미지를 수집하고, 특징 추출 알고리즘을 통해 특징점을 추출하여, 물체의 목표 외부 마커를 인식하며, 상기 연관 구축 유닛은 목표 물체의3D 모형에 따라 목표 외부 마커와 내부 구조 사이의 상대적 공간 연관을 구축하고, 목표 외부 마커의 회전과 변위값을 산출한다.
본 발명의 실시예에서 사용되는 기술적 해결수단은 하기와 같은 것을 더 포함한다. 상기 이미지 처리 모듈은, 목표 외부 마커의 회전과 변위값에 따라 목표 물체의 내부 이미지를 생성하고, 해당 이미지를 투영하는 이미지 생성 유닛; 투영하여 얻은 이미지를 이미지 표시 모듈에 표시하고, 해당 투영 이미지를 목표 물체의 표면 이미지로 교체하는 이미지 오버레이 유닛을 더 포함한다.
본 발명의 실시예에서 사용되는 기술적 해결수단은 하기와 같은 것을 더 포함한다. 상기 목표 물체의 3D 모형은, 목표 물체의 마커를 포함하고 목표 물체의 외부 가시적 부분인 외부 구조; 시스루 표시에 사용되고, 상기 목표 물체의 내부 구조가 투시될 경우 외부 구조가 투명화처리되는, 목표 물체의 내부 비가시적 부분인 내부 구조를 포함하고, 상기 3D 모형의 구축 방식은, 목표 물체의 생산 업체에서 제공하고, 목표 물체의 표준 설명서에 따라 모델링하거나 엑스레이, CT와 자기 공명 장치의 스캔 결과에 따라 생성하여, 상기 모형 저장 모듈에 도입하여 저장하는 방식을 포함한다.
본 발명의 실시예에서 사용되는 기술적 해결수단은 하기와 같은 것을 더 포함한다. 상기 이미지 표시 모듈은 스마트 안경 디스플레이 스크린이고, 이미지 표시 방식은 단안 표시(monocular display) 방식 또는 양안 표시(binocular display) 방식을 포함하고, 상기 이미지 수집 유닛은 스마트 안경의 카메라이며, 상기 목표 물체의 표면 이미지의 특징점은 목표 물체의 외재적 자연 특징 또는 인위적으로 레이블링(labeling)된 패턴 특징을 포함한다.
본 발명의 실시예에서 사용되는 기술적 해결수단은 하기와 같은 것을 더 포함한다. 상기 연관 구축 유닛이 목표 외부 마커의 회전과 변위값을 산출하는 구체적인 방식은, 상기 이미지 처리 모듈은 사용자의 관찰 각도에 따라 목표 물체의 목표 외부 마커를 인식하고, 목표 물체의 3D 모형에 따라 목표 외부 마커와 내부 구조 사이의 상대적 공간 연관을 찾아내며, 상대적 공간 연관에 따라 관찰 각도에 대응되는 목표 물체의 내부 이미지를 생성하는 것인데, 구체적으로, 목표 외부 마커의 이미지를 수집하고, 목표 외부 마커의 이미지와 이미 알고 있는 목표 물체의 3D 모형의 마커 이미지를 비교하여 관찰 각도를 얻으며, 관찰 각도로부터 전체 목표 물체에 대해 투영을 진행하고, 상기 목표 외부 마커 이미지가 위치한 위치에서 이미지 단면 작업을 진행하여, 얻은 단면 이미지로 목표 물체의 표면 이미지를 교체하여 투시 효과를 획득하는 것이다.
본 발명의 실시예에서 사용되는 다른 기술적 해결수단은 시스루 스마트 안경의 투시 방법인바,
실제의 목표 물체에 따라 3D 모형을 구축하고, 스마트 안경을 통해 상기 3D 모형을 저장하는 단계(a);
사용자의 관찰 각도에 따라 목표 물체의 목표 외부 마커를 인식하고, 목표 물체의 3D 모형에 따라 목표 외부 마커와 내부 구조 사이의 상대적 공간 연관을 찾아내는 단계(b);
상대적 공간 연관에 따라 관찰 각도에 대응되는 목표 물체의 내부 이미지를 생성하고, 스마트 안경을 통해 상기 이미지를 표시하는 단계(c)를 포함한다.
본 발명의 실시예에서 사용되는 기술적 해결수단은 하기와 같은 것을 더 포함한다. 상기 단계(b)는 목표 외부 마커의 회전과 변위값을 산출하는 단계를 더 포함하고, 상기 목표 외부 마커의 회전과 변위값의 산출 방식은, 목표 외부 마커 부분을 평면에 근접하게 고려하면, 적어도 4개의 특징점을 수집하고, 목표 물체의 목표 외부 마커와 이미 알고 있는 마커에 대해 비교 변환을 진행하여, 상대적 공간 연관을 구축할 경우, 3*3의 변환 매트릭스(T1)를 구하며, 눈으로 보는 디스플레이 스크린의 위치를 추산하고, 카메라 이미지와 시각 이미지 사이의 변환된 교정 매트릭스(T3)를 산출하며, 변환 매트릭스(T1)와 이미 알고 있는 교정 매트릭스(T3)를 결합하여 디스플레이 스크린이 위치한 매트릭스(T2)를 얻고, 매트릭스(T2)에 대응되는 각도와 변위값, 즉, 목표 외부 마커의 회전과 변위값을 구하는 것이다.
본 발명의 실시예에서 사용되는 기술적 해결수단은 하기와 같은 것을 더 포함한다. 상기 단계(c)에서, 상대적 공간 연관에 따라 관찰 각도에 대응되는 목표 물체의 내부 이미지를 생성하고, 스마트 안경을 통해 상기 내부 이미지를 표시하는데, 구체적으로, 목표 외부 마커의 회전과 변위값에 따라 목표 물체의 내부 구조를 생성하며 해당 이미지를 투영하고, 투영하여 얻은 이미지를 스마트 안경에 표시하며, 해당 투영 이미지로 목표 물체의 표면 이미지를 교체한다.
본 발명의 실시예에서 사용되는 기술적 해결수단은 하기와 같은 것을 더 포함한다. 상기 단계(c)는, 수집된 목표 물체의 표면 이미지에 변화가 발생될 경우, 상기 이미지와 목표 외부 마커를 이미 인식한 이미지에, 중첩된 목표 외부 마커 이미지가 존재하는 지의 여부를 판정하고, 중첩된 목표 외부 마커 이미지가 존재하면, 목표 외부 마커를 이미 인식한 이미지의 인접 영역에서 단계(b)를 다시 수행하며, 중첩된 목표 외부 마커 이미지가 존재하지 않으면, 전체 이미지에 대해 단계(b)를 다시 수행하는 단계를 더 포함한다.
본 발명의 실시예의 시스루 스마트 안경 및 그 투시 방법은 물체 표면과 전체 구조를 파괴하지 않는 전제하에서, 목표 물체3D 모형을 구축하고 사용자가 스마트 안경을 착용하는 것을 통해, 스마트 안경은 사용자의 관찰 각도에 따라 관찰 각도에 대응되는 내부 구조 이미지를 생성하여 사용자가 쉽게 정확하고 직관적이며 형상적으로 물체의 내부 구조을 관측하도록 한다.
도 1은 본 발명의 실시예의 시스루 스마트 안경의 구조 모식도이다.
도 2는 목표 물체의 구조도이다.
도 3은 목표 물체의 외부 관찰 효과도이다.
도 4는 카메라와 디스플레이 위치 사이의 교정 연관도이다.
도 5는 본 발명의 실시예의 시스루 스마트 안경의 투시 방법의 흐름도이다.
실시예1:
도 1을 참조하면, 도 1은 본 발명의 실시예의 시스루 스마트 안경의 구조 모식도이다. 본 발명의 실시예의 시스루 스마트 안경(100)은 모형 저장 모듈(110), 이미지 표시 모듈(120)과 이미지 처리 모듈(130)을 포함하는데, 구체적으로,
모형 저장 모듈(110)은 목표 물체의 3D 모형을 저장하기 위한 것이고; 여기서, 목표 물체의 3D 모형은, 목표 물체의 목표 외부 마커(210')를 포함하고 목표 물체의 외부 가시적 부분인 외부 구조와, 시스루 표시에 사용되고, 목표 물체의 내부 구조(220)가 투시될 경우 외부 구조가 투명화처리되는, 목표 물체의 내부 불가시적 부분인 내부 구조를 포함하며; 목표 물체의 3D 모형의 구축 방식은, 목표 물체의 생산 업체에서 제공하고, 목표 물체의 표준 설명서에 따라 모델링하며, 엑스레이, CT와 자기 공명 장치의 스캔 결과에 따라 생성되거나 상기 모델링 방식 이외의 기타 모델링 방식으로 획득하여 모형 저장 모듈(110)에 도입하여 저장하는 방식을 포함한다. 구체적으로 도 2에 도시된 바와 같은데, 도 2는 목표 물체(200)의 구조도이다.
목표 물체의 3D 모형에는 마커(210)가 존재한다. 마커(210)는 목표 외부 마커(210')가 표준화된 후의 표준 이미지이다. 해당 이미지는 이미 알고 있고 이미 3D 모형과 함께 시스템에 저장된 것이다. 목표 외부 마커(210')는 마커(210)에 상대적으로 말하면, 마커(210)의 상이한 회전과 변위에 따른 이미지이다.
이미지 표시 모듈(120)은 사용자의 관찰 각도에 따라 목표 물체(200)의 표면 이미지 또는 내부 이미지를 표시하는데, 여기서, 이미지 표시 모듈(120)은 스마트 안경 디스플레이 스크린이고 이미지 표시 방식은 단안 표시 방식 또는 양안 표시 방식을 포함하며; 이미지 표시 모듈(120)은 자연광의 투과를 허용함으로써, 사용자가 스마트 안경에 의해 표시되는 이미지를 보는 동시에 자연의 실제 시야도 볼 수 있도록 확보하는바, 즉 종래의 투과식에 속하거나; 또는 이미지 표시 모듈(120)은 자연광의 투과를 허용하지 않을 수도 있는바, 즉 종래의 차단식에 속한다.
이미지 처리 모듈(130)은 사용자의 관찰 각도에 따라 목표 물체(200)의 목표 외부 마커(210')를 인식하고, 목표 외부 마커(210')와 내부 구조(220) 사이의 상대적 공간 연관을 찾아내며, 상대적 공간 연관에 따라 관찰 각도에 대응되는 목표 물체(200)의 내부 이미지를 생성하는데, 구체적으로, 이미지 처리 모듈(130)은 이미지 수집 유닛(131), 연관 구축 유닛(132), 이미지 생성 유닛(133)과 이미지 오버레이 유닛(134)을 포함한다.
이미지 수집 유닛(131)은 목표 물체(200)의 표면 이미지를 수집하고, 특징 추출 알고리즘을 통해 특징점을 추출하여, 물체의 목표 외부 마커(210')를 인식하기 위한 것이며; 본 발명의 실시예에서, 이미지 수집 유닛(131)은 스마트 안경의 카메라이고; 목표 물체(200)의 표면 이미지의 특징점은 목표 물체(200)의 외재적 자연 특징 또는 인위적으로 레이블링된 패턴 특징을 포함하며, 이런 특징점은 스마트 안경의 카메라에 의해 수집되어 상응한 특징 추출 알고리즘에 의해 인식되는데, 구체적으로, 도 3에 도시된 바와 같이, 도 3은 목표 물체(200)의 외부 관찰 효과도이다. 여기서, A는 사용자의 관찰 각도이다. 목표 외부 마커(210')를 인식한 후, 동영상에서 인접한 두개의 프레임 이미지에서의 목표 외부 마커(210')는 부분적인 중첩이 존재할 수 있음으로써, 후속 이미지에서 목표 외부 마커(210')를 더욱 쉽게 인식할 수 있다.
연관 구축 유닛(132)은 목표 물체(200)의 3D 모형 및 모형에서의 마커(210)에 따라 목표 외부 마커(210')와 내부 구조(220) 사이의 상대적 공간 연관을 구축하고, 목표 외부 마커(210')의 회전과 변위값을 산출하는데, 구체적으로, 목표 외부 마커(210')의 회전과 변위값의 산출 방식은 하기와 같다. 목표 외부 마커(210') 부분을 평면에 근접하게 고려하면, 적어도 4개의 특징점을 수집하고, 목표 물체(200)의 목표 외부 마커(210')와 이미 알고 있는 마커(210)에 대해 비교 변환을 진행하여, 상대적 공간 연관을 구축할 경우, 3*3의 변환 매트릭스(T1)를 구할 수 있으며, 스마트 안경의 카메라와 눈으로 보는 디스플레이 스크린의 위치가 완전히 중합되지 않으므로, 눈으로 보는 디스플레이 스크린의 위치를 추산하는 동시에 카메라 이미지와 시각 이미지 사이의 변환된 교정 매트릭스(T3)를 산출하는바, T3=T2-1T1이다. 변환 매트릭스(T1)와 이미 알고 있는 교정 매트릭스(T3)를 결합하여 디스플레이 스크린이 위치한 매트릭스(T2)를 얻고, 매트릭스(T2)에 대응되는 각도와 변위값 즉, 목표 외부 마커(210')의 회전과 변위값을 구한다. 구체적으로 도 4에 도시된 바와 같이, 도 4는 카메라와 디스플레이 위치 사이의 교정 연관도이다.
본 발명은 보정 수단을 통해 상기 교정 매트릭스(T3)를 구하고, 상기 교정 매트릭스(T3)는 단지 기기 자체의 파라미터에 따라 결정되며, 사용자 및 목표 물체(200)와 상관없다. 카메라 보정 기술을 사용하면, 상기 기기의 교정 매트릭스(T3)를 획득할 수 있다. 교정 매트릭스(T3)의 구체적인 알고리즘은 하기와 같다. 카메라에 의해 수집된 이미지 위치는 눈으로 직접 관찰되는 이미지 위치가 아니므로, 카메라를 사용하여 수집 및 구한 매트릭스를 눈앞의 디스플레이에 적용하면, 일정한 오차가 발생할 수 있는데, 이러한 오차를 축소하기 위해 교정 매트릭스(T3)를 구축하고, 상기 매트릭스는 카메라와 눈으로 보는 디스플레이 사이의 이미지의 미소한 편차를 표시하였으며, 기기의 디스플레이와 카메라 사이의 상대적 위치가 일반적으로 변화가 발생하지 않기에, 교정 매트릭스(T3)는 단지 기기 자체의 파라미터에 따라 결정되고, 상기 매트릭스는 단지 기기의 디스플레이와 카메라 사이의 상대적 공간 연관에 따라 결정될 뿐 기타 외계 요소의 영향을 받지 아니한다. 교정 매트릭스(T3)의 구체적인 산출 방법은, 목표 물체는 표준 보정판(calibration board)을 사용하고, 디스플레이의 위치를 다른 카메라로 대체하며, 두 카메라에서 획득한 이미지와 표준 보정판의 이미지를 대비하여 직접 변환 매트릭스(T1')과 변환 매트릭스(T2')(여기서, 혼돈을 방지하기 위해 T1', T2'을 사용한다)를 구할 수 있는데, 이와 같이 공식 T3=T2'-1T1'을 통해 교정 매트릭스(T3)를 구할 수 있다. T3은 단지 기기 자체의 파라미터에 따라 결정되고 카메라에 의해 수집된 이미지와 상관없으며, 상이한 기기의 파라미터는 상이한 T3을 구비할 수 있다.
이미지 생성 유닛(133)은 목표 외부 마커(210')의 회전과 변위값에 따라 목표 물체(200)의 내부 이미지를 생성하고 해당 이미지를 투영하기 위한 것이다.
이미지 오버레이 유닛(134)은 투영하여 얻은 이미지를 이미지 표시 모듈(120)에 표시하고, 해당 투영 이미지를 목표 물체(200)의 표면 이미지로 교체함으로써, 목표 물체(200)의 내부 구조(220)를 투시하는 효과를 달성하는바, 즉, 이미지 수집 유닛(131)을 통해 목표 외부 마커(210') 이미지를 수집하여 목표 외부 마커(210') 이미지와 이미 알고 있는 목표 물체(200)의 3D 모형의 마커(210) 이미지를 비교하여 관찰 시각을 얻고, 관찰 각도로부터 전체 목표 물체(200)에 대해 투영을 진행하며, 상기 마커(210) 이미지가 위치한 위치에서 이미지 단면 작업을 진행하여, 얻은 단면 이미지로 목표 물체(200)의 표면 이미지를 교체하여 투시 효과를 획득한다. 이때, 사용자가 이미지 표시 모듈(120)을 통해 본 이미지는 목표 물체(200)의 표면 이미지와 이미지 생성 유닛(133)에 의해 생성된 투영 이미지가 통합되어 겹친 후의 결과이고, 투영 이미지가 부분 목표 물체(200)의 표면의 이미지를 오버레잉하고 이를 해당 각도하에서의 목표 물체(200)의 내부 구조(220) 시스루 이미지로 교체하므로, 스마트 안경 사용자의 각도에서 볼 경우, 목표 물체(200)의 외부 표면은 투명함으로써, 목표 물체(200)의 내부 구조(220)를 투시하는 효과를 달성한다. 여기서, 이미지 표시 방식은, 동영상 완전 표시 또는 단지 이미지 표시 모듈(120)에서 목표 물체(200)의 내부 구조(220)를 투사하는 방법을 포함하는바, 본 발명은 물체의 내부 구조(220)를 표시할 수 있을 뿐만 아니라, 동시에 물체의 표면에 원래 존재하지 않는 패턴 또는 기타 원래 존재하지 않은 3D 허상을 표시할 수 있음을 이해할 수 있다.
도 5를 참조하면, 도 5는 본 발명의 실시예의 시스루 스마트 안경의 투시 방법의 흐름도이다. 본 발명의 실시예에 따른 시스루 스마트 안경(100)의 투시 방법은 하기와 같은 단계를 포함한다.
단계 100: 실제 목표 물체(200)의 구조에 따라 3D 모형을 구축하고, 상기 3D 모형을 스마트 안경에 도입시켜 저장한다.
단계 100에서, 3D 모형은, 목표 물체(200)의 마커(210)를 포함하고 목표 물체(200)의 외부 가시적 부분인 외부 구조; 시스루 표시에 사용되고, 상기 목표 물체(200)의 내부 구조가 투시될 경우 외부 구조가 투명화처리되는, 목표 물체(200)의 내부 비가시적 부분인 내부 구조(220)를 포함하고, 목표 물체(200)의 3D 모형의 구축 방식은, 목표 물체(200)의 생산 업체에서 제공하고, 목표 물체(200)의 표준 설명서에 따라 모델링하며, 엑스레이, CT와 자기 공명 장치의 스캔 결과에 따라 생성되거나 상기 모델링 방식 이외의 기타 모델링 방식으로 획득하는 방식을 포함하는바, 구체적으로 도 2에 도시된 바와 같은데, 도 2는 목표 물체(200)의 구조도이다.
단계 200: 스마트 안경을 착용하고 이미지 표시 모듈(120)을 통해 사용자의 관찰 각도에 따라 목표 물체(200)의 표면 이미지를 표시한다.
단계 200에서, 이미지 표시 모듈(120)은 스마트 안경 디스플레이 스크린이고, 이미지 표시 방식은 단안 표시 방식 또는 양안 표시 방식을 포함하며; 이미지 표시 모듈(120)은 자연광의 투과를 허용함으로써, 사용자가 스마트 안경에 의해 표시되는 이미지를 보는 동시에 자연의 실제 시야도 볼 수 있도록 확보하는바, 즉 종래의 투과식에 속하거나; 또는 이미지 표시 모듈(120)은 자연광의 투과를 허용하지 않을 수도 있는바, 즉 종래의 차단식에 속한다.
단계 300: 목표 물체(200)의 표면 이미지를 수집하고, 특징 추출 알고리즘을 통해 특징점을 추출하여 목표 물체(200)의 목표 외부 마커(210')를 인식한다.
단계 300에서, 목표 물체(200)의 표면 이미지의 특징점은 목표 물체(200)의 외재적 자연 특징 또는 인위적으로 레이블링된 패턴 특징을 포함하고, 이런 특징점은 스마트 안경의 카메라에 의해 수집되어 상응한 특징 추출 알고리즘에 의해 인식되는데, 구체적으로, 도 3에 도시된 바와 같이, 도 3은 목표 물체(200)의 외부 관찰 효과도이다.
단계 400: 목표 물체(200)의 3D 모형에 따라 목표 외부 마커(210')와 내부 구조(220) 사이의 상대적 공간 연관을 구축하고, 목표 외부 마커(210')의 회전과 변위값을 산출한다.
단계 400에서, 목표 외부 마커(210') 부분을 평면에 근접하게 고려하면, 적어도 4개의 특징점을 수집하고, 목표 물체(200)의 목표 외부 마커(210')와 이미 알고 있는 마커(210)에 대해 비교 변환을 진행하여, 상대적 공간 연관을 구축할 경우, 3*3의 변환 매트릭스(T1)를 구할 수 있으며, 스마트 안경의 카메라와 눈으로 보는 디스플레이 스크린의 위치가 완전히 중합되지 않으므로, 눈으로 보는 디스플레이 스크린의 위치를 추산하는 동시에 카메라 이미지와 시각 이미지 사이의 변환된 교정 매트릭스(T3)를 산출한다. 변환 매트릭스(T1)와 이미 알고 있는 교정 매트릭스(T3)를 결합하여 디스플레이 스크린이 위치한 매트릭스(T2)를 얻고, 매트릭스(T2)에 대응되는 각도와 변위값 즉, 목표 외부 마커(210')의 회전과 변위값을 구하는 것이다. 구체적으로 도 4에 도시된 바와 같이, 도 4는 카메라와 디스플레이 위치 사이의 교정 연관도이다. 본 발명은 보정 수단을 통해 상기 교정 매트릭스(T3)를 구하고, 교정 매트릭스(T3)는 단지 기기 자체의 파라미터에 따라 결정되며, 사용자 및 목표 물체(200)와 상관없다. 카메라 보정 기술을 사용하면, 상기 기기의 교정 매트릭스(T3)를 획득할 수 있다.
단계 500: 목표 외부 마커(210')의 회전과 변위값에 따라 목표 물체(200)의 내부 구조를 생성하며 해당 이미지를 투영한다.
단계 600: 투영하여 얻은 이미지를 이미지 표시 모듈(120)에 표시하고, 해당 투영 이미지로 목표 물체(200)의 표면 이미지를 교체하여 목표 물체(200)의 내부 구조(220)를 투시하는 효과를 달성한다.
단계 600에서, 투영 이미지가 이미지 표시 모듈(120)에 표시될 경우, 사용자가 이미지 표시 모듈(120)을 통해 본 이미지는 목표 물체(200)의 표면 이미지와 이미지 생성 유닛(133)에 의해 생성된 투영 이미지가 통합되어 겹친 후의 결과이고, 투영 이미지가 부분 목표 물체(200)의 표면의 이미지를 오버레잉하고 이를 해당 각도하에서의 목표 물체(200)의 내부 구조(220) 시스루 이미지로 교체하므로, 스마트 안경 사용자의 각도에서 볼 경우, 목표 물체(200)의 외부 표면은 투명함으로써, 목표 물체(200)의 내부 구조(220)를 투시하는 효과를 달성한다. 여기서, 이미지 표시 방식은, 동영상 완전 표시 또는 단지 이미지 표시 모듈(120)에서 목표 물체(200)의 내부 구조(220)를 투사하는 방법을 포함하는바, 본 발명은 물체의 내부 구조(220)를 표시할 수 있을 뿐만 아니라, 동시에 물체의 표면에 원래 존재하지 않는 패턴 또는 기타 원래 존재하지 않은 3D 허상을 표시할 수 있음을 이해할 수 있다.
단계 700: 수집된 목표 물체(200)의 표면 이미지에 변화가 발생될 경우, 상기 이미지와 목표 외부 마커(210')를 이미 인식한 이미지에, 중첩된 마커 이미지(210)가 존재하는 지의 여부를 판정하고, 중첩된 목표 외부 마커 이미지가 존재하면, 목표 외부 마커(210')를 이미 인식한 이미지의 인접 영역에서 단계 300을 다시 수행하며, 중첩된 목표 외부 마커 이미지가 존재하지 않으면, 전체 이미지에 대해 단계 300를 다시 수행한다.
단계 700에서, 목표 외부 마커(210')를 이미 인식한 이미지의 인접 영역이란, 변화가 발생한 목표 물체(200)의 표면 이미지와 목표 외부 마커(210')를 이미 인식한 이미지에 목표 외부 마커 이미지가 중복되는 영역 이외의 기타 영역을 의미하고, 상기 기타 영역과 목표 외부 마커(210')를 이미 인식한 영역은 서로 연통된다. 목표 외부 마커(210')를 인식한 후, 동영상에서 인접한 두 개의 프레임 이미지에서의 목표 외부 마커 이미지는 부분적인 중첩이 존재할 수 있으므로, 이미 인식된 이미지를 선험 지식으로 함으로써, 후속 이미지에서 목표 외부 마커(210')를 더욱 쉽게 인식할 수 있다. 목표 물체(200)가 변위되거나 사용자가 변위된 후, 목표 물체(200)의 목표 외부 마커(210')를 다시 수집하여 새로운 내부 이미지를 생성하여 이미지 교체를 진행하여, 관찰된 이미지가 관찰 각도에 따라 변화가 발생되도록 함으로써, 실제와 같은 투시 착각을 유발하도록 한다.
본 발명의 실시예에 따른 시스루 스마트 안경(100) 및 그 투시 방법은 물체 표면과 전체 구조를 파괴하지 않는 전제하에서, 스마트 안경에 목표 물체(200)의 3D 모형을 저장하는 것을 통해, 스마트 안경은 사용자의 관찰 각도에 따라 관찰 각도에 대응되는 내부 구조(220)의 이미지를 생성하여, 사용자가 쉽게 정확하고 직관적이며 형상적으로 물체의 내부 구조(220)를 관측하도록 한다. 본 발명의 다른 일 실시예에서, 추적기 등 기술을 보조로 사용하여 추적기가 목표 내부에 위치한 위치를 추적 표시하여 표시 결과가 더욱 직관적이고 쉽게 사용될 수 있도록 한다.
이상 각각의 구체적인 예로 발명에 대해 서술하였으나, 이는 본 발명의 이해를 돕는 것으로 본 발명을 제한하지 않는다. 본 기술 분야의 통상의 기술자는 본 발명의 사상에 따라 상기 구체적인 실시형태에 대해 변형을 진행할 수 있다.

Claims (10)

  1. 목표 물체(200)의 3D 모형을 저장하기 위한 모형 저장 모듈(110);
    이미지 표시 모듈(120);
    사용자의 관찰 각도에 따라 목표 물체(200)의 목표 외부 마커(210')를 인식하고, 목표 물체(200)의 3D 모형에 따라 목표 외부 마커(210')와 내부 구조(220) 사이의 상대적 공간 연관을 찾아내며, 상대적 공간 연관에 따라 관찰 각도에 대응되는 목표 물체(200)의 내부 이미지를 생성하기 위한 이미지 처리 모듈(130)을 포함하고, 상기 이미지 표시 모듈(120)은 상기 내부 이미지를 표시하기 위한 것을 특징으로 하는, 시스루(SEE-THROUGH) 스마트 안경(100).
  2. 제1항에 있어서,
    상기 이미지 처리 모듈(130)은 이미지 수집 유닛(131)과 연관 구축 유닛(132)을 포함하고, 상기 이미지 표시 모듈(120)은 사용자의 관찰 각도에 따라 목표 물체(200)의 표면 이미지를 표시하며, 상기 이미지 수집 유닛(131)은 목표 물체(200)의 표면 이미지를 수집하고, 특징 추출 알고리즘을 통해 특징점을 추출하여, 상기 목표 물체의 목표 외부 마커(210')를 인식하며, 상기 연관 구축 유닛(132)은 목표 물체(200)의 3D 모형에 따라 목표 외부 마커(210')와 내부 구조(220) 사이의 상대적 공간 연관을 구축하고, 목표 외부 마커(210')의 회전과 변위값을 산출하는 것을 특징으로 하는, 시스루 스마트 안경(100).
  3. 제2항에 있어서,
    상기 이미지 처리 모듈(130)은,
    목표 외부 마커(210')의 회전과 변위값에 따라 목표 물체(200)의 내부 이미지를 생성하고, 해당 이미지를 투영하는 이미지 생성 유닛(133);
    투영하여 얻은 이미지를 이미지 표시 모듈(120)에 표시하고, 해당 투영 이미지를 목표 물체(200)의 표면 이미지로 교체하는 이미지 오버레이 유닛(134)을 더 포함하는 것을 특징으로 하는, 시스루 스마트 안경(100).
  4. 제1항에 있어서,
    상기 목표 물체(200)의 3D 모형은,
    목표 물체(200)의 마커(210)를 포함하고 목표 물체(200)의 외부 가시적 부분인 외부 구조;
    시스루 표시에 사용되고, 상기 목표 물체(200)의 내부 구조가 투시될 경우 외부 구조가 투명화처리되는, 목표 물체(200)의 내부 비가시적 부분인 내부 구조(220)를 포함하고,
    상기 3D 모형의 구축 방식은, 목표 물체(200)의 생산 업체에서 제공하고, 목표 물체(200)의 표준 설명서에 따라 모델링하거나 엑스레이, CT와 자기 공명 장치의 스캔 결과에 따라 생성하여, 상기 모형 저장 모듈(110)에 도입하여 저장하는 방식을 포함하는 것을 특징으로 하는, 시스루 스마트 안경(100).
  5. 제2항에 있어서,
    상기 이미지 표시 모듈(120)은 스마트 안경 디스플레이 스크린이고, 이미지 표시 방식은 단안 표시(monocular display) 방식 또는 양안 표시(binocular display) 방식을 포함하며, 상기 이미지 수집 유닛(131)은 스마트 안경의 카메라이고, 상기 목표 물체(200)의 표면 이미지의 특징점은 목표 물체(200)의 외재적 자연 특징 또는 인위적으로 레이블링(labeling)된 패턴 특징을 포함하는 것을 특징으로 하는, 시스루 스마트 안경(100).
  6. 제1항에 있어서,
    상기 이미지 처리 모듈(130)은 사용자의 관찰 각도에 따라 목표 물체(200)의 목표 외부 마커(210')를 인식하고, 목표 물체(200)의 3D 모형에 따라 목표 외부 마커(210')와 내부 구조(220) 사이의 상대적 공간 연관을 찾아내며, 상대적 공간 연관에 따라 관찰 각도에 대응되는 목표 물체(200)의 내부 이미지를 생성하는데, 구체적으로, 목표 외부 마커(210') 이미지를 수집하고, 목표 외부 마커(210') 이미지와 이미 알고 있는 목표 물체(200)의 3D 모형의 마커(210) 이미지를 비교하여 관찰 각도를 얻으며, 관찰 각도로부터 전체 목표 물체(200)에 대해 투영을 진행하고, 상기 목표 외부 마커(210') 이미지가 위치한 위치에서 이미지 단면 작업을 진행하여, 얻은 단면 이미지로 목표 물체(200)의 표면 이미지를 교체하여 투시 효과를 획득하는 것을 특징으로 하는, 시스루 스마트 안경(100).
  7. 실제의 목표 물체(200)에 따라 3D 모형을 구축하고, 스마트 안경을 통해 상기 3D 모형을 저장하는 단계(a);
    사용자의 관찰 각도에 따라 목표 물체(200)의 목표 외부 마커(210')를 인식하고, 목표 물체(200)의 3D 모형에 따라 목표 외부 마커(210')와 내부 구조(220) 사이의 상대적 공간 연관을 찾아내는 단계(b);
    상대적 공간 연관에 따라 관찰 각도에 대응되는 목표 물체(200)의 내부 이미지를 생성하고, 스마트 안경을 통해 상기 이미지를 표시하는 단계(c)를 포함하는 것을 특징으로 하는, 시스루 스마트 안경(100)의 투시 방법.
  8. 제7항에 있어서,
    상기 단계(b)는 목표 외부 마커(210')의 회전과 변위값을 산출하는 단계를 더 포함하고, 상기 목표 외부 마커(210')의 회전과 변위값의 산출 방식은, 목표 외부 마커(210') 부분을 평면에 근접하게 고려하면, 적어도 4개의 특징점을 수집하고, 목표 물체(200)의 목표 외부 마커(210')와 상기 3D 모형에 존재하는 마커(210)에 대해 비교 변환을 진행하여, 상대적 공간 연관을 구축할 경우, 3*3의 변환 매트릭스(T1)를 구하며, 눈으로 보는 디스플레이 스크린의 위치를 추산하고, 카메라 이미지와 시각 이미지 사이의 변환된 교정 매트릭스(T3)를 산출하며, 변환 매트릭스(T1)와 이미 알고 있는 교정 매트릭스(T3)를 결합하여 디스플레이 스크린이 위치한 위치의 매트릭스(T2)를 얻고, 매트릭스(T2)에 대응되는 각도와 변위값, 즉, 목표 외부 마커(210')의 회전과 변위값을 구하는 것을 포함하는 것을 특징으로 하는, 시스루 스마트 안경(100)의 투시 방법.
  9. 제7항에 있어서,
    상기 단계(c)에서, 상대적 공간 연관에 따라 관찰 각도에 대응되는 목표 물체(200)의 내부 이미지를 생성하고, 스마트 안경을 통해 상기 내부 이미지를 표시하는 단계는, 목표 외부 마커(210')의 회전과 변위값에 따라 목표 물체(200)의 내부 구조를 생성하며 해당 이미지를 투영하고, 투영하여 얻은 이미지를 스마트 안경에 표시하며, 해당 투영 이미지로 목표 물체(200)의 표면 이미지를 교체하는 것을 포함하는 것을 특징으로 하는, 시스루 스마트 안경(100)의 투시 방법.
  10. 제9항에 있어서,
    상기 단계(c) 이후에, 수집된 목표 물체(200)의 표면 이미지에 변화가 발생될 경우, 상기 표면 이미지와 목표 외부 마커(210')를 이미 인식한 이미지에, 중첩된 목표 외부 마커 이미지가 존재하는 지의 여부를 판정하고, 중첩된 목표 외부 마커 이미지가 존재하면, 목표 외부 마커(210')를 이미 인식한 이미지의 인접 영역에서 단계(b)를 다시 수행하며, 중첩된 목표 외부 마커 이미지가 존재하지 않으면, 전체 이미지에 대해 단계(b)를 다시 수행하는 단계를 더 포함하는 것을 특징으로 하는, 시스루 스마트 안경(100)의 투시 방법.
KR1020177009100A 2015-09-21 2015-12-15 시스루 스마트 안경 및 그 투시 방법 KR101816041B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
CN201510602596.7A CN105303557B (zh) 2015-09-21 2015-09-21 一种可透视型智能眼镜及其透视方法
CN2015106025967 2015-09-21
PCT/CN2015/097453 WO2017049776A1 (zh) 2015-09-21 2015-12-15 一种可透视型智能眼镜及其透视方法

Publications (2)

Publication Number Publication Date
KR20170046790A KR20170046790A (ko) 2017-05-02
KR101816041B1 true KR101816041B1 (ko) 2018-01-08

Family

ID=55200779

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177009100A KR101816041B1 (ko) 2015-09-21 2015-12-15 시스루 스마트 안경 및 그 투시 방법

Country Status (4)

Country Link
US (1) US20170213085A1 (ko)
KR (1) KR101816041B1 (ko)
CN (1) CN105303557B (ko)
WO (1) WO2017049776A1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11150868B2 (en) 2014-09-23 2021-10-19 Zophonos Inc. Multi-frequency sensing method and apparatus using mobile-clusters
US11544036B2 (en) 2014-09-23 2023-01-03 Zophonos Inc. Multi-frequency sensing system with improved smart glasses and devices

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10198865B2 (en) 2014-07-10 2019-02-05 Seiko Epson Corporation HMD calibration with direct geometric modeling
US10192133B2 (en) 2015-06-22 2019-01-29 Seiko Epson Corporation Marker, method of detecting position and pose of marker, and computer program
US10192361B2 (en) 2015-07-06 2019-01-29 Seiko Epson Corporation Head-mounted display device and computer program
US10347048B2 (en) * 2015-12-02 2019-07-09 Seiko Epson Corporation Controlling a display of a head-mounted display device
CN106096540B (zh) * 2016-06-08 2020-07-24 联想(北京)有限公司 一种信息处理方法和电子设备
CN106210468B (zh) * 2016-07-15 2019-08-20 网易（杭州）网络有限公司 一种增强现实显示方法和装置
WO2018035736A1 (zh) * 2016-08-24 2018-03-01 中国科学院深圳先进技术研究院 智能眼镜的显示方法及装置
CN106710004A (zh) * 2016-11-25 2017-05-24 中国科学院深圳先进技术研究院 透视物体内部结构的透视方法及系统
CN106817568A (zh) * 2016-12-05 2017-06-09 网易（杭州）网络有限公司 一种增强现实显示方法和装置
CN106803988B (zh) * 2017-01-03 2019-12-17 苏州佳世达电通有限公司 信息传送系统以及信息传送方法
US20180316877A1 (en) * 2017-05-01 2018-11-01 Sensormatic Electronics, LLC Video Display System for Video Surveillance
CN109009473B (zh) * 2018-07-14 2021-04-06 杭州三坛医疗科技有限公司 脊椎创伤定位系统及其定位方法
CN110708530A (zh) * 2019-09-11 2020-01-17 青岛小鸟看看科技有限公司 一种使用增强现实设备透视封闭空间的方法和系统
FR3115120A1 (fr) * 2020-10-08 2022-04-15 Renault Dispositif de réalité augmentée

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072903A (ja) 2004-09-06 2006-03-16 Canon Inc 画像合成方法及び装置
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20060050070A1 (en) * 2004-09-07 2006-03-09 Canon Kabushiki Kaisha Information processing apparatus and method for presenting image combined with virtual image
US8517532B1 (en) * 2008-09-29 2013-08-27 Robert L. Hicks Eyewear with reversible folding temples
KR20100038645A (ko) * 2008-10-06 2010-04-15 (주)아리엘시스템 입체영상 구현용 안경
US9341843B2 (en) * 2010-02-28 2016-05-17 Microsoft Technology Licensing, Llc See-through near-eye display glasses with a small scale image source
CN102945564A (zh) * 2012-10-16 2013-02-27 上海大学 基于视频透视式增强现实的真三维建模系统和方法
CN103211655B (zh) * 2013-04-11 2016-03-09 深圳先进技术研究院 一种骨科手术导航系统及导航方法
JP6330258B2 (ja) * 2013-05-15 2018-05-30 セイコーエプソン株式会社 虚像表示装置
CN103336575B (zh) * 2013-06-27 2016-06-29 深圳先进技术研究院 一种人机交互的智能眼镜系统及交互方法
US20150042799A1 (en) * 2013-08-07 2015-02-12 GM Global Technology Operations LLC Object highlighting and sensing in vehicle image display systems
CN104656880B (zh) * 2013-11-21 2018-02-06 深圳先进技术研究院 一种基于智能眼镜的书写系统及方法
CN103823553B (zh) * 2013-12-18 2017-08-25 微软技术许可有限责任公司 对表面背后的场景的增强现实显示
JP6331517B2 (ja) * 2014-03-13 2018-05-30 オムロン株式会社 画像処理装置、システム、画像処理方法、および画像処理プログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006072903A (ja) 2004-09-06 2006-03-16 Canon Inc 画像合成方法及び装置
US20140063055A1 (en) 2010-02-28 2014-03-06 Osterhout Group, Inc. Ar glasses specific user interface and control interface based on a connected external device type

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11150868B2 (en) 2014-09-23 2021-10-19 Zophonos Inc. Multi-frequency sensing method and apparatus using mobile-clusters
US11544036B2 (en) 2014-09-23 2023-01-03 Zophonos Inc. Multi-frequency sensing system with improved smart glasses and devices

Also Published As

Publication number Publication date
WO2017049776A1 (zh) 2017-03-30
CN105303557B (zh) 2018-05-22
US20170213085A1 (en) 2017-07-27
KR20170046790A (ko) 2017-05-02
CN105303557A (zh) 2016-02-03

Similar Documents

Publication Publication Date Title
KR101816041B1 (ko) 시스루 스마트 안경 및 그 투시 방법
CN105210113B (zh) 具有一般和全景相机移动的单眼视觉slam
JP5762892B2 (ja) 情報表示システム、情報表示方法、及び情報表示用プログラム
WO2019242262A1 (zh) 基于增强现实的远程指导方法、装置、终端和存储介质
CN107004275B (zh) 确定实物至少一部分的3d重构件空间坐标的方法和系统
CN108351522B (zh) 注视方向映射
EP2915140B1 (en) Fast initialization for monocular visual slam
US20150301596A1 (en) Method, System, and Computer for Identifying Object in Augmented Reality
JP4137078B2 (ja) 複合現実感情報生成装置および方法
US9824497B2 (en) Information processing apparatus, information processing system, and information processing method
US10839544B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable storage medium
US20160080732A1 (en) Optical see-through display calibration
JP6586824B2 (ja) 画像処理装置、画像処理方法および画像処理プログラム
US20160307374A1 (en) Method and system for providing information associated with a view of a real environment superimposed with a virtual object
US20120249528A1 (en) Apparatus and method for tracking augmented reality content
JP6008397B2 (ja) 光学式シースルー型ｈｍｄを用いたａｒシステム
KR20120069654A (ko) 정보 처리 장치, 정보 처리 방법 및 프로그램
KR101181967B1 (ko) 고유식별 정보를 이용한 3차원 실시간 거리뷰시스템
CN114140528A (zh) 数据标注方法、装置、计算机设备及存储介质
JP2007233971A (ja) 画像合成方法及び装置
JP2016122392A (ja) 情報処理装置、情報処理システム、その制御方法及びプログラム
US20200341284A1 (en) Information processing apparatus, information processing method, and recording medium
JP2015087909A (ja) 情報処理システム、情報処理装置、情報処理サーバ、情報処理方法、及びプログラム
CN111291746A (zh) 影像处理系统及影像处理方法
JP7341736B2 (ja) 情報処理装置、情報処理方法及びプログラム

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant