KR20120093981A - 증강 현실에서 동적 모델링에 의한 강건한 대상 인식 - Google Patents

증강 현실에서 동적 모델링에 의한 강건한 대상 인식 Download PDF

Info

Publication number
KR20120093981A
KR20120093981A KR1020127013372A KR20127013372A KR20120093981A KR 20120093981 A KR20120093981 A KR 20120093981A KR 1020127013372 A KR1020127013372 A KR 1020127013372A KR 20127013372 A KR20127013372 A KR 20127013372A KR 20120093981 A KR20120093981 A KR 20120093981A
Authority
KR
South Korea
Prior art keywords
image
domain
nodes
graph
object recognition
Prior art date
Application number
KR1020127013372A
Other languages
English (en)
Other versions
KR101453630B1 (ko
Inventor
헨리 렁
시웨 천
Original Assignee
엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 filed Critical 엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Publication of KR20120093981A publication Critical patent/KR20120093981A/ko
Application granted granted Critical
Publication of KR101453630B1 publication Critical patent/KR101453630B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G06V10/422—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation for representing the structure of the pattern or shape of an object therefor
    • G06V10/426—Graphical representations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/19—Recognition using electronic means
    • G06V30/196—Recognition using electronic means using sequential comparisons of the image signals with a plurality of references
    • G06V30/1983—Syntactic or structural pattern recognition, e.g. symbolic string recognition
    • G06V30/1988—Graph matching

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Hardware Design (AREA)
  • Processing Or Creating Images (AREA)
  • Image Analysis (AREA)

Abstract

동적 모델링에 기초하여 강건한 대상 인식 체계를 제공하는 기술들이 대체로 기재되어 있다. 셀룰러 지역들의 미세 스케일 시간적 구조에서의 상관도들이 이 셀룰러 지역들을 함께 고차 엔티티들로 그룹화하기 위해 채용될 수도 있다. 이 엔티티들은 풍부한 구조를 나타내고 고 레벨 대상들을 코딩하는데 사용될 수도 있다. 대상 인식은 탄력적인 그래프 매칭으로서 포맷팅될 수도 있다.

Description

증강 현실에서 동적 모델링에 의한 강건한 대상 인식{ROBUST OBJECT RECOGNITION BY DYNAMIC MODELING IN AUGMENTED REALITY}
관련 출원들에 대한 상호 참조
본 출원은 "ROBUST OBJECT RECOGNITION BY DYNAMIC MODELING IN AUGMENTED REALITY"라는 명칭으로 2010년 3월 10일자로 출원된 미합중국 특허출원번호 12/720,858 을 우선권 주장한다. 이 특허 출원의 개시내용들은 다목적으로 참조에 의해 본 명세서에 통합된다.
본 명세서에서 달리 지시되지 않는 한, 이 섹션에 기재된 내용들은 본 출원의 청구항들에 대한 선행 기술이 아니고, 이 섹션에 포함되었다고 선행기술이라고 인정된 것은 아니다.
증강 현실 (augmented reality; AR) 은 요소들이 가상의, 통상 컴퓨터로 생성된, 형상화 (imagery) 에 의해 증강되어서, 혼합 현실 (mixed reality) 을 만들어내는 물리적인 (현실) 세상 환경의 뷰를 말한다. 증강 (augmentation) 은 종래에 실시간으로 그리고 환경 요소들인 그런 스포츠 경기, 군사 훈련, 게임 등의 상황에서 있을 수도 있다. AR 기술은 대상 (object) 인식 및 이미지 생성을 추가하는 것에 의해 사람의 주위의 실제 세계에 관한 정보가 대화형이 되고 디지털적으로 사용가능하게 될 수 있게 한다. 환경 및 대상들에 관한 인공적 정보는 실제 세계의 뷰 계층과는 별개의 정보 계층으로서 저장되고 검색될 수도 있다.
본 개시물은 AR 시스템들에 대해 여러 제약들이 있음을 이해한다. 대상 인식은 AR 의 주요 구성요소이고, 외관 기반 (appearance-based) 접근법들이 대상 인식에서 흔하게 사용된다. 외관 기반 대상 인식 접근법들은 형상, 반사 특성들, 장면에서의 자세, 조명 조건들, 및 필적하는 효과들의 결합된 영향들을 다룰 수 있다. 덧붙여서, 외관 기반 표현들은 종래의 형상 표현들과는 달리 자동 학습 단계를 통해 습득될 수도 있다. 그러나, 갖가지 도전과제들이 외관 기반 인식 기법에 남아 있는데, 외관 기반 인식 기법이 직접 외관 기반 매칭에 기초하고 폐색들 (occlusions), 아웃라이어들 (outliers), 및 변화하는 배경들을 성공적으로 처리할 수 없어서이다. 다르게 말하면, 강건성 (robustness) 이란 용어가 여러 유형들의 노이즈가 있는데서 결과들이 안정하게 유지되고 일정한 부분의 아웃라이어들을 용인할 수 있다는 것을 말한다는 점에서 외관 기반 접근법은 강건하지 않다.
다음의 개요는 예시적일 뿐이고 어떤 식으로든 제한하는 것이 되도록 의도되지 않는다. 위에서 설명된 예시적인 양태, 실시예들, 및 특징들 외에도, 추가의 양태들, 실시예들, 및 특징들이 도면들 및 다음의 상세한 설명을 참조하여 명확하게 될 것이다.
본 개시물은 대체로 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법을 설명한다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 대상의 2차원 이미지를 이미지 도메인 표현으로 컨버팅하는 단계를 포함할 수도 있다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 또한 이미지 도메인 표현의 노드들 사이의 링크들에 기초하여 이미지 도메인에서 속성 그래프를 정의하는 단계 및 모델 도메인에서 다른 속성 그래프를 정의하는 단계를 포함할 수도 있다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 속성 그래프들의 대응하는 노드들 사이의 링크들을 식별하고 활성화시키는 것에 의해, 이미지 및 모델 도메인들에서의 속성 그래프들을 매칭하는 단계를 더 포함할 수도 있다.
본 개시물은 또한 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치를 설명한다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치는, 이미지 데이터 및 그래프 데이터를 저장하도록 구성된 메모리와 동적 모델링 모듈을 실행하도록 구성된 제 1 처리 유닛을 구비할 수도 있는데, 동적 모델링 모듈은, 2차원 (2D) 이미지를, 저장된 이미지 데이터로부터, 링크된 노드들의 2D 어레이를 포함하는 이미지 도메인 표현으로 변환하는 것으로서, 각각의 노드는 이미지 도메인에서의 적어도 하나의 구별되는 특징을 인코딩하는, 그 이미지 도메인 표현으로 변환하고, 이미지 도메인에서의 각각의 노드에 대한 적어도 하나의 특징의 액티비티 벡터 (activity vector) 들을 나타내는 정점 라벨들을 결정하고, 이미지 도메인의 노드들 사이의 연결성을 나타내는 에지 라벨들을 결정하며, 정점 라벨들 및/또는 에지 라벨들 중 하나 이상에 기초하여 모델 도메인에서 속성 그래프를 정의하는 것으로서, 그 속성 그래프는 그래프 데이터의 부분으로서 메모리에 저장되는, 그 모델 도메인에서 속성 그래프를 정의하도록 구성될 수도 있다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치는, 그래프 매칭 모듈을 실행하도록 구성된 제 2 처리 유닛을 더 구비할 수도 있는데, 그래프 매칭 모듈은 이미지 도메인에서의 노드들과 모델 도메인에서의 대응하는 노드들 사이의 링크들을 식별하고 활성화시키며, 유사한 특징들을 갖는 노드들 사이의 연결들의 수를 감소시키도록 구성된다.
본 개시물은 증강 현실 (AR) 시스템들에서 대상 인식을 수행하기 위한 명령들을 저장하고 있는 컴퓨터 판독가능 저장 매체를 추가로 설명한다. 명령들은 복수의 링크된 노드들을 포함하는 이미지 도메인 표현으로 대상의 2차원 이미지를 컨버팅하는 것을 포함할 수도 있고, 각각의 노드는 특징 검출기들의 세트를 포함한다. 명령들은 또한 특징 검출기들을 2차원 이미지의 각각의 화소에 제공하는 것에 의해, 특징 검출기들의 액티비티 벡터들을 나타내는 정점 라벨들을 결정하는 것을 포함할 수도 있다. 명령들은 또한 각각의 노드 사이의 링크들을 검출하는 것에 의해, 노드들 사이의 연결성을 나타내는 에지 라벨들을 결정하는 것을 포함할 수도 있다. 명령들은 또한 정점 및 에지 라벨들에 기초하여 이미지 도메인에서 속성 그래프들을 생성하는 것과 모델 도메인에서 속성 그래프를 정의하는 것을 포함할 수도 있으며, 모델 도메인에서의 속성 그래프는 이미지 도메인에서의 속성 그래프의 이상화된 사본 (idealized copy) 일 수도 있다. 명령들은 속성 그래프들의 정점 라벨들 및 에지 라벨들을 매칭시키는 것에 기초하여 이미지 도메인 및 모델 도메인에서의 속성 그래프들 사이의 연결들을 결정하는 것과, 이미지 도메인과 모델 도메인 사이의 토폴로지 보존 매핑에 대한 연결들을 감소시키는 것을 더 포함할 수도 있다.
본 개시물은 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템을 더 설명한다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템은, 실제 장면의 2차원 (2D) 이미지를 캡처하도록 구성된 적어도 하나의 센서 및 이미지 도메인에서의 노드들의 2D 어레이를 포함하는 이미지 도메인 표현으로 2D 이미지를 컨버팅하도록 구성된 이미지 처리 서버를 구비할 수도 있고, 각각의 노드는 특징 검출기들의 세트를 포함한다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템은 또한, 이미지 도메인에서의 각각의 노드에 대한 적어도 하나의 특징의 액티비티 벡터들을 나타내는 정점 라벨들을 결정하고, 이미지 도메인의 노드들 사이의 연결성을 나타내는 에지 라벨들을 결정하고, 정점 및 에지 라벨들에 기초하여 이미지 도메인에서의 속성 그래프 및 모델 도메인에서의 다른 속성 그래프를 정의하고, 이미지 도메인에서의 노드들과 모델 도메인에서의 대응하는 노드들 사이의 링크들을 식별하고 활성화시키며 유사한 특징들을 갖는 노드들 사이의 연결들의 수를 감소시키도록 구성된 리얼리티 서버를 구비할 수도 있다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템은 또한, 이미지 도메인에서의 속성 그래프와 이미지 도메인에서의 다른 속성 그래프 사이의 감소된 연결들에 기초하여 렌더링된 가상 이미지와 2D 이미지를 오버레이 (overlay) 하는 것에 의해, 증강된 장면을 생성하도록 구성된 이미지 생성 서버를 포함할 수도 있다.
본 개시물의 전술한 및 다른 특징들은 첨부 도면들에 연계하여 취해지는 다음의 설명 및 첨부된 청구항들로부터 더 충분히 명확하게 될 것이다. 이들 도면들이 본 개시물을 따르는 몇몇 실시예들만을 묘사하고, 그러므로, 그것의 범위를 제한하는 것으로 간주되지 않는다고 이해하여, 본 개시물은 부가적인 특수함 및 상세함을 가지고서 다음의 첨부 도면들의 사용을 통해 설명될 것이다:
도 1은 일 예의 증강 현실 (AR) 시스템을 도시한다;
도 2는 동적 모델링 및 그래프 매칭을 채용한 일 예의 AR 시스템의 블록도를 도시한다;
도 3a는 일 예의 동적 모델링 서브시스템에서의 예의 프로세스들의 블록도를 도시한다;
도 3b는 일 예의 그래프 매칭 서브시스템 내의 동작들의 도면을 도시한다;
도 3c는 일 예의 그래프 선택 서브시스템 내의 동작들의 도면을 도시한다;
도 4는 동적 모델링 및 그래프 매칭을 채용한 시스템에서 입력 이미지가 속성 그래프들로서 표현될 수도 있는 방법을 도시한다;
도 5는 AR 시스템에서 동적 모델링 및 그래프 매칭을 이행하는데 사용될 수도 있는 범용 컴퓨팅 디바이스를 도시한다;
도 6은 도 5의 디바이스 (500) 와 같은 컴퓨팅 디바이스에 의해 수행될 수도 있는 일 예의 방법을 도시하는 흐름도이다;
도 7은 본 명세서에서 설명된 적어도 일부의 실시예들에 따라 모두가 배치될 수 있는 일 예의 컴퓨터 프로그램 제품의 블록도를 도시한다.
다음의 상세한 설명에서, 출원서의 일부를 형성하는 첨부 도면들을 참조한다. 도면들에서, 유사한 심볼들은 상황이 그렇지 않다고 하는 경우 외에는 통상 유사한 구성요소들을 식별한다. 상세한 설명, 도면들, 및 청구항들에서 설명되는 예시적인 실시예들은 제한하는 의미는 아니다. 본 명세서에서 제시된 청구물의 정신 또는 범위로부터 벗어나는 일 없이, 다른 실시예들이 활용될 수도 있고, 다른 변경들이 만들어질 수도 있다. 본 명세서에서 대체로 설명되고 도면들에서 도시된 본 개시물의 양태들은, 모두가 본 명세서에서 명시적으로 의도된 매우 다양한 상이한 구성들로 배치, 치환, 결합, 분리 및 디자인될 수 있다는 것이 쉽사리 이해될 것이다.
본 개시물은 동적 모델링 및 그래프 매칭에 기초한 AR 시스템들에서의 강건한 대상 인식에 관련되는, 특히, 방법들, 장치, 시스템들, 디바이스들, 및/또는 컴퓨터 프로그램 제품들을 대체로 겨낭하고 있다.
간단히 말하면, 동적 모델링에 기초한 강건한 대상 인식 체계는 셀룰러 지역들의 미세 (fine) 스케일 시간적 (temporal) 구조에서의 상관도들을 채용하여 이들 지역들을 함께 고차 엔티티들로 그룹화한다. 이 엔티티들은 풍부한 구조를 나타내고 고 레벨 대상들을 코딩하는데 사용될 수도 있다. 대상 인식은 탄력적인 그래프 매칭으로서 포맷팅될 수도 있다.
도 1은 일 예의 증강 현실 (AR) 시스템 (100) 을 도시하는데, 일부 실시예들이 본 개시물에 따라서 구현될 수도 있다. AR은 실제 세계 표시를 확장하기 위하여 컴퓨터로 생성된 형상화 (imagery) 의 응용을 라이브 비디오 스트림들에 이용한다. AR 시스템들은 보통 다수의 센서들 및 액츄에이터들, 실제 및 컴퓨터 생성 형상화를 처리하는 하나 이상의 컴퓨팅 디바이스, 그리고 헤드 탑재형 디스플레이들, 가상 망막 디스플레이들, 모니터 또는 유사한 보통의 디스플레이들, 및 필적하는 디바이스들과 같은 시각화 시스템들을 포함하는 통제된 환경들을 구비한다.
AR 시스템 (100) 은 실제 장면 (대상들) (102) 의 라이브 이미지들을 캡처하도록 구성된 센서들 (104) 을 구비한다. 센서들 (104) 은 아날로그 또는 디지털 이미지들을 캡처된 이미지들로서 제공할 수도 있는 디지털 카메라들, 웹캠들, 및/또는 유사한 이미지 캡처 디바이스들일 수도 있다. 캡처된 이미지(들)는 센서들 (104) 에 의해 이미지 처리 서브시스템 (106) 에 제공될 수도 있고, 이미지 처리 서브시스템은 아날로그 이미지들의 디지털 이미지들로의 디지털화를 수행하고, 디지털 이미지들을 수신하며, 및/또는 디지털 이미지들을 처리하도록 구성될 수도 있다. 이미지 처리 서브시스템 (106) 에 의해 제공되는 처리는, 이미지들에서의 특징점들의 위치들을 결정하는 것, 어파인 사영들 (affine projections) 의 계산, 에지들의 추적, 필터링, 및/또는 유사한 동작들을 포함할 수도 있다. 이미지 처리 서브시스템 (106) 은 또한 위에서 설명된 동작들의 결과들과 같은 사영 정보를 리얼리티 엔진 (110) 에 제공하도록 구성될 수도 있다. 리얼리티 엔진 (110) 은 그래픽 프로세스를 실행하여 캡처된 이미지들에 기초하여 장면들을 렌더링하도록 구성될 수도 있다. 가상 대상들은, 아래에서 더 상세히 논의될 바와 같은 동적 모델링 및 그래프 매칭을 채용하도록 배치될 수도 있는 리얼리티 엔진 (110) 에 의해 렌더링될 수도 있다.
이미지 생성기 (108) 는 센서들 (104) 로부터 참조 이미지(들)를 수신하고, 리얼리티 엔진 (110) 으로부터 가상 대상(들)을 수신하며, 캡처된 실제 장면 이미지들을 가상 대상(들)과 오버레이하여 증강된 장면을 생성하도록 구성될 수도 있다. 하나의 구현예에서, 가상 및 실제 장면 이미지들의 병합은, 가상 이미지가 키 입력이고 실제 장면 이미지가 기준 입력인 루미넌스 키잉 (luminance keying) 을 통해 수행될 수도 있다. 그 구현예에서, 실제 장면 이미지는 루미넌스 키에 대한 배경 신호를 제공하고 또 키어 (keyer) (이미지 생성기) 에 대한 동기화 신호로서 기능한다. 디스플레이 (112) 는 사용자에 의한 관람을 위해 증강된 장면을 생성하는데 사용될 수 있는 하나의 예의 시각화 메커니즘이다. 이전에 논의된 바와 같이, 디스플레이 디바이스들의 다른 유형들은 증강된 장면 (114) 의 시각화물을 사용자에게 제공하는데 사용될 수도 있다.
이미지 처리 서브시스템 (106), 리얼리티 엔진 (110), 및 이미지 생성기 (108) 는 하나 이상의 컴퓨팅 디바이스들 상의 개별 애플리케이션들, 통합형 애플리케이션, 중앙집중형 서비스, 또는 분산형 서비스로서 구현될 수도 있다. 하나 이상의 컴퓨팅 디바이스들은 이종 또는 동종일 수도 있고, 범용 컴퓨팅 디바이스들, 또는 자립형 컴퓨터, 네트워크형 컴퓨터 시스템, 범용 처리 유닛 (예컨대, 마이크로-프로세서, 마이크로-제어기, 디지털 신호 프로세서 또는 DSP 등), 또는 특수 목적 처리 유닛으로서 포함될 수도 있는 특수 컴퓨팅 디바이스들로서 구현될 수도 있다. 상이한 컴퓨팅 디바이스들 상에서 실행된다면, AR 시스템 (100) 의 갖가지 구성요소들은 하나 이상의 네트워크들을 통해 서로 통신하도록 구성될 수도 있다.
네트워크(들)는 임의의 토폴로지의 서버들, 클라이언트들, 스위치들, 라우터들, 모뎀들, 인터넷 서비스 제공자들, 및 임의의 적절한 통신 매체들 (예컨대, 유선 또는 무선 통신들) 을 포함할 수도 있다. 실시예들에 따른 시스템은 정적 또는 동적 네트워크 토폴로지를 가질 수도 있다. 네트워크(들)는 기업 네트워크 (예컨대, LAN, WAN, 또는 WLAN) 와 같은 보안 네트워크, 무선 개방 네트워크 (예컨대, IEEE 802.11 무선 네트워크들) 와 같은 비보안 (unsecure) 네트워크, 또는 그러한 월드와이드 네트워크 (예컨대, 인터넷) 를 구비할 수도 있다. 네트워크(들)는 또한 함께 동작하도록 구성된 복수의 구별되는 네트워크들을 포함할 수도 있다. 네트워크(들)는 본 명세서에서 설명되는 노드들 사이에 통신을 제공하도록 구성된다. 비제한적인 예로서, 네트워크(들)는 음향, RF, 적외선, 및 다른 무선 매체들과 같은 무선 매체들을 포함할 수도 있다.
도 2는 본 명세서에서 설명되는 적어도 일부 실시예들에 따르는 동적 모델링 및 그래프 매칭을 채용한 일 예의 AR 시스템의 블록도 (200) 를 도시한다. 예를 들어, 대상 인식은, 무엇보다도, 검사, 등록, 및 조작의 목적으로 기계 비전 업계에서 광범위하게 사용된다. 그러나, 대상 인식을 위한 기존의 시스템들은 상관(correlation) 기반 탬플릿 매칭에 공통적으로 의존한다. 이들 기존의 시스템들은 대상의 자세 및 조명이 엄중하게 제어되는 일정한 공학적 환경들에 대해 효과적일 수 있지만, 템플릿 매칭은 대상 회전, 스케일, 조명, 및 3차원 자세가 변하는 것이 허용될 때, 그리고 부분 가시성 (partial visibility) 및 대규모 모델 데이터베이스들을 다룰 때에도 계산적으로 부담이 될 수도 있다는 것을 본 개시물은 확인하여 인식하고 있다.
본 개시물의 적어도 일부 실시예들에 따른 동적 모델링 기반 시스템은 구문론적으로 링크된 구조들에 기초하는 데이터 포맷을 이용할 수도 있다. 더 정확하게는, 이미지들은 이미지 도메인에서 속성 그래프들로서 표현될 수도 있다. 그래서, 이미지 도메인은 노드들의 2차원 어레이를 포함하고 있다. 특정 위치에서의 각각의 노드는 다수의 상이한 특징들을 포함할 수도 있다. 예의 특징 유형들은 로컬 광 세기들, 반사 특성들, 장면에서의 자세, 폐색들, 및/또는 배경 변화들 중 한 가지 이상을 포함할 수도 있다. 그러나, 필터링 동작을 통하여 유도될 수 있는 더 복잡한 특징 유형들 또한 사용될 수도 있다. 이미지 도메인에서의 노드들 사이의 관계들은 자극적 연결들 (excitatory connections) 이라고 말할 수도 있다. 두 노드들 사이의 자극적 연결은, 가중치가 양의 부호일 수도 있는 (즉 시스템 여기 또는 양의 신호가 시스템에서 유발되게 하는) 가중된 연결이다. 일부 예의 구현들에서, 이웃하는 노드들은 연결될 수도 있다. 다른 구현들에서, 임의의 수의 노드들 사이에 복합 연결들이 존재할 수도 있다. 동적 모델에 따르면, 특정 대상은 이 대상에 의해 영향을 받을 수 있는 이미지 도메인의 서브그래프에 의해 표현될 수도 있다.
모델 도메인은 이미지 도메인에서의 속성 그래프들 (즉 서브그래프들의 이상화된 사본들) 의 수집물일 수 있다. 그래서, 자극적 연결들은 이미지 도메인과 모델 도메인 사이에 존재할 수 있다. 이들 자극적 연결들은 일부 특징들을 보존할 수 있다. 예를 들어, 하나는 이미지 도메인에 있고 하나는 모델 도메인에 있는 2개의 노드들이 존재하면, 그 노드들은 그것들이 상응하는 특징 유형들에 속할 때 그 노드들 사이에 연결을 가질 수도 있다. 이러한 구조를 가지고서, 대상 인식은, 대상을 인코딩하는 모델 도메인에서의 속성 그래프가 원근 (perspective) 에서의 변형들 및 변경들을 반영하도록 국소적으로 왜곡될 수도 있는 그래프 매칭의 프로세스로서 실현될 수도 있다.
일 예의 그래프 매칭에서, 2개의 그래프들은, 근사 (approximate) 이웃 보존 및 특징 유형 보존 매핑이 이미지 도메인 및 모델 도메인에서의 다수의 노드들 사이에 존재할 때 대략 동일하다고 간주될 수도 있다. 그래프 매칭은 이미지 도메인의 서브그래프에서의 노드들을 그룹화하고 선택적으로 활성화시키는 것에 의해 일부 실시예들에 따라 이행될 수도 있다. 이는 단순히 유사한 특징 벡터들을 갖는 노드들을 함께 바인딩하는 것에 의해 모델 도메인에 대한 참조 없이 부분적으로 달성될 수도 있다. 그 결과, 하나의 대상에 대응하는 이미지의 부분들 내의 노드들은 그것들의 액티비티 (activity) 를 동기화하려는 경향이 있지만, 상이한 이미지 세그먼트들 사이의 노드들은 그것들의 동적 링크들을 비동기화하고 깨려는 경향이 있다. 다음으로, 서브그래프에서의 노드들 및 링크들은 모델 도메인에서 식별되고 활성화될 수도 있다 (즉 연결 패턴이 연결 패턴들 용의 연상 메모리 (associative memory) 로부터 검색됨). 모델 도메인에서의 링크들의 식별 및 활성화에 뒤따라, 이미지 도메인 및 모델 도메인에서의 유사한 특징들을 갖는 노드들 사이의 연결들 (다 대 다) 은 일관된 (즉 토폴로지 보존의) 일 대 일 매핑으로 감소될 수도 있다. 위에서 설명된 동작들은 순차적으로 실행될 필요는 없다는 것이 이해되어야 할 것이다. 사실상, 실시예들에 따른 시스템은 이들 동작들을 인터레이스 (interlaced) 형태로 수행할 수도 있는데, 각각의 동작이 다른 동작들의 부분적인 결과들을 필요로 할 수도 있어서이다.
도 2로 되돌아가면, 블록도 200은 설명되는 실시예들 중 적어도 하나에 따라 AR 시스템의 동적 모델링 블록 (226) 에 제공될 수도 있는 3차원 (3D) 대상 (222) 의 2차원 (2D) 이미지 (224) 를 보이고 있다. 동적 모델링 블록 (226) 은 필터링과 같은 이미지 도메인 변환(들)을 수행하도록 구성될 수도 있고, 정점 및 에지 속성들이 결정될 수도 있으며, 속성 이미지 도메인 그래프 (정점 및 에지 라벨들을 가짐) 가 그래프 매칭 블록 (228) 에 제공될 수도 있다. 그래프 매칭 블록 (228) 은, 위에서 논의된 바와 같이, 서브그래프들의 노드들 사이의 링크들을 식별하고 활성화시키며, 모델 도메인에서의 링크들을 식별하고 활성화시키며, 연결들을 일 대 일 매핑으로 감소시키도록 구성될 수도 있다. 결과적인 패턴들 (230) 은 임의의 소비형 애플리케이션 (232), 이를테면 렌더링 엔진에 제공될 수도 있다.
도 3a는 본 명세서에서 설명되는 적어도 일부 실시예들에 따라 배치된 일 예의 동적 모델링 서브시스템 (326) 에서의 예의 프로세스들의 블록도 (300) 를 도시한다. 일부 실시예들에 따른 동적 모델링 기반 대상 인식 시스템은 2개의 서브시스템들인 동적 모델링 서브시스템 및 그래프 매칭 서브시스템에서 실행되는 프로세스들을 포함할 수도 있다. 도면 300에서 보인 바와 같이, 이미지 표현은, 동적 모델링 서브시스템 (326) 에서, 2-D 그레이 스케일 디지털 이미지들을 모델링하고 그래프 모델들 (364, 366) 을 결과로서 추출하는 것에 동적 구조를 적용함으로써 달성될 수도 있다. 추출된 그래프 모델들 (364 및 366) 을 이용하여, 그래프 매칭 알고리즘은, 도 3b에 연계하여 아래에서 더 상세히 논의되는 바와 같이 클래스 라벨(들)을 할당하기 위하여, 데이터베이스로부터 매칭 그래프들을 탐색하도록 입력 그래프들에 적용될 수도 있다.
동적 모델링 서브시스템 (326) 은 하드웨어, 소프트웨어 또는 하드웨어 및 소프트웨어의 조합으로서 구현될 수도 있다. 예를 들어, 범용 또는 특수 비디오 프로세서가 아래에서 설명되는 동작들을 수행하도록 구성될 수도 있다. 일 예의 동적 모델링 서브시스템 (326) 은 2D 이미지 시퀀스를 입력 (340) 으로서 수신하도록 구성된다. 실시예들에 따라 동적 모델들을 사용하는 대상 인식의 목표는, 이미지 도메인에서 그래프들의 속성들 및 링크들에 관한 정보를 인코딩하기 위한 데이터 포맷을 찾는 것과 그 정보를 모델 도메인에 전달하는 것이다. 이미지들을 전처리하는 것은 이미지 도메인에서의 각각의 뉴런의 실제 속성 값들을 추정하는 것을 수반할 수도 있다. 이는 각각의 뉴런에 대하여 변동하는 이미지들의 세트 (예컨대, 비디오로부터의 이미지들의 시퀀스) 를 시간 평균하는 것에 의해 달성될 수도 있다. 뉴런들 사이의 바인딩들은 신호 전송을 위한 시냅스 가중치들의 역할을 담당하는 시간적 상관도의 형태로 인코딩될 수도 있다.
제 1 단계로서, 디지털 이미지들 (340) (예컨대, 비디오로부터 캡처됨) 또는 정지 영상들의 시퀀스가 박스 342에서 그래프 표현 (즉 그래프 속성 벡터들) 을 생성하도록 처리될 수도 있다. 그래프 추출 및 표현의 일 예의 프로세스가 아래에서 도 4에 연계하여 도시되어 있다. 전처리 및 그래프 추출의 결과로서, 이미지 도메인에서의 그래프들 (346) 이 획득된다. 이것들은 완전 치수 (full dimension) 그래프들이라고 하는데, 치수 구조에서의 감소가 뒤따라서이다. 마찬가지로, 속성 그래프들은 박스 350에서 모델 도메인 내에서 정의되고 셋업되어 모델 도메인 그래프 데이터베이스 (352) 로 될 수도 있다. 이미지가 이미지 도메인에서 형성될 때, 그 이미지의 포인트들 중 하나에 중심을 둔 로컬 특징 검출기들이 복합 특징 검출기를 형성하도록 묶어질 수도 있다. 복합 특징 검출기는 다른 복합 특징 검출기들과 전체적으로 비교되도록 모델 도메인에 제공됨으로써, 속성 모델 도메인 그래프들을 확립할 수도 있다. 복합 특징 검출기들의 사용은 새로운 대상 클래스들이 인식될 수 있기 전에 새로운 개개의 특징들을 복잡한 특징들을 위한 검출기들로서 훈련시킬 필요를 줄이는 것에 의해 AR 시스템에 대한 계산 및 메모리 부담을 감소시킬 수도 있다.
모델 도메인에서의 그래프들은 그래프 매칭 알고리즘이 구현될 수 있는 프로토타입 그래프 데이터베이스로서 역할을 할 수도 있다. 프로토타입 그래프 선택 프로세스 (354) (도 3c에서 설명됨) 는 프로토타입 그래프 세트 (362) 를 산출할 수도 있는데, 이 프로토타입 그래프 세트는 이미지 및 모델 도메인들에서의 그래프들의 분해 (344, 356) 에 사용될 수도 있다. 모델 도메인 그래프 데이터베이스 (352) 는 또한 이미지 도메인에서의 서브그래프들의 이상화된 사본들인, 속성 그래프들의 모임이다. 프로토타입 서브그래프들 세트 (362) 를 확립한 후, 이미지 도메인에서의 추출된 그래프들은 미리 정의된 규칙들에 따른 그래프들로 감소될 수도 있다 (344). 이미지 도메인에서의 감소된 치수의 그래프들 (348) 은 프로토타입 그래프들로부터의 서브세트들의 조합으로 구성될 수도 있다. 마찬가지로, (모델 도메인 그래프 데이터베이스 (352) 로부터의) 모델 도메인에서의 그래프들은 또한 프로토타입 그래프들로부터의 서브세트들의 조합으로 분해 (356) 될 수도 있어서 이미지 및 모델 도메인들에서의 감소된 구조의 치수를 갖는 그래프들 (각각 348, 360) 이 생겨나게 한다.
이미지 도메인 내 및 모델 도메인 내의 이웃 관계들을 나타내는 링크들은 그 후에 도 3b에 연계하여 아래에서 논의되는 바와 같이 셋업될 수도 있다. 그렇게 함으로써 신경계통의 대상들은 내부 구조를 획득하고, 그것들의 관계들은 이제 대상 인식의 기초를 형성하는 매칭된 구문론적 구조와의 결합들로 제약될 수 있다.
도 3b는 본 명세서에서 설명되는 적어도 일부 실시예들에 따라서 배치되는 일 예의 그래프 매칭 서브시스템 (328) 내의 동작들 (350) 의 예시적인 도면이다. 그래프 매칭 서브시스템 (328) 은 도 3a의 동적 모델링 서브시스템 (326) 과 동일한 디바이스 (및/또는 소프트웨어) 에 의해, 또는 상이한 디바이스 (및/또는 소프트웨어) 에 의해 실시될 수도 있다.
동작들 (350) 은 블록들 (368, 370, 372, 374, 376 및/또는 330) 중 하나 이상을 구비할 수도 있다. "시냅스 가중치 및 연결들 계산"의 블록 368에서, 컴퓨팅 디바이스에 구현되는 그래프 매칭 알고리즘이 속성 이미지 도메인 그래프들 (참조 번호 364에 의해 표시된 연결) 을 전처리하도록 구성될 수도 있다. 전처리는 각각의 뉴런에 대하여 변동하는 이미지들의 세트의 시간 평균에 의해 행하여질 수도 있는, 이미지 도메인에서 각각의 뉴런의 실제 속성 값들을 추정하는 것을 수반할 수도 있다. 뉴런들 사이의 바인딩은 신호 전송을 위한 시냅스 가중치들로서 활용될 수도 있는 시간적 상관의 형태로 인코딩될 수도 있다.
블록 368에는 블록 370이 뒤따른다. "이미지 도메인 세그먼트화"인 블록 370에서, 이미지 도메인의 서브그래프 I 에서의 노드들은 그룹화될 수도 있다. 그룹화 또는 세그먼트화는, 유사한 특징 벡터들을 갖는 노드들을 서로 바인딩하는 것에 의해 달성될 수도 있고, 그러한 노드들은 동일한 대상 내에 존재하기 쉽다. 이런 방식으로, 하나의 대상에 상응하는 이미지 또는 장면의 부분 내의 노드들은 그것들의 액티비티를 동기화시키려는 경향이 있는 반면, 상이한 이미지 세그먼트들 사이의 노드들은 그것들의 동적 링크들을 비동기화하고 깨뜨리려는 경향이 있다.
블록 370에는 블록 372가 뒤따른다. "비용 함수 점검"인 블록 372에서, 비용 함수 점검이 동적 모델링 서브시스템으로부터 제공된 그래프 속성들에 기초하여 그래프 매칭의 부분으로서 수행될 수도 있다. 비용 함수는 특정 솔루션이 주어진 문제에 대한 최적의 솔루션으로부터 얼마나 떨어져 있는지의 척도이다. 이 경우, 최적화는 정점 라벨들 및 에지 라벨들의 매칭을 수반한다.
블록 372에는 블록 374가 뒤따른다. "최종 속성 그래프 매칭"인 블록 374에서, 속성 그래프 매칭이 대상 인식을 위해 적용될 수도 있다. 속성 그래프 매칭은 저장된 모델 그래프 M (참조 번호 366에 의해 표시된 연결) 이 존재한다면, 저장된 모델 그래프 M 에 동일하거나 또는 근사적으로 동일한 이미지 도메인의 부분 (서브그래프) I 로 구성된 서브그래프를 찾고 선택적으로 활성화시키는 것에 기초할 수 있다. I 및 M 에서의 대응하는 포인트들 사이의 일 대 일 연결들은 속성 그래프 매칭의 부분으로서 결정될 수도 있다. 특히, 이 프로세스는, 위에서 설명된 바와 같은 확립된 비용 함수에 따라 정점 라벨들 및 에지 라벨들의 매칭을 동시에 최적화하는, 정점 위치들의 세트에 대한 탐색에 의해 이행될 수도 있다. I 및 M 에서 유사한 특징들을 갖는 노드들 간의 다 대 다 연결들 또한 블록 374에서 설명된 동작 동안 일관된 일 대 일 매칭으로 감축될 수도 있다.
블록 374에는 블록 376이 뒤따른다. "백라벨링 (Back Labeling) "인 블록 376에서, 이미지는 인식된 패턴들로 백라벨링될 수도 있다. 그래프 매칭 프로세스는 I 에서의 이웃하는 뉴런들의 블록과 대응하는 위치들을 갖는 M 에서의 이웃하는 뉴런들의 블록의 동시 활성화를 갖는 이벤트들을 포함할 수도 있다. 결과로서, 매칭된 그래프들 사이의 동적 바인딩은 이미지를 인식된 패턴들로 백라벨링하고 이 패턴들에 기초하여 복합 대상들 및 장면들의 표현들을 형성하는데 사용될 수도 있다. 이 패턴들은 동작들 (350) 을 수행하는 그래프 매칭 서브시스템 (328) 의 출력 (330) 일 수도 있다.
도 3c는 본 명세서에 설명되는 적어도 일부 실시예들에 따라 배치된 일 예의 그래프 선택 서브시스템 내의 동작들의 도면을 도시한다. 도 3c에서 설명되는 동작들은 도 3a의 동적 모델링 서브시스템의 프로토타입 그래프 선택 박스 (354) 에서 수행될 수도 있다.
실시간으로 그래프 매칭을 수행할 때의 주요 도전과제는 그래프 모델들의 높은 복잡도에 있다. 이 복잡도는 그래프들의 복잡한 구조 및 그래프들의 내인성(intrinsic)의 고 차원수에 의해 유발될 수도 있다. 실시예들 중 일부에 따르면, 하위 차수 벡터 표현 (모든 그래프 표현의 서브세트) 을 구축하는 자동화된 방법이 효과적인 그래프 선택 방법을 개발하는 것에 의해 채용될 수도 있다.
이 프로세스는 입력 블록 378 의 "프로토타입 그래프 세트 생성"으로 시작할 수도 있으며, n개의 프로토타입 그래프들 P0 = {p1, …, pn} 의 초기 세트는 예를 들어 그래프들을 랜덤하게 선택하는 것에 의해 구성될 수도 있다. 이 초기 세트는 유사한 구조의 그래프들을 포함할 수도 있고 이미지 도메인 및 모델 도메인 양쪽 모두에서 더 완전한 그래프 모델들을 스패닝 (span) 하는데 사용될 수도 있다. 프로토타입 그래프 세트들은 다양한 프로토타입 그래프 선택 알고리즘들을 이용하여 모델 도메인에서의 훈련 그래프로부터 구성될 수도 있다. 그 다음, 입력 이미지 도메인으로부터 추출된 그래프들 및 모델 도메인에서의 훈련 그래프는, 각각의 도메인에 대한 그래프들의 서브세트들로 분해될 수도 있고, 그 서브세트들은 구조상 단순하지만, 인식을 위한 원래의 그래프들의 가장 유익한 정보를 유지한다.
구체적으로는, 프로토타입 그래프 선택의 목표는 상이한 클래스들을 그 클래스들의 그래프 구조에 대해 정밀하게 나타내는 모델 도메인에서의 훈련 세트로부터 (예컨대 모델 도메인 그래프 데이터베이스 (352) 로부터) 그래프들의 서브세트를 선택하는 것일 수도 있다. 프로토타입 그래프는 이미지 도메인 및 모델 도메인 양쪽 모두에서 더 복잡한 그래프 구조를 스패닝할 정도로 작을 수도 있다. 프로토타입 그래프들은 유사한 그래프들의 선택의 관점에서 리던던시들을 동시에 피하고 충분한 정보를 운반할 수도 있다.
"초기 세트 생성"인 블록 380에서, n개 세트들 Si는, 각각의 세트가 하나의 프로토타입 S1 = {p1}, …, Sn = {pn} 을 포함하도록 선택될 수도 있다. "T를 스캔하여 한 그래프를 찾음"인 블록 382에서, 모델 도메인으로부터의 훈련 그래프 세트(들)는 그래프 g ∈ T＼P를 찾기 위해 스캐닝될 수도 있다. 각각의 그래프 g에 대해, 그것의 가장 가까운 이웃 pi ∈ P가 발견될 수도 있고 고려 중에 있는 그래프는 블록 384의 "g 및 Pi 사이의 거리 계산", 블록 386의 "가장 가까운 이웃인지?", 및 블록 388의 "g를 세트 Si에 추가"에 의해 보인 바와 같이 프로토타입 pi에 대응하는 세트 Si에 추가될 수도 있다. 이들 단계들은 T ∪1≤i≤ nSi 를 갖는 n개의 서로소인 (disjointed) 세트들이 생기게 할 수도 있다.
"Pi의 중심 ci 계산"의 블록 390에서, 중심 ci는 각각의 세트 Si에 대해 발견될 수도 있다. ci는, Si에서의 다른 대상들에 대한 최대 거리가 최소인 그래프일 수도 있다. ci = pi인 각각의 중심 ci에 대해, 출력 프로토타입 그래프 세트 Si 는 결정 블록 394의 "ci = pi?" 및 출력 블록 392의 "프로토타입 그래프 세트 Si 출력"으로 보인 바와 같이 제공될 수도 있다. ci ≠ pi인 각각의 중심 ci에 대해, pi는 블록 396의 "pi를 Si의 ci 로 대체"에서 보인 바와 같이 Si 에서의 ci 로 대체될 수도 있고 프로세스는 다른 훈련 세트를 획득하기 위해 블록 382로 되돌아갈 수도 있다. 프로세스는 세트들 Si 에서 더 이상의 변경이 없을 때 끝날 수도 있다. 프로토타입 그래프들은 n개의 서로소인 세트들의 중심들에 의해 제공될 수도 있다.
실시예들이 구체적인 예들, 구성요소들, 및 구성들을 이용하여 위에서 논의되었지만, 그 실시예들은 AR 시스템들에서 동적 모델링을 통한 강건한 대상 인식을 위해 사용될 일반 가이드라인을 제공하는 것을 의도하고 있다. 이들 예들은 실시예들에 대한 제약을 구성하지 않고, 실시예들은 본 명세서에서 설명되는 원리들을 이용하는 다른 구성요소들, 모듈들, 및 구성들을 사용하여 구현될 수도 있다. 예를 들어, 임의의 적절한 비용 함수가 정점 및 에지 라벨들을 매칭하는데 사용될 수도 있다. 더욱이, 위에서 논의된 동작들은 갖가지 순서들로, 특히 인터레이스 형태로 수행될 수도 있다.
도 4는 본 명세서에서 설명되는 적어도 일부 예들에 따르는 동적 모델링 및 그래프 매칭을 채용하는 시스템에서 입력 이미지가 속성 그래프들로서 나타내어질 수도 있는 방법을 도시한다. 일부 실시예들에 따른 이미지 표현에서, 동적 구조가 2-D 디지털 이미지들을 모델링하는데 적용될 수도 있고, 그 결과 그래프 모델들이 도면 442에서 도시된 프로세스를 통해 추출되었다. 이 동적 구조는 이미지 도메인 및 모델 도메인에서의 그래프 표현을 포함할 수도 있다. 제 1 단계로서, 특징들 (W1 - WN) 이 이들 특징들 (즉 이미지 도메인 표현) 을 이용하여 그래프 표현 (406) 을 형성하기 위하여 입력 디지털 이미지로부터 추출될 수도 있다. 이미지 도메인에서의 그래프 표현 (406) 은, 각각의 노드가 N개의 상이한 특징 검출기 뉴런들 (402) 을 구비하는 노드들의 2-D 어레이일 수도 있다. 하나의 양태에서, 이미지 도메인에서의 입력 이미지 (424) 의 그래프 표현 (406) 을 형성하는 것은, 특징 검출기들의 세트 (402) 를 선택하고 필터 (404) 를 입력 이미지 (424) 의 화소들에 제공하는 것과 동등할 수도 있다. 그 결과들은 로컬 특징 검출기들의 액티비티를 나타내는 특징 벡터인 이른바 정점 라벨 (408) 일 수도 있다.
제 2 단계는 각각의 노드 사이에 링크들을 형성하는 단계를 포함할 수도 있다. 그 결과는 정점들 사이의 연결성을 나타내는, 그래프 표현 (406) 의 이른바 에지 라벨들 (410) 일 수도 있다. 그래서, 입력 이미지 (424) 는 정점들 및 에지들 양쪽 모두에 부여된 속성들 (특징 벡터들) 을 갖는, 이미지 도메인에서의 속성 그래프로 컨버팅될 수도 있다. 대상은 결과적으로 이미지 도메인에서의 유사한 속성들을 갖는 서브그래프 표현일 수도 있다.
이미지가 이미지 도메인에서의 그래프가 되도록 추출될 때, 그 이미지의 포인트들 중 하나에 중심을 둔 로컬 특징 검출기들은 도면 442에서 보인 바와 같은 복합 특징 검출기를 형성하도록 번들링되는 것에 해당할 수도 있다. 복합 특징 검출기는 모델 도메인에 제공되고 거기서 다른 복합 특징 검출기들과 비교될 수도 있다. 이는 새로운 대상 클래스들이 인식될 수 있기 전에 새로운 개개의 특징들을 복잡한 특징들에 대한 검출기로서 훈련시킬 필요성을 없앨 수도 있거나 또는 감소시킬 수도 있다.
도 5는 본 개시물에 따른 AR 시스템에서 동적 모델링 및 그래프 매칭을 구현하는데 사용될 수도 있는 일 예의 범용 컴퓨팅 디바이스 (500) 를 도시한다. 매우 기본적인 구성 (502) 에서, 컴퓨팅 디바이스 (500) 는 통상 하나 이상의 프로세서들 (504) 및 시스템 메모리 (506) 를 구비한다. 메모리 버스 (508) 는 프로세서 (504) 와 시스템 메모리 (506) 사이의 통신을 위해 사용될 수도 있다.
소망의 구성에 따르면, 프로세서 (504) 는 마이크로프로세서 (μP), 마이크로제어기 (μC), 디지털 신호 프로세서 (DSP), 또는 그것들의 임의의 조합을 포함하지만 이것들로 한정되지는 않는 임의의 유형일 수도 있다. 프로세서 (504) 는 하나 이상의 캐싱 레벨들, 이를테면 레벨 캐시 메모리 (512), 프로세서 코어 (514), 및 레지스터들 (516) 을 포함할 수도 있다. 예의 프로세서 코어 (514) 는 산술 논리 연산 유닛 (ALU), 부동 소수점 유닛 (FPU), 디지털 신호 처리 코어 (DSP 코어), 또는 그것들의 임의의 조합을 포함할 수도 있다. 일 예의 메모리 제어기 (518) 는 또한 프로세서 (504) 와 함께 사용될 수도 있거나, 또는 일부 구현예들에서 메모리 제어기 (518) 는 프로세서 (504) 의 내부의 부분일 수도 있다.
소망의 구성에 따르면, 시스템 메모리 (506) 는 휘발성 메모리 (이를테면 RAM), 비휘발성 메모리 (이를테면 ROM, 플래시 메모리 등) 또는 그것들의 임의의 조합을 포함하지만 이것들로 한정되지는 않는 임의의 유형일 수도 있다. 시스템 메모리 (506) 는 운영 체제 (520), 하나 이상의 애플리케이션들 (522), 및 프로그램 데이터 (524) 를 포함할 수도 있다. 애플리케이션 (522) 은 위에서 논의된 바와 같은 동적 모델링 및 속성 그래프 매칭을 이용하여 대상 인식 시스템의 동작 파라미터들을 조절하도록 배치되는 AR 모듈 (526) 을 포함할 수도 있다. 프로그램 데이터 (524) 는 이미징 데이터, 모델 데이터 (528-1), 그래프 데이터 (528-2), 및 도 3a 및 3b에 연계하여 위에서 논의된 바와 유사한 데이터 중 하나 이상을 포함할 수도 있다. 이 데이터는 본 개시물에서 설명되는 바와 같이 이미지 도메인 서브그래프들과 모델 도메인 서브그래프들 사이에 일 대 일 매핑을 생성할 때에 유용할 수도 있다. 일부 실시예들에서, 애플리케이션 (522) 은 3차원 대상들이 인식되고 가상 표현들이 본 개시물에서 설명된 바와 같이 생성되도록 운영 체제 (520) 상에서 프로그램 데이터 (524) 와 함께 동작하도록 배치될 수도 있다. 이 설명되는 기본 구성 (502) 은 내부의 쇄선 내에 있는 구성요소들에 의해 도 5에서 도시될 수 있다.
컴퓨팅 디바이스 (500) 는 기본 구성 (502) 과 임의의 요구된 디바이스들과 인터페이스들 사이의 통신들을 용이하도록 하기 위해 부가적인 특징들 또는 기능성, 및 부가적인 인터페이스들을 가질 수도 있다. 예를 들어, 버스/인터페이스 제어기 (530) 가 기본 구성 (502) 과 하나 이상의 데이터 저장 디바이스들 (532) 사이의 저장 인터페이스 버스 (534) 를 경유한 통신들을 용이하도록 하기 위해 사용될 수도 있다. 데이터 저장 디바이스들 (532) 은 착탈식 저장 디바이스들 (536), 비-착탈식 저장 디바이스들 (538), 또는 그것들의 조합일 수도 있다. 착탈식 저장 및 비-착탈식 저장 디바이스들의 예들은, 몇몇 이름을 열거하면 플렉서블 디스크 드라이브들 및 하드 디스크 드라이브들 (HDD) 과 같은 자기 디스크 디바이스들, 콤팩트 디스크 (CD) 드라이브들 또는 디지털 다기능 디스크 (DVD) 드라이브들과 같은 광 디스크 드라이브들, 고체 상태 드라이브들 (SSD), 및 테이프 드라이브들을 포함한다. 예의 컴퓨터 저장 매체들은, 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터과 같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 착탈식 및 비착탈식 매체들을 포함할 수도 있다.
시스템 메모리 (506), 착탈식 저장 디바이스들 (536) 및 비-착탈식 저장 디바이스들 (538) 은 컴퓨터 저장 매체들의 예들이다. 컴퓨터 저장 매체들은, RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다기능 디스크들 (DVD) 또는 다른 광학적 스토리지, 자기 카세트들, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 저장 디바이스들, 또는 소망의 정보를 저장하는데 사용될 수도 있고 컴퓨팅 디바이스 (500) 에 의해 액세스될 수도 있는 임의의 다른 매체를 포함하나 이것들로 제한되지는 않는다. 임의의 이러한 컴퓨터 저장 매체들은 컴퓨팅 디바이스 (500) 의 부분일 수도 있다.
컴퓨팅 디바이스 (500) 는 또한 갖가지 인터페이스 디바이스들 (예컨대, 출력 디바이스들 (542), 주변 인터페이스들 (544), 및 통신 디바이스들 (546)) 로부터 기본 구성 (502) 으로의 버스/인터페이스 제어기 (530) 를 경유하는 통신을 용이하도록 하기 위한 인터페이스 버스 (540) 를 포함할 수도 있다. 예의 출력 디바이스들 (542) 은 그래픽스 처리 유닛 (548) 과 오디오 처리 유닛 (550) 을 구비하며, 이 두 처리 유닛들은 디스플레이 또는 스피커들과 같은 각종 외부 디바이스들에 하나 이상의 A/V 포트들 (552) 을 통해 통신하도록 구성될 수도 있다. 예의 주변 인터페이스들 (544) 은 직렬 인터페이스 제어기 (554) 또는 병렬 인터페이스 제어기 (556) 를 구비하며, 이 제어기들은 입력 디바이스들 (예컨대, 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스 등) 또는 다른 주변 디바이스들 (예컨대, 프린터, 스캐너 등) 과 같은 외부 디바이스들과 하나 이상의 I/O 포트들 (558) 을 경유하여 통신하도록 구성될 수도 있다. 일 예의 통신 디바이스 (546) 는 네트워크 제어기 (560) 를 구비하며, 이 네트워크 제어기는 하나 이상의 다른 컴퓨팅 디바이스들 (562) 과의 네트워크 통신 링크 상에서 하나 이상의 통신 포트들 (564) 을 경유한 통신들을 용이하게 하도록 배치될 수도 있다.
네트워크 통신 링크는 통신 매체들 중 하나일 수도 있다. 통신 매체들은 통상 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 변조된 데이터 신호에서의 다른 데이터, 이를테면 반송파 또는 다른 전송 메커니즘에 의해 구현될 수도 있고, 임의의 정보 전달 (delivery) 매체들을 포함할 수도 있다. "변조된 데이터 신호"는 신호에서의 정보를 인코딩하는 것과 같은 방식으로 설정되거나 변경된 그 신호의 특성들 중 하나 이상을 갖는 신호일 수도 있다. 비제한적인 예로서, 통신 매체들은 유선 네트워크 또는 직접 전선 (direct-wired) 연결과 같은 유선 매체들, 및 음향, 무선 주파수 (RF), 마이크로파, 적외선 (IR) 및 다른 무선 매체들과 같은 무선 매체들을 포함할 수도 있다. 본 개시물에서 사용되는 바와 같은 용어 컴퓨터 판독가능 매체들은 저장 매체들 및 통신 매체들을 양쪽 모두를 포함할 수도 있다.
컴퓨팅 디바이스 (500) 는, 셀 전화기, 개인휴대 정보단말 (PDA), 개인용 미디어 플레이어 디바이스, 무선 웹와치 (web-watch) 디바이스, 개인용 헤드셋 디바이스, 애플리케이션 특화 디바이스, 또는 위의 기능들 중 임의의 것을 구비한 하이브리드 디바이스와 같은 소형-폼 팩터 휴대용 (또는 모바일) 전자 디바이스의 부분으로서 구현될 수도 있다. 컴퓨팅 디바이스 (500) 는 또한 랩톱 컴퓨터 및 비-랩톱 컴퓨터 구성들 양쪽 모두를 구비한 개인용 컴퓨터로서 구현될 수도 있다. 더구나 컴퓨팅 디바이스 (500) 는 네트워크형 시스템으로서 또는 범용 또는 특수 서버의 부분으로서 구현될 수도 있다.
예의 실시예들은 또한 방법들을 포함한다. 이들 방법들은 본 개시물에서 설명되는 구조들을 포함한 임의의 수의 방법들로 구현될 수 있다. 하나의 이러한 방법은 본 개시물에서 설명되는 유형의 디바이스들의 머신 동작들에 의한 것이다. 또 다른 옵션의 방법은 하나 이상의 인간 오퍼레이터들이 동작들 중 일부를 수행하는 반면 다른 동작들은 머신들에 의해 수행되는 것에 연계하여 수행될 방법들의 개개의 동작들 중 하나 이상의 동작을 위한 것이다. 이들 인간 오퍼레이터들은 서로 함께 배치될 필요는 없지만, 각각은 프로그램의 부분을 수행하는 머신과는 함께 있을 수 있다. 다른 예들에서, 인간의 상호작용은 머신 자동화되는 사전 선택 기준들에 의한 것과 같이 자동화될 수 있다.
도 6은 본 개시물에서 설명되는 적어도 일부 실시예들에 따라서 배치된, 도 7의 디바이스 (500) 와 같은 컴퓨팅 디바이스에 의해 수행될 수도 있는 일 예의 방법을 도시하는 흐름도이다. 예의 방법들은 블록들 (622, 624, 626, 628, 630, 632, 및/또는 632) 중 하나 이상에 의해 도시된 바와 같은 하나 이상의 동작들, 기능들 또는 작용들을 포함할 수도 있다. 블록들 (622 내지 634) 에서 설명되는 동작들은 또한 컴퓨팅 디바이스 (610) 의 컴퓨터 판독가능 매체 (620) 와 같은 컴퓨터 판독가능 매체에 컴퓨터 실행가능 명령들로서 저장될 수도 있다.
AR 대상 인식에서 동적 모델링 및 그래프 매칭을 채용하는 프로세스가 블록 622의 "2D 이미지를 이미지 도메인으로 컨버팅"으로 시작할 수도 있다. 블록 622에서, 실제 장면에서의 3D 대상의 2D 이미지가 컴퓨팅 디바이스의 프로세서 (예컨대 컴퓨팅 디바이스 (500) 의 프로세서 (504) 또는 그래픽 처리 유닛 (548)) 에 의해 획득될 수도 있다. 이미지 도메인에서의 각각의 노드는 다수의 상이한 특징 검출기 뉴런들로 구성될 수도 있다. 특징 검출기들의 세트가 옵션의 필터링 프로세스에서 선택되고 2D 이미지의 각각의 화소에 제공될 수도 있다.
블록 622에는 블록 624의 "노드들 사이에 링크들을 확립"이 뒤따를 수도 있다. 블록 624에서, 각각의 노드 정점 사이의 링크들이 셋업되어 에지 라벨들을 발생시킬 수도 있고, 그 에지 라벨들은 각각의 노드 사이의 연결성을 나타낸다. 그래서, 이미지가 정점들 및 에지들 양쪽 모두에 부여된 속성들을 갖는 이미지 도메인에서의 속성 그래프로 컨버팅될 수 있다.
블록 624에는 블록 626의 "이미지 도메인에서 속성 그래프들을 정의"가 뒤따를 수도 있다. 블록 626에서, 속성 그래프들은 정점 및 에지 라벨들을 통해 정의된다. 블록들 (622 내지 626) 은 제 1 컴퓨팅 디바이스의 프로세서 (예컨대 컴퓨팅 디바이스 (500) 의 프로세서 (504) 또는 그래픽 처리 유닛 (548)) 의 동적 모델링 모듈에 의해 수행될 수도 있다. 블록들 (628 내지 634) 은 다른 한편으로는 제 1 컴퓨팅 디바이스에 네트워크를 통해 결합된 제 2 컴퓨팅 디바이스 상의 동일한 프로세서 또는 다른 프로세스의 그래프 매칭 모듈에 의해 수행될 수도 있다. 물론, 모든 블록들은 단일 모듈에 의해 수행될 수도 있음은 물론이다.
블록 626에는 블록 628의 "각각의 노드의 실제 속성 값들을 추정"이 뒤따를 수도 있다. 블록 628에서, 각각의 노드의 실제 속성 값들은 이미지 도메인에서, 예를 들어, 각각의 노드에 대한 변동하는 이미지들의 세트로부터의 시간 평균에 의해 추정될 수도 있다. 이 추정은 또한 링크들에 대한 시냅스 가중치 및 연결 계산을 포함할 수도 있는 전처리의 부분이다.
블록 628에는 블록 630의 "속성 그래프들 매칭"이 뒤따를 수도 있다. 블록 630에서, 속성 그래프들은 이미지 도메인의 서브그래프들에서 노드들들을 찾고 선택적으로 활성화시키는 것에 기초하여 매칭될 수도 있다. 이미지 도메인 및 모델 도메인의 서브그래프들에서의 대응하는 포인트들 사이의 일 대 일 연결은 또한 속성 그래프 매칭의 부분으로서 결정될 수도 있다. 그래프 매칭의 이 초기 부분은, 또한 이미지 도메인에서의 세그먼트화라고 칭하는 것이며, 유사한 특징 벡터들을 갖는 노드들을 서로 바인딩하는 것에 의해 달성될 수 있다.
블록 630에는 블록 632의 "서브그래프(들)에서의 링크들을 식별 및 활성화"가 뒤따를 수도 있다. 블록 632에서, 속성 그래프들의 제 2 부분은 연상 메모리로부터 양쪽 도메인들에서의 노드들에 대해 연결 패턴을 검색하는 것에 의해 달성될 수도 있다. 링크들의 식별 및 활성화의 부분으로서, 정점 라벨들과 에지 라벨들의 매칭은 확립된 비용 함수에 따라 최적화될 수도 있다.
블록 632에는 블록 634의 "연결들 매핑"이 뒤따를 수도 있다. 블록 634에서, 이미지 도메인 및 모델 도메인 서브그래프들에서의 유사한 특징들을 갖는 노드들 사이의 다 대 다 연결들은 일 대 일 연결들로 감소될 수도 있다. 그 결과, 매칭된 그래프들 사이의 동적 바인딩은 인식된 패턴들로 이미지를 백라벨링하는데 사용될 수도 있다. 그러면 복합 대상들 및 장면들의 표현들은 동일한 컴퓨팅 디바이스들 또는 다른 컴퓨팅 디바이스들 상의 소프트웨어 및/또는 하드웨어를 렌더링하는 것에 의해 패턴들에 기초하여 형성될 수도 있다.
위에서 설명된 프로세스에 포함된 블록들은 예시의 목적을 위한 것이다. 동적 모델링 및 그래프 매칭을 통한 대상 인식은 더 적거나 추가된 블록들을 갖는 유사한 프로세스들에 의해 이행될 수도 있다. 일부 예들에서, 블록들은 다른 순서로 수행될 수도 있다. 일부 다른 예들에서, 갖가지 블록들이 배제될 수도 있다. 또 다른 예들에서, 갖가지 블록들은 추가적인 블록들로 나누어지거나, 더 적은 수의 블록들로 서로 결합될 수도 있다.
도 7은 본 개시물에서 설명되는 적어도 일부 실시예들에 따라 배치된 일 예의 컴퓨터 프로그램 제품 (700) 의 블록도를 도시한다. 일부 예들에서, 도 7에 보인 바와 같이, 컴퓨터 프로그램 제품 (700) 은, 예를 들어, 프로세서에 의해 실행될 때 도 5 및 도 6에 관하여 위에서 설명된 기능들을 제공할 수 있는 머신 판독가능 명령들 (704) 을 포함할 수도 있는 신호 베어링 매체 (702) 를 구비할 수도 있다. 그래서, 예를 들어, 프로세서 (504) 를 참조하여, AR 모듈 (526) 은 매체 (702) 에 의해 프로세서 (504) 에 운반되는 명령들 (704) 에 응답하여 도 7에 보인 태스크들 중 하나 이상을 착수하여 본 개시물에서 설명된 바와 같은 동적 모델링에 기초하여 대상 인식과 관련된 동작들을 수행할 수도 있다. 그런 명령들 중 일부는, 노드들 사이에 링크들을 확립하는 것; 속성 그래프들을 정의하는 것; 이미지 도메인과 모델 도메인 사이의 속성 그래프들을 매칭시키는 것 및 매핑된 연결들을 결정하는 것을 포함할 수도 있다.
일부 구현예들에서, 도 7에 묘사된 신호 베어링 매체 (702) 는 하드 디스크 드라이브, 콤팩트 디스크 (CD), 디지털 비디오 디스크 (DVD), 디지털 테이프, 메모리 등과 같지만 이것들로 제한되지는 않는 컴퓨터 판독가능 매체 (706) 를 포괄할 수도 있다. 일부 구현예들에서, 신호 베어링 매체 (702) 는 메모리, 읽기/쓰기 (R/W) CD들, R/W DVD들 등과 같지만 이것들로 제한되지는 않는 기록가능 매체 (708) 를 포괄할 수도 있다. 일부 구현예들에서, 신호 베어링 매체 (702) 는 디지털 및/또는 아날로그 통신 매체 (예컨대, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등) 와 같지만 이것들로 한정되지는 않는 통신 매체 (710) 를 포괄할 수도 있다. 그래서, 예를 들어, 프로그램 제품 (700) 은 프로세서 (504) 의 하나 이상의 모듈들로, 무선 통신 매체 (710) (예컨대, IEEE 802.11 표준을 따르는 무선 통신 매체) 에 의해 전달되는 RF 신호 베어링 매체 (702) 에 의해 운반될 수도 있다.
본 개시물은 대체로 증강 현실 (AR) 시스템들 (100) 에서 대상 인식을 수행하는 방법을 개시한다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 대상 (222) 의 2차원 이미지 (224) 를 이미지 도메인 표현으로 변환하는 단계를 포함할 수도 있다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 또한 이미지 도메인 표현의 노드들 사이의 링크들에 기초하여 이미지 도메인에서 속성 그래프를 정의하는 단계 (626) 및 모델 도메인에서 다른 속성 그래프를 정의하는 단계 (350) 를 포함할 수도 있다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 속성 그래프들의 대응하는 노드들 사이의 링크들을 식별하고 활성화시키는 것 (632) 에 의해 이미지 및 모델 도메인들에서의 속성 그래프들을 매칭시키는 단계 (630) 를 더 포함할 수도 있다.
일부 예들에 따르면, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 이미지 및 모델 도메인들에서의 속성 그래프들 사이의 연결들의 수를 감소시키는 단계 (634) 및 감소된 연결들에 기초한 패턴들로 2차원 이미지의 모델 도메인 표현을 백라벨링하는 단계 (370) 를 포함할 수도 있다.
일부 예들에 따르면, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 2차원 이미지 (224) 를 모델 도메인 표현 (230) 과 오버레이하는 것에 의해 합성 이미지를 렌더링하는 단계를 포함할 수도 있다.
일부 예들에 따르면, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 이미지 도메인 표현에서 각각의 노드와 관련된 특징들을 결정하는 단계 및 이 특징들을 2차원 이미지 (224) 의 화소들에 제공하는 것에 의해, 이미지 도메인 표현에서의 각각의 노드에 대한 로컬 특징들의 액티비티 벡터들을 나타내는 정점 라벨들 (344) 을 획득하는 단계를 포함할 수도 있다.
추가의 예들에 따르면, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 이미지 도메인 표현의 노드들 사이의 링크들을 확립하는 것에 의해, 이미지 도메인 표현의 노드들 사이의 연결성을 나타내는 에지 라벨들 (346) 을 획득하는 단계를 포함할 수도 있다.
증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법의 추가의 예들에 따르면, 이미지 도메인에서의 속성 그래프 (348) 는, 이미지 도메인 표현에서의 노드들, 및 관련 정점 및 에지 라벨들 (344, 346) 의 수집물로서 정의될 수도 있다.
추가의 예들에 따르면, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 모델 도메인에서의 각각의 노드에 대한 변동 이미지들의 세트에 대한 시간 평균을 제공하는 것에 의해, 모델 도메인에서의 노드들에 대한 실제 속성 값들을 추정한다 (628).
추가의 예들에 따르면, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 모델 도메인에서의 노드들 사이의 바인딩들 (362) 을 시간적 상관도들로서 인코딩한다.
추가의 예들에 따르면, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법은 인코딩된 바인딩들 (362) 에 기초하여 모델 도메인에서의 노드들 사이의 링크들에 대해 가중치들을 계산하고 할당한다.
본 개시물은 또한 증강 현실 (AR) 시스템들 (100) 에서 대상 인식을 수행하는 장치 (700) 를 설명한다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치는, 이미지 데이터 및 그래프 데이터 (528-1, 528-2) 를 저장하도록 구성된 메모리 (506) 와 동적 모델링 모듈 (326) 을 실행하도록 구성된 제 1 처리 유닛을 구비할 수도 있는데, 동적 모델링 모듈은, 2차원 (2D) 이미지를, 저장된 이미지 데이터로부터, 링크된 노드들의 2D 어레이 (342) 를 포함하는 이미지 도메인 표현으로 변환하는 것으로서, 각각의 노드는 이미지 도메인에서의 적어도 하나의 구별되는 특징을 인코딩하는, 그 이미지 도메인 표현으로 변환하고, 이미지 도메인에서의 각각의 노드에 대한 적어도 하나의 특징의 액티비티 벡터들을 나타내는 정점 라벨들 (344) 을 결정하고, 이미지 도메인의 노드들 사이의 연결성을 나타내는 에지 라벨들 (346) 을 결정하며, 정점 라벨들 및/또는 에지 라벨들 중 하나 이상에 기초하여 모델 도메인에서 속성 그래프 (350) 를 정의하도록 구성될 수도 있고, 그 속성 그래프는 그래프 데이터의 부분으로서 메모리에 저장된다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치는, 그래프 매칭 모듈 (328) 을 실행하도록 구성된 제 2 처리 유닛을 더 구비할 수도 있는데, 그래프 매칭 모듈은 이미지 도메인에서의 노드들과 모델 도메인에서의 대응하는 노드들 사이의 링크들을 식별하고 활성화시키며 (632) 유사한 특징들을 갖는 노드들 사이의 연결들의 수를 감소시키도록 (634) 구성될 수도 있다.
증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치의 일부 예들에 따르면, 동적 모델링 모듈 (326) 은 또한, 이미지 도메인에서의 노드들을 그룹화하고 선택적으로 활성화시키도록 (624) 구성될 수도 있다.
증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치의 일부 예들에 따르면, 동적 모델링 모듈 (326) 은 또한, 이미지 도메인에서의 노드들을 유사한 특징 벡터들과 함께 바인딩하는 것에 의해, 이미지 도메인에서의 노드들을 그룹화하도록 구성될 수도 있다.
증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치의 일부 예들에 따르면, 그래프 매칭 모듈 (328) 은 또한, 메모리 (506) 로부터 연결 패턴을 검색하고, 메모리로부터 검색된 연결 패턴으로 정점 위치들의 탐색을 수행하는 것에 의해, 이미지 도메인 및 모델 도메인에서의 노드들 사이의 링크들을 식별하고 활성화시키도록 (632) 구성될 수도 있다.
증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치의 일부 예들에 따르면, 그래프 매칭 모듈 (328) 은 또한, 미리 정의된 비용 함수에 따라 정점 라벨들 (344) 과 에지 라벨들 (346) 을 매칭하도록 구성될 수도 있다.
일부 예들에 따르면, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치는 렌더링 모듈 (108) 을 실행하도록 구성된 제 3 처리 유닛을 구비할 수도 있는데, 렌더링 모듈은 2차원 이미지 (224) 를, 감소된 연결들에 기초한 이미지의 모델 도메인 표현과 오버레이하는 것에 의해 합성 이미지를 렌더링하도록 구성될 수도 있다.
증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치의 일부 예들에 따르면, 제 1, 제 2, 및 제 3 처리 유닛들은 제 1 컴퓨팅 디바이스 (106), 제 2 컴퓨팅 디바이스 (110), 및 제 3 컴퓨팅 디바이스 (108) 에 각각 통합될 수도 있고, 제 1, 제 2, 및 제 3 컴퓨팅 디바이스들은 네트워크를 통해 통신할 수도 있다.
증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치의 일부 예들에 따르면, 제 1, 제 2, 및 제 3 처리 유닛들은 동일한 프로세서 (504) 의 부분일 수도 있다.
본 개시물은 증강 현실 (AR) 시스템들 (100) 에서 대상 인식을 수행하기 위한 명령들 (704) 을 저장하고 있는 컴퓨터 판독가능 저장 매체 (706) 를 더 설명한다. 명령들은 대상의 2차원 이미지를, 복수의 링크된 노드들을 포함하는 이미지 도메인 표현으로 컨버팅하는 것 (622) 을 포함할 수도 있고, 각각의 노드는 특징 검출기들의 세트를 포함한다. 명령들은 또한 특징 검출기들을 2차원 이미지의 각각의 화소에 제공하는 것에 의해, 특징 검출기들의 액티비티 벡터들을 나타내는 정점 라벨들 (344) 을 결정하는 것을 구비할 수도 있다. 명령들은 또한 각각의 노드 사이의 링크들을 검출하는 것에 의해, 노드들 사이의 연결성을 나타내는 에지 라벨들 (346) 을 결정하는 것을 더 포함할 수도 있다. 명령들은 또한 정점 및 에지 라벨들 (344, 346) 에 기초하여 이미지 도메인에서 속성 그래프들 (348) 을 생성하는 것과 모델 도메인에서 속성 그래프 (350) 를 정의하는 것을 포함할 수도 있으며, 모델 도메인에서의 속성 그래프는 이미지 도메인에서의 속성 그래프의 이상화된 사본일 수도 있다. 명령들은 이미지 도메인 및 모델 도메인에서의 속성 그래프들 사이의 연결들을 속성 그래프들의 정점 라벨들 및 에지 라벨들을 매칭시키는 것 (630) 에 기초하여 결정하고, 이 연결들을 이미지 도메인과 모델 도메인 사이의 토폴로지 보존 매핑으로 감소시키는 것 (634) 을 더 포함할 수도 있다.
일부 예들에 따르면, 증강 현실 (AR) 시스템들 (100) 에서 대상 인식을 수행하기 위한 명령들 (704) 을 저장하고 있는 컴퓨터 판독가능 저장 매체는, 매핑된 연결들에 기초하여 패턴들 (481-487) 을 인식하는 것, 인식된 패턴들에 기초하여 가상 이미지 (474) 를 생성하는 것, 및 2차원 이미지 (472) 와 가상 이미지 (474) 를 오버레이하는 것에 기초하여 합성 이미지를 생성하는 것을 포함할 수도 있다.
일부 예들에 따르면, 증강 현실 (AR) 시스템들 (100) 에서 대상 인식을 수행하기 위한 명령들 (704) 을 저장하고 있는 컴퓨터 판독가능 저장 매체는, 정점 위치들을 탐색하고, 미리 정의된 비용 함수에 따라 각각의 정점 위치에 대해 정점 라벨들 (344) 과 에지 라벨들 (346) 사이의 매치를 최적화하는 것에 의해, 이미지 도메인 및 모델 도메인에서의 속성 그래프들 사이의 연결들을 결정하는 것 (632) 을 더 포함할 수도 있다.
일부 예들에 따르면, 증강 현실 (AR) 시스템들 (100) 에서 대상 인식을 수행하기 위한 명령들 (704) 을 저장하고 있는 컴퓨터 판독가능 저장 매체는, 모델 도메인에 대한 참조 없이 유사한 특징 벡터들 (348) 을 갖는 이미지 도메인에서의 노드들을 바인딩하는 것을 더 포함할 수도 있다.
일부 예들에 따르면, 증강 현실 (AR) 시스템들 (100) 에서 대상 인식을 수행하기 위한 명령들 (704) 을 저장하고 있는 컴퓨터 판독가능 저장 매체는, 근사 이웃 보존 및 특징 유형 보존 매핑이 속성 그래프들의 실질적으로 모든 노드들 사이에 존재하면, 이미지 도메인 및 모델 도메인에서의 속성 그래프 쌍에 대한 연결들을 각각 결정하는 것 (632) 을 더 포함할 수도 있다.
일부 예들에 따르면, 증강 현실 (AR) 시스템들 (100) 에서 대상 인식을 수행하기 위한 명령들 (704) 을 저장하고 있는 컴퓨터 판독가능 저장 매체는, 이미지 도메인에서의 노드들 사이의 링크들에 할당된 가중치들 (362) 에 기초하여, 이미지 도메인 및 모델 도메인에서의 속성 그래프 쌍들에 대한 연결들을 결정하는 것 (632) 을 더 포함할 수도 있다.
증강 현실 (AR) 시스템들 (100) 에서 대상 인식을 수행하기 위한 명령들 (704) 을 저장하고 있는 컴퓨터 판독가능 저장 매체의 일부 예들에 따르면, 이미지 도메인에서 속성 그래프 (348) 를 생성하는 것, 모델 도메인에서 속성 그래프 (350) 를 정의하는 것, 및 이미지 도메인 및 모델 도메인에서의 속성 그래프들 사이의 연결들을 결정하는 것 (632) 은 인터레이스 형태로 수행될 수도 있다.
증강 현실 (AR) 시스템들 (100) 에서 대상 인식을 수행하기 위한 명령들 (704) 을 저장하고 있는 컴퓨터 판독가능 저장 매체의 일부 예들에 따르면, 각각의 노드는 로컬 광 세기, 반사 특성, 대상의 자세, 폐색, 및/또는 배경 변화를 포함하는 하나 이상의 특징들에 관련될 수도 있다.
본 개시물은 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템을 더 설명한다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템은, 실제 장면 (102) 의 2차원 (2D) 이미지 (224) 를 캡처하도록 구성된 적어도 하나의 센서 (104) 및 이미지 도메인에서의 노드들의 2D 어레이 (622) 를 포함하는 이미지 도메인 표현으로 2D 이미지 (224) 를 컨버팅하도록 구성된 이미지 처리 서버 (106) 를 구비할 수도 있고, 각각의 노드는 특징 검출기들의 세트를 포함한다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템은, 이미지 도메인에서의 각각의 노드에 대한 적어도 하나의 특징의 액티비티 벡터들을 나타내는 정점 라벨들 (344) 을 결정하고, 이미지 도메인의 노드들 사이의 연결성을 나타내는 에지 라벨들 (346) 을 결정하고, 정점 및 에지 라벨들에 기초하여 이미지 도메인에서의 속성 그래프 (348) 및 모델 도메인에서의 다른 속성 그래프 (350) 를 정의하고, 이미지 도메인에서의 노드들과 모델 도메인에서의 대응하는 노드들 사이의 링크들을 식별하고 활성화시키며 (632) 유사한 특징들을 갖는 노드들 사이의 연결들의 수를 감소시키도록 (634) 구성된 리얼리티 서버 (110) 를 구비할 수도 있다. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템은 또한, 이미지 도메인에서의 속성 그래프와 이미지 도메인에서의 다른 속성 그래프 사이의 감소된 연결들에 기초하여 렌더링된 가상 이미지와 2D 이미지 (224) 를 오버레이하는 것에 의해, 증강된 장면 (114) 을 생성하도록 구성된 이미지 생성 서버 (108) 를 포함할 수도 있다.
일부 예들에 따르면, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템은 또한, 모델 도메인에서의 속성 그래프를 연상 데이터 저장소 (352) 에 저장하도록 구성될 수도 있다.
일부 예들에 따르면, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템은 또한, 속성 그래프들의 실질적으로 모든 노드들 사이의 근사 이웃 보존 및 특징 유형 보존 매핑을 결정함으로써 이미지 도메인에서의 노드들과 모델 도메인에서의 대응하는 노드들 사이의 링크들을 식별하고 활성화시키며 (632), 연결들을 토폴로지 보존 연결들로 감소시키도록 (634) 구성될 수도 있다.
증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템의 일부 예들에 따르면, 이미지 처리 서버 (106), 리얼리티 서버 (110), 및 이미지 생성 서버 (108) 는 중앙집중형 AR 시스템과 분산형 AR 시스템 중 하나의 AR 시스템의 부분일 수도 있다.
일부 예들에 따르면, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템은, 증강된 장면 (114) 을 시각화하도록 구성된 시각화 시스템 (112) 을 더 구비할 수도 있고, 시각화 시스템은 헤드 탑재형 디스플레이, 가상 망막 디스플레이, 및/또는 모니터 중 하나 이상을 더 구비할 수도 있다.
시스템들의 양태들의 하드웨어 및 소프트웨어 구현물들 사이에는 남아있는 약간의 차이들이 있는데, 하드웨어 또는 소프트웨어의 사용은 대체로 (하지만 항상 그렇지는 않은, 어떤 특정 상황들에서 하드웨어와 소프트웨어 사이의 선정은 종요해질 수도 있다는 점에서) 디자인 선정 표현 비용 대 효율 트레이드오프이다. 본 개시물에서 설명되는 프로세스들 및/또는 시스템들 및/또는 다른 기술들이 유효하게 될 수도 있게 하는 갖가지 운송수단들이 존재하고, 이 프로세스들 및/또는 시스템들 및/또는 다른 기술들이 배치되는 상황에 따라 바람직한 운송수단이 가변할 것이다. 예를 들어, 구현자 (implementer) 가 속도 및 정확도가 다른 무엇보다 중요하다고 결정하면, 구현자는 주로 하드웨어 및/또는 펌웨어 운송수단을 택할 수도 있으며; 유연성이 무엇보다도 중요하다면, 구현자는 주로 소프트웨어 구현물을 택할 수도 있으며; 또는, 또 다시 다르게는, 구현자는 하드웨어, 소프트웨어, 및/또는 펌웨어의 일부 조합을 택할 수도 있다.
전술한 상세한 설명은 블록도들, 흐름도들, 및/또는 예들의 사용을 통해 디바이스들 및/또는 프로세스들의 갖가지 실시예들을 언급하고 있다. 이러한 블록도들, 흐름도들, 및/또는 예들이 하나 이상의 기능들 및/또는 동작들을 포함하고 있는 한, 이러한 블록도들, 흐름도들, 또는 예들 내의 각각의 기능 및/또는 동작이 다앙한 범위의 하드웨어, 소프트웨어, 펌웨어, 또는 그것들의 가상적인 임의의 조합에 의해 개별적으로 및/또는 집합적으로 구현될 수도 있다는 것이, 당업자에 의해 이해될 것이다. 하나의 실시예에서, 본 개시물에서 설명되는 청구물의 여러 부분들이 주문형 집적회로들 (ASIC들), 필드 프로그램가능 게이트 어레이들 (FPGA들), 디지털 신호 프로세서들 (DSP들), 또는 다른 집적형 포맷들을 통해 구현될 수도 있다. 그러나, 당업자는, 본 개시물에 개시된 실시예들의 일부 양태들이, 전체로 또는 부분적으로, 하나 이상의 컴퓨터들 상에서 실행중인 하나 이상의 컴퓨터 프로그램들로서 (예컨대, 하나 이상의 컴퓨터 시스템들 상에서 실행중인 하나 이상의 프로그램들로서), 하나 이상의 프로세서들 상에서 실행중인 하나 이상의 프로그램들로서 (예컨대 하나 이상의 마이크로프로세서들 상에서 실행중인 하나 이상의 프로그램들로서), 펌웨어로서, 또는 그것들의 가상의 임의의 조합으로서, 집적회로들에서 동등하게 구현될 수도 있다는 것과, 회로를 설계하는 것 및/또는 소프트웨어 및 또는 펌웨어를 위한 코드를 작성하는 것이 본 개시물에 비추어 당업자의 스킬 내에서 잘 이루어질 것이라는 것을 인정할 것이다.
본 개시물은 갖가지 양태들의 예시들로서 의도되는 이 애플리케이션에서 설명되는 특정한 실시예들의 관점으로 제한되지 않는다. 많은 변형들 및 개조들이 당업자에게 명확한 바와 같이, 본 개시물의 정신 및 범위로부터 벗어남 없이 만들어질 수 있다. 본 개시물에서 열거된 것들 외에, 본 개시물의 범위 내의 기능적으로 동등한 방법들 및 장치들은, 전술한 설명으로부터 당업자에게 명백할 것이다. 이러한 변형들 및 개조들은 첨부의 청구항들의 범위 내에 포함되도록 의도된다. 본 개시물은 첨부의 청구항들의 제한들과 함께 이러한 청구항들의 자격이 주어지는 동등물들의 전체 범위에 의해서만 한정된다. 본 개시물은 물론, 가변할 수 있는 특정 방법들, 시약들 (reagents), 화합물들 조성물들, 생물학적 시스템들로 한정되지는 않는다는 것이 이해된다. 본 개시물에서 사용된 용어들은 특정 실시예들 만을 설명하기 위한 것이고, 한정할 의도는 아니라는 것 또한 이해된다.
덧붙여서, 당업자는, 본 개시물에서 설명되는 청구물의 메커니즘들이 프로그램 제품으로서 다양한 형태로 배포될 수 있다는 것과, 본 개시물에서 설명되는 청구물의 예시적인 실시예들이 실질적으로 배포를 실행하는데 사용되는 신호 베어링 매체의 특정한 유형에 무관하게 적용될 수 있다는 것이 이해할 것이다. 신호 베어링 매체의 예들은, 플로피 디스크, 하드 디스크 드라이브, 콤팩트 디스크 (CD), 디지털 비디오 디스크 (DVD), 디지털 테이프, 컴퓨터 메모리 등과 같은 기록가능형 매체; 및 디지털 및/또는 아날로그 통신 매체 (예컨대, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등) 와 같은 전송형 매체를 포함하지만 이것들로 한정되지는 않는다.
당업자는, 디바이스들 및/또는 프로세스들을 본 개시물에 언급된 형태로 설명하는 것과 그 후에 엔지니어링 관행들을 이용하여 이렇게 설명된 디바이스들 및/또는 프로세스들을 데이터 처리 시스템들에 통합하는 것이 이 기술분야 내에서 흔하다는 것을 인정할 것이다. 다시 말하면, 본 개시물에서 설명되는 디바이스들 및/또는 프로세스들의 적어도 일 부분은 합리적인 양의 실험을 통해 데이터 처리 시스템에 통합될 수도 있다. 당업자는, 전형적인 데이터 처리 시스템이 일반적으로, 시스템 유닛 하우징, 비디오 디스플레이 디바이스, 휘발성 및 비휘발성 메모리와 같은 메모리, 마이크로프로세서들 및 디지털 신호 프로세서들과 같은 프로세서들, 운영체제들, 드라이버들, 그래픽 사용자 인터페이스들, 및 애플리케이션들 프로그램들과 같은 컴퓨터 사용 (computational) 엔티티들, 하나 이상의 상호작용 디바이스들, 이를테면 터치 패드 또는 스크린, 및/또는 피드백 루프들 및 제어 모터들 (예컨대, 갠트리 (gantry) 시스템들의 위치 및/또는 속도를 감지하기 위한 피드백; 성분들 및/또는 분량들을 이동시키고 및/또는 조절하기 위한 제어 모터들) 을 구비한 제어 시스템들 중 하나 이상을 구비할 것임을 인정할 것이다.
전형적인 데이터 처리 시스템은 임의의 적절한 상업적으로 입수가능한 구성요소들, 이를테면 데이터 컴퓨팅/통신 및/또는 네트워크 컴퓨팅/통신 시스템들에서 통상 발견되는 것들을 활용하여 구현될 수도 있다. 본 개시물에서 설명되는 청구물은 때때로 상이한 다른 구성요소들 내에 포함되거나 또는 그런 다른 구성요소들과 연결되는 상이한 구성요소들을 도시한다. 이렇게 묘사된 아키텍처들은 단지 예시적인 것이라는 것과, 실제로 동일한 기능을 달성하는 많은 다른 아키텍처들이 구현될 수도 있다는 것이 이해된다. 개념적인 의미에서, 동일한 기능을 달성하는 구성요소들의 임의의 배치는 소망의 기능이 달성되도록 효과적으로 "관련된"다. 그런고로, 특정 기능을 달성하기 위해 조합되는 여기서의 임의의 두 개의 구성요소들은, 아키텍처들 또는 중간 구성요소들에 무관하게, 소망의 기능이 달성되도록 서로"에 관련되는" 것으로 보여질 수도 있다. 비슷하게, 그렇게 관련되는 임의의 두 개의 구성요소들은 또한 소망의 기능을 달성하기 위해 서로에 "동작상 연결된", 또는 "동작상 결합된" 것으로 보일 수도 있고, 그렇게 관련될 수 있는 임의의 두 개의 구성요소들은 또한 소망의 기능을 달성하기 위해 서로에 "동작상 결합가능한" 것으로 보일 수도 있다. 동작상 결합가능한의 구체적인 예들은, 물리적으로 연결가능한 및/또는 물리적으로 상호작용하는 구성요소들 및/또는 무선으로 상호작용가능한 및/또는 무선으로 상호작용하는 구성요소들 및/또는 논리적으로 상호작용하는 및/또는 논리적으로 상호작용가능한 구성요소들을 포함하지만 이것들로 한정되지는 않는다.
본 명세서에서의 실질적으로 임의의 복수 및/또는 단수 용어들의 사용에 관하여, 당업자는 상황 및/또는 응용에 적합한 대로 복수에서 단수로 및/또는 단수에서 복수로 변환할 수 있다. 갖가지 단수/복수 바꾸기들은 명료함을 위해 여기서 명시적으로 언급될 수도 있다.
대체로, 본 개시물에서, 그리고 특히 첨부의 청구항들 (예컨대, 첨부의 청구항들의 본문들) 에서 사용되는 용어들은 대체로 "개방형" 용어들로서 의도된다 (예컨대, 용어 "포함하는"은 "포함하지만 그것으로 한정되지는 않는" 것으로서 해석되어야 하며, 용어 "가지는"은 "적어도 ~를 가지는" 것으로서 해석되어야 하고, 용어 "포함한다"는 "포함하지만 그것으로 한정되지는 않는다"로 해석되어야 하는 등이다) 는 것이 당업자에게는 이해될 것이다. 도입 청구항 한정의 특정한 수가 의도된다면, 이러한 의도는 청구항에서 명시적으로 언급될 것이고, 그러한 한정이 없으면 그러한 의도는 없다는 것이 당업자에게는 추가로 이해될 것이다. 예를 들어, 이해를 돕기 위한 것으로서, 다음의 첨부의 청구항들이 청구항 한정들을 도입하기 위해 도입어구들인 "적어도 하나의" 및 "하나 이상의"의 사용을 포함할 수도 있다. 그러나, 이러한 어구들의 사용은, 부정관사들인 "a" 또는 "an"에 해당한다고 여겨질 국어 표현들에 의한 청구항 한정의 도입이, 동일한 청구항이 도입 어구들인 "하나 이상의" 또는 "적어도 하나의"와 "a" 또는 "an" (예컨대, "a" 및/또는 "an"은 "적어도 하나의" 또는 "하나 이상의"를 의미하는 것으로 의도되어야 한다) 와 같은 부정관사들에 해당한다고 여겨질 국어 표현들을 포함하는 경우에도, 하나의 그러한 한정만을 포함하고 있는 실시예들에 대한 도입 청구항 한정을 포함하고 있는 임의의 특정한 청구항을 한정하는 것이라고 해석되지 않아야 하고; 동일한 것이 청구항 한정들을 도입하는데 사용되는 정관사들의 사용에 대해 참을 유지한다. 덧붙여서, 도입되는 청구항 한정의 구체적인 수가 명시적으로 언급되는 경우에도, 당업자는 그러한 한정이 적어도 언급된 수를 의미하는 것으로 해석하여야 한다 (예컨대, 다른 수식어 없이 가장 기본적인 것만 갖춘 "2의 언급"은, 적어도 2개의 언급, 또는 둘 이상의 언급을 의미한다).
더욱이, "A, B, 및 C 중 적어도 하나 등"에 유사한 약속사항이 사용되는 그런 경우들에서, 대체로 이러한 구조는 당업자가 그 약속사항을 이해할 것이라는 뜻으로 의도된다 (예컨대, "A, B, 및 C 중 적어도 하나를 갖는 시스템"은 A 단독, B 단독, C 단독, A 및 B를 함께, A 및 C를 함께, B 및 C를 함께, 및/또는 A, B, 및 C를 함께 등등을 가지는 시스템들을 포함하지만 그러한 시스템들로 한정되지는 않을 것이다). "A, B, 또는 C 중 적어도 하나 등"에 유사한 약속사항이 사용되는 그런 경우들에서, 대체로 이러한 구조는 당업자가 그 약속사항을 이해할 것이라는 뜻으로 의도된다 (예컨대, "A, B, 또는 C 중 적어도 하나를 갖는 시스템"은 A 단독, B 단독, C 단독, A 및 B를 함께, A 및 C를 함께, B 및 C를 함께, 및/또는 A, B, 및 C를 함께 등등을 가지는 시스템들을 포함하지만 그러한 시스템들로 한정되지는 않을 것이다). 둘 이상의 대체 용어들을 나타내는 가상의 임의의 선언적인 날말 및/또는 어구는, 상세한 설명, 청구범위, 또는 도면 중 어디에 있든, 용어들 중 하나, 용어들 중 어느 것이든, 또는 용어들 양쪽 모두를 포함할 가능성들을 생각하는 것으로 이해되어야 함을 당업자에 의해 추가로 이해될 것이다. 예를 들어, 어구 "A 또는 B"는 "A" 또는 "B" 또는 "A 및 B"의 가능성들을 포함하는 것으로 이해될 것이다.
덧붙여서, 본 개시물의 특징들 또는 양태들이 마쿠쉬 그룹들의 용어로 기재되는 경우, 당업자는 본 개시물이 또한 마쿠쉬 그룹의 구성원들로 된 서브그룹 또는 임의의 개개의 구성원의 관점에서도 설명된다는 것이 이해될 것이다.
당업자에 의해 이해될 바와 같이, 임의의 및 모든 목적들에 대해, 이를테면 기재된 설명을 제공하는 견지에서, 본 개시물에서 개시되는 모든 범위들 또한 임의의 및 모든 가능한 하위범위들 및 하위범위들의 조합들을 포괄한다. 임의의 열거된 범위는 적어도 동일한 절반들, 1/3들, 1/4들, 1/5들, 1/10들 등으로 나누어지는 충분히 설명되고 가능한 동일한 범위로서 쉽게 인식될 수 있다. 비 제한적인 예로서, 본 개시물에서 논의되는 각각의 범위는 하부 1/3, 중간 1/3 및 상부 1/3 등으로 손쉽게 나누어질 수 있다. 당업자에 의해 또한 이해될 바와 같이, "~까지", "적어도" "보다 큰," "~ 미만" 등등과 같은 모든 표현들은 언급된 수를 포함하고 위에서 논의된 바와 같이 뒤에서 하위범위로 나누어질 수 있는 범위들을 말한다. 마지막으로, 당업자에 의해 또한 이해될 바와 같이, 범위는 각 개개의 구성원을 포함한다. 그래서, 예를 들어, 1-3개의 셀들을 갖는 그룹은 1, 2, 또는 3개의 셀들을 갖는 그룹들을 말한다. 마찬가지로, 1-5개의 셀들을 갖는 그룹은 1, 2, 3, 4, 또는 5개의 셀들을 갖는 그룹들을 말하는 등등이다.
갖가지 양태들 및 실시예들이 본 개시물에서 개시되었지만, 다른 양태들 및 실시예들이 당업자에게는 명백할 것이다. 본 개시물에 개시된 갖가지 양태들 및 실시예들은 예시의 목적을 위한 것이고 제한할 의도는 아니며, 진정한 범위 및 정신은 다음의 청구항들에 의해 나타내어진다.

Claims (30)

  1. 증강 현실 (Augmented Reality; AR) 시스템들에서 대상 인식을 수행하는 방법으로서,
    대상의 2차원 이미지를 이미지 도메인 표현으로 컨버팅하는 단계;
    상기 이미지 도메인 표현의 노드들 사이의 링크들에 기초하여 이미지 도메인에서 속성 그래프를 정의하는 단계;
    모델 도메인에서 다른 속성 그래프를 정의하는 단계; 및
    상기 속성 그래프들의 대응하는 노드들 사이의 링크들을 식별하고 활성화시키는 것에 의해, 상기 이미지 및 모델 도메인들에서의 상기 속성 그래프들을 매칭하는 단계를 포함하는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법.
  2. 제 1 항에 있어서,
    상기 이미지 및 모델 도메인들에서의 상기 속성 그래프들 사이의 연결들의 수를 감소시키는 단계; 및
    상기 감소된 연결들에 기초한 패턴들로 상기 2차원 이미지의 모델 도메인 표현을 백라벨링 (back-labeling) 하는 단계를 더 포함하는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법.
  3. 제 2 항에 있어서,
    상기 2차원 이미지를 상기 모델 도메인 표현과 오버레이하는 것에 의해, 합성 이미지를 렌더링하는 단계를 더 포함하는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법.
  4. 제 1 항에 있어서,
    상기 이미지 도메인 표현에서의 각각의 노드와 관련된 특징들을 결정하는 단계; 및
    상기 특징들을 상기 2차원 이미지의 화소들에 제공하는 것에 의해, 상기 이미지 도메인 표현에서의 각각의 노드에 대한 로컬 특징들의 액티비티 벡터 (activity vector) 들을 나타내는 정점 라벨들을 획득하는 단계를 더 포함하는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법.
  5. 제 4 항에 있어서,
    상기 이미지 도메인 표현의 상기 노드들 사이의 링크들을 확립하는 것에 의해, 상기 이미지 도메인 표현의 상기 노드들 사이의 연결성을 나타내는 에지 라벨들을 획득하는 단계를 더 포함하는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법.
  6. 제 5 항에 있어서,
    상기 이미지 도메인에서의 상기 속성 그래프는, 상기 이미지 도메인 표현에서의 상기 노드들, 및 관련 정점 및 에지 라벨들의 수집물로서 정의되는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법.
  7. 제 1 항에 있어서,
    상기 모델 도메인에서의 각각의 노드에 대한 변동 이미지들의 세트에 대한 시간 평균을 제공하는 것에 의해, 상기 모델 도메인에서의 상기 노드들에 대한 실제 속성 값들을 추정하는 단계를 더 포함하는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법.
  8. 제 7 항에 있어서,
    상기 모델 도메인에서의 노드들 사이의 바인딩들을 시간적 상관도들로서 인코딩하는 단계를 더 포함하는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법.
  9. 제 8 항에 있어서,
    상기 인코딩된 바인딩들에 기초하여 상기 모델 도메인에서의 상기 노드들 사이의 링크들에 가중치들을 계산하고 할당하는 단계를 더 포함하는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 방법.
  10. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치로서,
    이미지 데이터 및 그래프 데이터를 저장하도록 구성된 메모리;
    동적 모델링 모듈을 실행하도록 구성된 제 1 처리 유닛; 및
    그래프 매칭 모듈을 실행하도록 구성된 제 2 처리 유닛을 포함하고,
    상기 동적 모델링 모듈은,
    2차원 (2D) 이미지를, 상기 저장된 이미지 데이터로부터, 링크된 노드들의 2D 어레이를 포함하는 이미지 도메인 표현으로 변환하는 것으로서, 각각의 노드는 이미지 도메인에서의 적어도 하나의 구별되는 특징을 인코딩하는, 상기 이미지 도메인 표현으로 변환하고;
    상기 이미지 도메인에서의 각각의 노드에 대한 상기 적어도 하나의 특징의 액티비티 벡터들을 나타내는 정점 라벨들을 결정하고;
    상기 이미지 도메인의 상기 노드들 사이의 연결성을 나타내는 에지 라벨들을 결정하며;
    상기 정점 라벨들 및/또는 상기 에지 라벨들 중 하나 이상에 기초하여 모델 도메인에서 속성 그래프를 정의하는 것으로서, 상기 속성 그래프는 상기 그래프 데이터의 부분으로서 상기 메모리에 저장되는, 상기 모델 도메인에서 속성 그래프를 정의하도록
    구성되고;
    상기 그래프 매칭 모듈은,
    상기 이미지 도메인에서의 상기 노드들와 상기 모델 도메인에서의 대응하는 노드들 사이의 링크들을 식별하고 활성화시키며;
    유사한 특징들을 갖는 노드들 사이의 연결들의 수를 감소시키도록
    구성되는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치.
  11. 제 10 항에 있어서,
    상기 동적 모델링 모듈은 또한,
    상기 이미지 도메인에서의 상기 노드들을 그룹화하고 선택적으로 활성화시키도록 구성되는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치.
  12. 제 11 항에 있어서,
    상기 동적 모델링 모듈은 또한, 상기 이미지 도메인에서의 노드들을 유사한 특징 벡터들과 함께 바인딩하는 것에 의해, 상기 이미지 도메인에서의 상기 노드들을 그룹화하도록 구성되는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치.
  13. 제 10 항에 있어서,
    상기 그래핑 매칭 모듈은 또한,
    상기 메모리로부터 연결 패턴을 검색하는 것; 및
    상기 메모리로부터 검색된 상기 연결 패턴으로 정점 위치들에 대한 탐색을 수행하는 것
    에 의해 상기 이미지 도메인 및 상기 모델 도메인에서의 상기 노드들 사이의 상기 링크들을 식별하고 활성화시키도록 구성되는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치.
  14. 제 13 항에 있어서,
    상기 그래프 매칭 모듈은 또한,
    미리 정의된 비용 함수에 따라 상기 정점 라벨들과 상기 에지 라벨들을 매칭하도록 구성되는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치.
  15. 제 10 항에 있어서,
    렌더링 모듈을 실행하도록 구성된 제 3 처리 유닛을 더 포함하고,
    상기 렌더링 모듈은, 상기 2차원 이미지를, 상기 감소된 연결들에 기초한 이미지의 모델 도메인 표현과 오버레이하는 것에 의해, 합성 이미지를 렌더링하도록 구성되는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치.
  16. 제 15 항에 있어서,
    상기 제 1, 제 2, 및 제 3 처리 유닛들은 제 1 컴퓨팅 디바이스, 제 2 컴퓨팅 디바이스, 및 제 3 컴퓨팅 디바이스에 각각 통합되고,
    상기 제 1, 제 2, 및 제 3 컴퓨팅 디바이스들은 네트워크를 통해 통신하는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치.
  17. 제 15 항에 있어서,
    상기 제 1, 제 2, 및 제 3 처리 유닛들은 동일한 프로세서의 부분인, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 장치.
  18. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하기 위한 명령들을 저장하고 있는 컴퓨터 판독가능 저장 매체로서,
    상기 명령들은,
    복수의 링크된 노드들을 포함하는 이미지 도메인 표현으로 대상의 2차원 이미지를 컨버팅하는 것으로서, 각각의 노드는 특징 검출기들의 세트를 포함하는, 상기 대상의 2차원 이미지를 컨버팅하는 것;
    상기 특징 검출기들을 상기 2차원 이미지의 각각의 화소에 제공하는 것에 의해, 상기 특징 검출기들의 액티비티 벡터들을 나타내는 정점 라벨들을 결정하는 것;
    각각의 노드 사이의 링크들을 검출하는 것에 의해, 상기 노드들 사이의 연결성을 나타내는 에지 라벨들을 결정하는 것;
    상기 정점 및 에지 라벨들에 기초하여 상기 이미지 도메인에서 속성 그래프를 생성하는 것;
    모델 도메인에서 속성 그래프를 정의하는 것으로서, 상기 모델 도메인에서의 상기 속성 그래프는 상기 이미지 도메인에서의 상기 속성 그래프의 이상화된 사본 (idealized copy) 인, 상기 모델 도메인에서 상기 속성 그래프를 정의하는 것;
    상기 속성 그래프들의 정점 라벨들과 에지 라벨들의 매칭에 기초하여, 상기 이미지 도메인 및 상기 모델 도메인에서의 상기 속성 그래프들 사이의 연결들을 결정하는 것; 및
    상기 연결들을, 상기 이미지 도메인과 상기 모델 도메인 사이의 토폴로지 보존 매핑으로 감소시키는 것
    을 포함하는, 컴퓨터 판독가능 저장 매체.
  19. 제 18 항에 있어서,
    상기 명령들은,
    상기 매핑된 연결들에 기초하여 패턴들을 인식하는 것;
    상기 인식된 패턴들에 기초하여 가상 이미지를 생성하는 것; 및
    상기 2차원 이미지와 상기 가상 이미지를 오버레이하는 것에 기초하여 합성 이미지를 생성하는 것을 더 포함하는, 컴퓨터 판독가능 저장 매체.
  20. 제 18 항에 있어서,
    상기 명령들은,
    정점 위치들을 탐색하고, 미리 정의된 비용 함수에 따라 각각의 정점 위치에 대해 정점 라벨들과 에지 라벨들 사이의 매칭을 최적화하는 것에 의해, 상기 이미지 도메인 및 상기 모델 도메인에서의 상기 속성 그래프들 사이의 상기 연결들을 결정하는 것을 더 포함하는, 컴퓨터 판독가능 저장 매체.
  21. 제 18 항에 있어서,
    상기 명령들은,
    상기 모델 도메인에 대한 참조 없이 상기 이미지 도메인에서의 노드들을 유사한 특징 벡터들과 바인딩하는 것을 더 포함하는, 컴퓨터 판독가능 저장 매체.
  22. 제 18 항에 있어서,
    상기 명령들은,
    근사 이웃 보존 및 특징 유형 보존 매핑이 상기 속성 그래프들의 실질적으로 모든 노드들 사이에 존재하면, 상기 이미지 도메인 및 상기 모델 도메인에서의 속성 그래프 쌍에 대한 연결들을 각각 결정하는 것을 더 포함하는, 컴퓨터 판독가능 저장 매체.
  23. 제 18 항에 있어서,
    상기 명령들은,
    상기 이미지 도메인에서의 노드들 사이의 링크들에 할당된 가중치들에 기초하여, 상기 이미지 도메인 및 상기 모델 도메인에서의 속성 그래프 쌍에 대한 연결들을 각각 결정하는 것을 더 포함하는, 컴퓨터 판독가능 저장 매체.
  24. 제 18 항에 있어서,
    상기 이미지 도메인에서 상기 속성 그래프를 생성하는 것, 상기 모델 도메인에서 상기 속성 그래프를 정의하는 것, 및 상기 이미지 도메인 및 상기 모델 도메인에서의 상기 속성 그래프들 사이의 연결들을 결정하는 것은, 인터레이스 형태로 수행되는, 컴퓨터 판독가능 저장 매체.
  25. 제 18 항에 있어서,
    각각의 노드는 로컬 광 세기, 반사 특성, 대상의 자세, 폐색, 및/또는 배경 변화를 포함하는 하나 이상의 특징들과 관련되는, 컴퓨터 판독가능 저장 매체.
  26. 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템으로서,
    실제 장면의 2차원 (2D) 이미지를 캡처하도록 구성된 적어도 하나의 센서;
    이미지 도메인에서의 노드들의 2D 어레이를 포함하는 이미지 도메인 표현으로 상기 2D 이미지를 컨버팅하도록 구성된 이미지 처리 서버로서, 각각의 노드는 특징 검출기들의 세트를 포함하는, 상기 이미지 처리 서버;
    리얼리티 서버로서,
    상기 이미지 도메인에서의 각각의 노드에 대한 적어도 하나의 특징의 액티비티 벡터들을 나타내는 정점 라벨들을 결정하고;
    상기 이미지 도메인의 상기 노드들 사이의 연결성을 나타내는 에지 라벨들을 결정하고;
    상기 정점 및 에지 라벨들에 기초하여 상기 이미지 도메인에서의 속성 그래프 및 모델 도메인에서의 다른 속성 그래프를 정의하고;
    상기 이미지 도메인에서의 상기 노드들과 상기 모델 도메인에서의 대응하는 노드들 사이의 링크들을 식별하고 활성화시키며;
    유사한 특징들을 갖는 노드들 사이의 연결들의 수를 감소시키도록
    구성된, 상기 리얼리티 서버; 및
    상기 이미지 도메인에서의 상기 속성 그래프 및 상기 이미지 도메인에서의 상기 다른 속성 그래프 사이의 상기 감소된 연결들에 기초하여 렌더링된 가상 이미지와 상기 2D 이미지를 오버레이하는 것에 의해, 증강된 장면을 생성하도록 구성된 이미지 생성 서버를 포함하는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템.
  27. 제 26 항에 있어서,
    상기 리얼리티 서버는 또한,
    상기 모델 도메인에서의 상기 속성 그래프를 연상 데이터 저장소에 저장하도록 구성되는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템.
  28. 제 26 항에 있어서,
    상기 리얼리티 서버는 또한,
    상기 속성 그래프들의 실질적으로 모든 노드들 사이의 근사 이웃 보존 및 특징 유형 보존 매핑을 결정하는 것에 의해, 상기 이미지 도메인에서의 상기 노드들과 상기 모델 도메인에서의 대응하는 노드들 사이의 링크들을 식별하고 활성화시키며;
    상기 연결들을 토폴로지 보존 연결들로 감소시키도록
    구성되는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템.
  29. 제 26 항에 있어서,
    상기 이미지 프로세싱 서버, 리얼리티 서버, 및 이미지 생성 서버는 중앙집중형 AR 시스템과 분산형 AR 시스템 중 하나의 AR 시스템의 부분인, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템.
  30. 제 26 항에 있어서,
    상기 증강된 장면을 시각화하도록 구성된 시각화 시스템을 더 포함하고,
    상기 시각화 시스템은 헤드 탑재형 디스플레이, 가상 망막 디스플레이, 및/또는 모니터 중 하나 이상을 구비하는, 증강 현실 (AR) 시스템들에서 대상 인식을 수행하는 시스템.
KR1020127013372A 2010-03-10 2011-02-25 증강 현실에서 동적 모델링에 의한 강건한 대상 인식 KR101453630B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/720,858 US8866845B2 (en) 2010-03-10 2010-03-10 Robust object recognition by dynamic modeling in augmented reality
US12/720,858 2010-03-10
PCT/US2011/026252 WO2011112368A2 (en) 2010-03-10 2011-02-25 Robust object recognition by dynamic modeling in augmented reality

Publications (2)

Publication Number Publication Date
KR20120093981A true KR20120093981A (ko) 2012-08-23
KR101453630B1 KR101453630B1 (ko) 2014-10-22

Family

ID=44559533

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127013372A KR101453630B1 (ko) 2010-03-10 2011-02-25 증강 현실에서 동적 모델링에 의한 강건한 대상 인식

Country Status (5)

Country Link
US (1) US8866845B2 (ko)
JP (1) JP5520387B2 (ko)
KR (1) KR101453630B1 (ko)
CN (1) CN102656595B (ko)
WO (1) WO2011112368A2 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160048874A (ko) * 2013-08-30 2016-05-04 퀄컴 인코포레이티드 물리적 장면을 표현하기 위한 방법 및 장치
KR20160055177A (ko) * 2013-09-11 2016-05-17 퀄컴 인코포레이티드 깊이 센서들을 사용하는 구조적 모델링
US11829851B2 (en) 2018-03-13 2023-11-28 Sony Corporation Information processor, mobile device, and method and program thereof

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8866845B2 (en) 2010-03-10 2014-10-21 Empire Technology Development Llc Robust object recognition by dynamic modeling in augmented reality
US8724911B2 (en) * 2010-09-16 2014-05-13 Palo Alto Research Center Incorporated Graph lattice method for image clustering, classification, and repeated structure finding
US8872828B2 (en) 2010-09-16 2014-10-28 Palo Alto Research Center Incorporated Method for generating a graph lattice from a corpus of one or more data graphs
US8666114B2 (en) * 2011-12-01 2014-03-04 Honeywell International Inc. System and method for geospatial partitioning of a geographical region
CN103577788A (zh) 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置
US9165068B2 (en) * 2012-08-03 2015-10-20 Adobe Systems Incorporated Techniques for cloud-based similarity searches
US9286727B2 (en) * 2013-03-25 2016-03-15 Qualcomm Incorporated System and method for presenting true product dimensions within an augmented real-world setting
WO2014192505A1 (ja) * 2013-05-28 2014-12-04 コニカミノルタ株式会社 画像処理装置及びプログラム
US10137361B2 (en) * 2013-06-07 2018-11-27 Sony Interactive Entertainment America Llc Systems and methods for using reduced hops to generate an augmented virtual reality scene within a head mounted system
CN105849719B (zh) 2013-06-27 2021-09-28 惠普发展公司，有限责任合伙企业 增强现实
US9036044B1 (en) * 2013-07-22 2015-05-19 Google Inc. Adjusting camera parameters associated with a plurality of images
CN103455982A (zh) * 2013-08-31 2013-12-18 四川川大智胜软件股份有限公司 一种基于虚实融合机场场面监视视觉增强的方法
US9541996B1 (en) * 2014-02-28 2017-01-10 Google Inc. Image-recognition based game
CN106575365B (zh) * 2014-02-28 2020-09-22 河谷控股Ip有限责任公司 对象识别特点分析系统和方法
CN103929605B (zh) * 2014-04-01 2018-06-08 北京智谷睿拓技术服务有限公司 图像呈现控制方法及图像呈现控制装置
US11017311B2 (en) 2014-06-30 2021-05-25 Hewlett Packard Enterprise Development Lp Dataset augmentation based on occlusion and inpainting
US9852359B2 (en) * 2015-09-14 2017-12-26 International Business Machines Corporation System, method, and recording medium for efficient cohesive subgraph identification in entity collections for inlier and outlier detection
CN108292040B (zh) * 2015-09-30 2020-11-06 索尼互动娱乐股份有限公司 优化头戴式显示器屏幕上的内容定位的方法
US10521410B2 (en) * 2015-11-20 2019-12-31 International Business Machines Corporation Semantic graph augmentation for domain adaptation
US9846970B2 (en) * 2015-12-16 2017-12-19 Intel Corporation Transitioning augmented reality objects in physical and digital environments
CN106408663B (zh) * 2016-08-30 2019-02-22 深圳市彬讯科技有限公司 一种增强现实应用模型真实度的方法及系统
IT201600122898A1 (it) * 2016-12-02 2018-06-02 Ecole Polytechnique Fed Lausanne Epfl Metodi e apparati per codificare e decodificare immagini o flussi video digitali
KR102061408B1 (ko) * 2017-03-24 2019-12-31 (주)제이엘케이인스펙션 가상 3차원 심층 신경망을 이용하는 영상 분석 장치 및 방법
US10991120B2 (en) 2017-11-14 2021-04-27 Samsung Electronics Co., Ltd. Method and apparatus for processing a plurality of undirected graphs
CN109241844B (zh) * 2018-08-03 2020-11-17 百度在线网络技术（北京）有限公司 三维物体的姿态估计方法、装置、设备及存储介质
US11074260B2 (en) * 2018-09-04 2021-07-27 Oracle International Corporation Space-efficient methodology for representing label information in large graph data for fast distributed graph query
KR102118519B1 (ko) 2018-11-22 2020-06-15 삼성전자주식회사 전자 장치 및 그 제어 방법
CN110796673B (zh) * 2019-10-31 2023-02-24 Oppo广东移动通信有限公司 图像分割方法及相关产品
CN110719493A (zh) * 2019-11-07 2020-01-21 广州虎牙科技有限公司 弹幕显示方法、装置、电子设备及可读存储介质
CN111401330B (zh) * 2020-04-26 2023-10-17 四川自由健信息科技有限公司 教学系统及采用该教学系统的智能镜
CN111833454B (zh) * 2020-06-30 2023-11-28 北京市商汤科技开发有限公司 展示方法、装置、设备和计算机可读存储介质
CN114387414B (zh) * 2021-12-13 2024-03-19 武汉工程大学 一种月壤颗粒模型的生成方法、装置、电子设备及介质
CN116824151B (zh) * 2023-05-08 2024-04-16 北京邮电大学 图像特征的识别方法、装置、电子设备及介质

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5317425A (en) * 1992-02-10 1994-05-31 Eastman Kodak Company Technique for use in conjunction with an imaging system for providing an appearance match between two images and for calibrating the system thereto
US6222939B1 (en) * 1996-06-25 2001-04-24 Eyematic Interfaces, Inc. Labeled bunch graphs for image analysis
JP3661287B2 (ja) 1996-08-02 2005-06-15 富士ゼロックス株式会社 画像登録装置および方法
US6047078A (en) * 1997-10-03 2000-04-04 Digital Equipment Corporation Method for extracting a three-dimensional model using appearance-based constrained structure from motion
US6625299B1 (en) * 1998-04-08 2003-09-23 Jeffrey Meisner Augmented reality technology
US5974168A (en) * 1998-04-16 1999-10-26 International Business Machines Corporation Acquiring bump maps from curved objects
JP3791239B2 (ja) 1998-06-09 2006-06-28 松下電器産業株式会社 グラフ表現変換方法及びその装置、並びに自動配置方法及びその装置
US7827488B2 (en) * 2000-11-27 2010-11-02 Sitrick David H Image tracking and substitution system and methodology for audio-visual presentations
US7538764B2 (en) * 2001-01-05 2009-05-26 Interuniversitair Micro-Elektronica Centrum (Imec) System and method to obtain surface structures of multi-dimensional objects, and to represent those surface structures for animation, transmission and display
US7146048B2 (en) * 2001-08-13 2006-12-05 International Business Machines Corporation Representation of shapes for similarity measuring and indexing
JP2003281297A (ja) 2002-03-22 2003-10-03 National Institute Of Advanced Industrial & Technology 情報提示装置および情報提示方法
KR100587570B1 (ko) 2003-10-25 2006-06-08 삼성전자주식회사 그래프 정합기반의 얼굴 인식방법 및 장치
WO2006083297A2 (en) * 2004-06-10 2006-08-10 Sarnoff Corporation Method and apparatus for aligning video to three-dimensional point clouds
US7480414B2 (en) * 2004-10-14 2009-01-20 International Business Machines Corporation Method and apparatus for object normalization using object classification
WO2006056622A1 (es) 2004-11-19 2006-06-01 Daem Interactive, Sl Dispositivo personal con funciones de adquirir imágenes, para aplicación de recursos de realidad aumentada y método
US7623731B2 (en) * 2005-06-20 2009-11-24 Honda Motor Co., Ltd. Direct method for modeling non-rigid motion with thin plate spline transformation
US20070272644A1 (en) * 2006-05-25 2007-11-29 Mcdonald Alan Rodrick Heavy lift trailer crane
WO2007141131A1 (en) * 2006-06-08 2007-12-13 Technische Universitaet Muenchen Microfluidic device for controlled aggregation of spider silk
US20090002489A1 (en) * 2007-06-29 2009-01-01 Fuji Xerox Co., Ltd. Efficient tracking multiple objects through occlusion
GB2452544A (en) * 2007-09-07 2009-03-11 Sony Corp Transforming an image to a model after identifying the best transform metric
TWI348659B (en) * 2007-10-29 2011-09-11 Ind Tech Res Inst Method and system for object detection and tracking
US8218817B2 (en) 2007-12-21 2012-07-10 Honda Motor Co. Ltd. Online articulate object tracking with appearance and shape
US8351649B1 (en) 2008-04-01 2013-01-08 University Of Southern California Video feed target tracking
WO2010029553A1 (en) 2008-09-11 2010-03-18 Netanel Hagbi Method and system for compositing an augmented reality scene
US8866845B2 (en) 2010-03-10 2014-10-21 Empire Technology Development Llc Robust object recognition by dynamic modeling in augmented reality

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160048874A (ko) * 2013-08-30 2016-05-04 퀄컴 인코포레이티드 물리적 장면을 표현하기 위한 방법 및 장치
KR20160055177A (ko) * 2013-09-11 2016-05-17 퀄컴 인코포레이티드 깊이 센서들을 사용하는 구조적 모델링
US11829851B2 (en) 2018-03-13 2023-11-28 Sony Corporation Information processor, mobile device, and method and program thereof

Also Published As

Publication number Publication date
CN102656595A (zh) 2012-09-05
US20110221769A1 (en) 2011-09-15
JP5520387B2 (ja) 2014-06-11
CN102656595B (zh) 2014-10-01
JP2013513191A (ja) 2013-04-18
WO2011112368A2 (en) 2011-09-15
US8866845B2 (en) 2014-10-21
KR101453630B1 (ko) 2014-10-22
WO2011112368A3 (en) 2012-01-19

Similar Documents

Publication Publication Date Title
KR101453630B1 (ko) 증강 현실에서 동적 모델링에 의한 강건한 대상 인식
Hu et al. Learning semantic segmentation of large-scale point clouds with random sampling
Liang et al. Stereo matching using multi-level cost volume and multi-scale feature constancy
Liu et al. Generative adversarial networks for image and video synthesis: Algorithms and applications
CN115205949B (zh) 图像生成方法以及相关设备
Cheraghian et al. Zero-shot learning of 3d point cloud objects
Ding et al. Point cloud saliency detection by local and global feature fusion
CN115131849A (zh) 图像生成方法以及相关设备
WO2023091249A1 (en) Neural semantic fields for generalizable semantic segmentation of 3d scenes
Pesavento et al. Super-resolution 3D human shape from a single low-resolution image
CN112990154B (zh) 一种数据处理方法、计算机设备以及可读存储介质
US20240037788A1 (en) 3d pose estimation in robotics
CN117094895A (zh) 图像全景拼接方法及其系统
Correia et al. 3D reconstruction of human bodies from single-view and multi-view images: A systematic review
Zhao et al. Cvml-pose: convolutional vae based multi-level network for object 3d pose estimation
CN114943799A (zh) 一种面部图像处理方法、装置和计算机可读存储介质
Li et al. Structure-guided camera localization for indoor environments
Liu et al. Deep learning for 3D human pose estimation and mesh recovery: A survey
Kumar et al. Steganography-based facial re-enactment using generative adversarial networks
Yao et al. Neural Radiance Field-based Visual Rendering: A Comprehensive Review
Bi et al. Monocular depth estimation of outdoor scenes using rgb-d datasets
Fan et al. Autonomous Vehicle Vision 2021: ICCV Workshop Summary
Ma et al. Depth Estimation from Monocular Images Using Dilated Convolution and Uncertainty Learning
Sun et al. An ontology-based hybrid methodology for image synthesis and identification with convex objects
Sun et al. Human Behavior Recognition Method Based on Edge Intelligence

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20181129

Year of fee payment: 5