KR101355286B1 - 증강 현실에서 객체들의 정렬 - Google Patents

증강 현실에서 객체들의 정렬 Download PDF

Info

Publication number
KR101355286B1
KR101355286B1 KR1020127013366A KR20127013366A KR101355286B1 KR 101355286 B1 KR101355286 B1 KR 101355286B1 KR 1020127013366 A KR1020127013366 A KR 1020127013366A KR 20127013366 A KR20127013366 A KR 20127013366A KR 101355286 B1 KR101355286 B1 KR 101355286B1
Authority
KR
South Korea
Prior art keywords
processor
image data
cost function
detected image
log likelihood
Prior art date
Application number
KR1020127013366A
Other languages
English (en)
Other versions
KR20120085858A (ko
Inventor
헨리 렁
Original Assignee
엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 filed Critical 엠파이어 테크놀로지 디벨롭먼트 엘엘씨
Publication of KR20120085858A publication Critical patent/KR20120085858A/ko
Application granted granted Critical
Publication of KR101355286B1 publication Critical patent/KR101355286B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/35—Determination of transform parameters for the alignment of images, i.e. image registration using statistical methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)

Abstract

일반적으로, 증강 현실에서 객체들을 정렬하기 위한 기술들이 설명된다. 몇몇 예들에서, 프로세서는 검출된 이미지 데이터 및 가상의 객체 데이터를 수신하도록 구성될 수도 있다. 몇몇 예들에서, 프로세서는 또한, 가상의 객체 데이터 및 검출된 이미지 데이터에 기초하여 세기 레벨 및 피처 레벨에서 가중치들을 생성하고 로그 우도 함수에 가중치들을 적용하도록 구성될 수도 있다. 몇몇 예들에서, 프로세서는 또한, 세기 레벨에서 가중된 로그 우도 함수를 피처 레벨에서 가중된 로그 우도 함수에 더하여 비용 함수를 생성하도록 구성될 수도 있다. 몇몇 예들에서, 프로세서는 또한, 검출된 이미지 데이터를 가상의 객체 데이터와 정렬하는데 이용될 수도 있는 비용 함수에 기초하여 변환 파라미터들을 결정하도록 구성될 수도 있다.

Description

증강 현실에서 객체들의 정렬{ALIGNMENT OF OBJECTS IN AUGMENTED REALITY}
본원에서 달리 지정한 바가 없으면, 이 섹션에서 설명된 자료들은 본 출원의 청구범위에 대한 선행 기술이 아니고 이 섹션에 포함됨으로써 선행 기술인 것으로 인정되지 않는다.
증강 현실 시스템에서, 실세계의 사용자의 뷰는 컴퓨팅 디바이스에 의해 생성된 추가 정보로 강화 또는 증강된다. 사용자에게 제공된 디스플레이를 통해, 사용자는 관심 있는 장면에서 실제 객체들 위에 배치된 가상의 기하학적 객체들을 볼 수도 있다. 또한, 비-기하학적 가상 정보가 실제 객체들에 대하여 추가될 수도 있고, 디스플레이 상에 디스플레이될 수도 있다.
본 개시물의 상기 및 다른 특성들은 첨부된 도면들과 관련하여 취해진 다음의 상세한 설명 및 첨부된 청구범위로부터 보다 충분히 명백해질 것이다. 이들 도면들은 단지 본 개시물에 따른 몇몇 실시형태들 만을 도시하고, 따라서 그 범위를 제한하는 것으로 간주되지 않으며 본 개시물은 첨부된 도면들의 이용을 통해 추가의 특이성 및 상세함으로 설명될 것이다.
도 1 은 증강 현실에서 객체들의 정렬을 구현하기 위해 이용될 수 있는 일부 예시의 시스템들을 나타내고;
도 2 는 증강 현실에서 객체들의 정렬을 구현하기 위해 이용될 수 있는 일부 예시의 시스템들을 나타내고;
도 3 은 증강 현실에서 객체들의 정렬을 위한 예시의 프로세스들의 흐름도를 도시하고;
도 4 는 증강 현실에서 객체들의 정렬을 위한 예시의 프로세스들의 흐름도를 도시하고;
도 5 는 증강 현실에서 객체들의 정렬을 위한 예시의 컴퓨터 프로그램 제품들을 나타내고;
도 6 은 증강 현실에서 객체들의 정렬을 수행하도록 구성되는 일부 예시의 컴퓨팅 디바이스들을 나타내는 블록도이며;
이들 모두는 본원에 제시된 적어도 일부 실시형태들에 따라 배열된다.
다음의 상세한 설명에서, 본원의 일부를 형성하는 첨부된 도면들을 참조한다. 도면들에서, 문맥이 달리 지정하지 않으면, 통상적으로 유사한 부호들은 유사한 컴포넌트들을 나타낸다. 상세한 설명, 도면, 및 청구범위에 설명된 예시의 실시형태들은 제한을 의미하지 않는다. 본원에 제시된 주제의 범위 또는 사상을 벗어나지 않고, 다른 실시형태들이 이용될 수도 있고, 다른 변경들이 이루어질 수도 있다. 일반적으로 본원에서 설명되고 도면에서 도시되는 바와 같이, 본 개시물의 양태들은 광범위한 상이한 구성들로 배열, 치환, 결합, 분리, 및 설계될 수 있고, 이들 모두는 본원에서 명백하게 고려된다.
본 개시물은 일반적으로, 그 중에서도 증강 현실에서 객체들의 정렬에 관련된 방법, 장치, 시스템, 디바이스, 및 컴퓨터 프로그램 제품에 대해 그려진다.
간단히 말하면, 일반적으로 증강 현실에서 객체들을 정렬하기 위한 기술들이 설명된다. 일부 예들에서, 프로세서는 검출된 이미지 데이터 및 가상의 객체 데이터를 수신하도록 구성될 수도 있다. 일부 예들에서, 프로세서는 가상의 객체 데이터 및 검출된 이미지 데이터에 기초하여 세기 및 피처 레벨에서 가중치들을 생성하고 로그 우도 함수들에 이 가중치를 적용하도록 또한 구성될 수도 있다. 일부 예들에서, 프로세서는 세기 레벨에서 가중된 로그 우도 함수를 피처 레벨에서 가중된 로그 우도 함수에 더하여 비용 함수를 생성하도록 또한 구성될 수도 있다. 일부 예들에서, 프로세서는 가상의 객체 데이터와 검출된 이미지 데이터를 정렬하는데 이용될 수도 있는 비용 함수에 기초하여 변환 파라미터들을 결정하도록 또한 구성될 수도 있다.
도 1 은 본원에 제시된 적어도 몇몇 실시형태들에 따른 증강 현실에서 객체들의 정렬을 구현하기 위해 이용될 수 있는 몇몇 예시의 시스템들을 나타낸다. 시스템 (100) 은 모두가 프로세서 (108) 와 통신하도록 배열된 디스플레이 (110), 메모리 (104) 및 하나 이상의 센서들 (102) 을 포함할 수도 있다. 프로세서 (108) 는 예를 들어 네트워크 (106) 를 통해 센서들 (102) 및 메모리 (104) 와 통신하도록 배열될 수도 있다. 이하에서 보다 상세히 논의되는 바와 같이, 센서들 (102) 은 관심 있는 장면 (118) 에서 실제 객체 (116) 에 관한 검출된 이미지 데이터를 검출하도록 구성될 수도 있다. 센서들 (102) 은 검출된 이미지 데이터를 프로세서 (108) 로 전송하도록 또한 구성될 수도 있다. 프로세서 (108) 는 실제 객체 (116) 와 정렬될 가상의 객체 또는 객체들에 관한 가상의 객체 데이터를 메모리 (104) 로부터 취출하도록 구성될 수도 있다. 프로세서 (108) 는 또한, 메모리 (104) 로부터 정렬 알고리즘을 취출하도록 구성될 수도 있다. 정렬 알고리즘을 이용하여, 프로세서 (108) 는 검출된 이미지 데이터와 가상의 객체 데이터를 정렬하여 객체 (116) 의 강화된 이미지를 생성하도록 구성될 수도 있다. 프로세서 (108) 는 사용자 (112) 를 위해 디스플레이 (110) 상에 관심 있는 장면 (118) 의 이미지 (114) 로 강화된 이미지를 디스플레이하도록 구성될 수도 있다. 시스템 (100) 의 컴포넌트들은 관심 있는 장면 (118) 내부 또는 외부 어디에든 배치될 수 있다.
도 2 는 본원에 제시된 적어도 몇몇 실시형태들에 따른 증강 현실에서 객체들의 정렬을 구현하기 위해 이용될 수 있는 몇몇 예시의 시스템을 나타낸다. 도 2 의 시스템은 추가의 상세들을 갖고, 도 1 의 시스템 (100) 과 실질적으로 유사하다. 도 1 의 컴포넌트들과 동일하게 라벨링되는 도 2 의 이들 컴포넌트들은 명확성을 위해 다시 설명되지 않을 것이다.
메모리 (104) 는 정렬 알고리즘 (128) 및 가상의 객체 데이터 (126) 를 저장하도록 구성될 수도 있다. 프로세서 (108) 는 객체 (116) 에 관련된 검출된 이미지 데이터 (130) 를 센서들 (102) 로부터 수신하도록 구성될 수도 있다. 몇몇 예들에서, 검출된 이미지 데이터 (130) 는 픽셀들 또는 피처 포인트들의 형태로 잡음 및 이미지 데이터를 포함할 수도 있다. 피처 포인트들은, 예를 들어 가상의 이미지와 실제 이미지를 정렬하는데 이용될 수 있는 이미지에서의 피처들을 포함할 수도 있다. 예를 들어, 검출된 이미지 데이터 (130) 가 얼굴과 관련 있다면, 피처는 코, 눈 등일 수 있다. 전술된 바와 같이, 프로세서 (108) 는 가상의 객체 데이터 (126) 를 수신하도록 구성될 수도 있다. 프로세서 (108) 는 정렬 알고리즘 (128) 을 이용하여 검출된 이미지 데이터 (130) 와 가상의 객체 데이터 (126) 를 정렬하여, 강화된 이미지 (132) 를 생성하도록 구성될 수도 있다. 프로세서 (108) 는 강화된 이미지 (132) 를 디스플레이 (110) 에 디스플레이하도록 구성될 수도 있다.
몇몇 예시의 증강 현실 애플리케이션들은 설명되는 바와 같이 정확한 정렬로부터 이익을 얻을 수도 있다. 가상의 객체 데이터가 객체에 관한 정보를 추가하면, 가상의 객체 데이터는 실제 데이터의 이미지와 정확하게 정렬할 것이고, 또는 증강 현실의 일루전 (illusion) 이 절충될 수도 있다. 의학 분야의 예에서, 실제 이미지는 장기기관일 수 있고, 가상의 객체 데이터는 종양이 존재하는 곳을 나타낼 수도 있다. 이러한 상황에서 가상 및 실제 데이터의 정렬은 중요하다.
도 3 은 본 개시물의 적어도 몇몇 실시형태들에 따른 증강 현실에서 객체들의 정렬을 위한 예시의 프로세스들의 흐름도를 도시한다. 도 3 의 프로세스는, 예를 들어 전술된 시스템 (100) 을 이용하여 구현될 수 있다. 예시의 프로세스는 블록들 S2, S4, S6, S8, 및/또는 S10 중 하나 이상으로 도시된 바와 같이 하나 이상의 동작들, 액션들, 또는 기능들을 포함할 수도 있다. 별개의 블록들로서 도시되었으나, 각종 블록들은 원하는 구현에 따라 추가의 블록들로 분할되거나, 보다 적은 블록들로 결합되거나, 또는 제거될 수도 있다. 프로세싱은 블록 S2 에서 시작할 수도 있다.
블록 S2 에서, 프로세서는 센서로부터 실제 객체에 관한 검출된 이미지 데이터를 수신하도록 구성될 수도 있다. 프로세싱은 블록 S2 에서 블록 S4 로 계속될 수도 있다.
블록 S4 에서, 프로세서는 실제 객체에 관한 가상의 객체 데이터를 수신하도록 구성될 수도 있다. 프로세싱은 블록 S4 에서 블록 S6 으로 계속될 수도 있다.
블록 S6 에서, 프로세서는 변환 파라미터들을 결정하도록 구성될 수도 있다. 변환 파라미터들은 실제 검출된 이미지 데이터를 가상의 객체 데이터로 맵핑하기 위해 아핀 (affine) 변환과 같은 변환에서 이용될 수 있다. 다르게는, 다른 예들에서, 변환 파라미터들은 가상의 객체 데이터를 검출된 이미지 데이터로 맵핑하는데 이용될 수 있다. 다른 예들에서, 변환 파라미터들은 검출된 이미지 데이터 및 가상의 객체 데이터 양자 모두를 기존의 이미지로 맵핑하는데 이용될 수 있다. 프로세싱은 블록 S6 에서 블록 S8 로 계속될 수도 있다.
블록 S8 에서, 프로세서는 변환 파라미터들을 이용하여 검출된 이미지 데이터와 가상의 객체 데이터를 정렬하여, 강화된 이미지를 생성하도록 구성될 수도 있다. 프로세싱은 블록 S8 에서 블록 S10 으로 계속될 수도 있다.
블록 S10 에서, 프로세서는 강화된 이미지를 디스플레이 상에 디스플레이하도록 구성될 수도 있다.
도 4 는 본 개시물의 적어도 몇몇 실시형태들에 따른 증강 현실에서 객체들의 정렬을 위한 예시의 프로세스들의 흐름도를 도시한다. 도 4 의 프로세스는 예를 들어 전술된 시스템 (100) 을 이용하여 구현될 수 있고, 도 3 의 S6 에 대한 예시의 동작들을 더욱 상세히 설명한다. 예시의 프로세스는 블록들 S22, S24, S30, S32, S34, S36, S38, S40, S42, S44, S46 및/또는 S48 중 하나 이상으로 도시된 바와 같은 하나 이상의 동작들, 액션들, 또는 기능들을 포함할 수도 있다. 별개의 블록들로서 도시되었으나, 각종 블록들은 원하는 구현에 따라 추가의 블록들로 분할되거나, 보다 적은 블록들로 결합되거나, 또는 제거될 수도 있다. 프로세싱은 블록 S22 에서 시작할 수도 있다.
블록 S22 에서, 센서는 실제 객체에 관한 검출된 이미지 데이터를 검출하도록 구성될 수도 있다. 프로세싱은 블록 S22 에서 블록 S24 로 계속될 수도 있다.
블록 S24 에서, 프로세서는 검출된 이미지 데이터 및 가상의 객체 데이터를 수신하도록 구성될 수도 있다. 예를 들어, 검출된 이미지 데이터는 실제 객체에 기초할 수도 있고, 이미지 데이터 및 잡음 데이터 양자 모두를 포함할 수도 있다. 몇몇 예들에서, 가상의 객체 데이터는 디스플레이 상의 객체의 이미지에 추가될 추가의 가상 정보일 수도 있다. 프로세싱은 블록 S24 에서 블록들 S30 및 S32 로 계속될 수도 있다.
블록 S30 에서, 프로세서는 가상의 객체 데이터 및 검출된 이미지 데이터에 기초하여 세기 레벨에서 로그 우도 함수를 생성하도록 구성될 수도 있다. 예를 들어, 검출된 이미지 데이터 및 가상의 객체 데이터의 세기 레벨들은 동일한 양상들에 대해 비교된 세기들에 기초할 수 있다. 양상들의 예들은 시각 이미지 또는 적외선 이미지일 수 있다. 로그 우도 함수들을 생성하는데 있어서, 이미지 변환 모델들 및 잡음 변환 모델들이 이용될 수도 있다. 몇몇 예들에서, 이미지 변환 모델은 아핀 (affine) 변환 모델, 강체 (rigid) 변환 모델, 구분적 아핀 (piecewise affine) 변환 모델, 비-강체 또는 탄성 (elastic) 변환 모델 등을 포함할 수 있다. 몇몇 예들에서, 잡음 변환 모델은 가우시안 모델, 혼합 가우시안 모델 등과 같은 잡음의 통계적 특성들에 기초할 수 있다. 프로세싱은 블록 S30 에서 블록 S34 로 계속될 수도 있다.
블록 S32 에서, 프로세서는 가상의 객체 데이터 및 검출된 이미지 데이터에 기초하여 피처 레벨에서 로그 우도 함수를 생성하도록 구성될 수도 있다. 예를 들어, 검출된 이미지 데이터 및 가상의 객체 데이터의 선택된 제어 포인트들에서 피처들이 이용될 수 있다. 제어 포인트들은 예를 들어 에지 검출 알고리즘의 이용을 통해 선택될 수 있다. 제어 포인트들의 다른 예들은 랜드마크들 또는 교차점들일 수 있다. 전술된 예들 중 하나로 계속하면, 에지 검출 알고리즘은 이미지에서 얼굴 상의 코를 검출하는데 이용될 수 있다. 이 코는 그 후, 피처 레벨에서 로그 우도 함수에 대한 제어 포인트로서 이용될 수 있다. 프로세싱은 블록 S32 에서 블록 S36 으로 계속될 수도 있다.
블록 S34 에서, 프로세서는 세기 레벨에서 로그 우도 함수에 제 1 가중치 (w1) 를 적용하여 세기 레벨에서 가중된 로그 우도 함수를 생성하도록 구성될 수도 있다. 프로세싱은 블록 S34 에서 블록 S38 로 계속될 수도 있다.
블록 S36 에서, 프로세서는 피처 레벨에서 로그 우도 함수에 제 2 가중치 (w2) 를 적용하여 피처 레벨에서 가중된 로그 우도 함수를 생성하도록 구성될 수도 있다. 가중치들 (w1 및 w2) 은 검출된 이미지 데이터에서의 피처 포인트들 및 이용 가능한 픽셀들의 수에 기초하여, 그리고 검출된 이미지 데이터에서의 잡음 전력에 기초하여 할당될 수도 있다. 예를 들어, 검출된 이미지 데이터에서 이용 가능한 픽셀들의 수가 이용 가능한 피처 포인트들이 수보다 크면, 세기 레벨 데이터에 대한 가중치 (w1) 는 피처 레벨 데이터에 대한 가중치 (w2) 보다 큰 값을 할당 받을 수도 있다. 유사하게, 피처 레벨에서 큰 잡음 전력은 피처 레벨 데이터에 적용된 가중치 (w2) 로 하여금 가중치 (w1) 보다 더 작아지도록 할 수도 있다. 가중치들 (w1 및 w2) 은 따라서, 이용 가능한 픽셀들 및 잡음 전력의 레벨과 같이 얼마나 많은 정보가 이용 가능한지에 비례될 수도 있다. 일부 예들에서, 이용 가능한 픽셀들 및 피처들의 수가 0 이거나 잡음 전력이 매우 크면, 대응하는 가중치 (w1, w2) 는 0 으로 설정될 수도 있다. 프로세싱은 블록 S36 에서 블록 S38 로 계속될 수도 있다.
블록 S38 에서, 프로세서는 피처 레벨 데이터에서 가중된 로그 우도 함수에 세기 레벨에서 가중된 로그 우도 함수를 더하여 비용 함수를 생성하도록 구성될 수도 있다. 다른 파라미터들 중, 비용 함수는 1) 아핀 변환에서와 같은 변환 파라미터들 2) 피처 좌표들 및 3) 잡음 전력의 함수일 수도 있다. 전술된 바와 같이, 변환 파라미터들은 검출된 이미지 데이터 (130) 에 가상의 객체 데이터 (126)(도 2) 를 정렬하는데 이용될 수도 있다. 다르게는, 검출된 이미지 데이터 (130) 는 가상의 객체 데이터 (126) 와 정렬될 수도 있고, 또는 검출된 이미지 데이터 및 가상의 객체 데이터 양자 모두가 제 3 이미지에 정렬될 수도 있다. 피처 좌표들은 검출된 이미지 데이터 (130) 에서의 피처들의 로케이션들일 수도 있다. 잡음 전력은 검출된 이미지 데이터에서의 잡음의 전력 레벨일 수도 있다. 프로세싱은 블록 S38 에서 블록 S40 으로 계속될 수도 있다.
블록 S40 에서, 프로세서는 비용 함수를 최소화함으로써 검출된 이미지 데이터에 가상의 객체 데이터를 맵핑하기 위해 아핀 변환 파라미터들을 추정하도록 구성될 수도 있다. 예를 들어, 파라미터들 모두는 아핀 변환 파라미터들의 제 1 추정치를 획득하기 위해 비용 함수를 최소화하도록 조정될 수도 있다. 프로세싱은 블록 S40 에서 블록 S42 로 계속될 수도 있다.
블록 S42 에서, 프로세서는 비용 함수가 수렴할 때까지 다음의 3 개의 동작들을 수행하도록 구성될 수 있도록 루프가 정의될 수도 있다. 프로세싱은 블록 S42 에서 블록 S44 로 계속될 수도 있다.
블록 S44 에서, 프로세서는 비용 함수의 피처 좌표들을 추정하도록 구성될 수도 있다. 동작 S42 는, 비용 함수의 잡음 전력 파라미터들 및 아핀 변환 파라미터들이 고정되어 유지되는 동안 수행될 수도 있다. 프로세싱은 블록 S44 에서 블록 S46 으로 계속될 수도 있다.
블록 S46 에서, 프로세서는 피처 좌표들의 현재 추정치를 이용하여 아핀 변환 파라미터들을 추정하도록 구성될 수도 있다. 프로세싱은 블록 S46 에서 블록 S48 로 계속될 수도 있다.
블록 S48 에서, 프로세서는 피처 파라미터들 및 아핀 변환 파라미터들의 현재 추정치를 이용하여 비용 함수의 잡음 전력을 추정하도록 구성될 수도 있다.
업데이트된 비용 함수는 블록들 S44, S46, 및/또는 S48 중 하나 이상에 의해 정의될 수도 있다. 블록 S42 에 의해 정의된 루프는, 업데이트된 비용 함수가 수렴할 때까지 계속될 수도 있다. 예를 들어, 블록 S42 에서 정의된 루프는 동작들 S44, S46 및 S48 에서의 비용 함수에서 이루어진 변경들이 임계 미만일 때까지 계속될 수도 있다. 다른 예에서, 블록 S42 에 의해 정의된 루프는, 비용 함수의 우도 함수 (likelihood function) 들 중 하나가 임계를 넘어 변하지 않을 때까지 계속될 수도 있다.
비용 함수를 결정하기 위한 예시의 프로세스가 이하에 나타나며, 여기서 예시의 목적을 위해 가우시안 분배형 잡음 모델 및 아핀 변환 모델이 나타난다.
본 예에서, 시스템 (100) 은 2 개의 이미지들을 수신할 수도 있다: 참조 이미지 (126)(예를 들어, 가상의 이미지) 및 왜곡된 이미지 (예를 들어, 검출된 실제 이미지)(130). 피처 레벨에서,
Figure 112012041465344-pct00001
및
Figure 112012041465344-pct00002
은 참조 이미지 및 왜곡된 이미지에서의 k 번째 대응하는 피처의 참 좌표 (true coordinate) 들을 각각 가리키고,
Figure 112012041465344-pct00003
이고 여기서
Figure 112012041465344-pct00004
은 피처들의 총 수이다. 이들 피처들은 다음으로 주어진 아핀 변환에 의해 링크될 수도 있다
Figure 112012041465344-pct00005
여기서
Figure 112012041465344-pct00006
은 x- 및 y- 축 변환을 나타내고, R 은 참조 이미지와 왜곡된 이미지 간의 아핀 변환 매트릭스이며 다음으로 주어진다
Figure 112012041465344-pct00007
여기서 R 의 4 개의 엘리먼트들은 참조 이미지와 왜곡된 이미지 간의 회전, 스큐잉 (skewing), 시어링 (shearing) 및 스케일링의 조합들을 커버한다.
Figure 112012041465344-pct00008
및
Figure 112012041465344-pct00009
은 참조 이미지 및 왜곡된 이미지에서의 대응하는 피처들의 측정된 좌표들을 각각 가리킨다. 피처 측정 모델은 다음과 같이 표현될 수 있다
Figure 112012041465344-pct00010
여기서
Figure 112012041465344-pct00011
은 제로 평균 및 분산
Figure 112012041465344-pct00012
을 갖는 화이트 가우시안 잡음인 것으로 가정된다. 상기 식은 다음과 같은 매트릭스 형태로 재기록될 수 있다
Figure 112012041465344-pct00013
여기서,
Figure 112012041465344-pct00014
이고,
여기서,
Figure 112012041465344-pct00015
, 및
Figure 112012041465344-pct00016
은 측정치들, 잡음, 및 등록 파라미터들 대한 벡터를 각각 나타낸다.
Figure 112012041465344-pct00017
의 공분산 매트릭스는
Figure 112012041465344-pct00018
과 동일하고, 여기서 I 는 아이덴티티 매트릭스이다.
세기 측정 레벨에서, 예로써 참조 이미지의 크기는
Figure 112012041465344-pct00019
일 수도 있다.
Figure 112012041465344-pct00020
는 참조 이미지 및 왜곡된 이미지의 오버랩핑 영역을 가리키고,
Figure 112012041465344-pct00021
내에는 N2 개의 픽셀들이 존재한다. 참조 이미지의 픽셀의 좌표
Figure 112012041465344-pct00022
이면, 왜곡된 이미지의 대응하는 픽셀의 좌표
Figure 112012041465344-pct00023
는
Figure 112012041465344-pct00024
에 의해 관련될 수 있고,
여기서 다시
Figure 112012041465344-pct00025
은 x- 및 y-축 변환을 나타내고, R 은 참조 이미지와 왜곡된 이미지 간의 아핀 변환 매트릭스이다. 픽셀
Figure 112012041465344-pct00026
및 픽셀
Figure 112012041465344-pct00027
의 참 값들을
Figure 112012041465344-pct00028
및
Figure 112012041465344-pct00029
이라 가정하면, 대응하여 픽셀
Figure 112012041465344-pct00030
의 측정 그레이 값은 다음과 같이 표현될 수 있다
Figure 112012041465344-pct00031
여기서,
Figure 112012041465344-pct00032
는 제로 평균 및 분산
Figure 112012041465344-pct00033
을 갖는 화이트 가우시안 잡음이다.
피처 및 세기 레벨 양자 모두에서 상기 측정 모델들에 기초하면, 우도 함수는 다음과 같이 씌여질 수 있다
Figure 112012041465344-pct00034
여기서,
Figure 112012041465344-pct00035
따라서, 로그 우도 함수는, 가중치들이 이용 가능한 피처/픽셀 포인트들의 수에 비례하는 2 개의 로그 우도 함수들 (
Figure 112012041465344-pct00036
및
Figure 112012041465344-pct00037
) 의 합일 수도 있다.
그러면, 비용 함수는 2 개의 로그 우도 함수들 (
Figure 112012041465344-pct00038
및
Figure 112012041465344-pct00039
) 의 합일 수도 있고, 최소화될 수도 있다. 비용 함수는 아핀 변환 파라미터들 (
Figure 112012041465344-pct00040
), 및 잡음 파라미터들 (
Figure 112012041465344-pct00041
및
Figure 112012041465344-pct00042
) 의 함수이다. 비용 함수의 최소화는 이들 파라미터들 (
Figure 112012041465344-pct00043
,
Figure 112012041465344-pct00044
및
Figure 112012041465344-pct00045
) 의 추정을 초래할 것이다. 파라미터들 (
Figure 112012041465344-pct00046
,
Figure 112012041465344-pct00047
및
Figure 112012041465344-pct00048
) 은 전술된 바와 같이 비용 함수를 최소화하도록 변경된다.
다른 이점들 중에서, 본 개시물에 따라 구성된 시스템은 실제 및 가상의 이미지 데이터의 정렬을 수행하도록 정보 레벨을 자동으로 선택할 수 있다. 세기 레벨 정보 또는 피처 레벨 정보가 이용 가능하지 않고 또는 매우 열악한 품질이면, 본 개시물에 따라 배열된 시스템은 보다 낮은 잡음을 갖는 레벨을 선택하도록 구성될 수 있다. 세기 레벨 데이터가 이용 가능하지 않으면, 본 개시물에 따라 배열된 시스템은 피처 레벨 등록에 대한 최대 가능성 접근을 이용하도록 구성될 수도 있다.
도 5 는 본 개시물의 적어도 몇몇 예들에 따른 증강 현실에서 객체들의 정렬을 위한 예시의 컴퓨터 프로그램 제품 (300) 을 나타낸다. 프로그램 제품 (300) 은 신호 베어링 매체 (302) 를 포함할 수도 있다. 신호 베어링 매체 (302) 는 하나 이상의 명령들 (304) 을 포함할 수도 있고, 이 명령들이 예를 들어 프로세서에 의해 실행되는 경우 도 1 내지 도 4 에 대하여 전술된 기능들 중 적어도 일부를 제공할 수도 있다. 따라서, 예를 들어 시스템 (100) 을 참조하면, 프로세서 (108) 는 매체 (302) 에 의해 시스템 (100) 으로 전달된 명령들 (304) 에 응답하여 도 4 에 도시된 블록들 중 하나 이상을 착수할 수도 있다.
몇몇 구현에서, 신호 베어링 매체 (302) 는 컴퓨터 판독가능 매체 (306), 예컨대 하드 디스크 드라이브, 컴팩트 디스크 (CD), 디지털 비디오 디스크 (DVD), 디지털 테이프, 메모리 등을 포함할 수도 있는데, 이에 한정되지는 않는다. 몇몇 구현들에서, 신호 베어링 매체 (302) 는 판독가능 매체 (308), 예컨대 메모리, 판독/기록 (R/W) CD, R/W DVD 등을 포함할 수도 있는데, 이에 한정되지는 않는다. 일부 구현들에서, 신호 베어링 매체 (302) 는 통신 매체 (310), 예컨대 디지털 및/또는 아날로그 통신 매체 (예를 들어, 광섬유 케이블, 도파관, 유선 통신 링크, 무선 통신 링크 등) 를 포함할 수도 있는데, 이에 한정되지는 않는다. 따라서, 예를 들어 프로그램 제품 (300) 은 RF 신호 베어링 매체 (302) 에 의해 시스템 (100) 의 하나 이상의 모듈들로 전달될 수도 있고, 여기서 신호 베어링 매체 (302) 는 무선 통신 매체 (310)(예를 들어, IEEE 802.11 표준을 따르는 무선 통신 매체) 에 의해 전달된다.
도 6 은 본 개시물의 적어도 일부 실시형태들에 따른 증강 현실에서 객체들의 정렬을 수행하도록 배열되는 일부 예시의 컴퓨팅 디바이스들 (400) 을 나타내는 블록도이다. 매우 기본적인 구성 (402) 에서, 컴퓨팅 디바이스 (400) 는 통상적으로 하나 이상의 프로세서들 (404) 및 시스템 메모리 (406) 를 포함한다. 메모리 버스 (408) 는 프로세서 (404) 와 시스템 메모리 (406) 간의 통신을 위해 이용될 수도 있다.
원하는 구성에 따라, 프로세서 (404) 는 마이크로프로세서 (μP), 마이크로제어기 (μC), 디지털 신호 프로세서 (DSP), 또는 이들의 임의의 조합을 포함하지만 이들에 한정되지 않는 임의의 타입의 것일 수 있다. 프로세서 (404) 는 레벨 1 캐시 (410) 및 레벨 2 캐시 (412) 와 같은 하나 이상의 캐싱 레벨들, 프로세서 코어 (414), 및 레지스터들 (416) 을 포함할 수도 있다. 예시의 프로세서 코어 (414) 는 산술 논리 유닛 (ALU), 부동소수점 처리 유닛 (FPU), 디지털 신호 프로세싱 코어 (DSP 코어), 또는 이들의 임의의 조합을 포함할 수도 있다. 예시의 메모리 제어기 (418) 는 또한, 프로세서 (404) 와 함께 사용될 수 있으며, 또는 일부 구현들에서, 메모리 제어기 (418) 는 프로세서 (404) 의 내부 부품일 수 있다.
원하는 구성에 따르면, 시스템 메모리 (406) 는 휘발성 메모리 (예컨대, RAM), 비휘발성 메모리 (예컨대, ROM, 플래시 메모리 등) 또는 이들의 임의의 조합을 포함하지만 이들에 한정되지 않는 임의의 타입의 것일 수 있다. 시스템 메모리 (406) 는 운영 시스템 (420), 하나 이상의 애플리케이션들 (422), 및 프로그램 데이터 (424) 를 포함할 수도 있다. 애플리케이션 (422) 은 도 1 내지 도 5 에 대하여 설명된 것들을 포함하여 본원에 설명된 바와 같은 기능들 중 하나 이상을 수행하도록 배열될 수도 있는 증강 현실 알고리즘에서의 객체들의 정렬 (426) 을 포함할 수도 있다. 프로그램 데이터 (424) 는, 본원에 설명되는 바와 같이 증강 현실에서 객체들의 정렬에 유용할 수도 있는 정렬 데이터 (428) 를 포함할 수도 있다. 일부 실시형태들에서, 애플리케이션 (422) 은, 증강 현실에서 객체들의 정렬이 제공될 수도 있도록 운영 시스템 (420) 상의 프로그램 데이터 (424) 와 동작하도록 배열될 수도 있다. 이 설명된 기본 구성 (402) 은 도 6 에서 쇄선 내의 컴포넌트들로 도시된다.
컴퓨팅 디바이스 (400) 는 추가적인 특징들 또는 기능성, 및 기본 구성 (402) 과 임의의 요구되는 디바이스들 및 인터페이스들 간의 통신들을 용이하게 하는 추가 인터페이스들을 가질 수도 있다. 예를 들어, 버스/인터페이스 제어기 (430) 는 스토리지 인터페이스 버스 (434) 를 통해 기본 구성 (402) 과 하나 이상의 데이터 스토리지 디바이스들 (432) 간의 통신을 용이하게 하는데 사용될 수 있다. 데이터 스토리지 디바이스들 (432) 은 착탈가능 스토리지 디바이스들 (436), 착탈불능 스토리지 디바이스들 (438), 또는 이들의 조합일 수도 있다. 착탈가능 스토리지 및 착탈불능 스토리지 디바이스들의 예들은, 몇 가지만 예를 들면, 플렉서블 디스크 드라이브들 및 하드디스크 드라이브들 (HDD) 과 같은 자기적 디스크 디바이스들, 콤팩트디스크 (CD) 드라이브들 또는 디지털 다용도 디스크 (DVD) 드라이브들과 같은 광학적 디스크 드라이브들, 솔리드 스테이트 드라이브들 (SSD) 및 테이프 드라이브들을 포함한다. 예시적인 컴퓨터 저장 매체는 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈가능 및 착탈불능 매체를 포함할 수 있다.
시스템 메모리 (406), 착탈가능 스토리지 디바이스들 (436) 및 착탈불능 스토리지 디바이스들 (438) 는 컴퓨터 스토리지 매체의 예들이다. 컴퓨터 스토리지 매체는 RAM, ROM, EEPROM, 플래시 메모리 또는 다른 메모리 기술, CD-ROM, 디지털 다용도 디스크들 (DVD) 또는 다른 광학적 스토리지, 자기 카세트들, 자기 테이프, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 원하는 정보를 저장하는데 이용될 수 있고 컴퓨팅 디바이스 (400) 에 의해 액세스될 수도 있는 임의의 다른 매체를 포함하지만 이들에 한정되지 않는다. 임의의 이러한 컴퓨터 스토리지 매체는 컴퓨팅 디바이스 (400) 의 일부분일 수 있다.
컴퓨팅 디바이스 (400) 는 또한, 버스/인터페이스 제어기 (430) 를 통해 다양한 인터페이스 디바이스들 (예컨대, 출력 인터페이스들 (442), 주변장치 인터페이스들 (444), 및 통신 인터페이스들 (446)) 로부터 기본 구성 (402) 으로의 통신을 용이하게 하기 위한 인터페이스 버스 (440) 를 포함할 수도 있다. 예시의 출력 디바이스들 (442) 은 그래픽 프로세싱 유닛 (448) 및 오디오 프로세싱 유닛 (450) 을 포함하는데, 이들은 하나 이상의 A/V 포트들 (452) 을 통해 디스플레이 또는 스피커들과 같은 다양한 외부 디바이스들과 통신하도록 구성될 수도 있다. 예시의 주변장치 인터페이스들 (444) 은 직렬 인터페이스 제어기 (454) 또는 병렬 인터페이스 제어기 (456) 를 포함하는데, 이들은 하나 이상의 I/O 포트들 (458) 을 통해 입력 디바이스들 (예컨대, 키보드, 마우스, 펜, 음성 입력 디바이스, 터치 입력 디바이스 등) 또는 다른 주변장치 디바이스들 (예컨대, 프린터, 스캐너 등) 과 같은 외부 디바이스들과 통신하도록 구성될 수도 있다. 예시의 통신 디바이스 (446) 는 네트워크 제어기 (460) 를 포함하는데, 이는 하나 이상의 통신 포트들 (464) 을 통해 네트워크 통신 링크를 거쳐 하나 이상의 다른 컴퓨팅 디바이스들 (462) 과의 통신을 용이하게 하도록 배열될 수도 있다.
네트워크 통신 링크는 통신 매체의 일례이다. 통신 매체는 통상적으로 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 반송파나 다른 수송 메커니즘과 같은 변조된 데이터 신호에서의 다른 데이터에 의해 구현될 수도 있으며, 임의의 정보 전달 매체를 포함할 수도 있다. "변조된 데이터 신호" 는 신호에서의 정보를 인코딩하도록 하는 방식으로 설정되거나 변경된 특성들 중 하나 이상의 특성을 갖는 신호일 수도 있다. 제한이 아니라 예시로서, 통신 매체는 유선 네트워크 또는 직접 유선 접속 (direct-wired connection) 과 같은 유선 매체, 및 어쿠스틱, 무선 주파수 (RF), 마이크로파, 적외선 (IR) 및 다른 무선 매체와 같은 무선 매체를 포함할 수도 있다. 본원에서 이용되는 바와 같은 컴퓨터 판독가능 매체라는 용어는 저장 매체 및 통신 매체 양자 모두를 포함할 수도 있다.
컴퓨팅 디바이스 (400) 는 셀폰, 개인휴대정보단말기 (PDA), 개인 미디어 플레이어 디바이스, 무선 웹-관람 디바이스, 개인 헤드셋 디바이스, 애플리케이션 특정 디바이스, 또는 상기 기능들 중 임의의 것을 포함하는 하이브리드 디바이스와 같은 소형 폼팩터 (small-form factor) 휴대용 (또는 이동식) 전자 디바이스의 일부분으로서 구현될 수도 있다. 컴퓨팅 디바이스 (400) 는 또한, 랩톱 컴퓨터 및 비-랩톱 컴퓨터 구성들 양자 모두를 포함하는 개인용 컴퓨터로서 구현될 수도 있다.
본 개시물은 본 출원에 설명된 특정 실시형태들의 관점에 한정되는 것이 아니며, 각종 양태들의 예시로서 의도된다. 본 개시물의 사상 및 범위를 벗어남 없이 많은 변경들 및 변형들이 이루어질 수 있으며, 당업자에게 명백할 것이다. 본원에 열거된 것들에 추가하여, 본 개시물의 범위 내의 기능적으로 등가의 방법들 및 장치들은 상기 설명들로부터 당업자에게 명백해질 것이다. 이러한 변경들 및 변형들은 첨부된 청구범위의 범위 내에 있도록 의도된다. 본 개시물은 첨부된 청구항들의 관점에 의해서만 한정되는 것이 아니고, 첨부된 청구항들에 대한 등가물들의 전체 범위와 함께 그러한 청구항들에 권리가 있다. 본 개시물은 특정 방법들, 시약들, 화합물들 조성 또는 생물학적 시스템들에 한정되지 않으며, 이들은 물론 변할 수 있는 것으로 이해되어야 한다. 또한, 본원에 이용된 전문 용어들은 특정 실시형태들 만을 설명하기 위한 목적이며, 한정하는 것으로 의도되지 않는다.
본원에서 실질적으로 임의의 복수 용어 및/또는 단수 용어의 이용에 대해서, 당업자는 문맥 및/또는 애플리케이션에 적합하도록 복수에서 단수로 및/또는 단수에서 복수로 해석할 수도 있다. 다양한 단수/복수의 치환은 간결함을 위해 본원에 명백히 전개될 수도 있다.
일반적으로, 본원에 그리고 특히 첨부된 청구항 (예를 들어, 첨부된 청구항의 본문) 에서 이용되는 용어는 일반적으로 "개방적인" 용어들 (예를 들어, "포함하는" 이라는 용어는 "포함하지만 한정되지 않는" 으로 해석되어야 하고, "갖는" 이라는 용어는 "적어도 갖는" 으로 해석되어야 하고, "포함한다" 라는 용어는 "포함하지만 한정되지 않는다" 로 해석되어야 한다) 로서 의도된다는 것이 당업자에 의해 이해될 것이다. 또한, 도입된 청구항 기재의 특정한 수가 의도되는 경우, 이러한 의도는 청구항에 명시적으로 기재될 것이며, 이러한 기재의 부재 시에 그러한 의도가 없다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 이해를 돕기 위하여, 다음의 첨부된 청구항은 청구항 기재를 도입하기 위한 "적어도 하나" 및 "하나 이상" 의 서두 어구의 이용을 포함할 수도 있다. 그러나, 이러한 어구의 이용은, 동일 청구항이 서두 어구 "하나 이상" 또는 "적어도 하나" 및 "a" 또는 "an" 과 같은 부정관사 (예를 들어, "a" 및/또는 "an" 은 "적어도 하나" 또는 "하나 이상" 을 의미하도록 해석되어야 한다) 를 포함할 때에도, 부정관사 "a" 또는 "an" 에 의한 청구항 기재의 도입이 이렇게 도입된 청구항 기재를 포함하는 임의의 특정 청구항을 하나의 이러한 기재만을 포함하는 실시형태들로 한정한다는 것을 내포하는 것으로 해석되어서는 안 되며, 청구항 기재를 도입하는데 이용되는 정관사의 이용에 대해서도 동일하게 유효하다. 또한, 도입되는 청구항 기재의 구체적 수가 명시적으로 기재되는 경우에도, 당업자는 이러한 기재가 적어도 기재된 수 (예를 들어, 다른 수식어 없이, "2 개의 기재" 에 대한 그대로의 기재는, 적어도 2 개의 기재들 또는 2 개 이상의 기재들을 의미한다) 를 의미하는 것으로 해석되어야 한다는 것을 인식할 것이다. 또한, "A, B 또는 C 중 적어도 하나 등" 과 유사한 관례가 이용되는 경우에서, 일반적으로 이러한 구성은 당업자가 그 관례를 이해할 것이라는 의미로 의도된다 (예를 들어, "A, B 또는 C 중 적어도 하나를 갖는 시스템" 은 A 만을, B 만을, C 만을, A 및 B 를 함께, A 및 C 를 함께, B 및 C 를 함께, 및/또는 A, B 및 C 를 함께 등을 갖는 시스템을 포함하지만 이에 한정되지 않을 것이다). "A, B 또는 C 중 적어도 하나 등" 과 유사한 관례가 이용되는 경우에서, 일반적으로 이러한 구성은 당업자가 그 관례를 이해할 것이라는 의미로 의도된다 (예를 들어, "A, B 또는 C 중 적어도 하나를 갖는 시스템" 은 A 만을, B 만을, C 만을, A 및 B 를 함께, A 및 C 를 함께, B 및 C 를 함께, 및/또는 A, B 및 C 를 함께 등을 갖는 시스템을 포함하지만 이에 한정되지 않을 것이다). 또한, 상세한 설명, 청구범위 또는 도면에서, 2 개 이상의 택일적 용어를 나타내는 실질적으로 임의의 이접 단어 및/또는 어구가 용어들 중 하나, 용어들 중 어느 한쪽 또는 양 용어 모두를 포함할 가능성들을 예상하도록 이해되어야 한다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 어구 "A 또는 B" 는 "A" 또는 "B" 또는 "A 및 B" 의 가능성을 포함하도록 이해될 것이다.
또한, 본 명세서의 특징들 또는 양태들이 마커쉬 (Markush) 군들에 의해 기술되는 경우에, 당업자는 본 개시물이 또한 이에 따라 마커쉬 군의 임의의 개별 요소 또는 요소들의 하위군에 의해 기술됨을 인식할 것이다.
당업자에 의해 이해되는 바와 같이, 임의의 그리고 모든 목적을 위해, 특히 서면 기재를 제공하는 관점에서, 본 명세서에 개시된 모든 범위는 또한 임의의 그리고 모든 가능한 하위범위 (subrange) 및 그 하위범위들의 조합을 포괄한다. 임의의 기재된 범위는 충분히 기술하고 동일 범위가 적어도 2 등분, 3 등분, 4 등분, 5 등분, 10 등분 등으로 분할되게 하는 것으로서 용이하게 인식될 수 있다. 비한정적 예로서, 본 명세서에서 논의된 각각의 범위는 용이하게 하위 3 분의 1, 중위 3 분의 1 및 상위 3 분의 1 등으로 분할될 수도 있다. 또한, 당업자에 의해 이해되는 바와 같이, "까지", "적어도", "보다 큰", "미만" 등과 같은 모든 용어는 인용된 수를 포함하고 계속해서 상술한 바와 같은 하위범위들로 분할될 수도 있는 범위를 언급한다. 마지막으로, 당업자에 의해 이해되는 바와 같이, 범위는 각각의 개별 요소를 포함한다. 이로써, 예를 들어, 1 내지 3 개의 셀들을 갖는 군은 1 개의 셀, 2 개의 셀 또는 3 개의 셀을 갖는 군들을 지칭한다. 유사하게, 1 내지 5 개의 셀들을 갖는 군은 1 개의 셀, 2 개의 셀, 3 개의 셀, 4 개의 셀 또는 5 개의 셀을 갖는 군들 등을 언급한다.
본원에 다양한 양태들 및 실시형태들이 개시되었으나, 당업자들에게는 다른 양태들 및 실시형태들이 명백할 것이다. 본 명세서에 개시된 다양한 양태들 및 실시형태들은 설명을 위한 것이고 한정적으로 의도되지 않으며, 진정한 범위 및 사상이 다음의 청구범위에 의해 나타난다.

Claims (29)

  1. 증강 현실 시스템에서 실제 객체 및 가상의 객체에 관한 데이터를 정렬하는 방법으로서,
    프로세서에서, 검출된 이미지 데이터를 수신하는 단계로서, 상기 검출된 이미지 데이터는 상기 실제 객체에 관련되는, 상기 검출된 이미지 데이터를 수신하는 단계;
    상기 프로세서에서 가상의 객체 데이터를 수신하는 단계로서, 상기 가상의 객체 데이터는 상기 증강 현실 시스템에서의 상기 가상의 객체를 나타내는, 상기 가상의 객체 데이터를 수신하는 단계;
    상기 프로세서에 의해, 상기 가상의 객체 데이터 및 상기 검출된 이미지 데이터에 기초하여 세기 레벨에서의 로그 우도 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 가상의 객체 데이터 및 상기 검출된 이미지 데이터에 기초하여 피처 레벨에서의 로그 우도 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 세기 레벨에서의 로그 우도 함수에 제 1 가중치를 적용하여 세기 레벨에서 가중된 로그 우도 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 피처 레벨에서의 로그 우도 함수에 제 2 가중치를 적용하여 피처 레벨에서 가중된 로그 우도 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 피처 레벨에서의 가중된 로그 우도 함수에 상기 세기 레벨에서의 가중된 로그 우도 함수를 더하여 비용 함수를 생성하는 단계; 및
    상기 프로세서에 의해, 상기 비용 함수에 기초하여 상기 검출된 이미지 데이터에 대한 변환 파라미터들을 결정하는 단계로서, 상기 변환 파라미터들은 상기 가상의 객체 데이터와 상기 검출된 이미지 데이터를 정렬하기 위한 것인, 상기 변환 파라미터들을 결정하는 단계를 포함하는, 데이터 정렬 방법.
  2. 제 1 항에 있어서,
    상기 프로세서에 의해, 상기 실제 객체의 강화된 이미지를 생성하기 위하여, 상기 변환 파라미터들을 이용하여 상기 가상의 객체 데이터와 상기 검출된 이미지 데이터를 정렬하는 단계를 더 포함하는, 데이터 정렬 방법.
  3. 제 2 항에 있어서,
    상기 강화된 이미지를 디스플레이 상에 디스플레이하는 단계를 더 포함하고,
    상기 디스플레이 상의 상기 강화된 이미지는 상기 증강 현실 시스템에서 상기 가상의 객체를 나타내는, 데이터 정렬 방법.
  4. 제 1 항에 있어서,
    상기 프로세서에 의해, 상기 검출된 이미지 데이터에 대한 변환 파라미터들을 결정하는 단계는, 상기 비용 함수를 최소화하는 단계를 포함하는, 데이터 정렬 방법.
  5. 제 1 항에 있어서,
    상기 프로세서에 의해, 상기 검출된 이미지 데이터에 대한 정렬 파라미터들을 결정하는 단계는, 상기 변환 파라미터들 및 상기 비용 함수의 잡음 전력 파라미터들이 고정되어 유지되는 동안 상기 비용 함수의 피처 좌표들을, 상기 프로세서에 의해 추정하는 단계를 더 포함하는, 데이터 정렬 방법.
  6. 제 1 항에 있어서,
    상기 프로세서에 의해, 상기 검출된 이미지 데이터에 대한 정렬 파라미터들을 결정하는 단계는, 상기 비용 함수의 상기 피처 좌표들의 현재 추정치를 이용하여 상기 비용 함수의 상기 변환 파라미터들을, 상기 프로세서에 의해 추정하는 단계를 더 포함하는, 데이터 정렬 방법.
  7. 제 1 항에 있어서,
    상기 프로세서에 의해, 상기 검출된 이미지 데이터에 대한 정렬 파라미터들을 결정하는 단계는, 상기 프로세서에 의해 상기 비용 함수의 잡음 전력 파라미터의 추정치를 업데이트하는 단계 및 상기 잡음 전력 파라미터의 상기 추정치를 상기 비용 함수에 대입하는 단계를 더 포함하는, 데이터 정렬 방법.
  8. 제 1 항에 있어서,
    상기 프로세서에 의해, 상기 검출된 이미지 데이터에 대한 정렬 파라미터들을 결정하는 단계는,
    상기 비용 함수를 최소화하는 단계; 및
    상기 비용 함수가 수렴하는 것으로 결정될 때까지,
    상기 프로세서에 의해, 상기 비용 함수의 상기 변환 파라미터들 및 잡음 전력 파라미터들이 고정되어 유지되는 동안 상기 비용 함수의 피처 좌표들을 추정하는 단계;
    상기 프로세서에 의해, 상기 비용 함수의 상기 피처 좌표들의 현재 추정치를 이용하여 상기 비용 함수의 상기 변환 파라미터들을 추정하는 단계; 및
    상기 프로세서에 의해, 상기 비용 함수의 상기 잡음 전력 파라미터들의 추정치를 업데이트하고 상기 잡음 전력 파라미터들의 상기 추정치를 상기 비용 함수에 대입하는 단계를, 반복하는 단계를 포함하는, 데이터 정렬 방법.
  9. 제 1 항에 있어서,
    상기 제 1 가중치 및 상기 제 2 가중치는 상기 검출된 이미지 데이터의 픽셀들의 수에 기초하는, 데이터 정렬 방법.
  10. 제 1 항에 있어서,
    상기 제 1 가중치 및 상기 제 2 가중치는 상기 검출된 이미지 데이터의 잡음 전력에 기초하는, 데이터 정렬 방법.
  11. 제 1 항에 있어서,
    상기 세기 레벨에서의 로그 우도 함수를 생성하는 단계 및 상기 피처 레벨에서의 로그 우도 함수를 생성하는 단계는, 가우시안 잡음 모델을 이용하는 단계를 포함하는, 데이터 정렬 방법.
  12. 제 1 항에 있어서,
    상기 세기 레벨에서의 로그 우도 함수를 생성하는 단계 및 상기 피처 레벨에서의 로그 우도 함수를 생성하는 단계는, 아핀 (affine) 변환 모델, 강체 (rigid) 변환 모델, 또는 탄성 (elastic) 변환 모델 중 적어도 하나인 이미지 변환 모델을 이용하는 단계를 포함하는, 데이터 정렬 방법.
  13. 제 1 항에 있어서,
    상기 피처 레벨에서의 로그 우도 함수는 상기 검출된 이미지 데이터의 에지에 기초하는, 데이터 정렬 방법.
  14. 제 1 항에 기재된 방법을 구현하기 위한 디바이스로서,
    프로세서; 및
    상기 프로세서와 통신하도록 배열된 메모리를 포함하고,
    상기 프로세서는,
    실제 객체에 관련되는 검출된 이미지 데이터를 수신하고;
    증강 현실 시스템에서의 가상의 객체와 연관되는 가상의 객체 데이터를 수신하고;
    상기 가상의 객체 데이터 및 상기 검출된 이미지 데이터에 기초하여 세기 레벨에서의 로그 우도 함수를 생성하고;
    상기 가상의 객체 데이터 및 상기 검출된 이미지 데이터에 기초하여 피처 레벨에서의 로그 우도 함수를 생성하고;
    상기 세기 레벨에서의 로그 우도 함수에 제 1 가중치를 적용하여 세기 레벨에서 가중된 로그 우도 함수를 생성하고;
    상기 피처 레벨에서의 로그 우도 함수에 제 2 가중치를 적용하여 피처 레벨에서 가중된 로그 우도 함수를 생성하고;
    상기 피처 레벨에서의 가중된 로그 우도 함수에 상기 세기 레벨 데이터에서의 가중된 로그 우도 함수를 더하여 비용 함수를 생성하고;
    상기 비용 함수에 기초하여 상기 검출된 이미지 데이터에 대한 변환 파라미터들을 결정하되, 상기 변환 파라미터들은 상기 가상의 객체 데이터와 상기 검출된 이미지 데이터를 정렬하기 위한 것이며;
    상기 변환 파라미터들을 상기 메모리에 저장하도록 구성되는, 디바이스.
  15. 제 14 항에 있어서,
    상기 프로세서는 또한, 상기 실제 객체의 강화된 이미지 데이터를 생성하기 위하여, 상기 변환 파라미터들을 이용하여 상기 가상의 객체 데이터와 상기 검출된 이미지 데이터를 정렬하도록 구성되는, 디바이스.
  16. 제 15 항에 있어서,
    상기 프로세서와 통신하도록 배열된 디스플레이를 더 포함하고,
    상기 디스플레이는 상기 강화된 이미지 데이터를 디스플레이하도록 구성되고,
    상기 강화된 이미지 데이터는 상기 증강 현실 시스템에서의 상기 가상의 객체를 나타내는, 디바이스.
  17. 제 14 항에 있어서,
    상기 프로세서는 또한,
    상기 비용 함수를 최소화하고;
    상기 비용 함수가 수렴하는 것으로 결정될 때까지,
    상기 비용 함수의 상기 변환 파라미터들 및 잡음 전력 파라미터들이 고정되어 유지되는 동안 상기 비용 함수의 피처 좌표들을 추정하고;
    상기 비용 함수의 상기 피처 좌표들의 현재 추정치를 이용하여 상기 비용 함수의 상기 변환 파라미터들을 추정하며;
    상기 비용 함수의 상기 잡음 전력 파라미터들의 추정치를 업데이트하고 상기 잡음 전력 파라미터들의 상기 추정치를 상기 비용 함수에 대입하는 것을, 반복하도록 구성되는, 디바이스.
  18. 제 14 항에 있어서,
    상기 제 1 가중치 및 상기 제 2 가중치는 상기 검출된 이미지 데이터의 픽셀들의 수에 기초하는, 디바이스.
  19. 제 14 항에 있어서,
    상기 제 1 가중치 및 상기 제 2 가중치는 상기 검출된 이미지 데이터의 잡음 전력에 기초하는, 디바이스.
  20. 제 1 항에 기재된 방법을 수행하기 위한 시스템으로서,
    프로세서;
    상기 프로세서와 통신하도록 배열된 센서로서, 검출된 이미지 데이터를 검출하고 상기 검출된 이미지 데이터를 상기 센서로부터 상기 프로세서로 전송하도록 구성되고, 상기 검출된 이미지 데이터는 실제 객체에 관련되는, 상기 센서;
    상기 프로세서와 통신하도록 배열된 메모리; 및
    상기 프로세서와 통신하도록 배열된 디스플레이를 포함하고,
    상기 프로세서는,
    상기 검출된 이미지 데이터를 수신하고;
    증강 현실에서의 가상의 객체와 연관되는 가상의 객체 데이터를 수신하고;
    상기 가상의 객체 데이터 및 상기 검출된 이미지 데이터에 기초하여 세기 레벨에서의 로그 우도 함수를 생성하고;
    상기 가상의 객체 데이터 및 상기 검출된 이미지 데이터에 기초하여 피처 레벨에서의 로그 우도 함수를 생성하고;
    상기 세기 레벨에서의 로그 우도 함수에 제 1 가중치를 적용하여 세기 레벨에서 가중된 로그 우도 함수를 생성하고;
    상기 피처 레벨에서의 로그 우도 함수에 제 2 가중치를 적용하여 피처 레벨에서 가중된 로그 우도 함수를 생성하고;
    상기 피처 레벨에서의 가중된 로그 우도 함수에 상기 세기 레벨에서의 가중된 로그 우도 함수를 더하여 비용 함수를 생성하고;
    상기 비용 함수에 기초하여 상기 검출된 이미지 데이터에 대한 변환 파라미터들을 결정하되, 상기 변환 파라미터들은 상기 가상의 객체 데이터와 상기 검출된 이미지 데이터를 정렬하기 위한 것이고;
    상기 변환 파라미터들을 상기 메모리에 저장하며;
    상기 실제 객체의 강화된 이미지 데이터를 생성하기 위하여, 상기 변환 파라미터들을 이용하여 상기 가상의 객체 데이터와 상기 검출된 이미지 데이터를 정렬하도록 구성되고,
    상기 디스플레이는 상기 강화된 이미지 데이터를 디스플레이하도록 구성되는, 시스템.
  21. 제 20 항에 있어서,
    상기 프로세서는 또한,
    상기 비용 함수를 최소화하고;
    상기 비용 함수가 수렴하는 것으로 결정될 때까지,
    상기 비용 함수의 상기 변환 파라미터들 및 잡음 전력 파라미터들이 고정되어 유지되는 동안 상기 비용 함수의 피처 좌표들을 추정하고;
    상기 비용 함수의 상기 피처 좌표들의 현재 추정치를 이용하여 상기 비용 함수의 상기 변환 파라미터들을 추정하며;
    상기 비용 함수의 상기 잡음 전력 파라미터들의 추정치를 업데이트하고 상기 잡음 전력 파라미터들의 상기 추정치를 상기 비용 함수에 대입하는 것을, 반복하도록 구성되는, 시스템.
  22. 제 20 항에 있어서,
    상기 제 1 가중치 및 상기 제 2 가중치는 상기 검출된 이미지 데이터의 픽셀들의 수에 기초하는, 시스템.
  23. 제 20 항에 있어서,
    상기 제 1 가중치 및 상기 제 2 가중치는 상기 검출된 이미지 데이터의 잡음 전력에 기초하는, 시스템.
  24. 제 20 항에 기재된 시스템을 구현하는 방법으로서,
    센서에 의해 검출된 이미지 데이터를 검출하는 단계로서, 상기 검출된 이미지 데이터는 실제 객체에 관련되는, 상기 검출된 이미지 데이터를 검출하는 단계;
    상기 검출된 이미지 데이터를 상기 센서로부터 프로세서로 전송하는 단계;
    상기 프로세서에 의해 상기 검출된 이미지 데이터를 수신하는 단계;
    상기 프로세서에서 가상의 객체 데이터를 수신하는 단계로서, 상기 가상의 객체 데이터는 증강 현실 시스템에서의 가상의 객체를 나타내는, 상기 가상의 객체 데이터를 수신하는 단계;
    상기 프로세서에 의해, 상기 가상의 객체 데이터 및 상기 검출된 이미지 데이터에 기초하여 세기 레벨에서의 로그 우도 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 가상의 객체 데이터 및 상기 검출된 이미지 데이터에 기초하여 피처 레벨에서의 로그 우도 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 세기 레벨에서의 로그 우도 함수에 제 1 가중치를 적용하여 세기 레벨에서 가중된 로그 우도 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 피처 레벨에서의 로그 우도 함수에 제 2 가중치를 적용하여 피처 레벨에서 가중된 로그 우도 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 피처 레벨에서의 가중된 로그 우도 함수에 상기 세기 레벨에서의 가중된 로그 우도 함수를 더하여 비용 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 비용 함수에 기초하여 상기 검출된 이미지 데이터에 대한 변환 파라미터들을 결정하는 단계로서, 상기 변환 파라미터들은 상기 가상의 객체 데이터와 상기 검출된 이미지 데이터를 정렬하기 위한 것인, 상기 변환 파라미터들을 결정하는 단계;
    상기 프로세에 의해, 상기 실제 객체의 강화된 이미지 데이터를 생성하기 위하여, 상기 변환 파라미터들을 이용하여 상기 가상의 객체 데이터와 상기 검출된 이미지 데이터를 정렬하는 단계; 및
    상기 강화된 이미지 데이터를 디스플레이 상에 디스플레이하는 단계로서, 상기 강화된 이미지 데이터는 상기 증강 현실 시스템에서의 상기 가상의 객체를 나타내는, 상기 디스플레이하는 단계를 포함하는, 방법.
  25. 제 24 항에 있어서,
    상기 프로세서에 의해, 상기 검출된 이미지 데이터에 대한 변환 파라미터들을 결정하는 단계는,
    상기 비용 함수를 최소화하는 단계; 및
    상기 비용 함수가 수렴하는 것으로 결정될 때까지,
    상기 프로세서에 의해, 상기 비용 함수의 상기 변환 파라미터들 및 잡음 전력 파라미터들이 고정되어 유지되는 동안 상기 비용 함수의 피처 좌표들을 추정하는 단계;
    상기 프로세서에 의해, 상기 비용 함수의 상기 피처 좌표들의 현재 추정치를 이용하여 상기 비용 함수의 상기 변환 파라미터들을 추정하는 단계; 및
    상기 프로세서에 의해, 상기 비용 함수의 상기 잡음 전력 파라미터들의 추정치를 업데이트하고 상기 잡음 전력 파라미터들의 상기 추정치를 상기 비용 함수에 대입하는 단계를, 반복하는 단계를 포함하는, 방법.
  26. 제 24 항에 있어서,
    상기 제 1 가중치 및 상기 제 2 가중치는 상기 검출된 이미지 데이터의 픽셀들의 수에 기초하는, 방법.
  27. 제 24 항에 있어서,
    상기 제 1 가중치 및 상기 제 2 가중치는 상기 검출된 이미지 데이터의 잡음 전력에 기초하는, 방법.
  28. 컴퓨터 실행 가능 명령들이 저장되는 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 실행 가능 명령들은, 컴퓨팅 디바이스에 의해 실행되는 경우, 상기 컴퓨팅 디바이스가 제 1 항에 기재된 방법을 수행하게 하고,
    상기 방법은,
    프로세서에서, 검출된 이미지 데이터를 수신하는 단계로서, 상기 검출된 이미지 데이터는 상기 실제 객체에 관련되는, 상기 검출된 이미지 데이터를 수신하는 단계;
    상기 프로세서에서 가상의 객체 데이터를 수신하는 단계로서, 상기 가상의 객체 데이터는 증강 현실 시스템에서의 가상의 객체를 나타내는, 상기 가상의 객체 데이터를 수신하는 단계;
    상기 프로세서에 의해, 상기 가상의 객체 데이터 및 상기 검출된 이미지 데이터에 기초하여 세기 레벨에서의 로그 우도 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 가상의 객체 데이터 및 상기 검출된 이미지 데이터에 기초하여 피처 레벨에서의 로그 우도 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 세기 레벨에서의 로그 우도 함수에 제 1 가중치를 적용하여 세기 레벨에서 가중된 로그 우도 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 피처 레벨에서의 로그 우도 함수에 제 2 가중치를 적용하여 피처 레벨에서 가중된 로그 우도 함수를 생성하는 단계;
    상기 프로세서에 의해, 상기 피처 레벨에서의 가중된 로그 우도 함수에 상기 세기 레벨에서의 가중된 로그 우도 함수를 더하여 비용 함수를 생성하는 단계; 및
    상기 프로세서에 의해, 상기 비용 함수에 기초하여 상기 검출된 이미지 데이터에 대한 변환 파라미터들을 결정하는 단계로서, 상기 변환 파라미터들은 상기 가상의 객체 데이터와 상기 검출된 이미지 데이터를 정렬하기 위한 것인, 상기 변환 파라미터들을 결정하는 단계를 포함하는, 컴퓨터 판독가능 저장 매체.
  29. 제 28 항에 있어서,
    상기 방법은,
    비용 함수를 최소화하는 단계; 및
    상기 비용 함수가 수렴하는 것으로 결정될 때까지,
    상기 프로세서에 의해, 상기 비용 함수의 상기 변환 파라미터들 및 잡음 전력 파라미터들이 고정되어 유지되는 동안 상기 비용 함수의 피처 좌표들을 추정하는 단계;
    상기 프로세서에 의해, 상기 비용 함수의 상기 피처 좌표들의 현재 추정치를 이용하여 상기 비용 함수의 상기 변환 파라미터들을 추정하는 단계; 및
    상기 프로세서에 의해, 상기 비용 함수의 상기 잡음 전력 파라미터들의 추정치를 업데이트하고 상기 잡음 전력 파라미터들의 상기 추정치를 상기 비용 함수에 대입하는 단계를, 반복하는 단계를 더 포함하는, 컴퓨터 판독가능 저장 매체.
KR1020127013366A 2010-03-08 2011-02-16 증강 현실에서 객체들의 정렬 KR101355286B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US12/719,100 2010-03-08
US12/719,100 US8416263B2 (en) 2010-03-08 2010-03-08 Alignment of objects in augmented reality
PCT/US2011/025040 WO2011112328A2 (en) 2010-03-08 2011-02-16 Alignment of objects in augmented reality

Publications (2)

Publication Number Publication Date
KR20120085858A KR20120085858A (ko) 2012-08-01
KR101355286B1 true KR101355286B1 (ko) 2014-01-27

Family

ID=44530945

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127013366A KR101355286B1 (ko) 2010-03-08 2011-02-16 증강 현실에서 객체들의 정렬

Country Status (5)

Country Link
US (2) US8416263B2 (ko)
JP (1) JP5346128B2 (ko)
KR (1) KR101355286B1 (ko)
CN (2) CN104077587B (ko)
WO (1) WO2011112328A2 (ko)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8902254B1 (en) * 2010-09-02 2014-12-02 The Boeing Company Portable augmented reality
US10026227B2 (en) 2010-09-02 2018-07-17 The Boeing Company Portable augmented reality
US9113050B2 (en) 2011-01-13 2015-08-18 The Boeing Company Augmented collaboration system
US20130280388A1 (en) 2012-04-24 2013-10-24 Athula Ekanayake Solid Food Products and Methods of Their Preservation
CN102799761A (zh) * 2012-06-20 2012-11-28 惠州Tcl移动通信有限公司 用于移动通信终端的增强现实方法及其系统
US10176635B2 (en) * 2012-06-28 2019-01-08 Microsoft Technology Licensing, Llc Saving augmented realities
US8868474B2 (en) * 2012-08-01 2014-10-21 Empire Technology Development Llc Anomaly detection for cloud monitoring
EP2936283A1 (en) * 2012-12-21 2015-10-28 Harman Becker Automotive Systems GmbH Input device for a motor vehicle
US9570087B2 (en) * 2013-03-15 2017-02-14 Broadcom Corporation Single channel suppression of interfering sources
KR101827550B1 (ko) 2014-01-31 2018-02-08 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 스킨 매니저
EP3100256A4 (en) 2014-01-31 2017-06-28 Empire Technology Development LLC Augmented reality skin evaluation
WO2015116183A2 (en) * 2014-01-31 2015-08-06 Empire Technology Development, Llc Subject selected augmented reality skin
KR101821982B1 (ko) 2014-01-31 2018-01-25 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 증강 현실 스킨의 평가
US20160077166A1 (en) * 2014-09-12 2016-03-17 InvenSense, Incorporated Systems and methods for orientation prediction
US9911232B2 (en) * 2015-02-27 2018-03-06 Microsoft Technology Licensing, Llc Molding and anchoring physically constrained virtual environments to real-world environments
CN104835199A (zh) * 2015-05-21 2015-08-12 成都绿野起点科技有限公司 基于增强现实的3d重建方法
CN104835200A (zh) * 2015-05-21 2015-08-12 成都绿野起点科技有限公司 一种基于增强现实技术的识别图3d重建方法
US9898864B2 (en) 2015-05-28 2018-02-20 Microsoft Technology Licensing, Llc Shared tactile interaction and user safety in shared space multi-person immersive virtual reality
US9836117B2 (en) 2015-05-28 2017-12-05 Microsoft Technology Licensing, Llc Autonomous drones for tactile feedback in immersive virtual reality
US20170169612A1 (en) 2015-12-15 2017-06-15 N.S. International, LTD Augmented reality alignment system and method
US10178378B2 (en) 2016-04-12 2019-01-08 Microsoft Technology Licensing, Llc Binocular image alignment for near-eye display
CN106354251B (zh) * 2016-08-17 2019-04-02 深圳前海小橙网科技有限公司 一种虚拟场景与真实场景融合的模型系统与方法
JP2018055589A (ja) * 2016-09-30 2018-04-05 セイコーエプソン株式会社 プログラム、物体の追跡方法、表示装置
CN106600669A (zh) * 2016-12-22 2017-04-26 郑州正电电子技术有限公司 基于可变色荧光画板和增强现实的装置及运行方法
US9978118B1 (en) 2017-01-25 2018-05-22 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with data compression
US10242654B2 (en) 2017-01-25 2019-03-26 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations
US10514753B2 (en) 2017-03-27 2019-12-24 Microsoft Technology Licensing, Llc Selectively applying reprojection processing to multi-layer scenes for optimizing late stage reprojection power
US10410349B2 (en) 2017-03-27 2019-09-10 Microsoft Technology Licensing, Llc Selective application of reprojection processing on layer sub-regions for optimizing late stage reprojection power
US10255891B2 (en) 2017-04-12 2019-04-09 Microsoft Technology Licensing, Llc No miss cache structure for real-time image transformations with multiple LSR processing engines
WO2019028021A1 (en) * 2017-07-31 2019-02-07 Children's National Medical Center SYSTEM AND METHOD OF LOCATION BASED ON ARTIFICIAL VISION AND HYBRID EQUIPMENT
US11182465B2 (en) * 2018-06-29 2021-11-23 Ye Zhu Augmented reality authentication methods and systems
US11308652B2 (en) * 2019-02-25 2022-04-19 Apple Inc. Rendering objects to match camera noise
CN110852709A (zh) * 2019-11-05 2020-02-28 北京明略软件系统有限公司 一种实现预警处理的方法、装置、计算机存储介质及终端
WO2021180331A1 (en) 2020-03-12 2021-09-16 Brainlab Ag Method for registering a virtual representation of a patient anatomy with a coordinate system of a physical patient anatomy

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5926568A (en) 1997-06-30 1999-07-20 The University Of North Carolina At Chapel Hill Image object matching using core analysis and deformable shape loci
US20060098897A1 (en) 2004-11-10 2006-05-11 Agfa-Gevaert Method of superimposing images

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6879946B2 (en) 1999-11-30 2005-04-12 Pattern Discovery Software Systems Ltd. Intelligent modeling, transformation and manipulation system
AU2002331821A1 (en) * 2001-09-06 2003-03-24 Acclaima Ltd. Method and apparatus for applying alterations selected from a set of alterations to a background scene
JP3805231B2 (ja) * 2001-10-26 2006-08-02 キヤノン株式会社 画像表示装置及びその方法並びに記憶媒体
US7298923B2 (en) * 2003-11-03 2007-11-20 Siemens Medical Solutions Usa, Inc. Method and system for focus-adaptive reconstruction of spine images
US7970171B2 (en) 2007-01-18 2011-06-28 Ricoh Co., Ltd. Synthetic image and video generation from ground truth data
EP1657679A1 (en) * 2004-11-10 2006-05-17 Agfa-Gevaert Method of superimposing images
US7680312B2 (en) 2005-07-13 2010-03-16 Siemens Medical Solutions Usa, Inc. Method for knowledge based image segmentation using shape models
CN100470452C (zh) * 2006-07-07 2009-03-18 华为技术有限公司 一种实现三维增强现实的方法及系统
JP4717760B2 (ja) * 2006-08-31 2011-07-06 三菱電機株式会社 物体認識装置および映像物体測位装置
JP5111210B2 (ja) 2008-04-09 2013-01-09 キヤノン株式会社 画像処理装置、画像処理方法
US20100045701A1 (en) * 2008-08-22 2010-02-25 Cybernet Systems Corporation Automatic mapping of augmented reality fiducials
CN101520904B (zh) * 2009-03-24 2011-12-28 上海水晶石信息技术有限公司 带有现实环境估算的增强现实的方法及其系统
CN101520849B (zh) * 2009-03-24 2011-12-28 上海水晶石信息技术有限公司 基于图像特征点提取与随机树分类的增强现实方法及系统
CN101551732A (zh) * 2009-03-24 2009-10-07 上海水晶石信息技术有限公司 带有交互功能的增强现实的方法及其系统

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5926568A (en) 1997-06-30 1999-07-20 The University Of North Carolina At Chapel Hill Image object matching using core analysis and deformable shape loci
US20060098897A1 (en) 2004-11-10 2006-05-11 Agfa-Gevaert Method of superimposing images

Also Published As

Publication number Publication date
CN104077587A (zh) 2014-10-01
JP5346128B2 (ja) 2013-11-20
WO2011112328A2 (en) 2011-09-15
CN102667811A (zh) 2012-09-12
KR20120085858A (ko) 2012-08-01
US20110216089A1 (en) 2011-09-08
US20130177259A1 (en) 2013-07-11
WO2011112328A3 (en) 2011-11-03
JP2013516718A (ja) 2013-05-13
CN104077587B (zh) 2018-02-02
CN102667811B (zh) 2014-07-30
US8797356B2 (en) 2014-08-05
US8416263B2 (en) 2013-04-09

Similar Documents

Publication Publication Date Title
KR101355286B1 (ko) 증강 현실에서 객체들의 정렬
US8803880B2 (en) Image-based lighting simulation for objects
KR101889451B1 (ko) 트레이닝 데이터를 위한 가중치 이득 평가기
US20140015838A1 (en) Apparatus and method of performing tile binning of bezier curve
CN113205515B (zh) 目标检测方法、装置、及计算机存储介质
RU2013149804A (ru) Система обработки изображений и способ
US9865088B2 (en) Evaluation of augmented reality skins
US11514645B2 (en) Electronic device for providing visual localization based on outdoor three-dimension map information and operating method thereof
CN112052865A (zh) 用于生成神经网络模型的方法和装置
US8400471B2 (en) Interpretation of constrained objects in augmented reality
US9710893B2 (en) Image resolution modification
WO2020158609A1 (ja) 立体構造判定装置、立体構造判定方法、立体構造の判別器学習装置、立体構造の判別器学習方法及びプログラム
US20130107008A1 (en) Method, apparatus and computer program product for capturing images
JP6619598B2 (ja) プログラム、記録媒体、輝度演算装置及び輝度演算方法
US9978126B2 (en) Image resolution modification
US9836650B2 (en) Identification of a photographer based on an image
CN112880675B (zh) 用于视觉定位的位姿平滑方法、装置、终端和移动机器人
CN112351213B (zh) 用于有效信号处理的芯片资源上的系统动态分配
JP2019067004A (ja) 画像処理方法、画像処理装置、および画像処理プログラム
WO2020250336A1 (ja) 方向提示装置、方向提示方法、プログラム
TWI547902B (zh) 採用梯度域梅特羅波利斯光傳輸以呈像圖形之方法與系統
KR20200137985A (ko) 원근(투영) 보간 함수들의 최적화된 연산
CN115578522A (zh) 一种基于图像的彩色稠密化点云生成方法及装置
CN117671190A (zh) 模型更新方法、装置及设备
CN110781888A (zh) 回归视频画面中屏幕的方法、装置、可读介质及电子设备

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20161229

Year of fee payment: 4