KR20140081729A - 가상 오브젝트들의 로케이션 보정 - Google Patents

가상 오브젝트들의 로케이션 보정 Download PDF

Info

Publication number
KR20140081729A
KR20140081729A KR20130160293A KR20130160293A KR20140081729A KR 20140081729 A KR20140081729 A KR 20140081729A KR 20130160293 A KR20130160293 A KR 20130160293A KR 20130160293 A KR20130160293 A KR 20130160293A KR 20140081729 A KR20140081729 A KR 20140081729A
Authority
KR
South Korea
Prior art keywords
virtual
real
location
world
virtual object
Prior art date
Application number
KR20130160293A
Other languages
English (en)
Inventor
우데이 패트레
Original Assignee
다솔 시스템즈 델미아 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 다솔 시스템즈 델미아 코포레이션 filed Critical 다솔 시스템즈 델미아 코포레이션
Publication of KR20140081729A publication Critical patent/KR20140081729A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2219/00—Indexing scheme for manipulating 3D models or images for computer graphics
    • G06T2219/20—Indexing scheme for editing of 3D models
    • G06T2219/2016—Rotation, translation, scaling

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Graphics (AREA)
  • Software Systems (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Geometry (AREA)
  • Processing Or Creating Images (AREA)

Abstract

현실 세계 장면의 가상 모델에서의 가상 오브젝트들의 로케이션 보정에 사용하기 위한 컴퓨터-구현 방법이 제공된다. 오브젝트의 로케이션은 가상 오브젝트의 위치 및 방위 양자로 이루어진다. 본 방법은 가상 오브젝트를 포함한, 가상 모델을 발생시키는 단계, 및 현실 세계 장면 내에서 현실 세계 오브젝트의 적어도 하나의 디지털 이미지를 획득하는 단계를 포함하며, 여기서, 현실 세계 오브젝트는 가상 오브젝트에 대응한다. 본 방법은 또한 가상 오브젝트 상의 적어도 하나의 미리 정의된 지점과 현실 세계 오브젝트 상의 적어도 하나의 대응하는 지점 사이의 이미지-기반의 위치상의 차이를 계산하는 단계, 이 이미지 위치상의 차이에 기초하여 가상 오브젝트의 위치 및/또는 방위를 조정하는 단계, 및 가상 오브젝트의 보정된 로케이션에 대해서 가상 모델을 조정하는 단계를 포함한다.

Description

가상 오브젝트들의 로케이션 보정{LOCATION CORRECTION OF VIRTUAL OBJECTS}
본원에서 설명하는 실시형태들은 일반적으로 현실 세계 오브젝트들 및/또는 장면들의 그래픽 표현들에 관한 것으로, 그리고 좀더 자세하게는, 3차원 (3D) 컴퓨터 그래픽 모델링 및 시뮬레이션, 및 현실 세계 오브젝트들을 나타내는 가상 오브젝트들의 레이아웃 및 로케이션 보정에 관한 것이다. 오브젝트의 로케이션은 오브젝트의 위치 및 방위 양자로 이루어진다.
제조 작업셀들의 3차원 컴퓨터 그래픽 시뮬레이션들이 제조 프로세스들을 시뮬레이션하는데 현재 사용되고 있다. 따라서, 프로그램들 또는 시뮬레이션 모델들이 산업 로봇들과 같은 리소스들을 구동하기 위해 작업 현장 상의 컴퓨터들로 다운로드된다. 이 프로세스의 일부분으로서, 제조 작업셀 (제조 프로세스에 사용되는 기계들, 고정물들, 및 작업 편들을 포함함) 의 가상 3D 모델은 작업 현장 상의 실제 작업셀에서 실제 위치 및 방위들을 매칭하기 위해, 시뮬레이트되는 작업셀에서 레이아웃이 조정되어야 한다. 이것은 시뮬레이트되는 제조 프로그램들이 도달가능성 (reachability) 및 충돌들과 같은 이슈들에 대한 프로세스를 검증가능하게 한다. 이것은 또한 공장에서의 산업 로봇들과 같은 제조 리소스들에 다운로드되는 오프라인 프로그램들의 올바른 동작을 가능하게 한다.
시뮬레이션 모델에서 3D 로케이션 보정의 기지의 방법들은 좌표 측정 기계들, 세오돌라이트들 (theodolites), 및/또는 레이저 거리 측정기들과 같은 비싸고 복잡한 측정 장비를 이용한다. 그러나, 이런 장비는 공장에서 셋업되어야 한다. 공장으로부터 얻은 측정치 데이터가 그후 3D 시뮬레이션으로 임포트되어, 모델에 대한 조정들을 행하는데 사용된다. 따라서, 이런 기지의 방법들은 별도의 디바이스들이 구매되고 사용자들이 그들을 사용하기 위해 훈련을 받을 것을 필요로 한다. 더욱이, 이런 기지의 방법들은 상이한 로케이션들에서 다수의 단계들을 필요로 한다.
일 양태에서, 현실 세계 (real-world) 장면의 가상 모델의 로케이션 (location) 보정에 이용하기 위한 컴퓨터-구현 방법이 제공된다. 이 방법은 가상 오브젝트 (object) 를 포함한, 가상 모델을 발생시키는 단계, 및 현실 세계 장면 내에서 현실 세계 오브젝트의 적어도 하나의 디지털 이미지를 획득하는 단계를 포함하며, 상기 현실 세계 오브젝트는 가상 오브젝트에 대응한다. 이 방법은 또한 가상 오브젝트 상의 적어도 하나의 미리 정의된 지점과 현실 세계 오브젝트 상의 적어도 하나의 대응하는 지점 사이의 이미지-기반의 위치상의 차이를 계산하는 단계, 이미지 위치상의 차이에 기초하여 가상 오브젝트의 위치 (position) 및/또는 방위 (orientation) 를 조정하는 단계, 및 가상 오브젝트의 보정된 로케이션에 대해서 가상 모델을 조정하는 단계를 포함한다.
또 다른 양태에서, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터가 제공된다. 컴퓨터는 가상 모델 및 그 가상 모델 내 가상 오브젝트를 저장하도록 구성된 메모리 영역을 포함한다. 컴퓨터는 또한 메모리 영역에 커플링된 프로세서를 포함한다. 프로세서는 가상 오브젝트를 포함한, 가상 모델을 발생시키고, 그리고 현실 세계 장면 내에서 현실 세계 오브젝트의 적어도 하나의 디지털 이미지를 획득하도록 구성되며, 상기 현실 세계 오브젝트는 가상 오브젝트에 대응한다. 프로세서는 또한 가상 오브젝트 상의 적어도 하나의 미리 정의된 지점과 현실 세계 오브젝트 상의 적어도 하나의 대응하는 지점 사이의 이미지-기반의 위치상의 차이를 계산하고, 이미지 위치상의 차이에 기초하여 가상 오브젝트의 위치 및/또는 방위를 조정하고, 그리고 가상 오브젝트의 보정된 로케이션에 대해서 가상 모델을 조정하도록 구성된다.
또 다른 양태에서, 컴퓨터 프로그램 제품은 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터-실행가능한 구성요소들 (components) 을 갖는 하나 이상의 비일시성 컴퓨터-판독가능 저장 매체들을 포함한다. 구성요소들은 프로세서로 하여금, 가상 오브젝트를 포함한 가상 모델을 발생시키도록 하는 발생 구성요소 (generation component); 및 프로세서로 하여금 현실 세계 장면 내에서 현실 세계 오브젝트의 적어도 하나의 디지털 이미지를 획득하도록 하는 획득 구성요소 (acquisition component) 를 포함하며, 상기 현실 세계 오브젝트는 가상 오브젝트에 대응한다. 구성요소들은 또한 프로세서로 하여금, 가상 오브젝트 상의 적어도 하나의 미리 정의된 지점과 현실 세계 오브젝트 상의 적어도 하나의 대응하는 지점 사이의 이미지-기반의 위치상의 차이를 계산하고, 이미지 위치상의 차이에 기초하여 가상 오브젝트의 위치 및/또는 방위를 조정하고, 그리고 가상 오브젝트의 보정된 로케이션에 대해서 가상 모델을 조정하도록 하는 보정 구성요소 (correction component) 를 포함한다.
도 1 은 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 예시적인 컴퓨터 시스템의 개략 블록도이다.
도 2 는 도 1 에 나타낸 컴퓨터 시스템의 동작을 예시하는 플로우차트이다.
도 3 은 도 1 에 나타낸 컴퓨터 시스템의 동작을 추가로 예시하는 플로우차트이다.
도 4a 내지 도 4g 는 도 1 에 나타낸 컴퓨터 시스템에 사용되는 클라이언트 디바이스의 예시적인 디스플레이의 예시들이다.
도 5 는 도 1 에 나타낸 서버 시스템 및/또는 클라이언트 디바이스들과 함께 사용하기 위한 예시적인 컴퓨터 아키텍처의 개략 블록도이다.
본 발명의 예시적인 실시형태들의 설명이 뒤따른다.
본원에서 인용된 모든 특허들, 공개된 출원 및 참조문헌들은 그들 전체로 참조에 의해 통합된다.
현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한, 컴퓨터-구현 방법들, 컴퓨터 디바이스들 및 시스템들, 및 컴퓨터 프로그램 제품들의 예시적인 실시형태들이 본원에서 설명된다. 본원에서 설명하는 실시형태들은 예를 들어, 내장 디지털 카메라, 3D 그래픽 시뮬레이션 또는 가상 현실 소프트웨어를 가진 휴대형 태블릿 컴퓨터 및 원하는 공간 보정을 달성하는 방법을 이용하여, 컴퓨터 그래픽 모델들에서의 가상 오브젝트들에 대한 3D 로케이션 보정을 용이하게 할 수 있다. 본원에서 설명하는 실시형태들은 소프트웨어로부터의 3D 모델 이미지들의 수학적으로 엄밀한 렌더링과 함께, 이런 휴대형 태블릿 컴퓨터들에 내장되는 높은 해상도 사진적 및 계산 능력의 조합을 이용한다. 이 접근법은 사용자가 태블릿 컴퓨터 상의 작업셀 모델의 3D 가상 이미지의 상부 상에 중첩시켜 작업셀의 디지털 카메라 정지 이미지들의 작은 세트를 캡쳐하는 것과 함께, "매개된 현실 (mediated reality)" 의 형태를 포함한다. 그러나, 본원에서 설명하는 실시형태들은 가상 모델 상에 걸쳐서 이미지를 중첩할 필요가 없는 것으로 이해되어야 한다. 예를 들어, 본원에서 설명하는 실시형태들은 또한 컴퓨터 디바이스로 하여금, 이미지 및 가상 모델을 나란한 (side-by-side) 방법으로, 예를 들어, 위치적인 계산들 및 이동들이 각각의 애플리케이션에서 별개로 추적되도록, 디스플레이가능하게 한다. 아래에 상세히 설명하는 계산 접근법은 따라서 가상 모델에서의 가상 오브젝트들의 3D 로케이션들을 조정하여, 보정 문제를 해결한다.
더욱이, 본원에서 설명하는 실시형태들은 사용의 용이성, 절차의 속도, 및 측정 및 설치를 위한 비용 및 셋업 시간에서의 상당한 감소를 촉진한다. 게다가, 본원에서 설명하는 실시형태들은 3D 로케이션 조정 동안 태블릿 컴퓨터에 내장되는 디지털 카메라의 하드웨어-특정의 커스터마이제이션 또는 길이-표준 유형 보정에 대한 필요성을 제거하는 접근법을 포함한다. 더욱이, 본원에서 설명하는 실시형태들은 아래에서 설명하는 바와 같이 조정들의 미세 정확도로부터 거친 정확도 (coarse accuracy) 로 뿐만 아니라, 오브젝트들의 작은 치수로부터 큰 치수들로 스케일링가능하다.
본원에서 설명하는 실시형태들이 산업 및/또는 제조 리소스들과 관련하여 설명되지만, 실시형태들은 이런 사용들에 한정되지 않는 것으로 이해되어야 한다. 예를 들어, 실시형태들은 또한 객실 내부를 리모델링하는 인테리어 설계 동안에 사용될 수도 있으며, 여기서 가구와 같은 기존 오브젝트들의 레이아웃의 3D 그래픽 모델은 재설계를 착수하기 전에 빌딩 객실 내부의 실제 레이아웃을 정확히 매칭하도록 조정될 것이다. 또 다른 예는 아키텍처이며, 여기서 가상 모델에 대략 로케이트된 빌딩들의 세트의 3D 모델은 태블릿 컴퓨터를 옥외로 가져가서, 그 부지 (grounds) 를 돌아다니면서 빌딩들의 디지털 이미지들을 캡쳐함으로써 실제 위치들에 대해 조정될 것이다.
도 1 은 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 및/또는 아래에서 설명하는 프로세스들을 수행하는데 사용하기 위한 예시적인 컴퓨터 시스템 (100) 및/또는 아래에서 설명되는 것들과 관련될 수도 있는 추가적인 프로세스들의 개략 블록도이다. 예시적인 실시형태에서, 메모리 영역 (102) 은 현실 세계 장면들의 시뮬레이션들에 관련되는 데이터와 같은 데이터를 저장하는데 사용하기 위한 하나 이상의 저장 디바이스들 (104) 을 포함한다. 저장 디바이스들 (104) 은 하나 이상의 데이터베이스들로서 구현될 수도 있거나 및/또는 단일 또는 다수의 지리적 사이트들에 로케이트될 수도 있다. 일부 실시형태들에서, 메모리 영역 (102) 은 서버 시스템 (106) 에 커플링된다. 대안적인 실시형태에서, 메모리 영역 (102) 은 서버 시스템 (106) 과 통합된다. 예시적인 실시형태에서, 서버 시스템 (106) 은 네트워크 (110) 를 통해서 하나 이상의 클라이언트 디바이스들 (108) 에 커플링된다. 클라이언트 디바이스들 (108) 은 랩탑 컴퓨터들, 태블릿 컴퓨터들, 및/또는 스마트폰들을 포함하지만 오직 이를 포함하는 것에만 한정되지 않는, 모바일 클라이언트 디바이스들을 포함할 수도 있다. 더욱이, 클라이언트 디바이스들 (108) 은 데스크탑 컴퓨터들 등과 같은 일반적으로 모바일이 아닌 정지된 클라이언트 디바이스들을 포함할 수도 있다.
주지하는 바와 같이, 네트워크 (110) 는 인터넷과 같은 공중 네트워크, 또는 LAN 또는 WAN 네트워크와 같은 사설 네트워크, 또는 이들의 임의의 조합일 수 있으며, 또한 PSTN 또는 ISDN 서브-네트워크들을 포함할 수 있다. 네트워크 (110) 는 또한 이더넷 네트워크와 같은 유선일 수 있거나, 또는 EDGE, 3G, 및 4G 또는 LTE 무선 셀룰러 시스템들을 포함한 셀룰러 네트워크와 같은 무선일 수 있다. 무선 네트워크는 또한 WiFi, Bluetooth, 또는 기지의 임의의 다른 무선 유형의 통신일 수 있다. 따라서, 네트워크 (110) 는 단지 예시적이며 본 향상들의 범위를 조금도 한정하지 않는다.
서버 시스템 (106) 및/또는 클라이언트 디바이스들 (108) 은 도 5 를 참조하여 아래에서 설명하는 것과 같은 임의의 적합한 컴퓨터 아키텍처, 또는 알려진 임의의 다른 컴퓨팅 아키텍처일 수 있다. 더욱이, 서버 시스템 (106) 은 위에서 설명한 프로세스들 및/또는 위에서 설명한 것들과 관련될 수도 있는 임의의 추가적인 프로세스들을 수행하도록 구성된 것으로 이해되어야 한다.
일부 실시형태들에서, 서버 시스템 (106) 은 또한 클라이언트 디바이스들 (108) 이 위에서 설명한 프로세스들을 실행하도록, 클라이언트 디바이스들 (108) 에 필요로 하는 바에 따라 메모리 영역 (108) 으로부터 데이터를 제공할 수 있다. 이와 같이, 도 1 은 클라우드 컴퓨팅, 분산 컴퓨팅 등을 통한 컴퓨터 시스템 (100) 의 구현예들을 포함한다. 더욱이, 일부 실시형태들에서, 서버 시스템 (106) 은 아래에서 설명하는 프로세스들을 실행하는 컴퓨터-판독가능 명령들을 저장하고, 이들 명령들을 네트워크 (110) 를 통해서 클라이언트 디바이스들 (108) 에 제공한다. 이런 컴퓨터-판독가능 명령들은 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터-실행가능한 구성요소들을 가진 하나 이상의 비일시성 컴퓨터-판독가능 저장 매체들을 갖는 컴퓨터 프로그램 제품으로서 구현될 수도 있다. 아래에서 추가로 자세히 설명하는 바와 같이, 구성요소들은 프로세서로 하여금, 가상 오브젝트를 포함한 가상 모델을 발생시키도록 하는 발생 구성요소, 및 프로세서로 하여금 현실 세계 장면 내에서 현실 세계 오브젝트의 적어도 하나의 디지털 이미지를 획득하도록 하는 획득 구성요소를 포함하며, 여기서, 현실 세계 오브젝트는 가상 오브젝트에 대응한다. 구성요소들은 또한 프로세서로 하여금, 가상 오브젝트 상의 적어도 하나의 미리 정의된 지점과 현실 세계 오브젝트 상의 적어도 하나의 대응하는 지점 사이의 이미지 위치상의 차이에 기초하여 가상 오브젝트의 위치 및/또는 방위를 조정하고, 그리고 가상 오브젝트의 보정된 로케이션에 대해서 가상 모델을 조정하도록 하는 보정 구성요소를 포함한다.
도 2 는 도 1 에 나타낸 컴퓨터 시스템 (100) 의 동작을 예시하는 플로우차트 (200) 이다. 예시적인 실시형태에서, 도 1 및 도 2 양자를 참조하면, 서버 시스템 (106) 은 현실 세계 장면의 시뮬레이션 또는 가상 디스플레이에서 사용하기 위한 3D 모델과 같은, 현실 세계 장면 또는 작업셀의 가상 모델을 네트워크 (110) 를 통해서 클라이언트 디바이스 (108) 로 송신한다 (202). 클라이언트 디바이스 (108) 는 그 가상 모델을 시뮬레이션 또는 가상 현실 소프트웨어 모듈에 로드하고 (204), 사용자가 조정하기를 원하는 공간 로케이션들을 갖는 하나 이상의 가상 오브젝트들의 사용자 선택을 수신한다 (206). 클라이언트 디바이스 (108) 는 또한 가상 모델 내 참조 오브젝트 또는 참조 지점의 사용자 선택으로부터 수신한다 (208). 클라이언트 디바이스 (108) 는 그후 가상 3D 뷰 (view) 상에 중첩된 또는 가상 3D 뷰와 나란한 디지털 카메라 이미지를 디스플레이한다 (210). 클라이언트 디바이스 (108) 에서의 3D 뷰가 그후 3D 뷰를 그 중첩된 카메라 이미지에 대략 매칭하기 위해, 추가적인 사용자 입력에 기초하여, 가상 회전들 및 변환들, 가상 모델의 디스플레이에 의해 줌 및 방위의 관점에서 원하는 관찰 지점으로 조정된다 (212). 대응하는 3D 가상 뷰와 함께 디지털 이미지가 그후 클라이언트 디바이스 (108) 에 의해 획득되며 (214), 클라이언트 디바이스 (108) 및/또는 서버 (106) 에 저장된다.
예시적인 실시형태에서, 사용자가 그후 객실 레이아웃, 작업 현장, 또는 빌딩 부지와 같은 현실 세계 장면에서 클라이언트 디바이스 (108) 를 들고, 가상 모델 (210) 에 따라서 디지털 카메라 이미지의 디스플레이에서 상이한 관점을 획득하기 위해 클라이언트 디바이스 (108) 와 함께 돌아다닌다 (216). 예시적인 실시형태에서, 사용자는 가상 3D 뷰의 디스플레이를 반복적으로 조정하고 (212), 새로운 디지털 이미지를 그의 3D 뷰와 함께 매번 캡쳐한다 (214). 클라이언트 디바이스 (108) 및/또는 서버 시스템 (106) 은 그후 캡쳐된 디지털 이미지(들)을 이용하여, 아래 플로우차트 (300) 에서 자세히 설명하는 바와 같이, 대응하는 현실 세계 오브젝트에 비교하여 가상 오브젝트의 위치 및 방위를 식별하는 로케이션 보정 기능을 호출한다 (218). 클라이언트 디바이스 (108) 및/또는 서버 시스템 (106) 은 로케이션 보정 기능을 완료하며, 이것은 현실 세계 장면에서의 현실 세계 오브젝트에 대해 가상 모델에서의 가상 오브젝트의 로케이션 및 방위의 향상된 정확도를 초래한다. 결과적인 제조 시뮬레이션 또는 가상 디스플레이는 공간 및/또는 시간 에러들이 감소될 정도로 향상될 것이다. 일부 실시형태들에서, 클라이언트 디바이스 (108) 는 메모리 영역 (102) 에의 저장을 위해 가상 오브젝트의 새로운 위치 및/또는 방위와 같은 가상 오브젝트 및/또는 가상 모델의 성질들을 서버 시스템 (106) 로 송신한다. 이런 실시형태들에서, 그 저장된 데이터는 후속 시뮬레이션들을 위해 추후 액세스될 수 있다.
도 3 은 도 1 에 나타낸 컴퓨터 시스템 (100) 의 동작을 추가로 예시하는 플로우차트 (300) 이다. 예시적인 실시형태에서, 도 1 및 도 3 의 양자를 참조하면, 서버 시스템 (106) 은 현실 세계 장면을 나타내는 가상 모델을 발생시킨다 (302). 서버 시스템 (106) 은 그 가상 모델을 네트워크 (110) 를 통해서 클라이언트 디바이스 (108) 로 송신한다 (304). 클라이언트 디바이스 (108) 는 그 가상 모델을 시뮬레이션 또는 가상 현실 소프트웨어 모듈에 로드한다 (306). 예시적인 실시형태에서, 클라이언트 디바이스 (108) 는 사용자 입력들을 수신하여 (308), 그 가상 모델에서 가상 오브젝트 및 참조 오브젝트를 식별한다. 가상 오브젝트는 사용자가 본원에서 설명되는 로케이션 보정 단계들을 수행하기를 원하는 가상 오브젝트이다. 참조 오브젝트는 로케이션 보정이 완료되는 것에 관련된 참조 오브젝트이다. 예를 들어, 도 4a 는 클라이언트 디바이스 (108) 의 예시적인 디스플레이 (400) 의 예시이다. 클라이언트 디바이스 (108) 는 가상 오브젝트 (402) 및 참조 오브젝트 (404) 를 디스플레이한다.
일부 실시형태들에서, 클라이언트 디바이스 (108) 는 또한 사용자 입력들을 수신하여 (310), 가상 오브젝트 (402) 상의 하나 이상의 미리 정의된 비교 특성들 및 참조 오브젝트 (404) 상의 하나 이상의 대응하는 비교 특성들을 식별한다. 대안적인 실시형태에서, 비전 프로세싱 (vision processing) 및/또는 패턴 인식 알고리즘들이 가상 오브젝트 (402) 및 참조 오브젝트 (404) 상의 미리 정의된 특성들을 식별하는데 사용될 수도 있다. 도 4a 에 나타낸 바와 같이, 가상 오브젝트 (402) 의 3D 뷰는 정점 지점들 (vertex points; 406) 에서 3개의 미리 정의된 특성들을 가지며, 참조 오브젝트 (404) 의 유형은 정점 지점들 (408) 의 유형에서 3개의 대응하는 미리 정의된 특성들을 갖는다. 도 4b 는 클라이언트 디바이스에 내장된 카메라로부터의 디지털 이미지를 나타내는 클라이언트 디바이스 (108) 의 디스플레이 (400) 의 또 다른 예시이다. 도 4b 에 나타낸 바와 같이, 현실 세계 오브젝트 (410) 는 가상 오브젝트 (402) 상의 사용자-선택된 지점들 (406) 에 대응하는 3개의 지점들 (412) 을 갖는다. 현실 세계 참조 오브젝트 (414) 는 가상 참조 오브젝트 (404) 상의 사용자-선택된 지점들 (408) 에 대응하는 3개의 지점들 (416) 을 갖는다. 도 4a 및 도 4b 는 가상 오브젝트 (402), 가상 참조 오브젝트 (404), 현실 세계 오브젝트 (410), 및 현실 세계 참조 오브젝트 (414) 를 정육면체 오브젝트들로서 나타내지만, 본원에서 설명하는 실시형태들은 정육면체 오브젝트들과 함께 사용하는데 한정되지 않는 것으로 이해될 것이다. 더 정확히 말하면, 본원에서 설명하는 실시형태들은 지점들의 일부 식별가능한 세트의 선택을 가능하게 하는 임의의 형태의 오브젝트들과 함께 사용될 수도 있다. 더욱이, 미리 정의된 비교 특성들 (406, 408, 412, 및/또는 416) 은 도 4a 및 도 4b 에 나타낸 바와 같이, 정점들일 수도 있거나, 또는 라인들, 평면들, 또는 표면들일 수도 있다. 일부 실시형태들에서, 클라이언트 디바이스 (108) 는 식별되는 지점들의 좌표들과 같은, 식별되는 지점들 (406, 408, 412, 및/또는 416) 에 관련되는 데이터를 서버 시스템 (106) 으로 송신한다.
미리 정의된 지점들 (406 및/또는 408) 이 식별된 후, 클라이언트 디바이스 (108) 는 그 식별되는 지점들 (406 및/또는 408) 에 기초하여 로케이션 변환을 계산한다 (312). 가상 모델에서, 각각의 가상 오브젝트의 위치 및 방위는 6개의 파라미터들 (X, Y, Z, W, P, 및 R) 에 의해 정의된다. 첫번째 3개의 파라미터들 (X, Y, Z) 은 x-방향, y-방향, 및 z-방향에서 가상 오브젝트의 위치를 지정하는 거리들이다. 두번째 3개의 파라미터들 (W, P, R) 은 가상 오브젝트의 방위를 지정하는 각도들이며, 여기서, W 는 요 (yaw) 를 나타내며, P 는 피치를 나타내고, 그리고 R 은 롤 (roll) 을 나타낸다. 일괄하여, 이들 6개의 파라미터들은 가상 오브젝트의 로케이션 변환으로 지칭될 수 있다. 더욱이, 가상 오브젝트 (402) 의 로케이션 변환은 예컨대, 가상 참조 오브젝트 (404) 에 의해 암시되는 참조 좌표계에 대해 계산된다. 구체적으로 설명하면, 가상 오브젝트 (402) 의 로케이션 변환은 가상 오브젝트 (402) 상의 식별되는 지점들 (406) 및 참조 오브젝트 (404) 상의 식별되는 지점들 (408) 의 위치 (X, Y, Z) 에 기초하여 계산된다. 도 4a 에 나타낸 바와 같이, 가상 오브젝트 (402) 상의 지점들 (406) 은 로케이션 변환 (312) 을 계산하는데 사용되는 것들이다. 예시적인 실시형태에서, 참조 오브젝트 (404) 는 완료되는 로케이션 보정을 위해 참조 좌표계 및 치수적 길이 표준 양자를 제공한다. 그러므로, 참조 오브젝트 (404) 의 3D 모델은 그의 식별되는 지점들 (408) 의 로케이션의 관점에서 현실 세계 참조 오브젝트 (미도시) 에 거의 매칭한다. 즉, 가상 참조 오브젝트 (404) 의 식별되는 지점들 (408) 과 현실 세계 참조 오브젝트의 대응하는 지점들 사이의 각각의 거리들은 애플리케이션 의존적인 미리 정의된 허용오차 내에서 동일해야 한다.
로케이션 변환이 계산된 후, 클라이언트 디바이스 (108) 에서의 카메라 디바이스는 도 2 의 210 내지 214 에서 설명한 바와 같이 그들의 3D 가상 뷰들과 함께 현실 세계 장면들의 디지털 이미지들을 획득한다 (314). 더욱이, 도 2 를 다시 참조하면, 클라이언트 디바이스 (108) 는 사용자 입력들을 가상 참조 오브젝트 (404) 의 조작들의 형태로 수신한다 (212). 예를 들어, 사용자는 터치 스크린을 이용하여, 가상 오브젝트 (402) 및 참조 오브젝트 (404) 가 현실 세계 오브젝트 (410) 및 참조 오브젝트 (414) 와 거의 정렬되도록, 예컨대 회전, 평행이동, 및/또는 줌 동작들을 이용하여, 재위치시킬 수도 있다. 도 4c 및 도 4d 는 클라이언트 디바이스 (108) 의 디스플레이 (400) 의 추가적인 예시들이다. 구체적으로 설명하면, 도 4c 는 가상 모델을 가상 오브젝트 (402) 및 그의 대응하는 현실 세계 오브젝트 (410) 뿐만 아니라, 참조 오브젝트 (404) 및 그의 대응하는 현실 세계 참조 오브젝트 (414) 를 포함한, 현실 세계 장면과 오버레이하여 또는 동시에 디스플레이하는 클라이언트 디바이스 (108) 를 예시한다. 도 4c 에 도시된 상황들은 사용자가 현실 세계 이미지와 거의 정렬하도록 3D 가상 뷰를 조정한 (212) 후 의 결과들이다. 클라이언트 디바이스 (108) 및/또는 서버 (106) 는 그후 참조 오브젝트 (404) 상의 미리 정의된 지점들 (408) 을 현실 세계 참조 오브젝트 (414) 상의 지점들 (416) 과 거의 매칭시키기 위해, 뷰잉 회전, 변환 및/또는 줌의 미세 변경들에 의해 3D 가상 뷰의 프로그램적 조정 (316) 을 시작한다. 이 프로그램적인 뷰 조정이 현실 세계 장면의 상이한 관점들로부터 획득된 (314) 이미지들의 각각에 대해 이루어진다. 도 4d 는 가상 참조 오브젝트 (404) 가 현실 세계 참조 오브젝트 (414) 와 일치하도록 하는 단계 (316) 이후의 결과적인 상황을 나타낸다. 구체적으로 설명하면, 참조 오브젝트 (404) 의 지점들 (408) 은 현실 세계 참조 오브젝트 (414) 의 대응하는 지점들 (416) 과 실질적으로 정렬된다. 더욱이, 임의의 하드웨어 특정의 카메라 보정에 대한 필요성을 제거하고 참조 오브젝트 (404) 의 치수들에 의해 암시되는 길이 표준이 다음 로케이션 보정에서 자동적으로 고려되는 것을 보장하는 이 프로그램적 조정 (316) 이다.
참조 오브젝트 (404) 가 프로그램적 조정 (316) 에 의해 현실 세계 참조 오브젝트 (414) 와 실질적으로 정렬될 때, 클라이언트 디바이스 (108) 및/또는 서버 시스템 (106) 은 이제 가상 오브젝트 지점들 (406) 과 현실 세계 오브젝트 (410) 상의 대응하는 지점들 (412) 사이의 불일치를 결정한다. 구체적으로 설명하면, 클라이언트 디바이스 (108) 및/또는 서버 시스템 (106) 은 가상 오브젝트 (402) 상의 지점들 (406) 과 현실 세계 오브젝트 (410) 상의 대응하는 지점들 (412) 사이의 이미지-기반의 위치상의 차이를 계산한다 (318). 예시적인 실시형태에서, 차이가 X 및 Y 방향들의 각각에서의 픽셀들에서 계산된다. 도 4e 는 클라이언트 디바이스 (108) 의 디스플레이 (400) 의 또 다른 예시이다. 구체적으로 설명하면, 도 4e 은 현실 세계 오브젝트 (410) 의 대응하는 지점 (412) 및 가상 오브젝트 (402) 의 지점들 (406) 중 하나에 대해 X-방향 (DeltaX) 의 각각에서 그리고 Y-방향 (DeltaY) 에서 거리를 나타낸다. 예시적인 실시형태에서, 그러나, 클라이언트 디바이스 (108) 및/또는 서버 시스템 (106) 은 식별되는 지점들 (406 및 412) 의 모든 쌍들에 대해 차이를 계산한다 (318). 예시적인 실시형태에서, 차이들이 메모리 영역 (102) 에 저장된다. 클라이언트 디바이스 (108) 및/또는 서버 시스템 (106) 은 현실 세계 장면의 상이한 관점들로부터 획득된 (314) 이미지들의 각각에 대해 이 이미지 위치상의 차이를 계산한다. 도 4f 는 클라이언트 디바이스 (108) 의 디스플레이의 또 다른 예시이다. 구체적으로 설명하면, 도 4f 는 참조 오브젝트 (404) 가 현실 세계 참조 오브젝트 (414) 와 실질적으로 재정렬된 후 현실 세계 장면의 대안적인 관점으로부터 또 다른 캡쳐를 위한 이미지 위치상의 차이 계산을 나타낸다.
클라이언트 디바이스 (108) 및/또는 서버 시스템 (106) 은 그후 가상 오브젝트 (402) 와 현실 세계 오브젝트 (410) 사이의 모든 이미지 위치상의 차이들의 조합을 최소화하기 위해, 가상 오브젝트 (402) 의 로케이션 변환을 반복한다 (320). 일 실시형태에서, 클라이언트 디바이스 (108) 및/또는 서버 시스템 (106) 은 변수 파라미터들의 세트를 조정함으로써 비용 함수 (cost function) 를 최소화하는 표준 비선형 회귀 (standard non-linear regression) 를 이용한다. 예시적인 실시형태에서, 이 비용 함수는 그 계산된 DeltaX 및 DeltaY 차이들의 모두에 대한 자승 평균 평방근 (RMS) 오차의 합계이다. 변수 파라미터들은 가상 오브젝트 (402) 의 (X, Y, Z, W, P, 및 R) 값들, 즉, 가상 오브젝트 (402) 의 계산된 로케이션 변환일 것이다. 이 최소화 단계 (320) 의 결과들에 기초하여, 클라이언트 디바이스 (108) 및/또는 서버 시스템 (106) 은 가상 오브젝트 (402) 의 위치 및/또는 방위를 조정하고 (322), 가상 오브젝트 (402) 의 보정된 로케이션에 대해서 가상 모델을 조정한다 (324). 도 4g 는 클라이언트 디바이스 (108) 의 디스플레이의 또 다른 예시이다. 구체적으로 설명하면, 도 4g 는 전체적으로 가상 모델 및 가상 오브젝트 (402) 의 재배향 (reorientation) 및/또는 재위치결정 (repositioning) 에 관한 최종 결과를 나타낸다.
상기 단계들은 오직 단일 가상 오브젝트의 위치를 조정하는 것에 기초하여 가상 모델을 조정하는 것을 기술하지만, 본원에서 설명하는 실시형태들은 다수의 가상 오브젝트들의 위치들을, 한번에 한번 이상 조정하는 것을 고려하는 것으로 이해되어야 한다. 예시적인 실시형태에서, 각각의 가상 모델 조정은 동일한 참조 오브젝트를 이용한다. 그러나, 일부 실시형태들에서, 참조 오브젝트는 상이한 가상 오브젝트들에 대해 상이할 수도 있거나 및/또는 단순히 오브젝트들보다는, 공간에서의 참조 지점들일 수도 있다.
도 5 는 서버 시스템 (106) 및/또는 클라이언트 디바이스들 (108) (각각 도 1 에 도시됨) 과 함께 사용하기 위한 예시적인 컴퓨터 아키텍처 (500) 의 개략 블록도이다.
예시적인 실시형태에서, 컴퓨터 아키텍처 (500) 는 위에서 설명한 프로세스들 및/또는 위에서 설명한 것들과 관련될 수도 있는 임의의 추가적인 프로세스들을 수행하는 하나 이상의 프로세서들 (502) (CPU) 을 포함한다. 용어 "프로세서" 는 일반적으로 시스템들 및 마이크로제어기들, 축소 명령 세트 회로들 (RISC), 주문형 집적 회로들 (ASIC), 프로그래밍가능 로직 회로들, 및/또는 본원에서 설명한 기능들을 수행할 수 있는 임의의 다른 회로 또는 프로세서를 포함하는 임의의 프로그래밍가능 시스템을 지칭하는 것으로 이해되어야 한다. 상기 예들은 단지 예시적이며, 따라서, 어떤 방법으로든 용어 "프로세서" 의 정의 및/또는 의미를 한정하려고 의도된 것이 아니다.
위에서 설명한 프로세스들 및/또는 위에서 설명한 것들과 관련될 수도 있는 임의의 추가적인 프로세스들의 단계들은 예를 들어, 시스템 버스 (506) 에 의해 프로세서 (502) 에 동작가능하게 및/또는 통신가능하게 커플링된 메모리 영역 (504) 에, 컴퓨터-실행가능한 명령들로서 저장될 수도 있다. "메모리 영역" 은, 본원에서 사용할 때, 일반적으로 현실 세계 장면의 가상 모델의 로케이션 보정을 돕기 위해, 및/또는 위에서 설명한 프로세스들 및/또는 위에서 설명한 것들과 관련될 수도 있는 추가적인 프로세스들을 수행하는데 사용하기 위해, 하나 이상의 프로세서들에 의해 실행가능한 비일시성 프로그램 코드 및 명령들을 저장하는 임의의 수단을 지칭한다. 메모리 영역 (504) 은 하나 또는 하나 보다 많은 형태들의 메모리를 포함할 수도 있다. 예를 들어, 메모리 영역 (504) 은 랜덤-액세스 메모리 (RAM) (508) 를 포함할 수도 있으며, 이 RAM 은 비-휘발성 RAM, 자기 RAM, 강유전체 RAM, 및/또는 RAM 의 다른 형태들을 포함할 수 있다. 메모리 영역 (504) 은 또한 판독 전용 메모리 (ROM) (510) 및/또는 플래시 메모리 및/또는 전기적으로-프로그래밍가능 판독 전용 메모리 (EEPROM) 를 포함할 수도 있다. 하드-디스크 드라이브 (HDD) (512) 와 같은, 임의의 다른 적합한 자기, 광학, 및/또는 반도체 메모리가, 단독으로 또는 다른 형태들의 메모리와 조합하여, 메모리 영역 (504) 에 포함될 수도 있다. HDD (512) 는 또한 메시지들을 프로세서 (502) 로 송신하고 프로세서 (502) 로부터 수신하는데 사용하기 위해 디스크 제어기 (514) 에 커플링될 수도 있다. 더욱이, 메모리 영역 (504) 은 또한 적합한 카트리지 디스크, CD-ROM, DVD, 또는 USB 메모리와 같은, 탈부착가능한 또는 착탈식 메모리 (516) 이거나, 이들을 포함할 수도 있다. 상기 예들은 단지 예시적이며, 따라서, 어떤 방법으로든 용어 "메모리 영역" 의 정의 및/또는 의미를 한정하려고 의도된 것은 아니다.
컴퓨터 아키텍처 (500) 는 또한 디스플레이 제어기 (520) 에 커플링된, 예컨대, 동작가능하게 커플링된 디스플레이 디바이스 (518) 를 포함한다. 디스플레이 제어기 (520) 는 디스플레이 디바이스 (518) 에 의한 디스플레이를 위해 시스템 버스 (506) 를 경유해서 데이터를 수신한다. 디스플레이 디바이스 (518) 는, 비제한적으로, 모니터, 텔레비전 디스플레이, 플라즈마 디스플레이, 액정 디스플레이 (LCD), 발광 다이오드들 (LED) 에 기초한 디스플레이, 유기 LEDs (OLED) 에 기초한 디스플레이, 폴리머 LEDs 에 기초한 디스플레이, 표면-전도 전자 에미터들에 기초한 디스플레이, 투사된 및/또는 반사되는 이미지를 포함하는 디스플레이, 또는 임의의 다른 적합한 전자 디바이스 또는 디스플레이 메커니즘일 수도 있다. 더욱이, 디스플레이 디바이스 (518) 는 터치스크린 제어기 (524) 와 연관되는 터치스크린 (522) 을 포함할 수도 있다. 상기 예들은 단지 예시적이며, 따라서, 어떤 방법으로든 용어 "디스플레이 디바이스" 의 정의 및/또는 의미를 한정하려고 의도된 것이 아니다.
또한, 컴퓨터 아키텍처 (500) 는 네트워크 (도 5 에 미도시) 와 통신하는데 사용하기 위해 네트워크 인터페이스 (526) 를 포함한다. 더욱이, 컴퓨터 아키텍처 (500) 는 키보드 (528) 와 같은 하나 이상의 입력 디바이스들, 및/또는 롤러 볼, 마우스, 터치패드 등과 같은 포인팅 디바이스 (530) 를 포함한다. 터치스크린 (522) 및 그의 제어기 (524) 는 또한 통합된 키보드 (528) 및/또는 포인팅 디바이스 (530) 로서 간주될 수도 있다. 입력 디바이스들은 입력/출력 (I/O) 인터페이스 (532) 에 커플링되어 그에 의해 제어되며, 이 인터페이스는 시스템 버스 (506) 에 추가로 커플링된다. 컴퓨터 아키텍처 (500) 는 또한 그의 연관되는 디지털 카메라 제어기 (536) 를 가진 적어도 하나의 디지털 카메라 (534) 를 포함한다.
디스플레이 디바이스 (518), 키보드 (528), 포인팅 디바이스 (530) 뿐만 아니라, 디스플레이 제어기 (520), 디스크 제어기 (514), 네트워크 인터페이스 (526), 및 I/O 인터페이스 (532) 의 일반적인 특성들 및 기능의 설명은, 이들 특성들이 알려져 있으므로, 간결성을 위해 본원에서 생략된다.
동작 동안, 도 2 내지 도 5 를 참조하면, 프로세서 (502) 는 현실 세계 장면을 나타내는 가상 모델을 발생시키고 그 가상 모델을 시뮬레이션 또는 가상 현실 소프트웨어 모듈에 로드한다. 예시적인 실시형태에서, 프로세서 (502) 는 예를 들어, 가상 모델에서 가상 오브젝트 및 참조 오브젝트를 식별하기 위해, 터치스크린 (522) 을 통해서 사용자 입력들을 수신한다. 가상 오브젝트는 사용자가 본원에서 설명되는 로케이션 보정 단계들을 수행하기를 원하는 가상 오브젝트이다. 참조 오브젝트는 그것에 대비하여 로케이션 보정이 완료되는 것이다.
일부 실시형태들에서, 프로세서 (502) 는 또한 가상 오브젝트 상의 하나 이상의 미리 정의된 지점들 및 참조 오브젝트 상의 하나 이상의 대응하는 지점들을 식별하기 위해 사용자 입력들을 수신한다. 미리 정의된 지점들이 식별된 후, 프로세서 (502) 는 그 식별된 지점들에 기초하여 로케이션 변환을 계산한다. 더욱이, 가상 오브젝트의 로케이션 변환은 참조 오브젝트와 같은 참조 지점에 대해 계산된다. 로케이션 변환이 계산된 후, 카메라 디바이스 (534) 는 현실 세계 장면 내에서 현실 세계 오브젝트의 디지털 이미지를 획득하며, 여기서, 현실 세계 오브젝트는 가상 오브젝트에 대응한다. 더욱이, 이미지 획득 동안, 프로세서 (502) 는 사용자 입력들을 조작들 3D 가상 뷰의 형태로 수신한다. 예를 들어, 사용자는 터치스크린 (522) 을 이용하여, 참조 오브젝트가 현실 세계 참조 오브젝트와 거의 정렬되도록, 예컨대 회전, 평행이동, 및/또는 줌 동작들을 이용하여, 재위치시킬 수도 있다. 이 근사적 정렬 이후, 프로세서 (502) 는 참조 오브젝트 지점들을 현실 세계 참조 오브젝트 지점들과 실질적으로 매칭시키기 위해, 뷰잉 회전, 변환, 및/또는 줌의 미세 변경들에 의해 3D 가상 뷰의 프로그램적 조정을 행한다.
참조 오브젝트가 현실 세계 참조 오브젝트와 실질적으로 정렬될 때, 프로세서 (502) 는 가상 오브젝트 지점들과 현실 세계 오브젝트 상의 대응하는 지점들 사이의 불일치를 결정한다. 구체적으로 설명하면, 프로세서 (502) 는 가상 오브젝트 상의 지점들과 현실 세계 오브젝트 상의 대응하는 지점들 사이의 이미지-기반의 위치상의 차이를 계산한다. 예시적인 실시형태에서, 차이가 X 및 Y 방향들의 각각에서의 픽셀들에서 계산된다. 프로세서 (502) 는 현실 세계 장면의 상이한 관점들로부터 획득된 이미지들의 각각에 대해 이 이미지-기반의 위치상의 차이를 계산한다.
프로세서 (502) 는 그후 모든 이미지 위치상의 차이들의 결합을 최소화하기 위해 가상 오브젝트의 로케이션 변환을 반복한다. 구체적으로 설명하면, 프로세서 (502) 는 변수 파라미터들의 세트를 조정함으로써 비용 함수 (cost function) 를 최소화하는 표준 비선형 회귀 (standard non-linear regression) 를 이용한다. 최소화 단계에 기초하여, 프로세서 (502) 는 가상 오브젝트의 위치 및/또는 방위를 조정하고, 가상 오브젝트의 보정된 로케이션에 대해 가상 모델을 조정한다.
현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한, 컴퓨터 시스템들, 컴퓨터 디바이스들, 컴퓨터-구현 방법들, 및 컴퓨터-프로그램 제품들의 예시적인 실시형태들이 위에서 자세히 설명되었다. 이들 실시형태들은 본원에서 설명하는 특정의 실시형태들에 한정되지 않으며, 더 정확히 말하면, 방법들의 동작들 및/또는 시스템 및/또는 장치의 구성요소들은 본원에서 설명하는 다른 동작들 및/또는 구성요소들로부터 독립적으로 그리고 별개로 이용될 수도 있다. 또, 설명되는 동작들 및/또는 구성요소들은 또한 다른 시스템들, 방법들, 및/또는 장치 내에 한정되거나, 또는 이와 조합하여 사용될 수도 있으며, 오직 본원에서 설명하는 바와 같은, 시스템들, 방법들, 및 저장 매체들과 함께 실시하는 것에 한정되지 않는다.
컴퓨터 디바이스, 예컨대 본원에서 설명되는 컴퓨터 아키텍처를 갖는 컴퓨터 디바이스는 적어도 하나의 프로세서 또는 프로세싱 유닛 및 시스템 메모리를 포함한다. 컴퓨터 디바이스는 일반적으로 적어도 몇몇 형태의 컴퓨터 판독가능 매체들을 갖는다. 일 예로서 한정 없이, 컴퓨터 판독가능 매체들은 컴퓨터 저장 매체들 및 통신 매체들을 포함한다. 컴퓨터 저장 매체들은 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터와 같은 정보의 저장을 위해 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 착탈식 및 비-착탈식 매체들을 포함한다. 통신 매체들은 일반적으로 컴퓨터 판독가능 명령들, 데이터 구조들, 프로그램 모듈들, 또는 다른 데이터를 반송파 또는 다른 전송 메커니즘과 같은 변조된 데이터 신호로 구현하며, 임의의 정보 전달 매체들을 포함한다. 당업자들은 그의 특성들 세트 중 하나 이상을 가지거나 또는 그 신호에서의 정보를 인코딩하는 방법으로 변경되는 그 변조된 데이터 신호를 잘 알고 있다. 상기 중 임의의 것들의 조합들이 또한 컴퓨터 판독가능 매체들의 범위 내에 포함된다.
더욱이, 본 발명의 실시형태들은 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터-실행가능한 구성요소들을 갖는 하나 이상의 비일시성 컴퓨터-판독가능 저장 매체들을 갖는 컴퓨터 프로그램 제품으로서 구현될 수도 있다. 구성요소들은 프로세서에 의해 실행될 때 프로세서로 하여금 가상 오브젝트를 포함한, 가상 모델을 발생시키도록 하는 발생 구성요소를 포함한다. 발생 구성요소는 또한 프로세서로 하여금, 복수의 식별가능한 지점들 중 적어도 일부분의 사용자 선택을 수신하고, 가상 오브젝트 상의 복수의 식별가능한 지점들에 기초하여 가상 오브젝트에 대한 로케이션 변환을 계산하도록 한다. 더욱이, 발생 구성요소는 프로세서로 하여금 가상 오브젝트 및 대응하는 참조 오브젝트를 식별하고, 가상 오브젝트 상의 적어도 하나의 미리 정의된 지점 및 참조 오브젝트 상의 대응하는 지점을 식별하도록 한다.
구성요소들은 또한 프로세서에 의해 실행될 때 프로세서로 하여금, 현실 세계 장면 내에서 현실 세계 오브젝트의 적어도 하나의 디지털 이미지를 획득하도록 하는 획득 구성요소를 포함하며, 여기서, 현실 세계 오브젝트는 가상 오브젝트에 대응한다. 더욱이, 구성요소들은 프로세서에 의해 실행될 때 프로세서로 하여금, 가상 오브젝트 상의 적어도 하나의 미리 정의된 지점과 현실 세계 오브젝트 상의 적어도 하나의 대응하는 지점 사이의 이미지-기반의 위치상의 차이를 계산하고, 이미지 위치상의 차이에 기초하여 가상 오브젝트의 위치 및/또는 방위를 조정하고, 그리고 가상 오브젝트의 보정된 로케이션에 대해서 가상 모델을 조정하도록 하는 보정 구성요소를 포함한다. 보정 구성요소는 또한 프로세서로 하여금, 참조 오브젝트 지점들을 현실 세계 참조 오브젝트 지점들과 실질적으로 매칭시키기 위해, 뷰잉 회전, 변환, 및/또는 줌의 미세 변경들에 의해 3D 가상 뷰의 프로그램적 조정을 행하도록 한다. 보정 구성요소는 그후 프로세서로 하여금, 참조 오브젝트 상의 적어도 하나의 미리 정의된 지점과 현실 세계 참조 오브젝트 상의 적어도 하나의 대응하는 지점 사이의 이미지-기반의 위치상의 차이를 계산하도록 한다. 일부 실시형태들에서, 보정 구성요소는 프로세서로 하여금, 모든 이미지 위치상의 차이들의 결합을 최소화하기 위해, 가상 오브젝트의 로케이션 변환을 반복하도록 한다.
본 발명은 예시적인 컴퓨터 시스템 환경과 관련하여 설명되지만, 본 발명의 실시형태들은 매우 많은 다른 범용 또는 특수 목적 컴퓨터 시스템 환경들 또는 구성들과 함께 동작가능하다. 컴퓨터 시스템 환경은 본 발명의 임의의 양태의 사용 범위 또는 기능에 관한 임의의 제한을 암시하려고 의도된 것이 아니다. 더욱이, 컴퓨터 시스템 환경은 예시적인 동작 환경에 예시된 구성요소들 중 임의의 하나 또는 조합에 관한 임의의 의존성 또는 요구사항을 갖는 것으로 해석되어서는 안된다. 본 발명의 양태들과 함께 사용하기에 적합할 수도 있는 널리 공지된 컴퓨터 시스템들, 환경들, 및/또는 구성들의 예들은, 개인용 컴퓨터들, 서버 컴퓨터들, 휴대용 또는 랩탑 디바이스들, 멀티프로세서 시스템들, 마이크로프로세서-기반의 시스템들, 셋탑 박스들, 프로그래밍가능 가전제품, 모바일 전화기들, 네트워크 PCs, 미니컴퓨터들, 메인프레임 컴퓨터들, 상기 시스템들 또는 디바이스들 중 임의의 것을 포함하는 분산 컴퓨팅 환경들 등을 포함하지만 이에 한정되지 않는다.
본 발명의 실시형태들은 프로그램 구성요소들 또는 모듈들과 같은, 하나 이상의 컴퓨터들 또는 다른 디바이스들에 의해 실행되는 컴퓨터-실행가능한 명령들의 일반적인 컨텍스트 (general context) 로 설명될 수도 있다. 본 발명의 양태들은 임의의 수 및 구조의 구성요소들 또는 모듈들로 구현될 수도 있다. 예를 들어, 본 발명의 양태들은 도면들 및 설명되는 본원에서 예시된 특정의 컴퓨터-실행가능한 명령들 또는 특정의 구성요소들 또는 모듈들에 한정되지 않는다. 본 발명의 대안적인 실시형태들은 본원에서 예시된 및 설명되는 것보다 더 많거나 더 적은 기능을 갖는 상이한 컴퓨터-실행가능한 명령들 또는 구성요소들을 포함할 수도 있다.
본원에서 예시되고 설명되는 본 발명의 실시형태들에서 동작들의 실행 또는 수행의 순서는 달리 규정하지 않는 한, 필수적인 것은 아니다. 즉, 동작들은 달리 규정하지 않는 한, 임의의 순서로 수행될 수도 있으며, 본 발명의 실시형태들은 본원에서 개시된 동작들보다 추가적인 또는 더 적은 동작들을 포함할 수도 있다. 예를 들어, 또 다른 동작 이전, 동시에, 또는 이후에 특정의 동작을 실행하거나 또는 수행하는 것은 본 발명의 양태들의 범위 내인 것으로 고려된다.
본 발명 또는 그의 실시형태들의 양태들의 엘리먼트들을 도입할 때, 관사들 "하나의 (a)", "한 (an)", "그 (the)", 및 "상기 (said)" 는 엘리먼트들 중 하나 이상인 것을 의미하도록 의도된다. 용어들 "포함하는 (comprising)", "포함한 (including)", 및 "갖는 (having)" 은 포괄적인 것으로 의도되며, 리스트된 엘리먼트들 이외의 추가적인 엘리먼트들일 수도 있다는 것을 의미하도록 의도된다.
이 서면 설명은 예들을 이용하여 최상의 모드를 포함하여 본 발명을 개시하며, 또한 임의의 당업자로 하여금, 임의의 디바이스들 또는 시스템들을 제조하고 이용하는 것 및 임의의 포함된 방법들을 수행하는 것을 포함하여, 본 발명을 실시가능하게 한다. 본 발명의 특허의 범위는 청구항들에 의해 정의되며, 당업자들에게 떠오르는 다른 예들을 포함할 수도 있다. 이런 다른 예들은, 청구항들의 문자적 언어 (literal language) 와는 상이하지 않은 구조적 엘리먼트들을 가지면, 또는 청구항들의 문자적 언어와는 크지 않은 차이들을 가진 균등의 구조적 엘리먼트들을 포함하면, 청구항들의 범위 내인 것으로 의도된다.
본 발명은 특히 그의 예시적인 실시형태들을 참조하여 도시하고 설명되었지만, 당업자들에 의해, 형상 및 세부 사항들에서의 여러 변화들이 첨부된 청구항들에 의해 포괄되는, 본 발명의 범위로부터 일탈함이 없이, 이루어질 수도 있는 것으로 이해될 것이다.

Claims (20)

  1. 현실 세계 (real-world) 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터-구현 방법으로서,
    가상 오브젝트를 포함한, 상기 가상 모델을 발생시키는 단계;
    상기 현실 세계 장면 내에서 현실 세계 오브젝트의 적어도 하나의 디지털 이미지를 획득하는 단계로서, 상기 현실 세계 오브젝트는 상기 가상 오브젝트에 대응하는, 상기 디지털 이미지를 획득하는 단계;
    상기 가상 오브젝트 상의 적어도 하나의 미리 정의된 지점과 상기 현실 세계 오브젝트 상의 적어도 하나의 대응하는 지점 사이의 이미지-기반의 위치상의 차이를 계산하는 단계;
    상기 이미지 위치상의 차이에 기초하여 상기 가상 오브젝트의 위치 및 방위 중 적어도 하나를 조정하는 단계; 및
    상기 가상 모델을 상기 가상 오브젝트의 보정된 상기 로케이션에 대해서 조정하는 단계를 포함하는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터-구현 방법.
  2. 제 1 항에 있어서,
    상기 가상 모델을 발생시키는 단계는, 상기 가상 오브젝트 상의 복수의 식별가능한 지점들에 기초하여 상기 가상 오브젝트에 대한 로케이션 변환을 계산하는 단계를 포함하는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터-구현 방법.
  3. 제 2 항에 있어서,
    상기 로케이션 변환을 계산하는 단계는, 상기 복수의 식별가능한 지점들의 적어도 일부분의 사용자 선택을 수신하는 단계를 포함하는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터-구현 방법.
  4. 제 1 항에 있어서,
    상기 가상 모델을 발생시키는 단계는,
    상기 가상 오브젝트 및 대응하는 참조 오브젝트를 식별하는 단계; 및
    상기 가상 오브젝트 상의 상기 적어도 하나의 미리 정의된 지점 및 상기 참조 오브젝트 상의 대응하는 지점을 식별하는 단계를 포함하는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터-구현 방법.
  5. 제 4 항에 있어서,
    상기 참조 오브젝트 상의 상기 미리 정의된 지점들을 대응하는 현실 세계 참조 오브젝트 상의 상기 지점들과 실질적으로 매칭시키기 위한 가상 뷰의 프로그램적 조정 (programmatic adjustment) 을 더 포함하는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터-구현 방법.
  6. 제 4 항에 있어서,
    가상 뷰의 프로그램적 조정; 및
    획득된 상기 디지털 이미지의 각각에 대해 상기 가상 오브젝트 상의 상기 적어도 하나의 미리 정의된 지점과 상기 현실 세계 오브젝트 상의 상기 적어도 하나의 대응하는 지점 사이의 상기 이미지-기반의 위치상의 차이를 계산하는 것을 더 포함하는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터-구현 방법.
  7. 제 6 항에 있어서,
    상기 가상 오브젝트의 로케이션 변환을 반복함으로써 상기 이미지 위치상의 차이를 최소화하는 단계를 더 포함하는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터-구현 방법.
  8. 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터로서,
    상기 가상 모델 및 상기 가상 모델의 가상 오브젝트를 저장하도록 구성된 메모리 영역; 및
    상기 메모리 영역에 커플링된 프로세서를 포함하며,
    상기 프로세서는,
    상기 가상 오브젝트를 포함한, 상기 가상 모델을 발생시키고;
    상기 현실 세계 장면 내에서, 상기 가상 오브젝트에 대응하는 현실 세계 오브젝트의 적어도 하나의 디지털 이미지를 획득하고;
    상기 가상 오브젝트 상의 적어도 하나의 미리 정의된 지점과 상기 현실 세계 오브젝트 상의 적어도 하나의 대응하는 지점 사이의 이미지-기반의 위치상의 차이를 계산하고;
    상기 이미지 위치상의 차이에 기초하여 상기 가상 오브젝트의 위치 및 방위 중 적어도 하나를 조정하고; 그리고
    상기 가상 모델을 상기 가상 오브젝트의 보정된 상기 로케이션에 대해서 조정하도록 구성되는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터.
  9. 제 8 항에 있어서,
    상기 프로세서는 상기 가상 오브젝트 상의 복수의 식별가능한 지점들에 기초하여 상기 가상 오브젝트에 대한 로케이션 변환을 계산하도록 추가로 구성되는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터.
  10. 제 9 항에 있어서,
    상기 프로세서는 상기 복수의 식별가능한 지점들의 적어도 일부분의 사용자 선택을 수신하도록 추가로 구성되는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터.
  11. 제 8 항에 있어서,
    상기 프로세서는,
    상기 가상 오브젝트 및 대응하는 참조 오브젝트를 식별하고; 그리고
    상기 가상 오브젝트 상의 상기 적어도 하나의 미리 정의된 지점 및 상기 참조 오브젝트 상의 대응하는 지점을 식별하도록 추가로 구성되는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터.
  12. 제 11 항에 있어서,
    상기 프로세서는 상기 참조 오브젝트 상의 상기 미리 정의된 지점들을 대응하는 현실 세계 참조 오브젝트 상의 상기 지점들과 실질적으로 매칭시키기 위해 가상 뷰를 프로그램적으로 조정하도록 추가로 구성되는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터.
  13. 제 11 항에 있어서,
    상기 프로세서는,
    상기 참조 오브젝트 상의 상기 미리 정의된 지점들을 대응하는 현실 세계 참조 오브젝트 상의 상기 지점들과 실질적으로 매칭시키기 위해 가상 뷰를 프로그램적으로 조정하고; 그리고
    획득된 상기 디지털 이미지의 각각에 대해 상기 가상 오브젝트 상의 상기 적어도 하나의 미리 정의된 지점과 상기 현실 세계 오브젝트 상의 상기 적어도 하나의 대응하는 지점 사이의 상기 이미지-기반의 위치상의 차이를 계산하도록 추가로 구성되는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터.
  14. 제 13 항에 있어서,
    상기 프로세서는 상기 가상 오브젝트의 로케이션 변환을 반복함으로써 상기 이미지 위치상의 차이를 최소화하도록 추가로 구성되는, 현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터.
  15. 컴퓨터 프로그램 제품으로서,
    현실 세계 장면의 가상 모델의 로케이션 보정에 이용하기 위한 컴퓨터-실행가능한 구성요소들을 갖는 하나 이상의 비일시성 컴퓨터-판독가능 저장 매체들을 포함하며,
    상기 구성요소들은,
    프로세서에 의해 실행될 때 상기 프로세서로 하여금, 가상 오브젝트를 포함한, 상기 가상 모델을 발생시키도록 하는 발생 구성요소;
    프로세서에 의해 실행될 때 상기 프로세서로 하여금, 상기 현실 세계 장면 내에서 현실 세계 오브젝트의 적어도 하나의 디지털 이미지를 획득하도록 하는 획득 구성요소로서, 상기 현실 세계 오브젝트는 상기 가상 오브젝트에 대응하는, 상기 획득 구성요소; 및
    프로세서에 의해 실행될 때 상기 프로세서로 하여금, 상기 가상 오브젝트 상의 적어도 하나의 미리 정의된 지점과 상기 현실 세계 오브젝트 상의 적어도 하나의 대응하는 지점 사이의 이미지-기반의 위치상의 차이를 계산하고; 상기 이미지 위치상의 차이에 기초하여 상기 가상 오브젝트의 위치 및 방위 중 적어도 하나를 조정하고; 그리고 상기 가상 모델을 상기 가상 오브젝트의 보정된 상기 로케이션에 대해서 조정하도록 하는 보정 구성요소를 포함하는, 컴퓨터 프로그램 제품.
  16. 제 15 항에 있어서,
    상기 발생 구성요소는 추가로 상기 프로세서로 하여금,
    복수의 식별가능한 지점들의 적어도 일부분의 사용자 선택을 수신하고; 그리고
    상기 가상 오브젝트 상의 복수의 식별가능한 지점들에 기초하여 상기 가상 오브젝트에 대한 로케이션 변환을 계산하도록 하는, 컴퓨터 프로그램 제품.
  17. 제 15 항에 있어서,
    상기 발생 구성요소는 추가로 상기 프로세서로 하여금,
    상기 가상 오브젝트 및 대응하는 참조 오브젝트를 식별하고; 그리고
    상기 가상 오브젝트 상의 상기 적어도 하나의 미리 정의된 지점 및 상기 참조 오브젝트 상의 대응하는 지점을 식별하도록 하는, 컴퓨터 프로그램 제품.
  18. 제 15 항에 있어서,
    상기 보정 구성요소는 추가로 상기 프로세서로 하여금, 상기 참조 오브젝트 상의 상기 미리 정의된 지점들을 대응하는 현실 세계 참조 오브젝트 상의 상기 지점들과 실질적으로 매칭시키기 위해 가상 뷰를 프로그램적으로 조정하도록 하는, 컴퓨터 프로그램 제품.
  19. 제 15 항에 있어서,
    상기 보정 구성요소는 추가로 상기 프로세서로 하여금,
    가상 뷰를 프로그램적으로 조정하고; 그리고
    획득된 상기 디지털 이미지의 각각에 대해 상기 참조 오브젝트 상의 상기 적어도 하나의 미리 정의된 지점과 상기 현실 세계 참조 오브젝트 상의 상기 적어도 하나의 대응하는 지점 사이의 상기 이미지-기반의 위치상의 차이를 계산하도록 하는, 컴퓨터 프로그램 제품.
  20. 제 19 항에 있어서,
    상기 보정 구성요소는 추가로 상기 프로세서로 하여금, 상기 가상 오브젝트의 로케이션 변환을 반복함으로써 상기 이미지 위치상의 차이를 최소화하도록 하는, 컴퓨터 프로그램 제품.
KR20130160293A 2012-12-21 2013-12-20 가상 오브젝트들의 로케이션 보정 KR20140081729A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US13/725,994 US9058693B2 (en) 2012-12-21 2012-12-21 Location correction of virtual objects
US13/725,994 2012-12-21

Publications (1)

Publication Number Publication Date
KR20140081729A true KR20140081729A (ko) 2014-07-01

Family

ID=49943113

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20130160293A KR20140081729A (ko) 2012-12-21 2013-12-20 가상 오브젝트들의 로케이션 보정

Country Status (5)

Country Link
US (1) US9058693B2 (ko)
EP (1) EP2747034B1 (ko)
JP (1) JP6335505B2 (ko)
KR (1) KR20140081729A (ko)
CN (1) CN103886124A (ko)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019118599A3 (en) * 2017-12-13 2019-07-25 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
KR20210023232A (ko) * 2019-08-22 2021-03-04 동의대학교 산학협력단 포토 스캐닝 기반의 3d 모델링 방법
WO2022211391A1 (ko) * 2021-04-02 2022-10-06 삼성전자 주식회사 전자 장치 및 그 동작 방법
WO2023095937A1 (ko) * 2021-11-24 2023-06-01 심용수 도면의 오차 파악 방법 및 그 장치
US11875396B2 (en) 2016-05-10 2024-01-16 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9671566B2 (en) 2012-06-11 2017-06-06 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
WO2014120174A1 (en) 2013-01-31 2014-08-07 Dirtt Environmental Solutions Inc. Method and system for efficient modeling of specular reflection
JP6138566B2 (ja) * 2013-04-24 2017-05-31 川崎重工業株式会社 部品取付作業支援システムおよび部品取付方法
US20160117419A1 (en) * 2013-05-31 2016-04-28 Dirtt Environmental Solutions, Ltd. Automatically incorporating third party features into a computer design schematic
US9958858B2 (en) 2013-05-31 2018-05-01 Ice Edge Business Solutions, Ltd. Associating computer-executable objects with three-dimensional spaces within an architectural design environment
US10408613B2 (en) 2013-07-12 2019-09-10 Magic Leap, Inc. Method and system for rendering virtual content
WO2015006784A2 (en) 2013-07-12 2015-01-15 Magic Leap, Inc. Planar waveguide apparatus with diffraction element(s) and system employing same
US9256072B2 (en) * 2013-10-02 2016-02-09 Philip Scott Lyren Wearable electronic glasses that detect movement of a real object copies movement of a virtual object
EP3146466B1 (en) * 2014-05-21 2021-06-30 Tangible Play, Inc. Virtualization of tangible interface objects
WO2015191112A1 (en) 2014-06-09 2015-12-17 Dirtt Environmental Solutions Inc. Associating computer-executable objects with timber frames within an architectural design environment
CN104143212A (zh) * 2014-07-02 2014-11-12 惠州Tcl移动通信有限公司 基于穿戴设备的增强现实方法及系统
US10416760B2 (en) 2014-07-25 2019-09-17 Microsoft Technology Licensing, Llc Gaze-based object placement within a virtual reality environment
US9904055B2 (en) 2014-07-25 2018-02-27 Microsoft Technology Licensing, Llc Smart placement of virtual objects to stay in the field of view of a head mounted display
US10451875B2 (en) 2014-07-25 2019-10-22 Microsoft Technology Licensing, Llc Smart transparency for virtual objects
US10311638B2 (en) 2014-07-25 2019-06-04 Microsoft Technology Licensing, Llc Anti-trip when immersed in a virtual reality environment
US9858720B2 (en) 2014-07-25 2018-01-02 Microsoft Technology Licensing, Llc Three-dimensional mixed-reality viewport
US9766460B2 (en) 2014-07-25 2017-09-19 Microsoft Technology Licensing, Llc Ground plane adjustment in a virtual reality environment
US9865089B2 (en) 2014-07-25 2018-01-09 Microsoft Technology Licensing, Llc Virtual reality environment with real world objects
KR102358548B1 (ko) * 2014-10-15 2022-02-04 삼성전자주식회사 디바이스를 이용한 화면 처리 방법 및 장치
US10176643B2 (en) * 2015-03-30 2019-01-08 Capcom Co., Ltd. Method of generating virtual three-dimensional space, video system, method of controlling video system, and non-transitory computer readable storage medium
US9713871B2 (en) 2015-04-27 2017-07-25 Microsoft Technology Licensing, Llc Enhanced configuration and control of robots
US10007413B2 (en) 2015-04-27 2018-06-26 Microsoft Technology Licensing, Llc Mixed environment display of attached control elements
KR101835434B1 (ko) * 2015-07-08 2018-03-09 고려대학교 산학협력단 투영 이미지 생성 방법 및 그 장치, 이미지 픽셀과 깊이값간의 매핑 방법
EP3131064B1 (en) * 2015-08-13 2017-11-08 Nokia Technologies Oy Searching image content
US10165199B2 (en) * 2015-09-01 2018-12-25 Samsung Electronics Co., Ltd. Image capturing apparatus for photographing object according to 3D virtual object
JP6548821B2 (ja) * 2015-09-30 2019-07-24 株式会社ソニー・インタラクティブエンタテインメント ヘッドマウントディスプレイの画面上でコンテンツの配置を最適化する方法
CA3015164A1 (en) * 2016-02-18 2017-08-24 Edx Technologies, Inc. Systems and methods for augmented reality representations of networks
US10628537B2 (en) * 2016-04-12 2020-04-21 Dassault Systemes Simulia Corp. Simulation augmented reality system for emergent behavior
WO2017203710A1 (ja) * 2016-05-27 2017-11-30 楽天株式会社 ３次元モデル生成システム、３次元モデル生成方法、及びプログラム
US20170351415A1 (en) * 2016-06-06 2017-12-07 Jonathan K. Cheng System and interfaces for an interactive system
US10599879B2 (en) * 2016-06-17 2020-03-24 Dassault Systemes Simulia Corp. Optimal pressure-projection method for incompressible transient and steady-state navier-stokes equations
US10380762B2 (en) * 2016-10-07 2019-08-13 Vangogh Imaging, Inc. Real-time remote collaboration and virtual presence using simultaneous localization and mapping to construct a 3D model and update a scene based on sparse data
JP6866616B2 (ja) * 2016-11-17 2021-04-28 富士通株式会社 重畳画像生成プログラム、重畳画像生成方法、および情報処理装置
EP3549108A1 (en) * 2016-12-02 2019-10-09 Koninklijke KPN N.V. Determining size of virtual object
CN106582012B (zh) * 2016-12-07 2018-12-11 腾讯科技（深圳）有限公司 一种vr场景下的攀爬操作处理方法和装置
US10777018B2 (en) * 2017-05-17 2020-09-15 Bespoke, Inc. Systems and methods for determining the scale of human anatomy from images
FR3067842B1 (fr) * 2017-06-19 2020-09-25 SOCIéTé BIC Procede d'application de texture en realite augmentee, systeme et kits correspondants
JP7003617B2 (ja) * 2017-12-12 2022-01-20 富士通株式会社 推定装置、推定方法、及び推定プログラム
JP2019185475A (ja) * 2018-04-12 2019-10-24 富士通株式会社 特定プログラム、特定方法及び情報処理装置
JP7063165B2 (ja) * 2018-07-26 2022-05-09 富士通株式会社 計測装置、計測方法及び計測プログラム
JP7098473B2 (ja) * 2018-08-06 2022-07-11 東芝プラントシステム株式会社 画像処理装置、及び画像処理方法
CN110874868A (zh) * 2018-09-03 2020-03-10 广东虚拟现实科技有限公司 数据处理方法、装置、终端设备及存储介质
CN109274886B (zh) * 2018-09-18 2020-09-25 成都泰盟软件有限公司 一种基于OpenVR的混合现实视频录制方法
CN109814434B (zh) * 2018-12-20 2020-02-21 北京华航唯实机器人科技股份有限公司 控制程序的校准方法及装置
CN109801341B (zh) * 2019-01-30 2020-11-03 北京经纬恒润科技有限公司 一种标定靶的位置校验方法及装置
CN111626803A (zh) * 2019-02-28 2020-09-04 北京京东尚科信息技术有限公司 一种物品虚拟化定制方法、装置以及其存储介质
JP7245713B2 (ja) * 2019-05-24 2023-03-24 鹿島建設株式会社 画像表示装置
CN110427227B (zh) * 2019-06-28 2023-01-06 广东虚拟现实科技有限公司 虚拟场景的生成方法、装置、电子设备及存储介质
USD907032S1 (en) 2019-07-07 2021-01-05 Tangible Play, Inc. Virtualization device
US20210006730A1 (en) 2019-07-07 2021-01-07 Tangible Play, Inc. Computing device
US11113528B2 (en) * 2019-09-26 2021-09-07 Vgis Inc. System and method for validating geospatial data collection with mediated reality
CN112153319B (zh) * 2020-09-02 2023-02-24 芋头科技（杭州）有限公司 基于视频通信技术的ar信息显示方法和装置
CN112714337A (zh) * 2020-12-22 2021-04-27 北京百度网讯科技有限公司 视频处理方法、装置、电子设备和存储介质
FR3118252B1 (fr) * 2020-12-22 2023-07-07 Fond B Com Procédé de construction d’un marqueur tridimensionnel et marqueur tridimensionnel ainsi obtenu
CN113362476B (zh) * 2021-04-26 2023-07-18 福建数博讯信息科技有限公司 基于计算机图形学的落地式脚手架的校正方法及装置
JPWO2023276252A1 (ko) 2021-06-30 2023-01-05
US20230057822A1 (en) * 2021-08-17 2023-02-23 Clo Virtual Fashion Inc. Generating enhanced exploded view for design object
CN114385002B (zh) * 2021-12-07 2023-05-12 达闼机器人股份有限公司 智能设备控制方法、装置、服务器和存储介质

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4115117B2 (ja) * 2001-10-31 2008-07-09 キヤノン株式会社 情報処理装置および方法
JP2004126870A (ja) * 2002-10-01 2004-04-22 Canon Inc 複合現実感提示装置、システムおよびそれらの方法
US7369101B2 (en) * 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
JP4356983B2 (ja) * 2004-02-10 2009-11-04 キヤノン株式会社 画像処理方法、画像処理装置
CN1957373A (zh) * 2004-03-12 2007-05-02 布拉科成像S.P.A.公司 基于视频的扩增实境增强型外科手术导航系统的精度评估
US20080259073A1 (en) * 2004-09-23 2008-10-23 Conversion Works, Inc. System and method for processing video images
WO2007011306A2 (en) * 2005-07-20 2007-01-25 Bracco Imaging S.P.A. A method of and apparatus for mapping a virtual model of an object to the object
US20070236514A1 (en) * 2006-03-29 2007-10-11 Bracco Imaging Spa Methods and Apparatuses for Stereoscopic Image Guided Surgical Navigation
DE102007059478B4 (de) * 2007-12-11 2014-06-26 Kuka Laboratories Gmbh Verfahren und System zur Ausrichtung eines virtuellen Modells an einem realen Objekt
US20110190774A1 (en) * 2009-11-18 2011-08-04 Julian Nikolchev Methods and apparatus for performing an arthroscopic procedure using surgical navigation
US20130063560A1 (en) * 2011-09-12 2013-03-14 Palo Alto Research Center Incorporated Combined stereo camera and stereo display interaction
US9508146B2 (en) * 2012-10-31 2016-11-29 The Boeing Company Automated frame of reference calibration for augmented reality

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11875396B2 (en) 2016-05-10 2024-01-16 Lowe's Companies, Inc. Systems and methods for displaying a simulated room and portions thereof
WO2019118599A3 (en) * 2017-12-13 2019-07-25 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
US11062139B2 (en) 2017-12-13 2021-07-13 Lowe's Conpanies, Inc. Virtualizing objects using object models and object position data
US11615619B2 (en) 2017-12-13 2023-03-28 Lowe's Companies, Inc. Virtualizing objects using object models and object position data
KR20210023232A (ko) * 2019-08-22 2021-03-04 동의대학교 산학협력단 포토 스캐닝 기반의 3d 모델링 방법
WO2022211391A1 (ko) * 2021-04-02 2022-10-06 삼성전자 주식회사 전자 장치 및 그 동작 방법
WO2023095937A1 (ko) * 2021-11-24 2023-06-01 심용수 도면의 오차 파악 방법 및 그 장치

Also Published As

Publication number Publication date
CN103886124A (zh) 2014-06-25
EP2747034A2 (en) 2014-06-25
US20140176530A1 (en) 2014-06-26
EP2747034A3 (en) 2018-01-24
JP2014123376A (ja) 2014-07-03
EP2747034B1 (en) 2021-06-23
JP6335505B2 (ja) 2018-05-30
US9058693B2 (en) 2015-06-16

Similar Documents

Publication Publication Date Title
US9058693B2 (en) Location correction of virtual objects
CN111127655B (zh) 房屋户型图的构建方法及构建装置、存储介质
CN110383343B (zh) 不一致检测系统、混合现实系统、程序和不一致检测方法
JP6996594B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN109313814B (zh) 照相机校准系统
US8970586B2 (en) Building controllable clairvoyance device in virtual world
JP2013539147A5 (ko)
CN111145294B (zh) 二维户型图构建方法及装置、存储介质
US20140192055A1 (en) Method and apparatus for displaying video on 3d map
TW201617944A (zh) 圖形化平面資料分析系統及方法
JPWO2020188799A1 (ja) カメラ校正装置、カメラ校正方法、及びプログラム
CN110322539B (zh) 三维物体的三维模型切割过程显示方法、装置与电子设备
Kahn Reducing the gap between Augmented Reality and 3D modeling with real-time depth imaging
JP6295296B2 (ja) 複合システム及びターゲットマーカ
US20170094244A1 (en) Image processing device and image processing method
US9256348B2 (en) Posture creation with tool pickup
Guo et al. Optimization design of non-coplanar target for pose measurement with monocular vision system
CN116109684B (zh) 面向变电场站在线视频监测二三维数据映射方法及装置
CN110378948B (zh) 3d模型重建方法、装置及电子设备
Zheng et al. A non-coplanar high-precision calibration method for cameras based on an affine coordinate correction model
CN115131507A (zh) 图像处理方法、图像处理设备和元宇宙三维重建方法
CN114820980A (zh) 三维重建方法、装置、电子设备和可读存储介质
CN114882194A (zh) 房间点云数据的处理方法和装置、电子设备和存储介质
CN109242941B (zh) 三维对象合成通过使用视觉引导作为二维数字图像的一部分
Radkowski HoloLens integration into a multi-kinect tracking environment

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid