KR20120093991A - 증강 현실 시스템 - Google Patents

증강 현실 시스템 Download PDF

Info

Publication number
KR20120093991A
KR20120093991A KR1020127013767A KR20127013767A KR20120093991A KR 20120093991 A KR20120093991 A KR 20120093991A KR 1020127013767 A KR1020127013767 A KR 1020127013767A KR 20127013767 A KR20127013767 A KR 20127013767A KR 20120093991 A KR20120093991 A KR 20120093991A
Authority
KR
South Korea
Prior art keywords
image
real world
light source
information
unit
Prior art date
Application number
KR1020127013767A
Other languages
English (en)
Inventor
종철 홍
재형 김
종민 윤
호종 정
Original Assignee
주식회사 비즈모델라인
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비즈모델라인 filed Critical 주식회사 비즈모델라인
Publication of KR20120093991A publication Critical patent/KR20120093991A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G06T15/60—Shadow generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2215/00—Indexing scheme for image rendering
    • G06T2215/16—Using real world measurements to influence rendering

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Graphics (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)

Abstract

증강 현실 (AR) 디바이스에 관한 장치 및 기술이 제공된다. 현실 세계 이미지를 증강하기 위한 디바이스는 현실 세계 이미지가 캡쳐된 위치, 시간 및 날짜에 기초하여 현실 세계 이미지 캡쳐링 디바이스에 의해 캡쳐된 현실 세계 이미지에 대한 광원 정보를 생성하는 광원 정보 생성 유닛을 포함한다. 광원 정보는 현실 세계 이미지에 대한 현실 세계 광원의 포지션에 대한 정보를 포함한다. 디바이스는 광원 정보 생성 유닛으로부터 생성된 광원 정보를 수신하는 쉐도우 이미지 레지스트레이션 유닛을 더 포함한다. 쉐도우 이미지 레지스트레이션 유닛은 광원 정보 생성 유닛으로부터 생성된 광원 정보에 기초하여 현실 세계 이미지 상에 오버레이되는 가상 오브젝트의 쉐도우 이미지를 생성한다.

Description

증강 현실 시스템{AUGMENTED REALITY SYSTEMS}
증강 현실 (Augmented reality; AR) 은 컴퓨터로 생성된 데이터, 특히 엔드 유저에 대한 디스플레이를 위하여 실시간으로 리얼 푸티지 (real footage) 내에 블렌드된 컴퓨터 그래픽 오브젝트들과 현실 세계를 결합하는데 초점을 둔다. AR의 범위는 몇몇 예를 들면 광고, 네비게이션, 밀리터리 서비스 및 오락과 같은 비가시적 증강 및 광범위한 애플리케이션 영역을 포함하도록 확장하고 있다. 이들의 성공적인 전개를 위하여, 이러한 컴퓨터로 생성된 데이터 (이미지들) 를 현실 세계 장면으로의 끊김없이 통합을 제공하는 것에 대한 관심이 커지고 있다.
증강 현실 (AR) 디바이스에 관한 기술이 제공된다. 일 실시형태에서, 현실 세계 이미지를 증강하는 디바이스는 현실 세계 이미지가 캡쳐된 위치, 시간 및 날짜에 기초하여 현실 세계 이미지 캡쳐 디바이스에 의해 캡쳐된 현실 세계 이미지에 대한 광원 정보를 생성하는 광원 정보 생성 유닛을 포함한다. 광원 정보는 현실 세계 이미지에 대한 현실 세계 광원의 포지션에 대한 정보를 포함한다. 디바이스는 광원 정보 생성 유닛으로부터 생성된 광원 정보를 수신하는 쉐도우 이미지 레지스트레이션 유닛을 더 포함한다. 쉐도우 이미지 레지스트레이션 유닛은 광원 정보 생성 유닛으로부터 생성된 광원 정보에 기초하여 현실 세계 이미지 상에 오버레이되는 가상 오브젝트의 쉐도우 이미지를 생성한다.
위의 요약은 단지 예시적인 것이며, 어떠한 방식으로든 제한을 두기 위한 것으로 의도되지 않는다. 위에 설명된 예시적인 양태들, 실시형태들 및 특징들에 더하여, 추가의 양태들, 실시형태들 및 특징들이 다음 상세한 설명 및 도면을 참조로 명확해질 것이다.
도 1 은 증강 현실 (AR) 시스템의 예시적인 실시형태의 개략적인 블록도를 나타낸다.
도 2a 내지 도 2c 는 가상 오브젝트의 쉐도우 이미지와 오버레이된 증강 현실 이미지를 생성하기 위한 예시적인 실시형태를 나타낸다.
도 3 은 도 1 의 이미지 캡쳐 유닛의 예시적인 실시형태의 개략적인 블록도를 나타낸다.
도 4 는 도 1 의 AR 생성기의 예시적인 실시형태의 개략적인 블록도를 나타낸다.
도 5 는 도 4 의 AR 이미지 생성 유닛의 예시적인 실시형태의 개략적인 블록도를 나타낸다.
도 6 은 마커리스 (markerless) 선택/레지스트레이션 기술에 기초하여 가상 오브젝트를 선택 및 레지스트레이션하고 가상 오브젝트의 가상 쉐도우 이미지를 생성하기 위한 예시적인 실시형태를 나타낸다.
도 7a 내지 도 7c 는 AR 시스템의 다른 예시적인 실시형태의 개략도를 나타낸다.
도 8 은 AR 이미지를 생성하는 방법의 예시적인 실시형태의 예시적 흐름도를 나타낸다.
다음의 상세한 설명에서는, 첨부한 도면들을 참조하며, 이들 도면은 상세한 설명의 일부를 형성한다. 도면들에서, 문맥이 달리 기술하지 않는 한, 일반적으로, 유사한 부호들은 유사한 컴포넌트들을 식별한다. 상세한 설명, 도면 및 청구범위 내에 설명된 예시적 실시형태들은 제한을 두기 위한 것으로 의미되지 않는다. 다른 실시형태들도 이용될 수도 있으며, 본 명세서에 설명된 요지의 사상 또는 범위에 벗어남이 없이 다른 변경들이 이루어질 수도 있다. 도면들에 예시되고 본 명세서에 일반적으로 설명된 바와 같이 본 개시물의 양태들은 다양한 다른 구성들로 배치, 치환, 결합, 분리 및 설계될 수 있고 이 모두는 본 명세서에서 명시적으로 예상됨을 쉽게 이해할 것이다.
증강 현실 (AR) 기술은 가상 오브젝트들의 이미지들과 현실 세계 이미지들을 블렌드하여, 가상 오브젝트들이 현실 세계에 존재하는 착시를 뷰어들에게 제공한다. 본 개시물에 설명된 기술은 현실 이미지들에서의 현실 오브젝트들의 현실 세계 쉐도우 이미지들에 일치하거나 부합하는 가상 오브젝트들의 가상 쉐도우 이미지들을 포함하는 블렌드된 이미지들을 생성하기 위해 신규의 AR 디바이스를 채용하여, 가상 쉐도우 이미지들이 현실 세계 쉐도우 이미지들을 캐스트하는 동일한 현실 세계 광원 (예를 들어, 태양) 에 의해 캐스트되어진 것처럼, 가상 쉐도우 이미지들이 뷰어에게 보여지도록 한다.
도 1 은 증강 현실 (AR) 시스템의 예시적인 실시형태의 개략적인 블록도를 나타낸다. 도 1 을 참조하면, AR 시스템 (100) 은 현실 세계 이미지를 캡쳐하도록 구성된 이미지 캡쳐 유닛 (110), 캡쳐된 현실 세계 이미지를 하나 이상의 가상 오브젝트(들)의 이미지(들) 및 이들 각각의 가상 쉐도우 이미지들과 오버레이함으로써 AR 이미지를 생성하도록 구성된 AR 생성기 (120), 및 AR 생성기 (120) 에 의해 생성된 증강 현실 이미지를 디스플레이하도록 구성된 디스플레이 유닛 (130) 을 포함할 수도 있다.
본 명세서에서 이용된 용어 "가상 오브젝트"는 오브젝트의 기하적 표현을 의미하며, 용어 "가상 쉐도우 이미지"는 당해 기술 분야에 알려진 하나 이상의 쉐도우 렌더링 기술들을 이용하여 렌더링된 가상 오브젝트의 쉐도우 이미지를 의미한다. 이러한 쉐도우 렌더링 기술들의 예들은 이들에 한정되는 것은 아니지만, 쉐도우 맵 알고리즘, 쉐도우 볼륨 알고리즘, 및 소프트 쉐도우 알고리즘을 포함한다. 가상 오브젝트 및 가상 쉐도우 이미지에 대한 기술적 세부 내용은 당해 기술 분야에 잘 알려진 것이고 본 명세서에서는 추가로 설명되지 않는다.
이미지 캡쳐 유닛 (110) 은 현실 세계 장면의 현실 세계 이미지를 캡쳐하는 하나 이상의 디지털 카메라 (도시 생략) 를 포함할 수도 있다. 일 실시형태에서, 이미지 캡쳐 유닛 (110) 은 AR 생성기 (120) 로부터 원격으로 위치될 수도 있고, AR 생성기 (120) 와 무선으로 접속될 수도 있다. 다른 실시형태에서, 이미지 캡쳐 유닛 (110) 은 AR 생성기 (120) 를 하우징하는 동일한 케이스에 배치될 수도 있다.
AR 생성기 (120) 는 이미지(들)이 이미지 캡쳐 유닛 (110) 에 의해 캡쳐된 현실 세계 이미지 상에 오버레이될 가상 오브젝트(들)의 가상 쉐도우 이미지(들)를 생성하도록 구성될 수도 있다. 가상 오브젝트(들)는 AR 생성기 (120) 내에 미리 저장될 수도 있거나, 외부 디바이스 (예를 들어, 서버) 로부터 AR 생성기 (120) 에 의해 수신될 수도 있다. 일 실시형태에서, AR 생성기 (120) 는 크기, 형상, 방향 및/또는 강도가 현실 세계 이미지에서의 현실 오브젝트들의 현실 세계 쉐도우 이미지들에 일치하거나 또는 부합하는 가상 쉐도우 이미지들을 생성하도록 구성될 수도 있다. 이러한 방식으로 생성된 가상 쉐도우 이미지들은 AR 이미지의 뷰어에게 이 이미지가 현실 세계 쉐도우 이미지들을 캐스트하는 동일한 현실 세계 광원에 의해 캐스트되는 것처럼 보일 수도 있다.
도 2a 내지 도 2c 는 가상 이미지 및 그 가상 쉐도우 이미지와 오버레이된 AR 이미지를 생성하기 위한 예시적인 실시형태를 나타낸다. 도 2a 는 현실 세계 장면의 사시도의 예시적 실시형태를 나타내며, 도 2b 는 가상 오브젝트의 가상 쉐도우 이미지가 없는, 도 2a 의 현실 세계 장면의 AR 이미지의 예시적인 실시형태를 나타내며, 도 2c 는 가상 오브젝트의 가상 쉐도우 이미지를 포함하는, 도 2a의 현실 세계 장면의 AR 이미지의 예시적인 실시형태를 나타낸다. 도 2a 내지 도 2c 를 참조하면, 도 2a 의 현실 세계 장면 (2) 은 태양 (20), 골프 홀 (21), 홀 안의 깃대 (22) 및 깃대 (22) 의 현실 세계 쉐도우 (23) 를 포함한다. 이미지 캡쳐 유닛 (110) 은 이러한 현실 세계 장면 (2) 의 현실 세계 이미지를 생성하여 AR 이미지 생성기 (120) 에 제공한다. 도 2b 및 도 2c 에서의 골프 공 (24) 과 도 2c 에서의 그 쉐도우 이미지 (25) 는 AR 이미지 생성기 (120) 에 의해 추가되는 가상 이미지들이다. 도 2c 에서의 골프 공 (24) 의 가상 쉐도우 이미지 (25) 는, 가상 쉐도우 이미지 (25) 가 또한 현실 세계 태양 (20) 에 의해 캐스트되는 것 처럼, 현실 세계 태양 (20) 에 의해 캐스트된 깃대 (22) 의 현실 세계 쉐도우 (23) 와 동일한 방향에 있다. 도 2b 및 도 2c 를 비교하여 알 수 있는 바와 같이, 추가된 가상 쉐도우 이미지 (25) 는 AR 이미지에 추가된 골프 공 (24) 의 가상 이미지에 실제감을 불어넣어, 이것이 정말로 현실 세계에 존재하는 것처럼 착시를 준다.
도 1 로 돌아가서, AR 생성기 (120) 는 이미지 캡쳐 유닛 (110) 에 대하여 현실 세계 광원 (예를 들어, 태양) 의 위치를 추정하고 추정된 위치에 기초하여 가상 쉐도우 이미지들을 생성하도록 구성될 수도 있다. 일 실시형태에서, AR 생성기 (120) 는 현실 세계 이미지가 이미지 캡쳐 유닛 (110) 에 의해 캡쳐된 위치, 시간 및 날짜에 기초하여 현실 세계 광원의 포지션을 추정하도록 구성될 수도 있다. AR 생성기 (120) 는 카메라 유닛 (110) 및/또는 외부 디바이스 (예를 들어, 서버) 로부터 위치, 시간 및/또는 날짜에 대한 이러한 정보를 적어도 부분적으로 획득할 수도 있다. (a) 태양의 위치를 추정하고 (b) 가상 쉐도우 이미지들 및 이들로부터 AR 이미지들을 생성하는 것에 대한 기술적 세부 내용을 도 3 내지 도 5 를 참조로 아래 자세하게 설명한다.
디스플레이 유닛 (130) 은 AR 생성기 (120) 에 의해 제공된 증강 현실 이미지를 디스플레이하도록 구성될 수도 있다. 일 실시형태에서, 디스플레이 유닛 (130) 은 음극선관 (cathode ray tube; CRT), 액정 디스플레이 (liquid crystal display; LCD), 발광 다이오드 (light-emitting diode; LED), 유기 LED (organic LED; OLED), 및/또는 플라즈마 디스플레이 패널 (plasma display panel; PDP) 로 구현될 수도 있다.
도 3 은 도 1 의 이미지 캡쳐 유닛의 예시적 실시형태의 개략적 블록도를 나타낸다. 도 3 을 참조하면, 이미지 캡쳐 유닛 (110) 은 현실 세계 이미지를 생성하도록 구성된 카메라 유닛 (310) 및 카메라 유닛 (310) 의 방위 (bearing) 및 기울기를 측정하고 (측정된 방위 및 기울기에 대한 정보를 포함하는) 포즈 정보를 생성하도록 구성된 포즈 검출 유닛 (320) 을 포함할 수도 있다. 다른 실시형태에서, 이미지 캡쳐 유닛 (110) 은 선택적으로 위치 정보 제공 유닛 (330) 및/또는 시간/날짜 정보 제공 유닛 (340) 을 포함할 수도 있다.
카메라 유닛 (310) 은 광학적 현실 세계 이미지를 디지털 데이터로 변환하는 하나 이상의 디지털 카메라 (도시 생략) 를 포함할 수도 있다. 이러한 디지털 카메라들의 예들은 이들에 한정되는 것은 아니지만 전하 결합 디바이스 (charge-coupled device; CDD) 디지털 카메라 및 상보형 금속 산화물 반도체 (complementary metal-oxide-semiconductor; CMOS) 디지털 카메라를 포함한다.
포즈 검출 유닛 (320) 은 각각의 디지털 카메라들의 방위 및 기울기를 측정하도록 구성될 수도 있다. 일 실시형태에서, 포즈 검출 유닛 (320) 은 카메라 유닛 (310) 의 각각의 디지털 카메라들의 방위 (예를 들어, 북쪽, 남쪽, 동쪽, 서쪽 방향) 을 검출하도록 구성된 지구 자기장 센서 (예를 들어, 나침반)(도시 생략) 및 카메라 유닛 (310) 의 각각의 디지털 카메라들의 기울기를 측정하는 자이로 센서 (도시 생략) 를 포함할 수도 있다.
위치 정보 제공 유닛 (330) 은 현실 세계 이미지가 카메라 유닛 (310) 에 의해 캡쳐된 위치에 대한 정보 (즉, 위치 정보) 를 제공하도록 구성될 수도 있다. 일 실시형태에서, 위치 정보 제공 유닛 (330) 은 GPS 기술을 이용함으로써, 다수의 GPS 위성들로부터 무선으로 수신된 GPS 정보를 수신하고, 수신된 GPS 정보에 기초하여 이미지 캡쳐 유닛 (110) 의 위치를 결정하도록 구성된 GPS 유닛 (도시 생략) 을 포함할 수도 있다.
다른 실시형태에서, 위치 정보 제공 유닛 (330) 은 모바일 추적 기술을 이용함으로써, 외부 디바이스 (예를 들어, 서버 또는 무선 네트워크 엔티티) 로부터 모바일 추적 정보를 수신하고 수신된 모바일 추적 정보에 기초하여 이미지 캡쳐 유닛 (110) 의 위치를 결정하도록 구성된 모바일 추적 유닛 (도시 생략) 을 포함할 수도 있다. 본 명세서에 이용된 바와 같이, 모바일 추적 정보는 하나 이상의 모바일 추적 기술들에 기초하여 이미지 캡쳐 유닛 (110) 의 위치를 결정하기 위하여 위치 정보 제공 유닛 (330) 에 의해 이용될 수도 있는 정보로서 정의된다. 이러한 모바일 추적 기술들의 예들은 이들에 한정되는 것은 아니지만, 셀 식별 정보, 인핸스드 셀 식별 정보, 삼각 측량 (예를 들어, 업링크 도달 시간차 (uplink time difference of arrival; U-TDOA)), 도달 시간 (time of arrival; TOA), 및 도달 각 (angle of arrival; AOA) 기술을 포함한다. 또한, 이러한 모바일 추적 정보의 예들은 이들에 한정되는 것은 아니지만, 카메라 유닛 (110) 이 위치된 셀을 나타내는 셀 정보 및 이미지 캡쳐 유닛 (110) 을 고유하게 식별하는 식별 (identification; ID) 정보를 포함한다.
모바일 추적 기술로서 셀 식별 정보를 이용하는 일례에서는, 위치 정보 제공 유닛 (330) 은 이미지 캡쳐 유닛 (110) 이 위치되는 셀을 나타내는 셀 정보 (예를 들어, 셀 ID) 를 모바일 추적 정보로서 수신하고 그 후, 수신된 셀 정보에 기초하여 이미지 캡쳐 유닛 (110) 의 위치를 추정 (예를 들어, 이미지 캡쳐 유닛 (110) 의 위치로서 수신된 셀 정보에 의해 식별된 셀의 커버리지 영역의 중심점을 결정하고 선택) 할 수도 있다. 셀 식별 기술에 대한 기술적 세부 내용은 해당 기술 분야에 잘 알려진 것으로서, 본 명세서에서는 추가로 설명하지 않는다. 다른 예에서, 위치 정보 제공 유닛 (330) 은 이 유닛과 무선 통신하는 기지국 또는 다른 등가의 디바이스로부터 이미지 캡쳐 유닛 (110) 의 식별 (ID) 정보를 수신하고, (위치를 결정하기 위하여 서버로 하여금 무선 네트워크 엔티티로부터 이미지 캡쳐 유닛 (110) 에 대한 정보를 획득하도록 하기 위해) 수신된 ID 정보를 외부 디바이스 (예를 들어, 서버) 에 송신하고, 이미지 캡쳐 유닛 (110) 의 위치에 대한 정보를 서버로부터 응답하여 수신할 수도 있다.
시간/날짜 정보 제공 유닛 (340) 은 현실 세계 이미지가 카메라 유닛 (310) 에 의해 캡쳐된 시간 및 날짜에 대한 정보를 제공하도록 구성될 수도 있다. 일 실시형태에서, 시간/날짜 정보 제공 유닛 (340) 에는 클록이 설치될 수도 있다. 다른 실시형태에서, 시간/날짜 정보 제공 유닛 (340) 은 외부 디바이스 (예를 들어, 서버, 또는 기지국 또는 무선 통신 네트워크) 로부터 현재 시간 및 날짜 정보를 수신할 수도 있다.
위치 정보 제공 유닛 (330) 및 시간/날짜 정보 제공 유닛 (340) 은 외부 디바이스 (예를 들어, 서버 또는 기지국, 또는 무선 통신 네트워크) 와 정보를 통신하도록 구성된 무선 통신 유닛 (도시 생략) 으로 구현될 수도 있다. 예를 들어, 무선 통신은 외부 디바이스로부터 GPS 정보, 모바일 추적 정보, 및/또는 시간/날짜 정보를 수신하여 이들을 AR 생성기 (120) 에 제공하도록 구성될 수도 있다.
도 4 는 도 1 의 AR 생성기의 예시적 실시형태의 개략적 블록도를 나타낸다. 도 4 를 참조하면, AR 생성기 (120) 는 이미지 캡쳐 유닛 (110) 과 통신하고 이미지 캡쳐 유닛 (110) 에 의해 캡쳐된 현실 세계 이미지에 대한 광원 정보 (이미지 캡쳐 유닛 (110) 에 대한 현실 세계 광원의 포지션에 대한 정보를 포함함) 를 생성하도록 구성된 광원 정보 생성 유닛 (410) 을 포함할 수도 있다. AR 생성기 (120) 는 광원 정보에 기초하여, 그 이미지가 현실 세계 이미지와 블렌드된 또는 현실 세계 이미지 상에 오버레이되는 가상 오브젝트의 가상 쉐도우 이미지의 쉐도우 이미지를 생성하도록 구성된 AR 이미지 생성 유닛 (420) 을 더 포함할 수도 있다. 일 실시형태에서, AR 이미지 생성 유닛 (420) 은 가상 오브젝트 이미지 및 생성된 가상 쉐도우 이미지와 현실 세계 이미지를 블렌드하여 AR 이미지를 생성할 수도 있다.
일 실시형태에서, 광원 정보 생성 유닛 (410) 은 현실 세계 이미지가 이미지 캡쳐 유닛 (110) 에 의해 캡쳐된 위치, 시간 및 날짜에 기초하여 현실 세계 광원의 위치 (예를 들어, 하늘에서의 태양의 포지션) 를 추정할 수도 있다. 광원 정보 생성 유닛 (410) 은 이미지 캡쳐 유닛 (110) 및/또는 외부 디바이스 (예를 들어, 서버) 에 의해 제공된 위치, 시간 및 날짜 정보에 적어도 부분적으로 기초하여 현실 세계 이미지의 위치 및/또는 시간 및 날짜를 결정할 수도 있다.
시간 및 날짜 결정에 대하여, 일 실시형태에서, 광원 정보 생성 유닛 (410) 은 현실 세계 이미지와 함께, 현실 세계 이미지가 캡쳐된 시간 및 날짜에 대한 정보를 이미지 캡쳐 유닛 (110) 으로부터 수신할 수도 있다. 다른 실시형태에서, 광원 정보 생성 유닛 (410) 은 AR 생성기 (120) 또는 외부 디바이스 (예를 들어, 서버) 에 설치된 클록 (도시 생략) 으로부터 현재 시간 및 날짜를 주기적으로 수신할 수도 있고 현실 세계 이미지가 이미지 캡쳐 유닛 (110) 으로부터 수신되었던 시간 및 날짜를 현실 세계 이미지가 이미지 캡쳐 유닛 (110) 에 의해 캡쳐된 시간 및 날짜로서 설정할 수도 있다.
광원 정보 생성 유닛 (410) 은 현실 세계 이미지가 이미지 캡쳐 유닛 (110) 에 의해 캡쳐된 결정된 위치, 시간 및 날짜에 기초하여 현실 세계 광원의 위치 (예를 들어, 하늘에서의 태양의 포지션) 를 추정할 수도 있다. 기술된 시간 및 날짜에 대한 기술된 위치에서의 태양의 위치를 계산하기 위한 관련 기술 분야에 잘 알려진 기술(들)을 이용할 수도 있다. 예를 들어, 미국 에너지부의 NREL (National Renewable Energy Laboratory) 에 의해 제공된 태양 포지션 알고리즘 (solar position algorithm; SPA) 을 이용할 수도 있다. SPA 에 대한 추가 기술적인 세부 내용은 Reda, I., Andreas, A.의 Solar Position Algorithm for Solar Radiation Applications (55 pp., NREL Report No. TP-560-34302, Revised January 2008) 에서 찾을 수도 있으며, 여기서는 그 전체 내용을 참조로서 포함한다. 다른 예에서, 미국 상무부의 해양대기청에 의해 제공된 태양 포지션 계산기를 이용할 수도 있다.
AR 이미지 생성 유닛 (420) 은 이미지 캡쳐 유닛 (110) 으로부터 현실 세계 이미지를 수신할 수도 있고 수신된 현실 세계 이미지에 기초하여 수신된 현실 세계 이미지 상에 오버레이될 가상 오브젝트를 획득할 수도 있다. 일 실시형태에서, AR 이미지 생성 유닛 (420) 은 AR 생성기 (120) 에 설치된 저장 유닛 (도시 생략) 에 미리 저장된 가상 오브젝트의 풀로부터 가상 오브젝트를 선택할 수도 있다. 다른 실시형태에서, AR 이미지 생성 유닛 (420) 은 수신된 현실 세계 이미지를 외부 디바이스 (예를 들어, 서버) 에 송신할 수도 있고 (이에 의해, 서버는 서버 내에 저장된 가상 오브젝트들의 풀로부터 가상 오브젝트를 선택할 수도 있고) 선택된 가상 오브젝트를 외부 디바이스로부터 수신할 수도 있다. 가상 오브젝트 선택의 기술적 세부 내용은 도 5 및 도 6 을 참조로 아래 자세하게 설명될 것이다.
AR 이미지 생성 유닛 (420) 은 이미지 캡쳐 유닛 (110) 및 광원 정보 생성 유닛 (410) 으로부터 각각 포즈 정보 (예를 들어, 이미지 캡쳐 유닛 (110) 의 방위 및 기울기) 및 광원 정보를 수신할 수도 있고 포즈 정보 및 광원 정보에 적어도 부분적으로 기초하여 선택된 가상 오브젝트의 가상 쉐도우 이미지를 생성할 수도 있다. AR 이미지 생성 유닛 (420) 은 선택된 가상 오브젝트의 이미지 및 생성된 가상 쉐도우 이미지와 수신된 현실 세계 이미지를 오버레이함으로써 AR 이미지를 생성할 수도 있다. 가상 쉐도우 이미지 및 AR 이미지 생성에 관한 기술적 세부 내용은 도 5 및 도 6 을 참조로 아래 자세하게 설명될 것이다.
도 5 는 도 4 의 AR 이미지 생성 유닛의 예시적 실시형태의 개략적 블록도를 나타낸다. 도 5 를 참조하여 보면, AR 이미지 생성 유닛 (420) 은, (예를 들어, AR 생성기 (120) 의 저장 유닛에 또는 AR 생성기 (120) 와 통신하는 외부 디바이스 (도시 생략) 에 저장된) 가상 오브젝트들의 풀로부터 가상 오브젝트를 선택하고, 선택된 가상 오브젝트를 이미지 캡쳐 유닛 (110) 에 의해 캡쳐된 현실 세계 이미지와 레지스트레이션 (즉, 정렬) 하도록 구성된 가상 오브젝트 (virtual object; VO) 레지스트레이션 유닛 (510); 광원 정보 생성 유닛 (410) 에 의해 제공된 광원 정보에 기초하여 선택된 가상 오브젝트의 쉐도우 이미지를 생성하도록 구성된 쉐도우 이미지 레지스트레이션 유닛 (520); 및 레지스트레이션된 VO 이미지 상에 쉐이딩 동작을 수행하도록 구성된 VO 쉐이딩 유닛 (530) 을 포함할 수도 있다.
VO 레지스트레이션 유닛 (510) 은 관련 기술에 일려진 마커-기반 선택/레지스트레이션 기술(들), 마커리스 선택/레지스트레이션 기술(들), 및/또는 하이브리드 선택/레지스트레이션 기술(들)을 채용함으로써, 주어진 현실 세계 이미지에 대한 적절한 가상 오브젝트(들)를 선택하고 선택된 가상 오브젝트(들)를 주어진 현실 세계 이미지와 레지스트레이션하도록 구성될 수도 있다. 가상 오브젝트를 선택하여 주어진 현실 세계 이미지와 레지스트레이션하는 마커리스 선택/레지스트레이션 기술(들) 중 하나를 채용하는 일 실시형태에서, VO 레지스트레이션 유닛 (510) 은 하나 이상의 템플릿 이미지들 (예를 들어, AR 생성기 (120) 의 저장 유닛 또는 외부 디바이스에 저장된 템플릿 이미지들) 과 캡쳐된 현실 세계 이미지의 적어도 일부분을 비교하고, 만약 매치가 있으면, 매치된 템플릿 이미지에 대응하는 가상 오브젝트를 선택하여 캡쳐된 현실 세계 이미지의 매치된 부분과 레지스트레이션하도록 구성될 수도 있다. 템플릿 이미지들은 하나 이상의 가상 오브젝트들과 오버레이될 현실 세계 이미지에서의 포지션을 찾는데 있어 및/또는 찾아진 포지션에 오버레이될 하나 이상의 적절한 가상 오브젝트들을 선택하는데 있어 이용될 수도 있는 미리 정해진 이미지들 (예를 들어, 진 황제의 테라코타 병사의 이미지, 마커 이미지 등) 일 수 있다. 일 실시형태에서, VO 레지스트레이션 유닛 (510) 은 템플릿 이미지와 동일하거나 유사한 현실 세계 이미지에서의 부분들을 찾고 (즉, 매치를 찾고), 현실 세계 이미지의 식별되는 부분에 또는 이 부분 근처에 매치된 템플릿 이미지에 대응하는 가상 오브젝트를 오버레이하도록 구성될 수도 있다. 템플릿 이미지와 동일하거나 유사한 현실 세계 이미지에서의 부분들을 찾는데 있어 거리 기반 유사성 측정, 특징 기반 유사성 측정 등과 같은 다양한 통상의 유사성 또는 상이성 측정을 채용할 수도 있다. 템플릿 이미지들은 특정 구현들에 의존하여 별도의 저장 유닛 또는 가상 오브젝트와 동일한 저장 유닛에 저장될 수도 있다. 가상 오브젝트를 선택 및 레지스트레이션하고 가상 오브젝트의 가상 쉐도우 이미지를 생성하는 VO 레지스트레이션 유닛 (510) 에 대한 기술적 세부 내용들은 다음 설명들에 자세하게 설명되어 있다.
도 6 은 가상 오브젝트를 선택 및 레지스트레이션하고 마커리스 선택/레지스트레이션 기술에 기초하여 가상 오브젝트의 가상 쉐도우 이미지를 생성하는 예시적인 실시형태를 나타낸다. 도 6 은 현실 세계 태양 (60), 현실 세계 조각상 (61), 및 현실 세계 태양 (60) 에 의해 캐스트된 현실 세계 조각상 (61) 의 현실 세계 쉐도우 (62) 를 포함하는 장면 (6) 을 나타낸다. 도 6 은 또한, 현실 세계 조각상 (61) 및 그 조각상의 현실 세계 쉐도우 (62) 를 포함한 현실 세계 이미지를 캡쳐하도록 위치결정된 이미지 캡쳐 유닛 (110) 을 나타낸다. 도 6 에 나타낸 레퍼런스 프레임 (xw, yw, 및 zw) 과 레퍼런스 프레임 (xc, yc, 및 zc) 은 현실 세계 레퍼런스 프레임 (예를 들어, 하늘에서의 현실 세계 태양 (60) 의 포지션을 표시하기 위한 레퍼런스 프레임) 및 이미지 캡쳐 유닛 (110) 의 레퍼런스 프레임 (즉, 카메라 레퍼런스 프레임) 을 각각 표시한다.
예를 들어, AR 생성기 (120) 에서의 저장 유닛은 (예를 들어, 진 황제의 테라코타 병사의 템플릿 이미지를 포함하는) 조각상들의 다양한 템플릿 이미지들 및 그 위에 디스크립션들을 포함하는 대응하는 가상 오브젝트들 (예를 들어, 디스크립션 "진 황제/테라코타 병사"를 가진 가상 오브젝트 (63)) 을 저장할 수도 있다. VO 레지스트레이션 유닛 (510) 은 이미지 캡쳐 유닛 (110) 에 의해 캡쳐된 현실 세계 이미지를 수신시, 현실 세계 조각상 (61) 을 보여주는 현실 세계 이미지의 부분과 실질적으로 일치하거나 유사한 다양한 저장된 템플릿 이미지들에서의 템플릿 이미지가 존재하는지 여부를 결정할 수도 있고, 매치된 템플릿 이미지에 대응하는 가상 오브젝트 (예를 들어, 가상 오브젝트 (63)) 를 선택할 수도 있다. 예를 들어, VO 레지스트레이션 유닛 (510) 은 다수의 가상 오브젝트들 및 대응하는 템플릿 이미지들을 리스트하는 테이블을 저장할 수도 있고, 매치가 찾아지면, 매치된 템플릿 이미지에 대응하는 가상 오브젝트(들)를 선택할 수도 있다.
현실 세계 이미지 상에 오버레이되는 가상 오브젝트를 선택시, VO 레지스트레이션 유닛 (510) 은 선택된 가상 오브젝트를 현실 세계 이미지와 레지스트레이션할 수도 있다. 관련 기술 분야에 잘 알려진 바와 같이, 레지스트레이션은 현실 세계 레퍼런스 프레임 (예를 들어, xw, yw, 및 zw) 에 대한 카메라 레퍼런스 프레임 (예를 들어, xc, yc, 및 zc) 의 포지션을 결정하는 것 및 카메라 레퍼런스 프레임에 대한 가상 오브젝트의 포지션을 결정하는 것을 포함한다. 일 실시형태에서, VO 레지스트레이션 유닛 (510) 은 포즈 검출 유닛 (320) 에 의해 제공된 포즈 정보 (즉, 현실 세계 레퍼런스 프레임에 대한 이미지 캡쳐 유닛 (110) 의 방위 및 기울기에 대한 정보) 에 기초하여 카메라 레퍼런스 프레임을 결정할 수도 있다. 그 후, VO 레지스트레이션 유닛 (510) 은 카메라 레퍼런스 프레임에 대한 선택된 가상 오브젝트 (예를 들어, 가상 오브젝트 (63)) 의 포지션을 결정할 수도 있다. 예를 들어, VO 레지스트레이션 유닛 (510) 은 현실 세계 조각상 (61) 에 근접한 위치에 가상 오브젝트 (63) 를 위치결정시킬 수도 있다. 위의 레지스트레이션 동작들을 수행하는 기술들은 관련 기술 분야에 잘 알려져 있으며, 명료화를 위하여 자세히 설명하지 않는다. 위에 설명된 가상 오브젝트 선택 및 레지스트레이션 기술들은 단지 예시 목적을 위한 것이며 관련 기술에서의 어떠한 알려진 선택 및 레지스트레이션 기술도 특정 실시형태들에 대한 필요에 따라 채용될 수도 있음이 이해되어야 한다.
쉐도우 이미지 레지스트레이션 유닛 (520) 은 광원 정보 생성 유닛 (410) 으로부터 광원 정보를 수신하여 광원 정보에 기초하여 선택된 가상 오브젝트의 쉐도우 이미지를 생성하도록 구성될 수도 있다. 일 실시형태에서, 쉐도우 이미지 레지스트레이션 유닛 (520) 은 (예를 들어, 현실 세계 레퍼런스 프레임에 대한 또는 하늘에서의 현실 세계 태양 (60) 의 포지션에 대한 정보를 포함한) 광원 정보에 기초하여 카메라 레퍼런스 프레임에 대한 현실 세계 광원 (예를 들어, 현실 세계 태양 (60)) 의 포지션을 결정하고 현실 세계 광원의 결정된 포지션에 기초하여 레지스트레이션된 가상 오브젝트의 가상 쉐도우 이미지 (예를 들어, 가상 쉐도우 이미지 (64)) 를 생성하도록 구성될 수도 있다.
일 실시형태에서, 쉐도우 이미지 레지스트레이션 유닛 (520) 은 결정된 포지션에서 현실 세계 광원을 시뮬레이션하는 가상 광원을 설정하여, 설정된 가상 광원에 대한 가상 쉐도우 이미지를 렌더링할 수도 있다. 쉐도우 이미지를 렌더링하는데 있어, 쉐도우 이미지 레지스트레이션 유닛 (520) 은 관련 기술 분야에 알려진 하나 이상의 쉐도우 렌더링 기술을 각각 수행하기 위한 유닛들을 포함할 수도 있다. 일례에서, 쉐도우 이미지 레지스트레이션 유닛 (520) 은 쉐도우 이미지를 렌더링하기 위해 쉐도우 맵 알고리즘을 수행하도록 구성된 쉐도우 맵 유닛, 쉐도우 이미지를 렌더링하기 위해 쉐도우 볼륨 알고리즘을 수행하도록 구성된 쉐도우 볼륨 유닛 및 쉐도우 이미지를 렌더링하기 위해 소프트 쉐도우 알고리즘을 수행하도록 구성된 소프트 쉐도우 유닛 중 적어도 하나를 포함할 수도 있다. 위의 유닛들에 의해 수행된 쉐도우 렌더링 동작들은 관련 기술 분야에 잘 알려져 있고 여기서는 자세하게 설명하지 않는다.
위의 구성에 따르면, 쉐도우 이미지 레지스트레이션 유닛 (520) 은 광원 정보에 기초하여 선택된 가상 오브젝트(들)의 가상 쉐도우 이미지(들)를 생성할 수도 있어, 생성된 쉐도우 이미지(들)의 크기, 형상, 방향 및 강도가 현실 세계 광원에 의해 캐스트되는 현실 세계 이미지에서의 쉐도우(들)의 것들과 방향, 형상, 및/또는 크기에 부합하게 된다. 이는 가상 쉐도우 이미지(들)이 현실 세계 레퍼런스 프레임에 대한 또는 하늘에서의 현실 세계 태양의 포지션에 대응하는 포지션에 설정되었던 가상 광원을 이용하여 생성되었기 때문이다.
VO 쉐이딩 유닛 (530) 은 광원 정보 및 포즈 정보에 기초하여 가상 오브젝트(들)의 레지스트레이션된 이미지에 대한 쉐이딩 동작들을 수행하도록 구성될 수도 있어, 가상 오브젝트(들)의 표면의 쉐이딩 (예를 들어, 컬러 및 밝기에서의 변동) 이 현실 세계 광원으로 인한 현실 세계 이미지의 것들에 부합하게 된다. 쉐이딩 동작들을 수행하는데 여러 알려진 쉐이딩 알고리즘들 중 하나를 채용할 수도 있다. 이러한 쉐이딩 알고리즘들의 예들은 이들에 한정되는 것은 아니지만, Lambert, Gouraud, Phong, Blinn, Oren-Nayar, Cook-Torrance, 및 Ward 이방성 알고리즘 (anisotropic algorithm) 들을 포함한다. 예를 들어, VO 쉐이딩 유닛 (530) 은 가상 오브젝트의 버텍스들 (vertice) 에서의 컬러 강도들을 생성하기 위해 Phong 반사 모델에 기초하여 명암 (lighting) 또는 휘도 (brightness) 계산들을 수행하도록 구성될 수도 있다.
본 개시물에 따른 AR 생성기는 상술한 동작들 이외의 동작들을 수행할 수도 있음을 이해하여야 한다. 일 실시형태에서, AR 생성기는 현실 세계 이미지에 관한 날씨 정보 및/또는 지리적 정보를 고려하도록 구성될 수도 있다. AR 생성기 (예를 들어, AR 생성기의 쉐도우 이미지 레지스트레이션 유닛) 는 이미지 캡쳐 유닛 (예를 들어, 110) 및/또는 외부 디바이스 (예를 들어, 서버) 로부터 날씨 정보 및/또는 지리적 정보를 수신하고 날씨 및/또는 지리적 정보에 기초하여 쉐도우 이미지(들)을 생성하고/생성하거나 선택된 가상 오브젝트들의 이미지들을 렌더링할 수도 있다. 예를 들어, 쉐도우 이미지 레지스트레이션 유닛은 선명한 날씨에서 캡쳐된 현실 세계 이미지에 대해 더 진하고 더 선명하게 정의된 쉐도우 이미지(들) 및 흐린 날씨 하에서 캡쳐된 더 약하고 흐릿한 쉐도우 이미지(들)를 생성할 수도 있다. 또한, 예를 들어, 쉐도우 이미지 레지스트레이션 유닛은 시골 지역들에서 캡쳐된 현실 세계 이미지들에 대해 더 진하고 더 선명하게 정의된 쉐도우 이미지(들) 및 도시 지역들에서 캡쳐된 현실 세계 이미지들에 대한 더 약하고 흐릿한 쉐도우 이미지(들)를 생성할 수도 있다. 도시 지역들의 고층 빌딩과 흐린 날씨에서의 구름들은 태양으로부터의 광선을 산란시킬 수도 있어, 선명하게 정의된 진한 쉐도우의 캐스트를 방해할 수도 있다. 쉐도우 이미지 레지스트레이션 유닛은 또한, 가상 오브젝트(들)의 레지스트레이션된 이미지 상에 쉐이딩 동작들을 수행하는데 있어 날씨 정보 및/또는 지리적 정보를 또한 고려할 수도 있다.
추가로, 이미지 캡쳐 유닛의 포즈 (및 이에 따른 시점) 가 유저에 의해 또는 일부 다른 수단에 의해 변경되는 상황들이 있을 수도 있다. 일 실시형태에서, AR 생성기는 이미지 캡쳐 유닛 (예를 들어, 110) 의 포즈에서의 이러한 변화들을 추적할 수도 있고 레지스트레이션된 가상 오브젝트를 재레지스트레이션 (예를 들어, 카메라 레퍼런스 프레임 (예를 들어, xc, yc, 및 zc) 와 현실 세계 레퍼런스 프레임 (예를 들어, xw, yw, 및 zw) 사이의 관계를 업데이트) 할 수도 있다. AR 생성기의 쉐도우 이미지 레지스트레이션 유닛 (예를 들어, 520) 은 재레지스트레이션에 기초하여 새로운 가상 쉐도우 이미지를 생성할 수도 있다. 일 실시형태에서, AR 생성기의 VO 레지스트레이션 유닛 (예를 들어, 510) 은 관련 기술에 잘 알려진 마커-기반추적 기술(들), 마커리스 추적 기술(들), 및/또는 하이브리드 추적 기술(들)을 채용함으로써 추적을 수행할 수도 있다. 다른 실시형태에서, VO 레지스트레이션 유닛은 이미지 캡쳐 유닛에 설치된 포즈 검출 유닛 (예를 들어, 320) 으로부터 포즈 정보 업데이트들을 주기적으로 또는 간헐적으로 수신함으로써 추적을 수행할 수도 있다.
위에 설명된 바와 같이, AR 생성기는 하나 이상의 가상 오브젝트들의 데이터를 저장하도록 구성된 저장 유닛 (도시 생략) 을 포함할 수도 있다. 일 실시형태에서, 저장 유닛은 가상 오브젝트에 대하여, 가상 오브젝트의 형상 및/또는 텍스쳐에 대한 데이터를 저장할 수도 있다. 일 실시형태에서, 저장 유닛은 여러 유형의 이미지들을 처리 (예를 들어, 레지스트레이션, 쉐이딩, 또는 렌더링) 할 수 있는 여러 유형의 데이터 및 프로그램들을 저장할 수도 있다. 저장 유닛은 반도체 매체, 자기 매체, 광학 매체, 테이프, 하드 디스크 등과 같은 임의의 유형의 컴퓨터 판독가능한 매체를 포함할 수도 있다. 추가로, 저장 유닛은 필요하다면, 및/또는 필요한 경우에 (예를 들어, 풀로 되는 경우) 교체를 허용하는 탈착가능 메모리일 수도 있다.
도 1 내지 도 6 을 참조로 설명된 AR 시스템 (100) 은 다양한 방법들로 구현될 수도 있다. 일 실시형태에서, 이미지 캡쳐 유닛 (110) 은 무선 통신 단말기로서 구현될 수도 있고, AR 생성기 (120) 는 무선 통신 단말기와 무선 통신하는 원격 디바이스 (예를 들어, 이미지 캡쳐 유닛 (110) 에 대해 원격으로 위치된 서버) 로서 구현될 수도 있다. 다른 실시형태에서, 도 1 에 표시된 유닛들 전부 또는 일부가 무선 통신 기능을 갖는 단일의 컴퓨팅 디바이스로서 구현될 수도 있다 (예를 들어, 이미지 캡쳐 유닛 (110), AR 생성기 (120), 및 선택적으로 디스플레이 유닛 (130) 이 단일의 하우징 내에 배치될 수도 있다). 이러한 컴퓨팅 디바이스의 예들은 이들에 한정되는 것은 아니지만, 모바일 폰, 모바일 워크스테이션, 및 착용가능 퍼스널 컴퓨터 (PC), 테블릿 PC, 울트라 모바일 PC (ultra mobile PC; UMPC), 개인 휴대정보 단말기 (PDA), 무선 통신 기능을 가진 헤드업 디스플레이 또는 헤드 장착형 디스플레이, 및 스마트 폰을 포함한다.
도 7a 내지 도 7c 는 AR 시스템의 다른 예시적 실시형태의 개략도를 나타낸다. 도 7a 는 AR 모바일 폰의 블록도이다. 도 7b 및 도 7c 는 AR 모바일 폰의 전면도 및 후면도이다. 도 7a 내지 도 7c 를 참조하여 보면, AR 모바일 폰 (700) 은 하나 이상의 무선 액세스 네트워크 엔티티 (도시 생략) 와 무선 통신하고 AR 모바일 폰 (700) 의 시간, 날짜 및/또는 위치에 대한 정보를 엔티티로부터 수신하도록 구성된 무선 통신 유닛 (710); 현실 세계 장면의 이미지 (즉, 현실 세계 이미지) 를 캡쳐하도록 구성된 카메라 유닛 (720); 카메라 유닛 (720) 의 방위 및 기울기를 검출하도록 구성된 포즈 검출 유닛 (730); 하나 이상의 가상 오브젝트들의 데이터를 저장하도록 구성된 저장 유닛 (740); 캡쳐된 현실 세계 이미지를 가상 오브젝트(들)의 이미지들 및 가상 오브젝트(들) 쉐도우 이미지(들)와 오버레이함으로써 AR 이미지를 생성하도록 구성된 AR 생성기 (750); 및 생성된 AR 이미지를 디스플레이하도록 구성된 디스플레이 유닛 (760) 을 포함할 수도 있다.
카메라 유닛 (720), 포즈 검출 유닛 (730), 저장 유닛 (740), AR 생성기 (750) 및 디스플레이 유닛 (760) 의 구조적 구성들 및 기능들은 도 1 내지 도 6 에 기술된 이미지 캡쳐 유닛 (110) 의 카메라 유닛 (310), 이미지 캡쳐 유닛 (110) 의 포즈 검출 유닛 (320), 저장 유닛, AR 생성기 (120), 및 디스플레이 유닛 (130) 과 각각 유사하다. 간략화를 위하여, 유닛들 (720-760) 에 대한 세부 내용은 추가로 설명되지 않는다.
무선 통신 유닛 (710) 은 이미지 캡쳐 유닛 (110) 의 위치 정보 제공 유닛 (330) 및 시간/날짜 정보 제공 유닛 (340) 에 의해 수행된 동작들 중 적어도 일부를 수행할 수도 있다. 일 실시형태에서, 무선 통신 유닛 (710) 은 관련 기술에 알려진 임의의 적절한 무선 통신 프로토콜들 중 하나에 따라 통신하도록 각각 구성된 하나 이상의 무선 통신 모듈들 (도시 생략) 또는 안테나(들)를 포함할 수도 있다. 이러한 무선 통신 프로토콜들의 예들은 이들에 한정되는 것은 아니지만, 무선 광역 네트워크 (wireless wide area network; WWAN) 프로토콜들 (예를 들어, W-CDMA, CDMA2000), 무선 근거리 네트워크 (wireless local area network; WLAN) 프로토콜들 (예를 들어, IEEE 802.11a/b/g/n), 무선 퍼스널 영역 네트워크 (wireless personal area network; WPAN) 프로토콜들, 및 글로벌 포지셔닝 시스템 (global positioning system; GPS) 프로토콜들을 포함한다.
일 실시형태에서, 무선 통신 유닛 (710) 은 하나 이상의 무선 통신 네트워크 엔티티들 (예를 들어, 기지국(들), 서버(들), 또는 위성(들)) 로부터 AR 모바일 폰 (700) 의 위치에 대한 정보 (즉, 위치 정보) 를 수신할 수도 있다. 일 실시형태에서, 위치 정보는 AR 모바일 폰 (700) 이 위치될 수도 있는 정확한 좌표 (즉, 위도 및 경도) 또는 좌표들의 범위를 나타낼 수도 있다. 다른 실시형태에서, 위치 정보는 AR 모바일 폰 (700) 이 위치될 수도 있는 정확한 좌표 또는 좌표들의 범위를 결정하기 위하여 AR 모바일 폰 (700) 또는 다른 디바이스들 (예를 들어, 기지국 또는 다른 무선 네트워크 엔티티) 에 의해 이용될 수도 있는 정보를 포함할 수도 있다. 비제한적인 예를 들어, 이러한 위치 정보는 GPS 네트워크의 다수의 GPS 위성들로부터의 GPS 신호들, AR 모바일 폰 (700) 이 위치된 특정 셀을 식별하는 W-CDMA 네트워크의 기지국으로부터의 셀 정보 및/또는 외부 서버로부터 AR 모바일 폰 (700) 의 정확한 좌표들을 특정하는 정보를 포함할 수도 있다.
일 실시형태에서, 무선 통신 유닛 (710) 은 현재 시간 및 날짜에 대한 정보를 하나 이상의 무선 통신 네트워크 엔티티들 (예를 들어, 기지국(들), 서버(들), 또는 위성(들)) 로부터 수신할 수도 있다. 다른 실시형태에서, 시간 및 날짜 정보를 수신하는 무선 통신 유닛 (710) 을 대신하여, AR 모바일 폰 (700) 이 현재 시간 및 날짜의 추적을 유지하는 별도의 클록 유닛 (도시 생략) 을 내부적으로 포함할 수도 있다. 또한, 다른 실시형태들에서, 무선 통신 유닛 (710) 은 하나 이상의 외부 서버들 (예를 들어, 날씨 정보 서버 및/또는 지리적 정보 시스템 (geographical information system; GIS) 서버) 로부터 날씨 정보 및/또는 지리적 정보를 수신할 수도 있다. 날씨 정보는 AR 모바일 폰 (700) 의 위치에서의 날씨를 나타낼 수도 있다. 지리적 정보는 AR 모바일 폰 (700) 이 도시 지역 또는 시골 지역에 위치되었는지 여부를 나타낼 수도 있다.
도 8 은 AR 이미지를 생성하기 위한 예시적인 실시형태의 예시적 흐름도를 나타낸다. 도 8 을 참조하여 보면, AR 시스템의 무선 통신 유닛은 하나 이상의 무선 네트워크 엔티티들로부터 위치 정보를 수신한다 (블록 805). 일 실시형태에서, 무선 통신 유닛은 하나 이상의 GPS 위성들로부터 GPS 신호들을 위치 정보로서 수신할 수도 있다. 다른 실시형태에서, 무선 통신 유닛은 이미지 캡쳐 유닛과 무선 통신하는 기지국으로부터 셀 정보를 위치 정보로서 수신할 수도 있다. 또 다른 실시형태에서, 무선 통신 유닛은 이미지 캡쳐 유닛의 식별 정보를 외부 디바이스에 송신할 수도 있고 외부 디바이스로부터 응답하여 이미지 캡쳐 유닛의 위치를 위치 정보로서 수신할 수도 있다.
또한, 무선 통신 유닛은 외부 디바이스로부터 시간 및 날짜 정보를 수신할 수도 있다 (블록 810). 블록 815 에서, AR 시스템에 포함된 디바이스 (예를 들어, 이미지 캡쳐 유닛) 는 현실 세계 (RW) 이미지를 캡쳐한다. 블록 820 에서, AR 시스템의 광원 정보 생성 유닛은 현실 세계 이미지가 캡쳐된 위치, 시간 및 날짜에 기초하여, (현실 세계 이미지에 대한 현실 세계 광원의 포지션에 대한 정보를 포함한) 캡쳐된 현실 세계 이미지에 대한 광원 정보를 생성한다. 일 실시형태에서, 광원 정보 생성 유닛은 GPS 신호들에 기초하여 현실 세계 이미지가 캡쳐된 위치를 결정할 수도 있다. 다른 실시형태에서, 광원 정보 생성 유닛은 셀 정보에 기초하여 현실 세계 이미지가 캡쳐된 위치를 결정할 수도 있다. 또 다른 실시형태에서, 광원 정보 생성 유닛은 외부 디바이스로부터 응답하여 수신된 이미지 캡쳐 유닛의 위치를 현실 세계 이미지가 캡쳐된 위치로서 결정할 수도 있다.
무선 통신 유닛은 외부 디바이스로부터 날씨 정보 및/또는 지리적 정보를 수신할 수도 있다 (블록 825). 또한, AR 시스템의 포즈 검출 유닛은 이미지 캡쳐 유닛의 방위 및 기울기를 나타내는 포즈 정보를 검출 및 생성한다 (블록 830). 블록 835 에서, AR 시스템의 VO 레지스트레이션 유닛은 가상 오브젝트 (virtual object; VO) 를 선택하여 현실 세계 이미지와 레지스트레이션하고, 블록 840 에서, AR 시스템의 쉐도우 이미지 레지스트레이션 유닛은 광원 정보, 포즈 정보, 날씨 정보 및/또는 지리적 정보 중 적어도 하나에 기초하여 선택된 VO에 대한 쉐도우 이미지(들)을 생성한다. 블록 845 에서, AR 시스템의 AR 이미지 생성 유닛은 캡쳐된 현실 세계 이미지를 가상 오브젝트(들)의 이미지(들) 및 그 쉐도우 이미지(들)과 중첩시킴으로써 AR 이미지를 생성한다.
도 1 내지 도 8 과 함께 설명된 AR 시스템 (100) 및 그 유닛들의 구조적 및 기능적 구성들은 AR 시스템 (100) 이 구현될 수도 있는 수개의 방법들로 나타내어짐을 이해해야 한다. 일부 다른 실시형태들에서, AR 시스템 (100) 의 유닛들 또는 기능들의 일부는 원격 위치에서의 하나 이상의 다른 디바이스들에서 구현될 수도 있다. 예를 들어, 네트워킹된 환경에서, AR 시스템 (100) 의 컴포넌트들의 일부 또는 전부는 원하는 구현들에 의존하여 둘 이상의 디바이스들을 통하여 분산형 시스템으로서 구현될 수도 있다. AR 시스템 (100) 은 원격 컴퓨터와 같은 하나 이상의 원격 디바이스들에 대한 논리적 연결들을 이용하여 네트워킹된 환경에서 동작할 수도 있다. 원격 컴퓨터는 퍼스널 컴퓨터, 서버, 핸드헬드 또는 랩톱 디바이스들, 라우터, 네트워크 PC, 피어 디바이스, 또는 다른 일반 네트워크 노드들일 수도 있고, 일반적으로 AR 시스템 (100) 에 대한 본 개시물에 설명된 컴포넌트들 일부 또는 전부를 포함할 수도 있다.
일 분산형 네트워크 실시형태에서, AR 시스템 (100) 의 광원 정보 생성 유닛 (410) 의 일부 또는 전부의 기능들은 AR 시스템 (100) 과 통신하는 별개의 AR 디바이스 (예를 들어, AR 서버) 로서 구현될 수도 있다. 상기 실시형태의 일례에서, AR 시스템 (100) 은 디지털 카메라를 가진 모바일 폰일 수도 있고 자신의 식별 정보 (예를 들어, 자신의 폰 번호 등) 를 AR 서버에 송신할 수 있어, AR 서버가 식별 정보에 기초하여 AR 시스템 (100) 의 위치를 찾을 수도 있다. 비제한적인 예를 들어, AR 서버는 AR 시스템 (100) 의 위치를 찾기 위해 하나 이상의 알려진 모바일 폰 추적 알고리즘들 (예를 들어, 삼각측량 알고리즘) 을 채용하는 모바일 폰 추적 유닛을 포함할 수도 있다. 대안으로서, AR 서버는 모바일 폰 추적 기능을 제공하는 다른 무선 네트워크 엔티티에 식별 정보를 전달할 수도 있다. 그 후, AR 서버는 무선 네트워크 엔티티로부터 모바일 폰의 위치를 수신할 수 있다. 특정 구현에 의존하여, AR 서버는 모바일 폰의 위치에 기초하여 모바일 폰에 대한 현실 세계 광원 (예를 들어, 태양) 의 포지션을 추정할 수도 있고 광원 정보를 생성할 수도 있다. 상기 구현에서, AR 서버는 현실 세계 광원의 포지션을 추정하기 위하여 모바일 폰으로부터 시간 및 날짜 정보를 수신할 수도 있거나, 또는 대안으로서, 현재의 시간 및 날짜의 추적을 유지하는 클록 유닛을 포함할 수도 있다. 상기 실시형태의 다른 예에서, AR 시스템 (100) 은 디지털 카메라 및 GPS 기능들을 가진 모바일 폰일 수도 있고, 자신을 고유하게 식별하는 정보 (예를 들어, 자신의 폰 번호 등) 및 자신의 위치를 AR 서버에 송신할 수 있어, AR 서버는 수신된 위치 정보에 기초하여 모바일 폰에 대한 현실 세계 광원의 포지션을 추정할 수도 있다. 다른 분산형 네트워크 실시형태에서, AR 시스템 (100) 의 이미지 처리 기능들 (예를 들어, VO 레지스트레이션 유닛 (510), 쉐도우 이미지 레지스트레이션 유닛 (520) 및/또는 VO 쉐이딩 유닛 (530) 의 기능들) 의 일부 또는 전부가 AR 시스템 (100) 과 통신하는 별개의 AR 디바이스 (예를 들어, AR 서버) 에서 구현될 수도 있다. 상기 실시형태의 일례에서, AR 시스템 (100) 은 디지털 카메라를 가진 모바일 폰일 수도 있으며, 디지털 카메라에 의해 캡쳐된 현실 이미지를 AR 서버에 송신할 수도 있어, AR 서버는 다수의 미리 저장된 가상 오브젝트들로부터 가상 오브젝트(들)를 선택하고, 선택된 가상 오브젝트(들)에 대한 쉐도우 이미지(들)를 생성하고/생성하거나 선택된 가상 오브젝트(들) 및 이들의 쉐도우 이미지(들)를 포함하는 증강 현실 이미지를 생성할 수도 있다. 또 다른 분산형 네트워크 실시형태에서, AR 시스템 (100) 의, VO 레지스트레이션 유닛 (510), 광원 정보 생성 유닛 (410), 쉐도우 이미지 레지스트레이션 유닛 (520) 및/또는 VO 쉐이딩 유닛 (530) 의 일부 또는 전부의 기능들은 별개의 AR 디바이스에서 구현될 수도 있다. 관련 기술의 당업자는 특정 애플리케이션에 적합한 특정 구현을 구현함에 있어 이 개시물에 개시된 요지들을 적용하는데 어려움이 없을 것이다. 본 개시물에 따라 제작된 AR 시스템은 몇몇 예를 들면 광고, 네비게이션, 밀리터리 서비스 및 오락과 같은 다양한 애플리케이션들에 이용될 수도 있다.
당업자는 여기서 개시된 이것 및 다른 프로세스들에 있어서, 그 프로세스들 및 방법들에서 수행되는 기능들이 순서를 달리하여 구현될 수도 있다는 것을 이해할 것이다. 또한, 간략히 설명된 단계들 및 동작들은 단지 예들로서 제공되고, 일부 단계들 및 동작들은 선택적이며, 개시된 실시형태들의 본질로부터 벗어남 없이 더 적은 단계들 및 동작들로 조합될 수도 있거나 추가적인 단계들 및 동작들로 확대될 수도 있다.
본 개시물의 예시적인 실시형태에 따른 장치 및 방법들은 하드웨어, 소프트웨어, 펌웨어, 특수 목적 프로세서들, 또는 이들의 조합을 포함하는 여러 형태로 구현될 수도 있음을 이해할 것이다. 예를 들어, 본 개시물의 하나 이상의 예시적 실시형태들은 프로그램 저장 디바이스 (예를 들어, 하드디스크, 자기 플로피 디스크, RAM, ROM, CD-ROM, 등) 와 같은 적어도 하나의 컴퓨터-판독가능 매체 상에서 실체적으로 구현되고 적절한 구성을 갖는, 컴퓨터 및 컴퓨터 시스템들을 포함한 임의의 디바이스 또는 머신에 의해 실행가능한 프로그램 또는 다른 적절한 컴퓨터-실행가능 명령들을 가진 애플리케이션으로서 구현될 수도 있다. 일반적으로, 프로그램 모듈들의 형태로 될 수도 있는 컴퓨터 실행가능 명령들은 특정 작업들을 수행하거나 특정 추상 데이터 유형들을 구현하는 루틴, 프로그램, 오브젝트, 컴포넌트, 데이터 구조들 등을 포함한다. 프로그램 모듈들의 기능은 다양한 실시형태들에서 원하는 바에 따라 분배 또는 결합될 수도 있다. 첨부된 도면들에 나타낸 구성 시스템 컴포넌트들 및 프로세스 동작들의 일부가 소프트웨어에서 구현될 수도 있기 때문에, 시스템 유닛들/모듈들 사이의 연결들 (또는 방법 동작들의 로직 플로우) 은 본 개시물의 다양한 실시형태들이 프로그래밍되는 방식에 의존하여 달라질 수도 있음을 또한 이해할 것이다.
본 개시물은 여러 양태들의 예시들로서 의도되는 이 출원에서 설명된 특정한 실시형태들의 관점에 한정되는 것이 아니다. 당업자들에 자명하듯이 다수의 변경들 및 변형들이 그 사상 및 범위를 일탈함 없이 이루어질 수 있다. 본 개시물의 범위 내에서 기능적으로 동등한 방법들 및 장치들은, 여기서 열거된 것들 외에도, 상술한 설명들로부터 당업자들에게 자명할 것이다. 그러한 변경들 및 변형들은 첨부된 청구항들의 범위 내에 해당되는 것으로 의도된다. 본 개시물은 그러한 청구항들이 부여하는 균등물들의 완전한 범위와 함께 첨부된 청구항의 관점에 의해서만 제한될 것이다. 이 개시물은 물론 변할 수도 있는 특정한 방법들, 시약들, 화합물 구성들 또는 생물학적 시스템들에 한정되는 것은 아니라는 것이 이해되어야 한다. 여기서 사용되는 기술들은 단지 특정한 실시형태들을 설명하는 목적이고, 제한하는 것으로 의도되지 않는다는 것이 또한 이해되어야 한다.
본 명세서에서의 실질적으로 임의의 복수 및/또는 단수 용어들을 이용하는 것과 관련하여, 당업자는 문맥 및/또는 출원에 적합하도록 복수에서 단수로 및/또는 단수에서 복수로 전환할 수 있다. 다양한 단수/복수 전환은 명백함을 위해 본 명세서에 명확하게 설명될 수도 있다.
일반적으로, 본 명세서에서 그리고 특히 첨부된 청구항들 (예를 들어, 첨부된 청구항들의 본문) 에서 사용되는 용어는 일반적으로 "개방적인 (open) " 용어들 (예를 들어, "포함하는 (including) " 이라는 용어는 "포함하지만 한정되지 않는" 으로 해석되어야 하고, "가지는 (having) " 이라는 용어는 "적어도 가지는" 으로 해석되어야 하고, "포함한다" 라는 용어는 "포함하지만 한정되지 않는다" 로 해석되어야 한다) 로서 의도된다는 것이 당업자에 의해 이해될 것이다. 또한, 도입된 청구항 기재의 구체적 수가 의도되는 경우, 이러한 의도는 청구항에 명시적으로 기재될 것이며, 이러한 기재의 부재 시에는 그러한 의도가 없다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 이해를 돕기 위하여, 다음의 첨부된 청구항들은 청구항 기재를 도입하기 위해 "적어도 하나" 및 "하나 이상" 의 서두 어구의 사용을 포함할 수도 있다. 그러나, 이러한 어구의 사용은, 동일 청구항이 서두 어구 "하나 이상" 또는 "적어도 하나" 및 "a" 또는 "an" 과 같은 부정관사를 포함할 때에도, 부정관사 "a" 또는 "an" 에 의한 청구항 기재의 도입이 이렇게 도입된 청구항 기재를 포함하는 임의의 특정 청구항을 하나의 이러한 기재만을 포함하는 실시형태들로 한정한다는 것을 내포하는 것으로 해석되어서는 안되며 (예를 들어, "a" 및/또는 "an" 은 "적어도 하나" 또는 "하나 이상" 을 의미하도록 해석되어야 한다), 청구항 기재를 도입하는 데 사용되는 정관사의 사용에 대해서도 동일하게 유효하다. 또한, 도입되는 청구항 기재의 구체적 수가 명시적으로 기재되는 경우에도, 당업자는 이러한 기재가 적어도 기재된 수 (예를 들어, 다른 수식어 없이, "2 개의 기재" 에 대한 그대로의 기재는, 적어도 2 개의 기재들 또는 2 개 이상의 기재들을 의미한다) 를 의미하는 것으로 해석되어야 한다는 것을 인식할 것이다. 또한, "A, B 및 C 중 적어도 하나 등" 과 유사한 관례가 사용되는 경우에서, 일반적으로 이러한 구성은 당업자가 그 관례를 이해할 것이라는 의미로 의도된다 (예를 들어, "A, B 및 C 중 적어도 하나를 갖는 시스템" 은 A 만을, B 만을, C 만을, A 와 B 를 함께, A 와 C 를 함께, B 와 C 를 함께, 및/또는 A, B 및 C 를 함께 등을 갖는 시스템을 포함하지만 이에 한정되지 않을 것이다). "A, B 또는 C 중 적어도 하나 등" 과 유사한 관례가 사용되는 경우에서, 일반적으로 이러한 구성은 당업자가 그 관례를 이해할 것이라는 의미로 의도된다 (예를 들어, "A, B 또는 C 중 적어도 하나를 갖는 시스템" 은 A 만을, B 만을, C 만을, A 및 B 를 함께, A 및 C 를 함께, B 및 C 를 함께, 및/또는 A, B 및 C 를 함께 갖는 시스템 등을 포함하지만 이에 한정되지 않을 것이다). 또한, 상세한 설명, 청구항들 또는 도면들에서, 2 개 이상의 택일적 용어를 제시하는 사실상 임의의 이접 단어 및/또는 어구는 용어들 중 하나, 용어들 중 어느 하나 또는 양자의 용어 모두를 포함할 가능성들을 고려하도록 이해되어야 한다는 것이 당업자에 의해 이해될 것이다. 예를 들어, 어구 "A 또는 B" 는 "A" 또는 "B" 또는 "A 및 B" 의 가능성을 포함하도록 이해될 것이다.
추가로, 본 개시물의 특징들 또는 양태들이 마쿠쉬 (Markush) 그룹들과 관련하여 설명는 경우, 당업자는 본 개시물이 또한 마쿠쉬 그룹의 임의의 개별 멤버 또는 멤버들의 서브 그룹과 관련하여 설명되는 것을 인식할 것이다.
당업자에 의해 인식되는 것과 같이, 기록된 설명을 제공하는 관점에서와 같은 임의의 및 모든 목적들을 위해, 본 명세서에 개시된 모든 범위들은 임의의 및 모든 가능한 하위범위들 및 그 하위범위들의 조합들을 포함한다. 임의의 리스트에 실린 범위는 동일한 범위가 적어도 1/2, 1/3, 1/4, 1/5, 1/10 등과 동일하게 분할되는 것을 충분히 설명하고 가능하게 하는 것으로 인식될 수 있다. 제한되지 않는 예로서, 본 명세서에서 논의되는 각각의 범위는 1/3 미만, 1/3 중간, 1/3 이상 등으로 용이하게 분할될 수 있다. 당업자에 의해 인식되는 것과 같이, "까지 (up to)", "적어도 (at least)" 등과 같은 모든 언어는 언급된 수를 포함하며, 차후에 앞서 논의된 것과 같은 하위범위들로 분할될 수 있는 범위들을 나타낸다. 결국, 당업자에 의해 이해되는 것과 같이, 하나의 범위는 각각의 개별 멤버를 포함한다. 따라서, 예컨대 1 내지 3 개 셀들을 갖는 그룹은 1, 2, 또는 3 개셀들을 갖는 그룹들을 나타낸다. 유사하게, 1 내지 5 개 셀들을 갖는 그룹은 1, 2, 3, 4 또는 5 개 셀들 등을 갖는 그룹들을 나타낸다.
앞서 내용으로부터, 본 개시물의 여러 실시형태들이 설명을 위해 본 명세서에서 설명되었으며, 본 개시물의 사상 및 범위로부터 벗어나지 않고 여러 변형들이 이루어질 수도 있음이 인식될 것이다. 따라서, 본 명세서에 개시된 여러 실시형태들은 제한하는 것으로 의도되지 않으며, 진정한 범위 및 사상이 하기의 특허청구범위에 의해 나타난다.

Claims (20)

  1. 증강 현실 (augmented reality; AR) 시스템으로서,
    현실 세계 이미지를 캡쳐하도록 구성된 이미지 캡쳐 유닛; 및
    AR 생성기
    를 포함하며,
    상기 AR 생성기는,
    상기 이미지 캡쳐 유닛과 통신하고, 상기 현실 세계 이미지가 캡쳐된 위치, 시간 및 날짜 중 적어도 하나에 기초하여 상기 이미지 캡쳐 유닛에 의해 캡쳐된 상기 현실 세계 이미지에 대한 광원 정보를 생성하도록 구성된 광원 정보 생성 유닛으로서, 상기 광원 정보는 상기 이미지 캡쳐 유닛에 대한 현실 세계 광원의 포지션에 대한 정보를 포함하는, 상기 광원 정보 생성 유닛, 및
    상기 생성된 광원 정보에 기초하여 가상 오브젝트의 쉐도우 이미지를 생성하고 상기 현실 세계 이미지 상에 가상 오브젝트와 쉐도우 이미지를 오버레이하도록 구성된 AR 이미지 생성 유닛을 포함하는 것인, 증강 현실 시스템.
  2. 제 1 항에 있어서,
    상기 이미지 캡쳐 유닛은, 상기 이미지 캡쳐 유닛의 방위 (bearing) 및 기울기 (tilt) 를 측정하도록 구성된 포즈 검출 유닛을 더 포함하는, 증강 현실 시스템.
  3. 제 2 항에 있어서,
    상기 AR 이미지 생성 유닛은, 상기 이미지 캡쳐 유닛의 측정된 방위 및 기울기에 기초하여 상기 이미지 캡쳐 유닛의 레퍼런스 프레임을 결정하고 상기 레퍼런스 프레임에 대한 가상 오브젝트의 포지션을 결정하도록 구성된 가상 오브젝트 레지스트레이션 유닛을 포함하는, 증강 현실 시스템.
  4. 제 3 항에 있어서,
    상기 가상 오브젝트 레지스트레이션 유닛은, 또한, 상기 레퍼런스 프레임에 대한 가상 오브젝트의 포지션을 결정하기 위해 마커 기반 선택/레지스트레이션 기술, 마커리스 (markerless) 선택/레지스트레이션 기술 또는 하이브리드 선택/레지스트레이션 기술을 수행하도록 구성된, 증강 현실 시스템.
  5. 제 3 항에 있어서,
    상기 AR 이미지 생성 유닛은, 광원 정보에 기초하여 상기 레퍼런스 프레임에 대한 상기 현실 세계 광원의 포지션을 결정하고 상기 현실 세계 광원의 결정된 포지션에 기초하여 가상 오브젝트의 쉐도우 이미지를 생성하도록 구성된 쉐도우 이미지 레지스트레이션 유닛을 더 포함하는, 증강 현실 시스템.
  6. 제 5 항에 있어서,
    상기 쉐도우 이미지 레지스트레이션 유닛은, 또한, 상기 현실 세계 광원의 포지션에서 상기 현실 세계 광원을 시뮬레이션하는 가상 광원을 설정하고 상기 설정된 가상 광원에 대한 쉐도우 이미지를 렌더링하도록 구성된, 증강 현실 시스템.
  7. 제 6 항에 있어서,
    상기 쉐도우 이미지 레지스트레이션 유닛은, 적어도,
    상기 쉐도우 이미지를 렌더링하기 위해 쉐도우 맵 알고리즘을 수행하도록 구성된 쉐도우 맵 유닛,
    상기 쉐도우 이미지를 렌더링하기 위해 쉐도우 볼륨 알고리즘을 수행하도록 구성된 쉐도우 볼륨 유닛, 또는
    상기 쉐도우 이미지를 렌더링하기 위해 소프트 쉐도우 알고리즘을 수행하도록 구성된 소프트 쉐도우 유닛을 포함하는, 증강 현실 시스템.
  8. 제 6 항에 있어서,
    상기 포즈 검출 유닛은, 상기 이미지 캡쳐 유닛의 방위 및 기울기에 대한 업데이트를 제공하도록 구성되고,
    상기 쉐도우 이미지 레지스트레이션 유닛은, 상기 업데이트에 기초하여 새로운 쉐도우 이미지를 생성하도록 구성된, 증강 현실 시스템.
  9. 제 6 항에 있어서,
    상기 쉐도우 이미지 레지스트레이션 유닛은, 또한, 상기 AR 시스템과 통신하는 서버로부터 현실 세계 이미지에 대한 날씨 정보 및 지리적 정보 중 적어도 하나를 수신하고 적어도 상기 현실 세계 이미지에 대한 날씨 정보 또는 지리적 정보에 기초하여 상기 가상 광원을 설정하도록 구성된, 증강 현실 시스템.
  10. 제 9 항에 있어서,
    상기 쉐도우 이미지 레지스트레이션 유닛은, 또한, 상기 현실 세계 이미지에 대한 날씨 정보 및 지리적 정보 중 적어도 하나에 기초하여 상기 가상 광원의 강도를 결정하도록 구성된, 증강 현실 시스템.
  11. 제 1 항에 있어서,
    상기 이미지 캡쳐 유닛은, 기지국과 통신하고 상기 기지국으로부터 셀 정보를 수신하도록 구성된 무선 통신 유닛을 더 포함하고,
    상기 광원 정보 생성 유닛은, 또한, 상기 수신된 셀 정보에 기초하여 상기 이미지 캡쳐 유닛의 위치를 결정하도록 구성된, 증강 현실 시스템.
  12. 제 1 항에 있어서,
    상기 광원 정보 생성 유닛은, 또한, 상기 이미지 캡쳐 유닛의 식별 (identification; ID) 정보를 상기 AR 시스템과 통신하는 서버에 송신하고 상기 서버로부터 응답하여 상기 이미지 캡쳐 유닛의 위치를 수신하도록 구성된, 증강 현실 시스템.
  13. 증강 현실 (augmented reality) 을 제공하기 위한 방법으로서,
    현실 세계 이미지를 캡쳐하는 단계;
    상기 현실 세계 이미지가 캡쳐된 위치, 시간 및 날짜 중 적어도 하나를 결정하는 단계;
    상기 현실 세계 이미지가 캡쳐된 위치, 시간 및 날짜 중 적어도 하나에 기초하여 상기 캡쳐된 현실 세계 이미지에 대한 광원 정보를 생성하는 단계로서, 상기 광원 정보는 상기 현실 세계 이미지에 대한 현실 세계 광원의 포지션에 대한 정보를 포함하는, 상기 광원 정보를 생성하는 단계; 및
    상기 광원 정보에 기초하여 상기 현실 세계 이미지 상에 오버레이되는 가상 오브젝트의 쉐도우 이미지를 생성하는 단계를 포함하는, 증강 현실을 제공하기 위한 방법.
  14. 제 13 항에 있어서,
    상기 현실 세계 이미지가 캡쳐된 위치를 결정하는 단계는,
    상기 현실 세계 이미지를 캡쳐한 디바이스와 무선 통신하는 하나 이상의 GPS 위성들로부터 GPS 신호들을 수신함으로써 상기 디바이스의 위치를 결정하는 단계; 및
    상기 GPS 신호들에 기초하여 상기 현실 세계 이미지가 캡쳐된 위치를 결정하는 단계를 포함하는, 증강 현실을 제공하기 위한 방법.
  15. 제 13 항에 있어서,
    상기 현실 세계 이미지가 캡쳐된 위치를 결정하는 단계는,
    상기 현실 세계 이미지를 캡쳐한 디바이스와 무선 통신하는 기지국으로부터 셀 정보를 수신함으로써 상기 디바이스의 위치를 결정하는 단계; 및
    상기 수신된 셀 정보에 기초하여 상기 현실 세계 이미지가 캡쳐된 위치를 결정하는 단계를 포함하는, 증강 현실을 제공하기 위한 방법.
  16. 제 13 항에 있어서,
    상기 현실 세계 이미지가 캡쳐된 위치를 결정하는 단계는,
    상기 현실 세계 이미지를 캡쳐한 디바이스와 무선 통신하는 서버에 상기 디바이스를 식별하는 식별 (ID) 정보를 송신함으로써 상기 디바이스의 위치를 결정하는 단계;
    상기 서버로부터 상기 디바이스의 위치를 수신하는 단계; 및
    상기 디바이스의 위치에 기초하여 상기 현실 세계 이미지가 캡쳐된 위치를 결정하는 단계를 포함하는, 증강 현실을 제공하기 위한 방법.
  17. 제 13 항에 있어서,
    상기 광원 정보를 생성하는 단계는, 상기 현실 세계 이미지를 캡쳐한 디바이스의 방위 및 기울기를 측정하는 단계를 포함하는, 증강 현실을 제공하기 위한 방법.
  18. 제 17 항에 있어서,
    상기 쉐도우 이미지를 생성하는 단계는,
    상기 현실 세계 이미지를 캡쳐한 디바이스의 측정된 방위 및 기울기에 기초하여 상기 현실 세계 이미지를 캡쳐한 디바이스의 레퍼런스 프레임을 결정하는 단계;
    상기 레퍼런스 프레임에 대한 가상 오브젝트의 포지션을 결정하는 단계;
    상기 광원 정보에 기초하여 상기 레퍼런스 프레임에 대한 현실 세계 광원의 포지션을 결정하는 단계; 및
    상기 현실 세계 광원의 결정된 포지션에 기초하여 상기 가상 오브젝트의 쉐도우 이미지를 생성하는 단계를 포함하는, 증강 현실을 제공하기 위한 방법.
  19. 제 18 항에 있어서,
    상기 현실 세계 광원의 결정된 포지션에 기초하여 가상 오브젝트의 쉐도우 이미지를 생성하는 단계는,
    상기 현실 세계 광원의 포지션에서 상기 현실 세계 광원을 시뮬레이션하는 가상 광원을 설정하는 단계; 및
    상기 설정된 가상 광원에 대하여 상기 쉐도우 이미지를 렌더링하는 단계를 포함하는, 증강 현실을 제공하기 위한 방법.
  20. 제 13 항에 있어서,
    상기 광원 정보를 생성하는 단계는,
    상기 현실 세계 이미지를 캡쳐한 디바이스와 무선 통신하는 서버로부터 상기 현실 세계 이미지에 대한 날씨 정보 및 지리적 정보 중 적어도 하나를 수신하는 단계; 및
    적어도 상기 날씨 정보 또는 상기 지리적 정보에 기초하여 상기 쉐도우 이미지를 생성하는 단계를 포함하는, 증강 현실을 제공하기 위한 방법.
KR1020127013767A 2010-03-25 2010-12-21 증강 현실 시스템 KR20120093991A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US12/731,307 US20110234631A1 (en) 2010-03-25 2010-03-25 Augmented reality systems
US12/731,307 2010-03-25

Publications (1)

Publication Number Publication Date
KR20120093991A true KR20120093991A (ko) 2012-08-23

Family

ID=44655876

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020127013767A KR20120093991A (ko) 2010-03-25 2010-12-21 증강 현실 시스템

Country Status (5)

Country Link
US (1) US20110234631A1 (ko)
JP (1) JP2013517579A (ko)
KR (1) KR20120093991A (ko)
CN (1) CN102696057A (ko)
WO (1) WO2011118903A1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101399633B1 (ko) * 2013-03-29 2014-05-27 동국대학교 산학협력단 영상 합성 방법 및 장치
KR101616672B1 (ko) * 2015-02-10 2016-04-28 그림소프트 주식회사 멀티미디어 콘텐츠 정합 방법
KR102322847B1 (ko) * 2021-04-21 2021-11-05 (주)올포랜드 가상현실 내에서의 광고 제공방법, 가상현실 서버 및 이를 위한 컴퓨터 프로그램

Families Citing this family (138)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9715112B2 (en) 2014-01-21 2017-07-25 Osterhout Group, Inc. Suppression of stray light in head worn computing
US20150205111A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. Optical configurations for head worn computing
US9952664B2 (en) 2014-01-21 2018-04-24 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9229233B2 (en) 2014-02-11 2016-01-05 Osterhout Group, Inc. Micro Doppler presentations in head worn computing
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9400390B2 (en) 2014-01-24 2016-07-26 Osterhout Group, Inc. Peripheral lighting for head worn computing
DE102009049073A1 (de) * 2009-10-12 2011-04-21 Metaio Gmbh Verfahren zur Darstellung von virtueller Information in einer Ansicht einer realen Umgebung
US20120019557A1 (en) * 2010-07-22 2012-01-26 Sony Ericsson Mobile Communications Ab Displaying augmented reality information
WO2012048252A1 (en) 2010-10-07 2012-04-12 Aria Glassworks, Inc. System and method for transitioning between interface modes in virtual and augmented reality applications
US9280851B2 (en) 2010-11-08 2016-03-08 Sony Corporation Augmented reality system for supplementing and blending data
US9017163B2 (en) 2010-11-24 2015-04-28 Aria Glassworks, Inc. System and method for acquiring virtual and augmented reality scenes by a user
KR20120057799A (ko) * 2010-11-29 2012-06-07 삼성전자주식회사 휴대단말에서 사전 기능 제공 방법 및 장치
JP5195885B2 (ja) * 2010-12-07 2013-05-15 カシオ計算機株式会社 情報表示システム、情報表示装置、および、プログラム
JP5170223B2 (ja) 2010-12-07 2013-03-27 カシオ計算機株式会社 情報表示システム、情報表示装置、情報提供装置、および、プログラム
US8953022B2 (en) 2011-01-10 2015-02-10 Aria Glassworks, Inc. System and method for sharing virtual and augmented reality scenes between users and viewers
US10972680B2 (en) * 2011-03-10 2021-04-06 Microsoft Technology Licensing, Llc Theme-based augmentation of photorepresentative view
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US9600933B2 (en) * 2011-07-01 2017-03-21 Intel Corporation Mobile augmented reality system
JP5279875B2 (ja) * 2011-07-14 2013-09-04 株式会社エヌ・ティ・ティ・ドコモ オブジェクト表示装置、オブジェクト表示方法及びオブジェクト表示プログラム
US8872853B2 (en) 2011-12-01 2014-10-28 Microsoft Corporation Virtual light in augmented reality
US9311751B2 (en) 2011-12-12 2016-04-12 Microsoft Technology Licensing, Llc Display of shadows via see-through display
FR2984057B1 (fr) * 2011-12-13 2014-01-03 Solidanim Systeme de tournage de film video
KR101736477B1 (ko) * 2011-12-20 2017-05-16 인텔 코포레이션 저장된 콘텐츠 및 ar 통신의 로컬 센서 증강
JP6044079B2 (ja) * 2012-02-06 2016-12-14 ソニー株式会社 情報処理装置、情報処理方法及びプログラム
EP2828762A4 (en) * 2012-03-22 2015-11-18 Hewlett Packard Development Co CLOUD DATA PROCESSING
US9429912B2 (en) * 2012-08-17 2016-08-30 Microsoft Technology Licensing, Llc Mixed reality holographic object development
JP6202757B2 (ja) * 2012-09-26 2017-09-27 株式会社日立製作所 超音波診断装置及び超音波二次元断層画像生成方法
US9268136B1 (en) * 2012-09-28 2016-02-23 Google Inc. Use of comparative sensor data to determine orientation of head relative to body
US9626799B2 (en) 2012-10-02 2017-04-18 Aria Glassworks, Inc. System and method for dynamically displaying multiple virtual and augmented reality scenes on a single display
US9524585B2 (en) 2012-11-05 2016-12-20 Microsoft Technology Licensing, Llc Constructing augmented reality environment with pre-computed lighting
US9424472B2 (en) 2012-11-26 2016-08-23 Ebay Inc. Augmented reality information system
US20140168264A1 (en) 2012-12-19 2014-06-19 Lockheed Martin Corporation System, method and computer program product for real-time alignment of an augmented reality device
US10769852B2 (en) 2013-03-14 2020-09-08 Aria Glassworks, Inc. Method for simulating natural perception in virtual and augmented reality scenes
BR112015024910A2 (pt) 2013-03-26 2017-07-18 Seiko Epson Corp dispositivo de exibição montado na cabeça, método de controle de dispositivo de exibição montado na cabeça e sistema de exibição
JP6369005B2 (ja) * 2013-10-25 2018-08-08 セイコーエプソン株式会社 頭部装着型表示装置および頭部装着型表示装置の制御方法
EP2983138A4 (en) * 2013-04-04 2017-02-22 Sony Corporation Display control device, display control method and program
JP6255706B2 (ja) 2013-04-22 2018-01-10 富士通株式会社 表示制御装置、表示制御方法、表示制御プログラムおよび情報提供システム
WO2014194066A1 (en) * 2013-05-30 2014-12-04 Charles Anthony Smith Hud object design and method
CN105899911B (zh) 2013-09-13 2020-07-21 飞利浦灯具控股公司 用于增强现实支持的系统和方法
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9652892B2 (en) * 2013-10-29 2017-05-16 Microsoft Technology Licensing, Llc Mixed reality spotlight
TWI503785B (zh) * 2013-12-02 2015-10-11 Chunghwa Telecom Co Ltd 擴增實境系統、其應用方法以及包含擴增實境應用程式之非暫時性電腦可讀取媒體
EP3086292B1 (en) * 2013-12-17 2018-12-26 Sony Corporation Information processing device, information processing method, and program
US9448409B2 (en) 2014-11-26 2016-09-20 Osterhout Group, Inc. See-through computer display systems
US9529195B2 (en) 2014-01-21 2016-12-27 Osterhout Group, Inc. See-through computer display systems
US9299194B2 (en) * 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US11103122B2 (en) 2014-07-15 2021-08-31 Mentor Acquisition One, Llc Content presentation in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US20160019715A1 (en) 2014-07-15 2016-01-21 Osterhout Group, Inc. Content presentation in head worn computing
US9829707B2 (en) 2014-08-12 2017-11-28 Osterhout Group, Inc. Measuring content brightness in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US9746686B2 (en) 2014-05-19 2017-08-29 Osterhout Group, Inc. Content position calibration in head worn computing
US20150277118A1 (en) 2014-03-28 2015-10-01 Osterhout Group, Inc. Sensor dependent content position in head worn computing
US9594246B2 (en) 2014-01-21 2017-03-14 Osterhout Group, Inc. See-through computer display systems
US9939934B2 (en) 2014-01-17 2018-04-10 Osterhout Group, Inc. External user interface for head worn computing
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US11227294B2 (en) 2014-04-03 2022-01-18 Mentor Acquisition One, Llc Sight information collection in head worn computing
US9810906B2 (en) 2014-06-17 2017-11-07 Osterhout Group, Inc. External user interface for head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9671613B2 (en) 2014-09-26 2017-06-06 Osterhout Group, Inc. See-through computer display systems
US10191279B2 (en) 2014-03-17 2019-01-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US11892644B2 (en) 2014-01-21 2024-02-06 Mentor Acquisition One, Llc See-through computer display systems
US11737666B2 (en) 2014-01-21 2023-08-29 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US20150205135A1 (en) 2014-01-21 2015-07-23 Osterhout Group, Inc. See-through computer display systems
US9651784B2 (en) 2014-01-21 2017-05-16 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9836122B2 (en) 2014-01-21 2017-12-05 Osterhout Group, Inc. Eye glint imaging in see-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9532714B2 (en) 2014-01-21 2017-01-03 Osterhout Group, Inc. Eye imaging in head worn computing
US11669163B2 (en) 2014-01-21 2023-06-06 Mentor Acquisition One, Llc Eye glint imaging in see-through computer display systems
US9746676B2 (en) 2014-01-21 2017-08-29 Osterhout Group, Inc. See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9846308B2 (en) 2014-01-24 2017-12-19 Osterhout Group, Inc. Haptic systems for head-worn computers
JP6244954B2 (ja) 2014-02-06 2017-12-13 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US20150241964A1 (en) 2014-02-11 2015-08-27 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
JP6217437B2 (ja) * 2014-02-14 2017-10-25 富士通株式会社 端末装置、情報処理装置、表示制御方法、及び表示制御プログラム
US10977864B2 (en) 2014-02-21 2021-04-13 Dropbox, Inc. Techniques for capturing and displaying partial motion in virtual or augmented reality scenes
EP2911040A1 (en) * 2014-02-25 2015-08-26 Thomson Licensing Method and device for controlling a scene comprising real and virtual objects
US9679197B1 (en) 2014-03-13 2017-06-13 Leap Motion, Inc. Biometric aware object detection and tracking
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
US9651787B2 (en) 2014-04-25 2017-05-16 Osterhout Group, Inc. Speaker assembly for headworn computer
US9672210B2 (en) 2014-04-25 2017-06-06 Osterhout Group, Inc. Language translation with head-worn computing
US9423842B2 (en) 2014-09-18 2016-08-23 Osterhout Group, Inc. Thermal management for head-worn computer
US10853589B2 (en) 2014-04-25 2020-12-01 Mentor Acquisition One, Llc Language translation with head-worn computing
CN106575450B (zh) 2014-05-13 2019-07-26 河谷控股Ip有限责任公司 通过反照率模型、系统和方法的增强现实内容渲染
US10782657B2 (en) 2014-05-27 2020-09-22 Ultrahaptics IP Two Limited Systems and methods of gestural interaction in a pervasive computing environment
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
JP6314672B2 (ja) * 2014-06-10 2018-04-25 株式会社リコー 表示処理装置、表示処理方法、及びプログラム
CN104123743A (zh) * 2014-06-23 2014-10-29 联想(北京)有限公司 图像阴影添加方法及装置
JP2016038889A (ja) 2014-08-08 2016-03-22 リープ モーション, インコーポレーテッドLeap Motion, Inc. モーション感知を伴う拡張現実
US10943111B2 (en) 2014-09-29 2021-03-09 Sony Interactive Entertainment Inc. Method and apparatus for recognition and matching of objects depicted in images
US9684172B2 (en) 2014-12-03 2017-06-20 Osterhout Group, Inc. Head worn computer display systems
USD751552S1 (en) 2014-12-31 2016-03-15 Osterhout Group, Inc. Computer glasses
USD753114S1 (en) 2015-01-05 2016-04-05 Osterhout Group, Inc. Air mouse
US9921105B2 (en) * 2015-02-05 2018-03-20 International Business Machines Corporation Mobile cellular spectroscopy
US10878775B2 (en) 2015-02-17 2020-12-29 Mentor Acquisition One, Llc See-through computer display systems
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
JP6625801B2 (ja) 2015-02-27 2019-12-25 ソニー株式会社 画像処理装置、画像処理方法、及びプログラム
US10169917B2 (en) * 2015-08-20 2019-01-01 Microsoft Technology Licensing, Llc Augmented reality
CN106558103A (zh) * 2015-09-24 2017-04-05 鸿富锦精密工业（深圳）有限公司 扩增实境图像处理系统及扩增实境图像处理方法
KR102502449B1 (ko) * 2015-10-05 2023-02-22 삼성전자주식회사 조명을 디스플레이하는 방법 및 장치
US11216857B2 (en) * 2016-06-23 2022-01-04 Stubhub, Inc. Weather enhanced graphical preview for an online ticket marketplace
JP2018006818A (ja) * 2016-06-27 2018-01-11 キヤノン株式会社 画像読取方法及び画像読取装置
CN106204744B (zh) * 2016-07-01 2019-01-25 西安电子科技大学 利用编码光源为标志物的增强现实三维注册方法
CN107808409B (zh) * 2016-09-07 2022-04-12 中兴通讯股份有限公司 一种增强现实中进行光照渲染的方法、装置及移动终端
ES2824553T3 (es) 2016-09-21 2021-05-12 Carrier Corp Conjunto de refrigeración para generar un área refrigerada
KR102568898B1 (ko) * 2016-10-26 2023-08-22 삼성전자주식회사 디스플레이 장치 및 컨텐츠를 디스플레이하는 방법
US10430638B2 (en) * 2016-11-10 2019-10-01 Synaptics Incorporated Systems and methods for spoof detection relative to a template instead of on an absolute scale
CN106652013A (zh) * 2016-12-06 2017-05-10 广州视源电子科技股份有限公司 图像处理方法及系统
CN106604015B (zh) * 2016-12-20 2018-09-14 宇龙计算机通信科技(深圳)有限公司 一种图像处理方法及装置
JP6833575B2 (ja) * 2017-03-15 2021-02-24 本田技研工業株式会社 歩行支援装置、歩行支援方法、及びプログラム
CN108932051B (zh) * 2017-05-24 2022-12-16 腾讯科技（北京）有限公司 增强现实图像处理方法、装置及存储介质
ES2945138T3 (es) * 2017-06-01 2023-06-28 Signify Holding Bv Sistema de representación de caracteres virtuales y método del mismo
CN107492144B (zh) * 2017-07-12 2020-07-24 联想(北京)有限公司 光影处理方法及电子设备
US11250264B2 (en) 2017-08-04 2022-02-15 Civic Resource Group International Incorporated Geographic address query with associated time of inquiry
US20210134049A1 (en) * 2017-08-08 2021-05-06 Sony Corporation Image processing apparatus and method
US10922878B2 (en) * 2017-10-04 2021-02-16 Google Llc Lighting for inserted content
US10607403B2 (en) 2017-10-04 2020-03-31 Google Llc Shadows for inserted content
CN108010120A (zh) * 2017-11-30 2018-05-08 网易（杭州）网络有限公司 静态阴影的显示方法、装置、存储介质、处理器及终端
EP3540697A1 (en) * 2018-03-13 2019-09-18 Thomson Licensing Method and apparatus for processing a 3d scene
CN108520552A (zh) * 2018-03-26 2018-09-11 广东欧珀移动通信有限公司 图像处理方法、装置、存储介质及电子设备
CN110536125A (zh) * 2018-05-25 2019-12-03 光宝电子(广州)有限公司 影像处理系统及影像处理方法
DE102018122435A1 (de) * 2018-09-13 2020-03-19 Hendrik Fehlis Virtuelle dreidimensionale Objekte in einem Livevideo
CN111489448A (zh) * 2019-01-24 2020-08-04 宏达国际电子股份有限公司 检测真实世界光源的方法、混合实境系统及记录介质
EP3719751A1 (en) * 2019-04-02 2020-10-07 InterDigital CE Patent Holdings A method for processing a 3d scene, and corresponding device, system and computer program
CN110033423B (zh) * 2019-04-16 2020-08-28 北京字节跳动网络技术有限公司 用于处理图像的方法和装置
CN110794962A (zh) * 2019-10-18 2020-02-14 北京字节跳动网络技术有限公司 一种信息融合方法、装置、终端及存储介质
EP4058993A4 (en) 2019-12-06 2023-01-11 Guangdong Oppo Mobile Telecommunications Corp., Ltd. LIGHT SOURCE DETECTION FOR EXTENDED REALITY TECHNOLOGIES
WO2021186581A1 (ja) * 2020-03-17 2021-09-23 株式会社ソニー・インタラクティブエンタテインメント 画像生成装置および画像生成方法
CN111462295B (zh) * 2020-03-27 2023-09-05 咪咕文化科技有限公司 增强现实合拍中的阴影处理方法、设备及存储介质
CN116134487A (zh) * 2020-06-30 2023-05-16 交互数字Ce专利控股有限公司 对相对于参照对象和参照虚拟视点的3d照明参数进行基于阴影的估计
WO2022026367A1 (en) * 2020-07-25 2022-02-03 Silver Spoon Animation Inc. System and method for populating a virtual crowd in real-time using augmented and virtual reality
JP7125963B2 (ja) * 2020-08-07 2022-08-25 株式会社スクウェア・エニックス 情報処理プログラム、情報処理装置及び情報処理方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547401B2 (en) * 2004-08-19 2013-10-01 Sony Computer Entertainment Inc. Portable augmented reality device and method
WO2006040200A1 (de) * 2004-10-13 2006-04-20 Siemens Aktiengesellschaft Vorrichtung und verfahren zur beleuchtungs- und schattensimulation in einem augmented-reality-system
US20060166656A1 (en) * 2005-01-24 2006-07-27 Michael Klicpera Cell or mobile phone, and wireless PDA traffic advisory method
EP1866662A4 (en) * 2005-03-18 2010-08-25 Seeker Wireless Pty Ltd ADVANCED MOBILEOCALIZATION
JP2008016918A (ja) * 2006-07-03 2008-01-24 Matsushita Electric Ind Co Ltd 画像処理装置、画像処理システムおよび画像処理方法
JP2008041107A (ja) * 2007-09-10 2008-02-21 Sanyo Electric Co Ltd 撮像装置及び画像合成装置
US8180396B2 (en) * 2007-10-18 2012-05-15 Yahoo! Inc. User augmented reality for camera-enabled mobile devices
JP5025496B2 (ja) * 2008-01-09 2012-09-12 キヤノン株式会社 画像処理装置及び画像処理方法
US9082213B2 (en) * 2007-11-07 2015-07-14 Canon Kabushiki Kaisha Image processing apparatus for combining real object and virtual object and processing method therefor
US8239132B2 (en) * 2008-01-22 2012-08-07 Maran Ma Systems, apparatus and methods for delivery of location-oriented information
US20100066750A1 (en) * 2008-09-16 2010-03-18 Motorola, Inc. Mobile virtual and augmented reality system
CN101510913A (zh) * 2009-03-17 2009-08-19 山东师范大学 基于三维电子罗盘的智能手机增强现实系统及实现方法
US8898034B2 (en) * 2009-06-03 2014-11-25 Apple Inc. Automatically identifying geographic direction

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101399633B1 (ko) * 2013-03-29 2014-05-27 동국대학교 산학협력단 영상 합성 방법 및 장치
KR101616672B1 (ko) * 2015-02-10 2016-04-28 그림소프트 주식회사 멀티미디어 콘텐츠 정합 방법
KR102322847B1 (ko) * 2021-04-21 2021-11-05 (주)올포랜드 가상현실 내에서의 광고 제공방법, 가상현실 서버 및 이를 위한 컴퓨터 프로그램
KR20220145249A (ko) * 2021-04-21 2022-10-28 (주)올포랜드 가상현실 내에서의 광고 제공방법, 가상현실 서버 및 이를 위한 컴퓨터 프로그램

Also Published As

Publication number Publication date
US20110234631A1 (en) 2011-09-29
WO2011118903A1 (en) 2011-09-29
JP2013517579A (ja) 2013-05-16
CN102696057A (zh) 2012-09-26

Similar Documents

Publication Publication Date Title
KR20120093991A (ko) 증강 현실 시스템
ES2558255T3 (es) Anotación automatizada de una vista
US10134196B2 (en) Mobile augmented reality system
CN109074667B (zh) 基于预测器-校正器的位姿检测
US10311633B2 (en) Method and apparatus for visualization of geo-located media contents in 3D rendering applications
EP3095092B1 (en) Method and apparatus for visualization of geo-located media contents in 3d rendering applications
US8633970B1 (en) Augmented reality with earth data
US8938257B2 (en) Logo detection for indoor positioning
US9558559B2 (en) Method and apparatus for determining camera location information and/or camera pose information according to a global coordinate system
US9041714B2 (en) Apparatus and method for compass intelligent lighting for user interfaces
CN108540542B (zh) 一种移动增强现实系统及显示的方法
KR101126449B1 (ko) 증강 현실 서비스 시스템 및 방법
JP7125963B2 (ja) 情報処理プログラム、情報処理装置及び情報処理方法
US20210018991A1 (en) Universal Pointing and Interacting Device
KR20110070210A (ko) 위치 감지 센서와 방향 감지 센서를 이용하여 증강현실 서비스를 제공하기 위한 이동단말기 및 방법
Shi et al. A novel individual location recommendation system based on mobile augmented reality
CN106203279B (zh) 一种增强现实中目标对象的识别方法、装置及移动终端
EP3748586A2 (en) Apparatus and method for generating an augmented reality representation of an acquired image
CN106840167B (zh) 基于街景地图的目标物地理位置的二维量测算方法
Yan et al. Research and application of indoor guide based on mobile augmented reality system
JP5527005B2 (ja) 位置推定装置、位置推定方法及び位置推定プログラム
JP2008203991A (ja) 画像処理装置
Zhang et al. Mixed reality annotations system for museum space based on the UWB positioning and mobile device
JP2011053439A (ja) 携帯端末による天体の表示システム
Giannakidis et al. Hacking Visual Positioning Systems to Scale the Software Development of Augmented Reality Applications for Urban Settings

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E601 Decision to refuse application