KR20130116355A - 콘텍스트 인식 증강 상호작용 - Google Patents

콘텍스트 인식 증강 상호작용 Download PDF

Info

Publication number
KR20130116355A
KR20130116355A KR1020137022936A KR20137022936A KR20130116355A KR 20130116355 A KR20130116355 A KR 20130116355A KR 1020137022936 A KR1020137022936 A KR 1020137022936A KR 20137022936 A KR20137022936 A KR 20137022936A KR 20130116355 A KR20130116355 A KR 20130116355A
Authority
KR
South Korea
Prior art keywords
determining
proximity
spatial relationship
distance
processor
Prior art date
Application number
KR1020137022936A
Other languages
English (en)
Other versions
KR101554797B1 (ko
Inventor
아쇼크 이니고 로이 로렌스
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130116355A publication Critical patent/KR20130116355A/ko
Application granted granted Critical
Publication of KR101554797B1 publication Critical patent/KR101554797B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Hardware Design (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

모바일 플랫폼은 공간적 관계, 예컨대 실세계 객체들 간의 근접도 및/또는 상대적 포지션들에 기초하여 상이한 증강 현실 객체들을 렌더링한다. 모바일 플랫폼은 하나 이상의 캡처된 이미지들에서 제 1 객체 및 제 2 객체를 검출 및 추적한다. 모바일 플랫폼은, 객체들의 공간적 관계, 예를 들어 객체들 간의 근접도 또는 거리 및/또는 객체들 간의 상대적 포지션들을 결정한다. 근접도는 객체들 간의 거리 또는 동일한 이미지에서 객체들이 나타나는지 여부에 기초할 수도 있다. 객체들의 공간적 관계에 기초하여, 예를 들어 데이터베이스를 검색함으로써 렌더링되는 증강 객체가 결정된다. 선택된 증강 객체가 렌더링 및 디스플레이된다.

Description

콘텍스트 인식 증강 상호작용{CONTEXT AWARE AUGMENTATION INTERACTIONS}
증강 현실 (augmented reality; AR) 애플리케이션들에서, 실세계 객체는 컴퓨터 생성된 정보, 예컨대 이미지 또는 텍스처 정보와 함께 스크린 상에 이미징 및 디스플레이된다. AR 은 빌딩 또는 제품과 같은 실세계 객체에 관한 그래픽이나 텍스처 정보를 제공하도록 사용될 수 있다. 통상적으로, 렌더링되는 AR 객체는 이미징되는 실세계 객체에 의존적이다. 그러나, 실세계 객체의 콘텍스트, 예를 들어 로케이션 또는 다른 주위 객체들은 AR 객체를 렌더링하는 경우 고려되지 않는다. 그러나, 다른 제품들에 대한 근접도 또는 물리적 환경에 대한 콘텍스트를 갖는 AR 콘텐트를 디스플레이할 수 있는 것이 바람직하다.
모바일 플랫폼은 공간적 관계, 예컨대 실세계 객체들 간의 근접도 및/또는 상대적 포지션들에 기초하여 상이한 증강 현실 객체들을 렌더링한다. 객체들의 근접도 또는 객체들의 상대적 포지션들일 수도 있는 공간적 관계는 실세계 객체들의 콘텍스트를 제공한다. 모바일 플랫폼은 하나 이상의 캡처된 이미지들에서 제 1 객체 및 제 2 객체를 검출 및 추적한다. 모바일 플랫폼은 그 후, 객체들 간의 근접도 (또는 거리) 및/또는 상대적 포지션들과 같은 객체들의 공간적 관계를 결정한다. 근접도는, 예를 들어 포즈 정보에 기초하여 또는 이미지 프로세싱을 통해 결정된 객체들 간의 양적 거리 또는 동일한 이미지에서 객체들이 나타나는지 여부에 기초할 수도 있다. 객체들의 공간적 관계에 기초하여, 렌더링되는 증강 객체는 예를 들어 데이터베이스를 검색함으로써 결정된다. 선택된 증강 객체가 렌더링 및 디스플레이된다.
도 1a 및 도 1b 는 실세계 객체들의 공간적 관계들에 기초하여 증강 현실 애플리케이션들을 제공할 수 있는 모바일 플랫폼의 전면 및 후면을 각각 예시한다.
도 2 는 실세계 객체들 간의 공간적 관계에 기초하여 렌더링된 증강 객체 및 2 개의 실세계 객체들의 캡처된 이미지를 디스플레이하는 모바일 플랫폼의 전면을 예시한다.
도 3 은 실세계 객체들의 공간적 관계들에 기초하여 증강 현실 애플리케이션들을 제공하는 플로우차트이다.
도 4 는 실세계 객체들 간의 공간적 관계들에 기초하여 렌더링된 상이한 증강 객체들 및 3 개의 실세계 객체들의 캡처된 이미지를 디스플레이하는 모바일 플랫폼의 전면을 예시한다.
도 5a 및 도 5b 는 실세계 객체들을 개별적으로 이미징하는 모바일 플랫폼 (100) 의 평면도들을 예시한다.
도 6a 및 도 6b 는 도 5a 및 도 5b 의 객체들을 각각 개별적으로 이미징하는 경우 모바일 플랫폼에 의해 디스플레이되는 이미지들을 예시한다.
도 7 은 실세계 객체들의 공간적 관계에 기초하여 증강 현실 애플리케이션들을 제공할 수 있는 모바일 플랫폼의 블록도이다.
도 1a 및 도 1b 는 실세계 객체들의 공간적 관계들에 기초하여 증강 현실 애플리케이션들을 제공할 수 있는 모바일 플랫폼 (100) 의 전면 및 후면을 각각 예시한다. 도 1a 및 도 1b 에서 모바일 플랫폼 (100) 은 하우징 (101), 터치 스크린 디스플레이일 수도 있는 디스플레이 (102) 를 포함하는 것으로서 예시된다. 모바일 플랫폼 (100) 은 또한, 예를 들어 모바일 플랫폼 (100) 이 셀룰러 전화기인 경우 스피커 (104) 및 마이크로폰 (106) 을 포함할 수도 있다. 모바일 플랫폼 (100) 은 디스플레이 (102) 상에 디스플레이되는 환경을 이미징하도록 전방 (forward facing) 카메라 (108) 를 더 포함한다. 모바일 플랫폼 (100) 은 모션 센서들 (110), 예컨대 모션 센서 (110) 에 대한 기지의/교정된 포지션 관계를 가질 수도 있는 모바일 플랫폼 (100) 또는 동등하게 카메라 (108) 의 포즈를 결정하는 것을 돕는데 사용될 수도 있는 가속도계들, 자이로스코프들 등을 더 포함할 수도 있다. 모바일 플랫폼 (100) 의 포즈는 또한 또는 대안적으로, 비전 기반 추적 기법들을 사용하여 결정될 수도 있다. 모바일 플랫폼 (100) 은 임의의 휴대용 전자 디바이스, 예컨대 셀룰러 또는 다른 무선 통신 디바이스, 개인 통신 시스템 (PCS) 디바이스, 개인 네비게이션 디바이스 (PND), 개인 정보 매니저 (PIM), 개인 휴대 정보 단말 (PDA), 랩톱, 카메라, 또는 증강 현실 (AR) 을 가능하게 하는 다른 적합한 모바일 디바이스일 수도 있다.
도 2 는 가로방향 (landscape) 모드로 홀딩된 모바일 플랫폼 (100) 의 전면을 예시한다. 디스플레이 (102) 는 2 개의 실세계 객체들, 객체 A (120) 및 객체 B (122) 의 캡처된 이미지를 디스플레이하는 것으로서 예시된다. 예로써, 객체 A (120) 및 객체 B (122) 는 제품들, 예컨대 식료품 선반 (124) 상에서 서로 근처에 있는 시리얼의 박스들일 수도 있다. 디스플레이 (102) 는 또한, 화살표의 형태로 컴퓨터 렌더링된 AR 객체 (126) 를 디스플레이하는 것으로서 예시된다. 실세계 객체들 (120, 122) 의 캡처된 이미지는 카메라 (108) 에 의해 생성되는 한편, AR 객체 (126) 는 컴퓨터 렌더링된 객체들 (또는 정보) 이다. 캡처된 이미지는 단일 이미지, 예를 들어 사진, 또는 카메라 (108) 에 의해 생성된 비디오의 하나 이상의 프레임들일 수도 있다.
모바일 플랫폼 (100) 에 의해 렌더링되고 디스플레이된 AR 객체 (126) 는 이미징되는 실세계 객체들뿐만 아니라 이미징된 객체들의 공간적 관계들에 의존한다. 예로써, 공간적 관계들은 다른 이미징된 객체들의 근접도일 수도 있다. 따라서, AR 객체의 일 유형은 실세계 객체가 다른 보완적인 실세계 객체 부근에 있는 경우 렌더링될 수도 있는 한편, 상이한 AR 객체 또는 상이한 AR 객체의 거동은 객체들이 부근에 있지 않거나 양립할 수 없는 실세계 객체가 부근에 있는 경우 렌더링될 수도 있다. 예를 들어, AR 객체의 일 유형은 아침식사 제품들이 서로 근처에 놓인 경우 렌더링될 수도 있는 한편, 상이한 AR 객체 또는 상이한 AR 객체의 거동은 아침식사 제품이 술병 근처에 위치되는 경우 렌더링될 수도 있다. 실세계 객체들의 공간적 관계들은 다른 팩터들 객체들의 이러한 상대적 포지션들 뿐만 아니라 다른 팩터들, 예컨대 시각 또는 지리적 로케이션을 포함할 수도 있다.
도 3 은 실세계 객체들의 공간적 관계들에 기초하여 증강 현실 애플리케이션들을 제공하는 플로우차트이다. 예시된 바와 같이, 모바일 플랫폼의 카메라에 의해 캡처된 이미지에서 제 1 객체가 검출 및 추적된다 (202). 일단 객체가 검출되면, 예를 들어 온-보드 데이터베이스를 컨설팅함으로써 또는 원격 서버에 액세스함으로써 객체가 식별될 수도 있다. 객체를 추적하는 것은 객체에 대한 모바일 플랫폼의 포지션 및 배향 (포즈) 정보를 제공한다. 객체는 2 차원 또는 3 차원 객체일 수도 있다. 예로써, 도 2 에서 모바일 플랫폼 (100) 에 의해 이미징된 객체 A (120) 가 검출 및 추적된다.
카메라에 의해 캡처된 이미지에서 제 2 객체가 또한 검출 및 추적된다 (204). 다시, 일단 검출되면, 제 2 객체는 또한, 예를 들어 온-보드 데이터베이스를 컨설팅함으로써 또는 원격 서버에 액세스함으로써 식별될 수도 있다. 예로써, 도 2 에서 모바일 플랫폼 (100) 에 의해 이미징된 객체 B (122) 가 검출 및 추적된다. 제 2 객체는 동일한 뷰 프레임 부근 및 동일한 뷰 프레임에, 즉 제 1 객체와 동일한 캡처된 이미지에 위치되는 아이템일 수도 있다. 부가적으로, 제 2 객체는 별개의 뷰 프레임에 있는 아이템일 수도 있다, 즉 제 2 객체는 제 1 객체와 상이한 캡처된 이미지에서 나타난다. 따라서, 예를 들어 제 1 객체는 이미징, 검출 및 추적될 수도 있다. 모바일 플랫폼은 그 후, 검출 및 추적되는 제 2 객체의 이미지를 캡처하도록 이동될 수도 있다.
객체들의 공간적 관계가 그 후, 결정되어 (206) 객체들에 대한 콘텍스트를 제공한다. 원한다면, 객체의 공간적 관계는, 객체들이, 예를 들어 온-보드 또는 외부 데이터베이스에 액세스함으로써 결정될 수도 있는 연관된 콘텍스트 의존적 증강 현실 객체들을 갖는 객체들로서 식별되는 경우에만 결정될 수도 있다. 공간적 관계들은 이미징된 객체들의 근접도일 수도 있다. 제 1 객체 및 제 2 객체는, 양자의 객체들 중 적어도 일부분들이 동시에 카메라의 시야 내에 있는 경우 근접해 있는 것으로 고려될 수도 있다. 대안으로, 근접도는 제 1 객체와 제 2 객체 간의 양적 거리로서 결정될 수도 있다. 예를 들어, 거리는 객체들 간의 거리를 객체들의 크기에 비교하거나 제 1 객체 및 제 2 객체를 추적하는 것으로부터 포즈 정보를 사용함으로써 결정될 수도 있다. 거리는 객체들이 근접한 것으로 고려되는지 여부를 결정하기 위해 하나 이상의 임계들에 비교될 수도 있다. 부가적으로, 제 1 객체 및 제 2 객체가 동일한 이미지에 나타나지 않으면, 객체들의 근접도는 모바일 플랫폼 (100) 의 모션 센서들 (110) 로부터의 데이터 및 정보를 추적하는 것을 사용하여 결정된 바와 같이 객체들 간의 거리에 기초하여 결정될 수도 있다. 공간적 관계들은 또한 또는 대안으로, 제 1 객체 및 제 2 객체의 상대적 포지션들, 예를 들어 제 1 객체가 제 2 객체 앞 또는 위에 있는지 여부일 수도 있다. 추가의 콘텍스트 정보, 예컨대 하나 이상의 추가의 실세계 객체들의 존재 (또는 부재), 시각, 주위 밝기, 모바일 플랫폼의 지리적 로케이션 등이 또한 사용될 수도 있다.
식별된 제 1 객체와 식별된 제 2 객체 간의 결정된 공간적 관계들을 사용하여, 렌더링될 AR 객체가 결정될 수도 있다 (208). 예를 들어, AR 객체들의 데이터베이스는 특정 실세계 객체들의 상이한 공간적 관계들을 위해 유지될 수도 있다. 일단 실세계 객체들의 공간적 관계가 결정되면, 데이터베이스에 액세스되어 렌더링될 AR 객체를 결정할 수도 있다. AR 객체는 그 후, 모바일 플랫폼 (100) 에 의해 렌더링 및 디스플레이될 수도 있다 (210).
예시의 방식에 의해, 도 2 는 식별된 객체 A (120) 및 식별된 객체 B (122) 의 공간적 관계에 기초하여 렌더링 및 디스플레이되는 AR 객체 (126) 를 나타낸다. AR 객체 (126) 는, 예를 들어 객체 A (120) 가 객체 B (122) 와 호환 가능하다는 것을 나타내기 위해 화살표 형태로 있다. 한편, 도 4 는 제 3 객체가 식별되는 것을 제외하고 도 2 에 도시된 것과 유사한 이미지를 생성하는 모바일 플랫폼 (100) 을 예시하는데, 객체 C (123) 는 객체 B (122) 에 근접해 있는 것으로 검출 및 추적되고 결정한다. 라인이 통과하는 화살표를 포함하는, 상이한 AR 객체 (128) 는 객체 B (122) 및 호환 불가능한 객체 C (123) 의 공간적 관계, 예를 들어 근접도에 기초하여 렌더링된다. 원한다면, AR 객체는 애니메이션될 수도 있고, 애니메이션된 AR 객체의 거동은 실세계 객체들의 공간적 관계에 기초하여 변할 수도 있다. 부가적으로, 원한다면 추가의 실세계 객체들이 검출 및 추적되어, 렌더링될 AR 객체를 결정하는데 사용될 수도 있다.
도 5a 및 도 5b 는 객체 A (120) 및 객체 B (122) 를 각각 개별적으로 이미징하는 모바일 플랫폼 (100) 의 평면도들을 예시한다. 도 6a 및 도 6b 는 모바일 플랫폼 (100) 이 개별적으로 객체 A (120) 및 객체 B (122) 를 도 5a 및 도 5b 에 도시된 바와 같이 각각 이미징하는 경우 모바일 플랫폼 (100) 의 디스플레이 (102) 상에 디스플레이되는 이미지들을 예시한다. 도 5a 및 도 6a 에 예시된 바와 같이, 모바일 플랫폼 (100) 은 실세계 객체 A (120) 를 이미징 및 디스플레이한다. 도 3 의 단계 (202) 에서 전술된 바와 같이, 객체 A (120) 가 검출 및 추적된다. 객체 (122) 는 도 5a 에서 카메라의 시야 (109) 밖에 있기 때문에 객체 (122) 는 도 6a 에 디스플레이되지 않는다. 모바일 플랫폼 (100) 을 이동시켜 도 5b 에 예시된 바와 같이 실세계 객체 B (122) 를 시야 (109) 내에 둔 후에, 도 6b 에 도시된 바와 같이 객체 B (122) 가 이미징 및 디스플레이된다. 도 3 의 단계 (204) 에서 전술된 바와 같이, 객체 B (122) 가 검출 및 추적된다. 도 5b 에 예시된 바와 같이, 객체 A (120) 와 객체 B (122) 의 공간적 관계는 객체들의 근접도를 결정함으로써 (도 3 의 단계 (206)) 결정된다. 예를 들어, 근접도는 점선 화살표 (130) 로 도시된 바와 같은 객체 A (120) 와 객체 B (122) 간의 거리로서 및/또는 점선 화살표 (132) 로 도시된 객체들 (120 와 122) 간의 각 변위에 의해 결정될 수도 있다. 거리 (130) 및/또는 각 변위 (132) 는 모바일 플랫폼 상의 모션 센서들 (110) 로부터의 데이터 뿐만 아니라 정보를 추적하는 것을 사용하여 결정될 수도 있다. 원하는 AR 객체는 결정된 공간적 관계, 즉 객체들의 근접도에 기초하여 저지 (deter) 되고 (도 3 의 단계 (208)) 그 후, 렌더링 및 디스플레이된다 (도 3 의 단계 (210)). 예를 들어, 도 6b 에 예시된 바와 같이, 객체 A (120) 의 렌더링된 이미지 및 객체 A (120) 의 방향으로 가리키는 화살표를 포함하는 AR 객체 (129) 가 디스플레이된다.
도 7 은 실세계 객체들의 공간적 관계에 기초하여 증강 현실 애플리케이션들을 제공할 수 있는 모바일 플랫폼 (100) 의 블록도이다. 모바일 플랫폼 (100) 은 카메라 (108) 와 같은 실세계 객체들의 이미지들을 캡처하기 위한 수단 및 가속도계들, 자이로스코프들, 전자 콤파스, 또는 다른 유사한 모션 감지 엘리먼트들과 같은 모션 센서들 (110) 을 포함한다. 모바일 플랫폼 (100) 은 "컴퓨터 비전" 기법들을 사용하는 객체 인식과 같은 다른 포지션 결정 방법들을 포함할 수도 있다. 모바일 플랫폼은 캡처된 이미지들 및 렌더링된 AR 객체들을 디스플레이하기 위한 수단, 예컨대 디스플레이 (102) 를 포함하는 사용자 인터페이스 (150) 를 더 포함한다. 사용자 인터페이스 (150) 는 또한, 사용자가 정보를 모바일 플랫폼 (100) 에 입력할 수 있는 키패드 (152) 또는 다른 입력 디바이스를 포함할 수도 있다. 원한다면, 키패드 (152) 는 터치 센서로 가상의 키패드를 디스플레이 (102) 안에 통합함으로써 배제될 수도 있다. 사용자 인터페이스 (150) 는 또한, 예를 들어, 모바일 플랫폼이 셀룰러 전화기이면, 마이크로폰 (106) 및 스피커 (104) 를 포함할 수도 있다. 물론, 모바일 플랫폼 (100) 은 본 개시물에 관련되지 않은 다른 엘리먼트들, 예컨대 무선 트랜시버를 포함할 수도 있다.
모바일 플랫폼 (100) 은 또한, 카메라 (108), 모션 센서 (110) 및 사용자 인터페이스 (150) 에 접속되고 이와 통신하는 제어 유닛 (160) 을 포함한다. 제어 유닛 (160) 은 카메라 (108) 및 모션 센서들 (110) 로부터 데이터를 수용하여 프로세싱하고, 응답으로 디스플레이 (102) 를 제어한다. 제어 유닛 (160) 은 프로세서 (161) 에 의해 제공되고, 메모리 (164), 하드웨어 (162), 소프트웨어 (165), 및 펌웨어 (163) 와 연관될 수도 있다. 제어 유닛 (160) 은 카메라 (108) 로부터의 이미지들을 프로세싱하기 위해 이미지 프로세서 (166) 를 포함하여 실세계 객체들을 검출할 수도 있다. 제어 유닛은 또한, 포지션 프로세서 (167) 를 포함하여, 예를 들어 모션 센서들 (110) 로부터 수신된 데이터에 기초하여 그리고/또는 카메라 (108) 에 의해 캡처된 추가의 이미지들을 사용하는 비전 기반 추적 기법들에 기초하여 실세계 객체들에 대하여 모바일 플랫폼 (100) 의 포즈를 결정 및 추적할 수도 있다. 포지션 프로세서 (167) 는 또한, 객체들의 공간적 관계들 뿐만 아니라 실세계 객체들의 근접도를 결정할 수도 있다. 제어 유닛 (160) 은 실세계 객체들의 공간적 관계 및 로케이션에 대하여 원하는 AR 객체들을 렌더링하도록, 예를 들어 게이밍 엔진일 수도 있는 그래픽 엔진 (168) 을 더 포함할 수도 있다. 그래픽 엔진 (168) 은 실세계 객체들의 공간적 관계, 예컨대 객체들의 상대적 포지션들 및/또는 근접도 뿐만 아니라 임의의 다른 원하는 팩터들, 예컨대 (클록 (170) 에 기초하여 결정될 수도 있는) 시각 및 (선택적 위성 포지션 시스템 (SPS) 수신기 (172) 로부터의 데이터에 기초하여 결정될 수도 있는) 지리적 로케이션에 기초하여 메모리 (164) 내에 있을 수도 있는 데이터베이스 (169) 로부터 AR 객체들을 취출할 수도 있다. 이미지 프로세서 (166), 포지션 프로세서 (167) 및 그래픽 엔진은 명확성을 위해 프로세서 (161) 로부터 분리되어 도시되었으나, 프로세서 (161) 의 일부이거나 프로세서 (161) 에서 구동되는 소프트웨어 (165) 에서의 명령들에 기초하여 프로세서에서 구현될 수도 있다. 본원에서 사용된 바와 같이, 프로세서 (161) 는 하나 이상의 마이크로프로세서들, 임베딩된 프로세서들, 제어기들, 주문형 집적 회로들 (ASICs), 디지털 신호 프로세서들 (DSPs) 등을 포함할 수 있으나, 반드시 포함할 필요는 없다. 용어 프로세서는 특정 하드웨어 보다는 시스템에 의해 구현된 기능들을 설명하도록 의도된다. 더욱이, 본원에 사용된 바와 같이 용어 "메모리" 는 장기, 단기, 또는 모바일 플랫폼과 연관된 다른 메모리를 포함하는 컴퓨터 저장 매체의 임의의 유형을 지칭하고, 메모리의 임의의 특정 유형이나 수, 또는 메모리가 저장되는 매체의 유형에 제한되지 않는다.
디바이스는 이미지 프로세서 (166), 포지션 프로세서 (167), 뿐만 아니라 원한다면 모션 센서들 (110) 을 포함할 수도 있는 하나 이상의 이미지들에서 제 1 객체 및 제 2 객체를 검출 및 추적하기 위한 수단을 포함한다. 디바이스는 포지션 프로세서 (167) 를 포함할 수도 있는, 제 1 객체와 제 2 객체 간의 공간적 관계를 결정하기 위한 수단을 더 포함한다. 제 1 객체와 제 2 객체 간의 공간적 관계에 기초하여 렌더링할 증강 객체를 결정하기 위한 수단은 데이터베이스 (169) 에 액세스하는 그래픽 엔진 (168) 을 포함할 수도 있다. 부가적으로, 디바이스는 포지션 프로세서 (167) 뿐만 아니라 모션 센서 (110) 를 포함할 수도 있는 상이한 객체들과 연관된 포즈 (모바일 플랫폼의 포지션 및 배향) 를 결정하기 위한 수단을 포함할 수도 있다. 디바이스는 이미지 프로세서 (166) 일 수도 있는 객체들 간의 거리를 결정하기 위해 객체들의 크기를 객체들 간의 공간에 비교하기 위한 수단을 포함할 수도 있다.
본원에 설명된 방법론들은 애플리케이션에 따라 각종 수단에 의해 구현될 수도 있다. 예를 들어, 이들 방법론들은 하드웨어 (162), 펌웨어 (163), 소프트웨어 (165), 또는 이들의 임의의 조합에서 구현될 수도 있다. 하드웨어 구현에 있어서, 프로세싱 유닛들은 하나 이상의 주문형 집적 회로들 (ASICs), 디지털 신호 프로세서들 (DSPs), 디지털 신호 프로세싱 디바이스들 (DSPDs), 프로그래머블 로직 디바이스들 (PLDs), 필드 프로그래머블 게이트 어레이들 (FPGAs), 프로세서들, 제어기들, 마이크로-제어기들, 마이크로프로세서들, 전자 디바이스들, 본원에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 그 조합 내에서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현에 있어서, 방법론들은 본원에 설명된 기능들을 수행하는 모듈들 (예를 들어, 프로시저들, 기능들 등) 로 구현될 수도 있다. 명령들을 유형적으로 포함하는 임의의 머신 판독가능 매체가 본원에 설명된 방법론들을 구현하는데 사용될 수도 있다. 예를 들어, 소프트웨어 코드들은 메모리 (164) 에 저장되고 프로세서 (161) 에 의해 실행될 수도 있다. 메모리는 프로세서 (161) 내에 또는 외부에 구현될 수도 있다.
펌웨어 및/또는 소프트웨어에서 구현된다면, 기능들은 컴퓨터 판독가능 매체 상의 하나 이상의 명령들 또는 코드로서 저장될 수도 있다. 예들은 데이터 구조로 인코딩된 비일시적 컴퓨터 판독가능 매체 및 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독가능 매체를 포함한다. 예를 들어, 프로그램 코드가 저장되어 있는 컴퓨터 판독가능 매체는 디스플레이 상에 제 1 객체 및 제 2 객체의 이미지를 디스플레이하기 위한 프로그램 코드, 제 1 객체를 검출 및 추적하고 제 2 객체를 검출 및 추적하기 위한 프로그램 코드, 제 1 객체와 제 2 객체 간의 공간적 관계를 결정하기 위한 프로그램 코드, 제 1 객체와 제 2 객체 간의 공간적 관계에 기초하여 렌더링할 증강 객체를 결정하기 위한 프로그램 코드, 및 증강 객체를 디스플레이 상에 디스플레이하기 위한 프로그램 코드를 포함할 수도 있다. 컴퓨터 판독가능 매체는 제 1 객체에 대한 제 1 포즈 및 제 2 객체에 대한 제 2 포즈를 결정하기 위한 프로그램 코드를 더 포함할 수도 있는데, 여기서 제 1 객체와 제 2 객체 간의 거리를 결정하기 위한 프로그램 코드는 제 1 포즈 및 제 2 포즈를 사용하여 거리를 결정한다. 컴퓨터 판독가능 매체는 제 1 객체 및 제 2 객체 중 적어도 하나의 크기를 제 1 객체와 제 2 객체 간의 공간에 비교하여 제 1 객체와 제 2 객체 간의 거리를 결정하기 위한 프로그램 코드를 더 포함할 수도 있다. 컴퓨터 판독가능 매체는 물리적 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수도 있다. 비제한적인 예로써, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 컴퓨터에 의해 액세스될 수 있고 명령들 또는 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있는 임의의 다른 매체를 포함할 수 있다; 본원에 사용된 바와 같은 디스크 및 디스크 (disk and disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루-레이 디스크를 포함하고, 여기서 디스크 (disk) 는 주로 데이터를 자기적으로 재생하는 한편, 디스크 (disc) 는 레이저들을 이용하여 데이터를 광학적으로 재생한다. 상기의 조합들은 또한, 컴퓨터 판독가능 매체의 범위 내에 포함되어야 한다.
예를 들어, 프로그램 코드가 저장되어 있는 컴퓨터 판독가능 매체는 3D 객체를 갖는 2D 표면의 카메라에 의해 캡처된 이미지를 디스플레이하기 위한 프로그램 코드, 이미지에서 2D 표면을 검출 및 추적하기 위한 프로그램 코드, 2D 표면 상에 관심 영역으로서 할당된 영역의 폐색 (occlusion) 을 검출하기 위한 프로그램 코드, 및 2D 표면 상에 관심 영역의 로케이션을 참조하여 그래픽 객체를 렌더링 및 디스플레이하기 위한 프로그램 코드를 포함할 수도 있고, 여기서 그래픽 객체는 3D 객체의 형상에 대하여 렌더링된다.
본 발명은 교육적 목적들을 위해 특정 실시형태들과 연관되어 예시되었으나, 본 발명은 이에 한정되지 않는다. 본 발명의 범위를 벗어남 없이 각종 적응들 및 변형들이 이루어질 수도 있다. 따라서, 첨부된 청구항들의 사상 및 범위는 상기 설명에 한정되지 않아야 한다.

Claims (38)

  1. 제 1 객체 및 제 2 객체의 이미지를 캡처 및 디스플레이하는 단계;
    상기 제 1 객체를 검출 및 추적하는 단계;
    상기 제 2 객체를 검출 및 추적하는 단계;
    상기 제 1 객체와 상기 제 2 객체 간의 공간적 관계를 결정하는 단계;
    상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계에 기초하여 렌더링할 증강 객체를 결정하는 단계; 및
    상기 증강 객체를 디스플레이하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계는 상기 제 1 객체 및 상기 제 2 객체의 근접도에 기초하는, 방법.
  3. 제 2 항에 있어서,
    상기 제 1 객체 및 상기 제 2 객체의 상기 근접도는 상기 이미지에 함께 있는 상기 제 1 객체 및 상기 제 2 객체의 적어도 일부들에 기초하는, 방법.
  4. 제 2 항에 있어서,
    상기 제 1 객체 및 상기 제 2 객체의 상기 근접도는 상기 제 1 객체와 상기 제 2 객체 간의 거리에 기초하는, 방법.
  5. 제 4 항에 있어서,
    상기 제 1 객체 및 상기 제 2 객체의 상기 근접도는 상기 거리를 임계에 비교함으로써 결정되는, 방법.
  6. 제 4 항에 있어서,
    상기 제 1 객체에 대한 제 1 포즈 및 상기 제 2 객체에 대한 제 2 포즈를 결정하고, 상기 제 1 포즈 및 상기 제 2 포즈를 사용하여 상기 거리를 결정하는 단계를 더 포함하는, 방법.
  7. 제 4 항에 있어서,
    상기 제 1 객체 및 상기 제 2 객체 중 적어도 하나의 크기를 상기 제 1 객체와 상기 제 2 객체 간의 공간에 비교하여 상기 거리를 결정하는 단계를 더 포함하는, 방법.
  8. 제 1 항에 있어서,
    상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계는 상기 제 1 객체 및 상기 제 2 객체의 상대적 포지션들에 기초하는, 방법.
  9. 제 1 항에 있어서,
    상기 제 1 객체 및 상기 제 2 객체의 이미지를 캡처 및 디스플레이하는 단계는 상기 제 1 객체의 제 1 이미지를 캡처 및 디스플레이하고 상기 제 2 객체의 제 2 이미지를 캡처 및 디스플레이하는 단계를 포함하고,
    상기 제 1 객체 및 상기 제 2 객체는 카메라의 시야에 함께 나타나지 않는, 방법.
  10. 제 1 항에 있어서,
    제 3 객체의 이미지를 캡처 및 디스플레이하는 단계;
    상기 제 3 객체를 검출 및 추적하는 단계;
    상기 제 1 객체와 상기 제 3 객체 간의 공간적 관계를 결정하는 단계;
    상기 제 1 객체 및 상기 제 3 객체의 상기 공간적 관계에 기초하여 렌더링할 상이한 증강 객체를 결정하는 단계; 및
    상기 상이한 증강 객체를 디스플레이하는 단계를 포함하는, 방법.
  11. 모바일 플랫폼으로서,
    카메라;
    상기 카메라에 접속된 프로세서;
    상기 프로세서에 접속된 메모리;
    상기 메모리에 접속된 디스플레이; 및
    상기 메모리에 홀딩되고 상기 프로세서에서 실행되어, 상기 프로세서로 하여금, 상기 카메라에 의해 캡처된 제 1 객체 및 제 2 객체의 이미지를 상기 디스플레이 상에 디스플레이하게 하고, 상기 제 1 객체를 검출 및 추적하게 하고, 상기 제 2 객체를 검출 및 추적하게 하고, 상기 제 1 객체와 상기 제 2 객체 간의 공간적 관계를 결정하게 하고, 상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계에 기초하여 렌더링할 증강 객체를 결정하게 하며, 상기 증강 객체를 상기 디스플레이 상에 디스플레이하게 하는, 소프트웨어를 포함하는, 모바일 플랫폼.
  12. 제 11 항에 있어서,
    상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계는 상기 제 1 객체 및 상기 제 2 객체의 근접도에 기초하는, 모바일 플랫폼.
  13. 제 12 항에 있어서,
    상기 제 1 객체 및 상기 제 2 객체의 상기 근접도는 상기 카메라의 시야에 함께 있는 상기 제 1 객체 및 상기 제 2 객체의 적어도 일부들에 기초하는, 모바일 플랫폼.
  14. 제 12 항에 있어서,
    상기 프로세서에서 실행되는 상기 소프트웨어는, 상기 프로세서로 하여금, 상기 제 1 객체와 상기 제 2 객체 간의 거리를 결정하여 상기 제 1 객체 및 상기 제 2 객체의 상기 근접도를 결정하게 하는, 모바일 플랫폼.
  15. 제 14 항에 있어서,
    상기 프로세서에서 실행되는 상기 소프트웨어는, 상기 프로세서로 하여금, 상기 거리를 임계에 비교하여 상기 제 1 객체 및 상기 제 2 객체의 상기 근접도를 결정하게 하는, 모바일 플랫폼.
  16. 제 14 항에 있어서,
    상기 프로세서에서 실행되는 상기 소프트웨어는, 상기 프로세서로 하여금, 상기 제 1 객체에 대한 제 1 포즈 및 상기 제 2 객체에 대한 제 2 포즈를 결정하게 하고, 상기 제 1 포즈 및 상기 제 2 포즈를 사용하여 상기 제 1 객체와 상기 제 2 객체 간의 상기 거리를 결정하게 하는, 모바일 플랫폼.
  17. 제 14 항에 있어서,
    상기 프로세서에서 실행되는 상기 소프트웨어는, 상기 프로세서로 하여금, 상기 제 1 객체 및 상기 제 2 객체 중 적어도 하나의 크기를 상기 제 1 객체와 상기 제 2 객체 간의 공간에 비교하여 상기 제 1 객체와 상기 제 2 객체 간의 상기 거리를 결정하게 하는, 모바일 플랫폼.
  18. 제 11 항에 있어서,
    상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계는 상기 제 1 객체 및 상기 제 2 객체의 상대적 포지션들에 기초하는, 모바일 플랫폼.
  19. 제 11 항에 있어서,
    상기 프로세서에서 실행되는 상기 소프트웨어는, 상기 프로세서로 하여금, 상기 제 1 객체의 제 1 이미지를 상기 디스플레이 상에 디스플레이하고 상기 제 2 객체의 제 2 이미지를 상기 디스플레이 상에 디스플레이하게 하고,
    상기 제 1 객체 및 상기 제 2 객체는 상기 카메라의 시야에 함께 나타나지 않는, 모바일 플랫폼.
  20. 제 11 항에 있어서,
    상기 프로세서에서 실행되는 상기 소프트웨어는, 상기 프로세서로 하여금, 제 3 객체의 이미지를 상기 디스플레이 상에 디스플레이하게 하고, 상기 제 3 객체를 검출 및 추적하게 하고, 상기 제 1 객체와 상기 제 3 객체 간의 공간적 관계를 결정하게 하고, 상기 제 1 객체와 상기 제 3 객체의 상기 공간적 관계에 기초하여 렌더링할 상이한 증강 객체를 결정하게 하며, 상기 상이한 증강 객체를 디스플레이하게 하는, 모바일 플랫폼.
  21. 제 11 항에 있어서,
    모션 센서들을 더 포함하고,
    상기 프로세서에서 실행되는 상기 소프트웨어는, 상기 프로세서로 하여금, 상기 모션 센서들로부터의 데이터를 사용하여 상기 제 1 객체를 검출 및 추적하게 하고 상기 제 2 객체를 검출 및 추적하게 하는, 모바일 플랫폼.
  22. 제 11 항에 있어서,
    상기 프로세서에서 실행되는 상기 소프트웨어는, 상기 프로세서로 하여금, 상기 카메라에 의해 캡처된 이미지들을 사용하여 상기 제 1 객체를 검출 및 추적하게 하고 상기 제 2 객체를 검출 및 추적하게 하는, 모바일 플랫폼.
  23. 제 1 객체 및 제 2 객체의 이미지를 캡처하기 위한 수단;
    상기 제 1 객체 및 상기 제 2 객체를 검출 및 추적하기 위한 수단;
    상기 제 1 객체와 상기 제 2 객체 간의 공간적 관계를 결정하기 위한 수단;
    상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계에 기초하여 렌더링할 증강 객체를 결정하기 위한 수단; 및
    상기 증강 객체, 및 상기 제 1 객체 및 상기 제 2 객체의 상기 이미지를 디스플레이하기 위한 수단을 포함하는, 디바이스.
  24. 제 23 항에 있어서,
    상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계는 상기 제 1 객체 및 상기 제 2 객체의 근접도에 기초하는, 디바이스.
  25. 제 24 항에 있어서,
    상기 제 1 객체 및 상기 제 2 객체의 상기 근접도는 상기 이미지에 함께 있는 상기 제 1 객체 및 상기 제 2 객체의 적어도 일부들에 기초하는, 디바이스.
  26. 제 24 항에 있어서,
    상기 제 1 객체 및 상기 제 2 객체의 상기 근접도는 상기 제 1 객체와 상기 제 2 객체 간의 거리에 기초하는, 디바이스.
  27. 제 26 항에 있어서,
    상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계를 결정하기 위한 수단은 상기 거리를 임계에 비교하는, 디바이스.
  28. 제 26 항에 있어서,
    상기 제 1 객체에 대한 제 1 포즈 및 상기 제 2 객체에 대한 제 2 포즈를 결정하기 위한 수단을 더 포함하고,
    상기 제 1 포즈 및 상기 제 2 포즈가 사용되어 상기 거리를 결정하는, 디바이스.
  29. 제 26 항에 있어서,
    상기 제 1 객체 및 상기 제 2 객체 중 적어도 하나의 크기를 상기 제 1 객체와 상기 제 2 객체 간의 공간에 비교하여 상기 거리를 결정하기 위한 수단을 더 포함하는, 디바이스.
  30. 제 23 항에 있어서,
    상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계는 상기 제 1 객체 및 상기 제 2 객체의 상대적 포지션들에 기초하는, 디바이스.
  31. 프로그램 코드가 저장되어 있는 컴퓨터 판독가능 매체로서,
    제 1 객체 및 제 2 객체의 이미지를 디스플레이 상에 디스플레이하기 위한 프로그램 코드;
    상기 제 1 객체를 검출 및 추적하고, 상기 제 2 객체를 검출 및 추적하기 위한 프로그램 코드;
    상기 제 1 객체와 상기 제 2 객체 간의 공간적 관계를 결정하기 위한 프로그램 코드;
    상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계에 기초하여 렌더링할 증강 객체를 결정하기 위한 프로그램 코드; 및
    상기 증강 객체를 상기 디스플레이 상에 디스플레이하기 위한 프로그램 코드를 포함하는, 컴퓨터 판독가능 매체.
  32. 제 31 항에 있어서,
    상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계는 상기 제 1 객체 및 상기 제 2 객체의 근접도에 기초하는, 컴퓨터 판독가능 매체.
  33. 제 32 항에 있어서,
    상기 제 1 객체 및 상기 제 2 객체의 상기 근접도는 상기 이미지에 함께 있는 상기 제 1 객체 및 상기 제 2 객체의 적어도 일부들에 기초하는, 컴퓨터 판독가능 매체.
  34. 제 32 항에 있어서,
    상기 제 1 객체 및 상기 제 2 객체의 상기 근접도를 결정하기 위한 프로그램 코드는 상기 제 1 객체와 상기 제 2 객체 간의 거리를 결정하기 위한 프로그램 코드를 포함하는, 컴퓨터 판독가능 매체.
  35. 제 34 항에 있어서,
    상기 제 1 객체와 상기 제 2 객체 간의 상기 근접도를 결정하기 위한 프로그램 코드는 상기 거리를 임계에 비교하여 상기 제 1 객체 및 상기 제 2 객체의 상기 근접도를 결정하는, 컴퓨터 판독가능 매체.
  36. 제 34 항에 있어서,
    상기 제 1 객체에 대한 제 1 포즈 및 상기 제 2 객체에 대한 제 2 포즈를 결정하기 위한 프로그램 코드를 더 포함하고,
    상기 제 1 객체와 상기 제 2 객체 간의 상기 거리를 결정하기 위한 프로그램 코드는 상기 제 1 포즈 및 상기 제 2 포즈를 사용하여 상기 거리를 결정하는, 컴퓨터 판독가능 매체.
  37. 제 34 항에 있어서,
    상기 제 1 객체와 상기 제 2 객체 간의 상기 거리를 결정하기 위한 프로그램 코드는 상기 제 1 객체 및 상기 제 2 객체 중 적어도 하나의 크기를 상기 제 1 객체와 상기 제 2 객체 간의 공간에 비교하여 상기 제 1 객체와 상기 제 2 객체 간의 상기 거리를 결정하는, 컴퓨터 판독가능 매체.
  38. 제 31 항에 있어서,
    상기 제 1 객체와 상기 제 2 객체 간의 상기 공간적 관계는 상기 제 1 객체 및 상기 제 2 객체의 상대적 포지션들에 기초하는, 컴퓨터 판독가능 매체.
KR1020137022936A 2011-01-31 2012-01-31 콘텍스트 인식 증강 상호작용 KR101554797B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/018,180 2011-01-31
US13/018,180 US8509483B2 (en) 2011-01-31 2011-01-31 Context aware augmentation interactions
PCT/US2012/023381 WO2012106366A2 (en) 2011-01-31 2012-01-31 Context aware augmentation interactions

Publications (2)

Publication Number Publication Date
KR20130116355A true KR20130116355A (ko) 2013-10-23
KR101554797B1 KR101554797B1 (ko) 2015-09-21

Family

ID=45607393

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137022936A KR101554797B1 (ko) 2011-01-31 2012-01-31 콘텍스트 인식 증강 상호작용

Country Status (6)

Country Link
US (1) US8509483B2 (ko)
EP (1) EP2671188B1 (ko)
JP (1) JP5640161B2 (ko)
KR (1) KR101554797B1 (ko)
CN (1) CN103443743B (ko)
WO (1) WO2012106366A2 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210005048A (ko) * 2018-04-28 2021-01-13 광저우 바이구오얀 네트워크 테크놀로지 컴퍼니 리미티드 이미지 캡처링 방법 및 단말기

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10096161B2 (en) 2010-06-15 2018-10-09 Live Nation Entertainment, Inc. Generating augmented reality images using sensor and location data
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
JP5885398B2 (ja) * 2011-05-20 2016-03-15 キヤノン株式会社 画像処理装置、画像処理方法
US20130050499A1 (en) * 2011-08-30 2013-02-28 Qualcomm Incorporated Indirect tracking
JP5821526B2 (ja) 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
WO2013078345A1 (en) 2011-11-21 2013-05-30 Nant Holdings Ip, Llc Subscription bill service, systems and methods
US20130159196A1 (en) * 2011-12-20 2013-06-20 Ebay, Inc. Secure PIN Verification for Mobile Payment Systems
US9087403B2 (en) 2012-07-26 2015-07-21 Qualcomm Incorporated Maintaining continuity of augmentations
US9530232B2 (en) * 2012-09-04 2016-12-27 Qualcomm Incorporated Augmented reality surface segmentation
US9336508B2 (en) * 2012-11-02 2016-05-10 Patrick Soon-Shiong Virtual planogram management, systems, and methods
US9953618B2 (en) 2012-11-02 2018-04-24 Qualcomm Incorporated Using a plurality of sensors for mapping and localization
US9159133B2 (en) * 2012-11-05 2015-10-13 Qualcomm Incorporated Adaptive scale and/or gravity estimation
US8880051B2 (en) 2012-11-16 2014-11-04 Intel Corporation Automatic seamless context sharing across multiple devices
US9449340B2 (en) * 2013-01-30 2016-09-20 Wal-Mart Stores, Inc. Method and system for managing an electronic shopping list with gestures
US9910828B2 (en) * 2013-03-12 2018-03-06 Qualcomm Incorporated Spectrometer for personal context
US20140282220A1 (en) * 2013-03-14 2014-09-18 Tim Wantland Presenting object models in augmented reality images
US10509533B2 (en) 2013-05-14 2019-12-17 Qualcomm Incorporated Systems and methods of generating augmented reality (AR) objects
US9904852B2 (en) * 2013-05-23 2018-02-27 Sri International Real-time object detection, tracking and occlusion reasoning
KR102105463B1 (ko) * 2013-09-02 2020-04-28 엘지전자 주식회사 이동 단말기 및 그것의 제어 방법
US10217284B2 (en) 2013-09-30 2019-02-26 Qualcomm Incorporated Augmented virtuality
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
US9298298B2 (en) 2013-12-18 2016-03-29 Microsoft Technology Licensing, Llc Wearable display input system
JP6303550B2 (ja) * 2014-02-03 2018-04-04 ブラザー工業株式会社 表示プログラムおよび表示装置
US9785994B2 (en) 2014-04-10 2017-10-10 Bank Of America Corporation Providing comparison shopping experiences through an optical head-mounted displays in a wearable computer
JP6076304B2 (ja) * 2014-09-29 2017-02-08 京セラドキュメントソリューションズ株式会社 物品情報提供装置、物品情報提供システム、物品情報提供方法及び物品情報提供プログラム
US9626804B2 (en) 2014-05-26 2017-04-18 Kyocera Document Solutions Inc. Article information providing apparatus that provides information of article, article information providing system,and article information provision method
US10537821B2 (en) 2014-06-30 2020-01-21 Microsoft Technology Licensing, Llc Interactive play sets
WO2016041088A1 (en) * 2014-09-19 2016-03-24 Sulon Technologies Inc. System and method for tracking wearable peripherals in augmented reality and virtual reality applications
US9696757B2 (en) 2014-10-08 2017-07-04 Microsoft Corporation Transfer of attributes between generations of characters
US10369477B2 (en) 2014-10-08 2019-08-06 Microsoft Technology Licensing, Llc Management of resources within a virtual world
EP3286718A4 (en) 2015-04-23 2018-12-05 Hasbro, Inc. Context-aware digital play
US10410096B2 (en) * 2015-07-09 2019-09-10 Qualcomm Incorporated Context-based priors for object detection in images
JP2017054185A (ja) * 2015-09-07 2017-03-16 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
US20180349837A1 (en) * 2017-05-19 2018-12-06 Hcl Technologies Limited System and method for inventory management within a warehouse
US11062517B2 (en) * 2017-09-27 2021-07-13 Fisher-Rosemount Systems, Inc. Virtual access to a limited-access object
CN110119194A (zh) * 2018-02-06 2019-08-13 广东虚拟现实科技有限公司 虚拟场景处理方法、装置、交互系统、头戴显示装置、视觉交互装置及计算机可读介质
US10467816B2 (en) 2018-03-23 2019-11-05 Microsoft Technology Licensing, Llc Mixed reality objects
US11244509B2 (en) 2018-08-20 2022-02-08 Fisher-Rosemount Systems, Inc. Drift correction for industrial augmented reality applications
CN112912937A (zh) * 2018-10-31 2021-06-04 米沃奇电动工具公司 空间感知工具系统
CN111223187B (zh) * 2018-11-23 2024-09-24 广东虚拟现实科技有限公司 虚拟内容的显示方法、装置及系统
WO2020113202A1 (en) * 2018-11-30 2020-06-04 University Of Southern California Double-blinded, randomized trial of augmented reality low-vision mobility and grasp aid
US11804014B1 (en) 2019-04-22 2023-10-31 Apple Inc. Context-based application placement
JP6805375B2 (ja) * 2020-01-10 2020-12-23 株式会社東芝 情報処理装置、情報処理方法及び情報処理プログラム
US11816887B2 (en) 2020-08-04 2023-11-14 Fisher-Rosemount Systems, Inc. Quick activation techniques for industrial augmented reality applications
KR102699811B1 (ko) * 2020-08-27 2024-08-29 삼성전자주식회사 증강 현실 컨텐트를 제공하는 전자 장치와 이의 동작 방법

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000066717A (ja) * 1998-08-21 2000-03-03 Toshiba Corp マンマシン・インタフェース装置
US6757068B2 (en) * 2000-01-28 2004-06-29 Intersense, Inc. Self-referenced tracking
US6891518B2 (en) 2000-10-05 2005-05-10 Siemens Corporate Research, Inc. Augmented reality visualization device
DE10297343T5 (de) * 2001-10-22 2005-01-27 University Of Southern California, Los Angeles Erweiterungsfähige Verfolgung durch Linien-Autokalibrierung
US7301547B2 (en) 2002-03-22 2007-11-27 Intel Corporation Augmented reality system
WO2004042662A1 (en) 2002-10-15 2004-05-21 University Of Southern California Augmented virtual environments
GB2399248B (en) 2003-03-07 2006-03-29 British Broadcasting Corp Video production
WO2005094109A1 (en) 2004-03-18 2005-10-06 Nokia Corporation Position-based context awareness for mobile terminal device
WO2005107274A1 (en) 2004-04-28 2005-11-10 Augmented Media Aps A system for generating virtual three dimensional projections
US7295220B2 (en) * 2004-05-28 2007-11-13 National University Of Singapore Interactive system and method
JP4642538B2 (ja) * 2005-04-20 2011-03-02 キヤノン株式会社 画像処理方法および画像処理装置
US8933889B2 (en) 2005-07-29 2015-01-13 Nokia Corporation Method and device for augmented reality message hiding and revealing
CN101369181B (zh) * 2007-08-17 2015-03-04 财团法人工业技术研究院 惯性感测输入控制装置与接收装置及其互动系统
KR100900806B1 (ko) 2007-11-01 2009-06-04 광주과학기술원 컨텍스트 인식 증강 현실을 제공하기 위한 시스템 및 방법
JP2010026818A (ja) * 2008-07-18 2010-02-04 Geisha Tokyo Entertainment Inc 画像処理プログラム、画像処理装置及び画像処理方法
US20120120103A1 (en) * 2010-02-28 2012-05-17 Osterhout Group, Inc. Alignment control in an augmented reality headpiece
US8315674B2 (en) * 2010-10-08 2012-11-20 Research In Motion Limited System and method for displaying object location in augmented reality

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210005048A (ko) * 2018-04-28 2021-01-13 광저우 바이구오얀 네트워크 테크놀로지 컴퍼니 리미티드 이미지 캡처링 방법 및 단말기

Also Published As

Publication number Publication date
CN103443743B (zh) 2016-06-29
EP2671188B1 (en) 2019-05-22
JP2014503923A (ja) 2014-02-13
US8509483B2 (en) 2013-08-13
KR101554797B1 (ko) 2015-09-21
JP5640161B2 (ja) 2014-12-10
CN103443743A (zh) 2013-12-11
WO2012106366A3 (en) 2012-10-26
US20120195460A1 (en) 2012-08-02
WO2012106366A2 (en) 2012-08-09
EP2671188A2 (en) 2013-12-11

Similar Documents

Publication Publication Date Title
KR101554797B1 (ko) 콘텍스트 인식 증강 상호작용
US10109065B2 (en) Using occlusions to detect and track three-dimensional objects
JP6043856B2 (ja) Ｒｇｂｄカメラを用いた頭部ポーズ推定
US9576183B2 (en) Fast initialization for monocular visual SLAM
US20120195461A1 (en) Correlating areas on the physical object to areas on the phone screen
KR20200130472A (ko) 깊이 힌트를 사용하는 깊이 추정 모델의 자가 감독 훈련
US9785836B2 (en) Dataset creation for tracking targets with dynamically changing portions
US20140123507A1 (en) Reference coordinate system determination
US10768711B2 (en) Mediated reality
KR102540594B1 (ko) 단일 이미지로부터의 횡단 가능 공간 판정
US9025823B2 (en) Tracking texture rich objects using rank order filtering
CN110313021B (zh) 增强现实提供方法、装置以及计算机可读记录介质
KR20240124969A (ko) 입력 이미지 데이터로부터의 고속 실시간 장면 재구성
US10650595B2 (en) Mediated reality

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 5