KR20130122978A - 모바일 플랫폼에 대한 사용자의 포지션에 기초하여 교정된 뷰를 제공 - Google Patents

모바일 플랫폼에 대한 사용자의 포지션에 기초하여 교정된 뷰를 제공 Download PDF

Info

Publication number
KR20130122978A
KR20130122978A KR1020137024541A KR20137024541A KR20130122978A KR 20130122978 A KR20130122978 A KR 20130122978A KR 1020137024541 A KR1020137024541 A KR 1020137024541A KR 20137024541 A KR20137024541 A KR 20137024541A KR 20130122978 A KR20130122978 A KR 20130122978A
Authority
KR
South Korea
Prior art keywords
user
mobile platform
image
display information
display
Prior art date
Application number
KR1020137024541A
Other languages
English (en)
Other versions
KR101554798B1 (ko
Inventor
로버트 하워드 킴벌
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20130122978A publication Critical patent/KR20130122978A/ko
Application granted granted Critical
Publication of KR101554798B1 publication Critical patent/KR101554798B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/012—Head tracking input arrangements
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G06F3/005—Input arrangements through a video camera
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Optics & Photonics (AREA)
  • Multimedia (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

모바일 플랫폼은 모바일 플랫폼에 대한 사용자의 포지션에 기초하여 증강 현실 (AR) 데이터 및/또는 이미지의 교정된 뷰를 디스플레이한다. 교정된 뷰는 후방 카메라로부터의 사용자의 이미지를 사용하여 모바일 플랫폼에 대한 사용자의 포지션을 결정함으로써 생성된다. 디스플레이 정보는 전방 카메라로 캡처된 환경의 이미지 또는 비디오 프레임 또는 AR 데이터의 형태로 제공된다. 디스플레이된 정보가 실세계 환경과 정렬되도록 모바일 플랫폼에 대한 사용자의 포지션이 사용되어 사용자와 모바일 플랫폼 간의 가시선과 정렬되는 디스플레이될 디스플레이 정보의 일부분을 결정한다.

Description

모바일 플랫폼에 대한 사용자의 포지션에 기초하여 교정된 뷰를 제공{PROVIDING A CORRECTED VIEW BASED ON THE POSITION OF A USER WITH RESPECT TO A MOBILE PLATFORM}
통상적으로 온 보드 모션 센서들과 함께 위성 포지션 시스템 (SPS), 예컨대 잘 알려진 글로벌 포지셔닝 위성 (GPS) 시스템 또는 글로벌 네비게이션 위성 시스템 (GNSS) 을 사용하여 결정된, 휴대용 전자 디바이스의 로케이션의 지식을 갖고 인에이블된 사용자들 중 하나는 증강 현실 (AR) 애플리케이션들이다. 증강 현실은 컴퓨터 생성된 데이터, 예컨대 그래픽 또는 텍스터 정보와 실세계 화상 (real-world imagery) 을 결합한다. 이미지에서 의도된 객체와 컴퓨터 생성된 데이터를 적절히 정렬하기 위해, 이미징 디바이스의 로케이션이 알려져야 한다. 이미징 디바이스가 고정 포지션을 갖는 경우, 이러한 텔레비전 카메라, 이미징 디바이스의 로케이션은 쉽게 결정될 수 있다. 그러나, 모바일 디바이스를 이용하면 로케이션이 추적되어야 한다.
그러나, AR 애플리케이션들에서 사용된 이미징 디바이스의 로케이션은 카메라와 사용자의 관계를 고려하지 않는다. 따라서, AR 오버레이 데이터가 실세계 이미지와 정렬될 수도 있는 한편, AR 오버레이 데이터 뿐만 아니라 실세계의 이미지는 실세계와 적절히 정렬되지 않을 수도 있다. 도 8 은, 예로써 별들의 이미지 위에 렌더링되는 AR 데이터 (14) 와 함께 북두칠성 별자리에서의 별들의 이미지 (12) 가 도시된 디스플레이 (11) 를 갖는 종래의 모바일 플랫폼 (10) 을 예시한다. 별들의 이미지 (12) 는 모바일 플랫폼 (10) 상의 카메라에 의해 캡처된 이미지 또는 AR 생성된 이미지일 수도 있다. 도 8 은 또한, 북두칠성 별자리의 일부를 형성하는 실세계 별들 (16) 을 예시하는데, 이 중 일부는 모바일 플랫폼 (10) 위에 숨겨진다. 볼 수 있는 바와 같이, 별들의 이미지 (12) 및 AR 이미지 (14) 는 실세계 별들 (16) 과 정렬되지 않는다. 따라서, 디스플레이된 이미지들 및 컴퓨터 생성된 데이터의 실세계와의 정렬은 사용자에게 전가되고, 이들 중 많은 사용자들은 이 태스크가 집중을 방해하고 어렵다는 것을 알게된다.
모바일 플랫폼은 모바일 플랫폼에 대한 사용자의 포지션에 기초하여 증강 현실 (AR) 데이터 및/또는 이미지의 교정된 뷰를 디스플레이한다. 디스플레이될 정보는 전방 카메라로 캡처된 환경의 이미지 또는 비디오 프레임, 뿐만 아니라 AR 데이터, 예컨대 이미지 자체에 의해 또는 그 위에 디스플레이될 수도 있는 텍스트 또는 그래픽들일 수도 있다. 교정된 뷰는 전방 카메라로부터의 사용자의 이미지를 사용하여 모바일 플랫폼에 대한 사용자의 포지션을 결정함으로써 생성된다. 예를 들어, 이미지 내의 사용자의 포지션은 모바일 플랫폼에 대한 사용자의 포지션 및 사용자와 모바일 플랫폼 간의 가시선 (line of sight) 을 결정하는데 사용될 수 있다. 디스플레이된 정보가 실세계 환경과 정렬되기 위해 디스플레이된 AR 정보가 사용자와 모바일 플랫폼 간의 가시선과 정렬되도록, 모바일 플랫폼에 대한 사용자의 포지션이 사용되어 모바일 플랫폼과 정렬되는 디스플레이될 디스플레이 정보의 일부분을 결정한다. 부가적으로, 사용자와 모바일 플랫폼 간의 거리는 디스플레이될 디스플레이 정보의 일부분을 결정하는데 사용될 수도 있다. 사용자와 모바일 플랫폼 간의 거리는, 예를 들어 이미지 내의 사용자의 바이오메트릭 분석을 사용하여 결정될 수도 있다.
도 1a 및 도 1b 는 모바일 플랫폼에 대한 사용자의 포지션에 기초하여 디스플레이 정보의 교정된 뷰를 디스플레이할 수 있는 모바일 플랫폼의 전면 및 후면을 각각 예시한다.
도 2 는 종래의 모바일 플랫폼, 사용자, 및 환경의 상면도를 예시하고, 여기서 모바일 플랫폼은 가시선에 수직으로 유지된다.
도 3 은 종래의 모바일 플랫폼, 사용자, 및 환경의 다른 상면도를 예시하고, 여기서 모바일 플랫폼은 디스플레이된 이미지가 사용자의 가시선과 정렬되지 않도록 가시선에 대하여 회전되어 유지된다.
도 4 는 모바일 플랫폼, 사용자, 및 환경의 상면도를 예시하고, 여기서 모바일 플랫폼은 가시선에 대하여 회전되어 유지되지만 모바일 플랫폼은 가시선과 정렬되는 환경의 이미지를 디스플레이하도록 뷰를 교정한다.
도 5 는 모바일 플랫폼의 전방 카메라에 의해 캡처된 환경의 이미지를 예시하고, 모바일 플랫폼에 의해 디스플레이되는 이미지를 형성하도록 도 4 의 사용자의 가시선과 정렬되는 이미지의 크롭된 부분을 나타낸다.
도 6 및 도 7 은 도 4 와 유사한 모바일 플랫폼을 예시하고, 여기서 사용자와 모바일 플랫폼 간의 거리가 결정되어 디스플레이된 이미지의 시야를 조정하도록 사용된다.
도 8 은 실세계 환경에 대해 정렬되지 않은 증강 현실 데이터 및 이미지를 갖는 종래의 모바일 플랫폼을 예시한다.
도 9 는 디스플레이된 이미지 및 증강 현실 데이터가 실세계 환경에 대해 정렬되도록 모바일 플랫폼에 대한 사용자의 포지션에 기초하여 디스플레이되는 뷰를 교정하는 모바일 플랫폼을 예시한다.
도 10 은 모바일 플랫폼에 대한 사용자의 포지션에 기초하여 디스플레이되는 뷰를 교정하는 모바일 플랫폼의 블록도이다.
도 11 은 모바일 플랫폼에 대한 사용자의 포지션에 기초하여 모바일 플랫폼의 디스플레이에 의해 디스플레이되는 뷰를 교정하는 방법을 나타내는 플로우차트이다.
도 1a 및 도 1b 는 모바일 플랫폼 (100) 에 대한 사용자의 포지션에 기초하여 디스플레이 정보의 교정된 뷰를 디스플레이할 수 있는, 모바일 플랫폼 (100) 의 전면 및 후면을 각각 예시한다. 디스플레이 정보는 모바일 플랫폼에 의해 캡처된 환경의 이미지를 포함할 수도 있는데, 여기서 캡처된 이미지는 단일 이미지, 예를 들어 사진, 또는 비디오의 하나 이상의 프레임들을 포함한다. 디스플레이 정보는 또한 또는 대안으로, 증강 현실 (augmented reality; AR) 데이터, 예컨대 모바일 플랫폼에 의해 디스플레이되도록 렌더링되는 텍스트 또는 그래픽들을 포함할 수도 있다. 디스플레이되는 정보의 뷰를 교정함으로써, 디스플레이 정보, 예를 들어 캡처된 이미지 및/또는 AR 데이터는 실세계 환경과 정렬된다.
본원에 사용된 바와 같이, 모바일 플랫폼은 임의의 휴대용 전자 디바이스, 예컨대 셀룰러 또는 다른 무선 통신 디바이스, 개인 통신 시스템 (PCS) 디바이스, 개인 네비게이션 디바이스 (PND), 개인 정보 매니저 (PIM), 개인 휴대 정보 단말기 (PDA), 또는 다른 적합한 모바일 디바이스를 지칭한다. 모바일 플랫폼은 무선 통신 및/또는 네비게이션 신호들, 예컨대 네비게이션 포지셔닝 신호들을 수신할 수도 있다. 용어 "모바일 플랫폼" 은 또한, 위성 신호 수신, 보조 데이터 수신, 및/또는 포지션-관련 프로세싱이 디바이스에서 또는 PND 에서 발생하는지 여부에 관계없이 예컨대 단거리 무선, 적외선, 유선 접속, 또는 다른 접속에 의해 개인 네비게이션 디바이스 (PND) 와 통신하는 디바이스들을 포함하도록 의도된다. 또한, "모바일 플랫폼" 은 AR 일 수 있는 무선 통신 디바이스들, 컴퓨터들, 랩톱들, 태블릿 컴퓨터들 등을 포함하는 모든 전자 디바이스들을 포함하도록 의도된다.
모바일 플랫폼 (100) 은 하우징 (101), 터치 스크린 디스플레이일 수도 있는 디스플레이 (102), 뿐만 아니라 스피커 (104) 및 마이크로폰 (106) 을 포함하는 것으로서 예시된다. 모바일 플랫폼 (100) 은 환경을 이미징하기 위한 전방 카메라 (112) 및 사용자를 이미징하기 위한 후방 카메라 (110) 를 더 포함한다. 후방 카메라 (110) 로부터의 사용자의 이미지에 기초하여, 사용자에 대한 모바일 플랫폼 (100) 의 배향이 결정될 수 있고, 이로부터 사용자와 모바일 플랫폼 (100) 간의 가시선 및/또는 디스플레이될 원하는 시야가 결정될 수도 있다. 모바일 플랫폼 (100) 에 대한 사용자의 포지션에 기초하여, 디스플레이 (102) 상에 디스플레이될 디스플레이 정보는, 그것이 실세계에 대하여 정렬되도록 교정될 수도 있다.
도 2 는 종래의 모바일 플랫폼 (10)(이 뷰에서 축소됨) 및 사용자 (120) 의 상면도를 예시하고, 또한 모바일 플랫폼 (10) 에 의해 이미징되는 실세계 환경을 문자들 "A", "B", 및 "C" 로서 예시한다. 도 2 는 또한, 전방 카메라 (112)(도 1b) 의 시야 (113) 를 예시한다. 사용자 (120) 와 모바일 플랫폼 (10) 간의 가시선 (122) 은 사용자 (120) 로부터 모바일 플랫폼 (10) 을 통해 문자 "B" 를 가로지르는 환경 (130) 으로 연장되는 점선으로 예시된다. 도 2 에서, 모바일 플랫폼 (10) 은, 모바일 플랫폼 (10) 이 가시선 (122) 에 대해 수직, 즉 θ=90°로 유지되도록 비-회전 방식으로 유지된다. 다시 말하면, 카메라 (112) 의 시야 (113) 및 사용자 (120) 의 가시선 (122) 이 정렬된다. 따라서, 디스플레이 (102) 상에 보여지는 환경 (130) 의 일부분은 디스플레이된 이미지 (123) 로서 나타나는 문자 "B" 에 의해 예시된 바와 같이 가시선 (122) 을 따른다.
도 3 은 종래의 모바일 플랫폼 (10), 사용자 (120) 및 환경 (130) 의 다른 상면도를 예시하는데, 이 모바일 플랫폼 (10) 은 모바일 플랫폼 (10) 이 가시선 (122) 에 수직이 아니도록, 즉 θ≠90°이도록 사용자 (120) 의 가시선 (122) 에 대한 회전된다. 도 3 에서 볼 수 있는 바와 같이, 모바일 플랫폼이 가시선 (122) 에 대하여 회전되는 경우, 사용자 (120) 의 가시선 (122) 이 환경 (130) 의 상이한 부분, 즉 문자 "B" 를 향하더라도 생성된 디스플레이된 이미지 (125) 는 시야 (113), 이 예에서, 문자 "A" 상에서 센터링된다. 따라서, 디스플레이된 이미지 (125) 는 사용자 (120) 의 관점에서 실세계 환경 (130) 과 정렬되지 않는다.
도 4 는 모바일 플랫폼 (100) 에 대한 사용자 (120) 의 포지션에 기초하여 교정된 뷰를 디스플레이할 수 있는 모바일 플랫폼 (100) 의 상면도를 예시한다. 도 4 는 도 3 과 유사하지만, 사용자 (120) 를 이미징하는 후방 카메라 (110) 의 시야 (111) 를 예시한다. 후방 카메라 (110) 로부터의 사용자 (120) 의 이미지를 사용하면, 모바일 플랫폼 (100) 은 모바일 플랫폼 (100) 에 대하여 사용자 (120) 의 포지션을 결정할 수 있다. 모바일 플랫폼 (100) 에 대한 사용자 (120) 의 포지션에 기초하여, 사용자 (120) 와 모바일 플랫폼 (100) 간의 가시선 (122) 을 따르는 환경 (130) 의 일부분이 결정 및 디스플레이될 수도 있다. 예를 들어, 안면 인식을 사용하여, 모바일 플랫폼 (100) 은 후방 카메라 (110) 에 의해 생성된 이미지에서 사용자 (120) 의 포지션을 결정할 수 있다. 도 4 에 도시된 바와 같이, 사용자 (120) 는 각도 φ 만큼, 라인 (124) 에 의해 나타낸 시야 (111) 의 센터에서 벗어난다. 시야 (111) 의 센터 라인 (124) 은, 예를 들어 안면 인식에 기초하여 쉽게 발견될 수 있는 사용자 (120) 의 눈들 사이의 센터 포인트에 기초할 수도 있다. 따라서, 가시선 (122) 은 반대 방향에서 대략 동일한 각도 φ 만큼 전방 카메라 (112) 의 시야 (114) 로부터 센터를 벗어난다. 사용자 (120) 의 센터를 벗어난 (off-center) 각도 φ, 또는 동등하게 이미지 내의 사용자의 포지션, 또는 가시선 (122) 을 사용하여, 모바일 플랫폼 (100) 은 디스플레이되는 환경 (130) 의 일부분이 디스플레이된 이미지 (126) 로서 나타나는 문자 "B" 에 의해 예시된 가시선 (122) 과 정렬되도록 카메라 (112) 의 시야에 의해 캡처된 이미지를 교정할 수 있다. 디스플레이된 이미지 (126) 는, 예를 들어 카메라 (112) 에 의해 캡처된 이미지를 크롭함으로써 생성될 수도 있다. 다시 말하면, 카메라 (112) 에 의해 캡처된 전체 이미지를 디스플레이하는 대신에, 이미지가 크롭되어 가시선 (122) 에 정렬되는, 즉 이 선 상에서 센터링되는 일부분 만을 디스플레이한다. 예로써, 도 5 는 카메라 (112) 의 시야 (114) 에서 환경 (130) 의 일부분의 전체 캡처된 이미지 (128) 를 예시하고 디스플레이된 이미지 (126) 를 형성하는 가시선 (122) 과 정렬되는 이미지의 크롭된 부분을 나타낸다. 모바일 플랫폼 (100) 은 수직 회전, 즉 피치 또는 고도에서의 변화에 대한 모바일 플랫폼 (100) 의 뷰를 동일한 방식으로 교정할 수도 있다.
따라서, 디스플레이될 시야, 즉 가시선 (122) 과 정렬되는 이미지의 일부분은 사용자 (120) 와 모바일 플랫폼 (100) 간의 거리에 기초하여 조정될 수도 있다. 도 6 및 도 7 은, 예를 들어 도 4 와 유사한 모바일 플랫폼 (100) 을 예시하고, 여기서 사용자 (120) 와 모바일 플랫폼 (100) 간의 거리가 결정되어 디스플레이된 시야를 조정하는데 사용된다. 예를 들어, 도 6 은 사용자 (120) 와 모바일 플랫폼 (100) 간의 보다 큰 거리 (D1) 를 나타내고, 따라서 디스플레이된 이미지 (128) 를 초래하는 상대적으로 좁은 시야 (116) 를 나타내는 한편, 도 7 은 사용자 (120) 와 모바일 플랫폼 (100) 간의 보다 좁은 거리 (D2) 를 나타내고 따라서 상이한 디스플레이된 이미지 (129) 를 초래하는 상대적으로 더 넓은 시야 (118) 를 나타낸다. 사용자 (120) 와 모바일 플랫폼 (100) 간의 거리는, 눈들 간의 조절 또는 추정된 거리 또는 사용자 (120) 머리의 폭에 기초하여 예를 들어 카메라의 오토포커스 거리계를 사용하거나 바이오메트릭 분석을 사용하여 결정될 수도 있다. 바이오메트릭의 사용으로, 1 회의 캘리브레이션 절차가 수행되어 특정 뷰어에 대한 거리를 정확하게 결정할 수도 있고, 여기서 캘리브레이션 데이터는 안면 인식을 사용하는 뷰어의 아이덴티티와 연관될 수 있다. 예를 들어, 다른 센서를 사용하여 모바일 플랫폼 (100) 에서 사용자 (120) 까지의 거리를 결정하는 다른 방법들이 또한 또는 대안으로 사용될 수도 있다. 따라서, 디스플레이될 가시선 (122) 상에서 센터링된 환경 (130) 의 일부분은 사용자 (120) 와 모바일 플랫폼 (100) 간의 거리를 사용하여 결정된다.
도 9 는 전술된 도 8 와 유사하지만, 모바일 플랫폼 (100) 이 실세계 환경에 대하여 교정된 뷰를 디스플레이하는 것을 나타낸다. 도 8 과 유사하게, 도 9 는 북두칠성 별자리를 형성하는 실세계 별들 (16) 을 예시하고, 이중 일부는 모바일 플랫폼 (100) 뒤에 숨겨진다. 도 9 는 또한, 이미지 (200) 및 AR 데이터 (202) 가 실세계 별들 (16) 과 정렬되도록 모바일 플랫폼 (100) 에 대한 사용자의 포지션에 기초하여, 그래픽 및 텍스트를 포함하는 별들의 이미지 (200) 및 AR 데이터 (202) 의 교정된 뷰를 나타낸다. 별들의 이미지 (200) 는 카메라 (112) 에 의해 캡처된 이미지일 수도 있고, 또는 AR 생성된 이미지일 수도 있다.
도 10 은 디스플레이된 정보, 즉 캡처된 이미지 및/또는 AR 데이터가 실세계 환경과 정렬되도록 모바일 플랫폼 (100) 에 대한 사용자의 포지션에 기초하여 뷰를 교정하는 모바일 플랫폼 (100) 의 블록도이다. 모바일 플랫폼 (100) 은 전방 카메라 (112) 및 후방 카메라 (110) 뿐만 아니라 이 카메라들 (110, 112) 에 의해 캡처된 이미지들을 디스플레이할 수 있는 디스플레이 (102) 를 포함하는 사용자 인터페이스 (150) 를 포함한다. 사용자 인터페이스 (150) 는 또한, 사용자가 모바일 플랫폼 (100) 안에 정보를 입력할 수 있는 키패드 (152) 또는 다른 입력 디바이스를 포함할 수도 있다. 원한다면, 키패드 (152) 는 가상 키패드를 터치 센서가 있는 디스플레이 (102) 안에 통합함으로써 제거될 수도 있다. 사용자 인터페이스 (150) 는 또한, 예를 들어 모바일 플랫폼이 셀룰러 전화기이면 마이크로폰 (106) 및 스피커 (104) 를 포함할 수도 있다.
모바일 플랫폼 (100) 은, 예를 들어 SPS 시스템으로부터 포지셔닝 신호들을 수신할 수 있는 위성 포지셔닝 시스템 (SPS) 수신기 (159) 및 가속도계, 자이로스코프, 전자 콤파스, 또는 다른 유사한 모션 감지 엘리먼트들을 포함하는 모션 센서 (158) 와 같은 AR 애플리케이션에 도움이 될 수도 있는 추가의 피처들을 선택적으로 포함할 수도 있다. 모바일 플랫폼 (100) 은 "컴퓨터 비전" 기법들을 사용하는 객체 인식과 같은 다른 포지션 결정 방법들을 포함할 수도 있다. 물론, 모바일 플랫폼 (100) 은 무선 트랜시버와 같은 본 개시물에 관련되지 않은 다른 엘리먼트들을 포함할 수도 있다.
모바일 플랫폼 (100) 은 또한, 사용된다면 모션 센서 (158) 및 SPS 수신기 (159) 와 같은 다른 피처들과 함께, 카메라들 (110 및 112) 및 사용자 인터페이스 (150) 에 접속되고 이와 통신하는 제어 유닛 (160) 을 포함한다. 제어 유닛 (160) 은 카메라들 (110 및 112) 로부터 데이터를 수락 및 프로세싱하고, 응답으로 디스플레이 (102) 를 제어한다. 제어 유닛 (160) 은 프로세서 (161) 에 의해 제공되고, 메모리 (164), 하드웨어 (162), 소프트웨어 (165) 및 펌웨어 (163) 와 연관될 수도 있다. 이동국 (100) 은 후방 카메라 (110) 로부터의 이미지에서 사용자의 포지션을 식별하기 위해 안면 인식 유닛 (167) 및 카메라들 (110 및 112) 로부터의 이미지들을 프로세싱하는 이미지 프로세서 (166) 를 포함할 수도 있다. 제어 유닛 (160) 은 그래픽 엔진 (155) 을 더 포함할 수도 있는데, 이 엔진은 예를 들어, 디스플레이 (102) 에서 원하는 AR 데이터를 렌더링하기 위한 게이밍 엔진일 수도 있다. 이미지 프로세서 (166) 및 안면 인식 유닛 (167) 은 함께 모바일 플랫폼 (100) 에 대한 사용자의 포지션을 결정하는데 사용될 수도 있는 한편, 이미지 프로세서 (166) 는 그 후 전방 카메라 (112) 로부터의 이미지를 적절하게 변형하는데 사용될 수도 있다. 그래픽 엔진 (155) 은 모바일 플랫폼 (100) 에 대한 사용자의 포지션에 기초하여 사용자의 가시선과 정렬된 시야 내에 있는 스토리지로부터 (예를 들어, 메모리 (164) 내에서) AR 데이터를 취출할 수도 있다. 이미지 프로세서 (166), 안면 인식 유닛 (167) 및 그래픽 엔진은 명확함을 위해 프로세서 (161) 로부터 별개로 예시되었으나, 프로세서 (161) 의 일부이거나 프로세서 (161) 에서 실행되는 소프트웨어 (165) 에서의 명령들에 기초하여 프로세서에서 구현될 수도 있다. 본원에서 사용된 바와 같이, 프로세서 (161) 는 하나 이상의 마이크로프로세서들, 임베딩된 프로세서들, 제어기들, 주문형 집적 회로들 (ASICs), 디지털 신호 프로세서들 (DSPs) 등을 포함할 수도 있으나 반드시 포함할 필요는 없다. 용어 프로세서는 특정 하드웨어 이외에 시스템에 의해 구현된 기능들을 설명하도록 의도된다. 더욱이, 본원에 사용된 바와 같이 용어 "메모리" 는 장기, 단기, 또는 모바일 플랫폼과 연관된 다른 메모리를 포함하는 컴퓨터 저장 매체의 임의의 유형을 지칭하지만, 메모리의 임의의 특정 유형 또는 메모리들의 수, 또는 메모리가 저장되는 매체의 유형에 제한되지 않는다. 본원에서, 문구 "A 및 B 중 적어도 하나" 는 적어도 하나의 A, 적어도 하나의 B, 또는 A 및 B 의 일부 조합을 의미한다.
본원에 설명된 방법론들은 애플리케이션에 따라 각종 수단에 의해 구현될 수도 있다. 예를 들어, 이들 방법론들은 하드웨어 (162), 펌웨어 (163), 소프트웨어 (165), 또는 이들의 임의의 조합으로 구현될 수도 있다. 하드웨어 구현에 있어서, 프로세싱 유닛들은 하나 이상의 주문형 집적 회로들 (ASICs), 디지털 신호 프로세서들 (DSPs), 디지털 신호 프로세싱 디바이스들 (DSPDs), 프로그래머블 로직 디바이스들 (PLDs), 필드 프로그래머블 게이트 어레이들 (FPGAs), 프로세서들, 제어기들, 마이크로-제어기들, 마이크로프로세서들, 전자 디바이스들, 본원에 설명된 기능들을 수행하도록 설계된 다른 전자 유닛들, 또는 이들의 조합 내에서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어 구현에 있어서, 방법론들은 본원에 설명된 기능들을 수행하는 모듈들 (예를 들어, 절차들, 기능들 등) 로 구현될 수도 있다. 명령들을 유형적으로 수록하는 임의의 머신 판독가능 매체가 본원에 설명된 방법론들을 구현하는데 사용될 수도 있다. 예를 들어, 소프트웨어 코드들은 메모리 (164) 에 저장될 수도 있고 프로세서 (161) 에 의해 실행될 수도 있다. 메모리는 프로세서 (161) 내에서 또는 그 외부에서 구현될 수도 있다.
펌웨어 및/또는 소프트웨어에서 구현되면, 기능들은 컴퓨터 판독가능 매체 제조사들 상의 하나 이상의 명령들 또는 코드로서 저장될 수도 있다. 예들은 데이터 구조로 인코딩된 컴퓨터 판독가능 매체 및 컴퓨터 프로그램으로 인코딩된 컴퓨터 판독가능 매체를 포함한다. 컴퓨터 판독가능 매체는 물리적 컴퓨터 저장 매체를 포함한다. 저장 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 이용 가능한 매체일 수도 있다. 비제한적인 예로써, 이러한 컴퓨터 판독가능 매체는 RAM, ROM, 플래시 메모리, EEPROM, CD-ROM 또는 다른 광학 디스크 스토리지, 자기 디스크 스토리지 또는 다른 자기 스토리지 디바이스들, 또는 컴퓨터에 의해 액세스될 수 있고 명령들이나 데이터 구조들의 형태로 원하는 프로그램 코드를 저장하는데 사용될 수 있는 임의의 다른 매체를 포함할 수 있는데; 본원에 사용된 바와 같은 디스크 및 디스크 (disk and disc) 는 컴팩트 디스크 (CD), 레이저 디스크, 광학 디스크, 디지털 다기능 디스크 (DVD), 플로피 디스크 및 블루-레이 디스크를 포함하고, 여기서 디스크 (disk) 들은 보통 데이터를 자기적으로 재생하는 반면에, 디스크 (disc) 들은 레이저를 이용하여 데이터를 광학적으로 재생한다. 상기의 조합들은 또한, 컴퓨터 판독가능 매체의 범위 내에 포힘되어야 한다.
도 11 은 디스플레이된 정보가 실세계 환경과 정렬되도록 모바일 플랫폼에 대한 사용자의 포지션에 기초하여 디스플레이된 뷰를 교정하는 방법을 나타내는 플로우차트이다. 도 11 에 예시된 바와 같이, 모바일 플랫폼에 대한 사용자의 포지션이 결정된다 (302). 상기에서 논의된 바와 같이, 모바일 플랫폼에 대한 사용자의 포지션은 후방 카메라 (110) 로 사용자 (120) 를 이미징함으로써 결정될 수도 있다. 이미지에서 사용자 (120) 의 포지션이 결정되고, 이로부터 모바일 플랫폼에 대한 사용자의 포지션이 예를 들어, 센터를 벗어난 각도 φ 또는 다른 것으로서 결정될 수도 있다.
환경에 대한 디스플레이 정보가 제공되고 (304), 이는 예를 들어 디스플레이 상에 렌더링되는 AR 데이터 및/또는 전방 카메라 (112) 에 의해 캡처된 바와 같은 환경의 이미지일 수도 있다. 모바일 플랫폼에 대한 사용자의 포지션은 사용자와 모바일 플랫폼 간의 가시선과 정렬되는 디스플레이될 디스플레이 정보의 일부분을 결정하는데 사용된다 (306). 예를 들어, 전술된 바와 같이, 환경의 이미지의 일부분은, 사용자와 모바일 플랫폼 간의 가시선과 정렬되는 이미지의 일부분이 보유되면서 이미지의 나머지가 제거되도록 크롭될 수도 있다. AR 데이터에 대해, 디스플레이될 AR 데이터의 일부분에 대한 시야는 모바일 플랫폼 (100) 에 대한 사용자의 포지션, 뿐만 아니라 예를 들어 SPS 수신기 (159) 및 온-보드 모션 센서 (158) (도 10) 에 기초하여 결정될 수도 있는, 글로벌 레퍼런스 프레임에 대한 모바일 플랫폼 (100) 의 포지션 및 배향에 기초하여 결정될 수도 있다. 시야는 시야 내의 임의의 AR 데이터를 취출하기 위해 예를 들어 메모리 (164) 에 저장된 데이터베이스로 패스된다. AR 데이터는 그 후, 디스플레이를 위해 포맷된 후 캡처된 이미지 상에 오버레이되거나 디스플레이 (102) 상에 단순히 디스플레이된다 (노 오버레이).
사용자 (120) 의 가시선을 따라 있는 디스플레이 정보의 일부분은 그 후 디스플레이 (102) 상에 디스플레이된다 (308). 따라서, 모바일 플랫폼 (100) 이 가시선에 수직하지 않은 경우, 즉 모바일 플랫폼이 가시선을 따르지 않는 방향을 면하는 경우, 디스플레이된 이미지는 가시선과 정렬될 것이다.
본 발명은 교육용 목적들을 위해 특정 실시형태들과 관련하여 예시되었으나, 본 발명은 이에 제한되지 않는다. 본 발명의 범위를 벗어남 없이 각종 적응들 및 변형들이 이루어질 수도 있다. 따라서, 첨부된 청구항들의 사상 및 범위는 상기 상세한 설명에 제한되지 않는다.

Claims (23)

  1. 모바일 플랫폼에 대한 사용자의 포지션을 결정하는 단계;
    환경에 대한 디스플레이 정보를 제공하는 단계로서, 상기 디스플레이 정보는 상기 환경의 이미지 및 증강 현실 데이터 중 적어도 하나를 포함하는, 상기 디스플레이 정보를 제공하는 단계;
    상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 사용하여 상기 사용자와 상기 모바일 플랫폼 간의 가시선 (line of sight) 과 정렬되는 디스플레이하기 위한 상기 디스플레이 정보의 일부분을 결정하는 단계; 및
    상기 모바일 플랫폼이 상기 가시선을 따르지 않는 방향을 면하는 경우 상기 사용자와 상기 모바일 플랫폼 간의 상기 가시선과 정렬되는 상기 디스플레이 정보의 상기 일부분을 디스플레이하는 단계를 포함하는, 방법.
  2. 제 1 항에 있어서,
    상기 사용자와 상기 모바일 플랫폼 간의 상기 가시선과 정렬되는 상기 디스플레이 정보의 상기 일부분을 디스플레이하는 단계는, 상기 이미지의 일부분을 디스플레이하는 단계, 증강 현실 데이터를 디스플레이하는 단계, 및 상기 이미지의 상기 일부분 위에 증강 현실 데이터를 디스플레이하는 단계 중 적어도 하나를 포함하는, 방법.
  3. 제 1 항에 있어서,
    상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 결정하는 단계는,
    상기 모바일 플랫폼 상의 후방 카메라로 상기 사용자의 이미지를 캡처하는 단계; 및
    상기 사용자의 상기 이미지를 분석하여 상기 이미지 내의 상기 사용자의 포지션을 결정하는 단계를 포함하는, 방법.
  4. 제 1 항에 있어서,
    상기 모바일 플랫폼과 상기 사용자 간의 거리를 결정하는 단계; 및
    상기 모바일 플랫폼과 상기 사용자 간의 상기 거리를 사용하여 디스플레하기 위한 상기 디스플레이 정보의 상기 일부분을 또한 결정하는 단계를 더 포함하고,
    상기 모바일 플랫폼과 상기 사용자 간의 상기 거리가 감소되는 경우 상기 디스플레이 정보의 증가된 부분이 디스플레이되는, 방법.
  5. 제 4 항에 있어서,
    상기 모바일 플랫폼과 상기 사용자 간의 상기 거리를 결정하는 단계는,
    상기 모바일 플랫폼 상의 후방 카메라로 상기 사용자의 이미지를 캡처하는 단계; 및
    바이오메트릭스를 사용하여 상기 사용자의 상기 이미지를 분석하여, 상기 모바일 플랫폼과 상기 사용자 간의 상기 거리를 결정하는 단계를 포함하는, 방법.
  6. 제 1 항에 있어서,
    상기 환경에 대한 디스플레이 정보를 제공하는 단계는 상기 모바일 플랫폼 상의 전방 카메라로 상기 환경의 이미지를 캡처하는 단계를 포함하는, 방법.
  7. 제 6 항에 있어서,
    상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 사용하여 디스플레이하기 위한 상기 디스플레이 정보의 일부분을 결정하는 단계는, 상기 환경의 상기 이미지를 크롭하여 상기 가시선과 정렬되는 상기 이미지의 상기 일부분을 생성하는 단계를 포함하는, 방법.
  8. 제 1 항에 있어서,
    상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 사용하여 디스플레이하기 위한 상기 디스플레이 정보의 일부분을 결정하는 단계는, 상기 모바일 플랫폼의 포지션 및 배향, 및 상기 모바일 플랫폼에 대한 상기 사용자의 포지션에 기초하여 시야를 결정하는 단계, 및 상기 시야에 기초하여 증강 현실 데이터를 취출하는 단계를 포함하는, 방법.
  9. 제 1 항에 있어서,
    상기 모바일 플랫폼은 상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 결정하기 위해 상기 환경의 이미지를 캡처하기 위한 전방 카메라 및 상기 사용자의 이미지를 캡처하기 위한 후방 카메라를 포함하는, 방법.
  10. 전방 카메라;
    후방 카메라;
    상기 전방 카메라 및 상기 후방 카메라로부터 데이터를 수신하도록 접속된 프로세서;
    상기 프로세서에 접속된 메모리;
    상기 메모리에 접속된 디스플레이; 및
    상기 메모리에 유지되고, 상기 프로세서로 하여금, 상기 후방 카메라에 의해 캡처된 사용자의 이미지에 기초하여 모바일 플랫폼에 대한 상기 사용자의 포지션을 결정하게 하고, 환경에 대한 디스플레이 정보를 제공하게 하고, 상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 사용하여 상기 사용자와 상기 모바일 플랫폼 간의 가시선과 정렬되는 디스플레이하기 위한 상기 디스플레이 정보의 일부분을 결정하게 하며, 상기 디스플레이 정보의 상기 일부분을 상기 디스플레이 상에 디스플레이하게 하도록 상기 프로세서에서 실행되는 소프트웨어를 포함하고,
    상기 디스플레이 정보는 상기 후방 카메라에 의해 캡처된 상기 환경의 이미지 및 증강 현실 데이터 중 적어도 하나를 포함하는, 모바일 플랫폼.
  11. 제 10 항에 있어서,
    디스플레이되는 상기 디스플레이 정보의 상기 일부분은, 상기 이미지의 일부분, 증강 현실 데이터, 및 상기 이미지의 상기 일부분 위의 증강 현실 데이터 중 적어도 하나를 포함하는, 모바일 플랫폼.
  12. 제 10 항에 있어서,
    상기 소프트웨어는, 상기 프로세로 하여금 상기 사용자의 상기 이미지를 분석하여 상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 결정하게 하는, 모바일 플랫폼.
  13. 제 12 항에 있어서,
    상기 소프트웨어는, 상기 프로세로 하여금 바이오메트릭스를 사용하여 상기 사용자의 상기 이미지를 분석하여 상기 모바일 플랫폼과 상기 사용자 간의 거리를 결정하게 하고, 상기 모바일 플랫폼과 상기 사용자 간의 상기 거리를 사용하여 디스플레하기 위한 상기 디스플레이 정보의 상기 일부분을 또한 결정하게 하며,
    상기 모바일 플랫폼과 상기 사용자 간의 상기 거리가 감소되는 경우 상기 디스플레이 정보의 증가된 부분이 디스플레이되는, 모바일 플랫폼.
  14. 제 10 항에 있어서,
    상기 소프트웨어는, 상기 프로세로 하여금 상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 사용하여, 상기 이미지를 크롭함으로써 디스플레이하기 위한 상기 디스플레이 정보의 일부분을 결정하여 상기 가시선과 정렬되는 상기 이미지의 상기 일부분을 생성하게 하는, 모바일 플랫폼.
  15. 제 12 항에 있어서,
    상기 프로세로 하여금 상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 사용하여 디스플레이하기 위한 상기 디스플레이 정보의 일부분을 결정하게 하는 상기 소프트웨어는, 상기 모바일 플랫폼의 포지션 및 배향, 및 상기 모바일 플랫폼에 대한 상기 사용자의 포지션에 기초하여 시야를 결정하게 하는 소프트웨어를 포함하고,
    상기 소프트웨어는, 상기 프로세서로 하여금 상기 시야에 기초하여 증강 현실 데이터를 취출하게 하는, 모바일 플랫폼.
  16. 모바일 플랫폼에 대한 사용자의 포지션을 결정하기 위한 수단;
    환경에 대한 디스플레이 정보를 제공하기 위한 수단으로서, 상기 디스플레이 정보는 상기 환경의 이미지 및 증강 현실 데이터 중 적어도 하나를 포함하는, 상기 디스플레이 정보를 제공하기 위한 수단;
    상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 사용하여 상기 사용자와 상기 모바일 플랫폼 간의 가시선과 정렬되는 디스플레이하기 위한 상기 디스플레이 정보의 일부분을 결정하기 위한 수단; 및
    상기 모바일 플랫폼이 상기 가시선을 따르지 않는 방향을 면하는 경우 상기 사용자와 상기 모바일 플랫폼 간의 상기 가시선과 정렬되는 상기 디스플레이 정보의 상기 일부분을 디스플레이하기 위한 수단을 포함하는, 시스템.
  17. 제 16 항에 있어서,
    상기 사용자와 상기 모바일 플랫폼 간의 상기 가시선과 정렬되는 상기 디스플레이 정보의 상기 일부분을 디스플레이하기 위한 수단은, 상기 이미지의 일부분, 증강 현실 데이터, 및 상기 이미지의 상기 일부분 위의 증강 현실 데이터 중 적어도 하나를 디스플레이하는, 시스템.
  18. 제 16 항에 있어서,
    상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 결정하기 위한 수단은,
    상기 모바일 플랫폼 상의 후방 카메라로 상기 사용자의 이미지를 캡처하기 위한 수단; 및
    상기 사용자의 상기 이미지를 분석하여 상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 결정하기 위한 수단을 포함하는, 시스템.
  19. 제 16 항에 있어서,
    상기 모바일 플랫폼과 상기 사용자 간의 거리를 결정하기 위한 수단; 및
    상기 모바일 플랫폼과 상기 사용자 간의 상기 거리를 사용하여 디스플레하기 위한 상기 디스플레이 정보의 상기 일부분을 결정하기 위한 수단을 더 포함하고,
    상기 모바일 플랫폼과 상기 사용자 간의 상기 거리가 감소되는 경우 상기 디스플레이 정보의 증가된 부분이 디스플레이되는, 시스템.
  20. 제 19 항에 있어서,
    상기 모바일 플랫폼과 상기 사용자 간의 상기 거리를 결정하기 위한 수단은,
    상기 모바일 플랫폼 상의 후방 카메라로 캡처하는 상기 사용자의 이미지를 바이오메트릭하게 분석하여, 상기 모바일 플랫폼과 상기 사용자 간의 상기 거리를 결정하기 위한 수단을 포함하는, 시스템.
  21. 프로그램 코드를 포함하는 비일시적 컴퓨터 판독가능 매체로서,
    상기 프로그램 코드는 컴퓨터에 의해 실행 시, 상기 컴퓨터로 하여금 동작을 수행하게 하고,
    상기 프로그램 코드는,
    후방 카메라에 의해 캡처된 사용자의 이미지에 기초하여 모바일 플랫폼에 대한 상기 사용자의 포지션을 결정하기 위한 프로그램 코드;
    환경에 대한 디스플레이 정보를 제공하기 위한 프로그램 코드로서, 상기 디스플레이 정보는 후방 카메라에 의해 캡처된 상기 환경의 이미지 및 증강 현실 데이터 중 적어도 하나를 포함하는, 상기 디스플레이 정보를 제공하기 위한 프로그램 코드;
    상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 사용하여 상기 사용자와 상기 모바일 플랫폼 간의 가시선과 정렬되는 디스플레이하기 위한 상기 디스플레이 정보의 일부분을 결정하기 위한 프로그램 코드; 및
    상기 모바일 플랫폼이 상기 가시선을 따르지 않는 방향을 면하는 경우 상기 가시선과 정렬되는 상기 환경에 대한 상기 디스플레이 정보의 상기 일부분을 디스플레이하기 위한 프로그램 코드를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  22. 제 21 항에 있어서,
    상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 결정하기 위한 프로그램 코드는, 상기 모바일 플랫폼 상의 후방 카메라로 캡처된 상기 사용자의 이미지를 분석하여 상기 이미지 내의 상기 사용자의 상기 포지션을 결정하고, 상기 이미지 내의 상기 사용자의 상기 포지션을 사용하여 상기 모바일 플랫폼에 대한 상기 사용자의 상기 포지션을 결정하기 위한 프로그램 코드를 포함하는, 비일시적 컴퓨터 판독가능 매체.
  23. 제 21 항에 있어서,
    상기 모바일 플랫폼과 상기 사용자 간의 거리를 결정하기 위한 프로그램 코드를 더 포함하고,
    상기 모바일 플랫폼에 대한 상기 사용자의 포지션을 사용하여 디스플레하기 위한 상기 디스플레이 정보의 상기 일부분을 결정하기 위한 프로그램 코드는, 상기 모바일 플랫폼과 상기 사용자 사이의 상기 거리를 사용하여 디스플레이하기 위한 상기 디스플레이 정보의 상기 일부분을 결정하기 위한 프로그램 코드를 더 포함하고,
    상기 모바일 플랫폼과 상기 사용자 간의 상기 거리가 감소되는 경우 상기 디스플레이 정보의 증가된 부분이 디스플레이되는, 비일시적 컴퓨터 판독가능 매체.
KR1020137024541A 2011-02-22 2012-02-22 모바일 플랫폼에 대한 사용자의 포지션에 기초하여 교정된 뷰를 제공 KR101554798B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/032,493 2011-02-22
US13/032,493 US9507416B2 (en) 2011-02-22 2011-02-22 Providing a corrected view based on the position of a user with respect to a mobile platform
PCT/US2012/026097 WO2012116059A1 (en) 2011-02-22 2012-02-22 Providing a corrected view based on the position of a user with respect to a mobile platform

Publications (2)

Publication Number Publication Date
KR20130122978A true KR20130122978A (ko) 2013-11-11
KR101554798B1 KR101554798B1 (ko) 2015-09-21

Family

ID=46001708

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020137024541A KR101554798B1 (ko) 2011-02-22 2012-02-22 모바일 플랫폼에 대한 사용자의 포지션에 기초하여 교정된 뷰를 제공

Country Status (6)

Country Link
US (1) US9507416B2 (ko)
EP (1) EP2678758B1 (ko)
JP (1) JP5766821B2 (ko)
KR (1) KR101554798B1 (ko)
CN (1) CN103384865B (ko)
WO (1) WO2012116059A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106843470A (zh) * 2016-12-28 2017-06-13 歌尔科技有限公司 一种视角控制方法、装置和vr系统

Families Citing this family (30)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2474254A1 (en) * 2011-01-07 2012-07-11 Nestec S.A. Modular beverage dispensing system
US9363361B2 (en) * 2011-04-12 2016-06-07 Microsoft Technology Licensing Llc Conduct and context relationships in mobile devices
US9020838B2 (en) * 2011-11-30 2015-04-28 Ncr Corporation Augmented reality for assisting consumer transactions
US9230367B2 (en) 2011-12-13 2016-01-05 Here Global B.V. Augmented reality personalization
US9571879B2 (en) 2012-01-10 2017-02-14 Microsoft Technology Licensing, Llc Consumption of content with reactions of an individual
US8860634B2 (en) * 2012-10-11 2014-10-14 Sony Computer Entertainment Europe Limited Head mountable display
US9208390B2 (en) * 2012-11-12 2015-12-08 Wilfred Ludick Intra-vehicular mobile device management
US9996150B2 (en) 2012-12-19 2018-06-12 Qualcomm Incorporated Enabling augmented reality using eye gaze tracking
US8922589B2 (en) 2013-04-07 2014-12-30 Laor Consulting Llc Augmented reality apparatus
CN103353663B (zh) 2013-06-28 2016-08-10 北京智谷睿拓技术服务有限公司 成像调整装置及方法
CN103353667B (zh) 2013-06-28 2015-10-21 北京智谷睿拓技术服务有限公司 成像调整设备及方法
CN103353677B (zh) 2013-06-28 2015-03-11 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103431840B (zh) 2013-07-31 2016-01-20 北京智谷睿拓技术服务有限公司 眼睛光学参数检测系统及方法
CN103424891B (zh) 2013-07-31 2014-12-17 北京智谷睿拓技术服务有限公司 成像装置及方法
CN103439801B (zh) 2013-08-22 2016-10-26 北京智谷睿拓技术服务有限公司 视力保护成像装置及方法
CN103431980A (zh) 2013-08-22 2013-12-11 北京智谷睿拓技术服务有限公司 视力保护成像系统及方法
US9104235B2 (en) 2013-08-22 2015-08-11 International Business Machines Corporation Modifying information presented by an augmented reality device
US9933864B1 (en) * 2013-08-29 2018-04-03 Amazon Technologies, Inc. Steady content display
CN103605208B (zh) 2013-08-30 2016-09-28 北京智谷睿拓技术服务有限公司 内容投射系统及方法
CN103500331B (zh) 2013-08-30 2017-11-10 北京智谷睿拓技术服务有限公司 提醒方法及装置
CN103558909B (zh) * 2013-10-10 2017-03-29 北京智谷睿拓技术服务有限公司 交互投射显示方法及交互投射显示系统
FR3014228B1 (fr) * 2013-12-04 2017-04-28 Renault Sas Systeme de detection virtuelle
US9959591B2 (en) * 2014-07-31 2018-05-01 Seiko Epson Corporation Display apparatus, method for controlling display apparatus, and program
CN106791385A (zh) * 2016-12-09 2017-05-31 深圳创维－Rgb电子有限公司 一种基于虚拟现实技术的观景方法、装置及系统
CN108600367A (zh) * 2018-04-24 2018-09-28 上海奥孛睿斯科技有限公司 物联网系统及方法
WO2020152585A1 (en) * 2019-01-21 2020-07-30 Insightness Ag Transparent smartphone
US11580657B2 (en) 2020-03-30 2023-02-14 Snap Inc. Depth estimation using biometric data
CN111552076B (zh) * 2020-05-13 2022-05-06 歌尔科技有限公司 一种图像显示方法、ar眼镜及存储介质
US12028507B2 (en) * 2021-03-11 2024-07-02 Quintar, Inc. Augmented reality system with remote presentation including 3D graphics extending beyond frame
US11914646B1 (en) * 2021-09-24 2024-02-27 Apple Inc. Generating textual content based on an expected viewing angle

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5815411A (en) 1993-09-10 1998-09-29 Criticom Corporation Electro-optic vision system which exploits position and attitude
JP3184069B2 (ja) * 1994-09-02 2001-07-09 シャープ株式会社 画像表示装置
JP2002157607A (ja) * 2000-11-17 2002-05-31 Canon Inc 画像生成システム、画像生成方法および記憶媒体
US6856324B2 (en) * 2001-03-27 2005-02-15 Siemens Corporate Research, Inc. Augmented reality guided instrument positioning with guiding graphics
JP4366709B2 (ja) 2003-03-12 2009-11-18 マツダ株式会社 画像処理方法、シミュレーション装置、プログラム及び記録媒体
US7369101B2 (en) 2003-06-12 2008-05-06 Siemens Medical Solutions Usa, Inc. Calibrating real and virtual views
KR100556856B1 (ko) 2003-06-14 2006-03-10 엘지전자 주식회사 이동통신 단말기에서 화면 제어 방법 및 장치
US7671916B2 (en) 2004-06-04 2010-03-02 Electronic Arts Inc. Motion sensor using dual camera inputs
JP4434890B2 (ja) 2004-09-06 2010-03-17 キヤノン株式会社 画像合成方法及び装置
US7737965B2 (en) 2005-06-09 2010-06-15 Honeywell International Inc. Handheld synthetic vision device
US20080027599A1 (en) * 2006-07-28 2008-01-31 James Logan Autonomous vehicle and systems and methods for the operation thereof
JP2009059257A (ja) * 2007-09-03 2009-03-19 Sony Corp 情報処理装置、および情報処理方法、並びにコンピュータ・プログラム
US8077915B2 (en) 2007-10-12 2011-12-13 Sony Ericsson Mobile Communications Ab Obtaining information by tracking a user
JP5150307B2 (ja) 2008-03-03 2013-02-20 株式会社トプコン 地理データ収集装置
JP4725595B2 (ja) 2008-04-24 2011-07-13 ソニー株式会社 映像処理装置、映像処理方法、プログラム及び記録媒体
EP2305358B1 (en) 2008-06-30 2019-01-02 Sony Interactive Entertainment Inc. Portable type game device and method for controlling portable type game device
US20100053151A1 (en) 2008-09-02 2010-03-04 Samsung Electronics Co., Ltd In-line mediation for manipulating three-dimensional content on a display device
US8866809B2 (en) 2008-09-30 2014-10-21 Apple Inc. System and method for rendering dynamic three-dimensional appearing imagery on a two-dimensional user interface
US8397181B2 (en) 2008-11-17 2013-03-12 Honeywell International Inc. Method and apparatus for marking a position of a real world object in a see-through display
US8788977B2 (en) 2008-11-20 2014-07-22 Amazon Technologies, Inc. Movement recognition as input mechanism
US8581905B2 (en) * 2010-04-08 2013-11-12 Disney Enterprises, Inc. Interactive three dimensional displays on handheld devices

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106843470A (zh) * 2016-12-28 2017-06-13 歌尔科技有限公司 一种视角控制方法、装置和vr系统
CN106843470B (zh) * 2016-12-28 2020-04-03 歌尔科技有限公司 一种视角控制方法、装置和vr系统

Also Published As

Publication number Publication date
US20120212508A1 (en) 2012-08-23
CN103384865A (zh) 2013-11-06
US9507416B2 (en) 2016-11-29
JP2014506709A (ja) 2014-03-17
EP2678758B1 (en) 2015-01-28
EP2678758A1 (en) 2014-01-01
CN103384865B (zh) 2016-12-21
WO2012116059A1 (en) 2012-08-30
JP5766821B2 (ja) 2015-08-19
KR101554798B1 (ko) 2015-09-21

Similar Documents

Publication Publication Date Title
KR101554798B1 (ko) 모바일 플랫폼에 대한 사용자의 포지션에 기초하여 교정된 뷰를 제공
US11151376B2 (en) Rider-driver localization for determining placement of AR content for passenger
US8509483B2 (en) Context aware augmentation interactions
EP2820618B1 (en) Scene structure-based self-pose estimation
US9667873B2 (en) Methods for facilitating computer vision application initialization
US10783654B2 (en) Information processing apparatus, information processing method, and recording medium
US20110292166A1 (en) North Centered Orientation Tracking in Uninformed Environments
TW201710997A (zh) 用於判定一攝像機之空間特徵的方法及系統
WO2014011346A1 (en) Sensor-aided wide-area localization on mobile devices
KR20140122126A (ko) 투명 디스플레이를 이용한 증강현실 구현 장치 및 그 방법
EP4009144A1 (en) Head mounted display device and processing method of head mounted display device
US20210217210A1 (en) Augmented reality system and method of displaying an augmented reality image
US20130064421A1 (en) Resolving homography decomposition ambiguity based on viewing angle range
US20220345621A1 (en) Scene lock mode for capturing camera images
US9870514B2 (en) Hypotheses line mapping and verification for 3D maps
KR102299081B1 (ko) 전자 장치 및 그의 제어 방법
US11763558B1 (en) Visualization of existing photo or video content
KR20220110967A (ko) 사용자 단말 및 그 제어 방법
CN118295613A (zh) 信息显示方法及其处理装置与信息显示系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180628

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190624

Year of fee payment: 5