KR20120061110A - 증강 현실 사용자 인터페이스 제공 장치 및 방법 - Google Patents

증강 현실 사용자 인터페이스 제공 장치 및 방법 Download PDF

Info

Publication number
KR20120061110A
KR20120061110A KR1020100103620A KR20100103620A KR20120061110A KR 20120061110 A KR20120061110 A KR 20120061110A KR 1020100103620 A KR1020100103620 A KR 1020100103620A KR 20100103620 A KR20100103620 A KR 20100103620A KR 20120061110 A KR20120061110 A KR 20120061110A
Authority
KR
South Korea
Prior art keywords
augmented reality
information
user interface
image
reality information
Prior art date
Application number
KR1020100103620A
Other languages
English (en)
Other versions
KR101357260B1 (ko
Inventor
이희주
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100103620A priority Critical patent/KR101357260B1/ko
Priority to US12/983,639 priority patent/US20120098859A1/en
Priority to EP11171819.3A priority patent/EP2444918B1/en
Priority to CN2011103092571A priority patent/CN102566893A/zh
Priority to JP2011230318A priority patent/JP2012094138A/ja
Publication of KR20120061110A publication Critical patent/KR20120061110A/ko
Application granted granted Critical
Publication of KR101357260B1 publication Critical patent/KR101357260B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/20—Scenes; Scene-specific elements in augmented reality scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10—Character recognition
    • G06V30/24—Character recognition characterised by the processing or recognition method
    • G06V30/242—Division of the character sequences into groups prior to recognition; Selection of dictionaries

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 증강 현실 사용자 인터페이스 제공 방법으로, 객체를 포함하는 영상을 획득하는 단계와, 상기 획득된 영상에 포함된 적어도 하나 이상의 객체를 인식하는 단계와, 상기 인식된 객체에 관련된 증강 현실 정보를 검출하는 단계와, 상기 검출된 증강 현실 정보를 미리 설정된 속성에 따라 하나 이상의 그룹으로 분류하는 단계와, 상기 증강 현실 정보를 그룹별로 분리하여 디스플레이하는 사용자 인터페이스를 생성하는 단계와, 상기 생성된 사용자 인터페이스를 출력하는 단계를 포함한다.

Description

증강 현실 사용자 인터페이스 제공 장치 및 방법{Apparatus and Method for Providing Augmented Reality User Interface}
본 발명은 증강 현실 사용자 인터페이스 제공 장치 및 방법에 관한 것으로, 보다 상세하게는 증강 현실 정보 제공을 위한 사용자 인터페이스 기술에 관한 것이다.
증강 현실(augmented reality, AR)이란 실제 환경에 가상 사물이나 정보를 합성하여 원래의 환경에 존재하는 사물처럼 보이도록 하는 컴퓨터 그래픽 기법을 말한다.
증강 현실은 가상의 공간과 사물만을 대상으로 하는 기존의 가상 현실과 달리 현실 세계의 기반 위에 가상의 사물을 합성하여 현실 세계만으로는 얻기 어려운 부가적인 정보들을 보강해 제공할 수 있는 특징을 가진다. 이러한 특징 때문에 단순히 게임과 같은 분야에만 한정된 적용이 가능한 기존 가상 현실과 달리 다양한 현실 환경에 응용이 가능하며 특히, 유비쿼터스 환경에 적합한 차세대 디스플레이 기술로 각광받고 있다.
예를 들면, 관광객이 런던 거리에서 카메라와 GPS 센서 등 다양한 기술이 탑재되어 있는 휴대폰의 카메라 등을 특정 방향으로 가리키면, 현재 이동중인 거리에 위치한 음식점이나 세일 중인 상점에 대한 증강 현실 데이터를 실제 거리 영상과 중첩하여 디스플레이되도록 하는 방법을 들 수 있다.
그런데, 이러한 증강 현실 데이터 서비스가 점차 확대됨에 따라, 방대한 양의 증강 현실 데이터가 한꺼번에 한 화면에 디스플레이 될 수 있다. 이럴 경우, 사용자는 화면에 너무 많은 증강 현실 데이터가 출력되므로, 자신이 원하는 정보를 용이하게 획득할 수 없다는 문제점이 있다.
따라서, 본 발명은 사용자가 용이하게 자신이 원하는 증강 현실 정보를 검색할 수 있도록 하는 증강 현실 사용자 인터페이스 제공 장치 및 방법을 제공한다.
본 발명은 증강 현실 사용자 인터페이스 제공 방법으로, 객체를 포함하는 영상을 획득하는 단계와, 상기 획득된 영상에 포함된 적어도 하나 이상의 객체를 인식하는 단계와, 상기 인식된 객체에 관련된 증강 현실 정보를 검출하는 단계와, 상기 검출된 증강 현실 정보를 미리 설정된 속성에 따라 하나 이상의 그룹으로 분류하는 단계와, 상기 증강 현실 정보를 그룹별로 분리하여 디스플레이하는 사용자 인터페이스를 생성하는 단계와, 상기 생성된 사용자 인터페이스를 출력하는 단계를 포함한다.
본 발명은 증강 현실 사용자 인터페이스 제공 장치로, 객체를 포함하는 영상을 획득하는 영상 획득부와, 상기 영상 획득부로부터 출력된 영상 또는 증강 현실 정보를 출력하는 표시부와, 상기 영상 획득부로부터 획득된 영상에 포함된 적어도 하나 이상의 객체를 인식하고, 상기 인식된 객체에 관련된 증강 현실 정보를 검출하고, 상기 검출된 증강 현실 정보를 미리 설정된 속성에 따라 하나 이상의 그룹으로 분류하고, 상기 증강 현실 정보를 그룹별로 분리하여 디스플레이하는 사용자 인터페이스를 생성하고, 상기 생성된 사용자 인터페이스를 출력하는 제어부를 포함한다.
본 발명은 획득된 영상에 포함되는 하나 이상의 객체에 대한 증강 현실 정보를 속성에 따라 하나 이상의 그룹으로 분류하고, 상기 증강 현실 정보를 그룹별로 분리하여 디스플레이하는 사용자 인터페이스를 제공하여, 사용자가 자신이 필요로 하는 증강 현실 정보를 신속/정확하게 검색 및 이용할 수 있다는 이점이 있다.
도 1은 본 발명의 바람직한 실시 예에 따른 증강 현실 사용자 인터페이스 장치의 구성도이다.
도 2는 본 발명에 따른 증강 현실 정보를 제공하기 위한 사용자 인터페이스의 일 예를 도시한 도면이다.
도 3은 본 발명의 바람직한 실시 예에 따른 맥락 정보에 따라 생성된 사용자 인터페이스의 일 예를 도시한 도면이다.
도 4는 본 발명에 따른 임시 메모리에 저장되는 증강 현실 정보를 설명하기 위한 사용자 인터페이스의 일 예를 도시한 도면이다.
도 5는 본 발명의 바람직한 실시 예에 따른 증강 현실 사용자 인터페이스 제공 방법을 설명하기 위한 순서도이다.
이하, 첨부된 도면을 참조하여 기술되는 바람직한 실시 예를 통하여 본 발명을 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 기술하기로 한다.
본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명 실시 예들의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
본 발명을 설명하기에 앞서, 명세서 전반에 걸쳐 사용되는 용어들을 정의한다. 이 용어들은 본 발명 실시 예에서의 기능을 고려하여 정의된 용어들로서, 사용자 또는 운용자의 의도, 관례 등에 따라 충분히 변형될 수 있는 사항이므로, 이 용어들의 정의는 본 발명의 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도 1은 본 발명의 바람직한 실시 예에 따른 증강 현실 사용자 인터페이스 장치의 구성도이다.
도 1을 참조하면, 본 발명의 실시 예에 따른 증강 현실 사용자 인터페이스 제공 장치는 영상 획득부(110), 표시부(120), 데이터베이스(130) 및 제어부(140)를 포함하며, 추가적으로 센서부(150), 조작부(160) 및 임시 메모리(170)를 더 포함할 수 있다.
영상 획득부(110)는 적어도 하나 이상의 증강 현실 객체(이하 "객체"라 칭함)가 포함된 영상을 획득하는 카메라 또는 이미지 센서가 될 수 있다. 또한, 추가적인 양상으로 영상 획득부(110)는 영상 촬영시 제어부(140)의 제어에 의해 영상을 확대 또는 축소하거나, 자동 또는 수동으로 회전 가능한 카메라일 수 있다. 본 발명에서 사용되는 객체라 함은 실세계에 존재하는 마커와, 마커리스 기반의 사물을 의미한다.
표시부(120)는 영상 획득부(110)에 의해 획득된 영상과, 영상에 포함되는 적어도 하나 이상의 객체에 관련된 증강 현실 정보를 상기 영상에 오버랩시켜 출력한다. 본 발명의 바람직한 실시 예에 따라, 제어부(140)는 표시부(120)에 증강 현실 정보를 출력함에 있어, 미리 결정된 속성에 따라 증강 현실 정보가 그룹별로 분류된 형태의 사용자 인터페이스(User Interface : UI)를 통해 출력할 수 있다.
도 2는 본 발명에 따른 증강 현실 정보를 제공하기 위한 사용자 인터페이스의 일 예를 도시한 도면이다.
도 2를 참조하면, N 개의 그룹으로 분류된 증강 현실 정보가 각각의 그룹별로 N개의 면에 분리되어 디스플레이되는 UI가 도시되어 있다. 즉, 획득된 영상에 포함되는 적어도 하나 이상의 객체에 관련된 증강 현실 정보가 다수 존재할 경우, 도 2에 도시된 바와 같이 다수의 증강 현실 정보는 금융 기관, 편의 시설, 카페, 음식점, 교육시설, 오피스, 휴식 공간, 안내 데스크 등의 동일한 속성을 가지는 N개의 그룹으로 분류되고, 상기 N개의 그룹으로 분류된 증강 현실 정보는 그룹별로 분리되어 각각 상이한 화면에 디스플레이 된다.
데이터베이스(130)는 본 발명의 바람직한 실시 예를 구현하기 위한 정보를 저장하는데, 도 1에 도시된 바와 같이 내장된 형태로 구성될 수도 있고, 외부에 형성된 후 네트워크를 통해 데이터를 제공받을 수도 있다. 외부에 형성된 후 네트워크를 제공받는 형태일 경우, 본 발명의 실시 예에 따른 증강 현실 사용자 인터페이스 제공 장치는 네트워크 통신 가능한 통신 인터페이스를 더 포함하는 구성을 가질 수도 있다.
데이터베이스(130)는 본 발명의 실시 예에 따라 객체 인식 정보(161), 증강 현실 정보(162), UI 결정 정보(163) 및 맥락 정보(164)를 포함할 수 있다.
객체 인식 정보(161)는 객체를 인식할 수 있는 매핑 정보로써, 미리 지정된 객체 특징 정보를 저장한다. 이러한 객체 특징 정보로는 객체의 모양, 색상, 질감, 패턴, 컬러 히스토그램, 에지 정보를 포함할 수 있다. 제어부(140)는 이러한 필터 정보에 의해 획득된 객체 인식 정보를 미리 저장되어 있는 객체 인식 정보와 비교하여 객체가 무엇인지를 판단하게 된다. 또한, 본 발명의 바람직한 실시 예에 따라 객체 인식 정보로 GPS 데이터 등의 객체 위치 정보도 포함될 수 있다. 즉, 동일한 객체 특징 정보를 가지는 객체라도 위치에 따라 상이한 객체로 인식될 수 있다. 이와 같은 객체 인식 정보에 의해 인식된 객체는 각각 식별자가 부여되어 구별될 수 있다.
증강 현실 정보(162)는 객체와 관련된 정보를 저장하는 것으로, 이러한 증강 현실 정보의 일 예로, 객체가 어떤 나무인 경우 그 나무의 이름, 주요 서식지, 생태학적 특징 등을 소정의 태그 이미지(tag image)를 통해 나타낸 것일 수 있다. 이러한, 증강 현실 정보는 매핑되는 객체와 동일한 식별자가 부여되어 관리될 수 있다.
사용자 인터페이스 결정 정보(163)은 검출된 증강 현실 정보를 제공하기 위한 UI 생성 정보로써, 검출된 증강 현실 정보를 어떻게 분류할 것인지의 분류 기준이 되는 속성 정보, 그룹 크기에 따라 어떠한 형태의 UI로 생성될 것인지의 UI 형태 정보 등이 포함될 수 있다.
맥락 정보(164)는 증강 현실 정보를 개인화하기 위한 정보를 포함하는 것으로, 예컨대 사용자의 이름, 연령, 성별 등을 포함하는 사용자 정보, 사용자의 송수신 문자메시지에서 빈번하게 사용된 단어, 자주 사용된 어플리케이션, 자주 사용한 검색어, 접속 사이트 랭킹, 현재 시간대와 위치, 감정상태 등을 포함하는 것으로, 제어부(140)는 이러한 맥락 정보를 이용하여 제공될 증강 현실 정보를 필터링하여 출력할 수 있다. 또한, 본 발명의 바람직한 실시 예에 따라, 이러한 맥락 정보(164)는 제어부(140)가 UI를 생성함에 있어 화면 배치의 우선 순위를 결정하는 정보로 사용될 수 있다. 도 3은 본 발명의 바람직한 실시 예에 따른 맥락 정보에 따라 생성된 사용자 인터페이스의 일 예를 도시한 도면이다.
도 3을 참조하면, 현재 표시부(120)에 영상에 포함된 객체에 대한 증강 현실 정보 중에서 음식점에 관한 정보 그룹이 출력되어 있다. UI를 통해 증강 현실 정보 그룹을 배치함에 있어, 맥락 정보를 이용하여 그 순위를 결정할 수 있다.
도 3을 참조하면, 현재 맥락 정보에 의해 단말 사용자의 제 1 순위는 음식점에 대한 정보가 될 수 있다. 그리고, 카페, 교육 시설이 다음 순위이고, 금융 기관, 휴식 공간이 다음 순위가 될 수 있다.
또한, 제어부(140)는 증강 현실 정보를 그룹으로 분류함에 있어, 2차 이상에 걸쳐 그룹 분류를 수행할 수도 있다. 예컨대, 제어부(140)는 맥락 정보를 이용하여 동일한 음식점에 대해서도 재차 분류할 수 있는데, 도 3에 도시된 바와 같이 맥락 기반 증강 현실 데이터 선호도 1 순위에 해당하는 그룹을 디스플레이되도록 하고, 2순위 이후에는 세로로 배치되도록 할 수 있다.
제어부(140)는 전술한 바와 같은 각 구성 요소들을 제어하여, 본 발명에 따라 그룹별 분류 사용자 인터페이스를 통해 증강 현실 사용자 인터페이스 제공 방법을 수행하는 것으로, 이를 위한 하드웨어 프로세서 또는 이 하드웨어 프로세서에서 실행되는 소프트웨어 모듈이 될 수 있다. 제어부(140)의 동작 설명은 후술되는 증강 현실 객체 인식 가이드 방법에서 상세히 설명하기로 한다.
센서부(150)는 제어부(140)의 영상에서 객체 검출 또는 객체 검출에 대한 증강 현실 데이터 검출을 돕기 위해 별도의 센싱 정보(예컨대, 현재 시각, 현재 위치, 촬영 방향 등)를 제공한다. 이러한 센서부(150)는 예컨대, GPS 위성이 송신하는 카메라의 위치 정보 신호를 수신하는 GPS 수신기와, 카메라의 방위각 및 경사각을 감지하여 출력하는 자이로 센서 및 카메라의 회전 방향과 회전량을 측정하여 출력하는 가속도 센서를 포함하는 것으로, 이러한 센서부(130)는 주지된 구성이므로 여기서는 그 상세한 설명을 생략하기로 한다.
사용자 인터페이스부인 조작부(160)는 사용자로부터 정보를 입력받을 수 있는 수단으로, 일 예로 키 버튼 누름시마다 키데이터를 발생하는 키입력부나, 터치 센서, 마우스 등이 포함될 수 있다. 본 발명의 추가적인 양상에 따라, 조작부(160)를 통해 증강 현실 정보 그룹 이동 정보를 입력받을 수 있다.
임시 메모리(170)는 증강 현실 정보의 그룹 중에서 현재 표시부(120)에 출력되고 있는 증강 현실 정보 그룹과 이웃한 면에 출력되는 그룹의 증강 현실 정보를 미리 저장하는데, 이는 추후에 조작부(160)를 통한 그룹 이동 요청 신호에 따라 이웃 그룹에 해당하는 증강 현실 정보를 검출하기 위한 프로세싱 지연을 방지할 수 있다.
도 4는 본 발명에 따른 임시 메모리에 저장되는 증강 현실 정보를 설명하기 위한 사용자 인터페이스의 일 예를 도시한 도면이다.
도 4를 참조하면, 현재 음식점의 화면에 표시되고 있는데, 이웃한 면에 등록된 증강 현실 정보가 카페, 교육 시설 그룹에 포함된 증강 현실 정보를 임시 메모리(170)에 미리 저장해둔다.
그러면, 전술한 바와 같은 구성을 가지는 장치에서 수행되는 증강 현실 제공 방법을 도 5를 참조하여 설명하기로 한다.
도 5는 본 발명의 바람직한 실시 예에 따른 증강 현실 제공 방법을 설명하기 위한 순서도이다.
도 5를 참조하면, 사용자의 키입력에 의해 객체 인식 모드가 설정되면, 제어부(140)는 510 단계에서 영상 획득부(110)를 구동시켜 적어도 하나 이상의 객체가 포함된 영상을 획득한다. 그러면, 제어부(140)는 520 단계에서 상기 획득된 영상에 포함된 객체를 인식한다. 이때, 인식되는 객체는 하나 이상일 수 있는데, 예컨대 영상에 복수의 건물이 포함되어 있을 경우, 사용자의 선택 신호에 의해 복수의 건물이 모두 객체로 인식될 수도 있고, 하나의 건물만이 객체로 인식될 수도 있다. 그리고, 객체를 인식함에 있어 제어부(140)는 영상 정보 뿐만 아니라 센서부(150)에 의해 획득된 단말의 위치 정보를 참조할 수 있다.
제어부(140)는 530 단계에서 인식된 객체에 관련된 증강 현실 정보를 검출한다. 즉, 인식된 객체에 부여된 식별자와 동일한 식별자가 부여된 증강 현실 정보를 검출해낸다.
그리고, 제어부(140)는 540 단계에서 상기 검출 결과, 인식된 하나 이상의 객체와 관련된 증강 현실 정보가 존재하는지를 판단한다. 즉, 객체에 관련된 증강 현실 정보가 존재하지 않을 수도 있다.
상기 540 단계의 판단 결과, 상기 인식된 객체에 관련된 증강 현실 데이터가 존재할 경우, 제어부(140)는 550 단계에서 미리 저장된 기준 속성에 따라 다수의 증강 현실 정보를 소정 그룹으로 분류한다. 이때, 제어부(140)는 2차 이상의 분류를 할 수 있는데, 즉 1차 분류에 의해 형성된 그룹들을 재차 서브 그룹으로 분류해낼 수도 있다.
그리고, 560 단계에서 상기 증강 현실 정보의 그룹들 각각이 분리되어 출력되는 사용자 인터페이스를 생성한다.
즉, 제어부(140)는 분류된 그룹 개수에 상응한 사용자 인터페이스를 생성한다. 예컨대, 도 2에 도시된 바와 같이 그룹 개수가 N개일 경우, N개의 면을 갖는 사용자 인터페이스를 생성할 수 있다.
이때, 제어부(140)는 사용자 인터페이스를 생성함에 있어 맥락 정보를 이용할 수가 있는데, 디스플레이되는 증강데이터에 우선순위의 적용이 가능하게 하여 효율적인 정보검색이 가능하도록 한다. 그리고, 제어부(140)는 570 단계에서 상기 생성된 UI를 통해 증강 현실 정보를 디스플레이한다.
또한, 제어부(140)는 현재 출력되는 그룹과 이웃한 그룹의 증강 현실 정보를 미리 저장할 수 있다. 이로써, 추후에 사용자로부터 다른 그룹으로의 이동 신호가 수신되었을 때 신속히 변경할 수 있다.

Claims (10)

  1. 객체를 포함하는 영상을 획득하는 단계와,
    상기 획득된 영상에 포함된 적어도 하나 이상의 객체를 인식하는 단계와,
    상기 인식된 객체에 관련된 증강 현실 정보를 검출하는 단계와,
    상기 검출된 증강 현실 정보를 미리 설정된 속성에 따라 하나 이상의 그룹으로 분류하는 단계와,
    상기 증강 현실 정보를 그룹별로 분리하여 디스플레이하는 사용자 인터페이스를 생성하는 단계를 포함함을 특징으로 하는 증강 현실 사용자 인터페이스 제공 방법.
  2. 제 1항에 있어서, 상기 객체를 인식하는 단계는
    상기 영상이 획득된 위치 정보를 이용하여, 상기 영상에 포함된 적어도 하나 이상의 객체를 인식함을 특징으로 하는 증강 현실 사용자 인터페이스 제공 방법.
  3. 제 1항에 있어서, 상기 사용자 인터페이스는
    상기 그룹의 개수에 대응되는 다면체로 생성됨을 특징으로 하는 증강 현실 사용자 인터페이스 제공 방법.
  4. 제 1항에 있어서, 상기 사용자 인터페이스를 생성하는 단계는
    사용자의 개인화 정보인 맥락 정보를 이용하여 하나 이상의 분리된 그룹을 디스플레이하는 우선 순위를 결정하여 사용자 인터페이스를 생성함을 특징으로 하는 증강 현실 사용자 인터페이스 제공 방법.
  5. 제 1항에 있어서,
    현재 디스플레이되는 증강 현실 정보 그룹의 이웃에 배치된 그룹의 증강 현실 정보를 임시 저장하는 단계를 더 포함함을 특징으로 하는 증강 현실 사용자 인터페이스 제공 방법.
  6. 객체를 포함하는 영상을 획득하는 영상 획득부와,
    상기 영상 획득부로부터 출력된 영상 또는 증강 현실 정보를 출력하는 표시부와,
    상기 영상 획득부로부터 획득된 영상에 포함된 적어도 하나 이상의 객체를 인식하고, 상기 인식된 객체에 관련된 증강 현실 정보를 검출하고, 상기 검출된 증강 현실 정보를 미리 설정된 속성에 따라 하나 이상의 그룹으로 분류하고, 상기 증강 현실 정보를 그룹별로 분리하여 디스플레이하는 사용자 인터페이스를 생성하는 제어부를 포함함을 특징으로 하는 증강 현실 사용자 인터페이스 제공 장치.
  7. 제 6항에 있어서, 상기 제어부는
    상기 영상이 획득된 위치 정보를 이용하여, 상기 영상에 포함된 적어도 하나 이상의 객체를 인식함을 특징으로 하는 증강 현실 사용자 인터페이스 제공 장치.
  8. 제 6항에 있어서, 상기 사용자 인터페이스는
    상기 그룹의 개수에 대응되는 다면체로 생성됨을 특징으로 하는 증강 현실 사용자 인터페이스 제공 장치.
  9. 제 6항에 있어서, 상기 제어부는
    사용자의 개인화 정보인 맥락 정보를 이용하여 하나 이상의 분리된 그룹을 디스플레이하는 우선 순위를 결정하여 사용자 인터페이스를 생성함을 특징으로 하는 증강 현실 사용자 인터페이스 제공 장치.
  10. 제 6항에 있어서,
    증강 현실 정보를 임시 저장하는 임시 메모리를 더 포함하고,
    상기 제어부는
    상기 표시부에 디스플레이되는 증강 현실 정보 그룹의 이웃에 배치된 그룹의 증강 현실 정보를 임시 저장함을 특징으로 하는 증강 현실 사용자 인터페이스 제공 장치.
KR1020100103620A 2010-10-22 2010-10-22 증강 현실 사용자 인터페이스 제공 장치 및 방법 KR101357260B1 (ko)

Priority Applications (5)

Application Number Priority Date Filing Date Title
KR1020100103620A KR101357260B1 (ko) 2010-10-22 2010-10-22 증강 현실 사용자 인터페이스 제공 장치 및 방법
US12/983,639 US20120098859A1 (en) 2010-10-22 2011-01-03 Apparatus and method for providing augmented reality user interface
EP11171819.3A EP2444918B1 (en) 2010-10-22 2011-06-29 Apparatus and method for providing augmented reality user interface
CN2011103092571A CN102566893A (zh) 2010-10-22 2011-10-13 用于提供增强现实用户界面的设备和方法
JP2011230318A JP2012094138A (ja) 2010-10-22 2011-10-20 拡張現実ユーザインタフェース提供装置および方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100103620A KR101357260B1 (ko) 2010-10-22 2010-10-22 증강 현실 사용자 인터페이스 제공 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120061110A true KR20120061110A (ko) 2012-06-13
KR101357260B1 KR101357260B1 (ko) 2014-02-03

Family

ID=45528879

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100103620A KR101357260B1 (ko) 2010-10-22 2010-10-22 증강 현실 사용자 인터페이스 제공 장치 및 방법

Country Status (5)

Country Link
US (1) US20120098859A1 (ko)
EP (1) EP2444918B1 (ko)
JP (1) JP2012094138A (ko)
KR (1) KR101357260B1 (ko)
CN (1) CN102566893A (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017007206A1 (ko) * 2015-07-03 2017-01-12 (주)노바빈 관람자 관계형 동영상 제작 장치 및 제작 방법
KR20190012772A (ko) * 2017-07-28 2019-02-11 주식회사 렛시 증강현실 구현 장치 및 방법
KR20200010655A (ko) * 2018-06-29 2020-01-31 (주)기술공감 영상에서 객체를 인식하는 방법 및 장치
WO2020213783A1 (ko) * 2019-04-17 2020-10-22 주식회사 지티온 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20120306907A1 (en) * 2011-06-03 2012-12-06 Huston Charles D System and Method for Inserting and Enhancing Messages Displayed to a User When Viewing a Venue
US8810598B2 (en) 2011-04-08 2014-08-19 Nant Holdings Ip, Llc Interference based augmented reality hosting platforms
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
KR20130063605A (ko) * 2011-12-07 2013-06-17 현대자동차주식회사 지리정보와 연계된 촬영 이미지를 이용한 도로 안내 표시 방법 및 그 장치
JP2013183433A (ja) * 2012-03-05 2013-09-12 Sony Corp クライアント端末、サーバ、およびプログラム
CN103577788A (zh) 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置
KR101844395B1 (ko) 2012-08-24 2018-04-02 엠파이어 테크놀로지 디벨롭먼트 엘엘씨 가상 현실 어플리케이션
US9607436B2 (en) * 2012-08-27 2017-03-28 Empire Technology Development Llc Generating augmented reality exemplars
US9712574B2 (en) * 2012-08-31 2017-07-18 Facebook, Inc. Real-world view of location-associated social data
CN103164518A (zh) * 2013-03-06 2013-06-19 杭州九树网络科技有限公司 移动终端增强现实应用系统及方法
CN103294803A (zh) * 2013-05-30 2013-09-11 佛山电视台南海分台 一种实现增强产品信息介绍和人机交互的方法和系统
CN105849719B (zh) 2013-06-27 2021-09-28 惠普发展公司，有限责任合伙企业 增强现实
EP3055754B1 (en) * 2013-10-11 2023-08-02 InterDigital Patent Holdings, Inc. Gaze-driven augmented reality
US9582516B2 (en) 2013-10-17 2017-02-28 Nant Holdings Ip, Llc Wide area augmented reality location-based services
CN104660897A (zh) * 2013-11-20 2015-05-27 浪潮乐金数字移动通信有限公司 基于移动终端的360度全景图像获取方法
CN103634204B (zh) * 2013-12-02 2016-08-24 天脉聚源(北京)传媒科技有限公司 一种微信墙消息的显示方法及系统
EP3132379B1 (en) 2014-04-15 2018-11-07 Huntington Ingalls Incorporated System and method for augmented reality display of dynamic environment information
WO2015164755A1 (en) 2014-04-25 2015-10-29 Huntington Ingalls Incorporated Augmented reality display of dynamic target object information
US9864909B2 (en) 2014-04-25 2018-01-09 Huntington Ingalls Incorporated System and method for using augmented reality display in surface treatment procedures
US10915754B2 (en) 2014-06-09 2021-02-09 Huntington Ingalls Incorporated System and method for use of augmented reality in outfitting a dynamic structural space
US10504294B2 (en) 2014-06-09 2019-12-10 Huntington Ingalls Incorporated System and method for augmented reality discrepancy determination and reporting
US10147234B2 (en) 2014-06-09 2018-12-04 Huntington Ingalls Incorporated System and method for augmented reality display of electrical system information
US9898867B2 (en) 2014-07-16 2018-02-20 Huntington Ingalls Incorporated System and method for augmented reality display of hoisting and rigging information
US10306193B2 (en) 2015-04-27 2019-05-28 Microsoft Technology Licensing, Llc Trigger zones for objects in projected surface model
CN106200918B (zh) * 2016-06-28 2019-10-01 Oppo广东移动通信有限公司 一种基于ar的信息显示方法、装置和移动终端
CN106445154A (zh) * 2016-09-29 2017-02-22 宇龙计算机通信科技(深圳)有限公司 一种提供ar内容的方法、装置、ar设备及服务器
WO2018118657A1 (en) 2016-12-21 2018-06-28 Pcms Holdings, Inc. Systems and methods for selecting spheres of relevance for presenting augmented reality information
CN110268448B (zh) * 2017-02-20 2023-11-24 交互数字Vc控股公司 动态呈现增强现实信息以减少峰值认知需求
CN110620805B (zh) * 2018-12-29 2022-02-08 北京时光荏苒科技有限公司 用于生成信息的方法和装置
CN109920065B (zh) * 2019-03-18 2023-05-30 腾讯科技（深圳）有限公司 资讯的展示方法、装置、设备及存储介质
US11397503B2 (en) * 2019-06-28 2022-07-26 Snap Inc. Association of user identifiers to augmented-reality content
CN111833454B (zh) * 2020-06-30 2023-11-28 北京市商汤科技开发有限公司 展示方法、装置、设备和计算机可读存储介质
JP7306716B2 (ja) * 2020-11-18 2023-07-11 株式会社Kort Valuta 取引管理方法、取引管理システム及びプログラム
US11721077B2 (en) * 2021-12-07 2023-08-08 Motorola Mobility Llc Electronic device that presents location-tethered augmented reality notifications

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266098B1 (en) * 1997-10-22 2001-07-24 Matsushita Electric Corporation Of America Function presentation and selection using a rotatable function menu
SG85154A1 (en) * 1998-12-11 2001-12-19 Ibm System and method for associating interactive content to the faces of a polyhedral interface object
US7474318B2 (en) * 2004-05-28 2009-01-06 National University Of Singapore Interactive system and method
KR100631763B1 (ko) * 2004-07-26 2006-10-09 삼성전자주식회사 3차원 모션 그래픽 사용자 인터페이스 및 이를 제공하는방법 및 장치
US7720436B2 (en) * 2006-01-09 2010-05-18 Nokia Corporation Displaying network objects in mobile devices based on geolocation
US7889896B2 (en) * 2005-08-18 2011-02-15 Hologic, Inc. Patient worklist management in digital radiography review workstations
KR101285360B1 (ko) * 2007-01-25 2013-07-11 삼성전자주식회사 증강현실을 이용한 관심 지점 표시 장치 및 방법
BRPI0812782B1 (pt) * 2007-05-31 2019-01-22 Panasonic Corp aparelho de captura de imagem, aparelho de provisão de informação adicional e método para uso em um aparelho de provisão de informação adicional
JP5062884B2 (ja) * 2007-08-24 2012-10-31 株式会社リコー 画像検索装置、画像検索方法及びプログラム
JP5017687B2 (ja) * 2007-10-05 2012-09-05 カシオ計算機株式会社 クライアント装置およびプログラム
US8509776B2 (en) 2007-12-19 2013-08-13 Motorola Mobility Llc Network initiated proactive handover procedure for fast moving wireless devices
US8700301B2 (en) 2008-06-19 2014-04-15 Microsoft Corporation Mobile computing devices, architecture and user interfaces based on dynamic direction information
JP2010118019A (ja) * 2008-11-14 2010-05-27 Sharp Corp 端末装置、配信装置、端末装置の制御方法、配信装置の制御方法、制御プログラムおよび記録媒体
US20110049807A1 (en) * 2009-08-27 2011-03-03 Trellisys.net Pvt.Ltd. Methods and apparatus for an interactive word game of skill
KR100985737B1 (ko) * 2010-02-05 2010-10-06 (주)올라웍스 단말 장치의 시야에 포함되는 객체에 대한 정보를 제공하기 위한 방법, 단말 장치 및 컴퓨터 판독 가능한 기록 매체
US20110221771A1 (en) * 2010-03-12 2011-09-15 Cramer Donald M Merging of Grouped Markers in An Augmented Reality-Enabled Distribution Network
US8788590B2 (en) * 2010-04-30 2014-07-22 Iliv Technologies Inc. Collaboration tool
CN101859439A (zh) * 2010-05-12 2010-10-13 合肥寰景信息技术有限公司 一种用于人机交互的运动追踪装置及其追踪方法
US9910866B2 (en) * 2010-06-30 2018-03-06 Nokia Technologies Oy Methods, apparatuses and computer program products for automatically generating suggested information layers in augmented reality
US8860760B2 (en) * 2010-09-25 2014-10-14 Teledyne Scientific & Imaging, Llc Augmented reality (AR) system and method for tracking parts and visually cueing a user to identify and locate parts in a scene

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017007206A1 (ko) * 2015-07-03 2017-01-12 (주)노바빈 관람자 관계형 동영상 제작 장치 및 제작 방법
US11076206B2 (en) 2015-07-03 2021-07-27 Jong Yoong Chun Apparatus and method for manufacturing viewer-relation type video
KR20190012772A (ko) * 2017-07-28 2019-02-11 주식회사 렛시 증강현실 구현 장치 및 방법
KR20200010655A (ko) * 2018-06-29 2020-01-31 (주)기술공감 영상에서 객체를 인식하는 방법 및 장치
WO2020213783A1 (ko) * 2019-04-17 2020-10-22 주식회사 지티온 가상 인터렉티브 컨텐츠의 사용자 인터페이스 제공 시스템, 방법 및 이를 위한 컴퓨터 프로그램이 저장된 기록매체

Also Published As

Publication number Publication date
EP2444918A3 (en) 2012-09-12
EP2444918A2 (en) 2012-04-25
JP2012094138A (ja) 2012-05-17
US20120098859A1 (en) 2012-04-26
CN102566893A (zh) 2012-07-11
EP2444918B1 (en) 2013-12-11
KR101357260B1 (ko) 2014-02-03

Similar Documents

Publication Publication Date Title
KR101357260B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
KR101303948B1 (ko) 비가시 객체에 대한 증강 현실 정보 제공 장치 및 방법
KR101295712B1 (ko) 증강 현실 사용자 인터페이스 제공 장치 및 방법
KR101337555B1 (ko) 객체 연관성을 이용한 증강 현실 제공 장치 및 방법
US9661214B2 (en) Depth determination using camera focus
US10025985B2 (en) Information processing apparatus, information processing method, and non-transitory computer-readable storage medium storing program
AU2020202551A1 (en) Method for representing points of interest in a view of a real environment on a mobile device and mobile device therefor
KR101330805B1 (ko) 증강 현실 제공 장치 및 방법
KR101357262B1 (ko) 필터 정보를 이용한 객체 인식 장치 및 방법
US10264207B2 (en) Method and system for creating virtual message onto a moving object and searching the same
KR102098058B1 (ko) 뷰 모드에서 정보 제공 방법 및 장치
KR102627612B1 (ko) 증강현실을 이용한 주변 정보 표시 방법 및 그 전자 장치
US20120038671A1 (en) User equipment and method for displaying augmented reality window
US9378570B2 (en) Information processing device, information processing method and program
KR20120010875A (ko) 증강 현실 객체 인식 가이드 제공 장치 및 방법
US10748000B2 (en) Method, electronic device, and recording medium for notifying of surrounding situation information
KR101568741B1 (ko) 모바일 증강현실 기반의 정보 제공 시스템
KR102443049B1 (ko) 전자 장치 및 그 동작 방법
KR20210003659A (ko) 명함에 관련된 증강 현실 영상을 제공하는 컴퓨터 프로그램, 전자 장치, 및 방법
KR101295710B1 (ko) 사용자 인식 정보를 이용한 증강 현실 제공 장치 및 방법
KR20200127107A (ko) 증강현실을 이용한 지역 상권 데이터 가시화 시스템
JP5965515B2 (ja) 情報処理装置、拡張現実感提供方法、及びプログラム
KR20180077807A (ko) 시각적 콘텐츠 검색용 데이터베이스 생성 장치 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170627

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20171205

Year of fee payment: 5