KR101315399B1 - 객체 정보 제공 단말 장치 및 그 방법 - Google Patents

객체 정보 제공 단말 장치 및 그 방법 Download PDF

Info

Publication number
KR101315399B1
KR101315399B1 KR1020100080781A KR20100080781A KR101315399B1 KR 101315399 B1 KR101315399 B1 KR 101315399B1 KR 1020100080781 A KR1020100080781 A KR 1020100080781A KR 20100080781 A KR20100080781 A KR 20100080781A KR 101315399 B1 KR101315399 B1 KR 101315399B1
Authority
KR
South Korea
Prior art keywords
attribute information
screen
terminal device
displayed
information
Prior art date
Application number
KR1020100080781A
Other languages
English (en)
Other versions
KR20120017870A (ko
Inventor
진용근
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100080781A priority Critical patent/KR101315399B1/ko
Priority to US13/187,182 priority patent/US20120047233A1/en
Priority to EP11174806.7A priority patent/EP2420978A3/en
Priority to CN2011102120288A priority patent/CN102436460A/zh
Publication of KR20120017870A publication Critical patent/KR20120017870A/ko
Application granted granted Critical
Publication of KR101315399B1 publication Critical patent/KR101315399B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2203/00—Aspects of automatic or semi-automatic exchanges
    • H04M2203/35—Aspects of automatic or semi-automatic exchanges related to information services provided via a voice call
    • H04M2203/359—Augmented reality

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Human Computer Interaction (AREA)
  • Multimedia (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

본 발명은 증강현실에 관한 것으로, 특히, 화면에 디스플레이되는 객체의 상태에 따라 해당 객체의 속성 정보를 단계적으로 제공하는 단말 장치 및 방법에 관한 것이다.
본 발명에 따른 카메라를 통해 입력되는 영상에서 추출된 객체 및 객체의 속성 정보를 화면에 디스플레이하는 단말 장치에 있어서, 다수의 객체들의 이미지와 이들 객체별 속성 정보가 저장되는 객체 서버와 데이터 통신을 수행하는 통신부와, 카메라를 통해 입력되는 영상에서 객체를 추출하여 인식하는 객체 인식부와, 기설정된 가중치 조건에 따라 인식된 객체와 관련되어 화면에 디스플레이되는 속성 정보의 단계를 결정하여 통신부를 통해 객체 서버로부터 결정된 단계의 속성 정보를 수신하여 인식된 객체와 상기 화면에 디스플레이되도록 제어하는 제어부를 포함한다.
본 발명의 이 같은 양상에 따라, 단말 장치는 화면에 디스플레이되는 객체의 상태에 따라 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.

Description

객체 정보 제공 단말 장치 및 그 방법{Terminal device and method for providing object information}
본 발명은 증강현실에 관한 것으로, 특히, 화면에 디스플레이되는 증강 현실로 인식된 객체의 상태에 따라 해당 객체의 속성 정보를 단계적으로 제공하는 단말 장치 및 방법에 관한 것이다.
증강현실(Augmented Reality : AR)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 이 같은 증강현실은 가상현실과 일부 유사하나, 가상현실은 사용자에게 가상의 공간과 사물만을 제공하는 반면, 증강현실은 현실세계의 기반 위에 가상의 사물을 합성하여 현실세계만으로는 얻기 어려운 부가적인 정보를 보강하여 제공한다. 완전한 가상세계를 전제로 하는 가상현실과는 달리 증강현실은 현실세계의 환경 위에 가상의 대상을 결합시킴으로써, 사용자에게 보다 나은 현실감을 제공한다. 이 같은 증강현실 서비스는 1990년대 후반부터 미국과 일본을 중심으로 연구 개발이 진행되고 있으며, 최근에는 휴대폰, PDA(Personal digital assistants), UMPC(Ultra mobile personal computer) 등 모바일 기기의 컴퓨팅 능력 향상 및 무선 네트워크 장치의 발달로 다양한 증강현실 서비스가 가능해졌다.
일 예로, 휴대폰의 카메라를 통해 촬영되는 실제환경의 객체와 그 객체와 관련된 속성 정보가 가상으로 생성되어 실제환경의 객체와 융합되어 화면으로 출력된다. 이 같은 종래의 증강현실 서비스는 다수의 객체들이 복합적으로 화면을 통해 디스플레이되는 경우, 각 객체들의 속성 정보를 효과적으로 제공하지 못하고 있다. 즉, 종래의 증강현실 서비스는 휴대폰의 화면에 디스플레이되는 객체가 일정 영역 이상 들어올 경우에만 해당 객체의 속성 정보를 디스플레이하거나 혹은 사용자의 의도와 상관없는 속성 정보가 화면에 디스플레이된다. 이에 따라, 사용자는 증강현실 서비스를 통해 정보를 검색하는데 편의성이 떨어지는 문제가 있다.
본 발명은 이와 같은 문제점을 해결하고자 하는 것으로, 본 발명을 통해 화면에 디스플레이되는 객체의 상태에 따라 객체의 속성 정보를 단계적으로 제공함을 목적으로 한다.
전술한 기술적 과제는 후술하는 본 발명의 특징적인 양상들에 의해 달성된다. 본 발명에 따른 카메라를 통해 입력되는 영상에서 추출된 객체 및 객체의 속성 정보를 화면에 디스플레이하는 단말 장치에 있어서, 다수의 객체들의 이미지와 이들 객체별 속성 정보가 저장되는 객체 서버와 데이터 통신을 수행하는 통신부와, 카메라를 통해 입력되는 영상에서 객체를 추출하여 인식하는 객체 인식부와, 기설정된 가중치 조건에 따라 인식된 객체와 관련되어 화면에 디스플레이되는 속성 정보의 단계를 결정하여 통신부를 통해 객체 서버로부터 결정된 단계의 속성 정보를 수신하여 인식된 객체와 상기 화면에 디스플레이되도록 제어하는 제어부를 포함한다.
본 발명의 추가적인 양상에 따르면, 단말 장치는 다수의 객체들의 속성 정보의 단계를 결정하기 위한 가중치 조건값이 저장되는 가중치 정보 저장부를 더 포함하며, 제어부는 객체의 크기에 관련된 가중치 조건값을 이용하여 단말 장치와 인식된 객체 간의 거리에 따라 화면에 디스플레이되는 인식된 객체의 크기로부터 인식된 객체의 속성 정보의 단계를 결정하는 객체 크기 가중치부를 포함하는 가중치 처리부와, 가중치 처리부에 의해 결정된 속성 정보 단계에 해당하는 속성 정보를 객체 서버로부터 수신하여 인식된 객체와 합성하여 화면에 디스플레이하는 융합부를 포함한다.
본 발명의 이 같은 양상에 따라, 단말 장치는 화면에 디스플레이되는 객체의 크기로부터 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
본 발명의 추가적인 양상에 따르면, 가중치 처리부는 화면 포커싱과 관련된 가중치 조건값을 이용하여 화면을 통해 인식된 객체의 디스플레이되는 지점과 화면의 중심 지점 간의 거리 차에 따라 인식된 객체의 속성 정보의 단계를 결정하는 포커싱 가중치부를 더 포함한다.
본 발명의 이 같은 양상에 따라, 단말 장치는 화면을 통해 디스플레이되는 객체의 위치에 따라 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
본 발명의 추가적인 양상에 따르면, 가중치 처리부는 화면에 디스플레이되는 객체의 수와 관련된 가중치 조건값을 이용하여 화면에 디스플레이되는 인식된 객체의 속성 정보의 단계를 결정하는 객체수 가중치부를 더 포함한다.
본 발명의 이 같은 양상에 따라, 단말 장치는 화면을 통해 디스플레이되는 객체의 개수에 따라 해당 객체들의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
본 발명의 추가적인 양상에 따르면, 가중치 처리부는 위치 정보의 변화에 따른 가중치 조건값을 이용하여 화면을 통해 인식된 객체가 디스플레이되는 시점의 위치 정보의 변화가 기설정된 시간 동안 있는지를 체크하여 인식된 객체의 속성 정보의 단계를 결정하는 시간별 가중치부를 더 포함한다.
본 발명의 이 같은 양상에 따라, 단말 장치는 화면을 통해 디스플레이되는 객체의 위치 변화에 따라 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
본 발명의 추가적인 양상에 따르면, 가중치 처리부는 객체의 변화량에 따른 가중치 조건값을 이용하여 화면에 디스플레이되는 인식된 객체의 크기 변화량 또는 이동 변화량에 따라 인식된 객체의 속성 정보의 단계를 결정하는 변화량 가중치부를 더 포함한다.
본 발명의 이 같은 양상에 따라, 단말 장치는 화면을 통해 디스플레이되는 객체의 크기 또는 이동에 따른 변화량으로부터 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
본 발명의 추가적인 양상에 따르면, 가중치 처리부는 사용자의 선호도에 따른 가중치 조건값을 이용하여 인식된 객체의 속성 정보 단계를 결정하는 선호도 가중치부를 더 포함한다.
본 발명의 이 같은 양상에 따라, 단말 장치는 사용자의 선호도에 따라 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
본 발명의 추가적인 양상에 따르면, 가중치 처리부는 가중치 처리부에 포함된 각각의 가중치부들의 우선 순위에 따른 가중치 조건값을 이용하여 인식된 객체의 속성 정보 단계를 결정하는 혼합 가중치부를 더 포함한다.
본 발명의 이 같은 양상에 따라, 단말 장치는 객체의 속성 정보의 단계를 결정하는 방법들에 대한 우선 순위에 따라 해당 객체의 속성 정보의 단계를 결정하여 그에 따른 속성 정보를 제공할 수 있다.
상술한 바와 같이, 본 발명에 따른 객체 정보 제공 단말 장치 및 방법을 통해 단말 장치의 화면에 디스플레이되는 객체의 상태에 따라 해당 객체의 속성 정보를 단계적으로 세분화하여 화면에 디스플레이함으로써, 사용자에게 보다 효과적으로 정보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 단계별 객체 정보 제공이 가능한 단말 장치의 블록도,
도 2는 본 발명의 일 실시예에 따른 단말 장치에서 객체 크기 가중치부를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이하는 예시도,
도 3은 본 발명의 일 실시예에 따른 단말 장치에서 포커싱 가중치부를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이하는 예시도,
도 4는 본 발명의 일 실시예에 따른 단말 장치에서 혼합 가중치부를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이하는 예시도,
도 5는 본 발명의 일 실시예에 따른 단말 장치에서 객체의 속성 정보를 단계적으로 화면에 디스플레이하는 방법의 흐름도이다.
전술한, 그리고 추가적인 본 발명의 양상들은 후술하는 실시 예를 통해 더욱 명확해질 것이다. 이하에서는 본 발명의 첨부된 도면을 참조하여 기술되는 바람직한 실시 예들을 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 단계별 객체 정보 제공이 가능한 단말 장치의 블록도이다.
도 1에 도시된 바와 같이, 단계별 객체 정보 제공이 가능한 단말 장치는 통신부(100), 객체 인식부(110), 제어부(120), 가중치 정보 저장부(130), 디스플레이부(140)를 포함한다. 통신부(100)는 객체 서버와 무선의 데이터 통신을 수행하는 것으로, 단말 장치는 통신부(100)를 통해 객체 서버로 디스플레이부(140)를 통해 화면에 디스플레이되는 객체와 해당 객체의 속성 정보의 단계를 포함하는 객체 속성 정보를 전송한다. 이후, 단말 장치는 통신부(100)를 통해 객체 서버로부터 해당 객체의 속성 정보의 단계에 해당하는 속성 정보를 수신한다. 여기서, 객체 서버는 다수의 객체들의 이미지와, 각각의 객체들에 대한 단계별 속성 정보를 저장하고 있다.
객체 인식부(110)는 단말 장치에 내장된 카메라를 통해 입력되는 영상에서 객체를 추출하여 인식하는 것으로, 단말 장치는 객체 인식부(110)로부터 인식된 객체와 관련된 단계의 속성 정보를 통신부(10)를 통해 객체 서버로부터 수신하다. 제어부(120)는 기설정된 가중치 조건에 따라 객체 인식부(110)로부터 인식된 객체와 관련된 속성 정보의 단계를 결정하도록 제어한다. 이후, 제어부(120)는 통신부(100)를 통해 객체 서버로부터 결정된 단계의 속성 정보를 수신하여 객체 인식부(110)로부터 인식된 객체와 함께 합성하여 디스플레이부(140)를 통해 화면에 디스플레이되도록 제어한다. 이 같은 제어부(120)는 가중치 처리부(121)와 융합부(129)을 통해 달성할 수 있다.
가중치 처리부(121)는 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하는 것으로써, 가중치 정보 저장부(130)는 다수의 객체들의 속성 정보의 단계를 결정하기 위한 가중치 조건값이 저장되어 있다. 따라서, 가중치 처리부(121)는 가중치 정보 저장부(130)에 저장된 가중치 조건값을 이용하여 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정한다. 여기서, 객체의 속성 정보의 단계는 화면에 디스플레이되는 객체의 속성 정보의 노출 범위를 결정하기 위한 정보이다. 이 같은 객체의 속성 정보의 단계가 가중치 처리부(121)로부터 결정되면, 융합부(129)는 가중치 처리부(121)에 의해 결정된 객체의 속성 정보의 단계에 해당하는 속성 정보를 객체 서버로부터 수신하고, 수신된 속성 정보와 해당 객체가 융합되도록 합성하여 디스플레이부(140)를 통해 화면에 디스플레이되도록 처리한다.
한편, 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하는 가중치 처리부(121)는 본 발명의 추가적인 양상에 따라, 객체 크기 가중치부(122)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 객체 크기 가중치부(122)는 객체의 크기와 관련된 가중치 조건값을 이용하여 단말 장치와 객체 간의 거리에 따라 화면에 디스플레이되는 객체의 크기로부터 해당 객체의 속성 정보의 단계를 결정한다. 즉, 화면에 디스플레이되는 객체의 크기 면적은 해당 객체와 단말 장치 간의 거리에 따라 달라진다. 따라서, 객체 크기 가중치부(122)는 화면에 디스플레이되는 객체의 크기 면적이 작을수록 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 단계를 결정하며, 객체의 크기 면적이 클수록 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 단계를 결정한다. 이에 따라, 단말 장치는 화면에 디스플레이되는 객체의 크기 면적에 따라 해당 객체의 속성 정보를 상세하기 혹은 간략하게 제공할 수 있다. 이하에서는 도 2의 실시예를 통해 보다 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 단말 장치에서 객체 크기 가중치부를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이하는 예시도이다.
도시된 바와 같이, 사용자는 자신의 단말 장치의 카메라를 통해 현실의 영상이 촬영된 영역을 지정함에 따라, 해당 카메라는 사용자로부터 지정된 영역을 촬영한다. 이에 따라, 단말 장치는 객체 인식부(110)를 통해 카메라로부터 촬영된 영역의 영상으로부터 건물1,2(210,230) 객체들을 인식한다. 이후, 단말 장치는 객체 크기 가중치부(122)를 통해 객체 인식부(110)로부터 인식된 건물1,2(210,230) 객체들이 화면에 디스플레이되는 크기로부터 건물1,2(210,230) 객체들의 속성 정보의 단계를 결정한다. 즉, 단말 장치는 가중치 정보 저장부(130)에 저장된 객체의 크기와 관련된 가중치 조건값을 이용하여 건물1,2(210,230) 객체들의 크기에 대응하는 속성 정보의 단계를 결정할 수 있다. 보다 구체적으로, 건물2(230) 객체는 건물1(210) 객체에 비해 단말 장치와의 거리가 더 멀기 때문에 화면에 디스플레이되는 건물2(230) 객체의 크기 면적은 건물1(210) 객체의 크기 면적에 비해 작다. 따라서, 단말 장치는 객체 크기 가중치부(122)를 통해 건물2(230) 객체의 기본적인 속성 정보를 제공하는 단계를 결정하고, 결정된 단계에 따라 건물 이름을 포함하는 속성 정보를 객체 서버로부터 수신하여 건물2(230) 객체와 함께 화면에 디스플레이한다. 한편, 화면에 디스플레이되는 건물1(210) 객체는 건물2(230) 객체에 비해 단말 장치와의 거리가 가깝기 때문에 화면에 디스플레이되는 건물1(210) 객체의 크기 면적은 건물2(230) 객체의 크기 면적에 비해 크다. 따라서, 단말 장치는 객체 크기 가중치부(122)를 통해 건물1(210) 객체의 상세한 속성 정보를 제공하는 단계를 결정하고, 결정된 단계에 따라 건물 이름과 그 건물의 세부 정보를 포함하는 속성 정보를 객체 서버로부터 수신하여 건물1(210) 객체와 함께 화면에 디스플레이한다.
이와 같이, 단말 장치는 화면에 디스플레이되는 객체의 크기 면적에 따라 해당 객체의 속성 정보의 단계를 설정하여 해당 객체의 속성 정보를 간략하게 혹은 상세하게 제공할 수 있다.
본 발명의 추가적인 양상에 따라, 가중치 처리부(121)는 포커싱 가중치부(123)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 포커싱 가중치부(123)는 가중치 정보 저장부(130)에 저장된 화면 포커싱과 관련된 가중치 조건값을 이용하여 화면을 통해 해당 객체가 디스플레이되는 지점과 화면의 중심 지점 간의 거리 차에 따라 해당 객체의 속성 정보의 단계를 결정한다. 즉, 포커싱 가중치부(123)는 화면을 통해 객체가 디스플레이되는 지점이 화면의 중심 지점과 근접할수록 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 단계를 결정하며, 객체의 디스플레이되는 지점이 화면의 중심 지점과 멀어질수록 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 단계를 결정한다. 이에 따라, 단말 장치는 화면을 통해 객체의 디스플레이되는 지점과 화면 중심 지점 간의 거리 차이에 따라 해당 객체의 속성 정보를 상세히 혹은 간략하게 제공할 수 있다. 이하에서는 도 3의 실시예를 통해 보다 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 단말 장치에서 포커싱 가중치부를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이하는 예시도이다.
도시된 바와 같이, 사용자는 자신의 단말 장치의 카메라를 통해 현실 영상이 촬영함에 따라, 단말 장치는 객체 인식부(110)를 통해 카메라로부터 촬영된 영상에서 건물1,2(310),330) 객체들을 추출하여 인식한다. 이후, 단말 장치는 포커싱 가중치부(123)를 통해 객체 인식부(110)로부터 인식된 건물1,2(310,330) 객체들이 화면에 디스플레이되는 지점을 획득한다. 이후, 단말 장치는 포커싱 가중치부(123)를 통해 건물1,2(310,330) 객체들이 화면에 디스플레이되는 지점과 화면 중심 지점 간의 거리 정보를 획득한다. 이후, 포커싱 가중치부(123) 획득한 건물1,2(310,330) 객체들과 화면 중심 지점 간의 거리 정보에 따라, 건물1,2(310,330) 객체들과 관련된 속성 정보의 단계를 결정한다. 즉, 건물1(310) 객체가 건물2(330) 객체보다 화면 중심 지점과 근접하기 때문에 포커싱 가중치부(123)는 건물1(310) 객체의 상세한 속성 정보를 제공하는 단계를 결정하고, 건물2(330) 객체의 간략한 속성 정보를 제공하는 단계를 결정한다. 이 같이, 포커싱 가중치부(123)를 통해 건물1,2(310,330) 객체들의 단계가 결정됨에 따라, 단말 장치는 객체 서버로부터 건물1(310) 객체의 건물 이름과 그 건물의 세부 정보를 포함하는 상세한 속성 정보를 수신하여 화면에 디스플레이한다. 또한, 단말 장치는 객체 서버로부터 건물2(330) 객체의 건물 이름을 포함하는 간략한 속성 정보를 수신하여 화면에 디스플레이한다. 이와 같이, 단말 장치는 화면을 통해 객체의 디스플레이되는 지점과 화면 중심 지점 간의 거리 차에 따라 객체의 속성 정보의 단계를 설정하여 해당 객체의 속성 정보를 간략하게 혹은 상세하게 제공할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 가중치 처리부(121)는 객체수 가중치부(124)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 객체수 가중치부(124)는 화면에 디스플레이되는 객체의 수와 관련된 가중치 조건값이 저장된 가중치 정보 저장부(130)를 참조하여 화면을 통해 디스플레이되는 객체의 수에 따라 객체의 속성 정보의 단계를 결정한다. 예를 들어, 객체수 가중치부(124)는 화면을 통해 하나의 객체가 디스플레이되는 것으로 체크되면, 해당 객체의 상세한 속성 정보를 제공하기 위한 단계를 결정하고, 화면을 통해 적어도 3개 이상의 객체들이 디스플레이되는 것으로 체크되면, 해당 객체들의 간략한 속성 정보를 제공하기 위한 단계를 결정한다. 따라서, 단말 장치는 객체수 가중치(124)로부터 결정된 단계에 따른 간략한 속성 정보 혹은 상세한 속성 정보를 객체 서버로부터 수신하여 화면에 디스플레이할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 가중치 처리부(121)는 시간별 가중치부(125)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 시간별 가중치부(125)는 위치 정보의 변화에 따른 가중치 조건값이 저장된 가중치 정보 저장부(130)를 참조하여 기설정된 시간 동안 화면을 통해 객체의 디스플레이되는 시점의 위치 정보의 변화가 있는지를 체크하여 해당 객체의 속성 정보의 단계를 결정한다. 보다 구체적으로, 시간별 가중치부(125)는 화면을 통해 객체의 디스플레이되는 시점의 위치 정보를 획득한다. 이후, 시간별 가중치부(125)는 기설정된 시간 동안 획득한 위치 정보의 변화가 있는지를 체크한다.
예를 들어, 사용자는 이동하면서 자신의 단말 장치의 카메라를 통해 현실의 영상을 촬영할 수 있다. 이 경우, 시간별 가중치부(125)는 촬영된 현실 영상에서 추출되어 인식된 객체의 디스플레이되는 시점의 위치 정보가 지속적으로 변하는 것으로 판단하여 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 단계를 결정한다. 한편, 사용자는 정지된 상태에서 자신의 단말 장치의 카메라를 통해 현실의 영상을 촬영할 수 있다. 이 경우, 시간별 가중치부(125)는 촬영된 현실 영상에서 추출되어 인식된 객체의 디스플레이되는 시점의 위치 정보가 기설정된 시간 동안 변하지 않는 것으로 판단하여 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 단계를 결정할 수 있다. 이와 같이, 단말 장치는 시간별 가중치부(125)를 통해 화면에 디스플레이되는 객체의 위치 정보의 변화에 따라 해당 객체의 속성 정보의 단계를 결정하여 간략하거나 혹은 상세한 속성 정보를 화면에 디스플레이할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 가중치 처리부(121)는 변화량 가중치부(126)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 변화량 가중치부(126)는 객체의 변화량에 따른 가중치 조건값이 저장된 가중치 정보 저장부(130)를 참조하여 화면에 디스플레이되는 인식된 객체의 크기 변화량 또는 이동 변화량에 해당 객체의 속성 정보의 단계를 결정할 수 있다. 일 실시예에 따라, 화면의 외곽에 디스플레이되는 객체가 화면의 중심 지점으로 이동할 경우, 변화량 가중치부(126)는 화면의 외곽에 디스플레이되는 지점에서 화면의 중심 지점으로 이동에 따른 변화량이 발생한 것으로 판단하여 화면의 중심으로 이동되는 객체의 상세한 속성 정보가 화면에 디스플레이되도록 그 속성 정보의 단계를 결정한다. 이에 따라, 단말 장치는 변화량 가중치부(126)로부터 결정된 단계에 따른 상세한 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 화면에 디스플레이한다.
또다른 실시예에 따라, 사용자는 카메라 줌인(Zoom-in)을 통해 현실 영상을 촬영할 수 있다. 이 경우, 변화량 가중치부(126)는 일반적인 모드 상태에서 촬영된 현실 영상의 객체가 확대되어 화면에 디스플레이되어 화면에 디스플레이되는 객체의 크기의 변화량이 발생한 것으로 판단한다. 이 같이, 화면에 디스플레이되는 객체의 크기의 변화량이 발생한 것으로 판단되면, 변화량 가중치부(126)는 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 그 속성 정보의 단계를 결정한다. 이에 따라, 단말 장치는 변화량 가중치부(126)로부터 결정된 단계에 해당하는 상세한 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 화면에 디스플레이한다. 이와 같이, 단말 장치는 변화량 가중치부(126)를 통해 화면에 디스플레이되는 객체의 이동 변화량 또는 크기 변화량에 따라 해당 객체의 속성 정보의 단계를 재결정하여 그에 따른 간략한 속성 정보 또는 상세한 속성 정보를 화면에 디스플레이할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 가중치 처리부(121)는 선호도 가중치부(127)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 선호도 가중치부(127)는 사용자의 선호도에 따른 가중치 조건값이 저장된 가중치 정보 저장부(130)를 참조하여 인식된 객체의 속성 정보의 단계를 결정한다. 실시예에 따라, 가중치 정보 저장부(130)는 사용자로부터 입력된 엔터테인먼트, 쇼핑 관련 선호도 정보가 저장될 수 있다. 이에 따라, 선호도 가중치부(127)는 화면에 디스플레이되는 객체가 사용자의 선호도에 따라 입력된 선호도 정보와 관련되는지를 체크한다. 체크 결과, 선호도 정보와 관련된 객체이면, 선호도 가중치부(127)는 해당 객체의 속성 정보의 단계를 가장 높게 결정한다. 이에 따라, 단말 장치는 선호도 가중치부(127)로부터 결정된 단계에 해당하는 상세한 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 화면에 디스플레이한다.
한편, 본 발명의 추가적인 양상에 따라, 가중치 처리부(121)는 혼합 가중치부(128)를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 혼합 가중치부(128)는 사용자의 요청에 따라 가중치 정보 저장부(130)에 저장되는 각 가중치부들의 가중치 조건값들의 우선 순위가 결정된 가중치 조건값이 저장된 가중치 정보 저장부(130)를 참조하여 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정한다. 이에 따라, 단말 장치는 각각의 가중치부들의 우선 순위로부터 결정된 단계의 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 화면에 디스플레이할 수 있다. 이하에서는 도 4의 실시예를 통해 보다 상세히 설명하기로 한다.
도 4는 본 발명의 일 실시예에 따른 단말 장치에서 혼합 가중치부를 통해 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이하는 예시도이다.
예를 들어, 사용자는 각 가중치부들의 가중치 조건값들 중, 화면 포커싱과 관련된 가중치 조건값과 객체 변화량에 따른 가중치 조건값의 우선 순위를 높게 설정할 수 있다. 이 경우, 도 4에 도시된 바와 같이, 건물1,2(410,430) 객체들이 화면에 디스플레이되면, 혼합 가중치부(128)는 가중치 정보 저장부(130)에 저장된 각 가중치부들의 가중치 조건값들의 우선 순위가 결정된 가중치 조건값에 따라 건물1,2(410,430) 객체들의 속성 정보의 단계를 결정한다. 즉, 혼합 가중치부(128)는 화면을 통해 디스플레이되는 건물1(410) 객체가 화면의 중심 지점에 위치하는 것으로 판단하여, 해당 객체의 속성 정보의 단계를 높게 결정한다. 그리고, 혼합 가중치부(128)는 화면을 통해 디스플레이되는 건물2(430) 객체가 화면의 외곽 지점에 위치하는 것으로 판단하여, 해당 객체의 속성 정보의 단계를 낮게 결정한다. 이에 따라, 단말 장치는 객체 서버로부터 건물1(410) 객체의 상세한 속성 정보와 건물2(430) 객체의 간략한 속성 정보를 수신하여 건물1,2(410,430) 객체들과 함께 화면에 디스플레이한다. 한편, 건물1,2(410,430) 객체들이 도시된 바와 같이 이동할 경우, 혼합 가중치부(128)는 건물1,2(410,430) 객체들의 이동에 따른 변화량이 발생한 것으로 판단하여 건물1,2(410,430) 객체들의 속성 정보의 단계를 재결정한다. 즉, 혼합 가중치부(128)는 건물1(410) 객체가 화면의 중심 지점에서 'A'라는 외곽의 지점으로 이동한 것으로 판단하여 건물1(410) 객체의 속성 정보의 단계를 낮게 결정한다. 그리고, 혼합 가중치부(128)는 건물2(430) 객체가 화면의 외곽 지점에서 'B'라는 중심의 지점으로 이동한 것으로 판단하여 건물2(430) 객체의 속성 정보의 단계를 높게 결정한다. 따라서, 단말 장치는 객체 서버로부터 건물1(410) 객체의 간략한 속성 정보와 건물2(430) 객체의 상세한 속성 정보를 수신하여 건물1,2(410,430) 객체들과 함께 화면에 디스플레이한다.
지금까지, 단계별 객체 정보 제공이 가능한 단말 장치의 구성들에 대해 상세히 설명하였다. 이하에서는 단말 장치에서 객체의 속성 정보를 단계적으로 화면에 디스플레이하는 방법에 대해 상세히 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따른 단말 장치에서 객체의 속성 정보를 단계적으로 화면에 디스플레이하는 방법의 흐름도이다.
도시된 바와 같이, 먼저, 단말 장치는 카메라를 통해 입력되는 영상에서 객체를 추출하여 인식한다(500). 즉, 사용자는 자신의 단말 장치에 장착된 카메라를 통해 자신이 촬영하고자하는 현실 영상의 영역을 지정한다. 사용자로부터 현실 영상의 영역이 지정됨에 따라, 단말 장치는 사용자로부터 지정된 영역의 현실 영상으로부터 현실 영상에서 객체를 추출하여 인식한다. 객체가 인식되면, 단말 장치는 인식된 객체이 속성 정보의 단계를 결정하기 위한 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 인식된 객체와 관련된 속성 정보의 단계를 결정한다(510).
인식된 객체와 관련된 속성 정보의 단계가 결정되면, 단말 장치는 결정된 속성 정보의 단계를 포함하는 속성 정보 요청 메시지를 다수의 객체들의 이미지와, 객체별 속성 정보를 저장 및 관리하는 객체 서버로 전송한다(520). 이후, 단말 장치는 객체 서버로부터 해당 객체와 관련된 속성 정보의 단계에 해당하는 속성 정보를 수신하고, 그 수신된 속성 정보와 객체를 합성하여 화면에 디스플레이한다(530). 한편, 전술한 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정하는 단말 장치는 다음과 같은 방법으로 객체의 속성 정보의 단계를 결정할 수 있다.
본 발명의 추가적인 양상에 따라, 단말 장치는 인식된 객체와의 거리에 따라 화면에 디스플레이되는 객체의 크기로부터 해당 객체의 속성 정보의 단계를 결정할 수 있다. 보다 구체적으로, 단말 장치는 화면에 디스플레이되는 영상에서 객체가 추출되어 인식되면 그 인식된 객체로부터 객체의 크기 면적을 구한다. 이후, 단말 장치는 객체의 크기와 관련된 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 그 객체의 크기 면적에 따른 객체의 속성 정보의 단계를 결정한다. 즉, 단말 장치 화면에 디스플레이되는 객체의 크기 면적은 해당 객체와 단말 장치 간의 거리에 따라 달라진다. 따라서, 단말 장치는 화면에 디스플레이되는 객체의 크기 면적이 작을수록 해당 객체와의 거리가 먼 것으로 판단하여 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 단계를 결정한다. 한편, 단말 장치는 화면에 디스플레이되는 객체의 크기 면적이 클수록 해당 객체와의 거리가 가까운 것으로 판단하여 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 단계를 결정하다. 이와 같이, 단말 장치는 화면에 디스플레이되는 객체의 크기 면적에 따라 해당 객체의 속성 정보를 상세하기 혹은 간략하게 제공할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 인식된 객체가 화면에 디스플레이되는 지점에 따라 인식된 객체의 속성 정보의 단계를 결정할 수 있다. 즉, 단말 장치는 카메라를 통해 입력되는 영상에서 객체가 추출되어 인식되면, 그 인식된 객체가 화면에 디스플레이되는 지점을 획득한다. 이후, 단말 장치는 화면 포커싱과 관련된 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 인식된 객체의 디스플레이되는 지점과 화면의 중심 지점 간의 거리 차에 따라 해당 객체의 속성 정보의 단계를 결정한다. 즉, 단말 장치는 화면을 통해 객체가 디스플레이되는 지점이 화면의 중심 지점과 근접할수록 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 단계를 결정하며, 객체의 디스플레이되는 지점이 화면의 중심 지점과 멀어질수록 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 단계를 결정한다. 이에 따라, 단말 장치는 화면을 통해 객체의 디스플레이되는 지점과 화면 중심 지점 간의 거리 차이에 따라 해당 객체의 속성 정보를 상세히 혹은 간략하게 제공할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 화면에 디스플레이되는 객체의 개수에 따라 해당 객체의 속성 정보의 단계를 결정할 수 있다. 먼저, 단말 장치는 카메라를 통해 입력되는 영상에서 객체가 추출되어 인식되면, 그 인식된 객체의 개수를 체크한다. 이후, 단말 장치는 화면에 디스플레이되는 객체의 개수와 관련된 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 현재 화면을 통해 디스플레이되는 객체의 개수에 따라 객체의 속성 정보의 단계를 결정한다. 예를 들어, 단말 장치는 화면을 통해 디스플레이되는 객체가 1개인 것으로 체크되면, 해당 객체의 상세한 속성 정보를 제공하기 위한 단계를 결정하고, 화면을 통해 디스플레이되는 객체의 수가 적어도 3개 이상인 것으로 체크되면, 해당 객체들의 간략한 속성 정보를 제공하기 위한 단계를 결정한다. 이이 따라, 단말 장치는 화면에 디스플레이되는 객체의 개수에 따라 결정된 해당 객체의 속성 정보의 단계에 따라 간략한 속성 정보 혹은 상세한 속성 정보를 객체 서버로부터 수신하여 화면에 디스플레이할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 인식된 객체가 화면을 통해 디스플레이되는 시점의 위치 정보의 변화 상태에 따라 해당 객체의 속성 정보의 단계를 결정할 수 있다. 즉, 단말 장치는 화면을 통해 디스플레이되는 객체의 위치 정보를 획득한다. 이후, 단말 장치는 위치 정보의 변화에 따른 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 해당 객체가 디스플레이되는 위치 정보의 변화를 체크한다. 예를 들어, 사용자는 이동하면서 자신의 단말 장치의 카메라를 통해 현실의 영상을 촬영할 수 있다. 이 경우, 단말 장치는 촬영된 현실 영상에서 인식된 객체의 디스플레이되는 시점의 위치 정보가 지속적으로 변하는 것으로 판단하여 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 단계를 결정한다. 한편, 사용자는 정지된 상태에서 자신의 단말 장치의 카메라를 통해 현실의 영상을 촬영할 수 있다. 이 경우, 단말 장치는 촬영된 현실 영상에서 인식된 객체의 디스플레이되는 시점의 위치 정보가 기설정된 시간 동안 변하지 않는 것으로 판단하여 해당 객체의 상세한 속성 정보가 화면에 디스플레이되도록 단계를 결정할 수 있다. 이와 같이, 단말 장치는 화면에 디스플레이되는 객체의 위치 정보의 변화에 따라 해당 객체의 속성 정보의 단계를 결정하여 간략하거나 혹은 상세한 속성 정보를 화면에 디스플레이할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 화면에 디스플레이되는 객체의 크기 변화량 또는 이동 변화량에 따라 해당 객체의 속성 정보의 단계를 결정할 수 있다. 즉, 단말 장치는 객체의 변화량에 따른 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 화면에 디스플레이되는 인식된 객체의 크기 변화량 또는 이동 변화량에 해당 객체의 속성 정보의 단계를 결정할 수 있다. 일 실시예에 따라, 화면의 중심에서 디스플레이되는 객체가 화면의 외곽으로 이동할 경우, 단말 장치는 화면의 중심에서 디스플레이되는 지점에서 화면의 외곽으로 이동에 따른 변화량이 발생한 것으로 판단하여 화면의 외곽으로 이동되는 객체의 간략한 속성 정보가 화면에 디스플레이되도록 그 속성 정보의 단계를 결정한다. 이에 따라, 단말 장치는 해당 객체의 간략한 속성 정보를 객체 서버로부터 수신하여 객체와 함께 화면에 디스플레이한다. 또다른 실시예에 따라, 사용자는 카메라 줌아웃(Zoom-out)을 통해 현실 영상을 촬영할 수 있다. 이 경우, 단말 장치는 일반적인 모드 상태에서 촬영된 현실 영상의 객체가 축소되어 화면에 디스플레이되어 화면에 디스플레이되는 객체의 크기의 변화량이 발생한 것으로 판단한다. 이 같이, 화면에 디스플레이되는 객체의 크기의 변화량이 발생한 것으로 판단되면, 단말 장치는 해당 객체의 간략한 속성 정보가 화면에 디스플레이되도록 그 속성 정보의 단계를 결정한다. 이에 따라, 단말 장치는 해당 객체의 간략한 속성 정보를 객체 서버로부터 수신하여 객체와 함께 화면에 디스플레이한다. 이와 같이, 단말 장치는 화면에 디스플레이되는 객체의 이동 변화량 또는 크기 변화량에 따라 해당 객체의 속성 정보의 단계를 재결정하여 그에 따른 간략한 속성 정보 또는 상세한 속성 정보를 화면에 디스플레이할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 사용자의 선호도에 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 즉, 단말 장치는 사용자의 선호도에 따른 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 인식된 객체의 속성 정보의 단계를 결정한다. 실시예에 따라, 단말 장치의 가중치 정보 저장부에는 사용자로부터 입력된 엔터테인먼트, 쇼핑 관련 선호도 정보가 저장될 수 있다. 이에 따라, 단말 장치는 화면에 디스플레이되는 객체가 사용자의 선호도에 따라 입력된 선호도 정보와 관련되는지를 체크한다. 체크 결과, 선호도 정보와 관련된 객체이면, 단말 장치는 해당 객체의 속성 정보의 단계를 가장 높게 결정한다. 이에 따라, 단말 장치는 해당 객체의 상세한 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 화면에 디스플레이한다.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 전술한 객체의 속성 정보의 단계를 결정하는 방법들의 우선 순위에 따라 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정할 수 있다. 즉, 단말 장치는 사용자의 요청에 따라 객체의 속성 정보의 단계를 결정하는 방법들과 관련된 가중치 조건값들의 우선 순위가 결정되어 저장된 가중치 정보 저장부를 참조하여 화면에 디스플레이되는 객체의 속성 정보의 단계를 결정한다. 실시예에 따라, 사용자는 각 가중치부들의 가중치 조건값들 중, 화면 포커싱과 관련된 가중치 조건값과 객체 변화량에 따른 가중치 조건값의 우선 순위를 높게 설정할 수 있다. 이 경우, 도 4와 같이 건물1,2(410,430) 객체들이 화면에 디스플레이되면, 단말 장치는 화면을 통해 디스플레이되는 건물1(410) 객체가 화면의 중심 지점에 위치하는 것으로 판단하여 해당 객체의 속성 정보의 단계를 높게 결정한다. 그리고, 단말 장치는 화면을 통해 디스플레이되는 건물2(430) 객체가 화면의 외곽 지점에 위치하는 것으로 판단하여, 해당 객체의 속성 정보의 단계를 낮게 결정한다. 이에 따라, 단말 장치는 객체 서버로부터 건물1(410) 객체의 상세한 속성 정보와 건물2(430) 객체의 간략한 속성 정보를 수신하여 건물1,2(410,430) 객체들과 함께 화면에 디스플레이한다. 한편, 건물1,2(410,430) 객체들이 도시된 바와 같이 이동할 경우, 단말 장치는 건물1,2(410,430) 객체들의 이동에 따른 변화량이 발생한 것으로 판단하여 건물1,2(410,430) 객체들의 속성 정보의 단계를 재결정한다. 즉, 단말 장치는 건물1(410) 객체가 화면의 중심 지점에서 외곽으로 이동한 것으로 판단하여 건물1(410) 객체의 속성 정보의 단계를 낮게 결정한다. 그리고, 단말 장치는 건물2(430) 객체가 화면의 외곽 지점에서 중심 지점으로 이동한 것으로 판단하여 건물2(430) 객체의 속성 정보의 단계를 높게 결정한다. 따라서, 단말 장치는 객체 서버로부터 건물1(410) 객체의 간략한 속성 정보와 건물2(430) 객체의 상세한 속성 정보를 수신하여 건물1,2(410,430) 객체들과 함께 화면에 디스플레이한다. 이와 같이, 단말 장치는 객체의 속성 정보의 단계를 결정하는 방법들의 우선 순위에 따라 결정된 단계의 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 화면에 디스플레이할 수 있다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 통신부 110 : 객체 인식부
120 : 제어부 121 : 가중치 처리부
122 : 객체 크기 가중치부 123 : 포커싱 가중치부
124 : 객체수 가중치부 125 : 시간별 가중치부
126 : 변화량 가중치부 127 : 선호도 가중치부
128 : 혼합 가중치부 129 : 융합부
130 : 가중치 정보 저장부 140 : 디스플레이부

Claims (16)

  1. 카메라를 통해 입력되는 영상에서 추출된 객체 및 상기 객체의 속성 정보를 화면에 디스플레이하는 단말 장치에 있어서,
    다수의 객체들의 이미지와 이들 객체별 속성 정보가 저장되는 객체 서버와 데이터 통신을 수행하는 통신부와;
    상기 카메라를 통해 입력되는 영상에서 객체를 추출하여 인식하는 객체 인식부와;
    기설정된 가중치 조건을 고려하여 상기 인식된 객체에 대해 단계적으로 세분화된 속성 정보들 중 상기 화면에 디스플레이할 속성 정보의 단계를 결정하며, 상기 통신부를 통해 상기 객체 서버로부터 상기 결정된 단계의 속성 정보를 수신하여 상기 인식된 객체와 함께 상기 화면에 디스플레이되도록 제어하는 제어부;
    를 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
  2. 제 1 항에 있어서, 상기 단말 장치는:
    다수의 객체들의 속성 정보의 단계를 결정하기 위한 가중치 조건값이 저장되는 가중치 정보 저장부;를 더 포함하며,
    상기 제어부는;
    객체의 크기에 관련된 가중치 조건값을 이용하여 상기 단말 장치와 상기 인식된 객체 간의 거리에 따라 상기 화면에 디스플레이되는 상기 인식된 객체의 크기로부터 상기 인식된 객체의 속성 정보의 단계를 결정하는 객체 크기 가중치부를 포함하는 가중치 처리부와;
    상기 가중치 처리부에 의해 결정된 속성 정보 단계에 해당하는 속성 정보를 상기 객체 서버로부터 수신하여 상기 인식된 객체와 합성하여 상기 화면에 디스플레이하는 융합부;
    를 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
  3. 제 2 항에 있어서, 상기 가중치 처리부는:
    화면 포커싱과 관련된 가중치 조건값을 이용하여 상기 화면을 통해 상기 인식된 객체의 디스플레이되는 지점과 상기 화면의 중심 지점 간의 거리 차에 따라 상기 인식된 객체의 속성 정보의 단계를 결정하는 포커싱 가중치부;
    를 더 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
  4. 제 2 항에 있어서, 상기 가중치 처리부는:
    상기 화면에 디스플레이되는 객체의 수와 관련된 가중치 조건값을 이용하여 상기 화면에 디스플레이되는 상기 인식된 객체의 속성 정보의 단계를 결정하는 객체수 가중치부;
    를 더 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
  5. 제 2 항에 있어서, 상기 가중치 처리부는:
    위치 정보의 변화에 따른 가중치 조건값을 이용하여 상기 화면을 통해 상기 인식된 객체가 디스플레이되는 시점의 위치 정보의 변화가 기설정된 시간 동안 있는지를 체크하여 상기 인식된 객체의 속성 정보의 단계를 결정하는 시간별 가중치부;
    를 더 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
  6. 제 2 항에 있어서, 상기 가중치 처리부는:
    객체의 변화량에 따른 가중치 조건값을 이용하여 상기 화면에 디스플레이되는 상기 인식된 객체의 크기 변화량 또는 이동 변화량에 따라 상기 인식된 객체의 속성 정보의 단계를 결정하는 변화량 가중치부;
    를 더 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
  7. 제 2 항에 있어서, 상기 가중치 처리부는:
    사용자의 선호도에 따른 가중치 조건값을 이용하여 상기 인식된 객체의 속성 정보 단계를 결정하는 선호도 가중치부;
    를 더 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
  8. 제 2 항 내지 제 7 항 중 어느 한 항에 있어서, 상기 가중치 처리부는:
    상기 가중치 처리부에 포함된 각각의 가중치부들의 우선 순위에 따른 가중치 조건값을 이용하여 상기 인식된 객체의 속성 정보 단계를 결정하는 혼합 가중치부;
    를 더 포함하는 것을 특징으로 하는 객체 정보 제공 단말 장치.
  9. 카메라를 통해 입력되는 영상에서 추출된 객체 및 상기 객체의 속성 정보를 화면에 디스플레이하는 단말 장치에서 상기 객체의 속성 정보를 단계적으로 상기 화면에 디스플레이하는 방법에 있어서,
    상기 카메라를 통해 입력되는 영상에서 객체를 추출하여 인식하는 단계와;
    상기 인식된 객체의 속성 정보의 단계를 결정하기 위해 이용되는 가중치 조건값이 저장된 가중치 정보 저장부를 참조하여 상기 인식된 객체에 대해 단계적으로 세분화된 속성 정보들 중 상기 화면에 디스플레이할 속성 정보의 단계를 결정하는 단계와;
    다수의 객체들의 이미지와 이들 객체별 속성 정보가 저장되는 객체 서버로부터 상기 결정된 단계의 속성 정보를 수신하여 상기 인식된 객체와 함께 상기 화면에 디스플레이하는 단계;
    를 포함하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
  10. 제 9 항에 있어서, 상기 인식된 객체와 관련된 속성 정보의 단계를 결정하는 단계는:
    상기 단말 장치와 상기 인식된 객체 간의 거리에 따라 상기 화면에 디스플레이되는 상기 인식된 객체의 크기로부터 상기 인식된 객체의 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
  11. 제 9 항에 있어서, 상기 인식된 객체와 관련된 속성 정보의 단계를 결정하는 단계는:
    상기 인식된 객체가 상기 화면에 디스플레이되는 지점과 상기 화면의 중심 지점 간의 거리 차에 따라 상기 인식된 객체의 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
  12. 제 9 항에 있어서, 상기 인식된 객체와 관련된 속성 정보의 단계를 결정하는 단계는:
    상기 화면에 디스플레이되는 객체의 개수에 따라 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
  13. 제 9 항에 있어서, 상기 인식된 객체와 관련된 속성 정보의 단계를 결정하는 단계는:
    상기 인식된 객체가 상기 화면을 통해 디스플레이되는 시점의 위치 정보의 변화가 기설정된 시간 동안 있는지를 체크하여 상기 인식된 객체의 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
  14. 제 9 항에 있어서, 상기 인식된 객체와 관련된 속성 정보의 단계를 결정하는 단계는:
    상기 화면에 디스플레이되는 상기 인식된 객체의 크기 변화량 또는 이동 변화량에 따라 상기 인식된 객체의 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
  15. 제 9 항에 있어서, 상기 인식된 객체와 관련된 속성 정보의 단계를 결정하는 단계는:
    사용자의 선호도에 따라, 상기 인식된 객체의 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
  16. 제 10 항 내지 제 15 항 중 어느 한 항에 있어서, 상기 인식된 객체와 관련된 속성 정보의 단계를 결정하는 단계는:
    상기 인식된 객체의 속성 정보 단계를 결정하는 방법들의 우선 순위에 따라 상기 인식된 객체의 속성 정보의 단계를 결정하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.

KR1020100080781A 2010-08-20 2010-08-20 객체 정보 제공 단말 장치 및 그 방법 KR101315399B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100080781A KR101315399B1 (ko) 2010-08-20 2010-08-20 객체 정보 제공 단말 장치 및 그 방법
US13/187,182 US20120047233A1 (en) 2010-08-20 2011-07-20 Apparatus and method for providing object information
EP11174806.7A EP2420978A3 (en) 2010-08-20 2011-07-21 Apparatus and method for providing object information
CN2011102120288A CN102436460A (zh) 2010-08-20 2011-07-27 用于提供对象信息的装置和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100080781A KR101315399B1 (ko) 2010-08-20 2010-08-20 객체 정보 제공 단말 장치 및 그 방법

Publications (2)

Publication Number Publication Date
KR20120017870A KR20120017870A (ko) 2012-02-29
KR101315399B1 true KR101315399B1 (ko) 2013-10-07

Family

ID=44860218

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100080781A KR101315399B1 (ko) 2010-08-20 2010-08-20 객체 정보 제공 단말 장치 및 그 방법

Country Status (4)

Country Link
US (1) US20120047233A1 (ko)
EP (1) EP2420978A3 (ko)
KR (1) KR101315399B1 (ko)
CN (1) CN102436460A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020032384A1 (ko) * 2018-08-08 2020-02-13 삼성전자 주식회사 이미지에 포함된 상품 정보와 관련된 키워드를 제공하기 위한 전자 장치
WO2021177594A1 (ko) * 2020-03-06 2021-09-10 삼성전자 주식회사 Ar hud를 이용하여 운전자의 주행을 돕는 방법 및 장치

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9298007B2 (en) 2014-01-21 2016-03-29 Osterhout Group, Inc. Eye imaging in head worn computing
US9965681B2 (en) 2008-12-16 2018-05-08 Osterhout Group, Inc. Eye imaging in head worn computing
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
JP6056178B2 (ja) 2012-04-11 2017-01-11 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
KR102021050B1 (ko) * 2012-06-06 2019-09-11 삼성전자주식회사 내비게이션 정보를 제공하는 방법, 기계로 읽을 수 있는 저장 매체, 이동 단말 및 서버
US9779517B2 (en) 2013-03-15 2017-10-03 Upskill, Inc. Method and system for representing and interacting with augmented reality content
US9846965B2 (en) 2013-03-15 2017-12-19 Disney Enterprises, Inc. Augmented reality device with predefined object data
KR101362851B1 (ko) * 2013-03-19 2014-02-17 엘아이지넥스원 주식회사 영상 데이터베이스 갱신 장치
KR101362847B1 (ko) * 2013-03-19 2014-02-17 엘아이지넥스원 주식회사 영상 데이터베이스 갱신 방법
EP3920148A1 (en) * 2013-04-04 2021-12-08 Sony Group Corporation Information processing device, information processing method, and program
KR102098058B1 (ko) * 2013-06-07 2020-04-07 삼성전자 주식회사 뷰 모드에서 정보 제공 방법 및 장치
CN105890616A (zh) * 2013-07-11 2016-08-24 北京奇虎科技有限公司 通过街景服务实现路线指引的方法和系统
US10114532B2 (en) * 2013-12-06 2018-10-30 Google Llc Editing options for image regions
US9299194B2 (en) 2014-02-14 2016-03-29 Osterhout Group, Inc. Secure sharing in head worn computing
US10649220B2 (en) 2014-06-09 2020-05-12 Mentor Acquisition One, Llc Content presentation in head worn computing
US9841599B2 (en) 2014-06-05 2017-12-12 Osterhout Group, Inc. Optical configurations for head-worn see-through displays
US9575321B2 (en) 2014-06-09 2017-02-21 Osterhout Group, Inc. Content presentation in head worn computing
US10254856B2 (en) 2014-01-17 2019-04-09 Osterhout Group, Inc. External user interface for head worn computing
US10684687B2 (en) 2014-12-03 2020-06-16 Mentor Acquisition One, Llc See-through computer display systems
US9494800B2 (en) 2014-01-21 2016-11-15 Osterhout Group, Inc. See-through computer display systems
US9753288B2 (en) 2014-01-21 2017-09-05 Osterhout Group, Inc. See-through computer display systems
US11487110B2 (en) 2014-01-21 2022-11-01 Mentor Acquisition One, Llc Eye imaging in head worn computing
US9766463B2 (en) 2014-01-21 2017-09-19 Osterhout Group, Inc. See-through computer display systems
US9811159B2 (en) 2014-01-21 2017-11-07 Osterhout Group, Inc. Eye imaging in head worn computing
US9401540B2 (en) 2014-02-11 2016-07-26 Osterhout Group, Inc. Spatial location presentation in head worn computing
US20160187651A1 (en) 2014-03-28 2016-06-30 Osterhout Group, Inc. Safety for a vehicle operator with an hmd
AU2015243934A1 (en) 2014-04-07 2016-10-27 Cubic Corporation Systems and methods for queue management
CA2945020A1 (en) * 2014-04-07 2015-10-15 Cubic Corporation Intuitive visual assessment of device operational health
DE102014210481A1 (de) * 2014-06-03 2015-12-03 Siemens Aktiengesellschaft Informationsanzeige zu durch Fenster sichtbaren, bewegten Objekten
US10663740B2 (en) 2014-06-09 2020-05-26 Mentor Acquisition One, Llc Content presentation in head worn computing
US20160239985A1 (en) 2015-02-17 2016-08-18 Osterhout Group, Inc. See-through computer display systems
KR101684098B1 (ko) * 2015-04-15 2016-12-15 (주)파슨텍 3차원 공간감지기와 영상분석을 융합한 감시시스템
EP3104241B1 (en) * 2015-06-12 2020-09-16 Accenture Global Services Limited An augmented reality method and system for measuring and/or manufacturing
CN108236785B (zh) * 2018-02-08 2022-11-11 腾讯科技（深圳）有限公司 一种获取对象信息的方法及装置
KR102592463B1 (ko) 2018-08-01 2023-10-23 삼성전자 주식회사 카메라 모듈을 통해 획득한 영상에 기반하여 정보를 저장하는 방법 및 이를 사용하는 전자 장치

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030028570A (ko) * 2001-06-15 2003-04-08 소니 가부시끼 가이샤 화상 처리 장치 및 방법 및 촬상 장치
KR20080084859A (ko) * 2006-01-09 2008-09-19 노키아 코포레이션 지리적 위치를 기반으로 하여 네트워크 객체들을 이동기기들에서 디스플레이
JP2009105594A (ja) * 2007-10-23 2009-05-14 Ricoh Co Ltd 画像処理装置及び画像処理方法
WO2010032079A2 (en) 2008-09-17 2010-03-25 Nokia Corp. User interface for augmented reality

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6765569B2 (en) * 2001-03-07 2004-07-20 University Of Southern California Augmented-reality tool employing scene-feature autocalibration during camera motion
WO2006003692A1 (ja) * 2004-06-30 2006-01-12 Fujitsu Limited 情報検索端末
US9648907B2 (en) * 2005-05-31 2017-05-16 Philip Morris Usa Inc. Virtual reality smoking system
WO2009033502A1 (en) 2007-09-12 2009-03-19 Taminco Treatment of pigs for reducing the feed conversion ratio or increasing the growth rate

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20030028570A (ko) * 2001-06-15 2003-04-08 소니 가부시끼 가이샤 화상 처리 장치 및 방법 및 촬상 장치
KR20080084859A (ko) * 2006-01-09 2008-09-19 노키아 코포레이션 지리적 위치를 기반으로 하여 네트워크 객체들을 이동기기들에서 디스플레이
JP2009105594A (ja) * 2007-10-23 2009-05-14 Ricoh Co Ltd 画像処理装置及び画像処理方法
WO2010032079A2 (en) 2008-09-17 2010-03-25 Nokia Corp. User interface for augmented reality

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2020032384A1 (ko) * 2018-08-08 2020-02-13 삼성전자 주식회사 이미지에 포함된 상품 정보와 관련된 키워드를 제공하기 위한 전자 장치
US11636529B2 (en) 2018-08-08 2023-04-25 Samsung Electronics Co., Ltd. Method and device for providing keywords related to product information included in image
WO2021177594A1 (ko) * 2020-03-06 2021-09-10 삼성전자 주식회사 Ar hud를 이용하여 운전자의 주행을 돕는 방법 및 장치

Also Published As

Publication number Publication date
US20120047233A1 (en) 2012-02-23
CN102436460A (zh) 2012-05-02
EP2420978A2 (en) 2012-02-22
EP2420978A3 (en) 2013-07-31
KR20120017870A (ko) 2012-02-29

Similar Documents

Publication Publication Date Title
KR101315399B1 (ko) 객체 정보 제공 단말 장치 및 그 방법
KR101429250B1 (ko) 단계별 객체 정보 제공이 가능한 단말 장치 및 방법
CN111034181B (zh) 图像捕获设备、图像显示系统和操作方法
US9582937B2 (en) Method, apparatus and computer program product for displaying an indication of an object within a current field of view
CN109891874B (zh) 一种全景拍摄方法及装置
EP3540571A1 (en) Method and device for editing virtual scene, and non-transitory computer-readable storage medium
EP3789966A1 (en) Method for realizing virtual scene conversion and related device
US9204090B2 (en) System and method for providing image
EP2398225B1 (en) Mobile terminal and method of displaying object related information therein
US8605006B2 (en) Method and apparatus for determining information for display
KR20190014638A (ko) 전자 기기 및 전자 기기의 제어 방법
KR102053361B1 (ko) 화면 회전을 적응적으로 수행하기 위한 방법 및 그 전자 장치
US8761590B2 (en) Mobile terminal capable of providing multiplayer game and operating method thereof
CN105843390B (zh) 一种图像缩放的方法与基于该方法的ar眼镜
CN104054039A (zh) 具有声音和几何分析的扩增现实
KR20120046991A (ko) 이동 단말기 및 그 제어방법
KR101317401B1 (ko) 객체 저장이 가능한 단말 장치 및 방법
US8493413B2 (en) Apparatus and method for controlling terminal through motion recognition
AU2016429066A1 (en) Supporting an augmented-reality software application
US10838601B2 (en) Processing method and terminal
KR20140112913A (ko) 동적 이미지 표시 방법 및 그 전자 장치
US20130076622A1 (en) Method and apparatus for determining input
CN114764295B (zh) 立体场景切换方法、装置、终端及存储介质
CN115134527A (zh) 处理方法、智能终端及存储介质
CN114706549A (zh) 显示方法、智能终端及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160901

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180227

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190227

Year of fee payment: 6