KR101429250B1 - 단계별 객체 정보 제공이 가능한 단말 장치 및 방법 - Google Patents

단계별 객체 정보 제공이 가능한 단말 장치 및 방법 Download PDF

Info

Publication number
KR101429250B1
KR101429250B1 KR1020100080780A KR20100080780A KR101429250B1 KR 101429250 B1 KR101429250 B1 KR 101429250B1 KR 1020100080780 A KR1020100080780 A KR 1020100080780A KR 20100080780 A KR20100080780 A KR 20100080780A KR 101429250 B1 KR101429250 B1 KR 101429250B1
Authority
KR
South Korea
Prior art keywords
marker
information
level
attribute information
recognized
Prior art date
Application number
KR1020100080780A
Other languages
English (en)
Other versions
KR20120017869A (ko
Inventor
김한영
진용근
Original Assignee
주식회사 팬택
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 팬택 filed Critical 주식회사 팬택
Priority to KR1020100080780A priority Critical patent/KR101429250B1/ko
Priority to US13/156,549 priority patent/US20120044263A1/en
Priority to EP11171256.8A priority patent/EP2420955A3/en
Priority to CN2011101929967A priority patent/CN102402790A/zh
Publication of KR20120017869A publication Critical patent/KR20120017869A/ko
Application granted granted Critical
Publication of KR101429250B1 publication Critical patent/KR101429250B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/10Character recognition
    • G06V30/14Image acquisition
    • G06V30/142Image acquisition using hand-held instruments; Constructional details of the instruments
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content

Abstract

본 발명은 증강현실에 관한 것으로서, 특히, 화면에 디스플레이되는 객체의 속성 정보를 단계적으로 제공하는 단말 장치 및 방법에 관한 것이다.
본 발명에 따른 카메라를 통해 입력되는 영상과 관련된 객체 및 객체의 속성 정보를 화면에 디스플레이하는 단말 장치에 있어서, 다수의 객체들의 이미지와, 객체별 레벨에 대응하는 속성 정보가 저장되는 객체 서버와 데이터 통신을 수행하는 통신부와, 카메라를 통해 입력되는 영상과 관련된 객체를 인식하는 객체 인식부와, 통신부를 통해 객체 서버로부터 인식된 객체의 해상도에 대응하는 속성 정보를 수신하여 상기 인식된 객체와 합성하여 화면에 디스플레이하도록 제어하는 제어부를 포함한다.
본 발명의 이 같은 양상에 따라, 단말 장치에 인식된 객체의 마커 정보에 따라 마커 레벨을 결정하고, 그 결정된 마커 레벨에 따라 해당 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이할 수 있다.

Description

단계별 객체 정보 제공이 가능한 단말 장치 및 방법{Terminal device and method for providing step object information}
본 발명은 증강현실에 관한 것으로서, 특히, 화면에 디스플레이되는 객체의 속성 정보를 단계적으로 제공하는 단말 장치 및 방법에 관한 것이다.
증강현실(Augmented Reality : AR)은 사용자가 눈으로 보는 현실세계와 부가정보를 갖는 가상세계를 합쳐 하나의 영상으로 보여주는 가상현실의 하나이다. 이 같은 증강현실은 가상현실과 일부 유사하나, 가상현실은 사용자에게 가상의 공간과 사물만을 제공하는 반면, 증강현실은 현실세계의 기반 위에 가상의 사물을 합성하여 현실세계만으로는 얻기 어려운 부가적인 정보를 보강하여 제공한다. 완전한 가상세계를 전제로 하는 가상현실과는 달리 증강현실은 현실세계의 환경 위에 가상의 대상을 결합시킴으로써, 사용자에게 보다 나은 현실감을 제공한다. 이 같은 증강현실 서비스는 1990년대 후반부터 미국과 일본을 중심으로 연구 개발이 진행되고 있으며, 최근에는 휴대폰, PDA(Personal digital assistants), UMPC(Ultra mobile personal computer) 등 모바일 기기의 컴퓨팅 능력 향상 및 무선 네트워크 장치의 발달로 다양한 증강현실 서비스가 가능해졌다.
일 예로, 휴대폰의 카메라를 통해 촬영되는 실제환경의 객체와 그 객체와 관련된 속성 정보가 가상으로 생성되어 실제환경의 객체와 융합되어 화면으로 출력된다. 이 같은 종래의 증강현실 서비스는 하나의 객체에 대해 하나의 속성 정보만을 표시하거나 또는 휴대폰의 화면에 디스플레이된 객체가 일정 영역 이상 들어올 경우에만 해당 객체의 속성 정보를 해당 객체와 함께 디스플레이한다. 즉, 휴대폰의 화면에 디스플레이되는 객체의 해상도가 일정 이상이기 전까지 해당 객체의 속성 정보를 화면에 디스플레이하지 않음으로써, 증강현실 서비스를 실생활에서 유용하게 사용하지 못하는 문제가 있다.
본 발명은 이와 같은 문제점을 해결하고자 하는 것으로, 본 발명을 통해 인식된 객체의 해상도에 따라 해당 객체의 속성 정보를 단계적으로 제공함을 목적으로 한다.
전술한 기술적 과제는 후술하는 본 발명의 특징적인 양상들에 의해 달성된다. 본 발명에 따른 카메라를 통해 입력되는 영상과 관련된 객체 및 객체의 속성 정보를 화면에 디스플레이하는 단말 장치에 있어서, 다수의 객체들의 이미지와, 객체별 레벨에 대응하는 속성 정보가 저장되는 객체 서버와 데이터 통신을 수행하는 통신부와, 카메라를 통해 입력되는 영상과 관련된 객체를 인식하는 객체 인식부와, 통신부를 통해 객체 서버로부터 인식된 객체의 해상도에 대응하는 속성 정보를 수신하여 상기 인식된 객체와 합성하여 화면에 디스플레이하도록 제어하는 제어부를 포함한다.
본 발명의 추가적인 양상에 따르면, 단말 장치는 객체의 해상도에 따른 마커 정보별 마커 레벨이 저장되는 마커 정보 DB를 더 포함하며, 제어부는 인식된 객체의 마커 정보를 추출하는 마커 정보 추출부와, 마커 정보 DB를 참조하여 마커 정보 추출부로부터 추출된 마커 정보와 관련된 마커 레벨을 결정하는 마커 레벨 결정부와, 결정된 마커 레벨에 대응하는 속성 정보를 객체 서버로부터 수신하여 인식된 객체와 합성하여 화면에 디스플레이하는 객체 정보 처리부를 포함한다.
본 발명의 추가적인 양상에 따르면, 마커 정보 추출부는 인식된 객체의 너비와 높이에 따른 픽셀값과 관련된 마커 정보를 추출하는 것을 특징으로 한다.
본 발명의 이 같은 양상에 따라, 단말 장치에 인식된 객체의 마커 정보에 따라 마커 레벨을 결정하고, 그 결정된 마커 레벨에 따라 해당 객체의 속성 정보의 단계를 결정하여 화면에 디스플레이할 수 있다.
본 발명의 추가적인 양상에 따르면, 마커 레벨 결정부는 추출된 마커 정보가 기설정된 조건값 내에 포함되는지를 체크하는 마커 정보 체크부와, 체크 결과, 조건값 내에 포함되면, 마커 정보 DB를 참조하여 추출된 마커 정보와 관련된 마커 레벨을 획득하되, 조건값 내에 포함되지 않으면, 추출된 마커 정보와 관련된 마커 레벨을 갱신하는 마커 레벨 획득부를 포함한다.
본 발명의 이 같은 양상에 따라, 인식되는 객체와 단말 장치 간의 거리 차이에 따라, 최초 결정된 해당 객체의 마커 레벨을 재결정함으로써, 하나의 속성 정보를 단계적으로 화면에 디스플레이할 수 있다.
상술한 바와 같이, 본 발명에 따른 단계별 객체 정보 제공이 가능한 단말 장치 및 방법을 통해 단말 장치의 화면에 디스플레이되는 객체의 해상도에 따라 해당 객체의 속성 정보를 단계적으로 세분화하여 화면에 디스플레이함으로써, 사용자에게 보다 효과적으로 정보를 제공할 수 있으며, 정보의 효율성과 직관성을 높일 수 있는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 단계별 객체 정보 제공이 가능한 단말 장치의 블록도,
도 2는 본 발명의 일 실시예에 따른 단말 장치에서 단계별 객체 정보를 제공하는 예시도,
도 3은 본 발명의 일 실시예에 따른 단말 장치에서 단계별 객체 정보를 제공하는 방법의 흐름도,
도 4는 본 발명의 일 실시예에 따른 단말 장치에서 인식된 객체와 노출 범위가 결정된 속성 정보를 화면에 디스플레이하는 방법의 흐름도,
도 5는 본 발명의 일 실시예에 따른 단말 장치에서 인식된 객체의 마커 정보에 따라 마커 레벨을 결정하는 방법의 흐름도이다.
전술한, 그리고 추가적인 본 발명의 양상들은 후술하는 실시 예를 통해 더욱 명확해질 것이다. 이하에서는 본 발명의 첨부된 도면을 참조하여 기술되는 바람직한 실시 예들을 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 단계별 객체 정보 제공이 가능한 단말 장치의 블록도이다.
도 1에 도시된 바와 같이, 단계별 객체 정보 제공이 가능한 단말 장치는 통신부(100), 객체 인식부(110), 제어부(120), 마커 정보 DB(130), 디스플레이부(140)를 포함한다. 통신부(100)는 객체 서버와 무선의 데이터 통신을 수행하는 것으로, 통신부(100)는 디스플레이부(140)를 통해 화면에 디스플레이되는 객체를 객체 서버로 전송하여 해당 객체에 대한 속성 정보를 수신한다. 여기서, 객체 서버는 다수의 객체들의 이미지와, 객체별 레벨에 대응하는 속성 정보를 저장하고 있으며, 이에 따라, 단말 장치는 통신부(100)를 통해 객체 서버로부터 화면에 디스플레이되는 객체와 관련된 속성 정보를 수신한다.
객체 인식부(110)는 단말 장치에 내장된 카메라를 통해 입력되는 영상과 관련된 객체를 인식하는 것으로, 즉, 카메라로부터 설정된 프리뷰 사이즈 크기의 영상이 입력되면, 그 영상과 관련된 객체를 인식한다. 이에 따라, 단말 장치는 객체 인식부(110)로부터 인식된 객체와 관련된 속성 정보를 통신부(100)를 통해 객체 서버로부터 수신한다. 객체가 인식되면, 제어부(120)는 통신부(100)를 통해 객체 서버로부터 인식된 객체의 해상도에 대응하는 속성 정보를 수신하여 해당 인식된 객체와 합성하여 디스플레이부(140)를 통해 화면에 디스플레이되도록 제어한다. 즉, 제어부(120)는 화면에 디스플레이되는 객체의 해상도가 높을수록 해당 객체의 속성 정보가 상세하게 화면에 디스플레이되도록 제어하며, 객체의 해상도가 낮을수록 해당 객체의 속성 정보가 간단하게 화면에 디스플레이되도록 제어한다.
마커 정보 DB(130)는 객체의 해상도에 따른 마커 정보별 마커 레벨이 저장되는 것으로, 이 같은 마커 정보 DB(130)를 참조하여 제어부(120)는 화면에 디스플레이되는 객체의 레벨을 결정하고, 그 결정된 객체의 레벨에 해당하는 속성 정보가 화면에 디스플레이되도록 제어한다. 이 같은 제어부(120)는 마커 정보 추출부(121), 마커 레벨 결정부(123), 객체 정보 처리부(127)를 통해 달성할 수 있다. 마커 정보 추출부(121)는 객체 인식부(110)로부터 인식된 객체의 마커 정보를 추출한다. 여기서, 마커 정보는 객체 인식부(110)로부터 인식된 객체의 너비(width)와 높이(height)에 따른 픽셀값으로써, 마커 정보 추출부(121)는 인식된 객체의 너비와 높이에 따른 픽셀값과 관련된 마커 정보를 추출한다.
마커 레벨 결정부(123)는 마커 정보 DB(130)를 참조하여 마커 정보 추출부(121)로부터 추출된 마커 정보와 관려된 마커 레벨을 결정한다. 이 같은 마커 레벨 결정부(123)는 마커 정보 체크부(124), 마커 레벨 획득부(125)를 달성할 수 있다. 마커 정보 체크부(124)는 마커 정보 추출부(121)로부터 추출된 객체의 마커 정보가 기설정된 조건값 내에 포함되는지를 체크한다. 전술한 바와 같이, 마커 정보는 인식된 객체의 너비와 높이에 따른 픽셀값으로써, 마커 정보 체크부(124)는 해당 객체의 픽셀값인 마커 정보가 기설정된 조건값 내에 포함되는지를 체크한다.
마커 레벨 획득부(125)는 마커 정보 체크부(124)의 체크 결과 해당 객체의 마커 정보가 기설정된 조건값 내에 포함되는 것으로 체크되면, 마커 정보 DB(130)를 참조하여 해당 객체의 마커 정보와 관련된 마커 레벨을 획득한다. 한편, 마커 레벨 획득부(125)는 마커 정보 체크부(124)의 체크 결과 해당 객체의 마커 정보가 기설정된 조건값 내에 포함되지 않는 것으로 체크되면, 해당 객체의 마커 정보와 관련된 관련된 마커 레벨을 갱신한다.
이 같이, 해당 객체의 마커 정보에 따른 마커 레벨이 결정되면, 객체 정보 처리부(127)는 결정된 마커 레벨에 대응하는 속성 정보를 객체 서버로부터 수신하여 해당 객체와 함께 합성하여 디스플레이부(140)를 통해 화면에 디스플레이한다. 즉, 객체 서버는 다수의 객체들의 이미지와, 객체별 레벨에 대응하는 속성 정보를 저장하고 있는 객체 서버는 객체 정보 처리부(127)를 통해 해당 객체의 마커 레벨이 수신되면, 수신된 마커 레벨과 대응하는 속성 정보를 획득하여 해당 단말 장치로 전송한다. 이에 따라, 객체 정보 처리부(127)는 객체 서버로부터 수신된 해당 객체의 마커 레벨과 대응하는 속성 정보를 수신하여 해당 객체와 함께 합성하여 화면에 디스플레이한다. 이 같은 객체 정보 처리부(127)는 본 발명의 추가적인 양상에 따라, 인식된 객체의 너비와 높이의 비율값을 이용하여 해당 객체와 노출 범위가 결정된 속성 정보가 화면을 통해 3D 회전이 가능하게 출력되도록 처리한다. 지금까지 본 발명에 따른 단계별 객체 정보 제공이 가능한 단말 장치의 구성에 대해 상세히 설명하였다. 이하에서는 도 2와 같은 실시예를 통해 본 발명을 상세히 설명하기로 한다.
도 2는 본 발명의 일 실시예에 따른 단말 장치에서 단계별 객체 정보를 제공하는 예시도이다.
도시된 바와 같이, 사용자는 자신의 단말 장치의 카메라를 통해 현실의 영상이 촬영될 영역을 지정하면, 카메라는 사용자가 지정한 영역을 촬영한다. 이에 따라, 단말 장치는 객체 인식부(110)를 통해 카메라로부터 촬영된 영역의 영상으로부터 버스 정류장 표지판(200,210)들의 객체들을 인식한다. 버스 정류장 표지판(200,210)의 객체들이 인식되면, 단말 장치는 마커 정보 추출부(121)를 통해 버스 정류장 표지판(200,210) 객체들의 마커 정보를 추출한다. 즉, 단말 장치는 마커 정보 추출부(121)를 통해 버스 정류장 표지판(200,210)의 객체들의 마커 정보인 픽셀값을 추출한다. 실시예에 따라, 버스 정류장 표지판(200)의 객체가 버스 정류장 표지판(210)의 객체보다 단말 장치와의 거리가 더 멀리 떨어져 있어 버스 정류장 표지판(200)의 객체의 픽셀값이 버스 정류장 표지판(210)의 객체의 픽셀값보다 작다.
버스 정류장 표지판(200,210)의 객체들의 픽셀값인 마커 정보가 추출되면, 단말 장치는 마커 레벨 결정부(123)를 통해 버스 정류장 표지판(200,210)의 객체들의 마커 레벨을 결정한다. 즉, 버스 정류장 표지판(200)의 객체의 픽셀값이 버스 정류장 표지판(210)의 객체의 픽셀값보다 작기 때문에 버스 정류장 표지판(200)의 객체의 마커 레벨이 버스 정류장 표지판(210)의 객체의 마커 레벨보다 작게 결정된다. 이 같이, 버스 정류장 표지판(200,210)의 객체들의 마커 레벨을 결정되면, 단말 장치는 객체 서버로 결정된 마커 레벨에 대응하는 속성 정보를 요청한다. 이에 따라, 단말 장치는 객체 서버로부터 버스 정류장 표지판(200,210)의 객체들의 마커 레벨에 대응하는 속성 정보를 수신하여 버스 정류장 표지판(200,210)의 객체들과 합성하여 화면에 디스플레이한다.
즉, 단말 장치는 도시된 바와 같이, 버스 정류장 표지판(200) 객체의 경우, 마커 레벨이 작기 때문에 '신촌 버스역'이라는 속성 정보만을 노출한다. 반면, 단말 장치는 버스 정류장 표지판(210) 객체의 경우, 버스 정류장 표지판(200) 객체에 비해 마커 레벨이 높기 때문에 '연세대 앞 버스역, 버스별 도착 시간 안내'의 속성 정보를 노출한다. 다시 말해, 단말 장치는 버스 정류장 표지판(200) 객체의 경우, 단말 장치와의 거리가 멀기 때문에 버스 정류장 표지판(200) 객체의 간략한 속성 정보를 화면에 디스플레이하며, 버스 정류장 표지판(210) 객체의 경우, 단말 장치와의 거리가 가깝기 때문에 버스 정류장 표지판(210) 객체의 상세한 속성 정보를 화면에 디스플레이한다. 지금까지, 본 발명에 따른 단계별 객체 정보 제공이 가능한 단말 장치의 구성 및 그에 따른 실시예를 통해 본 발명을 상세히 설명하였다.
이하에서는 본 발명에 따른 단말 장치에서 단계적으로 객체의 정보를 제공하는 방법에 대해 상세히 설명하기로 한다.
도 3은 본 발명의 일 실시예에 따른 단말 장치에서 단계별 객체 정보를 제공하는 방법의 흐름도이다.
도시된 바와 같이, 단계별 객체 정보를 제공하는 단말 장치는 사용자의 요청에 따라 카메라를 통해 현실의 영상이 촬영되면, 그 촬영된 영상의 객체를 인식한다(300). 카메라를 통해 촬영된 영상에 대한 객체가 인식되면, 단말 장치는 인식된 객체의 해상도에 따른 레벨을 결정한다(310). 객체의 해상도에 따른 레벨에 결정되면, 단말 장치는 다수의 객체들의 이미지와, 객체별 레벨에 대응하는 속성 정보를 저장하고 있는 객체 서버로부터 그 결정된 객체의 레벨에 대응하는 속성 정보를 수신하여 화면을 통해 해당 객체와 함게 디스플레이한다(320). 이 같이, 단말 장치에서 인식된 객체의 레벨을 결정하는 방법은 도 4와 같은 단계를 통해 달성할 수 있다.
도 4는 본 발명의 일 실시예에 따른 단말 장치에서 인식된 객체와 노출 범위가 결정된 속성 정보를 화면에 디스플레이하는 방법의 흐름도이다.
도시된 바와 같이, 카메라를 통해 촬영된 영상으로부터 객체가 인식되면, 단말 장치는 인식된 객체의 마커 정보를 추출한다(400). 여기서, 마커 정보는 인식된 객체의 너비(width)와 높이(height)에 따른 픽셀값으로써, 단말 장치는 인식된 객체의 너비와 높이에 따른 픽셀값과 관련된 마커 정보를 추출한다. 인식된 객체의 마커 정보가 추출되면, 단말 장치는 객체의 해상도에 따른 마커 정보별 마커 레벨이 저장되는 마커 정보 DB를 참조하여 추출된 마커 정보와 관련된 마커 레벨을 획득한다(410). 즉, 단말 장치는 마커 정보별 마커 레벨이 저장되는 마커 정보 DB를 참조하여 인식된 객체의 너비와 높이에 따른 픽셀값과 관련된 마커 정보를 통해 마커 레벨을 결정한다. 여기서, 마커 레벨은 해당 객체와 관련된 속성 정보가 화면에 디스플레이되는 정도를 결정하기 위한 값이다. 이 같이, 단말 장치에서 인식된 객체의 마커 정보에 따라 마커 레벨을 결정하는 방법은 하기에서 상세히 설명하기로 한다. 예를 들어, 도 2와 같이 카메라를 통해 현실 영상이 촬영되어 버스 정류장 표지판(200,210)의 객체들이 인식되면, 단말 장치는 버스 정류장 표지판(200,210)의 객체들의 너비와 높이에 따른 픽셀값과 관련된 마커 정보를 추출한다. 도시된 바와 같이, 버스 정류장 표지판(200) 객체의 경우, 버스 정류장 표지판(210) 객체에 비해 단말 장치와의 거리가 멀리 떨어져 있기 때문에 버스 정류장 표지판(200) 객체의 픽셀값이 버스 정류장 표지판(210) 객체의 픽셀값보다 작다. 때문에, 버스 정류장 표지판(200) 객체의 마커 레벨이 버스 정류장 표지판(210) 객체의 마커 레벨보다 작게 결정된다. 따라서, 단말 장치는 버스 정류장 표지판(200) 객체의 마커 정보를 통해 결정된 마커 레벨에 따라 객체 서버로부터 '신촌 버스역'이라는 간략한 속성 정보만을 수신한다. 한편, 단말 장치는 버스 정류장 표지판(210) 객체의 마커 정보를 통해 결정된 마커 레벨에 따라 객체 서버로부터 '연세대 앞 버스역, 버스별 도착 시간 안내'의 상세한 속성 정보를 수신한다. 이후, 단말 장치는 버스 정류장 표지판(200) 객체와 '신촌 버스역'이라는 간략한 속성 정보만을 합성하여 화면에 디스플레이하며, 버스 정류장 표지판(210) 객체와 '연세대 앞 버스역, 버스별 도착 시간 안내'의 상세한 속성 정보를 합성하여 화면에 디스플레이함으로써, 화면에 디스플레이되는 객체의 해상도에 따라 해당 객체의 속성 정보를 단계적으로 제공할 수 있다.
한편, 본 발명의 추가적인 양상에 따라, 단말 장치는 인식된 객체의 너비와 높이에 따른 비율값을 이용하여 입력된 객체와 노출 범위가 결정된 속성 정보가 화면을 통해 3D로 회전가능하도록 합성할 수 있다. 이하에서는 전술한 단말 장치에서 인식된 객체의 마커 정보에 따라 마커 레벨을 결정하는 방법에 대해 상세히 설명하기로 한다.
도 5는 본 발명의 일 실시예에 따른 단말 장치에서 인식된 객체의 마커 정보에 따라 마커 레벨을 결정하는 방법의 흐름도이다.
도시된 바와 같이, 단말 장치는 인식된 객체의 마커 정보가 기설정된 조건값에 포함되는지를 체크하여, 기설정된 조건값에 포함되면, 마커 정보와 대응하는 마커 레벨을 결정한다. 한편, 기설정된 조건값에 포함되지 않으면, 단말 장치는 인식된 객체의 마커 정보와 대응하는 마커 레벨을 갱신한다. 보다 구체적으로, 단말 장치는 인식된 객체의 마커 정보와 기설정된 제1 조건값을 비교한다(500). 비교 결과, 인식된 객체의 마커 정보가 기설정된 제1 조건값 보다 크면, 단말 장치는 제1 조건값을 기설정된 값만큼 올린다(510). 즉, 단말 장치는 인식된 객체의 마커 정보가 기설정된 제1 조건값 보다 작거나 같을 때까지 제1 조건값을 기설정된 값만큼 올린다. 이에 따라, 인식된 객체의 마커 정보가 기설정된 제1 조건값 보다 작거나 같으면, 단말 장치는 인식된 객체의 마커 정보와 기설정된 제2 조건값을 비교한다.(520) 비교 결과, 인식된 객체의 마커 정보가 기설정된 제2 조건값 보다 크면, 단말 장치는 기설정된 제2 조건값을 기설정된 값만큼 내린다(530). 이에 따라, 인식된 객체의 마커 정보가 기설정된 제2 조건값 보다 크거나 같으면, 단말 장치는 마커 정보 DB를 참조하여 인식된 객체의 마커 정보와 대응하는 마커 레벨을 획득한다(530).
즉, 단말 장치의 카메라를 통해 촬영되는 현실 영상으로부터 인식되는 객체의 해상도는 사용자의 이동에 따라 달라지게된다. 실시예에 따라, 인식된 객체와 단말 장치 간의 거리가 가까워지면, 그 인식된 객체의 해상도는 커지게 되어 최초 인식된 객체의 마커 정보도 달라지게된다. 이에 따라, 최초 인식된 객체의 마커 정보를 통해 결정된 마커 레벨은 갱신되어 최초 화면에 디스플레이되는 속성 정보에 비해 더욱 상세한 속성 정보가 화면에 디스플레이된다.
반면, 인식된 객체와 단말 장치 간의 거리가 멀어지게 되면, 그 인식된 객체의 해상도는 작아지게 되어 최초 인식된 객체의 마커 정보도 달라지게된다. 이에 따라, 최초 인식된 객체의 마커 정보를 통해 결정된 마커 레벨을 갱신되어, 최초 화면에 디스플레이되는 속성 정보에 비해 더욱 간략한 속성 정보가 화면에 디스플레이된다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다.
본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
100 : 통신부 110 : 객체 인식부
120 : 제어부 121 : 마커 정보 추출부
123 : 마커 레벨 결정부 124 : 마커 정보 체크부
125 : 마커 레벨 획득부 127 : 객체 정보 처리부
130 : 마커 정보 DB 140 : 디스플레이부

Claims (10)

  1. 삭제
  2. 카메라를 통해 입력되는 영상과 관련된 객체 및 상기 객체의 속성 정보를 화면에 디스플레이하는 단말 장치에 있어서,
    객체의 해상도에 따른 마커 정보별 마커 레벨이 저장되는 마커 정보 DB와;
    다수의 객체들의 이미지와, 객체별 레벨에 대응하는 속성 정보가 저장되는 객체 서버와 데이터 통신을 수행하는 통신부와;
    상기 카메라를 통해 입력되는 영상과 관련된 객체를 인식하는 객체 인식부와;
    상기 통신부를 통해 상기 객체 서버로부터 상기 인식된 객체의 해상도에 대응하는 레벨의 속성 정보를 수신하여 상기 인식된 객체와 합성하여 상기 화면에 디스플레이하도록 제어하는 제어부;를 포함하되,
    상기 제어부는
    상기 인식된 객체의 마커 정보를 추출하는 마커 정보 추출부와;
    상기 마커 정보 DB를 참조하여 상기 마커 정보 추출부로부터 추출된 마커 정보와 관련된 마커 레벨을 결정하는 마커 레벨 결정부와;
    상기 결정된 마커 레벨에 대응하는 속성 정보를 상기 객체 서버로부터 수신하여 상기 인식된 객체와 합성하여 상기 화면에 디스플레이하는 객체 정보 처리부;를 포함하며,
    상기 인식된 객체의 해상도가 높을수록 상기 화면에 디스플레이되는 속성 정보는 상세한 것을 특징으로 하는 단계별 객체 정보 제공이 가능한 단말 장치.
  3. 제 2 항에 있어서, 상기 마커 레벨 결정부는:
    상기 추출된 마커 정보가 기설정된 조건값 내에 포함되는지를 체크하는 마커 정보 체크부와;
    상기 체크 결과, 상기 조건값 내에 포함되면, 상기 마커 정보 DB를 참조하여 상기 추출된 마커 정보와 관련된 마커 레벨을 획득하되, 상기 조건값 내에 포함되지 않으면, 상기 추출된 마커 정보와 관련된 마커 레벨을 갱신하는 마커 레벨 획득부;
    를 포함하는 것을 특징으로 하는 단계별 객체 정보 제공이 가능한 단말 장치.
  4. 제 2 항에 있어서, 상기 마커 정보 추출부는:
    상기 인식된 객체의 너비와 높이에 따른 픽셀값과 관련된 마커 정보를 추출하는 것을 특징으로 하는 단계별 객체 정보 제공이 가능한 단말 장치.
  5. 제 2 항에 있어서, 상기 객체 정보 처리부는:
    상기 인식된 객체의 너비와 높이의 비율값을 이용하여 상기 입력된 객체와, 그에 따른 속성 정보가 상기 화면을 통해 3D 회전이 가능하게 출력되도록 처리하는 것을 특징으로 하는 단계별 객체 정보 제공이 가능한 단말 장치.
  6. 삭제
  7. 카메라를 통해 입력되는 영상과 관련된 객체 및 상기 객체의 속성 정보를 화면에 디스플레이하는 단말 장치에서 상기 객체의 속성 정보를 단계적으로 상기 화면에 디스플레이하는 방법에 있어서,
    상기 카메라를 통해 입력되는 영상과 관련된 객체를 인식하는 단계와;
    상기 인식된 객체의 해상도에 따른 레벨을 결정하는 단계와;
    객체 서버로부터 상기 결정된 객체의 레벨에 대응하는 속성 정보를 수신하여 상기 화면을 통해 객체와 함께 디스플레이하는 단계;를 포함하되,
    상기 레벨을 결정하는 단계는:
    상기 인식된 객체의 마커 정보를 추출하는 단계와;
    객체의 해상도에 따른 마커 정보별 마커 레벨이 저장되는 마커 정보 DB를 참조하여 상기 추출된 마커 정보와 관련된 마커 레벨을 획득하는 단계;를 포함하며,
    상기 인식된 객체의 해상도가 높을수록 상기 화면에 디스플레이되는 속성 정보는 상세한 것을 특징으로 하는 단계별 객체 정보 제공 방법.
  8. 제 7 항에 있어서, 상기 마커 레벨을 획득하는 단계는:
    상기 인식된 객체의 너비와 높이에 따른 픽셀값과 관련된 마커 정보를 통해 마커 레벨을 획득하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
  9. 제 8 항에 있어서, 상기 마커 레벨을 획득하는 단계는:
    상기 인식된 객체의 마커 정보가 기설정된 조건값에 포함되는지를 체크하는 단계와;
    상기 기설정된 조건값에 포함되면, 상기 마커 정보와 대응하는 마커 레벨을 획득하되, 상기 조건값에 포함되지 않으면, 상기 마커 정보와 대응하는 마커 레벨을 갱신하여 획득하는 단계;
    를 포함하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
  10. 제 8 항에 있어서, 상기 디스플레이하는 단계는:
    상기 인식된 객체의 너비와 높이에 따른 비율값을 이용하여 상기 인식된 객체와 그에 따른 속성 정보가 상기 화면을 통해 3D로 회전가능하도록 합성하는 것을 특징으로 하는 단계별 객체 정보 제공 방법.
KR1020100080780A 2010-08-20 2010-08-20 단계별 객체 정보 제공이 가능한 단말 장치 및 방법 KR101429250B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR1020100080780A KR101429250B1 (ko) 2010-08-20 2010-08-20 단계별 객체 정보 제공이 가능한 단말 장치 및 방법
US13/156,549 US20120044263A1 (en) 2010-08-20 2011-06-09 Terminal device and method for augmented reality
EP11171256.8A EP2420955A3 (en) 2010-08-20 2011-06-24 Terminal device and method for augmented reality
CN2011101929967A CN102402790A (zh) 2010-08-20 2011-07-06 用于增强现实的终端设备及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100080780A KR101429250B1 (ko) 2010-08-20 2010-08-20 단계별 객체 정보 제공이 가능한 단말 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20120017869A KR20120017869A (ko) 2012-02-29
KR101429250B1 true KR101429250B1 (ko) 2014-09-25

Family

ID=45053098

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100080780A KR101429250B1 (ko) 2010-08-20 2010-08-20 단계별 객체 정보 제공이 가능한 단말 장치 및 방법

Country Status (4)

Country Link
US (1) US20120044263A1 (ko)
EP (1) EP2420955A3 (ko)
KR (1) KR101429250B1 (ko)
CN (1) CN102402790A (ko)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI661723B (zh) * 2008-08-08 2019-06-01 日商尼康股份有限公司 攜帶資訊機器及資訊取得系統
US8836730B1 (en) * 2011-08-19 2014-09-16 Google Inc. Methods and systems for modifying a display of a field of view of a robotic device to include zoomed-in and zoomed-out views
US9606992B2 (en) * 2011-09-30 2017-03-28 Microsoft Technology Licensing, Llc Personal audio/visual apparatus providing resource management
CN102739872A (zh) * 2012-07-13 2012-10-17 苏州梦想人软件科技有限公司 移动终端及应用于移动终端的增强现实方法
CN103577788A (zh) 2012-07-19 2014-02-12 华为终端有限公司 增强现实的实现方法和装置
WO2014047876A1 (en) * 2012-09-28 2014-04-03 Intel Corporation Determination of augmented reality information
KR101253644B1 (ko) * 2012-12-28 2013-04-11 주식회사 맥스트 위치 정보를 이용한 증강 현실 콘텐츠 출력 장치 및 방법
US9547917B2 (en) 2013-03-14 2017-01-17 Paypay, Inc. Using augmented reality to determine information
US9846965B2 (en) 2013-03-15 2017-12-19 Disney Enterprises, Inc. Augmented reality device with predefined object data
KR102098058B1 (ko) * 2013-06-07 2020-04-07 삼성전자 주식회사 뷰 모드에서 정보 제공 방법 및 장치
KR102206060B1 (ko) * 2013-11-19 2021-01-21 삼성전자주식회사 전자 장치의 효과 디스플레이 방법 및 그 전자 장치
HK1201682A2 (en) * 2014-07-11 2015-09-04 Idvision Ltd Augmented reality system
CN104834680B (zh) * 2015-04-13 2017-11-07 西安教育文化数码有限责任公司 一种索引式增强现实方法
CN104850582B (zh) * 2015-04-13 2017-11-07 西安教育文化数码有限责任公司 一种索引式增强现实系统
US20180158157A1 (en) * 2016-12-02 2018-06-07 Bank Of America Corporation Geo-targeted Property Analysis Using Augmented Reality User Devices
US20180158156A1 (en) * 2016-12-02 2018-06-07 Bank Of America Corporation Property Assessments Using Augmented Reality User Devices
CN107123013B (zh) * 2017-03-01 2020-09-01 阿里巴巴集团控股有限公司 基于增强现实的线下交互方法及装置
KR101983249B1 (ko) * 2017-12-27 2019-08-28 주식회사 버넥트 대상물과의 거리에 따른 증강영상의 동적 표현기술이 적용된 증강현실 시스템
KR101983256B1 (ko) * 2017-12-27 2019-05-28 주식회사 버넥트 객체간의 상호 위치관계를 고려한 증강영상의 동적 표현기술이 적용된 증강현실 시스템
CN108334639A (zh) * 2018-03-20 2018-07-27 北京知道创宇信息技术有限公司 基于ar视觉呈现的可视化方法、装置及ar设备
CN108986508B (zh) * 2018-07-25 2020-09-18 维沃移动通信有限公司 一种显示路线信息的方法及终端
US20200402116A1 (en) * 2019-06-19 2020-12-24 Reali Inc. System, method, computer program product or platform for efficient real estate value estimation and/or optimization

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009088903A (ja) * 2007-09-28 2009-04-23 Kyocera Corp 移動通信装置
WO2010073616A1 (ja) 2008-12-25 2010-07-01 パナソニック株式会社 情報表示装置および情報表示方法

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6266442B1 (en) * 1998-10-23 2001-07-24 Facet Technology Corp. Method and apparatus for identifying objects depicted in a videostream
US6898307B1 (en) * 1999-09-22 2005-05-24 Xerox Corporation Object identification method and system for an augmented-reality display
US20030210228A1 (en) * 2000-02-25 2003-11-13 Ebersole John Franklin Augmented reality situational awareness system and method
JP4414054B2 (ja) * 2000-03-27 2010-02-10 本田技研工業株式会社 物体認識装置
US7508485B2 (en) * 2001-01-23 2009-03-24 Kenneth Martin Jacobs System and method for controlling 3D viewing spectacles
US7634305B2 (en) * 2002-12-17 2009-12-15 Given Imaging, Ltd. Method and apparatus for size analysis in an in vivo imaging system
US7664315B2 (en) * 2004-11-03 2010-02-16 Tyzx, Inc. Integrated image processor
US7920182B2 (en) * 2005-04-29 2011-04-05 Eliezer Jacob Digital camera with non-uniform image resolution
JP4444927B2 (ja) * 2006-03-30 2010-03-31 富士フイルム株式会社 測距装置及び方法
CN100470452C (zh) * 2006-07-07 2009-03-18 华为技术有限公司 一种实现三维增强现实的方法及系统
JP4656331B2 (ja) * 2006-12-27 2011-03-23 富士フイルム株式会社 撮像装置および撮像方法
RU2463663C2 (ru) * 2007-05-31 2012-10-10 Панасоник Корпорэйшн Устройство захвата изображения, сервер обеспечения дополнительной информации и система фильтрации дополнительной информации
CN101884095B (zh) 2007-10-04 2012-06-27 三菱瓦斯化学株式会社 硅蚀刻液和蚀刻方法
JP4600515B2 (ja) * 2008-05-07 2010-12-15 ソニー株式会社 情報提示装置及び情報提示方法、撮像装置、並びにコンピュータ・プログラム
JP5294995B2 (ja) * 2009-06-03 2013-09-18 パナソニック株式会社 距離計測装置及び距離計測方法
US8597027B2 (en) * 2009-11-25 2013-12-03 Loren J. Staplin Dynamic object-based assessment and training of expert visual search and scanning skills for operating motor vehicles

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009088903A (ja) * 2007-09-28 2009-04-23 Kyocera Corp 移動通信装置
WO2010073616A1 (ja) 2008-12-25 2010-07-01 パナソニック株式会社 情報表示装置および情報表示方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
홍준식 외, "제안된 GBD 알고리즘을 이용한 이차원 영상에서의 다중해상도 거리 측정", 한국콘텐츠학회 2006 춘계종합학술대회 논문집 Vol. 4 No. 1 *

Also Published As

Publication number Publication date
EP2420955A2 (en) 2012-02-22
EP2420955A3 (en) 2014-10-22
KR20120017869A (ko) 2012-02-29
US20120044263A1 (en) 2012-02-23
CN102402790A (zh) 2012-04-04

Similar Documents

Publication Publication Date Title
KR101429250B1 (ko) 단계별 객체 정보 제공이 가능한 단말 장치 및 방법
KR101315399B1 (ko) 객체 정보 제공 단말 장치 및 그 방법
US20220004794A1 (en) Character recognition method and apparatus, computer device, and storage medium
US9582937B2 (en) Method, apparatus and computer program product for displaying an indication of an object within a current field of view
US9933883B2 (en) Mobile terminal and touch coordinate predicting method thereof
CN110059685B (zh) 文字区域检测方法、装置及存储介质
EP2851791A2 (en) Mobile terminal
EP2398225A2 (en) Mobile terminal and method of displaying object related information therein
CN105956999B (zh) 缩略图生成装置和方法
JP5413170B2 (ja) アノテーション表示システム,方法及びサーバ装置
WO2022042425A1 (zh) 视频数据处理方法、装置、计算机设备及存储介质
CN108196755B (zh) 背景图片显示方法及装置
EP3748533A1 (en) Method, apparatus, and storage medium for obtaining object information
CN113038165B (zh) 确定编码参数组的方法、设备及存储介质
CN110807769B (zh) 图像显示控制方法及装置
CN110503159B (zh) 文字识别方法、装置、设备及介质
CN111603772A (zh) 区域检测方法、装置、设备及存储介质
CN111353946B (zh) 图像修复方法、装置、设备及存储介质
KR102161437B1 (ko) 증강현실의 공간맵을 이용한 콘텐츠 공유 장치 및 그 방법
CN112163062B (zh) 数据处理方法、装置、计算机设备及存储介质
KR20150115169A (ko) 전자 장치 및 전자 장치의 디스플레이 방법
CN117769696A (zh) 显示方法、电子设备、存储介质和程序产品
CN108540726B (zh) 连拍图像的处理方法、装置、存储介质及终端
CN113301422A (zh) 获取视频封面的方法、终端及存储介质
CN114257755A (zh) 图像处理方法、装置、设备及存储介质

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
X701 Decision to grant (after re-examination)
FPAY Annual fee payment

Payment date: 20180129

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190128

Year of fee payment: 5