KR101892286B1 - 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법 - Google Patents

물체 인식을 이용한 콘텐츠 제공 시스템 및 방법 Download PDF

Info

Publication number
KR101892286B1
KR101892286B1 KR1020140006514A KR20140006514A KR101892286B1 KR 101892286 B1 KR101892286 B1 KR 101892286B1 KR 1020140006514 A KR1020140006514 A KR 1020140006514A KR 20140006514 A KR20140006514 A KR 20140006514A KR 101892286 B1 KR101892286 B1 KR 101892286B1
Authority
KR
South Korea
Prior art keywords
content
server
mobile terminal
descriptor
image
Prior art date
Application number
KR1020140006514A
Other languages
English (en)
Other versions
KR20150087440A (ko
Inventor
양승호
한상준
Original Assignee
주식회사 웰시스템코리아
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 웰시스템코리아 filed Critical 주식회사 웰시스템코리아
Priority to KR1020140006514A priority Critical patent/KR101892286B1/ko
Priority to PCT/KR2014/004018 priority patent/WO2015108243A1/ko
Publication of KR20150087440A publication Critical patent/KR20150087440A/ko
Application granted granted Critical
Publication of KR101892286B1 publication Critical patent/KR101892286B1/ko

Links

Images

Landscapes

  • Business, Economics & Management (AREA)
  • Information Transfer Between Computers (AREA)
  • Tourism & Hospitality (AREA)
  • Human Resources & Organizations (AREA)
  • Economics (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)

Abstract

본 발명은 서버 및 네트워크의 부하를 고려하여 데이터 송수신 크기를 능동적으로 조정함으로써, 물체 인식 동작을 항상 안정적으로 수행할 수 있도록 하는 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법에 관한 것으로,
상기 방법은 모바일 단말이 이미지를 획득한 후, 이미지 크기별로 서술자를 다수 생성하는 단계; 상기 모바일 단말이 상기 이미지의 원본 크기에 대응되는 서술자를 통해 콘텐츠 제공을 서버에 요청하는 단계; 상기 서버가 상기 서술자를 대응되는 콘텐츠를 검색한 후, 콘텐츠 검색이 성공시에는 검색 성공한 콘텐츠를 상기 모바일 단말에 제공하되, 콘텐츠 검색이 실패시에는 서버 부하 정보를 상기 모바일 단말에 제공하는 단계; 및 상기 콘텐츠를 수신한 상기 모바일 단말은 콘텐츠 제공 동작을 수행하되, 상기 서버 부하 정보를 수신한 상기 모바일 단말은 상기 서버 부하 정보를 기반으로 서술자 종류를 가변한 후, 콘텐츠 제공을 재요청하는 단계를 포함할 수 있다.

Description

물체 인식을 이용한 콘텐츠 제공 시스템 및 방법{CONTENT PROVIDING SYSTEM AND METHOD BY USING OBJECT RECOGNITION}
본 발명은 물체 인식 기술에 관한 것으로, 특히 웹 기반으로 물체 인식 동작을 수행하는 경우, 네트워크 환경을 모니터링하고 이에 따라 데이터 송수신에 소요되는 부하량을 능동적으로 조정할 수 있도록 하는 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법에 관한 것이다.
물체 인식(object recognition) 기술은 영상을 처리 및 분석하여, 영상내에 어떤 물체가 있는지 알아내는 기술이다. 기존의 물체 인식 기술은 하나의 장치에서 물체의 영상, 특징들을 데이터베이스로 구축하고, 구축된 데이터베이스의 정보를 이용하여 현재 입력된 영상에서 대상 물체를 인식하도록 하였으나, 이러한 경우 인식 가능한 물체의 종류가 한정되는 단점을 가진다.
이에 최근에 들어서는 무한대의 정보를 등록 및 제공할 수 있는 웹 상에 물체 인식에 관련된 데이터베이스를 구축함으로써, 인식 가능한 물체의 종류를 확장시켜 주도록 하는 기술이 제안 및 널리 사용되고 있다.
그러나 이를 위해서는 모바일 단말이 데이터베이스를 구축 및 운영하는 서버에 접속한 후 필요 정보를 검색 및 획득해야 하므로, 물체 인식 속도 및 성능이 서버 및 네트워크의 부하에 따라 크게 영향을 받는 단점이 있다. 즉, 서버에 접속된 모바일 단말이 많거나 제공 요청된 콘텐츠의 크기가 큰 경우, 또는 네트워크 부하가 과도한 경우에는 원활한 콘텐츠 제공 동작을 수행할 수 없게 되는 단점이 있다.
이에 본 발명에서는 서버 및 네트워크의 부하를 고려하여 데이터 송수신 크기를 능동적으로 조정함으로써, 물체 인식 동작을 항상 안정적으로 수행할 수 있도록 하는 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법을 제공하고자 한다.
본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 본 발명이 속하는 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제1 실시 형태에 따르면, 이미지 크기별로 서술자를 다수 생성하고, 상기 다수의 서술자 중 하나를 기반으로 콘텐츠 제공을 요청하되, 콘텐츠 제공 결과를 기반으로 서술자 종류를 가변하는 모바일 단말; 및 콘텐츠 크기를 다수 단계로 리싸이징한 후, 콘텐츠 원본 및 리싸이징된 콘텐츠 각각에 대응되는 서술자를 생성 및 저장하며, 상기 모바일 단말로부터 서술자가 전송되면, 상기 전송된 서술자에 대응되는 콘텐츠를 획득 및 제공하는 서버를 포함하는 물체 인식을 이용한 콘텐츠 제공 시스템을 제공한다.
상기 서버는 상기 전송된 서술자에 대응되는 콘텐츠를 검색하고, 콘텐츠 검색 성공시에는 콘텐츠와 서버 부하 정보를 함께 상기 모바일 단말에 제공하되, 콘텐츠 검색 실패시에는 상기 서버 부하 정보만을 상기 모바일 단말에 제공하는 것을 특징으로 한다.
상기 모바일 단말은 상기 서버로부터 콘텐츠와 서버 부하 정보를 함께 전송받은 경우에는, 상기 서버 부하 정보를 확인함과 동시에 상기 서버의 응답 시간을 확인한 후, 서버 부하가 작음에 불구하고 응답시간이 기 설정된 임계치보다 큰 경우에 한해 콘텐츠 제공 요청에 사용할 서술자 종류를 가변해주는 기능을 더 포함하는 것을 특징으로 한다.
또한, 상기 모바일 단말은 상기 서버로부터 콘텐츠와 서버 부하 정보를 함께 전송받은 경우에는, 상기 서버 부하 정보를 확인함과 동시에 상기 서버의 응답 시간을 확인한 후, 서버 부하가 작음에 불구하고 응답시간이 기 설정된 임계치보다 큰 경우에 한해 콘텐츠 스트리밍 방법을 가변해주는 기능을 더 포함하는 것을 특징으로 한다.
더하여, 상기 모바일 단말은 상기 서버로부터 서버 부하 정보만을 전송받은 경우에는, 상기 서버 부하 정보를 기반으로 콘텐츠 제공 요청에 사용할 서술자 종류를 가변한 후, 콘텐츠 제공을 재요청하는 기능을 더 포함하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제2 실시 형태에 따르면, 모바일 단말이 이미지를 획득한 후, 이미지 크기별로 서술자를 다수 생성하는 단계; 상기 모바일 단말이 상기 이미지의 원본 크기에 대응되는 서술자를 통해 콘텐츠 제공을 서버에 요청하는 단계; 상기 서버가 상기 서술자를 대응되는 콘텐츠를 검색한 후, 콘텐츠 검색이 성공시에는 검색 성공한 콘텐츠를 상기 모바일 단말에 제공하되, 콘텐츠 검색이 실패시에는 서버 부하 정보를 상기 모바일 단말에 제공하는 단계; 및 상기 콘텐츠를 수신한 상기 모바일 단말은 콘텐츠 제공 동작을 수행하되, 상기 서버 부하 정보를 수신한 상기 모바일 단말은 상기 서버 부하 정보를 기반으로 서술자 종류를 가변한 후, 콘텐츠 제공을 재요청하는 단계를 포함하는 물체 인식을 이용한 콘텐츠 제공 방법을 제공한다.
상기 모바일 단말에 제공하는 단계는 콘텐츠 검색이 성공시, 검색 성공한 콘텐츠에 상기 서버 부하 정보를 매핑하여 제공하는 것을 특징으로 한다.
상기 방법은, 상기 서버가 콘텐츠를 제공하고 서버 부하가 기 설정된 값보다 작음에도 불구하고, 응답 시간이 기 설정된 값보다 크면, 상기 응답 시간을 기반으로 콘텐츠 제공 요청시에 사용할 서술자 종류를 가변하는 단계를 더 포함하는 것을 특징으로 한다.
또한 상기 방법은, 상기 서버가 콘텐츠를 제공하고 서버 부하가 기 설정된 값보다 작음에도 불구하고, 응답 시간이 기 설정된 값보다 크면, 상기 응답 시간을 기반으로 콘텐츠 제공 요청시에 사용할 콘텐츠 스트리밍 방법을 가변하는 단계를 더 포함하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제3 실시 형태에 따르면, 모바일 단말이 이미지를 획득한 후, 이미지 크기별로 서술자를 다수 생성하는 단계; 상기 이미지의 원본 크기에 대응되는 서술자를 통해 콘텐츠 제공을 서버에 요청하는 단계; 및 상기 서버가 콘텐츠를 제공하지 못하면, 상기 서버의 부하를 기반으로 콘텐츠 제공 요청에 사용할 서술자 종류를 가변한 후, 콘텐츠 제공을 재요청하는 단계를 포함하는 물체 인식을 이용한 콘텐츠 제공 방법을 제공한다.
상기 방법은, 상기 서버가 콘텐츠를 제공하나 응답 시간이 기 설정된 값보다 크면, 상기 응답 시간을 기반으로 콘텐츠 제공 요청시에 사용할 서술자 종류를 가변하거나 콘텐츠 스트리밍 방법을 가변하는 단계를 더 포함하는 것을 특징으로 한다.
상기 과제를 해결하기 위한 수단으로서, 본 발명의 제4 실시 형태에 따르면, 콘텐츠 크기를 다수 단계로 리싸이징한 후, 콘텐츠 원본 및 리싸이징된 콘텐츠 각각에 대응되는 서술자를 생성 및 저장하는 단계; 모바일 단말이 서술자를 통해 콘텐츠 제공을 요청하면, 상기 서술자에 대응되는 콘텐츠를 검색하는 단계; 및 콘텐츠 검색이 성공하면 검색 성공한 콘텐츠에 서버 부하 정보를 매핑하여 상기 모바일 단말에 제공하되, 콘텐츠 검색이 실패하면 상기 서버 부하 정보만을 상기 모바일 단말에 제공하는 단계를 포함하는 물체 인식을 이용한 콘텐츠 제공 방법을 제공한다.
이와 같이 본 발명에서는 서버 및 네트워크의 부하를 고려하면서 물체 인식 동작을 수행할 수 있도록 함으로써, 최대 성능의 시스템을 제공할 수 있도록 한다.
도1은 본 발명의 일 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템을 도시한 도면이다.
도2은 본 발명의 일 실시예에 따른 이미지 및 콘텐츠 리싸이징 방법을 설명하기 위한 도면이다.
도3은 본 발명의 일 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템의 데이터베이스 구축 방법을 설명하기 위한 것이다.
도4는 본 발명의 일 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템의 물체 인식 동작 방법을 설명하기 위한 것이다.
도5는 본 발명의 다른 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템의 물체 인식 동작 방법을 설명하기 위한 것이다.
본 발명의 목적 및 효과, 그리고 그것들을 달성하기 위한 기술적 구성들은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 본 발명을 설명함에 있어서 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다.
그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다.
그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있다. 단지 본 실시예들은 본 발명의 개시가 완전하도록 하고, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 발명의 범주를 완전하게 알려주기 위해 제공되는 것이며, 본 발명은 청구항의 범주에 의해 정의될 뿐이다. 그러므로 그 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도1은 본 발명의 일 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템을 도시한 도면이다.
도1에 도시된 바와 같이, 본 발명의 콘텐츠 제공 시스템(100)은 콘텐츠 제공 서버(110), 적어도 하나의 모바일 단말(120), 및 데이터베이스(130) 등을 포함하여 구성될 수 있다.
물체 인식 시스템(100)은 모바일 단말(120)이 인식한 이미지를 기반으로 이미지 검색, 동영상 재생, 상품 구매 사이트 접속, 내비게이션 실행 등의 다양한 동작이 연계되도록 한다. 또한, 단말 인식 이미지는 상표, 로고, 영화 포스터, 앨범 재킷, 사진 등으로 구성되어 그 자체만으로도 사용자에게 그 동작이나 정보에 대한 즉각적인 정보와 연상을 가능케 할 수도 있다.
다만, 이와 같은 연상 동작을 수행하기 위해서는 모바일 단말(120)은 자신이 인식한 이미지를 서버(110)에 제공하고, 서버(110)은 이에 대응되는 콘텐츠를 주고받아야 하는 데, 모바일 단말(120)이 상대적으로 많은 데이터량을 가지는 이미지를 서버(110)에 직접 제공하는 경우, 서버에 많은 부하가 걸리므로, 본 발명에서는 상대적으로 작은 데이터량을 가지는 서술자를 주고받도록 한다.
서술자는 이미지 고유의 특징점(feature point)을 표현하는 것으로, 이는 이미지에 대한 효율적인 서술(description)과 관리(management)가 가능해지도록 하는 특징을 가진다. 즉, 이미지로부터 서술자를 추출하여 데이터베이스화시키면 서술자로 이루어진 데이터베이스만으로도 다양하게 콘텐츠를 관리하고 제어할 수 있게 된다.
이에 본 발명에서는 서버(110)이 서술자를 이용하여 모바일 단말(120)이 현재 인식한 이미지에 대응되는 콘텐츠를 검색 및 제공할 수 있도록 한다.
더하여, 본 발명에서는 서술자를 통해 모바일 단말(120)이 서버(110)로부터 자신이 인식한 이미지에 대응되는 각종 콘텐츠를 제공받도록 하되, 서버(110) 및 네트워크(130)의 부하에 따라 콘텐츠 크기(또는 용량)가 능동적으로 가변될 수 있도록 함으로써, 서버(110) 및 네트워크(130)에 의한 영향이 최소화될 수 있도록 한다.
이를 위해, 본 발명의 모바일 단말(120)은 도2에서와 같이 자신이 획득한 이미지의 크기(또는 용량)를 여러 가지 단계로 리싸이징한 후, 콘텐츠 크기 각각에 대응되는 서술자를 생성 및 저장하도록 한다. 그러고 나서 모바일 단말(120)은 이미지 원본 크기에 대응되는 서술자를 기반으로 서버(110)로부터 필요 콘텐츠를 제공받되, 콘텐츠 제공 상태를 기반으로 서버(110) 및 네트워크(130)의 부하를 파악하도록 한다.
그리고 서버(110) 및 네트워크(130)의 부하에 비례하여 콘텐츠 질의에 사용될 이미지 크기를 감소시킨 후, 이에 대응되는 서술자를 제공함으로써, 서버(110) 또한 감소된 크기의 콘텐츠를 제공할 수 있도록 한다.
이하, 각 구성요소의 기능을 보다 상세히 살펴보기로 한다.
모바일 단말(120)은 스마트 폰, 태블릿 PC와 같이 사용자에 의해 휴대되며, 영상/음성 통화 동작, 이미지 획득 동작, 인터넷 접속 동작 등을 다양하게 수행할 수 있는 각종 통신 기기로 구현될 수 있다. 이와 같은 모바일 단말(120)은 자신에 내장된 카메라를 이용하여 물체 인식에 필요한 이미지를 획득하고, 이미지의 크기를 여러 단계로 리싸이징하도록 한다. 그리고 SIFT(Scale Invariant Feature Transform), MSER(Maximally Stable Extremal Regions), 및 SURF(Speeded Up Robust Feature)와 같은 서술자 생성 알고리즘을 이용하여, 이미지 원본과 리싸이징된 이미지 각각에 대응되는 서술자를 생성하도록 한다.
그리고 다수의 서술자 중 하나를 기반으로 서버(110)에 필요 콘텐츠 제공을 요청하고 제공받도록 하되, 콘텐츠 제공 상태를 기반으로 서버(110) 및 네트워크(130)의 부하를 파악하고, 이에 따라 콘텐츠 질의에 사용될 서술자 종류를 가변함으로써, 서버(110) 또한 감소된 크기의 콘텐츠를 제공할 수 있도록 한다.
이때, 서버(110)가 제공하는 콘텐츠는 물체 인식 동작에 대한 정보를 포함하는 동작 정보 및 그 동작을 수행하기 위하여 필요한 부가 정보로 구성될 수 있다. 동작 정보의 예로서는 이미지 표시, 동영상 재생, 상품 구매, 내비게이션 실행을 위한 정보가 있을 수 있다. 그리고 부가 정보로서는 위 동작 정보에 각각 대응하여 이미지가 저장된 노드의 URL, 상품 구매를 위한 상품 판매 사이트의 URL, 내비게이션 실행을 위한 지도의 위도 및 경도 정보를 포함하도록 구성될 수 있다. 물론, 이때, 각각의 동작 정보와 부가 정보는 기업 고객, 콘텐츠 관리자 또는 시스템 개발 운영자 등에 의해 다양하게 확장될 수 있음은 당연하다.
서버(110)은 물체 인식 동작을 지원하기 위한 각종 콘텐츠를 저장 및 관리한다. 다만, 본 발명에서는 모바일 단말(120)에 제공하는 콘텐츠 크기를 네트워크 환경에 따라 능동적으로 가변할 수 있도록, 콘텐츠 등록 시에 콘텐츠 크기를 여러 단계로 리싸이징한 후, 콘텐츠 원본 및 리싸이징된 콘텐츠 각각에 대응되는 서술자를 생성 및 저장하도록 한다.
본 발명의 서버(110)은 모바일 단말(120)로부터 전송되는 서술자를 기반으로 콘텐츠 검색 및 제공 동작을 수행하되, 콘텐츠 제공시 자신의 부하 정보를 추가 제공함으로써, 모바일 단말(120)이 자신의 부하가 현재 어느 정도인지를 파악할 수 있도록 한다.
데이터베이스(130)는 콘텐츠별로, 콘텐츠 원본 이외에 콘텐츠 원본이 여러 가지 크기로 리싸이징된 다수의 콘텐츠 카피본이 저장된다. 이때, 콘텐츠 원본과 다수의 콘텐츠 카피본 각각에는 서로 상이한 정보를 가지는 서술자가 매핑되도록 한다.
도3은 본 발명의 일 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템의 데이터베이스 구축 방법을 설명하기 위한 것이다.
먼저, 서버(110)은 등록 요청된 콘텐츠가 발생하면, 해당 콘텐츠의 크기를 여러 가지 단계로 리싸이징한다(S10). 단계 S10에서는, 콘텐츠의 종류와 크기에 따라 리싸이징 단계가 조정될 수 있도록 한다. 예를 들어, 콘텐츠 크기가 큰 경우에는, 리싸이징 단계를 3 단계로 설정하고, 그렇지 않은 경우에는 리쌍이징 단계를 2 단계로 설정하도록 할 수 있을 것이다.
그리고 콘텐츠 원본과 리싸이징된 콘텐츠 각각에 대응되는 서술자를 생성한 후, 콘텐츠 원본과 리싸이징된 콘텐츠 각각에 매핑한다(S11).
이때, 서술자는 콘텐츠에 포함된 이미지, 또는 동영상을 기반으로 자동 생성될 수 있도록 하나, 서술자 자동 생성이 불가능한 경우에는 콘텐츠 제공자 또는 시스템 관리자에 의해 수동으로 입력될 수도 있도록 한다.
더하여, 콘텐츠가 동영상을 포함하는 경우에 한해(S12), 네트워크 환경별로 사용하고자 하는 스트리밍 방법을 사전에 정의 및 저장할 수도 있도록 한다(S13). 즉, 동영상 스트리밍에 사용되는 코덱에는 AVI(Audio Video Interleaved), ASF(Advanced Streaming Format), MPEG(Moving Picture Expert Group), MOV, RM 등이 있는 데, 서버(110) 및 네크워크(130)의 부하가 작을 경우에는 이들 중 고품질 대용량을 지원하는 코덱을, 서버(110) 및 네크워크(130)의 부하가 클 경우에는 저품질 저용량을 지원하는 코덱을 사용할 수 있도록 한다.
도4는 본 발명의 일 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템의 물체 인식 동작 방법을 설명하기 위한 것이다.
먼저, 모바일 단말(120)이 자신에 내장된 카메라를 이용하여 단말 이미지를 획득하면(S20), 모바일 단말은 단말 이미지의 크기를 여러 단계로 리싸이징한 후, 단말 이미지의 크기 각각에 대응되는 다수의 서술자를 생성한다(S21).
본 발명에서는 단말 이미지의 원본 크기에 대응되는 서술자는 일반 서술자로, 리싸이징된 이미지 각각에 대응되는 서술자는 적응적 서술자로 명명하기로 한다.
그리고 모바일 단말(120)은 단말 이미지의 원본 크기에 대응되는 일반 서술자를 서버(110)에 전송하여 서버(110)에 단말 이미지에 대응되는 콘텐츠 제공을 요청한다(S22).
그러면 서버(110)은 모바일 단말(120)이 제공한 일반 서술자를 기반으로 데이터베이스(130)을 검색하여 일반 서술자에 대응되는 콘텐츠를 획득하도록 한다(S23).
콘텐츠 검색이 성공하면(S24), 서버(110)은 현재 자신의 부하를 파악하여(즉, 데이터 수신 큐에 얼마나 많은 데이터가 있는지 파악하여) 부하 정보를 생성한 후, 검색 완료된 콘텐츠와 함께 모바일 단말(120)에 제공한다(S25).
반면 일정 시간이 경과하도록 콘텐츠 검색이 성공하지 못하면(S24), 서버(110)은 자신의 부하 정보만을 모바일 단말(120)에 제공하도록 한다(S26).
그러면, 모바일 단말(120)은 콘텐츠 수신에 성공하여 콘텐츠와 서버 부하 정보를 함께 제공받거나, 콘텐츠 수신에 실패하여 서버 부하 정보만을 제공받게 된다(S27, S30).
콘텐츠 수신에 성공한 모바일 단말(120)은 서버 부하 정보를 확인함과 동시에 콘텐츠 제공 요청 후 콘텐츠 제공받기까지의 시간 즉, 응답 시간을 확인하고, 서버 부하가 작음에 불구하고 응답시간이 기 설정된 임계치보다 크다면, 현재 네트워크(130)에 많은 부하가 걸려있다고 판단한다(S28).
그리고 최소한의 부하로 콘텐츠 제공 요청 동작을 수행할 수 있도록 콘텐츠 제공 요청에 사용할 서술자 종류를 가변해준다. 즉, 모바일 단말(120)은 이미지 원본을 다운 싸이징한 이미지에 대응되는 적응적 서술자를 선택하고, 이를 통해 다음의 콘텐츠 제공 요청 동작이 수행될 수 있도록 한다. 이때, 이미지 원본의 다운싸이징 비율은 응답 시간에 비례하여 증가되도록 하는 것이 바람직할 것이다(S29).
반면, 콘텐츠 수신에 실패한 모바일 단말(120)은 서버 부하 정보를 기반으로 서버(110)의 현재 부하를 확인하고, 서버(110)의 현재 부하에 비례하도록 이미지 원본의 다운싸이징 비율을 결정한 후, 이에 대응되는 적응적 서술자를 선택한다. 그리고 선택된 적응적 서술자를 서버(110)에 재전송하여 콘텐츠 제공을 다시 한 번 더 요청하도록 한다(S30, S31).
그러면, 서버(110)은 적응적 서술자를 기반으로 콘텐츠 검색 동작을 다시 한 번 더 수행하고, 콘텐츠 검색 성공시에는 콘텐츠와 서버 부하 정보를 함께 전송하고, 콘텐츠 검색 실패시에는 서버 부하 정보만을 전송하도록 한다(S23~S26).
즉, 본 발명에서는 콘텐츠 검색이 실패하는 경우 이미지 크기를 순차적으로 조정하면서 콘텐츠 제공 요청 동작이 반복적으로 수행될 수 있도록 해준다. 다만, 콘텐츠 제공 요청 동작의 반복 가능 횟수를 설정해두어, 콘텐츠 제공 요청 동작이 무한 반복되는 것은 사전에 방지되도록 한다.
또한, 상기의 실시예에서는 네트워크 부하에 따라 서술자의 종류를 가변하도록 하였으나, 경우에 따라 도5에서와 같이 스트리밍 방법을 조정해줄 수도 있도록 한다.
이상에서 전술한 바와 같은 이를 구현하기 위한 프로그램 명령어로서 구현될 수 있으며, 이러한 프로그램 명령어를 기록한 컴퓨터로 읽힐 수 있는 기록매체는, 일 예로, ROM, RAM, CD-ROM, 자기 테이프, 플로피디스크, 광 미디어 저장장치 등이 있다.
또한 전술한 바와 같은 프로그램을 기록한 컴퓨터로 읽힐 수 있는 기록매체는 네트워크로 커넥션된 컴퓨터 장치에 분산되어, 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다. 이 경우, 다수의 분산된 컴퓨터 중 어느 하나 이상의 컴퓨터는 상기에 제시된 기능들 중 일부를 실행하고, 그 결과를 다른 분산된 컴퓨터들 중 하나 이상에 그 실행 결과를 전송할 수 있으며, 그 결과를 전송받은 컴퓨터 역시 상기에 제시된 기능들 중 일부를 실행하여, 그 결과를 역시 다른 분산된 컴퓨터들에 제공할 수 있다.
본 발명의 각 실시예에 따른 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법을 구동시키기 위한 프로그램인 애플리케이션을 기록한 기록매체를 읽을 수 있는 컴퓨터는, 일반적인 데스크 탑이나 노트북 등의 일반 PC뿐 만 아니라, 모바일 단말, 태블릿 PC, PDA(Personal Digital Assistants) 및 이동통신 단말 등의 모바일 단말을 포함할 수 있으며, 이뿐만 아니라, 컴퓨팅(Computing) 가능한 모든 기기로 해석되어야 할 것이다.
이상에서, 본 발명의 실시예를 구성하는 모든 구성 요소들이 하나로 결합되거나 결합되어 동작하는 것으로 설명되었다고 해서, 본 발명이 반드시 이러한 실시예에 한정되는 것은 아니다. 즉, 본 발명의 목적 범위 안에서라면, 그 모든 구성 요소들이 하나 이상으로 선택적으로 결합하여 동작할 수도 있다. 또한, 그 모든 구성 요소들이 각각 하나의 독립적인 하드웨어로 구현될 수 있지만, 각 구성 요소들의 그 일부 또는 전부가 선택적으로 조합되어 하나 또는 복수 개의 하드웨어에서 조합된 일부 또는 전부의 기능을 수행하는 프로그램 모듈을 갖는 컴퓨터 프로그램으로서 구현될 수도 있다. 그 컴퓨터 프로그램을 구성하는 코드들 및 코드 세그먼트들은 본 발명의 기술 분야의 당업자에 의해 용이하게 추론될 수 있을 것이다. 이러한 컴퓨터 프로그램은 컴퓨터가 읽을 수 있는 저장매체(Computer Readable Media)에 저장되어 컴퓨터에 의하여 읽혀지고 실행됨으로써, 본 발명의 실시예를 구현할 수 있다. 컴퓨터 프로그램의 저장매체로서는 자기 기록매체, 광 기록매체, 등이 포함될 수 있다.
또한, 이상에서 기재된 "포함하다", "구성하다" 또는 "가지다" 등의 용어는, 특별히 반대되는 기재가 없는 한, 해당 구성 요소가 내재될 수 있음을 의미하는 것이므로, 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것으로 해석되어야 한다. 기술적이거나 과학적인 용어를 포함한 모든 용어들은, 다르게 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 사전에 정의된 용어와 같이 일반적으로 사용되는 용어들은 관련 기술의 문맥상의 의미와 일치하는 것으로 해석되어야 하며, 본 발명에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

Claims (12)

  1. 물체 인식을 위한 이미지가 획득되면, 상기 이미지를 다수 크기로 리싸이징한 후, 상기 리싸이징된 이미지 각각에 대한 특징점을 추출하여 다수의 이미지 크기 각각에 대응되는 다수의 서술자를 생성하고, 상기 다수의 서술자 중 하나를 콘텐츠 질의자로 선택하여 전송하는 모바일 단말; 및
    다수의 콘텐츠 각각을 다수 크기로 리싸이징한 후 콘텐츠 원본 및 리싸이징된 콘텐츠 각각에 대응되는 다수의 서술자를 생성 및 저장하며, 상기 모바일 단말로부터 전송되는 서술자와 상기 저장된 서술자들을 비교 분석하여 관련 콘텐츠를 검색함과 동시에 서버 부하를 파악한 후, 콘텐츠 검색 성공시에는 상기 관련 콘텐츠와 서버 부하 정보를 함께 상기 모바일 단말에 제공하되, 콘텐츠 검색 실패시에는 상기 서버 부하 정보만을 상기 모바일 단말에 제공하는 서버를 포함하며,
    상기 모바일 단말은
    상기 서버 부하의 크기에 비례하여 상기 획득된 이미지 크기의 다운 싸이징 비율을 결정한 후, 상기 비율에 따라 다운 싸이징된 이미지 크기에 대응되는 서술자를 콘텐츠 질의자로 가변하여 상기 서버로 재전송하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 시스템.
  2. 삭제
  3. 제1항에 있어서, 상기 모바일 단말은
    상기 서버로부터 콘텐츠와 서버 부하 정보를 함께 전송받은 경우에는, 상기 서버 부하 정보를 확인함과 동시에 상기 서버의 응답 시간을 확인한 후, 서버 부하가 작음에 불구하고 응답시간이 기 설정된 임계치보다 큰 경우에 한해 상기 서버의 응답 시간을 기반으로 네트워크 부하를 추가 파악하고, 상기 네트워크 부하에 비례하도록 이미지 크기를 다운 싸이징한 후, 상기 다운 싸이징된 이미지에 대응되는 크기의 서술자를 콘텐츠 제공 요청에 사용될 서술자로 가변하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 시스템.
  4. 제1항에 있어서, 상기 모바일 단말은
    상기 서버로부터 콘텐츠와 서버 부하 정보를 함께 전송받은 경우에는, 상기 서버 부하 정보를 확인함과 동시에 상기 서버의 응답 시간을 확인한 후, 서버 부하가 작음에 불구하고 응답시간이 기 설정된 임계치보다 큰 경우에 한해 콘텐츠 스트리밍 방법을 가변해주는 기능을 더 포함하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 시스템.
  5. 제1항에 있어서, 상기 모바일 단말은
    상기 서버로부터 서버 부하 정보만을 전송받은 경우에는, 상기 서버 부하 정보를 기반으로 서버 부하를 파악한 후, 상기 서버 부하에 비례하도록 이미지 크기를 다운 싸이징하고, 상기 다운 싸이징된 이미지에 대응되는 크기의 서술자를 콘텐츠 제공 요청에 사용될 서술자로 가변한 후 콘텐츠 제공을 재요청하는 기능을 더 포함하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 시스템.
  6. 물체 인식 서비스 제공을 위한 모바일 단말의 물체 인식을 이용한 콘텐츠 제공 방법에 있어서,
    상기 모바일 단말이 물체 인식을 위한 이미지를 획득한 후, 상기 이미지를 다수 크기로 리싸이징한 후, 상기 리싸이징된 이미지 각각에 대한 특징점을 추출하여 다수의 이미지 크기 각각에 대응되는 다수의 서술자를 생성하는 단계;
    상기 모바일 단말이 상기 이미지의 원본 크기에 대응되는 서술자를 통해 콘텐츠 제공을 서버에 요청하는 단계;
    상기 서버가 상기 서술자를 대응되는 콘텐츠를 검색함과 동시에 서버 부하를 파악한 후, 콘텐츠 검색이 성공시에는 검색 성공한 콘텐츠와 서버 부하 정보를 상기 모바일 단말에 제공하되, 콘텐츠 검색이 실패시에는 상기 서버 부하 정보만을 상기 모바일 단말에 제공하는 단계; 및
    상기 모바일 단말이 상기 서버 부하 정보만을 수신한 경우에는 상기 서버 부하 정보를 기반으로 서버 부하를 파악한 후, 상기 서버 부하의 크기에 비례하여 상기 획득된 이미지 크기의 다운 싸이징 비율을 결정한 후, 상기 비율에 따라 다운 싸이징된 이미지 크기에 대응되는 서술자를 콘텐츠 질의자로 가변하여 상기 서버로 재전송하는 단계; 및
    상기 모바일 단말이 콘텐츠와 상기 서버 부하 정보를 함께 수신한 경우에는 콘텐츠 제공 동작을 수행하되, 상기 서버 부하에 따라 콘텐츠 질의자를 가변 동작을 추가 수행하는 단계를 포함하는 물체 인식을 이용한 콘텐츠 제공 방법.
  7. 제6항에 있어서, 상기 모바일 단말에 제공하는 단계는
    콘텐츠 검색이 성공하면, 검색 성공한 콘텐츠와 상기 서버 부하 정보를 함께 제공하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 방법.
  8. 제7항에 있어서,
    상기 서버가 콘텐츠를 제공하고 서버 부하가 기 설정된 값보다 작음에도 불구하고, 응답 시간이 기 설정된 값보다 크면, 상기 응답 시간을 기반으로 네트워크 부하를 추가 파악하고, 상기 네트워크 부하에 비례하도록 이미지 크기를 다운 싸이징하고, 상기 다운 싸이징된 이미지에 대응되는 크기의 서술자를 콘텐츠 제공 요청에 사용될 서술자로 가변하는 단계를 더 포함하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 방법.
  9. 제7항에 있어서,
    상기 서버가 콘텐츠를 제공하고 서버 부하가 기 설정된 값보다 작음에도 불구하고, 응답 시간이 기 설정된 값보다 크면, 상기 응답 시간을 기반으로 콘텐츠 제공 요청시에 사용할 콘텐츠 스트리밍 방법을 가변하는 단계를 더 포함하는 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 방법.
  10. 삭제
  11. 삭제
  12. 물체 인식 서비스 제공을 위한 서버의 물체 인식을 이용한 콘텐츠 제공 방법에 있어서,
    상기 서버가 콘텐츠 크기를 다수 단계로 리싸이징한 후, 콘텐츠 원본 및 리싸이징된 콘텐츠 각각에 대응되는 서술자를 생성 및 저장하는 단계;
    상기 서버가 모바일 단말이 서술자를 통해 콘텐츠 제공을 요청하면, 상기 서술자에 대응되는 콘텐츠를 검색함과 동시에 서버 부하를 파악하여 서버 부하 정보를 생성하는 단계; 및
    상기 서버가 콘텐츠 검색이 성공하면 검색 성공한 콘텐츠와 상기 서버 부하 정보를 함께 상기 모바일 단말에 제공하되, 콘텐츠 검색이 실패하면 상기 서버 부하 정보만을 상기 모바일 단말에 제공하는 단계를 포함하며,
    상기 모바일 단말에 제공되는 콘텐츠는, 상기 서버 부하의 크기에 비례하여 상기 콘텐츠의 크기를 다운 싸이징한 것을 특징으로 하고,
    상기 모바일 단말로부터 전송되는 서술자는
    상기 모바일 단말이 물체 인식을 위해 획득한 이미지의 특징점 정보인 것을 특징으로 하는 물체 인식을 이용한 콘텐츠 제공 방법.
KR1020140006514A 2014-01-20 2014-01-20 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법 KR101892286B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140006514A KR101892286B1 (ko) 2014-01-20 2014-01-20 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법
PCT/KR2014/004018 WO2015108243A1 (ko) 2014-01-20 2014-05-07 물체 인식을 이용한 콘텐츠 제공 시스템, 방법 및 그 응용

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140006514A KR101892286B1 (ko) 2014-01-20 2014-01-20 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법

Publications (2)

Publication Number Publication Date
KR20150087440A KR20150087440A (ko) 2015-07-30
KR101892286B1 true KR101892286B1 (ko) 2018-08-27

Family

ID=53876644

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140006514A KR101892286B1 (ko) 2014-01-20 2014-01-20 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법

Country Status (1)

Country Link
KR (1) KR101892286B1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007279858A (ja) * 2006-04-03 2007-10-25 Canon Inc 情報端末、情報配信装置、および情報配信システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4926601B2 (ja) * 2005-10-28 2012-05-09 キヤノン株式会社 映像配信システム、クライアント端末及びその制御方法
KR100964792B1 (ko) * 2008-02-26 2010-06-21 중앙대학교 산학협력단 모바일 웹 환경을 위한 콘텐츠 적응 시스템 및 방법
KR20120044732A (ko) * 2010-10-28 2012-05-08 지미디어(주) 벡터그래픽 이미지 파일의 전송 방법 및 시스템

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007279858A (ja) * 2006-04-03 2007-10-25 Canon Inc 情報端末、情報配信装置、および情報配信システム

Also Published As

Publication number Publication date
KR20150087440A (ko) 2015-07-30

Similar Documents

Publication Publication Date Title
US11017018B2 (en) Systems and methods of building and using an image catalog
US9646006B2 (en) System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
CN1538351B (zh) 为视频序列生成视频缩略图的方法和计算机
JP6249419B2 (ja) ユーザー介入なくレイアウトに従った画像識別及び編成
CN105786969B (zh) 信息展示方法和装置
US20140149443A1 (en) System and method for capturing a multimedia content item by a mobile device and matching sequentially relevant content to the multimedia content item
US11070611B1 (en) File download manager
KR101952666B1 (ko) 비디오 스트림을 제시하기 위한 시스템 및 방법
US20170235828A1 (en) Text Digest Generation For Searching Multiple Video Streams
US9652659B2 (en) Mobile device, image reproducing device and server for providing relevant information about image captured by image reproducing device, and method thereof
US20160299755A1 (en) Method and System for Processing Lifelong Learning of Terminal and Apparatus
US10063751B2 (en) System and method for accessing images with a captured query image
US20150100582A1 (en) Association of topic labels with digital content
US20170195384A1 (en) Video Playing Method and Electronic Device
US20170171334A1 (en) Single-account multiple-preference recommendation method for video website and electronic device
US8861865B2 (en) Method and apparatus for searching for image
WO2013106062A1 (en) Rule-based classification of electronic devices
US10057606B2 (en) Systems and methods for automated application of business rules using temporal metadata and content fingerprinting
US20100228751A1 (en) Method and system for retrieving ucc image based on region of interest
KR102313338B1 (ko) 영상 검색 장치 및 방법
US8755605B2 (en) System and method for compact descriptor for visual search
US20170060862A1 (en) Method and system for content retrieval based on rate-coverage optimization
US8768999B2 (en) System and method of acquiring contents
KR101175194B1 (ko) 이미지 검색 방법, 장치, 서버 및 이 방법을 실행하기 위한 컴퓨터 판독 가능한 기록 매체
KR101892286B1 (ko) 물체 인식을 이용한 콘텐츠 제공 시스템 및 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
AMND Amendment
E902 Notification of reason for refusal
AMND Amendment
E601 Decision to refuse application
AMND Amendment
J201 Request for trial against refusal decision
J301 Trial decision

Free format text: TRIAL NUMBER: 2016101003341; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20160603

Effective date: 20180706

S901 Examination by remand of revocation
N231 Notification of change of applicant
GRNO Decision to grant (after opposition)
GRNT Written decision to grant