KR101885741B1 - 시각적 콘텐츠의 객체 인식 장치 및 방법 - Google Patents

시각적 콘텐츠의 객체 인식 장치 및 방법 Download PDF

Info

Publication number
KR101885741B1
KR101885741B1 KR1020160012690A KR20160012690A KR101885741B1 KR 101885741 B1 KR101885741 B1 KR 101885741B1 KR 1020160012690 A KR1020160012690 A KR 1020160012690A KR 20160012690 A KR20160012690 A KR 20160012690A KR 101885741 B1 KR101885741 B1 KR 101885741B1
Authority
KR
South Korea
Prior art keywords
information
beacon signal
visual content
content
visual
Prior art date
Application number
KR1020160012690A
Other languages
English (en)
Other versions
KR20170091878A (ko
Inventor
김성민
윤경용
Original Assignee
주식회사 얍컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 얍컴퍼니 filed Critical 주식회사 얍컴퍼니
Priority to KR1020160012690A priority Critical patent/KR101885741B1/ko
Priority to PCT/KR2016/001492 priority patent/WO2017135490A1/ko
Publication of KR20170091878A publication Critical patent/KR20170091878A/ko
Application granted granted Critical
Publication of KR101885741B1 publication Critical patent/KR101885741B1/ko

Links

Images

Classifications

    • G06K9/20—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F17/30017—
    • G06F17/30041—
    • G06K9/00624—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

본 발명은 비콘 신호를 기반으로 시각적 콘텐츠 내 객체를 인식할 수 있는 장치 및 방법에 관한 것으로, 이를 위하여 영상의 촬영을 통해 시각적 콘텐츠를 획득하는 시각적 콘텐츠 획득부와, 상기 시각적 콘텐츠가 획득됨에 따라 활성화되어 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 비콘 신호 수신부와, 상기 비콘 신호에 위치 정보가 포함된 경우 상기 위치 정보를 콘텐츠 제공 서버에 전송하여 상기 콘텐츠 제공 서버로부터 상기 위치 정보를 포함한 비콘 신호를 송신하는 비콘 송신기가 설치된 객체에 대한 구조 정보를 획득하는 객체 정보 획득부와, 상기 객체에 대한 구조 정보를 기반으로 상기 위치 정보에 해당하는 시각적 콘텐츠의 일 영역에 존재하는 객체에 대한 인식을 수행함과 더불어 상기 시각적 콘텐츠의 다른 영역에 기 설정된 객체 인식 알고리즘을 적용하여 상기 다른 영역에 존재하는 객체를 인식하는 객체 인식부를 포함하는 시각적 콘텐츠의 객체 인식 장치를 제공한다.

Description

시각적 콘텐츠의 객체 인식 장치 및 방법{APPARATUS AND METHOD FOR RECOGNIZING AN OBJECT IN A VISUAL CONTENTS}
본 발명은 시각적 콘텐츠의 객체 인식 장치 및 방법에 관한 것이다.
최근 스마트 폰의 등장과 함께 그 사용이 증가함으로써, 유통되는 멀티미디어 콘텐츠의 양이 급격히 증가하였으며, 이것을 효과적으로 검색하기 위하여 이미지를 사용하여 검색을 하는 내용 기반 영상 검색 기술, 즉 비주얼 검색 기술의 필요성이 증대되고 있다.
이러한 비주얼 검색 기술을 실제 적용하기 위해서, 시각적 콘텐츠 특징의 비주얼 검색 기술의 필요성이 증대되고 있다. 즉, 도시 환경의 대규모 객체 검색을 위해 실외 환경에 적응적으로 특징으로 추출하고, 건물 등의 반복 패턴을 지능적으로 정합하여 궁금한 장소를 현장 또는 콘텐츠 시청 중 즉시적으로 검색할 수 있는 기술의 필요성이 증대되고 있다.
또한, 시각적 콘텐츠 속성 기반의 비주얼 검색 기술의 필요성이 증대되고 있다. 즉, 콘텐츠 내의 객체를 검출 및 객체를 설명할 수 있는 단어들로 묘시하여 시각적 정보를 손쉽게 검색할 수 있는 기술의 필요성이 증대되고 있다.
스마트 폰에 상기와 같은 기술을 적용하기 위해 실시간 콘텐츠 비주얼 검색 기술의 필요성이 증대되고 있다. 즉, 초고속 특징 추출과 고속 객체 인식 및 속성 추출을 지원하여 스마트 기기를 통해 언제 어디서나 비주얼 정보를 검색할 수 있는 기술의 필요성이 증대되고 있다.
대한민국 등록특허10-1570117호(2015.11.12. 등록)
본 발명은 시각적 콘텐츠를 획득한 위치에서 비콘 신호를 수신한 후 이를 기반으로 콘텐츠 제공 서버와의 연동을 통해 객체에 대한 구조 정보를 획득하고, 이를 기반으로 객체에 대한 인식을 수행함으로써, 시각적 콘텐츠 내 객체 인식율과 인식 속도를 향상시킬 수 있는 시각적 콘텐츠의 객체 인식 장치 및 방법을 제공한다.
또한, 본 발명은 시각적 콘텐츠를 획득한 위치에서 비콘 신호를 수신한 후 이를 기반으로 콘텐츠 제공 서버와의 연동을 통해 콘텐츠 정보를 획득함과 더불어 주변의 비콘 신호 내 프레임 데이터를 이용하여 시각적 콘텐츠의 관련 정보를 획득하여 제공함으로써, 시각적 콘텐츠 내 객체에 대한 부가 정보를 제공할 수 있는 시각적 콘텐츠의 객체 인식 장치 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치는 영상의 촬영을 통해 시각적 콘텐츠를 획득하는 시각적 콘텐츠 획득부와, 상기 시각적 콘텐츠가 획득됨에 따라 활성화되어 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 비콘 신호 수신부와, 상기 비콘 신호에 위치 정보가 포함된 경우 상기 위치 정보를 콘텐츠 제공 서버에 전송하여 상기 콘텐츠 제공 서버로부터 상기 위치 정보를 포함한 비콘 신호를 송신하는 비콘 송신기가 설치된 객체에 대한 구조 정보를 획득하는 객체 정보 획득부와, 상기 객체에 대한 구조 정보를 기반으로 상기 위치 정보에 해당하는 시각적 콘텐츠의 일 영역에 존재하는 객체에 대한 인식을 수행함과 더불어 상기 시각적 콘텐츠의 다른 영역에 기 설정된 객체 인식 알고리즘을 적용하여 상기 다른 영역에 존재하는 객체를 인식하는 객체 인식부를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 객체 정보 획득부는 상기 콘텐츠 제공 서버로부터 상기 위치 정보에 매핑된 콘텐츠 정보를 수신하며, 프레임 데이터가 존재하는 비콘 신호의 분석을 통해 상기 시각적 콘텐츠의 관련 정보를 획득하여 상기 콘텐츠 정보 및 상기 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 상기 시각적 콘텐츠의 부가 정보로 표시부를 통해 디스플레이할 수 있다.
본 발명의 실시예에 따르면, 상기 객체 인식 장치는 상기 수신한 콘텐츠 정보 및 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 이용하여 검색용 정보를 생성하며, 상기 획득한 검색용 정보를 외부의 검색용 데이터베이스 서버에 전송하여 검색을 요청한 후 이에 대응하는 검색 결과를 수신하여 표시부에 디스플레이하는 검색부를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 시각적 콘텐츠 획득부는 상기 영상 촬영을 통해 영상이 획득됨에 따라 모바일 단말 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저를 실행시켜 상기 획득한 영상을 시각적 콘텐츠로 설정하여 상기 비주얼 브라우저 상에 표시하되, 상기 실행된 비주얼 브라우저 상에 비콘 신호 수신부의 동작을 제어하기 위한 제어 인터페이스를 추가하여 표시할 수 있다.
본 발명의 실시예에 따르면, 상기 객체 인식 장치는 상기 영상을 촬영함과 더불어 카메라 조작 상태를 기초로 영상 촬영 범위 정보를 생성하는 영상 촬영부를 더 포함하며, 상기 객체 정보 획득부는 상기 비콘 신호 수신부에서 수신한 위치 정보를 갖는 비콘 신호 중 상기 영상 촬영 범위 정보에 포함된 비콘 신호만을 이용하여 객체의 구조 정보를 획득할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 방법은 영상의 촬영을 통해 시각적 콘텐츠를 획득하는 단계와, 상기 시각적 콘텐츠가 획득됨에 따라 비콘 신호 수신부를 활성화시키는 단계와, 상기 비콘 신호 수신부의 활성화에 따라 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 단계와, 상기 비콘 신호에 대한 분석을 통해 위치 정보를 추출하고, 상기 추출한 위치 정보를 통신망을 통해 연결된 콘텐츠 제공 서버에 전송하여 상기 위치 정보를 포함한 비콘 신호를 송신하는 비콘 송신기가 설치된 객체에 대한 구조 정보를 수신하는 단계와, 상기 수신한 객체에 대한 구조 정보를 상기 위치 정보에 해당하는 시각적 콘텐츠의 일 영역에 존재하는 객체에 대한 인식을 수행하는 단계와, 상기 시각적 콘텐츠의 다른 영역에 기 설정된 객체 인식 알고리즘을 적용하여 상기 다른 영역에 존재하는 객체를 인식하는 단계를 포함할 수 있다.
본 발명의 실시예에 다르면, 상기 객체 인식 방법은 상기 콘텐츠 제공 서버로부터 상기 위치 정보에 매핑된 콘텐츠 정보를 수신하는 단계와, 프레임 데이터가 존재하는 비콘 신호의 분석을 통해 상기 시각적 콘텐츠의 관련 정보를 획득하는 단계와, 상기 콘텐츠 정보 및 상기 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 상기 시각적 콘텐츠의 부가 정보로 설정하여 시각적 콘텐츠에 오버랩시켜 표시하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 객체 인식 방법은 상기 수신한 콘텐츠 정보 및 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 이용하여 검색용 정보를 생성하는 단계와, 상기 생성한 검색용 정보를 외부의 검색용 데이터베이스 서버에 전송하여 검색을 요청하는 단계와, 상기 요청에 대한 응답으로 검색 결과를 수신하여 상기 시각적 콘텐츠에 오버랩시켜 디스플레이하는 단계를 더 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 시각적 콘텐츠를 획득하는 단계는 상기 영상 촬영을 통해 영상이 획득됨에 따라 모바일 단말 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저를 실행시키는 단계와, 상기 획득한 영상을 시각적 콘텐츠로 설정하고, 상기 비콘 신호 수신부의 동작을 제어하기 위한 제어 인터페이스를 상기 시각적 콘텐츠에 포함시켜 상기 비주얼 브라우저를 통해 디스플레이하는 단계를 포함하며, 상기 비콘 신호 수신부를 활성화시키는 단계는 상기 제어 인터페이스에 대한 조작이 있을 경우 수행될 수 있다.
본 발명의 실시예에 따르면, 상기 객체 인식 방법은 영상 촬영부에서 상기 영상을 촬영함과 더불어 카메라 조작 상태를 기초로 영상 촬영 범위 정보를 생성하는 단계를 더 포함하며, 상기 객체에 대한 구조 정보를 수신하는 단계는 상기 비콘 신호 수신부에서 수신한 위치 정보를 갖는 비콘 신호 중 상기 영상 촬영 범위 정보에 포함된 비콘 신호만을 이용하여 객체에 대한 구조 정보를 수신할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 시각적 콘텐츠를 획득한 위치에서 비콘 신호를 수신한 후 이를 기반으로 콘텐츠 제공 서버와의 연동을 통해 객체에 대한 구조 정보를 획득하고, 이를 기반으로 객체에 대한 인식을 수행함으로써, 시각적 콘텐츠 내 객체 인식율과 인식 속도를 향상시킬 수 있다.
또한, 전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 시각적 콘텐츠를 획득한 위치에서 비콘 신호를 수신한 후 이를 기반으로 콘텐츠 제공 서버와의 연동을 통해 콘텐츠 정보를 획득함과 더불어 주변의 비콘 신호 내 프레임 데이터를 이용하여 시각적 콘텐츠의 관련 정보를 획득하여 제공함으로써, 시각적 콘텐츠에 밀접한 부가 정보를 제공할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시각적 콘텐츠의 객체 인식 장치가 적용된 전체 네트워크 구성도이다.
도 2는 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치의 세부 구성을 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치에 의해 제공되는 비주얼 브라우저를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치가 시각적 콘텐츠 내 객체를 인식하는 과정을 도시한 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 발명 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. 본 명세서 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. 이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 시각적 콘텐츠의 객체 인식 장치가 적용된 전체 네트워크 구성도이다.
도 1에 도시된 바와 같이, 전체 네트워크는 전체 네트워크는 시각적 콘텐츠의 객체 인식 장치(110)를 포함한 모바일 단말(100)과, 근거리 무선 통신망(120)에 연결된 복수의 비콘 송신기(130)와, 모바일 단말(100)과 이동 통신망(140)을 통해 연결된 콘텐츠 제공 서버(150) 및 검색용 데이터베이스 서버(160) 등을 포함할 수 있다.
본 발명의 실시예에서 근거리 무선 통신망(120)은 와이파이, 블루투스 LE 통신 및 적외선 통신 중 어느 하나를 들 수 있으나, 이에 한정하지는 않는다.
모바일 단말(100)은 근거리 무선 통신망(120)을 통해 비콘 송신기(130)로부터 브로드캐스팅되는 비콘 신호를 수신하며, 비콘 신호 내 데이터를 기반으로 이동 통신망(140)을 통해 콘텐츠 제공 서버(150)에 접속하여 객체에 대한 구조 정보를 수신할 수 있다. 구체적으로, 모바일 단말(100)은 근거리 무선 통신망(120)을 통해 비콘 송신기(130)에서 브로드캐스팅되는 위치 정보를 포함한 비콘 신호를 수신한 후 비콘 신호 내 위치 정보를 콘텐츠 제공 서버(150)에 전송하여 객체의 구조 정보를 요청하여 수신할 수 있다. 이때, 객체의 구조 정보는 비콘 송신기(130)가 설치된 건물의 구조 정보일 수 있다.
또한, 모바일 단말(100)은 위치 정보를 콘텐츠 제공 서버(150)에 전송하여 콘텐츠 정보, 즉 위치 정보에 매칭된 콘텐츠 정보를 수신할 수 있다.
상술한 바와 같이, 모바일 단말(100)이 비콘 송신기(130) 및 콘텐츠 제공 서버(150)과의 연동을 위해 모바일 단말(100)은 근거리 무선 통신망(120)에 접속 가능한 통신 모듈, 예컨대 블루투스 LE, 와이파이, 적외선 통신, 지그비, 블루투스 등과 같은 통신 모듈을 구비하고, 이동 통신망(140)에 접속 가능한 이동 통신 모듈, 예컨대 LTE, 3G 등과 같은 이동 통신망(140)에 접속 가능한 이동 통신 모듈을 구비할 수 있다.
또한, 모바일 단말(120)은 비콘 신호의 프레임 데이터 및 위치 정보에 매핑된 콘텐츠 정보를 시각적 콘텐츠에 오버랩시켜 표시하거나 프레임 데이터 및 콘텐츠 정보를 기반으로 검색용 정보를 생성한 후 이를 검색용 데이터베이스 서버(160)에 전송하여 검색을 요청하며, 검색 요청에 따라 검색용 데이터베이스 서버(160)로부터 수신한 검색 결과를 표시할 수 있다.
상술한 바와 같은 모바일 단말(100)은 휴대성과 이동성이 보장되는 이동 통신 장치로서, 예를 들면, PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
콘텐츠 제공 서버(150)는 위치 정보에 매핑된 다양한 콘텐츠, 예컨대 위치 정보에 해당하는 맛집 정보, 할인 정보, 위치 정보에 해당하는 업체에서 제공하는 음식 정보 등과 같은 다양한 콘텐츠 정보가 저장된 콘텐츠 데이터베이스(152)를 구비하며, 위치 정보를 이용한 모바일 단말(100)의 콘텐츠 요청에 따라 이에 대한 응답으로 위치 정보에 매핑된 콘텐츠를 콘텐츠 데이터베이스(152)에서 검색하여 모바일 단말(100)에 제공할 수 있다.
또한, 콘텐츠 제공 서버(150)는 위치 정보에 비콘 송신기(130)가 설치된 객체, 즉 건물의 구조 정보를 매핑시켜 저장된 건물 구조 데이터베이스(154)를 구비하며, 모바일 단말(100)로부터 위치 정보가 수신됨에 따라 위치 정보에 매핑된 건물의 구조 정보를 건물 구조 데이터베이스(154)에서 검색하여 모바일 단말(100)에 제공할 수 있다.
복수의 비콘 송신기(130)는 근거리 무선 통신망(120)에 연결되어 프레임 데이터를 포함한 비콘 신호 또는 위치 정보를 포함한 비콘 신호를 브로드캐스팅할 수 있다. 특히, 본 발명의 실시예에 따른 복수의 비콘 송신기(130)는 특정 건물에 설치되어 위치 정보에 대한 고유 식별 정보를 갖고 미리 설정된 변동 패턴으로 고주파 대역의 사운드 신호, 예컨대 음파를 발생시키는 방식으로 사운드 신호에 해당하는 비콘 신호를 브로드캐스팅할 수 있다.
상기와 같은 사운드 신호에 해당하는 비콘 신호를 수신한 모바일 단말(100)의 시각적 콘텐츠의 객체 인식 장치(110)는 비콘 신호에 대응하는 고유 식별 정보 및 모바일 단말(100)의 고유 정보를 콘텐츠 제공 서버(150)에 전송하며, 콘텐츠 제공 서버(150)는 고유 식별 정보에 해당하는 위치 정보를 기반으로 콘텐츠를 모바일 단말(100)에 제공할 수 있다.
상기와 같은 모바일 단말(100) 내 시각적 콘텐츠의 객체 인식 장치(110)의 세부 구성 및 동작에 대해 도 2 및 도 3을 참조하여 설명한다.
도 2는 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치(110)의 세부 구성을 도시한 블록도이며, 도 3은 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치(110)에 의해 제공되는 비주얼 브라우저를 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 시각적 콘텐츠의 객체 인식 장치(110)는 영상 촬영부(200), 시각적 콘텐츠 획득부(210), 비콘 신호 수신부(220), 객체 정보 획득부(230), 객체 인식부(240), 검색부(250) 및 표시부(260) 등을 포함할 수 있다.
영상 촬영부(200)는 영상 촬영에 따른 카메라의 조작 상태 정보를 기초로 생성한 영상 촬영 범위 정보를 객체 정보 획득부(230)에 제공할 수 있다. 구체적으로, 영상 촬영부(200)는 카메라의 조작 상태인 줌, 틸트 등을 기초하여 영상이 촬영된 영역 정보인 영상 촬영 범위 정보를 생성한 후 이를 객체 정보 획득부(230)에 제공할 수 있다.
본 발명의 실시예에서 카메라의 조작 상태는 사용자가 영상 촬영 시 이용하는 카메라의 기능, 예컨대 줌 정보, 촬영 모드 정보 등이 될 수 있다.
시각적 콘텐츠 획득부(210)는 모바일 단말(100)에서 시각적 콘텐츠를 획득한 후 이를 모바일 단말(100)의 표시부(260), 예컨대 터치스크린 상에 디스플레이할 수 있다. 구체적으로, 시각적 콘텐츠 획득부(210)는 모바일 단말(100) 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저의 실행을 통해 시각적 콘텐츠를 표시부(260) 상에 디스플레이할 수 있다.
본 발명의 실시예에 따른 비주얼 브라우저는 모바일 단말(100)의 영상 촬영부(200), 예컨대 카메라와 연동되어 실행될 수 있다. 구체적으로, 모바일 단말(100)의 영상 촬영부(200)에서 특정 영상이 촬영됨에 따라 비주얼 브라우저는 촬영된 영상을 시각적 콘텐츠로 설정하여 모바일 단말(100)의 표시부(260) 상에 디스플레이할 수 있다.
비콘 신호 수신부(220)는 시각적 콘텐츠가 획득 또는 비주얼 브라우저가 동작됨에 따라 활성화되어 기 설정된 반경에 브로드캐스팅되는 비콘 신호를 수신하여 객체 정보 획득부(230)에 제공할 수 있다.
본 발명의 실시예에서 비콘 신호 수신부(220)는 블루투스 LE, 적외선 통신 모듈 및 와이파이 모듈 중 어느 하나일 수 있다.
한편, 영상 촬영부(200)과 연동되어 실행되는 비주얼 브라우저는, 도 3에 도시된 바와 같이, 비콘 신호 수신부(220)의 동작을 제어하기 위한 제어 인터페이스(310)를 더 제공할 수 있다.
이러한 제어 인터페이스(310)는 비콘 신호 수신부(220)의 동작을 활성화시키기 위한 조작 인터페이스를 제공하며, 사용자의 조작, 예컨대 터치에 따라 비콘 신호 수신부(220)를 활성화(동작)시킬 수 있다. 이러한 활성화에 따라 비콘 신호 수신부(220)는 외부로부터 비콘 신호를 수신한 후 기 설정된 임계 값 이상의 신호 세기를 갖는 비콘 신호를 추출하여 객체 정보 획득부(230)에 제공할 수 있다.
객체 정보 획득부(230)는 비콘 신호 중 위치 정보를 갖는 비콘 신호에 대한 신호 처리를 통해 위치 정보를 추출하며, 추출한 위치 정보를 이동 통신망(140)을 통해 연결된 콘텐츠 제공 서버(150)에 전송하여 객체에 대한 구조 정보, 예컨대 비콘 신호를 송출하는 비콘 송신기(130)가 설치된 건물의 구조 정보를 수신할 수 있다. 이렇게 수신한 객체에 대한 구조 정보는 객체 인식부(240)에 제공될 수 있다.
객체 인식부(240)는 객체에 대한 구조 정보를 기반으로 비콘 송신기(130)가 설치된 위치의 객체, 즉 시각적 콘텐츠 내 건물을 인식하고, 인식한 객체를 제외한 시각적 콘텐츠의 다른 영역에 객체 인식 알고리즘을 적용하여 다른 영역 내 객체를 인식할 수 있다. 구체적으로, 객체 인식부(240)는 특징 구조화, 가려짐 영역 추출, 반복 패턴에 대한 정합 등의 객체 인식 알고리즘을 적용하여 다른 영역 내 객체를 인식할 수 있다.
한편, 객체 정보 획득부(230)는 위치 정보를 콘텐츠 제공 서버(150)에 전송하여 콘텐츠 정보 수신하며, 수신한 콘텐츠 정보를 검색부(250)에 제공할 수 있다.
또한, 객체 정보 획득부(230)는 비콘 신호에서 프레임 데이터를 추출한 후 추출한 프레임 데이터의 분석을 통해 시각적 콘텐츠의 관련 정보를 생성하며, 생성한 시각적 콘텐츠의 관련 정보를 검색부(250)에 제공할 수 있다.
한편, 객체 정보 획득부(230)는 콘텐츠 정보 및 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 비주얼 브라우저 상에 디스플레이된 시각적 콘텐츠에 오버랩시켜 디스플레이할 수 있다.
본 발명의 실시예에서 객체 정보 획득부(230)는 영상 촬영부(200)로부터 제공받은 영상 촬영 범위 정보를 기초하여 위치 정보를 갖는 비콘 신호를 선택할 수 있다. 구체적으로, 객체 정보 획득부(230)는 영상 촬영 범위 정보 내에 포함된 위치 정보를 갖는 비콘 신호만을 분석하여 객체 정보를 획득할 수 있다.
검색부(250)는 콘텐츠 정보 및 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 이용하여 검색용 정보를 생성하며, 생성한 검색용 정보를 검색용 데이터베이스 서버(160)에 전송하여 검색을 요청한 후 이에 대한 응답으로 검색 결과를 수신할 수 있다.
검색부(250)는 수신한 검색 결과를 비주얼 브라우저 상에 디스플레이된 시각적 콘텐츠에 오버랩시켜 디스플레이할 수 있다.
상기와 같은 구성을 갖는 시각적 콘텐츠의 객체 인식 장치(110)가 시각적 콘텐츠 내 객체를 인식하는 과정에 대해 도 4를 참조하여 설명한다.
도 4는 본 발명의 실시예에 따른 시각적 콘텐츠의 객체 인식 장치(110)가 시각적 콘텐츠 내 객체를 인식하는 과정을 도시한 흐름도이다.
도 4에 도시된 바와 같이, 먼저 영상 촬영부(200)에 의해 영상이 촬영됨에 따라 시각적 콘텐츠 획득부(210)는 비주얼 브라우저의 실행을 통해 촬영된 영상을 시각적 콘텐츠로 하며, 제어 인터페이스(310)를 포함한 화면을 표시부(260) 상에 디스플레이한다(S400, S402).
그런 다음, 제어 인터페이스(310)가 조작되면(S404), 비콘 신호 수신부(220)는 기 설정된 반경 내로 브로드캐스팅되는 비콘 신호를 수신한다(S406). 이때, 비콘 신호 수신부(220)는 기 설정된 값 이상의 신호 세기를 갖는 비콘 신호만을 수신하여 객체 정보 획득부(230)에 제공한다.
이후, 객체 정보 획득부(230)는 비콘 신호에 대한 신호 처리를 통해 위치 정보를 추출하고, 추출한 위치 정보를 이동 통신망(140)을 통해 연결된 콘텐츠 제공 서버(150)에 전송하여 객체에 대한 구조 정보를 요청한 후 이에 대한 응답으로 콘텐츠 제공 서버(150)로부터 객체에 대한 구조 정보를 수신한다(S408).
객체 인식부(240)는 객체에 대한 구조 정보를 기초하여 비콘 송신기(130)가 설치된 위치에 해당하는 시각적 콘텐츠의 영역에 존재하는 객체, 즉 건물의 구조 정보를 기초하여 시각적 콘텐츠 내 객체를 인식하고(S410), 시각적 콘텐츠의 다른 영역에 객체 인식 알고리즘을 적용하여 다른 영역 내 객체를 인식한다(S412).
한편, 도시 생략되었지만, 본 발명의 실시예에 따른 객체 인식 방법은 객체 정보 획득부(230)를 통해 비콘 신호 내 프레임 데이터를 추출하여 시각적 콘텐츠의 관련 정보를 획득하고, 콘텐츠 제공 서버(150)로부터 위치 정보에 대응하는 콘텐츠 정보를 수신한 후 시각적 콘텐츠의 관련 정보 및 콘텐츠 정보 중 적어도 하나 이상을 이용하여 시각적 콘텐츠의 부가 정보로 설정하여 시각적 콘텐츠에 오버랩시켜 디스플레이해줄 수 있다.
또한, 본 발명의 실시예에 따른 객체 인식 방법은 시각적 콘텐츠의 관련 정보 및 객체의 부가 정보 중 적어도 하나 이상을 이용하여 시각적 콘텐츠에 대한 검색용 정보를 생성한 후 이를 이동 통신망(140)을 통해 연결된 검색용 데이터베이스 서버(160)에 전송하여 검색을 요청하며, 요청에 대한 응답으로 검색 결과를 수신하여 비주얼 브라우저 상에 디스플레이해줄 수 있다.
상술한 바와 같은 시각적 콘텐츠의 객체 인식 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 모바일 단말
110 : 객체 인식 장치
120 : 근거리 무선 통신망
130 : 비콘 송신기
140 : 이동 통신망
150 : 콘텐츠 제공 서버
160 : 검색용 데이터베이스 서버
200 : 영상 촬영부
210 : 시각적 콘텐츠 획득부
220 : 비콘 신호 수신부
230 : 객체 정보 획득부
240 : 객체 인식부
250 : 검색부
260 : 표시부

Claims (10)

  1. 영상의 촬영을 통해 시각적 콘텐츠를 획득하는 시각적 콘텐츠 획득부와,
    상기 시각적 콘텐츠가 획득됨에 따라 활성화되어 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 비콘 신호 수신부와,
    상기 비콘 신호에 위치 정보가 포함된 경우 상기 위치 정보를 콘텐츠 제공 서버에 전송하여 상기 콘텐츠 제공 서버로부터 상기 위치 정보를 포함한 비콘 신호를 송신하는 비콘 송신기가 설치된 객체에 대한 구조 정보를 획득하며, 상기 콘텐츠 제공 서버로부터 상기 위치 정보에 매핑된 콘텐츠 정보를 수신하며, 프레임 데이터가 존재하는 비콘 신호의 분석을 통해 상기 시각적 콘텐츠의 관련 정보를 획득하여 상기 콘텐츠 정보 및 상기 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 상기 시각적 콘텐츠의 부가 정보로 표시부를 통해 디스플레이하는 객체 정보 획득부와,
    상기 수신한 콘텐츠 정보 및 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 이용하여 검색용 정보를 생성하며, 상기 획득한 검색용 정보를 외부의 검색용 데이터베이스 서버에 전송하여 검색을 요청한 후 이에 대응하는 검색 결과를 수신하여 표시부에 디스플레이하는 검색부와,
    상기 객체에 대한 구조 정보를 기반으로 상기 위치 정보에 해당하는 시각적 콘텐츠의 일 영역에 존재하는 객체에 대한 인식을 수행함과 더불어 상기 시각적 콘텐츠의 다른 영역에 기 설정된 객체 인식 알고리즘을 적용하여 상기 다른 영역에 존재하는 객체를 인식하는 객체 인식부를 포함하며,
    상기 시각적 콘텐츠 획득부는,
    상기 영상 촬영을 통해 영상이 획득됨에 따라 모바일 단말 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저를 실행시키며, 상기 획득한 영상을 시각적 콘텐츠로 설정하여 상기 실행된 비주얼 브라우저 상에 표시하는 시각적 콘텐츠의 객체 인식 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 시각적 콘텐츠 획득부는, 상기 실행된 비주얼 브라우저 상에 비콘 신호 수신부의 동작을 제어하기 위한 제어 인터페이스를 추가하여 표시하는 시각적 콘텐츠의 객체 인식 장치.
  5. 제1항에 있어서,
    상기 객체 인식 장치는,
    상기 영상을 촬영함과 더불어 카메라 조작 상태를 기초로 영상 촬영 범위 정보를 생성하는 영상 촬영부를 더 포함하며,
    상기 객체 정보 획득부는,
    상기 비콘 신호 수신부에서 수신한 위치 정보를 갖는 비콘 신호 중 상기 영상 촬영 범위 정보에 포함된 비콘 신호만을 이용하여 객체의 구조 정보를 획득하는 시각적 콘텐츠의 객체 인식 장치.
  6. 영상의 촬영을 통해 시각적 콘텐츠를 획득하는 단계와,
    상기 시각적 콘텐츠가 획득됨에 따라 비콘 신호 수신부를 활성화시키는 단계와,
    상기 비콘 신호 수신부의 활성화에 따라 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 단계와,
    상기 비콘 신호에 대한 분석을 통해 위치 정보를 추출하고, 상기 추출한 위치 정보를 통신망을 통해 연결된 콘텐츠 제공 서버에 전송하여 상기 위치 정보를 포함한 비콘 신호를 송신하는 비콘 송신기가 설치된 객체에 대한 구조 정보를 수신하는 단계와,
    상기 수신한 객체에 대한 구조 정보를 상기 위치 정보에 해당하는 시각적 콘텐츠의 일 영역에 존재하는 객체에 대한 인식을 수행하는 단계와,
    상기 시각적 콘텐츠의 다른 영역에 기 설정된 객체 인식 알고리즘을 적용하여 상기 다른 영역에 존재하는 객체를 인식하는 단계와,
    상기 콘텐츠 제공 서버로부터 상기 위치 정보에 매핑된 콘텐츠 정보를 수신하는 단계와,
    프레임 데이터가 존재하는 비콘 신호의 분석을 통해 상기 시각적 콘텐츠의 관련 정보를 획득하는 단계와,
    상기 콘텐츠 정보 및 상기 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 상기 시각적 콘텐츠의 부가 정보로 설정하여 시각적 콘텐츠에 오버랩시켜 표시하는 단계와,
    상기 수신한 콘텐츠 정보 및 시각적 콘텐츠의 관련 정보 중 적어도 하나 이상을 이용하여 검색용 정보를 생성하는 단계와,
    상기 생성한 검색용 정보를 외부의 검색용 데이터베이스 서버에 전송하여 검색을 요청하는 단계와,
    상기 요청에 대한 응답으로 검색 결과를 수신하여 상기 시각적 콘텐츠에 오버랩시켜 디스플레이하는 단계를 포함하며,
    상기 시각적 콘텐츠를 획득하는 단계는,
    상기 영상 촬영을 통해 영상이 획득됨에 따라 모바일 단말 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저를 실행시키는 단계와,
    상기 획득한 영상을 시각적 콘텐츠로 설정하여 상기 비주얼 브라우저를 통해 디스플레이하는 단계를 포함하는 시각적 콘텐츠의 객체 인식 방법.
  7. 삭제
  8. 삭제
  9. 제6항에 있어서,
    상기 비주얼 브라우저를 통해 디스플레이하는 단계는 상기 실행된 비주얼 브라우저 상에 비콘 신호 수신부의 동작을 제어하기 위한 제어 인터페이스를 추가하여 디스플레이하며,
    상기 비콘 신호 수신부를 활성화시키는 단계는 상기 제어 인터페이스에 대한 조작이 있을 경우 수행되는 시각적 콘텐츠의 객체 인식 방법.
  10. 제6항에 있어서,
    상기 객체 인식 방법은
    영상 촬영부에서 상기 영상을 촬영함과 더불어 카메라 조작 상태를 기초로 영상 촬영 범위 정보를 생성하는 단계를 더 포함하며,
    상기 객체에 대한 구조 정보를 수신하는 단계는,
    상기 비콘 신호 수신부에서 수신한 위치 정보를 갖는 비콘 신호 중 상기 영상 촬영 범위 정보에 포함된 비콘 신호만을 이용하여 객체에 대한 구조 정보를 수신하는 시각적 콘텐츠의 객체 인식 방법.
KR1020160012690A 2016-02-02 2016-02-02 시각적 콘텐츠의 객체 인식 장치 및 방법 KR101885741B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160012690A KR101885741B1 (ko) 2016-02-02 2016-02-02 시각적 콘텐츠의 객체 인식 장치 및 방법
PCT/KR2016/001492 WO2017135490A1 (ko) 2016-02-02 2016-02-15 시각적 콘텐츠의 객체 인식 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160012690A KR101885741B1 (ko) 2016-02-02 2016-02-02 시각적 콘텐츠의 객체 인식 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170091878A KR20170091878A (ko) 2017-08-10
KR101885741B1 true KR101885741B1 (ko) 2018-08-06

Family

ID=59499787

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160012690A KR101885741B1 (ko) 2016-02-02 2016-02-02 시각적 콘텐츠의 객체 인식 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101885741B1 (ko)
WO (1) WO2017135490A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019039799A1 (ko) * 2017-08-20 2019-02-28 네이버 주식회사 시각적 입력의 처리
KR102369341B1 (ko) 2021-10-14 2022-03-07 동양정보서비스(주) 상호 영상 촬영과 인공지능을 이용한 가축 모니터링 시스템

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101176743B1 (ko) * 2011-02-23 2012-08-23 숭실대학교산학협력단 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101729938B1 (ko) * 2010-08-09 2017-04-26 에스케이플래닛 주식회사 통합 영상 검색 시스템 및 그 서비스 방법
US9161168B2 (en) * 2013-03-15 2015-10-13 Intel Corporation Personal information communicator
KR101483447B1 (ko) * 2013-04-05 2015-01-19 홍익대학교 산학협력단 정보처리 시스템 및 정보처리 방법
KR102125314B1 (ko) * 2013-06-10 2020-06-23 에스케이 텔레콤주식회사 오프라인 매장 정보 및 영상 정보를 이용한 상품 정보 제공장치 및 그 방법
KR20150018264A (ko) * 2013-08-09 2015-02-23 엘지전자 주식회사 안경형 단말기의 정보 제공 장치 및 그 방법
KR20150059377A (ko) * 2013-11-22 2015-06-01 엔그램테크놀로지(주) 영상내 동작 및 객체인식 기술 기반의 자기 결제 시스템 및 방법
KR101570117B1 (ko) 2014-06-03 2015-11-18 한승훈 시각적 콘텐츠 기반 정보 입력 방법

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101176743B1 (ko) * 2011-02-23 2012-08-23 숭실대학교산학협력단 객체 인식 장치 및 방법과 이를 이용한 정보 컨텐츠 제공 장치 및 정보 컨텐츠 관리 서버

Also Published As

Publication number Publication date
KR20170091878A (ko) 2017-08-10
WO2017135490A1 (ko) 2017-08-10

Similar Documents

Publication Publication Date Title
US10511457B2 (en) Method, intelligent device, and system for controlling terminal device
US11057948B2 (en) Method and apparatus for connecting to wireless access point
US11003913B2 (en) Mobile terminal and method for operating the same
CN106844484B (zh) 信息搜索方法、装置及移动终端
US20140066043A1 (en) Automating actions within a phone network based upon scanned wireless signals
CN101802824A (zh) 用于提供视觉搜索接口的方法、装置和计算机程序产品
CN108037863A (zh) 一种显示图像的方法和装置
CN108460817B (zh) 一种拼图方法及移动终端
EP2764471A2 (en) Methods, apparatuses, and computer program products for restricting overlay of an augmentation
US20200220964A1 (en) Display device and operating method thereof
CN109840444B (zh) 一种扫码识别方法、设备及计算机可读存储介质
CN105009114A (zh) 预测性地呈现搜索能力
KR101885741B1 (ko) 시각적 콘텐츠의 객체 인식 장치 및 방법
CN111629332B (zh) 楼宇信息模型与物联网设备的关联方法、装置及移动终端
KR102149914B1 (ko) 클라우드 소싱 기반 관심 지점 정보 업데이트 방법, 및 이를 위한 장치
CN108322611B (zh) 一种锁屏信息推送方法、设备及计算机可读存储介质
CN103136357A (zh) 一种利用人脸识别技术定位网页的方法、装置和移动设备
TW201728191A (zh) 電子裝置間之註冊管理方法及系統，及相關電腦程式產品
CN108156647A (zh) 密码获取方法及装置
KR101702205B1 (ko) 실내 네비게이션 장치 및 방법
US20120169638A1 (en) Device and method for transmitting data in portable terminal
CN105409251A (zh) 用于进行经优化的对象搜索的方法和设备
KR101816057B1 (ko) 시각적 콘텐츠의 애노테이션 장치 및 방법
CN107819939B (zh) 一种信息获取方法、终端及计算机可读存储介质
KR101928948B1 (ko) 비콘 통신을 이용한 결제 서비스 제공 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant