KR101816057B1 - 시각적 콘텐츠의 애노테이션 장치 및 방법 - Google Patents

시각적 콘텐츠의 애노테이션 장치 및 방법 Download PDF

Info

Publication number
KR101816057B1
KR101816057B1 KR1020160012688A KR20160012688A KR101816057B1 KR 101816057 B1 KR101816057 B1 KR 101816057B1 KR 1020160012688 A KR1020160012688 A KR 1020160012688A KR 20160012688 A KR20160012688 A KR 20160012688A KR 101816057 B1 KR101816057 B1 KR 101816057B1
Authority
KR
South Korea
Prior art keywords
information
visual content
beacon signal
annotation
visual
Prior art date
Application number
KR1020160012688A
Other languages
English (en)
Other versions
KR20170091877A (ko
Inventor
김성민
윤경용
Original Assignee
주식회사 얍컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 얍컴퍼니 filed Critical 주식회사 얍컴퍼니
Priority to KR1020160012688A priority Critical patent/KR101816057B1/ko
Priority to PCT/KR2016/001491 priority patent/WO2017135489A1/ko
Publication of KR20170091877A publication Critical patent/KR20170091877A/ko
Application granted granted Critical
Publication of KR101816057B1 publication Critical patent/KR101816057B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/06—Authentication
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F17/30017—
    • G06F17/30244—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N5/225—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W12/00—Security arrangements; Authentication; Protecting privacy or anonymity
    • H04W12/08—Access security
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/029—Location-based management or tracking services

Abstract

본 발명은 비콘 신호를 기반으로 애노테이션 정보를 생성하여 시각적 콘텐츠에 매칭시킬 수 있는 장치 및 방법에 관한 것으로, 이를 위하여 시각적 콘텐츠를 획득하는 시각적 콘텐츠 획득부와, 상기 시각적 콘텐츠를 획득한 모바일 단말의 위치를 기준으로 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 비콘 신호 수신부와, 상기 비콘 신호의 분석을 통해 상기 시각적 콘텐츠에 대한 적어도 하나 이상의 애노테이션 정보를 생성하는 애노테이션 정보 생성부와, 상기 생성한 애노테이션 정보와 상기 시각적 콘텐츠를 매칭시켜 검색용 데이터베이스 서버에 저장하는 시각적 콘텐츠 저장부를 포함하는 시각적 콘텐츠의 애노테이션 장치를 제공한다.

Description

시각적 콘텐츠의 애노테이션 장치 및 방법{APPARATUS AND METHOD FOR ANNOTATING A VISUAL CONTENTS}
본 발명은 시각적 콘텐츠의 애노테이션 장치 및 방법에 관한 것이다.
최근 몇 컴퓨터와 통신 기술의 발달로 인터넷을 통해 사용자간 정보를 공유하는 소셜 네트워크 서비스(Social Network Service; SNS) 산업이 크게 발전하였다. 따라서 기존의 SMS를 통한 정보 공유나, PC를 통한 메신저를 통한 정보 공유 방식이 아닌 언제 어디서나 모바일 단말을 통해 정보를 실시간으로 공유하고 있다.
즉, 개인이 활동하는 위치, 시간 정보를 이미지나 영상으로 실시간으로 공유하고 이에 대한 반응을 실시간으로 확인할 수 있다. 그러나, 현재 제공되는 모바일 메신저나 SNS 서비스의 경우 이미지나 영상에 대한 전체적인 반응 만을 공유할 수 있을 뿐, 시각적 콘텐츠 중 특정 위치에 대한 내용을 지칭하며 정보를 공유할 수는 없다.
예를 들어 현재의 메신저나 SNS서비스는 공사현장에서 특정부분을 설계도면에 반영시키도록 지시하거나, 온라인 쇼핑몰의 나열된 상품들 중 특정 상품을 지칭하여 실시간으로 정보를 주고 받거나, 웹 지도 상에서의 특정 위치에 존재하는 가게에 대한 정보를 즉각적으로 지인들과 공유하고 함께 이야기하며 그 내용을 저장할 수 있는 서비스 플랫폼을 제공해 주지는 못하고 있다.
대한민국 등록특허10-1570117호(2015.11.12. 등록)
본 발명은 시각적 콘텐츠에 대한 애노테이션 정보를 모바일 단말의 주변에서 브로드캐스팅되는 비콘 신호 내 데이터를 기반으로 생성하여 매칭시킬 수 있는 시각적 콘텐츠의 애노테이션 장치 및 방법을 제공한다.
또한, 본 발명은 비콘 신호 내 위치 정보를 기반으로 수신한 콘텐츠의 분석을 통해 시각적 콘텐츠의 애노테이션 정보를 생성할 수 있는 시각적 콘텐츠의 애노테이션 장치 및 방법을 제공한다.
본 발명은 시각적 콘텐츠의 객체 분석을 통해 획득한 정보를 기반으로 외부 서버로부터 기본 인덱스 정보를 수신하며, 수신한 기본 인덱스 정보를 이용하여 비콘 신호를 기반으로 생성한 적어도 하나 이상의 애노테이션 정보에서 시각적 콘텐츠에 적합한 애노테이션 정보를 선택할 수 있는 시각적 콘텐츠의 애노테이션 장치 및 방법을 제공한다.
다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 시각적 콘텐츠의 애노테이션 장치는 시각적 콘텐츠를 획득하는 시각적 콘텐츠 획득부와, 상기 시각적 콘텐츠를 획득한 모바일 단말의 위치를 기준으로 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 비콘 신호 수신부와, 상기 비콘 신호의 분석을 통해 상기 시각적 콘텐츠에 대한 적어도 하나 이상의 애노테이션 정보를 생성하는 애노테이션 정보 생성부와, 상기 생성한 애노테이션 정보와 상기 시각적 콘텐츠를 매칭시켜 검색용 데이터베이스 서버에 저장하는 시각적 콘텐츠 저장부를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 애노테이션 정보 생성부는 상기 수신한 적어도 하나 이상의 비콘 신호 중 프레임 데이터 또는 위치 정보를 포함한 비콘 신호를 선택하는 선택 모듈과, 상기 선택 모듈에 의해 선택된 비콘 신호 내 프레임 데이터 또는 위치 정보를 기반으로 적어도 하나 이상의 애노테이션 정보를 생성하는 정보 생성 모듈을 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 정보 생성 모듈은 상기 비콘 신호 내 위치 정보를 콘텐츠 제공 서버에 전송하여 상기 위치 정보에 대응하는 콘텐츠를 수신하며, 상기 수신한 콘텐츠의 분석을 통해 하나 이상의 애노테이션 정보를 생성할 수 있다.
본 발명의 실시예에 따르면, 상기 애노테이션 정보 생성부는 이동 통신망을 통해 인덱스 제공 서버와 상기 애노테이션 장치를 연결시키는 접속 모듈과, 상기 시각적 콘텐츠에 대한 객체 분석을 통해 검색용 정보를 생성하며, 상기 생성한 검색용 정보를 상기 인덱스 제공 서버에 전송하여 상기 시각적 콘텐츠에 대한 기본 인덱스 정보를 요청하여 수신하는 시각적 콘텐츠 분석 모듈을 포함하며, 상기 정보 생성 모듈은 상기 기본 인덱스 정보를 기반으로 상기 애노테이션 정보 중 적어도 하나 이상을 선택할 수 있다.
본 발명의 실시예에 따르면, 상기 시각적 콘텐츠 획득부는 상기 모바일 단말 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저의 실행을 통해 상기 시각적 콘텐츠와 상기 비콘 신호 수신부의 동작을 제어하기 위한 제어 인터페이스를 포함한 화면을 상기 모바일 단말에 디스플레이하며, 상기 비콘 신호 수신부는 상기 제어 인터페이스의 조작에 따라 동작하여 상기 비콘 신호를 수신할 수 있다.
본 발명의 실시예에 따르면, 상기 시각적 콘텐츠 획득부는 상기 모바일 단말 내 영상 촬영부와 연동되어 상기 비주얼 브라우저를 실행시켜 상기 영상 촬영부에 의해 촬영된 영상을 시각적 콘텐츠로 설정하여 상기 화면을 상기 모바일 단말에 디스플레이할 수 있다.
상기한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 실시예에 따른 시각적 콘텐츠으 애노테이션 방법은 시각적 콘텐츠를 획득하여 모바일 단말에 표시하는 단계와, 비콘 신호 수신부의 동작을 통해 상기 시각적 콘텐츠를 획득한 모바일 단말의 위치를 기준으로 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 단계와, 상기 비콘 신호 내 데이터의 분석을 통해 상기 시각적 콘텐츠에 대한 적어도 하나 이상의 애노테이션 정보를 생성하는 단계와, 상기 생성한 애노테이션 정보와 상기 시각적 콘텐츠를 매칭시켜 검색용 데이터베이스 서버에 저장하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 모바일 단말은 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저를 더 포함하며, 상기 표시하는 단계는 상기 비주얼 브라우저의 실행을 통해 상기 시각적 콘텐츠와 상기 비콘 신호 수신부의 동작을 제어하기 위한 제어 인터페이스를 포함한 화면을 상기 모바일 단말에 표시하는 단계를 포함하며, 상기 비콘 신호를 수신하는 단계는 상기 제어 인터페이스의 조작에 따라 상기 비콘 신호를 수신할 수 있다.
본 발명의 실시예에 따르면, 상기 표시하는 단계는 상기 모바일 단말 내 영상 촬영부에서 영상을 촬영함에 따라 상기 비주얼 브라우저를 실행시키는 단계와, 상기 영상 촬영부에 의해 촬영된 영상을 시각적 콘텐츠로 설정한 후 상기 비주얼 브라우저를 이용하여 상기 시각적 콘텐츠와 상기 제어 인터페이스를 상기 모바일 단말에 표시하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 애노테이션 정보를 생성하는 단계는 상기 수신한 적어도 하나 이상의 비콘 신호 중 프레임 데이터 또는 위치 정보를 포함한 비콘 신호를 선택하는 단계와, 상기 선택된 비콘 신호 내 프레임 데이터 또는 위치 정보를 기반으로 적어도 하나 이상의 애노테이션 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 애노테이션 정보를 생성하는 단계는 상기 비콘 신호 내 위치 정보를 콘텐츠 제공 서버에 전송하는 단계와, 상기 콘텐츠 제공 서버로부터 상기 위치 정보에 매칭된 콘텐츠를 수신하는 단계와, 상기 수신한 콘텐츠의 분석을 통해 적어도 하나 이상의 애노테이션 정보를 생성하는 단계를 포함할 수 있다.
본 발명의 실시예에 따르면, 상기 애노테이션 정보를 생성하는 단계는 상기 시각적 콘텐츠에 대한 객체 분석을 통해 검색용 정보를 생성하는 단계와, 상기 생성한 검색용 정보를 인덱스 제공 서버에 전송하여 상기 시각적 콘텐츠에 대한 기본 인덱스 정보를 요청하여 수신하는 단계와, 상기 기본 인덱스 정보를 기반으로 상기 애노테이션 정보 중 적어도 하나 이상을 선택하여 상기 시각적 콘텐츠에 적용될 애노테이션 정보를 생성하는 단계를 포함할 수 있다.
상술한 과제 해결 수단은 단지 예시적인 것으로서, 본 발명을 제한하려는 의도로 해석되지 않아야 한다. 상술한 예시적인 실시예 외에도, 도면 및 발명의 상세한 설명에 기재된 추가적인 실시예가 존재할 수 있다.
전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 시각적 콘텐츠에 대한 애노테이션 정보를 모바일 단말의 주변에서 브로드캐스팅되는 비콘 신호 내 데이터를 기반으로 생성하여 시각적 콘텐츠에 매칭시킬 수 있는 시각적 콘텐츠의 애노테이션 장치 및 방법을 제공함으로써, 시각적 콘텐츠 내 포함된 다양한 객체에 대한 정확한 애노테이션 정보 생성이 가능할 수 있다.
또한, 전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 시각적 콘텐츠의 객체 분석을 통해 획득한 정보를 기반으로 외부 서버로부터 기본 인덱스 정보를 수신하며, 수신한 기본 인덱스 정보를 이용하여 비콘 신호를 기반으로 생성한 적어도 하나 이상의 애노테이션 정보에서 시각적 콘텐츠에 적합한 애노테이션 정보를 선택하여 시각적 콘텐츠에 매칭시킴으로써, 불필요한 정보가 애노테이션 정보로 설정되는 것을 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 시각적 콘텐츠의 애노테이션 장치가 적용된 전체 네트워크 구성도이다.
도 2는 본 발명의 실시예에 따른 시각적 콘텐츠의 애노테이션 장치의 세부 구성을 도시한 블록도이다.
도 3은 본 발명의 실시예에 따른 시각적 콘텐츠의 애노테이션 장치에 의해 제공되는 비주얼 브라우저를 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 시각적 콘텐츠의 애노테이션 장치가 시각적 콘텐츠에 애노테이션 정보를 매칭하여 저장하는 과정을 도시한 흐름도이다.
아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 발명 명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함" 한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 발명 명세서 전체에서 사용되는 정도의 용어 "약", "실질적으로" 등은 언급된 의미에 고유한 제조 및 물질 허용오차가 제시될 때 그 수치에서 또는 그 수치에 근접한 의미로 사용되고, 본 발명의 이해를 돕기 위해 정확하거나 절대적인 수치가 언급된 개시 내용을 비양심적인 침해자가 부당하게 이용하는 것을 방지하기 위해 사용된다. 본 발명 명세서 전체에서 사용되는 정도의 용어 "~(하는) 단계" 또는 "~의 단계"는 "~ 를 위한 단계"를 의미하지 않는다.
본 명세서에 있어서 '부(部)'란, 하드웨어에 의해 실현되는 유닛(unit), 소프트웨어에 의해 실현되는 유닛, 양방을 이용하여 실현되는 유닛을 포함한다. 또한, 1개의 유닛이 2개 이상의 하드웨어를 이용하여 실현되어도 되고, 2개 이상의 유닛이 1개의 하드웨어에 의해 실현되어도 된다. 본 명세서 있어서 단말, 장치 또는 디바이스가 수행하는 것으로 기술된 동작이나 기능 중 일부는 해당 단말, 장치 또는 디바이스와 연결된 서버에서 대신 수행될 수도 있다. 이와 마찬가지로, 서버가 수행하는 것으로 기술된 동작이나 기능 중 일부도 해당 서버와 연결된 단말, 장치 또는 디바이스에서 수행될 수도 있다. 이하 첨부된 도면을 참고하여 본 발명의 일 실시예를 상세히 설명하기로 한다.
도 1은 본 발명의 일 실시예에 따른 시각적 콘텐츠의 애노테이션 장치가 적용된 전체 네트워크 구성도이다.
도 1에 도시된 바와 같이, 전체 네트워크는 시각적 콘텐츠의 애노테이션 장치(110)를 포함한 모바일 단말(100)과, 근거리 무선 통신망(120)에 연결된 복수의 비콘 송신기(130)와, 모바일 단말(100)과 이동 통신망(140)을 통해 연결된 콘텐츠 제공 서버(150), 인덱스 제공 서버(160) 및 검색용 데이터베이스 서버(170) 등을 포함할 수 있다.
본 발명의 실시예에서 근거리 무선 통신망(120)은 와이파이, 블루투스 LE 통신 및 적외선 통신 중 어느 하나를 들 수 있으나, 이에 한정하지는 않는다.
모바일 단말(100)은 근거리 무선 통신망(120)을 통해 비콘 송신기(130)로부터 브로드캐스팅되는 비콘 신호를 수신하며, 비콘 신호 내 데이터를 기반으로 이동 통신망(140)을 통해 콘텐츠 제공 서버(150) 및 인덱스 제공 서버(160) 등에 접속하여 정보를 수신할 수 있다. 이를 위하여, 모바일 단말(100)은 근거리 무선 통신망(120)에 접속 가능한 통신 모듈, 예컨대 블루투스 LE, 와이파이, 적외선 통신, 지그비, 블루투스 등과 같은 통신 모듈을 구비하거나 이동 통신망(140)에 접속 가능한 이동 통신 모듈, 예컨대 LTE, 3G 등과 같은 이동 통신망(140)에 접속 가능한 이동 통신 모듈을 구비할 수 있다.
또한, 모바일 단말(120)은 임의의 위치에서 시각적 콘텐츠에 적합한 애노테이션 정보를 매칭시켜 외부의 검색용 데이터베이스 서버(170)에 전송할 수 있는 시각적 콘텐츠의 애노테이션 장치(110)를 더 구비할 수 있다.
상술한 바와 같은 모바일 단말(100)은 휴대성과 이동성이 보장되는 이동 통신 장치로서, 예를 들면, PCS(Personal Communication System), GSM(Global System for Mobile communication), PDC(Personal Digital Cellular), PHS(Personal Handyphone System), PDA(Personal Digital Assistant), IMT(International Mobile Telecommunication)-2000, CDMA(Code Division Multiple Access)-2000, W-CDMA(W-Code Division Multiple Access), Wibro(Wireless Broadband Internet) 단말, 스마트폰(Smartphone), 스마트패드(SmartPad), 태블릿 PC등과 같은 모든 종류의 핸드헬드(Handheld) 기반의 무선 통신 장치를 포함할 수 있다.
콘텐츠 제공 서버(150)는 위치 정보에 매핑된 다양한 콘텐츠, 예컨대 위치 정보에 해당하는 맛집 정보, 할인 정보, 위치 정보에 해당하는 업체에서 제공하는 음식 정보 등과 같은 다양한 콘텐츠가 저장되며, 위치 정보를 이용한 모바일 단말(100)의 콘텐츠 요청에 따라 이에 대한 응답으로 위치 정보에 매핑된 콘텐츠를 모바일 단말(100)에 제공할 수 있다.
인덱스 제공 서버(160)는 다양한 콘텐츠, 예컨대 시각적 콘텐츠, 위치(지역)에 대한 시각적 콘텐츠, 음식 관련 시각적 콘텐츠 등에 대한 고유 인덱스 정보(특징 정보)를 저장 및 관리할 수 있다.
또한, 인덱스 제공 서버(160)는 시각적 콘텐츠에 대한 정보 또는 위치 정보를 이용한 고유 인덱스 정보의 요청을 모바일 단말(100)로부터 수신하며, 수신한 요청에 대한 응답으로 시각적 콘텐츠에 대한 정보 또는 위치 정보에 대한 고유 인덱스 정보를 모바일 단말(100)에 전송할 수 있다.
복수의 비콘 송신기(130)는 근거리 무선 통신망(120)에 연결되어 프레임 데이터를 포함한 비콘 신호 또는 위치 정보를 포함한 비콘 신호를 브로드캐스팅할 수 있다. 특히, 본 발명의 실시예에 따른 복수의 비콘 송신기(130)는 위치 정보에 대한 고유 식별 정보를 갖고 미리 설정된 변동 패턴으로 고주파 대역의 사운드 신호, 예컨대 음파를 발생시키는 방식으로 사운드 신호에 해당하는 비콘 신호를 브로드캐스팅할 수 있다.
상기와 같은 사운드 신호에 해당하는 비콘 신호를 수신한 모바일 단말(100)의 시각적 콘텐츠의 애노테이션 장치(110)는 비콘 신호에 대응하는 고유 식별 정보 및 모바일 단말(100)의 고유 정보를 콘텐츠 제공 서버(150)에 전송하며, 콘텐츠 제공 서버(150)는 고유 식별 정보에 해당하는 위치 정보를 기반으로 콘텐츠를 모바일 단말(100)에 제공할 수 있다.
상기와 같은 모바일 단말(100) 내 시각적 콘텐츠의 애노테이션 장치(110)의 세부 구성 및 동작에 대해 도 2 및 도 3을 참조하여 설명한다.
도 2는 본 발명의 실시예에 따른 시각적 콘텐츠의 애노테이션 장치(110)의 세부 구성을 도시한 블록도이며, 도 3은 본 발명의 실시예에 따른 시각적 콘텐츠의 애노테이션 장치(110)에 의해 제공되는 비주얼 브라우저를 설명하기 위한 도면이다.
도 2에 도시된 바와 같이, 시각적 콘텐츠의 애노테이션 장치(110)는 영상 촬영부(200), 시각적 콘텐츠 획득부(210), 비콘 신호 수신부(220), 애노테이션 정보 생성부(230) 및 시각적 콘텐츠 저장부(240) 등을 포함할 수 있다.
영상 촬영부(200)는 영상 촬영에 따른 카메라의 조작 상태 정보를 기초로 생성한 영상 촬영 범위 정보를 객체 정보 획득부(230)에 제공할 수 있다. 구체적으로, 영상 촬영부(200)는 카메라의 조작 상태인 줌, 틸트 등을 기초하여 영상이 촬영된 영역 정보인 영상 촬영 범위 정보를 생성한 후 이를 애노테이션 정보 생성부(230)에 제공할 수 있다.
시각적 콘텐츠 획득부(210)는 모바일 단말(100)에서 시각적 콘텐츠를 획득한 후 이를 모바일 단말(100)의 표시 장치, 예컨대 터치스크린(300) 상에 디스플레이할 수 있다. 구체적으로, 시각적 콘텐츠 획득부(210)는 모바일 단말(100) 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저의 실행을 통해 시각적 콘텐츠와 비콘 신호 수신부(220)의 동작을 제어하기 위한 제어 인터페이스(310)를 포함한 화면을 도 3에 도시된 바와 같이 모바일 단말(100)의 터치스크린(300) 상에 디스플레이할 수 있다.
본 발명의 실시예에서 제어 인터페이스(310)는 시각적 콘텐츠와 오버랩 되어 터치스크린 상에 디스플레이될 수 있다.
한편, 본 발명의 실시예에 따른 비주얼 브라우저는 모바일 단말(100)의 영상 촬영부(200), 예컨대 카메라와 연동되어 실행될 수 있다. 구체적으로, 모바일 단말(100)의 영상 촬영부(200)에서 특정 영상이 촬영됨에 따라 비주얼 브라우저는 촬영된 영상을 시각적 콘텐츠로 설정함과 더불어 시각적 콘텐츠 내 제어 인터페이스(310)를 포함한 화면을 모바일 단말(100)의 터치스크린(300) 상에 디스플레이할 수 있다.
또한, 제어 인터페이스(310)의 조작, 예컨대 터치에 따라 비콘 신호 수신부(220)는 실행되어 모바일 단말(100)의 위치에서 기 설정된 반경 내로 브로드캐스팅되는 비콘 신호를 수신할 수 있다. 구체적으로, 비콘 신호 수신부(220)는 제어 인터페이스(310)의 조작에 따라 기 설정된 반경 내 위치한 비콘 송신기(130)에서 브로드캐스팅되는 비콘 신호를 수신하며, 수신한 비콘 신호를 애노테이션 정보 생성부(230)에 제공할 수 있다.
본 발명의 실시예에서 비콘 신호 수신부(220)는 블루투스 LE, 적외선 통신 모듈 및 와이파이 모듈 중 어느 하나일 수 있다.
애노테이션 정보 생성부(230)는 비콘 신호 수신부(220)를 통해 수신한 비콘 신호 중 프레임 데이터 또는 위치 정보를 포함한 비콘 신호를 선택하며, 선택한 비콘 신호 내 프레임 데이터 또는 위치 정보를 기반으로 애노테이션 정보를 생성할 수 있다.
또한, 애노테이션 정보 생성부(230)는 비콘 신호 수신부(220)를 통해 수신한 비콘 신호 중 영상 촬영 범위에 해당하는 영역에 위치한 비콘 송신기(130)로부터 브로드캐스팅되는 비콘 신호만을 선택하며, 선택한 비콘 신호를 기반으로 애노테이션 정보를 생성할 수 있다.
이를 위하여 애노테이션 정보 생성부(230)는 선택 모듈(232) 및 정보 생성 모듈(234)을 포함할 수 있다.
선택 모듈(232)은 수신한 적어도 하나 이상의 비콘 신호 중 프레임 데이터 또는 위치 정보를 포함한 비콘 신호만을 선택하여 정보 생성 모듈(234)에 출력할 수 있다.
또한, 선택 모듈(232)은 수신한 비콘 신호, 즉 위치 정보를 갖는 비콘 신호 중 영상 촬영 범위 정보에 포함된 위치 정보를 갖는 비콘 신호만을 선택하여 정보 생성 모듈(234)에 출력할 수 있다.
정보 생성 모듈(234)은 선택 모듈(232)로부터 제공받은 비콘 신호 내 프레임 데이터 또는 위치 정보를 기반으로 적어도 하나 이상의 애노테이션 정보를 생성할 수 있다. 구체적으로, 정보 생성 모듈(234)은 선택 모듈(232)로부터 제공받은 비콘 신호의 분석을 통해 프레임 데이터를 추출한 후 추출한 프레임 데이터를 기반으로 시각적 콘텐츠에 대한 애노테이션 정보를 생성하거나 비콘 신호 내 위치 정보를 이동 통신망(140)을 통해 콘텐츠 제공 서버(150)에 전송하여 콘텐츠를 요청한 후 이에 대한 응답으로 수신한 콘텐츠에 대한 분석을 통해 하나 이상의 애노테이션 정보를 생성할 수 있다.
한편, 애노테이션 정보 생성부(230)는 시각적 콘텐츠 분석 모듈(236) 및 접속 모듈(238)을 더 포함할 수 있다.
시각적 콘텐츠 분석 모듈(236)은 시각적 콘텐츠에 대한 객체 분석을 통해 검색용 정보를 생성하며, 생성한 검색용 정보를 접속 모듈(238)을 통해 이동 통신망(140)에 연결된 인덱스 제공 서버(160)에 전송하여 시각적 콘텐츠 내 객체에 대한 기본 인덱스 정보를 요청하며, 이에 대한 응답으로 기본 인덱스 정보를 수신하여 정보 생성 모듈(234)에 제공할 수 있다.
정보 생성 모듈(234)은 시각적 콘텐츠 분석 모듈(236)로부터 제공받은 기본 인덱스 정보를 이용하여 생성한 적어도 하나 이상의 애노테이션 정보에서 시각적 콘텐츠에 매칭될 애노테이션 정보를 선택하며, 선택한 애노테이션 정보를 시각적 콘텐츠 저장부(240)에 제공할 수 있다.
시각적 콘텐츠 저장부(240)는 선택한 애노테이션 정보 또는 생성한 애노테이션 정보를 시각적 콘텐츠에 매칭시킨 후 이를 검색용 데이터베이스 서버(170)에 전송하여 저장할 수 있다.
상기와 같은 구성을 갖는 시각적 콘텐츠의 애노테이션 장치(110)가 동작하는 과정에 대해 도 4를 참조하여 설명한다.
도 4는 본 발명의 실시예에 따른 시각적 콘텐츠의 애노테이션 장치(110)가 시각적 콘텐츠에 애노테이션 정보를 매칭하여 저장하는 과정을 도시한 흐름도이다.
도 4에 도시된 바와 같이, 먼저 영상 촬영부(200)에 의해 영상이 촬영됨에 따라 시각적 콘텐츠 획득부(210)는 비주얼 브라우저의 실행을 통해 촬영된 영상을 시각적 콘텐츠로 하며, 제어 인터페이스(310)를 포함한 화면을 터치스크린(300) 상에 제공한다(S400, S402).
그런 다음, 제어 인터페이스(310)가 조작되면(S404), 비콘 신호 수신부(220)는 기 설정된 반경 내로 브로드캐스팅되는 비콘 신호를 수신한다(S406). 이때, 비콘 신호 수신부(220)는 기 설정된 값 이상의 신호 세기를 갖는 비콘 신호만을 수신하여 애노테이션 정보 생성부(230)에 제공한다.
이후, 애노테이션 정보 생성부(230)는 비콘 신호 내 프레임 데이터 또는 비콘 신호 내 위치 정보를 기반으로 복수의 애노테이션 정보를 생성한다(S408). 구체적으로, 애노테이션 정보 생성부(230)는 위치 정보에 대응하는 고유 식별 정보를 이동 통신망(140)에 연결된 콘텐츠 제공 서버(150)에 전송하여 콘텐츠를 요청하고, 요청에 대한 응답으로 수신한 콘텐츠의 분석을 통해 애노테이션 정보를 생성하거나 프레임 데이터의 분석을 통해 애노테이션 정보를 생성할 수 있다.
그리고 나서, 애노테이션 정보 생성부(230)는 시각적 콘텐츠의 객체 분석을 통해 객체에 대한 검색용 정보를 생성하며(S410), 생성한 검색용 정보를 이동 통신망(140)에 연결된 인덱스 제공 서버(160)에 전송하여 기본 인덱스 정보를 수신한다(S412).
이후, 애노테이션 정보 생성부(230)는 기본 인덱스 정보를 기초하여 복수의 애노테이션 정보에서 시각적 콘텐츠에 적용될 애노테이션 정보를 선택하며(S414), 선택한 애노티에션 정보를 시각적 콘텐츠 저장부(240)에 제공한다.
이에 따라, 시각적 콘텐츠 저장부(240)는 시각적 콘텐츠에 제공받은 애노테이션 정보를 매칭시켜 매칭 데이터를 생성하며(S416), 생성한 매칭 데이터를 검색용 데이터베이스 서버(170)에 전송하여 저장한다(S418).
상술한 바와 같은 시각적 콘텐츠에 애노테이션 정보를 매칭하여 저장하는 방법은 컴퓨터에 의해 실행되는 프로그램 모듈과 같은 컴퓨터에 의해 실행 가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다.
전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.
본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.
100 : 모바일 단말
110 : 애노테이션 장치
120 : 근거리 무선 통신망
130 : 비콘 송신기
140 : 이동 통신망
150 : 콘텐츠 제공 서버
160 : 인덱스 제공 서버
170 : 검색용 데이터베이스 서버
200 : 영상 촬영부
210 : 시각적 콘텐츠 획득부
220 : 비콘 신호 수신부
230 : 애노테이션 정보 생성부
240 : 시각적 콘텐츠 저장부

Claims (12)

  1. 촬영을 통해 영상을 획득하며, 사용자에 의한 카메라의 조작 상태 정보를 기초로 영상 촬영 범위 정보를 생성하는 영상 촬영부와,
    상기 영상 촬영부에 의해 임의의 영상이 촬영됨에 따라 기록매체에 실행 가능한 형태로 저장된 비주얼 브라우저를 실행시키며, 상기 촬영된 영상을 시각적 콘텐츠로 설정한 후 이를 상기 실행된 비주얼 브라우저를 통해 모바일 단말에 표시하는 시각적 콘텐츠 획득부와,
    상기 시각적 콘텐츠를 획득한 모바일 단말의 위치를 기준으로 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 비콘 신호 수신부와,
    상기 비콘 신호 수신부에 의해 수신된 비콘 신호 중 상기 영상 촬영 범위 정보에 해당하는 영역 내에 위치한 비콘 송신기로부터 브로드캐스팅되는 비콘 신호만을 선택하며, 상기 선택한 비콘 신호의 분석을 통해 상기 시각적 콘텐츠에 대한 적어도 하나 이상의 애노테이션 정보를 생성하는 애노테이션 정보 생성부와,
    상기 생성한 애노테이션 정보와 상기 시각적 콘텐츠를 매칭시켜 검색용 데이터베이스 서버에 저장하는 시각적 콘텐츠 저장부를 포함하며,
    상기 애노테이션 정보 생성부는,
    상기 선택한 비콘 신호가 위치 정보에 대한 고유 식별 정보를 가지며, 미리 설정된 변동 패턴을 갖는 고주파 대역의 사운드 신호에 해당하는 경우 상기 고유 식별 정보를 통신망을 통해 콘텐츠 제공 서버에 전송하여 상기 고유 식별 정보에 대응하는 콘텐츠를 수신한 후 상기 수신한 콘텐츠에 대한 분석을 통해 상기 애노테이션 정보를 생성하는 시각적 콘텐츠의 애노테이션 장치.
  2. 삭제
  3. 삭제
  4. 제1항에 있어서,
    상기 애노테이션 정보 생성부는,
    이동 통신망을 통해 인덱스 제공 서버와 상기 애노테이션 장치를 연결시키는 접속 모듈과,
    상기 시각적 콘텐츠에 대한 객체 분석을 통해 검색용 정보를 생성하며, 상기 생성한 검색용 정보를 상기 인덱스 제공 서버에 전송하여 상기 시각적 콘텐츠에 대한 기본 인덱스 정보를 요청하여 수신하는 시각적 콘텐츠 분석 모듈을 포함하며,
    상기 애노테이션 정보 생성부는,
    상기 기본 인덱스 정보를 기반으로 상기 생성한 애노테이션 정보 중 적어도 하나 이상을 선택하는 시각적 콘텐츠의 애노테이션 장치.
  5. 제1항에 있어서,
    상기 시각적 콘텐츠 획득부는 상기 모바일 단말 내 실행 가능한 형태로 기록매체에 저장된 비주얼 브라우저의 실행을 통해 상기 시각적 콘텐츠와 상기 비콘 신호 수신부의 동작을 제어하기 위한 제어 인터페이스를 포함한 화면을 상기 모바일 단말에 디스플레이하며,
    상기 비콘 신호 수신부는,
    상기 제어 인터페이스의 조작에 따라 동작하여 상기 비콘 신호를 수신하는 시각적 콘텐츠의 애노테이션 장치.
  6. 삭제
  7. 영상 촬영부, 시각적 콘텐츠 획득부, 비콘 신호 수신부, 애노테이션 정보 생성부 및 시각적 콘텐츠 저장부를 구비하는 시각적 콘텐츠의 애노테이션 장치를 이용한 애노테이션 정보를 생성하는 방법에 있어서,
    상기 영상 촬영부에서 영상이 촬영됨에 따라 카메라의 조작 상태 정보를 기초하여 영상 촬영 범위 정보를 획득하는 단계와,
    상기 시각적 콘텐츠 획득부에서 기록매체에 실행 가능한 형태로 저장된 비주얼 브라우저를 실행시키며, 상기 촬영된 영상을 시각적 콘텐츠로 설정하여 상기 비주얼 브라우저를 통해 모바일 단말에 표시하는 단계와,
    상기 비콘 신호 수신부에서 상기 시각적 콘텐츠를 획득한 모바일 단말의 위치를 기준으로 기 설정된 반경 내에서 발생되는 적어도 하나 이상의 비콘 신호를 수신하는 단계와,
    상기 애노테이션 정보 생성부에서 상기 비콘 신호 중 상기 영상 촬영 범위 정보에 해당하는 영역 내에 위치한 비콘 송신기로부터 브로드캐스팅되는 비콘 신호만을 선택하는 단계와,
    상기 선택한 비콘 신호 내 데이터의 분석을 통해 상기 시각적 콘텐츠에 대한 적어도 하나 이상의 애노테이션 정보를 생성하는 단계와,
    상기 시각적 콘텐츠 저장부에서 상기 생성한 애노테이션 정보와 상기 시각적 콘텐츠를 매칭시켜 검색용 데이터베이스 서버에 저장하는 단계를 포함하며,
    상기 애노테이션 정보를 생성하는 단계는,
    상기 선택한 비콘 신호가 위치 정보에 대한 고유 식별 정보를 가지며, 미리 설정된 변동 패턴을 갖는 고주파 대역의 사운드 신호에 해당하는 경우 상기 고유 식별 정보를 통신망을 통해 콘텐츠 제공 서버에 전송하여 상기 고유 식별 정보에 대응하는 콘텐츠를 수신한 후 상기 수신한 콘텐츠에 대한 분석을 통해 상기 애노테이션 정보를 생성하는 시각적 콘텐츠의 애노테이션 방법.
  8. 제7항에 있어서,
    상기 표시하는 단계는,
    상기 비주얼 브라우저의 실행을 통해 상기 시각적 콘텐츠와 상기 비콘 신호 수신부의 동작을 제어하기 위한 제어 인터페이스를 포함한 화면을 상기 모바일 단말에 표시하는 단계를 포함하며,
    상기 비콘 신호를 수신하는 단계는,
    상기 제어 인터페이스의 조작에 따라 상기 비콘 신호를 수신하는 시각적 콘텐츠의 애노테이션 방법.
  9. 삭제
  10. 삭제
  11. 삭제
  12. 제7항에 있어서,
    상기 애노테이션 방법은,,
    상기 시각적 콘텐츠에 대한 객체 분석을 통해 검색용 정보를 생성하는 단계와,
    상기 생성한 검색용 정보를 인덱스 제공 서버에 전송하여 상기 시각적 콘텐츠에 대한 기본 인덱스 정보를 요청하여 수신하는 단계와,
    상기 기본 인덱스 정보를 기반으로 상기 생성한 애노테이션 정보 중 적어도 하나 이상을 선택하여 상기 시각적 콘텐츠에 적용될 애노테이션 정보를 생성하는 단계를 포함하는 시각적 콘텐츠의 애노테이션 방법.
KR1020160012688A 2016-02-02 2016-02-02 시각적 콘텐츠의 애노테이션 장치 및 방법 KR101816057B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020160012688A KR101816057B1 (ko) 2016-02-02 2016-02-02 시각적 콘텐츠의 애노테이션 장치 및 방법
PCT/KR2016/001491 WO2017135489A1 (ko) 2016-02-02 2016-02-15 시각적 콘텐츠의 애노테이션 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160012688A KR101816057B1 (ko) 2016-02-02 2016-02-02 시각적 콘텐츠의 애노테이션 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20170091877A KR20170091877A (ko) 2017-08-10
KR101816057B1 true KR101816057B1 (ko) 2018-01-30

Family

ID=59500357

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160012688A KR101816057B1 (ko) 2016-02-02 2016-02-02 시각적 콘텐츠의 애노테이션 장치 및 방법

Country Status (2)

Country Link
KR (1) KR101816057B1 (ko)
WO (1) WO2017135489A1 (ko)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101570117B1 (ko) * 2014-06-03 2015-11-18 한승훈 시각적 콘텐츠 기반 정보 입력 방법

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100999039B1 (ko) * 2008-08-22 2010-12-10 한국과학기술원 무선 네트워크 시스템, 무선 네트워크 통신 방법 및 무선 네트워크 통신장치
KR101185097B1 (ko) * 2011-01-19 2012-09-21 주식회사 시공테크 위치인식을 이용한 모바일 단말기에서 콘텐츠를 이용하는 방법 및 시스템
US20150289094A1 (en) * 2012-04-25 2015-10-08 PeopleBee Inc. Method of accessing, by wireless device, information mapped to currently positioned space by using network access device, and device for accessing information mapped to currently positioned space by using network access device
EP3322191B1 (en) * 2013-01-31 2019-06-12 Samsung Electronics Co., Ltd. Method and apparatus for displaying an object related to content reproduced by a second device

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101570117B1 (ko) * 2014-06-03 2015-11-18 한승훈 시각적 콘텐츠 기반 정보 입력 방법

Also Published As

Publication number Publication date
WO2017135489A1 (ko) 2017-08-10
KR20170091877A (ko) 2017-08-10

Similar Documents

Publication Publication Date Title
US20190364044A1 (en) Method, apparatus and computer program
KR101511297B1 (ko) 객체에 대한 부가정보를 생성하는 장치 및 방법 그리고, 부가정보를 공유하는 서버
JP2016535523A (ja) ネットワーク接続方法、装置、プログラム、及び記録媒体
CN104469978B (zh) 用于激活移动终端的装置、方法和系统
CN105210343A (zh) 建立通信
KR101360615B1 (ko) 근거리 무선통신을 이용한 주문 서비스 시스템 및 방법
CN109996198A (zh) 添加好友的方法及装置
KR101885741B1 (ko) 시각적 콘텐츠의 객체 인식 장치 및 방법
KR101816057B1 (ko) 시각적 콘텐츠의 애노테이션 장치 및 방법
KR101435533B1 (ko) 공유 이벤트와 관련된 추천 사진을 표시하는 방법 및 디바이스, 그리고 공유 서버
KR101501341B1 (ko) 모바일 웹페이지 제공시스템, 모바일 웹페이지 제공장치 및 그 제공방법, 모바일 웹페이지 편집장치 및 그 편집방법
KR101763847B1 (ko) 근거리채팅방법 및 근거리채팅시스템
CN105409251A (zh) 用于进行经优化的对象搜索的方法和设备
KR101787257B1 (ko) 비콘 기반 맞춤형 서비스 제공 서버 및 서비스 제공 방법
KR101928948B1 (ko) 비콘 통신을 이용한 결제 서비스 제공 방법
KR101792772B1 (ko) 스퀘어에 위치하는 사람 및 사물을 연결하는 조인 서비스 제공 서버와 그 방법
KR101822457B1 (ko) 포스 게이트웨이 식별자를 이용한 결제 서비스 제공 시스템 및 방법
US9877145B2 (en) Wireless communication apparatus and method for a user wirelessly receiving information regarding belongings of a nearby person
KR101813609B1 (ko) 비콘 기반의 휴대용 결제 단말 장치 및 이를 이용한 결제 서비스 제공 방법
KR102192878B1 (ko) 키오스크 장치 및 이를 이용한 위치 공유 서비스 제공 방법
KR20150044040A (ko) 관계 맺기에 대응하는 메시지를 전송하는 방법 및 장치
KR20150078978A (ko) 가상 재화를 제공하는 장치 및 방법
KR101729115B1 (ko) 이동 단말기
KR20150078287A (ko) 객체 정보를 수신하는 장치 및 방법, 그리고 이미지를 분석하는 서버
KR20150052928A (ko) 이동 단말기에서 수행되는 화면 공유 방법 및 이동 단말기

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant