KR20130097377A - 소리를 이용한 컨텐츠 출력 방법 - Google Patents

소리를 이용한 컨텐츠 출력 방법 Download PDF

Info

Publication number
KR20130097377A
KR20130097377A KR1020120018993A KR20120018993A KR20130097377A KR 20130097377 A KR20130097377 A KR 20130097377A KR 1020120018993 A KR1020120018993 A KR 1020120018993A KR 20120018993 A KR20120018993 A KR 20120018993A KR 20130097377 A KR20130097377 A KR 20130097377A
Authority
KR
South Korea
Prior art keywords
sound
data
code
contents
content
Prior art date
Application number
KR1020120018993A
Other languages
English (en)
Other versions
KR101352695B1 (ko
Inventor
정윤미
이승욱
김경한
Original Assignee
주식회사 비엔에스웍스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 비엔에스웍스 filed Critical 주식회사 비엔에스웍스
Priority to KR1020120018993A priority Critical patent/KR101352695B1/ko
Publication of KR20130097377A publication Critical patent/KR20130097377A/ko
Application granted granted Critical
Publication of KR101352695B1 publication Critical patent/KR101352695B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10Services
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/16Sound input; Sound output
    • G06F3/162Interface to dedicated audio devices, e.g. audio drivers, interface to CODECs

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Multimedia (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Telephone Function (AREA)

Abstract

본 발명은 소리를 이용한 컨텐츠 출력 방법에 관한 것으로, 본 발명에 따른 컨텐츠 출력 방법은, 소리 신호가 입력되는 마이크를 구비한 무선단말에 의해 실행되는 소리를 이용한 컨텐츠 출력 방법에 있어서, N(N≥1)개의 보유 컨텐츠가 유지되는 단계와, 상기 마이크를 통해 입력되는 소리 신호에 부호화된 지정된 컨텐츠식별 포맷의 데이터가 검출되는 단계와, 상기 유지된 N개의 컨텐츠 중에서 상기 검출된 데이터에 대응하는 제n(1≤n≤N) 컨텐츠가 선택되는 단계와, 상기 선택된 제n 컨텐츠가 출력되는 단계를 포함한다.

Description

소리를 이용한 컨텐츠 출력 방법{Method for Displaying Contents by using Sound}
본 발명은 사용자가 무선단말을 통해 보유하고 있는 N(N≥1)개의 보유 컨텐츠 중에서 마이크를 통해 입력되는 소리 신호에 부호화된 데이터와 매칭되는 제n(1≤n≤N) 컨텐츠를 선택하여 출력하는 것이다.
최근 스마트폰이 활성화되면서, 이동통신 모뎀칩의 컴퓨팅 성능에 제한되던 종래의 피쳐폰과 대비하여 사용자들이 휴대하는 무선단말의 컴퓨팅 성능과 자유도가 월등하게 향상되었다. 이와 같은 무선단말의 컴퓨팅 성능과 자유도의 향상은 종래 서버 또는 개인 컴퓨터에서나 가능했던 수준의 다양한 데이터 분석이나 처리가 무선단말 내에서 가능해졌음을 의미한다. 특히 자유도의 향상은 응용 서비스의 다양화를 제공할 수 있다. 예를들어, 종래 피쳐폰의 마이크로 소리가 입력되는 경우에, 상기 피쳐폰에 구비된 모뎀칩은 통화 품질의 향상을 위해 상기 입력되는 소리 신호의 잡음을 자동으로 제거하였다. 그러나 상기와 같은 자유도의 향상으로 상기 입력되는 소리 신호의 잡음을 제거하지 않고 원음 그대로의 소리 신호가 입력될 수 있게 되었다.
소리에 가청주파수 영역의 특정 신호를 삽입하고 이를 판독하여 이용하는 기술은 이전부터 존재하였다. 그 대표적인 예가 전화 다이얼링에 적용되는 DTMF(Dual Tone Multi-Frequency)이다. 그러나 이와 같이 소리 신호에 가청주파수 영역의 특정 신호를 삽입하는 방식은 상기 삽입된 신호가 인간의 귀로도 들리기 때문에 심리적 불편함을 유발하는 문제점이 존재하였다. 이와 같은 문제점을 해소하기 위해서는 소리 신호에 삽입되는 특정 신호가 잡음 영역에 삽입되어야 하는데, 이 경우에 종래 피쳐폰과 같은 무선단말에서 소리 신호에 특정 신호를 삽입하여 출력하는 것은 가능하지만, 반대로 상기 무선단말이 입력되는 소리 신호의 잡음 영역에 포함된 특정 신호를 인식 및 판독하는 것은 제공되기에 난해한 문제점을 지니고 있다.
상기와 같은 문제점을 해소하기 위한 본 발명의 목적은, 무선단말의 마이크를 통해 입력되는 소리 신호의 의사 잡음 영역에 소리 확산 코드 형태로 부호화된 데이터를 검출하고, 사용자가 상기 무선단말을 통해 보유하고 있는 N(N≥1)개의 보유 컨텐츠 중에서 상기 검출된 데이터와 매칭되는 제n(1≤n≤N) 컨텐츠를 선택하여 출력하는 소리를 이용한 컨텐츠 출력 방법을 제공함에 있다.
본 발명에 따른 컨텐츠 출력 방법은, 소리 신호가 입력되는 마이크를 구비한 무선단말에 의해 실행되는 소리를 이용한 컨텐츠 출력 방법에 있어서, N(N≥1)개의 보유 컨텐츠가 유지되는 단계와, 상기 마이크를 통해 입력되는 소리 신호에 부호화된 지정된 컨텐츠식별 포맷의 데이터가 검출되는 단계와, 상기 유지된 N개의 컨텐츠 중에서 상기 검출된 데이터에 대응하는 제n(1≤n≤N) 컨텐츠가 선택되는 단계와, 상기 선택된 제n 컨텐츠가 출력되는 단계를 포함한다.
본 발명에 따르면, 상기 제n 컨텐츠가 선택되는 단계는, 상기 무선단말 내에 상기 컨텐츠식별 포맷의 데이터를 이용하는 별도의 애플리케이션이 존재하는 경우, 상기 별도의 애플리케이션으로 상기 검출된 데이터를 전달할 수 있으며, 또는 상기 컨텐츠식별 포맷의 데이터와 매칭되는 컨텐츠를 제공하는 서버로 상기 검출된 데이터를 전달하는 단계와, 상기 서버로부터 상기 검출된 데이터에 대응하는 제n 컨텐츠를 수신하는 단계를 더 포함할 수 있다.
본 발명에 따르면, 상기 컨텐츠 출력 방법은, 상기 입력되는 소리 신호로부터 상기 컨텐츠식별 포맷의 데이터를 검출하기 위한 디코딩 규칙이 설정되는 단계와, 상기 컨텐츠식별 포맷의 데이터 길이 이상의 소리 확산 코드를 버퍼링 가능한 버퍼가 설정되는 단계와, 상기 디코딩 규칙을 이용하여 상기 입력되는 소리 신호로부터 디코딩된 소리 확산 코드가 상기 설정된 버퍼에 버퍼링되는 단계를 더 포함하며, 상기 데이터가 검출되는 단계는 상기 버퍼링된 소리 확산 코드에 대한 상관 검출을 통해 상기 소리 신호에 부호화된 데이터가 검출될 수 있으며, 상기 버퍼가 설정되는 단계는, 상기 디코딩 규칙에 따라 상기 소리 신호로부터 디코딩되는 소리 확산 코드의 단위 길이와 상기 데이터의 길이를 곱한 값 보다 큰 버퍼가 설정될 수 있다. 한편 상기 디코딩 규칙은, 상기 소리 신호에 대응하는 소리 확산 코드를 생성하는 소리 생성 측에서 상기 소리 확산 코드에 상기 컨텐츠식별 포맷의 데이터를 부호화하는 엔코딩 규칙과 매칭되는 디코딩 규칙을 포함할 수 있으며, 상기 입력되는 소리 신호는, 상기 무선단말에 구비된 적어도 하나의 코덱 중에서 상기 설정된 디코딩 규칙에 따라 상기 소리 확산 코드를 디코딩 가능한 코덱에 의해 엔코딩된 상태로 입력될 수 있다.
본 발명에 따르면, 사용자가 TV를 시청하거나 음악을 감상하는 중에 별도의 통신환경을 제공할 필요 없이 상기 사용자가 무선단말을 통해 보유하고 있는 쿠폰이나 티켓과 같은 컨텐츠 중에서 상기 무선단말로 입력되는 소리 신호에 포함된 데이터와 매칭되는 쿠폰이나 티켓을 자동으로 선택하여 상기 무선단말에 출력하여 이용하도록 하는 이점이 있다.
도 1은 본 발명의 무선단말과 애플리케이션 기능 구성을 도시한 도면이다.
도 2는 본 발명에 따른 소리 코드 제공 시스템을 도시한 도면이다.
도 3은 본 발명의 실시 방법에 따라 소리 코드와 매칭되는 보유 컨텐츠를 출력하는 과정을 도시한 도면이다.
이하 첨부된 도면과 설명을 참조하여 본 발명의 바람직한 실시예에 대한 동작 원리를 상세히 설명한다. 다만, 하기에 도시되는 도면과 후술되는 설명은 본 발명의 특징을 효과적으로 설명하기 위한 여러 가지 방법 중에서 바람직한 실시 방법에 대한 것이며, 본 발명이 하기의 도면과 설명만으로 한정되는 것은 아니다. 예를들어, 서버 측에 구비된 구성부가 단말 측에 구현되거나, 반대로 단말 측에 구비된 구성부가 서버 측에 구현되는 형태로 실시되는 것이 가능하다.
또한, 하기에서 본 발명을 설명함에 있어 관련된 공지 기능 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명을 생략할 것이다. 그리고 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서, 이는 사용자, 운용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 그 정의는 본 발명에서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
결과적으로, 본 발명의 기술적 사상은 청구범위에 의해 결정되며, 이하 실시예는 진보적인 본 발명의 기술적 사상을 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에게 효율적으로 설명하기 위한 일 수단일 뿐이다.
도면1은 본 발명의 무선단말(100)과 애플리케이션(115) 기능 구성을 도시한 도면이다.
보다 상세하게 본 도면1은 N(N≥1)개의 보유 컨텐츠 중에서 마이크를 통해 입력되는 소리 신호에 부호화된 데이터와 매칭되는 제n(1≤n≤N) 컨텐츠를 선택하여 출력하는 프로그램 구성에 대응되는 애플리케이션(115)과 그 무선단말(100) 구성을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면1을 참조 및/또는 변형하여 상기 무선단말(100) 기능에 대한 다양한 실시 방법을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면1에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면1을 참조하면, 상기 무선단말(100)은, 제어부(101)와 메모리부(110)와 화면 출력부(102)와 키 입력부(103)와 소리 출력부(104)와 소리 입력부(105)와 무선망 통신모듈(108)과 근거리 무선 통신모듈(107)과 USIM 리더부(109) 및 USIM를 구비하며, 전원 공급을 위한 배터리(106)를 구비한다.
상기 제어부(101)는 상기 무선단말(100)의 동작을 제어하는 구성의 총칭으로서, 적어도 하나의 프로세서와 실행 메모리를 포함하여 구성되며, 상기 무선단말(100)에 구비된 각 구성부와 버스(BUS)를 통해 연결된다. 본 발명에 따르면, 상기 제어부(101)는 상기 프로세서를 통해 상기 무선단말(100)에 구비되는 적어도 하나의 프로그램코드를 상기 실행 메모리에 로딩하여 연산하고, 그 결과를 상기 버스를 통해 적어도 하나의 구성부로 전달하여 상기 무선단말(100)의 동작을 제어한다. 이하, 편의상 프로그램코드 형태로 구현되는 본 발명의 애플리케이션 구성을 본 제어부(101) 내에 도시하여 설명하기로 한다.
상기 메모리부(110)는 상기 무선단말(100)에 구비되는 비휘발성 메모리의 총칭으로서, 상기 제어부(101)를 통해 실행되는 적어도 하나의 프로그램코드와, 상기 프로그램코드가 이용하는 적어도 하나의 데이터셋트를 저장하여 유지한다. 상기 메모리부(110)는 기본적으로 상기 무선단말(100)의 운영체제에 대응하는 시스템프로그램코드와 시스템데이터셋트, 상기 무선단말(100)의 무선 통신 연결을 처리하는 통신프로그램코드와 통신데이터셋트 및 적어도 하나의 응용프로그램코드와 응용데이터셋트를 저장하며, 본 발명의 애플리케이션(115)에 대응하는 프로그램코드와 데이터셋트도 상기 메모리부(110)에 저장된다.
상기 화면 출력부(102)는 상기 무선단말(100)에 구비되는 화면출력장치(예컨대, LCD(Liquid Crystal Display) 장치)와 이를 구동하는 화면출력모듈로 구성되며, 상기 제어부(101)와 버스로 연결되어 상기 제어부(101)의 각종 연산 결과 중 화면 출력에 대응하는 연산 결과를 상기 화면출력 장치로 출력한다.
상기 키 입력부(103)는 상기 무선단말(100)에 구비되는 키입력장치(또는 상기 화면 출력부(102)와 연동하는 터치스크린장치)와 이를 구동하는 키입력모듈로 구성되며, 상기 제어부(101)와 버스로 연결되어 상기 제어부(101)의 각종 연산을 명령하는 명령을 입력하거나, 또는 상기 제어부(101)의 연산에 필요한 데이터를 입력한다.
상기 소리 출력부(104)는 상기 무선단말(100)에 구비되는 스피커와 이를 구동하는 소리모듈로 구성되며, 상기 제어부(101)와 버스로 연결되어 상기 제어부(101)의 각종 연산 결과 중 소리 출력에 대응하는 연산 결과를 상기 스피커를 통해 출력한다. 상기 소리 모듈은 기 스피커를 통해 출력할 소리 데이터를 디코딩(Decoding)하여 소리 신호로 변환한다.
상기 소리 입력부(105)는 상기 무선단말(100)에 구비되는 마이크와 이를 구동하는 소리모듈로 구성되며, 상기 마이크로폰을 통해 입력되는 소리 데이터를 상기 제어부(101)로 전달한다. 상기 소리 모듈은 상기 마이크를 통해 입력되는 소리 신호를 엔코딩(Encoding)하여 부호화한다.
본 발명에 따르면, 상기 소리 입력부(105)의 마이크를 통해 아날로그 신호 형태의 소리 신호가 입력되며, 상기 입력된 소리 신호는 상기 소리모듈에 대응되는 적어도 하나의 코덱을 통해 엔코딩된다. 예를들어, 음성통화를 위해 상기 소리 신호가 입력되는 경우에 상기 입력되는 소리 신호는 상기 음성통화에 적합한 코덱을 통해 엔코딩되며, 음성녹음을 위해 상기 소리 신호가 입력되는 경우에 상기 입력되는 소리 신호는 상기 음성통화에 적합한 코덱을 통해 엔코딩될 수 있다.
상기 무선망 통신모듈(108)과 근거리 무선 통신모듈(107)은 상기 무선단말(100)에 구비되는 통신자원으로서, 상기 무선망 통신모듈(108)은 기지국을 통해 무선 통신망에 접속하고, 상기 근거리 무선 통신모듈(107)은 근거리에 위치한 근거리통신장치 또는 무선AP에 접속한다.
상기 무선망 통신모듈(108)은 상기 무선단말(100)을 무선 통신에 접속시키는 통신 구성의 총칭으로서, 특정 주파수 대역의 무선 주파수 신호를 송수신하는 안테나, RF모듈, 기저대역모듈, 신호처리모듈을 적어도 하나 포함하여 구성되며, 상기 제어부(101)와 버스로 연결되어 상기 제어부(101)의 각종 연산 결과 중 무선 통신에 대응하는 연산 결과를 무선 통신을 통해 전송하거나, 또는 무선 통신을 통해 데이터를 수신하여 상기 제어부(101)로 전달함과 동시에, 상기 무선 통신의 접속, 등록, 통신, 핸드오프의 절차를 유지한다.
상기 근거리 무선 통신모듈(107)은 일정 거리 이내에서 무선 주파수 신호를 통신매체로 이용하여 통신세션을 연결하는 근거리 통신모듈로서, 바람직하게는 와이파이 통신, 블루투스 통신, 공중무선 통신 중 적어도 하나를 포함할 수 있다. 본 발명의 실시 방법에 따르면, 상기 근거리 무선 통신모듈(107)은 상기 무선망 통신모듈(108)과 통합될 수 있다
상기 USIM 리더부(109)는 무선단말(100)에 탑재 또는 이탈착되는 범용가입자식별모듈(Universal Subscriber Identity Module)과 적어도 하나의 데이터셋트를 교환하는 구성의 총칭으로서, 상기 데이터셋트는 APDU(Application Protocol Data Unit)를 통해 반이중 통신 방식으로 교환된다. 상기 USIM은 상기 USIM 리더부(109)와 연결되는 IC칩으로서, 가입자 정보와 각종 통신 파라미터를 저장하여 유지하고 관리한다.
상기 통신자원을 통해 프로그램제공서버(예컨대, 애플사의 앱스토어 등)로부터 본 발명의 애플리케이션(115)이 다운로드되어 상기 메모리부(110)에 저장된다. 상기 다운로드된 애플리케이션(115)은 수동 또는 자동으로 구동된다. 상기 애플리케이션(115)을 자동으로 구동하기 위해 별도의 프로그램이 미리 구동 중일 수 있으며, 이에 의해 본 발명이 한정되지 아니한다.
도면1을 참조하면, 상기 무선단말(100)의 애플리케이션(115)은, 상기 소리 입력부(105)를 통해 입력되는 소리 신호에 부호화된 데이터 포맷에 대응되는 컨텐츠식별 포맷이 설정되는 포맷 설정부(120)와, 상기 입력되는 소리 신호로부터 상기 설정된 컨텐츠식별 포맷의 데이터를 검출하기 위한 디코딩 규칙이 설정되는 규칙 설정부(125)를 구비한다.
본 발명에 따르면, 상기 소리 입력부(105)를 통해 입력되는 소리 신호 중에서 상기 컨텐츠식별 포맷의 데이터가 부호화된 소리 코드는, 지정된 소리 코드 생성 측에서 가청주파수 또는 비가청주파수 영역의 소리 신호에 ‘0’과 ‘1’로 이루어진 소정의 데이터 스트림이 부호화되는 형태로 생성된다.
상기 소리 코드를 생성하기 위해 소리 신호에 부호화되는 데이터는 인식 가능한 데이터 포맷으로 이루어지는데, 상기 포맷 설정부(120)는 상기 소리 코드 생성 측에 의해 상기 소리 신호에 부호화되는 데이터의 포맷 중에서 컨텐츠식별 포맷이 설정 및 유지된다. 본 발명의 실시 방법에 따르면, 상기 컨텐츠식별 포맷은 프로그램 코드 형태로 상기 애플리케이션(115) 내에 설정 및 유지되거나, 또는 본 애플리케이션(115)이 이용 가능한 포맷 정보의 형태로 메모리부(110)에 저장될 수 있다.
본 발명의 일 실시 방법에 따르면, 상기 컨텐츠식별 포맷은 보유 컨텐츠를 식별하기 위한 지정된 비트 크기의 코드 값, 또는 제각기 지정된 비트 크기로 구성된 둘 이상의 코드 조합의 형태로 이루어질 수 있다.
본 발명의 다른 일 실시 방법에 따르면, 상기 컨텐츠식별 포맷은 보유 컨텐츠가 저장된 네트워크 상의 주소(예컨대, URL, IP주소 등) 문자열의 형태로 이루어질 수 있으며, 상기 주소 문자열은 지정된 길이 제한(예컨대, 영문 20자 이내 등)을 지지는 것이 바람직하다.
본 발명의 또다른 일 실시 방법에 따르면, 상기 컨텐츠식별 포맷은 보유 컨텐츠를 식별하기 위한 하나 이상의 지정된 비트 크기의 코드와 상기 주소 문자열이 조합된 형태로 이루어질 수 있다.
본 발명에 따르면, 상기 소리 코드 생성 측은 데이터가 부호화될 소리 신호(예컨대, 음원 데이터의 오디오 신호, 멀티미디어 데이터의 오디오 신호, 방송 데이터의 오디오 신호 등)를 확인하고, 상기 컨텐츠식별 포맷의 데이터를 확인한 후, 상기 소리 신호의 엔코딩 규칙과 매칭되는 데이터 부호화 규칙에 따라 상기 확인된 컨텐츠식별 포맷의 데이터를 부호화하여 상기 엔코딩 규칙에 적용 가능한 소리 확산 코드를 생성하고, 상기 생성된 소리 확산 코드를 상기 엔코딩 규칙에 따라 상기 소리 신호에 엔코딩하여 상기 데이터가 부호화된 소리 코드를 생성한다. 상기 소리 신호에 엔코딩되는 소리 확산 코드는 의사 잡음(Pseudo Noise) 영역에 엔코딩되는 것이 바람직하며, 이에 의해 통상의 인간이 인지하는 소리 인지 능력으로는 상기 소리 확산 코드를 인지할 수 없게 된다.
상기 생성된 소리 코드는 지정된 소리생성장치에 의해 출력됨과 동시에 상기 소리 입력부(105)로 입력되는데, 상기 소리 입력부(105)로 입력되는 소리 신호는 상기 입력됨과 동시에 상기 소리 입력부(105)에 대응하는 적어도 하나의 코덱으로 엔코딩된다. 이 때 상기 입력되는 소리 신호는 상기 소리 입력부(105)가 지원하는 코덱 중에서 상기 소리 코드 생성 측의 엔코딩 규칙과 동일한 규칙의 코덱으로 엔코딩되거나, 또는 최소한 상기 소리 코드 생성 측이 상기 소리 신호에 부호화한 데이터가 훼손되지 않는 코덱으로 엔코딩되는 것이 바람직하다.
상기 규칙 설정부(125)는 상기 소리 입력부(105)의 코덱을 통해 엔코딩된 소리 신호를 상기 포맷 설정부(120)에 설정된 컨텐츠식별 포맷의 데이터를 검출하기 위한 디코딩 규칙이 설정 및 유지된다. 본 발명의 실시 방법에 따르면, 상기 디코딩 규칙은 상기 소리 코드 생성 측의 엔코딩 규칙(=컨텐츠식별 포맷의 데이터를 부호화하여 소리 확산 코드를 생성한 후 소리 신호에 엔코딩하는 규칙)과 매칭되는 디코딩 규칙으로서, 프로그램 코드 형태로 상기 애플리케이션(115) 내에 설정 및 유지되거나, 또는 본 애플리케이션(115)이 이용 가능한 디코딩 규칙의 형태로 메모리부(110)에 저장될 수 있다.
도면1을 참조하면, 상기 무선단말(100)의 애플리케이션(115)은, 상기 컨텐츠식별 포맷의 데이터 길이 이상의 소리 확산 코드를 버퍼링 가능한 버퍼를 설정하는 버퍼 설정부(130)와, 상기 디코딩 규칙을 이용하여 상기 입력되는 소리 신호로부터 디코딩되는 소리 확산 코드를 상기 설정된 버퍼에 버퍼링하는 버퍼링 처리부(135)를 구비하며, 상기 버퍼는 상기 디코딩 규칙에 따라 상기 소리 신호로부터 디코딩되는 소리 확산 코드의 단위 길이와 상기 데이터의 길이를 곱한 값 보다 크게 설정되는 것이 바람직하다.
상기 버퍼 설정부(130)는 상기 포맷 설정부(120)에 설정된 컨텐츠식별 포맷의 데이터 길이를 확인하고, 상기 규칙 설정부(125)에 설정된 디코딩 규칙의 소리 확산 코드에 상기 컨텐츠식별 포맷의 데이터 길이를 포함시킬 수 있는 최소 버퍼 크기를 산출한 후, 상기 산출된 최소 버퍼 크기보다 크거나 같은 크기로 상기 소리 입력부(105)를 통해 입력되는 소리 신호가 버퍼링될 버퍼를 설정한다.
상기 버퍼링 처리부(135)는 상기 소리 입력부(105)를 통해 지정된 코덱으로 엔코딩된 소리 데이터를 상기 규칙 설정부(125)에 설정된 디코딩 규칙에 디코딩하여 소리 확산 코드를 생성한 후, 상기 생성된 소리 확산 코드를 상기 버퍼 설정부(130)에 의해 설정된 버퍼에 버퍼링 한다.
본 발명의 실시 방법에 따르면, 상기 버퍼링 처리부(135)는 상기 소리 입력부(105)를 통해 지속적으로 입력되는 소리 신호를 FIFO(First Input First Output) 방식으로 상기 버퍼에 버퍼링하는 것이 바람직하다.
도면1을 참조하면, 상기 무선단말(100)의 애플리케이션(115)은, 상기 컨텐츠식별 포맷과 매칭되는 N(N≥1)개의 보유 컨텐츠를 유지하는 컨텐츠 유지부(140)를 구비한다.
상기 컨텐츠 유지부(140)는 상기 포맷 설정부(120)에 의해 설정된 컨텐츠식별 포맷과 매칭되는 N개의 보유 컨텐츠를 유지한다. 본 발명의 실시 방법에 따르면, 상기 보유 컨텐츠는 본 애플리케이션(115)이 이용 가능한 쿠폰, 티켓, 스탬프 등의 형태로 메모리부(110)에 저장되는 것이 바람직하다.
본 발명의 다른 실시 방법에 따르면, 상기 N개의 보유 컨텐츠는 상기 애플리케이션(115)이 상기 통신자원을 통해 접근 가능한 네트워크 상의 저장매체에 저장된 상태로 유지되는 것이 가능하며, 이 경우에 상기 컨텐츠식별 포맷은 상기 네트워크 상의 저장매체에 저장된 보유 컨텐츠를 식별할 수 있는 형태로 이루어지는 것이 바람직하다.
도면1을 참조하면, 상기 무선단말(100)의 애플리케이션(115)은, 상기 버퍼에 버퍼링되는 소리 확산 코드에 부호화된 데이터를 검출하는 데이터 검출부(145)와, 상기 검출된 데이터의 데이터 포맷이 지정된 컨텐츠식별 포맷과 매칭되는지 포맷 매칭부(150)와, 상기 검출된 데이터가 상기 컨텐츠식별 포맷과 매칭되는 경우에 상기 저장된 N개의 컨텐츠 중에서 상기 검출된 데이터에 대응하는 제n(1≤n≤N) 컨텐츠를 선택하는 컨텐츠 확인부(155)와, 상기 선택된 제n 컨텐츠를 출력하는 컨텐츠 출력부(160)를 구비한다.
상기 버퍼링 처리부(135)에 의해 상기 버퍼로 상기 소리 입력부(105)로 입력된 소리 신호로부터 디코딩된 소리 확산 코드가 FIFO 방식으로 버퍼링되는 동안, 상기 데이터 검출부(145)는 상기 디코딩 규칙에 따라 버퍼에 버퍼링되는 소리 확산 코드를 판독하여 상기 소리 확산 코드에 부호화된 데이터를 검출한다. 본 발명에 따르면, 상기 데이터 검출부(145)는 상기 소리 확산 코드에 대한 상관 검출을 통해 상기 소리 신호에 부호화된 데이터를 검출한다.
상기 포맷 매칭부(150)는 상기 검출되는 데이터의 데이터 포맷이 상기 포맷 설정부(120)에 설정된 컨텐츠식별 포맷과 매칭되는지 확인한다. 만약 상기 검출된 데이터가 상기 컨텐츠식별 포맷과 매칭되지 않으면, 상기 데이터 검출부(145)에 의해 검출된 데이터는 자동으로 소거된다.
만약 상기 검출된 데이터가 상기 컨텐츠식별 포맷과 매칭되면, 상기 컨텐츠 확인부(155)는 상기 컨텐츠 유지부(140)에 유지된 N개의 보유 컨텐츠 중에서 상기 검출된 데이터에 대응하는 제n 컨텐츠를 선택하고, 상기 컨텐츠 출력부(160)는 상기 화면 출력부(102)를 통해 상기 선택된 제n 컨텐츠를 출력한다.
한편 상기 N개의 보유 컨텐츠 중에 상기 검출된 데이터에 대응하는 컨텐츠가 존재하지 않다면, 상기 컨텐츠 확인부(155)는 상기 컨텐츠식별 포맷의 데이터와 매칭되는 컨텐츠를 제공하는 서버로 상기 검출된 데이터를 전달한 후, 상기 서버로부터 상기 검출된 데이터에 대응하는 제n 컨텐츠를 수신하고, 상기 컨텐츠 출력부(160)는 상기 화면 출력부(102)를 통해 상기 수신된 제n 컨텐츠를 출력한다.
도면2는 본 발명에 따른 소리 코드 제공 시스템(200)을 도시한 도면이다.
보다 상세하게 본 도면2는 상기 도면1에 도시된 무선단말(100)로 입력될 소리 신호에 지정된 컨텐츠식별 포맷의 데이터를 부호화하여 소리 코드를 생성하는 소리 코드 생성 측의 시스템 구성에 대한 것으로서, 상기 소리 코드는 지정된 소리 코드 생성 장치 또는 소리 코드 생성 서버에 의해 생성되어 상기 무선단말(100)의 근거리에 위치하는 지정된 소리 코드 출력 장치를 통해 출력되며, 상기 소리 코드 생성 장치와 소리 코드 출력 장치는 동일한 장치일 수 있다. 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면2를 참조 및/또는 변형하여 상기 소리 코드 제공 시스템(200)에 대한 다양한 실시 방법(예컨대, 일부 구성부가 생략되거나, 또는 세분화되거나, 또는 합쳐진 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면2에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
본 발명에 따른 소리 코드 제공 시스템(200)은, 소리 코드 생성 장치 또는 소리 코드 생성 서버에 구현되며, 상기 소리 코드가 상기 소리 코드 생성 서버에 의해 생성되는 경우에 상기 생성된 소리 코드는 통신망을 통해 상기 소리 코드 출력 장치로 전송되어 출력된다.
상기 소리 코드 출력 장치는 스피커와 소리모듈이 구비된 컴퓨터 장치, 가맹점단말 장치(예컨대, POS 등), 통화 장치, 휴대 장치, TV 장치 중 적어도 하나를 포함할 수 있으며, 상술된 장치 이외에도 스피커와 소리모듈이 구비된 모든 장치가 상기 소리 코드 출력 장치에 해당됨을 명백하게 밝혀두는 바이다.
도면2를 참조하면, 상기 소리 코드 제공 시스템(200)은, 컨텐츠식별 포맷의 데이터가 부호화될 소리 신호를 확인하는 소리 신호 확인부(205)와, 상기 소리 신호에 부호화될 컨텐츠식별 포맷의 데이터를 확인하는 데이터 확인부(210)와, 상기 소리 신호의 엔코딩 규칙과 매칭되는 데이터 부호화 규칙에 따라 상기 확인된 컨텐츠식별 포맷의 데이터를 부호화하여 상기 엔코딩 규칙에 적용 가능한 소리 확산 코드를 생성하는 확산 코드 생성부(215)와, 상기 생성된 소리 확산 코드를 상기 엔코딩 규칙에 따라 상기 소리 신호에 엔코딩하여 상기 데이터가 부호화된 소리 코드를 생성하는 소리 코드 생성부(220)를 구비한다.
상기 소리 신호 확인부(205)는 소리 코드 출력 장치의 스피커를 통해 출력될 소리 신호 중에서 컨텐츠식별 포맷의 데이터가 부호화될 소리 신호를 확인한다. 상기 데이터가 부호화될 소리 신호는 음원 데이터의 오디오 신호, 멀티미디어 데이터의 오디오 신호, 방송 데이터의 오디오 신호 등이 포함될 수 있다.
상기 데이터 확인부(210)는 상기 도면1에 도시된 무선단말(100)의 포맷 설정부(120)에 설정된 컨텐츠식별 포맷과 동일한 컨텐츠식별 포맷을 유지하며, 지정된 데이터베이스(도시생략)로부터 상기 컨텐츠식별 포맷과 매칭되는 데이터 포맷의 데이터를 추출하거나, 또는 지정된 컨텐츠 식별 값(예컨대, 쿠폰 식별 값, 티켓 식별 값 등)을 상기 컨텐츠식별 포맷과 매칭되는 데이터 포맷으로 가공하여 상기 소리 신호에 부호화할 데이터를 생성할 수 있다. 예를들어, 상기 소리 신호가 음원 데이터의 오디오 신호라면, 상기 소리 신호에 부호화될 데이터는 상기 음원 데이터와 관련된 공연 티켓을 식별하는 데이터를 포함할 수 있다. 또는 상기 소리 신호가 방송 컨텐츠의 오디오 신호라면, 상기 소리 신호에 부호화될 데이터는 상기 방송 컨텐츠와 관련된 쿠폰을 식별하는 데이터를 포함할 수 있다.
상기 확산 코드 생성부(215)는 상기 소리 신호의 엔코딩 규칙을 확인하고, 상기 소리 신호의 엔코딩 규칙과 매칭되는 데이터 부호화 규칙을 이용하여 상기 데이터 확인부(210)에 의해 확인된 컨텐츠식별 포맷의 데이터를 부호화하여 상기 소리 신호의 엔코딩 규칙에 적용 가능한 소리 확산 코드를 생성한다. 상기 소리 확산 코드는 상기 소리 신호의 의사 잡음 영역에 엔코딩 가능한 확산 코드의 형태로 생성되는 것이 바람직하다.
상기 소리 코드 생성부(220)는 상기 확산 코드 생성부(215)에 의해 생성된 소리 확산 코드를 상기 소리 신호의 엔코딩 규칙에 따라 상기 소리 신호의 의사 잡음 영역에 엔코딩하여 상기 데이터가 부호화된 소리 코드를 생성한다.
본 발명의 실시 방법에 따라 상기 소리 코드 제공 시스템(200)이 소리 코드 생성 서버에 구현되는 경우에, 상기 소리 코드 제공 시스템(200)은 상기 생성된 소리 코드를 지정된 소리 코드 출력 장치로 전송하는 소리 코드 전송부(225)를 더 구비한다. 한편 상기 소리 코드 제공 시스템(200)이 소리 코드 출력 장치와 동일한 장치에 구현되는 경우에, 상기 소리 코드 제공 시스템(200)은 상기 생성된 소리 코드를 출력하는 소리 코드 출력부(230)를 더 구비할 수 있다.
도면3은 본 발명의 실시 방법에 따라 소리 코드와 매칭되는 보유 컨텐츠를 출력하는 과정을 도시한 도면이다.
보다 상세하게 본 도면3은 N(N≥1)개의 보유 컨텐츠 중에서 마이크를 통해 입력되는 소리 신호에 부호화된 데이터와 매칭되는 제n(1≤n≤N) 컨텐츠를 선택하여 출력하는 과정을 도시한 것으로서, 본 발명이 속한 기술분야에서 통상의 지식을 가진 자라면, 본 도면3을 참조 및/또는 변형하여 상기 소리 코드와 매칭되는 보유 컨텐츠를 출력하는 과정에 대한 다양한 실시 방법(예컨대, 일부 단계가 생략되거나, 또는 순서가 변경된 실시 방법)을 유추할 수 있을 것이나, 본 발명은 상기 유추되는 모든 실시 방법을 포함하여 이루어지며, 본 도면3에 도시된 실시 방법만으로 그 기술적 특징이 한정되지 아니한다.
도면3을 참조하면, 소리 코드 생성 측은 컨텐츠식별 포맷의 데이터가 부호화된 소리 신호를 확인하고(300), 상기 확인된 소리 신호에 부호화할 상기 컨텐츠식별 포맷의 데이터를 확인한 후(305), 상기 소리 신호의 엔코딩 규칙과 매칭되는 부호화 규칙에 따라 상기 데이터를 부호화하여 소리 확산 코드를 생성한다(310). 상기 소리 코드 생성 측은 상기 소리 신호의 의사 잡음 영역에 상기 생성된 소리 확산 코드를 엔코딩하여 소리 코드를 생성하고(315), 상기 생성된 소리 코드를 출력하거나, 또는 소리 코드 출력 장치로 제공하여 출력시킨다(320).
무선단말(100)은 마이크를 통해 상기 출력되는 소리 신호를 입력 받는데(325), 상기 입력되는 소리 신호에 부호화된 데이터를 검출하기 위해 무선단말(100)의 애플리케이션(115)은 상기 컨텐츠식별 포맷의 데이터 길이 이상의 소리 확산 코드를 버퍼링하기 위한 버퍼 크기를 결정한 후(330), 상기 결정된 버퍼 크기 이상의 버퍼를 설정한 상태에서(335), 상기 입력되는 소리 신호를 지정된 디코딩 규칙에 따라 디코딩하여 소리 확산 코드를 생성하여(340), 상기 설정된 버퍼에 상기 생성된 소리 확산 코드를 실시간으로 버퍼링한다(345).
상기 버퍼에 상기 소리 확산 코드가 실시간으로 버퍼링됨과 동시에, 상기 애플리케이션(115)은 상기 버퍼링되는 소리 확산 코드에 부호화된 데이터를 검출한다(350).
만약 상기 버퍼링되는 소리 확산 코드로부터 상기 데이터가 검출되면, 상기 애플리케이션(115)은 상기 검출된 데이터 포맷이 상기 컨텐츠식별 포맷과 매칭되는지 확인한다(355).
본 발명에 따르면 상기 애플리케이션(115)은 상기 무선단말(100)의 메모리부(110) 또는 네트워크 상의 서버에 상기 소리 코드와 매칭되는 N개의 보유 컨텐츠를 유지하고 있는데(360), 만약 상기 검출된 데이터 포맷이 상기 컨텐츠식별 포맷과 매칭된다면, 상기 애플리케이션(115)은 상기 N개의 보유 컨텐츠 중에서 상기 검출된 데이터에 대응하는 제n 컨텐츠를 확인한다(365).
만약 상기 N개의 보유 컨텐츠 중에서 상기 검출된 데이터에 대응하는 제n 컨텐츠가 확인되면, 상기 애플리케이션(115)은 상기 확인된 제n 컨텐츠를 출력한다. 반면 상기 검출된 데이터에 대응하는 제n 컨텐츠가 확인되지 않는 경우에, 상기 애플리케이션(115)은 상기 컨텐츠식별 포맷의 데이터와 매칭되는 컨텐츠를 제공하는 서버로 상기 검출된 데이터를 전달한 후, 상기 서버로부터 상기 검출된 데이터에 대응하는 제n 컨텐츠를 수신하여 출력할 수 있다(375).
100 : 무선단말 105 : 소리 입력부
115 : 애플리케이션 120 : 포맷 설정부
125 : 규칙 설정부 130 : 버퍼 설정부
135 : 버퍼링 처리부 140 : 컨텐츠 유지부
145 : 데이터 검출부 150 : 포맷 매칭부
155 : 컨텐츠 확인부 160 : 컨텐츠 출력부

Claims (7)

  1. 소리 신호가 입력되는 마이크를 구비한 무선단말에 의해 실행되는 소리를 이용한 컨텐츠 출력 방법에 있어서,
    N(N≥1)개의 보유 컨텐츠가 유지되는 단계;
    상기 마이크를 통해 입력되는 소리 신호에 부호화된 지정된 컨텐츠식별 포맷의 데이터가 검출되는 단계;
    상기 유지된 N개의 컨텐츠 중에서 상기 검출된 데이터에 대응하는 제n(1≤n≤N) 컨텐츠가 선택되는 단계; 및
    상기 선택된 제n 컨텐츠가 출력되는 단계;를 포함하는 소리를 이용한 컨텐츠 출력 방법.
  2. 제 1항에 있어서, 상기 제n 컨텐츠가 선택되는 단계는,
    상기 무선단말 내에 상기 컨텐츠식별 포맷의 데이터를 이용하는 별도의 애플리케이션이 존재하는 경우, 상기 별도의 애플리케이션으로 상기 검출된 데이터를 전달하는 것을 특징으로 하는 소리를 이용한 컨텐츠 출력 방법.
  3. 제 1항에 있어서, 상기 제n 컨텐츠가 선택되는 단계는,
    상기 컨텐츠식별 포맷의 데이터와 매칭되는 컨텐츠를 제공하는 서버로 상기 검출된 데이터를 전달하는 단계; 및
    상기 서버로부터 상기 검출된 데이터에 대응하는 제n 컨텐츠를 수신하는 단계;를 더 포함하는 것을 특징으로 하는 소리를 이용한 컨텐츠 출력 방법.
  4. 제 1항에 있어서,
    상기 입력되는 소리 신호로부터 상기 컨텐츠식별 포맷의 데이터를 검출하기 위한 디코딩 규칙이 설정되는 단계;
    상기 컨텐츠식별 포맷의 데이터 길이 이상의 소리 확산 코드를 버퍼링 가능한 버퍼가 설정되는 단계; 및
    상기 디코딩 규칙을 이용하여 상기 입력되는 소리 신호로부터 디코딩된 소리 확산 코드가 상기 설정된 버퍼에 버퍼링되는 단계;를 더 포함하며,
    상기 데이터가 검출되는 단계는,
    상기 버퍼링된 소리 확산 코드에 대한 상관 검출을 통해 상기 소리 신호에 부호화된 데이터가 검출되는 것을 특징으로 하는 소리를 이용한 컨텐츠 출력 방법.
  5. 제 4항에 있어서, 상기 버퍼가 설정되는 단계는,
    상기 디코딩 규칙에 따라 상기 소리 신호로부터 디코딩되는 소리 확산 코드의 단위 길이와 상기 데이터의 길이를 곱한 값 보다 큰 버퍼가 설정되는 것을 특징으로 하는 소리를 이용한 컨텐츠 출력 방법.
  6. 제 4항에 있어서, 상기 디코딩 규칙은,
    상기 소리 신호에 대응하는 소리 확산 코드를 생성하는 소리 생성 측에서 상기 소리 확산 코드에 상기 컨텐츠식별 포맷의 데이터를 부호화하는 엔코딩 규칙과 매칭되는 디코딩 규칙을 포함하여 이루어지는 것을 특징으로 하는 소리를 이용한 컨텐츠 출력 방법.
  7. 제 4항에 있어서, 상기 입력되는 소리 신호는,
    상기 무선단말에 구비된 적어도 하나의 코덱 중에서 상기 설정된 디코딩 규칙에 따라 상기 소리 확산 코드를 디코딩 가능한 코덱에 의해 엔코딩된 상태로 입력되는 것을 특징으로 하는 소리를 이용한 컨텐츠 출력 방법.
KR1020120018993A 2012-02-24 2012-02-24 소리를 이용한 컨텐츠 출력 방법 KR101352695B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120018993A KR101352695B1 (ko) 2012-02-24 2012-02-24 소리를 이용한 컨텐츠 출력 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120018993A KR101352695B1 (ko) 2012-02-24 2012-02-24 소리를 이용한 컨텐츠 출력 방법

Publications (2)

Publication Number Publication Date
KR20130097377A true KR20130097377A (ko) 2013-09-03
KR101352695B1 KR101352695B1 (ko) 2014-01-17

Family

ID=49449768

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120018993A KR101352695B1 (ko) 2012-02-24 2012-02-24 소리를 이용한 컨텐츠 출력 방법

Country Status (1)

Country Link
KR (1) KR101352695B1 (ko)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100660293B1 (ko) * 2004-06-02 2006-12-20 에스케이 텔레콤주식회사 단말 음성메뉴 이동 시스템
KR100819928B1 (ko) 2007-04-26 2008-04-08 (주)부성큐 휴대 단말기의 음성 인식장치 및 그 방법
KR101578006B1 (ko) * 2009-06-30 2015-12-16 엘지전자 주식회사 이동 단말기 및 그 제어 방법
KR20110111752A (ko) * 2010-04-05 2011-10-12 에스케이 텔레콤주식회사 사운드 코드를 이용한 정보 전달 시스템 및 방법, 그리고 이에 적용되는 장치

Also Published As

Publication number Publication date
KR101352695B1 (ko) 2014-01-17

Similar Documents

Publication Publication Date Title
US20190173590A1 (en) Sonic signaling communication for user devices
US7489946B2 (en) Cellular phone in form factor of a conventional audio cassette
CN104866748A (zh) 利用者认证系统
CN113098629B (zh) 配网方法、装置及存储介质
KR20080036697A (ko) 휴대용 단말기에서 원격 제어 방법 및 장치
US9147403B2 (en) Responding to a call to action contained in an audio signal
CN111385798B (zh) 电子设备及其控制方法
KR20190048263A (ko) 블루투스 이어폰을 이용한 일회용 인증코드 제공 방법
KR101352695B1 (ko) 소리를 이용한 컨텐츠 출력 방법
KR101316616B1 (ko) 소리 신호를 이용한 위치 기반 서비스 제공 방법
KR101357725B1 (ko) 소리를 이용한 컨텐츠 이어보기 제공 방법
KR20180124180A (ko) 블루투스 이어셋을 이용한 거래 방법
KR101323659B1 (ko) 소리를 이용한 방송 시청 패턴 분석 방법
KR101487207B1 (ko) 소리를 이용한 컨텐츠 운영 방법
KR101398837B1 (ko) 소리를 이용한 자동 접속 방법
KR101422479B1 (ko) 소리 신호를 이용한 채널 연결 방법
KR101374115B1 (ko) 소리를 이용한 애플리케이션 운영 방법
KR200209159Y1 (ko) 코드분할 다중접속(cdma)와고속무선호출(flex)망을 이용한 증권 및 정보송수신장치
KR101339361B1 (ko) 컨텐츠 운영 방법
KR102354904B1 (ko) 블루투스 이어셋을 이용한 로그인 방법
JP2006246201A (ja) 無線端末、管理サーバおよびpttシステム
KR100774481B1 (ko) 이동통신 단말기의 텍스트 변환 장치 및 방법
KR20100107336A (ko) 키워드 연관 정보 제공 방법 및 통화단말과 이를 위한 기록매체
KR100652505B1 (ko) 이동통신단말기에서 문자인식기능을 이용한 배경을자동설정하기 위한 방법
KR102179428B1 (ko) 엔에프씨를 이용한 역방향 가치 적립 방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
LAPS Lapse due to unpaid annual fee