KR101133446B1 - 지향성 스피커를 이용하여 대상체의 움직임을 트랙킹하는 소리 전달 방법 및 이를 이용한 장치 - Google Patents

지향성 스피커를 이용하여 대상체의 움직임을 트랙킹하는 소리 전달 방법 및 이를 이용한 장치 Download PDF

Info

Publication number
KR101133446B1
KR101133446B1 KR1020110015042A KR20110015042A KR101133446B1 KR 101133446 B1 KR101133446 B1 KR 101133446B1 KR 1020110015042 A KR1020110015042 A KR 1020110015042A KR 20110015042 A KR20110015042 A KR 20110015042A KR 101133446 B1 KR101133446 B1 KR 101133446B1
Authority
KR
South Korea
Prior art keywords
generated
customer
directional speaker
sound
sensing
Prior art date
Application number
KR1020110015042A
Other languages
English (en)
Inventor
이종태
이용한
전정환
Original Assignee
동국대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 동국대학교 산학협력단 filed Critical 동국대학교 산학협력단
Priority to KR1020110015042A priority Critical patent/KR101133446B1/ko
Priority to PCT/KR2011/001880 priority patent/WO2012115303A1/ko
Application granted granted Critical
Publication of KR101133446B1 publication Critical patent/KR101133446B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R1/00—Details of transducers, loudspeakers or microphones
    • H04R1/20—Arrangements for obtaining desired frequency or directional characteristics
    • H04R1/32—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only
    • H04R1/40—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers
    • H04R1/403—Arrangements for obtaining desired frequency or directional characteristics for obtaining desired directional characteristic only by combining a number of identical transducers loud-speakers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R29/00—Monitoring arrangements; Testing arrangements
    • H04R29/007—Monitoring arrangements; Testing arrangements for public address systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04S—STEREOPHONIC SYSTEMS 
    • H04S7/00—Indicating arrangements; Control arrangements, e.g. balance control
    • H04S7/30—Control circuits for electronic adaptation of the sound field
    • H04S7/302—Electronic adaptation of stereophonic sound system to listener position or orientation
    • H04S7/303—Tracking of listener position or orientation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/401—2D or 3D arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2201/00—Details of transducers, loudspeakers or microphones covered by H04R1/00 but not provided for in any of its subgroups
    • H04R2201/40—Details of arrangements for obtaining desired directional characteristic by combining a number of identical transducers covered by H04R1/40 but not provided for in any of its subgroups
    • H04R2201/403—Linear arrays of transducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04R—LOUDSPEAKERS, MICROPHONES, GRAMOPHONE PICK-UPS OR LIKE ACOUSTIC ELECTROMECHANICAL TRANSDUCERS; DEAF-AID SETS; PUBLIC ADDRESS SYSTEMS
    • H04R2430/00—Signal processing covered by H04R, not provided for in its groups
    • H04R2430/20—Processing of the output signals of the acoustic transducers of an array for obtaining a desired directivity characteristic

Landscapes

  • Health & Medical Sciences (AREA)
  • Otolaryngology (AREA)
  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Acoustics & Sound (AREA)
  • Signal Processing (AREA)
  • General Health & Medical Sciences (AREA)
  • Circuit For Audible Band Transducer (AREA)

Abstract

본 발명은 지향성 스피커를 이용하여 대상체의 움직임을 트랙킹하는 소리 전달 방법에 관한 것으로서, 감지 신호가 발생한 감지 센서의 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성하고, 생성된 위치 정보에 대응하는 지향성 스피커를 적어도 하나 이상 선택한 다음, 선택된 지향성 스피커로 소리를 전송하되, 적어도 하나 이상의 감지 센서에 의해 상기 감지 신호가 발생하는 경우, 상기 감지 신호가 발생한 감지 센서에 대응하는 지향성 스피커로 소리를 전송하는 것을 특징으로 하며, 움직이는 사람을 트랙킹하여 계속 사람을 따라다니면서 사람에게 연속적인 소리를 전달할 수 있다.

Description

지향성 스피커를 이용하여 대상체의 움직임을 트랙킹하는 소리 전달 방법 및 이를 이용한 장치{Method of tracking a object's movement using directing-type speakers and transmitting a sound to the object and apparatus of using it}
본 발명은 지향성 스피커를 이용하여 대상체의 움직임을 트랙킹하는 소리 전달 방법에 관한 것으로서, 더욱 상세하게는 움직이는 대상체를 트랙킹하면서 대상체에게 연속적인 소리를 전달할 수 있는 방법 및 장치에 관한 것이다.
일반적으로, 스피커는 전기신호를 진동으로 변환하여 공기 중에 전달함으로써 소리를 생성하게 된다. 이러한 스피커는 공기 중에 진동을 전달할 때 등방성을 가지며 전달하게 된다. 이에 따라, 청취자는 스피커를 기준으로 전 방향에서 스피커로부터 발생되는 소리를 들을 수 있게 된다. 이러한 스피커의 등방성은 때로는 불필요한 문제를 야기하곤 한다. 예를 들면, 미술관이나 박물관 같은 다양한 작품이나 전시물들이 설치되어 있고, 각 작품 및 전시물들에 대한 설명을 스피커를 통하여 설명하도록 설치물을 설계하는 경우, 미술관 및 박물관의 협소한 공간으로 인하여 스피커로부터 발생하는 소리들 간에 간섭현상이 발생하게 된다.
또한, 많은 인원이 동시에 각기 다른 작품 및 전시물들의 설명을 스피커로부터 듣게 된다면, 많은 양의 음성안내가 서로 간에 간섭 및 왜곡되어 엄청난 노이즈로 변하게 된다. 이러한 문제를 해결하기 위하여 특정 방향에서만 소리를 들을 수 있도록 재생할 수 있는 초지향성 스피커가 등장하게 되었다.
초지향성 스피커란, 소리신호를 변조하여 초음파 신호에 실어 소리신호가 초음파의 초지향성 특성이 있게 한 스피커이다. 초지향성 스피커는 저주파에 의한 음질저하는 큰 반면 고주파에 의한 음질저하가 없으며 전체 가청음역을 손쉽게 발생시킬 수 있고, 특정 방향으로의 지향형이 매우 크며, 종래 스피커와 같은 기계적 공진에 의한 저역 재생 대역의 한계가 없고, 스피커 시스템으로서 인클로저(스피커 케이스)가 불필요하므로, 종래의 스피커 시스템에 비해 음질향상, 대역특성의 향상, 및 고능률화가 가능한 장점이 있다.
초지향성 스피커의 활용사례로는 전시품마다 각각의 안내메시지, 격리된 개별 오디오, 에스컬레이터에서 광고메시지, 장애인을 위한 안내메시지, 및 극장에서 예고편 상영에 따른 음성서비스 등이 있다.
하지만, 초지향성 스피커가 종래에 활용된 영역은 사람을 감지하면 하나의 초지향성 스피커가 소리를 내주는 수준에 머물러 독립적으로만 활용되었고, 움직이는 사람에게 소리가 따라다니면서 계속 소리를 전달하는 시스템은 개발되지 않았다. 예를 들면, 유통 매장에서 특정 상품의 설명을 해주는 정도는 있어왔지만, 움직이는 고객에게 계속 설명해주는 시스템은 존재하지 않았다. 또한, 고객의 구매 성향이나 실적을 분석하여 고객이 필요하다고 생각되는 물품에 대한 맞춤형 정보를 고객을 트랙킹하면서 제공하지 못하는 실정이다.
따라서, 본 발명이 해결하고자 하는 첫 번째 과제는 움직이는 대상체를 트랙킹하여 계속 대상체를 따라다니면서, 지향성 스피커를 통해 연속적인 소리를 전달하고, 고객에게 맞춤형 안내방송을 할 수 있는 방법을 제공하는 것이다.
본 발명이 해결하고자 하는 두 번째 과제는 움직이는 대상체를 트랙킹하여 계속 대상체를 따라다니면서, 지향성 스피커를 통해 연속적인 소리를 전달하고, 고객에게 맞춤형 안내방송을 할 수 있는 장치를 제공하는 것이다.
또한, 상기된 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공하는데 있다.
본 발명은 상기 첫 번째 과제를 달성하기 위하여, 감지 신호가 발생한 감지 센서의 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성하는 단계; 상기 생성된 위치 정보에 대응하는 지향성 스피커를 적어도 하나 이상 선택하는 단계; 및 상기 선택된 지향성 스피커로 소리를 전송하는 단계를 포함하고, 적어도 하나 이상의 감지 센서에 의해 상기 감지 신호가 발생하는 경우, 상기 감지 신호가 발생한 감지 센서에 대응하는 지향성 스피커로 소리를 전송하는 것을 특징으로 하는 소리 전달 방법을 제공한다.
본 발명의 일 실시예에 의하면, 상기 트랙킹 대상체가 매장 내 고객이고, 상기 고객으로부터 구매 리스트를 입력받으면, 상기 고객이 최단 이동으로 상기 구매 리스트에 적힌 물품을 구매할 수 있도록 이동 경로를 설정하는 단계; 및 상기 설정된 이동 경로를 따라 상기 고객이 이동할 수 있도록 상기 선택된 지향성 스피커로 안내 방송을 전송하는 단계를 더 포함할 수 있다.
본 발명의 다른 실시예에 의하면, 상기 트랙킹 대상체가 매장 내 고객이고, 상기 고객의 과거 구매 리스트가 저장되어 있는 경우, 상기 과거 구매 리스트로부터 상기 고객의 구매 성향을 분석하여 선호 물품을 추출하는 단계; 및 상기 추출된 선호 물품에 대한 매장 내 위치 정보, 가격, 또는 할인 정보 중 적어도 하나 이상을 상기 선택된 지향성 스피커로 전송하는 단계를 더 포함할 수 있다.
이때, 요일별 또는 날짜별 상기 고객의 선호 물품을 추출할 수 있다.
또한, 상기 감지 센서의 감지 영역과 상기 감지 센서에 대응하는 상기 지향성 스피커가 커버하는 영역은 동일한 것이 바람직하다. 여기서, 감지 영역과 지향성 스피커가 커버하는 영역은 원인 것이 바람직하다.
한편, 감지 영역에 복수의 대상체가 있는 경우에 생성되는 트랙킹 대상체의 위치 정보는 최초로 상기 감지 센서에 의해 감지된 트랙킹 대상체의 위치 정보인 것이 바람직하다. 그러나, 상기 트랙킹 대상체가 매장 내 고객이고, 상기 감지 영역 내에 2명 이상의 고객이 있을 때, 그 중 한 명이 VIP 고객인 경우, 상기 생성되는 트랙킹 대상체의 위치 정보는 상기 VIP 고객의 위치 정보를 우선적으로 생성할 수 있다.
본 발명은 상기 두 번째 과제를 달성하기 위하여, 감지 신호가 발생한 감지 센서의 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성하는 대상체 특정부; 상기 생성된 위치 정보에 대응하는 지향성 스피커를 적어도 하나 이상 선택하는 음원 선택부; 및 상기 선택된 지향성 스피커로 소리를 전송하는 재생 제어부를 포함하고, 적어도 하나 이상의 감지 센서에 의해 상기 감지 신호가 발생하는 경우, 상기 감지 신호가 발생한 감지 센서에 대응하는 지향성 스피커로 소리를 전송하는 장치를 제공한다.
상기 다른 기술적 과제를 해결하기 위하여, 본 발명은 상기된 움직임을 트랙킹하는 소리 전달 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록 매체를 제공한다.
본 발명에 따르면, 매장 내에서 움직이는 사람을 따라다니면서 사람에게 연속적인 소리를 전달할 수 있다. 또한, 본 발명에 따르면, 고객이 매장 내 원하는 물품을 안내 방송을 들으면서 손쉽게 찾을 수 있다. 나아가, 본 발명에 따르면, 고객의 구매 성향이나 실적을 분석하여 고객이 필요하다고 생각되는 맞춤형 정보를 고객을 트랙킹하면서 제공할 수 있다.
도 1은 본 발명의 바람직한 일 실시예에 따른 움직임을 트랙킹하는 소리 전달 시스템의 전체 구성도이다.
도 2는 본 발명의 일 실시예에 따른 움직임 감지부(100)와 지향성 음원부(140)가 실제로 설치된 예시도이다.
도 3은 본 발명의 실시예에 따른 감지 센서가 2개인 경우, 트랙킹할 대상체의 위치좌표가 속해 있는 영역이 어느 지향성 스피커가 커버하는 영역인지를 판단하는 방법을 설명하기 위한 도면이다.
도 4는 본 발명의 실시예에 따른 감지 센서가 4개인 경우, 트랙킹할 대상체의 위치좌표가 속해 있는 영역이 어느 지향성 스피커가 커버하는 영역인지를 판단하는 방법을 설명하기 위한 도면이다.
도 5는 지향성 스피커가 커버하는 영역 내에 대상체가 t1 시간, t2 시간, 및 t3 시간 동안에 이동한 경로를 도시한 것이다.
도 6은 매장 전체 영역을 구성하는 각 감지 영역이 중첩되어 있는 것을 도시한 것이다.
도 7은 본 발명의 바람직한 일 실시예에 따른 움직임을 트랙킹하는 소리 전달 방법의 흐름도이다.
본 발명에 관한 구체적인 내용의 설명에 앞서 이해의 편의를 위해 본 발명이 해결하고자 하는 과제의 해결 방안의 개요 혹은 기술적 사상의 핵심을 우선 제시한다.
본 발명의 일 실시예에 따른 대상체의 움직임을 트랙킹하는 소리 전달 방법은 감지 신호가 발생한 감지 센서의 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성하는 단계; 상기 생성된 위치 정보에 대응하는 지향성 스피커를 적어도 하나 이상 선택하는 단계; 및 상기 선택된 지향성 스피커로 소리를 전송하는 단계를 포함하고, 적어도 하나 이상의 감지 센서에 의해 상기 감지 신호가 발생하는 경우, 상기 감지 신호가 발생한 감지 센서에 대응하는 지향성 스피커로 소리를 전송한다.
이하 첨부된 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있는 바람직한 실시 예를 상세히 설명한다. 그러나 이들 실시예는 본 발명을 보다 구체적으로 설명하기 위한 것으로, 본 발명의 범위가 이에 의하여 제한되지 않는다는 것은 당업계의 통상의 지식을 가진 자에게 자명할 것이다.
본 발명이 해결하고자 하는 과제의 해결 방안을 명확하게 하기 위한 발명의 구성을 본 발명의 바람직한 실시예에 근거하여 첨부 도면을 참조하여 상세히 설명하되, 도면의 구성요소들에 참조번호를 부여함에 있어서 동일 구성요소에 대해서는 비록 다른 도면상에 있더라도 동일 참조번호를 부여하였으며 당해 도면에 대한 설명시 필요한 경우 다른 도면의 구성요소를 인용할 수 있음을 미리 밝혀둔다. 아울러 본 발명의 바람직한 실시 예에 대한 동작 원리를 상세하게 설명함에 있어 본 발명과 관련된 공지 기능 혹은 구성에 대한 구체적인 설명 그리고 그 이외의 제반 사항이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우, 그 상세한 설명을 생략한다.
덧붙여, 명세서 전체에서, 어떤 부분이 다른 부분과 '연결'되어 있다고 할때, 이는 '직접적으로 연결'되어 있는 경우뿐만 아니라, 그 중간에 다른 소자를 사이에 두고 '간접적으로 연결'되어 있는 경우도 포함한다. 또한 어떤 구성 요소를 '포함'한다는 것은, 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
도 1은 본 발명의 바람직한 일 실시예에 따른 움직임을 트랙킹하는 소리 전달 시스템의 전체 구성도이다.
도 1을 참조하면, 본 실시예에 따른 움직임을 트랙킹하는 소리 전달 시스템은 움직임 감지부(100), 대상체 특정부(110), 고객 분석부(115), 음원 선택부(120), 재생 제어부(130), 및 지향성 음원부(140)로 구성된다.
움직임 감지부(100)와 지향성 음원부(140)는 매장 내에 설치되어 있고, 대상체 특정부(110), 고객 분석부(115), 음원 선택부(120), 및 재생 제어부(130)는 별도의 시스템으로 구성된다.
움직임 감지부(100)는 감지 거리 내에 사람이 감지되면, 감지 신호를 대상체 특정부(110)로 전송한다. 움직임 감지부(100)는 복수의 감지 센서들로 구성되어 있으며, 대상체 특정부(110)로 전송되는 감지 신호에는 감지 센서들 각각에 부여된 인덱스 정보가 포함된다.
감지 센서의 인덱스 정보를 지향성 스피커의 인덱스 정보와 대응시킴으로써, 감지 신호에 포함된 인덱스 정보는 지향성 스피커를 선택하는데 이용될 수 있다. 인덱스 정보는 음원 선택부(120)가 사람의 움직임 방향을 분석하여 소리를 전송할 지향성 음원부(140)를 선택하는데 사용된다.
대상체 특정부(110)는 감지 신호를 전송한 감지 센서의 감지 영역 내에 트랙킹할 대상체를 특정한다. 대상체 특정부(110)는 특정된 대상체의 트랙킹하여 위치 좌표를 생성하고, 음원 선택부(120)로 특정된 대상체의 위치 좌표를 전송한다.
또한, 대상체 특정부(110)는 음원 선택부(120)뿐만 아니라, 고객 분석부(115)로도 특정된 대상체의 위치 좌표를 전송한다.
또한, 트랙킹 대상체가 매장에 방문한 고객이고, 상기 감지 영역 내에 2명 이상의 고객이 있을 때, 그 중 한 명이 VIP 고객인 경우, 대상체 특정부(110)가 생성하는 트랙킹 대상체의 위치 좌표는 상기 VIP 고객의 위치 좌표를 우선적으로 생성할 수 있다.
고객 분석부(115)는 트랙킹 대상체가 매장 내 고객이고, 상기 고객으로부터 구매 리스트를 입력받으면, 상기 고객이 최단 이동으로 상기 구매 리스트에 적힌 물품을 구매할 수 있도록 이동 경로를 설정할 수 있다. 재생 제어부(130)는 고객 분석부(115)에 의해 설정된 이동 경로를 따라 고객이 이동할 수 있도록 음원 선택부(120) 또는 고객 분석부(115)에서 선택된 지향성 스피커로 안내 방송을 전송할 수 있다.
또한, 고객 분석부(115)는 상기 설정된 이동 경로와 대상체 특정부(110)로부터 수신된 고객의 위치 좌표를 이용하여 고객의 이동에 따라 사용할 지향성 스피커의 식별 번호를 음원 선택부(120)로 전송한다. 뿐만 아니라, 고객 분석부(115)는 음원 선택부(120)에 의해 선택된 지향성 스피커에서 출력될 소리를 상기 구매 리스트를 참조하여 재생 제어부(130)로 전송한다. 이때 재생 제어부(130)는 상기 설정된 이동 경로를 따라 상기 고객이 이동할 수 있도록 음원 선택부(120)에 의해 선택된 지향성 스피커로 안내 방송을 전송하도록 하는 것이 바람직하다.
고객 분석부(115)는 트랙킹 대상체가 매장 내 고객이고, 상기 고객의 과거 구매 리스트가 저장되어 있는 경우, 상기 과거 구매 리스트로부터 상기 고객의 구매 성향을 분석하여 선호 물품을 추출하고, 추출된 선호 물품에 대한 매장 내 위치 정보, 가격, 또는 할인 정보 중 적어도 하나 이상을 재생 제어부(130)로 전송한다. 이때, 재생 제어부(130)는 추출된 선호 물품에 대한 매장 내 위치 정보, 가격, 또는 할인 정보 중 적어도 하나 이상을 음원 선택부(120)에 의해 선택된 지향성 스피커로 전송하도록 한다. 또한, 고객 분석부(115)는 요일별 또는 날짜별 상기 고객의 선호 물품을 추출할 수 있다.
이를 위해 고객 분석부(115)는 별도의 RFID 리더를 이용하여, 고객에게 부착된 RFID 태그를 읽고, 고객의 정보, 예를 들면, 고객의 ID, 과거 구매 리스트, 또는 구매 실적 등을 별도의 데이터베이스로부터 수신할 수 있다.
음원 선택부(120)는 대상체 특정부(110)로부터 트랙킹할 대상체의 위치 좌표를 수신하면, 대상체의 움직임을 분석한다.
음원 선택부(120)는 트랙킹할 대상체의 위치좌표가 속해 있는 영역이 지향성 음원부(140)가 포함하는 지향성 스피커들 중에서 어느 지향성 스피커가 커버하는 영역인지를 판단한다. 음원 선택부(120)는 판단된 지향성 스피커의 인덱스와 같은 식별 번호를 재생 제어부(130)로 전송한다.
또한, 음원 선택부(120)는 고객 분석부(115)에 의해 선택되어 전송된 지향성 스피커의 식별 번호를 수신하여 재생 제어부(130)로 전송할 수 있다.
재생 제어부(130)는 수신한 지향성 스피커의 식별번호를 기초로 하여 음원을 송출할 지향성 스피커를 선택하고, 선택한 지향성 스피커로 음악, 안내 방송, 광고 등의 음원 데이터를 전송한다.
또한, 재생 제어부(130)는 고객 분석부(115)에 의해 선택된 지향성 스피커에서 출력될 소리를 상기 선택된 지향성 스피커로 전송한다.
이때 재생 제어부(130)는 대상체에 전달되는 소리의 연속성을 위해, 현재 특정된 대상체에게 지향성 스피커를 통해 전달되는 소리를 상기 대상체가 이동할 것으로 예상되는 영역을 담당하는 지향성 스피커로 미리 전송할 수 있다.
따라서, 상기 대상체가 이동할 것으로 예상되는 영역을 담당하는 지향성 스피커는 둘 이상이 될 수 있다.
또한, 지향성 스피커 각각이 담당하는 영역을 겹치도록 구성하고, 겹치는 영역에 대상체가 위치한 경우, 겹치는 영역에 관여하는 모든 지향성 스피커가 동일한 소리를 대상체에게 전달하는 것이 바람직하다.
지향성 음원부(140)는 복수의 지향성 스피커들로 구성되어 있으며, 각 지향성 스피커가 담당하는 영역에 대상체가 위치하는 경우, 각각의 지향성 스피커 모두 소리를 상기 대상체에게 전달한다.
도 2는 본 발명의 일 실시예에 따른 움직임 감지부(100)와 지향성 음원부(140)가 실제로 설치된 예시도이다.
도 2를 참조하면, 움직임 감지부(100)와 지향성 음원부(140)가 복수 개로 구성되어 있으며, 각각 움직임을 감지하는 영역과 소리를 전달하는 영역이 도시되어 있다. 이때 움직임을 감지하는 영역과 소리를 전달하는 영역은 원 형태로, 동일한 것이 바람직하다.
또한, 움직임 감지부(100)는 복수의 감지 센서들로 구성되는데, 인접하고 있는 감지 센서들이 감지하는 영역은 일부 중첩되도록 할 수 있다.
지향성 음원부(140) 역시 복수의 지향성 스피커들로 구성되는데, 인접하고 있는 지향성 스피커가 커버하는 영역이 일부 중첩되도록 한다. 인접하는 감지 센서와 지향성 스피커가 담당하는 영역을 일부 중첩시키도록 하는 것은 대상체의 이동에 따라 소리를 전달하는 지향성 스피커가 갑자기 바뀜으로써 발생할 수 있는 소리 전달의 불연속성을 방지하기 위함이다.
도 3은 본 발명의 실시예에 따른 감지 센서가 2개인 경우, 트랙킹할 대상체의 위치좌표가 속해 있는 영역이 어느 지향성 스피커가 커버하는 영역인지를 판단하는 방법을 설명하기 위한 도면이다.
도 3의 A 영역과 a 영역을 커버하는 지향성 스피커를 스피커 A라고 하고, B 영역과 a 영역을 커버하는 지향성 스피커를 스피커 B라고 하기로 한다. 이때, 대상체가 A 영역 또는 a 영역에 있는 경우에는 스피커 A가 대상체로 소리를 전달하고, 대상체가 B 영역 또는 a 영역에 있는 경우에는 스피커 B가 대상체로 소리를 전달할 것이다.
따라서, 대상체가 a 영역에 있는 경우 스피커 A와 스피커 B가 동시에 대상체에게 소리를 전달하기 위해서 재생 제어부(130)는 동일한 소리를 두 개의 스피커로 전송한다. 이후 a 영역에 있던 대상체가 A 영역으로 이동하는 경우 스피커 B는 오프되고, a 영역에 있던 대상체가 B 영역으로 이동하는 경우 스피커 A가 오프된다.
도 4는 본 발명의 실시예에 따른 감지 센서가 4개인 경우, 트랙킹할 대상체의 위치좌표가 속해 있는 영역이 어느 지향성 스피커가 커버하는 영역인지를 판단하는 방법을 설명하기 위한 도면이다.
도 4a를 참조하면, A 영역, a 영역, c 영역, e 영역, g 영역, f 영역, 및 i 영역을 커버하는 지향성 스피커를 스피커 A라고 하고, B 영역, a 영역, b 영역, e 영역, h 영역, f 영역, 및 i 영역을 커버하는 지향성 스피커를 스피커 B라고 한다.
또한, C 영역, c 영역, d 영역, e 영역, g 영역, h 영역, 및 i 영역을 커버하는 지향성 스피커를 스피커 C라고 하고, D 영역, b 영역, d 영역, f 영역, g 영역, h 영역, 및 i 영역을 커버하는 지향성 스피커를 스피커 D라고 한다.
대상체가 A 영역에 있는 경우 스피커 A가 대상체에게 소리를 전달하고, a 영역에 있는 경우 스피커 A와 스피커 B가 동시에 대상체에게 소리를 전달한다.
또한, 대상체가 e 영역에 있는 경우, 스피커 A, 스피커 B, 및 스피커 C가 동시에 대상체에게 소리를 전달하고, 대상체가 f 영역에 있는 경우, 스피커 A, 스피커 B, 및 스피커 D가 동시에 대상체에게 소리를 전달한다.
대상체가 i 영역에 있는 경우, 스피커 A, 스피커 B, 스피커 C, 및 스피커 D가 동시에 대상체에게 소리를 전달하게 된다.
도 4b는 도 4a에 도시된 감지 영역의 중첩보다 간단하게 구현한 것이다.
도 5는 지향성 스피커가 커버하는 영역 내에 대상체가 t1 시간, t2 시간, 및 t3 시간 동안에 이동한 경로를 도시한 것이다.
대상체에 RFID 태그가 부착되어 있는 경우에는 RFID 리더를 이용하여 대상체의 위치를 확인할 수 있다.
도 6은 매장 전체 영역을 구성하는 각 감지 영역이 중첩되어 있는 것을 도시한 것이다. 각 감지 영역에는 RFID 리더가 설치되어 대상체의 위치 정보를 파악할 수 있다.
도 7은 본 발명의 바람직한 일 실시예에 따른 움직임을 트랙킹하는 소리 전달 방법의 흐름도이다.
도 7을 참조하면, 본 실시예에 따른 움직임을 트랙킹하는 소리 전달 방법은 도 1에 도시된 움직임을 트랙킹하는 소리 전달 시스템에서 시계열적으로 처리되는 단계들로 구성된다. 따라서, 이하 생략된 내용이라 하더라도 도 1에 도시된 움직임을 트랙킹하는 소리 전달 시스템에 관하여 이상에서 기술된 내용은 본 실시예에 따른 움직임을 트랙킹하는 소리 전달 방법에도 적용된다.
700 단계에서 소리 전달 시스템은 매장 내에 있는 움직임 감지부(100)로부터 감지 신호가 발생한 감지 센서의 식별 번호를 수신한다.
710 단계에서 소리 전달 시스템은 수신한 감지 센서의 식별 번호에 대응하는 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성한다. 트랙킹 대상체의 위치 정보를 생성하는 방법은 RTLS(Real-Time Location System), 초음파, 바코드, 광학적 인식 등의 방법이 가능하다.
720 단계에서 소리 전달 시스템은 생성된 위치 정보에 대응하는 지향성 스피커를 선택한다.
730 단계에서 소리 전달 시스템은 선택된 지향성 스피커로 소리를 전송한다. 지향성 스피커는 한 시점에 복수의 소리를 출력하는 경우 복수의 고객에게 서비스할 수 있다.
한편, 감지 센서에 한 사람이 있을 때에는 사람을 감지한 감지 센서에 대응하는 지향성 스피커에서 소리가 난다. 만일 하나의 감지 센서가 두 사람을 감지한 경우 지향성 스피커가 서로 다른 두 소리를 출력하도록 하는 것이 바람직하다.
본 발명의 바람직한 일 실시예에 따른 움직임을 트랙킹하는 소리 전달 방법의 경우, 사람, 카트, 가방, 카드, 물품, 또는 차량을 따라다니면서 특정 소리를 전달할 수 있으며, 매장 내의 고객의 타입이나 ID를 식별해서 개인화된 소리를 낼 수 있다.
본 발명의 실시예들은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.
따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.

Claims (17)

  1. 삭제
  2. 감지 신호가 발생한 감지 센서의 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성하는 단계;
    상기 생성된 위치 정보에 대응하는 지향성 스피커를 적어도 하나 이상 선택하는 단계;
    상기 트랙킹 대상체가 매장 내 고객이고, 상기 고객으로부터 구매 리스트를 입력받으면, 상기 고객이 최단 이동으로 상기 구매 리스트에 적힌 물품을 구매할 수 있도록 이동 경로를 설정하는 단계; 및
    상기 설정된 이동 경로를 따라 상기 고객이 이동할 수 있도록 상기 선택된 지향성 스피커로 안내 방송을 전송하는 단계를 포함하고,
    적어도 하나 이상의 감지 센서에 의해 상기 감지 신호가 발생하는 경우, 상기 감지 신호가 발생한 감지 센서에 대응하는 지향성 스피커로 소리를 전송하는 것을 특징으로 하는 움직임을 트랙킹하는 소리 전달 방법.
  3. 삭제
  4. 감지 신호가 발생한 감지 센서의 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성하는 단계;
    상기 생성된 위치 정보에 대응하는 지향성 스피커를 적어도 하나 이상 선택하는 단계;
    상기 트랙킹 대상체가 매장 내 고객이고, 상기 고객의 과거 구매 리스트가 저장되어 있는 경우, 상기 과거 구매 리스트로부터 상기 고객의 구매 성향을 분석하여 선호 물품을 추출하는 단계; 및
    상기 추출된 선호 물품에 대한 매장 내 위치 정보, 가격, 또는 할인 정보 중 적어도 하나 이상을 상기 선택된 지향성 스피커로 전송하는 단계를 포함하고,
    적어도 하나 이상의 감지 센서에 의해 상기 감지 신호가 발생하는 경우, 상기 감지 신호가 발생한 감지 센서에 대응하는 지향성 스피커로 소리를 전송하고,
    상기 과거 구매 리스트로부터 상기 고객의 구매 성향을 분석하여 선호 물품을 추출하는 단계는,
    요일별 또는 날짜별 상기 고객의 선호 물품을 추출하는 단계인 것을 특징으로 하는 움직임을 트랙킹하는 소리 전달 방법.
  5. 삭제
  6. 감지 신호가 발생한 감지 센서의 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성하는 단계;
    상기 생성된 위치 정보에 대응하는 지향성 스피커를 적어도 하나 이상 선택하는 단계; 및
    상기 선택된 지향성 스피커로 소리를 전송하는 단계를 포함하고,
    적어도 하나 이상의 감지 센서에 의해 상기 감지 신호가 발생하는 경우, 상기 감지 신호가 발생한 감지 센서에 대응하는 지향성 스피커로 소리를 전송하고,
    상기 생성되는 트랙킹 대상체의 위치 정보는 최초로 상기 감지 센서에 의해 감지된 트랙킹 대상체의 위치 정보인 것을 특징으로 하는 움직임을 트랙킹하는 소리 전달 방법.
  7. 감지 신호가 발생한 감지 센서의 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성하는 단계;
    상기 생성된 위치 정보에 대응하는 지향성 스피커를 적어도 하나 이상 선택하는 단계; 및
    상기 선택된 지향성 스피커로 소리를 전송하는 단계를 포함하고,
    적어도 하나 이상의 감지 센서에 의해 상기 감지 신호가 발생하는 경우, 상기 감지 신호가 발생한 감지 센서에 대응하는 지향성 스피커로 소리를 전송하고,
    상기 트랙킹 대상체가 매장 내 고객이고, 상기 감지 영역 내에 2명 이상의 고객이 있을 때, 그 중 한 명이 VIP 고객인 경우, 상기 생성되는 트랙킹 대상체의 위치 정보는 상기 VIP 고객의 위치 정보를 우선적으로 생성하는 것을 특징으로 하는 움직임을 트랙킹하는 소리 전달 방법.
  8. 삭제
  9. 삭제
  10. 감지 신호가 발생한 감지 센서의 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성하는 대상체 특정부;
    상기 생성된 위치 정보에 대응하는 지향성 스피커를 적어도 하나 이상 선택하는 음원 선택부;
    상기 선택된 지향성 스피커로 소리를 전송하는 재생 제어부; 및
    상기 트랙킹 대상체가 매장 내 고객이고, 상기 고객으로부터 구매 리스트를 입력받으면, 상기 고객이 최단 이동으로 상기 구매 리스트에 적힌 물품을 구매할 수 있도록 이동 경로를 설정하는 고객 분석부를 포함하고,
    적어도 하나 이상의 감지 센서에 의해 상기 감지 신호가 발생하는 경우, 상기 감지 신호가 발생한 감지 센서에 대응하는 지향성 스피커로 소리를 전송하고,
    상기 재생 제어부는 상기 설정된 이동 경로를 따라 상기 고객이 이동할 수 있도록 상기 선택된 지향성 스피커로 안내 방송을 전송하는 것을 특징으로 하는 움직임을 트랙킹하는 소리 전달 장치.
  11. 삭제
  12. 감지 신호가 발생한 감지 센서의 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성하는 대상체 특정부;
    상기 생성된 위치 정보에 대응하는 지향성 스피커를 적어도 하나 이상 선택하는 음원 선택부;
    상기 선택된 지향성 스피커로 소리를 전송하는 재생 제어부; 및
    상기 트랙킹 대상체가 매장 내 고객이고, 상기 고객의 과거 구매 리스트가 저장되어 있는 경우, 상기 과거 구매 리스트로부터 상기 고객의 구매 성향을 분석하여 선호 물품을 추출하는 고객 분석부를 포함하고,
    적어도 하나 이상의 감지 센서에 의해 상기 감지 신호가 발생하는 경우, 상기 감지 신호가 발생한 감지 센서에 대응하는 지향성 스피커로 소리를 전송하고,
    상기 재생 제어부는 상기 추출된 선호 물품에 대한 매장 내 위치 정보, 가격, 또는 할인 정보 중 적어도 하나 이상을 상기 선택된 지향성 스피커로 전송하고,
    상기 고객 분석부는 요일별 또는 날짜별 상기 고객의 선호 물품을 추출하는 것을 특징으로 하는 움직임을 트랙킹하는 소리 전달 장치.
  13. 삭제
  14. 감지 신호가 발생한 감지 센서의 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성하는 대상체 특정부;
    상기 생성된 위치 정보에 대응하는 지향성 스피커를 적어도 하나 이상 선택하는 음원 선택부; 및
    상기 선택된 지향성 스피커로 소리를 전송하는 재생 제어부를 포함하고,
    적어도 하나 이상의 감지 센서에 의해 상기 감지 신호가 발생하는 경우, 상기 감지 신호가 발생한 감지 센서에 대응하는 지향성 스피커로 소리를 전송하고,
    상기 생성되는 트랙킹 대상체의 위치 정보는 최초로 상기 감지 센서에 의해 감지된 트랙킹 대상체의 위치 정보인 것을 특징으로 하는 움직임을 트랙킹하는 소리 전달 장치.
  15. 감지 신호가 발생한 감지 센서의 감지 영역 내에 있는 트랙킹 대상체의 위치 정보를 생성하는 대상체 특정부;
    상기 생성된 위치 정보에 대응하는 지향성 스피커를 적어도 하나 이상 선택하는 음원 선택부; 및
    상기 선택된 지향성 스피커로 소리를 전송하는 재생 제어부를 포함하고,
    적어도 하나 이상의 감지 센서에 의해 상기 감지 신호가 발생하는 경우, 상기 감지 신호가 발생한 감지 센서에 대응하는 지향성 스피커로 소리를 전송하고,
    상기 트랙킹 대상체가 매장 내 고객이고, 상기 감지 영역 내에 2명 이상의 고객이 있을 때, 그 중 한 명이 VIP 고객인 경우, 상기 생성되는 트랙킹 대상체의 위치 정보는 상기 VIP 고객의 위치 정보를 우선적으로 생성하는 것을 특징으로 하는 움직임을 트랙킹하는 소리 전달 장치.
  16. 삭제
  17. 제 2 항, 제 4 항, 제 6항, 또는 제 7 항 중에 어느 한 항의 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체.
KR1020110015042A 2011-02-21 2011-02-21 지향성 스피커를 이용하여 대상체의 움직임을 트랙킹하는 소리 전달 방법 및 이를 이용한 장치 KR101133446B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020110015042A KR101133446B1 (ko) 2011-02-21 2011-02-21 지향성 스피커를 이용하여 대상체의 움직임을 트랙킹하는 소리 전달 방법 및 이를 이용한 장치
PCT/KR2011/001880 WO2012115303A1 (ko) 2011-02-21 2011-03-18 지향성 스피커를 이용하여 대상체의 움직임을 트랙킹하는 소리 전달 방법 및 이를 이용한 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110015042A KR101133446B1 (ko) 2011-02-21 2011-02-21 지향성 스피커를 이용하여 대상체의 움직임을 트랙킹하는 소리 전달 방법 및 이를 이용한 장치

Publications (1)

Publication Number Publication Date
KR101133446B1 true KR101133446B1 (ko) 2012-04-09

Family

ID=46143271

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110015042A KR101133446B1 (ko) 2011-02-21 2011-02-21 지향성 스피커를 이용하여 대상체의 움직임을 트랙킹하는 소리 전달 방법 및 이를 이용한 장치

Country Status (1)

Country Link
KR (1) KR101133446B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102090246B1 (ko) * 2019-01-09 2020-03-17 한국과학기술원 다중의 도파관과 연결된 음향 방사용 음향장치
CN113747303A (zh) * 2021-09-06 2021-12-03 上海科技大学 定向声束耳语交互系统、控制方法、控制终端及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3292488B2 (ja) * 1991-11-28 2002-06-17 富士通株式会社 個人追従型音響生成装置
JP4196956B2 (ja) * 2005-02-28 2008-12-17 ヤマハ株式会社 拡声システム
KR20090054501A (ko) * 2007-11-27 2009-06-01 엘지이노텍 주식회사 근거리 무선 통신을 이용한 매장 관리 시스템
KR20100137763A (ko) * 2009-06-23 2010-12-31 (주)소니캐스트 시각 장애인을 위한 음향 인도 장치 및 방법과, 이를 이용한 길 안내 시스템

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3292488B2 (ja) * 1991-11-28 2002-06-17 富士通株式会社 個人追従型音響生成装置
JP4196956B2 (ja) * 2005-02-28 2008-12-17 ヤマハ株式会社 拡声システム
KR20090054501A (ko) * 2007-11-27 2009-06-01 엘지이노텍 주식회사 근거리 무선 통신을 이용한 매장 관리 시스템
KR20100137763A (ko) * 2009-06-23 2010-12-31 (주)소니캐스트 시각 장애인을 위한 음향 인도 장치 및 방법과, 이를 이용한 길 안내 시스템

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102090246B1 (ko) * 2019-01-09 2020-03-17 한국과학기술원 다중의 도파관과 연결된 음향 방사용 음향장치
CN113747303A (zh) * 2021-09-06 2021-12-03 上海科技大学 定向声束耳语交互系统、控制方法、控制终端及介质
CN113747303B (zh) * 2021-09-06 2023-11-10 上海科技大学 定向声束耳语交互系统、控制方法、控制终端及介质

Similar Documents

Publication Publication Date Title
US8010286B2 (en) Automated narration and recording for drive events
JP5971768B2 (ja) 音声信号の符号化及び認識を使用する音声測位
US8121784B2 (en) GPS triggered narration and recording for drive events
US8548494B2 (en) Localization of mobile computing devices in indoor environments
US9904938B2 (en) Methods and systems to determine consumer locations based on navigational voice cues
KR101228478B1 (ko) 어플리케이션 제공 방법, 어플리케이션 제공 시스템, 및 그를 위한 이동 단말기
KR20150068540A (ko) 가맹점의 고유 신호를 이용한 사용자 인식 방법 및 그 시스템
US10880023B2 (en) Vehicle-based media system with audio advertisement and external-device action synchronization feature
KR101133447B1 (ko) 대상체의 움직임을 예측하여 지향성 스피커로 소리를 전달하는 방법 및 이를 이용한 장치
US20170213224A1 (en) Analyzing a purchase decision
KR101133446B1 (ko) 지향성 스피커를 이용하여 대상체의 움직임을 트랙킹하는 소리 전달 방법 및 이를 이용한 장치
US20180347989A1 (en) Apparatus and method for tracking carts in a shopping space
US20160049163A1 (en) Method, apparatus and system for isolating microphone audio
WO2012115303A1 (ko) 지향성 스피커를 이용하여 대상체의 움직임을 트랙킹하는 소리 전달 방법 및 이를 이용한 장치
JP2009163126A (ja) 広告決定プログラム、広告表示車両及び広告決定方法
JP6767440B2 (ja) 情報処理装置、情報処理方法および情報処理プログラム
US20120056715A1 (en) Locating Remote Control Devices Utilizing Base Unit Positioning
KR20160046575A (ko) 비가청 음향 패턴을 이용한 광고 매칭 정보 제공 시스템
KR100704777B1 (ko) 무선태그를 이용한 위치기반정보제공방법 및 그 단말기
US11134356B2 (en) Speech providing device, speech reproducing device, speech providing method, and speech reproducing method
JP2005056173A (ja) 売り場情報の管理システム
JP6981411B2 (ja) 情報処理装置および方法
KR101710558B1 (ko) 비가청 음향 패턴을 이용한 광고 매칭 정보 제공 시스템
WO2023095320A1 (ja) 情報提供装置、情報提供システム、情報提供方法、及び非一時的なコンピュータ可読媒体
WO2013001466A1 (en) An evaluation system and method

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160311

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170302

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190226

Year of fee payment: 8

FPAY Annual fee payment

Payment date: 20200303

Year of fee payment: 9