KR20180025697A - Method and apparatus for presuming contents based on sound wave signal included in contents - Google Patents
Method and apparatus for presuming contents based on sound wave signal included in contents Download PDFInfo
- Publication number
- KR20180025697A KR20180025697A KR1020160112704A KR20160112704A KR20180025697A KR 20180025697 A KR20180025697 A KR 20180025697A KR 1020160112704 A KR1020160112704 A KR 1020160112704A KR 20160112704 A KR20160112704 A KR 20160112704A KR 20180025697 A KR20180025697 A KR 20180025697A
- Authority
- KR
- South Korea
- Prior art keywords
- content
- identification information
- information
- candidate
- mobile terminal
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 62
- 230000005236 sound signal Effects 0.000 claims description 11
- 239000000284 extract Substances 0.000 claims description 10
- 230000005540 biological transmission Effects 0.000 claims description 9
- 238000010187 selection method Methods 0.000 description 10
- 238000004891 communication Methods 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 3
- 230000006870 function Effects 0.000 description 3
- 230000032683 aging Effects 0.000 description 2
- 238000010295 mobile communication Methods 0.000 description 2
- 238000001228 spectrum Methods 0.000 description 2
- 230000001413 cellular effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/60—Information retrieval; Database structures therefor; File system structures therefor of audio data
- G06F16/68—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/683—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q30/00—Commerce
- G06Q30/02—Marketing; Price estimation or determination; Fundraising
- G06Q30/0241—Advertisements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
- G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
- G06Q50/10—Services
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
Abstract
Description
본 발명은 콘텐츠에 포함된 음파신호로부터 콘텐츠를 추정하는 방법 및 장치에 관한 것으로, 보다 상세하게는, 사용자의 모바일 단말기가 콘텐츠의 음파신호를 정확히 수신하지 못한 경우에도 해당 콘텐츠를 추정하고 이 콘텐츠에 관련된 정보들을 사용자에게 제공할 수 있는 콘텐츠 추정 방법 및 장치에 관한 것이다.The present invention relates to a method and apparatus for estimating a content from a sound wave signal included in a content, and more particularly, to a method and apparatus for estimating a content from a sound wave signal included in a content, To a content estimation method and apparatus capable of providing relevant information to a user.
최근 스마트 기기가 보편화되면서 스마트 기기에 내장된 오디오 인터페이스, 즉 스피커와 마이크를 활용하는 음파 통신이 연구되고 있다. 예를 들어 대한민국 특허출원 제2013-0043862호(2013년 4월 19일 출원)에 개시한 바와 같이 텔레비전(TV) 방송에 특정 정보를 내포한 비가청 음파를 삽입하여 시청자에게 방송하면 시청자가 소지한 스마트폰이 비가청 음파를 수신하고 이에 기초하여 시청자에게 맞춤형 광고 등의 콘텐츠를 제공하는 기술 등이 연구되고 있다. Recently, as smart devices become popular, sound communication using a built-in audio interface, that is, a speaker and a microphone, is being studied. For example, as disclosed in Korean Patent Application No. 2013-0043862 (filed on Apr. 19, 2013), when a non-audible sound wave containing specific information is inserted into a television (TV) broadcast to be broadcast to a viewer, And a technology in which a smartphone receives non-audible sound waves and provides content such as customized advertisements to viewers based on the received non-audible sound waves.
그런데 이러한 음파통신 기술을 이용한 기존의 콘테츠 제공 방법에서는 스피커의 노후화나 주위환경의 노이즈 등으로 인해 사용자가 소지한 모바일 단말기가 비가청 음파를 제대로 수신하지 못하는 경우가 종종 있고, 이 경우 비가청 음파에서 정보를 정확히 추출할 수 없어 사용자에게 콘텐츠를 제공할 수 없는 문제가 있었다. However, in the existing contents providing method using the sound communication technology, the mobile terminal held by the user often fails to properly receive the non-audible sound wave due to the aging of the speaker or the noise of the surrounding environment. In this case, The information can not be extracted accurately and thus the content can not be provided to the user.
많은 모바일 단말기 사용자들은 여전히 비가청 음파를 이용한 콘텐츠 제공 방식에 흥미를 느끼고 있지만, 상기와 같은 기술적 문제로 인해 콘텐츠를 적시에 제공받지 못하면 비가청 음파 기술의 신뢰성에 의문을 갖게 되고 흥미를 잃어버리게 되어 더 이상 이러한 방식의 콘텐츠 제공 서비스를 이용하지 않게 될 수도 있다. Many mobile terminal users are still interested in the way of providing contents using non-audible sound waves. However, if the contents are not provided in a timely manner due to the technical problems described above, the reliability of non-audible sound technology is questioned and the interest is lost It may no longer be possible to use content providing services in this way.
본 발명의 일 실시예에 따르면, 모바일 단말기가 콘텐츠에 포함된 비가청 음파를 정확히 수신하지 못하는 경우에도 기수신한 정보에 기초하여 해당 콘텐츠가 무엇인지 추정하고 이 콘텐츠에 연관된 정보들을 사용자에게 제공할 수 있는 콘텐츠 추정 방법 및 장치를 제공한다. According to an embodiment of the present invention, even when the mobile terminal can not accurately receive the non-audible sound waves included in the content, it is possible to estimate what the corresponding content is based on and to provide information related to the content to the user A method and apparatus for estimating a content.
본 발명의 일 실시예에 따르면, 콘텐츠에 포함된 음파신호로부터 콘텐츠를 추정하는 서버 장치에 의한 콘텐츠 추정 방법으로서, 서버 장치가 모바일 단말기로부터 콘텐츠 식별정보 및 부가정보를 수신하는 단계; 및 수신한 상기 식별정보 및 부가정보에 기초해서 적어도 하나의 후보 콘텐츠를 선택하는 단계;를 포함하고, 상기 식별정보는 콘텐츠의 음파신호에 포함되고 콘텐츠를 다른 콘텐츠와 구별하는 정보로서, 상기 모바일 단말기가 음파신호를 수신하여 이 음파신호에서 추출한 정보이고, 상기 부가정보는 상기 모바일 단말기가 상기 음파신호를 수신할 때의 모바일 단말기의 위치정보 또는 시간정보 중 적어도 하나를 포함하는 것을 특징으로 하는 콘텐츠 추정 방법이 제공된다. According to an embodiment of the present invention, there is provided a method of estimating a content by a server apparatus that estimates a content from a sound wave signal included in the content, the method comprising: receiving a content identification information and additional information from a mobile terminal; And selecting at least one candidate content based on the received identification information and the additional information, wherein the identification information is included in a sound wave signal of the content and distinguishes the content from other contents, Wherein the additional information includes at least one of position information or time information of the mobile terminal when the mobile terminal receives the sound wave signal, Method is provided.
본 발명의 일 실시예에 따르면, 콘텐츠에 포함된 음파신호로부터 콘텐츠를 추정하는 서버 장치로서, 모바일 단말기로부터 수신한 콘텐츠 식별정보 및 부가정보에 기초하여 적어도 하나의 후보 콘텐츠를 선택하도록 구성된 후보 콘텐츠 추출부를 포함하고, 이 때 상기 식별정보는 콘텐츠의 음파신호에 포함되고 콘텐츠를 다른 콘텐츠와 구별하는 정보로서, 상기 모바일 단말기가 음파신호를 수신하여 이 음파신호에서 추출한 정보이고, 상기 부가정보는 상기 모바일 단말기가 상기 음파신호를 수신할 때의 모바일 단말기의 위치정보 또는 시간정보 중 적어도 하나를 포함하는 것을 특징으로 하는 서버 장치가 제공된다. According to an embodiment of the present invention, there is provided a server apparatus for estimating a content from a sound wave signal included in a content, the server apparatus comprising: a candidate content extraction unit configured to select at least one candidate content based on content identification information and additional information received from the mobile terminal; Wherein the identification information is information included in a sound wave signal of the content and distinguishing the content from other contents, wherein the mobile terminal receives the sound wave signal and extracts the sound wave signal from the sound wave signal, And at least one of location information or time information of the mobile terminal when the terminal receives the sound wave signal.
본 발명의 일 실시예에 따르면, 모바일 단말기가 콘텐츠에 포함된 비가청 음파를 정확히 수신하지 못하는 경우에도 기수신한 정보에 기초하여 해당 콘텐츠가 무엇인지 추정하고 이 콘텐츠에 연관된 정보들을 사용자에게 제공할 수 있으므로 사용자가 본 발명에 따른 비가청 음파를 이용한 서비스에 지속적으로 흥미를 느끼게 되고 향후에도 계속하여 이 서비스를 이용하도록 유도할 수 있는 장점이 있다. According to an embodiment of the present invention, even when the mobile terminal can not accurately receive the non-audible sound waves included in the content, it is possible to estimate what the corresponding content is based on and to provide information related to the content to the user Therefore, there is an advantage that the user is continuously interested in the service using the non-audible sound wave according to the present invention, and can continue to use the service in the future.
도1은 본 발명의 일 실시예에 따른 콘텐츠 추정 방법 및 장치를 설명하기 위한 도면,
도2는 일 실시예에 따른 서버 장치의 예시적인 블록도,
도3은 일 실시예에 따른 콘텐츠 추정 방법을 설명하기 위한 흐름도,
도4는 일 실시예에 따른 모바일 단말기의 동작을 설명하기 위한 흐름도,
도5는 제1 실시예에 따른 식별정보와 부가정보를 이용한 후보 콘텐츠 선택 방법을 설명하기 위한 흐름도,
도6은 제2 실시예에 따른 식별정보와 부가정보를 이용한 후보 콘텐츠 선택 방법을 설명하기 위한 흐름도,
도7은 일 실시예에 따른 부가정보를 이용한 후보 콘텐츠 선택 방법을 설명하기 위한 흐름도,
도8은 제3 실시예에 따른 식별정보와 부가정보를 이용한 후보 콘텐츠 선택 방법을 설명하기 위한 흐름도,
도9는 제4 실시예에 따른 식별정보와 부가정보를 이용한 후보 콘텐츠 선택 방법을 설명하기 위한 흐름도,
도10은 극장 또는 매장에서 콘텐츠를 재생할 때 본 발명의 일 실시예에 따라 콘텐츠를 추정하고 사용자에게 알림 정보를 디스플레이하는 방법을 설명하기 위한 도면이다. FIG. 1 is a view for explaining a content estimation method and apparatus according to an embodiment of the present invention; FIG.
2 is an exemplary block diagram of a server device according to one embodiment;
3 is a flowchart illustrating a content estimation method according to an embodiment,
4 is a flowchart illustrating an operation of a mobile terminal according to an exemplary embodiment.
5 is a flowchart for explaining a candidate content selection method using identification information and additional information according to the first embodiment;
6 is a flowchart for explaining a candidate content selection method using identification information and additional information according to the second embodiment;
FIG. 7 is a flowchart illustrating a candidate content selection method using additional information according to an exemplary embodiment;
8 is a flowchart for explaining a candidate content selection method using identification information and additional information according to the third embodiment;
9 is a flowchart for explaining a candidate content selection method using identification information and additional information according to the fourth embodiment;
10 is a diagram for explaining a method of estimating contents and displaying notification information to a user when reproducing contents in a theater or a store according to an embodiment of the present invention.
이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다. 본 명세서에서, 어떤 구성요소가 다른 구성요소 상에 있다고 언급되는 경우에 그것은 다른 구성요소 상에 직접 형성될 수 있거나 또는 그들 사이에 제 3의 구성요소가 게재될 수도 있다는 것을 의미한다.BRIEF DESCRIPTION OF THE DRAWINGS The above and other objects, features, and advantages of the present invention will become more readily apparent from the following description of preferred embodiments with reference to the accompanying drawings. However, the present invention is not limited to the embodiments described herein but may be embodied in other forms. Rather, the embodiments disclosed herein are provided so that the disclosure can be thorough and complete, and will fully convey the scope of the invention to those skilled in the art. In this specification, when an element is referred to as being on another element, it means that it can be formed directly on the other element, or a third element may be placed therebetween.
본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.The terminology used herein is for the purpose of illustrating embodiments and is not intended to be limiting of the present invention. In the present specification, the singular form includes plural forms unless otherwise specified in the specification. The terms "comprises" and / or "comprising" used in the specification do not exclude the presence or addition of one or more other elements.
또한 본 명세서에서 발명의 구성요소를 지칭하기 위해 사용된 "...부", "…모듈", "...보드", "…블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미할 수 있고 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Also, terms such as " ... part ", "module "," ... board ", "... block ", etc. used to refer to components of the invention are used herein to describe at least one function or operation Unit, which may be implemented in hardware, software, or a combination of hardware and software.
이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.Hereinafter, the present invention will be described in detail with reference to the drawings. In describing the specific embodiments below, various specific details have been set forth in order to explain the invention in greater detail and to assist in understanding it. However, it will be appreciated by those skilled in the art that the present invention may be understood by those skilled in the art without departing from such specific details. In some instances, it should be noted that portions of the invention that are well known in the description of the invention and not significantly related to the invention do not describe confusion in describing the present invention.
도1은 본 발명의 일 실시예에 따른 콘텐츠 추정 방법 및 장치를 설명하기 위한 도면이고 도2는 일 실시예에 따른 서버 장치의 예시적인 블록도이다. FIG. 1 is a diagram for explaining a contents estimation method and apparatus according to an embodiment of the present invention, and FIG. 2 is an exemplary block diagram of a server apparatus according to an embodiment.
도면을 참조하면, 일 실시예에 따른 콘텐츠 추정 장치는 서버 장치(30)일 수 있다. 서버 장치(30)는 네트워크를 통해 다수의 모바일 단말기(20)와 통신할 수 있다. 모바일 단말기(20)는 콘텐츠 재생 수단(10)에서 재생되는 콘텐츠의 오디오 신호를 수신할 수 있다. Referring to the drawings, a content estimating apparatus according to an embodiment may be a
일 실시예에서 콘텐츠 재생 수단(10)은 임의의 비디오/오디오 콘텐츠를 사용자가 보거나 들을 수 있도록 재생하는 수단으로서, 구체적 실시형태에 따라 다양하게 구현될 수 있다. 예를 들어 사용자가 영화관에서 영화를 보는 경우, 콘텐츠 재생 수단(10)은 영화관의 스크린 및 스피커일 수 있고, 이 때의 '콘텐츠'는 영화관에서 상영하는 특정 광고나 영화예고편이 될 수 있다. In one embodiment, the content playback means 10 is a means for playing back any video / audio content to be viewed or listened to by the user, and may be variously implemented according to a specific embodiment. For example, when a user watches a movie in a movie theater, the content reproducing means 10 may be a screen and a speaker of the movie theater, and the 'contents' may be a specific advertisement or a movie trailer to be displayed in the movie theater.
다른 예로서 본 발명이 각종 제품을 판매하는 매장이나 마트에 적용되는 경우 콘텐츠 재생 수단(10)은 디스플레이 및 스피커일 수 있고, 이 때의 콘텐츠는 특정 제품의 오디오 광고가 될 수 있다. 또 다른 예로서 본 발명이 TV에 적용되는 경우 콘텐츠 재생 수단(10)은 TV 디스플레이 및 스피커가 될 수 있고 이 때의 콘텐츠는 특정 TV 프로그램이나 TV 광고가 될 수 있다. As another example, when the present invention is applied to a store or a mart selling various products, the content reproducing means 10 may be a display and a speaker, and the content at this time may be an audio advertisement of a specific product. As another example, when the present invention is applied to a TV, the content reproduction means 10 may be a TV display and a speaker, and the content may be a specific TV program or a TV advertisement.
이와 같이 본 명세서에서 "콘텐츠"는 영화, TV 프로그램, 및 각종 광고를 의미할 수 있으나 이에 제한되지 않으며, 예를 들어 음악이나 동영상 등의 각종 멀티미디어 데이터를 포함할 수 있다. As used herein, the term "content" may refer to a movie, a TV program, and various advertisements, but the present invention is not limited thereto. For example, the content may include various multimedia data such as music and moving pictures.
바람직한 일 실시예에서 콘텐츠 재생 수단(10)에서 재생되는 콘텐츠는 음파신호(오디오 신호)를 포함하고 있으며, 이 음파신호에 각 콘텐츠를 다른 콘텐츠와 구별하는 콘텐츠 식별정보(이하 간단히 "식별정보"라고도 함)를 포함한다. 식별정보는 각 콘텐츠마다 고유하게 할당되어 다른 콘텐츠와 구별하는 정보이고, 예를 들어 소정 길이의 디지털 비트로 구성될 수 있다. In a preferred embodiment, the content reproduced by the content reproduction means 10 includes a sound wave signal (audio signal), and content identification information (hereinafter simply referred to as "identification information" ). The identification information is information that is uniquely allocated to each content and distinguished from other contents, and may be composed of digital bits of a predetermined length, for example.
일 실시예에서 콘텐츠 식별정보가 콘텐츠의 비가청 대역의 음파에 포함될 수 있다. 비가청 대역은 사람의 청력으로 들을 수 없는 주파수 대역을 의미하며, 예컨대 18 내지 24 KHz 대역의 주파수를 포함할 수 있다. In one embodiment, the content identification information may be included in a sound wave in the non-audible range of the content. The non-audible range refers to a frequency band that can not be heard by human hearing, and may include frequencies in the 18 to 24 KHz band, for example.
본 명세서에서 사용되는 용어인 "음파"는 물체의 진동이 매질(공기)을 통해 전파되어 사람이 청각으로 들을 수 있는 것으로, 특별히 구분의 필요성이 없는 한 본 명세서에서 "음향", "오디오", 또는 "사운드"와 동일한 의미로 사용하기로 한다. As used herein, the term "sound waves" refers to those in which the vibrations of an object are propagated through the medium (air) so that a person can hear them audibly. Unless there is a particular need for distinction, Or "sound ".
일 실시예에서, 비가청 음파 발생기(도시 생략)에 의해 비가청 대역의 음파가 생성되고 이 비가청대역 음파에 콘텐츠 식별정보와 같은 특정 정보가 주입될 수 있다. 예를 들어 디지털 데이터인 식별정보를 진폭변조(ASK), 주파수 변조(FSK), 시변화 변조(Chirp Modulation), 또는 위상변조(PSK)와 같은 다양한 변조 방식 중 하나에 의해 변조하고, 이를 비가청 음파에 실음으로써 식별정보가 포함된 비가청 음파를 생성할 수 있다. In one embodiment, a non-audible sound generator (not shown) generates a sound wave in the non-audible range and specific information such as content identification information can be injected into the non-audible sound sound. For example, the identification information, which is digital data, is modulated by one of various modulation methods such as amplitude modulation (ASK), frequency modulation (FSK), chirp modulation, or phase modulation (PSK) It is possible to generate a non-audible sound wave containing identification information by sounding on a sound wave.
콘텐츠 식별정보와 같은 임의의 특정 정보를 비가청 음파에 삽입하고 이 비가청 음파를 콘텐츠에 포함시키는 기술은 공지기술을 이용하여 구현될 수 있으며, 예를 들어 한국 특허출원 제10-1448823호 (시변 주파수 기반의 심볼을 이용한 음파 송수신 방법 및 이를 이용한 장치)에 개시된 기술 혹은 한국 특허출원 제2014-0169557호 (비가청 음파가 포함된 방송영상 파일 또는 스트리밍 패킷의 생성 방법 및 이 방법을 이용하는 텔레비전 방송 시스템)에 개시된 기술을 이용할 수 있다. Techniques for inserting any specific information, such as content identification information, into non-audible sound waves and incorporating the non-audible sound waves into the content can be implemented using known techniques, for example, Korean Patent Application No. 10-1448823 A technique disclosed in Korean Patent Application No. 2014-0169557 (a method of generating a broadcast image file or a streaming packet including a non-audible sound, and a television broadcast system using this method) ) Can be used.
모바일 단말기(20)는 예를 들면 셀룰라 폰, 스마트폰, 태블릿 PC, 노트북 등과 같은 통신 가능한 컴퓨팅 장치일 수 있다. The
모바일 단말기(20)는 음파신호를 수신하는 장치(예컨대, 마이크)를 포함한다. 모바일 단말기(20)는 콘텐츠 재생 수단(10)으로부터 출력되는 음파 신호를 인식하고, 인식한 음파 신호에서 콘텐츠 식별정보를 추출할 수 있다. The
음파신호로부터 특정 정보를 추출하는 기술은 공지되어 있으며, 예를 들어 한국 특허출원 제2013-0107604호 (시변 주파수 기반의 심볼을 이용한 음파 송수신 방법 및 이를 이용한 장치) 또는 한국 특허출원 제2015-0118809호 (훈련열 동기화 위치 추정방법 및 이를 이용한 수신기) 등에 개시된 기술을 이용할 수 있다. Techniques for extracting specific information from a sound wave signal are well known. For example, Korean Patent Application No. 2013-0107604 (method of transmitting and receiving sound waves using time-varying frequency-based symbols and apparatus using the same) or Korean Patent Application No. 2015-0118809 (Training thermal synchronization position estimation method and receiver using the same), and the like can be used.
모바일 단말기(20)는 콘텐츠 재생 수단(10)에서 출력되는 음파신호를 수신하고 이로부터 콘텐츠 식별정보를 추출하면, 이 추출된 식별정보를 서버 장치(30)로 전송할 수 있다. 일 실시예에서 모바일 단말기(20)는 추출된 식별정보와 함께 부가정보를 서버 장치(30)로 전송한다. The
이 때 본 명세서에서 "부가정보"는 모바일 단말기(20)가 추출한 콘텐츠 식별정보에 대응하는 콘텐츠를 정확히 찾기(identify) 위해 참조하는 정보로서, 구체적 실시 형태에 따라 하나 이상의 다양한 정보를 의미할 수 있다. Herein, "additional information" refers to information for accurately identifying a content corresponding to content identification information extracted by the
도시한 일 실시예에서 부가정보는, 모바일 단말기(20)가 콘텐츠의 음파신호를 수신할 때의 모바일 단말기(20)의 위치정보 또는 시간정보 중 적어도 하나를 포함한다. In the illustrated embodiment, the additional information includes at least one of position information or time information of the
여기서 위치정보는 모바일 단말기(20)가 콘텐츠의 음파신호를 수신할 때의 위치에 관한 정보로서, 예를 들어 GPS, 무선통신 중계기, 및 이동통신 중계기 중 적어도 하나 이상을 이용하여 획득한 위치 정보일 수 있다. 또한 시간정보는 모바일 단말기(20)가 콘텐츠의 음파신호를 수신할 때의 위치에 관한 시간 정보로서, 예를 들어 음파신호에서 콘텐츠 식별정보를 추출하면, 이 추출 대상이 된 음파신호를 수신했던 시간을 의미할 수 있다. Here, the location information is information on a position at which the
대안적 실시예에서, 부가정보로서 콘텐츠의 핑거프린트(fingerprint)를 더 포함할 수 있다. 예를 들어 콘텐츠가 가청대역의 오디오 신호를 포함하고 있을 때, 이 가청대역에 해당 콘텐츠를 다른 콘텐츠와 식별할 수 있도록 하는 오디오 핑거프린트가 심겨져 있을 수 있으며, 이러한 경우 본 발명의 일 실시예에서 오디오 핑거프린트가 부가정보에 더 포함될 수 있다. 본 명세서에서 '오디오 핑거프린트'를 간단히 '핑거프린트'라고 칭하기도 한다. In an alternative embodiment, the additional information may further comprise a fingerprint of the content. For example, when the content includes an audio signal of an audible band, an audio fingerprint may be planted in the audible band so that the content can be identified with other contents. In this case, in one embodiment of the present invention, A fingerprint may be further included in the additional information. In this specification, 'audio fingerprint' is also simply referred to as 'fingerprint'.
부가정보로서 오디오 핑거프린트를 포함하는 경우, 모바일 단말기(20)는 콘텐츠의 음파신호를 수신하면, 이 음파신호의 비가청 대역에서 콘텐츠 식별정보를 추출하고 가청대역에서 오디오 핑거프린트를 추출하도록 동작할 수 있다. 이 때 동일 시간 동안 수신한 음파신호에 대해 콘텐츠 식별정보와 핑거프린트를 각각 추출할 수도 있지만, 서로 상이한 시간에 제1 음파신호와 제2 음파신호를 수신하고 제1 음파신호로부터 콘텐츠 식별정보를 추출하고 제2 음파신호로부터 핑거프린트를 추출할 수도 있다. When the
오디오 핑거프린트를 음파신호에 주입하거나 음파신호로부터 오디오 핑거프린트를 추출하는 기술은 공지된 기술이며, 예를 들어 한국특허등록번호 10-1310943호 (2013. 9. 11) (방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법), 한국특허등록번호 10-1313293호 (2013. 9. 24) (방송콘텐츠의 부가정보 제공 시스템 및 그 방법) 등에 개시된 기술을 이용할 수 있다. Techniques for injecting an audio fingerprint into a sound wave signal or extracting an audio fingerprint from a sound wave signal are well known in the art and are described, for example, in Korean Patent Registration No. 10-1310943 (Feb. 9, 2013) A system and method for providing information), Korean Patent Registration No. 10-1313293 (March 23, 2013) (Additional information providing system of broadcast contents and method thereof).
모바일 단말기(20)는 네트워크를 통해 콘텐츠 식별정보와 부가정보를 서버 장치(30)로 전송한다. 여기서 네트워크는 예컨대 인터넷이 될 수 있지만 이에 제한되지 않으며, 임의의 무선 및/또는 유선 통신망 또는 이들의 조합이 될 수 있다. The
서버 장치(30)는 모바일 단말기(20)로부터 콘텐츠 식별정보와 부가정보를 수신한 뒤, 이 정보들에 기초하여 상기 콘텐츠 식별정보에 대응하는 콘텐츠라고 추정되는 적어도 하나의 콘텐츠들(이하 "후보 콘텐츠"라고 함)을 선택하고, 후보 콘텐츠에 관한 알림 정보를 모바일 단말기(20)로 전송한다. After receiving the content identification information and the additional information from the
여기서 "알림 정보"는 후보 콘텐츠와 관련하여 모바일 단말기(20)의 사용자에게 공지할 임의의 정보를 의미한다. 예를 들어 후보 콘텐츠가 특정 제품의 광고인 경우 알림 정보는 예컨대 이 제품의 할인행사에 관한 정보일 수 있다. Here, the "announcement information" means any information to be notified to the user of the
이제 도2를 참조하여 상술한 기능을 수행할 수 있는 예시적인 서버 장치 구성에 대해 설명하기로 한다. An exemplary server device configuration capable of performing the functions described above with reference to FIG. 2 will now be described.
도2를 참조하면, 일 실시예에 따른 서버 장치(30)는 후보 콘텐츠 추출부(310), 해밍 거리(hamming distance) 산출부(320), 콘텐츠 핑거프린트 데이터베이스(DB)(330), 식별정보 발신 스케줄 DB(340), 및 알림 정보 DB(350)를 포함할 수 있다. 2, the
후보 콘텐츠 추출부(310)는 모바일 단말기(20)로부터 수신한 콘텐츠 식별정보 및 부가정보에 기초하여 적어도 하나의 후보 콘텐츠를 선택하도록 구성된다. 후보 콘텐츠 추출부(310)는 적어도 하나의 후보 콘텐츠를 선택하는 동작을 수행하기 위해 해밍거리 산출부(320), 콘텐츠 핑거프린트 DB(330), 및 식별정보 발신 스케줄 DB(340) 중 적어도 하나와 통신하며 필요한 데이터를 주고받을 수 있다. The candidate
해밍거리 산출부(320)는 모바일 단말기(20)로부터 수신한 콘텐츠 식별정보와 식별정보 발신 스케줄 DB(340)에 저장된 콘텐츠 식별정보들 간의 각각의 해밍거리를 계산하는 기능을 수행할 수 있다. 해밍거리는 두 개의 데이터간의 유사성을 수치화하는 방법 중 하나이며, DB(340)에 저장된 각각의 콘텐츠 식별정보에 대해 모바일 단말기(20)로부터 수신한 콘텐츠 식별정보와의 각각의 해밍거리를 산출함으로써, 수신한 콘텐츠와 동일한 또는 가장 유사한 식별정보를 DB(340)에서 추출할 수 있다. The
이 때 후보 콘텐츠 추출부(310)는 후보 콘텐츠를 선정할 때, 산출된 해밍거리 값이 작은 소정 개수의 식별정보를 후보 콘텐츠로서 선정할 수 있다. 또한 대안적 실시예에서 콘텐츠 추출부(310)는 소정 임계값 이하의 해밍거리 값을 갖는 식별정보를 후보 콘텐츠로서 선정할 수도 있다. At this time, when the candidate content is selected, the candidate
콘테츠 핑거프린트 DB(330)는 콘텐츠에 포함된 핑거프린트를 저장한다. 콘텐츠 핑거프린트 DB(330)는 각각의 콘텐츠에 대해 각 콘텐츠를 특정할 수 있도록 각 콘텐츠에 적어도 하나씩 포함되어 있는 핑거프린트 데이터를 포함할 수 있다. The
콘텐츠 식별정보 발신 스케줄 DB(340)는 콘텐츠 재생 수단(10)을 통해 콘테츠 식별정보가 발신(재생)되는 스케줄 정보를 저장한다. 도시한 일 실시예에서 식별정보 발신 스케줄 DB(340)는 콘텐츠 식별정보 목록, 및 이에 매칭된 식별정보 발신 시간 목록과 식별정보 발신 위치 목록을 포함할 수 있다. The contents identification information
콘텐츠 식별정보 목록은 각 콘텐츠의 콘텐츠 식별정보의 리스트이다. 일 실시예에서 콘텐츠 식별정보는 소정 비트수의 일련의 비트열로 구성된다. 예컨대 도시한 실시예에서 본 발명을 간단히 설명하기 위해 식별정보가 4비트인 것으로 예시하였지만, 구체적 실시 형태에 따라 예컨대 8비트, 16비트 등으로 구성될 수도 있을 것이다. The content identification information list is a list of content identification information of each content. In one embodiment, the content identification information is composed of a series of bit strings of a predetermined number of bits. For example, in order to briefly describe the present invention in the illustrated embodiment, the identification information is exemplified as 4 bits, but it may be configured as 8 bits, 16 bits, etc. according to a specific embodiment.
식별정보 발신 시간 목록은, 각 콘텐츠 식별정보에 대해, 해당 콘텐츠 식별정보가 모바일 단말기(20)의 사용자에게 발신될 때의 발신 시간에 관한 정보의 리스트이다. 예를 들어 발신 시간 정보는 콘텐츠 식별정보를 포함하는 콘텐츠가 콘텐츠 재생 수단(10)을 통해 재생될 때의 재생 시간(예컨대 재생 시작 시간 및 재생 종료 시간 등)을 포함할 수 있다. 대안적으로, 콘텐츠 재생 수단(10)을 통해 콘텐츠가 재생될 때 비가청대역의 (식별정보가 주입된) 음파신호가 스피커를 통해 발신되는 시간 정보를 포함할 수도 있다. The identification information origination time list is a list of information on the origination time when the content ID information is transmitted to the user of the
식별정보 발신 위치 목록은, 각 콘텐츠 식별정보에 대해, 해당 콘텐츠 식별정보가 모바일 단말기(20)의 사용자에게 발신될 때의 발신 위치에 관한 정보의 리스트이다. 예를 들어 발신 위치 정보는 콘텐츠 식별정보를 포함하는 콘텐츠가 콘텐츠 재생 수단(10)을 통해 재생될 때의 재생 위치 정보를 포함할 수 있다. 일 실시예에서 이 위치정보는 GPS, 무선통신 중계기, 및 이동통신 중계기 중 적어도 하나 이상을 이용하여 획득한 위치 정보일 수 있고, 콘텐츠 재생 수단(10)이 설치된 영화관 또는 매장의 위치를 식별할 수 있는 정보를 포함할 수도 있다. The identification information originating location list is a list of information on the originating location when the corresponding content identification information is transmitted to the user of the
알림 정보 DB(350)는 각 콘텐츠에 대응하는 알림 정보를 저장한다. 예를 들어 알림 정보 DB(350)는 각 콘텐츠의 콘텐츠 식별정보 및 각각의 식별정보에 매칭되는 알림 정보를 저장할 수 있다. The
후보 콘텐츠 추출부(310)와 해밍거리 산출부(320)는 서버 장치(30) 내에서 소프트웨어 또는 소프트웨어와 하드웨어의 조합으로 구현될 수 있다. 또한 콘텐츠 핑거프린트 DB(330), 식별정보 발신 스케줄 DB(340), 및 알림 정보 DB(350)의 각각은 서버 장치(30) 내부 또는 외부에 배치될 수 있고, 서버 장치(30) 외부에 배치되는 경우 예컨대 네트워크를 통해 서버 장치(30)와 통신할 수 있다. The candidate
상술한 서버 장치(30)에 의해 후보 콘텐츠를 선택하는 방법으로서 예를 들어 아래와 같이 몇가지 구체적 실시예를 생각할 수 있다. As a method for selecting the candidate content by the
후보 콘테츠를 추출하는 제1 실시예로서, 후보 콘텐츠 추출부(310)는, 모바일 단말기(20)로부터 수신한 식별정보에 매칭되는 콘텐츠 식별정보가 식별정보 발신 스케줄 DB(340)의 목록에 존재하는지 판단하고, 매칭되는 콘텐츠 식별정보가 존재하는 경우 이 매칭된 콘텐츠 식별정보의 콘텐츠를 후보 콘텐츠로 선택할 수 있다. The candidate
이 때 만일 매칭되는 콘텐츠 식별정보가 존재하지 않는 경우, 콘텐츠 식별정보 목록에서 적어도 하나의 예비후보 콘텐츠를 선정하고, 모바일 단말기(20)로부터 수신한 부가정보와 식별정보 발신 스케줄 DB(340)의 발신 시간 정보 및/또는 발신 위치 정보의 비교에 기초하여, 예비후보 콘텐츠 중에서 하나 이상의 후보 콘텐츠를 선택하도록 구성될 수 있다. 이러한 제1 실시예에 대해서는 도5를 참조하여 후술하기로 한다.At this time, if there is no matching content identification information, at least one candidate candidate content is selected from the content identification information list, and additional information received from the
후보 콘테츠를 추출하는 제2 실시예로서, 후보 콘텐츠 추출부(310)가, 수신한 식별정보에 매칭되는 콘텐츠 식별정보가 콘텐츠 식별정보 목록에 존재하는지 판단하고, 매칭되는 콘텐츠 식별정보가 존재하는 경우 이 매칭된 콘텐츠 식별정보의 콘텐츠를 후보 콘텐츠로 선택하도록 구성되고, 이 때 만일 매칭되는 식별정보가 존재하지 않는 경우, 부가정보와 콘텐츠 식별정보 발신 스케줄 데이터베이스의 발신 시간 정보 및/또는 발신 위치 정보의 비교에 기초하여, 하나 이상의 후보 콘텐츠를 선택하도록 구성될 수 있다. 제2 실시예에 대해서는 도6을 참조하여 후술하기로 한다.As a second embodiment for extracting candidate contents, the candidate
후보 콘테츠를 추출하는 제3 실시예로서, 후보 콘텐츠 추출부(310)가, 수신한 상기 식별정보에 매칭되는 콘텐츠 식별정보가 콘텐츠 식별정보 목록에 존재하는지 판단하고, 매칭되는 콘텐츠 식별정보가 존재하는 경우 이 매칭된 콘텐츠 식별정보에 대해 수신한 부가정보 중 적어도 일부 부가정보를 콘텐츠 식별정보 발신 스케줄 DB(340)의 발신 시간 정보 및 발신 위치 정보와 비교하고, 비교된 모든 부가정보가 발신 시간 정보 및 발신 위치 정보와 매칭되는 경우 매칭된 콘텐츠 식별정보의 콘텐츠를 후보 콘텐츠로 선택할 수 있다. As a third embodiment of extracting the candidate content, the candidate
이 때 수신한 식별정보에 매칭되는 콘텐츠 식별정보가 존재하지 않는 경우, 예비후보 콘텐츠를 선정한 후 부가정보를 이용하여 최종 후보 콘텐츠를 추출할 수도 있고, 예비후보 콘텐츠 선정 없이 부가정보를 이용하여 곧바로 후보 콘텐츠를 추출할 수도 있다. 이에 대해서는 각각 도7과 도8을 각각 참조하여 후술하기로 한다. If the content identification information matching the received identification information does not exist, the candidate candidate content may be selected and then the final candidate content may be extracted using the additional information. Alternatively, the candidate information may be directly extracted using the additional information without selecting the candidate candidate content The content may be extracted. This will be described later with reference to FIGS. 7 and 8, respectively.
도3은 일 실시예에 따라 콘텐츠에 포함된 음파신호로부터 콘텐츠를 추정하는 방법을 설명하기 위한 흐름도이다. 3 is a flowchart illustrating a method of estimating a content from a sound signal included in a content according to an embodiment.
단계(S10)에서, 모바일 단말기(20)가 콘텐츠 재생 수단(10)에서 재생되는 콘텐츠 내의 비가청대역의 음파신호를 수신하고 이로부터 식별정보를 획득한다. 모바일 단말기(20)는 획득한 식별정보를 부가정보와 함께 서버 장치(30)로 전송한다. In step S10, the
콘텐츠 식별정보와 부가정보를 수신한 서버 장치(30)는, 식별정보 및 부가정보에 기초해서 적어도 하나의 후보 콘텐츠를 선택하고(단계 S20), 선택된 후보 콘텐츠에 관한 알림 정보를 모바일 단말기(20)로 전송한다(단계 S30). The
알림 정보를 수신한 모바일 단말기(20)는 알림 정보를 디스플레이하여 사용자에게 보여준다(단계 S40). 일 실시예에서, 복수개의 후보 콘텐츠에 대응하는 복수개의 알림 정보를 표시해야 할 경우, 후보 콘텐츠의 리스트나 그에 대응하는 알림 정보의 리스트만 디스플레이 할 수도 있다. The
사용자가 디스플레이되는 후보 콘텐츠 중에서 현재 보거나 듣고 있는 콘텐츠를 선택하면(단계 S50), 모바일 단말기(20)는 이 선택된 콘텐츠에 관한 추가 정보를 서버 장치(30)에 요청할 수 있다. 이에 따라 서버 장치(30)는 요청된 추가 정보를 모바일 단말기(20)로 전송하고(단계 S70) 모바일 단말기(20)는 이 추가 정보를 디스플레이한다(단계 S80). When the user selects a content that is currently being viewed or listened to (step S50), the
이 때 "추가 정보"는 예를 들어 알림 정보에 관한 보다 상세한 정보를 의미할 수 있다. 예를 들어 단계(S30)에서 모바일 단말기(20)로 전송된 알림 정보는 예컨대 특정 제품에 대한 할인행사가 있다는 간단한 정보만 포함하고, 단계(S70)에서 전송되는 추가 정보는 이 할인행사의 대상, 시기, 장소 등 구체적 정보를 포함할 수 있다. Here, "additional information" may mean more detailed information about the notification information, for example. For example, the notification information transmitted to the
대안적 실시예에서, 알림 정보 및 이에 대한 추가 정보가 단계(S30)에서 모두 모바일 단말기(20)로 전송될 수도 있고, 따라서 단계(S60,S70)의 절차가 생략될 수도 있다. In an alternative embodiment, the notification information and additional information thereon may all be sent to the
도4는 일 실시예에 따른 모바일 단말기의 동작을 설명하기 위한 흐름도로서, 도3의 단계(S10), 즉 모바일 단말기(20)에서 수행하는 단계를 보다 구체적으로 예시하여 나타내었다. FIG. 4 is a flow chart for explaining the operation of the mobile terminal according to an embodiment. More specifically, step S10 in FIG. 3, that is, steps performed in the
도면을 참조하면, 단계(S110)에서 모바일 단말기(20)가 사용자로부터 비가청음파 수신에 관한 이벤트를 수신한다. 즉 음파신호의 수신을 개시할 것을 명령하는 사용자 명령을 수신할 수 있다. Referring to the drawing, in step S110, the
이러한 사용자 명령은 구체적 실시 형태에 따라 다양하게 구현될 수 있다. 예를 들어 음파수신 및 식별정보 추출을 위한 애플리케이션 프로그램이 모바일 단말기(20)에 설치되어 있다고 전제하면, 단계(S110)는 이 애플리케이션을 실행하는 것을 의미할 수 있고, 대안적 실시예에서, 사용자가 이 애플리케이션을 실행한 후 음파신호 수신을 명령하는 사용자 입력을 수행하는 것을 의미할 수도 있다. 또 다른 예로서, 예컨대 이 애플리케이션을 실행하는 상태에서 사용자가 특정 동작(예컨대 모바일 단말기(20)를 소정 시간 간격 동안 흔드는 동작)을 수행하면 애플리케이션이 이 동작을 음파신호 수신 명령으로 인식할 수도 있다. These user commands may be variously implemented according to specific embodiments. Assuming, for example, that an application program for receiving sound waves and extracting identification information is installed in the
단계(S110)에서 음파신호 수신 개시 명령을 수신하면, 단계(S120)에서, 모바일 단말기(20)가 음파수신을 개시한다. 즉 현재 재생되는 콘텐츠의 비가청 음파대역의 음파신호를 수신한다. 이 때 예컨대 오디오 핑거프린트가 부가정보로서 포함되어 있는 경우, 모바일 단말기(20)는 콘텐츠의 가청대역의 음파신호도 함께 수신할 수도 있다. When receiving the sound wave signal reception start command in step S110, the mobile terminal 20 starts sound wave reception in step S120. That is, the sound wave signal of the non-audible sound wave band of the currently reproduced content. At this time, for example, when the audio fingerprint is included as the additional information, the
한편 구체적 실시예에 따라 단계S110)와 단계S120)는 서로 순서가 바뀌거나 둘 중 어느 한 단계가 생략될 수도 있다. Meanwhile, the steps S110 and S120 may be changed in order or may be omitted in accordance with a specific embodiment.
모바일 단말기(20)가 비가청 음파신호 수신기능을 작동하여 비가청 음파신호를 수신하면(S130_Yes) 비가청 음파신호로부터 콘텐츠 식별정보를 추출하고(S140), 식별정보를 부가정보와 함께 서버 장치(30)로 전송한다(S150). 이 때 부가정보는 도1 및 도2를 참조하여 설명한 바와 같이 비가청 음파신호를 수신할 때의 시간 정보와 위치 정보 등의 정보를 포함할 수 있고, 대안적 실시예에서, 오디오 핑거프린트 정보를 더 포함할 수 있다. When the
비가청 음파신호를 수신하지 못하는 경우(S130_No), 도시한 실시예에 따르면 식별정보 없이 부가정보만 서버 장치(30)로 전송하도록 구성할 수 있다(S160). 비가청 음파신호를 수신하지 못한 경우 아무런 정보를 서버 장치(30)로 전송하지 않고 따라서 모바일 단말기(20)에 아무 정보도 디스플레이하지 않을 수도 있겠지만, 본 발명의 바람직한 일 실시예에서는, 부가정보를 서버 장치(30)로 전송하여, 서버 장치(30)가 부가정보에 기초하여 후보 콘텐츠를 추정하고 이 후보 콘텐츠에 대응하는 알림 정보를 사용자에게 디스플레이 하도록 구성된다. 이와 같이 부가정보에만 기초하여 후보 콘텐츠를 추출하는 구성에 대해서는 도7을 참조하여 후술하기로 한다. In the case where the non-audible sound signal is not received (S130_No), according to the illustrated embodiment, only the additional information can be transmitted to the
도5는 도3에서의 단계(S20 및 S30)를 구체화한 예로서, 식별정보와 부가정보를 이용한 후보 콘텐츠 선택 방법의 제1 실시예를 나타낸다. Fig. 5 shows an embodiment of steps S20 and S30 in Fig. 3, and shows a first embodiment of a candidate content selection method using identification information and additional information.
도5를 참조하면, 단계(S210)에서, 서버 장치(30)는 수신한 식별정보에 매칭되는 콘텐츠 식별정보가 (예컨대 식별정보 발신 스케줄 DB(340)에) 기저장된 콘텐츠 식별정보 목록에 존재하는지 여부를 확인한다. 만일 매칭되는 콘텐츠 식별정보가 콘텐츠 식별정보 목록에 존재하는 경우(S220_Yes) 이 콘텐츠 식별정보의 콘텐츠를 후보 콘텐츠로 선택하고(단계 S230), 후보 콘텐츠에 관한 알림 정보를 (예컨대 알림 정보 DB(350)에서 가져와서) 모바일 단말기(20)로 전송한다(단계 S240). 5, in step S210, the
그러나 예컨대 콘텐츠 재생 수단(10)의 스피커의 노화나 주변 노이즈 등에 의해 모바일 단말기(20)가 올바른 식별정보를 추출하지 못했거나 올바른 식별정보를 추출했더라도 서버 장치(30)로 전송하는 과정에서 네트워크상 오류로 인해 서버 장치(30)가 올바른 식별정보를 수신하지 못하는 경우가 발생할 수 있고, 따라서 단계(S210)에서의 판단 결과 매칭되는 콘텐츠 식별정보가 존재하지 않는다고 판단될 수 있다. However, even if the
이와 같이 수신한 식별정보에 매칭되는 식별정보가 식별정보 목록에 없는 경우(S210_No), 서버 장치(30)는 기저장된 콘텐츠 식별정보 목록에서 적어도 하나의 예비후보 콘텐츠를 선정한다(S250). If the identification information matching the received identification information is not included in the identification information list (S210_No), the
이 때 상기 예비후보 콘텐츠를 선정하는 단계(S250)는 다양한 기준이나 방식에 따라 수행될 수 있으며, 도시한 일 실시예에서는 식별정보의 해밍 거리(hamming distance)를 산출하고 이에 기초하여 예비후보 콘텐츠를 선정한다. In this case, the step S250 of selecting the preliminary candidate content may be performed according to various criteria or a method. In the illustrated embodiment, the hamming distance of the identification information is calculated and based on the preliminary candidate content, .
구체적 예로서, 우선 단계(S251)에서, 수신한 식별정보와 식별정보 목록의 기저장된 식별정보들 간의 각각의 해밍 거리를 계산한다. 즉 수신한 식별정보와 식별정보 목록의 제1 식별정보와의 제1 해밍거리, 수신한 식별정보와 식별정보 목록의 제2 식별정보와의 제2 해밍거리,… 등과 같이 식별정보 목록의 각각의 식별정보와 수신한 식별정보와의 해밍거리를 계산한다. As a specific example, in step S251, each hamming distance between the received identification information and the previously stored identification information of the identification information list is calculated. A first hamming distance between the received identification information and the first identification information of the identification information list, a second hamming distance between the received identification information and the second identification information of the identification information list, And calculates the hamming distance between each identification information of the identification information list and the received identification information.
그 후 계산된 해밍거리 값을 정렬한 후 해밍거리 값이 작은 소정 개수의 식별정보에 대응하는 콘텐츠들을 예비후보 콘텐츠로서 선정할 수 있다(S252). 대안적으로, 소정 임계값 이하의 해밍거리 값을 갖는 식별정보를 예비후보 콘텐츠로서 선정할 수도 있다. After the calculated Hamming distance values are sorted, contents corresponding to a predetermined number of pieces of identification information having a small Hamming distance value may be selected as preliminary candidate contents (S252). Alternatively, identification information having a hamming distance value equal to or less than a predetermined threshold value may be selected as the reserve candidate content.
이렇게 예비후보 콘텐츠가 선정되면, 예비후보 콘텐츠들 중에서 부가정보에 기초하여 최종적으로 하나 이상의 후보 콘텐츠를 선택하고(S260), 선택된 후보 콘텐츠에 대한 알림 정보를 모바일 단말기(20)로 전송할 수 있다(S240).Once the preliminary candidate content is selected, one or more candidate contents are finally selected based on the additional information among the preliminary candidate contents (S260), and the notification information about the selected candidate content can be transmitted to the mobile terminal 20 (S240 ).
예비후보 콘텐츠들 중에서 하나 이상의 후보 콘텐츠를 선택하는 단계(S260)도 다양한 기준이나 방식으로 수행될 수 있다. Step S260 of selecting one or more candidate contents from the preliminary candidate contents may also be performed by various criteria or methods.
예를 들면, 부가정보에 대해 미리 우선순위를 설정할 수 있고, 우선순위가 높은 부가정보를 기준으로 후보 콘텐츠를 선택할 수 있다. 예컨대 부가정보 중 콘텐츠의 음파신호를 수신하는 시간 정보를 제1 순위로 설정했다고 가정하면, 모바일 단말기(20)로부터 수신한 부가정보 중의 시간 정보와 식별정보 발신 스케줄 DB(340)의 식별정보 발신 시간 목록의 시간 정보를 비교하여, 동일한 (또는 유사한, 또는 시간 범위가 겹치는) 시간 정보를 갖는 예비후보 콘텐츠를 후보 콘텐츠로서 선택할 수 있다. For example, the priority information can be set in advance for the additional information, and the candidate content can be selected based on the additional information having a higher priority. For example, if it is assumed that the time information for receiving the sound wave signal of the content among the additional information is set to the first rank, the time information in the additional information received from the
도6은 도3에서의 단계(S20 및 S30)를 구체화한 또 다른 예로서, 식별정보와 부가정보를 이용한 후보 콘텐츠 선택 방법의 제2 실시예를 나타낸다. Fig. 6 shows another embodiment of steps S20 and S30 in Fig. 3, and shows a second embodiment of a candidate content selection method using identification information and additional information.
도5와 비교할 때 도6의 단계(S310~S340)가 도5의 단계(S210~S240)와 동일 또는 유사하며 따라서 설명을 생략한다. 그러나 도6의 제2 실시예에 따르면, 수신한 식별정보에 매칭되는 식별정보가 식별정보 목록에 없는 경우(S310_No), 서버 장치(30)는 수신한 부가정보에 기초하여 후보 콘텐츠를 선택한다(S350). 즉 모바일 단말기(20)로부터 수신한 식별정보를 더 이상 이용하지 않고 부가정보에만 기초하여 후보 콘텐츠를 선택하고, 선택된 후보 콘텐츠에 대한 알림 정보를 모바일 단말기(20)로 전송할 수 있다(S340). Compared with FIG. 5, steps S310 to S340 in FIG. 6 are the same as or similar to steps S210 to S240 in FIG. 5, and therefore description thereof will be omitted. However, according to the second embodiment of FIG. 6, when the identification information matching the received identification information is not included in the identification information list (S310_No), the
이 때 부가정보에만 기초하여 후보 콘텐츠를 선택하는 단계(S350)는 여러 다양한 기준이나 방식에 따라 수행될 수 있으며, 본 발명의 일 실시예에 따르면 도7과 같이 우선순위를 이용할 수 있다. In this case, the step of selecting the candidate content based only on the additional information (S350) may be performed according to various criteria or methods, and according to an embodiment of the present invention, the priority may be used as shown in FIG.
도7은 부가정보를 이용한 후보 콘텐츠 선택 방법의 예시적 구성을 나타낸다. 이 예시적 방법은 도6의 단계(S350)의 구체적인 예일 수도 있고, 서버 장치(30)가 모바일 단말기(20)로부터 식별정보 없이 부가정보만 수신한 경우 서버 장치(30)에서 수행하는 단계들(즉 도4의 단계(S160) 이후의 단계들)의 구체적인 예일 수도 있다. 7 shows an exemplary configuration of a candidate content selection method using additional information. This exemplary method may be a specific example of the step S350 of FIG. 6 and may include steps (steps) performed by the
도7의 실시예에 따르면, 수신한 부가정보에 기초하여 하나 이상의 후보 콘텐츠를 선택하는 단계(S410)는, 부가정보에 우선순위가 미리 설정되어 있다고 가정할 때, 수신한 부가정보 중 우선순위가 높은 제1 부가정보에 대해, 제1 부가정보와 매칭되는 부가정보가 식별정보 발신 스케줄 DB(340)의 부가정보 데이터로 존재하는지를 판단한다(단계 S411).According to the embodiment of FIG. 7, in the step S410 of selecting one or more candidate contents based on the received additional information, when it is assumed that the priority of the supplementary information is preset, It is determined whether the additional information matched with the first additional information exists as additional information data of the identification information origination schedule DB 340 (step S411).
만일 수신한 제1 부가정보와 매칭되는 부가정보가 DB(340)에 존재하는 경우, 이 매칭되는 부가정보에 대응하는 콘텐츠의 전부 또는 일부를 후보 콘텐츠로 선택할 수 있고(단계 S413), If additional information matching the received first additional information exists in the
예컨대 부가정보 중 시간 정보를 제1 순위로 설정했다고 가정하면, 모바일 단말기(20)로부터 수신한 부가정보 중의 시간 정보와 식별정보 발신 스케줄 DB(340)의 식별정보 발신 시간 목록의 시간 정보를 비교하여, 동일한 (또는 유사한, 또는 시간 범위가 겹치는) 시간 정보를 갖는 모든 콘텐츠 또는 일부 콘텐츠를 후보 콘텐츠로서 선택할 수 있다. 이 때 제1 부가정보와 매칭되는 콘텐츠의 일부 콘텐츠만 후보 콘텐츠로 선택하고자 하는 경우, 예를 들어 제2 순위의 부가정보(예컨대 위치 정보)에 기초하여 이 작업을 수행할 수 있을 것이고, 그 외에 후보 콘텐츠를 선택하는 여러 다양한 방법이 존재할 수 있다. For example, if it is assumed that the time information among the additional information is set to the first rank, the time information in the additional information received from the
한편 제1 순위의 부가정보에 매칭되는 콘텐츠가 DB(340)에 존재하지 않는다면(단계 S412), 이것은 적절한 식별정보도 존재하지 않고 제1 순위 부가정보에 매칭되는 콘텐츠도 발견되지 않은 경우이므로 제2 순위 부가정보를 고려하지 않고 기설정된 프로세스에 따라 예외처리(예를 들어 에러 발생 사실을 모바일 단말기(20)에 통지하는 동작 등)를 수행할 수 있다(S414). 그러나 대안적 실시예에서, 제2 순위 부가정보, 제3 순위 부가정보 등 순차적 기준에 따라 후보 콘텐츠를 선정하여 이에 대한 알림 정보를 모바일 단말기(20)로 전송할 수도 있을 것이다. On the other hand, if the content matching the first rank of additional information is not present in the DB 340 (step S412), since there is no appropriate identification information and no content matching the first rank additional information is found, (E.g., notifying the
도8은 도3에서의 단계(S20 및 S30)를 구체화한 또 다른 예로서, 식별정보와 부가정보를 이용한 후보 콘텐츠 선택 방법의 제3 실시예를 나타낸다. FIG. 8 shows another embodiment of steps S20 and S30 in FIG. 3, and shows a third embodiment of a candidate content selection method using identification information and additional information.
도5의 제1 실시예와 비교할 때 도8의 단계(S510,S520)는 도5의 단계(S210,S220)와 동일 또는 유사하다. 그러나 도8의 제3 실시예에 따르면, 수신한 식별정보와 매칭되는 콘텐츠 식별정보가 존재하는 경우(S520_Yes), 이 매칭된 콘텐츠 식별정보의 콘텐츠를 곧바로 후보 콘텐츠로 선정하지 않고, 부가정보를 이용하여 올바른 콘텐츠인지 여부를 확인하는 절차를 더 포함한다. Compared with the first embodiment of FIG. 5, steps S510 and S520 of FIG. 8 are similar or similar to steps S210 and S220 of FIG. However, according to the third embodiment of FIG. 8, when there is the content identification information matching the received identification information (S520_Yes), the content of the matched content identification information is not directly selected as the candidate content, And determining whether the content is correct.
구체적으로, 단계(S530)에서, 매칭된 식별정보의 콘텐츠에 대해, 수신한 부가정보 중 적어도 일부 부가정보(예컨대 시간 정보, 위치 정보, 및 오디오 핑거프린트 정보 중 적어도 하나)를 식별정보 발신 스케줄 DB(340) 또는 핑거프린트 DB(350)에 저장된 부가정보 데이터와 비교하고(S530), 비교된 부가정보가 모두 매칭되는 경우(S540_Yes) 해당 콘텐츠를 후보 콘텐츠로 선택하고(S550) 이 후보 콘텐츠에 대한 알림 정보를 모바일 단말기(20)로 전송한다(S560). Specifically, in step S530, at least some additional information (for example, at least one of time information, location information, and audio fingerprint information) of the received additional information is transmitted to the identification information origination schedule DB The selected content is compared with the additional information data stored in the
그러나 단계(S530)의 비교 결과 일부 부가정보가 매칭되지 않는 경우(S540_No), 식별정보가 매칭된 콘텐츠(즉 단계 S510~S530을 통해 매칭된 콘텐츠)가 진정한 콘텐츠가 아닐 가능성도 있으므로 부가정보에 기초하여 후보 콘텐츠를 추가로 더 선정한다. 즉 매칭된 부가정보에 기초하여 하나 이상의 콘텐츠를 더 선정하고(S570), 이 추가로 선정한 콘텐츠 및 식별정보가 매칭된 콘텐츠를 모두 후보 콘텐츠로 선택하여 후보 콘텐츠에 관한 알림 정보를 모바일 단말기(20)로 전송할 수 있다. However, if it is determined in step S530 that some of the additional information is not matched (S540_No), the content matched with the identification information (i.e., the content matched through steps S510 to S530) may not be a true content. And further candidate contents are selected. In step S570, the
한편 단계(S520)에서, 수신한 식별정보와 매칭되는 식별정보가 DB(340)에 존재하지 않는 경우 예컨대 해밍거리를 산출하여 예비후보 콘텐츠를 선정하고(S580) 그 후 부가정보에 기초하여 후보 콘텐츠를 선택하는 절차(S590)를 수행할 수 있으며, 이 단계들(S580,S590)은 도5의 제1 실시예의 단계들(S250,S260)과 동일 또는 유사하므로 설명을 생략한다. On the other hand, if it is determined in step S520 that the identification information matching the received identification information does not exist in the
도9는 도3에서의 단계(S20 및 S30)를 구체화한 또 다른 예로서, 식별정보와 부가정보를 이용한 후보 콘텐츠 선택 방법의 제4 실시예를 나타낸다. FIG. 9 shows a fourth embodiment of a candidate content selection method using identification information and additional information as another example embodying the steps S20 and S30 in FIG.
도9의 제4 실시예의 단계들(S610~S670)은 도8의 제3 실시예의 단계들(S510~S570)과 동일 또는 유사하고, 도9에서 수신한 식별정보와 매칭되는 콘텐츠 식별정보가 DB(340)에 존재하지 않는 경우에 대한 단계(S680)는 도6의 제2 실시예의 단계(S350)와 동일 또는 유사하다. 따라서 도9에 대해서는 구체적 설명을 생략하기로 한다. The steps (S610 to S670) of the fourth embodiment of FIG. 9 are the same as or similar to the steps (S510 to S570) of the third embodiment of FIG. 8, and the content identification information matched with the identification information received in FIG. The step S680 for the case where the data is not present in the
이제 도10을 참조하여 본 발명의 콘텐츠 추정 방법이 적용되는 예시적 상황을 설명하기로 한다. An exemplary situation in which the content estimation method of the present invention is applied will now be described with reference to FIG.
도10은 일 예로서 영화관에서 콘텐츠를 재생할 때 본 발명의 일 실시예에 따라 콘텐츠를 추정하고 사용자에게 알림 정보를 디스플레이하는 방법을 나타낸다. 10 illustrates a method of estimating content and displaying notification information to a user when reproducing content in a movie theater according to an embodiment of the present invention.
우선 모바일 단말기(20)를 소지한 사용자가 어느 특정 영화관에 앉아있고 이 영화관의 콘텐츠 재생 수단(10)(예컨대 영화관의 스크린 및 스피커)을 통해 특정 제품의 광고("광고A")가 상영되고 있다고 가정한다(단계①). First, a user of the
사용자가 예컨대 모바일 단말기(20)를 일정 시간동안 흔드는 동작을 하여 음파신호의 수신 개시를 명령하면, 모바일 단말기(20)가 비가청대역 음파신호를 수신하여 광고A의 식별정보를 추출하고(단계②), 이 추출한 식별정보와 부가정보(음파신호를 수신할 때의 시간정보 및 위치정보 및 핑거프린트 중 적어도 하나)를 서버 장치(30)로 전송한다(단계③). When the user shakes the
서버 장치(30)는 수신한 식별정보와 부가정보에 기초하여 예를 들어 도5 내지 도9를 참조하여 설명한 실시예 중 하나에 따른 동작을 수행하여 후보 콘텐츠(예컨대 광고A, 광고B, 광고C,… 등)를 추출하고(단계④), 선택된 후보 콘텐츠에 관한 알림 정보를 모바일 단말기(20)로 전송한다(단계⑤). The
모바일 단말기(20)는 광고A, 광고B, 광고C 등의 후보 콘텐츠에 관한 알림 정보의 목록을 사용자에게 보여주고(단계⑥), 사용자가 현재 상영되는 특정 콘텐츠(즉 광고A)에 대응하는 알림 정보를 선택하면, 이 광고A에 대한 추가정보를 서버 장치(30)로부터 수신하여 사용자에게 디스플레이 할 수 있다(단계⑦). The
이와 같이 본 발명의 일 실시예에 따르면, 모바일 단말기가 콘텐츠에 포함된 비가청 음파를 정확히 수신하지 못하는 경우에도 기수신한 정보에 기초하여 해당 콘텐츠가 무엇인지 추정하고 이 콘텐츠에 연관된 정보들을 사용자에게 제공할 수 있으므로 사용자가 본 발명에 따른 비가청 음파를 이용한 서비스에 지속적으로 흥미를 느끼게 되고 향후에도 계속하여 이 서비스를 이용하도록 유도할 수 있는 장점이 있다. As described above, according to the embodiment of the present invention, even when the mobile terminal does not correctly receive the non-audible sound wave included in the content, it is possible to estimate what the corresponding content is based on, and provide information related to the content to the user The user is continuously interested in the service using the non-audible sound wave according to the present invention, and there is an advantage that the user can continue to use the service in the future.
지금까지 도면을 참조하여 본 발명의 실시예들을 설명하였지만 본 발명이 속하는 분야에서 통상의 지식을 가진 당업자라면 상술한 명세서의 기재로부터 다양한 수정 및 변형이 가능함을 이해할 것이다. 예를 들어 도10은 본 발명의 콘텐츠 추정 방법이 영화관에 사용되는 경우를 예로서 도시하였지만, 당업자는 본 발명의 다양한 실시예들이 각종 마트나 매장, TV 방송 등에 적용될 수 있음을 알 것이다. 또한 이렇게 여러 분야에 응용될 경우 콘텐츠 식별정보나 부가정보가 구체적 실시 형태에 따라 달라질 수 있음도 당업자는 이해할 것이다. 그러므로 본 발명의 범위는 설명된 실시예에 국한되어 정해져서는 아니되며 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다. While the embodiments of the present invention have been described with reference to the drawings, those skilled in the art will appreciate that various modifications and changes may be made by those skilled in the art without departing from the scope of the present invention. For example, although FIG. 10 shows an example in which the content estimation method of the present invention is used in a movie theater, those skilled in the art will appreciate that various embodiments of the present invention can be applied to various marts, stores, TV broadcasts and the like. It will also be understood by those skilled in the art that the content identification information and the additional information may vary depending on the specific embodiment when applied to various fields. Therefore, the scope of the present invention should not be limited by the described embodiments, but should be determined by the scope of the appended claims, as well as the appended claims.
10: 콘텐츠 재생 수단
20: 모바일 단말기
30: 서버 장치 10: Content playback means
20: Mobile terminal
30: Server device
Claims (24)
서버 장치가 모바일 단말기로부터 콘텐츠 식별정보 및 부가정보를 수신하는 단계; 및
수신한 상기 식별정보 및 부가정보에 기초해서 적어도 하나의 후보 콘텐츠를 선택하는 단계(S20);를 포함하고,
상기 식별정보는 콘텐츠의 음파신호에 포함되고 콘텐츠를 다른 콘텐츠와 구별하는 정보로서, 상기 모바일 단말기가 음파신호를 수신하여 이 음파신호에서 추출한 정보이고,
상기 부가정보는 상기 모바일 단말기가 상기 음파신호를 수신할 때의 모바일 단말기의 위치정보 또는 시간정보 중 적어도 하나를 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. A content estimation method by a server apparatus for estimating a content from a sound wave signal included in a content,
The server device receiving the content identification information and the additional information from the mobile terminal; And
(S20) selecting at least one candidate content based on the received identification information and the additional information,
The identification information is information included in the sound wave signal of the content and distinguishing the content from other contents. The identification information is information extracted from the sound wave signal by the mobile terminal,
Wherein the additional information includes at least one of location information or time information of the mobile terminal when the mobile terminal receives the sound wave signal.
상기 식별정보는 각각의 콘텐츠를 식별하는 소정 길이의 디지털 비트를 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. The method according to claim 1,
Wherein the identification information includes a digital bit of a predetermined length identifying each content.
상기 음파신호가 상기 콘텐츠의 오디오 핑거프린트를 더 포함하고,
상기 부가정보는 상기 모바일 단말기에 의해 음파신호에서 추출된 상기 콘텐츠의 오디오 핑거프린트를 더 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. The method according to claim 1,
Wherein the sound wave signal further comprises an audio fingerprint of the content,
Wherein the additional information further comprises an audio fingerprint of the content extracted from the sound signal by the mobile terminal.
서버 장치가 선택된 상기 후보 콘텐츠에 관한 알림 정보를 상기 모바일 단말기로 전송하는 단계(S30);를 더 포함하고,
상기 알림 정보는 상기 후보 콘텐츠와 관련하여 상기 모바일 단말기의 사용자에게 공지할 정보를 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. The method according to claim 1,
(S30) of transmitting notification information about the candidate content selected by the server device to the mobile terminal,
Wherein the notification information includes information to be notified to a user of the mobile terminal in association with the candidate content.
수신한 상기 식별정보에 매칭되는 콘텐츠 식별정보가 기저장된 콘텐츠 식별정보 목록에 존재하는지 여부를 확인하는 단계(S210); 및
매칭되는 콘텐츠 식별정보가 존재하는 경우, 이 콘텐츠 식별정보의 콘텐츠를 후보 콘텐츠로 선택하는 단계(S230);를 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. 2. The method of claim 1, wherein the selecting (S20)
Determining whether content identification information matched with the received identification information exists in the pre-stored content identification information list (S210); And
And selecting (S230) the content of the content identification information as the candidate content if the matching content identification information exists.
상기 기저장된 콘텐츠 식별정보 목록에서 적어도 하나의 예비후보 콘텐츠를 선정하는 단계(S250); 및
선정된 상기 예비후보 콘텐츠 중에서, 상기 부가정보에 기초하여 하나 이상의 후보 콘텐츠를 선택하는 단계(S260);를 더 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. 6. The method according to claim 5, wherein, when matching content identification information does not exist,
Selecting at least one preliminary candidate content from the pre-stored content identification information list (S250); And
And selecting (S260) one or more candidate contents based on the additional information among the selected candidate contents.
수신한 식별정보와 상기 식별정보 목록의 기저장된 식별정보들 간의 각각의 해밍거리(hamming distance)를 산출하는 단계(S251); 및
해밍거리 값이 작은 소정 개수의 식별정보 또는 소정 임계값 이하의 해밍거리 값을 갖는 식별정보를 예비후보 콘텐츠로서 선정하는 단계(S252);를 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. 7. The method of claim 6, wherein the selecting of the preliminary candidate content (S250)
A step (S251) of calculating a hamming distance between the received identification information and the previously stored identification information of the identification information list; And
And a step (S252) of selecting identification information having a predetermined number of pieces of identification information having a small hamming distance value or a hamming distance value of a predetermined threshold value or less as reserved candidate contents.
매칭되는 콘텐츠 식별정보가 존재하지 않는 경우, 상기 부가정보에 기초하여 하나 이상의 후보 콘텐츠를 선택하는 단계(S350);를 더 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. 6. The method of claim 5,
And selecting (S350) one or more candidate contents based on the additional information if matching content identification information does not exist.
수신한 부가정보 중 우선순위가 높은 제1 부가정보에 대해, 제1 부가정보와 매칭되는 부가정보가 기저장된 부가정보 데이터에 존재하는지 판단하는 단계(S411); 및
매칭되는 부가정보가 존재하는 경우, 이 매칭되는 부가정보에 대응하는 콘텐츠의 전부 또는 일부를 후보 콘텐츠로 선택하는 단계(S413);를 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. 9. The method of claim 8, wherein selecting one or more candidate content based on the side information comprises:
(S411) whether or not the additional information matching with the first additional information exists in the previously stored additional information data with respect to the first additional information having higher priority among the received additional information; And
And selecting (S413) all or a part of the content corresponding to the matching additional information as the candidate content if the matching additional information exists.
수신한 상기 식별정보에 매칭되는 콘텐츠 식별정보가 기저장된 콘텐츠 식별정보 목록에 존재하는지 여부를 확인하는 단계(S510);
매칭되는 콘텐츠 식별정보가 존재하는 경우, 이 매칭된 콘텐츠 식별정보에 대해 수신한 부가정보 중 적어도 일부 부가정보를 기저장된 부가정보 데이터와 비교하는 단계(S530); 및
비교된 모든 부가정보가 상기 기저장된 부가정보 데이터와 매칭되는 경우, 상기 매칭된 콘텐츠 식별정보의 콘텐츠를 후보 콘텐츠로 선택하는 단계(S550);를 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. 2. The method of claim 1, wherein the selecting (S20)
Confirming whether the content identification information matched with the received identification information exists in the pre-stored content identification information list (S510);
(S530) comparing at least some additional information of the received additional information with previously stored additional information data, if there is matching content identification information; And
And selecting (S550) the content of the matched content identification information as the candidate content if all the compared additional information matches the previously stored additional information data.
상기 비교된 부가정보 중 일부가 상기 기저장된 부가정보 데이터와 매칭되지 않는 경우, 상기 비교된 부가정보 중 매칭된 나머지 일부 부가정보에 기초하여 하나 이상의 후보 콘텐츠를 선택하는 단계(S570);를 더 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. 11. The method of claim 10,
And selecting (S570) one or more candidate contents based on the remaining remaining partial additional information among the compared additional information if a part of the compared additional information does not match the previously stored additional information data And estimating the content.
상기 기저장된 콘텐츠 식별정보 목록에서 적어도 하나의 예비후보 콘텐츠를 선정하는 단계(S580); 및
선정된 상기 예비후보 콘텐츠 중에서, 상기 부가정보에 기초하여 하나 이상의 후보 콘텐츠를 선택하는 단계(S590);를 더 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. 11. The method according to claim 10, wherein, when matching content identification information does not exist,
Selecting at least one preliminary candidate content from the pre-stored content identification information list (S580); And
And selecting (S590) one or more candidate contents based on the additional information among the selected candidate candidate contents (S590).
수신한 식별정보와 상기 식별정보 목록의 기저장된 식별정보들 간의 각각의 해밍거리(hamming distance)를 산출하는 단계(S581); 및
해밍거리 값이 작은 소정 개수의 식별정보 또는 소정 임계값 이하의 해밍거리 값을 갖는 식별정보를 예비후보 콘텐츠로서 선정하는 단계(S582);를 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. 13. The method of claim 12, wherein the selecting of the preliminary candidate content (S580)
Calculating (S581) a respective hamming distance between the received identification information and the previously stored identification information of the identification information list; And
(S582) of selecting a predetermined number of pieces of identification information having a small hamming distance value or identification information having a hamming distance value equal to or less than a predetermined threshold value as reserved candidate contents.
매칭되는 콘텐츠 식별정보가 존재하지 않는 경우, 상기 부가정보에 기초하여 하나 이상의 후보 콘텐츠를 선택하는 단계(S680);를 더 포함하는 것을 특징으로 하는 콘텐츠 추정 방법. 11. The method of claim 10,
And selecting (S680) at least one candidate content based on the additional information if matching content identification information does not exist.
모바일 단말기로부터 수신한 콘텐츠 식별정보 및 부가정보에 기초하여 적어도 하나의 후보 콘텐츠를 선택하도록 구성된 후보 콘텐츠 추출부를 포함하고,
이 때 상기 식별정보는 콘텐츠의 음파신호에 포함되고 콘텐츠를 다른 콘텐츠와 구별하는 정보로서, 상기 모바일 단말기가 음파신호를 수신하여 이 음파신호에서 추출한 정보이고,
상기 부가정보는 상기 모바일 단말기가 상기 음파신호를 수신할 때의 모바일 단말기의 위치정보 또는 시간정보 중 적어도 하나를 포함하는 것을 특징으로 하는 서버 장치. A server apparatus for estimating a content from a sound wave signal included in a content,
And a candidate content extracting unit configured to select at least one candidate content based on the content identification information and the additional information received from the mobile terminal,
The identification information is information included in the sound wave signal of the content and distinguishing the content from other contents. The identification information is information extracted from the sound wave signal by the mobile terminal,
Wherein the additional information includes at least one of position information or time information of the mobile terminal when the mobile terminal receives the sound wave signal.
상기 서버 장치가, 상기 후보 콘텐츠 추출부에 의해 선택된 후보 콘텐츠에 관한 알림 정보를 상기 모바일 단말기로 전송하도록 구성되고,
상기 알림 정보는 상기 후보 콘텐츠와 관련하여 상기 모바일 단말기의 사용자에게 공지할 정보를 포함하는 것을 특징으로 하는 서버 장치. 16. The method of claim 15,
Wherein the server apparatus is configured to transmit notification information on candidate contents selected by the candidate content extracting unit to the mobile terminal,
Wherein the notification information includes information to be notified to a user of the mobile terminal in association with the candidate content.
상기 후보 콘텐츠 추출부가 상기 적어도 하나의 후보 콘텐츠의 선택을 위해 콘텐츠 식별정보 발신 스케줄 데이터베이스와 통신하도록 구성되고,
상기 콘텐츠 식별정보 발신 스케줄 데이터베이스는,
콘텐츠 식별정보 목록;
상기 목록의 각 콘텐츠 식별정보에 대해, 해당 콘텐츠 식별정보가 상기 모바일 단말기의 사용자에게 발신될 때의 발신 시간 정보; 및
상기 목록의 각 콘텐츠 식별정보에 대해, 해당 콘텐츠 식별정보가 상기 모바일 단말기의 사용자에게 발신될 때의 발신 위치 정보;를 포함하는 것을 특징으로 하는 서버 장치. 16. The method of claim 15,
Wherein the candidate content extractor is configured to communicate with a content identification information originating schedule database for selection of the at least one candidate content,
Wherein the content identification information origination schedule database comprises:
A content identification information list;
Out time information when the content identification information is transmitted to the user of the mobile terminal, for each content identification information in the list; And
And source location information when each content identification information in the list is transmitted to a user of the mobile terminal.
상기 발신 시간 정보가 상기 식별정보를 포함하는 콘텐츠가 재생될 때의 재생 시간 정보를 포함하거나, 또는,
상기 발신 위치 정보가 상기 식별정보를 포함하는 콘텐츠가 재생될 때의 재생 위치 정보를 포함하는 것을 특징으로 하는 서버 장치. 18. The method of claim 17,
Wherein the broadcast time information includes play time information when a content including the identification information is played back,
Wherein the transmission position information includes reproduction position information when a content including the identification information is reproduced.
상기 후보 콘텐츠 추출부는, 수신한 상기 식별정보에 매칭되는 콘텐츠 식별정보가 상기 콘텐츠 식별정보 목록에 존재하는지 판단하고, 매칭되는 콘텐츠 식별정보가 존재하는 경우 이 매칭된 콘텐츠 식별정보의 콘텐츠를 후보 콘텐츠로 선택하도록 구성되는 것을 특징으로 하는 서버 장치. 16. The method of claim 15,
Wherein the candidate content extracting unit determines whether content identification information matched with the received identification information is present in the content identification information list and, if matching content identification information exists, extracts the content of the matched content identification information as candidate content Wherein the server apparatus is configured to select the server apparatus.
상기 후보 콘텐츠 추출부는, 상기 매칭되는 콘텐츠 식별정보가 존재하지 않는 경우, 상기 콘텐츠 식별정보 목록에서 적어도 하나의 예비후보 콘텐츠를 선정하고, 상기 부가정보와 상기 콘텐츠 식별정보 발신 스케줄 데이터베이스의 상기 발신 시간 정보 및 발신 위치 정보의 비교에 기초하여, 상기 예비후보 콘텐츠 중에서 하나 이상의 후보 콘텐츠를 선택하도록 구성되는 것을 특징으로 하는 서버 장치. 20. The method of claim 19,
Wherein the candidate content extracting unit selects at least one candidate candidate content from the content identification information list when the matching content identification information does not exist and adds the additional information and the origination time information of the content identification information origination schedule database And selecting one or more candidate contents out of the preliminary candidate contents based on a comparison of the transmission position information and the transmission position information.
상기 서버 장치가 해밍거리(hamming distance) 산출부를 더 포함하고,
상기 해밍거리 산출부는, 수신한 식별정보와 상기 콘텐츠 식별정보 발신 스케줄 데이터베이스의 콘텐츠 식별정보 목록의 식별정보들 간의 각각의 해밍거리를 산출하도록 구성되고,
상기 후보 콘텐츠 추출부는, 상기 예비후보 콘텐츠를 선정할 때, 해밍거리 값이 작은 소정 개수의 식별정보 또는 소정 임계값 이하의 해밍거리 값을 갖는 식별정보를 예비후보 콘텐츠로서 선정하도록 구성되는 것을 특징으로 하는 서버 장치. 21. The method of claim 20,
Wherein the server apparatus further comprises a hamming distance calculating unit,
Wherein the hamming distance calculating unit is configured to calculate respective hamming distances between the received identification information and the identification information of the content identification information list of the content identification information originating schedule database,
And the candidate content extracting unit is configured to select, as the reserve candidate content, a predetermined number of pieces of identification information having a small Hamming distance value or identification information having a hamming distance value of a predetermined threshold value or less when the preliminary candidate content is selected Lt; / RTI >
상기 후보 콘텐츠 추출부는, 상기 매칭되는 콘텐츠 식별정보가 존재하지 않는 경우, 상기 부가정보와 상기 콘텐츠 식별정보 발신 스케줄 데이터베이스의 상기 발신 시간 정보 및 발신 위치 정보의 비교에 기초하여, 하나 이상의 후보 콘텐츠를 선택하도록 구성되는 것을 특징으로 하는 서버 장치. 20. The method of claim 19,
The candidate content extracting unit may select one or more candidate contents based on the comparison of the additional information and the outgoing time information and the outgoing position information of the content identification information originating schedule database when the matching content identification information does not exist The server apparatus comprising:
상기 후보 콘텐츠 추출부는, 수신한 상기 식별정보에 매칭되는 콘텐츠 식별정보가 상기 콘텐츠 식별정보 목록에 존재하는지 판단하고, 매칭되는 콘텐츠 식별정보가 존재하는 경우 이 매칭된 콘텐츠 식별정보에 대해 수신한 부가정보 중 적어도 일부 부가정보를 상기 콘텐츠 식별정보 발신 스케줄 데이터베이스의 발신 시간 정보 및 발신 위치 정보와 비교하고, 비교된 모든 부가정보가 상기 발신 시간 정보 및 발신 위치 정보와 매칭되는 경우 상기 매칭된 콘텐츠 식별정보의 콘텐츠를 후보 콘텐츠로 선택하도록 구성되는 것을 특징으로 하는 서버 장치. 16. The method of claim 15,
The candidate content extracting unit may determine whether the content identification information matched with the received identification information is present in the content identification information list, and if the matched content identification information exists, Compares at least some additional information with the calling time information and the calling location information of the content identification information origination schedule database and, when all the compared additional information matches the calling time information and the calling location information, And selects the content as the candidate content.
상기 후보 콘텐츠 추출부가 콘텐츠 핑거프린트 데이터베이스를 참조하도록 구성되고,
상기 콘텐츠 핑거프린트 데이터베이스는, 각각의 콘텐츠에 대해 각 콘텐츠를 특정할 수 있도록 각 콘텐츠에 적어도 하나씩 포함되어 있는 오디오 핑거프린트 데이터를 포함하고,
상기 부가정보는 상기 오디오 핑거프린트 데이터를 더 포함하는 것을 특징으로 하는 서버 장치. 16. The method of claim 15,
Wherein the candidate content extracting unit is configured to refer to a content fingerprint database,
Wherein the content fingerprint database includes audio fingerprint data included in at least one content for each content so as to specify each content,
Wherein the additional information further includes the audio fingerprint data.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160112704A KR20180025697A (en) | 2016-09-01 | 2016-09-01 | Method and apparatus for presuming contents based on sound wave signal included in contents |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160112704A KR20180025697A (en) | 2016-09-01 | 2016-09-01 | Method and apparatus for presuming contents based on sound wave signal included in contents |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| KR20180025697A true KR20180025697A (en) | 2018-03-09 |
Family
ID=61728177
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160112704A KR20180025697A (en) | 2016-09-01 | 2016-09-01 | Method and apparatus for presuming contents based on sound wave signal included in contents |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR20180025697A (en) |
-
2016
- 2016-09-01 KR KR1020160112704A patent/KR20180025697A/en not_active Application Discontinuation
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US10469907B2 (en) | Signal processing method for determining audience rating of media, and additional information inserting apparatus, media reproducing apparatus and audience rating determining apparatus for performing the same method | |
| US20130301392A1 (en) | Methods and apparatuses for communication of audio tokens | |
| KR101358807B1 (en) | Method for synchronizing program between multi-device using digital watermark and system for implementing the same | |
| CN104361847B (en) | It is a kind of that interactive advertisement play system and method are carried out by audio | |
| CN107785037B (en) | Method, system, and medium for synchronizing media content using audio time codes | |
| KR101902426B1 (en) | System, method and recordable medium for providing related contents at low power | |
| EP1600871A1 (en) | Timing decision apparatus and timing decision method | |
| JP2010523068A (en) | How to determine a point in time in an audio signal | |
| US11902632B2 (en) | Timely addition of human-perceptible audio to mask an audio watermark | |
| US20200228215A1 (en) | Augmenting content for over-the -air broadcast radio (am or fm) in connected radio and/or on mobile applications synchronized with over-the-air broadcast radio | |
| US11277660B2 (en) | Synchronizing audio of a secondary-language audio track | |
| US10560207B2 (en) | System and method for providing targeted secondary content delivery | |
| JP2004213570A (en) | Information providing method | |
| KR20180025697A (en) | Method and apparatus for presuming contents based on sound wave signal included in contents | |
| KR20180025694A (en) | Method and apparatus for presuming contents based on sound wave signal included in contents | |
| KR20140126237A (en) | System, method and recordable medium for providing related contents at low power | |
| KR20170123991A (en) | Sound wave processing method and system for generating broadcasting program including non-audible sound wave, and method and system for providing contents on demand using the sound wave processing system | |
| KR102524066B1 (en) | Method and apparatus for indentifying device in a web-based way | |
| KR100780542B1 (en) | System and method for recognition of music linked mobile communication network to broadcasting network | |
| KR20170123994A (en) | Sound wave processing method and system for generating broadcasting program including non-audible sound wave, and method and system for providing contents on demand using the sound wave processing system | |
| JP2010154010A (en) | Mobile terminal, broadcast service presenting method, and program | |
| KR20170123586A (en) | Sound wave processing method and system for generating broadcasting program including non-audible sound wave, and method and system for providing contents on demand using the sound wave processing system | |
| KR20170123995A (en) | Sound wave processing method and system for generating broadcasting program including non-audible sound wave, and method and system for providing contents on demand using the sound wave processing system | |
| KR20170123997A (en) | Sound wave processing method and system for generating broadcasting program including non-audible sound wave, and method and system for providing contents on demand using the sound wave processing system | |
| KR20170085237A (en) | Subtile Providing System |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| E902 | Notification of reason for refusal | ||
| E601 | Decision to refuse application |