KR101902426B1

KR101902426B1 - 저 전력 연관 콘텐츠 제공 시스템, 방법, 및 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체

Info

Publication number: KR101902426B1
Application number: KR1020140059877A
Authority: KR
Inventors: 김태현
Original assignee: 주식회사 사운들리
Priority date: 2014-03-11
Filing date: 2014-05-19
Publication date: 2018-09-28
Also published as: JP2017515429A; KR20150106300A; JP6454741B2; US9794620B2; KR20150106301A; KR20150106299A; CN106256131A; EP3118850A1; EP3118850A4; US20170019703A1

Abstract

콘텐츠('주 콘텐츠'라고 함)를 재생하는 콘텐츠 재생기기로부터 출력되는 음향을 감지하는 단계, 감지한 음향을 디지털 데이터로 변환하는 단계, 디지털 데이터로부터 음파 ID를 추출하는 단계, 음파 ID에 대응되는 연관 콘텐츠를 선택하는 단계; 및 연관 콘텐츠를 모바일 수신기가 영상 및/또는 음성으로 표시하는 단계를 포함하는 것을 특징으로 하는 연관 콘텐츠 제공 방법이 제공된다.

Description

저 전력 연관 콘텐츠 제공 시스템, 방법, 및 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체{SYSTEM, METHOD AND RECORDABLE MEDIUM FOR PROVIDING RELATED CONTENTS AT LOW POWER}

본 발명은 콘텐츠에 포함된 음향을 저 전력으로 수신하여, 연관 콘텐츠를 제공하는 저 전력 연관 콘텐츠 제공 시스템, 방법, 및 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체에 관한 것이다.

종래의 상품 광고는 신문, 라디오 및 TV 방송을 통한 직접적인 광고뿐만 아니라 영화, 드라마, 라디오 방송 등의 콘텐츠에 등장하는 소품 혹은 자연스럽게 콘텐츠의 일부로 언급 되는 상품에 광고하고자 하는 상품을 적용하여 간접적으로 상품을 광고하는 기법(이하 상품 간접 광고 혹은 간접 광고) 등이 광범위하게 사용되고 있다. 특히 상품 간접 광고의 경우는 시청자 및 청취자에게 강한 광고 효과를 제공하기 때문에 그 비중이 점점 높아지고 있다. 그러나 종래 간접 광고의 경우 단순하게 화면에 상품을 노출하거나 음향으로 언급하는 정도로 그친다. 이 때문에 시청자 혹은 청취자는 상품에 대한 구매욕구가 발생한 경우에도 상품에 대한 관련 정보와 판매처를 별도로 검색한 후 검색된 정보를 바탕으로 상품을 구매해야 하는 문제점이 있으며, 이러한 문제점을 해결하기 위한 기술들이 제안되고 있다. 예를 들면, 한국특허등록번호 10-1310943호 (2013. 9. 11) (방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법), 한국특허등록번호 10-1313293호 (2013. 9. 24) (방송콘텐츠의 부가정보 제공 시스템 및 그 방법), 한국특허등록번호 10-0893671호 (2009. 4. 9) (멀티미디어 콘텐트의 해시들의 생성 및 매칭)에서는 방송 혹은 재생되는 콘텐츠의 음향 특징을 이용하여, 시청자 혹은 청취자의 모바일 수신기에서 시청 혹은 청취하고 있는 콘텐츠에 포함된 상품 간접 광고에 대한 연관 콘텐츠를 제공하는 방법을 개시하고 있다. 또 다른 일예를 들면, 한국특허등록번호 10-1363454호 (2014. 2. 10) (TV로부터 출력되는 음향 신호에 기초한 사용자 맞춤형 광고 제공 시스템, 사용자 맞춤형 광고를 제공하는 방법, 및 MIM 서비스 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체)에서는 방송 혹은 재생되는 콘텐츠에 비 가청 음파를 삽입하여, 시청자 혹은 청취자의 모바일 수신기에서 시청 혹은 청취하고 있는 콘텐츠에 포함된 상품 간접 광고에 대한 연관 콘텐츠를 제공하는 방법을 개시하고 있다.

하지만, 위 개시된 기술들에서는 시청자 혹은 청취자가 모바일 수신기를 이용해 적극적으로 연관 콘텐츠를 요청해야 하는 문제점이 여전히 존재한다. 즉, 콘텐츠 재생 시에 연관 콘텐츠를 수신하기 위해서 모바일 수신기의 애플리케이션을 실행한다거나, 연관 콘텐츠를 제공하는 모바일 수신기의 애플리케이션에 콘텐츠 인식을 지시하여야 한다. 이와 같이 연관 콘텐츠를 수신하는 데 있어 별도의 노력이 필요한 것은, 수동적으로 콘텐츠를 즐기는 시청자 혹은 청취자의 행동 패턴에 반대되거나, 별도의 노력을 하는 것이 시청자 혹은 청취자의 몰입을 방해하기 때문에, 제공되는 연관 콘텐츠의 효용이 떨어질 수 있다.

한편, 그러한 문제는 모바일 수신기가 음향 특징 혹은 비 가청 음파를 지속적으로 추출함으로써 해결될 수 있으나, 이는 제한된 배터리로 동작하는 모바일 수신기에게 전력 부족 문제를 발생시킨다.

본 발명의 일 실시예에 따르면, 상시 저 전력으로 동작하면서 시청 혹은 청취 중인 주 콘텐츠에 대한 연관 콘텐츠를 시청자 혹은 청취자가 적극적으로 찾지 않아도 자동으로 제공할 수 있는 저 전력 연관 콘텐츠 제공 시스템이 제공될 수 있다.

발명의 일 실시예에 따르면, 콘텐츠 재생기기를 통해서 방송 혹은 재생되는 주 콘텐츠에 포함된 음파 ID를 저 전력으로 추출하여 시청자 혹은 청취자인 사용자의 모바일 수신기를 통해 사용자의 별도 노력 없이 혹은 사용자의 주 콘텐츠에 대한 몰입을 방해하지 않으면서 주 콘텐츠에 포함된 간접 광고 상품에 대한 연관 콘텐츠를 제공하는 저 전력 연관 콘텐츠 제공 시스템이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 상시 저 전력으로 동작하면서 시청 혹은 청취 중인 주 콘텐츠에 대한 연관 콘텐츠를 시청자 혹은 청취자가 적극적으로 찾지 않아도 자동으로 제공할 수 있는 저 전력 연관 콘텐츠 제공 방법이 필요하다.

발명의 일 실시예에 따르면, 콘텐츠 재생기기를 통해서 방송 혹은 재생되는 주 콘텐츠에 포함된 음파 ID를 저 전력으로 추출하여 시청자 혹은 청취자인 사용자의 모바일 수신기를 통해 사용자의 별도 노력 없이 혹은 사용자의 주 콘텐츠에 대한 몰입을 방해하지 않으면서 콘텐츠에 포함된 간접 광고 상품에 대한연관 콘텐츠를 제공하는 방법이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 상시 저 전력으로 동작하면서 시청 혹은 청취 중인 주 콘텐츠의 연관 콘텐츠를 시청자 혹은 청취자가 적극적으로 찾지 않아도 자동으로 제공할 수 있는 저 전력 연관 콘텐츠 제공 방법을 컴퓨터로 실행시키는 프로그램이 기록된 기록매체가 제공될 수 있다.

발명의 일 실시예에 따르면, 콘텐츠 재생기기를 통해서 방송 혹은 재생되는 주 콘텐츠에 포함된 음파 ID를 저 전력으로 추출하여 시청자 혹은 청취자인 사용자의 모바일 수신기를 통해 사용자의 별도 노력 없이 혹은 사용자의 주 콘텐츠에 대한 몰입을 방해하지 않으면서 주 콘텐츠에 포함된 간접 광고 상품에 대한 연관 콘텐츠를 제공하는 방법을 컴퓨터로 실행시키는 프로그램이 기록된 기록매체가 제공될 수 있다.

본 발명의 일 실시예에 따르면, 저 전력 연관 콘텐츠 제공 시스템, 방법, 또는 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.

본 발명의 일 실시예에 따르면, 콘텐츠('주 콘텐츠'라고 함)를 재생하는 콘텐츠 재생기기로부터 출력되는 음향을 감지하는 단계; 감지한 상기 음향을 디지털 데이터로 변환하는 단계; 상기 디지털 데이터로부터 음파 ID를 추출하는 단계; 상기 음파 ID에 대응되는 연관 콘텐츠를 선택하는 단계; 및 상기 연관 콘텐츠를 모바일 수신기가 영상 및/또는 음성으로 표시하는 단계;를 포함하는 것을 특징으로 하는 연관 콘텐츠 제공 방법이 제공될 수 있다.

본 발명의 일 실시예에 따르면, 메모리 및 프로세서를 포함하는 모바일 수신기에 있어서, 콘텐츠('주 콘텐츠'라고 함)를 재생하는 콘텐츠 재생기기로부터 출력되는 음향을 감지하는 마이크; 상기 마이크가 감지한 음향을 디지털 데이터로 변환하는 ADC; 상기 디지털 데이터로부터 음파 ID를 추출하는 음파 ID 추출부; 상기 음파 ID에 대응되어 선택된 연관 콘텐츠를 표시하는 표시부;를 포함하는 것을 특징으로 하는 연관 콘텐츠를 제공할 수 있는 모바일 수신기가 제공될 수 있다.

본 발명의 일 실시예에 따르면, 메모리, 프로세서, 콘텐츠('주 콘텐츠'라고 함)를 재생하는 콘텐츠 재생기기로부터 출력되는 음향을 감지하는 마이크, 상기 마이크가 감지한 음향을 디지털 데이터로 변환하는 ADC를 포함하는 컴퓨터에 연관 콘텐츠 제공 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체에 있어서, 상기 연관 콘텐츠 제공 방법은, 상기 디지털 데이터로부터 음파 ID를 추출하는 단계; 및 상기 음파 ID에 대응되어 선택된 연관 콘텐츠를 상기 컴퓨터가 구비한 표시부를 통해서 표시하는 단계; 를 포함하는 것을 특징으로 하는 연관 콘텐츠 제공 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체가 제공될 수 있다.

본 발명의 하나 이상의 실시예에 따르면, 콘텐츠 재생기기를 통해서 방송 혹은 재생되는 주 콘텐츠에 포함된 음파 ID를 저 전력으로 추출하여 시청자 혹은 청취자인 사용자의 모바일 수신기를 통해 사용자의 별도 노력 없이 혹은 사용자의 주 콘텐츠에 대한 몰입을 방해하지 않으면서 주 콘텐츠에 포함된 간접 광고 상품에 대한 연관 콘텐츠를 제공할 수 있다.

도 1은 본 발명의 일 실시예에 따른 연관 콘텐츠를 음파 ID를 이용하여 제공하는 연관 콘텐츠 제공 시스템을 설명하기 위한 도면이다.
도 2는 모바일 수신기의 일 실시예를 설명하기 위한 도면이다.
도 3은 모바일 수신기의 다른 실시예를 설명하기 위한 도면이다.
도 4는 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법을 설명하기 위한 도면이다.
도 7은 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법을 설명하기 위한 도면이다.
도 8은 주 콘텐츠를 설명하기 위한 도면이다.
도 9는 음향인식모듈이 저 전력으로 동작하기 위해 정해진 주기에 따라 활성화되는 것을 설명하기 위한 도면이다.
도 10은 음향인식모듈이 주 콘텐츠의 방송 및 재생시간 중 음파 ID가 추출 가능한 시간에 맞추어 활성화 되는 것을 설명하기 위한 도면이다.
도 11은 음파 ID를 추출하는 과정을 통하여, 음파 ID의 존재가 기 설정된 확률 이상으로 추정될 때, 음향인식모듈의 활성화 주기를 설명하기 위한 도면이다.
도 12는 모바일 수신기 내부의 공유 자원인 마이크를 사용하는 다른 애플리케이션이 활성화 되는 이벤트에 따라 음향인식모듈의 주기가 조정되는 것을 설명하기 위한 도면이다.
도 13은 모바일 수신기 내부에서 공유 자원인 마이크를 사용하는 다른 애플리케이션이 실행되는 이벤트에 따라 음향인식모듈의 주기가 조정되는 것을 설명하기 위한 도면이다.
도 14는 음향인식모듈이 저 전력으로 동작하기 위해 모바일 수신기의 이벤트를 통보받는 방법들을 설명하기 위한 도면이다.
도 15는 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법을 설명하기 위한 도면이다.

이상의 본 발명의 목적들, 다른 목적들, 특징들 및 이점들은 첨부된 도면과 관련된 이하의 바람직한 실시예들을 통해서 쉽게 이해될 것이다. 그러나 본 발명은 여기서 설명되는 실시예들에 한정되지 않고 다른 형태로 구체화될 수도 있다. 오히려, 여기서 소개되는 실시예들은 개시된 내용이 철저하고 완전해질 수 있도록 그리고 당업자에게 본 발명의 사상이 충분히 전달될 수 있도록 하기 위해 제공되는 것이다.

또한, 본 명세서에서 사용된 용어는 실시예들을 설명하기 위한 것이며 본 발명을 제한하고자 하는 것은 아니다. 본 명세서에서, 단수형은 문구에서 특별히 언급하지 않는 한 복수형도 포함한다. 명세서에서 사용되는 '포함한다(comprises)' 및/또는 '포함하는(comprising)'은 언급된 구성요소는 하나 이상의 다른 구성요소의 존재 또는 추가를 배제하지 않는다.

이하, 도면을 참조하여 본 발명을 상세히 설명하도록 한다. 아래의 특정 실시예들을 기술하는데 있어서, 여러 가지의 특정적인 내용들은 발명을 더 구체적으로 설명하고 이해를 돕기 위해 작성되었다. 하지만 본 발명을 이해할 수 있을 정도로 이 분야의 지식을 갖고 있는 독자는 이러한 여러 가지의 특정적인 내용들이 없어도 사용될 수 있다는 것을 인지할 수 있다. 어떤 경우에는, 발명을 기술하는 데 있어서 흔히 알려졌으면서 발명과 크게 관련 없는 부분들은 본 발명을 설명하는 데 있어 별 이유 없이 혼돈이 오는 것을 막기 위해 기술하지 않음을 미리 언급해 둔다.

■ 용어의 정의

- 콘텐츠: 영상, 음향 혹은 음향과 영상이 복합된 형태의 구조적인 디지털 데이터로 교육적, 문화적, 정보적, 및/또는 오락적 가치를 제공하는 정보를 의미한다.

- 콘텐츠 재생기기: 콘텐츠를 재생하는 기기로서 예를 들면 TV, 라디오, 데스크탑 컴퓨터 또는 모바일기기(예: 랩탑 컴퓨터, 태블릿 컴퓨터, 스마트폰, 웨어러블 컴퓨터 등) 와 같이 음향을 재생하기 위한 스피커 혹은 음향 출력 단자를 포함하고, 추가적으로 영상을 표시하기 위한 모니터 혹은 영상 출력 단자를 포함할 수 있다.

- 콘텐츠: i) 주 콘텐츠 또는 연관 콘텐츠를 의미하거나 또는 ii) 주 콘텐츠와 연관 콘텐츠를 모두 통칭하는 의미로 사용된다.

- 주 콘텐츠: 콘텐츠 재생기기를 통해 출력(방송 혹은 재생)되는 콘텐츠이다.

- 연관 콘텐츠: 모바일 수신기를 통해서 출력되는 콘텐츠로서, 콘텐츠 재생기기를 통해서 출력되는 주 콘텐츠의 내용 혹은 내용을 전달하기 위한 배경지식과 연관된 음향, 영상, 문서, 인터넷 주소 등의 정보 및/또는 이들을 가리키는 디지털 식별자 값을 의미한다. 예를 들면, 연관 콘텐츠는, 콘텐츠 편성의 제약 혹은 제반 법규의 제약 등으로 주 콘텐츠에 포함되기 힘든 콘텐츠, 시청자 혹은 청취자의 참여를 유도하는 콘텐츠, 시청자 혹은 청취자의 주의를 얻기 힘든 간접 광고에 관한 콘텐츠, 또는 간접 광고로 나오는 상품에 관한 정보 혹은 상품의 구매에 관한 콘텐츠 일 수 있다.

- 모바일 수신기: 연관 콘텐츠를 출력할 수 있는 기기로서, 주 콘텐츠에 포함된 음향을 분석할 수 있도록 마이크 및 ADC(Analog-Digital Converter)를 포함하며, 주 콘텐츠의 음향을 분석하여 주 콘텐츠를 파악하거나 주 콘텐츠의 상대적 시간 위치를 파악한 뒤, 주 콘텐츠의 전부 또는 주 콘텐츠에 포함된 일부와 연관되어 있는 연관 콘텐츠를 시각 혹은 청각으로 인지할 수 있는 형태로 콘텐츠 시청자 혹은 청취자에게 제공하는 모바일 기기이다. 이때, 시청자 혹은 청취자는 모바일 수신기를 소유한 사람일 수 있다. 예를 들면, 모바일 수신기는 랩탑 컴퓨터, 태블릿 컴퓨터, 스마트폰, 또는 웨어러블 컴퓨터 등과 같은 모바일 기기일 수 있다.

- 상품 간접 광고 혹은 간접 광고: 주 콘텐츠의 전부 혹은 일부로 포함된 상품, 서비스, 브랜드 로고, 태그라인 등과 같이 광고로써 주 콘텐츠 영상의 일부 또는 음향의 일부로 출력되는 광고이다. 상품 간접 광고 혹은 간접 광고는 협찬 광고(콘텐츠의 제작 시에 무료 혹은 할인된 가격으로 현물을 제공하여 콘텐츠의 일부로 노출시키는 광고)를 포함하는 개념으로, 연관 콘텐츠는 예를 들면 상품 간접 광고 또는 간접 광고와 연관된 콘텐츠이다.

- 간접 광고 상품: 상품 간접 광고 혹은 간접 광고에 의해 주 콘텐츠의 전부 혹은 일부로서 출력되는 상품 또는 서비스이며, 구체적인 형태를 가진 상품뿐만 아니라 서비스, 브랜드, 로고, 및 태그라인 등을 포함하는 의미로 사용된다.

- 음파 ID (Identifier): 음파 ID는 (1) 주 콘텐츠의 음향에 인위적으로 삽입된 비 가청 음향이 나타내는 디지털 데이터(비 가청 음파ID)이거나 (2) 주 콘텐츠의 일부로 포함되어 있는 음향으로부터 추출해 낼 수 있는 음향의 특징을 나타내는 축약된 디지털 데이터(가청 지문 ID)이다. 인위적으로 삽입된 비 가청 음파 ID는 심리음향(Psychoacoustics)을 이용하여 사람에게 들리지 않는 비 가청 음파로 변조된 특징을 가진다. 음향의 특징을 나타내는 가청 지문 음파 ID는 인위적인 삽입이 필요하지 않지만, 주 콘텐츠에 음향이 있을 때에만 추출해 낼 수 있다. 두 가지 종류의 음파 ID는 모두 (1) 주 콘텐츠를 식별하거나, (2) 주 콘텐츠 내의 상대적 시간 위치를 식별하거나, (3) 주 콘텐츠 내의 간접 광고와 연관된 연관 콘텐츠를 식별하거나, (4) 주 콘텐츠 내의 상대적 시간 위치에서의 간접 광고와 연관된 연관 콘텐츠를 식별하는 데 사용될 수 있다. 비 가청 음파 ID는 일련번호, 유의미한 단어 혹은 인터넷 링크 등을 포함할 수 있다. 가청 지문 음파 ID는 SVD/EVD(Singular/Eigen Value Decomposition), PCA(Principal Component Analysis), 최대 랜드마크 감지(Peak Landmarks Detection), 영점교차횟수(Zero-crossing counting), MFCC(Mel Frequency Cepstral Coefficient), PLPC(Perceptual Linear Prediction Coefficient), LPC(Linear Prediction Coefficient) 등의 기술을 해시함수(Hash Function)로써 사용하여 추출할 수 있고, 추출된 값은 해시키(Hash Key)로 사용될 수 있다. 비 가청 음파 ID의 기술(description)의 편의를 위해서 비 가청 음파 ID는 디지털 데이터가 변조된 아날로그 형태의 비 가청 음파와 변조 전의 디지털 데이터, 복조 후의 디지털 데이터 중 하나를 가리킬 수 있다. 또한, 기술의 편의를 위해서 음향의 특징을 추출하여 얻는 가청 지문 음파 ID는 추출된 특징 디지털 데이터, 이를 추출할 수 있는 주 콘텐츠 음향의 일부, 모바일 수신기가 감지한 특징 디지털 데이터를 추출할 수 있는 주 콘텐츠 음향의 일부, 모바일 수신기가 추출한 특징 디지털 데이터 중 하나를 가리킬 수 있다.

- 음향인식모듈: 음파 ID를 감지하고 추출하기 위해서 사용되는 적어도 하나의 구성요소를 통칭하는 의미로 사용되며, 예를 들면 마이크, ADC, 음파 ID 추출부, 및 연관 콘텐츠 제공 애플리케이션 중 적어도 어느 하나를 통칭할 수 있다.

■ 연관 콘텐츠 제공 시스템

도 1은 본 발명의 일 실시예에 따른 연관 콘텐츠를 음파 ID를 이용하여 제공하는 시스템(이하, ??연관 콘텐츠 제공 시스템??)을 설명하기 위한 도면이다.

도 1을 참조하면, 연관 콘텐츠 제공 시스템은, 콘텐츠 재생기기(100)에서 출력되는 주 콘텐츠의 전부 또는 일부와 관련된 연관 콘텐츠를 모바일 수신기(200)를 통해서 제공하는 시스템이다.

모바일 수신기(200)는, 예를 들면, 주 콘텐츠로서 출력되는 영상과 음향 중 적어도 어느 하나와 관련된 광고를 포함하는 연관 콘텐츠를 제공할 수 있다. 일 예로서, 모바일 수신기(200)는, 주 콘텐츠에서 출력되는 영상으로 표시된 혹은 음향으로 언급된 간접 광고 상품에 대한 연관 콘텐츠를 제공할 수 있다. 일 실시예에 따르면, 모바일 수신기(200)는 주 콘텐츠에서 출력되는 영상으로 표시된 혹은 음향으로 언급된 간접 광고 상품이 복수개 인 경우 이들 각각과 연관된 연관 콘텐츠들을 제공할 수 있다.

본 실시예에 따른 연관 콘텐츠 제공 시스템은, 콘텐츠 재생기기(100), 모바일 수신기(200), 및 서버(300)를 포함할 수 있다.

콘텐츠 재생기기(100)는 영상 및/또는 음향을 출력할 수 있다. 모바일 기기(200)는, 콘텐츠 재생기기(100)에 의해 출력되는 음향으로부터 음파 ID를 적어도 하나 이상 추출 할 수 있다. 예를 들면, 음파 ID는 연관 콘텐츠 데이터베이스(Database, DB)-음파 ID와 연관 콘텐츠가 서로 대응된 DB-를 통해 연관 콘텐츠와 대응되어 있을 수 있다.

예를 들면, 음파 ID는 주 콘텐츠를 식별하거나, 주 콘텐츠 내의 상대적 시간 위치를 식별하거나, 주 콘텐츠 내의 간접 광고와 연관된(대응된) 연관 콘텐츠를 식별하거나, 주 콘텐츠 내의 상대적 시간 위치에서의 간접 광고와 연관된(대응된) 연관 콘텐츠를 식별하는 데 사용될 수 있다.

콘텐츠 재생기기(100)는, 예를 들면, TV, 라디오, 데스크탑 컴퓨터 및 모바일기기(예: 랩탑 컴퓨터, 태블릿 컴퓨터, 스마트폰, 웨어러블 컴퓨터 등) 등 음향을 재생하기 위한 스피커 혹은 음향 출력 단자를 포함하고, 추가적으로 영상을 표시하기 위한 모니터 혹은 영상 출력 단자를 포함할 수 있다.

모바일 수신기(200)는, 콘텐츠 재생기기(100)로부터 출력되는 주 콘텐츠의 음향에 포함된 음파 ID를 추출 할 수 있으며, 음파 ID에 대응되는 연관 콘텐츠를 시각 혹은 청각으로 인지할 수 있는 형태로 주 콘텐츠 시청자 혹은 청취자에게 제공하는 모바일 기기이다. 이때, 시청자 혹은 청취자는 모바일 수신기를 소유한 사람일 수 있다. 예를 들면, 모바일 수신기(200)는 랩탑 컴퓨터, 태블릿 컴퓨터, 스마트폰, 웨어러블 컴퓨터 등의 모바일 기기를 포함할 수 있다. 또한, 모바일 수신기(200)는 음파 ID 수신을 위한 마이크(미도시)와 ADC(미도시)를 포함할 수 있다.

본 실시예에서, 모바일 수신기(200)는 음파 ID를 추출하면 서버(300)에게 음파 ID를 전송하며, 서버(300)로부터 음파 ID에 대응된 연관 콘텐츠를 수신하여, 음향 또는 영상으로 표시할 수 있다. 예를 들면, 모바일 수신기(200)는 알림 메시지, 영상, 및/또는 음성 등의 형태로 사용자에게 음파 ID에 대응된 연관 콘텐츠를 표시할 수 있다.

본 실시예에서, 모바일 수신기(200)는 랩탑 컴퓨터, 태블릿 컴퓨터, 웨어러블 컴퓨터, 스마트폰 등의 모바일 기기와 같이 이동성을 가진 장치로서, 음향을 인식하기 위한 마이크(미도시), 서버와의 통신을 위한 통신부(미도시), 컴퓨터 프로세서(미도시), 메모리(미도시), 및 프로그램(미도시)을 포함할 수 있다. 여기서, 프로그램은 컴퓨터 프로세서의 제어 하에 메모리에 로딩되어 제 동작(예를 들면, 음파 ID를 인식하고, 인식한 음파 ID를 서버(300)로 전송하고, 서버(300)로부터 전송받은 연관 콘텐츠를 알림 메시지, 영상, 및/또는 음성 등의 형태로 표현하는 동작)을 수행할 수 있다.

다음으로 음파 ID가 콘텐츠에 어떻게 포함될 수 있는지를 설명한다.

주 콘텐츠에 음파 ID를 삽입하고 추출하는 기술은 아래와 같은 특허출원문헌들에 개시된 기술을 이용할 수 있다.

예를 들면, ID를 음향에 삽입하는 기술과, 그리고 음향에 삽입된 콘텐츠 ID를 추출하는 기술은, 예를 들면, 본 발명자가 2012년 4월 12일자로 한국 특허청에 특허출원한 특허출원번호 10-2012-0038120호 (음향 시스템을 이용하여 모바일 단말기의 위치를 추정하는 위치 추정 방법 및 위치 추정 시스템과 이에 사용되는 음향 시스템)에 개시된 기술을 이용할 수 있다.

다른 예를 들면, 본 발명자가 2012년 7월 18일자로 한국 특허청에 특허출원한 특허출원번호 10-2012-0078410호 (근접성 데이터 수집 방법 및 시스템)에 개시된 기술(음향 신호 속에 ID를 포함시키고, 음향 신호에 포함된 ID를 인식하여 추출하는 기술)을 이용하는 것도 가능하다.

또 다른 예를 들면, 본 발명자가 2012년 5월 18일자로 한국 특허청에 특허출원한 특허출원번호 10-2012-0053286호 (스피커의 식별을 위한 시스템 및 이를 이용한 위치 추정 시스템)에 개시된 기술(음향 신호 속에 ID를 포함시키고 음향 신호에 포함된 ID를 인식하여 추출하는 기술)을 이용하는 것도 가능하다.

다른 예를 들면, 본 발명자가 2012년 7월 18일자로 한국 특허청에 특허출원한 특허출원번호 10-2012-0078446호 (근접성 정보를 이용한 사용자간 친밀도 산출 방법 및 장치)에 개시된 기술(음향 신호 속에 ID를 포함시키고, 음향 신호에 포함된 ID를 인식하여 추출하는 기술)을 이용하는 것도 가능하다.

또 다른 예를 들면, 본 발명자가 2013년 9월 6일자로 한국 특허청에 특허출원한 특허출원번호 10-2013-0107604호 (시변 주파수 기반의 심볼을 이용한 음파 송수신 방법 및 이를 이용한 장치)에 개시된 기술(음향 신호 속에 디지털 정보를 포함시키고, 음향 신호에 포함된 디지털 정보를 인식하여 추출하는 기술)을 이용하는 것도 가능하다.

한편, 위에서 언급한 특허출원번호들 10-2012-0038120, 10-2012-0078410, 10-2012-0053286, 10-2012-0078446, 및 10-2013-0107604의 각각의 명세서에 개시된 기술들은, 모두 본원 명세서에 결합되어 본원 명세서의 일부로서 취급된다.

주 콘텐츠에 포함된 음향의 특징에 해당하는 가청 지문 음파 ID를 추출하는 기술은 아래와 같은 특허출원문헌들에 개시된 기술을 이용할 수 있다.

예를 들면, 한국특허등록번호 10-1310943호 (2013. 9. 11) (방송 콘텐츠와 연관된 콘텐츠 연관 정보를 제공하는 시스템 및 방법), 한국특허등록번호 10-1313293호 (2013. 9. 24) (방송콘텐츠의 부가정보 제공 시스템 및 그 방법), 한국특허등록번호 10-0893671호 (2009. 4. 9) (멀티미디어 콘텐트의 해시들의 생성 및 매칭)에 개시된 기술을 이용하는 것이 가능하다.

한편, 위에서 언급한 한국특허등록번호들 10-1310943, 10-1313293, 및 10-0893671 의 각각의 명세서에 개시된 기술들은, 모두 본원 명세서에 결합되어 본원 명세서의 일부로서 취급된다.

서버(300)는, 모바일 수신기(200)로부터 음파 ID를 수신할 수 있으며, 음파 ID 별로 연관 콘텐츠가 대응된 연관 콘텐츠 DB(미도시)를 참조하여 음파 ID에 대응된 연관 콘텐츠를 선택하고, 선택한 연관 콘텐츠를 모바일 수신기(200)로 전송한다.

본 실시예에서 서버(200)는, 예를 들면, 광고를 저장 및 관리하는 광고 서버이거나, 또는 같은 그룹에 속한 친구들에게 문자 및/또는 멀티미디어 데이터를 전송하는 MIM(Multimedia Instant Messenger) 서비스 서버일 수 있다.

서버(200)가 MIM 서비스 서버로 구현되는 경우, 서버(200)는 MIM 서비스 서버와 상호 작용하는 클라이언트 프로그램에게, 연관 콘텐츠를 전송한다.

■ 음파 ID를 추출하는 모바일 수신기

도 2는 모바일 수신기의 일 실시예를 설명하기 위한 도면이다.

도 2를 참조하면, 모바일 수신기(200)는, 마이크(201), ADC(203), 프로세서(207), 메모리(209), 저장장치(211), 표시부(213), 통신부(215)를 포함할 수 있다.

일 실시예에 따르면, 마이크(201)는 콘텐츠 재생기기(100)로부터 출력되는 음향을 감지할 수 있다. 즉, 수신되는 음향을 전기적 신호로 변환할 수 있다.

일 실시예에 따르면, ADC(203)는 마이크(101)에서 감지한 아날로그 음파신호인 음향을 디지털 데이터로 변환한다. 일 실시예에서 ADC(203)는 마이크가 감지한 기 설정된 주파수 범위 혹은 하드웨어가 허용하는 최대 주파수 범위 내의 음파신호를 디지털 데이터로 변환할 수 있다.

대안적인 실시예에 따르면, ADC(203)는 음향이 기 설정된 소정의 역치(Threshold) 이상의 세기를 가질 때만 디지털 데이터로 변환할 수도 있다. 또한, ADC(203)은 기 설정된 주파수 범위 내의 음향이 기 설정된 소정 역치 이상의 세기를 가질 때만 디지털 데이터로 변환할 수도 있다.

역치는, 예를 들면, 신호대잡음비(SNR)와 같은 상대적 값이나, 음향의 세기와 같은 절대적 값일 수 있다.

프로세서(207)는 컴퓨터 명령어를 해석하고 실행하는 장치로서 일반적인 범용 컴퓨터의 중앙처리장치(CPU)일 수 있으며, 스마트폰과 같은 모바일 디바이스의 경우 예를 들면 애플리케이션 프로세서(AP)를 의미할 수 있으며 메모리(209)에 로딩된 프로그램을 실행할 수 있다.

메모리(209)는 랜덤액세스 메모리(RAM)와 같은 휘발성 저장장치로 구현될 수 있고, 모바일 디바이스(200)의 구동에 필요한 운영체제(OS), 애플리케이션, 데이터 등이 메모리(209)에 로딩(load)될 수 있다. 저장장치(211)는 데이터를 저장하는 비휘발성 저장장치로서 예컨대 하드디스크 드라이브(HDD), 플래시 메모리, SD(Secure Digital) 메모리 카드 등의 장치로 구현될 수 있다.

표시부(213)는 사용자에게 음성, 영상, 및/또는 텍스트로 콘텐츠를 표시할 수 있다. 예를 들면, 표시부(213)는, 디스플레이부와 음향 출력 단자 혹은 이와 연결된 스피커와 같은 장치로 구현될 수 있다.

통신부(215)를 외부와 통신을 하기 위한 장치로 구현될 수 있다. 예를 들면, 통신부(215)는 서버(100)와 통신할 수 있다.

일 실시예에 따르면, 메모리(209)에는 프로세서(207)의 제어 하에 연관 콘텐츠 제공 애플리케이션(223)이 로딩되어 동작할 수 있다. 이러한 연관 콘텐츠 제공 애플리케이션(223)은, 마이크(201)와 ADC(203)을 이용하여 음향을 수신하고, 음향으로부터 음파 ID를 성공적으로 추출한 경우 추출된 음파 ID를 통신부(215)를 통해서 서버(300)에게 전송한다.

일 실시예에 따르면, 연관 콘텐츠 제공 애플리케이션(223)은, 추가적인 기능으로서, ADC(203)에 의해 감지된 음향이 역치 이상의 세기를 가지는지를 판단하고, 음향이 기 설정된 역치 이상의 세기를 가질 때에만 음향에서 음파 ID를 추출하는 기능을 구비할 수 있다.

다른 일 실시예에 따르면, 연관 콘텐츠 제공 애플리케이션(223)은, 추가적인 기능으로서, ADC(203)에 의해 감지된 음향이 기 설정된 주파수 범위 내에서 역치 이상의 세기를 가지는지를 판단하고, 음향이 기 설정된 주파수 범위 내에서 기 설정된 역치 이상의 세기를 가질 때에만 감지된 음향에서 음파 ID 추출하는 기능을 구비할 수 있다.

또 다른 실시예에 따르면, 음파 ID를 감지 및 추출하는 동작은 연관 콘텐츠 제공 애플리케이션(223)이 아닌 별도의 하드웨어로 구현되는 것도 가능하다. 즉, 도 2에서 점선으로 표시한, 음파 ID 추출부(205)는 하드웨어로 구현된 것으로서, 모바일 수신기(200)는 음파 ID 추출부(205)를 더 포함하도록 구성될 수 있다. 이러한 경우, 음파 ID 추출부(205)는, ADC(203)에 의해 변환된 디지털 데이터에서 음파 ID를 추출하고, 연관 콘텐츠 제공 애플리케이션(223)은 음파 ID 추출부(205)가 추출한 음파 ID를 통신부(215)를 통해서 서버(300)에게 전송한다.

본 발명의 일 실시예에 따르면, 마이크(201), ADC(203), 음파 ID 추출부(205), 표시부(213), 통신부(215), 및 연관 콘텐츠 제공 어플리케이션(223) 중 적어도 하나는 비활성화되어 있다가, 스케쥴 또는 미리 정해진 이벤트가 발생된 경우에 활성화되어 자신의 동작을 수행할 수 있다.

일 예를 들면, 마이크(201)와 ADC(203)는 스케쥴 또는 미리 정해진 이벤트가 발생된 경우에 활성화되어 자신의 동작을 수행할 수 있다. 이러한 예에서, 마이크(201)와 ADC(203)는 비활성화되어 있다가, 스케쥴 또는 미리 정해진 이벤트가 발생된 경우 활성화되는 구성요소들이다.

일 예를 들면, 연관 콘텐츠 제공 애플리케이션(223)이 마이크(201)에 의해 감지된 음향이 기 설정된 주파수 범위 내에서 역치 이상의 세기를 가지는지를 판단하는 기능을 구비하도록 구현된 경우에는, 마이크(201)와 ADC(203)가 활성화될 때, 연관 콘텐츠 제공 애플리케이션(223)도 같이 활성화되어 제 동작을 수행한다.

일 예를 들면, 연관 콘텐츠 제공 애플리케이션(223)이 음파 ID를 추출하는 기능을 구비하도록 구현된 경우에는, 마이크(201)와 ADC(203)가 활성화될 때, 연관 콘텐츠 제공 애플리케이션(223)도 같이 활성화되어 제 동작을 수행한다.

일 예를 들면, 음파 ID 추출 기능이 음파 ID 추출부(205)에 의해 수행되는 실시예에 있어서는, 음파 ID의 추출을 성공된 경우에만, 연관 콘텐츠 제공 애플리케이션(223)이 활성화될 수 있다. 활성화된 연관 콘텐츠 제공 애플리케이션(223)은, 추출된 음파 ID를 서버(300)에게 전송하고 서버(300)로부터 음파 ID에 대응되는 연관콘텐츠를 수신하여 표시부(213)를 통해서 음성 및/또는 영상으로 표시할 수 있다. 다르게, 활성화된 연관 콘텐츠 제공 애플리케이션(223)은, 추출된 음파 ID에 대응되는 연관콘텐츠를 검색하여 선택하고, 표시부(213)를 통해서 음성 및/또는 영상으로 표시할 수 있다. 이러한 경우, 메모리(209)에 연관 콘텐츠 데이터베이스가 로딩되어 있을 수 있으며, 연관 콘텐츠 제공 애플리케이션(223)은 연관 콘텐츠 데이터베이스를 검색하여 음파 ID에 대응되는 연관콘텐츠를 선택할 수 있다.

일 예를 들면, 마이크(201)는 비활성화되어 있다가 스케쥴 또는 이벤트가 발생한 경우에 활성화되며, 만약 마이크(201)가 음향을 감지하게 되면- 예를 들면 기 설정된 대역에 속한 음향을 감지한 경우-에, 다른 구성요소들(예를 들면, ADC(203), 연관 콘텐츠 제공 애플리케이션(223), 음파 ID 추출부(205) 등)이 동시 또는 순차적으로 활성화될 수 있다.

일 예를 들면, 마이크(201)에 의해 음향이 감지된 경우에, 감지된 음향이 미리 설정된 역치 이상의 세기를 가지는지를 판단하는 구성요소(예를 들면, 연관 콘텐츠 제공 애플리케이션)가 활성화될 수 있다. 그리고, 감지된 음향이 미리 설정된 역치 이상의 세기를 가지는 것으로 판단된 경우에, 음파 ID를 추출하는 구성요소(예를 들면, 음파 ID 추출부)가 활성화된다.

스케쥴에 대한 보다 상세한 설명은 도 4를 참조하여 설명한 실시예들을 참조하기 바란다. 스케쥴에 따라서 규칙적인 주기적 또는 불규칙적인 주기로 활성화되는 동작에 대하여는, 도 9 내지 도 11를 참조하여 설명한 실시예들을 참조하고, 미리 정한 이벤트가 발생되는 활성화되는 동작에 대하여는 12 내지 도 14를 참조하여 설명한 실시예들을 참조하기 바란다.

일 예를 들면, 마이크(201), ADC(203), 음파 ID 추출부(205), 표시부(213), 통신부(215), 연관 콘텐츠 제공 어플리케이션(223) 중 적어도 하나의 구성요소는, 비활성화되어 있다가, 주 콘텐츠 스케쥴을 참조하여 작성된 스케쥴에 따라서, 일정한 주기 주리고 또는 불규칙적인 주기로 활성화될 수 있다. 예를 들면, 마이크(201), ADC(203), 음파 ID 추출부(205), 표시부(213), 통신부(215), 연관 콘텐츠 제공 어플리케이션(223) 중 적어도 하나의 구성요소는, 주 콘텐츠가 재생되는 시간 동안에만, 기 설정된 주기로 활성화될 수 있다. 다르게는, 마이크(201), ADC(203), 음파 ID 추출부(205), 표시부(213), 통신부(215), 연관 콘텐츠 제공 어플리케이션(223) 중 적어도 하나의 구성요소는, 주 콘텐츠가 재생되는 시간 동안에는 기 설정된 주기로 수행되고, 주 콘텐츠가 재생되지 않는 시간 동안에는 위의 기 설정된 주기보다 더 긴 주기로 수행될 수 있다.

일 예를 들면, 마이크(201), ADC(203), 음파 ID 추출부(205), 표시부(213), 통신부(215), 연관 콘텐츠 제공 어플리케이션(223) 중 적어도 하나의 구성요소는, 음파 ID 스케쥴을 참조하여 작성된 스케쥴에 따라서, 일정한 주기로 또는 불규칙적인 주기로 활성화될 수 있다. 예를 들면, 음파 ID를 추출할 수 있는 시간에 활성화될 수 있다.

일 예를 들면, 마이크(201), ADC(203), 음파 ID 추출부(205), 표시부(213), 통신부(215), 연관 콘텐츠 제공 어플리케이션(223) 중 적어도 하나의 구성요소는, 기 설정된 주기로 수행되다가, 음파 ID의 추출에는 실패하였지만, 음파 ID가 존재할 것이라고 판단되는 경우에는, 위의 기 설정된 주기보다 더 짧은 주기로 활성화될 수 있다. 이후, ID가 추출이 되면, 원래의 주기로 수행될 수 있다.

일 예를 들면, 마이크(201), ADC(203), 음파 ID 추출부(205), 표시부(213), 통신부(215), 연관 콘텐츠 제공 어플리케이션(223) 중 적어도 하나의 구성요소는, 기 설정된 주기로 수행되다가, 다음의 수식

역치>감지된 음향의 세기> (α×역치), 여기서 α는 1보다 작음

을 만족하는 경우에는, 위 설정된 주기 보다 더 짧은 주기로 수행될 수 있다. 즉, 일 실시예에서, 본 발명의 발명자는, 감지된 음향의 세기가 역치보다는 작지만, 역치에 근접할 정도인 경우에는, 음파 ID가 존재하는 음향이 존재할 가능성이 있다고 판단하여, 위 수식을 만족하는 경우에는 원래 주기보다 더 짧은 주기로, 위 구성요소들이 활성화되도록 구성하였다.

일 예를 들면, 마이크(201), ADC(203), 음파 ID 추출부(205), 표시부(213), 통신부(215), 연관 콘텐츠 제공 어플리케이션(223) 중 적어도 하나의 구성요소는, 미리 정한 이벤트가 발생되면, 활성화될 수 있다. 여기서 이벤트는 예를 들면 특정 어플리케이션이 실행되는 경우, 모바일 수신기(200)가 가진 표시부가 활성화 또는 비활성화되는 경우, 또는 모바일 수신기(200)가 외부로부터 푸시 메시지를 수신하는 경우를 의미할 수 있다.

여기서, 특정 어플리케이션은, 마이크를 자신만 전용으로 사용하는 어플리케이션일 수 있으나, 이는 예시적인 것으로서 다른 어플리케이션도 해당될 수 있다.

일 예를 들면, 마이크(201), ADC(203), 음파 ID 추출부(205), 표시부(213), 통신부(215), 연관 콘텐츠 제공 어플리케이션(223) 중 적어도 하나의 구성요소는, 기 설정된 주기로 수행되다가, 미리 정한 이벤트가 발생되면, 실행되지 않도록 구성될 수 있다. 그리고, 미리 정한 이벤트가 종료되면, 원래의 주기에 따라 활성화된다.

일 예를 들면, 마이크(201), ADC(203), 음파 ID 추출부(205), 표시부(213), 통신부(215), 연관 콘텐츠 제공 어플리케이션(223) 중 적어도 하나의 구성요소는, 미리 정한 이벤트가 발생되면, 프로세서(207)는 이벤트 발생 사실을 모바일 수신기(200)가 가진 운영 체제(OS)(미 도시)-메모리(209)에 로딩되어 있을 수 있음-로 전달하고, 운영체제는 이벤트의 발생 사실을 모바일 수신기(200)에서 동작하는 애플리케이션들에 각각 대응되어 구비된 필터들(미도시)-메모리(209)에 로딩되어 있을 수 있음-에게 각각 전달하며, 이들 각각의 필터는 미리 설정된 바에 따라서 이벤트의 발생 사실을 자신에게 대응된 애플리케이션들에게 전달하거나 또는 전달하지 않는다. 이들 동작에 대한 보다 상세한 설명은 도 14를 참조하여 설명한 실시예들을 참조하기 바란다.

도 3은 모바일 수신기의 다른 실시예를 설명하기 위한 도면이다.

도 3을 참조하면, 본 모바일 수신기(400)는, 마이크(401), 저전력 음향세기 측정부(402), ADC(403), 음파 패턴 인식부(404), 프로세서(407), 메모리(409), 저장장치(411), 표시부(413), 통신부(415)를 포함할 수 있다.

도 3의 실시예와 도 2의 실시예를 비교하면, 도 2의 음파 ID 추출부(205)가 저 전력 음향세기 측정부(402)와 음파 패턴 인식부(404)로 분리되어 구성된 것을 알 수 있다.

일 실시예에 따르면, 마이크(401), 저전력 음향세기 측정부(402), ADC(403), 음파 패턴 인식부(404), 및 연관 콘텐츠 제공 애플리케이션(423) 중 적어도 하나의 구성요소는 스케쥴에 따라 활성화되거나, 또는 미리 정한 이벤트가 발생되면 활성화될 수 있다. 스케쥴은 일정한 주기로 또는 불규칙적인 주기로 활성화되도록 작성된 것일 수 있다. 스케쥴에 대한 보다 상세한 설명은 도 4를 참조하여 설명한 실시예들을 참조하기 바란다. 스케쥴에 따라서 일정한 주기로 또는 불규칙적인 주기로 활성화되는 동작에 대하여는, 도 9 내지 도 11를 참조하여 설명한 실시예들을 참조하고, 미리 정한 이벤트가 발생되는 활성화되는 동작에 대하여는 12 내지 도 14를 참조하여 설명한 실시예들을 참조하기 바란다.

일 예를 들면, 마이크(401), 저전력 음향세기 측정부(402), 및 ADC(403)는 스케쥴 또는 미리 정해진 이벤트가 발생된 경우에 활성화되어 자신의 동작을 수행할 수 있다. 이러한 예에서, 마이크(401), 저전력 음향세기 측정부(402), 및 ADC(403)는 비활성화되어 있다가, 스케쥴 또는 미리 정해진 이벤트가 발생된 경우 활성화되는 구성요소들이다.

일 예를 들면, 마이크(401), 저전력 음향세기 측정부(402), ADC(403), 및 음파 패턴 인식부(404)는 스케쥴 또는 미리 정해진 이벤트가 발생된 경우에 활성화되어 자신의 동작을 수행할 수 있다.

일 예를 들면, 음파 ID의 추출을 성공된 경우에만, 연관 콘텐츠 제공 애플리케이션(423)가 활성화될 수 있다. 활성화된 연관 콘텐츠 제공 애플리케이션(423)은, 추출된 음파 ID를 서버(300)로 전송하고 서버(300)로부터 음파 ID에 대응되는 연관콘텐츠를 수신하여 표시부(413)를 통해서 음성 및/또는 영상으로 표시할 수 있다. 다르게, 활성화된 연관 콘텐츠 제공 애플리케이션(423)은, 음파 ID에 대응되는 연관콘텐츠를 검색하여 선택하고, 표시부(413)를 통해서 음성 및/또는 영상으로 표시할 수 있다. 이러한 경우, 메모리(409)에 연관 콘텐츠 데이터베이스가 로딩되어 있을 수 있으며, 연관 콘텐츠 제공 애플리케이션(423)은 연관 콘텐츠 데이터베이스를 검색하여 음파 ID에 대응되는 연관콘텐츠를 선택할 수 있다.

일 예를 들면, 마이크(401)는 비활성화되어 있다가 스케쥴 또는 이벤트가 발생한 경우에 활성화되며, 만약 마이크(401)가 음향을 감지하게 되면- 예를 들면 기 설정된 대역에 속한 음향을 감지한 경우-에, 다른 구성요소들(예를 들면, ADC(403), 연관 콘텐츠 제공 애플리케이션(423), 저전력 음향세기 측정부(402), 또는 음파 패턴 인식부(404))이 동시 또는 순차적으로 활성화될 수 있다.

일 예를 들면, 마이크(401)에 의해 음향이 감지된 경우에, 감지된 음향이 미리 설정된 역치 이상의 세기를 가지는지를 판단하는 저전력 음향세기 측정부가 활성화될 수 있다. 그리고, 감지된 음향이 미리 설정된 역치 이상의 세기를 가지는 것으로 판단된 경우에, 음파 ID를 추출하는 음파 패턴 인식부(404)가 활성화될 수 있다.

일 예를 들면, 마이크(401), 저전력 음향세기 측정부(402), ADC(403), 음파 패턴 인식부(404), 및 연관 콘텐츠 제공 애플리케이션(423) 중 적어도 하나의 구성요소는 비활성화되어 있다가, 주 콘텐츠 스케쥴을 참조하여 작성된 스케쥴에 따라서, 일정한 주기로 또는 불규칙적인 주기로 활성화될 수 있다. 예를 들면, 마이크(401), 저전력 음향세기 측정부(402), ADC(403), 음파 패턴 인식부(404), 및 연관 콘텐츠 제공 애플리케이션(423) 중 적어도 하나의 구성요소는, 주 콘텐츠가 재생되는 시간 동안에만, 기 설정된 주기로 활성화될 수 있다. 다르게는, 마이크(401), 저전력 음향세기 측정부(402), ADC(403), 음파 패턴 인식부(404), 및 연관 콘텐츠 제공 애플리케이션(423) 중 적어도 하나의 구성요소는, 주 콘텐츠가 재생되는 시간 동안에는 기 설정된 주기로 수행되고, 주 콘텐츠가 재생되지 않는 시간 동안에는 원래 주기보다 더 긴 주기로 수행될 수 있다.

일 예를 들면, 마이크(401), 저전력 음향세기 측정부(402), ADC(403), 음파 패턴 인식부(404), 및 연관 콘텐츠 제공 애플리케이션(423) 중 적어도 하나의 구성요소는, 음파 ID 스케쥴을 참조하여 작성된 스케쥴에 따라서, 일정한 주기로 또는 불규칙적인 주기로 활성화될 수 있다. 예를 들면, 음파 ID를 추출할 수 있는 시간에 활성화될 수 있다.

일 예를 들면, 마이크(401), 저전력 음향세기 측정부(402), ADC(403), 음파 패턴 인식부(404), 및 연관 콘텐츠 제공 애플리케이션(423) 중 적어도 하나의 구성요소는, 기 설정된 주기로 수행되다가, 음파 ID의 추출에는 실패하였지만, 음파 ID가 존재할 것이라고 판단되는 경우에는, 원래 주기보다 더 짧은 주기로 활성화될 수 있다. 이후, ID가 추출이 되면, 원래의 주기로 수행될 수 있다.

일 예를 들면, 마이크(401), 저전력 음향세기 측정부(402), ADC(403), 음파 패턴 인식부(404), 및 연관 콘텐츠 제공 애플리케이션(423) 중 적어도 하나의 구성요소는, 기 설정된 주기로 수행되다가, 다음의 수식

역치>감지된 음향의 세기> (α×역치), 여기서 α는 1보다 작음

일 예를 들면, 마이크(401), 저전력 음향세기 측정부(402), ADC(403), 음파 패턴 인식부(404), 및 연관 콘텐츠 제공 애플리케이션(423) 중 적어도 하나의 구성요소는, 미리 정한 이벤트가 발생되면, 활성화될 수 있다. 여기서 이벤트는 예를 들면 특정 어플리케이션이 실행되는 경우, 모바일 수신기(200)가 가진 표시부가 활성화 또는 비활성화되는 경우, 또는 모바일 수신기(200)가 외부로부터 푸시 메시지를 수신하는 경우를 의미할 수 있다.

일 예를 들면, 마이크(401), 저전력 음향세기 측정부(402), ADC(403), 음파 패턴 인식부(404), 및 연관 콘텐츠 제공 애플리케이션(423) 중 적어도 하나의 구성요소는, 기 설정된 주기로 수행되다가, 미리 정한 이벤트가 발생되면, 실행되지 않도록 구성될 수 있다. 그리고, 미리 정한 이벤트가 종료되면, 원래의 주기에 따라 활성화된다.

일 예를 들면, 마이크(401), 저전력 음향세기 측정부(402), ADC(403), 음파 패턴 인식부(404), 및 연관 콘텐츠 제공 애플리케이션(423) 중 적어도 하나의 구성요소는, 미리 정한 이벤트가 발생되면, 프로세서(407)는 이벤트 발생 사실을 모바일 수신기(400)가 가진 운영 체제(OS)(미 도시)-메모리(409)에 로딩되어 있을 수 있음-로 전달하고, 운영체제는 이벤트의 발생 사실을 모바일 수신기(400)에서 동작하는 애플리케이션들에 각각 대응되어 구비된 필터들(미도시)-메모리(409)에 로딩되어 있을 수 있음-에게 각각 전달하며, 이들 각각의 필터는 미리 설정된 바에 따라서 이벤트의 발생 사실을 자신에게 대응된 애플리케이션들에게 전달하거나 또는 전달하지 않는다. 이들 동작에 대한 보다 상세한 설명은 도 14를 참조하여 설명한 실시예들을 참조하기 바란다.

일 실시예에 따르면, 저 전력 음향세기 측정부(402)는 낮은 전력을 소모하지만 지속적으로 활성화 되어 있고, 음파 패턴 인식부(404)는 저 전력 음향세기 측정부(402)보다 상대적으로 전력을 더 소모하지만 주로 비활성화 되어 있고 스케쥴에 따라 활성화되거나 또는 미리 정한 이벤트가 발생하면(즉, 간헐적으로) 활성화된다. 저 전력 음향세기 측정부(402)는 음향의 특정 주파수 범위 내의 음향을 감지할 수 있으며, 감지한 음향의 세기가 기 설정된 역치 이상의 세기를 가지는지 지속적으로 판단할 수 있다.

본 실시예에서, 저 전력 음향세기 측정부(402)는 마이크(401)를 통해 입력된 음향이 기 설정된 주파수 범위 내에서 기 설정된 역치 이상의 세기를 가지는지 판단한다. 만일, 세기가 역치 이상의 세기를 가질 경우, 저 전력 음향세기 측정부(402)는 저 전력 동작을 위해 비활성화 되어 있던 ADC(403)와 음파 패턴 인식부(404)를 활성화 시킬 수 있다. 이때, 활성화된 ADC(403)는 음향을 디지털 데이터로 변환하여, 활성화된 음파 패턴 인식부(404)에 전달 할 수 있다.

일 실시예에 따르면, 음파 패턴 인식부(404)는 ADC(403)으로부터 디지털 데이터 형태의 음향을 전달 받고, 전달 받은 음향으로부터 음파 ID가 포함되어 있으면 음파 ID를 추출할 수 있다. 이때, 프로세서(407)가 저 전력으로 동작하기 위해 비활성화 되어 있는 경우, 음파 패턴 인식부(404)는 프로세서(407)를 활성화시킨다. 본 실시예에서, 음파 패턴 인식부(404)는, 추출한 음파 ID를 연관 콘텐츠 제공 애플리케이션(423)에게 제공한다.

다른 실시예에 따르면, 음파 패턴 인식부(404)는, ADC(403)으로부터 디지털 데이터 형태의 음향을 전달 받고, 전달 받은 음향과 기 저장된 적어도 하나의 음파 ID를 비교하여, ADC(403)으로부터 전달받은 음향으로부터 음파 ID가 추출될 수 있는지 여부를 판단한 후에, 음파 ID가 추출될 수 있다고 판단되면 직접 음파 ID를 추출한다. 대안적 실시예에 따르면, 음파 패턴 인식부(404)는, ADC(403)으로부터 전달받은 음향으로부터 음파 ID가 추출될 수 있는지 여부를 판단하고, 만약 음파 ID가 추출될 수 있다고 판단되면 ADC(403)으로부터 전달받은 음향을 연관 콘텐츠 제공 애플리케이션(423)에게 제공하며, 연관 콘텐츠 제공 애플리케이션(423)은 음파 ID를 추출할 수 있다.

한편, 음파 ID를 감지 및 추출하는 동작을 별도의 하드웨어로 구현하는 기술은 아래와 같은 특허출원문헌들에 개시된 기술을 이용할 수 있다.

예를 들면, 저 전력으로 비 가청 음향으로 변조된 음파를 추출하는 기술은 예를 들면, 본 발명자가 2013년 11월 20일자로 한국 특허청에 특허출원한 특허출원번호 10-2013-0141504호 (저 전력 음파 수신 방법 및 이를 이용한 모바일 기기)에 개시된 기술을 이용할 수 있다.

한편, 위에서 언급한 특허출원번호 10-2013-0141504의 명세서에 개시된 기술들은, 모두 본원 명세서에 결합되어 본원 명세서의 일부로서 취급된다.

한편, 메모리(409)에는 프로세서(407)의 제어 하에 동작하는 DMB 애플리케이션 또는 동영상 플레이어 또는 이를 통해 콘텐츠를 재생하는데 필수적인 코덱(Codec)(221)이 로딩될 수 있다. 이러한 DMB 애플리케이션 또는 동영상 플레이어 또는 코덱(221)은 저장장치(411)에 저장되어 있다가 사용자의 명령 등에 의해서 메모리(409)로 로딩되어 동작할 수 있다. 또한 도시하지는 않았지만, 서버(300)로부터 메시지가 도착하면, 메시지 처리 프로그램(미도시)이 메모리(409)에 로딩되어 상기 메시지를 표시부(413)를 통해서 표시할 수 있다.

한편, 도 3의 실시예에서 설명하지 않은 구성요소들은, 도 2의 실시예에서 유사한 도면번호가 부여된 구성요소의 동작과 동일 또는 유사하므로, 도 2의 실시예의 설명을 참조하기 바란다.

■ 저 전력 음파 ID 추출

본원 명세서에서는, 본 발명의 설명의 목적을 위해서, 용어 ??음향인식모듈??은 모바일 수신기가 포함하는 마이크, ADC, 음파 ID 추출부, 연관 콘텐츠 제공 애플리케이션, 저전력 음향세기 측정부, 및 음파 패턴 인식부 중 적어도 어느 하나의 구성요소를 의미하며, 이들 적어도 하나의 구성요소는 음파 ID를 감지하거나 추출하거나, 음파 ID를 감지하거나 추출하는 구성요소를 활성화시키는 동작을 수행한다.

본 발명의 일 실시예에 따르면, 음향인식모듈은 저 전력으로 동작하기 위해서, 스케쥴에 따라 또는 미리 정한 이벤트가 발생되면(즉, 간헐적으로) 활성화되며, 활성화되었을 때 음향을 감지하고 음파 ID를 감지하여 추출하는 동작을 수행한다. 이때 활성화란 음향인식모듈이 전력 소모를 최소화하기 위해서 최소한의 기능만 하고 있는 상태에서, 음파 ID의 감지 및 추출이 가능한 상태가 되기 위해서 필요한 하드웨어 모듈을 실행하거나, 필요한 소프트웨어를 실행하거나, 필요한 입력 정보를 운영체제로부터 요청하는 등의 제반 활동을 수행할 수 있는 상태를 일컫는다.

저 전력으로 동작하기 위한 간헐적 활성화는 도 9 내지 도 14에 구체적인 실시예로 나타나 있다.

저 전력으로 동작하기 위한 간헐적으로 활성화 되는 것은, 예를 들면, (가) 음향인식모듈이 10분 주기로 활성화되어 동작하는 것일 수 있고 이는 도 9에 나타나 있다. 또 다른 예를 들면, (나) 음파 ID를 주 콘텐츠로부터 추출할 수 있는 시간적 특징을 활용하거나 추출할 음파 ID를 포함하는 주 콘텐츠의 방송 시간을 고려하여, 음향인식모듈이 불규칙적인 주기로 활성화되어 동작하는 것일 수 있고 이는 도 10에 나타나 있다. 또 다른 예를 들면, (다) 앞선 주기의 음파 ID 수신 시도의 결과를 고려하여, 음향인식모듈이 불규칙적인 주기로 활성화되어 동작하는 것일 수 있고 이는 도 11에 나타나 있다. 또 다른 예를 들면, (라) 모바일 수신기의 내부에서 발행하는 이벤트에 따라 음향인식모듈이 불규칙적인 주기로 활성화되어 동작하는 것일 수 있고 이는 도 12 ~ 14에 나타나 있다. 도 14는 모바일 수신기의 내부에서 발생하는 이벤트가 어떻게 음향인식모듈에게 전달되는지 나타나 있다.

(가) 주기적 활성화

도 9는 음향인식모듈이 저 전력으로 동작하기 위해 정해진 주기에 따라 활성화되는 것을 설명하기 위한 도면이다.

도 9의 a)는 주 콘텐츠가 출력되는 시간에 대비하여 음향인식모듈이 동일한 시간에 활성화 되는 것을 나타낸 것이다. 도 9의 b)는 주 콘텐츠가 출력되는 시간에 대비하여 음향인식모듈이 주 콘텐츠의 후반부 혹은 완료되는 시간에 활성화 되는 것을 나타낸 것이다. 도 9의 c)는 주 콘텐츠가 출력되는 시간에 대비하여 음향인식모듈이 기 설정한 일정한 주기를 가지고 복수회(예를 들면 2회) 활성화되는 것을 나타내는 것이다.

(나) 콘텐츠의 방송 시간 및 음파 ID 추출 가능시간에 따른 활성화

도 10은 음향인식모듈이 주 콘텐츠의 방송 및 재생시간 중 음파 ID가 추출 가능한 시간에 맞추어 활성화 되는 것을 설명하기 위한 도면이다.

일 실시예에 따르면, 음향인식모듈이 주기적으로 활성화되는 경우, 활성화 주기는 콘텐츠 재생기기(100)에 의해 출력되는 주 콘텐츠로부터 추출한 음파 ID의 시간적 위치와 추출 가능한 음파 ID가 연속하는 정도를 고려하여 결정될 수 있다. 예를 들면, 콘텐츠 내의 음파 ID가 2분 연속으로 반복적으로 추출될 수 있고, 그 이후 2분은 추출이 어려운 전체 4분의 패턴이 콘텐츠 내내 연속적으로 반복되어 있을 수 있다. 이때, 음향인식모듈은 최대 2분 단위로 음파 ID가 추출 가능한지를 파악하면, 콘텐츠로부터 추출 가능한 음파 ID를 빠른 시간 내에 추출 하면서도 음파 ID를 추출하는 시도를 간헐적으로 할 수 있으므로 음파 ID 추출에 따른 전력 소모를 줄일 수 있다.

다른 실시예에 따르면, 콘텐츠 재생기기(100)로부터 출력되는 콘텐츠의 방송 일자 및 시간을 미리 알 수 있는 경우에는 그 콘텐츠가 방송되는 해당 시간에 음향인식모듈이 더 짧은 주기로 활성화 될 수 있다. 예를 들면, 음향인식모듈의 주기가 10분으로 설정되어 있다고 가정하자. 이때, TV의 특정 콘텐츠가 매주 토요일 오후 6시에 1시간 동안 방영되고, 콘텐츠로부터 음파 ID를 추출할 수 있다면, 음향인식모듈은 매주 토요일 오후 6시부터 오후 7시까지는 10분이 아닌 5분의 주기로 동작할 수 있다. 또는, 음향인식모듈은 지속적으로 비활성 되어 있다가 매주 토요일 오후 6시부터 오후 7시까지 한 시간만 활성화되는 주기로 동작할 수 있다.

이제 상술한 두 가지 실시예들을 도 10을 참조하여 설명하기로 한다. 모바일 수신기(200 또는 400)는 음파 ID가 추출이 가능한 시간, 즉 도 10의 음파 ID1, ID2, ID3의 재생시간을 알고 있다. 이 시간은 모바일 수신기(200 또는 400)의 음향인식모듈이 서버를 통해 받은 것일 수 있다. 음파 ID1의 재생시간이 되면 음향인식모듈은 음파 ID1을 추출하기 위해서 활성화된다. 이때 음파 ID1의 추출에 실패하면, 음향인식모듈은 모바일 수신기(200 또는 400)의 사용자가 주 콘텐츠1을 시청 혹은 청취하고 있지 않다고 판단할 수 있다. 만일 음파 ID1의 추출에 성공한다면, 모바일 수신기(200 또는 400)는 음파 ID1에 대응된 연관 콘텐츠를 서버(300)로부터 수신하여 표시할 수 있다. 마찬가지로 음파 ID2와 ID3의 재생시간에 맞추어 음향인식모듈이 활성화되고 음파 ID의 추출을 실행한 뒤 성공하는 경우 모바일 수신기(200 또는 400)는 음파 ID에 대응된 연관 콘텐츠를 서버(300)로부터 수신하여 표시할 수 있다. 이와 같은 방법으로 모바일 수신기(200 또는 400)는 음향인식모듈을 음파 ID 추출이 가능한 것으로 예측되는 시간에만 불규칙적인 주기로 활성화되어 저 전력으로 음파 ID 추출 및 연관 콘텐츠 표시를 할 수 있다.

(다) 이전 음파 ID 추출 결과에 따른 활성화

도 11은 음파 ID를 추출하는 과정을 통하여, 음파 ID의 존재가 기 설정된 확률 이상으로 추정될 때, 음향인식모듈의 활성화 주기를 설명하기 위한 도면이다.

도 11을 참조하면, 모바일 수신기(200 또는 400)는 원래 계획된 주기에 맞추어 음향인식모듈이 활성화된다. 이때 음향인식모듈은 음파 ID가 추출 가능할 것으로 판단하였으나(이하, 존재 여부 판단으로 기술한다), 추출에는 실패할 수 있다. 즉, 예를 들면, 추출한 음파 ID가 연관 콘텐츠 DB 상에 존재하는 특정 음파 ID와의 해밍거리가 기 설정한 값 이하일 때 음파 ID가 추출에는 실패했으나, 존재하고 있을 것이라 추정할 수 있다. 또는, 음파 ID 자체에 존재여부를 파악하고, 추출 실패도 확인할 수 있는 CRC(Cyclic Redundant Check) 정보가 포함되어 이를 활용하여 확인할 수 있다. 또는, 음파 ID의 존재여부를 파악하기 위해 SNR(Signal-to- Noise Ratio)를 측정하여 기 설정된 역치 이상이 되는 지를 확인하여 음파 ID가 존재하고 있을 것이라 추정할 수 있다. 위와 같은 방법으로 음파 ID의 존재는 확인했으나 추출에 실패했다고 판단하는 경우를 가정하자. 이때 음향인식모듈은 주 콘텐츠의 음파 ID를 추출 가능한 시간대를 놓치지 않기 위해서, 원래 시행할 주기인 주기3 이후에 계획된 음향인식모듈의 활성화를 취소하고, 주기3보다 더 짧은 주기인 주기4를 가지고 활성화되며 주기4 이후의 주기는 원래의 주기에 맞추어 조정될 수 있다. 그러므로 음파 ID 추출 시도에 따른 결과를 가지고 주기를 조절함으로써, 음파 ID 추출 확률은 높이면서 기존 활성화 빈도는 그대로 유지하여, 저 전력으로 동작할 수 있다.

(라) 모바일 수신기 내부 이벤트에 따른 활성화

일 실시예에 따르면, 모바일 수신기(200 또는 400)의 내부에서 발행하는 이벤트에 따라 음향인식모듈이 불규칙적인 주기로 활성화되어 동작할 수 있다. 이를 도 12 및 도 13을 참조하여 설명하기로 한다.

도 12는 모바일 수신기(200 또는 400) 내부의 공유 자원인 마이크(201 또는 401)를 사용하는 다른 애플리케이션이 활성화되는 이벤트에 따라 음향인식모듈의 주기가 조정되는 것을 설명하기 위한 도면이다.

모바일 수신기(200 또는 400) 상에서 여러 애플리케이션이 동시에 동작할 수 있다. 이때 모바일 수신기(200 또는 400)의 일부인 마이크(201 또는 401)는 여러 애플리케이션이 공유하는 자원으로 FCFS(First-Come First-Served) 방식, 즉 먼저 사용하는 애플리케이션이 사용을 중지하기 전까지 다른 애플리케이션이 사용할 수 없는 방식으로 공유될 수 있다. 그러한 경우, 간헐적으로 활성화되는 음향인식모듈은 다른 애플리케이션이 마이크(201 또는 401)를 사용하는 시도를 했을 때 마이크(201 또는 401) 사용을 실패하게 만들 수 있다. 그러므로 음향인식모듈은 마이크(201 또는 401)를 사용할 수 있는 애플리케이션이 감지되는 경우 혹은 마이크(201 또는 401)를 사용하려는 시도가 실패하는 경우, 해당 애플리케이션이 종료될 때까지 활성화를 미루어서, 다른 마이크(201 또는 401)를 쓰는 애플리케이션의 동작을 방해하지 않으면서도, 총 활성화 횟수를 줄일 수 있어 저 전력으로 동작할 수 있다.

예를 들어 도 12에서처럼 t1 시간에 모바일 수신기(200 또는 400)의 메모리(209 또는 409)에는 음향인식모듈에 포함되는 애플리케이션1이 로드되어 있을 수 있다. 기 설정된 주기5에 따라 음향인식모듈이 활성화되는 예정이었지만, t2 시간 이전에 음향인식모듈이 마이크(201 또는 401)를 사용할 확률이 높은 애플리케이션2가 실행된 사실을 통보받거나 t2 시간에 음향인식모듈이 음파 ID추출을 실행하기 전에 현재 실행중인 애플리케이션 정보를 운영체제로부터 얻어서, 애플리케이션2를 감지할 수 있다(이때 감지하거나 통보받는 방법은 이후 도 14를 참조하여 구체적으로 설명하도록 한다). 애플리케이션2가 실행중인 경우, 음향인식모듈은 t2 시간에 예정된 활성화를 취소하고, 다음 활성화할 주기를 t2 이후로 새롭게 설정할 수 있다. 새롭게 설정된 주기는 t1으로부터 주기5의 두 배가 되는 시각에 음향인식모듈을 활성화시키는 주기일 수 있다. 또한, 도 12에 나타난 것처럼, 새롭게 설정되는 주기는 애플리케이션2가 종료되는 것을 통보 받는 t3 시각이 음향인식모듈이 활성화되는 시간이 될 수 있도록 조절된 주기로써 애플리케이션2가 통보해주는 시각에 수정될 수 있다.

또 다른 구체적인 애플리케이션을 예로 들면, 카메라 애플리케이션이 활성화될 때, 이 애플리케이션은 동영상 촬영을 위하여 음향인식모듈의 일부를 독점적으로 사용하고 있을 수 있다. 이때, 카메라 애플리케이션이 독점적으로 음향인식모듈의 일부를 사용할 수 있도록 음향인식모듈은 주기적인 활성화를 중단하였다가, 카메라 애플리케이션이 종료될 때 활성화될 수 있다.

도 13은 모바일 수신기(200 또는 400) 내부에서 공유 자원인 마이크(201 또는 401)를 사용하는 다른 애플리케이션이 활성화되는 이벤트에 따라 음향인식모듈의 주기가 조정되는 것을 설명하기 위한 도면이다.

모바일 수신기(200 또는 400)의 음향인식모듈은 t4 시각에 활성화되어 음파 ID 추출을 시도했다고 가정하자. 이후 원래 계획된 주기는 주기7로써 t6 시각에 다시 음향인식모듈이 활성화될 예정일 수 있다. 하지만 이 경우 t5 시각에 마이크(201 또는 401)를 사용하는 애플리케이션4가 실행되는 사실을 운영체제가 음향인식모듈에게 통보할 수 있다(이때 감지하거나 통보받는 방법은 이후 도 14를 참조하여 구체적으로 설명하도록 한다). 만일 운영체제가 마이크(201 또는 401) 사용을 공유할 수 있도록 제공해 주는 경우, 애플리케이션4의 실행 통보를 받은 음향인식모듈은 마이크(201 또는 401), ADC(203 또는 403) 프로세서(207 또는 407) 등 애플리케이션4가 사용하고 음파 ID추출에 필요한 하드웨어 및 소프트웨어 자원을 공유하여 사용할 수 있다. 일예로, 운영체제는 마이크(201 또는 401)로 들어오는 음향이 ADC(203 또는 403)를 통해 디지털 데이터로 변환된 데이터들을 애플리케이션4 뿐만 아니라, 음향인식모듈에게도 동시에 제공하여, 양쪽에서 음향에 관한 데이터를 받을 수 있다. 이러한 운영체제의 지원을 통해서, 음향인식모듈은 개별적으로 활성화되어 음파 ID 추출을 시도하는 것에 비해 모바일 수신기(200 또는 400) 전체 소비 전력으로 보았을 때 더 낮은 전력으로 음파 ID 추출이 가능하다. 또한 이와 같은 활성화를 한 경우는 원래 계획되어 있던 t6 시각에 활성화되는 일정을 취소함으로써 음향인식모듈은 저 전력으로 동작할 수 있다.

구체적인 애플리케이션을 예로 들면, 전화통화 애플리케이션이 활성화 될 때, 이 애플리케이션은 기본적으로 마이크(201 또는 401)와 ADC(203 또는 403)를 활용하고, 프로세서(207 또는 407)를 활성화시키므로, 동시에 음향인식모듈이 활성화 되면 저 전력으로 음파 ID추출이 가능하다. 또 다른 예를 들면, 동영상 플레이어나 DMB 애플리케이션 혹은 코덱(221 또는 421)이 동작하면, 모바일 수신기(200 또는 400)가 콘텐츠 재생기기의 역할도 할 것으로 추정할 수 있으므로, 연관 콘텐츠를 제공하기 위해서 음향인식모듈이 활성화될 수 있다.

지금까지 도 12와 13에서 음향인식모듈이 특정 애플리케이션이 마이크(201 또는 401)를 사용할지 추정이 가능한 것으로 설명하였는데, 이런 추정은 각 애플리케이션이 운영체제로부터 허락받은 하드웨어 사용 퍼미션(Permission) 정보를 열람하여 확인할 수 있다. 이때, 실행중인 애플리케이션의 목록 또한 운영체제로부터 요청하여 얻을 수 있다.

지금까지 도 12와 도 13을 특정 애플리케이션이 실행되거나 종료되는 모바일 수신기 내부의 이벤트에 따라 음향인식모듈이 불규칙적인 주기를 가지는 것을 설명하였으나, 이벤트의 종류는 여기에 한정되지 않는다. 예를 들어 도 12과 도 13은 특정 애플리케이션이 실행되거나 종료되는 것 뿐만 아니라, 애플리케이션이 백그라운드 모드에서 포그라운드 모드로 전환되거나 포그라운드 모드에서 백그라운드 모드로 전환되는 것일 수 있다. 또 다른 예를 들면, 도 12는 특정 애플리케이션이 아닌 모바일 수신기(200 또는 400)의 내부 구성요소 중 하나 혹은 일부 이상이 활성화되는 이벤트 일 수 있고 도 13은 비 활성화되는 이벤트 일 수 있다. 구체적으로는 표시부의 디스플레이가 활성화 혹은 비 활성화되는 이벤트 일 수 있다. 또 다른 예를 들면, 이벤트는 모바일 수신기(200 또는 400)가 푸시 서버로부터 푸시 메시지를 수신하는 것일 수 있다.

도 14는 도 12와 도 13에 나타난 것처럼 음향인식모듈이 저 전력으로 동작하기 위해 모바일 수신기(200 또는 400)의 이벤트를 통보받는 방법들을 설명하기 위한 도면이다.

도 14 a)는 운영체제가 실행중인 애플리케이션들에게 특정 이벤트가 발생한 것을 알릴 때, 이를 통보받는 방법을 나타낸 것이다. 도 14 b)는 특정 애플리케이션이 음향인식모듈에 해당하는 애플리케이션에게 이벤트가 발생한 것을 통보하는 방법을 나타낸 것이다. 도 14 c)는 저 전력으로 메시지를 서버로부터 받아올 수 있도록 해주는 푸시 서버가 메시지를 보낸 것을 음향인식모듈이 통보받는 방법을 나타낸 것이다.

도 14 a)를 일 예를 들어 설명하도록 한다.

모바일 수신기(200 또는 400)는 전화를 수신하는 기능을 포함할 수 있다. 이 경우 전화가 걸려오는 경우 운영체제는 전화 수신을 하는 애플리케이션을 동작시키고, 전화가 걸려오는 이벤트에 다른 애플리케이션이 대응하도록 하기 위해서 전화 수신 이벤트를 각 애플리케이션의 필터에 전달한다. 예를 들어 애플리케이션5가 전화 수신을 처리하는 애플리케이션일 수 있고, 애플리케이션6은 음악을 재생중인 애플리케이션일 수 있다. 전화가 걸려오는 경우, 운영체제는 전화가 걸려오는 이벤트를 애플리케이션의 각 필터로 전달한다. 애플리케이션6은 전화가 걸려올 경우 음악 재생을 멈추어야 하므로, 애플리케이션6의 필터는 전화 수신 이벤트를 통과시키도록 설정되어 있을 수 있다. 애플리케이션5의 필터는 전화가 걸려올 경우 사용자인터페이스를 준비하고 전화 통화를 가능하게 하여야 하므로 전화 수신 이벤트를 통과시키도록 설정되어 있을 수 있다. 운영체제에서 마이크(201 또는 401)를 통해 입력되어 ADC(203 또는 403)를 통해 입력된 디지털 데이터를 여러 애플리케이션에게 동시에 전달할 수 있다는 것을 가정하자. 이 경우 음향인식모듈은 음향 디지털 데이터를 수신하여 음파 ID 추출을 실행할 수 있다. 그러므로 음향인식모듈의 애플리케이션에 해당하는 애플리케이션은 그 필터에 전화 수신 이벤트가 통과되도록 설정할 수 있다. 요컨대, 운영체제가 보내는 이벤트 중 저 전력으로 동작하는 데 필요한 이벤트는 필터를 통과하도록 설정하여, 음향인식모듈은 저 전력으로 음파 ID를 추출할 수 있을 수 있다.

도 14 b)를 일 예를 들어 설명하도록 한다.

도 12의 애플리케이션2와 도 13의 애플리케이션4는 각각 애플리케이션의 활성화와 애플리케이션의 종료를 음향인식모듈에 통보해 주면, 음향인식모듈은 저 전력으로 동작할 수 있다. 도 14 b)의 애플리케이션7이 도 12의 애플리케이션2 혹은 도 13의 애플리케이션4라고 가정하자. 이때 애플리케이션7은 운영체제에게 다른 애플리케이션들에게 전달할 이벤트를 전달할 수 있다. 이 이벤트는 도 12의 애플리케이션2의 활성화 이벤트 혹은 도 13의 애플리케이션4의 종료 이벤트 일 수 있다. 해당 이벤트는 운영체제로 전달되고, 운영체제는 이벤트를 모든 애플리케이션의 필터들에게 전달할 수 있다. 이때 음향인식모듈에 포함된 애플리케이션의 필터가 활성화 혹은 종료 이벤트를 통과하도록 설정되어 있을 수 있다. 이러한 방법을 통하여 음향인식모듈은 특정 애플리케이션의 활성화 혹은 종료를 통보받을 수 있다. 또 다른 일 예에서는 애플리케이션의 활성화 혹은 종료가 아닌 음향인식모듈이 사용하려는 하드웨어 혹은 소프트웨어의 사용 혹은 사용 종료를 이벤트로 받는 방법을 사용할 수 있다.

도 14 b)를 또 다른 일예를 들어 설명하도록 한다.

도 10의 주 콘텐츠1과 주 콘텐츠2의 방송 혹은 재생 일정이 미리 알려져 있을 수 있다. 이때, 도 14 b)의 애플리케이션7은 음파 ID 추출 앱과 동일한 애플리케이션일 수 있다. 음파 ID 추출 앱은 주 콘텐츠1과 2의 방송 혹은 재생 일정을 서버로부터 전달받아 해당 시각을 운영체제의 알람(Alarm)으로 등록할 수 있다. 등록된 알람은 해당시간이 되면, 등록된 이벤트를 각 애플리케이션의 필터에 전달한다. 애플리케이션5는 이 알람 이벤트와 상관없이 기능을 하므로, 애플리케이션5의 필터는 이 이벤트를 애플리케이션5에 전달하지 않는다. 하지만, 음향인식모듈에 포함된 애플리케이션의 필터(도 14b의 음파 ID 추출 앱의 필터)는 알람 이벤트를 전달받아 음파 ID 추출을 시작할 수 있다. 동일한 방법으로 주 콘텐츠1과 2의 음파 ID가 끝나는 시각을 운영체제의 알람으로 등록하여, 음향인식모듈에 포함된 애플리케이션은 음파 ID 추출을 종료할 수 있다.

도 14 c)를 일예를 들어 설명하도록 한다.

도 14 c)는 모바일 수신기(200 또는 400)가 푸시 서버로부터 메시지를 전달받아 운영체제를 통하여 애플리케이션으로 전달된다. 푸시 메시지를 전달받는 애플리케이션을 애플리케이션8 이라 가정하자. 구체적으로 애플리케이션8는 MIM 서비스로 가정하자. 이때 모바일 수신기(200 또는 400)가 서버로부터 푸시 메시지를 받아 운영체제에 전달되고, 운영체제는 애플리케이션 필터들에게 이를 전달한다. 애플리케이션8의 필터는 MIM 기능을 수행하기 위해 푸시 메시지를 통과하도록 설정되어 있을 수 있다. 애플리케이션9는 해당 푸시 메시지와 무관하게 동작하는 것으로 애플리케이션9의 필터는 푸시 메시지를 통과하지 않도록 설정되어 있을 수 있다. 모바일 수신기(200 또는 400)는 전력 소모를 줄이며 동작하기 위해서 푸시 메시지를 수신하기 위한 최소한의 하드웨어 및 소프트웨어만 활성화를 하고 있는 도중에 푸시 메시지를 수신한 것일 수 있다. 이 경우 운영체제로부터 푸시 메시지를 전달받은 MIM 서비스는 해당 푸시 메시지에 적합한 동작을 취한다. 음향인식모듈의 애플리케이션 부분의 필터는 이러한 푸시 메시지를 통과하도록 설정되어 있을 수 있다. 그러한 경우, 음향인식모듈은 푸시 메시지 처리를 위해 AP, 디스플레이 등 모바일 수신기(200 또는 400)의 여러 구성요소가 활성화 될 때, 음향인식모듈을 활성화하여, 모바일 수신기(200 또는 400)의 구성 요소 중 음향인식모듈이 필요한 하드웨어 및 소프트웨어를 애플리케이션8과 공유하여 사용할 수 있다. 이런 하드웨어 및 소프트웨어의 공유를 통해서 음향인식모듈은 모바일 수신기(200 또는 400) 전체 관점에서 저 전력으로 동작할 수 있다.

■ 서버에 연관 콘텐츠 DB를 두는 연관 콘텐츠 제공 방법

도 4는 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법을 설명하기 위한 도면이다.

본 실시예에 따른 연관 콘텐츠 제공방법이 도 1의 시스템에 적용된다고 가정하고, 도 4의 실시예를 설명하기로 한다.

본 실시예에 따른 연관 콘텐츠 제공방법은, 콘텐츠 재생기기(100)가 주 콘텐츠를 출력하는 단계(S101), 모바일 수신기의 음향인식모듈이 활성화되는 단계(S103), 음파 ID를 추출하는 단계(S105), 서버(300)가 S105 단계에서 추출된 음파 ID를 수신하고, 음파 ID에 대응되는 연관 콘텐츠를 검색하고 선택하는 단계(S107), 및 모바일 수신기(200)가 S107 단계에서 선택된 연관 콘텐츠를 표시하는 단계(S109)를 포함할 수 있다.

S103단계에서, 음향인식모듈은, 스케쥴에 따라 활성화되거나, 또는 미리 정한 이벤트가 발생되면 활성화된다. 스케쥴은, 일정한 주기로 그리고/또는 불규칙적인 주기로 음향인식모듈이 활성화되도록 작성된 것 있을 수 있다. 스케쥴은, 예를 들면, 주 콘텐츠 스케쥴-주 콘텐츠가 재생되는 시간들을 나타내는 스케쥴- 또는 음파 ID 스케쥴-음파 ID를 추출할 수 있는 시간들을 나타내는 스케쥴-참조하여 작성된 것일 수 있으나, 이는 예시적인 것으로서 주 콘텐츠 스케쥴 또는 음파 ID 스케쥴을 반드시 참조하여 작성된 것일 필요는 없다.

일 실시예에 따르면, 스케쥴은, 음향인식모듈이 일정한 주기로 활성화되도록 작성된 것이거나, 불규칙적인 주기로 활성화되도록 작성된 것일 수 있다. 스케쥴에 따라서 음향인식모듈이 활성화된 예는, 도 9 내지 도 11를 참조하여 설명한 실시예들일 수 있으며, 이들 실시예들에만 한정되는 것이 아님을 당업자는 쉽게 이해할 수 있을 것이다.

이벤트가 있으면 음향인식모듈이 활성화되는 예는, 도 12 내지 도 14를 참조하여 설명한 실시예들일 수 있으나, 이들 실시예들에만 한정되는 것이 아님을 당업자는 쉽게 이해할 수 있을 것이다.

음향인식모듈의 일부로 연관 콘텐츠 제공 애플리케이션이 사용되고 있는 경우, 모바일 수신기(200)의 메모리(209)에서 동작하는 연관 콘텐츠 제공 애플리케이션은, 추출된 음파 ID를 서버(300)로 전송한다. 서버(300)는 전송받은 음파 ID에 대응되는 연관 콘텐츠를 검색한다(S107), 이후, 서버(300)는 선택한 연관 콘텐츠를 모바일 수신기(200)에게 전송하며, 모바일 수신기(200)는 연관 콘텐츠를 사용자에게 표시한다(S109).

■ 모바일 수신기에 연관 콘텐츠 DB를 두는 연관 콘텐츠 제공 방법

도 5는 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법을 설명하기 위한 도면이다.

본 실시예에 따른 연관 콘텐츠 제공방법이 도 1의 시스템에 적용된다고 가정하고, 도 3의 실시예와의 차이점을 위주로 도 5의 실시예를 설명하기로 한다.

본 실시예에 따른 연관 콘텐츠 제공방법은, 콘텐츠 재생기기(100)가 주 콘텐츠를 출력하는 단계(S201), 모바일 수신기의 음향인식모듈이 활성화되는 단계(S203), 음파 ID를 추출하는 단계(S207), 모바일 수신기가 S205 단계에서 추출된 음파 ID에 대응되는 연관 콘텐츠를 검색하고 선택하는 단계(S209), 및 모바일 수신기(200)가 S209 단계에서 선택된 연관 콘텐츠를 표시하는 단계(S211)를 포함할 수 있다.

한편, 본 실시예에 따른 연관 콘텐츠 제공방법은, 서버가 모바일 수신기에게 연관 콘텐츠 DB에 대한 업데이트용 데이터를 전송하는 단계(S205)를 더 포함할 수 있으며, 모바일 수신기는 서버로부터 업데이트용 데이터를 전송받아 자신이 저장하는 연관 콘텐츠 DB를 업데이트할 수 있다.

예를 들면, 모바일 수신기의 메모리(209)에서 동작하는 연관 콘텐츠 제공 애플리케이션은 서버(300)로부터 전송받은 연관 콘텐츠 DB를 저장 장치(211)에 저장하거나, 기 저장된 DB를 업데이트 한다. 예를 들면. 메모리(209)에서 동작하는 연관 콘텐츠 제공 애플리케이션은, 음파 ID에 대응되는 연관 콘텐츠 DB를 검색 및 선택하며(S209), 선택한 연관 콘텐츠를 표시부(213)를 통해서 표시할 수 있다(S211).

모바일 수신기의 음향인식모듈이 활성화되는 단계(S203)는 도 4를 참조하여 설명한 활성화 단계와 동일하게, 스케쥴에 따라 활성화되거나, 또는 미리 정한 이벤트가 발생되면 활성화될 수 있다.

한편, 도 5의 실시예는 도 4의 실시예와 달리, 모바일 수신기(200)가 직접 음파 ID에 대응되는 연관 콘텐츠를 선택한다. 이를 위해 서버(300)가 모바일 수신기(200)에 연관 콘텐츠 DB의 일부 혹은 전부를 보내서, 모바일 수신기(200)에 기 저장된 연관 콘텐츠의 일부 혹은 전부를 업데이트 할 수 있다.

서버(300)가 연관 콘텐츠 DB를 전송하는 시기는 도 5에 표시된 시점에 한정되지 않는다. 서버(300)가 모바일 수신기(200)에 기 저장된 연관 콘텐츠 DB를 업데이트 하기 위해, 연관 콘텐츠 DB를 보내는 경우에는, 특정 시기에 한정되지 않는다.

■ 모바일 수신기가 콘텐츠 재생기기 역할을 하는 방법

도 6은 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법을 설명하기 위한 도면이다.

도 1의 시스템에서 콘텐츠 재생기기(300)가 아닌 모바일 수신기(200)가 주 콘텐츠를 출력하고, 모바일 수신기(200)가 음향을 인식하도록 구현이 되었다고 가정 한다. 이러한 도 1의 시스템에 본 실시예에 따른 콘텐츠 제공방법이 적용되었다고 가정하고, 도 4의 실시예와의 차이점을 위주로 도 6의 실시예를 설명하기로 한다.

본 실시예에 따른 연관 콘텐츠 제공방법은, 모바일 수신기(200)가 주 콘텐츠를 출력하는 단계(S301), 모바일 수신기의 음향인식모듈이 활성화되는 단계(S305), 음파 ID를 추출하는 단계(S307), 서버가 S307 단계에서 추출된 음파 ID에 대응되는 연관 콘텐츠를 검색하고 선택하는 단계(S309), 및 모바일 수신기(200)가 S309 단계에서 선택된 연관 콘텐츠를 표시하는 단계(S311)를 포함할 수 있다.

S307 단계는 예를 들면 다음과 같은 방법으로 구현될 수 있다.

첫째, 모바일 수신기(200)가 구비한 표시부(213)의 일부인 스피커(미도시)를 통해서 출력되는 음향을 마이크(201)가 감지하고 감지한 음향으로부터 음향인식모듈이 ID를 추출하는 방법.

둘째, 모바일 수신기(200)가 구비한 표시부(213)의 일부인 스피커(미도시)를 통해서 출력되기 전의 디지털 데이터를 내부의 운영체제로부터 음향인식모듈이 전달받아 음파 ID를 추출하는 방법.

셋째, 모바일 수신기(200)와 연결된 헤드셋(미도시)의 마이크(201)의 입력단자가, 헤드셋(미도시)의 소형 음향 출력 단자와 연결되어, 헤드셋(미도시)의 소형 스피커에게 전달되는 전기적 신호로부터 음향인식모듈이 ID를 추출하는 방법.

음향인식모듈은 S307 단계에서 추출한 음파 ID를 서버(300)에게 전송한다(S307). 서버(300)는 연관 콘텐츠 DB-서버(300)가 저장하고 있거나 별도의 저장장치(미도시)에 저장-를 참조하여 음파 ID에 대응되는 연관 콘텐츠를 검색 및 선택한다(S309). 서버(300)는 선택결과를 모바일 수신기(200)에게 전송하며, 모바일 수신기(200)는 전송받은 선택 결과를 표시한다.

도 7은 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법을 설명하기 위한 도면이다.

도 1의 시스템에서 콘텐츠 재생기기(100)가 아닌 모바일 수신기(200)가 주 콘텐츠를 출력하고, 모바일 수신기(200)가 음향을 인식하도록 구현이 되었다고 가정하고, 이러한 도 1의 시스템에 본 실시예에 따른 연관 콘텐츠 제공방법이 적용되었다고 가정하며, 도 4의 실시예와의 차이점을 위주로 도 7의 실시예를 설명하기로 한다.

본 실시예에 따른 연관 콘텐츠 제공방법은, 콘텐츠 재생기기(100)가 주 콘텐츠를 출력하는 단계(S401), 모바일 수신기의 음향인식모듈이 활성화되는 단계(S403), 음파 ID를 추출하는 단계(S407), 모바일 수신기가 S407 단계에서 추출된 음파 ID에 대응되는 연관 콘텐츠를 검색하고 선택하는 단계(S409), 및 모바일 수신기(200)가 S409 단계에서 선택된 연관 콘텐츠를 표시하는 단계(S411)를 포함할 수 있다.

한편, 본 실시예에 따른 연관 콘텐츠 제공방법은, 서버가 모바일 수신기에게 연관 콘텐츠 DB에 대한 업데이트용 데이터를 전송하는 단계(S405)를 더 포함할 수 있으며, 모바일 수신기는 서버로부터 업데이트용 데이터를 전송받아 자신이 저장하는 연관 콘텐츠 DB를 업데이트할 수 있다.

상술한 S407 단계는 상술한 S307 단계와 같은 방법으로 구현될 수 있다.

모바일 수신기의 음향인식모듈이 활성화되는 단계(S403)는 도 4를 참조하여 설명한 활성화 단계와 동일하게, 스케쥴에 따라 활성화되거나, 또는 미리 정한 이벤트가 발생되면 활성화될 수 있다.

도 7의 실시예는 도 4의 실시예와 달리, 모바일 수신기(200)가 직접 음파 ID에 대응되는 연관 콘텐츠를 선택한다. 이를 위해 서버(300)가 모바일 수신기(200)에 연관 콘텐츠 DB의 일부 혹은 전부를 보내서, 모바일 수신기(200)에 기 저장된 연관 콘텐츠의 일부 혹은 전부를 업데이트 할 수 있다.

서버(300)가 연관 콘텐츠 DB를 전송하는 시기는 도 7에 표시된 시점에 한정되지 않는다. 즉, 서버(300)가 모바일 수신기(200)에 기 저장된 연관 콘텐츠 DB를 업데이트 하기 위해, 연관 콘텐츠 DB를 보내는 경우에는, 서버(300)가 연관 콘텐츠 DB를 전송하는 시기는 특정 시기에 한정되지 않는다.

■ 콘텐츠에서 추출 가능한 음파 ID의 위치

도 8은 주 콘텐츠를 설명하기 위한 도면이다.

도 8의 a)는 주 콘텐츠들의 일예를 도시한 것으로서, 이들 콘텐츠는 각각 영상과 음향의 조합으로 이루어져 있고, 음파 ID를 주 콘텐츠 해당 시각에서 각각 추출할 수 있다.

예를 들어, 도 8의 a)와 같은 주 콘텐츠가 도 4의 실시예에서 출력된다고 가정하고, 그 동작을 설명하기로 한다.

콘텐츠 재생기기(100)는 시간이 흐름에 따라서 주 콘텐츠들(주 콘텐츠 1, 2, 3)을 출력하며, 이들 콘텐츠에서 각각 음파 ID를 추출할 수 있다. 음파 ID1은 주 콘텐츠1이 출력될 때 음향으로부터 추출할 수 있는 것 이다. 음파 ID2는 주 콘텐츠2가 출력될 때 음향으로부터 추출할 수 있는 것 이다. 음파 ID3은 주 콘텐츠3이 출력될 때 음향으로부터 추출할 수 있는 것 이다.

모바일 수신기(200)는 각각의 음파 ID들을 순차적으로 추출하고, 이들 음파 ID들을 각각 서버(300)로 전송하고, 음파 ID에 각각 대응 되는 연관 콘텐츠를 서버(300)로부터 전송받아 표시하게 된다.

한편, 모바일 수신기(200)는 음파 ID를 추출하는 것을 스케쥴에 따르거나 또는 미리 정한 이벤트가 발생되면(즉, 간헐적으로) 실시할 수 있다. 이에 대하여는 상술한 실시예들과 동일하므로 상세한 설명은 생략하기로 한다.

도 8의 b)는 콘텐츠 재생기기를 통해서 출력되는 주 콘텐츠들의 다른 예를 도시한 것으로서, 이들 주 콘텐츠들은 각각 영상과 음향의 조합으로 이루어져 있고, 음향으로부터 음파 ID를 추출할 수 있다.

도 8의 b)의 경우 서로 상이한 두 음파 ID를 추출할 수 있는 콘텐츠가 있다는 점에서 도 8의 a)와 차이가 있다.

예를 들어, 도 8의 b)와 같은 주 콘텐츠가 도 6의 실시예에서 출력된다고 가정하고, 그 동작을 설명하기로 한다.

모바일 수신기(200)는 시간이 흐름에 따라서 주 콘텐츠들(주 콘텐츠4, 5, 6)을 출력하며, 이들 주 콘텐츠들로부터 각각 음파 ID를 추출할 수 있다. 음파 ID1은 주 콘텐츠4가 출력될 때 음향으로부터 추출될 수 있는 것이다. 음파 ID2, ID3는 주 콘텐츠5가 출력될 때 음향으로부터 추출될 수 있는 것이다. 음파 ID4는 주 콘텐츠6이 출력될 때 음향으로부터 추출될 수 있는 것이다.

모바일 수신기(200)는 각각의 음파 ID들을 순차적으로 추출하고, 이들 ID들을 각각 서버(300)로 전송하고, 음파 ID에 각각 대응 되는 연관 콘텐츠를 서버(300)로부터 전송받아 표시하게 된다.

■ 연관 콘텐츠를 몰입방해 없이 출력하는 방법

본 발명의 일실시예에 따르면, 연관 콘텐츠를 모바일 수신기를 통해 표시하는 시간은 주 콘텐츠에서 광고나 엔딩 크레디트 등의 주 콘텐츠에서 시청자 혹은 청취자의 몰입을 필요로 하지 않는 시각일 수 있다. 예를 들어, 주 콘텐츠가 드라마이고 연관 콘텐츠가 드라마에서 나온 간접 광고 상품 정보일 때, 비록 연관 콘텐츠를 얻을 수 있는 음파 ID는 드라마의 중간에 위치한다고 하더라도, 모바일 수신기는 연관 콘텐츠를 모바일 수신기에 표시하는 것은 드라마가 종료하고 엔딩 크레디트가 표시되는 시점으로 연기할 수 있다.

한편, 도 4 내지 도 7을 참조하여 상술한 방법을 구성하는 각 단계들을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 제공될 수 있다.

■ 연관 콘텐츠 제공 방법

도 15는 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법을 설명하기 위한 도면이다.

본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법이 도 1의 시스템에 적용된다고 가정하고, 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법을 설명하기로 한다.

도 15를 참조하면, 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법은, 콘텐츠를 재생하는 콘텐츠 재생기기로부터 출력되는 음향을 모바일 수신기(200)가 감지하는 단계(S501); 감지한 음향을 디지털 데이터로 모바일 수신기(200)가 변환하는 단계(S503); 디지털 데이터로부터 음파 ID를 모바일 수신기(200)가 추출하는 단계(S505); 추출한 음파 ID에 대응되는 연관 콘텐츠를 검색 및 선택하는 단계(S507); 및 선택한 연관 콘텐츠를 모바일 수신기(200)가 영상 및/또는 음성으로 표시하는 단계(S509);를 포함할 수 있다.

또한, 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법은, S501 단계에서 감지된 음향이 기 설정된 역치 이상의 세기를 가지는지 여부를 판단하는 단계;를 더 포함하며, 본 판단하는 단계는 S501 단계와 S505 단계 사이에 수행될 수 있다.

일 예를 들면, 본 판단하는 단계는 S501 단계와 S503 단계 사이에 수행될 수 있다. 이 경우, S501 단계에서 감지된 음향을 디지털 데이터로 변환하는 단계(S503)는, S501 단계에서 감지된 음향이 기 설정된 역치 이상의 세기를 가지는 것으로 판단된 경우에 수행될 수 있다.

또한, 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법은, 연관 콘텐츠를 선택하는 단계(S507)를 모바일 단말기(200)가 수행하도록 구현되거나, 또는 서버(300)가 수행하도록 구현되는 것이 가능하다. 연관 콘텐츠를 검색 및 선택하는 단계(S507)를 서버(300)가 수행하도록 구현되는 경우에는, 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법은, 모바일 수신기(200)가 S505 단계에서 추출된 음파 ID를 서버(300)에게 전송하는 단계와, 서버(300)가 선택한 연관 콘텐츠를 모바일 수신기(200)에게 전송하는 단계를 더 포함할 수 있으며, 여기서 음파 ID를 서버(300)에게 전송하는 단계는 S505 단계 이후에 수행되고, 서버(300)가 선택한 연관 콘텐츠를 모바일 수신기(200)에게 전송하는 단계는 S507 단계와 S509 단계 사이에 수행될 수 있다.

또한, 본 발명의 일 실시예에 따른 연관 콘텐츠 제공방법은, S501 단계에서 감지된 음향이 기 설정된 역치 이상의 세기를 가지는지 여부를 판단하는 단계(설명의 목적을 위해 ‘S502’라고 함); 및 전술한 S501를 수행하는 구성요소, S502를 수행하는 구성요소, S503를 수행하는 구성요소, S505를 수행하는 구성요소, S507를 수행하는 구성요소 중 적어도 어느 하나의 구성요소를 활성화시키는 단계(설명의 목적을 위해 ’S504‘라고 함);를 더 포함할 수 있다.

일 예를 들면, 활성화시키는 단계(S504)는, S501를 수행하는 구성요소, S502를 수행하는 구성요소, 및 S503를 수행하는 구성요소를 활성화시키는 단계일 수 있다. 이러한 예에서, S501를 수행하는 구성요소, S502를 수행하는 구성요소, 및 S503를 수행하는 구성요소는 비활성화되어 있다가, 활성화되는 구성요소이고, S505를 수행하는 구성요소와 S507를 수행하는 구성요소는 이미 활성화된 상태일 수 있다.

일 예를 들면, 활성화시키는 단계(S504)는, S501를 수행하는 구성요소, S502를 수행하는 구성요소를 활성화시키는 단계; 및 S502 단계의 수행결과가 성공하면 S503를 수행하는 구성요소와 S507를 수행하는 구성요소를 활성화시키는 단계;를 포함하도록 구성될 수 있다.

일 예를 들면, 활성화시키는 단계(S504)는, S501 단계를 수행하는 구성요소를 활성화시키는 단계;와 S501 단계의 수행결과 음향을 감지한 경우-예를 들면, 기 설정된 대역에 속한 음향을 감지한 경우-에, S502 단계를 수행하는 구성요소와 S503 단계를 수행하는 구성요소를 활성화시키는 단계;를 포함하도록 구성될 수 있다. 여기서, S507 단계를 수행하는 구성요소와 S509 단계를 수행하는 구성요소는, 예를 들면, 이미 활성화되어 있거나, 또는 S503 단계가 성공하면 활성화되거나, 또는 S503 단계가 활성화될 때 같이 활성화 되도록 구성될 수 있다.

일 예를 들면, 활성화시키는 단계(S504)는, S501 단계의 수행결과 음향이 감지된 경우, S502 단계를 수행하는 구성요소를 활성화시키는 단계; S502 단계의 수행결과 S501 단계에서 감지된 음향이 기 설정된 역치 이상의 세기를 가지는 것으로 판단된 경우에, S503 단계를 수행하는 구성요소와 S505 단계를 수행하는 구성요소를 활성화시키는 단계를 포함하도록 구성될 수 있다. 여기서, S505 단계의 수행결과 음파 ID가 추출된 경우에, S507 단계를 수행하는 구성요소와 S509 단계를 수행하는 구성요소는 동시 또는 순차적으로 활성화될 수 있다.

일 예를 들면, 활성화시키는 단계(S504)는, 스케쥴에 따라 수행되거나, 또는 미리 정한 이벤트가 발생되면 수행될 수 있다. 스케쥴에 대한 상세한 설명은 도 4를 참조하여 설명한 실시예들을 참조하기 바란다. 예를 들면, 활성화시키는 단계(S504)는, 도 9 내지 도 11를 참조하여 설명한 실시예들처럼 스케쥴에 따라서 수행되거나 , 또는 도 12 내지 도 14를 참조하여 설명한 실시예들처럼 미리 정한 이벤트가 있는 경우에, 수행될 수 있다.

일 예를 들면, 활성화시키는 단계(S504)는, 주 콘텐츠 스케쥴을 참조하여 작성된 스케쥴에 따라서, 일정한 주기로 그리고/또는 불규칙적인 주기로 수행될 수 있다. 예를 들면, 활성화시키는 단계(S504)는, 주 콘텐츠가 재생되는 시간 동안에만, 기 설정된 주기로 수행될 수 있다. 다르게는, 활성화시키는 단계(S504)는, 주 콘텐츠가 재생되는 시간 동안에는 기 설정된 제1 주기로 수행되고, 주 콘텐츠가 재생되지 않는 시간 동안에는 제1 주기보다 더 긴 제2 주기로 수행될 수 있다.

일 예를 들면, 활성화시키는 단계(S504)는, 음파 ID 스케쥴을 참조하여 작성된 스케쥴에 따라서, 일정한 주기로 그리고/또는 불규칙적인 주기로 수행될 수 있다. 예를 들면, 활성화시키는 단계(S504)는, 음파 ID를 추출할 수 있는 시간에 수행될 수 있다.

일 예를 들면, 활성화시키는 단계(S504)는, 기 설정된 제3 주기로 수행되다가, 음파 ID의 추출에는 실패하였지만, 음파 ID가 존재할 것이라고 판단되는 경우에는, 제3 주기보다 더 짧은 제4 주기로 활성화시키는 단계(S504)가 수행될 수 있다. 이후, ID가 추출이 되면, 활성화시키는 단계(S504)는 제3 주기로 수행될 수 있다.

일 예를 들면, 활성화시키는 단계(S504)는, 기 설정된 제5 주기로 수행되다가, S502의 수행결과 다음의 수식

역치>감지된 음향의 세기> (α×역치), 여기서 α는 1보다 작음

을 만족하는 경우에는, 제5 주기 보다 더 짧은 제6 주기로 수행될 수 있다. 즉, 일 실시예에서, 본 발명의 발명자는, 감지된 음향의 세기가 역치보다는 작지만, 역치에 근접할 정도인 경우에는, 음파 ID가 존재하는 음향이 존재할 가능성이 있다고 판단하여, 위 수식을 만족하는 경우에는 제5 주기보다 더 짧은 제6 주기로, 활성화시키는 단계(S504)가 수행되도록 한 것이다.

일 예를 들면, 활성화시키는 단계(S504)는, 미리 정한 이벤트가 발생되면, 실행될 수 있다. 여기서 이벤트는 예를 들면 특정 어플리케이션이 실행되는 경우, 모바일 수신기(200)가 가진 표시부가 활성화 또는 비활성화되는 경우, 또는 모바일 수신기(200)가 외부로부터 푸시 메시지를 수신하는 경우를 의미할 수 있다.

일 예를 들면, 활성화시키는 단계(S504)는, 기 설정된 제7 주기로 수행되다가, 미리 정한 이벤트가 발생되면, 실행되지 않도록 구성될 수 있다. 그리고, 미리 정한 이벤트가 종료되면, 활성화시키는 단계(S504)는, 기 설정된 주기(예를 들면, 제7 주기)에 따라서 다시 수행된다.

일 예를 들면, 활성화시키는 단계(S504)는, 미리 정한 이벤트가 발생되면, 이벤트 발생 사실이 모바일 수신기(200)가 가진 운영 체제(OS)(미 도시)로 전달되는 단계, 운영체제가 이벤트의 발생 사실을 모바일 수신기(200)에서 동작하는 애플리케이션들에 각각 대응되어 구비된 필터들에게 각각 전달하는 단계; 및 각각의 필터는 미리 설정된 바에 따라서 이벤트의 발생 사실을 자신에게 대응된 애플리케이션들에게 전달하거나 또는 전달하지 않는 단계를 포함하도록 구성될 수 있다. 보다 상세한 설명은 도 14를 참조하여 설명한 실시예들을 참조하기 바란다.

이상 도 15를 참조하여 설명한 연관 콘텐츠 제공 방법에서, 음향을 감지하는 단계를 수행하는 구성요소는 예를 들면 마이크일 수 있고, 음향을 디지털 데이터로 변환하는 단계를 수행하는 구성요소는 ADC일 수 있고, 음파 ID를 추출하는 단계를 수행하는 구성요소는 음파 ID 추출부나 연관 콘텐츠 제공 애플리케이션일 수 있고, 연관 콘텐츠를 검색하여 선택하는 단계를 수행하는 구성요소는 모바일 수신기(예를 듬련, 연관 콘텐츠 제공 어플리케이션) 또는 서버일 수 있고, 연관 콘텐츠를 영상 및/또는 음성으로 표시하는 단계를 수행하는 구성요소는 표시부일 수 있다.

이상 도 15를 참조하여 설명한 연관 콘텐츠 제공 방법은, 모바일 수신기가 콘텐츠 재생기기로부터 출력되는 음향을 감지하는 것으로 설명하였으나 이는 예시적인 것으로서, 도 6 또는 도 7의 실시예와 같이 모바일 수신기로부터 출력되는 음향을 모바일 수신기가 감지하는 구성으로도 구현이 될 수 있다.

연관 콘텐츠 제공방법을 모바일 수신기로부터 출력되는 음향을 모바일 수신기가 수신하는 구성으로 구현할 경우는, 모바일 수신기로부터 출력되는 음향을 모바일 수신기가 감지하는 단계; 감지한 음향을 디지털 데이터로 모바일 수신기가 변환하는 단계; 디지털 데이터로부터 음파 ID를 모바일 수신기가 추출하는 단계; 추출한 음파 ID에 대응되는 연관 콘텐츠를 선택하는 단계; 및 선택한 연관 콘텐츠를 모바일 수신기가 영상 및/또는 음성으로 표시하는 단계;를 포함하도록 구현될 수 있다. 또한, 본 연관 콘텐츠 제공방법은, 감지된 음향이 기 설정된 역치 이상의 세기를 가지는지 여부를 판단하는 단계; 및 감지한 음향을 디지털 데이터로 모바일 수신기가 변환하는 단계를 수행하는 구성요소, 디지털 데이터로부터 음파 ID를 모바일 수신기가 추출하는 단계를 수행하는 구성요소, 추출한 음파 ID에 대응되는 연관 콘텐츠를 선택하는 단계를 수행하는 구성요소, 선택한 연관 콘텐츠를 모바일 수신기가 영상 및/또는 음성으로 표시하는 단계를 수행하는 구성요소들 중 적어도 어느 하나의 구성요소를 활성화시키는 단계;를 더 포함할 수 있다. 여기서, 활성화시키는 단계에 대한 구체적인 예는 전술한 실시예들을 참조하기 바란다.

■ 연관 콘텐츠 제공 방법을 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 매체

전술하였던 본 발명의 일 실시예에 따른 연관 콘텐츠 제공 방법은, 메모리, 프로세서, 마이크, ADC를 구비한 모바일 수신기에서 실행되는 프로그램(설명의 목적을 위해서, ‘연관 콘텐츠 제공 방법을 실행시키기 위한 프로그램’이라고 함)으로 구현될 수 있다. 즉, 메모리, 프로세서, 마이크, ADC를 구비한 모바일 수신기는 컴퓨터로서의 기능을 가지며 따라서, 연관 콘텐츠 제공 방법은 그러한 모바일 수신기에서 실행되는 프로그램의 형태로 구현이 될 수 있다.

본 발명의 일 실시예에 따른 연관 콘텐츠 제공 방법을 실행시키기 위한 프로그램은, 연관 콘텐츠 제공 애플리케이션을 포함할 수 있다.

일 실시예에 따르면, 연관 콘텐츠 제공 방법을 실행시키기 위한 프로그램은, 프로세서의 제어하에 메모리에 로딩된 후 실행될 수 있다.

연관 콘텐츠 제공 방법을 실행시키기 위한 프로그램은, 예를 들면 도 15를 참조하여 설명하였던 실시예들 중 어느 하나의 방법을 실행하는 것일 수 있다.

일 예를 들면, 연관 콘텐츠 제공 방법을 실행시키기 위한 프로그램은, 도 15를 참조하여 설명하였던 각 단계들 중, 프로그램으로 구현될 수 있는 단계들을 모바일 수신기에 실행시킬 수 있다.

일 예를 들면, 연관 콘텐츠 제공 방법을 실행시키기 위한 프로그램은, S502 단계, S503 단계, S504 단계, S505 단계, S507 단계, 및/또는 S509 단계를 모바일 수신기에 실행시킬 수 있다. 즉, S502 단계, 503 단계, S504 단계, S505 단계, S507 단계, 및 S509 단계들이 모두 프로그램으로 구현되거나, S502 단계, S503 단계, S504 단계, S505 단계, S507 단계, 및 S509 단계들 중 일부는 하드웨어로 구현하고, 그 나머지 단계들이 프로그램으로 구현될 수 있다. S502 단계, S503 단계, S504 단계, S505 단계, S507 단계, 및 S509 단계들에 대한 상세한 설명은 도 15를 참조하여 설명한 실시예들을 참조하기 바란다.

상기와 같이 본 발명은 비록 한정된 실시예들과 도면에 의해 설명되었으나, 본 발명은 상기의 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상의 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다.

본 발명의 범위는 설명된 실시예들에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등한 것들에 의해 정해져야 한다.

100: 콘텐츠 재생기기
201, 401: 마이크
203, 403: ADC
205: 음파 ID 추출부
207, 407: 프로세서
209, 409: 메모리
211, 411: 저장장치
213, 413: 표시부
215, 415: 통신부
221, 421: DMB 애플리케이션 또는 동영상플레어 또는 코덱
223, 423: 연관 콘텐츠 제공 애플리케이션
200, 400: 모바일 수신기
300: 서버
402: 저전력 음향세기 측정부
404: 음파 패턴 인식부

Claims

메모리, 프로세서, 콘텐츠('주 콘텐츠'라고 함)를 재생하는 콘텐츠 재생기기로부터 출력되는 음향을 감지하는 마이크, 상기 마이크가 감지한 음향을 디지털 데이터로 변환하는 ADC를 포함하는 모바일 수신기에서 연관 콘텐츠를 제공하기 위해 실행되는 연관 콘텐츠 제공 애플리케이션에 의해 수행되는 연관 콘텐츠 제공 방법에 있어서,
상기 디지털 데이터로부터 음파 ID를 추출하는 단계;
상기 음파 ID에 대응되는 연관 콘텐츠를 사용자에게 표시하는 단계;를 포함하며,
상기 음파 ID는,
상기 콘텐츠 재생기기로부터 출력되는 음향에 인위적으로 삽입된 비 가청 음향을 나타내는 디지털 데이터('비 가청 음파 ID'라고 함), 또는
상기 콘텐츠 재생기기로부터 출력되는 음향의 일부로 포함되어 있는 음향으로부터 추출할 수 있는 음향의 특징을 나타내는 축약된 디지털 데이터('가청 지문 ID'라고 함)이고,
상기 방법은,
상기 단계들을 수행하는 구성요소들 중 적어도 어느 하나의 구성요소를 활성화시키는 단계; 및
주 콘텐츠가 재생되는 시간들을 나타내는 주 콘텐츠 스케줄을 서버로부터 수신하여 저장하는 단계;를 더 포함하며,
상기 활성화시키는 단계는, 상기 주 콘텐츠 스케줄을 참조하여, 상기 주 콘텐츠가 재생되는 시간에 맞추어 수행되며,
상기 연관 콘텐츠를 사용자에게 표시하는 단계는, 상기 주 콘텐츠가 종료될 때 실행되는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
제1항에 있어서,
상기 연관 콘텐츠는,
주 콘텐츠의 내용 또는 내용을 전달하기 위한 배경지식과 연관된 음향, 영상, 문서, 인터넷 주소 등의 정보 및/또는 이들을 가리키는 디지털 식별자 값을 의미하는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
제2항에 있어서,
상기 음파 ID는,
상기 연관 콘텐츠를 식별하는데 사용되며, 그리고
1) 상기 주 콘텐츠를 식별하거나, 2) 상기 주 콘텐츠 내의 상대적 시간 위치를 식별하거나, 또는 3) 상기 주 콘텐츠 내의 상기 상대적 시간 위치에서의 광고와 연관된 연관 콘텐츠를 식별하는 데 사용될 수 있는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
제3항에 있어서,
상기 음파 ID를 서버로 전송하는 단계; 및
상기 서버로부터 상기 음파 ID에 대응되는 연관 콘텐츠를 수신하는 단계;를 더 포함하며,
상기 음파 ID에 대응되는 연관 콘텐츠를 사용자에게 표시하는 단계는 상기 서버로부터 수신한 연관 콘텐츠를 표시하는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
제1항에 있어서,
감지한 상기 음향이 기 설정된 역치 이상의 세기를 가지는지 여부를 판단하는 단계; 및
상기 음향이 기 설정된 역치 이상의 세기를 가지는 것으로 판단된 경우, 상기 ADC와, 상기 음파 ID를 추출하는 단계를 수행하는 구성요소가 동작하도록 활성화시키는 단계;를 더 포함하는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
제1항에 있어서,
상기 활성화시키는 단계에 의해서 활성화되는 구성요소는,
상기 마이크와, 상기 ADC와, 상기 음파 ID를 추출하는 단계를 수행하는 구성요소인 것을 특징으로 하는 연관 콘텐츠 제공 방법.
제1항에 있어서,
상기 활성화시키는 단계는 제1 주기로 수행되다가, 감지된 상기 음향의 세기(A)가 다음의 수식
역치>감지된 음향의 세기>α×역치, (여기서, α는 1보다 적음)
을 만족하는 경우, 상기 제1 주기보다 더 짧은 제2 주기로 수행되는 것을 특징으로 하는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
제1항에 있어서,
상기 활성화시키는 단계는 주기적으로 수행되며, 다만 수행할 시기가 되었을 때 미리 정한 이벤트가 발생되면, 수행되지 않는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
삭제
제1항에 있어서,
상기 활성화시키는 단계는, 상기 주 콘텐츠가 재생되는 시간 동안에만, 기 설정된 주기로 수행되는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
제1항에 있어서,
상기 활성화시키는 단계는, 상기 주 콘텐츠가 재생되는 시간 동안에는 제1 주기로 수행되고, 상기 주 콘텐츠가 재생되지 않는 시간 동안에는 상기 제1 주기보다 긴 제2 주기로 수행되는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
삭제
삭제
제1항에 있어서,
상기 방법은,
미리 정한 이벤트가 발생되면, 상기 단계들을 수행하는 구성요소들 중 적어도 하나의 구성요소를 활성화시키는 단계;를 더 포함하고,
상기 미리 정한 이벤트는, 상기 연관 콘텐츠 제공 애플리케이션이 아닌 다른 특정 애플리케이션의 실행; 마이크를 자신만 사용하는 애플리케이션의 실행; 모바일 수신기가 구비한 표시부의 활성화; 및 상기 모바일 수신기의 푸시 메시지의 수신; 중 하나를 포함하는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
제14항에 있어서,
상기 미리 정한 이벤트가 발생되면 이벤트 발생 사실이 운영체제로 전달되는 단계;
상기 운영체제는 상기 미리 정한 이벤트의 발생 사실을, 상기 모바일 수신기에서 동작하는 애플리케이션들에 대응되어 구비된 각각의 필터에게 전달하는 단계; 및
각각의 필터는 미리 설정된 바에 따라서 상기 미리 정한 이벤트의 발생 사실을 자신에게 대응된 애플리케이션들에게 전달하거나 또는 전달하지 않는 단계;를 포함하는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
제1항에 있어서,
상기 ADC와 상기 음파 ID를 추출하는 단계를 수행하는 구성요소는, 상기 마이크가 기 설정된 대역에 속한 음향을 감지하였을 때, 동시 또는 순차적으로 활성화되는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
제5항에 있어서,
상기 음향이 기 설정된 역치 이상의 세기를 가지는지 여부를 판단하는 단계를 수행하는 구성요소는, 상기 마이크가 기 설정된 대역에 속한 음향을 감지하였을 때, 활성화되고,
상기 ADC와 상기 음파 ID를 추출하는 단계를 수행하는 구성요소는, 상기 음향이 기 설정된 역치 이상의 세기를 가지는 것으로 판단된 경우에, 동시 또는 순차적으로 활성화되는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
제16항 또는 제17항에 있어서,
상기 연관 콘텐츠를 선택하는 단계;를 더 포함하며,
상기 연관 콘텐츠를 선택하는 동작을 수행하는 구성요소와 상기 연관 콘텐츠를 모바일 수신기가 사용자에게 표시하는 단계를 수행하는 구성요소는, 상기 디지털 데이터로부터 음파 ID가 추출된 경우에, 동시 또는 순차적으로 활성화되는 것을 특징으로 하는 연관 콘텐츠 제공 방법.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제