KR20190081163A - 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션 - Google Patents

Abstract

입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션이 개시된다. 본 발명의 일실시예에 따른 선택적 광고 제공 방법은 모바일 단말을 통해 재생되는 영상에 동기되는 오디오에, 바이너럴(binaural) 효과를 적용하기 위한 비주얼 인터페이스를 제공하고, 비주얼 인터페이스를 기반으로 바이너럴 효과가 적용된 입체 음향 컨텐츠를 렌더링하는 동안, 모바일 단말에 대한 주변 기기 연결 상태를 고려하여 선택적으로 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 제공한다.

Description

입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션{METHOD FOR SELECTIVE PROVIDING ADVERTISEMENT USING STEREOSCOPIC CONTENT AUTHORING TOOL AND APPLICATION THEREOF}

본 발명은 선택적 광고 제공 기술에 관한 것으로, 특히 모바일 단말에서 입체 음향 컨텐츠 저작 툴을 이용하여 입체 음향 컨텐츠를 렌더링하는 동안에 모바일 단말의 주변 기기 연결을 고려하여 선택적으로 광고 컨텐츠를 제공하는 기술에 관한 것이다.

일반적으로 영상에 입체적인 음향 효과를 적용하기 위해서는 여러 대의 스피커들을 이용하여 출력되는 소리를 입력하는 멀티 채널 방식을 이용하고 있다. 또한, 2개의 스피커나 헤드폰을 이용하는 2채널 방식으로 입체 음향 효과를 구현하는 시스템이 개발되고 있으나, 주로 하드웨어에 의한 기술에 해당한다.

최근 소프트웨어를 이용하여 입체 음향 효과를 구현하는 기술들이 소개되고 있으나, 청취자를 기준으로 2차원에 해당하는 위치에 음상을 배치하는 것일 뿐, 3차원 위치를 이용하여 입체 음향 효과를 구현하는 기술은 찾아보기 어렵다.

한국 등록 특허 제10-1599554호, 2016년 2월 25일 등록(명칭: SAC 부가정보를 이용한 3D 바이노럴 필터링 시스템 및 방법) 한국 등록 특허 제10-0971700호, 2010년 7월 15일 등록(명칭: 공간큐 기반의 바이노럴 스테레오 합성 장치 및 그 방법과, 그를 이용한 바이노럴 스테레오 복호화 장치)

본 발명의 목적은 선택적으로 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 제공함으로써 광고 컨텐츠의 내용을 보다 효과적으로 전달하는 것이다.

또한, 본 발명의 목적은 직관적인 인터페이스를 포함하는 입체 음향 컨텐츠 저작 어플리케이션을 기반으로 광고 컨텐츠를 제공함으로써 서비스 제공자에게 수익을 발생시키는 것이다.

또한, 본 발명의 목적은 광고 컨텐츠에 기반한 사용자 보상을 지급함으로써 사용자가 어플리케이션을 보다 활발하게 활용하도록 유도하는 것이다.

또한, 본 발명의 목적은 사용자의 어플리케이션 이용 히스토리를 고려한 광고 컨텐츠를 제공하여 광고 시청률을 향상시키는 것이다.

또한, 본 발명의 목적은 모바일 단말을 통해 바이너럴 효과가 적용된 오디오를 포함하는 입체 음향 컨텐츠를 저작하는 것이다.

또한, 본 발명의 목적은 방향감, 거리감 및 공간감 등을 제공할 수 있는 입체 음향 컨텐츠를 제공하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법은, 모바일 단말을 통해 재생되는 영상에 동기되는 오디오에, 바이너럴(binaural) 효과를 적용하기 위한 비주얼 인터페이스를 제공하는 단계; 및 상기 비주얼 인터페이스를 기반으로 바이너럴 효과가 적용된 입체 음향 컨텐츠를 렌더링하는 동안, 상기 모바일 단말에 대한 주변 기기 연결 상태를 고려하여 선택적으로 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 제공하는 단계를 포함한다.

이 때, 주변 기기 연결 상태는 상기 모바일 단말에 외부 오디오 기기가 유/무선 연결되었는지 여부에 상응할 수 있다.

이 때, 광고 컨텐츠를 제공하는 단계는 유/무선에 상응하게 외부 오디오 기기가 연결되고, 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기인 경우에는 상기 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 제공하고, 유/무선에 상응하게 외부 오디오 기기가 연결되되 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기가 아닌 경우 및 상기 외부 오디오 기기가 연결되지 않은 경우 중 어느 하나의 경우에는 상기 바이너럴 효과가 적용되지 않은 오디오를 포함하는 광고 컨텐츠를 제공할 수 있다.

이 때, 바이너럴 효과가 적용된 오디오가 포함되는 경우 및 상기 바이너럴 효과가 적용되지 않은 오디오가 포함되는 경우 상기 광고 컨텐츠에 포함된 비디오는 동일할 수 있다.

이 때, 광고 컨텐츠를 제공하는 단계는 상기 연결된 외부 오디오 기기의 종류를 체크할 수 있는 오디오 체크 인터페이스를 제공하고, 상기 오디오 체크 인터페이스에 대한 입력을 기반으로 상기 연결된 외부 오디오 기기의 종류를 판단할 수 있다.

이 때, 렌더링은 상기 비주얼 인터페이스에 대한 터치 입력을 기반으로 생성되고, 상기 영상에 동기되는 메타데이터를 기반으로 수행될 수 있다.

이 때, 광고 컨텐츠는 광고 컨텐츠 데이터베이스로부터 렌더링 소요 시간 인자 및 컨텐츠 프로파일 인자 중 적어도 하나를 기반으로 선택될 수 있다.

이 때, 광고 컨텐츠 데이터베이스는 광고 컨텐츠 별로 상기 바이너럴 효과가 적용된 오디오를 포함하는 제1 타입과 상기 바이너럴 효과가 적용되지 않은 오디오를 포함하는 제2 타입을 저장할 수 있다.

이 때, 광고 컨텐츠는 음원 위치 컨트롤 성향 인자를 더 고려하여 선택될 수 있다.

이 때, 광고 컨텐츠를 제공하는 단계는 상기 광고 컨텐츠의 제공에 상응하는 사용자 보상을 제공하고, 상기 사용자 보상은 다른 광고 컨텐츠를 스킵하는데 사용 가능할 수 있다.

이 때, 렌더링 소요 시간 인자는 상기 영상에 상응하는 재생시간 및 상기 영상에 상응하는 파일 사이즈 중 어느 하나 이상을 고려하여 산출되고, 상기 컨텐츠 프로파일 인자는 사용자가 상기 입체 음향 컨텐츠를 렌더링한 히스토리를 기반으로 산출될 수 있다.

또한, 본 발명의 일실시예에 따른 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션은, 모바일 단말을 통해 재생되는 영상에 동기되는 오디오에, 바이너럴(binaural) 효과를 적용하기 위한 비주얼 인터페이스를 제공하는 단계; 및 상기 비주얼 인터페이스를 기반으로 바이너럴 효과가 적용된 입체 음향 컨텐츠를 렌더링하는 동안에 상기 모바일 단말에 대한 주변 기기 연결 상태를 고려하여 선택적으로 바이너럴 효과가 적용된 선택적 오디오를 포함하는 광고 컨텐츠를 제공하는 단계를 실행시킨다.

이 때, 주변 기기 연결 상태는 상기 모바일 단말에 외부 오디오 기기가 유/무선 연결되었는지 여부에 상응할 수 있다.

이 때, 광고 컨텐츠는 상기 외부 오디오 기기가 연결되고, 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기인 경우에는 상기 바이너럴 효과가 적용된 오디오가 포함되고, 상기 외부 오디오 기기가 연결되되 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기가 아닌 경우 및 상기 외부 오디오 기기가 연결되지 않은 경우 중 어느 하나의 경우에는 상기 바이너럴 효과가 적용되지 않은 오디오가 포함될 수 있다.

이 때, 바이너럴 효과가 적용된 오디오가 포함되는 경우 및 상기 바이너럴 효과가 적용되지 않은 오디오가 포함되는 경우 상기 광고 컨텐츠에 포함된 비디오는 동일할 수 있다.

이 때, 연결된 외부 오디오 기기의 타입은 상기 모바일 단말로 제공되는 오디오 체크 인터페이스에 대한 입력을 기반으로 판단될 수 있다.

이 때, 렌더링은 상기 비주얼 인터페이스에 대한 터치 입력을 기반으로 생성되고, 상기 영상에 동기되는 메타데이터를 기반으로 수행될 수 있다.

이 때, 광고 컨텐츠는 광고 컨텐츠 데이터베이스로부터 렌더링 소요 시간 인자 및 컨텐츠 프로파일 인자 중 적어도 하나를 기반으로 선택될 수 있다.

이 때, 광고 컨텐츠 데이터베이스는 광고 컨텐츠 별로 상기 바이너럴 효과가 적용된 오디오를 포함하는 제1 타입과 상기 바이너럴 효과가 적용되지 않은 오디오를 포함하는 제2 타입을 포함할 수 있다.

이 때, 광고 컨텐츠는 음원 위치 컨트롤 성향 인자를 더 고려하여 선택될 수 있다.

본 발명에 따르면, 선택적으로 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 제공함으로써 광고 컨텐츠의 내용을 보다 효과적으로 전달할 수 있다.

또한, 본 발명은 직관적인 인터페이스를 포함하는 입체 음향 컨텐츠 저작 어플리케이션을 기반으로 광고 컨텐츠를 제공함으로써 서비스 제공자에게 수익을 발생시킬 수 있다.

또한, 본 발명은 광고 컨텐츠에 기반한 사용자 보상을 지급함으로써 사용자가 어플리케이션을 보다 활발하게 활용하도록 유도할 수 있다.

또한, 본 발명은 사용자의 어플리케이션 이용 히스토리를 고려한 광고 컨텐츠를 제공하여 광고 시청률을 향상시킬 수 있다.

또한, 본 발명은 모바일 단말을 통해 바이너럴 효과가 적용된 오디오를 포함하는 입체 음향 컨텐츠를 저작할 수 있다.

또한, 본 발명은 방향감, 거리감 및 공간감 등을 제공할 수 있는 입체 음향 컨텐츠를 제공할 수 있다.

도 1은 본 발명의 일실시예에 따른 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 시스템을 나타낸 도면이다.
도 2는 본 발명에 따른 어플리케이션 화면의 일 예를 나타낸 도면이다.
도 3은 본 발명에 따른 광고 컨텐츠를 선택하는 과정의 일 예를 나타낸 도면이다.
도 4는 본 발명에 따른 오디오 체크 인터페이스의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 광고 컨텐츠 제공 화면의 일 예를 나타낸 도면이다.
도 6은 본 발명에 따른 비주얼 인터페이스의 일 예를 나타낸 도면이다.
도 7은 본 발명에 따른 영상에 동기되는 메타데이터의 일 예를 나타낸 도면이다.
도 8은 본 발명에 따른 렌더링 과정의 일 예를 나타낸 블록도이다.
도 9는 본 발명에 따른 광고 선택 관련 인자와 광고 컨텐츠 데이터베이스의 일 예를 나타낸 도면이다.
도 10은 본 발명에 따른 광고 데이터베이스의 일 예를 나타낸 도면이다.
도 11은 본 발명에 따른 모바일 단말에서 광고 컨텐츠를 선택하는 과정의 일 예를 나타낸 도면이다.
도 12는 본 발명에 따른 서버에서 광고 컨텐츠를 선택하는 과정의 일 예를 나타낸 도면이다.
도 13은 본 발명에 따른 사용자 보상을 제공하는 어플리케이션 실행화면의 일 예를 나타낸 도면이다.
도 14는 본 발명에 따른 사용자 보상을 이용하여 광고 컨텐츠를 스킵하는 어플리케이션 실행화면의 일 예를 나타낸 도면이다.
도 15는 본 발명의 일실시예에 따른 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법을 나타낸 동작흐름도이다.
도 16은 본 발명의 일실시예에 따른 선택적 광고 제공 방법을 상세하게 나타낸 동작흐름도이다.
도 17은 도 1에 도시된 모바일 단말의 일 예를 나타낸 블록도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 시스템을 나타낸 도면이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 시스템은 모바일 단말(110), 주변 연결 기기(111), 서버(120) 및 네트워크(130)를 포함한다.

모바일 단말(110)은 본 발명의 일실시예에 따른 선택적 광고 제공을 위한 어플리케이션이 구비된 단말에 상응하는 것으로, 휴대폰(mobile phone), 태블릿 PC, 스마트폰(smart phone), PDA(Personal Digital Assistants)와 같은 휴대용 모바일 기기에 상응할 수 있다. 또한, 본 발명의 일실시예에 따른 광고 제공을 위한 어플리케이션은 PC(Personal Computer)나 노트북 컴퓨터와 같은 단말에서도 실행될 수 있다.

예를 들어, 도 17을 참조하면, 본 발명의 일실시예에 따른 모바일 단말(110)은 통신부(1710), 프로세서(1720) 및 메모리(1730)를 포함할 수 있다.

이 때, 모바일 단말(110)은 통신부(1710)를 기반으로 서버(120)로부터 입체 음향 컨텐츠 저작과 선택적 광고 제공을 위한 본 발명의 일실시예에 따른 어플리케이션을 다운로드받아 메모리(1730)에 저장할 수 있고, 프로세서(1720)를 기반으로 어플리케이션을 실행시킬 수 있다.

예를 들어, 통신부(1710)는 네트워크(140)와 같은 통신망을 통해 서버(120)와 입체 음향 컨텐츠 저작 및 선택적 광고 제공을 위해 필요한 정보를 송수신할 수 있다.

이 때, 모바일 단말(110)의 프로세서(1720)는 중앙연산 처리장치에 상응하는 것으로, 메모리(1730)에 저장된 어플리케이션을 실행시켜 제어할 수 있다.

이 때, 모바일 단말(110)의 메모리(1730)는 운영체제(Operating System, OS)와 함께 본 발명의 일실시예에 따른 어플리케이션을 포함한 각종 어플리케이션들이 저장될 수 있다. 따라서, 본 발명의 일실시예에 따른 어플리케이션은 모바일 단말에 설치되어 실행되는 컴퓨터 프로그램에 상응할 수 있다.

또한, 메모리(1730)는 본 발명의 실시예에 따른 선택적 광고 제공을 위한 기능을 지원할 수 있다. 이 때, 메모리(1730)는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 다양한 서로 다른 구현 예에서, 메모리는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

이 때, 모바일 단말(110)은 어플리케이션을 통해 입체 음향 컨텐츠를 렌더링하는 동안에 주변 연결 기기(111)의 연결을 고려하여 선택적으로 광고 컨텐츠를 제공할 수 있다.

이 때, 어플리케이션을 통해 제공될 광고 컨텐츠는 모바일 단말(110) 또는 어플리케이션 서버(120) 중 어느 하나에서 선택되되, 모바일 단말(110)에 어떤 주변 연결 기기(111)가 연결되었는지 여부를 고려하여 선택될 수 있다.

예를 들어, 모바일 단말(110)에 이어폰이나 헤드폰과 같은 주변 연결 기기(111)가 연결되어 있는 경우에는 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 선택하여 제공할 수 있다.

이 때, 도 1에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 광고 컨텐츠는 별도의 광고 컨텐츠 데이터베이스를 통해 제공될 수 있다. 이 때, 광고 컨텐츠 데이터베이스는 모바일 단말(110) 또는 서버(120) 중 어느 하나에 포함되거나 연동되어 광고 컨텐츠를 제공하기 위해 동작할 수 있다.

네트워크(130)는 기존의 이용되는 네트워크 및 향후 개발 가능한 네트워크를 모두 포괄하는 개념이다. 예를 들어, 네트워크(130)는 인터넷 프로토콜(IP)을 기반으로 데이터 서비스를 제공하는 아이피망, 유선망, Wibro(Wireless Broadband)망, WCDMA를 포함하는 3세대 이동통신망, HSDPA(High Speed Downlink Packet Access)망 및 LTE 망을 포함하는 3.5세대 이동통신망, LTE advanced를 포함하는 4세대 이동통신망, 위성통신망 및 와이파이(Wi-Fi)망 중 어느 하나 또는 하나 이상을 결합하여 이루어질 수 있다.

도 2는 본 발명에 따른 어플리케이션 화면의 일 예를 나타낸 도면이다.

도 2를 참조하면, 본 발명의 일실시예에 따른 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션은 모바일 단말을 통해 재생되는 영상에 동기되는 오디오에, 바이너럴(binaural) 효과를 적용하기 위한 비주얼 인터페이스를 제공한다.

이 때, 어플리케이션은 입체 음향 컨텐츠를 저작하기 위한 툴(tool)에 상응하는 것으로, 컴퓨터에 설치되어 실행되는 컴퓨터 프로그램에 상응할 수 있다.

이 때, 바이너럴(binaural) 효과는, 사용자가 헤드폰이나 이어폰으로 오디오를 들을 때 마치 오디오의 음상이 외부에 위치하는 것처럼 입체적인 음향 효과를 제공하는 것이다. 따라서, 바이너럴 효과가 적용된 오디오를 포함하는 컨텐츠는 일반 컨텐츠보다 실감나고 현장감 있는 경험을 사용자에게 제공해줄 수 있다.

이 때, 영상은 모바일 단말에 저장된 영상에 상응할 수 있다. 예를 들어, 영상은 모바일 단말에 설치된 카메라를 통해 사용자가 직접 촬영한 영상이거나 또는 네트워크를 기반으로 다운로드받는 영상에 해당할 수 있다.

이 때, 비주얼 인터페이스는 입체 음향 컨텐츠를 저작하고 선택적 광고 컨텐츠를 제공하기 위한 어플리케이션의 실행을 기반으로 제공될 수 있으므로 어플리케이션을 실행할 수 있는 모바일 단말을 통해 제공될 수 있다.

이 때, 모바일 단말은 네트워크를 기반으로 데이터 통신을 수행 가능한 단말에 상응할 수 있다.

예를 들어, 모바일 단말은 네트워크와 같은 통신망을 통해 입체 음향 컨텐츠 저작과 선택적 광고 컨텐츠 제공을 위해 필요한 정보를 송수신할 수 있다. 특히, 본 발명에서는 네트워크를 기반으로 서버로부터 어플리케이션 및 광고 컨텐츠 등을 획득할 수 있다.

또한, 모바일 단말은 중앙연산 처리장치에 상응하는 프로세서를 기반으로 메모리에 저장된 어플리케이션을 실행시켜 입체 음향 컨텐츠 저작과 함께 선택적 광고 컨텐츠를 제공할 수 있다.

이 때, 모바일 단말의 메모리에는 운영체제(Operating System, OS)와 함께 본 발명의 일실시예에 따른 어플리케이션을 포함한 각종 어플리케이션들이 저장될 수 있다. 따라서, 본 발명의 일실시예에 따른 어플리케이션은 모바일 단말에 설치되어 실행되는 컴퓨터 프로그램에 상응할 수 있다.

또한, 모바일 단말의 메모리는 본 발명의 실시예에 따른 선택적 광고 제공을 위한 기능을 지원할 수 있다. 이 때, 메모리는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 다양한 서로 다른 구현 예에서, 메모리는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

또한, 본 발명의 일실시예에 따른 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션은 비주얼 인터페이스를 기반으로 바이너럴 효과가 적용된 입체 음향 컨텐츠를 렌더링하는 동안에 모바일 단말에 대한 주변 기기 연결 상태를 고려하여 선택적으로 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 제공한다.

이 때, 주변 기기 연결 상태는 모바일 단말에 외부 오디오 기기가 유/무선 연결되었는지 여부에 상응할 수 있다.

이 때, 광고 컨텐츠는 외부 오디오 기기가 연결되고 연결된 외부 오디오 기기가 바이너렬 효과를 표현 가능한 기기인 경우에 바이너럴 효과가 적용된 오디오가 포함될 수 있다.

또한, 광고 컨텐츠는 외부 오디오 기기가 연결되되 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기가 아닌 경우 및 외부 오디오 기기가 연결되지 않은 경우 중 어느 하나의 경우에는 바이너럴 효과가 적용되지 않은 오디오가 포함될 수 있다.

예를 들어, 바이너럴 효과를 표현 가능한 기기는 레프트 채널과 라이트 채널을 통해 두 귀로 소리를 전달할 수 있는 유/무선 이어폰이나 유/무선 헤드폰 등에 상응할 수 있다.

이하에서는 도 3을 참조하여, 본 발명의 일실시예에 따라 광고 컨텐츠를 선택하는 과정을 상세하게 설명하도록 한다.

먼저, 본 발명의 일실시예에 따른 모바일 단말에 외부 오디오 기기가 연결되어 있는지 여부를 체크할 수 있다(S302).

이 때, 외부 오디오 기기가 연결되어 있고(S304), 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기일 경우(S306)에는 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 선택하여 제공할 수 있다(S308).

또한, 외부 오디오 기기가 연결되어 있으나(S304), 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기가 아닐 경우(S310)에는 바이너럴 효과가 적용되지 않은 오디오를 포함하고 있는 일반 광고 컨텐츠를 선택하여 제공할 수 있다(S312).

또한, 외부 오디오 기기가 연결되어 있지 않은 경우(S314)에도 바이너럴 효과가 적용되지 않은 오디오를 포함하고 있는 일반 광고 컨텐츠를 선택하여 제공할 수 있다(S316).

이 때, 바이너럴 효과가 적용된 오디오가 포함되는 경우 및 바이너럴 효과가 적용되지 않은 오디오가 포함되는 경우, 광고 컨텐츠에 포함된 비디오는 동일할 수 있다. 따라서, 본 발명의 일실시예에 따른 광고 컨텐츠 데이터베이스는 비디오는 동일하지만 오디오에 따라 구별되는 각각의 광고 컨텐츠들을 저장 및 관리할 수 있다.

이 때, 모바일 단말로 제공되는 오디오 체크 인터페이스에 대한 입력을 기반으로 모바일 단말에 연결된 외부 오디오 기기의 종류를 판단할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 어플리케이션은 도 4에 도시된 것과 같은 오디오 체크 인터페이스(400)를 제공할 수 있다. 오디오 체크 인터페이스(400)는 모바일 단말에 바이너럴 효과 표현 가능 기기(410)인 이어폰이나 헤드폰이 연결되어 있는지 또는 이어폰이나 헤드폰을 제외한 바이너럴 효과 표현 불가능 기기(420)가 연결되어 있는지 여부를 사용자로부터 입력받아 현재 연결된 외부 오디오 기기의 종류를 판단할 수 있다. 이 때, 유/무선 스피커나 마이크의 경우에는 바이너럴 효과 표현 불가능 기기(420)로 분류될 수 있다.

또한, 도 5를 참조하면, 본 발명의 일실시예에 따른 광고 컨텐츠(510)는 렌더링 상태 피드백(520)과 함께 제공될 수 있다.

이 때, 렌더링 상태 피드백(520)을 통해 현재까지의 렌더링 진행 정보를 제공할 수 있다. 이 때, 렌더링 상태 피드백(520)은 도 5에 도시된 형태에 한정되지 않고, 사용자가 쉽게 인지할 수 있는 다양한 방법으로 제공될 수 있다.

이 때, 렌더링은 비주얼 인터페이스에 대한 터치 입력을 기반으로 생성되고, 영상에 동기되는 메타데이터를 기반으로 수행될 수 있다.

예를 들어, 메타데이터는 비주얼 인터페이스에 대한 터치 입력 값을 기반으로 생성될 수 있다. 즉, 모바일 단말의 사용자는 영상에 포함된 객체의 움직임을 보면서 비주얼 인터페이스를 조작하여 영상에 동기된 오디오의 음상을 조절할 수 있다.

이 때, 터치 입력 값은 멀티터치 입력 값일 수 있다. 3차원 좌표상의 위치를 효과적으로 지정하기 위해서는 화면상의 싱글 포인트를 설정하는 싱글 터치로는 부족하고, 화면상의 복수개의 포인트들을 동시에 설정할 수 있는 멀티 터치가 필요할 수 있다.

즉, 멀티 터치가 지원되지 않는 경우나 화면에 대한 터치 입력이 아닌 키보드나 마우스를 이용한 입력 값을 이용하여 메타데이터를 생성하는 경우에는 사용자가 영상을 보면서 직관적이면서도 효율적으로 메타데이터를 생성하기 어려울 수 있다.

이 때, 본 발명의 일실시예에 따른 어플리케이션은 터치 입력에 즉각적으로 반응하여 바이너럴 효과가 적용된 피드백 오디오를 출력할 수 있다.

이 때, 피드백 오디오는 메타데이터를 기반으로 바이너럴 효과가 적용되어 있지 않은 기존의 오디오를 변형한 것에 상응할 수 있다. 즉, 사용자에 의한 터치 입력이 발생하면, 이에 상응하게 생성되는 메타데이터를 실시간으로 반영하여 피드백 오디오를 출력해줄 수 있다. 만약, 즉각적으로 피드백 오디오가 출력되지 않는다면, 사용자는 렌더링이 완료될 때까지 자신이 변형한 오디오를 들을 수 없기 때문에 영상과 대응하지 않도록 바이너럴 효과가 적용될 수도 있다.

따라서, 본 발명에서는 즉각적으로 피드백 오디오를 출력해줌으로써 사용자가 영상에 포함된 객체의 움직임에 대응하여 터치 입력을 수행하도록 할 수 있다.

이 때, 바이너럴 효과가 적용된 피드백 오디오는 이어폰이나 헤드폰과 같이 사용자가 바이너럴 효과에 따른 입체감을 느낄 수 있는 외부 음향 기기를 통해 출력될 수 있다.

이 때, 메타데이터는 바이너럴 효과에 상응하는 음상의 삼차원 위치에 상응할 수 있다. 이 때, 음상의 삼차원 위치는 바이너럴 효과를 느끼는 모바일 단말의 사용자를 기준으로 할 수 있다.

예를 들어, 본 발명에 따른 음상의 삼차원 위치는 사용자의 머리를 기준으로 하는 반구 형태의 3차원 공간 상에 나타낼 수 있다. 따라서, 바이너럴 효과가 적용된 오디오의 경우, 사용자를 기준으로 360도에서 입체적으로 소리가 들리는 효과를 제공할 수 있다.

이와 같이, 본 발명에서는 X축, Y축, Z축을 이용하는 삼차원 공간 상에 음상을 배치함으로써 기존의 음향 기술보다 깊은 몰입감을 제공할 수 있다.

이 때, 본 발명의 일실시예에 따른 비주얼 인터페이스는 음상의 2차원 평면상의 위치를 지정하기 위한 제1 인터페이스 및 음상의 2차원 평면에 수직한 직선상에 위치를 지정하기 위한 제2 인터페이스를 포함하고, 삼차원 위치는 제1 인터페이스에 대한 사용자의 제1 입력 및 제2 인터페이스에 대한 사용자의 제2 입력을 조합하여 생성될 수 있다.

예를 들어, 도 6을 참조하면, 사용자가 영상에 포함된 객체(600)의 움직임에 따라 제1 인터페이스(610)와 제2 인터페이스(620)를 조작할 수 있다. 이 때, 영상에 포함된 객체(600)가 이동하는 방향에 따라 제1 인터페이스(610)의 조작키와 제2 인터페이스(620)의 조작키를 터치 입력으로 이동시킬 수 있다. 이 때, 터치 입력에 따른 제1 입력과 제2 입력을 조합하여 생성된 삼차원 위치를 메타데이터로 기록할 수 있다.

이 때, 비주얼 인터페이스는 도 6에 도시된 형태에 한정되지 않으며, 음상의 3차원 위치를 입력 가능한 다양한 형태로 제공될 수 있다.

이 때, 비주얼 인터페이스에 포함된 모드변경 버튼을 기반으로 피드백 오디오에 의한 영상을 플레이하는 플레이 모드나 비주얼 인터페이스에 의해 음상의 위치를 조절하기 위한 편집 모드 중 어느 하나의 모드를 선택적으로 제공할 수도 있다. 이 때, 모드변경 버튼은 토글(toggle) 방식으로 동작할 수 있다.

이 때, 비주얼 인터페이스는 메타데이터에 상응하는 음상을 영상에 오버레이하여 실시간으로 표시할 수 있다.

예를 들어, 사용자가 제1 인터페이스와 제2 인터페이스를 조작하여 변화하는 음상을 영상에 보여지는 객체에 오버레이하여 표시해줄 수 있다. 이 때, 사용자가 터치 입력을 기반으로 제1 인터페이스나 제2 인터페이스를 조작하는 경우, 음상의 위치도 실시간으로 이동시키면서 보여줄 수도 있다.

이 때, 메타데이터에 상응하는 음상은 사용자의 머리 위치를 기준으로 설정된 반구상의 위치로 표현될 수도 있다.

예를 들어, 음상 트래킹 인터페이스를 통해 변화하는 음상을 트래킹하며 음상의 위치를 보여줄 수도 있다. 이 때, 음상 트래킹 인터페이스는 사용자의 머리 위치를 기준으로 생성된 반구상의 공간에 상응하는 형태로 제공될 수 있다. 이 때, 음상의 3차원 위치를 보다 직관적으로 식별할 수 있도록 사용자 머리의 방향을 회전하면서 음상을 표시할 수도 있다.

이 때, 비주얼 인터페이스는 영상의 객체 중 음상에 상응하는 객체를 하이라이트하는 객체 트래킹 인터페이스를 포함할 수 있다.

이 때, 객체 트래핑 인터페이스는 영상의 객체 중 오디오와의 상관성을 기반으로 음상에 상응하는 객체를 결정할 수 있다. 즉, 영상에 동기되는 오디오가 크게 변화하는 순간, 영상 내의 객체의 변화를 고려하여 오디오의 변화에 상관성이 높다고 판단되는 객체를 음상에 상응하는 객체로 결정할 수 있다.

예를 들어, 객체 트래킹 인터페이스는 영상에 동기되는 오디오가 기설정된 기준 변화량 이상 변화하는 시점에서 새롭게 등장하는 객체를 음상에 상응하는 객체로 판단하고 하이라이트 할 수 있다.

또한, 객체 트래핑 인터페이스는 음상에 상응하게 인식된 객체의 움직임에 따라 음상의 위치도 그에 상응하게 변경시킬 수도 있다. 즉, 사용자가 비주얼 인터페이스를 조작하여 직접 음상을 변경하지 않아도, 객체 트래핑 인터페이스를 통해 인식된 음상에 상응하는 객체를 트래킹하면서 자동으로 음상에 대한 메타데이터가 생성되도록 할 수도 있다.

이 때, 본 발명의 일실시예에 따른 메타데이터는 모바일 단말에서 재생되는 영상에 동기되어 생성될 수 있다.

예를 들어, 도 7에 도시된 것과 같이 영상을 재생하는 동안 생성된 메타데이터(720-1~720-N)를 각각 터치 입력 시점에 재생된 영상의 프레임(710-1~610-N)에 매칭시켜 메타데이터와 영상을 동기화할 수 있다.

이 때, 본 발명의 일실시예에 따른 입체 음향 컨텐츠는 모바일 단말을 통해 재생 가능한 컨텐츠에 상응할 수 있으며, 사용자가 입체 음향 컨텐츠를 시청하는 경우에 마치 사용자의 주위로 여러 개의 스피커가 설치되어있는 환경에서 오디오가 출력되는 것과 같은 음향 효과를 느낄 수 있다.

이 때, 바이너럴 효과가 적용된 오디오는 레프트 채널 및 라이트 채널에 상응하는 2채널 오디오일 수 있다. 따라서, 2채널 오디오만을 지원하는 단말이나 디바이스에서도 마치 5.1 채널이나 10.2 채널과 같은 음향 효과를 느낄 수 있는 입체 음향 컨텐츠를 제공할 수 있다.

이 때, 본 발명의 일실시예에 따른 바이너럴 효과가 적용된 오디오는 기존의 이용되는 기술 및 향후 개발 가능한 기술을 적용하여 생성될 수 있다.

한국등록공보 10-1599554에는 MPEG 서라운드(MPEG Surround)라는 국제 표준의 다채널 오디오 부호화 기술을 기반으로 3차원 바이너럴 신호를 출력하는 내용을 개시하고 있다. 10-1599554에서는 MPEG-Surround(MPS) 국제 표준을 기반으로 멀티채널 오디오 재생특성 파라미터를 추출하고, 오디오 재생특성 파라미터를 이용하여 다운믹스 오디오 신호에 대해 HRTF(Head Related Transfer function) 필터링을 수행하여 3D 바이너럴 신호를 출력하는 내용을 개시하고 있다. 여기서, HRTF 필터링은 인간의 청각기관을 모델링한 더미 헤더 마이크를 이용하여 360도의 방위각과 180도의 고도각 사이를 특정 간격을 두고 각각의 위치에 대한 좌우 양쪽의 임펄스 응답을 구하는 필터링일 수 있다.

이 때, 멀티채널 오디오 재생특성 파라미터는 주파수 대역 별 전후방 채널 신호의 출력 레벨 차에 대한 것으로, MPEG-Surround(MPS) 국제 표준에서 다채널 오디오 신호를 입력 받아 두 귀 사이의 소리 크기 차이와 채널 사이의 상관도 등으로 표현되는 공간 파라미터를 기반으로 추출될 수 있다.

또한, 한국등록공보 10-0971700에는 가상음원의 위치정보와 각 채널 별 바이노럴 필터 계수에 기초하여 좌/우 오디오 신호를 주파수 영역에서 필터링하고, 필터링된 신호를 바이노럴 스테레오 신호로 복호화하는 내용을 개시하고 있다. 이 때, 입력되는 시간 영역의 스테레오 좌/우 오디오 신호를 DFT(Discrete Fourier Transform) 또는 FFT(Fast Fourier Transform)를 이용하여 주파수 영역의 신호로 변환하고, 가상음원의 위치정보를 기반으로 할당된 서브밴드 별 각 채널의 파워 이득 값과 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록에 기초하여 주파수 영역에 상응하는 스테레오 좌/우 신호를 바이노럴 스테레오 신호로 필터링할 수 있다.

이 때, 가상음원의 위치정보(VSLI: Virtual Source Location Information) 기반의 공간 큐 정보를 합성하여 서브밴드 별 각 채널의 파워 이득값을 산출할 수 있고, 스테레오 신호에 대한 VSLI 기반의 공간 큐 정보는 임의의 서브밴드(m)에 대하여, 좌측반면각(LHA: Left Half-plane Angle)(LHA(m)), 좌측보조평면각(LSA: Left Subsequent Angle)(LSA(m)), 우측반면각(RHA: Right Half-plane Angle)(RHA(m)) 및 우측보조평면각(RSA: Right Subsequent Angle)(RSA(m))을 포함할 수 있다.

따라서, 본 발명에서도 상기와 같은 기술을 기반으로 메타데이터에 상응하게 바이너럴 효과가 적용된 오디오를 생성할 수 있다.

예를 들어, MPEG-Surround(MPS) 국제 표준을 기반으로 영상에 동기되는 오디오에 대한 공간 파라미터를 추출하고, 메타데이터에 상응하는 음원의 삼차원 위치와 공간 파라미터를 기반으로 오디오에 대해 HRTF(Head Related Transfer function) 필터링을 수행함으로써 바이너럴 효과가 적용된 오디오 신호를 생성할 수 있다.

다른 예를 들어, 영상에 동기되는 오디오를 주파수 영역의 스테레오 좌/우 오디오 신호로 변환하고, 메타데이터에 상응하는 위치정보를 기반으로 공간 큐 정보를 합성하여 서브밴드 별 각 채널의 파워 이득값을 산출한 뒤 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록에 기초하여 바이너럴 효과가 적용된 오디오를 생성할 수 있다.

이 때, 렌더링을 통해 영상, 바이너럴 효과가 적용된 오디오 및 부가 데이터를 포함하는 컨테이너가 생성되고, 영상 및 바이너럴 효과가 적용된 오디오는 동기 될 수 있다.

예를 들어, 도 8을 참조하면, 본 발명의 일실시예에 따른 비주얼 인터페이스에 대한 터치 입력을 기반으로 영상(811) M₁에 동기되는 오디오(812) S₁에 대한 메타데이터(820)를 생성하였다고 가정할 수 있다. 이 때, 본 발명의 일실시예에 따른 어플리케이션은 영상(811) M₁에 동기되는 오디오(812) S₁과 메타데이터(820)를 이용하여 바이너럴 효과가 적용된 오디오(821) S₂를 생성할 수 있고, 렌더링을 수행하여 영상(811) M₁, 바이너럴 효과가 적용된 오디오(821) S₂ 및 부가 데이터(830)를 포함하는 컨테이너(840)를 생성할 수 있다.

이 때, 부가 데이터(830)는 입체 음향 컨텐츠의 포맷에 관련된 정보나 렌더링을 위한 파라미터 등을 포함할 수 있다.

이 때, 비주얼 인터페이스에 대한 터치 입력을 기반으로 렌더링을 시작할 수 있다.

예를 들어, 사용자가 비주얼 인터페이스에 포함된 저장 버튼(SAVE)을 터치하는 경우, 입체 음향 컨텐츠를 생성하기 위한 렌더링을 시작할 수 있다. 이 때, 렌더링되어 생성된 입체 음향 컨텐츠는 입체 음향 컨텐츠 저작 어플리케이션을 기반으로 모바일 단말에 저장될 수 있다.

이 때, 렌더링은 바이너럴 효과가 적용된 오디오(821) S₂를 생성하는 과정과 함께 수행될 수도 있다.

또한, 사용자가 렌더링을 수행하지 않고 비주얼 인터페이스를 정지 또는 종료하는 경우, 현재까지 생성된 메타데이터를 보관하거나 또는 삭제할 수도 있다.

예를 들어, 사용자가 비주얼 인터페이스에 포함된 정지 버튼(PAUSE)을 터치하는 경우, 현재까지 생성된 메타데이터를 영상과 함께 저장하여 보관할 수도 있다.

다른 예를 들어, 사용자가 비주얼 인터페이스에 포함된 종료 버튼(End) 또는 나가기 버튼(EXIT)을 터치하는 경우, 현재까지 생성된 메타데이터를 삭제하고 비주얼 인터페이스를 종료할 수도 있다.

이 때, 광고 컨텐츠는 광고 컨텐츠 데이터베이스로부터 렌더링 소요 시간 인자 및 컨텐츠 프로파일 인자 중 적어도 하나를 기반으로 선택될 수 있다.

또한, 광고 컨텐츠는 음원 위치 컨트롤 성향인자를 더 고려하여 선택될 수 있다.

예를 들어, 도 8에 도시된 것과 같이 광고 컨텐츠 데이터베이스(900)에 저장된 복수개의 광고 컨텐츠들 중에서 렌더링 소요 시간 인자(910), 컨텐츠 프로파일 인자(920) 및 음향 위치 컨트롤 성향 인자(930)를 기반으로 렌더링 시 출력될 광고 컨텐츠를 선택할 수 있다.

이 때, 렌더링 소요 시간 인자는 영상에 상응하는 재생시간 및 영상에 상응하는 파일 사이즈 중 어느 하나 이상을 고려하여 산출될 수 있다.

예를 들어, 영상에 상응하는 재생시간이 길거나 영상에 상응하는 파일 사이즈가 클수록 렌더링에 소요되는 시간이 길어질 수 있다. 따라서, 이러한 경우, 광고 컨텐츠 데이터베이스(900)에 저장된 광고 컨텐츠들 중 비교적 시간이 긴 광고 컨텐츠를 선택하여 출력할 수 있다.

이 때, 컨텐츠 프로파일 인자는 사용자가 입체 음향 컨텐츠를 렌더링한 히스토리를 기반으로 산출될 수 있다.

예를 들어, 사용자가 주로 게임 영상에 대한 입체 음향 컨텐츠를 렌더링하는 경우, 사용자가 게임을 선호하는 것으로 판단하고, 광고 컨텐츠 데이터베이스(900)에 저장된 광고 컨텐츠들 중 게임 광고 컨텐츠를 선택하여 출력할 수 있다.

이 때, 음원 위치 컨트롤 성향 인자는 메타데이터에 상응하는 음상의 위치 변화 값을 기반으로 산출될 수 있다.

예를 들어, 사용자의 터치 입력에 의해 생성된 메타데이터에 상응하는 음상의 위치 변화가 큰 경우, 사용자가 움직임이 많은 입체적인 영상을 선호하는 것으로 판단하고, 광고 컨텐츠 데이터베이스(900)에 저장된 광고 컨텐츠들 중 장면 변화가 많거나 동적인 영상의 광고 컨텐츠를 선택하여 출력할 수 있다.

따라서, 광고 컨텐츠 데이터베이스(900)는 재생시간, 컨텐츠 카테고리 및 정적/동적 컨텐츠 등을 고려하여 복수개의 광고 컨텐츠들을 저장 및 관리할 수 있다.

이 때, 본 발명의 일실시예에 따른 광고 컨텐츠 데이터베이스(1000)는 도 10에 도시된 것과 같이 광고 컨텐츠 별로 바이너럴 효과가 적용된 오디오를 포함하는 제1 타입의 광고 컨텐츠(1010)와 바이너럴 효과가 적용되지 않은 오디오를 포함하는 제2 타입의 광고 컨텐츠(1020)를 분류하여 저장할 수 있다.

이 때, 본 발명의 일실시예에 따른 광고 컨텐츠는 모바일 단말 또는 어플리케이션을 제공하는 서버 중 어느 하나를 통해 선택될 수 있다.

예를 들어, 모바일 단말에서 광고 컨텐츠를 선택하는 경우, 도 11에 도시된 것과 같이 모바일 단말(1110)에 저장된 어플리케이션(1111)이 광고 컨텐츠 메타데이터(1112)를 기반으로 출력된 광고 컨텐츠를 선택할 수 있다. 이 때, 광고 컨텐츠 메타데이터(1112)는 광고 컨텐츠 데이터베이스(1100)에 저장된 복수개의 광고 컨텐츠들에 대한 메타 정보에 상응할 수 있다. 따라서, 모바일 단말(1110)은 광고 컨텐츠 데이터베이스(1100)에게 이미 선택된 광고 컨텐츠의 전송을 요청할 수 있고, 광고 컨텐츠 데이터베이스(1100)는 요청에 상응하는 광고 컨텐츠를 모바일 단말(1110)로 전송하여 어플리케이션(1111)을 통해 제공할 수 있다.

다른 예를 들어, 서버에서 광고 컨텐츠를 선택하는 경우, 도 12에 도시된 것과 같이 모바일 단말(1220)에서 서버(1210)에게 광고 컨텐츠를 선택하기 위해 고려될 관련 인자들, 즉 렌더링 소요 시간 인자, 컨텐츠 프로파일 인자 및 음원 위치 컨트롤 성향 인자 등을 전달할 수 있다. 이 후, 서버(1210)는 전달받은 관련 인자들을 이용하여 광고 컨텐츠 데이터베이스(1200)에 저장된 복수개의 광고 컨텐츠들 중 어느 하나의 광고 컨텐츠를 선택하여 모바일 단말(1220)로 제공할 수 있다. 이 후, 모바일 단말(1220)에서는 입체 음향 컨텐츠 저작과 광고 제공을 위한 어플리케이션을 통해 서버(1210)로부터 제공받은 광고 컨텐츠를 출력할 수 있다.

이와 같은 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션을 이용하여, 선택적으로 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 제공함으로써 광고 컨텐츠의 내용을 보다 효과적으로 전달할 수 있다.

도 13은 본 발명에 따른 사용자 보상을 제공하는 어플리케이션 실행화면의 일 예를 나타낸 도면이다.

도 13을 참조하면, 본 발명의 일실시예에 따른 어플리케이션은 입체 음향 컨텐츠를 렌더링하는 동안에 선택적으로 제공되는 광고 컨텐츠에 상응하게 사용자 보상을 제공할 수 있다.

이 때, 사용자 보상은 광고 컨텐츠의 재생 시간을 고려하여 제공될 수 있다.

예를 들어, 기설정된 기준 재생 시간이 5분이라고 가정할 수 있다. 만약, 도 13에 도시된 것과 같이 사용자가 입체 음향 컨텐츠를 렌더링하는 동안에 재생 시간이 5분 미만인 광고 컨텐츠를 시청한 경우, 사용자 보상에 상응하는 단위인 음표를 4개 제공할 수 있다. 그러나, 만약 사용자가 시청한 광고 컨텐츠의 재생 시간이 5분을 초과하는 경우, 2배의 보상에 상응하는 8개의 음표가 지급될 수도 있다.

이 때, 사용자 보상을 지급하는 기준은 본 발명의 일실시예에 따라 자유롭게 설정 및 변경할 수 있으며, 사용자 보상에 상응하는 단위도 음표에 한정되지 않는다.

이 때, 사용자 보상은 다른 광고 컨텐츠를 스킵하는데 사용할 수 있다.

예를 들어, 도 14를 참조하면, 본 발명의 일실시예에 따른 어플리케이션은 광고 컨텐츠를 스킵하기 위한 스킵 버튼(1410)을 제공할 수 있다. 만약, 모바일 단말의 사용자가 스킵 버튼(1410)을 터치하는 경우, 도 14에 도시된 것과 같은 스킵 안내 팝업(1420)을 통해 음표를 소비하여 광고를 스킵할지 여부를 사용자에게 선택하도록 할 수 있다. 이 때, 광고 컨텐츠를 스킵하기 위해 필요한 음표의 개수와 함께 현재 사용자가 보유한 음표의 개수를 함께 보여줄 수도 있다.

이 때, 사용자가 광고를 스킵할지 여부를 선택하는 동안, 광고 컨텐츠의 재생은 일시적으로 정지될 수 있지만 렌더링을 계속 수행될 수 있다.

또한, 사용자 보상은 본 발명의 일실시예에 따른 어플리케이션을 통해 컨텐츠를 다운로드하는데 사용할 수도 있다.

예를 들어, 사용자 보상에 상응하는 음표를 이용하여 영화 컨텐츠를 다운로드하거나 또는 구매하여 재생할 수 있다.

도 15는 본 발명의 일실시예에 따른 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법을 나타낸 동작흐름도이다.

도 15를 참조하면, 본 발명의 일실시예에 따른 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법은 모바일 단말을 통해 재생되는 영상에 동기되는 오디오에, 바이너럴(binaural) 효과를 적용하기 위한 비주얼 인터페이스를 제공한다(S1510).

이 때, 바이너럴(binaural) 효과는, 사용자가 헤드폰이나 이어폰으로 오디오를 들을 때 마치 오디오의 음상이 외부에 위치하는 것처럼 입체적인 음향 효과를 제공하는 것이다. 따라서, 바이너럴 효과가 적용된 오디오를 포함하는 컨텐츠는 일반 컨텐츠보다 실감나고 현장감 있는 경험을 사용자에게 제공해줄 수 있다.

이 때, 영상은 모바일 단말에 저장된 영상에 상응할 수 있다. 예를 들어, 영상은 모바일 단말에 설치된 카메라를 통해 사용자가 직접 촬영한 영상이거나 또는 네트워크를 기반으로 다운로드받는 영상에 해당할 수 있다.

이 때, 비주얼 인터페이스는 입체 음향 컨텐츠를 저작하고 선택적 광고 컨텐츠를 제공하기 위한 어플리케이션의 실행을 기반으로 제공될 수 있으므로 어플리케이션을 실행할 수 있는 모바일 단말을 통해 제공될 수 있다.

이 때, 모바일 단말은 네트워크를 기반으로 데이터 통신을 수행 가능한 단말에 상응할 수 있다.

예를 들어, 모바일 단말은 네트워크와 같은 통신망을 통해 입체 음향 컨텐츠 저작과 선택적 광고 컨텐츠 제공을 위해 필요한 정보를 송수신할 수 있다. 특히, 본 발명에서는 네트워크를 기반으로 서버로부터 어플리케이션 및 광고 컨텐츠 등을 획득할 수 있다.

또한, 모바일 단말은 중앙연산 처리장치에 상응하는 프로세서를 기반으로 메모리에 저장된 어플리케이션을 실행시켜 입체 음향 컨텐츠 저작과 함께 선택적 광고 컨텐츠를 제공할 수 있다.

이 때, 모바일 단말의 메모리에는 운영체제(Operating System, OS)와 함께 본 발명의 일실시예에 따른 어플리케이션을 포함한 각종 어플리케이션들이 저장될 수 있다. 따라서, 본 발명의 일실시예에 따른 어플리케이션은 모바일 단말에 설치되어 실행되는 컴퓨터 프로그램에 상응할 수 있다.

또한, 모바일 단말의 메모리는 본 발명의 실시예에 따른 선택적 광고 제공을 위한 기능을 지원할 수 있다. 이 때, 메모리는 별도의 대용량 스토리지로 동작할 수 있고, 동작 수행을 위한 제어 기능을 포함할 수도 있다. 일 구현예의 경우, 메모리는 컴퓨터로 판독 가능한 매체이다. 일 구현 예에서, 메모리는 휘발성 메모리 유닛일 수 있으며, 다른 구현예의 경우, 메모리는 비휘발성 메모리 유닛일 수도 있다. 다양한 서로 다른 구현 예에서, 메모리는 예컨대 하드디스크 장치, 광학디스크 장치, 혹은 어떤 다른 대용량 저장장치를 포함할 수도 있다.

또한, 본 발명의 일실시예에 따른 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법은 비주얼 인터페이스를 기반으로 바이너럴 효과가 적용된 입체 음향 컨텐츠를 렌더링하는 동안에 모바일 단말에 대한 주변 기기 연결 상태를 고려하여 선택적으로 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 제공한다(S1520).

이 때, 주변 기기 연결 상태는 모바일 단말에 외부 오디오 기기가 유/무선 연결되었는지 여부에 상응할 수 있다.

이 때, 광고 컨텐츠는 외부 오디오 기기가 연결되고 연결된 외부 오디오 기기가 바이너렬 효과를 표현 가능한 기기인 경우에 바이너럴 효과가 적용된 오디오가 포함될 수 있다.

또한, 광고 컨텐츠는 외부 오디오 기기가 연결되되 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기가 아닌 경우 및 외부 오디오 기기가 연결되지 않은 경우 중 어느 하나의 경우에는 바이너럴 효과가 적용되지 않은 오디오가 포함될 수 있다.

예를 들어, 바이너럴 효과를 표현 가능한 기기는 레프트 채널과 라이트 채널을 통해 두 귀로 소리를 전달할 수 있는 유/무선 이어폰이나 유/무선 헤드폰 등에 상응할 수 있다.

이하에서는 도 3을 참조하여, 본 발명의 일실시예에 따라 광고 컨텐츠를 선택하는 과정을 상세하게 설명하도록 한다.

먼저, 본 발명의 일실시예에 따른 모바일 단말에 외부 오디오 기기가 연결되어 있는지 여부를 체크할 수 있다(S302).

이 때, 외부 오디오 기기가 연결되어 있고(S304), 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기일 경우(S306)에는 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 선택하여 제공할 수 있다(S308).

또한, 외부 오디오 기기가 연결되어 있으나(S304), 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기가 아닐 경우(S310)에는 바이너럴 효과가 적용되지 않은 오디오를 포함하고 있는 일반 광고 컨텐츠를 선택하여 제공할 수 있다(S312).

또한, 외부 오디오 기기가 연결되어 있지 않은 경우(S314)에도 바이너럴 효과가 적용되지 않은 오디오를 포함하고 있는 일반 광고 컨텐츠를 선택하여 제공할 수 있다(S316).

이 때, 바이너럴 효과가 적용된 오디오가 포함되는 경우 및 바이너럴 효과가 적용되지 않은 오디오가 포함되는 경우, 광고 컨텐츠에 포함된 비디오는 동일할 수 있다. 따라서, 본 발명의 일실시예에 따른 광고 컨텐츠 데이터베이스는 비디오는 동일하지만 오디오에 따라 구별되는 각각의 광고 컨텐츠들을 저장 및 관리할 수 있다.

이 때, 모바일 단말로 제공되는 오디오 체크 인터페이스에 대한 입력을 기반으로 모바일 단말에 연결된 외부 오디오 기기의 종류를 판단할 수 있다.

예를 들어, 본 발명의 일실시예에 따른 선택적 광고 제공 방법은 도 4에 도시된 것과 같은 오디오 체크 인터페이스(400)를 제공할 수 있다. 오디오 체크 인터페이스(400)는 모바일 단말에 바이너럴 효과 표현 가능 기기(410)인 이어폰이나 헤드폰이 연결되어 있는지 또는 이어폰이나 헤드폰을 제외한 바이너럴 효과 표현 불가능 기기(420)가 연결되어 있는지 여부를 사용자로부터 입력받아 현재 연결된 외부 오디오 기기의 종류를 판단할 수 있다. 이 때, 유/무선 스피커나 마이크의 경우에는 바이너럴 효과 표현 불가능 기기(420)로 분류될 수 있다.

또한, 도 5를 참조하면, 본 발명의 일실시예에 따른 광고 컨텐츠(510)는 렌더링 상태 피드백(520)과 함께 제공될 수 있다.

이 때, 렌더링 상태 피드백(520)을 통해 현재까지의 렌더링 진행 정보를 제공할 수 있다. 이 때, 렌더링 상태 피드백(520)은 도 5에 도시된 형태에 한정되지 않고, 사용자가 쉽게 인지할 수 있는 다양한 방법으로 제공될 수 있다.

이 때, 렌더링은 비주얼 인터페이스에 대한 터치 입력을 기반으로 생성되고, 영상에 동기되는 메타데이터를 기반으로 수행될 수 있다.

예를 들어, 메타데이터는 비주얼 인터페이스에 대한 터치 입력 값을 기반으로 생성될 수 있다. 즉, 모바일 단말의 사용자는 영상에 포함된 객체의 움직임을 보면서 비주얼 인터페이스를 조작하여 영상에 동기된 오디오의 음상을 조절할 수 있다.

이 때, 터치 입력 값은 멀티터치 입력 값일 수 있다. 3차원 좌표상의 위치를 효과적으로 지정하기 위해서는 화면상의 싱글 포인트를 설정하는 싱글 터치로는 부족하고, 화면상의 복수개의 포인트들을 동시에 설정할 수 있는 멀티 터치가 필요할 수 있다.

즉, 멀티 터치가 지원되지 않는 경우나 화면에 대한 터치 입력이 아닌 키보드나 마우스를 이용한 입력 값을 이용하여 메타데이터를 생성하는 경우에는 사용자가 영상을 보면서 직관적이면서도 효율적으로 메타데이터를 생성하기 어려울 수 있다.

이 때, 본 발명의 일실시예에 따른 선택적 광고 제고 방법은 터치 입력에 즉각적으로 반응하여 바이너럴 효과가 적용된 피드백 오디오를 출력할 수 있다.

이 때, 피드백 오디오는 메타데이터를 기반으로 바이너럴 효과가 적용되어 있지 않은 기존의 오디오를 변형한 것에 상응할 수 있다. 즉, 사용자에 의한 터치 입력이 발생하면, 이에 상응하게 생성되는 메타데이터를 실시간으로 반영하여 피드백 오디오를 출력해줄 수 있다. 만약, 즉각적으로 피드백 오디오가 출력되지 않는다면, 사용자는 렌더링이 완료될 때까지 자신이 변형한 오디오를 들을 수 없기 때문에 영상과 대응하지 않도록 바이너럴 효과가 적용될 수도 있다.

따라서, 본 발명에서는 즉각적으로 피드백 오디오를 출력해줌으로써 사용자가 영상에 포함된 객체의 움직임에 대응하여 터치 입력을 수행하도록 할 수 있다.

이 때, 바이너럴 효과가 적용된 피드백 오디오는 이어폰이나 헤드폰과 같이 사용자가 바이너럴 효과에 따른 입체감을 느낄 수 있는 외부 음향 기기를 통해 출력될 수 있다.

이 때, 메타데이터는 바이너럴 효과에 상응하는 음상의 삼차원 위치에 상응할 수 있다. 이 때, 음상의 삼차원 위치는 바이너럴 효과를 느끼는 모바일 단말의 사용자를 기준으로 할 수 있다.

예를 들어, 본 발명에 따른 음상의 삼차원 위치는 사용자의 머리를 기준으로 하는 반구 형태의 3차원 공간 상에 나타낼 수 있다. 따라서, 바이너럴 효과가 적용된 오디오의 경우, 사용자를 기준으로 360도에서 입체적으로 소리가 들리는 효과를 제공할 수 있다.

이와 같이, 본 발명에서는 X축, Y축, Z축을 이용하는 삼차원 공간 상에 음상을 배치함으로써 기존의 음향 기술보다 깊은 몰입감을 제공할 수 있다.

이 때, 본 발명의 일실시예에 따른 비주얼 인터페이스는 음상의 2차원 평면상의 위치를 지정하기 위한 제1 인터페이스 및 음상의 2차원 평면에 수직한 직선상에 위치를 지정하기 위한 제2 인터페이스를 포함하고, 삼차원 위치는 제1 인터페이스에 대한 사용자의 제1 입력 및 제2 인터페이스에 대한 사용자의 제2 입력을 조합하여 생성될 수 있다.

예를 들어, 도 6을 참조하면, 사용자가 영상에 포함된 객체(600)의 움직임에 따라 제1 인터페이스(610)와 제2 인터페이스(620)를 조작할 수 있다. 이 때, 영상에 포함된 객체(600)가 이동하는 방향에 따라 제1 인터페이스(610)의 조작키와 제2 인터페이스(620)의 조작키를 터치 입력으로 이동시킬 수 있다. 이 때, 터치 입력에 따른 제1 입력과 제2 입력을 조합하여 생성된 삼차원 위치를 메타데이터로 기록할 수 있다.

이 때, 비주얼 인터페이스는 도 6에 도시된 형태에 한정되지 않으며, 음상의 3차원 위치를 입력 가능한 다양한 형태로 제공될 수 있다.

이 때, 비주얼 인터페이스에 포함된 모드변경 버튼을 기반으로 피드백 오디오에 의한 영상을 플레이하는 플레이 모드나 비주얼 인터페이스에 의해 음상의 위치를 조절하기 위한 편집 모드 중 어느 하나의 모드를 선택적으로 제공할 수도 있다. 이 때, 모드변경 버튼은 토글(toggle) 방식으로 동작할 수 있다.

이 때, 비주얼 인터페이스는 메타데이터에 상응하는 음상을 영상에 오버레이하여 실시간으로 표시할 수 있다.

예를 들어, 사용자가 제1 인터페이스와 제2 인터페이스를 조작하여 변화하는 음상을 영상에 보여지는 객체에 오버레이하여 표시해줄 수 있다. 이 때, 사용자가 터치 입력을 기반으로 제1 인터페이스나 제2 인터페이스를 조작하는 경우, 음상의 위치도 실시간으로 이동시키면서 보여줄 수도 있다.

이 때, 메타데이터에 상응하는 음상은 사용자의 머리 위치를 기준으로 설정된 반구상의 위치로 표현될 수도 있다.

예를 들어, 음상 트래킹 인터페이스를 통해 변화하는 음상을 트래킹하며 음상의 위치를 보여줄 수도 있다. 이 때, 음상 트래킹 인터페이스는 사용자의 머리 위치를 기준으로 생성된 반구상의 공간에 상응하는 형태로 제공될 수 있다. 이 때, 음상의 3차원 위치를 보다 직관적으로 식별할 수 있도록 사용자 머리의 방향을 회전하면서 음상을 표시할 수도 있다.

이 때, 비주얼 인터페이스는 영상의 객체 중 음상에 상응하는 객체를 하이라이트하는 객체 트래킹 인터페이스를 포함할 수 있다.

이 때, 객체 트래핑 인터페이스는 영상의 객체 중 오디오와의 상관성을 기반으로 음상에 상응하는 객체를 결정할 수 있다. 즉, 영상에 동기되는 오디오가 크게 변화하는 순간, 영상 내의 객체의 변화를 고려하여 오디오의 변화에 상관성이 높다고 판단되는 객체를 음상에 상응하는 객체로 결정할 수 있다.

예를 들어, 객체 트래킹 인터페이스는 영상에 동기되는 오디오가 기설정된 기준 변화량 이상 변화하는 시점에서 새롭게 등장하는 객체를 음상에 상응하는 객체로 판단하고 하이라이트 할 수 있다.

또한, 객체 트래핑 인터페이스는 음상에 상응하게 인식된 객체의 움직임에 따라 음상의 위치도 그에 상응하게 변경시킬 수도 있다. 즉, 사용자가 비주얼 인터페이스를 조작하여 직접 음상을 변경하지 않아도, 객체 트래핑 인터페이스를 통해 인식된 음상에 상응하는 객체를 트래킹하면서 자동으로 음상에 대한 메타데이터가 생성되도록 할 수도 있다.

이 때, 본 발명의 일실시예에 따른 메타데이터는 모바일 단말에서 재생되는 영상에 동기되어 생성될 수 있다.

예를 들어, 도 7에 도시된 것과 같이 영상을 재생하는 동안 생성된 메타데이터(720-1~720-N)를 각각 터치 입력 시점에 재생된 영상의 프레임(710-1~710-N)에 매칭시켜 메타데이터와 영상을 동기화할 수 있다.

이 때, 본 발명의 일실시예에 따른 입체 음향 컨텐츠는 모바일 단말을 통해 재생 가능한 컨텐츠에 상응할 수 있으며, 사용자가 입체 음향 컨텐츠를 시청하는 경우에 마치 사용자의 주위로 여러 개의 스피커가 설치되어있는 환경에서 오디오가 출력되는 것과 같은 음향 효과를 느낄 수 있다.

이 때, 바이너럴 효과가 적용된 오디오는 레프트 채널 및 라이트 채널에 상응하는 2채널 오디오일 수 있다. 따라서, 2채널 오디오만을 지원하는 단말이나 디바이스에서도 마치 5.1 채널이나 10.2 채널과 같은 음향 효과를 느낄 수 있는 입체 음향 컨텐츠를 제공할 수 있다.

이 때, 본 발명의 일실시예에 따른 바이너럴 효과가 적용된 오디오는 기존의 이용되는 기술 및 향후 개발 가능한 기술을 적용하여 생성될 수 있다.

한국등록공보 10-1599554에는 MPEG 서라운드(MPEG Surround)라는 국제 표준의 다채널 오디오 부호화 기술을 기반으로 3차원 바이너럴 신호를 출력하는 내용을 개시하고 있다. 10-1599554에서는 MPEG-Surround(MPS) 국제 표준을 기반으로 멀티채널 오디오 재생특성 파라미터를 추출하고, 오디오 재생특성 파라미터를 이용하여 다운믹스 오디오 신호에 대해 HRTF(Head Related Transfer function) 필터링을 수행하여 3D 바이너럴 신호를 출력하는 내용을 개시하고 있다. 여기서, HRTF 필터링은 인간의 청각기관을 모델링한 더미 헤더 마이크를 이용하여 360도의 방위각과 180도의 고도각 사이를 특정 간격을 두고 각각의 위치에 대한 좌우 양쪽의 임펄스 응답을 구하는 필터링일 수 있다.

이 때, 멀티채널 오디오 재생특성 파라미터는 주파수 대역 별 전후방 채널 신호의 출력 레벨 차에 대한 것으로, MPEG-Surround(MPS) 국제 표준에서 다채널 오디오 신호를 입력 받아 두 귀 사이의 소리 크기 차이와 채널 사이의 상관도 등으로 표현되는 공간 파라미터를 기반으로 추출될 수 있다.

또한, 한국등록공보 10-0971700에는 가상음원의 위치정보와 각 채널 별 바이노럴 필터 계수에 기초하여 좌/우 오디오 신호를 주파수 영역에서 필터링하고, 필터링된 신호를 바이노럴 스테레오 신호로 복호화하는 내용을 개시하고 있다. 이 때, 입력되는 시간 영역의 스테레오 좌/우 오디오 신호를 DFT(Discrete Fourier Transform) 또는 FFT(Fast Fourier Transform)를 이용하여 주파수 영역의 신호로 변환하고, 가상음원의 위치정보를 기반으로 할당된 서브밴드 별 각 채널의 파워 이득 값과 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록에 기초하여 주파수 영역에 상응하는 스테레오 좌/우 신호를 바이노럴 스테레오 신호로 필터링할 수 있다.

이 때, 가상음원의 위치정보(VSLI: Virtual Source Location Information) 기반의 공간 큐 정보를 합성하여 서브밴드 별 각 채널의 파워 이득값을 산출할 수 있고, 스테레오 신호에 대한 VSLI 기반의 공간 큐 정보는 임의의 서브밴드(m)에 대하여, 좌측반면각(LHA: Left Half-plane Angle)(LHA(m)), 좌측보조평면각(LSA: Left Subsequent Angle)(LSA(m)), 우측반면각(RHA: Right Half-plane Angle)(RHA(m)) 및 우측보조평면각(RSA: Right Subsequent Angle)(RSA(m))을 포함할 수 있다.

따라서, 본 발명에서도 상기와 같은 기술을 기반으로 메타데이터에 상응하게 바이너럴 효과가 적용된 오디오를 생성할 수 있다.

예를 들어, MPEG-Surround(MPS) 국제 표준을 기반으로 영상에 동기되는 오디오에 대한 공간 파라미터를 추출하고, 메타데이터에 상응하는 음원의 삼차원 위치와 공간 파라미터를 기반으로 오디오에 대해 HRTF(Head Related Transfer function) 필터링을 수행함으로써 바이너럴 효과가 적용된 오디오 신호를 생성할 수 있다.

다른 예를 들어, 영상에 동기되는 오디오를 주파수 영역의 스테레오 좌/우 오디오 신호로 변환하고, 메타데이터에 상응하는 위치정보를 기반으로 공간 큐 정보를 합성하여 서브밴드 별 각 채널의 파워 이득값을 산출한 뒤 각 채널에 대한 주파수 영역의 좌/우 HRTF 계수 블록에 기초하여 바이너럴 효과가 적용된 오디오를 생성할 수 있다.

이 때, 렌더링을 통해 영상, 바이너럴 효과가 적용된 오디오 및 부가 데이터를 포함하는 컨테이너가 생성되고, 영상 및 바이너럴 효과가 적용된 오디오는 동기 될 수 있다.

예를 들어, 도 8을 참조하면, 본 발명의 일실시예에 따른 비주얼 인터페이스에 대한 터치 입력을 기반으로 영상(811) M₁에 동기되는 오디오(812) S₁에 대한 메타데이터(820)를 생성하였다고 가정할 수 있다. 이 때, 본 발명의 일실시예에 따른 선택적 광고 제고 방법은 영상(811) M₁에 동기되는 오디오(812) S₁과 메타데이터(820)를 이용하여 바이너럴 효과가 적용된 오디오(821) S₂를 생성할 수 있고, 렌더링을 수행하여 영상(811) M₁, 바이너럴 효과가 적용된 오디오(821) S₂ 및 부가 데이터(830)를 포함하는 컨테이너(840)를 생성할 수 있다.

이 때, 부가 데이터(830)는 입체 음향 컨텐츠의 포맷에 관련된 정보나 렌더링을 위한 파라미터 등을 포함할 수 있다.

이 때, 비주얼 인터페이스에 대한 터치 입력을 기반으로 렌더링을 시작할 수 있다.

예를 들어, 사용자가 비주얼 인터페이스에 포함된 저장 버튼(SAVE)을 터치하는 경우, 입체 음향 컨텐츠를 생성하기 위한 렌더링을 시작할 수 있다. 이 때, 렌더링되어 생성된 입체 음향 컨텐츠는 입체 음향 컨텐츠 저작 어플리케이션을 기반으로 모바일 단말에 저장될 수 있다.

이 때, 렌더링은 바이너럴 효과가 적용된 오디오(821) S₂를 생성하는 과정과 함께 수행될 수도 있다.

또한, 사용자가 렌더링을 수행하지 않고 비주얼 인터페이스를 정지 또는 종료하는 경우, 현재까지 생성된 메타데이터를 보관하거나 또는 삭제할 수도 있다.

예를 들어, 사용자가 비주얼 인터페이스에 포함된 정지 버튼(PAUSE)을 터치하는 경우, 현재까지 생성된 메타데이터를 영상과 함께 저장하여 보관할 수도 있다.

다른 예를 들어, 사용자가 비주얼 인터페이스에 포함된 종료 버튼(End) 또는 나가기 버튼(EXIT)을 터치하는 경우, 현재까지 생성된 메타데이터를 삭제하고 비주얼 인터페이스를 종료할 수도 있다.

이 때, 광고 컨텐츠는 광고 컨텐츠 데이터베이스로부터 렌더링 소요 시간 인자 및 컨텐츠 프로파일 인자 중 적어도 하나를 기반으로 선택될 수 있다.

또한, 광고 컨텐츠는 음원 위치 컨트롤 성향 인자를 더 고려하여 선택될 수 있다.

예를 들어, 도 9에 도시된 것과 같이 광고 컨텐츠 데이터베이스(900)에 저장된 복수개의 광고 컨텐츠들 중에서 렌더링 소요 시간 인자(910), 컨텐츠 프로파일 인자(920) 및 음향 위치 컨트롤 성향 인자(930)를 기반으로 렌더링 시 출력될 광고 컨텐츠를 선택할 수 있다.

이 때, 렌더링 소요 시간 인자는 영상에 상응하는 재생시간 및 영상에 상응하는 파일 사이즈 중 어느 하나 이상을 고려하여 산출될 수 있다.

예를 들어, 영상에 상응하는 재생시간이 길거나 영상에 상응하는 파일 사이즈가 클수록 렌더링에 소요되는 시간이 길어질 수 있다. 따라서, 이러한 경우, 광고 컨텐츠 데이터베이스(900)에 저장된 광고 컨텐츠들 중 비교적 시간이 긴 광고 컨텐츠를 선택하여 출력할 수 있다.

이 때, 컨텐츠 프로파일 인자는 사용자가 입체 음향 컨텐츠를 렌더링한 히스토리를 기반으로 산출될 수 있다.

예를 들어, 사용자가 주로 게임 영상에 대한 입체 음향 컨텐츠를 렌더링하는 경우, 사용자가 게임을 선호하는 것으로 판단하고, 광고 컨텐츠 데이터베이스(900)에 저장된 광고 컨텐츠들 중 게임 광고 컨텐츠를 선택하여 출력할 수 있다.

이 때, 음원 위치 컨트롤 성향 인자는 메타데이터에 상응하는 음상의 위치 변화 값을 기반으로 산출될 수 있다.

예를 들어, 사용자의 터치 입력에 의해 생성된 메타데이터에 상응하는 음상의 위치 변화가 큰 경우, 사용자가 움직임이 많은 입체적인 영상을 선호하는 것으로 판단하고, 광고 컨텐츠 데이터베이스(900)에 저장된 광고 컨텐츠들 중 장면 변화가 많거나 동적인 영상의 광고 컨텐츠를 선택하여 출력할 수 있다.

따라서, 광고 컨텐츠 데이터베이스(900)는 재생시간, 컨텐츠 카테고리 및 정적/동적 컨텐츠 등을 고려하여 복수개의 광고 컨텐츠들을 저장 및 관리할 수 있다.

이 때, 본 발명의 일실시예에 따른 광고 컨텐츠 데이터베이스(1000)는 도 10에 도시된 것과 같이 광고 컨텐츠 별로 바이너럴 효과가 적용된 오디오를 포함하는 제1 타입 광고 컨텐츠(1010)와 바이너럴 효과가 적용되지 않은 오디오를 포함하는 제2 타입 광고 컨텐츠(1020)를 분류하여 저장할 수 있다.

이 때, 본 발명의 일실시예에 따른 광고 컨텐츠는 모바일 단말 또는 어플리케이션을 제공하는 서버 중 어느 하나를 통해 선택될 수 있다.

예를 들어, 모바일 단말에서 광고 컨텐츠를 선택하는 경우, 도 11에 도시된 것과 같이 모바일 단말(1110)에 저장된 어플리케이션(1111)이 광고 컨텐츠 메타데이터(1112)를 기반으로 출력된 광고 컨텐츠를 선택할 수 있다. 이 때, 광고 컨텐츠 메타데이터(1112)는 광고 컨텐츠 데이터베이스(1100)에 저장된 복수개의 광고 컨텐츠들에 대한 메타 정보에 상응할 수 있다. 따라서, 모바일 단말(1110)은 광고 컨텐츠 데이터베이스(1100)에게 이미 선택된 광고 컨텐츠의 전송을 요청할 수 있고, 광고 컨텐츠 데이터베이스(1100)는 요청에 상응하는 광고 컨텐츠를 모바일 단말(1110)로 전송하여 어플리케이션(1111)을 통해 제공할 수 있다.

다른 예를 들어, 서버에서 광고 컨텐츠를 선택하는 경우, 도 12에 도시된 것과 같이 모바일 단말(1220)에서 서버(1210)에게 광고 컨텐츠를 선택하기 위해 고려될 관련 인자들, 즉 렌더링 소요 시간 인자, 컨텐츠 프로파일 인자 및 음원 위치 컨트롤 성향 인자 등을 전달할 수 있다. 이 후, 서버(1210)는 전달받은 관련 인자들을 이용하여 광고 컨텐츠 데이터베이스(1200)에 저장된 복수개의 광고 컨텐츠들 중 어느 하나의 광고 컨텐츠를 선택하여 모바일 단말(1220)로 제공할 수 있다. 이 후, 모바일 단말(1220)에서는 입체 음향 컨텐츠 저작과 광고 제공을 위한 어플리케이션을 통해 서버(1210)로부터 제공받은 광고 컨텐츠를 출력할 수 있다.

이 때, 광고 컨텐츠의 제공에 상응하는 사용자 보상을 제공하고, 사용자 보상을 다른 광고 컨텐츠를 스킵하는데 사용 가능할 수 있다.

이 때, 사용자 보상은 광고 컨텐츠의 재생 시간을 고려하여 제공될 수 있다.

예를 들어, 기설정된 기준 재생 시간이 5분이라고 가정할 수 있다. 만약, 도 13에 도시된 것과 같이 사용자가 입체 음향 컨텐츠를 렌더링하는 동안에 재생 시간이 5분 미만인 광고 컨텐츠를 시청한 경우, 사용자 보상에 상응하는 단위인 음표를 4개 제공할 수 있다. 그러나, 만약 사용자가 시청한 광고 컨텐츠의 재생 시간이 5분을 초과하는 경우, 2배의 보상에 상응하는 8개의 음표가 지급될 수도 있다.

이 때, 사용자 보상을 지급하는 기준은 본 발명의 일실시예에 따라 자유롭게 설정 및 변경할 수 있으며, 사용자 보상에 상응하는 단위도 음표에 한정되지 않는다.

이 때, 사용자 보상은 다른 광고 컨텐츠를 스킵하는데 사용할 수 있다.

예를 들어, 도 14를 참조하면, 본 발명의 일실시예에 따른 선택적 광고 제공 방법은 광고 컨텐츠를 스킵하기 위한 스킵 버튼(1410)을 제공할 수 있다. 만약, 모바일 단말의 사용자가 스킵 버튼(1410)을 터치하는 경우, 도 14에 도시된 것과 같은 스킵 안내 팝업(1420)을 통해 음표를 소비하여 광고를 스킵할지 여부를 사용자에게 선택하도록 할 수 있다. 이 때, 광고 컨텐츠를 스킵하기 위해 필요한 음표의 개수와 함께 현재 사용자가 보유한 음표의 개수를 함께 보여줄 수도 있다.

이 때, 사용자가 광고를 스킵할지 여부를 선택하는 동안, 광고 컨텐츠의 재생은 일시적으로 정지될 수 있지만 렌더링을 계속 수행될 수 있다.

또한, 도 15에는 도시하지 아니하였으나, 본 발명의 일실시예에 따른 입체 음향 컨텐츠 저작 툴을 이용한 광고 제공 방법은 상술한 바와 같이 광고 제공 과정에서 발생하는 다양한 정보를 별도의 저장 모듈에 저장할 수 있다.

이와 같은 광고 제공 방법을 통해, 선택적으로 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 제공함으로써 광고 컨텐츠의 내용을 보다 효과적으로 전달할 수 있다.

도 16은 본 발명의 일실시예에 따른 선택적 광고 제공 방법을 상세하게 나타낸 동작흐름도이다.

도 16을 참조하면, 본 발명의 일실시예에 따른 선택적 광고 제공 방법은 먼저 모바일 단말에 설치된 입체 음향 컨텐츠 저작 툴, 즉 본 발명의 일실시예에 따른 어플리케이션이 실행되면(S1610), 어플리케이션에서 사용자에 의해 선택된 영상을 기반으로 비주얼 인터페이스를 제공할 수 있다(S1620).

이 때, 비주얼 인터페이스는 사용자에 의해 선택된 영상에 동기되는 오디오에 바이너럴 효과를 적용하기 위한 인터페이스들을 포함할 수 있다.

이 후, 사용자에 의해 렌더링 수행이 요청되면(S1630), 모바일 단말에 외부 오디오 기기가 연결되어 있는지 여부를 판단할 수 있다(S1635).

단계(S1635)의 판단결과 외부 오디오 기기가 연결되어 있으면, 외부 오디오 기기의 종류를 체크하기 위한 오디오 체크 인터페이스를 제공할 수 있다(S1640).

이 후, 오디오 체크 인터페이스를 통해 체크된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기인지 여부를 판단할 수 있다(S1645).

단계(S1645)의 판단결과 모바일 단말에 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기이면, 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 제공할 수 있다(S1650).

이 때, 렌더링 소요 시간 인자, 컨텐츠 프로파일 인자 및 음원 위치 컨트롤 성향 인자를 고려하여 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 선택하여 제공할 수 있다.

이 때, 모바일 단말 또는 어플리케이션을 제공하는 서버 중 어느 하나가 광고 컨텐츠를 선택할 수 있다.

또한, 단계(S1635)의 판단결과 모바일 단말에 외부 오디오 기기가 연결되어 있지 않거나, 단계(S1645)의 판단결과 모바일 단말에 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기가 아니면, 바이너럴 효과가 적용되지 않은 오디오를 포함하는 일반 광고 컨텐츠를 제공할 수 있다(S1660).

이 때, 선택된 광고 컨텐츠는 렌더링이 수행되는 동안에 출력될 수 있다.

이 후, 렌더링이 종료되면, 생성된 입체 음향 컨텐츠를 모바일 단말의 메모리에 저장할 수 있다(S1670).

이 때, 이어폰이나 헤드폰과 같은 외부 음향 기기가 연결된 모바일 단말에서 입체 음향 컨텐츠를 재생하는 경우, 마치 외부에 위치하는 오디오에서 소리가 나는 것처럼 실감나게 컨텐츠를 감상할 수 있다.

이상에서와 같이 본 발명에 따른 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법 및 이를 위한 어플리케이션은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

110, 1110, 1220: 모바일 단말 111: 주변 연결 기기
120, 1210: 서버 130: 네트워크
400: 오디오 체크 인터페이스 410: 바이너럴 효과 표현 가능 기기
420: 바이너럴 효과 표현 불가능 기기
510: 광고 컨텐츠 520: 렌더링 상태 피드백
600: 객체 610: 제1 인터페이스
620: 제2 인터페이스 710-1~710-N: 프레임
720-1~720-N, 820: 메타데이터 811: 영상
812: 오디오 821: 바이너럴 효과가 적용된 오디오
830: 부가데이터 840: 컨테이너
900, 1000, 1100, 1200: 광고 컨텐츠 데이터베이스
910: 렌더링 소요 시간 인자 920: 컨텐츠 프로파일 인자
930: 음원 위치 컨트롤 성향 인자 1010: 제1 타입 광고 컨텐츠
1020: 제2 타입 광고 컨텐츠 1111: 어플리케이션
1112: 광고 컨텐츠 메타데이터 1310: 사용자 보상 제공 팝업
1410: 스킵 버튼 1420: 스킵 안내 팝업
1710: 통신부 1720: 프로세서
1730: 메모리

Claims (20)

1. 모바일 단말을 통해 재생되는 영상에 동기되는 오디오에, 바이너럴(binaural) 효과를 적용하기 위한 비주얼 인터페이스를 제공하는 단계; 및
   상기 비주얼 인터페이스를 기반으로 바이너럴 효과가 적용된 입체 음향 컨텐츠를 렌더링하는 동안, 상기 모바일 단말에 대한 주변 기기 연결 상태를 고려하여 선택적으로 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 제공하는 단계
   를 포함하는 것을 특징으로 하는 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법.
2. 청구항 1에 있어서,
   상기 주변 기기 연결 상태는
   상기 모바일 단말에 외부 오디오 기기가 유/무선 연결되었는지 여부에 상응하는 것을 특징으로 하는 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법.
3. 청구항 2에 있어서,
   상기 광고 컨텐츠를 제공하는 단계는
   유/무선에 상응하게 외부 오디오 기기가 연결되고, 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기인 경우에는 상기 바이너럴 효과가 적용된 오디오를 포함하는 광고 컨텐츠를 제공하고,
   유/무선에 상응하게 외부 오디오 기기가 연결되되 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기가 아닌 경우 및 상기 외부 오디오 기기가 연결되지 않은 경우 중 어느 하나의 경우에는 상기 바이너럴 효과가 적용되지 않은 오디오를 포함하는 광고 컨텐츠를 제공하는 것을 특징으로 하는 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법.
4. 청구항 3에 있어서,
   상기 바이너럴 효과가 적용된 오디오가 포함되는 경우 및 상기 바이너럴 효과가 적용되지 않은 오디오가 포함되는 경우 상기 광고 컨텐츠에 포함된 비디오는 동일한 것을 특징으로 하는 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법.
5. 청구항 3에 있어서,
   상기 광고 컨텐츠를 제공하는 단계는
   오디오 체크 인터페이스에 대한 입력을 기반으로 상기 모바일 단말에 연결된 외부 오디오 기기의 종류를 판단하는 것을 특징으로 하는 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법.
6. 청구항 2에 있어서,
   상기 렌더링은
   상기 비주얼 인터페이스에 대한 터치 입력을 기반으로 생성되고, 상기 영상에 동기되는 메타데이터를 기반으로 수행되는 것을 특징으로 하는 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법.
7. 청구항 6에 있어서,
   상기 광고 컨텐츠는
   광고 컨텐츠 데이터베이스로부터 렌더링 소요 시간 인자 및 컨텐츠 프로파일 인자 중 적어도 하나를 기반으로 선택되는 것을 특징으로 하는 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법.
8. 청구항 7에 있어서,
   상기 광고 컨텐츠 데이터베이스는
   광고 컨텐츠 별로 상기 바이너럴 효과가 적용된 오디오를 포함하는 제1 타입과 상기 바이너럴 효과가 적용되지 않은 오디오를 포함하는 제2 타입을 저장하는 것을 특징으로 하는 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법.
9. 청구항 7에 있어서,
   상기 광고 컨텐츠는
   음원 위치 컨트롤 성향 인자를 더 고려하여 선택되는 것을 특징으로 하는 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법.
10. 청구항 2에 있어서,
    상기 광고 컨텐츠를 제공하는 단계는
    상기 광고 컨텐츠의 제공에 상응하는 사용자 보상을 제공하고, 상기 사용자 보상은 다른 광고 컨텐츠를 스킵하는데 사용 가능한 것을 특징으로 하는 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법.
11. 청구항 7에 있어서,
    상기 렌더링 소요 시간 인자는 상기 영상에 상응하는 재생시간 및 상기 영상에 상응하는 파일 사이즈 중 어느 하나 이상을 고려하여 산출되고,
    상기 컨텐츠 프로파일 인자는 사용자가 상기 입체 음향 컨텐츠를 렌더링한 히스토리를 기반으로 산출되는 것을 특징으로 하는 입체 음향 컨텐츠 저작 툴을 이용한 선택적 광고 제공 방법.
12. 모바일 단말을 통해 재생되는 영상에 동기되는 오디오에, 바이너럴(binaural) 효과를 적용하기 위한 비주얼 인터페이스를 제공하는 단계; 및
    상기 비주얼 인터페이스를 기반으로 바이너럴 효과가 적용된 입체 음향 컨텐츠를 렌더링하는 동안에 상기 모바일 단말에 대한 주변 기기 연결 상태를 고려하여 선택적으로 바이너럴 효과가 적용된 선택적 오디오를 포함하는 광고 컨텐츠를 제공하는 단계를 실행시키기 위한 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션.
13. 청구항 12에 있어서,
    상기 주변 기기 연결 상태는
    상기 모바일 단말에 외부 오디오 기기가 유/무선 연결되었는지 여부에 상응하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션.
14. 청구항 13에 있어서,
    상기 광고 컨텐츠는
    상기 외부 오디오 기기가 연결되고, 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기인 경우에는 상기 바이너럴 효과가 적용된 오디오가 포함되고,
    상기 외부 오디오 기기가 연결되되 연결된 외부 오디오 기기가 바이너럴 효과를 표현 가능한 기기가 아닌 경우 및 상기 외부 오디오 기기가 연결되지 않은 경우 중 어느 하나의 경우에는 상기 바이너럴 효과가 적용되지 않은 오디오가 포함되는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션.
15. 청구항 14에 있어서,
    상기 바이너럴 효과가 적용된 오디오가 포함되는 경우 및 상기 바이너럴 효과가 적용되지 않은 오디오가 포함되는 경우 상기 광고 컨텐츠에 포함된 비디오는 동일한 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션.
16. 청구항 14에 있어서,
    오디오 체크 인터페이스에 대한 입력을 기반으로 상기 모바일 단말에 연결된 외부 오디오 기기의 종류를 판단하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션.
17. 청구항 13에 있어서,
    상기 렌더링은
    상기 비주얼 인터페이스에 대한 터치 입력을 기반으로 생성되고, 상기 영상에 동기되는 메타데이터를 기반으로 수행되는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션.
18. 청구항 17에 있어서,
    상기 광고 컨텐츠는
    광고 컨텐츠 데이터베이스로부터 렌더링 소요 시간 인자 및 컨텐츠 프로파일 인자 중 적어도 하나를 기반으로 선택되는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션.
19. 청구항 18에 있어서,
    상기 광고 컨텐츠 데이터베이스는
    광고 컨텐츠 별로 상기 바이너럴 효과가 적용된 오디오를 포함하는 제1 타입과 상기 바이너럴 효과가 적용되지 않은 오디오를 포함하는 제2 타입을 포함하는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션.
20. 청구항 18에 있어서,
    상기 광고 컨텐츠는
    음원 위치 컨트롤 성향 인자를 더 고려하여 선택되는 것을 특징으로 하는 컴퓨터로 판독 가능한 기록매체에 저장된 어플리케이션.

Images