KR100948691B1

KR100948691B1 - Apparatus and method for providing 3d personal advertisement broadcasting and apparatus for receiving internet broadcasting

Info

Publication number: KR100948691B1
Application number: KR1020080108757A
Authority: KR
Inventors: 김낙우; 김경훈; 박일균; 이병탁; 고재상
Original assignee: 한국전자통신연구원
Priority date: 2008-11-04
Filing date: 2008-11-04
Publication date: 2010-03-18

Abstract

PURPOSE: A 3D individual advertisement broadcast service providing device, a method thereof, and an internet broadcast reception device thereof are provided to use one among various individual channels of IPTV to continuously perform advertisement broadcast in real time. CONSTITUTION: A 3D individual advertisement broadcast service providing device includes an image input unit(200), a contents generation unit(210), and an image transmission unit(220). Through the image input unit, image data used in 3D advertisement broadcast contents production is inputted. The contents generation unit generates 3D advertisement broadcast contents using the image data. The image transmission unit performs streaming transmission through an internet protocol television broadcast channel allocated to 3D advertisement broadcast contents.

Description

Apparatus and method for providing 3D personal advertisement broadcasting service and apparatus for receiving internet broadcasting

본 발명은 콘텐츠 제공 서비스에 관한 것으로, 특히 광고 영상 콘텐츠를 제 작하고 네트워크를 통해 제공하는 기술에 관한 것이다.The present invention relates to a content providing service, and more particularly, to a technology for producing an advertisement video content and providing the same through a network.

종래의 광고 서비스는 통신 네트워크를 통해 사용자 단말 장치인 셋톱박스(STB)로 기전송된 이차원(2D) 광고 영상 이미지를 사용자가 그래픽 유저 인터페이스(Graphic User Interface, GUI) 환경에서 선택할 경우, 해당 광고에 대한 2차 광고 영상을 새롭게 네트워크를 제공받아 화면상에 표시하는 방식으로 이루어진다. 그러나 2차원 광고 영상으로는 충분한 광고효과를 달성할 수 없다.Conventional advertising services are provided when a user selects a two-dimensional (2D) advertisement video image previously transmitted to a set-top box (STB), which is a user terminal device, through a communication network in a graphical user interface (GUI) environment. It is made by displaying the second advertisement video on the screen newly received by the network. However, two-dimensional advertising images cannot achieve sufficient advertising effects.

한편, 삼차원 가상 공간이나 아바타를 이용한 웹 기반의 광고도 서비스되고 있다. 그러나 웹 기반의 광고 서비스는 일반 배너 광고와는 달리 특정 사이트에 가입하거나 새로운 클라이언트 프로그램을 다운로드 받아야 이용할 수 있는 단점이 있으며, 사용자에게 강제 노출되는 방식이 아니기 때문에 광고 효과가 크게 떨어지는 단점이 있다.Meanwhile, web-based advertisements using three-dimensional virtual spaces or avatars are also being serviced. However, unlike general banner advertisements, web-based advertising services can be used by subscribing to a specific site or downloading a new client program, and have a disadvantage in that an advertisement effect is greatly reduced because it is not a method of being exposed to a user.

본 발명은 IPTV 기반의 삼차원 광고 방송 콘텐츠 서비스를 제공함을 목적으로 한다.An object of the present invention is to provide a three-dimensional advertising content service based on IPTV.

전술한 과제를 달성하기 위한 본 발명의 삼차원 개인 광고 방송 서비스 제공 장치는, 삼차원 광고 방송 콘텐츠 제작에 이용되는 영상 데이터들을 입력받는 영상 입력부; 상기 입력된 영상 데이터들을 가지고 가상 현실 기법과 증강 현실(Augmented Reality) 기법을 이용하여 삼차원 광고 방송 콘텐츠를 생성하는 콘텐츠 생성부; 및 상기 콘텐츠 생성부에 의해 생성된 삼차원 광고 방송 콘텐츠를 전용으로 할당된 인터넷 프로토콜 텔레비전(Internet Protocol Television) 방송 채널을 통해 스트리밍 전송하는 영상 전송부;를 포함한다.In accordance with an aspect of the present invention, there is provided an apparatus for providing a 3D personal advertisement service, comprising: an image input unit configured to receive image data used for producing 3D commercial content; A content generator configured to generate three-dimensional commercial content using the input image data using a virtual reality technique and an augmented reality technique; And an image transmitter for streaming the 3D commercial content generated by the content generator through an Internet Protocol Television broadcast channel allocated exclusively.

상기 영상 입력부는, 블루스크린 배경에서 촬영된 카메라 영상, 삼차원 가상 배경 영상, 광고 물품의 삼차원 광고 객체 영상, 및 광고 물품을 소개하는 이차원 영상을 입력받는다.The image input unit receives a camera image photographed on a blue screen background, a three-dimensional virtual background image, a three-dimensional advertisement object image of an advertisement article, and a two-dimensional image introducing the advertisement article.

상기 콘텐츠 생성부는, 상기 입력된 카메라 영상에서 배경을 크로마키 기법을 통해 제거하고, 상기 제거된 배경위치에 상기 입력된 삼차원 가상 배경 영상을 가상현실기법을 이용하여 삽입하며, 상기 삼차원 가상 배경 영상이 합성된 영상 위에 상기 입력된 광고 물품을 소개하는 이차원 영상을 배치하는 가상 현실부; 및 상기 입력된 카메라 영상에서 증강 현실(Augmented Reality)용 영상 패턴을 인식하고 인식된 패턴 위치에 상기 입력된 삼차원 광고 객체 영상을 매핑시켜 상기 삼차원 광고 객체의 형상을 광고 물품의 모든 시점에서 확인할 수 있게 하는 증강 현실부;를 포함한다.The content generation unit removes a background from the input camera image by using a chroma key technique, inserts the input three-dimensional virtual background image into the removed background position by using a virtual reality technique, and the three-dimensional virtual background image is A virtual reality unit for disposing a two-dimensional image for introducing the inputted advertisement article on the synthesized image; And recognizing an image pattern for augmented reality in the input camera image and mapping the input three-dimensional advertisement object image to a recognized pattern position so that the shape of the three-dimensional advertisement object can be confirmed at all viewpoints of the advertisement article. It includes; augmented reality.

상기 영상 전송부는, 상기 생성된 삼차원 광고 방송 콘텐츠와 상기 입력된 광고 물품의 삼차원 광고 객체 영상을 먹싱하여 전송한다.The image transmission unit muxes and transmits the generated three-dimensional advertisement content and the three-dimensional advertisement object image of the input advertisement article.

나아가 삼차원 개인 광고 방송 서비스 제공 장치는, 상기 콘텐츠 생성부에 의해 생성된 삼차원 광고 방송 콘텐츠에 포함된 상기 광고 물품의 삼차원 광고 객체 영상과 상기 광고 물품을 소개하는 이차원 영상 중 적어도 하나에 대해 배치 위치 변경, 크기 조절, 회전 중 적어도 하나의 기능을 제공하는 콘텐츠 편집부;를 더 포함한다.Furthermore, the apparatus for providing a 3D personal advertisement service changes an arrangement position of at least one of a 3D advertisement object image of the advertisement article included in the 3D advertisement content generated by the content generating unit and a 2D image introducing the advertisement article. And a content editing unit that provides at least one function of size adjustment and rotation.

한편, 전술한 과제를 달성하기 위한 본 발명의 인터넷 방송 수신 장치는, 인터넷 프로토콜 텔레비전(Internet Protocol Television) 방송 채널을 통해 광고 방송 데이터를 수신하여 디먹싱하는 방송 수신부; 상기 방송 수신부에 의해 디먹싱되어 출력된 삼차원 광고 방송 콘텐츠를 화면 일부에 디스플레이하는 광고 동영상 처리부; 상기 방송 수신부에 의해 디먹싱되어 출력된 삼차원 광고 객체 영상을 상기 삼차원 광고 방송 콘텐츠와 중첩되지 않게 화면 일부에 디스플레이하는 광고 객체 처리부; 상기 방송 수신부에 의해 디먹싱되어 출력된 메타데이터에 담긴 광고 물품에 대한 상세 설명 텍스트를 상기 삼차원 광고 방송 콘텐츠와 상기 삼차원 광고 객체 영상과 중첩되지 않게 화면 일부에 디스플레이하는 메타데이터 처리부; 사용자 명령에 따라 상기 광고 객체 처리부에 의해 화면 일부에 디스플레이된 삼차원 광고 객체 영상의 배치 위치 혹은 크기를 조절하는 광고 객체 조절부; 및 화면에 디스플레이되는 광고 물품에 대해 온라인 주문 및 결제를 지원하는 온라인 주문 결제부;를 포함한다.On the other hand, the Internet broadcast receiving apparatus of the present invention for achieving the above object, the broadcast receiving unit for receiving and demuxing the advertising broadcast data through the Internet Protocol Television (Internet Protocol Television) broadcasting channel; An advertisement video processor to display the 3D commercial content demuxed and output by the broadcast receiver on a part of a screen; An advertisement object processing unit which displays a three-dimensional advertisement object image demuxed and output by the broadcast receiving unit on a part of the screen so as not to overlap with the three-dimensional advertisement broadcasting content; A metadata processor configured to display detailed description text of the advertisement item contained in the metadata demuxed and output by the broadcast receiver on a part of the screen without overlapping the three-dimensional advertisement content and the three-dimensional advertisement object image; An advertisement object controller for adjusting a placement position or size of a 3D advertisement object image displayed on a part of a screen by the advertisement object processor according to a user command; And an online order payment unit that supports online ordering and payment for the advertising items displayed on the screen.

한편, 전술한 과제를 달성하기 위한 본 발명의 삼차원 개인 광고 서비스 제공 방법은, 블루스크린 배경에서 촬영되어 입력된 카메라 영상에서 크로마키 기법을 이용하여 배경을 제거하고, 가상현실기법을 이용하여 상기 제거된 배경에 삼차원 가상 배경 영상을 삽입하고, 상기 삼차원 가상 배경 영상이 삽입된 영상에 광고 물품을 소개하는 이차원 영상을 배치하며, 상기 카메라 영상에서 영상 패턴을 인식하여 인식된 영상 패턴 위치에 광고 물품의 삼차원 광고 객체 영상을 매핑하여 삼차원 광고 방송 콘텐츠를 생성하는 단계; 광고 물품에 대한 상세 설명이 담긴 메타데이터를 입력받는 단계; 및 상기 생성된 삼차원 광고 방송 콘텐츠와 상기 광고 물품의 삼차원 광고 객체 영상 및 상기 입력된 메타데이터를 먹싱하여 전용으로 할당된 인터넷 프로토콜 텔레비전(Internet Protocol Television) 방송 채널을 통해 스트리밍 전송하는 단계;를 포함한다.On the other hand, the method for providing a three-dimensional personal advertisement service of the present invention for achieving the above object, the background is removed from the camera image photographed on the blue screen using the chroma key technique, the virtual reality technique to remove the removal Inserting a three-dimensional virtual background image on the background, and placing a two-dimensional image for introducing the advertising article in the image inserted the three-dimensional virtual background image, and recognizes the image pattern in the camera image of the advertising article at the recognized image pattern position Generating three-dimensional advertisement content by mapping the three-dimensional advertisement object image; Receiving metadata containing a detailed description of the advertisement product; And muxing the generated three-dimensional advertisement content, the three-dimensional advertisement object image of the advertisement article, and the input metadata and streaming the same through an internet protocol television broadcast channel allocated exclusively. .

최근 광대역 네트워크의 발달과 더불어 IPTV와 같은 양방향 방송의 출현은 다양항 형태의 개인형/참여형 멀티미디어 서비스를 낳고 있다. 이에 본 발명은 다양한 형태의 소규모 광고 사업자로부터 여러 광고를 수주하여 개인형 삼차원 방송 스튜디오에서 삼차원 기반의 광고를 제작하고, 제작된 광고 방송을 실시간 서비스하고자 함이다. 본 발명에 의해 다음과 같은 효과가 창출된다.Recently, with the development of broadband networks, the advent of two-way broadcasting such as IPTV has produced various types of personal / participant multimedia services. Accordingly, the present invention seeks to create a three-dimensional advertisement in a personalized three-dimensional broadcasting studio by receiving various advertisements from various small advertising providers of various forms, and to provide real-time service of the produced commercial broadcasting. The following effects are created by the present invention.

첫째, 케이블 TV의 홈쇼핑 채널과 같이 IPTV의 수많은 개인 채널 중 하나를 이용하여 실시간 종일 광고 방송하는 것이 가능하므로, 광고주에게는 저렴한 가격으로 많은 수의 가입자에게 목적지향의 광고 방송을 제공, 즉 IP를 통해 원하는 지역 가입자들에게 선별적으로 광고 방송을 제공할 수 있게 한다.First, as it is possible to broadcast commercials all day in real time using one of the numerous personal channels of IPTV, such as the home shopping channel of cable TV, advertisers can provide advertisements for a large number of subscribers at a low price. Enables selective advertising for local subscribers.

둘째, 광고주에게 저렴한 비용으로 개인형 삼차원 가상 스튜디오 환경에서의 광고 방송을 지원함으로써, 많은 고객들에게 좀 더 효과적인 광고를 가능하게 한다.Second, by supporting commercials in a personal three-dimensional virtual studio environment at a low cost to advertisers, it enables more effective advertising for many customers.

셋째, 개인 가입자는 홈쇼핑 채널과 같이 필요시에 광고방송을 보며 원하는 물건을 바로 선택할 수 있고, 또한 삼차원 뷰어의 확대/이동 기능을 통해 제공되는 광고 물품의 삼차원 화면을 통해 본인이 원하는 시점에서 제품 상태를 볼 수 있다.Third, individual subscribers can select the desired product by watching commercials when needed, such as home shopping channels, and also through the three-dimensional screen of the advertisement product provided through the zoom / move function of the three-dimensional viewer. Can be seen.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.The foregoing and further aspects of the present invention will become more apparent through the preferred embodiments described with reference to the accompanying drawings. Hereinafter, the present invention will be described in detail to enable those skilled in the art to easily understand and reproduce the present invention.

도 1은 본 발명에 따른 삼차원 광고 방송 콘텐츠를 서비스하기 위한 전체 시스템 구성도이다.1 is an overall system configuration for servicing three-dimensional advertising content in accordance with the present invention.

삼차원 개인 광고 방송 서비스 제공 장치(100)는 개인 가상 스튜디오 사업자에 의해 운용된다. 개인 가상 스튜디오 사업자는 광고주로부터 광고를 발주 받아 본 발명에 따른 삼차원 개인 광고 방송 서비스 제공 장치(100)를 운용하여 삼차원 기반의 삼차원 광고 방송 콘텐츠를 제작하며, IPTV(Internet Protocol Television) 방송 채널을 통해 스트리밍 전송한다. The 3D personal advertisement service providing apparatus 100 is operated by a personal virtual studio operator. The personal virtual studio operator receives the advertisement from the advertiser and operates the 3D personal advertisement service providing apparatus 100 according to the present invention to produce 3D-based 3D commercial content, and streams it through an IPTV (Internet Protocol Television) broadcasting channel. send.

방송 중계 장치(110)는 복수의 IPTV 개인 채널들로부터 입력되는 방송 영상들을 송출하며, 바람직하게 각 방송 스케줄에 따라 방송을 중계한다. 또한 가입자 인증은 물론, 지역이나 가입자 연령대 등을 조건으로 그룹화된 가입자를 확인하여 IPTV 방송 채널을 통제하기도 한다. 일 예로, 방송 중계 장치(110)는 후술할 상품 주문 서버(130)와 연동하여 가입자 인증 및 가입자의 그룹을 확인하여 IPTV 방송 채널을 통제한다.The broadcast relay device 110 transmits broadcast images input from a plurality of IPTV private channels, and preferably broadcasts according to each broadcast schedule. In addition to subscriber authentication, IPTV broadcasting channels are controlled by identifying subscribers grouped on the basis of region or subscriber age group. For example, the broadcast relay device 110 controls an IPTV broadcast channel by confirming subscriber authentication and a group of subscribers in conjunction with a product order server 130 to be described later.

인터넷 방송 수신 장치(120)는 인터넷 방송 수신이 가능한 컴퓨터나 셋톱박스 등이 될 수 있으며, 방송 중계 장치(110)로부터 본 발명에 따른 ‘삼차원 광고 방송 서비스’를 위해 전용 할당된 IPTV 방송 채널을 통해 송출된 삼차원 광고 방송 콘텐츠를 수신하여 화면 재생 처리한다. 또한 인터넷 방송 수신 장치(120)는 상품 주문 서버(130)와 연동하여 광고 물품에 대해 온라인 상으로 주문 및 결제를 지원한다.The Internet broadcast reception device 120 may be a computer or a set-top box capable of receiving Internet broadcasts, and may be provided through an IPTV broadcast channel allocated exclusively for the 'three-dimensional advertisement broadcast service' from the broadcast relay device 110 according to the present invention. Receives the three-dimensional commercial content is sent and the screen playback process. In addition, the Internet broadcast receiving apparatus 120 supports the ordering and payment of the advertisement goods online in cooperation with the product ordering server 130.

상품 주문 서버(130)는 접속된 인터넷 방송 수신 장치(120)와의 데이터 송수신을 통해 광고 상품에 대한 주문 및 결제를 처리한다. 도시하지는 않았으나, 일 예로 상품 주문 서버(130)는 광고 방송 가입자 등록 및 인증을 위한 가입자 등록/인증 모듈과, 광고서비스 별 방송 중계 그룹 정보, 과금 정보 등의 기록을 담은 가입자 데이터베이스, 그리고 상품 구매와 관련한 정보를 기록하기 위한 상품 주문 관리 모듈을 포함한다. 따라서 상품 주문 서버(130)에서 가입자 등록 및 인증 정 보를 관리할 경우에는, 광고 방송을 위한 IPTV 채널을 시청하기 위해 사전에 상품 주문 서버(130)에 접속하여 가입자 등록을 하여야 한다. 예를 들어, 가입자 등록은 통상의 온라인 회원 가입으로 이루어질 수 있다.The product order server 130 processes an order and a payment for an advertisement product through data transmission and reception with the connected Internet broadcast receiving apparatus 120. Although not shown, as an example, the product ordering server 130 may include a subscriber registration / authentication module for registering and authenticating a commercial subscriber, a subscriber database including records of broadcasting relay group information and billing information for each advertisement service, and purchase of a product. And a product order management module for recording related information. Therefore, in the case of managing the subscriber registration and authentication information in the product order server 130, in order to watch the IPTV channel for commercials to access the product order server 130 in advance to register the subscriber. For example, subscriber registration can be done through normal online membership.

한편, 상술한 삼차원 개인 광고 방송 서비스 제공 장치(100)에 대해 좀 더 살펴보면, 삼차원 개인 광고 방송 서비스 제공 장치(100)는 가상 현실 기법과 증강 현실(augmented reality, AR) 기법을 이용하여 삼차원 광고 방송 콘텐츠를 제작한다. 보다 구체적으로, 우선 블루스크린 배경에서 촬영된 광고 상품에 대한 카메라 영상에서 크로마키(chroma-key) 기법을 이용하여 배경을 제거하고, AR용 영상 패턴을 삽입한 후 가상 현실 기법을 이용하여 삼차원 가상 배경을 삽입한다. 여기서 광고방송호스트가 AR용 영상 패턴을 들고 광고 상품을 촬영한다면, AR용 영상 패턴 삽입 과정은 생략될 수 있다. 삼차원 가상 배경 영상을 삽입 후, AR용 영상 패턴에 가상의 삼차원 광고 객체를 매핑시킨 후, 이 영상 위에 광고에 이용될 자막을 덧씌워 개인용 삼차원 광고 방송 콘텐츠를 제작한다. 제작된 삼차원 광고 방송 콘텐츠는 미디어 인코더에 의해 인코딩된 후 미디어 스트리밍 서버에 의해 방송 중계 장치(110)로 전송된다.Meanwhile, referring to the apparatus for providing three-dimensional personal advertisement service 100 in detail, the apparatus for providing a three-dimensional personal advertisement service 100 may be a three-dimensional advertisement broadcast using a virtual reality technique and an augmented reality (AR) technique. Create content. More specifically, first, a background is removed from a camera image of an advertisement product photographed on a blue screen using a chroma-key technique, an image pattern for AR is inserted, and then a three-dimensional virtual image is executed using a virtual reality technique. Insert a background. Here, if the commercial host picks up an advertisement product with the AR image pattern, the AR image pattern insertion process may be omitted. After inserting the 3D virtual background image, the virtual 3D advertisement object is mapped to the AR image pattern, and then the personalized 3D commercial content is produced by overlaying a caption to be used for the advertisement on the image. The produced 3D commercial content is encoded by the media encoder and then transmitted to the broadcast relay device 110 by the media streaming server.

도 2는 본 발명에 따른 삼차원 개인 광고 방송 서비스 제공 장치의 블록도이다.2 is a block diagram of an apparatus for providing a three-dimensional personal advertisement service according to the present invention.

도시된 바와 같이, 삼차원 개인 광고 방송 서비스 제공 장치(100)는 영상 입력부(200), 콘텐츠 생성부(210), 및 영상 전송부(220)를 포함한다. 영상 입력 부(200)는 삼차원 광고 방송 콘텐츠를 생성하는 데 필요한 영상 데이터들을 입력받는다. 일 실시예에 있어서, 영상 입력부(200)는 블루스크린 배경에서 촬영된 카메라 영상, 삼차원 가상 배경 영상, 광고 물품의 삼차원 광고 객체 영상, 및 광고 물품을 소개하는 이차원 영상을 입력받는다. 여기서 광고 물품을 소개하는 이차원 영상은 정지 영상이거나 동영상일 수 있다.As shown in the drawing, the 3D personal advertisement service providing apparatus 100 includes an image input unit 200, a content generator 210, and an image transmitter 220. The image input unit 200 receives image data necessary for generating 3D commercial content. According to an embodiment, the image input unit 200 receives a camera image photographed on a blue screen background, a three-dimensional virtual background image, a three-dimensional advertisement object image of an advertisement article, and a two-dimensional image introducing the advertisement article. Here, the two-dimensional image introducing the advertisement item may be a still image or a video.

콘텐츠 생성부(210)는 영상 입력부(200)에 입력된 영상 데이터들을 가지고 삼차원 광고 방송 콘텐츠를 생성한다. 구체적으로 콘텐츠 생성부(210)는 영상 입력부(200)에 입력된 영상 데이터들을 가지고 가상 현실 기법과 증강 현실 기법을 이용하여 삼차원 광고 방송 콘텐츠를 생성한다. 이를 위해 콘텐츠 생성부(210)는 가상 현실부(211)와 증강 현실부(213)를 포함한다.The content generator 210 generates 3D commercial content using image data input to the image input unit 200. In detail, the content generator 210 generates the 3D commercial content using the virtual reality technique and the augmented reality technique with the image data input to the image input unit 200. To this end, the content generator 210 includes a virtual reality 211 and an augmented reality 213.

가상 현실부(211)는 영상 입력부(200)에 입력된 블루스크린 배경에서 촬영된 카메라 영상에서 배경을 제거한다. 일 실시예에 있어서, 크로마키잉(chroma-keying) 기법을 통해 카메라 영상에서 배경을 제거한다. 그리고 제거된 배경위치에 영상 입력부(200)에 입력된 삼차원 배경 영상을 가상 현실 기법을 이용하여 삽입하여 영상을 합성한다. 나아가 합성된 영상에 광고 물품을 소개하는 이차원 영상을 배치한다.The virtual reality unit 211 removes the background from the camera image photographed on the blue screen background input to the image input unit 200. In one embodiment, the background is removed from the camera image via chroma-keying techniques. The 3D background image inputted to the image input unit 200 at the removed background position is inserted using a virtual reality technique to synthesize the image. Furthermore, a two-dimensional image for introducing an advertisement article is placed on the synthesized image.

증강 현실부(213)는 영상 입력부(200)에 입력된 카메라 영상에서 증강 현실을 위한 영상 패턴을 인식한다. 전술하였듯이, 영상 패턴은 영상 입력부에 입력된 카메라 영상에 포함되어 있을 수 있고, 아니면 입력된 카메라 영상에 삽입될 수도 있다. 증강 현실부(213)는 인식된 영상 패턴 위치에 영상 입력부(200)에 입력된 삼차원 광고 객체 영상을 매핑한다. 바람직하게 증강 현실부(213)는 증강 현실부(213)는 광고될 물품의 삼차원 형상을 물품의 모든 시점에서 볼 수 있도록 삼차원 광고 객체 영상을 영상 패턴 위치에 매핑한다.The augmented reality unit 213 recognizes an image pattern for augmented reality from a camera image input to the image input unit 200. As described above, the image pattern may be included in the camera image input to the image input unit, or may be inserted in the input camera image. The augmented reality unit 213 maps the 3D advertisement object image input to the image input unit 200 to the recognized image pattern position. Preferably, the augmented reality unit 213 maps the three-dimensional advertisement object image to the image pattern position so that the three-dimensional shape of the article to be advertised can be viewed at all viewpoints of the article.

영상 전송부(220)는 콘텐츠 생성부(210)에 의해 생성된 삼차원 광고 방송 콘텐츠를 전용 할당된 IPTV 방송 채널을 통해 방송 중계 장치(110)로 스트리밍 전송한다. 일 실시예에 있어서, 영상 전송부(220)는 콘텐츠 생성부(210)에 의해 생성된 삼차원 광고 방송 콘텐츠에 부가하여 영상 입력부(200)에 입력된 삼차원 광고 객체 영상을 함께 인코딩 및 먹싱(muxing)하여 방송 중계 장치(110)로 전송한다. 이는 인터넷 방송 수신 장치(120)에서 사용자가 직접 광고 물품을 조정하여 볼 수 있도록 하기 위한 것으로, 후술하기로 한다.The image transmitter 220 streams and transmits the 3D commercial content generated by the content generator 210 to the broadcast relay device 110 through a dedicated IPTV broadcast channel. In one embodiment, the image transmitter 220 encodes and muxes the 3D advertisement object image input to the image input unit 200 in addition to the 3D commercial content generated by the content generator 210. To the broadcast relay device 110. This is for allowing the user to directly adjust and view the advertisement article in the Internet broadcast receiving apparatus 120, which will be described later.

본 발명의 추가적인 양상에 따라 개인 광고 방송 서비스 제공 장치(100)는 콘텐츠 편집부(230)를 더 포함한다. 콘텐츠 편집부(230)는 콘텐츠 생성부(210)에 의해 생성된 삼차원 광고 방송 콘텐츠를 구성하는 이차원 영상, AR 객체 등의 배치, 위치, 크기, 회전 조절 등을 지원하는 기능과 영상출력 미리 보기 기능을 제공한다. 바람직하게 콘텐츠 편집부(230)는 그래픽 유저 인터페이스(Graphic User Interface, GUI) 환경을 제공하여 영상 편집을 가능하게 한다. 콘텐츠 편집부(230)는 그 역할상 콘텐츠 생성부(210)와 영상 전송부(220) 사이에 위치하여 콘텐츠 생성부(210)에 의해 생성된 삼차원 광고 방송 콘텐츠를 최종 편집하여 영상 전송부(220)로 출력한다.According to an additional aspect of the present invention, the apparatus 100 for providing a personal advertisement service further includes a content editor 230. The content editing unit 230 provides a function for supporting the arrangement, position, size, and rotation of two-dimensional images, AR objects, and the like, which constitute the three-dimensional commercial content generated by the content generating unit 210, and the image output preview function. to provide. Preferably, the content editing unit 230 provides a graphical user interface (GUI) environment to enable image editing. The content editing unit 230 is located between the content generating unit 210 and the image transmitting unit 220 in its role, and finally edits the 3D commercial content generated by the content generating unit 210 to transmit the image to the image transmitting unit 220. Will output

본 발명의 추가적인 양상에 따라 개인 광고 방송 서비스 제공 장치(100)는 부가정보 입력부(240)를 더 포함한다. 부가정보 입력부(240)는 광고 자막을 입력받는다. 아니면 광고 물품에 대한 상세한 설명이 담긴 메타데이터를 입력받는다. 아니면 광고 자막 및 메타데이터를 모두 입력받는다. 부가정보 입력부(240)에 광고 자막이 입력되면, 콘텐츠 편집부(230)는 입력된 광고 자막을 콘텐츠 생성부(210)에 의해 생성된 삼차원 광고 방송 콘텐츠 내에 추가로 삽입 배치한다. 그리고 부가정보 입력부(240)에 광고 물품에 대한 상세한 설명이 담긴 메타데이터가 입력되면, 영상 전송부(220)는 콘텐츠 생성부(210)에 의해 생성된 삼차원 광고 방송 콘텐츠와 영상 입력부(200)에 입력된 삼차원 광고 객체 영상에 추가하여 부가정보 입력부(240)에 입력된 메타데이터를 인코딩 및 먹싱한 후 방송 중계 장치(110)로 전송한다.According to a further aspect of the present invention, the apparatus 100 for providing a personal advertisement service further includes an additional information input unit 240. The additional information input unit 240 receives an advertisement subtitle. Otherwise, metadata is entered that contains a detailed description of the advertisement. Otherwise, it receives both ad captions and metadata. When an advertisement subtitle is input to the additional information input unit 240, the content editing unit 230 additionally inserts the input advertisement subtitle into the 3D commercial content generated by the content generation unit 210. When the metadata containing the detailed description of the advertisement item is input to the additional information input unit 240, the image transmitting unit 220 may be input to the 3D commercial content generated by the content generating unit 210 and the image input unit 200. In addition to the input 3D advertisement object image, the metadata inputted to the additional information input unit 240 is encoded and mixed, and then transmitted to the broadcast relay device 110.

도 3은 본 발명에 따른 개인 광고 방송 서비스 제공 장치에서 수행되는 삼차원 광고 방송 콘텐츠 제작 및 전송 흐름도이다.3 is a flowchart of 3D commercial content production and transmission performed in an apparatus for providing a personal commercial service according to the present invention.

우선 외부 영상 데이터들을 입력받는다(단계 S300). 입력되는 영상 데이터들은 블루스크린 배경에서 촬영된 카메라 영상과 삼차원 가상 배경 영상과 광고 물품에 대한 삼차원 광고 객체 영상과 광고 물품을 소개하는 이차원 영상을 포함한다. 여기서 카메라 영상은 블루스크린 배경에서 광고방송호스트가 삼차원 광고 객체 위치를 나타내는 AR용 영상 패턴을 들고 촬영된 영상인 것이 바람직하다. 따라서 카메라 영상에는 AR용 영상 패턴이 반영되어 있다.First, external image data is input (step S300). The input image data includes a camera image photographed on a blue screen background, a three-dimensional virtual background image, a three-dimensional advertisement object image about an advertisement article, and a two-dimensional image introducing an advertisement article. In this case, it is preferable that the camera image is an image captured by a commercial host carrying an AR image pattern indicating a three-dimensional advertisement object position on a blue screen background. Therefore, the AR image pattern is reflected in the camera image.

입력된 카메라 영상에서 크로마키 기법을 이용하여 배경을 제거한다(단계 S310). 배경 제거 후, 입력된 가상 삼차원 배경 영상을 단계 S310에 의해 제거된 배경 위치에 가상 현실 기법을 이용하여 삽입한다(단계 S320). 그 다음 입력된 카메라 영상에서 AR용 영상 패턴을 인식한다(단계 S330). 그리고 인식된 AR용 영상 패턴 위치에 삼차원 광고 객체 영상을 합성한다(단계 S340). 추가로 광고 자막을 입력받아 합성한다(단계 S350). 이 같은 과정에 의해 삼차원 광고 방송 콘텐츠가 생성된다.The background is removed from the input camera image using a chroma key technique (step S310). After removing the background, the input virtual three-dimensional background image is inserted into the background position removed by step S310 using the virtual reality technique (step S320). Next, the AR image pattern is recognized from the input camera image (step S330). Then, the 3D advertisement object image is synthesized at the recognized AR image pattern position (step S340). In addition, an advertisement subtitle is input and synthesized (step S350). By this process, three-dimensional commercial content is generated.

삼차원 광고 방송 콘텐츠가 생성되면, 생성된 삼차원 광고 방송 콘텐츠와 단계 S300에서 입력된 삼차원 광고 객체 영상과 메타데이터를 함께 인코딩 및 먹싱한 후 전용 할당된 IPTV 방송 채널을 통해 스트리밍 전송한다(단계 S360). 여기서 메타데이터는 광고 물품에 대한 상세 설명이 담긴 데이터로써, 단계 S360 이전에 콘텐츠 제작자로부터 입력받는다.When the 3D commercial content is generated, the generated 3D commercial content and the 3D commercial object image and the metadata input in step S300 are encoded and mixed together, and then streamed through a dedicated allocated IPTV broadcast channel (step S360). Here, the metadata is data containing a detailed description of the advertisement item, and is input from the content producer before step S360.

도 4는 본 발명에 따른 인터넷 방송 수신 장치의 블록도이다.4 is a block diagram of an Internet broadcast receiving apparatus according to the present invention.

도시된 바와 같이, 인터넷 방송 수신 장치(120)는 방송 수신부(400) 및 삼차원 광고 방송 서비스 모듈(410)을 포함한다. 그리고 삼차원 광고 방송 서비스 모듈(410)은 광고 동영상 처리부(411), 광고 객체 처리부(412), 메타데이터 처리부(413), 광고 객체 조정부(414), 및 온라인 주문 결제부(415)를 포함한다. 방송 수신부(400)는 본 발명에 따른 삼차원 광고 방송 서비스를 위해 전용 할당된 IPTV 방송 채널을 통해 광고 방송 데이터를 수신하여 인코딩 해제 및 디먹싱(demuxing)을 수행한다. 디먹싱에 의해 광고 방송 데이터는 삼차원 광고 방송 콘텐츠와 삼차원 광고 객체 영상과 메타데이터로 나뉘어 출력된다.As shown, the Internet broadcast receiving apparatus 120 includes a broadcast receiving unit 400 and a 3D advertising service module 410. The 3D commercial service module 410 includes an advertisement video processor 411, an advertisement object processor 412, a metadata processor 413, an advertisement object controller 414, and an online order payment unit 415. The broadcast receiving unit 400 receives the commercial data through an IPTV broadcast channel dedicated for the 3D commercial service according to the present invention and performs encoding de-coding and demuxing. By demuxing, commercial data is divided into three-dimensional commercial content, three-dimensional commercial object image, and metadata.

광고 동영상 처리부(411)는 방송 수신부(400)로부터 출력된 삼차원 광고 방송 콘텐츠를 화면 일부 영역에 디스플레이한다. 광고 객체 처리부(412)는 방송 수신부(400)로부터 출력된 삼차원 광고 객체 영상을 화면 일부 영역에 디스플레이한다. 그리고 메타데이터 처리부(413)는 방송 수신부(400)로부터 출력된 메타데이터에 담긴 광고 물품에 대한 상세 설명 텍스트를 추출하여 화면 일부에 디스플레이 처리한다. 바람직하게 삼차원 광고 방송 콘텐츠용 화면 영역과 삼차원 광고 객체 영상용 화면 영역과 메타데이터용 화면 영역은 상호 중첩되지 않는다.The advertisement video processor 411 displays the 3D commercial content output from the broadcast receiver 400 on a partial region of the screen. The advertisement object processor 412 displays the 3D advertisement object image output from the broadcast receiver 400 on a partial region of the screen. The metadata processing unit 413 extracts the detailed description text of the advertisement article contained in the metadata output from the broadcast receiving unit 400 and displays it on a part of the screen. Preferably, the screen area for 3D commercial content, the screen area for 3D advertising object image, and the screen area for metadata do not overlap each other.

광고 객체 조정부(414)는 광고 객체 처리부(412)에 의해 화면 일부 영역에 디스플레이된 삼차원 광고 객체 영상을 그 영역 내에서의 배치 위치나 크기 조절, 혹은 회전시킨다. 바람직하게 광고 객체 조정부(414)는 삼차원 광고 객체 영상이 디스플레이되는 영역 내에 시청자의 조절 명령을 수신할 수 있는 인터페이스 화면을 구현시켜, 그 인터페이스 화면으로부터 수신되는 시청자 명령에 따라 삼차원 광고 객체 영상의 디스플레이 위치나 크기를 조절하거나 회전시킨다.The advertisement object adjusting unit 414 adjusts the arrangement position, size, or rotation of the 3D advertisement object image displayed on the partial screen area by the advertisement object processing unit 412. Preferably, the advertisement object adjusting unit 414 implements an interface screen that can receive a viewer's control command in an area where the 3D advertisement object image is displayed, and displays the display position of the 3D advertisement object image according to the viewer command received from the interface screen. I resize or rotate it.

온라인 주문 결제부(415)는 시청자의 리모콘 조작 등에 의해 요청에 따라 화면에 디스플레이되는 광고 물품에 대해 온라인 주문 및 결제를 할 수 있게 한다. 이를 위해 온라인 주문 결제부(415)는 외부의 상품 주문 서버(130)와 연동하여 동작하는 기능을 제공한다. 이 같은 온라인 주문 및 결제 방식 자체는 널리 알려져 있으므로 상세한 The online order payment unit 415 enables online ordering and payment for advertisement items displayed on the screen as requested by the viewer's remote control operation. To this end, the online order payment unit 415 provides a function to operate in conjunction with the external product order server 130. This online ordering and payment method itself is well known and therefore detailed

추가로, 본 발명의 인터넷 방송 수신 장치(120)는 영상통화 연결부(416)를 더 포함한다. 영상통화 연결부(416)는 시청자 요청에 따라 시청자와 텔레마케터가 영상통화를 할 수 있도록 통화 연결하는 구성으로, SIP(Session Initiation Protocol)을 이용하여 영상통화 연결을 수행한다.In addition, the Internet broadcast receiving apparatus 120 of the present invention further includes a video call connection unit 416. The video call connection unit 416 is configured to connect a call so that viewers and telemarketers can make a video call according to a viewer's request. The video call connection unit 416 performs a video call connection using a Session Initiation Protocol (SIP).

도 5는 인터넷 방송 수신 장치에서의 그래픽 유저 인터페이스 환경 예시도이다.5 is an exemplary diagram of a graphical user interface environment in an internet broadcast receiving apparatus.

삼차원 광고 방송 콘텐츠가 디스플레이되는 동영상 뷰어(500), 삼차원 광고 객체 영상이 디스플레이되는 삼차원 객체 뷰어(510), 메타데이터에 담긴 광고 물품에 대한 상세 설명이 디스플레이되는 메타데이터 광고부(520), 광고 물품을 온라인 주문 결제하기 위한 주문/결제부(530), 및 텔레마케터와 영상통화를 연결해 주는 영상전화(540)가 각각의 화면 영역에 배치되어 있음을 확인할 수 있다. 그리고 삼차원 객체 뷰어(510) 내에는 시청자로 하여금 삼차원 객체를 컨트롤할 수 있게 하는 조정 수신부(511)가 배치되어 있다.The video viewer 500 displaying the 3D commercial content, the 3D object viewer 510 displaying the 3D advertising object image, the metadata advertising unit 520 displaying a detailed description of the advertising item contained in the metadata, the advertising item It can be seen that the order / payment unit 530 for the online order payment, and the video phone 540 for connecting the video call with the telemarketer is disposed in each screen area. In the three-dimensional object viewer 510, an adjustment receiver 511 is arranged to allow a viewer to control the three-dimensional object.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.So far I looked at the center of the preferred embodiment for the present invention. Those skilled in the art will appreciate that the present invention can be implemented in a modified form without departing from the essential features of the present invention. Therefore, the disclosed embodiments should be considered in descriptive sense only and not for purposes of limitation. The scope of the present invention is shown in the claims rather than the foregoing description, and all differences within the scope will be construed as being included in the present invention.

도 1은 본 발명에 따른 삼차원 광고 방송 콘텐츠를 서비스하기 위한 전체 시스템 구성도.1 is an overall system configuration for servicing three-dimensional commercial content in accordance with the present invention.

도 2는 본 발명에 따른 삼차원 개인 광고 방송 서비스 제공 장치의 블록도.Figure 2 is a block diagram of a three-dimensional personal advertising service providing apparatus according to the present invention.

도 3은 본 발명에 따른 개인 광고 방송 서비스 제공 장치에서 수행되는 삼차원 광고 방송 콘텐츠 제작 및 전송 흐름도.Figure 3 is a flow diagram of the production and transmission of three-dimensional advertising content performed in the personal advertisement service providing apparatus according to the present invention.

도 4는 본 발명에 따른 인터넷 방송 수신 장치의 블록도.4 is a block diagram of an Internet broadcast receiving apparatus according to the present invention.

도 5는 인터넷 방송 수신 장치에서의 그래픽 유저 인터페이스 환경 예시도.5 is a diagram illustrating a graphical user interface environment in an internet broadcast receiving apparatus.

Claims

delete

An image input unit for receiving a camera image photographed on a blue screen background, a three-dimensional virtual background image, a three-dimensional advertisement object image of an advertisement article, and a two-dimensional image introducing the advertisement article;

A content generator configured to generate three-dimensional commercial content using the input images using a virtual reality technique and an augmented reality technique; And

An image transmitter for streaming the 3D commercial content generated by the content generator through an Internet Protocol Television broadcast channel allocated exclusively;

Device for providing a three-dimensional personal commercial service, characterized in that it comprises a.

The method of claim 2, wherein the content generation unit:

The background is removed from the input camera image by a chroma key technique, and the input 3D virtual background image is inserted into the removed background position by using a virtual reality technique, and the 3D virtual background image is synthesized on the synthesized image. A virtual reality unit for arranging a two-dimensional image for introducing the inputted advertisement article; And

Recognizing an image pattern for augmented reality from the input camera image and mapping the input three-dimensional advertisement object image to the recognized pattern position so that the shape of the three-dimensional advertisement object can be confirmed at all time points of the advertisement article. Augmented reality;

The method of claim 3,

And the image transmitting unit muxes and transmits the generated three-dimensional advertisement content and a three-dimensional advertisement object image of the input advertisement item.

The method of claim 3,

At least one function of arrangement position change, size adjustment, and rotation for at least one of a three-dimensional advertisement object image of the advertisement article included in the three-dimensional advertisement content generated by the content generation unit and a two-dimensional image introducing the advertisement article. Content editing unit to provide;

3D personal commercial service providing device further comprising a.

The method of claim 3,

Further information input unit for receiving a metadata containing a detailed description of the advertising article;

And the image transmitting unit muxes and transmits the generated three-dimensional advertisement content, a three-dimensional advertisement object image of the input advertisement article, and the input metadata.

The method of claim 5,

Further information input unit for receiving the ad caption; further includes,

And the content editing unit additionally arranges the input advertisement subtitle on the three-dimensional commercial content to be generated.

A broadcast receiver configured to receive and demux commercial data through an Internet Protocol Television broadcast channel;

An advertisement video processor to display the 3D commercial content demuxed and output by the broadcast receiver on a part of a screen;

An advertisement object processing unit which displays a three-dimensional advertisement object image demuxed and output by the broadcast receiving unit on a part of the screen so as not to overlap with the three-dimensional advertisement broadcasting content;

A metadata processor configured to display detailed description text of the advertisement item contained in the metadata demuxed and output by the broadcast receiver on a part of the screen without overlapping the three-dimensional advertisement content and the three-dimensional advertisement object image;

An advertisement object controller for adjusting a placement position or size of a 3D advertisement object image displayed on a part of a screen by the advertisement object processor according to a user command; And

An online order payment unit that supports online ordering and payment for the advertising items displayed on the screen;

Internet broadcast receiving device comprising a.

The method of claim 8,

A video call connection unit for connecting a video call with a telemarketer for an advertisement item displayed on a screen according to a user request;

Internet broadcast receiving device further comprises.

An image is removed from a camera image photographed on a blue screen background using a chroma key technique, a 3D virtual background image is inserted into the removed background using a virtual reality technique, and the 3D virtual background image is inserted. Arranging a two-dimensional image for introducing an advertisement article in the image, recognizing an image pattern in the camera image, and mapping a three-dimensional advertisement object image of the advertisement article to a recognized image pattern position to generate three-dimensional advertisement content;

Receiving metadata containing a detailed description of the advertisement product; And

Muxing the generated three-dimensional advertisement content, the three-dimensional advertisement object image of the advertisement article, and the input metadata and streaming the same through an Internet Protocol Television broadcast channel allocated exclusively;

3D personal advertisement service providing method comprising a.