KR20120131425A - 양방향 광고 생성 장치 및 양방향 광고 생성 방법 - Google Patents

양방향 광고 생성 장치 및 양방향 광고 생성 방법 Download PDF

Info

Publication number
KR20120131425A
KR20120131425A KR1020110049581A KR20110049581A KR20120131425A KR 20120131425 A KR20120131425 A KR 20120131425A KR 1020110049581 A KR1020110049581 A KR 1020110049581A KR 20110049581 A KR20110049581 A KR 20110049581A KR 20120131425 A KR20120131425 A KR 20120131425A
Authority
KR
South Korea
Prior art keywords
unit
generating
shot
advertisement
trigger
Prior art date
Application number
KR1020110049581A
Other languages
English (en)
Other versions
KR101299198B1 (ko
Inventor
최윤철
박태진
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020110049581A priority Critical patent/KR101299198B1/ko
Publication of KR20120131425A publication Critical patent/KR20120131425A/ko
Application granted granted Critical
Publication of KR101299198B1 publication Critical patent/KR101299198B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q30/00—Commerce
    • G06Q30/06—Buying, selling or leasing transactions
    • G06Q30/0601—Electronic shopping [e-shopping]
    • G06Q30/0641—Shopping interfaces
    • G06Q30/0643—Graphical representation of items or shoppers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Landscapes

  • Business, Economics & Management (AREA)
  • Engineering & Computer Science (AREA)
  • Marketing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Accounting & Taxation (AREA)
  • Finance (AREA)
  • Signal Processing (AREA)
  • Development Economics (AREA)
  • Economics (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

본 발명은 양방향 광고 생성 장치 및 양방향 광고 생성 방법에 관한 것으로서, 방송 프로그램에 양방향 광고를 삽입하는데 있어서의 편리성을 향상시키면서도 고품질의 양방향 광고를 방송 프로그램에 삽입할 수 있는, 양방향 광고 생성 장치 및 양방향 광고 생성 방법에 관한 것이다. 이러한 본 발명에 다른 양방향 광고 생성 방법은, 방송 프로그램의 영상에 삽입되는 양방향 광고를 생성하는 방법에 있어서, (a) 영상을 다수의 인접 프레임으로 구성된 다수의 단위 샷으로 분할하는 단계; (b) 유사한 단위 샷들을 샷 그룹으로 그룹화하는 단계; (c) 각 샷 그룹의 기준 프레임에 대한 스케치 입력을 이용하여 트리거 영역을 생성하는 단계; (d) 각 샷 그룹 내에서 트리거 영역을 추적하여 업데이트하는 단계; (e) 업데이트된 트리거 영역에 대한 평가를 수행하는 단계; 및 (f) 평가가 수행된 트리거 영역의 정보를 수집하여 양방향 광고를 생성하는 단계; 를 포함한다.

Description

양방향 광고 생성 장치 및 양방향 광고 생성 방법{INTERACTIVE ADVERTISEMENT AUTHORING DEVICE AND INTERACTIVE ADVERTISEMENT AUTHORING METHOD}
본 발명은 양방향 광고 생성 장치 및 양방향 광고 생성 방법에 관한 것으로서, 방송 프로그램에 양방향 광고를 삽입하는데 있어서의 편리성을 향상시키면서도 고품질의 양방향 광고를 방송 프로그램에 삽입할 수 있는, 양방향 광고 생성 장치 및 양방향 광고 생성 방법에 관한 것이다.
인터넷 프로토콜 텔레비전(IPTV)과 디지털 멀티미디어 방송(DMB) 장치는 방송과 통신이 결합된 대표 제품이다. 과거 방송 시스템은 시청자에게 방송 내용을 보는 것만을 허용하였지만, 최근에는 상기 IPTV와 DMB 장치와 함께 시청자에게 TV 방송국과 직접 통신하고 참여할 수 있도록 허용하는 양방향 방송 시대가 시작되었다.
양방향 방송에 적용되는 광고의 유형으로서 시청자들이 팜플렛, 카탈로그, 샘플 상품, 쿠폰 및 현재 판매 중인 상품에 대한 추가 정보를 포함하는 프로그램 콘텐츠와 상호 작용할 수 있도록 하는 양방향 광고가 있다.
이와 같은 양방향 광고를 생성하는데 있어서, 광고 객체가 다른 객체에 의해 숨겨지고 가려지거나, 매우 작거나, 다른 객체와 유사한 색상을 가지거나, 캡션(caption) 객체이거나, 배경 객체인 경우에는 광고 객체를 자동적인 방법에 의해 추출하기 어려운 문제점이 있으며, 잦은 화면 변경이나 잦은 조명 변경이 있는 경우에는 복잡한 이미지 처리 알고리즘을 적용해야만 하는 문제점이 있다.
본 발명은 상기와 같은 종래의 문제점을 해결하기 위한 것으로서, 본 발명의 목적은 방송 프로그램에 양방향 광고를 삽입하는데 있어서의 편리성을 향상시키면서도 고품질의 양방향 광고를 방송 프로그램에 삽입할 수 있는, 양방향 광고 생성 장치 및 양방향 광고 생성 방법을 제공하는 것이다.
상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 양방향 광고 생성 장치는, 영상을 다수의 인접 프레임으로 구성된 다수의 단위 샷으로 분할한 후에 유사한 단위 샷들을 샷 그룹으로 그룹화하는 전처리부; 각 샷 그룹의 기준 프레임에 대한 스케치 입력을 이용하여 트리거 영역을 생성한 후에 각 샷 그룹 내에서 트리거 영역을 추적하여 업데이트하고 평가하는 저작부; 및 평가가 수행된 트리거 영역의 정보를 수집하여 양방향 광고를 생성하는 변환부; 를 포함하는 것을 특징으로 한다.
상기와 같은 목적을 달성하기 위한 본 발명의 바람직한 실시예에 따른 양방향 광고 생성 방법은, 방송 프로그램의 영상에 삽입되는 양방향 광고를 생성하는 방법에 있어서, (a) 영상을 다수의 인접 프레임으로 구성된 다수의 단위 샷으로 분할하는 단계; (b) 유사한 단위 샷들을 샷 그룹으로 그룹화하는 단계; (c) 각 샷 그룹의 기준 프레임에 대한 스케치 입력을 이용하여 트리거 영역을 생성하는 단계; (d) 각 샷 그룹 내에서 트리거 영역을 추적하여 업데이트하는 단계; (e) 업데이트된 트리거 영역에 대한 평가를 수행하는 단계; 및 (f) 평가가 수행된 트리거 영역의 정보를 수집하여 양방향 광고를 생성하는 단계; 를 포함하는 것을 특징으로 한다.
상기와 같은 구성 및 방법을 가지는 본 발명은 방송 프로그램에 양방향 광고를 삽입하는데 있어서의 편리성을 향상시킴과 동시에, 고품질의 양방향 광고를 방송 프로그램에 삽입할 수 있는 효과가 있다.
도 1은 본 발명의 바람직한 실시예에 따른 양방향 광고 생성 장치의 블록도.
도 2는 전처리 작업과 트리거 생성의 예를 보여주는 도면.
도 3은 자유 형상 스케치의 예를 보여주는 도면으로서, 도 3a는 프레임들의 집합으로 구성된 단위 샷을 보여주고, 도 3b는 유사한 단위 샷들로 구성된 샷 스레드를 보여주고, 도 3c는 저작자가 키 프레임 상에 트리거 영역을 스케치한 예를 보여주는 도면.
도 4는 트리거 영역 업데이트의 예를 보여주는 도면으로서, 도 4a는 키 프레임 이미지의 예를 보여주고, 도 4b는 저작자가 키 프레임 상에 스케치한 스케치 입력의 예를 보여주고, 도 4c는 스케치 입력에 폴리라인 단순화 방법을 적용한 예를 보여주고, 도 4d는 경계 상자를 이용해 추적하는 예를 보여주고, 도 4e는 움직임을 모니터링하는 예를 보여주고, 도 4f는 추가된 스케치 선을 이용하여 트리거 영역을 업데이트하는 예를 보여주는 도면.
도 5는 샷 스레드에서 트리거 영역을 추적하는 예를 보여주는 도면으로서, 도 5a는 키 프레임에서의 경계 상자를 보여주고, 도 5b는 경계 상자의 움직임과 크기 변화를 보여주고, 도 5c는 경계 상자의 회전을 보여주는 도면.
도 6은 트리거 영역을 생성하고 업데이트하기 위한 사용자 인터페이스의 예를 나타낸 도면.
도 7은 평가 함수를 적용한 결과를 저작자에게 피드백해주는 사용자 인터페이스의 예를 나타낸 도면.
도 8은 본 발명의 바람직한 실시예에 따른 양방향 광고 생성 방법을 수행하기 위한 다수의 단계들을 나타낸 순서도.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예에 따른 양방향 광고 생성 장치 및 양방향 광고 생성 방법에 대하여 설명하면 다음과 같다.
먼저, 도 1 내지 도 8을 참조하여 본 발명의 바람직한 실시예에 따른 양방향 광고 생성 장치에 대하여 설명하면 다음과 같다.
도 1에 도시한 바와 같이 본 발명의 바람직한 실시예에 따른 방송 프로그램의 영상에 삽입되는 양방향 광고를 생성하는 장치는, 영상을 다수의 인접 프레임(frame)으로 구성된 다수의 단위 샷(unit shot)으로 분할한 후에 유사한 단위 샷들을 샷 스레드(shot thread)로 그룹화하는 전처리부(101); 각 샷 스레드의 키 프레임(key frame)에 대한 스케치 입력을 이용하여 트리거(trigger) 영역을 생성한 후에 각 샷 스레드 내에서 트리거 영역을 추적하여 업데이트하고 평가하는 저작부(102); 및 평가가 수행된 트리거 영역의 정보를 수집하여 양방향 광고를 생성하는 변환부(103); 를 포함한다.
이와 같은 구성을 가지는 본 발명의 바람직한 실시예에 따른 양방향 광고 생성 장치의 각 구성요소에 대하여 설명하면 다음과 같다.
도 1을 참조하면, 상기 전처리부(101)는 하나의 방송 프로그램의 영상에 있어서 장면(scene)이 변하는 지점에서 하드 컷(hard cut)과 점진적 컷(gradual cut)을 감지하여 다수의 인접 프레임으로 구성되는 단위 샷으로 분할하고, 각 단위 샷의 첫 번째 프레임을 기준 프레임, 즉 키 프레임으로 설정한 후에, 유사한 단위 샷들을 모아서 샷 스레드로 그룹화한다. 아래 수학식 1은 방송 프로그램 영상(
Figure pat00001
)의 정의이며, 아래 수학식 2는 샷 스레드(
Figure pat00002
)의 정의이고, 아래 알고리즘 1은 샷 스레드를 생성하기 위한 알고리즘이다.
[ 수학식 1]
Figure pat00003
[ 수학식 2]
Figure pat00004
[알고리즘 1]
1. 단위 샷의 첫 번째 프레임 이미지를 로딩
2. 단위 샷의 첫 번째 프레임 이지미를 푸리에 변환하여 시그너처(signature)을 생성
3. 전체 단위 샷들에 대하여 상기 1, 2번 단계를 반복
4. 순차적인 순서로 두 개의 시그너처를 선택
5. 선택한 두 개의 시그너처 사이의 유클리드(euclidean) 거리를 계산하여 거리값을 생성
6. 생성한 거리값들 중에 장거리 값을 필터링하거나 임계값보다 가까운 거리값을 찾음.
7. 가까운 거리값을 가지는 단위 샷을 새로운 샷 스레드로서 그룹화
도 1을 참조하면, 상기 저작부(102)는 각 샷 스레드의 키 프레임에 대한 사용자의 스케치 입력을 이용하여 트리거 영역을 생성한 후에, 각 샷 스레드 내에서 트리거 영역을 추적하여 업데이트하고 평가한다. 여기서, 상기 스케치 입력은 사용자가 사용자 인터페이스를 통해 키 프레임의 광고 객체 상에 자유 형상(freeform) 스케치를 하여 입력된 것이다.
상기 저작부(102)는 상기 트리거 영역을 "ads_ID", "seq", "t_Value", s_Value를 포함하는 트리거 집합으로 나타낼 수 있으며, 상기 "ads_ID"는 타겟 광고 객체의 고유 번호이고, "seq"는 스레드화된 트리거 영역들의 순차 번호이며, "t_Value"는 트리거 등장의 시간 이벤트로 구성된 현재 정보를 나타내고, "s_Value"는 폴리라인(poly-line)들의 목록으로 구성된 공간 정보를 나타낸다. 동일한 광고 객체는 동일한 트리거 영역에 의해 표현된다. 예를 들어, 사용자(즉, 저작자)가 동일한 색상을 가지고 서로 떨어져 있는 두 개의 다른 스케치 입력을 입력한 경우에 상기 저작부는 두 개의 스케치 입력을 동일한 것으로 간주하고 동일한 ads_ID를 부여한다.
도 2a에는 촬영 스튜디오에서 주인공의 얼굴이 다른 각도 및 다른 줌을 가지는 카메라로 기록하는 모습의 예를 도시하였고, 도 2b에는 TV 방송국의 편집 과정 동안 하나의 카메라 샷(camera shot)은 소정 조건(예 : 말하는 사람)에 중점을 두고 다수의 부분으로 분할한 모습의 예를 도시하였으며, 도 2c에는 유사한 단위 샷들을 수집하여 샷 스레드로 그룹화한 모습의 예를 도시하였고, 도 2d에는 시 프레임 상에서의 스케치 입력을 통해 해당 키 프레임부터 다음 키 프레임 전까지의 트리거 영역을 생성하는 모습의 예를 도시하였다.
그리고, 도 3a에는 방송 프로그램 영상을 인접한 프레임들의 집합으로 구성된 단위 샷으로 분할한 예를 도시하였고, 도 3b에는 유사한 단위 샷들로 구성된 샷 스레드로 그룹화한 예를 도시하였으며, 도 3c에는 키 프레임 상에서의 스케치 입력을 통해 트리거 영역을 형성한 예를 도시하였다.
상기 저작부(102)는 상기와 같이 키 프레임 상에서의 스케치 입력을 통해 트리거 영역을 생성한 후에, 생성한 트리거 영역을 단순화한 후에 트리거 영역을 포함하는 경계상자(bounding box)를 생성하고 생성한 경계상자를 이용하여 트리거 영역을 업데이트 한다. 여기서, 상기 경계상자의 색상 히스토그램 정보는 추적 알고리즘에 제공된다. 그리고, 사용자가 상기 트리거 영역의 형태를 변경하기를 원하는 경우에 사용자가 트리거 영역의 형태를 변경하면 상기 저작부(102)는 경계상자를 다시 계산한다.
도 4에는 트리거 업데이트의 예를 나타내었으며, 구체적으로 도 4a는 키 프레임 이미지의 예를 보여주고, 도 4b는 사용자가 키 프레임 상에 스케치한 스케치 입력의 예를 보여주고, 도 4c는 스케치 입력에 폴리라인 단순화 방법을 적용한 예를 보여주고, 도 4d는 경계 상자를 이용해 추적하는 예를 보여주고, 도 4e는 움직임을 모니터링하는 예를 보여주고, 도 4f는 추가된 스케치 선을 이용하여 트리거 영역을 업데이터하는 예를 보여준다.
도 4a와 같은 스케치 입력에 폴리라인 단순화 방법을 적용하는 것은, 실수로 인한 손떨림이나 노이즈에 의한 스케치 입력의 불필요한 세부 형상을 제거하기 위한 것이며, 트리거 영역은 보이지 않고 단지 클릭을 위한 영역이므로 세밀하게 표현할 필요가 없어 세밀한 형상을 단순하게 변경하기 위한 것이다. 이때, 하나의 폴리라인을 생성하기 위한 점(point)의 최대치가 제한되어 있어 최대치를 초과하지 않으며, 사용자는 단순화의 레벨 변경을 위해 상기 최대치를 수정할 수 있다.
상기 트리거 영역의 경계상자는 움직임을 추적하기 위해 도 4d의 타겟 영역처럼 디자인된다. 본 발명에 따른 양방향 광고 생성 장치에 대하여 설명함에 있어서, 디자인된 타겟 영역의 움직임을 추적하기 위해서 Camshift 알고리즘을 이용하는 것을 그 예로 하였지만 본 발명이 이에 한정되는 것은 아니며, 디자인된 타겟 영역의 움직임을 추적할 수 있는 알고리즘이라면 어느 것이든 적용이 가능하다.
상기 저작부(102)는 트리거 업데이터 작업을 샷 스레드의 범위 내에서 수행하며, 샷 스레드 내에서 각 프레임 이미지는 추적될 타겟 영역의 히스토그램에 대한 확률 분포 이미지로 변환되며, cvCamShift() 함수는 디자인된 경계 상자에 관련된 세 개의 값(이동된 위치 값, 변경된 크기 값, 회전 값)을 리턴한다.
도 5에는 샷 스레드에서 트리거 영역을 추적하는 예를 나타내었으며, 위에는 프레임 이미지와 트리거 영역을 보여주고 아래에는 cvCamShift() 함수로부터 리턴된 경계상자를 보여주며, 더욱 상세히 도 5a는 키 프레임에서의 경계 상자를 보여주고, 도 5b는 경계 상자의 움직임과 크기 변화를 보여주고, 도 5c는 경계 상자의 움직임과 회전을 보여준다.
상기 저작부(102)는 경계상자의 움직임을 감지한 경우에 트리거 영역과 TV 프로그램 영상을 매칭시키기 위하여 트리거 영역의 위치를 경계 상자 변경 위치로 업데이트한다.
그리고, 상기 저작부(102)는 경계상자의 크기 변경을 감지한 경우에 경계상자의 크기를 확장하거나 축소한 후에 다각형의 모든 점(point)에 대하여 x축과 y축의 변환 알고리즘을 수행하여 트리거 영역의 형태를 수정하며, 다각형의 가장 자리 사이에 충돌이 발생하는 경우에 폴리라인 단순화 방법을 적용하여 충돌을 피한다.
그리고, 상기 저작부(102)는 경계상자의 회전을 감지한 경우에 도 5c와 같이 트리거 영역을 다시 스케치할 것인지 질문하는 메시지를 사용자에게 보여준 후에 사용자가 다시 스케치하겠다고 선택하면 스케치 입력을 다시 받아 업데이트한다.
도 6에는 트리거 영역을 생성하고 업데이트하기 위한 사용자 인터페이스의 예를 나타내었다.
도 6을 참조하면, 전처리에 의한 샷 스레드 생성 결과는 왼쪽 정보 창의 트리를 통해 확인할 수 있다. 사용자는 타겟 광고 객체가 상기 트리에 존재하는지 확인할 수 있으며, 사용자가 타겟 광고 객체를 찾은 경우에 자유 형상 스케치 버튼을 누른 후에 자유로운 형식의 스케치를 시작할 수 있다. 사용자의 선그리기 작업이 끝나면 저작부는 트리거 영역을 묘사하기 위한 단순화된 다각형을 만들고, 추적 작업을 위한 경계박스는 자동으로 만들어진다. 도 6에서 붉은색 선은 사용자가 스케치한 획이며, 흰색 선은 트리거 영역이고, 하늘색 점선은 추적 작업을 위한 경계상자이며, 오른쪽 아래의 시간 막대(time bar)는 각 광고 객체가 나타나는 시점을 나타낸다.
상기 저작부(102)는 상술한 바와 같은 트리거 영역 업데이트를 완료한 후에, 트리거 영역에 대한 평가를 수행하여 누락 샷과 오류 샷을 검색한다. 누락 샷은 자유 형상 스케치 작업 중에 트리거를 누락한 곳에서의 단위 샷들의 집합이며, 오류 샷은 부적절하거나 잘못 포함된 어떤 트리거를 포함하는 단위 샷의 집합이다.
상기 저작부(102)는 동일한 샷 스레드에서의 단위 샷들이 그들의 데이터 구조에서 동일한 광고 객체를 가지는지에 대하여 확인하는 첫 번째 평가를 수행하며, 상기 첫번째 검사에서는 동일한 샷 스레드(
Figure pat00005
) 내에서 두 개의 단위 샷(
Figure pat00006
)을 랜덤으로 선택하며, 선택한 두 개의 단위 샷(
Figure pat00007
)이 동일한 "ads_ID"를 가지는지 체크한다. 이와 같은 첫 번째 평가를 식으로 나타내면 아래 수학식 3과 같다.
[ 수학식 3]
Figure pat00008
상기 수학식 3에서
Figure pat00009
,
Figure pat00010
는 동일한 샷 스레드(
Figure pat00011
)에서의 단위 샷들이고,
Figure pat00012
은 사용자가 지정한 광고 객체이며,
Figure pat00013
함수는 지정된 단위 샷에서의 광고 객체의 "ads_ID" 값을 검색한다.
상기 저작부(102)는 각 단위 샷 내의 광고 객체들 간의 종속성을 입증하고 종속성이 있는 광고 객체들이 동일 단위 샷 내에 존재하는지 확인하는 두 번째 평가를 수행한다. 이와 같은 두 번째 평가를 식으로 나타내면 아래 수학식 4와 같다.
[ 수학식 4]
Figure pat00014
상기 수학식 4에서
Figure pat00015
는 단위 샷이며,
Figure pat00016
과
Figure pat00017
는 사용자가 지정한 두 개의 광고 객체이다. 사용자가 그들 사이의 관계를 생성할 때
Figure pat00018
함수는
Figure pat00019
를 리턴한다.
Figure pat00020
함수는 지정된 단위 샷에서의 광고 객체의 "ads_ID" 값을 검색한다. 두 광고 객체 사이의 종속 함수
Figure pat00021
가
Figure pat00022
이고 동일 단위 샷에서 공존하지 않는 경우에 트리거가 누락된 것으로 간주된다.
사용자가 트리거 영역을 다시 스케치하거나 저작부(102)가 현재 방송 프로그램 영상 콘텐츠와의 매칭을 위하여 현재 트리거의 크기를 줄이는 경우에 다각형이 교차하거나 분리될 수 있는데, 이와 같은 문제를 해결하기 위하여 상기 저작부(102)는 생성된 트리거 영역이 하나의 다각형 형상을 가지는지 검사하는 세 번째 평가를 수행한다. 이와 같은 세 번째 평가를 식으로 나타내면 아래 수학식 5와 같다.
[ 수학식 5]
Figure pat00023
상기 수학식 5에서
Figure pat00024
는 단위 샷이며,
Figure pat00025
은 사용자가 지정한 광고 객체이다.
Figure pat00026
함수는 생성된 트리거가 하나의 다각형 형태가 아닌 경우에
Figure pat00027
를 리턴한다.
상기 저작부(102)는 상기와 같은 세 번째 평가를 수행하여 상기 생성된 트리거가 하나의 다각형 형태가 아니라고 판단된 경우에는 경고 메시지를 생성하여 사용자에게 피드백할 수도 있다.
방송 프로그램 영상에 삽입되는 양방향 광고의 공간 영역이 너무 작으면 시청자가 TV를 보는 동안 광고를 클릭하는 것은 매우 어려우므로, 이와 같은 문제를 해결하기 위하여 상기 저작부(102)는 생성된 트리거 영역이 미리 정해진 크기보다 작은지 검사하는 네 번째 평가를 수행한다. 이와 같은 네 번째 평가를 식으로 나타내면 아래 수학식 6과 같다.
[ 수학식 6]
Figure pat00028
상기 수학식 6에서,
Figure pat00029
는 단위 샷이며,
Figure pat00030
은 사용자가 지정한 광고 객체이다.
Figure pat00031
함수는 지정된 단위 샷에서의 트리거 영역의 크기를 검사한다.
상기 저작부(102)는 상기와 같은 네 번째 평가를 수행하여 상기 생성된 트리거가 미리 정해진 크기보다 작다고 판단된 경우에는 크기를 확대할 것인지에 대하여 질문하는 경고 메시지를 사용자에게 피드백할 수도 있다.
상기 저작부(102)는 상기와 같은 첫 번째 내지 네 번째 평가를 모두 수행하는 경우에는, 스케치 입력의 누락으로부터의 누락 샷은 아래의 수학식 7을 이용하여 구할 수 있으며, 트리거 영역의 결함으로 인한 결함 샷은 아래의 수학식 8을 이용하여 구할 수 있다.
[ 수학식 7]
Figure pat00032
[ 수학식 8]
Figure pat00033
도 7에는 평가 함수를 적용한 결과를 사용자에게 피드백해주는 사용자 인터페이스의 예를 나타내었다.
도 7을 참조하면, 도 7의 오른쪽의 선택 창을 통해 드라마 주인공이 입고 있는 셔츠(object1)와 재킷(object2)의 종속 관계를 지정하기 위한
Figure pat00034
의 예를 보여주고 있다. 사용자가 도 7의 오른쪽의 선택 창을 통해 종속 파라미터를 설정하면 저작부는 평가 함수
Figure pat00035
를 통해 평가하여 종속 규칙을 만족하지 않는 결함 샷을 발견하면 경고메시지를 생성하여 사용자에게 보이도록 할 것이다.
도 1을 참조하면, 본 발명에 따른 양방향 광고 생성 장치는 상술한 바와 같은 전처리부(101)와 저작부(102)뿐만 아니라 변환부(103)도 포함하여 구성되는데, 상기 변환부(103)는 저작부(102)에서 출력되는 트리거 영역의 정보를 수집한 후에 데이터 방송 코드로 변환하여 양방향 광고를 생성한다.
본 발명에 따른 양방향 광고 생성 장치는, 광고의 트리거 영역을 표기하기 위하여 MPEP-4 BIFS 표준을 채택하였으며, MPEP-4 BIFS는 타겟 광고 객체의 모양, 움직임, 사라짐과 같은 타이밍 데이터를 AT 이벤트 속성으로 표현하며, 공간 데이터를 그래픽 2차원 다각형 객체로 표현한다. 트리거 영역의 각 BIFS 코드는 하나의 BIFS 텍스트 파일로 수집되고 이전 데이터 스트림으로 압축된다. 데이터 스트림은 음성/영상 스트림으로 다중화되어 최종 mp4 파일을 형성한다.
이하, 도 8을 참조하여 본 발명의 바람직한 실시예에 따른 양방향 광고 생성 방법에 대하여 설명하면 다음과 같다.
본 발명의 바람직한 실시예에 따른 양방향 광고 생성 방법을 설명함에 있어서 상술한 양방향 광고 생성 장치와 중복되는 구체적인 설명은 생략하도록 한다.
먼저, 전처리부(101)는 방송 프로그램 영상을 다수의 인접 프레임으로 구성된 다수의 단위 샷으로 분할한다(S101).
다음으로, 상기 전처리부(101)는 유사한 단위 샷들을 샷 스레드로 그룹화한다(S102). 더욱 상세히, 상기 전처리부(101)는 단위 샷의 첫번째 프레임의 이미지를 추리에 변환하여 시그너처를 생성하는 과정을 전체 단위 샷에 대하여 차례로 수행한 후에, 순차적인 순서로 두 개의 시그너처를 선택하여 유클리드 거리값을 생성한 후에, 생성한 거리값들 중에 장거리 값을 필터링하거나 임계값보다 가까운 거리값을 찾은 후에, 가까운 거리 값을 가지는 단위 샷을 새로운 샷 스레드로서 그룹화한다.
다음으로, 저작부(102)는 각 샷 스레드의 키 프레임에 대한 스케치 입력을 이용하여 트리거 영역을 생성한다(S103). 여기서, 상기 스케치 입력은 사용자가 키 프레임의 광고 객체 상에 자유 형상 스케치를 하여 입력된 것이다.
다음으로, 상기 저작부(102)는 각 샷 스레드 내에서 트리거 영역을 추적하여 업데이트한다(S104). 더욱 상세히, 상기 저작부(102)는 이전 단계에서 생성된 트리거 영역을 단순화하고, 트리거 영역을 포함하는 경계상자를 생성한 후에, 상기 경계상자를 추적하여 이동이 감지되면 트리거 영역의 위치를 경계상자 변경 위치로 업데이트하고, 크기 변경이 감지되면 경계상자 크기의 비율을 참조하여 트리거 영역의 형태를 업데이트하고, 회전이 감지되면 트리거 영역을 다시 스케치할 것인지 질문하는 메시지를 사용자에게 보여준 후에 사용자가 다시 스케치하겠다고 선택하면 스케치 입력을 다시 받아 업데이트한다.
다음으로, 상기 저작부(102)는 업데이트된 트리거 영역에 대한 평가를 수행한다(S105). 더욱 상세히, 상기 저작부(102)는 각 샷 스레드 내의 단위 샷들이 동일한 광고 객체를 가지는지 검사하는 평가와, 각 단위 샷내의 광고 객체들 간의 종속성을 입증하고 종속성이 있는 광고 객체들이 동일 단위 샷 내에 존재하는지 검사하는 평가와, 생성된 트리거 영역이 하나의 다각형 형상을 가지는지 검사하는 평가와, 생성된 트리거 영역이 미리 정해진 크기보다 작은지 검사하는 평가 중에 적어도 하나를 수행한다.
다음으로, 변환부(103)는 평가가 수행된 트리거 영역의 정보를 수집하여 방송 코드로 변환한 후에 양방향 광고를 생성한다(S105, S106).
상술한 바와 같은 구성 및 방법을 가지는 본 발명은 방송 프로그램에 양방향 광고를 삽입하는데 있어서의 편리성을 향상시킴과 동시에, 고품질의 양방향 광고를 방송 프로그램에 삽입할 수 있는 효과가 있다.
101 : 전처리부
102 : 저작부
103 : 변환부

Claims (13)

  1. 방송 프로그램의 영상에 삽입되는 양방향 광고를 생성하는 방법에 있어서,
    (a) 영상을 다수의 인접 프레임으로 구성된 다수의 단위 샷으로 분할하는 단계;
    (b) 유사한 단위 샷들을 샷 그룹으로 그룹화하는 단계;
    (c) 각 샷 그룹의 기준 프레임에 대한 스케치 입력을 이용하여 트리거 영역을 생성하는 단계;
    (d) 각 샷 그룹 내에서 트리거 영역을 추적하여 업데이트하는 단계;
    (e) 업데이트된 트리거 영역에 대한 평가를 수행하는 단계; 및
    (f) 평가가 수행된 트리거 영역의 정보를 수집하여 양방향 광고를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 양방향 광고 생성 방법.
  2. 제 1 항에 있어서, 상기 (b)단계는,
    (b1) 단위 샷의 첫번째 프레임의 이미지를 푸리에 변환하여 시그너처를 생성하는 과정을 전체 단위 샷에 대하여 차례로 수행하는 단계;
    (b2) 순차적인 순서로 두 개의 시그너처를 선택하여 유클리드 거리값을 생성하는 단계;
    (b3) 생성한 거리값들 중에 장거리 값을 필터링하거나 임계값보다 가까운 거리값을 찾는 단계; 및
    (b4) 가까운 거리값을 가지는 단위 샷을 새로운 샷 그룹으로서 그룹화하는 단계;
    를 포함하는 것을 특징으로 하는 양방향 광고 생성 방법.
  3. 제 1 항에 있어서, 상기 (c)단계에 있어서,
    상기 스케치 입력은 사용자가 기준 프레임의 광고 객체 상에 자유 형상(freeform) 스케치를 하여 입력된 것을 특징으로 하는 양방향 광고 생성 방법.
  4. 제 1 항에 있어서, 상기 (d)단계는,
    (d1) 상기 (c)단계에서 생성된 트리거 영역을 단순화하는 단계;
    (d2) 트리거 영역을 포함하는 경계상자를 생성하는 단계; 및
    (d3) 상기 경계상자를 추적하여 이동이 감지되면 트리거 영역의 위치를 경계상자 변경 위치로 업데이트하고, 크기 변경이 감지되면 경계상자 크기의 비율을 참조하여 트리거 영역의 형태를 업데이트하고, 회전이 감지되면 트리거 영역을 다시 스케치할 것인지 질문하는 메시지를 사용자에게 보여준 후에 사용자가 다시 스케치하겠다고 선택하면 스케치 입력을 다시 받아 업데이트하는 단계;
    을 포함하는 것을 특징으로 하는 양방향 광고 생성 방법.
  5. 제 1 항에 있어서, 상기 스케치 입력은 사용자가 기준 프레임의 광고 객체 상에 스케치를 하여 입력된 것이며,
    상기 (e)단계는, 각 샷 그룹 내의 단위 샷들이 동일한 광고 객체를 가지는지 검사하는 평가; 각 단위 샷 내의 광고 객체들 간의 종속성을 입증하고 종속성이 있는 광고 객체들이 동일 단위 샷 내에 존재하는지 검사하는 평가; 생성된 트리거 영역이 하나의 다각형 형상을 가지는지 검사하는 평가; 및 생성된 트리거 영역이 미리 정해진 크기보다 작은지 검사하는 평가; 중에서 적어도 어느 하나를 수행하는 것을 특징으로 하는 양방향 광고 생성 방법.
  6. 제 1 항에 있어서, 상기 (f)단계는,
    (f1) 평가가 수행이 완료된 트리거 영역의 정보를 수집하는 단계; 및
    (f2) 수집한 정보를 데이터 방송 코드로 변환하여 양방향 광고를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 양방향 광고 생성 방법.
  7. 방송 프로그램의 영상에 삽입되는 양방향 광고를 생성하는 방법에 있어서,
    분할된 영상을 샷 그룹으로 그룹화하는 단계;
    각 그룹의 기준 프레임에 대한 스케치 입력을 이용하여 트리거 영역을 생성하는 단계;
    각 그룹 내에서 트리거 영역을 추적하여 업데이트하고 평가를 하는 단계; 및
    트리거 영역의 정보를 수집하여 양방향 광고를 생성하는 단계;
    를 포함하는 것을 특징으로 하는 양방향 광고 생성 방법.
  8. 방송 프로그램의 영상에 삽입되는 양방향 광고를 생성하는 장치에 있어서,
    영상을 다수의 인접 프레임으로 구성된 다수의 단위 샷으로 분할한 후에 유사한 단위 샷들을 샷 그룹으로 그룹화하는 전처리부;
    각 샷 그룹의 기준 프레임에 대한 스케치 입력을 이용하여 트리거 영역을 생성한 후에 각 샷 그룹 내에서 트리거 영역을 추적하여 업데이트하고 평가하는 저작부; 및
    평가가 수행된 트리거 영역의 정보를 수집하여 양방향 광고를 생성하는 변환부;
    를 포함하는 것을 특징으로 하는 양방향 광고 생성 장치.
  9. 제 8 항에 있어서, 상기 전처리부는, 단위 샷의 첫번째 프레임의 이미지를 푸리에 변환하여 시그너터를 생성하는 과정을 전체 단위 샷에 대하여 차례로 수행한 후에, 순차적인 순서로 두개 의 시그너처를 선택하여 유클리드 거리값을 생성한 후에, 생성한 거리값들 중에 장러기 값을 필터링하거나 임계값보다 가까운 거리값을 찾은 후에, 가까운 거리값을 가지는 단위 샷을 새로운 샷 그룹으로서 그룹화하는 것을 특징으로 하는 양방향 광고 생성 장치.
  10. 제 8 항에 있어서, 상기 스케치 입력은 사용자가 기준 프레임의 광고 객체 상에 자유 형상(freeform) 스케치를 하여 입력된 것을 특징으로 하는 광고 생성 장치.
  11. 제 8 항에 있어서, 상기 저작부는, 생성된 트리거 영역을 단순화하고 트리거 영역을 포함하는 경계상자를 생성한 후에, 상기 경계상자를 추적하여 이동이 감지되면 트리거 영역의 위치를 경계상자 변경 위치로 업데이트하고, 크기 변경이 감지되면 경계상자 크기의 비율을 참조하여 트리거 영역의 형태를 업데이트하고, 회전이 감지되면 트리거 영역을 다시 스케치할 것인지 질문하는 메시지를 사용자에게 보여준 후에 사용자가 다시 스케치하겠다고 선택하면 스케치 입력을 다시 받아 업데이트하는 것을 특징으로 하는 광고 생성 장치.
  12. 제 8 항에 있어서, 상기 스케치 입력은 사용자가 기준 프레임의 광고 객체 상에 스케치를 하여 입력된 것이며,
    상기 저작부는, 각 샷 그룹 내의 단위 샷들이 동일한 광고 객체를 가지는지 검사하는 평가; 각 단위 샷 내의 광고 객체들 간의 종속성을 입증하고 종속성이 있는 광고 객체들이 동일 단위 샷 내에 존재하는지 검사하는 평가; 생성된 트리거 영역이 하나의 다각형 형상을 가지는지 검사하는 평가; 및 생성된 트리거 영역이 미리 정해진 크기보다 작은지 검사하는 평가; 중에서 적어도 어느 하나를 수행하는 것을 특징으로 하는 양방향 광고 생성 방법.
  13. 제 8 항에 있어서, 상기 변환부는, 평가가 수행이 완료된 트리거 영역의 정보를 수집한 후에 수집한 정보를 데이터 방송 코드로 변환하여 양방향 광고를 생성하는 것을 특징으로 하는 양방향 광고 생성 방법.
KR1020110049581A 2011-05-25 2011-05-25 양방향 광고 생성 장치 및 양방향 광고 생성 방법 KR101299198B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020110049581A KR101299198B1 (ko) 2011-05-25 2011-05-25 양방향 광고 생성 장치 및 양방향 광고 생성 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110049581A KR101299198B1 (ko) 2011-05-25 2011-05-25 양방향 광고 생성 장치 및 양방향 광고 생성 방법

Publications (2)

Publication Number Publication Date
KR20120131425A true KR20120131425A (ko) 2012-12-05
KR101299198B1 KR101299198B1 (ko) 2013-08-22

Family

ID=47515244

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110049581A KR101299198B1 (ko) 2011-05-25 2011-05-25 양방향 광고 생성 장치 및 양방향 광고 생성 방법

Country Status (1)

Country Link
KR (1) KR101299198B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015111840A1 (ko) * 2014-01-24 2015-07-30 에스케이플래닛 주식회사 프레임 클러스터링을 이용한 광고 삽입 장치 및 방법
KR20150093295A (ko) * 2014-02-06 2015-08-18 에스케이플래닛 주식회사 가상간접 광고 서비스 방법 및 이를 위한 장치

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20000036318A (ko) * 2000-01-18 2000-07-05 오상환 양방향 미디어 광고방법
KR20000054357A (ko) * 2000-06-02 2000-09-05 조영훈 인터넷상에서 양방향 동영상 매체를 이용한 광고 방법 및그 시스템
KR20020028349A (ko) * 2000-10-09 2002-04-17 강대현 인터넷을 이용한 양방향 광고 시스템 및 그 광고 방법
KR101111726B1 (ko) * 2007-10-31 2012-03-08 주식회사 소프닉스 양방향 광고 정보 파일 저작 서비스 제공방법 및, 양방향 광고 정보 파일 저작 프로그램이 기록된 기록매체

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2015111840A1 (ko) * 2014-01-24 2015-07-30 에스케이플래닛 주식회사 프레임 클러스터링을 이용한 광고 삽입 장치 및 방법
CN105284122A (zh) * 2014-01-24 2016-01-27 Sk普兰尼特有限公司 用于通过使用帧聚类来插入广告的装置和方法
CN105284122B (zh) * 2014-01-24 2018-12-04 Sk 普兰尼特有限公司 用于通过使用帧聚类来插入广告的装置和方法
US10904638B2 (en) 2014-01-24 2021-01-26 Eleven Street Co., Ltd. Device and method for inserting advertisement by using frame clustering
KR20150093295A (ko) * 2014-02-06 2015-08-18 에스케이플래닛 주식회사 가상간접 광고 서비스 방법 및 이를 위한 장치

Also Published As

Publication number Publication date
KR101299198B1 (ko) 2013-08-22

Similar Documents

Publication Publication Date Title
US10580219B2 (en) System and method to digitally replace objects in images or video
US11482192B2 (en) Automated object selection and placement for augmented reality
US9160938B2 (en) System and method for generating three dimensional presentations
EP2428036B1 (en) Systems and methods for the autonomous production of videos from multi-sensored data
Chen et al. An autonomous framework to produce and distribute personalized team-sport video summaries: A basketball case study
US9514381B1 (en) Method of identifying and replacing an object or area in a digital image with another object or area
US20160050465A1 (en) Dynamically targeted ad augmentation in video
US20030149983A1 (en) Tracking moving objects on video with interactive access points
US20150071613A1 (en) Method and system for inserting and/or manipulating dynamic content for digital media post production
CN108293140B (zh) 公共媒体段的检测
US10726443B2 (en) Deep product placement
US20170048597A1 (en) Modular content generation, modification, and delivery system
WO2013170362A1 (en) Method and system of identifying non-distinctive images/objects in a digital video and tracking such images/objects using temporal and spatial queues
Saeghe et al. Augmented reality and television: Dimensions and themes
US20230107910A1 (en) Computing System With DVE Template Selection And Video Content Item Generation Feature
KR101299198B1 (ko) 양방향 광고 생성 장치 및 양방향 광고 생성 방법
US20180310038A1 (en) Dynamic content placement in media
US20150289032A1 (en) Main and immersive video coordination system and method
CN113938752A (zh) 一种处理方法及装置
Cha et al. Client system for realistic broadcasting: A first prototype
US10674184B2 (en) Dynamic content rendering in media
JP2006014200A (ja) 広告映像埋込システム
GB2594046A (en) Producing video for content insertion
KR101676805B1 (ko) 웹 기반의 메타데이터 입력 시스템
US11769312B1 (en) Video system with scene-based object insertion feature

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160809

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170816

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180813

Year of fee payment: 6