KR101503029B1 - 가상간접 광고 삽입을 위한 마커 제거 장치 및 방법 - Google Patents

가상간접 광고 삽입을 위한 마커 제거 장치 및 방법 Download PDF

Info

Publication number
KR101503029B1
KR101503029B1 KR20140009195A KR20140009195A KR101503029B1 KR 101503029 B1 KR101503029 B1 KR 101503029B1 KR 20140009195 A KR20140009195 A KR 20140009195A KR 20140009195 A KR20140009195 A KR 20140009195A KR 101503029 B1 KR101503029 B1 KR 101503029B1
Authority
KR
South Korea
Prior art keywords
area
marker
region
pixels
boundary
Prior art date
Application number
KR20140009195A
Other languages
English (en)
Inventor
이수빈
신형철
한주현
전병기
Original Assignee
에스케이플래닛 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이플래닛 주식회사 filed Critical 에스케이플래닛 주식회사
Priority to KR20140009195A priority Critical patent/KR101503029B1/ko
Priority to US14/898,450 priority patent/US10904638B2/en
Priority to CN201480033739.0A priority patent/CN105284122B/zh
Priority to PCT/KR2014/012159 priority patent/WO2015111840A1/ko
Application granted granted Critical
Publication of KR101503029B1 publication Critical patent/KR101503029B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/60—Extraction of image or video features relating to illumination properties, e.g. using a reflectance or lighting model
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/46—Descriptors for shape, contour or point-related descriptors, e.g. scale invariant feature transform [SIFT] or bags of words [BoW]; Salient regional features
    • G06V10/467—Encoded features or binary features, e.g. local binary patterns [LBP]

Abstract

가상간접 광고 삽입을 위한 마커 제거 장치 및 방법이 개시된다. 본 발명에 따른 가상간접 광고 삽입을 위한 마커 제거 장치는, 비디오의 프레임들에 포함된 마커를 인식하는 마커 인식부; 상기 마커에 상응하는 마커 영역, 가상간접 광고가 삽입될 삽입 영역, 및 상기 마커 영역 및 삽입 영역을 이용하여 마커 제거 영역을 결정하는 영역 결정부; 상기 마커 제거 영역에만 인페인팅을 수행하는 마커 제거부; 및 상기 마커 제거 영역의 인페인팅 후 상기 삽입 영역에 상기 가상간접 광고를 삽입하는 광고 삽입부를 포함한다.

Description

가상간접 광고 삽입을 위한 마커 제거 장치 및 방법 {MARKER REMOVAL APPARATUS FOR INSERTING DIGITAL PRODUCT PLACEMENT AND METHOD FOR THE SAME}
본 발명은 가상간접 광고 삽입을 위한 마커 제거 기술에 관한 것으로, 더욱 상세하게는 촬영 현장에 직접 마커를 표시하고, 마커를 이용하여 가상간접 광고를 삽입할 영역을 결정하고 마커를 제거하는 경우, 마커를 제거할 영역을 가상간접 광고가 삽입될 영역과 중첩되지 않는 영역으로 한정하여 비용을 절감할 수 있는 가상간접 광고 삽입을 위한 마커 제거 장치 및 방법에 관한 것이다.
최근 광고 시장 규모가 커지면서 드라마, 영화 및 스포츠 중계 방송을 하는 방송사 등은 드라마나 스포츠 방송 등에 광고 아이템에 관한 영상을 삽입하여 광고 효과를 배가하는 간접 광고(product placement, indirect advertising) 또는 가상 광고(virtual advertising)에 많은 관심을 기울이고 있다.
일반적으로 간접 광고는 영화, 드라마 등의 동영상을 제작할 때 광고 상품을 등장시켜 간접적으로 광고하는 마케팅 기법 중의 하나로서, 동영상을 제작할 당시부터 광고 상품을 소품 형식으로 배치하여 동영상 속에 자연스럽게 노출시켜 시청자들에게는 광고라는 생각이 들지 않도록 하면서 자연스럽게 광고 효과를 나타내도록 하는 방식을 말한다.
이에 반해 가상 광고는 동영상의 제작 당시에는 존재하지 않은 광고 상품 등을 가상 이미징(virtual imaging) 방식을 이용하여 영화, 드라마, 스포츠 중계 방송 등의 동영상에 가상의 광고 영상을 삽입하는 형태의 광고를 말한다.
가상 이미징이란 각종 방송매체 및 영상물 생중계 시, 특정 공간 또는 가상의 공간에 실시간으로 영상을 삽입하며 삽입된 영상은 트랙킹(tracking) 기술에 의해 특정지점에 고정되어 마치 실제로 해당 영상 화면 내에 포함되어 있는 것처럼 처리해주는 영상 처리 및 합성기법이다. 이러한 영상 처리 기법은 스포츠 생중계, 이벤트 생중계에 많이 이용되고 있으며, 그 밖의 광고 또는 경기 정보 이미지 제공 등의 다양한 응용분야에 적용되고 있다.
가상 광고는 이와 같은 영상 처리 기법을 광고 분야에 적용한 것으로서 광고주로부터 가상 광고 영상을 수신하거나 컴퓨터 그래픽을 이용하여 가상 광고 영상을 생성하고, 그 가상 광고 영상을 원본 동영상에 삽입함으로써 이 동영상을 시청하는 시청자에게 광고 영상을 노출한다.
이 때, 가상간접 광고가 삽입될 영역을 동화상에서 연속적으로 지정하는 작업은 상당한 비용이 소모되는 작업이다. 이 경우, 보다 편리하게 삽입 영역을 결정하기 위해 촬영 현장에 가상간접 광고가 삽입될 위치에 직접 마커를 표시하는 방법이 사용될 수 있다.
이 때, 마커 영역에 인페인팅을 수행하여 주변의 영상과 어울리도록 가공하여야 한다. 여기서, 마커를 인페인팅을 수행하여 삭제하는 작업 역시 상당한 비용이 소모되는 작업이다.
즉, 인페인팅을 수행하는 영역을 최소한으로 줄일 수 있다면 연산 비용이 최대한 절감될 수 있고, 가상간접 광고의 이익을 최대한으로 증가시킬 수 있다.
따라서, 촬영 현장에 직접 마커를 표시하고, 마커를 이용하여 가상간접 광고를 삽입할 영역을 결정하고 마커를 제거하는 경우, 인페인팅 영역을 최소한으로 축소하여 인페인팅을 수행할 수 있는 새로운 가상간접 광고 서비스 기술의 필요성이 대두된다.
미국 등록 특허 제6,987,520호, 2006년 1월 17일 등록 (명칭: Image region filling by exemplar-based inpainting)
본 발명의 목적은, 비디오 영상 콘텐츠 내에 삽입되어 있는 마커를 이용하여 가상간접 광고를 삽입하고, 마커 영역에 인페인팅을 수행하여 주위 영상과 어울리게 가공하는 것이다.
또한, 본 발명의 목적은 인페인팅을 수행할 영역을 마커 영역 중 가상간접 광고의 삽입 영역과 중첩되지 않는 영역에만 인페인팅을 수행하여 인페인팅에 소요되는 연산 비용을 절감하는 것이다.
또한, 본 발명의 목적은 인페인팅에 소요되는 연산 비용을 절감하여 가상간접 광고의 광고 이익을 극대화하는 것이다.
상기한 목적을 달성하기 위한 본 발명에 따른 가상간접 광고 삽입을 위한 마커 제거 장치는, 비디오의 프레임들에 포함된 마커를 인식하는 마커 인식부; 상기 마커에 상응하는 마커 영역, 가상간접 광고가 삽입될 삽입 영역, 및 상기 마커 영역 및 삽입 영역을 이용하여 마커 제거 영역을 결정하는 영역 결정부; 상기 마커 제거 영역에만 인페인팅을 수행하는 마커 제거부; 및 상기 마커 제거 영역의 인페인팅 후 상기 삽입 영역에 상기 가상간접 광고를 삽입하는 광고 삽입부를 포함한다.
이 때, 영역 결정부는 상기 마커 영역을 인페인팅 영역 및 비인페인팅 영역으로 나누고, 상기 인페인팅 영역을 상기 마커 제거 영역으로 결정할 수 있다.
이 때, 영역 결정부는 상기 마커 영역 내 마커 픽셀들 각각에 대해 상기 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 삽입 영역 안에 존재하지 아니하는 마커 픽셀들을 상기 인페인팅 영역으로 판단할 수 있다.
이 때, 영역 결정부는 상기 마커 영역 내 마커 픽셀들 각각에 대해 상기 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 삽입 영역 안에 존재하는 마커 픽셀들을 상기 비인페인팅 영역으로 판단할 수 있다.
이 때, 영역 결정부는 상기 삽입 경계를 이루는 픽셀을 포함하는 삽입 경계 영역을 생성하고, 상기 삽입 경계 영역 중 일부를 상기 인페인팅 영역에 포함시킬 수 있다.
이 때, 영역 결정부는 상기 삽입 영역의 경계를 이루는 픽셀들 각각에 대해 상기 삽입 영역의 경계로부터 기설정된 거리 내에 존재하는지 여부를 판단하고, 상기 기설정된 거리 내에 존재하는 픽셀들로 이루어진 영역을 삽입 경계 영역으로 결정하고, 상기 삽입 경계 영역을 고려하여 상기 마커 제거 영역을 결정할 수 있다.
이 때, 영역 결정부는 상기 삽입 경계 영역 내 픽셀들 각각에 대해 상기 마커 영역 및 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 마커 영역 및 삽입 영역 안에 존재하는 픽셀들을 상기 인페인팅 영역에 포함시킬 수 있다.
이 때, 마커 제거부는 상기 인페인팅 영역에 상응하는 영상을 구조영상과 질감영상으로 나누는 영상 분리부; 상기 구조영상에 대하여 상기 인페인팅 영역의 외곽에 근접한 화소가 인페인팅 영역 내부로 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하여 가공 구조영상을 생성하는 구조 인페인팅부; 상기 질감영상에 대하여 질감합성을 수행하여 가공 질감영상을 생성하는 질감 합성부; 및 상기 가공 구조영상 및 상기 가공 질감영상을 합성하는 영상 합성부를 포함할 수 있다.
이 때, 마커 제거부는 상기 인페인팅 영역 및 상기 인페인팅 영역을 제외한 영역을 각각 패치 단위로 나누는 패치 분할부; 상기 인페인팅 영역의 각 패치에 대하여 상기 인페인팅 영역을 제외한 영역에서 가장 비슷한 패치를 선택하는 패치 선택부; 및 상기 인페인팅 영역의 각 패치에 대하여 상기 선택된 패치를 합성하는 패치 합성부를 포함할 수 있다.
이 때, 마커 제거부는 상기 인페인팅 영역의 외곽에 상응하는 단위 영역부터 내부 방향으로 인페인팅을 수행할 수 있다.
이 때, 영역 결정부는 상기 마커 경계를 이루는 픽셀을 포함하는 마커 경계 영역을 생성하고, 상기 마커 경계 영역 중 일부를 상기 인페인팅 영역에 포함시킬 수 있다.
이 때, 영역 결정부는 상기 마커 영역의 경계를 이루는 픽셀들 각각에 대해 상기 마커 영역의 경계로부터 기설정된 거리 내에 존재하는지 여부를 판단하고, 상기 기설정된 거리 내에 존재하는 픽셀들로 이루어진 영역을 마커 경계 영역으로 결정하고, 상기 마커 경계 영역을 고려하여 상기 마커 제거 영역을 결정할 수 있다.
이 때, 영역 결정부는 상기 마커 경계 영역 내 픽셀들 각각에 대해 상기 마커 영역 및 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 마커 영역 및 삽입 영역 안에 존재하지 아니하는 픽셀들을 상기 인페인팅 영역에 포함시킬 수 있다.
또한, 본 발명에 따른 가상간접 광고 삽입을 위한 마커 제거 방법은, 비디오의 프레임들에 포함된 마커를 인식하는 단계; 상기 마커에 상응하는 마커 영역, 가상간접 광고가 삽입될 삽입 영역, 및 상기 마커 영역 및 삽입 영역을 이용하여 마커 제거 영역을 결정하는 단계; 상기 마커 제거 영역에만 인페인팅을 수행하는 단계; 및 상기 마커 제거 영역의 인페인팅 후 상기 삽입 영역에 상기 가상간접 광고를 삽입하는 단계를 포함한다.
이 때, 마커 제거 영역을 결정하는 단계는 상기 마커 영역을 인페인팅 영역 및 비인페인팅 영역으로 나누고, 상기 인페인팅 영역을 상기 마커 제거 영역으로 결정할 수 있다.
이 때, 마커 제거 영역을 결정하는 단계는 상기 마커 영역 내 마커 픽셀들 각각에 대해 상기 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 삽입 영역 안에 존재하지 아니하는 마커 픽셀들을 상기 인페인팅 영역으로 판단할 수 있다.
이 때, 마커 제거 영역을 결정하는 단계는 상기 마커 영역 내 마커 픽셀들 각각에 대해 상기 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 삽입 영역 안에 존재하는 마커 픽셀들을 상기 비인페인팅 영역으로 판단할 수 있다.
이 때, 마커 제거 영역을 결정하는 단계는 상기 삽입 경계를 이루는 픽셀을 포함하는 삽입 경계 영역을 생성하고, 상기 삽입 경계 영역 중 일부를 상기 인페인팅 영역에 포함시킬 수 있다.
이 때, 마커 제거 영역을 결정하는 단계는 상기 삽입 영역의 경계를 이루는 픽셀들 각각에 대해 상기 삽입 영역의 경계로부터 기설정된 거리 내에 존재하는지 여부를 판단하고, 상기 기설정된 거리 내에 존재하는 픽셀들로 이루어진 영역을 삽입 경계 영역으로 결정하고, 상기 삽입 경계 영역을 고려하여 상기 마커 제거 영역을 결정할 수 있다.
이 때, 마커 제거 영역을 결정하는 단계는 상기 삽입 경계 영역 내 픽셀들 각각에 대해 상기 마커 영역 및 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 마커 영역 및 삽입 영역 안에 존재하는 픽셀들을 상기 인페인팅 영역에 포함시킬 수 있다.
본 발명에 따르면 비디오 영상 콘텐츠 내에 삽입되어 있는 마커를 이용하여 가상간접 광고를 삽입하고, 마커 영역에 인페인팅을 수행하여 주위 영상과 어울리게 가공할 수 있다.
또한, 본 발명은 인페인팅을 수행할 영역을 마커 영역 중 가상간접 광고의 삽입 영역과 중첩되지 않는 영역에만 인페인팅을 수행하여 인페인팅에 소요되는 연산 비용을 절감할 수 있다.
또한, 본 발명은 인페인팅에 소요되는 연산 비용을 절감하여 가상간접 광고의 광고 이익을 극대화할 수 있다.
도 1은 본 발명의 일실시예에 따른 가상간접 광고 삽입을 위한 마커 제거 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 마커 제거부의 일 예를 나타낸 블록도이다.
도 3은 도 1에 도시된 마커 제거부의 다른 예를 나타낸 블록도이다.
도 4는 본 발명에 따른 가상간접 광고 삽입을 위한 마커들이 포함된 비디오 프레임의 일 예를 나타낸 도면이다.
도 5는 본 발명에 따른 가상간접 광고가 삽입된 비디오 프레임의 일 예를 나타낸 도면이다.
도 6은 본 발명에 따른 가상간접 광고가 삽입되고, 마커들이 제거된 비디오 프레임의 일 예를 나타낸 도면이다.
도 7은 본 발명에 따른 마커 영역 및 삽입 영역의 일 예를 나타낸 도면이다.
도 8은 본 발명에 따른 인페인팅 영역의 일 예를 나타낸 도면이다.
도 9는 본 발명에 따른 인페인팅 영역의 다른 예를 나타낸 도면이다.
도 10은 본 발명의 일실시예에 따른 가상간접 광고 삽입을 위한 마커 제거 방법을 나타낸 동작 흐름도이다.
본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일실시예에 따른 가상간접 광고 삽입을 위한 마커 제거 장치를 나타낸 블록도이다.
도 1을 참조하면, 본 발명의 일실시예에 따른 가상간접 광고 삽입을 위한 마커 제거 장치는 마커 인식부(110), 영역 결정부(120), 마커 제거부(130) 및 광고 삽입부(140)를 포함한다.
마커 인식부(110)는 비디오의 프레임들에 포함된 마커를 인식한다.
이 때, 마커 인식부(110)는 기설정된 알고리즘에 의하거나, 사용자로부터 수신된 입력에 의하여 비디오의 프레임들에 포함된 마커를 인식할 수 있다.
영역 결정부(120)는 마커에 상응하는 마커 영역, 가상간접 광고가 삽입될 삽입 영역, 및 마커 영역 및 삽입 영역을 이용하여 마커 제거 영역을 결정한다.
이 때, 영역 결정부(120)는 마커 영역 및 삽입 영역을 기설정된 알고리즘에 의하여 결정하거나, 사용자로부터 수신된 입력에 의하여 결정할 수 있다.
이 때, 영역 결정부(120)는 마커 영역을 인페인팅 영역 및 비인페인팅 영역으로 나누고, 인페인팅 영역을 마커 제거 영역으로 결정할 수 있다.
이 때, 영역 결정부(120)는 마커 영역 내 마커 픽셀들 각각에 대해 삽입 영역 안에 존재하는지 여부를 판단하고, 삽입 영역 안에 존재하지 아니하는 마커 픽셀들을 인페인팅 영역으로 판단할 수 있다.
이 때, 영역 결정부(120)는 마커 영역 내 마커 픽셀들 각각에 대해 삽입 영역 안에 존재하는지 여부를 판단하고, 삽입 영역 안에 존재하는 마커 픽셀들을 비인페인팅 영역으로 판단할 수 있다.
즉, 비인페인팅 영역은 가상간접 광고에 가려서 보이지 않게 되는 마커 부분이므로 중첩되지 않는 영역에만 인페인팅을 수행하여도 무방하다.
따라서, 마커 전체에 대하여 인페인팅을 수행하는 것보다 인페인팅 연산 비용을 절감할 수 있다.
이 때, 영역 결정부(120)는 삽입 경계를 이루는 픽셀을 포함하는 삽입 경계 영역을 생성하고, 삽입 경계 영역 중 일부를 인페인팅 영역에 포함시킬 수 있다.
이 때, 영역 결정부(120)는 삽입 영역의 경계를 이루는 픽셀들 각각에 대해 삽입 영역의 경계로부터 기설정된 거리 내에 존재하는지 여부를 판단하고, 기설정된 거리 내에 존재하는 픽셀들로 이루어진 영역을 삽입 경계 영역으로 결정하고, 삽입 경계 영역을 고려하여 마커 제거 영역을 결정할 수 있다.
이 때, 영역 결정부(120)는 삽입 경계 영역 내 픽셀들 각각에 대해 마커 영역 및 삽입 영역 안에 존재하는지 여부를 판단하고, 마커 영역 및 삽입 영역 안에 존재하는 픽셀들을 인페인팅 영역에 포함시킬 수 있다.
이 때, 영역 결정부(120)는 마커 경계를 이루는 픽셀을 포함하는 마커 경계 영역을 생성하고, 마커 경계 영역 중 일부를 인페인팅 영역에 포함시킬 수 있다.
이 때, 영역 결정부(120)는 마커 영역의 경계를 이루는 픽셀들 각각에 대해 마커 영역의 경계로부터 기설정된 거리 내에 존재하는지 여부를 판단하고, 기설정된 거리 내에 존재하는 픽셀들로 이루어진 영역을 마커 경계 영역으로 결정하고, 마커 경계 영역을 고려하여 마커 제거 영역을 결정할 수 있다.
이 때, 영역 결정부(120)는 마커 경계 영역 내 픽셀들 각각에 대해 마커 영역 및 삽입 영역 안에 존재하는지 여부를 판단하고, 마커 영역 및 삽입 영역 안에 존재하지 아니하는 픽셀들을 인페인팅 영역에 포함시킬 수 있다.
마커 제거부(130)는 마커 제거 영역에만 인페인팅을 수행한다.
이 때, 마커 제거부(130)는 인페인팅 영역에 상응하는 영상을 구조영상과 질감영상으로 나누고, 구조영상에 대하여 인페인팅 영역의 외곽에 근접한 화소가 인페인팅 영역 내부로 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하여 가공 구조영상을 생성하고, 질감영상에 대하여 질감합성을 수행하여 가공 질감영상을 생성하고, 가공 구조영상 및 가공 질감영상을 합성할 수 있다.
이 때, 구조영상은 영상에 포함되어 있는 물체의 구조만을 포함하고 있는 영상일 수 있다. 즉, 물체의 모양, 색상, 밝기 등을 포함하고 있다.
이 때, 질감영상은 영상에 포함되어 있는 물체의 질감만을 포함하고 있는 영상일 수 있다. 즉, 물체의 무늬, 질감 등을 포함하고 있다.
이 때, 사람이 보기에는 명암값보다는 구조나 질감 등 영역의 속성에 더욱 민감하므로, 인페인팅을 수행할 때에 명암값에 기반한 인페인팅보다는 구조나 질감 등 영역의 속성에 기반한 인페인팅을 수행하는 것이 보다 자연스러운 영상으로 만들 수 있다.
이 때, 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하는 알고리즘의 경우, 인페인팅 대상의 영역의 구조를 연결해주어 보기 좋은 결과를 만들어내나, 질감이 있는 영역에 있어서는 영상에 번짐(blur)이 발생하는 단점이 있다.
이 때, 질감합성이란, 작은 샘플 이미지의 질감 정보로부터 큰 이미지의 질감 정보를 생성하는 것을 말한다. 즉, 인페인팅 영역을 제외한 영역에서 선택된 샘플 이미지의 질감 정보로부터 인페인팅 영역을 채울 큰 이미지의 질감 정보를 생성하는 것이다.
이 때, 샘플 이미지는 한 개의 샘플 이미지가 선택되어 질감합성이 수행될 수도 있고, 여러 개의 샘플 이미지가 선택되어 질감합성이 수행되어 하나의 큰 이미지를 생성할 수도 있다.
이 때, 마커 제거부(130)는 인페인팅 영역 및 인페인팅 영역을 제외한 영역을 각각 패치 단위로 나누고, 인페인팅 영역의 각 패치에 대하여 인페인팅 영역을 제외한 영역에서 가장 비슷한 패치를 선택하고, 인페인팅 영역의 각 패치에 대하여 선택된 패치를 합성할 수 있다.
이 때, 패치의 크기는 고정되지 않고 상황에 따라 패치의 크기가 달라질 수 있다.
이 때, 패치를 선택할 때에 우선순위 또는 가중치를 정해 가장 비슷한 패치를 선택할 수 있다. 이 때, 주변과 다른 희소성(sparsity)이 큰 패치에 우선순위를 둘 수 있다. 이 때, 거리에 따라 가중치를 둘 수 있다.
이 때, 하나의 패치를 선택하는 대신에 비 국부적 평균(nonlocal means)을 사용해서 여러 개의 후보 패치의 가중치 합을 구해서 선택할 수 있다. 또는 비 국부적 평균 대신에 국부적 패치 유사성(local patch cosistency)를 사용할 수 있다.
이 때, 마커 제거부(130)는 인페인팅 영역의 외곽에 상응하는 단위 영역부터 내부 방향으로 인페인팅을 수행할 수 있다.
따라서, 주위에 참조할 수 있는 영상이 존재하지 않는 인페인팅 영역의 내부에 상응하는 단위 영역에서의 인페인팅보다 자연스러운 인페인팅이 가능하고, 대상 영역이 끝나거나 비인페인팅 영역을 만날 때 인페인팅을 종료할 수 있어 더욱 효율적이다.
광고 삽입부(140)는 마커 제거 영역의 인페인팅 후 삽입 영역에 가상간접 광고를 삽입한다.
도 2는 도 1에 도시된 마커 제거부(130)의 일 예를 나타낸 블록도이다.
도 2를 참조하면, 도 1에 도시된 마커 제거부(130)는 영상 분리부(210), 구조 인페인팅부(220), 질감 합성부(230) 및 영상 합성부(240)를 포함한다.
영상 분리부(210)는 인페인팅 영역에 상응하는 구조영상(structure image)과 질감영상(texture image)으로 나눈다.
이 때, 구조영상은 영상에 포함되어 있는 물체의 구조만을 포함하고 있는 영상일 수 있다. 즉, 물체의 모양, 색상, 밝기 등을 포함하고 있다.
이 때, 질감영상은 영상에 포함되어 있는 물체의 질감만을 포함하고 있는 영상일 수 있다. 즉, 물체의 무늬, 질감 등을 포함하고 있다.
이 때, 사람이 보기에는 명암값보다는 구조나 질감 등 영역의 속성에 더욱 민감하므로, 인페인팅을 수행할 때에 명암값에 기반한 인페인팅보다는 구조나 질감 등 영역의 속성에 기반한 인페인팅을 수행하는 것이 보다 자연스러운 영상으로 만들 수 있다.
따라서, 구조와 질감에 대해 인페인팅을 수행하되, 영역의 구조에 대해 최적의 결과가 생성되는 알고리즘과 영역의 질감에 대해 최적의 결과가 생성되는 알고리즘이 각각 상이하므로, 영역의 구조와 질감 각각에 대하여 최적의 인페인팅을 수행하고 각각의 결과를 하나의 영상으로 합성함으로써 더욱 자연스러운 인페인팅이 가능하다.
구조 인페인팅부(220)는 구조영상에 대하여 인페인팅 영역의 외곽에 근접한 화소가 인페인팅 영역 내부로 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하여 가공 구조영상을 생성한다.
이 때, 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하는 알고리즘의 경우, 인페인팅 대상의 영역의 구조를 연결해주어 보기 좋은 결과를 만들어내나, 질감이 있는 영역에 있어서는 영상에 번짐(blur)이 발생하는 단점이 있다.
따라서, 인페인팅 영역에 상응하는 영상의 질감 정보는 인페인팅할 수 없으나, 구조 정보는 인페인팅할 수 있다.
질감 합성부(230)는 질감영상에 대하여 질감합성을 수행하여 가공 질감영상을 생성한다.
이 때, 질감합성이란, 작은 샘플 이미지의 질감 정보로부터 큰 이미지의 질감 정보를 생성하는 것을 말한다. 즉, 인페인팅 영역을 제외한 영역에서 선택된 샘플 이미지의 질감 정보로부터 인페인팅 영역을 채울 큰 이미지의 질감 정보를 생성하는 것이다.
이 때, 샘플 이미지는 한 개의 샘플 이미지가 선택되어 질감합성이 수행될 수도 있고, 여러 개의 샘플 이미지가 선택되어 질감합성이 수행되어 하나의 큰 이미지를 생성할 수도 있다.
따라서, 인페인팅 영역에 상응하는 영상의 구조 정보는 인페인팅할 수 없으나, 질감 정보는 인페인팅할 수 있다.
영상 합성부(240)는 가공 구조영상 및 가공 질감영상을 합성한다.
따라서, 인페인팅 영역에 상응하는 영상의 구조 및 질감에 대하여 모두 인페인팅이 수행된 영상을 얻을 수 있다.
도 3은 도 1에 도시된 마커 제거부(130)의 다른 예를 나타낸 블록도이다.
도 3을 참조하면, 도 1에 되시된 마커 제거부(130)는 패치 분할부(310), 패치 선택부(320) 및 패치 합성부(330)를 포함한다.
패치 분할부(310)는 인페인팅 영역 및 인페인팅 영역을 제외한 영역을 각각 패치 단위로 나눈다.
이 때, 패치의 크기는 고정되지 않고 상황에 따라 패치의 크기가 달라질 수 있다.
패치 선택부(320)는 인페인팅 영역의 각 패치에 대하여 인페인팅 영역을 제외한 영역에서 가장 비슷한 패치를 선택할 수 있다.
이 때, 패치를 선택할 때에 우선순위 또는 가중치를 정해 가장 비슷한 패치를 선택할 수 있다. 이 때, 주변과 다른 희소성(sparsity)이 큰 패치에 우선순위를 둘 수 있다. 이 때, 거리에 따라 가중치를 둘 수 있다.
이 때, 하나의 패치를 선택하는 대신에 비 국부적 평균(nonlocal means)을 사용해서 여러 개의 후보 패치의 가중치 합을 구해서 선택할 수 있다. 또는 비 국부적 평균 대신에 국부적 패치 유사성(local patch cosistency)를 사용할 수 있다.
패치 합성부(330)는 인페인팅 영역의 각 패치에 대하여 선택된 패치를 합성한다.
도 4는 본 발명에 따른 가상간접 광고 삽입을 위한 마커(410)들이 포함된 비디오 프레임(400)의 일 예를 나타낸 도면이다.
본 발명에 따른 가상간접 광고 삽입을 위한 마커 제거 장치는 비디오 프레임(400) 내에서 마커(410)들을 인식한다.
이 때, 본 발명에 따른 가상간접 광고 삽입을 위한 마커 제거 장치는 기설정된 알고리즘에 의하거나, 사용자로부터 수신된 입력에 의하여 마커(410)들을 인식할 수 있다.
이 때, 비디오 프레임(400)는 촬영 현장에 직접 표시된 마커(410)들을 포함한다.
즉, 마커(410)는 촬영 현장에 직접 표시되고, 주변 현장으로부터 용이하게 식별가능한 표지이다.
예를 들어, 마커(410)는 특정 색상이나 패턴을 포함하는 테이프일 수 있다.
도 5는 본 발명에 따른 가상간접 광고(510)가 삽입된 비디오 프레임(400)의 일 예를 나타낸 도면이다.
본 발명에 따른 가상간접 광고 삽입을 위한 마커 제거 장치는 마커(410)들로부터 가상간접 광고(510)가 삽입될 삽입 영역을 결정한다.
이 때, 본 발명에 따른 가상간접 광고 삽입을 위한 마커 제거 장치는 기설정된 알고리즘에 의하거나, 사용자로부터 수신된 입력에 의하여 가상간접 광고(510)가 삽입될 삽입 영역을 결정할 수 있다.
예를 들어, 본 발명에 따른 가상간접 광고 삽입을 위한 마커 제거 장치는 마커(410)들의 중심점들을 각각 꼭지점으로 하는 도형 형태의 영역을 삽입 영역으로 결정하고, 삽입 영역에 가상간접 광고(510)를 삽입할 수 있다.
도 6은 본 발명에 따른 가상간접 광고(510)가 삽입되고, 마커(410)들이 제거된 비디오 프레임(400)의 일 예를 나타낸 도면이다.
본 발명에 따른 가상간접 광고 삽입을 위한 마커 제거 장치는 마커(410)들로부터 가상간접 광고(510)가 삽입될 삽입 영역을 결정되면, 비디오 프레임(400) 내에서 마커(410)들을 인페인팅을 이용하여 제거한다.
이와 같이, 도 4 내지 도 6을 참조하면, 본 발명에 따른 가상간접 광고 삽입을 위한 마커 제거 장치는 촬영 현장에 직접 표시된 마커(410)들이 포함된 비디오 프레임(400)으로부터, 마커(410)들을 이용하여 결정되는 삽입 영역에 가상간접 광고(510)를 삽입하고, 마커(410)들을 제거함을 알 수 있다.
도 7은 본 발명에 따른 마커 영역(710) 및 삽입 영역(720)의 일 예를 나타낸 도면이다.
마커 영역(710)은 도 4에 도시된 마커(410)에 상응한다.
삽입 영역(720)은 도 5에 도시된 가상간접 광고(510)가 삽입될 영역이다.
본 발명에 따른 마커 영역(710) 및 삽입 영역(720)은 도 1에 도시된 영역 결정부(120)로부터 결정된다.
이 때, 도 1에 도시된 영역 결정부(120)는 인식된 마커를 포함하는 픽셀들로 이루어진 영역을 마커 영역(710)으로 결정할 수 있다.
이 때, 마커 영역(710)은 기설정된 알고리즘에 의하여 결정되거나, 사용자로부터 수신된 입력에 의하여 결정될 수 있다.
또한, 도 1에 도시된 영역 결정부(120)는 인식된 마커를 이용하여 산출된 영역을 삽입 영역(720)으로 결정할 수 있다.
예를 들어, 삽입 영역(720)은 인식된 마커들의 중심점들을 각각 꼭지점으로 하는 도형 형태의 영역일 수 있다.
이 때, 삽입 영역(720)은 기설정된 알고리즘에 의하여 결정되거나, 사용자로부터 수신된 입력에 의하여 결정될 수 있다.
이 때, 마커 영역(710)은 삽입 영역(720)과 중첩되는 부분과 중첩되지 않는 부분으로 나뉨을 알 수 있다.
이 때, 마커 영역(710)과 삽입 영역(720)이 중첩되는 영역은 삽입되거었거나 삽입될 가상간접 광고에 가려서 보이지 않게 되는 부분이므로 중첩되지 않는 영역에만 인페인팅을 수행하여도 무방하다.
이하 도 8 및 도 9에서는 마커 영역(710) 중 일부만에 대해 인페인팅을 수행하기 위한 방법에 대해서 상세하게 설명한다.
도 8은 본 발명에 따른 인페인팅 영역(711)의 일 예를 나타낸 도면이다.
도 8을 참조하면, 본 발명에 따른 인페인팅 영역(711)은 도 7에 도시된 마커 영역(710)의 일부임을 알 수 있다.
본 발명에 따른 인페인팅 영역(711)은 도 1에 도시된 영역 결정부(120)로부터 결정된다.
도 1에 도시된 영역 결정부(120)는 마커 영역(710)을 인페인팅 영역(711) 및 비인페인팅 영역(712)으로 나누고, 인페인팅 영역(711)을 마커 제거 영역으로 결정할 수 있다.
이 때, 영역 결정부(120)는 마커 영역(710) 내 마커 픽셀들 각각에 대해 삽입 영역(720) 안에 존재하는지 여부를 판단하고, 삽입 영역(720) 안에 존재하지 아니하는 마커 픽셀들을 인페인팅 영역(711)으로 판단할 수 있다.
이 때, 영역 결정부(120)는 마커 영역(710) 내 마커 픽셀들 각각에 대해 삽입 영역(720) 안에 존재하는지 여부를 판단하고, 삽입 영역(720) 안에 존재하는 마커 픽셀들을 비인페인팅 영역(712)으로 판단할 수 있다.
즉, 비인페인팅 영역(712)은 가상간접 광고에 가려서 보이지 않게 되는 마커 부분이므로 중첩되지 않는 영역에만 인페인팅을 수행하여도 무방하다.
따라서, 마커 전체에 대하여 인페인팅을 수행하는 것보다 인페인팅 연산 비용을 절감할 수 있다.
도 9는 본 발명에 따른 인페인팅 영역의 다른 예를 나타낸 도면이다.
도 9를 참조하면, 본 발명에 따른 인페인팅 영역(711)은 도 7에 도시된 마커 영역(710)의 일부임을 알 수 있다.
또한, 본 발명에 따른 인페인팅 영역(711)은 도 8에 도시된 인페인팅 영역과 달리 삽입 영역(720)의 일부를 포함함을 알 수 있다.
본 발명에 따른 인페인팅 영역(711)은 도 1에 도시된 영역 결정부(120)로부터 결정된다.
도 1에 도시된 영역 결정부(120)는 삽입 경계를 이루는 픽셀을 포함하는 삽입 경계 영역(725)을 생성하고, 삽입 경계 영역(725) 중 일부를 인페인팅 영역(711)에 포함시킬 수 있다.
이 때, 도 1에 도시된 영역 결정부(120)는 삽입 영역(720)의 경계를 이루는 픽셀들 각각에 대해 삽입 영역(720)의 경계로부터 기설정된 거리 내에 존재하는지 여부를 판단하고, 기설정된 거리 내에 존재하는 픽셀들로 이루어진 영역을 삽입 경계 영역(725)으로 결정하고, 삽입 경계 영역(725)을 고려하여 마커 제거 영역을 결정할 수 있다.
이 때, 도 1에 도시된 영역 결정부(120)는 삽입 경계 영역(725) 내 픽셀들 각각에 대해 마커 영역(710) 및 삽입 영역(720) 안에 존재하는지 여부를 판단하고, 마커 영역(710) 및 삽입 영역(720) 안에 존재하는 픽셀들을 인페인팅 영역(711)에 포함시킬 수 있다.
이와 같이, 본 발명에 따른 인페인팅 영역(711)을 확장함으로써, 삽입 영역(720)의 경계면에서 발생할 수 있는 마커의 흔적을 보다 효율적으로 제거할 수 있다.
도 9에는 도시되지 아니하였으나, 도 1에 도시된 영역 결정부(120)는 마커 경계 밖의 일정 픽셀에 대해서도 인페인팅을 수행하기 위해 인페인팅 영역(711)을 확장할 수 있다.
예를 들어, 도 1에 도시된 영역 결정부(120)는 마커 경계를 이루는 픽셀을 포함하는 마커 경계 영역을 생성하고, 마커 경계 영역 중 일부를 인페인팅 영역(711)에 포함시킬 수 있다.
이 때, 도 1에 도시된 영역 결정부(120)는 마커 영역(710)의 경계를 이루는 픽셀들 각각에 대해 마커 영역(710)의 경계로부터 기설정된 거리 내에 존재하는지 여부를 판단하고, 기설정된 거리 내에 존재하는 픽셀들로 이루어진 영역을 마커 경계 영역으로 결정하고, 마커 경계 영역을 고려하여 마커 제거 영역을 결정할 수 있다.
이 때, 도 1에 도시된 영역 결정부(120)는 마커 경계 영역 내 픽셀들 각각에 대해 마커 영역(710) 및 삽입 영역(720) 안에 존재하는지 여부를 판단하고, 마커 영역(710) 및 삽입 영역(720) 안에 존재하지 아니하는 픽셀들을 인페인팅 영역(711)에 포함시킬 수 있다.
이와 같이, 본 발명에 따른 인페인팅 영역(711)을 확장함으로써, 마커 영역(710)의 경계면에서 발생할 수 있는 마커의 흔적을 보다 효율적으로 제거할 수 있다.
도 10은 본 발명의 일실시예에 따른 가상간접 광고 삽입을 위한 마커 제거 방법을 나타낸 동작 흐름도이다.
도 10을 참조하면, 본 발명의 일실시예에 따른 가상간접 광고 삽입을 위한 마커 제거 방법은 비디오의 프레임들에 포함된 마커를 인식한다(S1010).
이 때, 단계(S1010)는 기설정된 알고리즘에 의하거나, 사용자로부터 수신된 입력에 의하여 비디오의 프레임들에 포함된 마커를 인식할 수 있다.
또한, 본 발명의 일실시예에 따른 가상간접 광고 삽입을 위한 마커 제거 방법은 마커에 상응하는 마커 영역, 가상간접 광고가 삽입될 삽입 영역, 및 마커 영역 및 삽입 영역을 이용하여 마커 제거 영역을 결정한다(S1020).
이 때, 단계(S1020)는 마커 영역 및 삽입 영역을 기설정된 알고리즘에 의하여 결정하거나, 사용자로부터 수신된 입력에 의하여 결정할 수 있다.
이 때, 단계(S1020)는 마커 영역을 인페인팅 영역 및 비인페인팅 영역으로 나누고, 인페인팅 영역을 마커 제거 영역으로 결정할 수 있다.
이 때, 단계(S1020)는 마커 영역 내 마커 픽셀들 각각에 대해 삽입 영역 안에 존재하는지 여부를 판단하고, 삽입 영역 안에 존재하지 아니하는 마커 픽셀들을 인페인팅 영역으로 판단할 수 있다.
이 때, 단계(S1020)는 마커 영역 내 마커 픽셀들 각각에 대해 삽입 영역 안에 존재하는지 여부를 판단하고, 삽입 영역 안에 존재하는 마커 픽셀들을 비인페인팅 영역으로 판단할 수 있다.
즉, 비인페인팅 영역은 가상간접 광고에 가려서 보이지 않게 되는 마커 부분이므로 중첩되지 않는 영역에만 인페인팅을 수행하여도 무방하다.
따라서, 마커 전체에 대하여 인페인팅을 수행하는 것보다 인페인팅 연산 비용을 절감할 수 있다.
이 때, 단계(S1020)는 삽입 경계를 이루는 픽셀을 포함하는 삽입 경계 영역을 생성하고, 삽입 경계 영역 중 일부를 인페인팅 영역에 포함시킬 수 있다.
이 때, 단계(S1020)는 삽입 영역의 경계를 이루는 픽셀들 각각에 대해 삽입 영역의 경계로부터 기설정된 거리 내에 존재하는지 여부를 판단하고, 기설정된 거리 내에 존재하는 픽셀들로 이루어진 영역을 삽입 경계 영역으로 결정하고, 삽입 경계 영역을 고려하여 마커 제거 영역을 결정할 수 있다.
이 때, 단계(S1020)는 삽입 경계 영역 내 픽셀들 각각에 대해 마커 영역 및 삽입 영역 안에 존재하는지 여부를 판단하고, 마커 영역 및 삽입 영역 안에 존재하는 픽셀들을 인페인팅 영역에 포함시킬 수 있다.
이 때, 단계(S1020)는 마커 경계를 이루는 픽셀을 포함하는 마커 경계 영역을 생성하고, 마커 경계 영역 중 일부를 인페인팅 영역에 포함시킬 수 있다.
이 때, 단계(S1020)는 마커 영역의 경계를 이루는 픽셀들 각각에 대해 마커 영역의 경계로부터 기설정된 거리 내에 존재하는지 여부를 판단하고, 기설정된 거리 내에 존재하는 픽셀들로 이루어진 영역을 마커 경계 영역으로 결정하고, 마커 경계 영역을 고려하여 마커 제거 영역을 결정할 수 있다.
이 때, 단계(S1020)는 마커 경계 영역 내 픽셀들 각각에 대해 마커 영역 및 삽입 영역 안에 존재하는지 여부를 판단하고, 마커 영역 및 삽입 영역 안에 존재하지 아니하는 픽셀들을 인페인팅 영역에 포함시킬 수 있다.
또한, 본 발명의 일실시예에 따른 가상간접 광고 삽입을 위한 마커 제거 방법은 마커 제거 영역에만 인페인팅을 수행한다(S1030).
이 때, 단계(S1030)는 인페인팅 영역에 상응하는 영상을 구조영상과 질감영상으로 나누고, 구조영상에 대하여 인페인팅 영역의 외곽에 근접한 화소가 인페인팅 영역 내부로 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하여 가공 구조영상을 생성하고, 질감영상에 대하여 질감합성을 수행하여 가공 질감영상을 생성하고, 가공 구조영상 및 가공 질감영상을 합성할 수 있다.
이 때, 구조영상은 영상에 포함되어 있는 물체의 구조만을 포함하고 있는 영상일 수 있다. 즉, 물체의 모양, 색상, 밝기 등을 포함하고 있다.
이 때, 질감영상은 영상에 포함되어 있는 물체의 질감만을 포함하고 있는 영상일 수 있다. 즉, 물체의 무늬, 질감 등을 포함하고 있다.
이 때, 사람이 보기에는 명암값보다는 구조나 질감 등 영역의 속성에 더욱 민감하므로, 인페인팅을 수행할 때에 명암값에 기반한 인페인팅보다는 구조나 질감 등 영역의 속성에 기반한 인페인팅을 수행하는 것이 보다 자연스러운 영상으로 만들 수 있다.
이 때, 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하는 알고리즘의 경우, 인페인팅 대상의 영역의 구조를 연결해주어 보기 좋은 결과를 만들어내나, 질감이 있는 영역에 있어서는 영상에 번짐(blur)이 발생하는 단점이 있다.
이 때, 질감합성이란, 작은 샘플 이미지의 질감 정보로부터 큰 이미지의 질감 정보를 생성하는 것을 말한다. 즉, 인페인팅 영역을 제외한 영역에서 선택된 샘플 이미지의 질감 정보로부터 인페인팅 영역을 채울 큰 이미지의 질감 정보를 생성하는 것이다.
이 때, 샘플 이미지는 한 개의 샘플 이미지가 선택되어 질감합성이 수행될 수도 있고, 여러 개의 샘플 이미지가 선택되어 질감합성이 수행되어 하나의 큰 이미지를 생성할 수도 있다.
이 때, 단계(S1030)는 인페인팅 영역 및 인페인팅 영역을 제외한 영역을 각각 패치 단위로 나누고, 인페인팅 영역의 각 패치에 대하여 인페인팅 영역을 제외한 영역에서 가장 비슷한 패치를 선택하고, 인페인팅 영역의 각 패치에 대하여 선택된 패치를 합성할 수 있다.
이 때, 패치의 크기는 고정되지 않고 상황에 따라 패치의 크기가 달라질 수 있다.
이 때, 패치를 선택할 때에 우선순위 또는 가중치를 정해 가장 비슷한 패치를 선택할 수 있다. 이 때, 주변과 다른 희소성(sparsity)이 큰 패치에 우선순위를 둘 수 있다. 이 때, 거리에 따라 가중치를 둘 수 있다.
이 때, 하나의 패치를 선택하는 대신에 비 국부적 평균(nonlocal means)을 사용해서 여러 개의 후보 패치의 가중치 합을 구해서 선택할 수 있다. 또는 비 국부적 평균 대신에 국부적 패치 유사성(local patch cosistency)를 사용할 수 있다.
이 때, 단계(S1030)는 인페인팅 영역의 외곽에 상응하는 단위 영역부터 내부 방향으로 인페인팅을 수행할 수 있다.
따라서, 주위에 참조할 수 있는 영상이 존재하지 않는 인페인팅 영역의 내부에 상응하는 단위 영역에서의 인페인팅보다 자연스러운 인페인팅이 가능하고, 대상 영역이 끝나거나 비인페인팅 영역을 만날 때 인페인팅을 종료할 수 있어 더욱 효율적이다.
또한, 본 발명의 일실시예에 따른 가상간접 광고 삽입을 위한 마커 제거 방법은 마커 제거 영역의 인페인팅 후 삽입 영역에 가상간접 광고를 삽입한다(S1040).
도 10에 도시된 각 단계는 도 10에 도시된 순서, 그 역순 또는 동시에 수행될 수 있다.
본 발명에 따른 가상간접 광고 삽입을 위한 마커 제거 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 또는 스마트폰 앱으로 구현될 수 있다. 이 때, 프로그램 또는 스마트폰 앱은 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상에서와 같이 본 발명에 따른 가상간접 광고 삽입을 위한 마커 제거 장치 및 방법은 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.
본 발명에 의하면 촬영 현장에 직접 마커를 표시하고, 마커를 이용하여 가상간접 광고를 삽입할 영역을 결정하고 마커를 제거하는 경우, 마커를 제거할 영역을 가상간접 광고가 삽입될 영역과 중첩되지 않는 영역으로 한정하고 인페인팅을 수행한다. 특히, 최근 광고 시장 규모가 커지면서 드라마나 스포츠 방송 등에 광고 아이템에 관한 영상을 삽입하여 광고 효과를 배가하는 가상 간접 광고에 관심이 늘어는 추세를 감안하면, 본 발명의 가상간접 광고 삽입을 위한 마커 제거 기술은 그 활용도가 적지 않을 것이다.
110: 마커 인식부 120: 영역 결정부
130: 마커 제거부 140: 광고 삽입부
210: 영상 분리부 220: 구조 인페인팅부
230: 질감 합성부 240: 영상 합성부
310: 패치 분할부 320: 패치 선택부
330: 패치 합성부 400: 비디오 프레임
410: 마커 510: 가상간접 광고

Claims (21)

  1. 비디오의 프레임들에 포함된 마커를 인식하는 마커 인식부;
    상기 마커에 상응하는 마커 영역, 가상간접 광고가 삽입될 삽입 영역, 및 상기 마커 영역 및 삽입 영역을 이용하여 마커 제거 영역을 결정하는 영역 결정부;
    상기 마커 제거 영역에만 인페인팅을 수행하는 마커 제거부; 및
    상기 마커 제거 영역의 인페인팅 후 상기 삽입 영역에 상기 가상간접 광고를 삽입하는 광고 삽입부
    를 포함하는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 장치.
  2. 청구항 1에 있어서,
    상기 영역 결정부는
    상기 마커 영역을 인페인팅 영역 및 비인페인팅 영역으로 나누고, 상기 인페인팅 영역을 상기 마커 제거 영역으로 결정하는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 장치.
  3. 청구항 2에 있어서,
    상기 영역 결정부는
    상기 마커 영역 내 마커 픽셀들 각각에 대해 상기 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 삽입 영역 안에 존재하지 아니하는 마커 픽셀들을 상기 인페인팅 영역으로 판단하는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 장치.
  4. 청구항 3에 있어서,
    상기 영역 결정부는
    상기 마커 영역 내 마커 픽셀들 각각에 대해 상기 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 삽입 영역 안에 존재하는 마커 픽셀들을 상기 비인페인팅 영역으로 판단하는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 장치.
  5. 청구항 4에 있어서,
    상기 영역 결정부는
    상기 삽입 경계를 이루는 픽셀을 포함하는 삽입 경계 영역을 생성하고, 상기 삽입 경계 영역 중 일부를 상기 인페인팅 영역에 포함시키는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 장치.
  6. 청구항 5에 있어서,
    상기 영역 결정부는
    상기 삽입 영역의 경계를 이루는 픽셀들 각각에 대해 상기 삽입 영역의 경계로부터 기설정된 거리 내에 존재하는지 여부를 판단하고, 상기 기설정된 거리 내에 존재하는 픽셀들로 이루어진 영역을 삽입 경계 영역으로 결정하고, 상기 삽입 경계 영역을 고려하여 상기 마커 제거 영역을 결정하는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 장치.
  7. 청구항 6에 있어서,
    상기 영역 결정부는
    상기 삽입 경계 영역 내 픽셀들 각각에 대해 상기 마커 영역 및 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 마커 영역 및 삽입 영역 안에 존재하는 픽셀들을 상기 인페인팅 영역에 포함시키는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 장치.
  8. 청구항 7에 있어서,
    상기 마커 제거부는
    상기 인페인팅 영역에 상응하는 영상을 구조영상과 질감영상으로 나누는 영상 분리부;
    상기 구조영상에 대하여 상기 인페인팅 영역의 외곽에 근접한 화소가 인페인팅 영역 내부로 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하여 가공 구조영상을 생성하는 구조 인페인팅부;
    상기 질감영상에 대하여 질감합성을 수행하여 가공 질감영상을 생성하는 질감 합성부; 및
    상기 가공 구조영상 및 상기 가공 질감영상을 합성하는 영상 합성부
    를 포함하는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 장치.
  9. 청구항 7에 있어서,
    상기 마커 제거부는
    상기 인페인팅 영역 및 상기 인페인팅 영역을 제외한 영역을 각각 패치 단위로 나누는 패치 분할부;
    상기 인페인팅 영역의 각 패치에 대하여 상기 인페인팅 영역을 제외한 영역에서 가장 비슷한 패치를 선택하는 패치 선택부; 및
    상기 인페인팅 영역의 각 패치에 대하여 상기 선택된 패치를 합성하는 패치 합성부
    를 포함하는 것을 특징으로 하는 가상간접 광고 서비스 장치.
  10. 청구항 8에 있어서,
    상기 인페인팅부는
    상기 인페인팅 영역의 외곽에 상응하는 단위 영역부터 내부 방향으로 인페인팅을 수행하는 것을 특징으로 하는 가상간접 광고 서비스 장치.
  11. 청구항 5에 있어서,
    상기 영역 결정부는
    상기 마커 경계를 이루는 픽셀을 포함하는 마커 경계 영역을 생성하고, 상기 마커 경계 영역 중 일부를 상기 인페인팅 영역에 포함시키는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 장치.
  12. 청구항 11에 있어서,
    상기 영역 결정부는
    상기 마커 영역의 경계를 이루는 픽셀들 각각에 대해 상기 마커 영역의 경계로부터 기설정된 거리 내에 존재하는지 여부를 판단하고, 상기 기설정된 거리 내에 존재하는 픽셀들로 이루어진 영역을 마커 경계 영역으로 결정하고, 상기 마커 경계 영역을 고려하여 상기 마커 제거 영역을 결정하는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 장치.
  13. 청구항 12에 있어서,
    상기 영역 결정부는
    상기 마커 경계 영역 내 픽셀들 각각에 대해 상기 마커 영역 및 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 마커 영역 및 삽입 영역 안에 존재하지 아니하는 픽셀들을 상기 인페인팅 영역에 포함시키는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 장치.
  14. 비디오의 프레임들에 포함된 마커를 인식하는 단계;
    상기 마커에 상응하는 마커 영역, 가상간접 광고가 삽입될 삽입 영역, 및 상기 마커 영역 및 삽입 영역을 이용하여 마커 제거 영역을 결정하는 단계;
    상기 마커 제거 영역에만 인페인팅을 수행하는 단계; 및
    상기 마커 제거 영역의 인페인팅 후 상기 삽입 영역에 상기 가상간접 광고를 삽입하는 단계
    를 포함하는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 방법.
  15. 청구항 14에 있어서,
    상기 마커 제거 영역을 결정하는 단계는
    상기 마커 영역을 인페인팅 영역 및 비인페인팅 영역으로 나누고, 상기 인페인팅 영역을 상기 마커 제거 영역으로 결정하는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 방법.
  16. 청구항 15에 있어서,
    상기 마커 제거 영역을 결정하는 단계는
    상기 마커 영역 내 마커 픽셀들 각각에 대해 상기 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 삽입 영역 안에 존재하지 아니하는 마커 픽셀들을 상기 인페인팅 영역으로 판단하는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 방법.
  17. 청구항 16에 있어서,
    상기 마커 제거 영역을 결정하는 단계는
    상기 마커 영역 내 마커 픽셀들 각각에 대해 상기 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 삽입 영역 안에 존재하는 마커 픽셀들을 상기 비인페인팅 영역으로 판단하는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 방법.
  18. 청구항 17에 있어서,
    상기 마커 제거 영역을 결정하는 단계는
    상기 삽입 경계를 이루는 픽셀을 포함하는 삽입 경계 영역을 생성하고, 상기 삽입 경계 영역 중 일부를 상기 인페인팅 영역에 포함시키는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 방법.
  19. 청구항 18에 있어서,
    상기 마커 제거 영역을 결정하는 단계는
    상기 삽입 영역의 경계를 이루는 픽셀들 각각에 대해 상기 삽입 영역의 경계로부터 기설정된 거리 내에 존재하는지 여부를 판단하고, 상기 기설정된 거리 내에 존재하는 픽셀들로 이루어진 영역을 삽입 경계 영역으로 결정하고, 상기 삽입 경계 영역을 고려하여 상기 마커 제거 영역을 결정하는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 방법.
  20. 청구항 19에 있어서,
    상기 마커 제거 영역을 결정하는 단계는
    상기 삽입 경계 영역 내 픽셀들 각각에 대해 상기 마커 영역 및 삽입 영역 안에 존재하는지 여부를 판단하고, 상기 마커 영역 및 삽입 영역 안에 존재하는 픽셀들을 상기 인페인팅 영역에 포함시키는 것을 특징으로 하는 가상간접 광고 삽입을 위한 마커 제거 방법.
  21. 청구항 14 내지 20 중 어느 한 항의 방법을 실행하기 위한 프로그램이 기록된 기록매체.
KR20140009195A 2014-01-24 2014-01-24 가상간접 광고 삽입을 위한 마커 제거 장치 및 방법 KR101503029B1 (ko)

Priority Applications (4)

Application Number Priority Date Filing Date Title
KR20140009195A KR101503029B1 (ko) 2014-01-24 2014-01-24 가상간접 광고 삽입을 위한 마커 제거 장치 및 방법
US14/898,450 US10904638B2 (en) 2014-01-24 2014-12-10 Device and method for inserting advertisement by using frame clustering
CN201480033739.0A CN105284122B (zh) 2014-01-24 2014-12-10 用于通过使用帧聚类来插入广告的装置和方法
PCT/KR2014/012159 WO2015111840A1 (ko) 2014-01-24 2014-12-10 프레임 클러스터링을 이용한 광고 삽입 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR20140009195A KR101503029B1 (ko) 2014-01-24 2014-01-24 가상간접 광고 삽입을 위한 마커 제거 장치 및 방법

Publications (1)

Publication Number Publication Date
KR101503029B1 true KR101503029B1 (ko) 2015-03-16

Family

ID=53027713

Family Applications (1)

Application Number Title Priority Date Filing Date
KR20140009195A KR101503029B1 (ko) 2014-01-24 2014-01-24 가상간접 광고 삽입을 위한 마커 제거 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101503029B1 (ko)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020047271A (ko) * 1999-10-25 2002-06-21 추후제출 광고 방법 및 광고 시스템
KR20060105910A (ko) * 2005-04-01 2006-10-12 한국전자통신연구원 특정 방송컨텐츠의 재생/저장을 위한 양방향 디지털 방송시스템 및 그 방법과, 그에 따른 양방향 디지털 방송 수신단말기 및 그 방법
KR20100015479A (ko) * 2007-03-12 2010-02-12 볼텍스 테크놀로지 서비스 리미티드 의도성 매칭

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20020047271A (ko) * 1999-10-25 2002-06-21 추후제출 광고 방법 및 광고 시스템
KR20060105910A (ko) * 2005-04-01 2006-10-12 한국전자통신연구원 특정 방송컨텐츠의 재생/저장을 위한 양방향 디지털 방송시스템 및 그 방법과, 그에 따른 양방향 디지털 방송 수신단말기 및 그 방법
KR20100015479A (ko) * 2007-03-12 2010-02-12 볼텍스 테크놀로지 서비스 리미티드 의도성 매칭

Similar Documents

Publication Publication Date Title
JP6672305B2 (ja) オブジェクト検出に基づき外挿画像を生成する方法及び装置
US7689062B2 (en) System and method for virtual content placement
JP2021511729A (ja) 画像、又はビデオデータにおいて検出された領域の拡張
JP7098601B2 (ja) 画像処理装置、撮像装置、画像処理方法、およびプログラム
US20160142792A1 (en) Device and method for inserting advertisement by using frame clustering
US10127643B2 (en) Inpainting device and method using segmentation of reference region
CN108111911B (zh) 基于自适应跟踪框分割的视频数据实时处理方法及装置
KR101485820B1 (ko) 지능형 동영상 메타 정보 생성 시스템
KR20190030870A (ko) 가상 크로마키 배경을 이용하여 영상을 합성하는 장치, 방법 및 컴퓨터 프로그램
US20140098246A1 (en) Method, Apparatus and Computer-Readable Recording Medium for Refocusing Photographed Image
KR20170097745A (ko) 재귀적 계층적 프로세스를 사용하여 외삽된 이미지를 생성하기 위한 장치 및 방법
KR101503029B1 (ko) 가상간접 광고 삽입을 위한 마커 제거 장치 및 방법
KR102135671B1 (ko) 가상간접 광고 서비스 방법 및 이를 위한 장치
KR101540613B1 (ko) 가상 광고 영상 선택 장치 및 방법
JP2013150203A (ja) 画像処理プログラム、装置及び方法
Chang et al. Transfer in photography composition
Chamaret et al. Video retargeting for stereoscopic content under 3D viewing constraints
CN115443662A (zh) 制作视频以用于内容插入
KR101264358B1 (ko) 자동화된 포토 모자이크 영상 생성 방법 및 시스템
KR101893142B1 (ko) 객체 영역 추출 방법 및 그 장치
KR101561083B1 (ko) 가상간접 광고 삽입을 위한 경계값 산출 장치 및 방법
KR102180478B1 (ko) 자막 검출 장치 및 그 방법
KR101458944B1 (ko) 포커스 정보를 이용한 스피커 좌표 지정 장치 및 방법
Liu et al. Star-effect simulation for photography
CN108875692B (zh) 基于关键帧处理技术的缩略影片生成方法、介质和计算设备

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180306

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190305

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20200305

Year of fee payment: 6