KR102135671B1 - 가상간접 광고 서비스 방법 및 이를 위한 장치 - Google Patents

Abstract

가상간접 광고 서비스 방법 및 이를 위한 장치가 개시된다. 비디오 영상 콘텐츠 내에 삽입될 가상간접 광고를 선택하고, 상기 가상간접 광고와 상기 비디오 영상 콘텐츠 내에 포함되어 있는 기존 광고를 비교하여 인페인팅 영역 및 비인페인팅 영역을 생성하여 상기 인페인팅 영역에만 인페인팅을 수행한 후 상기 비디오 영상 콘텐츠에 상기 가상간접 광고를 삽입하는 것이 가능하다.

Description

가상간접 광고 서비스 방법 및 이를 위한 장치 {METHOD OF SERVICING VIRTUAL INDIRECT ADVERTISEMENT AND APPARATUS FOR THE SAME}

본 발명은 가상간접 광고를 비디오 영상 콘텐츠에 삽입하여 제공하는 가상간접 광고 서비스 방법 및 이를 위한 장치에 관한 것으로, 특히 기존 광고의 영역을 포함하는 대상 영역 중 가상간접 광고의 영역과 중첩되지 않는 영역에만 인페인팅을 수행하여 비용을 절감할 수 있는 가상간접 광고 서비스 방법 및 이를 위한 장치에 관한 것이다.

최근 광고 시장 규모가 커지면서 드라마, 영화 및 스포츠 중계 방송을 하는 방송사 등은 드라마나 스포츠 방송 등에 광고 아이템에 관한 영상을 삽입하여 광고 효과를 배가하는 간접 광고(product placement, indirect advertising) 또는 가상 광고(virtual advertising)에 많은 관심을 기울이고 있다.

일반적으로 간접 광고는 영화, 드라마 등의 동영상을 제작할 때 광고 상품을 등장시켜 간접적으로 광고하는 마케팅 기법 중의 하나로서, 동영상을 제작할 당시부터 광고 상품을 소품 형식으로 배치하여 동영상 속에 자연스럽게 노출시켜 시청자들에게는 광고라는 생각이 들지 않도록 하면서 자연스럽게 광고 효과를 나타내도록 하는 방식을 말한다.

이에 반해 가상 광고는 동영상의 제작 당시에는 존재하지 않은 광고 상품 등을 가상 이미징(virtual imaging) 방식을 이용하여 영화, 드라마, 스포츠 중계 방송 등의 동영상에 가상의 광고 영상을 삽입하는 형태의 광고를 말한다.

가상 이미징이란 각종 방송매체 및 영상물 생중계시, 특정 공간 또는 가상의 공간에 실시간으로 영상을 삽입하며 삽입된 영상은 트랙킹(tracking) 기술에 의해 특정지점에 고정되어 마치 실제로 해당 영상 화면 내에 포함되어 있는 것처럼 처리해주는 영상 처리 및 합성기법이다. 이러한 영상 처리 기법은 스포츠 생중계, 이벤트 생중계에 많이 이용되고 있으며, 그 밖의 광고 또는 경기 정보 이미지 제공 등의 다양한 응용분야에 적용되고 있다.

가상 광고는 이와 같은 영상 처리 기법을 광고 분야에 적용한 것으로서 광고주로부터 가상 광고 영상을 수신하거나 컴퓨터 그래픽을 이용하여 가상 광고 영상을 생성하고, 그 가상 광고 영상을 원본 동영상에 삽입함으로써 이 동영상을 시청하는 시청자에게 광고 영상을 노출한다.

이 때, 기존 광고가 차지하던 영역에 인페인팅을 수행하여 주변의 영상과 어울리도록 가공하여야 한다. 이 때, 특정 물체에 대하여 인페인팅을 수행하여 삭제하는 작업은 상당한 비용이 소모되는 작업이다. 특히, 정지 화상이 아닌 영상의 경우에는 그 비용이 훨씬 늘어날 것이다.

즉, 인페인팅을 수행하는 영역을 최소한으로 줄일 수 있다면 연산 비용이 최대한 절감될 수 있고, 가상간접 광고의 이익을 최대한으로 증가시킬 수 있다.

미국등록특허 6987520호는 타일기반으로 외곽영역부터 채워오는 인페인팅 기술에서, 어느 포인트부터 채울지에 관련된 기술로, 등광도선 기반 가중치에 따라 우선적으로 채울 타일을 결정하는 기술을 개시하고 있다. 그러나, 미국등록특허 6987520호는 인페인팅 효율을 높일 수 있을 뿐, 인페인팅을 수행할 영역을 좁히지 못한다는 치명적인 문제점이 있다. 또한, 한국등록특허 2013-0056407호는 화질 왜곡을 최소화하고 영상의 품질을 높이기 위해 인페인팅 기술을 활용하여, 전반적인 화질에 중요한 영향을 주는 외곽선 영역을 자동으로 검출하는 기술을 개시하고 있다. 그러나, 한국등록특허 2013-0056407호는 영상의 품질을 높이기 위하여 인페인팅 기술을 활용할 뿐, 인페인팅의 대상이 되는 영역을 최소화하여 연산 비용을 절감하는 기술과는 관련이 없다. 또한, 한국공개특허 2011-0146114호는 캡처된 윈도우의 이미지의 각 픽셀의 색상값을 배열화하고, 동일한 색상의 픽셀이 사전 설정된 기준 행 개수 및 기준 열 개수 이상의 매트릭스로 배치된 영역이 존재하는지에 따라 광고용 공백 영역으로 결정하는 기술을 개시하고 있다. 그러나, 한국공개특허 2011-0146114호는 특정 웹 사이트를 방문하지 않더라도 광고주의 광고를 노출시키기 위한 기술일 뿐, 가상간접 광고를 삽입하기 위한 인페인팅의 대상 영역을 특정하지 못하는 단점이 있다.

따라서, 비디오 영상 콘텐츠에 기존 광고 대신 가상간접 광고를 삽입할 때에 인페인팅 영역을 최소한으로 축소하여 인페인팅을 수행할 수 있는 새로운 가상간접 광고 서비스 기술의 필요성이 대두된다.

본 발명의 목적은, 비디오 영상 콘텐츠 내에 기존 광고 대신 가상간접 광고를 삽입하고, 기존 광고의 영역에 인페인팅을 수행하여 주위 영상과 어울리게 가공하는 것이다.

또한, 본 발명의 목적은 인페인팅을 수행할 영역을 기존 광고의 영역 중 가상간접 광고의 영역과 중첩되지 않는 영역으로 한정하여 인페인팅을 수행하여 인페인팅에 소요되는 연산 비용을 절감하는 것이다.

또한, 본 발명의 목적은 인페인팅에 소요되는 연산 비용을 절감하여 가상간접 광고의 광고 이익을 극대화하는 것이다.

상기한 목적을 달성하기 위한 본 발명에 따른 가상간접 광고 서비스 장치는, 비디오 영상 콘텐츠 내에 삽입될 가상간접 광고를 선택하는 광고 선택부; 상기 가상간접 광고와 상기 비디오 영상 콘텐츠 내에 포함되어 있는 기존 광고를 비교하여 인페인팅 영역 및 비인페인팅 영역을 생성하는 인페인팅 영역 생성부; 상기 인페인팅 영역에만 인페인팅을 수행하는 인페인팅부; 및 상기 인페인팅 영역에 대한 인페인팅 후 상기 비디오 영상 콘텐츠에 상기 가상간접 광고를 삽입하는 광고 삽입부를 포함한다.

이 때, 인페인팅 영역 생성부는 기존 광고의 영역을 포함하는 대상 영역을 생성하고, 상기 대상 영역을 나누어 상기 인페인팅 영역 및 상기 비인페인팅 영역을 각각 생성할 수 있다.

이 때, 인페인팅 영역은 상기 대상 영역 중 상기 가상간접 광고의 영역과 중첩되지 않는 영역일 수 있다.

이 때, 비인페인팅 영역은 상기 대상 영역 중 상기 가상간접 광고의 영역과 중첩되는 영역일 수 있다.

이 때, 인페인팅부는 상기 인페인팅 영역의 외곽에 상응하는 단위 영역부터 내부 방향으로 인페인팅을 수행할 수 있다.

이 때, 인페인팅부는 상기 인페인팅 영역에 상응하는 영상을 구조영상과 질감영상으로 나누는 영상 분리부; 상기 구조영상에 대하여 상기 인페인팅 영역의 외곽에 근접한 화소가 인페인팅 영역 내부로 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하여 가공 구조영상을 생성하는 구조 인페인팅부; 상기 질감영상에 대하여 질감합성을 수행하여 가공 질감영상을 생성하는 질감 합성부; 및 상기 가공 구조영상 및 상기 가공 질감영상을 합성하는 영상 합성부를 포함할 수 있다.

이 때, 인페인팅부는 상기 인페인팅 영역 및 상기 인페인팅 영역을 제외한 영역을 각각 패치 단위로 나누는 패치 분할부; 상기 인페인팅 영역의 각 패치에 대하여 상기 인페인팅 영역을 제외한 영역에서 가장 비슷한 패치를 선택하는 패치 선택부; 및 상기 인페인팅 영역의 각 패치에 대하여 상기 선택된 패치를 합성하는 패치 합성부를 포함할 수 있다.

또한, 본 발명에 따른 가상간접 광고 서비스 방법은, 비디오 영상 콘텐츠 내에 삽입될 가상간접 광고를 선택하는 단계; 상기 가상간접 광고와 상기 비디오 영상 콘텐츠 내에 포함되어 있는 기존 광고를 비교하여 인페인팅 영역 및 비인페인팅 영역을 생성하는 단계; 상기 인페인팅 영역에만 인페인팅을 수행하는 단계; 및 상기 인페인팅 영역에 대한 인페인팅 후 상기 비디오 영상 콘텐츠에 상기 가상간접 광고를 삽입하는 단계를 포함한다.

이 때, 인페인팅 영역 및 비인페인팅 영역을 생성하는 단계는 기존 광고의 영역을 포함하는 대상 영역을 생성하고, 상기 대상 영역을 나누어 상기 인페인팅 영역 및 상기 비인페인팅 영역을 각각 생성할 수 있다.

이 때, 인페인팅 영역은 상기 기존 광고의 영역 중 상기 가상간접 광고의 영역과 중첩되지 않는 영역일 수 있다.

이 때, 비인페인팅 영역은 상기 기존 광고의 영역 중 상기 가상간접 광고의 영역과 중첩되는 영역일 수 있다.

이 때, 인페인팅을 수행하는 단계는 상기 인페인팅 영역의 외곽에 상응하는 단위 영역부터 내부 방향으로 인페인팅을 수행할 수 있다.

이 때, 인페인팅을 수행하는 단계는 상기 인페인팅 영역에 상응하는 영상을 구조영상과 질감영상으로 나누는 단계; 상기 구조영상에 대하여 상기 인페인팅 영역의 외곽에 근접한 화소가 인페인팅 영역 내부로 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하여 가공 구조영상을 생성하는 단계; 상기 질감영상에 대하여 질감합성을 수행하여 가공 질감영상을 생성하는 단계; 및 상기 가공 구조영상 및 상기 가공 질감영상을 합성하는 단계를 포함할 수 있다.

이 때, 인페인팅을 수행하는 단계는 상기 인페인팅 영역 및 상기 인페인팅 영역을 제외한 영역을 각각 패치 단위로 나누는 단계; 상기 인페인팅 영역의 각 패치에 대하여 상기 인페인팅 영역을 제외한 영역에서 가장 비슷한 패치를 선택하는 단계; 및 상기 인페인팅 영역의 각 패치에 대하여 상기 선택된 패치를 합성하는 단계를 포함할 수 있다.

본 발명에 따르면, 비디오 영상 콘텐츠 내에 기존 광고 대신 가상간접 광고를 삽입하고, 기존 광고의 영역에 인페인팅을 수행하여 주위 영상과 어울리게 가공할 수 있다.

또한, 본 발명은 인페인팅을 수행할 영역을 기존 광고의 영역 중 가상간접 광고의 영역과 중첩되지 않는 영역으로 한정하여 인페인팅을 수행하여 인페인팅에 소요되는 연산 비용을 절감할 수 있다.

또한, 본 발명은 인페인팅에 소요되는 연산 비용을 절감하여 가상간접 광고의 광고 이익을 극대화할 수 있다.

도 1은 본 발명의 일실시예에 따른 가상간접 광고 서비스 장치를 나타낸 블록도이다.
도 2는 도 1에 도시된 인페인팅부의 일 예를 나타낸 블록도이다.
도 3은 도 1에 도시된 인페인팅부의 다른 예를 나타낸 블록도이다.
도 4는 본 발명의 일실시예에 따른 인페인팅 영역의 일 예를 나타낸 도면이다.
도 5는 본 발명의 일실시예에 따른 가상간접 광고가 삽입된 비디오 영상 콘텐츠의 일 예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 따른 가상간접 광고 서비스 방법의 일 예를 나타낸 동작 흐름도이다.
도 7는 도 6에 도시된 인페인팅을 수행하는 단계의 일 예를 나타낸 동작 흐름도이다.
도 8은 도 6에 도시된 인페인팅을 수행하는 단계의 다른 예를 나타낸 동작 흐름도이다.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.

이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.

도 1은 본 발명의 일실시예에 따른 가상간접 광고 서비스 장치를 나타낸 블록도이다.

도 1을 참조하면, 본 발명의 일실시예에 따른 가상간접 광고 서비스 장치는 광고 선택부(110), 인페인팅 영역 생성부(120), 인페인팅부(130) 및 광고 삽입부(140)를 포함한다.

광고 선택부(110)는 비디오 영상 콘텐츠 내에 삽입될 가상간접 광고를 선택한다.

인페인팅 영역 생성부(120)는 상기 가상간접 광고와 상기 비디오 영상 콘텐츠 내에 포함되어 있는 기존 광고를 비교하여 인페인팅 영역 및 비인페인팅 영역을 생성한다.

이 때, 인페인팅 영역 생성부(120)는 상기 기존 광고의 영역을 포함하는 대상 영역을 생성하고, 상기 대상 영역을 나누어 상기 인페인팅 영역 및 상기 비인페인팅 영역을 각각 생성할 수 있다.

이 때, 대상 영역은 기존 광고의 영역을 포함하는 영역으로, 기설정된 알고리즘에 의하여 설정될 수도 있고 사용자로부터 수신된 입력에 의하여 설정될 수도 있다.

이 때, 비인페인팅 영역은 상기 가상간접 광고가 삽입됨으로 인하여 완전히 가려지는 영역일 수 있다. 이 때, 비인페인팅 영역은 삽입되는 가상간접 광고보다 작거나 같은 영역일 수 있다.

이 때, 인페인팅 영역은 상기 대상 영역에서 상기 비인페인팅 영역을 제외한 영역일 수 있다.

즉, 비인페인팅 영역은 상기 가상간접 광고에 가려서 보이지 않게 되므로 중첩되지 않는 영역에만 인페인팅을 수행하여도 무방하다.

따라서, 상기 대상 영역 전체에 대하여 인페인팅을 수행하는 것보다 인페인팅 연산 비용을 절감할 수 있다.

인페인팅부(130)는 상기 인페인팅 영역에만 인페인팅을 수행한다.

이 때, 인페인팅부(130)는 상기 인페인팅 영역의 외곽에 상응하는 단위 영역부터 내부 방향으로 인페인팅을 수행할 수 있다.

따라서, 주위에 참조할 수 있는 영상이 존재하지 않는 상기 인페인팅 영역의 내부에 상응하는 단위 영역에서의 인페인팅보다 자연스러운 인페인팅이 가능하고, 상기 대상 영역이 끝나거나 비인페인팅 영역을 만날 때 인페인팅을 종료할 수 있어 더욱 효율적이다.

광고 삽입부(140)는 상기 인페인팅 영역에 대한 인페인팅 후 상기 비디오 영상 콘텐츠에 상기 가상간접 광고를 삽입한다.

도 2는 도 1에 도시된 인페인팅부의 일 예를 나타낸 블록도이다.

도 2를 참조하면, 도 1에 도시된 인페인팅부는 영상 분리부(210), 구조 인페인팅부(220), 질감 합성부(230) 및 영상 합성부(240)를 포함한다.

영상 분리부(210)는 상기 인페인팅 영역에 상응하는 구조영상(structure image)과 질감영상(texture image)으로 나눈다.

이 때, 구조영상은 영상에 포함되어 있는 물체의 구조만을 포함하고 있는 영상일 수 있다. 즉, 상기 물체의 모양, 색상, 밝기 등을 포함하고 있다.

이 때, 질감영상은 영상에 포함되어 있는 물체의 질감만을 포함하고 있는 영상일 수 있다. 즉, 상기 물체의 무늬, 질감 등을 포함하고 있다.

사람이 보기에는 명암값보다는 구조나 질감 등 영역의 속성에 더욱 민감하므로, 인페인팅을 수행할 때에 명암값에 기반한 인페인팅보다는 구조나 질감 등 영역의 속성에 기반한 인페인팅을 수행하는 것이 보다 자연스러운 영상으로 만들 수 있다.

따라서, 구조와 질감에 대해 인페인팅을 수행하되, 영역의 구조에 대해 최적의 결과가 생성되는 알고리즘과 영역의 질감에 대해 최적의 결과가 생성되는 알고리즘이 각각 상이하므로, 영역의 구조와 질감 각각에 대하여 최적의 인페인팅을 수행하고 각각의 결과를 하나의 영상으로 합성함으로써 더욱 자연스러운 인페인팅이 가능하다.

구조 인페인팅부(220)는 상기 구조영상에 대하여 상기 인페인팅 영역의 외곽에 근접한 화소가 인페인팅 영역 내부로 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하여 가공 구조영상을 생성한다.

이 때, 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하는 알고리즘의 경우, 인페인팅 대상의 영역의 구조를 연결해주어 보기 좋은 결과를 만들어내나, 질감이 있는 영역에 있어서는 영상에 번짐(blur)이 발생하는 단점이 있다.

따라서, 인페인팅 영역에 상응하는 영상의 질감 정보는 인페인팅할 수 없으나, 구조 정보는 인페인팅할 수 있다.

질감 합성부(230)는 상기 질감영상에 대하여 질감합성을 수행하여 가공 질감영상을 생성한다.

이 때, 질감합성이란, 작은 샘플 이미지의 질감 정보로부터 큰 이미지의 질감 정보를 생성하는 것을 말한다. 즉, 인페인팅 영역을 제외한 영역에서 선택된 샘플 이미지의 질감 정보로부터 인페인팅 영역을 채울 큰 이미지의 질감 정보를 생성하는 것이다.

이 때, 상기 샘플 이미지는 한 개의 샘플 이미지가 선택되어 질감합성이 수행될 수도 있고, 여러 개의 샘플 이미지가 선택되어 질감합성이 수행되어 하나의 큰 이미지를 생성할 수도 있다.

따라서, 인페인팅 영역에 상응하는 영상의 구조 정보는 인페인팅할 수 없으나, 질감 정보는 인페인팅할 수 있다.

영상 합성부(240)는 상기 가공 구조영상 및 상기 가공 질감영상을 합성한다.

따라서, 인페인팅 영역에 상응하는 영상의 구조 및 질감에 대하여 모두 인페인팅이 수행된 영상을 얻을 수 있다.

도 3은 도 1에 도시된 인페인팅부의 다른 예를 나타낸 블록도이다.

도 3을 참조하면, 도 1에 도시된 인페인팅부는 패치 분할부(310), 패치 선택부(320) 및 패치 합성부(330)를 포함한다.

패치 분할부(310)는 상기 인페인팅 영역 및 상기 인페인팅 영역을 제외한 영역을 각각 패치 단위로 나눈다.

이 때, 패치의 크기는 고정되지 않고 상황에 따라 패치의 크기가 달라질 수 있다.

패치 선택부(320)는 상기 인페인팅 영역의 각 패치에 대하여 상기 인페인팅 영역을 제외한 영역에서 가장 비슷한 패치를 선택할 수 있다.

이 때, 패치를 선택할 때에 우선순위 또는 가중치를 정해 가장 비슷한 패치를 선택할 수 있다. 이 때, 주변과 다른 희소성(sparsity)이 큰 패치에 우선순위를 둘 수 있다. 이 때, 거리에 따라 가중치를 둘 수 있다.

이 때, 하나의 패치를 선택하는 대신에 비 국부적 평균(nonlocal means)을 사용해서 여러 개의 후보 패치의 가중치 합을 구해서 선택할 수 있다. 또는 비 국부적 평균 대신에 국부적 패치 유사성(local patch cosistency)를 사용할 수 있다.

패치 합성부(330)는 상기 인페인팅 영역의 각 패치에 대하여 상기 선택된 패치를 합성한다.

도 4는 본 발명의 일실시예에 따른 인페인팅 영역의 일 예를 나타낸 도면이다.

도 4를 참조하면, 본 발명의 일실시예에 따른 가상간접 광고가 삽입된 비디오 영상 콘텐츠는 기존 광고의 영역(410), 대상 영역(420), 가상간접 광고(430) 및 비인페인팅 영역(440)을 포함한다.

기존 광고의 영역(410)을 포함하는 대상 영역(420)을 생성한다.

이 때, 대상 영역(420)은 기설정된 알고리즘에 의하여 설정될 수도 있고 사용자로부터 수신된 입력에 의하여 설정될 수도 있다.

이 때, 대상 영역(420)은 기존 광고의 영역(410)과 무관한 모양일 수도 있고, 기존 광고의 영역(410)의 모양을 유지하며 기존 광고의 영역(410)을 포함하도록 생성될 수도 있다.

비인페인팅 영역(440)은 가상간접 광고(430)가 삽입됨으로 인하여 완전히 가려지는 영역이다. 이 때, 삽입되는 가상간접 광고(430)의 영역과 동일할 수도 있으나, 더 작을 수도 있다.

인페인팅 영역은 상기 대상 영역(420)에서 상기 비인페인팅 영역(440)을 제외한 영역이다.

상기 인페인팅 영역에만 인페인팅을 수행함으로써 상기 대상 영역(420) 전체에 인페인팅을 수행하는 것보다 인페인팅의 연산 비용을 절감할 수 있다.

도 5는 본 발명의 일실시예에 따른 가상간접 광고가 삽입된 비디오 영상 콘텐츠의 일 예를 나타낸 도면이다.

도 5를 참조하면, 본 발명의 일실시예에 따른 가상간접 광고가 삽입된 비디오 영상 콘텐츠는 인페인팅 영역(510) 및 가상간접 광고(520)를 포함한다.

인페인팅 영역(510)은 상기 가상간접 광고(520)와 비디오 영상 콘텐츠 내에 포함되어 있는 기존 광고를 비교하여 생성된 영역이다.

이 때, 인페인팅 영역(510 및 511)은 연속되지 않는 두 개 이상의 영역으로 분리될 수 있다.

기존 광고의 영역을 포함하는 대상 영역을 생성한다.

이 때, 대상 영역은 기설정된 알고리즘에 의하여 설정될 수도 있고 사용자로부터 수신된 입력에 의하여 설정될 수도 있다.

이 때, 대상 영역은 기존 광고의 영역과 무관한 모양일 수도 있고, 기존 광고의 영역의 모양을 유지하며 기존 광고의 영역을 포함하도록 생성될 수도 있다.

비인페인팅 영역은 가상간접 광고(520)가 삽입됨으로 인하여 완전히 가려지는 영역이다. 이 때, 삽입되는 가상간접 광고(520)의 영역과 동일할 수도 있으나, 더 작을 수도 있다.

인페인팅 영역(510 및 511)은 상기 대상 영역에서 상기 비인페인팅 영역을 제외한 영역이다.

상기 인페인팅 영역(510 및 511)에만 인페인팅을 수행함으로써 상기 대상 영역 전체에 인페인팅을 수행하는 것보다 인페인팅의 연산 비용을 절감할 수 있다.

도 6은 본 발명의 일실시예에 따른 가상간접 광고 서비스 방법의 일 예를 나타낸 동작 흐름도이다.

도 6을 참조하면, 본 발명의 일실시예에 따른 가상간접 광고 서비스 방법은 비디오 영상 콘텐츠 내에 삽입될 가상간접 광고를 선택한다(S610).

또한, 본 발명의 일실시예에 따른 가상간접 광고 서비스 방법은 상기 가상간접 광고와 상기 비디오 영상 콘텐츠 내에 포함되어 있는 기존 광고를 비교하여 인페인팅 영역 및 비인페인팅 영역을 생성한다(S620).

이 때, 인페인팅 영역 및 비인페인팅 영역을 생성하는 단계(120)는 상기 기존 광고의 영역을 포함하는 대상 영역을 생성하고, 상기 대상 영역을 나누어 상기 인페인팅 영역 및 상기 비인페인팅 영역을 각각 생성할 수 있다.

이 때, 대상 영역은 기존 광고의 영역을 포함하는 영역으로, 기설정된 알고리즘에 의하여 설정될 수도 있고 사용자로부터 수신된 입력에 의하여 설정될 수도 있다.

이 때, 비인페인팅 영역은 상기 가상간접 광고가 삽입됨으로 인하여 완전히 가려지는 영역일 수 있다. 이 때, 비인페인팅 영역은 삽입되는 가상간접 광고보다 작거나 같은 영역일 수 있다.

이 때, 인페인팅 영역은 상기 대상 영역에서 상기 비인페인팅 영역을 제외한 영역일 수 있다.

즉, 비인페인팅 영역은 상기 가상간접 광고에 가려서 보이지 않게 되므로 중첩되지 않는 영역에만 인페인팅을 수행하여도 무방하다.

따라서, 상기 인페인팅 영역 전체에 대하여 인페인팅을 수행하는 것보다 인페인팅 연산 비용을 절감할 수 있다.

이 때, 비인페인팅 영역은 상기 대상 영역 중 상기 가상간접 광고의 영역과 중첩되는 영역일 수 있다.

상기 대상 영역과 상기 가상간접 광고의 영역이 중첩되는 부분은 상기 가상간접 광고에 가려지므로 인페인팅을 하지 않는 비인페인팅 영역으로 생성해도 무방하다.

또한, 본 발명의 일실시예에 따른 가상간접 광고 서비스 방법은 상기 인페인팅 영역에만 인페인팅을 수행한다(S630).

이 때, 인페인팅을 수행하는 단계는 상기 인페인팅 영역의 외곽에 상응하는 단위 영역부터 내부 방향으로 인페인팅을 수행할 수 있다.

따라서, 주위에 참조할 수 있는 영상이 존재하지 않는 상기 인페인팅 영역의 내부에 상응하는 단위 영역에서의 인페인팅보다 자연스러운 인페인팅이 가능하고, 대상 영역이 끝나거나 비인페인팅 영역을 만날 때 인페인팅을 종료할 수 있어 더욱 효율적이다.

또한, 본 발명의 일실시예에 따른 가상간접 광고 서비스 방법은 상기 인페인팅 영역에 대한 인페인팅 후 상기 비디오 영상 콘텐츠에 상기 가상간접 광고를 삽입한다(S640).

도 7은 도 6에 도시된 인페인팅을 수행하는 단계의 일 예를 나타낸 동작 흐름도이다.

도 7을 참조하면, 도 6에 도시된 인페인팅을 수행하는 단계는 상기 인페인팅 영역에 상응하는 영상을 구조영상(structure image)과 질감영상(texture image)으로 나눈다(S710).

이 때, 구조영상은 영상에 포함되어 있는 물체의 구조만을 포함하고 있는 영상일 수 있다. 즉, 상기 물체의 모양, 색상, 밝기 등을 포함하고 있다.

이 때, 질감영상은 영상에 포함되어 있는 물체의 질감만을 포함하고 있는 영상일 수 있다. 즉, 상기 물체의 무늬, 질감 등을 포함하고 있다.

사람이 보기에는 명암값보다는 구조나 질감 등 영역의 속성에 더욱 민감하므로, 인페인팅을 수행할 때에 명암값에 기반한 인페인팅보다는 구조나 질감 등 영역의 속성에 기반한 인페인팅을 수행하는 것이 보다 자연스러운 영상으로 만들 수 있다.

따라서, 구조와 질감에 대해 인페인팅을 수행하되, 영역의 구조에 대해 최적의 결과가 생성되는 알고리즘과 영역의 질감에 대해 최적의 결과가 생성되는 알고리즘이 각각 상이하므로, 영역의 구조와 질감 각각에 대하여 최적의 인페인팅을 수행하고 각각의 결과를 하나의 영상으로 합성함으로써 더욱 자연스러운 인페인팅이 가능하다.

또한, 도 6에 도시된 인페인팅을 수행하는 단계는 상기 구조영상에 대하여 상기 인페인팅 영역의 외곽에 근접한 화소가 인페인팅 영역 내부로 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하여 가공 구조영상을 생성한다(S720).

이 때, 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하는 알고리즘의 경우, 인페인팅 대상의 영역의 구조를 연결해주어 보기 좋은 결과를 만들어내나, 질감이 있는 영역에 있어서는 영상에 번짐(blur)이 발생하는 단점이 있다.

따라서, 인페인팅 영역에 상응하는 영상의 질감 정보는 인페인팅할 수 없으나, 구조 정보는 인페인팅할 수 있다.

또한 도 6에 도시된 인페인팅을 수행하는 단계는 상기 질감영상에 대하여 질감합성을 수행하여 가공 질감영상을 생성한다(S730).

이 때, 질감합성이란, 작은 샘플 이미지의 질감 정보로부터 큰 이미지의 질감 정보를 생성하는 것을 말한다. 즉, 인페인팅 영역을 제외한 영역에서 선택된 샘플 이미지의 질감 정보로부터 인페인팅 영역을 채울 큰 이미지의 질감 정보를 생성하는 것이다.

이 때, 상기 샘플 이미지는 한 개의 샘플 이미지가 선택되어 질감합성이 수행될 수도 있고, 여러 개의 샘플 이미지가 선택되어 질감합성이 수행되어 하나의 큰 이미지를 생성할 수도 있다.

따라서, 인페인팅 영역에 상응하는 영상의 구조 정보는 인페인팅할 수 없으나, 질감 정보는 인페인팅할 수 있다.

또한 도 6에 도시된 인페인팅을 수행하는 단계는 상기 가공 구조영상 및 상기 가공 질감영상을 합성한다(S740).

따라서, 인페인팅 영역에 상응하는 영상의 구조 정보 및 질감 정보에 대하여 모두 인페인팅이 수행된 영상을 얻을 수 있다.

도 8은 도 6에 도시된 인페인팅을 수행하는 단계의 다른 예를 나타낸 동작 흐름도이다.

도 8을 참조하면, 도 6에 도시된 인페인팅을 수행하는 단계는 상기 인페인팅 영역 및 상기 인페인팅 영역을 제외한 영역을 각각 패치 단위로 나눈다(S810).

이 때, 패치의 크기는 고정되지 않고 상황에 따라 패치의 크기가 달라질 수 있다.

또한 도 6에 도시된 인페인팅을 수행하는 단계는 상기 인페인팅 영역의 각 패치에 대하여 상기 인페인팅 영역을 제외한 영역에서 가장 비슷한 패치를 선택한다(S820).

이 때, 패치를 선택할 때에 우선순위 또는 가중치를 정해 가장 비슷한 패치를 선택할 수 있다. 이 때, 주변과 다른 희소성(sparsity)이 큰 패치에 우선순위를 둘 수 있다. 이 때, 거리에 따라 가중치를 둘 수 있다.

이 때, 하나의 패치를 선택하는 대신에 비 국부적 평균(nonlocal means)을 사용해서 여러 개의 후보 패치의 가중치 합을 구해서 선택할 수 있다. 또는 비 국부적 평균 대신에 국부적 패치 유사성(local patch cosistency)를 사용할 수 있다.

또한 도 6에 도시된 인페인팅을 수행하는 단계는 상기 인페인팅 영역의 각 패치에 대하여 상기 선택된 패치를 합성한다(S830).

도 6, 도 7 및 도 8에 도시된 각 단계는 도 6, 도 7 및 도 8에 도시된 순서, 그 역순 또는 동시에 수행될 수 있다.

본 발명에 따른 가상간접 광고 서비스 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 모든 형태의 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함할 수 있다. 이러한 하드웨어 장치는 본 발명의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.

이상에서와 같이 본 발명에 따른 가상간접 광고 서비스 방법 및 이를 위한 장치는 상기한 바와 같이 설명된 실시예들의 구성과 방법이 한정되게 적용될 수 있는 것이 아니라, 상기 실시예들은 다양한 변형이 이루어질 수 있도록 각 실시예들의 전부 또는 일부가 선택적으로 조합되어 구성될 수도 있다.

본 발명에 의하면 비디오 영상 콘텐츠 내에 기존 광고 대신 가상간접 광고를 삽입할 수 있다. 이 때, 기존 광고의 영역에 주위 영상과 어울리도록 인페인팅을 수행하여야 하는데, 기존 광고의 영역과 가상간접 광고의 영역을 비교하여 인페인팅을 수행하는 영역을 최소한으로 좁힐 수 있다. 따라서, 인페인팅에 소요되는 연산 비용을 절감할 수 있고, 가상간접 광고의 광고 이익을 극대화할 수 있다.

110: 광고 선택부 120: 인페인팅 영역 생성부
130: 인페인팅부 140: 광고 삽입부
210: 영상 분리부 220: 구조 인페인팅부
230: 질감합성부 240: 영상 합성부
310: 패치 분할부 320: 패치 선택부
330: 패치 합성부 410~ 411: 인페인팅 영역
420: 가상간접 광고

Claims (15)

1. 비디오 영상 콘텐츠 내에 삽입될 가상간접 광고를 선택하는 광고 선택부;
   상기 비디오 영상 콘텐츠 내에 포함되어 있는 기존 광고의 영역을 포함하며 상기 가상간접 광고가 표시될 대상 영역 중에서 상기 가상간접 광고가 삽입됨으로 인하여 가려지는 기존 광고 영역을 비인페인팅 영역으로 생성하고, 대상 영역에서 상기 비인페인딩 영역을 제외한 영역만 인페인팅이 필요한 인페인딩 영역으로 생성하는 인페인팅 영역 생성부;
   상기 인페인팅 영역에만 인페인팅을 수행하는 인페인팅부; 및
   상기 인페인팅 영역에 대한 인페인팅 후 상기 비디오 영상 콘텐츠에 상기 가상간접 광고를 삽입하는 광고 삽입부
   를 포함하는 것을 특징으로 하는 가상간접 광고 서비스 장치.
2. 삭제
3. 삭제
4. 삭제
5. 청구항 1에 있어서,
   상기 인페인팅부는
   상기 인페인팅 영역의 외곽에 상응하는 단위 영역부터 내부 방향으로 인페인팅을 수행하는 것을 특징으로 하는 가상간접 광고 서비스 장치.
6. 청구항 1에 있어서,
   상기 인페인팅부는
   상기 인페인팅 영역에 상응하는 영상을 구조영상과 질감영상으로 나누는 영상 분리부,
   상기 구조영상에 대하여 상기 인페인팅 영역의 외곽에 근접한 화소가 인페인팅 영역 내부로 명암값이 동일한 선을 따라 확산함으로써 인페인팅을 수행하여 가공 구조영상을 생성하는 구조 인페인팅부,
   상기 질감영상에 대하여 질감합성을 수행하여 가공 질감영상을 생성하는 질감 합성부 및
   상기 가공 구조영상 및 상기 가공 질감영상을 합성하는 영상 합성부
   를 포함하는 것을 특징으로 하는 가상간접 광고 서비스 장치.
7. 청구항 1에 있어서,
   상기 인페인팅부는
   상기 인페인팅 영역 및 상기 인페인팅 영역을 제외한 영역을 각각 패치 단위로 나누는 패치 분할부,
   상기 인페인팅 영역의 각 패치에 대하여 상기 인페인팅 영역을 제외한 영역에서 가장 비슷한 패치를 선택하는 패치 선택부 및
   상기 인페인팅 영역의 각 패치에 대하여 상기 선택된 패치를 합성하는 패치 합성부
   를 포함하는 것을 특징으로 하는 가상간접 광고 서비스 장치.
8. 삭제
9. 삭제
10. 삭제
11. 삭제
12. 삭제
13. 삭제
14. 삭제
15. 삭제

Images