KR20210120469A

KR20210120469A - 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법

Info

Publication number: KR20210120469A
Application number: KR1020200037211A
Authority: KR
Inventors: 천세욱; 김종헌
Original assignee: 주식회사 라온버드
Priority date: 2020-03-27
Filing date: 2020-03-27
Publication date: 2021-10-07
Also published as: US20230353839A1; KR102333438B1; WO2021194090A1; US11962873B2

Abstract

인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템이 개시된다. 상기 광고 분석 시스템은 중계되는 스포츠 영상에서 그라운드 영역이 차지하는 면적비를 추정하고, 상기 스포츠 영상에서 검출한 객체의 높이를 산출하여 상기 스포츠 영상의 씬(Scene)을 결정하는 씬 결정 모듈과 상기 결정된 씬에 따라 광고 영역을 생성하고, 생성된 광고 영역에서 검출한 광고 이미지를 상기 광고 영역의 광고 유형에 따라 분류하며, 분류한 광고 이미지가 공식 광고에 해당하는지 여부를 실시간으로 판정하는 광고 판정 모듈 및 상기 광고 판정 모듈로부터 공식 광고라 판정된 광고 이미지에 대한 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하고, 상기 분석 결과를 상기 스포츠 영상 내에 실시간으로 디스플레이하는 광고 효과 분석 모듈을 포함한다.

Description

인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법{ADVERTISEMENT ANALYSIS SYSTEM AND METHOD FOR SPORTS BROADCASTING VIDEO USING ARTIFICIAL INTELLIGENCE}

본 발명의 개념에 따른 실시 예는 스포츠 경기 중계 영상에서의 실시간 광고 분석 기술에 대한 것으로, 보다 상세하게는 인공지능을 이용하여 중계되는 스포츠 영상에서 카메라의 시점에 따라 광고 영역을 생성하고, 생성한 광고 영역에 등장하는 이미지를 검출하며, 검출한 이미지가 공식 광고에 해당하는 경우에만 광고 분석 결과를 스포츠 경기 중계 영상에 실시간 디스플레이하는 기술에 관한 것이다.

스포츠 경기는 각본없는 드라마라고 한다. 선수는 경기장에서 그동안의 노력을 쏟아내고 팬들은 경기가 끝날 때까지 누가 이길지 모르는 긴장감으로 경기에서 눈을 떼지 못한다. 팬들은 직접 뛰는 선수들 뒤에서 마음으로 함께 뛰며 경기를 관전하며, 같은 팀이나 선수를 응원하는 사람들은 공감대를 형성하며 급속하게 단결하고 친밀해진다. 이렇듯 스포츠는 사람의 마음을 움직이는 힘을 가지고 있다. 또한, 스포츠 경기는 미디어의 발달과 매우 밀접한 관련이 있으며, 소비자들은 스포츠 경기를 보면서 경기장 이곳 저곳에 배치되는 A보드, 관중석 배너, 3D배너 등에 표시되는 광고나 선수들의 유니폼에 새겨져 있는 기업 로고 등 무의식 중에 수많은 광고에 노출된다. 오래전부터 기업에서는 이러한 스포츠의 긍정적인 효과 및 미디어를 통한 스포츠 경기 중계를 마케팅에 이용해 왔다. 기업이 스포츠 스폰서에 참여하는 가장 큰 이유 중 하나는 독점적으로 제공되는 마케팅 권리와 TV 중계 또는 뉴스 등을 통해 노출되는 경기장의 보드 광고라 할 수 있다. 경기장 시설을 활용한 보드 광고는 단편적인 메시지 전달이나 브랜드 자체의 단순 노출이라는 한계도 존재하지만, 상대적으로 스폰서 기업의 브랜드 이미지 형성 및 강화에 보다 용이한 수단으로 평가받고 있어 오늘날 전통적인 기업 광고를 대신할 수 있는 새로운 방편으로 인식되고 있다. 그러나, 선수들의 움직임에 따라 중계 카메라의 시점이 역동적으로 변화하는 스포츠 경기의 특성상 이들 광고가 포착되는 시간이나 빈도 역시 확인하기 어려워 광고의 노출 효과를 구체적으로 가늠할 수는 없었다. 이에 스포츠 중계 영상 내의 광고 효과를 분석하기 위한 기술들이 제시되었으나, 종래의 기술들은 스포츠 중계 영상 내의 광고 효과를 분석하기 위해 스포츠 중계 영상을 녹화하고, 중계가 종료된 이후에나 녹화된 자료로부터 영상 및 이미지 파일을 추출하여 광고 효과를 분석할 뿐이었다. 이러한 종래의 분석 방법에 대해서는 공개특허 10-2013-0007379에 상세히 기재되어 있다.

특허공개번호 10-2013-0007379

본 발명이 해결하고자 하는 기술적인 과제는 스포츠 중계 영상에서 카메라의 시점에 따라 광고 영역을 자동으로 생성하고, 생성한 광고 영역에 등장하는 이미지를 실시간 검출하며, 검출한 이미지가 공식 광고에 해당하는 경우에만 광고 분석 결과를 스포츠 경기 중계 영상에 실시간 디스플레이하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템을 제공하는 것이다.

본 발명이 해결하고자 하는 다른 기술적인 과제는 스포츠 중계 영상에서 카메라의 시점에 따라 광고 영역을 자동으로 생성하고, 생성한 광고 영역에 등장하는 이미지를 실시간 검출하며, 검출한 이미지가 공식 광고에 해당하는 경우에만 광고 분석 결과를 스포츠 경기 중계 영상에 실시간 디스플레이하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 방법을 제공하는 것이다.

본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템은 중계되는 스포츠 영상에서 그라운드 영역이 차지하는 면적비를 추정하고, 상기 스포츠 영상에서 검출한 객체의 높이를 산출하여 상기 스포츠 영상의 씬을 결정하는 씬 결정 모듈과 상기 결정된 씬에 따라 광고 영역을 생성하고, 생성된 광고 영역에서 검출한 광고 이미지를 상기 광고 영역의 광고 유형에 따라 분류하며, 분류한 광고 이미지가 공식 광고에 해당하는지 여부를 실시간으로 판정하는 광고 판정 모듈 및 상기 광고 판정 모듈로부터 공식 광고라 판정된 광고 이미지에 대한 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하고, 상기 분석 결과를 상기 스포츠 영상 내에 실시간으로 디스플레이하는 광고 효과 분석 모듈을 포함한다.

이때, 상기 씬 결정 모듈은 상기 스포츠 영상에서 상기 그라운드 영역 및 상기 그라운드 영역이 차지하는 면적비를 추정하는 그라운드 추정부와 상기 스포츠 영상에서 상기 객체를 검출하고 상기 검출한 객체의 높이를 산출하는 객체 검출부 및 상기 그라운드 영역 추정부가 추정한 그라운드 영역이 차지하는 면적비와 상기 객체 검출부가 산출한 객체의 높이에 따라 상기 씬을 결정하는 줌 결정부를 포함할 수 있다.

실시 예에 따라, 상기 그라운드 추정부는 HSV 모델의 추출 기준 범위에 따라 상기 스포츠 영상에서 그라운드 후보 영역을 추출하고, 상기 추출한 그라운드 후보 영역의 윤곽에 대해 복수의 폴리곤들로 근사한 볼록 껍질을 상기 그라운드 영역으로 추정하며, 상기 스포츠 영상의 면적에서 상기 추정한 그라운드 영역의 면적이 차지하는 비율을 상기 면적비로 추정하는 것을 특징으로 한다.

실시 예에 따라, 상기 객체 검출부는 객체 인식 API를 이용하여 상기 스포츠 영상에 존재하는 객체들 각각에 대한 바운딩 박스와 상기 객체들 각각의 특정 부분에 대한 바운딩 박스 및 상기 객체들 각각의 마스크 영역을 검출하고, 상기 검출한 객체들 각각의 바운딩 박스의 평균 높이를 상기 검출한 객체의 높이로 산출하는 것을 특징으로 한다.

실시 예에 따라, 상기 줌 결정부는 상기 객체 검출부로부터 산출된 객체의 높이가 최소 높이 기준치 미만인 경우에 상기 씬을 줌-아웃 화면으로 결정하고, 상기 객체 검출부로부터 산출된 객체의 높이가 최대 높이 기준치를 초과하는 경우에 상기 씬을 줌-인 화면으로 결정하며, 상기 객체 검출부로부터 산출된 객체의 높이가 상기 최소 높이 기준치와 상기 최대 높이 기준치 사이의 값을 갖고, 상기 그라운드 추정부가 추정한 면적비가 소정 면적 기준치 이상인 경우에 상기 씬을 줌-노멀 화면으로 결정하는 것을 특징으로 한다.

또한, 상기 광고 판정 모듈은 상기 결정된 씬에 따라 상기 스포츠 영상 내에 광고 영역을 생성하는 광고 영역 생성부와 상기 생성된 광고 영역에 존재하는 도형 및 텍스트를 상기 광고 이미지로서 검출하는 광고 이미지 검출부와 상기 검출된 광고 이미지를 상기 생성된 광고 영역의 위치에 따라 분류하는 광고 분류부 및 상기 분류된 광고 이미지와 데이터 세트에 저장된 공식 광고를 대비하여 상기 분류된 광고 이미지가 상기 공식 광고에 부합하는지 여부를 판정하는 광고 부합 판정부를 포함할 수 있다.

실시 예에 따라, 상기 광고 영역 생성부는 상기 결정된 씬이 줌-노멀 화면인 경우에 상기 씬 결정 모듈이 추정한 그라운드 영역을 기준으로 중앙 관중석 광고 영역, 좌측 관중석 광고 영역, 좌측 그라운드 광고 영역, 우측 관중석 영역 및 우측 그라운드 광고 영역 중 적어도 어느 하나를 상기 광고 영역으로 생성하고, 상기 결정된 씬이 줌-인 화면인 경우에 상기 씬 결정 모듈이 검출한 객체의 마스크 영역에서 얼굴 바운딩 박스를 제외한 영역을 상기 광고 영역으로 생성하는 것을 특징으로 한다.

실시 예에 따라, 상기 광고 이미지 검출부는 로컬 피쳐 디텍트 방법을 이용해 상기 광고 영역 내에서 특징점을 추출함으로써 상기 도형을 검출하고, 영역 점수 및 관련 점수 기반의 텍스트 검출 방법을 이용해 상기 도형으로부터 개별 텍스트 및 단어 텍스트를 검출함으로써 상기 텍스트를 검출하는 것을 특징으로 한다.

실시 예에 따라, 상기 광고 분류부는 상기 결정된 씬이 줌-노멀 화면인 경우에 상기 검출된 광고 이미지를 상기 추정한 그라운드 영역의 경계 라인으로부터의 거리에 따라 그룹화함으로써 분류하고, 상기 결정된 씬이 줌-인 화면인 경우에 상기 검출된 광고 이미지를 어패럴 광고로 분류하는 것을 특징으로 한다.

실시 예에 따라, 상기 광고 부합 판정부는 K-NN 분류 알고리즘을 이용해 상기 광고 분류부로부터 분류된 광고 이미지의 특징점과 상기 데이터 세트에 저장된 공식 광고의 레퍼런스 이미지의 특징점을 대비하여 소정 기준치 이상의 근접 특징점을 선정하고, 상기 광고 이미지의 특징점과 상기 레퍼런스 이미지의 특징점 및 상기 근접 특징점에 대한 소정의 스코어링을 수행하며, 상기 스코어링 값이 소정 기준치 이상인 경우에 상기 광고 분류부가 분류한 광고 이미지를 상기 공식 광고에 부합하는 것으로 판정하는 것을 특징으로 한다.

또한, 상기 광고 효과 분석 모듈은 상기 광고 판정 모듈로부터 공식 광고로 판정된 광고 이미지의 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하는 효과 분석부 및 상기 효과 분석부로부터 산출된 분석 결과를 상기 스포츠 영상에 실시간 디스플레이하는 디스플레이부를 포함할 수 있다.

본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 방법은 그라운드 추정부가 스포츠 영상에서 그라운드 영역 및 상기 그라운드 영역이 차지하는 면적비를 추정하는 단계와 객체 검출부가 상기 스포츠 영상에서 하나 이상의 객체들을 검출하고, 검출한 객체들에 대한 바운딩 박스의 평균 높이를 객체 높이로 산출하는 단계와 줌 결정부가 상기 그라운드 영역 추정부가 추정한 면적비와 상기 객체 검출부가 산출한 객체 높이에 따라 상기 스포츠 영상의 씬을 결정하는 단계와 광고 영역 생성부가 상기 객체 검출부가 검출한 객체에 광고 영역이 포함될 수 있는지 여부를 결정하고, 상기 결정된 씬 및 상기 검출된 객체에 광고 영역이 포함될 수 있는지 여부에 따라 상기 스포츠 영상에 상기 광고 영역을 생성하는 단계와 광고 이미지 검출부가 상기 생성된 광고 영역에 존재하는 광고 이미지를 검출하고, 상기 검출된 광고 이미지의 특징점 및 데이터 세트에 저장된 레퍼런스 이미지의 특징점을 광고 부합 판정부로 제공하는 단계와 광고 분류부가 상기 검출된 광고 이미지를 상기 생성된 광고 영역의 광고 유형에 따라 분류하여 상기 광고 부합 판정부로 전송하는 단계와 상기 광고 부합 판정부가 상기 제공된 광고 이미지의 특징점 및 상기 레퍼런스 이미지의 특징점을 대비하여 상기 분류된 광고 이미지가 공식 광고에 부합하는지 여부를 판정하는 단계와 효과 분석부가 상기 공식 광고에 부합하는 광고 이미지의 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하는 단계 및 디스플레이부가 상기 효과 분석부로부터 산출된 분석 결과를 상기 스포츠 영상에 실시간 디스플레이하는 단계를 포함한다.

상기와 같이 본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템 및 분석 방법은 중계되는 스포츠 영상에서 카메라의 시점에 따라 광고 영역을 자동으로 생성하고, 생성한 광고 영역에 등장하는 이미지를 실시간 검출하며, 검출한 이미지가 공식 광고에 해당하는 경우에만 광고 분석 결과를 스포츠 경기 중계 영상에 실시간 디스플레이할 수 있어, 스포츠 영상의 녹화없이도 경기장 내 광고 노출 효과를 실시간으로 용이하게 확인할 수 있는 효과가 있다.

본 발명의 상세한 설명에서 인용되는 도면을 보다 충분히 이해하기 위한 각 도면의 상세한 설명이 제공된다.
도 1은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템의 구성을 나타내는 블럭도이다.
도 2는 HSV 색상표 중 색상 채널의 추출 기준 범위를 나타낸 예시도이다.
도 3은 그라운드 추정부가 HSV 모델에 따라 그라운드 후보 영역을 추출한 예시도이다.
도 4는 그라운드 추정부가 그라운드 영역을 추정한 예시도이다.
도 5는 객체 검출부가 스포츠 영상 내에서 객체를 검출한 예시도이다.
도 6은 광고 영역 생성부가 줌-노멀 화면에서 광고 영역을 생성한 예시도이다.
도 7은 광고 이미지 검출부가 줌-인 화면에서 광고 영역 내의 도형을 검출한 예시도이다.
도 8은 광고 이미지 검출부가 줌-노말 화면에서 광고 영역 내의 텍스트를 검출한 예시도이다.
도 9는 디스플레이부가 효과 분석부로부터 산출된 분석 결과를 스포츠 영상에 실시간 디스플레이한 예시도이다.
도 10은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 방법을 설명하기 위한 순서도이다.

본 명세서에 개시되어 있는 본 발명의 개념에 따른 실시 예들에 대해서 특정한 구조적 또는 기능적 설명들은 단지 본 발명의 개념에 따른 실시 예들을 설명하기 위한 목적으로 예시된 것으로서, 본 발명의 개념에 따른 실시 예들은 다양한 형태들로 실시될 수 있으며 본 명세서에 설명된 실시 예들에 한정되지 않는다.

본 발명의 개념에 따른 실시 예들은 다양한 변경들을 가할 수 있고 여러 가지 형태들을 가질 수 있으므로 실시 예들을 도면에 예시하고 본 명세서에 상세하게 설명하고자 한다. 그러나 이는 본 발명의 개념에 따른 실시 예들을 특정한 개시 형태들에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물, 또는 대체물을 포함한다.

제1 또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1구성요소는 제2구성요소로 명명될 수 있고, 유사하게 제2구성요소는 제1구성요소로도 명명될 수 있다.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.

본 명세서에서, "포함한다" 또는 "갖는다" 등의 용어는 설명된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미가 있다.

일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 포함하는 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다.

도 1은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템(이하, '광고 분석 시스템'이라 함)의 구성을 나타내는 블럭도이다.

도 1을 참조하면, 본 발명의 일 실시 예에 따른 분석 시스템(10)은 씬(Scene) 결정 모듈(100), 광고 판정 모듈(300)및 광고 효과 분석 모듈(500)을 포함한다.

본 발명의 일 실시 예에 따른 분석 시스템(10)은 중계되는 스포츠 영상을 카메라의 시점에 따라 구분하고, 구분된 시점에 따라 검출된 텍스트나 이미지가 광고 에 해당하는지 실시간으로 판단하며, 광고라 판단된 텍스트나 이미지를 스포츠 영상 내 소정의 광고 영역에 표시된 것으로 분류함으로써 광고 효과를 분석할 수 있다.

이하 분석 시스템(10)의 각 구성요소(100, 300 및 500)에 대해서 상세히 설명한다.

씬 결정 모듈(100)은 그라운드 추정부(150), 객체 검출부(180) 및 줌 결정부(200)를 포함하며, 중계되는 스포츠 영상을 카메라의 시점에 따라 줌-인(Zoom-In) 화면, 줌-노멀(Zoom-Normal) 화면, 줌-아웃(Zoom-Out) 화면 등의 씬(Scene)으로 구분할 수 있다.

예컨대, 상기 줌-인 화면은 필드 플레이어나 심판을 보다 가까이에서 포착한 화면 또는 코칭 스태프 및 후보 선수들이 있는 벤치를 포착한 화면 등으로 볼 수 있고, 상기 줌-노멀 화면은 플레이가 진행되고 있는 일반적인 중계 화면이라 볼 수 있으며, 상기 줌-아웃 화면은 플레이가 진행되는 그라운드를 아주 멀리서 포착한 화면이라 할 수 있다.

즉, 씬 결정 모듈(100)은 상기 스포츠 영상 내에 등장하는 사람(예컨대, 필드 플레이어, 심판 또는 코칭 스태프 등)의 사이즈 및 상기 스포츠 영상 내에서 그라운드 영역이 차지하는 면적을 이용하여 상기 스포츠 영상을 줌-인 화면, 줌-노멀 화면 및 줌-아웃 화면 중 어느 하나의 씬(Scene)으로 구분할 수 있다.

우선, 그라운드 추정부(150)는 상기 스포츠 영상에서 그라운드 영역(G_area) 및 그라운드 영역이 차지하는 비율(G_ratio)을 추정한다.

그라운드 추정부(150)가 상기 스포츠 영상에서 그라운드 영역(G_area) 및 그라운드 영역이 차지하는 비율(G_ratio)을 추정하는 과정은 다음과 같다.

첫 번째로, 그라운드 추정부(150)는 HSV 모델을 이용하여 스포츠 영상에서 그라운드 후보 영역을 추출한다.

상기 HSV 모델은 색 모델의 하나인 색상(Hue)-채도(Saturation)-명도(Value) 모델을 의미하며, 그라운드 추정부(150)는 HSV 모델 중 특히 색상(Hue) 채널을 이용하여 상기 그라운드 후보 영역을 추출한다.

도 2는 HSV 색상표 중 색상 채널의 추출 기준 범위를 나타낸 예시도이다.

도 2를 참조해 보면 일반적인 축구장의 그라운드는 상기 색상 채널에서 녹색 범주(약 60도 내지 180도)에 포함되는 색상이며, 그라운드 추정부(150)는 상기 스포츠 영상 내에서 상기 그라운드 후보 영역을 보다 정확히 추출하기 위해 상기 색상 채널에서의 추출 기준 범위를 80도 내지 120도로 더 좁혀서 설정할 수 있다.

그라운드 추정부(150)는 상기 설정한 추출 기준 범위에 따라 상기 스포츠 영상에서 그라운드 후보 영역을 추출하게 된다.

본 명세서에서는 설명의 편의를 위하여 축구장을 예로 들어 설명한 것일 뿐, 상기 그라운드는 농구나 야구 등 다양한 종목에서의 그라운드일 수 있다.

따라서, 상기 추출 기준 범위 역시 해당 종목에 따라 다양하게 설정될 수 있음은 물론이며, 예컨대 농구인 경우에 상기 추출 기준 범위는 30도 내지 60도로 설정될 수 있다.

도 3은 그라운드 추정부(150)가 HSV 모델에 따라 그라운드 후보 영역을 추출한 예를 나타낸다.

이때, 도 3의 (a)는 상기 스포츠 영상의 예를 나타내고, 도 3의 (b)는 상기 스포츠 영상에 대해 추출 기준 범위를 적용하여 상기 그라운드 후보 영역을 추출한 예를 나타낸다.

두 번째로, 그라운드 추정부(150)는 추출된 그라운드 후보 영역에 대한 이미지 후처리를 통해 그라운드 영역(G_area)을 최종 추정한다.

즉, 그라운드 추정부(150)는 상기 추출된 그라운드 후보 영역의 윤곽(Contour)을 복수의 폴리곤(Polygon)들로 근사한 후, 상기 근사한 폴리곤들의 볼록 껍질(Convex Hull)을 상기 그라운드 영역(G_area)으로 최종 추정한다.

도 4는 그라운드 추정부(150)가 그라운드 영역(G_area)을 추정한 예를 나타낸다.

이때, 도 4의 (a)는 이미지 후처리를 통해 상기 스포츠 영상에서 그라운드 영역(G_area)을 최종 추정한 예를 나타내고, 도 4의 (b)는 상기 스포츠 영상에 대해 상기 추정된 그라운드 영역(G_area)을 라인으로 표시한 예를 나타낸다.

이에 따라 그라운드 추정부(150)는 가로 방향으로 이어진 라인은 터치 라인(Touch Line)으로 추정하고, 세로 방향으로 이어진 라인은 골 라인(Goal Line)으로 추정하여 그라운드 영역을 추정할 수 있다.

세 번째로, 그라운드 추정부(150)는 추정된 그라운드 영역(G_area)에 대한 면적으로부터 영상의 총 면적에 대한 비율(G_ratio)을 계산한다.

한편, 객체 검출부(180)는 상기 스포츠 영상에서 객체(object)로서 필드 플레이어, 코칭 스태프, 심판 등 사람을 검출하고 검출된 객체의 높이(ob_size)를 측정한다.

객체 검출부(180)는 객체 인식(Classification)을 위한 API로 텐서플로우 개체 인식 API(TensorFlow Object Detection API)와 같은 공지의 오픈소스 API를 이용할 수 있으며, 객체 및 객체의 특정 부분에 대한 바운딩 박스(Bounding Box) 뿐만 아니라 마스크 영역((Mask Contour)과 같은 객체 분할(Object Segmentation) 정보까지 활용할 수 있는 Mask-RCNN 모델을 이용할 수 있다.

도 5는 객체 검출부(180)가 스포츠 영상 내에서 객체를 검출한 예를 나타내는 도이다.

이때, 도 5의 (a)는 객체를 검출하여 바운딩 박스로 나타낸 예를 나타내고, 도 5의 (b)는 객체에 대한 바운딩 박스와 객체의 얼굴에 대한 바운딩 박스 및 객체의 마스크 영역(Mask Contour)을 나타낸 예이다.

즉, 도 5의 (a) 및 (b)의 빨간색 라인의 박스는 검출된 사람의 바운딩 박스를 나타내고, 도 5의 (b)에서의 검은색 라인의 박스는 사람의 얼굴에 대한 바운딩 박스를 나타내며, 노락색 라인은 사람의 마스크 영역(즉, 윤곽 라인)을 의미하고, 객체 검출부(180)는 해당 객체의 바운딩 박스 뿐만 아니라 마스크 영역까지 검출할 수 있다.

이후 객체 검출부(180)는 검출한 객체들 각각의 바운딩 박스들을 기준으로 이들의 평균 높이(ob_size)를 계산한다.

실시 예에 따라, 객체 검출부(180)는 상기 스포츠 영상 내의 모든 객체를 검출하여 모든 객체들에 대한 바운딩 박스의 평균 높이를 계산하는 것이 아니라, 객체가 사람일 확률이 매우 높은 대상 만을 검출하여 이들에 대한 평균 높이를 계산함으로써 전체 계산 시간을 단축시킬 수도 있다.

한편, 줌 결정부(200)는 그라운드 영역 추정부(150)가 추정한 그라운드 영역의 면적비(G_ratio)와 객체 검출부(180)가 산출한 객체의 평균 높이(ob_size)에 따라 상기 스포츠 영상의 씬(Scene)을 상기 줌-인 화면, 줌-노멀 화면, 줌-아웃 화면 중 어느 하나로 결정한다.

예컨대, 줌 결정부(200)는 객체 검출부(180)로부터 계산된 바운딩 박스의 평균 높이(ob_size)가 소정의 최소 높이 기준치(예를 들어, 15 픽셀) 이하인 경우에는 줌-아웃 화면으로 결정하고, 소정의 최대 높이 기준치(예를 들어, 125 픽셀) 이상인 경우 줌-인 화면으로 결정한다.

또한, 줌 결정부(200)는 계산된 바운드 박스의 평균 높이(ob_size)가 상기 최소 높이 기준치와 상기 최대 높이 기준치 사이(예를 들어, 15 픽셀 ~ 125 픽셀)이고, 상기 추정된 그라운드 영역이 전체 영상에서 차지하는 비중(G_ratio)이 소정의 면적 기준치(예컨대, 20%) 이상인 경우에는 줌-노멀 화면으로 결정한다.

이때, 상기 추정된 그라운드 영역의 비중(G_ratio)이 20%를 만족하지 못하는 경우 기타 화면으로 분류할 수 있다.

실시 예에 따라, 줌 결정부(200)는 상기 스포츠 영상을 줌-노멀 화면으로 결정한 경우에, 추정된 그라운드 영역(G_area)을 가로로 이루어진 터치 라인을 중심으로 세로로 이루어지는 골 라인(Goal line)이 존재하는지, 존재한다면 터치 라인 좌측 또는 우측에 존재하는지에 따라 중앙 뷰, 좌측 골대 뷰, 우측 골대 뷰 중 어느 하나로 추정할 수 있다.

다시 도 1을 참조하면, 광고 판정 모듈(300)은 광고 영역 생성부(330), 광고 이미지 검출부(350), 광고 분류부(380) 및 광고 부합 판정부(400)를 포함하며, 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(예컨대, 줌-인 화면, 줌-노멀 화면 및 줌-아웃 화면 중 어느 하나)에 따라 광고 영역(A_region)을 생성하고, 상기 광고 영역(A_region) 부근에서 텍스트 또는 이미지를 검출하여 광고 위치에 따라 분류하며, 검출된 텍스트 또는 이미지가 분류된 광고 위치에 적합한 광고인지 여부를 판정한다.

우선, 광고 영역 생성부(330)는 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-노멀 화면인 경우에, 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)에 따라 광고가 게시될 복수의 광고 영역(A_region)을 생성한다.

예컨대, 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-노멀 화면인 경우, 광고 영역 생성부(300)는 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)의 라인(터치 라인 또는 골 라인)을 기준으로 중앙 관중석 광고 영역, 좌측 관중석 광고 영역, 좌측 그라운드 광고 영역, 우측 관중석 광고 영역 및 우측 그라운드 광고 영역들 중 해당하는 광고 영역(A_region)을 생성한다.

도 6은 도 1에 도시된 광고 영역 생성부가 줌-노멀 화면에서 광고 영역을 생성한 예를 나타낸다.

도 1 내지 도 6을 참조하면, 광고 영역 생성부(300)는 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-노멀 화면(보다 상세히는, 우측 골대 뷰)인 경우에, 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)을 중심으로 중앙 관중석 광고 영역(예컨대, 붉은색 박스)과 우측 관중석 광고 영역(예컨대, 파란색 박스) 및 우측 관중석과 인접한 우측 그라운드 광고 영역(예컨대, 노란색 박스)을 생성한다.

한편, 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-인 화면인 경우, 광고 영역 생성부(300)는 객체 검출부(180)가 검출한 객체에 따라 광고가 게시될 광고 영역(A_region)을 생성한다.

즉, 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-인 화면인 경우, 광고 영역 생성부(300)는 객체 검출부(180)가 검출한 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역을 광고 영역(A_region)으로 생성한다.

예를 들어, 도 4의 (b)에서 검출된 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역(즉, 필드 플레이어의 유니폼)을 광고 영역(A_region)으로 생성할 수 있다.

실시 예에 따라, 광고 영역 생성부(300)는 상기 광고 영역(A_region)을 생성하기 이전에 상기 검출된 객체가 광고 영역(A_region)을 포함할 수 있는 대상인지 여부를 선행적으로 결정할 수도 있다.

예컨대, 객체 검출부(180)가 검출한 객체는 필드 플레이어, 골키퍼, 코칭 스태프, 후보 선수, 심판진, 일반 관중 등 여러 객체가 될 수 있는데, 광고 영역 생성부(300)는 이러한 객체들 중 필드 플레이어, 골키퍼, 코칭 스태프, 후보 선수 만을 광고 영역(A_region)을 생성할 대상으로 결정할 수 있다.

이를 위해서, 광고 영역 생성부(300)는 상기의 HSV 모델을 이용할 수 있으며, 검출한 객체의 마스크 영역에서 얼굴 바운딩 박스를 제외한 영역의 색상(Hue)값을 추출하고 이를 소정의 광고 대상 객체 색상 값과 비교한다.

예를 들어, 하기 표 1과 같이 광고 대상 객체 색상 값이 설정되어 있는 경우에,

광고 대상 객체	Hue 범위
A팀 필드 플레이어	340도 ~ 30도
A팀 골키퍼	40도 ~ 80도
A팀 코칭 스태프	260 ~ 300도
A팀 후보선수	260 ~ 300도
심판진	230도 ~ 250도
B팀 필드 플레이어	170도 ~ 190도

광고 영역 생성부(300)는 도 4의 (b)와 같이 검출된 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역의 색상(Hue) 값을 추출하고, 추출한 색상 값이 340도 내지 30도 사이에 해당하면 상기 검출된 객체를 A팀 필드 플레이어로 판단하여 광고 영역(A_region)을 생성할 대상으로 결정하게 된다.

다른 실시예에 따라, 광고 영역 생성부(300)는 객체 검출부(180)가 검출한 객체 뿐만 아니라 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)에 따라 광고가 게시될 복수의 광고 영역(A_region)을 추가로 생성할 수 있다.

예컨대, 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-인 화면이지만 필드 플레이어 뿐만 아니라 그라운드 영역(G_area)의 윤곽 라인이 포착된 경우에는 상기 줌-노말 화면에서 설명한 광고 영역(예컨대, 중앙 관중석 광고 영역 또는 우측 그라운드 광고 영역 등에서 해당하는 영역)을 추가적으로 생성할 수 있다.

광고 이미지 검출부(350)는 광고 영역 생성부(330)로부터 생성된 광고 영역(A_region)으로부터 광고 이미지, 예컨대 기업 로고(CI)나 브랜드 로고(BI), 상호, 상표와 같은 도형(img) 또는 텍스트(txt)를 검출한다.

우선, 광고 이미지 검출부(350)는 광고 영역(A_region) 내의 광고 이미지 검출을 위해, SIFT, SURF, BRISK, FREAK과 같은 공지된 로컬 피쳐(Local Feature) 디텍트 방법을 이용해 광고 영역(A_region) 내에서 특징점(LF_1)을 추출함으로써 광고 이미지를 검출할 수 있다.

도 7은 광고 이미지 검출부(350)가 줌-인 화면에서 광고 영역(A_region) 내의 도형(img)을 검출한 예를 나타낸다.

도 7을 참조하면, 상기 줌-인 화면에서 광고 영역(A_region)은 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역(예컨대, 보라색 라인)이며, 광고 이미지 검출부(350)는 상기 광고 영역(A_region) 내에서 하늘색 박스 부분을 도형(img)으로 검출하였다.

또한, 광고 이미지 검출부(350)는 광고 영역(A_region) 내에서 검출된 광고 이미지가 텍스트(txt)인지 확인하기 위해, 영역 점수(Region score) 및 관련 점수(Affinity score)를 이용하는 뉴럴 네트워크(Neural Network) 기반의 텍스트 검출 모델을 이용할 수 있다.

일반적으로 텍스트 검출 모델에서 상기의 영역 점수는 해당 픽셀이 문자의 중심일 확률을 의미하고, 관련 점수는 해당 픽셀이 인접한 두 텍스트의 중심일 확률을 의미하며, 이러한 스코어를 통해 개별 텍스트가 하나의 단어로 그룹화 될 수 있는지 결정할 수 있다.

즉, 광고 이미지 검출부(350)는 생성된 광고 영역(A_region)에서 검출된 광고 이미지의 개별 픽셀이 텍스트일 확률을 판단함으로써 개별 텍스트를 검출하고, 검출된 개별 텍스트 상호 간의 연결성을 검토하여 단어 단위의 텍스트를 검출한다.

이후 단어 단위의 텍스트들이 가로 방향으로는 서로의 인접 에지(Edge)가 소정 거리 범위에 존재하고 세로 방향으로는 소정의 IoU(Intersection over Union)를 만족했을 때, 광고 이미지 검출부(350)는 이들 단어 단위의 텍스트들을 결합(merge)하여 최종 텍스트(txt)로서 검출한다.

도 8은 광고 이미지 검출부(350)가 줌-노말 화면에서 광고 영역(A_region) 내의 텍스트(txt)를 검출한 예를 나타낸다.

도 8을 참조하면, 광고 이미지 검출부(350)는 앞서 생성된 광고 영역(A_region) 중 중앙 관중석 광고 영역(빨간색 박스 영역)의 A 보드와 1층 관중석 플로어에서 텍스트(txt)를 검출하였고, 우측 관중석 광고 영역(파란색 박스 영역)의 A 보드와 2층 관중석플로어에서 텍스트(txt)를 검출하였으며, 우측 그라운드 광고영역(노란색 박스 영역)의 3D 보드에서 텍스트(txt)를 검출하였다.

실시 예에 따라, 광고 이미지 검출부(350)는 상기 추출한 특징점(LF_1)을 광고 부합 판정부(400)로 제공할 수 있으며, 실제 경기장에서 게시될 광고의 원본 이미지 등에 대한 특징점(LF_2)을 추출하여 광고 부합 판정부(400)로 제공할 수 있다.

광고 이미지 검출부(350)가 이러한 특징점(LF_1 및 LF_2)들을 광고 부합 판정부(400)로 제공하는 내용은 이후 광고 부합 판정부(400)에 대한 설명에서 다시 상세히 설명한다.

한편, 광고 분류부(380)는 앞서 그라운드 추정부(150)가 추정한 그라운드의 경계 라인(예컨대, 터치 라인 또는 골 라인)으로부터 각 텍스트(txt) 또는 도형(img)까지의 거리를 계산하고 그룹화함으로써 각 텍스트(txt) 또는 도형(img)과 같은 광고 이미지를 광고 유형에 따라 분류한다.

예컨대, 상기 터치 라인으로부터 가장 가까운 거리의 그룹은 상기 광고 유형 중 A 보드 광고로 분류하고 순차적으로 1층 관중석 플로어 광고, 2층 관중석 플로어 광고로 분류한다.

또한, 상기 골 라인으로부터 가장 가까운 그룹은 상기 광고 유형 중 3D 보드 광고로 분류하고 순차적으로 A 보드 광고, 1층 관중석 플로어 광고, 2층 관중석 플로어 광고로 분류한다.

나아가, 광고 분류부(380)는 검출된 텍스트(txt) 또는 도형(img)이 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역에서 검출된 경우, 이들 그룹은 상기 광고 유형 중 어패럴 광고로 분류한다.

이후, 광고 분류부(380)는 그룹별로 분류된 광고(C_ad)를 광고 부합 판정부(400)로 전송한다.

한편, 광고 부합 판정부(400)는 광고 분류부(380)에 의해 분류된 광고(C_ad)가 해당 경기장 내에 공식 발주된 광고에 부합하는지 여부를 판정한다.

일반적으로 스포츠 경기에 광고를 게시할 스폰서들은 사전에 정해지며, 상기 스폰서들이 게시할 광고들 역시 미리 정해져 있다.

광고 부합 판정부(400)는 상기와 같이 공식 발주된 광고들에 대한 광고 정보를 소정의 광고 유형에 따라 분류하여 데이터 세트(Data-Set)에 저장한다.

상기 광고 정보는 게시될 광고의 명칭, 광고 단가 뿐만 아니라 광고의 원본 이미지 및 상기 원본 이미지에 대한 베리에이션 이미지(예컨대, 늘이기, 기울이기, 흐리기 등이 이루어진 이미지)에서 추출된 특징점(Local Feature)을 포함할 수 있다.

본 명세서에서는 상기 광고의 원본 이미지 및 상기 원본 이미지에 대한 베리에이션 이미지를 레퍼런스 이미지라고 정의한다.

또한, 상기 소정의 광고 유형이란 앞서 설명한 바와 같이 광고가 게시될 위치를 의미하며, 예컨대 A 보드, 1층 관중석 플로어, 2층 관중석 플로어, 3D 보드 등이 될 수 있다.

한편, 실시 예에 따라서는 상기 광고 유형들 중 특정 유형(예컨대, A 보드)에 게시될 광고는 특정 스폰서만의 단독 광고일 수 있으며, 다른 유형(예컨대, 3D 보드)에 게시될 광고는 복수의 스폰서들의 광고일 수도 있다.

즉, 광고 부합 판정부(400)는 A 보드에 대해서 특정 스폰서의 레퍼런스 이미지에 대한 특징점을 데이터 세트(Data-Set)에 저장하며, 3D 보드에 대해서는 여러 스폰서들 각각의 레퍼런스 이미지에 대한 특징점을 데이터 세트(Data-Set)에 저장할 수 있다.

이후, 광고 부합 판정부(400)는 광고 분류부(380)가 분류한 광고(예컨대, 실제 스포츠 영상에서 검출되어 분류된 광고)의 특징점(LF_1)과 데이터 세트(Data-Set)의 해당 광고 유형에 대한 특징점(LF_2)을 대비함으로써 광고 분류부(380)가 분류한 광고(C_ad)가 공식 발주된 광고에 해당하는지 판정한다.

예를 들어, 광고 분류부(380)가 분류한 광고(C_ad)가 A 보드 광고인 경우에, 광고 부합 판정부(400)는 상기 분류한 광고(C_ad)의 텍스트 또는 도형의 특징점과 데이터 세트((Data-Set)의 해당 광고 유형(즉, A 보드)에 저장된 광고 정보(즉, 레퍼런스 이미지들의 특징점)를 대비하여 광고 분류부(380)가 분류한 광고(C_ad)가 공식 발주된 광고에 해당하는지 판정한다.

이때, 광고 분류부(380)가 분류한 광고(C_ad)의 텍스트(txt) 또는 도형(img)의 특징점들(LF_1)과 데이터 세트(Data-Set)의 해당 광고 유형에 대한 특징점(LF_2)들은 광고 이미지 검출부(350)로부터 추출될 수 있음은 앞서 설명한 바와 같다.

그리고 광고 부합 판정부(400)가 상기의 특징점들(LF_1 및 LF_2)을 대비하여 광고 분류부(380)에 의해 분류된 광고(C_ad)가 공식 발주된 광고에 해당하는지를 판정하는 방법은 다음과 같다.

우선, 광고 부합 판정부(400)는 분류된 광고(C_ad)의 텍스트(txt) 또는 도형(img)에 대한 제1특징점(LF_1)과 해당하는 레퍼런스 이미지에 대한 제2특징점(LF_2)을 비교하여 일정 기준치 이상의 유사도를 보이는 특징점들을 제3특징점(LF_3)으로 선정한다.

이때, 상기 광고 부합 판정부(400)는 k-NN((k-Nearest Neighbor)과 같은 공지의 분류 알고리즘을 이용하여 제1특징점(LF_1)과 제2특징점(LF_2)에 대한 근접 특징점을 탐색하고, 탐색된 근접 특징점이 소정 기준치 이상의 유사도를 보일 때, 이를 제3특징점(LF_3)으로 선정한다.

이후, 광고 부합 판정부(400)는 하기의 수학식 1과 같이 광고 부합 판정을 위한 스코어링을 수행한다.

즉, 광고 부합 판정부(400)는 제3특징점(LF_3)의 개수를 제1특징점(LF_1)과 제2특징점(LF_2)의 개수의 합에서 제3특징점(LF_3)의 개수를 뺀 개수만큼 나눈 값으로 상기 스코어를 산정한다.

그리고, 광고 부합 판정부(400)는 상기의 수학식과 같이 계산된 스코어가 소정의 기준치 이상을 만족하는 경우에 광고 분류부(380)에 의해 분류된 광고(C_ad)가 공식 발주된 광고에 해당하는 적합한 광고(Au_ad)로 판정한다.

이때, 상기 스코어는 1.0에서 0.0 까지의 범위를 가질 수 있고, 상기 소정의 기준치는 0.5로 설정될 수 있다.

다시 도 1을 참조하면, 광고 효과 분석 모듈(500)은 효과 분석부(530) 및 디스플레이부(580)를 포함하며, 광고 부합 판정부(400)로부터 공식 발주된 광고에 해당한다고 판정된 광고(Au_ad)들을 분석하고, 분석한 결과를 상기 스포츠 영상에 실시간으로 디스플레이한다.

우선, 효과 분석부(530)는 광고 부합 판정부(400)로부터 공식 발주된 광고에 해당한다고 판정된 광고(Au_ad)들과 대응하는 데이터 세트(Data-Set)에 저장된 공식 발주된 광고의 노출 시간, 노출 횟수를 누적 산출하고 해당 광고에 대한 효과 금액을 추정한다.

이때, 상기 해당 광고에 대한 효과 금액은 해당 광고의 기준 단가에 상기 노출 시간을 반영한 금액으로 추정될 수 있다.

결국, 효과 분석부(530)는 상기 스포츠 경기의 실시간 중계 중 해당 광고의 명칭, 광고 유형(예컨대, 위치), 노출 시간, 노출 횟수, 효과 금액에 대한 분석 결과(AD_res)를 산출할 수 있다.

디스플레이부(580)는 효과 분석부(530)로부터 산출된 분석 결과(AD_res), 즉 해당 광고명, 광고 유형, 광고 노출시간, 광고 노출횟수, 효과 금액 등을 스포츠 영상에 실시간 디스플레이할 수 있다.

도 9는 디스플레이부(580)가 효과 분석부(530)로부터 분석된 해당 광고의 분석 결과(AD_res)를 상기 스포츠 영상에 실시간 디스플레이한 예를 나타낸다.

이때, 도 9의 (a)는 제1시점(예컨대, 전반 5분 21초)에서 검출된 A 보드 광고, 1층 관중석 플로어 광고 및 3D 보드 광고의 분석 결과가 노란색 박스안에 디스플레이 된 예시를 나타내고, 도 9의 (b)는 상기 제1시점 이후의 제2시점(예컨대, 전반 5분 33초)에서 검출된 어패럴 광고에 대한 분석 결과가 노란색 박스안에 디스플레이 된 예시를 나타낸다.

상기와 같이, 본 발명의 일 실시 예에 따른 광고 분석 시스템(10)은 중계되는 스포츠 영상을 시점에 따라 구분하고, 구분된 시점에 따라 검출된 텍스트나 이미지가 공식 광고에 해당하는지를 판단하며, 공식 광고라 판단되는 경우에 이에 대한 분석 결과를 스포츠 영상 내에 실시간 디스플레이할 수 있는 효과가 있다.

도 10은 본 발명의 일 실시 예에 따른 인공 지능을 이용한 스포츠 영상 내 광고 분석 방법(이하, '광고 분석 방법'이라 함)을 설명하기 위한 순서도이다.

도 1 내지 도 10을 참조하면, 그라운드 추정부(150)는 HSV 모델의 추출 기준 범위에 따라 상기 스포츠 영상에서 그라운드 후보 영역을 추출한다(S30).

순차적으로 그라운드 추정부(150)는 추출된 그라운드 후보 영역의 윤곽에 대한 이미지 후처리(그라운드 윤곽에 대해 적은 수의 폴리곤으로 근사한 후 폴리곤의 볼록껍질 이용)를 통해 그라운드 영역(G_area)을 추정한다(S50).

이때, 그라운드 추정부(150)는 추정된 그라운드 영역(G_area) 중 가로 방향으로 이어진 라인은 터치 라인(Touch Line)으로 추정하고, 세로 방향으로 이어진 라인은 골 라인(Goal Line)으로 추정하여 그라운드 영역을 중앙 뷰, 좌측 골대 뷰, 우측 골대 뷰로 나눌 수 있다.

이후, 그라운드 추정부(150)는 추정된 그라운드 영역(G_area)에 대한 면적으로부터 상기 스포츠 영상의 총 면적에 대한 비율(G_ratio)을 계산한다(S80).

객체 검출부(180)는 상기 스포츠 영상에서 하나 이상의 객체들(필드 플레이어, 코칭 스태프, 심판 등)을 검출하고(S130), 검출된 객체에 대한 바운딩 박스의 평균 높이(ob_size)를 계산한다(S150).

이때, 객체 검출부(180)는 객체 및 객체의 특정 부분(예컨대, 얼굴)에 대한 바운딩 박스(Bounding Box) 뿐만 아니라 마스크 영역((Mask Contour)과 같은 객체의 윤곽 라인까지 검출할 수 있다(S130).

객체 검출부(180)는 상기 스포츠 영상 내의 모든 객체를 검출하여 모든 객체들에 대한 바운딩 박스의 평균 높이(ob_size)를 계산할 수 있으나, 실시 예에 따라서는 객체가 사람일 확률이 매우 높은 대상 만을 검출하여 이들에 대한 평균 높이(ob_size)를 계산함으로써 전체 계산 시간을 단축시킬 수도 있다.

줌 결정부(200)는 그라운드 영역 추정부(150)가 추정한 그라운드 영역 면적비(G_ratio)와 객체 검출부(180)가 산출한 객체의 바운딩 박스 평균 높이(ob_size)에 따라 상기 스포츠 영상의 씬(Scene)을 줌-인 화면, 줌-노멀 화면, 줌-아웃 화면 중 어느 하나로 결정한다(S200).

예컨대, 줌 결정부(200)는 객체 검출부(180)로부터 계산된 바운딩 박스의 평균 높이(ob_size가 소정의 최소 기준치 이하인 경우에는 줌-아웃 화면으로 결정하고, 소정의 최대 기준치 이상인 경우 줌-인 화면으로 결정한다.

또한, 상기 계산된 바운드 박스의 평균 높이(ob_size)가 상기 소정 최소 기준치와 상기 소정의 최대 기준치 사이이고, 상기 추정된 그라운드 영역(G_area)이 전체 영상에서 차지하는 비중(G_ratio)이 소정 비율 이상인 경우에는 줌-노멀 화면으로 결정한다.

광고 영역 생성부(330)는 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)에 따라 광고 영역(A_region)을 생성한다(S230).

만일 결정된 씬(Scene)이 줌-노멀 화면인 경우에, 광고 영역 생성부(330)는 그라운드 추정부(150)가 추정한 그라운드 영역(예컨대, 중앙 뷰, 좌측 골대 뷰, 우측 골대 뷰)에 광고가 게시될 광고 영역을 생성한다.

예컨대, 광고 영역 생성부(300)는 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)을 기준으로 중앙 관중석 광고 영역, 좌측 관중석 광고 영역, 좌측 그라운드 광고 영역, 우측 관중석 광고 영역 및 우측 그라운드 광고 영역들 중 해당하는 광고 영역(A_region)을 생성한다.

만일 결정된 씬(Scene)이 줌-인 화면인 경우에, 광고 영역 생성부(330)는 객체 검출부(180)가 검출한 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역을 광고 영역(A_region)으로 생성한다.

이때, 광고 영역 생성부(300)는 객체 검출부(180)가 검출한 객체가 광고 영역(A_region)을 포함할 수 있는 대상인지 여부를 상기 HSV 모델을 이용하여 선행적으로 결정할 수 있다(S210).

실시 예에 따라, 결정된 씬(Scene)이 줌-인 화면인 경우라도, 광고 영역 생성부(300)는 객체 검출부(180)가 검출한 객체 뿐만 아니라, 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)을 반영하여 광고가 게시될 복수의 광고 영역(A_region)을 추가로 생성할 수도 있다.

예컨대, 줌 결정부(200)로부터 결정된 스포츠 영상의 씬(Scene)이 줌-인 화면이지만 필드 플레이어 뿐만 아니라 그라운드 영역(G_area)의 윤곽 라인(터치라인이나 골라인)이 포착된 경우에는 상기 줌-노말 화면에서 설명한 광고 영역(A_region)을 추가적으로 생성할 수 있다.

광고 이미지 검출부(350)는 광고 영역 생성부(330)로부터 생성된 광고 영역(A_region) 으로부터 광고 이미지, 즉, 도형(img) 또는 텍스트(txt)를 검출한다(S250).

이때, 광고 이미지 검출부(350)는 광고 영역(A_region) 내의 광고 이미지 검출을 위해 공지된 로컬 피쳐(Local Feature) 디텍트 방법을 이용하여 광고 영역(A_region) 내에서 특징점(LF_1)을 추출함으로써 영역 내(A_region)의 광고 이미지를 검출할 수 있다.

또한, 광고 이미지 검출부(350)는 광고 영역(A_region) 내에서 검출된 광고 이미지에 대하여 영역 점수 및 관련 점수를 사용하는 뉴럴 네트워크 기반의 텍스트 검출 모델을 활용하여 개별 텍스트와 단어 텍스트를 검출하고, 검출된 단어 단위의 텍스트들의 인접 에지의 거리 및 소정의 IoU 만족 여부에 따라 최종 텍스트(txt)를 검출할 수 있다.

순차적으로, 광고 이미지 검출부(350)는 상기 광고 영역(A_region) 내에서 추출한 특징점(LF_1)을 광고 부합 판정부(400)로 제공하고(S270), 광고 부합 판정부(400)의 데이터 세트(Data-Set)에 저장된 공식 광고들의 레퍼런스 이미지에 대한 특징점(LF_2)을 추출하여 광고 부합 판정부(400)로 제공한다(S280).

한편, 광고 분류부(380)는 광고 이미지 검출부(350)가 검출한 도형(img) 또는 텍스트(txt)를 그룹화하여 분류한다(S300).

이때, 광고 분류부(380)는 그라운드 추정부(150)가 추정한 그라운드 영역(G_area)의 경계 라인(예컨대, 터치 라인 또는 골 라인)으로부터 검출된 도형 또는 텍스트까지의 거리를 계산하고 그룹화하여 분류하거나, 검출된 텍스트 또는 도형이 객체의 마스크 영역에서 얼굴 바운딩 박스 부분을 제외한 영역에서 검출된 경우에는 이들을 어패럴 광고로 분류한다(S300).

순차적으로, 광고 분류부(380)는 그룹별로 분류된 광고(C_ad)를 광고 부합 판정부(400)로 전송한다(S330).

광고 부합 판정부(400)는 광고 분류부(380)가 분류한 광고(예컨대, 실제 스포츠 영상에서 검출되어 분류된 광고)의 특징점(LF_1)과 데이터 세트(Data-Set)의 해당 광고 위치에 대한 특징점(LF_2)을 대비함으로써 광고 분류부(380)가 분류한 광고가 공식 발주된 광고에 해당하는지 판정한다(S400).

이를 위해, 광고 부합 판정부(400)는 k-NN 알고리즘을 이용해 분류된 광고의 텍스트 또는 도형에 대한 제1특징점(LF_1)과 해당하는 레퍼런스 이미지에 대한 제2특징점(LF_2)에 대한 근접 특징점을 탐색하고, 탐색된 근접 특징점이 소정 기준치 이상의 유사도를 보이는 경우에 이를 제3특징점(LF_3)으로 선정한다(S330).

순차적으로, 광고 부합 판정부(400)는 상기 수학식 1과 같이 광고 부합 판정을 위한 스코어링을 수행하고, 산정된 스코어가 소정의 기준치 이상을 만족하는 경우에 공식 발주된 광고라 판정한다(S400).

한편, 효과 분석부(530)는 광고 부합 판정부(400)로부터 공식 광고에 해당한다고 판정된 광고(Au_ad)들에 대해서, 이들과 대응하는 테이터 세트(Data-Set) 상의 공식 광고의 노출 시간, 노출 횟수 및 효과 금액을 산출한다(S430).

이때, 상기 효과 금액은 해당 광고의 기준 단가에 상기 노출 시간을 반영한 금액으로 추정될 수 있다.

순차적으로 효과 분석부(530)는 상기 데이터 세트 상의 공식 광고의 명칭, 광고 유형, 노출 시간, 노출 횟수, 효과 금액에 대한 분석 결과(AD_res)를 디스플레이부로 전송한다(S450).

디스플레이부(580)는 효과 분석부(530)로부터 전송된 분석 결과(AD_res)인 해당 광고의 명칭, 광고 유형, 노출 시간, 노출 횟수, 효과 금액 등을 상기 스포츠 영상에 실시간으로 디스플레이한다(S500).

상기와 같이, 본 발명의 일 실시 예에 따른 광고 분석 방법은 중계되는 스포츠 영상을 시점에 따라 구분하고, 구분된 시점에 따라 검출된 텍스트나 이미지가 공식 광고에 해당하는지를 판단하며, 공식 광고라 판단되는 경우에 이에 대한 분석 결과를 스포츠 영상 내에 실시간 디스플레이할 수 있는 효과가 있다.

이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능하다.

따라서, 본 발명에 개시된 실시 예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시 예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

10 : 분석 시스템 100 : 씬 결정 모듈
150 : 그라운드 추정부 180: 객체 검출부
200 : 줌 결정부 300 : 광고 판정 모듈
330 : 광고 영역 생성부 350 : 광고 이미지 검출부
380 : 광고 분류부 400 : 광고 부합 판정부
500 : 광고 효과 분석 모듈 530 : 효과 분석부
580 : 디스플레이부

Claims

중계되는 스포츠 영상에서 그라운드 영역이 차지하는 면적비를 추정하고, 상기 스포츠 영상에서 검출한 객체의 높이를 산출하여 상기 스포츠 영상의 씬(Scene)을 결정하는 씬 결정 모듈;
상기 결정된 씬에 따라 광고 영역을 생성하고, 생성된 광고 영역에서 검출한광고 이미지를 상기 광고 영역의 광고 유형에 따라 분류하며, 분류한 광고 이미지가 공식 광고에 해당하는지 여부를 실시간으로 판정하는 광고 판정 모듈; 및
상기 광고 판정 모듈로부터 공식 광고라 판정된 광고 이미지에 대한 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하고, 상기 분석 결과를 상기 스포츠 영상 내에 실시간으로 디스플레이하는 광고 효과 분석 모듈;을 포함하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
제1항에 있어서, 상기 씬 결정 모듈은,
상기 스포츠 영상에서 상기 그라운드 영역 및 상기 그라운드 영역이 차지하는 면적비를 추정하는 그라운드 추정부;
상기 스포츠 영상에서 상기 객체를 검출하고 상기 검출한 객체의 높이를 산출하는 객체 검출부; 및
상기 그라운드 영역 추정부가 추정한 그라운드 영역이 차지하는 면적비와 상기 객체 검출부가 산출한 객체의 높이에 따라 상기 씬을 결정하는 줌 결정부;를 포함하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
제2항에 있어서, 상기 그라운드 추정부는,
HSV 모델의 추출 기준 범위에 따라 상기 스포츠 영상에서 그라운드 후보 영역을 추출하고,
상기 추출한 그라운드 후보 영역의 윤곽에 대해 복수의 폴리곤들로 근사한 볼록 껍질을 상기 그라운드 영역으로 추정하며,
상기 스포츠 영상의 면적에서 상기 추정한 그라운드 영역의 면적이 차지하는 비율을 상기 면적비로 추정하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
제2항에 있어서, 상기 객체 검출부는,
객체 인식 API를 이용하여 상기 스포츠 영상에 존재하는 객체들 각각에 대한 바운딩 박스와 상기 객체들 각각의 특정 부분에 대한 바운딩 박스 및 상기 객체들 각각의 마스크 영역을 검출하고,
상기 검출한 객체들 각각의 바운딩 박스의 평균 높이를 상기 검출한 객체의 높이로 산출하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
제2항에 있어서, 상기 줌 결정부는,
상기 객체 검출부로부터 산출된 객체의 높이가 최소 높이 기준치 미만인 경우에 상기 씬을 줌-아웃 화면으로 결정하고,
상기 객체 검출부로부터 산출된 객체의 높이가 최대 높이 기준치를 초과하는 경우에 상기 씬을 줌-인 화면으로 결정하며,
상기 객체 검출부로부터 산출된 객체의 높이가 상기 최소 높이 기준치와 상기 최대 높이 기준치 사이의 값을 갖고, 상기 그라운드 추정부가 추정한 면적비가 소정 면적 기준치 이상인 경우에 상기 씬을 줌-노멀 화면으로 결정하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
제1항에 있어서, 상기 광고 판정 모듈은,
상기 결정된 씬에 따라 상기 스포츠 영상 내에 광고 영역을 생성하는 광고 영역 생성부;
상기 생성된 광고 영역에 존재하는 도형 및 텍스트를 상기 광고 이미지로서 검출하는 광고 이미지 검출부;
상기 검출된 광고 이미지를 상기 생성된 광고 영역의 광고 유형에 따라 분류하는 광고 분류부; 및
상기 분류된 광고 이미지와 데이터 세트에 저장된 공식 광고를 대비하여 상기 분류된 광고 이미지가 상기 공식 광고에 부합하는지 여부를 판정하는 광고 부합 판정부;를 포함하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
제6항에 있어서, 상기 광고 영역 생성부는,
상기 결정된 씬이 줌-노멀 화면인 경우에 상기 씬 결정 모듈이 추정한 그라운드 영역을 기준으로 중앙 관중석 광고 영역, 좌측 관중석 광고 영역, 좌측 그라운드 광고 영역, 우측 관중석 영역 및 우측 그라운드 광고 영역 중 적어도 어느 하나를 상기 광고 영역으로 생성하고,
상기 결정된 씬이 줌-인 화면인 경우에 상기 씬 결정 모듈이 검출한 객체의 마스크 영역에서 얼굴 바운딩 박스를 제외한 영역을 상기 광고 영역으로 생성하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
제6항에 있어서, 상기 광고 이미지 검출부는,
로컬 피쳐 디텍트 방법을 이용해 상기 광고 영역 내에서 특징점을 추출함으로써 상기 도형을 검출하고,
영역 점수 및 관련 점수 기반의 텍스트 검출 방법을 이용해 상기 도형으로부터 개별 텍스트 및 단어 텍스트를 검출함으로써 상기 텍스트를 검출하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
제6항에 있어서, 상기 광고 분류부는,
상기 결정된 씬이 줌-노멀 화면인 경우에 상기 검출된 광고 이미지를 상기 추정한 그라운드 영역의 경계 라인으로부터의 거리에 따라 그룹화함으로써 분류하고,
상기 결정된 씬이 줌-인 화면인 경우에 상기 검출된 광고 이미지를 어패럴 광고로 분류하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
제6항에 있어서, 상기 광고 부합 판정부는,
K-NN 분류 알고리즘을 이용해 상기 광고 분류부로부터 분류된 광고 이미지의 특징점과 상기 데이터 세트에 저장된 공식 광고의 레퍼런스 이미지의 특징점을 대비하여 소정 기준치 이상의 근접 특징점을 선정하고,
상기 광고 이미지의 특징점과 상기 레퍼런스 이미지의 특징점 및 상기 근접 특징점에 대한 소정의 스코어링을 수행하며,
상기 스코어링 값이 소정 기준치 이상인 경우에 상기 광고 분류부가 분류한 광고 이미지를 상기 공식 광고에 부합하는 것으로 판정하는 것을 특징으로 하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
제 1항에 있어서, 상기 광고 효과 분석 모듈은,
상기 광고 판정 모듈로부터 공식 광고로 판정된 광고 이미지의 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하는 효과 분석부; 및
상기 효과 분석부로부터 산출된 분석 결과를 상기 스포츠 영상에 실시간 디스플레이하는 디스플레이부;를 포함하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 시스템.
그라운드 추정부가 스포츠 영상에서 그라운드 영역 및 상기 그라운드 영역이 차지하는 면적비를 추정하는 단계;
객체 검출부가 상기 스포츠 영상에서 하나 이상의 객체들을 검출하고, 검출한 객체들에 대한 바운딩 박스의 평균 높이를 객체 높이로 산출하는 단계;
줌 결정부가 상기 그라운드 영역 추정부가 추정한 면적비와 상기 객체 검출부가 산출한 객체 높이에 따라 상기 스포츠 영상의 씬을 결정하는 단계;
광고 영역 생성부가 상기 객체 검출부가 검출한 객체에 광고 영역이 포함될 수 있는지 여부를 결정하고, 상기 결정된 씬 및 상기 검출된 객체에 광고 영역이 포함될 수 있는지 여부에 따라 상기 스포츠 영상에 상기 광고 영역을 생성하는 단계;
광고 이미지 검출부가 상기 생성된 광고 영역에 존재하는 광고 이미지를 검출하고, 상기 검출된 광고 이미지의 특징점 및 데이터 세트에 저장된 레퍼런스 이미지의 특징점을 광고 부합 판정부로 제공하는 단계;
광고 분류부가 상기 검출된 광고 이미지를 상기 생성된 광고 영역의 광고 유형에 따라 분류하여 상기 광고 부합 판정부로 전송하는 단계;
상기 광고 부합 판정부가 상기 제공된 광고 이미지의 특징점 및 상기 레퍼런스 이미지의 특징점을 대비하여 상기 분류된 광고 이미지가 공식 광고에 부합하는지 여부를 판정하는 단계;
효과 분석부가 상기 공식 광고에 부합하는 광고 이미지의 누적 노출 시간, 누적 노출 횟수 및 효과 금액을 분석 결과로 산출하는 단계; 및
디스플레이부가 상기 효과 분석부로부터 산출된 분석 결과를 상기 스포츠 영상에 실시간 디스플레이하는 단계;를 포함하는 인공 지능을 이용한 스포츠 영상 내 광고 분석 방법.