KR20240080755A - 멀티모달 학습을 이용한 위법 광고 탐지 장치 및 방법 - Google Patents

Abstract

본 발명은 광고 내용을 무단 복제하거나 유사하게 변형하여 사용하는 저작권 위반 광고와 유사한 변형 광고로서 허위나 과장 내용이 포함되어 원 광고자에게 피해를 유발하는 광고를 신속하게 검출하여 적법한 광고주의 피해를 방지할 수 있도록 한 멀티모달 학습을 이용한 위법 광고 탐지 장치 및 방법에 관한 것으로서, 이미지화된 광고 콘텐츠에서 이미지와 텍스트를 분리하고, 이들을 각각 별도의 학습 방식으로 학습된 유사도 판단부를 통해 이미지 관점에서 원본 광고 콘텐츠와 유사한 정도와, 텍스트 관점에서 원본 광고 콘텐츠와 유사한 정도를 각각 얻은 후 이들을 멀티모달 공동 표현 방식으로 학습된 학습기를 통해 하나의 데이터 공간에 매핑하여 거리를 기반으로 원본 광고 콘텐츠와 대상 광고 콘텐츠의 유사도를 판단함으로써, 복합적인 비정형 데이터 상태의 광고 콘텐츠에 대한 유사도를 신속하고 정확하게 판별할 수 있어 복제나 변형과 같은 위법 광고 콘텐츠를 효율적으로 검출하여 광고 콘텐츠의 불법 활용을 차단할 수 있는 효과가 있다.

Description

멀티모달 학습을 이용한 위법 광고 탐지 장치 및 방법{Illegal advertising detection apparatus using multimodal learning and method thereof}

본 발명은 멀티모달 학습을 이용한 위법 광고 탐지 장치 및 방법에 관한 것으로서, 더욱 상세히는 광고 내용을 무단 복제하거나 유사하게 변형하여 사용하는 저작권 위반 광고와 유사한 변형 광고로서 허위나 과장 내용이 포함되어 원 광고자에게 피해를 유발하는 광고를 신속하게 검출하여 적법한 광고주의 피해를 방지할 수 있도록 한 멀티모달 학습을 이용한 위법 광고 탐지 장치 및 방법에 관한 것이다.

온라인 상품 판매가 활성화됨에 따라 상품 판매를 위한 온라인 광고 콘텐츠가 급증하고 있다.

이와 같은 온라인 광고 콘텐츠는 단순히 상품에 대한 정보를 제공하기 위한 순수한 광고 콘텐츠외에도 상품 판매를 위한 판매 페이지를 통해 제공되어 판매 상품에 대한 여러 정보를 제공하는 콘텐츠를 포함한다. 즉, 상품 판매를 위한 마켓이나 웹페이지에 대한 방문이 자유롭기 때문에 판매 페이지의 상품 설명이 광고 콘텐츠로서 이용되고 있다.

이와 같은 상품의 설명과 광고가 포함되는 온라인 광고 콘텐츠는 다양한 이미지와 텍스트가 콘텐츠 제작자의 의도에 따라 적절하게 배치되므로 그 광고 콘텐츠의 배치와 해당 광고 콘텐츠에 포함된 텍스트와 이미지는 모두 저작권의 대상이 된다.

나아가 광고 콘텐츠의 특성상 해당 콘텐츠에는 법적으로 금하는 허위, 과대 광고에 해당하는 내용이 없어야만 한다.

하지만, 최근의 온라인 상품 판매는 유사 상품을 여러 판매자들이 경쟁하는 방식으로 판매하고 있고, 심지어는 동일 상품을 서로 다른 판매자들이 각각의 독특한 광고 콘텐츠를 통해서 경쟁 방식으로 판매하고 있는 실정이다.

따라서, 이와 같은 광고 콘텐츠 저작물들이 짧은 시간 내에 복제되거나 변형되어 사용되는 경우가 빈번하고, 심지어는 복제하거나 변형한 광고 콘텐츠에 허위나 과대 광고 표현을 추가하여 자신이 판매하는 상품의 판매량을 증가시키고자 하는 경우도 발생하고 있다.

이와 같은 광고 콘텐츠의 복제나 변형은 광고 콘텐츠 저작자나 적법한 광고주의 저작권을 침해하는 것일 뿐만 아니라 불공정한 경쟁에 해당하므로 근절되어야 하며, 무단 사용된 콘텐츠를 변형하여 허위나 과대광고 내용을 추가하는 경우 역시 소비자에 대한 기망에 해당할 뿐만 아니라 적법한 콘텐츠 제작자나 광고주에게 심각한 영업상 피해를 유발하며, 상품 자체에 대한 신뢰성을 낮추는 문제가 발생한다.

하지만 텍스트와 이미지가 비정형적으로 혼합된 광고 콘텐츠의 특성상 방대한 온라인 광고 콘텐츠들 중에서 적법한 광고 콘텐츠를 복제하거나 변형한 침해 광고 콘텐츠를 쉽게 발견하기 어렵고 나아가 허위나 과대 광고의 적용 위험성을 찾아내는 것 역시 어려운 실정이다.

특히, 현재의 유사 이미지 탐색 기술을 통해서 특정 이미지와 유사한 이미지가 포함된 웹페이지를 찾아내는 것은 어느정도 가능하지만 이미지와 텍스트가 혼재되어 만들어진 광고 콘텐츠를 하나의 커다란 이미지로 생성하고 있으므로 텍스트의 크기를 달리하거나 텍스트와 이미지의 위치를 변경하는 정도만으로 이미지 간 유사범위를 벗어나므로 유사 광고 콘텐츠를 검출하는 것이 쉽지 않다.

그럼에도 불구하고 이와 같은 광고 콘텐츠의 복제나 변형 이용 사례나 허위 과대 광고 적용 사례가 증가하고 있어 이를 근절하기 위한 새로운 방법이 절실한 실정이다.

한국등록특허 제10-2398498호 [발명의 명칭: 스틸 이미지 기반 미디어 컨텐츠 모니터링 시스템 및 방법] 한국등록특허 제10-1800373호 [발명의 명칭: 불법 콘텐츠 검색 시스템 및 방법]

본 발명의 목적은 이미지화된 거대 광고 콘텐츠에서 이미지 영역과 텍스트 영역을 구분하여 각각 이미지와 텍스트를 추출하고, 원본 광고 컨텐츠에서 추출된 이미지와 텍스트를 기반으로 서로 다른 방식의 기계학습방식으로 학습된 판단부를 통해 대상 광고 콘텐츠에서 추출된 이미지와 텍스트가 원본 광고 콘텐츠와 일치할 유사도 가중치를 산출한 후 이들을 멀티모달 공동 알고리즘을 통해 통합적으로 분석하여 원본과의 유사성을 판단하고, 유사한 광고 콘텐츠에 대한 허위, 과대광고 위험성 여부를 더 판단하여 그 결과를 제공함으로써, 신속하고 정확하게 원본 광고 콘텐츠를 무단 사용한 대상 광고를 선별하고 허위 과대광고 위험성이 있는 대상 광고를 특정할 수 있도록 한 멀티모달 학습을 이용한 위법 광고 탐지 장치 및 방법을 제공하는 것이다.

본 발명의 다른 목적은 광고 콘텐츠에 포함된 이미지에 대한 유사성은 이미지 유사도 학습 모델을 이용하여 산출하고, 광고 콘텐츠에 포함된 텍스트에 대한 유사성은 입력 단어별 중요도를 포함하여 자연어 유사성 판단을 위해 트랜스포머 학습 모델을 적용하며, 이들이 제공하는 유사도 가중치들을 공동 임베딩 공간으로 매핑하여 입력 데이터 임베딩 값과의 거리를 통해 원본 광고 콘텐츠와의 유사도를 산출하도록 함으로써, 멀티모달 학습 방식을 통해 보다 정확하고 정량화된 유사 광고 검출이 가능하도록 한 멀티모달 학습을 이용한 위법 광고 탐지 장치 및 방법을 제공하는 것이다.

본 발명의 또 다른 목적은 허위 과장광고에 대한 허용과 금지 표현에 대한 사전을 활용한 트랜스포머 학습 모델을 통해 감성 분석 방식으로 학습하여 유사 광고들의 허위 과장 광고 위험성을 판단하도록 함으로써 신속하고 정확한 허위 과장광고 위험성을 제공할 수 있도록 한 멀티모달 학습을 이용한 위법 광고 탐지 장치 및 방법을 제공하는 것이다.

본 발명의 실시예에 따른 멀티모달 학습을 이용한 위법 광고 탐지 장치는, 대상 광고 콘텐츠에서 이미지 영역과 텍스트 영역을 구분하고, 정규화된 광고 이미지와 텍스트 영역에서 추출한 광고 텍스트를 생성하는 광고 전처리부와, 원본 광고 콘텐츠 이미지로 학습된 학습부를 통해, 상기 광고 전처리부에서 생성된 정규화된 광고 이미지의 유사도 가중치를 판단하여 제공하는 이미지 유사도 분석부와, 원본 광고 콘텐츠 텍스트로 광고 단어별 중요도 해석 방식으로 학습된 학습부를 통해, 상기 광고 전처리부에서 생성된 광고 텍스트의 유사도 가중치를 판단하여 제공하는 텍스트 유사도 분석부와, 이미지 유사도 분석부와 텍스트 유사도 분석부의 유사도 가중치들을 공동 임베딩 공간에 매핑하여 거리를 기반으로 원본 광고 콘텐츠에 대한 대상 광고 콘텐츠의 유사도를 판단하고, 설정된 기준 이상의 유사도를 가진 대상 광고 콘텐츠 정보를 유사 광고 콘텐츠 정보로 제공하는 멀티모달 공동 분석부를 포함한다.

일례로서, 허위 과장광고에 대한 허용과 금지 표현 사전으로 학습된 학습부를 통해, 상기 멀티모달 공동 분석부가 제공하는 유사 광고 콘텐츠 정보에 대응되는 텍스트 데이터의 허위 과장 위험도 정보를 제공하는 허위 과장 분석부를 더 포함할 수 있다.

일례로서, 미리 설정된 기간 동안 생성된 신규 광고 콘텐츠를 수집하여 광고 전처리부에 제공하는 광고 수집부를 더 포함할 수 있다.

일례로서, 멀티모달 공동 분석부에서 유사 광고 콘텐츠 정보를 수집하여 위법 광고 목록을 제공하고, 허위 과장 분석부에서 판단된 유사 광고 콘텐츠에 대한 허위 과장 위험도 정보를 수집하여 허위 과장 위험 광고 목록을 제공하는 결과 출력부를 포함할 수 있다.

일례로서, 광고 전처리부는 대상 광고 콘텐츠와 원본 광고 콘텐츠에서 텍스트 영역을 구분하고, 구분된 텍스트 영역의 문자를 판독하여 텍스트 데이터를 광고 콘텐츠 정보와 매칭하여 저장하되, 텍스트의 크기와 색상에 대한 정보도 특징 정보로 함께 저장하는 텍스트 선별 판독부와, 대상 광고 콘텐츠와 원본 광고 콘텐츠에서 이미지 영역을 구분하여 패치 방식으로 오버랩하여 일정한 크기의 정규화된 단일 이미지를 생성한 다음 광고 콘텐츠 정보와 매칭하여 저장하는 이미지 선별 정규화부와, 원본 및 각 대상 광고 콘텐츠를 구분하기 위한 광고 콘텐츠 정보를 생성하고, 요청에 따라 상기 광고 콘텐츠 정보와 매칭 저장된 이미지 데이터나 텍스트 데이터를 제공하는 광고별 데이터 관리부를 포함할 수 있다.

특히, 텍스트 유사도 분석부는 원본 광고 콘텐츠의 텍스트와 유사 광고 콘텐츠의 텍스트를 라벨링한 학습 데이터셋를 통해 학습된 트랜스포머 학습기를 포함하되, 상기 트랜스포머 학습기는 입력 텍스트의 각 단어가 원본 텍스트에 포함된 단어인지를 라벨을 바탕으로 워드 임베딩하고, 해당 텍스트의 크기와 색상에 대한 특징 정보에 따른 가중치를 반영하여 위치를 기반으로 인코딩한 후 인코더를 통해 문장 내 각 특정 단어들과의 양방향에 존재하는 단어 간 연관성을 나타낸 어텐션값과 위치 정보를 학습하고, 디코더를 통해 완전연결 방식의 가중치를 출력할 수 있다.

일례로서, 멀티모달 공동 분석부는 이미지 유사도 분석부와 텍스트 유사도 분석부의 유사도 가중치들에 대한 공동 표현을 위한 신경망을 구성하고 하나의 공간에 두 상이한 모달리티를 벡터화하여 매핑하는 학습을 진행하는 학습부를 포함하며, 해당 학습부를 통해 얻어진 원본 광고의 위치를 앵커로 하여 대상 광고에 대해 얻어진 위치의 거리를 기준으로 유사성을 판단할 수 있다.

일례로서, 허위 과장 분석부는 허위 과장광고에 대한 허용과 금지 표현 사전을 통해 표현학습이 이루어진 트랜스포머 학습기를 포함하되, 상기 트랜스포머 학습기는 허위 표현 포함여부, 과장 광고 표현 단어 포함 수준, 표현의 감성분석 수준이 모두 고려된 워드 임베딩 구성을 포함할 수 있다.

본 발명의 실시예에 따른 위법 광고 탐지 방법은, 위법 광고 탐지 장치를 이용한 위법 광고 탐지 방법으로서, 원본 광고 콘텐츠와 유사 광고 콘텐츠로부터 이미지 영역과 텍스트 영역을 구분하여 생성된 이미지 데이터와 텍스트 데이터를 라벨링하여 이미지 유사도 분석부와 텍스트 유사도 분석부의 학습기를 학습시키는 단계와, 허위 과장광고에 대한 허용과 금지 표현 사전을 이용하여 텍스트 데이터에 허위나 과장 광고 표현이 포함될 위험성을 판단하도록 허위 과장 분석부의 학습기를 학습시키는 단계와, 미리 설정된 기간 동안 생성된 대상 광고 콘텐츠를 수집하여 이미지 영역과 텍스트 영역을 구분한 후 이미지 데이터와 텍스트 데이터를 생성하는 단계와, 대상 광고 콘텐츠의 이미지 데이터와 텍스트 데이터에 대한 원본 광고 콘텐츠 유사도 가중치를 각각 이미지 유사도 분석과 텍스트 유사도 분석을 통해 산출하는 단계와, 상기 산출된 서로 다른 종류의 유사도 가중치를 하나의 공간에 매핑하고, 원본 광고 콘텐츠의 공간상 위치를 기반으로 하여 거리에 따라 유사한 대상 광고 콘텐츠를 선별하여 유사 광고 콘텐츠 정보로 제공하는 단계와, 상기 선별된 유사 광고 콘텐츠 정보에 대응되는 각 유사 광고 콘텐츠의 텍스트 데이터를 대상으로 허위나 과장 광고 표현이 포함될 위험성을 상기 허위 과장 분석부를 통해 각각 산출하는 단계를 포함 한다.

일례로서, 텍스트 데이터를 생성하는 단계는 텍스트 데이터 외에 해당 텍스트의 크기와 색상에 따른 특징 정보를 더 생성하는 단계를 포함하고, 광고 콘텐츠 유사도 가중치를 각각 이미지 유사도 분석과 텍스트 유사도 분석을 통해 산출하는 단계는 텍스트 유사도 분석 시 텍스트 데이터 외에 해당 텍스트의 크기와 색상에 따른 특징 정보를 가중치로서 입력에 반영하는 단계를 더 포함할 수 있다.

본 발명은 이미지화된 광고 콘텐츠에서 이미지와 텍스트를 분리하고, 이들을 각각 별도의 학습 방식으로 학습된 유사도 판단부를 통해 이미지 관점에서 원본 광고 콘텐츠와 유사한 정도와, 텍스트 관점에서 원본 광고 콘텐츠와 유사한 정도를 각각 얻은 후 이들을 멀티모달 공동 표현 방식으로 학습된 학습기를 통해 하나의 데이터 공간에 매핑하여 거리를 기반으로 원본 광고 콘텐츠와 대상 광고 콘텐츠의 유사도를 판단함으로써, 복합적인 비정형 데이터 상태의 광고 콘텐츠에 대한 유사도를 신속하고 정확하게 판별할 수 있어 복제나 변형과 같은 위법 광고 콘텐츠를 효율적으로 검출하여 광고 콘텐츠의 불법 활용을 차단할 수 있는 효과가 있다.

또한, 복제나 변형 가능성이 높은 유사 광고 콘텐츠를 검출한 후 해당 유사 광고 콘텐츠에 허위나 과장 광고 표현이 포함되어 있는 지 재차 확인하여 원본 광고 콘텐츠를 도용하여 허위 광고를 하는 위법한 상황을 신속하게 차단하여 영업적 피해나 신용도 하락과 같은 권리자의 피해를 방지할 수 있는 효과가 있다.

나아가 텍스트 데이터를 이용하여 유사도 판단이나 허위 과장 광고의 위험성을 판단하는 학습부에 트랜스포머 학습 모델을 적용함으로써 단순한 글자의 유사성이 아닌 중요 단어나 표현에 집중한 높은 정확도의 분석이 가능하도록 함과 아울러 텍스트의 색상이나 크기와 같은 표현 특징 정보도 트랜스포머 학습 모델의 워드 임베딩 시 가중치로 반영하도록 함으로써 시각적 관점에서의 텍스트 중요도 정보를 텍스트 분석 시 더 반영하여 위법 광고 탐지의 신뢰성을 높일 수 있는 효과가 있다.

도 1은 본 발명의 실시예에 따른 위법 광고 탐지 장치의 구성도.
도 2는 본 발명의 실시에에 따른 광고 전처리부의 개념적 구성도.
도 3은 본 발명의 실시예에 따른 멀티모달 학습 방식의 구성 및 개념도.
도 4는 본 발명의 실시예에 따른 허위 과장 광고 분석 및 결과 제공에 대한 구성 및 개념도.
도 5는 본 발명의 실시예에 따른 텍스트 유사도 분석부의 학습부 구성도.
도 6은 본 발명의 실시예에 따른 허위 과장 분석부의 학습부 구성도.

본 발명에서 사용되는 기술적 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아님을 유의해야 한다. 또한, 본 발명에서 사용되는 기술적 용어는 본 발명에서 특별히 다른 의미로 정의되지 않는 한, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 의미로 해석되어야 하며, 과도하게 포괄적인 의미로 해석되거나, 과도하게 축소된 의미로 해석되지 않아야 한다. 또한, 본 발명에서 사용되는 기술적인 용어가 본 발명의 사상을 정확하게 표현하지 못하는 잘못된 기술적 용어일 때에는 당업자가 올바르게 이해할 수 있는 기술적 용어로 대체되어 이해되어야 할 것이다. 또한, 본 발명에서 사용되는 일반적인 용어는 사전에 정의되어 있는 바에 따라, 또는 전후 문맥상에 따라 해석되어야 하며, 과도하게 축소된 의미로 해석되지 않아야 한다.

또한, 본 발명에서 사용되는 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한 복수의 표현을 포함한다. 본 발명에서 "구성된다" 또는 "포함한다" 등의 용어는 발명에 기재된 여러 구성 요소들 또는 여러 단계를 반드시 모두 포함하는 것으로 해석되지 않아야 하며, 그 중 일부 구성 요소들 또는 일부 단계들은 포함되지 않을 수도 있고, 또는 추가적인 구성 요소 또는 단계들을 더 포함할 수 있는 것으로 해석되어야 한다.

또한, 본 발명에서 사용되는 제 1, 제 2 등과 같이 서수를 포함하는 용어는 구성 요소들을 설명하는데 사용될 수 있지만, 구성 요소들은 용어들에 의해 한정되어서는 안 된다. 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제 1 구성 요소는 제 2 구성 요소로 명명될 수 있고, 유사하게 제 2 구성 요소도 제 1 구성 요소로 명명될 수 있다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 바람직한 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 유사한 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.

또한, 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 발명의 사상을 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 발명의 사상이 제한되는 것으로 해석되어서는 아니 됨을 유의해야 한다.

이하, 도면을 참고하여 본 발명의 상세 실시예를 설명한다.

도 1은 본 발명의 실시예에 따른 위법 광고 탐지 장치의 구성도이다.

본 발명의 실시예에 따른 위법 광고 탐지 장치(100)는 비정형성 광고 콘텐츠에 특화된 유사 광고 콘텐츠 탐지 방법을 제공한다. 원본 콘텐츠를 기준으로 특정 기간 내 신규 등록된 대상 광고 콘텐츠들 중 유사 복제 허위 과장 광고 콘텐츠를 사람의 인지 관점에서 신속하고 정확하게 탐지하도록 함으로써 효율적이고 신속한 탐지가 가능하도록 한다.

도시된 바와 같이 위법 광고 탐지 장치(100)는 광고 콘텐츠를 입력으로 수신하여 기준이 되는 원본 광고 콘텐츠와의 유사도를 산출하고, 기준 이상 유사한 광고 콘텐츠에 대한 허위 과장 광고 위험성 여부를 산출하여 위법 광고 정보(유사한 광고 콘텐츠의 리스트, 기준 이상 유사한 광고 콘텐츠의 허위 과장 광고 위험성 정보)를 출력한다.

해당 위법 광고 탐지 장치(100)는 멀티모달 학습(Multi-modal Learning)을 기반으로 비정형 광고 콘텐츠의 유사성을 판단하는데, 텍스트 데이터 및 이미지 데이터로부터 추출한 각각의 유의미한 특질(significant features), 즉 상이한 모달리티(modality)인 시각적 이미지와 의미론적 텍스트의 특징을 멀티모달 공동(Multi-modal joint) 분석 방식으로 통합 분석하여 이미지와 텍스트가 혼재된 광고 콘텐츠의 유사성을 보다 정확하게 판단하도록 한다.

한편, 멀티모달 공동 분석을 위한 공동 임베딩(Joint embedding) 시, 텍스트 및 이미지로부터 추출된 각 특질은 유사도 측정 시 연산량을 충분히 줄이기 위한 바틀렉 층(bottleneck layer)에서 일정 비율(weight)만큼 반영될 수 있으며, 임베딩 된 잠재 변수(latent variables)를 모두 고려할 수 있도록 결합(concat)하여 멀티모달 공동 학습(multimodal joint learning)을 진행한다.

한편, 텍스트 분석에 있어서도 원본 광고 콘텐츠의 텍스트와 유사성을 판단하기 위한 학습방식으로 중요한 단어에 집중하는 트랜스포머 알고리즘을 적용함으로써 보다 사람이 인식하는 것과 유사한 방식의 텍스트 유사성 판단이 가능하도록 한다.

나아가, 멀티모달 공동 분석을 통해 선별된 유사 광고 군집에 대해서 감성 분석(sentiment analysis)을 활용한 트랜스포머 구조의 학습 알고리즘을 적용하여 허위 과장 광고 위험성을 판단하도록 한다.

이러한 위법 광고 탐지 장치(100)를 통해서 원본 광고 콘텐츠와 사람이 느끼기에 유사한 대상 광고 콘텐츠를 높은 신뢰도로 선택할 수 있고, 선택된 유사 광고 콘텐츠에 허위 과장 광고 표현 위험성을 파악할 수 있어, 위법 광고 정보를 신속하게 파악하고 그 위법 내용을 구체적으로 파악하여 위법 광고의 사용 중단을 요청함으로써 결과적으로 원본 광고 콘텐츠의 적법 사용자 피해를 최소화할 수 있게 된다.

본 발명의 실시예에 따른 위법 광고 탐지 장치(100)는 도시된 바와 같이 미리 설정된 기간 동안 생성된 신규 광고 콘텐츠를 수집하여 상기 광고 전처리부에 제공하는 광고 수집부(110)와, 대상 광고 콘텐츠에서 이미지 영역과 텍스트 영역을 구분하고, 정규화된 광고 이미지와 텍스트 영역에서 추출한 광고 텍스트를 생성하는 광고 전처리부(120)를 포함한다.

또한 원본 광고 콘텐츠 이미지로 학습된 학습부를 통해, 광고 전처리부(120)에서 생성된 정규화된 광고 이미지의 유사도 가중치를 판단하여 제공하는 이미지 유사도 분석부(140)와, 원본 광고 콘텐츠 텍스트로 광고 단어별 중요도 해석 방식으로 학습된 학습부를 통해, 상기 광고 전처리부에서 생성된 광고 텍스트의 유사도 가중치를 판단하여 제공하는 텍스트 유사도 분석(130)부와, 이미지 유사도 분석부(140)와 텍스트 유사도 분석부(130)의 유사도 가중치들을 공동 임베딩 공간에 매핑하여 거리를 기반으로 원본 광고 콘텐츠에 대한 대상 광고 콘텐츠의 유사도를 판단하고, 설정된 기준 이상의 유사도를 가진 대상 광고 콘텐츠 정보를 유사 광고 콘텐츠 정보로 제공하는 멀티모달 공동 분석부(150)를 포함한다.

나아가 허위 과장광고에 대한 허용과 금지 표현 사전으로 학습된 학습부를 통해, 멀티모달 공동 분석부(150)가 제공하는 유사 광고 콘텐츠 정보에 대응되는 텍스트 데이터의 허위 과장 위험도 정보를 제공하는 허위 과장 분석부(170)를 포함한다.

더불어, 위법 광고 탐지 장치(100)는 멀티모달 공동 분석부(150)에서 유사 광고 콘텐츠 정보를 수집하여 위법 광고 목록을 제공하고, 허위 과장 분석부(170)에서 판단된 유사 광고 콘텐츠에 대한 허위 과장 위험도 정보를 수집하여 허위 과장 위험 광고 목록을 제공하는 결과 출력부(180)를 포함한다.

이와 같은 본 발명의 실시예에 따른 위법 광고 탐지 장치(100)의 각 구성에 관련하여 도 2 내지 도 6을 참조하여 좀 더 상세히 설명한다.

도 2는 본 발명의 실시에에 따른 광고 전처리부(120)의 개념적 구성도로서, 도시된 바와 같이 대상 광고 수집부(110)를 통해 수집되거나 원본 광고 콘텐츠로 입력되는 광고 콘텐츠(10)에서 이미지와 텍스트 정보를 추출하여 저장한다.

본 발명의 실시예에서 광고 콘텐츠(10)는 이미지와 텍스트 정보가 혼합된 콘텐츠로서 온라인 광고 특성상 하나의 긴 이미지 형태를 가진다.

도시된 바와 같이 광고 전처리부(120)는 대상 광고 콘텐츠와 원본 광고 콘텐츠 등의 입력된 광고 콘텐츠(10)에서 이미지 영역을 구분하고, 이를 패치 방식으로 오버랩하여 일정한 크기의 정규화된 단일 이미지를 생성한 다음 광고 콘텐츠 정보와 매칭하여 저장하는 이미지 선별 정규화부(124)를 포함한다. 즉, 본 발명의 실시예에 따른 이미지 데이터는 하나의 광고 콘텐츠에서 텍스트를 제외한 이미지들을 선별한 후 조합하여 하나의 이미지로 변환된 것이다. 이때, 이미지 선별 및 정규화부(124)는 객체 식별부(126)와 연동하여 선별된 이미지에 포함된 객체에 대한 식별 정보를 생성할 수 있으며, 해당 객체 식별정보를 이미지 데이터와 함께 저장할 수 있다.

도시된 바와 같이 광고 전처리부(120)는 대상 광고 콘텐츠와 원본 광고 콘텐츠 등의 입력된 광고 콘텐츠(10)에서 텍스트 영역을 구분하고, 구분된 텍스트 영역의 문자를 OCR(Optical Character Recognition) 방식으로 판독하여 텍스트 데이터를 광고 콘텐츠 정보와 매칭하여 저장하되, 텍스트의 크기와 색상에 대한 정보도 특징 정보로 함께 저장하는 텍스트 선별 판독부(122)를 포함한다.

광고에 있어서 텍스트의 내용 뿐만 아니라 해당 텍스트의 크기와 색상은 중요한 정보라는 것을 나타내는 지표가 되므로 해당 정보를 단어의 중요도 판단을 위한 가중치로 활용할 수 있다. 텍스트의 크기, 색상 외에 회전, 특수효과 등의 추가적인 표현에 대한 식별 정보도 특징 정보에 포함될 수도 있다.

해당 텍스트 표현에 대한 특징 정보는 텍스트 유사도 분석부(130)와 허위 과장 분석부(170)에 적용되는 트랜스포머 학습기의 워드 임베딩 시 추가적으로 적용될 수 있다. 트랜스포머 학습기를 통해 텍스트를 분석할 경우 입력 텍스트의 단어 중 중요 단어에 집중하게 되는데, 해당 워드 임베딩 시 텍스트 표현에 대한 특징 정보를 가중치로서 더 적용하게 되면 시각적으로 강조한 중요 단어나 문구에 대한 정보가 가중치로 포함되므로 트랜스포머 학습기의 성능을 크게 높일 수 있게 된다. 즉, 텍스트 분석을 위한 구성에서도 시각적 요소를 반영한 멀티모달 학습이 적용된다고 할 수 있다.

사람의 인지를 기반으로 하는 광고 콘텐츠에 있어서 중요한 문구나 문장은 큰 글씨, 강조 색상 등으로 강조되므로 일반적인 설명 문구와는 구분되는 중요 정보이고, 허위 과장 광고 문구 역시 큰 글씨, 강조 색상 등으로 강조되므로 일반적인 설명 문구와 구분되는 중요 정보라는 점에서 이를 배제한 단순 텍스트 분석보다 당연하게도 중요한 부분에 대한 명시적인 특징을 더 반영할 경우 사람의 인지를 기반으로 하는 유사도 판단의 품질은 높아지게 된다.

이와 같이 하나의 광고 콘텐츠(10)에 대해서 이미지 영역만 패치워크된 하나의 정규화된 이미지와 추출된 텍스트의 쌍으로 이루어진 데이터를 추출 및 생성하여 각각 텍스트 데이터 저장부(123)와 이미지 데이터 저장부(125)에 저장할 수 있다.

또한, 원본 및 각 대상 광고 콘텐츠를 구분하기 위한 광고 콘텐츠 정보를 생성하고, 요청에 따라 상기 광고 콘텐츠 정보와 매칭 저장된 이미지 데이터나 텍스트 데이터를 제공하는 광고별 데이터 관리부(121)를 포함할 수 있다.

즉, 광고 콘텐츠들을 서로 구분하기 위해서 광고 콘텐츠의 주소 정보(웹페이지 주소)와 식별을 위한 식별 정보 등을 광고 콘텐츠 정보로 생성하고, 추출된 텍스트 데이터와 이미지 데이터 쌍을 해당 광고 콘텐츠 정보(식별 정보)에 매칭함으로써, 결과 분석부(180)가 유사도가 높은 위법 광고 콘텐츠에 대한 정보를 제공할 때 위법 광고 콘텐츠로 구분된 광고 콘텐츠의 식별 정보를 기반으로 주소 정보를 검색하여 함께 제공할 수 있도록 하고, 멀티모달 공동 분석부(150)에서 유사한 광고로 선별된 유사군 광고에 대한 허위 과장 위험도를 분석하기 위해 허위 과장 분석부(170)가 분석할 광고 콘텐츠의 텍스트 데이터를 광고 전처리부(120)에 요청할 경우에도 광고 식별 정보가 이용될 수 있다.

도 3은 본 발명의 실시예에 따른 멀티모달 학습 방식의 구성 및 개념도로서, 도시된 바와 같이 이미지 유사도 분석부(140)와 텍스트 유사도 분석부(130)는 각각 이미지 학습 및 판단부(141)와 텍스트 학습 및 판단부(131)와 같은 학습부를 포함한다.

각 학습부는 광고 전처리부(120)를 통해 원본 광고 콘텐츠와 해당 원본 광고와 유사한 것으로 선정된(예컨대 동일 카테고리 주제로 웹 크롤링된) 유사 광고 콘텐츠로부터 이미지 영역과 텍스트 영역을 구분하여 생성한 이미지 데이터와 텍스트 데이터를 라벨링한 학습 데이터 셋을 이용하여 학습되고, 해당 유사 광고 콘텐츠에서 추출된 이미지 데이터와 텍스트 데이터를 라벨링한 검증 데이터 셋을 이용하여 검증된다.

즉, 위법 광고 탐지 장치(100)가 위법한 대상 광고 콘텐츠의 위법성을 탐지하기 전에, 사전 작업으로서 원본 광고 콘텐츠와 해당 원본 광고 콘텐츠와 같은 카테고리의 다른 유사 광고 콘텐츠를 수집하여 이를 기반으로 텍스트 유사도 분석부(140)와 이미지 유사도 분석부(130)를 학습시키는 과정을 거친다.

나아가 멀티모달 공동 분석부(151) 역시 텍스트 유사도 분석부(130)와 이미지 유사도 분석부(140)가 제공하는 유사도 가중치를 기반으로 멀티모달 공동 모델을 통해 공동 임베딩 공간으로 매핑하기 위한 멀티모달 학습을 수행할 수 있다.

이와 같은 학습이후, 도시된 바와 같이 이미지 유사도 분석부(140)는 하나의 패치워크된 이미지 데이터(광고 식별 정보 포함)를 수신하여 해당 이미지 데이터가 원본 광고 데이터와 얼마나 유사한지에 대한 유사도 가중치를 산출한다. 이 때 이미지에 포함된 객체 정보의 유사성도 함께 고려될 수 있다.

또한 텍스트 유사도 분석부(130)는 원본 광고 콘텐츠의 텍스트와 유사 광고 콘텐츠의 텍스트를 라벨링한 학습 데이터셋을 통해 학습된 트랜스포머 학습기를 포함한 텍스트 학습 및 판단부(131)를 포함하는데, 해당 트랜스포머 학습기는 입력되는 문장 단위의 텍스트 정보에 대해서 각 문장에 포함된 단어의 중요도를 기준으로 유사성을 판단하며, 텍스트의 표현상 특징에 대한 정보도 가중 정보로 활용한다. 즉, 텍스트 전체에 대해 동일한 수준의 유사성을 판단하는 것이 아니라 텍스트 중에서 중요한 단어에 집중하여 유사성을 판단하므로 사람이 인식하는 것과 비슷한 성능의 유사도 판단이 가능하게 된다.

멀티모달 공동 분석부(151)는 이미지 유사도 분석부(140)와 텍스트 유사도 분석부(130)의 유사도 가중치들에 대한 공동 표현(representation)을 위한 신경망을 구성하고 하나의 공간에 두 상이한 모달리티를 벡터화하여 멀티모달 임베딩 공간(155)에 매핑하는 학습을 진행하는 학습부(151)를 포함하며, 해당 학습부를 통해 얻어진 원본 광고의 멀티모달 임베딩 공간(155)의 위치를 앵커로 하여 대상 광고에 대해 얻어진 위치와의 거리(유클리드 거리)를 기준으로 유사성을 판단한다.

도시된 예의 경우 복제 광고에 대한 기준을 제 1 거리(ε1)로 하고, 유사 광고에 대한 기준을 제 2 거리(ε2)로 설정한 것이다. 이를 통해서 복제 광고군, 유사 광고군, 비유사 광고군을 거리를 기준으로 구분할 수 있으며, 해당 거리는 설정에 따라 달라질 수 있다.

이와 같은 방법으로 이미지와 텍스트를 모두 고려한 광고 콘텐츠의 유사성을 기준으로 위법 광고 콘텐츠를 구분할 수 있게 된다.

한편, 이와 같은 복제나 변형과 같은 콘텐츠의 저작권을 위반한 위법 광고를 선별한 후, 이와 같은 위법 광고들 중에서 허위 과장 광고 위험성이 존재하는 광고 콘텐츠를 더 판단하도록 한다.

도 4는 본 발명의 실시예에 따른 허위 과장 광고 분석 및 결과 제공에 대한 구성 및 개념도로서, 도시된 바와 같이 허위 과장 분석부(170)는 트랜스포머 학습기로 구성된 텍스트 학습 및 판단부(171)와, 위법한 광고로 선별된 광고의 식별 정보를 수신하여 이를 기반으로 광고 전처리부(120)에 해당 광고의 텍스트 데이터를 요청하는 복제 및 유사광고 데이터 요청부(172)를 포함한다.

해당 허위 과장 분석부(170)에 적용된 트랜스포머 학습기는 텍스트 유사도 분석부(130)에 적용된 트랜스포머 학습기와 유사한 모델이기는 하지만, 텍스트 유사도 분석부(130)의 트랜스포머 학습기가 원본 광고 콘텐츠의 텍스트를 기반으로 하는 유사도를 판단하기 위해 라벨링된 학습셋 이용한 지도 학습이 수행되었다면, 허위 과장 분석부(170)의 트랜스포머 학습기는 허위/과장 광고에 대한 허용/금지 표현이 구비된 사전을 바탕으로 하는 표현학습을 이용한다는 것에서 차이가 있다.

한편, 도시된 바와 같은 결과 출력부(180)는 멀티모달 공동 분석부로부터 광고 선별 정보를 수신하여 해당 광고 선별 정보에 포함된 유사 광고 콘텐츠 정보(광고 식별 정보와 유사도 정보 포함)를 기반으로 위법 광고 목록(유사도 정보도 함께 표시)을 제공하는 복제 유사 광고 선별 제공부(182)와, 허위 과장 분석부(170)에서 판단된 유사 광고 콘텐츠에 대한 허위 과장 위험도 정보를 수집하여 허위 과장 위험이 있는 위법 광고 목록을 제공하는 허위 과장 광고 위험 제공부(181)를 포함한다.

이와 같이 본 발명의 실시예에 적용된 트랜스포머 학습기들을 좀더 살펴본다.

도 5는 본 발명의 실시예에 따른 텍스트 유사도 분석부(130)의 학습부 구성도이다.

도시된 바와 같이 인코더(141a)와 디코더(141b)를 이용하고 입력 임베딩, 출력 임베딩한 입력 텍스트를 포지션 인코딩하는 통상의 트랜스포머 학습기 구성을 이용한다.

다만 본 발명의 실시예에 따른 텍스트 유사도 분석부(130)의 트랜스포머 학습기는 입력 텍스트의 각 단어가 원본 텍스트에 포함된 단어인지를 라벨을 바탕으로 워드 임베딩하면서 텍스트의 크기와 색상에 대한 특징 정보를 광고 특징 가중치로 추가 반영한다는 점에서 단순히 단어의 중요도 뿐만 아니라 텍스트의 시각적 표현에 대한 중요도까지도 함께 반영하는 특징적 구성이 적용된다. 즉, 텍스트 분석이지만 텍스트와 시각적 표현에 대한 특징도 함께 반영되는 멀티모달 학습 방식으로 확장하여 텍스트 분석 품질을 높일 수 있도록 한다.

텍스트를 워드 임베딩한 후 광고 텍스트 데이터의 특징 순서를 반영하여 인코딩 후 인코더를 통해 문장 내 각 특정 단어들과의 양방향에 존재하는 단어 간 연관성을 나타낸 어텐션값과 위치 정보를 학습하고, 디코더를 통해 완전연결 방식의 가중치를 출력한다.

나아가, 인코더(141a)의 구성에 있어서 LSC(Long Skip Connection)을 더 구성하여 전체 광고 문구 내 확장 경로로 활용함으로써 개발 단어의 영향도를 더 정확히 반영하여 광고 단어 별 중요도 해석 시 정확도를 높일 수 있도록 한다. 통상의 SSC(Short Skip Connection)(실선 화살표의 스킵 구조) 만을 사용할 경우 광고 문구의 특징들이 어텐션이 추상적으로 변화될 위험성이 있어 광고 콘텐츠의 유사도 판단을 위해서 도시된 바와 같은 LSC를 적용한다.

한편, 디코더(141b)의 출력 가중치는 해석 가능성을 높이기 위해 선형 조합하여 다중 출력이 가능하도록 선형 조합부(141c)를 더 구성한다. 이를 통해 유사도 가중치를 출력한다.

도 6은 본 발명의 실시예에 따른 허위 과장 분석부(170)의 학습부 구성도로서, 도시된 바와 같이 인코더(171a)와 디코더(171b)를 이용하고 입력 임베딩, 출력 임베딩한 입력 텍스트를 포지션 인코딩하는 통상의 트랜스포머 학습기 구성을 이용한다.

다만 본 발명의 실시예에 따른 허위 과장 분석부(170)의 트랜스포머 학습기는 허위 과장광고에 대한 허용과 금지 표현 사전을 통해 허위 표현 포함여부, 과장 광고 표현 단어 포함 수준, 표현의 감성분석 수준이 모두 고려된 워드 임베딩 구성을 이용한다. 나아가, 도시된 사전 기반 워드 임베딩을 수행함과 아울러 텍스트의 크기와 색상에 대한 특징 정보를 광고 특징 가중치로 추가 반영한다는 점에서 허위 과장 광고 표현에 영향을 주는 텍스트의 표현에 대한 중요도까지도 함께 반영하는 특징적 구성이 적용된다. 즉, 텍스트 분석이지만 텍스트와 시각적 표현에 대한 특징도 함께 반영되는 멀티모달 학습 방식으로 확장하여 텍스트 분석 품질을 높일 수 있도록 한다.

나아가, 인코더(171a)의 구성에 있어서 LSC을 더 구성하여 전체 광고 문구 내 확장 경로로 활용함으로써 개발 단어의 영향도를 더 정확히 반영하여 광고 단어 별 중요도 해석 시 정확도를 높일 수 있도록 한다. 통상의 SSC 만을 사용할 경우 광고 문구의 특징들에 대한 어텐션이 추상적으로 변화될 위험성이 있어 허위 과장 광고 위험성 판단을 위해서 도시된 바와 같은 LSC를 적용한다.

한편, 디코더(171b)의 출력 가중치에 활성화 함수인 시그모이드 함수를 적용하여 확률을 출력하도록 활성화부(171c)를 구성한다.

이와 같은 본 발명의 실시에에 따른 위법 광고 탐지 방법을 정리해 보면, 도 1의 위법 광고 탐지 장치(100)는 원본 광고 콘텐츠와 유사 광고 콘텐츠로부터 이미지 영역과 텍스트 영역을 구분하여 생성된 이미지 데이터와 텍스트 데이터를 라벨링하여 이미지 유사도 분석부와 텍스트 유사도 분석부의 학습기를 학습시키는 단계와, 허위 과장광고에 대한 허용과 금지 표현 사전을 이용하여 텍스트 데이터에 허위나 과장 광고 표현이 포함될 위험성을 판단하도록 허위 과장 분석부의 학습기를 학습시키는 단계가 진행된다.

이후, 미리 설정된 기간 동안 생성된 대상 광고 콘텐츠를 수집하여 이미지 영역과 텍스트 영역을 구분하여 이미지 데이터와 텍스트 데이터를 생성하는 단계와, 상기 대상 광고 콘텐츠의 이미지 데이터와 텍스트 데이터에 대한 원본 광고 콘텐츠 유사도 가중치를 각각 이미지 유사도 분석부와 텍스트 유사도 분석부를 통해 산출하는 단계와, 상기 산출된 서로 다른 종류의 유사도 가중치를 하나의 공간에 매핑하고, 원본 광고 콘텐츠의 공간상 위치를 기반으로 하여 거리에 따라 유사한 대상 광고 콘텐츠를 선별하여 유사 광고 콘텐츠 정보로 제공하는 단계를 포함한다.

해당 과정을 진행함에 있어서, 텍스트 데이터의 유사도 가중치를 구하는 방식은 도 3 및 도 5를 통해 설명한 바와 같은 트랜스포머 학습기를 이용하되, 워드 임베딩 시 시각적인 텍스트 특징 정보를 가중치로 반영함으로써 그 성능을 높인다.

위 과정을 통해서 선별된 유사 광고 콘텐츠 정보에 대응되는 각 유사 광고 콘텐츠의 텍스트 데이터를 대상으로 허위나 과장 광고 표현이 포함될 위험성을 상기 허위 과장 분석부를 통해 각각 산출하는 단계가 진행된다.

이 경우에도 허위 과장 광고의 위험성을 판단하는 방식은 도 3 및 도 6을 통해 설명한 바와 같은 트랜스포머 학습기를 이용하되, 워드 임베딩 시 시각적인 텍스트 특징 정보를 가중치로 반영함으로써 그 성능을 높인다.

이와 같은 과정을 통해 수행되는 본 발명의 실시예는 이미지와 텍스트라는 서로 다른 종류의 정보를 통합적으로 이용하되, 이미지 유사도 분석과 텍스트 유사도 분석 결과를 멀티모달 공동 학습 방식을 통해 멀티모달 임베딩 공간에 매핑하는 방식의 큰 틀에서의 멀티모달 학습 방식을 이용하며, 텍스트의 유사도 판단이나 허위 과장 광고 위험성 판단을 위한 텍스트 분석에 있어서도 시각적 특징 정보를 더 반영함으로써 텍스트 분석에 대해서도 멀티모달 학습 방식을 적용하여 텍스트 분석 성능을 높인다.

따라서, 이미지와 텍스트의 복합적 판단을 통해서 위법 광고들을 그 복제나 변형 정도에 따라 신속하고 정확하게 판단하고, 저작권 위반 광고들 중에서 하위 과장 광고 표현이 포함되는 위법 광고들을 더 선별함으로써 이러한 위법 광고들에 대한 신속한 사용 중단을 요청할 수 있어, 원본 광고 콘텐츠에 대한 권리자의 피해를 최소화할 수 있다.

이상에서 설명된 위법 광고 탐지 장치(100)는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다.

또한, 실시예들에서 설명된 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다.

한편, 위법 광고 탐지 장치(100)는 통신부, 저장부, 표시부, 음향 출력부, 제어부 등을 포함할 수 있다.

위법 광고 탐지 장치(100)에 포함되는 통신부는 유/무선 통신망을 통해 내부의 임의의 구성 요소 또는 외부의 임의의 적어도 하나의 단말기와 통신 연결한다. 여기서, 무선 인터넷 기술로는 무선랜(Wireless LAN: WLAN), DLNA(Digital Living Network Alliance), 와이브로(Wireless Broadband: Wibro), 와이맥스(World Interoperability for Microwave Access: Wimax), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), IEEE 802.16, 롱 텀 에볼루션(Long Term Evolution: LTE), LTE-A(Long Term Evolution-Advanced), 광대역 무선 이동 통신 서비스(Wireless Mobile Broadband Service: WMBS) 등이 있으며, 통신부는 상기에서 나열되지 않은 인터넷 기술까지 포함한 범위에서 적어도 하나의 무선 인터넷 기술에 따라 데이터를 송수신하게 된다. 또한, 근거리 통신 기술로는 블루투스(Bluetooth), RFID(Radio Frequency Identification), 적외선 통신(Infrared Data Association: IrDA), UWB(Ultra Wideband), 지그비(ZigBee), 인접 자장 통신(Near Field Communication: NFC), 초음파 통신(Ultra Sound Communication: USC), 가시광 통신(Visible Light Communication: VLC), 와이 파이(Wi-Fi), 와이 파이 다이렉트(Wi-Fi Direct) 등이 포함될 수 있다. 또한, 유선 통신 기술로는 전력선 통신(Power Line Communication: PLC), USB 통신, 이더넷(Ethernet), 시리얼 통신(serial communication), 광/동축 케이블 등이 포함될 수 있다.

또한, 통신부는 유니버설 시리얼 버스(Universal Serial Bus: USB)를 통해 임의의 단말과 정보를 상호 전송할 수 있다.

또한, 통신부는 이동통신을 위한 기술표준들 또는 통신방식(예를 들어, GSM(Global System for Mobile communication), CDMA(Code Division Multi Access), CDMA2000(Code Division Multi Access 2000), EV-DO(Enhanced Voice-Data Optimized or Enhanced Voice-Data Only), WCDMA(Wideband CDMA), HSDPA(High Speed Downlink Packet Access), HSUPA(High Speed Uplink Packet Access), LTE(Long Term Evolution), LTE-A(Long Term Evolution-Advanced) 등)에 따라 구축된 이동 통신망 상에서 기지국과 무선 신호를 송수신할 수 있다.

위법 광고 탐지 장치(100)에 포함될 수 있는 저장부(또는 메모리)는 다양한 사용자 인터페이스(User Interface: UI), 그래픽 사용자 인터페이스(Graphic User Interface: GUI) 등을 저장한다.

또한, 저장부는 위법 광고 탐지 장치(100)가 동작하는데 필요한 데이터와 프로그램 등을 저장한다.

즉, 저장부는 위법 광고 탐지 장치(100)에서 구동되는 다수의 응용 프로그램(application program 또는 애플리케이션), 동작을 위한 데이터들, 명령어들을 저장할 수 있다. 이러한 응용 프로그램 중 적어도 일부는 무선 통신을 통해 외부 서비스 제공 장치로부터 다운로드 될 수 있다. 또한 이러한 응용 프로그램 중 적어도 일부는 기본적인 기능(예를 들어, 전화 착신, 발신 기능, 메시지 수신, 발신 기능)을 위하여 출고 당시부터 위법 광고 탐지 장치(100) 등에 설치되어 동작(또는 기능)을 수행하도록 실행될 수 있다.

또한, 저장부는 플래시 메모리 타입(Flash Memory Type), 하드 디스크 타입(Hard Disk Type), 멀티미디어 카드 마이크로 타입(Multimedia Card Micro Type), 카드 타입의 메모리(예를 들면, SD 또는 XD 메모리 등), 자기 메모리, 자기 디스크, 광디스크, 램(Random Access Memory: RAM), SRAM(Static Random Access Memory), 롬(Read-Only Memory: ROM), EEPROM(Electrically Erasable Programmable Read-Only Memory), PROM(Programmable Read-Only Memory) 중 적어도 하나의 저장매체를 포함할 수 있다. 또한, 위법 광고 탐지 장치(100)는 인터넷(internet)상에서 저장부의 저장 기능을 수행하는 웹 스토리지(web storage)를 운영하거나, 또는 웹 스토리지와 관련되어 동작할 수도 있다.

위법 광고 탐지 장치(100)에 포함될 수 있는 표시부는 내부 제어 수단의 제어에 의해 저장부에 저장된 사용자 인터페이스 및/또는 그래픽 사용자 인터페이스를 이용하여 다양한 메뉴 화면 등과 같은 다양한 콘텐츠를 표시할 수 있다. 여기서, 표시부에 표시되는 콘텐츠는 다양한 텍스트 또는 이미지 데이터(각종 정보 데이터 포함)와 아이콘, 리스트 메뉴, 콤보 박스 등의 데이터를 포함하는 메뉴 화면 등을 포함한다. 또한, 표시부는 터치 스크린 일 수 있다.

또한, 표시부는 액정 디스플레이(Liquid Crystal Display: LCD), 박막 트랜지스터 액정 디스플레이(Thin Film Transistor-Liquid Crystal Display: TFT LCD), 유기 발광 다이오드(Organic Light-Emitting Diode: OLED), 플렉시블 디스플레이(Flexible Display), 3차원 디스플레이(3D Display), 전자잉크 디스플레이(e-ink display), LED(Light Emitting Diode) 중에서 적어도 하나를 포함할 수 있다.

위법 광고 탐지 장치(100)에 포함될 수 있는 음향 출력부는 제어수단에 의해 소정 신호 처리된 신호에 포함된 음향 정보를 출력한다. 여기서, 음향 출력부에는 리시버(receiver), 스피커(speaker), 버저(buzzer) 등이 포함될 수 있다.

또한, 음향 출력부는 제어부에 의해 생성된 안내 음성을 출력할 수 있다.

위법 광고 탐지 장치(100)에 구성될 수 있는 제어 수단은 전반적인 제어 기능을 실행한다. 이때, 상기 제어수단은 프로세서(processor) 또는 엔진(engine)일 수 있다.

또한, 제어수단은 저장부에 저장된 프로그램 및 데이터를 이용하여 전반적인 제어 기능을 실행한다. 제어수단은 RAM, ROM, CPU, GPU, 버스를 포함할 수 있으며, RAM, ROM, CPU, GPU 등은 버스를 통해 서로 연결될 수 있다. CPU는 저장부에 액세스하여, 저장부에 저장된 O/S를 이용하여 부팅을 수행할 수 있으며, 저장부에 저장된 각종 프로그램, 콘텐츠, 데이터 등을 이용하여 다양한 동작을 수행할 수 있다.

또한, 위법 광고 탐지 장치(100)는 사용자에 의한 버튼 조작 또는 임의의 기능 선택에 따른 신호를 수신하거나, 디스플레이되는 화면을 터치/스크롤하는 등의 조작에 의해 생성된 명령 또는 제어 신호를 수신하기 위한 입력부(미도시)를 더 포함할 수도 있다.

입력부는 사용자의 명령, 선택, 데이터, 정보 중에서 적어도 하나를 입력 받기 위한 수단으로서, 숫자 또는 문자 정보를 입력 받고 다양한 기능을 설정하기 위한 다수의 입력키 및 기능키를 포함할 수 있다.

또한, 입력부는 키 패드(Key Pad), 돔 스위치 (Dome Switch), 터치 패드(정압/정전), 터치 스크린(Touch Screen), 조그 휠, 조그 스위치, 조그 셔틀(Jog Shuttle), 마우스(mouse), 스타일러스 펜(Stylus Pen), 터치 펜(Touch Pen) 등의 다양한 장치가 사용될 수 있다. 특히, 표시부가 터치스크린 형태로 형성된 경우, 입력의 기능 중 일부 또는 전부는 표시부를 통해 수행될 수 있다.

또한, 위법 광고 탐지 장치(100)의 각 구성부(또는 모듈)는 장치의 메모리(또는 저장부) 상에 저장되는 소프트웨어일 수 있다. 메모리는 장치의 내부 메모리 일 수 있으며, 외장형 메모리 또는 다른 형태의 저장 장치일 수 있다. 또한, 메모리는 비휘발성 메모리일 수 있다. 메모리 상에 저장되는 소프트웨어는 실행 시 장치로 하여금 특정 동작을 수행하도록 하는 명령어 세트를 포함할 수 있다.

또한, 위법 광고 탐지 장치(100)는 웹 서버, 데이터베이스 서버, 프록시 서버 등의 형태로 구현될 수 있다. 또한, 위법 광고 탐지 장치(100)에는 네트워크 부하 분산 메커니즘, 내지 인터넷 또는 다른 네트워크 상에서 동작할 수 있도록 하는 다양한 소프트웨어 중 하나 이상이 설치될 수 있으며, 이를 통해 컴퓨터화된 시스템으로 구현될 수 있다. 또한, 네트워크는 http 네트워크일 수 있으며, 전용 회선(private line), 인트라넷 또는 임의의 다른 네트워크일 수 있다.

전술된 내용은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.

100: 위법 광고 탐지 장치 110: 광고 수집부
120: 광고 전처리부 130: 텍스트 유사도 분석부
140: 이미지 유사도 분석부 150: 멀티모달 공동 분석부
160: 표현사전 170: 허위 과장 분석부
180: 결과 출력부

Claims (10)

1. 대상 광고 콘텐츠에서 이미지 영역과 텍스트 영역을 구분하고, 정규화된 광고 이미지와 텍스트 영역에서 추출한 광고 텍스트를 생성하는 광고 전처리부와;
   원본 광고 콘텐츠 이미지로 학습된 학습부를 통해, 상기 광고 전처리부에서 생성된 정규화된 광고 이미지의 유사도 가중치를 판단하여 제공하는 이미지 유사도 분석부와;
   원본 광고 콘텐츠 텍스트로 광고 단어별 중요도 해석 방식으로 학습된 학습부를 통해, 상기 광고 전처리부에서 생성된 광고 텍스트의 유사도 가중치를 판단하여 제공하는 텍스트 유사도 분석부와;
   상기 이미지 유사도 분석부와 텍스트 유사도 분석부의 유사도 가중치들을 공동 임베딩 공간에 매핑하여 거리를 기반으로 원본 광고 콘텐츠에 대한 대상 광고 콘텐츠의 유사도를 판단하고, 설정된 기준 이상의 유사도를 가진 대상 광고 콘텐츠 정보를 유사 광고 콘텐츠 정보로 제공하는 멀티모달 공동 분석부를 포함하는 멀티모달 학습을 이용한 위법 광고 탐지 장치.
   
2. 청구항 1에 있어서, 허위 과장광고에 대한 허용과 금지 표현 사전으로 학습된 학습부를 통해, 상기 멀티모달 공동 분석부가 제공하는 유사 광고 콘텐츠 정보에 대응되는 텍스트 데이터의 허위 과장 위험도 정보를 제공하는 허위 과장 분석부를 더 포함하는 것을 특징으로 하는 멀티모달 학습을 이용한 위법 광고 탐지 장치.
   
3. 청구항 1에 있어서, 미리 설정된 기간 동안 생성된 신규 광고 콘텐츠를 수집하여 상기 광고 전처리부에 제공하는 광고 수집부를 더 포함하는 것을 특징으로 하는 멀티모달 학습을 이용한 위법 광고 탐지 장치.
   
4. 청구항 1에 있어서, 상기 멀티모달 공동 분석부에서 유사 광고 콘텐츠 정보를 수집하여 위법 광고 목록을 제공하고, 상기 허위 과장 분석부에서 판단된 유사 광고 콘텐츠에 대한 허위 과장 위험도 정보를 수집하여 허위 과장 위험 광고 목록을 제공하는 결과 출력부를 포함하는 것을 특징으로 하는 멀티모달 학습을 이용한 위법 광고 탐지 장치.
   
5. 청구항 1에 있어서, 상기 광고 전처리부는
   대상 광고 콘텐츠와 원본 광고 콘텐츠에서 텍스트 영역을 구분하고, 구분된 텍스트 영역의 문자를 판독하여 텍스트 데이터를 광고 콘텐츠 정보와 매칭하여 저장하되, 텍스트의 크기와 색상에 대한 정보도 특징 정보로 함께 저장하는 텍스트 선별 판독부와;
   대상 광고 콘텐츠와 원본 광고 콘텐츠에서 이미지 영역을 구분하여 패치 방식으로 오버랩하여 일정한 크기의 정규화된 단일 이미지를 생성한 다음 광고 콘텐츠 정보와 매칭하여 저장하는 이미지 선별 정규화부와;
   원본 및 각 대상 광고 콘텐츠를 구분하기 위한 광고 콘텐츠 정보를 생성하고, 요청에 따라 상기 광고 콘텐츠 정보와 매칭 저장된 이미지 데이터나 텍스트 데이터를 제공하는 광고별 데이터 관리부를 포함하는 것을 특징으로 하는 멀티모달 학습을 이용한 위법 광고 탐지 장치.
   
6. 청구항 5에 있어서, 상기 텍스트 유사도 분석부는 원본 광고 콘텐츠의 텍스트와 유사 광고 콘텐츠의 텍스트를 라벨링한 학습 데이터셋를 통해 학습된 트랜스포머 학습기를 포함하되, 상기 트랜스포머 학습기는 입력 텍스트의 각 단어가 원본 텍스트에 포함된 단어인지를 라벨을 바탕으로 워드 임베딩하고, 해당 텍스트의 크기와 색상에 대한 특징 정보에 따른 가중치를 반영하여 위치를 기반으로 인코딩한 후 인코더를 통해 문장 내 각 특정 단어들과의 양방향에 존재하는 단어 간 연관성을 나타낸 어텐션값과 위치 정보를 학습하고, 디코더를 통해 완전연결 방식의 가중치를 출력하는 것을 특징으로 하는 멀티모달 학습을 이용한 위법 광고 탐지 장치.
   
7. 청구항 1에 있어서, 상기 멀티모달 공동 분석부는 상기 이미지 유사도 분석부와 텍스트 유사도 분석부의 유사도 가중치들에 대한 공동 표현을 위한 신경망을 구성하고 하나의 공간에 두 상이한 모달리티를 벡터화하여 매핑하는 학습을 진행하는 학습부를 포함하며, 해당 학습부를 통해 얻어진 원본 광고의 위치를 앵커로 하여 대상 광고에 대해 얻어진 위치의 거리를 기준으로 유사성을 판단하는 것을 특징으로 하는 멀티모달 학습을 이용한 위법 광고 탐지 장치.
   
8. 청구항 2에 있어서, 상기 허위 과장 분석부는 허위 과장광고에 대한 허용과 금지 표현 사전을 통해 표현학습이 이루어진 트랜스포머 학습기를 포함하되, 상기 트랜스포머 학습기는 허위 표현 포함여부, 과장 광고 표현 단어 포함 수준, 표현의 감성분석 수준이 모두 고려된 워드 임베딩 구성을 포함하는 것을 특징으로 하는 멀티모달 학습을 이용한 위법 광고 탐지 장치.
   
9. 위법 광고 탐지 장치를 이용한 위법 광고 탐지 방법으로서,
   원본 광고 콘텐츠와 유사 광고 콘텐츠로부터 이미지 영역과 텍스트 영역을 구분하여 생성된 이미지 데이터와 텍스트 데이터를 라벨링하여 이미지 유사도 분석부와 텍스트 유사도 분석부의 학습기를 학습시키는 단계와;
   허위 과장광고에 대한 허용과 금지 표현 사전을 이용하여 텍스트 데이터에 허위나 과장 광고 표현이 포함될 위험성을 판단하도록 허위 과장 분석부의 학습기를 학습시키는 단계와;
   미리 설정된 기간 동안 생성된 대상 광고 콘텐츠를 수집하여 이미지 영역과 텍스트 영역을 구분한 후 이미지 데이터와 텍스트 데이터를 생성하는 단계와;
   상기 대상 광고 콘텐츠의 이미지 데이터와 텍스트 데이터에 대한 원본 광고 콘텐츠 유사도 가중치를 각각 이미지 유사도 분석과 텍스트 유사도 분석을 통해 산출하는 단계와;
   상기 산출된 서로 다른 종류의 유사도 가중치를 하나의 공간에 매핑하고, 원본 광고 콘텐츠의 공간상 위치를 기반으로 하여 거리에 따라 유사한 대상 광고 콘텐츠를 선별하여 유사 광고 콘텐츠 정보로 제공하는 단계와;
   상기 선별된 유사 광고 콘텐츠 정보에 대응되는 각 유사 광고 콘텐츠의 텍스트 데이터를 대상으로 허위나 과장 광고 표현이 포함될 위험성을 상기 허위 과장 분석부를 통해 각각 산출하는 단계를 포함하는 멀티모달 학습을 이용한 위법 광고 탐지 방법.
   
10. 청구항 9에 있어서, 상기 텍스트 데이터를 생성하는 단계는 텍스트 데이터 외에 해당 텍스트의 크기와 색상에 따른 특징 정보를 더 생성하는 단계를 포함하고,
    상기 광고 콘텐츠 유사도 가중치를 각각 이미지 유사도 분석과 텍스트 유사도 분석을 통해 산출하는 단계는 상기 텍스트 유사도 분석 시 텍스트 데이터 외에 해당 텍스트의 크기와 색상에 따른 특징 정보를 가중치로서 입력에 반영하는 단계를 더 포함하는 것을 특징으로 하는 멀티모달 학습을 이용한 위법 광고 탐지 방법.

Images