KR20160091488A - 모델 생성을 이용한 객체 자동 검출 방법 및 시스템 - Google Patents

모델 생성을 이용한 객체 자동 검출 방법 및 시스템 Download PDF

Info

Publication number
KR20160091488A
KR20160091488A KR1020150011232A KR20150011232A KR20160091488A KR 20160091488 A KR20160091488 A KR 20160091488A KR 1020150011232 A KR1020150011232 A KR 1020150011232A KR 20150011232 A KR20150011232 A KR 20150011232A KR 20160091488 A KR20160091488 A KR 20160091488A
Authority
KR
South Korea
Prior art keywords
interest
image
model
broadcast image
target
Prior art date
Application number
KR1020150011232A
Other languages
English (en)
Inventor
정영규
남미영
김성엽
Original Assignee
정영규
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 정영규 filed Critical 정영규
Priority to KR1020150011232A priority Critical patent/KR20160091488A/ko
Publication of KR20160091488A publication Critical patent/KR20160091488A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/30—Determination of transform parameters for the alignment of images, i.e. image registration
    • G06T7/33—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods
    • G06T7/344—Determination of transform parameters for the alignment of images, i.e. image registration using feature-based methods involving models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/812—Monomedia components thereof involving advertisement data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Marketing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Image Analysis (AREA)

Abstract

모델 생성을 이용한 PPL 자동 검출 방법 및 장치가 제시된다. 본 발명에서 제안하는 PPL 자동 검출 방법은 과거 방송 영상 내에서의 관심 객체에 대한 복수의 학습 이미지를 생성하여 저장하고, 상기 학습 이미지에 매칭되는 태깅 파일을 생성하여 저장하는 단계, 상기 학습 이미지 및 상기 태깅 파일을 이용하여 타겟 방송 영상 내에서 상기 관심 객체를 검출하기 위한 모델을 생성하여 저장하는 단계, 상기 저장된 모델을 이용하여 상기 타겟 방송 영상 내에서 상기 관심 객체를 검출하고 상기 타겟 방송 영상 내에 표시하는 단계를 포함할 수 있다.

Description

모델 생성을 이용한 객체 자동 검출 방법 및 시스템{Method and System for Automatic Detection of Object using Model Generation}
본 발명은 객체를 자동으로 검출할 수 있는 방법 및 장치에 관한 것이다.
본 연구는 미래창조과학부 및 정보통신기술진흥센터의 정보통신·방송 연구개발 사업의 일환으로 수행하였음. [　14-000-11-002,　방송용 영상 인식 기반 객체 중심 지식융합 미디어 서비스 플랫폼 개발]
TV 광고 방송들 중에서는 시청자 혹은 사용자가 광고 상품에 대한 상담 문의나 제품 주문이 가능하도록 전화 번호, 인터넷 홈페이지 주소, 가격 등의 정보를 광고 영상물 내의 특정 위치에서 일정 시간 동안 노출하는 등의 방식을 사용하기도 한다. 이러한 종류의 광고를 직접 반응 광고(Direct Response Advertising, DR Ad.)라고 한다. 이러한 DR 광고는 동일한 광고 방송 콘텐츠에 대해 국가별 또는 특정 국가의 각 지역별로 해당 지역에 맞도록 전화 번호, 인터넷 홈페이지 주소와 가격 등의 정보를 변경하여 송출되기도 하는데, 동일 광고 내에서 발생하는 이러한 종류의 변형 형태의 광고들에 대해서 각 변형 형태별로 방송 송출 회수 등과 같은 통계 정보가 제공될 수 있으면 매우 유용하다.
한편, 방송 중에 광고가 포함되는 경우 이를 검출하는 방법으로서는 하기의 비특허문헌의 논문에서 알려진 바와 같은 기술이 알려져 있다. 또한, 대한민국 공개특허공보 제 100519866호(2005.09.30.등록)는 "광고 방송 검출 장치 및 광고 방송 검출 방법"에 관한 것으로서, 음성 정보만에 따라, 즉 음성 다중 모드와 무음성 구간들의 시간 간격에 따라, 광고 방송을 검출하는 종래의 광고 방송 검출 회로에 의해 야기되는 오검출을 제거하는 방법 및 장치에 대하여 개시하고 있다.
최근 마케팅의 일환으로 방송에서의 PPL이 다양해지고 시청자는 관련 제품에 대한 관심이 증가하고 있다. 이러한 추세에 따라 시청자는 방송 키워드 또는 방송 영상 이미지를 바탕으로 검색 엔진에서 관련 상품을 직접 조사해야 하는 상황이다. 따라서 방송 영상에서의 PPL 제품에 대한 정보 제공 및 판매 서비스와 연결하기 위해 객체를 자동으로 검출할 수 있는 기술을 필요로 한다.
본 발명이 이루고자 하는 기술적 과제는 방송 영상에 포함된 PPL 관련 객체 중 시청자가 관심을 가질 수 있는 객체에 대한 선행 학습을 통해 객체 모델을 생성하고, 생성된 모델을 기반으로 방송 중인 영상 또는 VOD 영상에서 해당 객체를 자동으로 검출하여 위치와 크기를 알려줄 수 있는 방법 및 장치를 제공하는데 있다.
일 측면에 있어서, 본 발명에서 제안하는 PPL 자동 검출 방법은 관심 객체에 대한 복수의 학습 이미지를 수집 또는 생성하여 저장하는 단계, 상기 학습 이미지를 이용하여 타겟 영상 내에서 상기 관심 객체를 검출하기 위한 모델을 생성하여 저장하는 단계, 상기 저장된 모델을 이용하여 상기 타겟 영상 내에서 상기 관심 객체를 검출하고 상기 타겟 영상 내에 표시하는 단계를 포함할 수 있다.
상기 관심 객체에 대한 복수의 학습 이미지를 수집 또는 생성하여 저장하는 단계는 과거 방송 영상 내에서의 상기 관심 객체에 대한 복수의 학습 이미지를 수집 또는 생성하여 저장하고, 상기 학습 이미지에 매칭되는 태깅 파일을 생성하여 저장할 수 있다.
상기 태깅 파일은 상기 관심 객체를 미리 정해진 형태의 영역으로 표시한 정보를 포함할 수 있다.
상기 과거 방송 영상 내에서의 관심 객체에 대한 복수의 학습 이미지를 생성하여 저장하고, 상기 학습 이미지에 매칭되는 태깅 파일을 생성하여 저장하는 단계는 과거 방송 영상 내에 상기 관심 객체가 포함되어 있는지 판단하기 위한 긍정 비교(Positive comparison) 및 상기 과거 방송 영상 내에 상기 관심 객체 이외의 객체 정보 선별하기 위한 부정 비교(Negative comparison)를 수행할 수 있다.
상기 저장된 모델을 이용하여 상기 타겟 방송 영상 내에서 상기 관심 객체를 검출하고 상기 타겟 방송 영상 내에 표시하는 단계는 상기 방송 영상을 구성하고 있는 복수의 정지 영상 각각으로부터 상기 모델 및 태깅 파일을 이용하여 관심 객체를 검출할 수 있다.
상기 저장된 모델을 이용하여 상기 타겟 방송 영상 내에서 상기 관심 객체를 검출하고 상기 타겟 방송 영상 내에 표시하는 단계는 상기 타겟 방송 영상 내에 포함된 상기 관심 객체와 상기 모델과의 유사 정도가 미리 정해진 임계값 이상일 경우, 상기 관심 객체를 상기 타겟 방송 영상 내에 표시하고, 상기 관심 객체와 상기 모델과의 유사 정도를 수치로 나타낼 수 있다.
상기 미리 정해진 임계값을 이용하여 상기 유사 정도에 따른 관심 객체 검출 유무를 조정할 수 있다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 PPL 자동 검출 방법은 과거 방송 영상 내에서의 관심 객체에 대한 복수의 학습 이미지 및 상기 학습 이미지에 매칭되는 태깅 파일을 생성하여 저장하고, 상기 학습 이미지 및 상기 태깅 파일을 이용하여 생성된 모델을 제공할 수 있다.
또 다른 일 측면에 있어서, 본 발명에서 제안하는 PPL 자동 검출 시스템은 관심 객체에 대한 복수의 학습 이미지를 수집 또는 생성하여 저장하고, 상기 학습 이미지를 이용하여 타겟 영상 내에서 상기 관심 객체를 검출하기 위한 모델을 생성하는 모델 생성부, 상기 저장된 모델을 이용하여 상기 타겟 방송 영상 내에서 상기 관심 객체를 검출하고 상기 타겟 방송 영상 내에 표시하는 자동 검출부를 포함할 수 있다.
상기 모델 생성부는 상기 과거 방송 영상 내에 상기 관심 객체가 포함되어 있는지 판단하기 위한 긍정 비교(Positive comparison) 및 상기 과거 방송 영상 내에 상기 관심 객체 이외의 객체 정보 선별하기 위한 부정 비교(Negative comparison)를 수행할 수 있다.
상기 자동 검출부는 상기 방송 영상을 구성하고 있는 복수의 정지 영상 각각으로부터 상기 모델 및 태깅 파일을 이용하여 관심 객체를 검출하고, 상기 타겟 방송 영상 내에 포함된 상기 관심 객체와 상기 모델과의 유사 정도가 미리 정해진 임계값 이상일 경우, 상기 관심 객체를 상기 타겟 방송 영상 내에 표시할 수 있다.
본 발명의 실시예들에 따르면 방송에 등장하는 여러 PPL 관련 객체 중 시청자가 관심을 가지는 객체에 대한 정보를 제공하기 위한 영상 내 위치 정보를 전달할 수 있다. 또한, 객체의 종류가 늘어나더라도 이전의 학습 데이터를 재활용하면서 데이터를 추가하여 새로운 객체 모델을 용이하게 제공할 수 있고 검출 시스템은 그대로 활용하는 효과가 있다.
도 1은 본 발명의 일 실시예에 따른 PPL 자동 검출 시스템의 구성을 나타내는 도면이다.
도 2는 본 발명의 일 실시예에 따른 PPL 자동 검출 과정을 설명하기 위한 블록도이다.
도 3은 본 발명의 일 실시예에 따른 관심 객체를 검출하기 위한 모델의 형식을 나타내는 예시이다.
도 4는 본 발명의 일 실시예에 따른 관심 객체를 타겟 방송 영상 내에 표시하는 방법의 예시이다.
도 5는 본 발명의 일 실시예에 따른 PPL 자동 검출 방법을 설명하기 위한 흐름도이다.
이하, 본 발명의 실시 예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 PPL 자동 검출 시스템의 구성을 나타내는 도면이다.
본 실시예에 따른 PPL 자동 검출 시스템(100)은 프로세서(110), 버스(120), 네트워크 인터페이스(130), 메모리(140) 및 데이터베이스(150)를 포함할 수 있다. 메모리(140)는 운영체제(141) 및 자동 검출 루틴(142)을 포함할 수 있다. 프로세서(110)는 모델 생성부(111), 자동 검출부(112), 제어부(113)를 포함할 수 있다. 다른 실시예들에서 PPL 자동 검출 시스템(100)은 도 1의 구성요소들보다 더 많은 구성요소들을 포함할 수도 있다. 그러나, 대부분의 종래기술적 구성요소들을 명확하게 도시할 필요성은 없다. 예를 들어, PPL 자동 검출 시스템(100)은 디스플레이나 트랜시버(transceiver)와 같은 다른 구성요소들을 포함할 수도 있다.
메모리(140)는 컴퓨터에서 판독 가능한 기록 매체로서, RAM(random access memory), ROM(read only memory) 및 디스크 드라이브와 같은 비소멸성 대용량 기록장치(permanent mass storage device)를 포함할 수 있다. 또한, 메모리(140)에는 운영체제(141)와 자동 검출 루틴(142)을 위한 프로그램 코드가 저장될 수 있다. 이러한 소프트웨어 구성요소들은 드라이브 메커니즘(drive mechanism, 미도시)을 이용하여 메모리(140)와는 별도의 컴퓨터에서 판독 가능한 기록 매체로부터 로딩될 수 있다. 이러한 별도의 컴퓨터에서 판독 가능한 기록 매체는 플로피 드라이브, 디스크, 테이프, DVD/CD-ROM 드라이브, 메모리 카드 등의 컴퓨터에서 판독 가능한 기록 매체(미도시)를 포함할 수 있다. 다른 실시예에서 소프트웨어 구성요소들은 컴퓨터에서 판독 가능한 기록 매체가 아닌 네트워크 인터페이스(130)를 통해 메모리(140)에 로딩될 수도 있다.
버스(120)는 PPL 자동 검출 시스템(100)의 구성요소들간의 통신 및 데이터 전송을 가능하게 할 수 있다. 버스(120)는 고속 시리얼 버스(high-speed serial bus), 병렬 버스(parallel bus), SAN(Storage Area Network) 및/또는 다른 적절한 통신 기술을 이용하여 구성될 수 있다.
네트워크 인터페이스(130)는 PPL 자동 검출 시스템(100)을 컴퓨터 네트워크에 연결하기 위한 컴퓨터 하드웨어 구성요소일 수 있다. 네트워크 인터페이스(130)는 PPL 자동 검출 시스템(100)은 무선 또는 유선 커넥션을 통해 컴퓨터 네트워크에 연결시킬 수 있다.
데이터베이스(150)는 방송 영상, 태깅 파일, PPL 자동 검출을 위해 필요한 모든 정보를 저장 및 유지하는 역할을 할 수 있다. 도 1에서는 PPL 자동 검출 시스템(100)의 내부에 데이터베이스(150)를 구축하여 포함하는 것으로 도시하고 있으나, 이에 한정되는 것은 아니며 시스템 구현 방식이나 환경 등에 따라 생략될 수 있고 혹은 전체 또는 일부의 데이터베이스가 별개의 다른 시스템 상에 구축된 외부 데이터베이스로서 존재하는 것 또한 가능하다.
프로세서(110)는 기본적인 산술, 로직 및 PPL 자동 검출 시스템(100)의 입출력 연산을 수행함으로써, 컴퓨터 프로그램의 명령을 처리하도록 구성될 수 있다. 명령은 메모리(140) 또는 네트워크 인터페이스(130)에 의해, 그리고 버스(120)를 통해 프로세서(110)로 제공될 수 있다. 프로세서(110)는 모델 생성부(111), 자동 검출부(112), 제어부(113)를 위한 프로그램 코드를 실행하도록 구성될 수 있다. 이러한 프로그램 코드는 메모리(140)와 같은 기록 장치에 저장될 수 있다.
모델 생성부(111), 자동 검출부(112), 제어부(113)는 도 5의 단계들(510~530)을 수행하기 위해 구성될 수 있다.
PPL 자동 검출 시스템(100)은 모델 생성부(111), 자동 검출부(112), 제어부(113)를 포함할 수 있다.
모델 생성부(111)는 관심 객체에 대한 복수의 학습 이미지를 수집 또는 생성하여 저장할 수 있다. 다시 말해, 과거 방송 영상 내에서의 관심 객체에 대한 복수의 학습 이미지 및 상기 학습 이미지에 매칭되는 태깅 파일을 생성하여 저장할 수 있다. 여기에서, 관심 객체는 방송 영상을 시청하는 사용자가 관심을 갖고 있는 상품일 수 있다. 예를 들어, 사용자가 평소에 선글라스에 대하여 관심을 갖고 있을 경우, 과거 방송 영상 내에서 선글라스 이미지가 나올 때마다 이를 학습하고, 학습 이미지를 생성하여 저장할 수 있다.
그리고, 선글라스 이미지가 포함된 방송 영상에 대한 학습 이미지와 매칭되는 태깅 파일을 생성하여 저장할 수 있다. 태깅 파일은 상기 관심 객체를 미리 정해진 형태의 영역으로 표시한 정보를 포함할 수 있다. 예를 들어, 태깅 파일은 관심 객체를 사각형 영역으로 표현한 정보를 포함한 약속된 형식의 자료이다. 이러한 자료는 관심 객체가 아닌 타 객체의 정보도 함께 포함하고 있다. 따라서 이러한 타 객체의 정보를 선별하는 과정도 필요하다. 그러므로 상기 과거 방송 영상 내에 상기 관심 객체가 포함되어 있는지 판단하기 위한 긍정 비교(Positive comparison) 및 상기 과거 방송 영상 내에 상기 관심 객체 이외의 객체 정보 선별하기 위한 부정 비교(Negative comparison)를 수행할 수 있다.
그리고, 학습 이미지를 이용하여 타겟 영상 내에서 상기 관심 객체를 검출하기 위한 모델을 생성할 수 있다. 이렇게 생성된, 학습 이미지, 태깅 파일, 관심 객체를 검출하기 위한 모델은 데이터베이스에 저장될 수 있다.
이러한 모델은 다른 PPL 자동 검출 시스템 간의 공유 및 이동이 가능하다. 다시 말해, 제1 PPL 자동 검출 시스템에서 생성 및 저장된 모델이 제2 PPL 자동 검출 시스템으로 전달될 수 있고, 되어 제2 PPL 자동 검출 시스템을 통해 방송 영상 내에서 관심 객체를 검출할 수 있다.
다시 말해, 다른 사용자들의 과거 방송 영상 내에서의 관심 객체에 대한 복수의 학습 이미지 및 상기 학습 이미지에 매칭되는 태깅 파일을 생성하여 저장하고, 상기 학습 이미지 및 상기 태깅 파일을 이용하여 생성된 모델은 타겟 방송 영상 내에서 상기 관심 객체를 검출하기 위해 제공될 수 있다.
자동 검출부(112)는 저장된 모델을 이용하여 상기 타겟 방송 영상 내에서 상기 관심 객체를 검출하고 상기 타겟 방송 영상 내에 표시할 수 있다. 상기 방송 영상을 구성하고 있는 복수의 정지 영상 각각으로부터 상기 모델 및 태깅 파일을 이용하여 관심 객체를 검출할 수 있다.
그리고, 상기 타겟 방송 영상 내에 포함된 상기 관심 객체와 상기 모델과의 유사 정도가 미리 정해진 임계값 이상일 경우, 상기 관심 객체를 상기 타겟 방송 영상 내에 표시할 수 있다. 이러한 관심 객체와 상기 모델과의 유사 정도를 수치로 나타낼 수 있다. 또한, 미리 정해진 임계값을 이용하여 상기 유사 정도에 따른 관심 객체 검출 유무를 조정할 수도 있다.
제어부(113)는 모델 생성부(111)에서 생성된 복수의 모델들을 제어하고, 자동 검출부(112)에서 상기 복수의 모델들을 이용하여 관심 객체를 검출할 수 있도록 영상 제어 및 검출 결과를 제어할 수 있다.
도 2는 본 발명의 일 실시예에 따른 PPL 자동 검출 과정을 설명하기 위한 블록도이다.
모델 생성부(210)는 태깅된 방송 영상(211)을 이용하여 학습 영상 제어(212)를 통해 학습과정(213)을 수행할 수 있다. 이러한 학습과정(213)을 수행함으로써 복수의 모델들 모델1(214), 모델2(215), ..., 모델n(216)을 생성할 수 있다. 이렇게 생성된 복수의 모델들을 모델 제어모듈(217)을 통해 제어할 수 있다.
자동 검출부(220)는 모델 생성부(210)에서 생성한 복수의 모듈들을 각각의 모델 검출 모듈 (223, 224, 225)을 통해 입력 받을 수 있다. 다시 말해, 모델1(214)은 모델1 검출모듈(223)을 통해 입력 받고, 모델2(215)은 모델2 검출모듈(224)을 통해 입력 받고, 모델3(216)은 모델3 검출모듈(225)을 통해 입력 받을 수 있다.
자동 검출부(220)는 타겟 방송 영상(221)을 영상제어모듈(222)을 통해 제어하도록 하고, 복수의 모델 검출모듈들을 통해 검출된 결과들을 객체 검출결과 제어 모듈(226)로 입력할 수 있다.
도 3은 본 발명의 일 실시예에 따른 관심 객체를 검출하기 위한 모델의 형식을 나타내는 예시이다.
학습 블록은 관심 객체에 대한 다수의 학습 이미지와 각 이미지에 매칭하여 작성한 태깅 파일을 기반으로 동작한다. 태깅 파일은 관심 객체를 사각형 영역으로 표현한 정보를 포함한 약속된 형식의 자료이며, 해당 자료는 관심 객체가 아닌 타 객체의 정보도 함께 포함함으로써 긍정 비교(Positive comparison)뿐만 아니라 부정 비교(Negative comparison) 연산을 수행하여 모델의 성능을 강화한다. 학습에 의해 생성된 모델은 도 3과 같이 3가지의 형식(310, 320, 330)을 포함하며 자동 검출부에서 활용한다.
도 4는 본 발명의 일 실시예에 따른 관심 객체를 타겟 방송 영상 내에 표시하는 방법의 예시이다.
모델 생성부에서 생성된 모델을 활용하여 관심 객체를 검출하는 역할을 수행할 수 있다. 방송 영상은 연속된 정지영상으로 구성되며, 각 정지영상마다 임의의 PPL 객체 모델을 적용하여 검출 결과를 출력할 수 있다. 검출된 관심 객체는 시스템에 의해 사각형 영역으로 표시될 수 있다. 그리고, 검출 점수(score)를 표현함으로써 입력 모델과의 유사 정도를 표현할 수 있다. 제안하는 시스템에서는 임계값을 활용하여 유사도에 따른 객체 검출 유무를 조정할 수 있다.
도 4를 참조하면, 타겟 방송 영상에서 관심 객체인 선글라스가 검출되었을 경우, 이를 사각형 영역(410)으로 표시함으로써 시청자에게 알릴 수 있다. 그러면 시청자는 방송 키워드 또는 방송 영상 이미지를 바탕으로 검색 엔진에서 관련 상품을 직접 조사하지 않더라도 방송 영상에서의 PPL 제품에 대한 정보 제공 및 판매 서비스와 연결할 수 있다. 이때, 모델과의 유사 정도는 1.05434이다.
또한, 타겟 방송 영상에서 관심 객체인 가방이 검출되었을 경우, 이를 사각형 영역(420)으로 표시함으로써 시청자에게 알릴 수 있다. 이때, 모델과의 유사 정도는 0.17280이다.
다시 말해, 타겟 방송 영상 내에 포함된 상기 관심 객체와 상기 모델과의 유사 정도가 미리 정해진 임계값 이상일 경우, 상기 관심 객체를 상기 타겟 방송 영상 내에 표시할 수 있다. 이러한 관심 객체와 상기 모델과의 유사 정도를 수치로 나타낼 수 있고, 또한 미리 정해진 임계값을 이용하여 상기 유사 정도에 따른 관심 객체 검출 유무를 조정할 수도 있다.
이와 같이, 제안하는 발명은 방송에 등장하는 여러 PPL 관련 객체 중 시청자가 관심을 가지는 객체에 대한 정보를 제공하기 위한 영상 내 위치 정보를 전달하는 효과가 있으며, 객체의 종류가 늘어나더라도 이전의 학습 데이터를 재활용하면서 데이터를 추가하여 새로운 객체 모델을 용이하게 제공할 수 있고 검출 시스템은 그대로 활용할 수 있는 효과가 있다.
도 5는 본 발명의 일 실시예에 따른 PPL 자동 검출 방법을 설명하기 위한 흐름도이다.
관심 객체에 대한 복수의 학습 이미지를 수집 또는 생성하여 저장하는 단계(510), 상기 학습 이미지를 이용하여 타겟 영상 내에서 상기 관심 객체를 검출하기 위한 모델을 생성하여 저장하는 단계(520), 상기 저장된 모델을 이용하여 상기 타겟 방송 영상 내에서 상기 관심 객체를 검출하고 상기 타겟 방송 영상 내에 표시하는 단계(530)를 포함할 수 있다.
단계(510)에서, PPL 자동 검출 방법은 과거 방송 영상 내에서의 관심 객체에 대한 복수의 학습 이미지를 생성하여 저장하고, 상기 학습 이미지에 매칭되는 태깅 파일을 생성하여 저장할 수 있다. 여기에서, 태깅 파일은 상기 관심 객체를 미리 정해진 형태의 영역으로 표시한 정보를 포함할 수 있다. 예를 들어, 사용자가 평소에 선글라스에 대하여 관심을 갖고 있을 경우, 과거 방송 영상 내에서 선글라스 이미지가 나올 때마다 이를 학습하고, 학습 이미지를 생성하여 저장할 수 있다.
그리고, 선글라스 이미지가 포함된 방송 영상에 대한 학습 이미지와 매칭되는 태깅 파일을 생성하여 저장할 수 있다. 태깅 파일은 상기 관심 객체를 미리 정해진 형태의 영역으로 표시한 정보를 포함할 수 있다. 예를 들어, 태깅 파일은 관심 객체를 사각형 영역으로 표현한 정보를 포함한 약속된 형식의 자료이다. 이러한 자료는 관심 객체가 아닌 타 객체의 정보도 함께 포함하고 있다. 따라서 이러한 타 객체의 정보를 선별하는 과정도 필요하다. 그러므로 상기 과거 방송 영상 내에 상기 관심 객체가 포함되어 있는지 판단하기 위한 긍정 비교(Positive comparison) 및 상기 과거 방송 영상 내에 상기 관심 객체 이외의 객체 정보 선별하기 위한 부정 비교(Negative comparison)를 수행할 수 있다.
단계(520)에서, 상기 학습 이미지 및 상기 태깅 파일을 이용하여 타겟 방송 영상 내에서 상기 관심 객체를 검출하기 위한 모델을 생성하여 저장할 수 있다. 이렇게 생성된, 학습 이미지, 태깅 파일, 관심 객체를 검출하기 위한 모델은 데이터베이스에 저장될 수 있다.
단계(530)에서, 상기 저장된 모델을 이용하여 상기 타겟 방송 영상 내에서 상기 관심 객체를 검출하고 상기 타겟 방송 영상 내에 표시할 수 있다. 상기 방송 영상을 구성하고 있는 복수의 정지 영상 각각으로부터 상기 모델 및 태깅 파일을 이용하여 관심 객체를 검출할 수 있다.
그리고, 상기 타겟 방송 영상 내에 포함된 상기 관심 객체와 상기 모델과의 유사 정도가 미리 정해진 임계값 이상일 경우, 상기 관심 객체를 상기 타겟 방송 영상 내에 표시할 수 있다. 이러한 관심 객체와 상기 모델과의 유사 정도를 수치로 나타낼 수 있다. 또한, 미리 정해진 임계값을 이용하여 상기 유사 정도에 따른 관심 객체 검출 유무를 조정할 수도 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (11)

  1. PPL　자동 검출 방법에 있어서,
    관심 객체에 대한 복수의 학습 이미지를 수집 또는 생성하여 저장하는 단계;
    상기 학습 이미지를 이용하여 타겟 영상 내에서 상기 관심 객체를 검출하기 위한 모델을 생성하여 저장하는 단계;　및
    상기 저장된 모델을 이용하여 상기 타겟 영상 내에서 상기 관심 객체를 검출하고 상기 타겟 영상 내에 표시하는 단계
    를 포함하는　PPL　자동 검출 방법
  2. 제1항에 있어서,
    상기 관심 객체에 대한 복수의 학습 이미지를 수집 또는 생성하여 저장하는 단계는,
    과거 방송 영상 내에서의 상기 관심 객체에 대한 복수의 학습 이미지를 수집 또는 생성하여 저장하고, 상기 학습 이미지에 매칭되는 태깅 파일을 생성하여 저장하는 것을 특징으로 하는 PPL 자동 검출 방법.
  3. 제2항에 있어서,
    상기 태깅 파일은 상기 관심 객체를 미리 정해진 형태의 영역으로 표시한 정보를 포함하는 것을 특징으로 하는 PPL 자동 검출 방법.
  4. 제2항에 있어서,
    상기 관심 객체에 대한 복수의 학습 이미지를 수집 또는 생성하여 저장하는 단계는,,
    상기 과거 방송 영상 내에 상기 관심 객체가 포함되어 있는지 판단하기 위한 긍정 비교(Positive comparison) 및 상기 과거 방송 영상 내에 상기 관심 객체 이외의 객체 정보 선별하기 위한 부정 비교(Negative comparison)를 수행하는 것을 특징으로 하는 PPL 자동 검출 방법.
  5. 제2항에 있어서,
    상기 저장된 모델을 이용하여 상기 타겟 방송 영상 내에서 상기 관심 객체를 검출하고 상기 타겟 방송 영상 내에 표시하는 단계는,
    상기 방송 영상을 구성하고 있는 복수의 정지 영상 각각으로부터 상기 모델 및 태깅 파일을 이용하여 관심 객체를 검출하는 것을 특징으로 하는 PPL 자동 검출 방법.
  6. 제2항에 있어서,
    상기 저장된 모델을 이용하여 상기 타겟 방송 영상 내에서 상기 관심 객체를 검출하고 상기 타겟 방송 영상 내에 표시하는 단계는,
    상기 타겟 방송 영상 내에 포함된 상기 관심 객체와 상기 모델과의 유사 정도가 미리 정해진 임계값 이상일 경우, 상기 관심 객체를 상기 타겟 방송 영상 내에 표시하고, 상기 관심 객체와 상기 모델과의 유사 정도를 수치로 나타내는 것을 특징으로 하는 PPL 자동 검출 방법.
  7. 제6항에 있어서,
    상기 미리 정해진 임계값을 이용하여 상기 유사 정도에 따른 관심 객체 검출 유무를 조정하는 것을 특징으로 하는 PPL 자동 검출 방법.
  8. PPL 자동 검출 방법에 있어서,
    과거 방송 영상 내에서의 관심 객체에 대한 복수의 학습 이미지 및 상기 학습 이미지에 매칭되는 태깅 파일을 생성하여 저장하고, 상기 학습 이미지 및 상기 태깅 파일을 이용하여 생성된 모델을 제공하는
    PPL 자동 검출 방법.
  9. PPL 자동 검출 시스템에 있어서,
    관심 객체에 대한 복수의 학습 이미지를 수집 또는 생성하여 저장하고, 상기 학습 이미지를 이용하여 타겟 영상 내에서 상기 관심 객체를 검출하기 위한 모델을 생성하는 모델 생성부; 및
    상기 저장된 모델을 이용하여 상기 타겟 방송 영상 내에서 상기 관심 객체를 검출하고 상기 타겟 방송 영상 내에 표시하는 자동 검출부
    를 포함하는 PPL 자동 검출 시스템.
  10. 제9항에 있어서,
    상기 모델 생성부는,
    상기 과거 방송 영상 내에 상기 관심 객체가 포함되어 있는지 판단하기 위한 긍정 비교(Positive comparison) 및 상기 과거 방송 영상 내에 상기 관심 객체 이외의 객체 정보 선별하기 위한 부정 비교(Negative comparison)를 수행하는 것을 특징으로 하는 PPL 자동 검출 시스템.
  11. 제9항에 있어서,
    상기 자동 검출부는,
    상기 방송 영상을 구성하고 있는 복수의 정지 영상 각각으로부터 상기 모델 및 태깅 파일을 이용하여 관심 객체를 검출하고, 상기 타겟 방송 영상 내에 포함된 상기 관심 객체와 상기 모델과의 유사 정도가 미리 정해진 임계값 이상일 경우, 상기 관심 객체를 상기 타겟 방송 영상 내에 표시하는 것을 특징으로 하는 PPL 자동 검출 시스템.
KR1020150011232A 2015-01-23 2015-01-23 모델 생성을 이용한 객체 자동 검출 방법 및 시스템 KR20160091488A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020150011232A KR20160091488A (ko) 2015-01-23 2015-01-23 모델 생성을 이용한 객체 자동 검출 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020150011232A KR20160091488A (ko) 2015-01-23 2015-01-23 모델 생성을 이용한 객체 자동 검출 방법 및 시스템

Publications (1)

Publication Number Publication Date
KR20160091488A true KR20160091488A (ko) 2016-08-03

Family

ID=56708441

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150011232A KR20160091488A (ko) 2015-01-23 2015-01-23 모델 생성을 이용한 객체 자동 검출 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR20160091488A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101957218B1 (ko) * 2018-08-03 2019-03-12 주식회사 다누시스 기준 배경이미지 획득 시스템 및 기준 배경이미지 획득 방법
KR20210005733A (ko) * 2018-06-21 2021-01-14 구글 엘엘씨 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210005733A (ko) * 2018-06-21 2021-01-14 구글 엘엘씨 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측
KR20220145424A (ko) * 2018-06-21 2022-10-28 구글 엘엘씨 검색/생성된 디지털 미디어 파일을 기반으로 잠재적 관련성에 대한 주제 예측
US11580157B2 (en) 2018-06-21 2023-02-14 Google Llc Predicting topics of potential relevance based on retrieved/created digital media files
US11971925B2 (en) 2018-06-21 2024-04-30 Google Llc Predicting topics of potential relevance based on retrieved/created digital media files
KR101957218B1 (ko) * 2018-08-03 2019-03-12 주식회사 다누시스 기준 배경이미지 획득 시스템 및 기준 배경이미지 획득 방법

Similar Documents

Publication Publication Date Title
US20200175550A1 (en) Method for identifying advertisements for placement in multimedia content elements
RU2729956C2 (ru) Обнаружение объектов из запросов визуального поиска
CN108229478B (zh) 图像语义分割及训练方法和装置、电子设备、存储介质和程序
US10395120B2 (en) Method, apparatus, and system for identifying objects in video images and displaying information of same
CN110249304B (zh) 电子设备的视觉智能管理
CN107846561B (zh) 确定和显示上下文定向内容的方法及系统
CN110134931B (zh) 媒介标题生成方法、装置、电子设备及可读介质
WO2019021088A1 (en) NAVIGATION BETWEEN VIDEO SCENES OF COGNITIVE KNOWLEDGE ASSISTANCE
KR101611388B1 (ko) 태그를 활용한 검색 서비스 제공 방법 및 시스템
CN108205581B (zh) 生成数字媒介环境中的紧凑视频特征表示
US11288727B2 (en) Content creation suggestions using failed searches and uploads
WO2018177139A1 (zh) 一种视频摘要生成方法、装置、服务器及存储介质
CN111695422B (zh) 视频标签获取方法、装置、存储介质及服务器
CN107517393B (zh) 一种信息推送方法、装置及系统
JP4746568B2 (ja) 情報提供装置、情報提供方法、及びプログラム
CN111177467A (zh) 对象推荐方法与装置、计算机可读存储介质、电子设备
KR20180024200A (ko) 영상 검색 정보 제공 방법, 장치 및 컴퓨터 프로그램
CN113766330A (zh) 基于视频生成推荐信息的方法和装置
KR101873339B1 (ko) 관심사 및 콘텐츠를 제공하는 방법 및 시스템
CN111897950A (zh) 用于生成信息的方法和装置
KR101573312B1 (ko) 클라우드 앨범을 이용하는 광고 서비스 제공 방법
KR20160091488A (ko) 모델 생성을 이용한 객체 자동 검출 방법 및 시스템
US20180011860A1 (en) Method and system for generation of a table of content by processing multimedia content
CN112241752A (zh) 模型训练方法、数据处理方法、分类方法、装置、设备
JP6700146B2 (ja) 評価値に基づいて推奨するコンテンツを決定するシステム

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
E601 Decision to refuse application
E801 Decision on dismissal of amendment