KR101993010B1 - 시공간 패턴에 기반한 비디오 분석 장치 및 방법 - Google Patents

시공간 패턴에 기반한 비디오 분석 장치 및 방법 Download PDF

Info

Publication number
KR101993010B1
KR101993010B1 KR1020130022361A KR20130022361A KR101993010B1 KR 101993010 B1 KR101993010 B1 KR 101993010B1 KR 1020130022361 A KR1020130022361 A KR 1020130022361A KR 20130022361 A KR20130022361 A KR 20130022361A KR 101993010 B1 KR101993010 B1 KR 101993010B1
Authority
KR
South Korea
Prior art keywords
space
region
time
pattern
interest
Prior art date
Application number
KR1020130022361A
Other languages
English (en)
Other versions
KR20140107999A (ko
Inventor
설상훈
정순홍
Original Assignee
고려대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 고려대학교 산학협력단 filed Critical 고려대학교 산학협력단
Priority to KR1020130022361A priority Critical patent/KR101993010B1/ko
Publication of KR20140107999A publication Critical patent/KR20140107999A/ko
Application granted granted Critical
Publication of KR101993010B1 publication Critical patent/KR101993010B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/754—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries involving a deformation of the sample pattern or of the reference pattern; Elastic matching
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

비디오 분석 장치가 제공된다. 상기 비디오 분석 장치는 입력 비디오에 포함되는 복수 개의 프레임 영상들로부터 픽셀 샘플링을 수행하여 적어도 하나의 시공간 패턴을 생성하는 생성부, 상기 적어도 하나의 시공간 패턴으로부터 사인파 패턴을 갖는 적어도 하나의 관심 영역을 추출하는 추출부 및 상기 적어도 하나의 관심 영역에 대한 주파수 분석을 수행하여 상기 입력 비디오가 미리 설정된 종류의 컨텐츠를 포함하고 있는 지의 여부를 판단하는 분석부를 포함한다.

Description

시공간 패턴에 기반한 비디오 분석 장치 및 방법{METHOD AND APPARATUS FOR ANALYZING VIDEO BASED ON SPATIOTEMPORAL PATTERNS}
시공간 패턴에 기반한 주기 동작 검출 방법 및 시스템에 연관되며, 보다 특정하게는 적어도 하나의 관심 영역에 대한 주파수 분석을 수행하여 입력 비디오가 미리 설정된 종류의 컨텐츠를 포함하고 있는 지의 여부를 판단하는 방법 및 시스템에 연관된다.
최근 스마트폰 및 테블릿 컴퓨터와 같은 전자 디바이스가 널리 보급되었으며, 이와 같은 전자 디바이스를 사용하는 사용자들은 인터넷을 통해 동영상 또는 비디오 등과 같은 미디어 컨텐츠를 쉽게 접할 수 있다. 또한, YouTube, MySpace, Facebook과 같은 소셜 미디어의 빠른 성장으로 인해 상기 미디어 컨텐츠를 쉽게 업로드하고 공유할 수 있다.
상기 미디어 컨텐츠에서 사람, 나무, 빌딩 및 동물 등과 같은 특별한 사물을 찾거나 인식하기 위한 시멘틱 인덱싱이나 태킹을 위한 성장이 요구된다. 뿐만 아니라, 상기 소셜 미디어에 포함된 수많은 상기 미디어 컨텐츠는 유용한 미디어 컨텐츠 뿐만 아니라 성인물과 같은 불건전한 미디어 컨텐츠를 포함한다.
따라서, 상기 웹에 업로드되어 있는 미디어 컨텐츠에서 특별한 사물을 인식하고 분류하거나 성인물과 같은 불건전한 미디어 컨텐츠를 분류하여 제거할 필요가 있다.
일측에 따르면, 입력 비디오에 포함되는 복수 개의 프레임 영상들로부터 픽셀 샘플링을 수행하여 적어도 하나의 시공간 패턴을 생성하는 생성부, 상기 적어도 하나의 시공간 패턴으로부터 사인파 패턴을 갖는 적어도 하나의 관심 영역을 추출하는 추출부 및 상기 적어도 하나의 관심 영역에 대한 주파수 분석을 수행하여 상기 입력 비디오가 미리 설정된 종류의 컨텐츠를 포함하고 있는 지의 여부를 판단하는 분석부를 포함하는 비디오 분석 장치가 제공된다.
일실시예에 따르면, 상기 생성부는, 상기 복수 개의 프레임 영상들을 시간 축에 따라 적어도 하나의 일정한 방향으로 샘플링하여 상기 적어도 하나의 시공간 패턴을 생성할 수 있다.
일실시예에 따르면, 상기 생성부는 상기 복수 개의 프레임 영상에 대한 칼라 히스토그램 (color histogram) 분석 및 칼라 코릴레이션(color correlation) 분석 중 적어도 하나를 통해 장면 분할(scene cut)을 하여 상기 적어도 하나의 시공간 패턴을 생성할 수 있다.
일실시예에 따르면, 상기 생성부는 상기 적어도 하나의 시공간 패턴의 연속성에 따라 상기 적어도 하나의 시공간 패턴을 장면(scene) 별로 분할하여 생성할 수 있다.
일실시예에 따르면, 상기 추출부는 상기 적어도 하나의 시공간 패턴의 각각을 제1 시간 길이로 구분하여 복수 개의 부분 시공간 패턴들을 생성하는 분할부, 상기 복수 개의 부분 시공간 패턴 중 제1 부분 시공간 패턴을 영역 분할하는 클러스터링부 및 상기 영역 분할된 맵으로부터 상기 적어도 하나의 관심 영역을 추출하는 관심 영역 추출부를 포함할 수 있다.
일실시예에 따르면, 상기 영역 분할은 에지 검출(edge detection), 영역 그로잉(region growing), 클러스터링 등을 통하여 수행될 수 있다.
일실시예에 따르면, 상기 관심 영역 추출부는 상기 영역 분할된 맵의 경계들 각각을 포함하는 복수 개의 바운딩 박스를 추출하고, 미리 지정된 조건을 만족하는 적어도 하나의 바운딩 박스를 상기 적어도 하나의 관심 영역으로 추출할 수 있다.
일실시예에 따르면, 상기 분석부는 상기 적어도 하나의 관심 영역을 1차원 신호로 변환하여 제1 신호를 생성하는 제1 변환부, 상기 제1 신호를 주파수 영역으로 변환하여 제2 신호를 생성하는 제2 변환부 및 상기 제2 신호의 주파수 분포를 분석하여 상기 입력 비디오가 미리 설정된 형태의 컨텐츠를 포함하고 있는 지의 여부를 판단하는 판단부를 포함할 수 있다.
일실시예에 따르면, 상기 제1 변환부는 상기 적어도 하나의 관심 영역에 자기 상관 함수를 적용하여 상기 제1 신호를 생성할 수 있다.
일실시예에 따르면, 상기 판단부는 상기 제2 신호 주파수 분포에서 도미넌트한 주파수가 미리 설정된 주파수 범위 내에 있을 경우 상기 입력 비디오가 미리 설정된 형태의 컨텐츠를 포함하고 있다고 판단할 수 있다.
일실시예에 따르면, 상기 판단부는 상기 적어도 하나의 관심 영역 및 상기 적어도 하나의 관심 영역 외의 부분 영역에서 컬러 정보를 분석하여 상기 입력 비디오가 상기 미리 설정된 형태의 컨텐츠를 포함하고 있는 지의 여부를 판단할 수 있다.
다른 일측에 따르면, 입력 비디오에 포함되는 복수 개의 프레임 영상들로부터 픽셀 샘플링을 수행하여 적어도 하나의 시공간 패턴을 생성하는 단계, 상기 적어도 하나의 시공간 패턴으로부터 사인파 패턴을 갖는 적어도 하나의 관심 영역을 추출하는 단계 및 상기 적어도 하나의 관심 영역에 대한 주파수 분석을 수행하여 상기 입력 비디오가 미리 설정된 종류의 컨텐츠를 포함하고 있는 지의 여부를 판단하도록 분석하는 단계를 포함하는 비디오 분석 방법이 제공된다.
일실시예에 따르면, 상기 생성하는 단계는 상기 복수 개의 프레임 영상들을 시간 축에 따라 적어도 하나의 일정한 방향으로 샘플링하여 상기 적어도 하나의 시공간 패턴을 생성할 수 있다.
일실시예에 따르면, 상기 생성하는 단계는 상기 복수 개의 프레임 영상에 대한 칼라 히스토그램 (color histogram) 분석 및 칼라 코릴레이션(color correlation) 분석 중 적어도 하나를 통해 장면 분할(scene cut)을 하여 상기 적어도 하나의 시공간 패턴을 생성하고 및 상기 적어도 하나의 시공간 패턴의 연속성에 따라 상기 적어도 하나의 시공간 패턴을 장면(scene) 별로 분할하여 생성할 수 있다.
일실시예에 따르면, 상기 추출하는 단계는 상기 적어도 하나의 시공간 패턴의 각각을 제1 시간 길이로 구분하여 복수 개의 부분 시공간 패턴들을 생성하는 단계, 상기 복수 개의 부분 시공간 패턴 중 제1 부분 시공간 패턴을 영역 분할하여 영역 분할된 맵을 생성하는 단계 및 상기 영역 분할된 맵으로부터 상기 적어도 하나의 관심 영역을 추출하는 단계를 포함할 수 있다.
일실시예에 따르면, 상기 관심 영역을 추출하는 단계는 상기 영역 분할된 맵의 경계들 각각을 포함하는 복수 개의 바운딩 박스를 추출하고, 미리 지정된 조건을 만족하는 적어도 하나의 바운딩 박스를 상기 적어도 하나의 관심 영역으로 추출할 수 있다.
일실시예에 따르면, 상기 분석하는 단계는 상기 적어도 하나의 관심 영역을 1차원 신호로 변환하여 제1 신호를 생성하는 단계, 상기 제1 신호를 주파수 영역으로 변환하여 제2 신호를 생성하는 단계 및 상기 제2 신호의 주파수 분포를 분석하여 상기 입력 비디오가 미리 설정된 형태의 컨텐츠를 포함하고 있는 지의 여부를 판단하는 단계를 포함할 수 있다.
도 1은 일실시예에 따른 비디오 분석 장치의 블록도이다.
도 2는 일실시예에 따른 상기 비디오 분석 장치에 포함되는 추출부의 세부 블록도이다.
도 3은 일실시예에 따른 상기 비디오 분석 장치에 포함되는 분석부의 세부 블록도이다.
도 4는 일실시예에 따른 시공간 패턴의 픽셀 샘플링 방향을 도시하는 도면이다.
도 5는 일실시예에 따른 특정 방향의 샘플링에서 진동하지 않는 장면과 진동하는 장면의 시공간 패턴을 나타내는 도면이다.
도 6은 일실시예에 따른 클러스터를 이용하여 관심 영역을 추출하는 실시예를 도시하는 도면이다.
도 7은 일실시예에 따른 수직 상관 관계를 이용하는 1차원의 파형을 도시하는 도면이다.
도 8은 일실시예에 따른 합성한 시공간 패턴에서 획득되는 1차원 파형을 도시하는 도면이다.
도 9는 일실시예에 따른 이산 푸리에 변환을 이용한 주파수 규모를 나타내는 도면이다.
도 10은 일실시예에 따른 도 8에 대하여 가우시안 혼합(mixture of Gaussian) 모델을 적용한 결과를 나타내는 도면이다.
도 11은 일실시예에 따른 비디오 분석 방법의 흐름도이다.
이하에서, 일부 실시예들을, 첨부된 도면을 참조하여 상세하게 설명한다. 그러나, 이러한 실시예들에 의해 제한되거나 한정되는 것은 아니다. 각 도면에 제시된 동일한 참조 부호는 동일한 부재를 나타낸다.
아래 설명에서 사용되는 용어는 본 발명에서의 기능을 고려하면서 가능한 현재 널리 사용되는 일반적인 용어를 선택하였으나, 이는 당 분야에 종사하는 기술자의 의도 또는 관례, 새로운 기술의 출현 등에 따라 달라질 수 있다.
또한 특정한 경우는 이해를 돕거나 및/또는 설명의 편의를 위해 출원인이 임의로 선정한 용어도 있으며, 이 경우 해당되는 설명 부분에서 상세한 그 의미를 기재할 것이다. 따라서 아래 설명에서 사용되는 용어는 단순한 용어의 명칭이 아닌 그 용어가 가지는 의미와 명세서 전반에 걸친 내용을 토대로 이해되어야 한다.
도 1은 일실시예에 따른 비디오 분석 장치(100)의 블록도이다. 상기 비디오 분석 장치(100)는 생성부(110), 추출부(120) 및 분석부(120)를 포함한다.
일실시예에 따르면, 상기 비디오 분석 장치(100)는 소셜 미디어에 업로드된 복수 개의 미디어 컨텐츠로부터 미리 설정된 종류의 컨텐츠를 포함하고 있는 지의 여부를 판단할 수 있다. 상기 미리 설정된 종류의 컨텐츠는 이를 테면, 성인물과 같은 불건전한 미디어 컨텐츠일 수 있다.
일실시예에 따른 상기 비디오 분석 장치(100)는 상기 성인물과 같은 불건전한 미디어 컨텐츠에서 진동 움직임을 찾는 시멘틱 인덱싱이나 필터링을 수행할 수 있다. 입력되는 비디오(또는 미디어 컨텐츠)에서 진동 움직임이 나타나는 경우, 시공간 패턴에서 사인파 형태의 패턴이 검출될 수 있다. 이러한 사인파 형태의 패턴을 검출하기 위해 시공간 패턴으로부터 영상 분할을 수행하여 사인파 패턴을 포함하는 영역과 상기 사인파 패턴을 포함하지 않는 영역을 구분할 수 있다.
일실시예에 따르면, 상기 비디오 분석 장치(100)에 입력 비디오(동영상과 같은 미디어 컨텐츠를 포함)가 입력된다. 상기 비디오 분석 장치(100)의 상기 생성부(110)는 상기 입력 비디오에 포함되는 복수 개의 프레임 영상들로부터 픽셀 샘플링을 수행하여 적어도 하나의 시공간 패턴을 생성할 수 있다. 또한, 상기 생성부(110)는 상기 복수 개의 프레임 영상들을 시간 축에 따라 적어도 하나의 일정한 방향으로 샘플링하여 상기 적어도 하나의 시공간 패턴을 생성할 수 있다. 상기 적어도 하나의 일정한 방향에 대한 내용은 일실시예에 따른 도 4를 참조하여 보다 상세히 후술된다.
일실시예에 따르면, 상기 비디오 분석 장치(100)의 상기 추출부(120)는 상기 생성부(110)에 의해 생성된 상기 적어도 하나의 시공간 패턴으로부터 사인파 패턴을 갖는 적어도 하나의 관심 영역을 추출할 수 있다. 상기 추출부(120)에 연관되는 내용은 도 2를 참조하여 보다 상세히 후술된다.
일실시예에 따른 상기 분석부(130)는 상기 적어도 하나의 관심 영역에 대한 주파수 분석을 수행할 수 있다. 상기 분석부(130)는 상기 주파수 분석을 수행함으로써 상기 입력 비디오가 미리 설정된 종류의 컨텐츠를 포함하고 있는 지의 여부를 판단할 수 있다.
상기 미리 설정된 종류의 컨텐츠는 이를 테면, 성인물과 같은 불건전한 미디어 컨텐츠일 수 있으나 이에 제한되지 않고, 사용자가 검출하고자 하는 특정한 사물 또는 객체를 포함하는 미디어 컨텐츠일 수 있다.
일실시예에 따르면, 상기 적어도 하나의 관심 영역은 상기 사인파 패턴을 포함하는 영역일 수 있다. 상기 분석부(130)는 상기 추출부(120)에 의해 추출된 상기 적어도 하나의 관심 영역에서 상기 사인파 패턴을 분석하여 1차원 신호로 변환하여 제1 신호를 생성할 수 있다. 상기 분석부(130)는 상기 1차원 신호인 상기 제1 신호를 주파수 영역에서 분석하여 상기 입력 비디오의 상기 진동 움직임을 검출할 수 있다. 이에 대한 내용은 도 3에서 보다 상세하게 설명된다.
도 2는 일실시예에 따른 상기 비디오 분석 장치(100)에 포함되는 추출부(120)의 세부 블록도이다. 상기 추출부(120)는 분할부(210), 클러스터링부(220) 및 관심 영역 추출부(230)를 포함할 수 있다. 상기 추출부(120)의 상기 분할부(210)는 상기 적어도 하나의 시공간 패턴 각각을 미리 지정하거나 장면 분할 같은 방법으로 계산하여 얻어진 제1 시간의 길이로 구분하여 복수 개의 부분 시공간 패턴들을 생성할 수 있다.
일실시예에 따르면, 상기 클러스터링부(220)는 상기 복수 개의 부분 시공간 패턴 중 제 1 부분 시공간 패턴을 영역 분할하여 영역 분할된 맵을 생성할 수 있다. 상기 관심 영역 추출부(230)는 영역 분할된 맵으로부터 상기 적어도 하나의 관심 영역을 추출할 수 있다.
일실시예에 따른 상기 관심 영역 추출부(230)는 상기 영역 분할된 맵의 경계들 각각을 포함하는 복수 개의 바운딩 박스를 추출할 수 있다. 또한, 상기 관심 영역 추출부(230)는 미리 지정된 조건을 만족하는 적어도 하나의 바운딩 박스를 상기 적어도 하나의 관심 영역으로 추출할 수 있다. 이와 관련된 내용은 도 6을 참조하여 보다 상세히 후술된다.
도 3은 일실시예에 따른 상기 비디오 분석 장치(100)에 포함되는 분석부(130)의 세부 블록도이다. 상기 분석부(130)는 제1 변환부(310), 제2 변환부(320) 및 판단부(330)를 포함할 수 있다.
일실시예에 따르면, 상기 제1 변환부(310)는 상기 추출부(120)의 상기 관심 영역 추출부(230)에 의해 추출된 상기 적어도 하나의 관심 영역을 1차원 신호로 변환하여 제1 신호를 생성할 수 있다. 상기 입력 비디오의 시공간 패턴에서 추출된 영역인 상기 적어도 하나의 관심 영역은 2차원의 신호일 수 있다. 따라서 상기 제1 변환부(310)는 상기 2차원 신호인 상기 적어도 하나의 관심 영역을 1차원의 신호로 변환할 수 있다.
상기 분석부(130)의 상기 제2 변환부(320)는 상기 제1 변환부(310)에 의해 1차원 신호로 변환된 상기 제1 신호를 주파수 영역으로 변환하여 제2 신호를 생성할 수 있다. 상기 제1 신호는 시간 영역에 연관되는 신호일 수 있으며 상기 제2 변환부(320)에 의해 주파수 영역에 연관되는 신호인 제2 신호로 변환될 수 있다.
일실시예에 따르면, 상기 분석부(130)의 상기 판단부(330)는 상기 제2 신호의 주파수 분포를 분석하여 상기 입력 비디오가 미리 설정된 형태의 컨텐츠를 포함하고 있는 지의 여부를 판단할 수 있다.
상기 미리 설정된 형태의 컨텐츠는 이를 테면, 시공간 패턴에서 사인파 패턴을 포함하고 있는 미디어 컨텐츠일 수 있다. 앞서 언급한 바와 같이, 상기 미리 설정된 형태의 컨텐츠는 성인물과 같은 불건전한 미디어 컨텐츠일 수 있다. 이와 연관되는 내용은 도 7 내지 도 10을 참조하여 보다 상세히 후술된다.
일실시예에 따르면, 상기 판단부(330)는 상기 적어도 하나의 시공간 패턴에서 컬러 정보를 추출하여 상기 컬러 정보가 미리 설정된 컬러 범위 내에 있을 경우 상기 입력 비디오가 미리 설정된 형태의 컨텐츠를 포함하고 있다고 판단할 수 있다.
도 4는 일실시예에 따른 시공간 패턴의 픽셀 샘플링 방향을 도시하는 도면이다.
상기 입력 비디오에 포함되는 특정한 진동 움직임을 검출하기 위해 상기 입력 비디오에서의 시공간 패턴을 사용한다. 상기 시공간 패턴은 시간축을 따라 각각의 프레임으로부터 픽셀 샘플링을 한 집합을 수집함으로써 획득할 수 있다.
일실시예에 따르면, 상기 입력 비디오(V) 에서 시간(t)의 위치(x, y)의 픽셀 값을 f V(x, y, t)라 하면, 상기 입력 비디오(V)는 다음의 수학식 1과 같이 나타낼 수 있다.
Figure 112013018443367-pat00001
여기서, 비디오(V)에서의 시공간 패턴(f ST )을 다음의 수학식 2와 같이 나타낼 수 있다.
Figure 112013018443367-pat00002
여기서, x(z) 와 y(z)는 독립적인 정수 변수인 z의 1차원 함수이다. 상기 시공간 패턴은 각각의 프레임에서 픽셀 그룹을 샘플링하고, 시간에 따라서 시간적으로 수집함으로써 생성될 수 있다. 따라서, 시공간 패턴은 3차원 비디오의 2차원 요약을 의미한다.
또한, x(z) 와 y(z)를 어떤 방법으로 매핑하는 지에 따라서 다양한 종류의 패턴을 획득할 수 있다. 이를 테면, y=y 0 또는 x=x 0 (여기서 y 0 와 x 0 는 일정함)와 같은 임의의 면에 대해 수평 또는 수직 픽셀 샘플링은 (x(z), y(z)) = (z, y 0 ) 또는 (x(z), y(z)) = (x 0 , z)와 같은 식을 적용하여 수행될 수 있다. 일정한 수 α에 대해 대각선 픽셀 샘플링도 (x(z), y(z)) = (z, αz)의 방법으로 얻을 수 있다.
일실시예에 따르면, 상기 시공간 패턴은 상기 입력 비디오에서 많은 형태의 비디오 효과(cuts, wipes, dissolves, fades, camera motions, object motions, flashlights, and zooms)에 대해 구분하고 분류할 수 있는 시각적 특징을 포함할 수 있다. 여기서는, 설명의 편의를 위해 상기 진동 움직임에 초점을 맞추어 대부분의 움직임에 잘 맞는 4가지 방향의 시공간 패턴을 이용하여 설명한다.
도 4의 (a), (b), (c) 및 (d)는 4 가지 방향의 시공간 패턴의 예시를 나타낸다. 도 4의 (a)는 수평 방향이고, 도 4의 (b)는 수직 방향, 도 4의 (c) 및 (d)는 2 개의 대각선 방향의 시공간 패턴의 예시를 도시한다. 상기 시공간 패턴은 상기 입력 비디오의 영상에서의 샘플링과 시간축에 따른 정보를 가진 2차원으로 구성될 수 있다.
도 5는 일실시예에 따른 특정 방향의 샘플링에서 진동하지 않는 장면과 진동하는 장면의 시공간 패턴을 나타내는 도면이다. 도 5의 (a)는 진동하지 않는 장면(510, 520 및 530)에서의 시공간 패턴을 나타낸다. 여기서, 상기 진동하지 않는 장면(510, 520 및 530)과 같이 움직임이 존재하지 않다면, 이미지 패턴은 단순히 시간축을 따라 수평 방향으로의 에지(501)만 발생한다.
도 5의 (b)는 도 4에서 설명되었던 4 가지의 특정 방향 중 적어도 하나의 방향에서의 샘플링을 통한 진동 움직임을 포함하는 장면을 나타낸다. 도 5의 (b)에 도시된 바와 같이, 시공간 패턴에서 1차원의 사인파 모양의 신호처럼 보이는 상기 사인파 패턴이 관찰될 수 있다.
또한, 도 5에 도시된 바와 같이 장면 전환이 발생되는 경우 시공간 패턴의 전환이 발생하는 것을 볼 수 있다. 따라서, 각각의 장면에서 상기 진동 움직임을 찾는 것이 더 수월할 수 있다. 상기 비디오 분석 장치(100)의 상기 생성부(110)는 상기 장면 전환을 검출하기 위해 상기 각각의 복수 개의 프레임 영상들의 밝기 히스토그램을 비교하여 장면 별로 구분되는 적어도 하나의 시공간 패턴을 생성할 수 있다. 또한, 상기 생성부(110)는 상기 적어도 하나의 시공간 패턴의 연속성에 따라 상기 적어도 하나의 시공간 패턴을 장면 별로 분할하여 생성할 수 있다.
도 6은 일실시예에 따른 클러스터를 이용하여 관심 영역을 추출하는 실시예를 도시하는 도면이다.
상기 시공간 패턴은 장면에서 시간에 따라 수평적으로 길이가 다양하기 때문에 상기 추출부(120)의 상기 분할부(210)는 각각의 장면들을 겹치지 않게 제1 시간 길이(601, 602 및 603) 이를 테면, 크기가 N인 고정된 간격으로 나누어 복수 개의 부분 시공간 패턴들을 생성할 수 있다. 여기서, 설명의 편의를 위해 상기 제1 시간 길이 N은 64로 가정한다. 만약, 장면의 길이가 상기 N 보다 작은 경우, 해당 장면은 무시될 수 있다.
일실시예에 따르면, 도 6에서 나타낸 바와 같이, 상기 시공간 패턴에서 진동 움직임이 존재하는 부분(610)과 상기 진동 움직임이 존재하지 않는 부분(620)이 있기 때문에, 관심 영역을 나누는 것은 중요할 수 있다. 또한, 도 6에 도시된 바와 같이 1차원의 사인파 패턴의 신호는 다른 색을 포함하는 영역의 경계 부분에서 발생하기 때문에 관심 영역을 나누고 경계를 추출하여 분석할 수 있다.
일실시예에 따르면, k-means 군집화 방법을 이용하여 색 영역을 구분할 수 있다. 단순히 1차원 사인파 패턴을 갖는 신호를 포함하는 영역이 필요하기 때문에 상기 군집화 방법은 대략적으로 수행될 수 있다. 색 군집화는 시공간이미지의 픽셀들을 k 집합 S={s 1 , s 2 , …, s k }로 구분한다. 따라서, 이 알고리즘은 수학식 3 및 수학식 4와 같은 목적 함수로 구현될 수 있다.
Figure 112013018443367-pat00003
Figure 112013018443367-pat00004
여기서, (
Figure 112013018443367-pat00005
)은 s j 의 클러스터 중심의 빨강, 초록, 파랑 색상 요소를 나타내고, (
Figure 112013018443367-pat00006
)은 픽셀 x i 의 클러스터 중심의 빨강, 초록, 파랑 색상 요소를 나타낸다. 여기서, 상기 클러스터링부(220)에 의해 각각의 클러스터에 대한 영역 분할된 맵이 생성되고, 상기 관심 영역 추출부(230)는 간단한 경계 추출 방법을 통하여 상기 영역 분할된 맵으로부터 상기 적어도 하나의 관심 영역을 추출한다.
도 6의 (b)는 도 6의 (a)에서의 상기 시공간 패턴에서 상기 제1 시간 길이 N로 구분된 관심 영역(630)에 대해 영역 분할된 맵을 생성하여 상기 적어도 하나의 관심 영역을 추출하는 예를 도시한다.
일실시예에 따르면, 각각의 영역 분할된 맵에서 8 개의 연결 요소 레이블링을 수행할 수 있다. 상기 관심 영역 추출부(230)는 연결된 경계 픽셀의 각 요소에 대해서 상기 영역 분할된 맵의 경계들 각각을 포함하는 복수 개의 바운딩 박스(640, 650)를 추출한다. 상기 복수 개의 바운딩 박스는 최소 높이를 갖는다. 이를 테면, 상기 바운딩 박스의 최소 높이가 상기 시공간 패턴 이미지 높이의 5%보다 작거나, 상기 바운딩 박스의 너비가 시공간 이미지 너비의 반보다 작으면, 판단 대상이 되는 상기 진동 움직임이 검출될 확률이 적기 때문에 무시할 수 있다.
도 6의 (b)에서, 바운딩 박스(640)는 상기 바운딩 박스(640)의 높이가 최소 높이 보다 크거나 상기 바운딩 박스(640)의 너비가 시공간 너비의 반 보다 큰 경우를 나타내며, 상기 바운딩 박스(640)는 관심 영역으로 추출될 수 있다. 반대로, 바운딩 박스(650)는 상기 바운딩 박스(650)의 높이가 최소 높이 보다 작거나 상기 바운딩 박스(650)의 너비가 시공간 너비의 반보다 작은 경우를 나타내며, 상기 박운딩 박스(650)는 무시될 수 있다. 따라서, 상기 관심 영역 추출부(230)는 각각의 시공간 영역에서 1차원 사인파 형태의 신호를 포함하는 상기 적어도 하나의 관심 영역을 추출한다.
도 7은 일실시예에 따른 수직 상관 관계를 이용하는 1차원의 파형을 도시하는 도면이다. 앞서 기술된 바와 같이, 1차원 사인파 패턴을 포함하는 적어도 하나의 관심 영역은 상기 추출부(120)에 의해 추출될 수 있다. 그러나, 2차원 이미지에서 상기 진동 움직임을 찾은 것은 어렵다. 따라서, 상기 제1 변환부(310)가 상기 2차원 이미지(상기 적어도 하나의 관심 영역)를 1차원의 신호인 상기 제1 신호로 변환한다.
여기서, q(x, y)를 관심 영역에서 픽셀 (x, y)의 밝기 값이라고 가정한다. 이 경우, 각각의 프레임 인덱스 n에서의 수직 윈도우 w는 수학식 5와 같이 표현될 수 있다.
Figure 112013018443367-pat00007
여기서, M 은 관심 영역의 높이이다. 수직 윈도우를 연속되는 프레임 별로 SAD(Sum of Absolute Difference)를 비교함으로써 진동 움직임을 계산할 수 있다. 따라서, 상기 1차원 신호인 상기 제1 신호 S(n)는 수학식 6과 같이 나타낼 수 있다.
Figure 112013018443367-pat00008
여기서, N은 상기 제1 시간 길이이고, m은 상기 적어도 하나의 관심 영역의 행의 인덱스를 의미한다. 이러한 알고리즘은 시공간 이미지에서 주기성뿐만 아니라, 도 7에 도시된 바와 같이, 프레임 정렬 없이 실제 사인파 형태의 신호를 유지할 수 있다는 장점이 있다. 도 7은 앞서 기술된 바와 같이, 상기 1차원 신호인 상기 제1 신호의 파형의 예시를 나타낸다.
도 8은 일실시예에 따른 합성한 시공간 패턴에서 획득되는 1차원 파형을 도시하는 도면이다. 도 7을 참조하여 설명된 바와 같이, 상기 1차원 신호의 경우 상기 시공간 패턴에서 사인파의 기울기에 구분 없이 일정한 사인파를 얻을 수 있다는 장점이 있다. 도 8은 상기 시공간 패턴을 임의로 구성한 이미지에서 도 8을 참조하여 설명된 과정과 단순 스캔 라인(scan line)을 통해 밝기 차이를 비교한 결과의 차이를 나타낸다.
일실시예에 따르면, 상기 1차원 신호인 상기 제1 신호는 노이즈 때문에 사인파 형태의 신호처럼 보이지 않을 수 있다. 따라서, 더 좋은 파형을 획득하기 위해 자기 상관 함수를 이용할 수 있다. 상기 자기 상관 함수S(n)은 수학식 7과 같이 정의할 수 있다.
Figure 112013018443367-pat00009
여기서, N-1 은 S(n)의 길이를 의미한다. 수학식 7에서 R(l)의 값은 S(n)과 S(n + l)이 l을 따라 작아질수록 증가한다.
따라서, 노이즈가 있다 하더라도 S(n) 이 주기성을 포함하는 경우 수학식 7을 통해 같은 주기를 포함하는 개선된 사인파 형상의 파형을 얻을 수 있다. 자기 상관 신호의 좌우 15%는 정보가 충분하지 않기 때문에 잘라내고, R(l)의 길이는 N에서 N크기의 70%인 L로 바뀐다. 그러므로, 상기 자기상관 함수를 이용하는 경우 파형의 형태가 개선될 수 있다.
도 9는 일실시예에 따른 이산 푸리에 변환을 이용한 주파수 규모를 나타내는 도면이다.
일실시예에 따르면, 상기 분석부(130)의 상기 제1 변환부(310)는 상기 적어도 하나의 관심 영역을 1차원 신호로 변환하여 상기 제1 신호를 생성할 수 있다. 또한 상기 제2 변환부(320)는 상기 제1 신호를 주파수 영역으로 변환하여 상기 제2 신호를 생성할 수 있다.
상기 사인파 패턴을 포함하는 신호는 주파수의 조합으로 나타낼 수 있다. 또한, 상기 사인파 패턴을 포함하는 신호는 사인파의 주기에 해당하는 도미넌트한(dominant) 주파수를 포함하고 있다. 따라서, 주기성을 측정하기 위해 자기 변환 신호를 수학식 8과 같은 이산 푸리에 변환을 통해 주파수 영역으로 변환한다.
Figure 112013018443367-pat00010
여기서, R(l)은 1차원 파형의 자기 상관 함수이다. 다음의 도 9에 도시된 바와 같이, 이산 푸리에 변환은 L/2 점에 대해서 대칭임을 알 수 있고, 해당 주파수의 반만을 이용할 수 있다. 상기 진동 움직임을 찾기 위해 주파수 영역에서 여러 가지의 방법으로 분석을 수행 할 수 있다.
일실시예에 따르면, 도 9와 같이 주파수 영역의 가장 큰 꼭지점의 주파수의 위치가 미리 설정된 주파수 영역 안에 위치해야 하고, 그 다음, 가장 큰 꼭지점과 다음 크기의 꼭지점을 비교할 수 있다. 각각의 꼭지점의 크기를 δ d 와 δ s 라 하면, 상기 진동 움직임은 수학식 9를 이용하여 정의 할 수 있다.
Figure 112013018443367-pat00011
만약, Ratio peak 이 임계 값보다 작으면 상기 진동 움직임이 존재할 가능성이 있다.
다른 일실시예에 따르면, 주파수를 도미넌트한 사인파 주파수와 노이즈 주파수로 나눌 수 있다. 이 과정에서 주파수 규모의 분포를 분석하여 가우시안 혼합(mixture of Gaussian) 모델을 이용할 수 있다. 해당 데이터는 다음의 수학식 10과 같이 K개의 정규분포의 합으로 나타낼 수 있다.
Figure 112013018443367-pat00012
여기서, x는 주파수의 규모(magnitude)를 나타내고, μ 1 … K 와 σ 1 … K 는 각각 정규 분포의 평균과 분산을 나타낸다. 또한, λ 1 … K 는 모든 합이 1이 되는 가중치를 의미한다. 상기 가우시안 혼합(mixture of Gaussian) 모델은 복잡한 확률 분포를 간단한 분포의 결합으로 나타낼 수 있다. 상기 주파수 규모에 대해 상기 가우시안 혼합(mixture of Gaussian) 모델의 변수 값(평균, 분산, 가중치)을 계산하기 위한 최대 확률비율(maximum likelihood)값을 얻기 위하여 EM(expectation maximization) 알고리즘을 수행할 수 있다. 상기 EM에서 상기 가우시안 혼합(mixture of Gaussian) 모델의 변수 값은 수학식 11과 같이 반복적으로 업데이트 하여 얻을 수 있다.
Figure 112013018443367-pat00013
여기서, I는 주파수 규모의 총 개수를 나타내고, t는 반복 횟수를 나타낸다. 상기 반복은 로그 확률 비율(log likelihood)이 수렴할 때까지 수행한다. 가장 큰 가중치를 가진 가우시안(Gaussian)을 선택하여 해당 가우시안의 평균 값과 분산 값(μ m , σ m )을 얻고, 상기 평균 값과 분산 값을 진동 움직임의 특징점으로 사용한다.
도 10은 일실시예에 따른 도 8에 대하여 가우시안 혼합(mixture of Gaussian) 모델을 적용한 결과를 나타내는 도면이다. 또한, 도 10은 앞서 기술된 바와 같이, 상기 주파수 규모를 바탕으로 상기 가우시안 혼합(mixture of Gaussian) 모델을 수행한 결과를 도시한다.
일실시예에 따르면, 진동 움직임의 경우 성인물과 같은 불건전한 미디어 컨텐츠에서 뿐만 아니라 걷기, 뛰기 등 다양한 움직임이 포함된 영상에서도 나타날 수 있다. 상기 입력 비디오에서 사인파 형태의 패턴이 있는 부분이 손이나 얼굴인 경우 상기 시공간 패턴에서 사인파 형태의 패턴이 있는 영역의 색상에 피부색이 많이 포함 될 수 있지만, 그 외의 영역에서는 피부색이 거의 존재 하지 않는다. 그러나, 성인물과 같은 상기 불건전한 미디어 컨텐츠에서는 위에서 기술된 상기 진동 움직임의 분석과 사인파가 포함된 영역과 그 외의 영역을 구분하여 색상 분석을 통해 상기 미디어 컨텐츠가 미리 설정된 종류의 컨텐츠를 포함하고 있는 지의 여부를 판단할 수 있다.
일실시예에 따르면, 성인물과 같은 불건전한 미디어 컨텐츠의 경우, 진동 움직임이 있는 부분에서 피부색이 많이 포함되어 있을 수 있고, 진동하지 않는 부분도 피부색이 포함될 수 있다. 따라서, 상기 적어도 하나의 관심 영역에서의 색조, 포화도 정보와 상기 적어도 하나의 관심 영역 외의 부분 영역에서의 색조, 포화도 정보를 이용하여 상기 불건전한 미디어 컨텐츠를 분류한다.
도 11은 일실시예에 따른 비디오 분석 방법의 흐름도이다. 상기 비디오 분석 장치(100)에 상기 입력 비디오가 입력된다. 상기 생성부(110)는 상기 입력 비디오에 포함되는 복수 개의 프레임 영상들로부터 픽셀 샘플링을 수행하여 적어도 하나의 시공간 패턴을 생성할 수 있다(1110). 또한, 상기 생성부(110)는 상기 복수 개의 프레임 영상들을 시간의 축에 따라서 적어도 하나의 일정한 방향으로 샘플링을 수행하여 상기 적어도 하나의 시공간 패턴을 생성할 수 있다.
그 다음, 상기 적어도 하나의 사공간 패턴으로부터 사인파 패턴을 갖는 적어도 하나의 관심 영역을 추출할 수 있다(1120). 상기 관심 영역을 추출하는 과정은, 상기 적어도 하나의 시공간 패턴의 각각을 제 1 시간의 길이(N)로 구분하여 복수 개의 부분 시공간 패턴을 생성한다. 그 후, 상기 복수 개의 부분 시공간 패턴 중 일부분인 제1 부분 시공간 패턴을 영역 분할하여 영역 분할된 맵을 생성하고, 상기 영역 분할된 맵으로부터 상기 적어도 하나의 관심 영역을 추출할 수 있다.
일실시예에 따르면, 상기 관심 영역을 추출할 경우, 상기 관심 영역 추출부(230)는 상기 영역 분할된 맵의 경계들 각각을 포함하는 복수 개의 바운딩 박스를 추출하여, 미리 지정된 조건을 만족하는 적어도 하나의 바운딩 박스를 상기 적어도 하나의 관심 영역으로 추출할 수 있다. 앞서 기술된 바와 같이, 상기 미리 지정된 조건은 상기 바운딩 박스의 최소 높이일 수 있다.
이를 테면, 상기 바운딩 박스의 최소 높이가 상기 시공간 패턴 이미지 높이의 5% 보다 작거나 또는 큰지의 여부가 상기 미리 지정된 조건일 수 있으며, 상기 미리 지정된 조건은 이에 제한되지 않는다. 만약, 상기 바운딩 박스의 높이가 상기 시공간 패턴 이미지의 5% 보다 작거나 또는 상기 바운딩 박스의 너비가 시공간 이미지 너비의 반보다 작으면, 판단 대상이 되는 상기 진동 움직임이 검출될 확률이 적기 때문에 상기 바운딩 박스는 무시될 수 있다.
일실시예에 따르면, 상기 제1 변환부(310)는 상기 추출부(120)에 의해 추출된 상기 적어도 하나의 관심 영역의 2차원 신호를 1차원 신호인 제1 신호로 변환을 수행할 수 있다(1130). 상기 제2 변환부(320)는 상기 제1 신호를 주파수 영역으로 변환하여 제2 신호를 생성할 수 있다(1140). 상기 판단부(330)는 상기 제2 신호의 주파수 분포를 분석하여(1150) 상기 입력 비디오가 미리 설정된 형태의 컨텐츠를 포함하고 있는 지의 여부를 판단할 수 있다(1160).
일실시예에 따르면, 앞에서 언급된 바와 같이 상기 적어도 하나의 관심 영역과 그 이외의 영역에서의 색조(hue)와 포화도(saturation)를 계산하여 성인 행동 검출을 위한 색상 특징을 얻을 수 있다. 상기 진동 움직임의 특징 및 또는 상기 색상 특징을 같이 고려하여 최종적으로 성인 행동을 검출할 수 있다.
이상에서 설명된 장치는 하드웨어 구성요소, 소프트웨어 구성요소, 및/또는 하드웨어 구성요소 및 소프트웨어 구성요소의 조합으로 구현될 수 있다. 예를 들어, 실시예들에서 설명된 장치 및 구성요소는, 예를 들어, 프로세서, 콘트롤러, ALU(arithmetic logic unit), 디지털 신호 프로세서(digital signal processor), 마이크로컴퓨터, FPA(field programmable array), PLU(programmable logic unit), 마이크로프로세서, 또는 명령(instruction)을 실행하고 응답할 수 있는 다른 어떠한 장치와 같이, 하나 이상의 범용 컴퓨터 또는 특수 목적 컴퓨터를 이용하여 구현될 수 있다. 처리 장치는 운영 체제(OS) 및 상기 운영 체제 상에서 수행되는 하나 이상의 소프트웨어 애플리케이션을 수행할 수 있다. 또한, 처리 장치는 소프트웨어의 실행에 응답하여, 데이터를 접근, 저장, 조작, 처리 및 생성할 수도 있다. 이해의 편의를 위하여, 처리 장치는 하나가 사용되는 것으로 설명된 경우도 있지만, 해당 기술분야에서 통상의 지식을 가진 자는, 처리 장치가 복수 개의 처리 요소(processing element) 및/또는 복수 유형의 처리 요소를 포함할 수 있음을 알 수 있다. 예를 들어, 처리 장치는 복수 개의 프로세서 또는 하나의 프로세서 및 하나의 콘트롤러를 포함할 수 있다. 또한, 병렬 프로세서(parallel processor)와 같은, 다른 처리 구성(processing configuration)도 가능하다.
소프트웨어는 컴퓨터 프로그램(computer program), 코드(code), 명령(instruction), 또는 이들 중 하나 이상의 조합을 포함할 수 있으며, 원하는 대로 동작하도록 처리 장치를 구성하거나 독립적으로 또는 결합적으로(collectively) 처리 장치를 명령할 수 있다. 소프트웨어 및/또는 데이터는, 처리 장치에 의하여 해석되거나 처리 장치에 명령 또는 데이터를 제공하기 위하여, 어떤 유형의 기계, 구성요소(component), 물리적 장치, 가상 장치(virtual equipment), 컴퓨터 저장 매체 또는 장치, 또는 전송되는 신호 파(signal wave)에 영구적으로, 또는 일시적으로 구체화(embody)될 수 있다. 소프트웨어는 네트워크로 연결된 컴퓨터 시스템 상에 분산되어서, 분산된 방법으로 저장되거나 실행될 수도 있다. 소프트웨어 및 데이터는 하나 이상의 컴퓨터 판독 가능 기록 매체에 저장될 수 있다.
실시예에 따른 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.
이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.
그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.

Claims (17)

  1. 입력 비디오에 포함되는 복수 개의 프레임 영상들로부터 픽셀 샘플링을 수행하여 적어도 하나의 시공간 패턴을 생성하는 생성부;
    상기 적어도 하나의 시공간 패턴으로부터 사인파 패턴을 갖는 적어도 하나의 관심 영역을 추출하는 추출부; 및
    상기 적어도 하나의 관심 영역에 대한 주파수 분석을 수행하여 상기 입력 비디오가 미리 설정된 종류의 컨텐츠를 포함하고 있는 지의 여부를 판단하는 분석부
    를 포함하고,
    상기 생성부는,
    상기 복수 개의 프레임 영상들을 시간 축에 따라 적어도 하나의 일정한 방향으로 샘플링하여 상기 적어도 하나의 시공간 패턴을 생성하는 비디오 분석 장치.
  2. 삭제
  3. 제1항에 있어서,
    상기 생성부는 상기 복수 개의 프레임 영상에 대한 칼라 히스토그램 (color histogram) 분석 및 칼라 코릴레이션(color correlation) 분석 중 적어도 하나를 통해 장면 분할(scene cut)을 하여 상기 적어도 하나의 시공간 패턴을 생성하는 비디오 분석 장치.
  4. 제1항에 있어서,
    상기 생성부는 상기 적어도 하나의 시공간 패턴의 연속성에 따라 상기 적어도 하나의 시공간 패턴을 장면(scene) 별로 분할하여 생성하는 비디오 분석 장치.
  5. 제1항에 있어서,
    상기 추출부는,
    상기 적어도 하나의 시공간 패턴의 각각을 제1 시간 길이로 구분하여 복수 개의 부분 시공간 패턴들을 생성하는 분할부;
    상기 복수 개의 부분 시공간 패턴 중 제1 부분 시공간 패턴을 영역 분할하여 영역 분할된 맵을 생성하는 클러스터링부; 및
    상기 영역 분할된 맵으로부터 상기 적어도 하나의 관심 영역을 추출하는 관심 영역 추출부
    를 포함하는 비디오 분석 장치.
  6. 제5항에 있어서,
    상기 관심 영역 추출부는 상기 영역 분할된 맵의 경계들 각각을 포함하는 복수 개의 바운딩 박스를 추출하고, 미리 지정된 조건을 만족하는 적어도 하나의 바운딩 박스를 상기 적어도 하나의 관심 영역으로 추출하는 비디오 분석 장치.
  7. 제1항에 있어서,
    상기 분석부는,
    상기 적어도 하나의 관심 영역을 1차원 신호로 변환하여 제1 신호를 생성하는 제1 변환부;
    상기 제1 신호를 주파수 영역으로 변환하여 제2 신호를 생성하는 제2 변환부; 및
    상기 제2 신호의 주파수 분포를 분석하여 상기 입력 비디오가 미리 설정된 형태의 컨텐츠를 포함하고 있는 지의 여부를 판단하는 판단부
    를 포함하는 비디오 분석 장치.
  8. 제7항에 있어서,
    상기 제1 변환부는 상기 적어도 하나의 관심 영역에 자기 상관 함수를 적용하여 상기 제1 신호를 생성하는 비디오 분석 장치.
  9. 제7항에 있어서,
    상기 판단부는,
    상기 제2 신호 주파수 분포에서 도미넌트한 주파수가 미리 설정된 주파수 범위 내에 있을 경우 상기 입력 비디오가 미리 설정된 형태의 컨텐츠를 포함하고 있다고 판단하는 비디오 분석 장치.
  10. 제7항에 있어서,
    상기 판단부는, 상기 적어도 하나의 관심 영역 및 상기 적어도 하나의 관심 영역 외의 부분 영역에서 컬러 정보를 분석하여 상기 입력 비디오가 상기 미리 설정된 형태의 컨텐츠를 포함하고 있는 지의 여부를 판단하는 비디오 분석 장치.
  11. 입력 비디오에 포함되는 복수 개의 프레임 영상들로부터 픽셀 샘플링을 수행하여 적어도 하나의 시공간 패턴을 생성하는 단계;
    상기 적어도 하나의 시공간 패턴으로부터 사인파 패턴을 갖는 적어도 하나의 관심 영역을 추출하는 단계; 및
    상기 적어도 하나의 관심 영역에 대한 주파수 분석을 수행하여 상기 입력 비디오가 미리 설정된 종류의 컨텐츠를 포함하고 있는 지의 여부를 판단하도록 분석하는 단계
    를 포함하고,
    상기 생성하는 단계는,
    상기 복수 개의 프레임 영상들을 시간 축에 따라 적어도 하나의 일정한 방향으로 샘플링하여 상기 적어도 하나의 시공간 패턴을 생성하는 비디오 분석 방법.
  12. 삭제
  13. 제11항에 있어서,
    상기 생성하는 단계는, 상기 복수 개의 프레임 영상에 대한 칼라 히스토그램 (color histogram) 분석 및 칼라 코릴레이션(color correlation) 분석 중 적어도 하나를 통해 장면 분할 검출(scene cut)을 하여 상기 적어도 하나의 시공간 패턴을 생성하고 및 상기 적어도 하나의 시공간 패턴의 연속성에 따라 상기 적어도 하나의 시공간 패턴을 장면(scene) 별로 분할하여 생성하는 비디오 분석 방법.
  14. 제11항에 있어서,
    상기 추출하는 단계는,
    상기 적어도 하나의 시공간 패턴의 각각을 제1 시간 길이로 구분하여 복수 개의 부분 시공간 패턴들을 생성하는 단계;
    상기 복수 개의 부분 시공간 패턴 중 제1 부분 시공간 패턴을 영역 분할하여 영역 분할된 맵을 생성하는 단계; 및
    상기 영역 분할된 맵으로부터 상기 적어도 하나의 관심 영역을 추출하는 단계
    를 포함하는 비디오 분석 방법.
  15. 제14항에 있어서,
    상기 관심 영역을 추출하는 단계는, 상기 영역 분할된 맵의 경계들 각각을 포함하는 복수 개의 바운딩 박스를 추출하고, 미리 지정된 조건을 만족하는 적어도 하나의 바운딩 박스를 상기 적어도 하나의 관심 영역으로 추출하는 비디오 분석 방법.
  16. 제11항에 있어서,
    상기 분석하는 단계는,
    상기 적어도 하나의 관심 영역을 1차원 신호로 변환하여 제1 신호를 생성하는 단계;
    상기 제1 신호를 주파수 영역으로 변환하여 제2 신호를 생성하는 단계; 및
    상기 제2 신호의 주파수 분포를 분석하여 상기 입력 비디오가 미리 설정된 형태의 컨텐츠를 포함하고 있는 지의 여부를 판단하는 단계
    를 포함하는 비디오 분석 방법.
  17. 제11항 및 제13항 내지 제16항 중 어느 한 항의 비디오 분석 방법을 수행하는 프로그램을 수록한 컴퓨터 판독 가능 기록 매체.
KR1020130022361A 2013-02-28 2013-02-28 시공간 패턴에 기반한 비디오 분석 장치 및 방법 KR101993010B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130022361A KR101993010B1 (ko) 2013-02-28 2013-02-28 시공간 패턴에 기반한 비디오 분석 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130022361A KR101993010B1 (ko) 2013-02-28 2013-02-28 시공간 패턴에 기반한 비디오 분석 장치 및 방법

Publications (2)

Publication Number Publication Date
KR20140107999A KR20140107999A (ko) 2014-09-05
KR101993010B1 true KR101993010B1 (ko) 2019-06-25

Family

ID=51755402

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130022361A KR101993010B1 (ko) 2013-02-28 2013-02-28 시공간 패턴에 기반한 비디오 분석 장치 및 방법

Country Status (1)

Country Link
KR (1) KR101993010B1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022099118A1 (en) * 2020-11-09 2022-05-12 Canon U.S.A., Inc. Detection of image sharpness in frequency domain

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101950438B1 (ko) * 2018-11-12 2019-02-20 길재소프트 주식회사 관심영역에 대한 영상 차원 판별 방법 및 시스템

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003248829A (ja) 2002-02-26 2003-09-05 Univ Chuo 周期性を有する動きの検出方法および装置
JP2004514975A (ja) 2000-11-24 2004-05-20 クレバー　エスワイエス　インコーポレイテッド ビデオ分析を用いる物体の識別と行動の特徴付けシステムおよびその方法
JP2005531845A (ja) 2002-06-28 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 確率分布関数を用いて行動をモデル化するための方法及び装置
JP2007097668A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp 状態識別装置、プログラムおよび方法

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100411347B1 (ko) * 2001-12-29 2003-12-18 엘지전자 주식회사 동영상 비디오의 장면전환 검출 방법
KR101435778B1 (ko) * 2011-03-16 2014-08-29 한국전자통신연구원 비디오 기반 시각적 특징과 다단계 통계적 결합을 이용한 유해 동영상 분류 방법 및 장치

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004514975A (ja) 2000-11-24 2004-05-20 クレバー　エスワイエス　インコーポレイテッド ビデオ分析を用いる物体の識別と行動の特徴付けシステムおよびその方法
JP2003248829A (ja) 2002-02-26 2003-09-05 Univ Chuo 周期性を有する動きの検出方法および装置
JP2005531845A (ja) 2002-06-28 2005-10-20 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 確率分布関数を用いて行動をモデル化するための方法及び装置
JP2007097668A (ja) * 2005-09-30 2007-04-19 Fujifilm Corp 状態識別装置、プログラムおよび方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022099118A1 (en) * 2020-11-09 2022-05-12 Canon U.S.A., Inc. Detection of image sharpness in frequency domain

Also Published As

Publication number Publication date
KR20140107999A (ko) 2014-09-05

Similar Documents

Publication Publication Date Title
US9070043B2 (en) Method and apparatus for analyzing video based on spatiotemporal patterns
JP6622972B2 (ja) ポイントクラウドで特徴領域を抽出する方法及び装置
JP7266106B2 (ja) 画像座標系の変換方法並びにその、装置、機器およびコンピュータプログラム
US9633483B1 (en) System for filtering, segmenting and recognizing objects in unconstrained environments
JP4215781B2 (ja) 異常動作検出装置および異常動作検出方法
JP2017531883A (ja) 画像の主要被写体を抽出する方法とシステム
KR101436369B1 (ko) 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법
KR101868103B1 (ko) 다중 이동 물체의 식별 및 추적을 위한 영상 감시 장치 및 방법
CN110309720A (zh) 视频检测方法、装置、电子设备和计算机可读介质
KR101833943B1 (ko) 동영상의 주요 장면을 추출 및 탐색하는 방법 및 시스템
KR101993010B1 (ko) 시공간 패턴에 기반한 비디오 분석 장치 및 방법
KR101064946B1 (ko) 다중 영상 분석 기반의 객체추출 장치 및 그 방법
Gupta et al. Reconnoitering the Essentials of Image and Video Processing: A Comprehensive Overview
JP5217917B2 (ja) 物体検知追跡装置，物体検知追跡方法および物体検知追跡プログラム
JP2004038980A (ja) 画像を解析する方法、しきい値を生成する方法、該方法を実行するコンピュータプログラム、該プログラムを記憶するコンピュータ可読媒体および該方法を実行するように適応した装置
KR101849696B1 (ko) 영상 모델링 시스템에서 조명 정보 및 재질 정보를 획득하는 방법 및 장치
Omidyeganeh et al. Application of 3D-wavelet statistics to video analysis
JP2010225107A (ja) 特徴を抽出する装置、方法およびプログラム
KR101507998B1 (ko) 배경확산 및 영역확장을 이용한 물체 검출 방법 및 장치, 이를 이용한 물체 추적 방법 및 장치
Kushwaha et al. Automatic moving object segmentation methods under varying illumination conditions for video data: comparative study, and an improved method
KR20180082739A (ko) 단일 카메라를 이용한 영상에서 움직이는 객체 검출 방법 및 시스템
Jung et al. Estimation of 3D head region using gait motion for surveillance video
Koohzadi et al. OTWC: an efficient object-tracking method
Kim et al. Video saliency detection based on random walk with restart
KR101777948B1 (ko) 엔트로피와 배경변화율 차이점을 이용한 주요 객체 자동 검출 장치

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant