KR101369915B1 - 영상 식별자 추출 장치 - Google Patents

영상 식별자 추출 장치 Download PDF

Info

Publication number
KR101369915B1
KR101369915B1 KR1020117016196A KR20117016196A KR101369915B1 KR 101369915 B1 KR101369915 B1 KR 101369915B1 KR 1020117016196 A KR1020117016196 A KR 1020117016196A KR 20117016196 A KR20117016196 A KR 20117016196A KR 101369915 B1 KR101369915 B1 KR 101369915B1
Authority
KR
South Korea
Prior art keywords
picture
area
information
feature amount
change
Prior art date
Application number
KR1020117016196A
Other languages
English (en)
Other versions
KR20110103415A (ko
Inventor
료마 오아미
고타 이와모토
Original Assignee
닛본 덴끼 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 닛본 덴끼 가부시끼가이샤 filed Critical 닛본 덴끼 가부시끼가이샤
Publication of KR20110103415A publication Critical patent/KR20110103415A/ko
Application granted granted Critical
Publication of KR101369915B1 publication Critical patent/KR101369915B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
    • G06F16/786—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using motion, e.g. object motion or camera motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/254—Analysis of motion involving subtraction of images
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/835—Generation of protective data, e.g. certificates
    • H04N21/8352—Generation of protective data, e.g. certificates involving content or source identification data, e.g. Unique Material Identifier [UMID]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Library & Information Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Security & Cryptography (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

이 영상 식별자 추출 장치는, 입력되는 영상으로부터, 프레임 또는 필드인 픽쳐별 특징량을 픽쳐별 시각 특징량으로서 추출하는 픽쳐별 특징량 추출 수단; 상기 영상으로부터, 픽쳐 내의 미리 정해진 영역에 대하여, 시간 방향의 화상 변화를 해석하고, 화상 변화가 큰 영역을 구하고, 그 영역을 지정하는 정보인 변화 영역 정보를 생성하는 시간축 방향 변화 영역 추출 수단; 상기 변화 영역 정보에 대응하는 영역의 특징량을, 상기 영상으로부터 영역별 시각 특징량으로서 추출하는 영역별 특징량 추출 수단; 및 상기 픽쳐별 시각 특징량, 상기 영역별 시각 특징량, 및 상기 변화 영역 정보를 다중화하고 영역 식별자를 생성하는 다중화 수단을 포함한다.

Description

영상 식별자 추출 장치{VIDEO IDENTIFIER EXTRACTING DEVICE}
본 발명은 수많은 동화상 중에서, 유사 혹은 동일한 동화상 구간을 검출하는 영상 검색용의 영상 식별자 추출 장치, 방법, 및 프로그램에 관한 것이다.
동화상 특징량 추출 및 대조 장치의 일례가 비특허문헌 1에 기재되어 있다. 도 14는, 상기 비특허문헌 1에 기재된 장치를 나타내는 블록도이다.
블록 단위 특징량 추출 수단(1000)은, 입력되는 제1 영상으로부터 블록 단위로 특징량을 추출하고, 제1 특징량을 대조 수단(1030)에 출력한다. 블록 단위 특징량 추출 수단(1010)은, 입력되는 제2 영상으로부터 블록 단위로 특징량을 추출하고, 제2 특징량을 대조 수단(1030)에 출력한다. 가중 계수 산출 수단(1020)은, 입력되는 학습용 영상에 의거하여 각 블록의 가중값을 산출하고, 가중 계수를 대조 수단(1030)에 출력한다. 대조 수단(1030)은, 가중 계수 산출 수단(1020)으로부터 출력되는 가중 계수를 이용하여, 블록 단위 특징량 추출 수단(1000)으로부터 출력되는 제1 특징량과, 블록 단위 특징량 추출 수단(1010)으로부터 출력되는 제2 특징량을 대조하고, 대조 결과를 출력한다.
다음으로, 도 14에 나타내는 장치의 동작에 대해서 설명한다.
블록 단위 특징량 추출 수단(1000)에서는, 입력되는 제1 영상의 각 프레임을 블록 단위로 분할하고, 각 블록으로부터 영상을 식별하기 위한 특징량을 산출한다. 구체적으로는, 블록 단위 특징량 추출 수단(1000)은 블록마다 에지의 타입을 판정하고, 그 타입을 각 블록의 특징량으로서 산출한다. 그리고, 블록 단위 특징량 추출 수단(1000)은 각 프레임에 대하여, 각 블록의 에지 타입으로 이루어지는 특징량 벡터를 구성한다. 블록 단위 특징량 추출 수단(1000)은 이 각 프레임의 특징량 벡터를 산출하고, 얻어진 특징량을 제1 특징량으로서 대조 수단(1030)에 출력한다.
블록 단위 특징량 추출 수단(1010)의 동작도 블록 단위 특징량 추출 수단(1000)과 마찬가지이다. 블록 단위 특징량 추출 수단(1010)은 입력되는 제2 영상으로부터 제2 특징량을 산출하고, 얻어진 제2 특징량을 대조 수단(1030)에 출력한다.
한편, 가중 계수 산출 수단(1020)에서는, 사전에 학습용 영상을 이용하여, 프레임 내의 각 블록에 있어서 캡션(caption)이 삽입되는 확률을 산출한다. 그리고, 가중 계수 산출 수단(1020)은 산출된 확률에 의거하여, 각 블록의 가중 계수를 산출한다. 구체적으로는, 캡션 중첩에 대한 로버스트성(robustness)을 높이기 위해, 캡션이 중첩되는 확률이 낮을수록 가중이 높아지도록 하여 가중 계수를 산출한다. 얻어진 가중 계수는 대조 수단(1030)에 출력된다.
대조 수단(1030)에서는, 가중 계수 산출 수단(1020)으로부터 출력되는 가중 계수를 이용하여, 블록 단위 특징량 추출 수단(1000)으로부터 출력되는 제1 특징량과 블록 단위 특징량 추출 수단(1010)으로부터 출력되는 제2 특징량을 대조한다. 구체적으로, 대조 수단(1030)은, 두 개의 프레임에서 동일한 위치에 있는 블록의 특징량을 비교하여, 동일하면 1, 그렇지 않으면 0으로 하여 블록 단위의 스코어를 산출한다. 대조 수단(1030)은, 얻어진 블록 단위의 스코어를 가중 계수를 이용하여 가중하여 합계하고, 프레임의 대조 스코어(프레임 단위의 유사도)를 산출한다. 대조 수단(1030)은, 이 프로세스를 각 프레임에 대하여 행하고, 제1 영상과 제2 영상간의 대조 결과를 산출한다.
이 프로세스를 통해, 캡션 중첩의 영향이 큰 곳의 영향을 억제하며 동화상의 대조를 행하는 것이 가능해져, 캡션 중첩이 있는 경우여도 높은 대조 정밀도를 달성할 수 있다.
또한, 블록 단위의 평균값이나 DCT 계수 등의 화상의 특징량과, 전후 프레임간에서 구한 움직임 벡터 정보를 이용하여, 동화상의 검색을 행하는 장치가 특허문헌 1에 기재되어 있다. 특허문헌 1에 기재된 동화상 검색 장치에서는, 우선, 입력된 화상으로부터 각 프레임의 휘도, 색차(color difference) 정보, 및 색 정보를 포함하는 물리적인 동화상 특징량 정보의 값, 그 평균값, 그 값의 합계값, 또는 그 값의 차분값 중 적어도 1개를 각 프레임에 대하여 추출한다. 다음으로, 추출한 값을 시간축상에 배열하고, 그 배열의 전부 또는 그 배열로부터 일정 간격 또는 불규칙 간격으로 추출한 값을 동화상 특징 정보로서 추출한다. 혹은, 프레임의 DCT 계수와 움직임 보상 정보를 압축된 동화상 데이터로부터 추출하여, DCT 계수의 평균값, 그 값의 합계값, 또는 그 값의 차분값를 구하고, 움직임 보상 정보로부터는 움직임 벡터, 전후 프레임간의 평균 움직임 벡터, 합계 움직임 벡터, 차분 벡터, 또는 프레임 전체로서의 움직임 벡터 등 중 적어도 1개를 구하는 것도 가능하다. 그리고, 구한 값을 시간축상에 배열하고, 그 배열의 전부 또는 그 배열로부터 일정 간격 또는 불규칙 간격으로 추출한 값을 동화상 특징 정보로서 추출한다.
일본국 특개2000-194727호 공보
Kota Iwamoto, Eiji Kasutani, Akio Yamada, "Image Signature Robust to Caption Superimposition for Video Sequence Identification", Proceedings of International Conference on Image Processing(ICIP2006), 2006 Eiji Kasutani, Ryoma Oami, Akio Yamada, Takami Sato, and Kyoji Hirata "Video Material Archive System for Efficient Video Editing Based on Media Identification", Proceedings of International Conference on Multimedia and Expo(ICME2004), pp.727-730, 2004.
상술한 기술의 문제점은, 시간적인 변화가 적은 씬(scene)에서의 시간 방향의 식별 정밀도를 높이는 것이 곤란한 점이다. 비특허문헌 1의 경우에는, 대조시의 가중을 캡션이 중첩되는 확률로 결정하고 있어, 시간적인 변화가 적은 씬의 대조에 맞춘 제어가 되어 있지 않다. 시간적인 변화가 적은 씬의 경우에는, 화면상의 대부분은 움직임이 없고, 국소적인 영역에만 움직임이나 휘도 변화 등의 화상의 변화가 생기고 있는 경우가 많다. 이와 같은 경우의 식별 정밀도를 향상시키기 위해서는, 블록 단위로 특징량을 추출하는 등, 보다 미세하게 특징량을 추출해 두면 되지만, 이와 같이 하면 특징량 사이즈가 커져 버린다는 문제가 있었다. 특허문헌 1의 경우도, 움직임 정보가 이용되고 있고, 그에 따라 특징량에서 움직임이 고려되고 있지만, 움직임 정보로부터 구하는 특징량과 휘도값 및 DCT 계수로부터 구하는 특징량을 서로 독립적으로 이용하고 있다. 따라서, 보다 미세한 레벨까지 추출하면, 비특허문헌 1에서와 마찬가지로, 특징량 사이즈가 커져 버린다는 마찬가지의 문제가 존재한다.
[발명의 목적]
본 발명의 목적은, 시간적인 변화가 적은 동화상으로부터 생성되는 영상 식별자의 낮은 식별 능력의 과제를 해결할 수 있는 영상 식별자 추출 장치를 제공하는 것에 있다.
본 발명의 한 형태에 따른 영상 식별자 추출 장치는, 입력되는 영상으로부터 프레임 또는 필드인 픽쳐별 특징량을 픽쳐별 시각 특징량으로서 추출하는 픽쳐별 특징량 추출 수단; 상기 영상으로부터 픽쳐 내의 미리 정해진 영역에 대하여, 시간 방향의 화상 변화를 해석하고, 화상 변화가 큰 영역을 구하고, 그 영역을 지정하는 정보인 변화 영역 정보를 생성하는 시간축 방향 변화 영역 추출 수단; 상기 변화 영역 정보에 대응하는 영역의 특징량을, 상기 영상으로부터 영역별 시각 특징량으로서 추출하는 영역별 특징량 추출 수단; 및 상기 픽쳐별 시각 특징량, 상기 영역별 시각 특징량, 및 상기 변화 영역 정보를 다중화하고, 영상 식별자를 생성하는 다중화 수단을 갖는다.
본 발명은 상술한 바와 같이 구성되어 있기 때문에, 시간적인 변화가 적은 씬이어도, 시간 방향의 식별 정밀도를 높일 수 있는 이로운 효과를 달성할 수 있다.
도 1은 본 발명에 따른 영상 식별자 추출 장치의 제1 실시형태의 영역도.
도 2는 시간축 방향 변화 영역 추출 수단(100)의 구성예를 나타내는 블록도.
도 3은 변화 영역 추출 수단(410)의 처리예를 설명하기 위한 도면.
도 4는 픽쳐 내의 미리 정해진 복수의 영역이 블록인 경우를 나타내는 도면.
도 5는 픽쳐 내의 미리 정해진 복수의 영역이 형상이 다른 국소 영역인 경우를 나타내는 도면.
도 6은 시간축 방향 변화 영역 추출 수단(100)의 다른 구성예를 나타내는 블록도.
도 7은 변화 영역 추출 수단(510)의 처리예를 설명하기 위한 도면.
도 8은 제1 실시형태의 영상 식별자 추출 장치에 의해 생성된 영상 식별자를 대조하는 영상 식별자 대조 장치의 구성예를 나타내는 블록도.
도 9는 2개의 영상의 대조 처리를 설명하기 위한 도면.
도 10은 영역 대조 수단(230)의 처리를 설명하기 위한 도면.
도 11은 본 발명에 따른 영상 식별자 추출 장치의 제2 실시형태를 나타내는 블록도.
도 12는 제2 실시형태의 영상 식별자 추출 장치에 의해 생성된 영상 식별자를 대조하는 영상 식별자 대조 장치의 구성예를 나타내는 블록도.
도 13은 특징량의 일례를 나타내는 도면.
도 14는 본 발명의 종래 기술을 설명하기 위한 블록도.
다음으로, 발명을 실시하기 위한 최량의 형태에 대해서 도면을 참조하여 상세하게 설명한다.
도 1을 참조하면, 본 발명의 제1 실시형태에 따른 영상 식별자 추출 장치가 나타나 있으며, 시간축 방향 변화 영역 추출 수단(100), 영역별 특징량 추출 수단(110), 픽쳐별 특징량 추출 수단(130), 및 다중화 수단(120)을 포함한다.
픽쳐별 특징량 추출 수단(130)은, 입력되는 영상으로부터 픽쳐별 특징량을 추출하고, 다중화 수단(120)에 출력한다. 시간축 방향 변화 영역 추출 수단(100)은, 영상으로부터 변화 영역 정보를 구하고, 영역별 특징량 추출 수단(110)과 다중화 수단(120)에 출력한다. 영역별 특징량 추출 수단(110)은, 시간축 방향 변화 영역 추출 수단(100)으로부터 출력되는 변화 영역 정보에 의거하여, 영상으로부터 영역별 시각 특징량을 추출하고, 다중화 수단(120)에 출력한다. 다중화 수단(120)은, 픽쳐별 특징량 추출 수단(130)으로부터 출력되는 픽쳐별 시각 특징량, 시간축 방향 변화 영역 추출 수단(100)으로부터 출력되는 변화 영역 정보, 및 영역별 특징량 추출 수단(110)으로부터 출력되는 영역별 시각 특징량을 다중화하여, 영상 식별자를 생성 및 출력한다.
또한, 본 실시형태의 영상 식별자 추출 장치는, 컴퓨터에 의해 실현 가능하며, 그 경우에는 예를 들면 다음과 같이 한다. 컴퓨터를 영상 식별자 추출 장치로서 기능시키기 위한 프로그램을 기록한 디스크 또는 반도체 메모리를 준비하고, 컴퓨터에 상기 프로그램을 판독시킨다. 컴퓨터는 판독한 프로그램을 따라 자신의 동작을 제어함으로써, 자(自)컴퓨터상에 시간축 방향 변화 영역 추출 수단(100), 영역별 특징량 추출 수단(110), 다중화 수단(120), 및 픽쳐별 특징량 추출 수단(130)을 실현한다.
다음으로, 도 1에 나타내는 제1 실시형태의 동작에 대해서 상세하게 설명한다.
우선, 영상은 픽쳐별 특징량 추출 수단(130)에 입력된다. 원래의 영상이 부호화되어 있는 경우에는, 복호기에 의해 복호되고 나서, 프레임 혹은 필드로 이루어지는 픽쳐 단위로 데이터가 입력된다.
픽쳐별 특징량 추출 수단(130)에서는, 픽쳐마다의 특징량 벡터를 산출한다. 픽쳐별 특징량 추출 수단(130)은 픽쳐를 1장의 정지 화상으로 간주하고, 이 픽쳐의 색, 패턴, 형태 등의 특징을 나타내는 시각 특징량의 벡터를 추출한다. 이 특징량으로서, 특징량 벡터의 각 차원에 대응하는 국소 영역 쌍에 대하여 영역간에 있어서의 특징량의 차를 산출하고(예를 들면, 영역 쌍의 각 영역에 대하여 영역 내에서의 화소값의 평균값을 구하고, 영역간에서 평균값의 차를 산출함), 차를 양자화(量子化)하여 얻어지는 양자화값을 각 차원의 값으로 하는 특징량 벡터를 이용해도 된다. 픽쳐마다 산출된 특징량 벡터는, 픽쳐별 시각 특징량으로서 다중화 수단(120)에 출력된다.
또한, 영상은 시간축 방향 변화 영역 추출 수단(100)에도 입력된다. 시간축 방향 변화 영역 추출 수단(100)에서는, 시간 방향의 화상의 변화량이 산출된다. 현재 대상 픽쳐와 그 전후의 픽쳐를 이용하여, 픽쳐 내의 미리 정해진 영역 각각의 변화량을 산출한다. 그리고, 화면 내에서 변화량이 상대적으로 큰 영역을 구한다. 여기에서, 변화량을 구하는 영역은 픽쳐를 분할함으로써 형성된다. 이 영역은 도 4에 나타내는 바와 같은 복수의 블록이어도 되고, 도 5에 나타내는 바와 같은 형상이 다른 복수의 국소 영역이어도 된다. 또한, 블록의 형상은 직사각형에 한정되는 것이 아니다. 시간 방향의 변화가 큰 영역일수록, 영상의 식별에 기여할 가능성이 높으므로, 변화량이 가장 큰 것을 첫째로 하여 순서대로 복수의 영역을 선택한다. 선택 방법으로서는, 내림차순으로 일정 개수의 영역을 선택해도 되고, 변화량이 문턱값 이상이 된 영역을 선택하도록 해도 된다. 변화량의 산출 방법의 상세에 대해서는 후술한다. 선택된 영역의 인덱스 정보 등의 선택된 영역을 특정하기 위한 정보를, 변화 영역 정보로서 출력한다. 예를 들면, 뉴스에서 아나운서가 말하고 있는 장면에서는, 아나운서의 얼굴 근처 이외는 거의 움직임이 없는 경우가 있다. 이와 같은 경우에는, 아나운서의 얼굴에 대응하는 영역만이 시간 방향의 변화가 화면 외의 영역에 비하여 상대적으로 커지기 때문에, 얼굴에 대응하는 영역을 지정하는 정보가 변화 영역 정보로서 출력된다.
또한, 변화 영역 정보는, 각 픽쳐에 대하여 산출하도록 되어 있어도 되고, 여러 픽쳐에 대하여 합쳐 산출하고, 출력하도록 되어 있어도 된다. 예를 들면, 쇼트(shot) 내에서 움직임이 있는 부분이 특정의 영역으로 한정되어 있는 경우에는, 그 쇼트 전체에 대하여 공통된 변화 영역 정보를 산출하고, 출력하도록 되어 있어도 된다. 보다 구체적으로는, 쇼트 내의 1장의 픽쳐에 대해 구한 변화 영역 정보를, 쇼트 내의 다른 픽쳐에 대해서도 사용하도록 되어 있어도 된다. 혹은, 쇼트 내의 전부 혹은 복수의 픽쳐에 대하여 시간축 방향 변화를 산출하고, 그 대표값(평균, 중앙값 등)을 이용하여, 쇼트 전체의 변화 영역 정보를 구하여 기술하도록 하고, 이를 쇼트 내의 모든 픽쳐에 대하여 사용하도록 되어 있어도 된다.
단, 변화 영역 정보를 출력하는 단위는 쇼트에 한하지 않고, 여러 픽쳐 등의 고정된 시간 간격으로도 출력되어도 된다. 혹은, 동일한 변화 영역 정보를 적용 가능한 시간 구간을 시간 방향의 변화량으로부터 산출하고, 그 시간 구간에 포함되는 픽쳐에 대하여 변화 영역 정보를 합쳐 산출하고, 출력하는 것도 가능하다. 이 경우, 합쳐지는 픽쳐수가 매회 변화하기 때문에, 그 픽쳐수도 함께 기술하도록 한다. 동일한 변화 영역 정보를 적용 가능한 시간 구간은, 시간 방향의 변화량의 픽쳐간에서의 변화를 문턱값 처리함으로써 산출할 수 있다. 즉, 시간 구간의 선두의 픽쳐에 있어서의 시간축 방향의 변화량과 현재의 픽쳐의 시간축 방향의 변화량을 비교하여, 그 변화의 정도가 문턱값을 상회할 경우에, 그 전의 픽쳐까지의 구간을 하나의 그룹으로 간주하고, 그 구간에 대한 변화 영역 정보를 산출하도록 한다. 상기 구간에 대한 변화 영역 정보는, 구간 내의 임의의 픽쳐의 변화 영역 정보 혹은 구간 내의 픽쳐의 변화 영역 정보의 대표값로 이용할 수 있다. 이와 같이 함으로써, 처리 대상 영상이 어떠한 것이어도, 시간 방향의 식별 정밀도를 높게 유지한 상태로 변화 영역 정보의 정보량을 삭감할 수 있다.
이와 같이 하여 산출된 변화 영역 정보는, 영역별 특징량 추출 수단(110)과 다중화 수단(120)에 출력된다.
영역별 특징량 추출 수단(110)에서는, 시간축 방향 변화 영역 추출 수단(100)으로부터 출력되는 변화 영역 정보에 의해 지정되는 영역에 대하여, 영역 단위의 특징량 추출을 행한다. 이 처리에서, 영역 단위의 특징량은, 픽쳐별 특징량 추출 수단(130)에서 산출하는 화면 전체의 특징량과 동일해도 되고, 달라도 된다. 예를 들면, 상술한, 특징량 벡터의 각 차원에 대응한 국소 영역 쌍에 대하여 영역간에 있어서의 특징량의 차를 산출하여 특징량 벡터의 각 차원의 값으로 이용하는 특징량을 이용해도 된다. 변화 영역 정보에 의해 지정된 영역의 특징량은, 영역별 시각 특징량으로서 다중화 수단(120)에 출력된다.
다중화 수단(120)에서는, 픽쳐별 특징량 추출 수단(130)으로부터 출력되는 픽쳐별 시각 특징량과, 영역별 특징량 추출 수단(110)으로부터 출력되는 영역별 시각 특징량과, 시간축 방향 변화 영역 추출 수단(100)으로부터 출력되는 변화 영역 정보를 다중화하여 영상 식별자를 생성하고 출력한다. 이 실시형태에서는, 이들 정보가 대조시에 분리 가능한 형태로 다중화하여 영상 식별자를 생성한다. 다중화의 방법으로서는, 픽쳐마다 3개의 정보를 인터리브(interleave)하여 다중화해도 되고, 픽쳐별 시각 특징량, 영역별 시각 특징량, 및 변화 영역 정보를 각각 별개로 합쳐, 마지막에 연결함으로써 다중화해도 되고, 혹은 미리 정해진 구간마다(예를 들면, 변화 영역 정보를 산출하는 시간 구간 단위마다) 픽쳐별 시각 특징량, 영역별 시각 특징량, 및 변화 영역 정보를 다중화하도록 되어 있어도 된다.
다음으로, 시간축 방향 변화 영역 추출 수단(100)의 실시형태에 대해서 도 2를 참조하여 서술한다.
도 2를 참조하면, 시간축 방향 변화 영역 추출 수단(100)의 실시형태가 나타나 있으며, 픽쳐간 차분 산출 수단(400)과 변화 영역 추출 수단(410)으로 이루어진다.
픽쳐간 차분 산출 수단(400)은, 입력되는 영상으로부터 픽쳐간 차분 정보를 산출하고, 변화 영역 추출 수단(410)에 출력한다. 변화 영역 추출 수단(410)은, 픽쳐간 차분 산출 수단(400)으로부터 출력되는 픽쳐간 차분 정보와 특징량 추출 파라미터(특징량의 각 차원 및 추출 대상 영역을 기술하는 정보)를 이용하여 변화 영역 정보를 산출하고, 출력한다.
다음으로, 도 2에 나타내는 시간축 방향 변화 영역 추출 수단(100)의 동작에 대해서 설명한다.
우선, 영상은 픽쳐간 차분 산출 수단(400)에 입력된다. 픽쳐간 차분 산출 수단(400)에서는, 픽쳐간에서 화소값의 차분을 구한다. 차분의 산출은, 화소 단위로 행해도 되고, 어느 정도의 화소를 합쳐 생기는 영역(예를 들면 블록) 단위로 차분을 산출하도록 해도 된다. 예를 들면, 각 영역에 대한 대표값(평균값, 중앙값 등)을 미리 구해두고, 픽쳐간에서 동일한 위치에 있는 영역의 대표값과 차분을 구하는 방법이어도 된다. 또한, 화소값간의 차분은, 휘도값끼리의 차여도 된다. 화소값으로서 R, G, B의 색성분을 이용하여, 그들 차분 중 적어도 1개 산출하여, 화소값의 차분으로 해도 된다. 물론, 색공간은 RGB가 아니라, HSV나 L*a*b* 등, 임의의 색공간일 수 있다. 또한, 차분으로서는, 단순히 화소값을 빼는 것뿐만 아니라, 절대값 연산을 행하여, 차분의 절대값을 구하는 것도 가능하다. 산출된 픽쳐간의 차분 데이터는, 픽쳐간 차분 정보로서 변화 영역 추출 수단(410)에 출력된다.
변화 영역 추출 수단(410)에서는, 픽쳐간 차분 정보로부터, 각 영역에 있어서의 차분 정보를 산출한다. 이를 위해, 우선, 처리 대상 픽쳐에 있어서, 움직이고 있는 물체에 대응하는 영역에 있어서 커지는 값을 산출한다. 이는, 이를 처리 대상 픽쳐와 이전 픽쳐간의 차분과, 처리 대상 픽쳐와 이후 픽쳐간의 차분값의 적(product)을 취함으로써 얻어진다.
이를 도면으로 나타낸 것이 도 3이다. 도 3에서, T 픽쳐는 처리 대상 픽쳐이며, T-1 픽쳐, T+1 픽쳐는, 각각 처리 대상 픽쳐의 이전, 이후의 픽쳐를 나타내고 있다. 이들 픽쳐에서는, 장방형의 사선 오브젝트는 정지해 있으며, 둥근 흑색의 오브젝트만이 움직이고 있는 것으로 한다. 이 경우, 상술한 픽쳐간 차분 산출 수단(400)에 있어서, 처리 대상인 T 픽쳐와 이전의 T-1 픽쳐간에서 차분이 산출되어 있다. 이 경우, 도 3에 나타내는 바와 같이, 둥근 오브젝트의 움직임에 의해 생긴 차분만이 나온다. 단, 차분값 자체는, T 픽쳐에 있어서의 둥근 오브젝트의 위치, 및 T-1 픽쳐에 있어서의 동(同)오브젝트의 위치의 양쪽에서 큰 값이 되는 경향이 있다. 마찬가지로, 이후의 T+1 픽쳐와 T 픽쳐의 차분은, T 픽쳐에 있어서의 둥근 오브젝트의 위치, 및 T+1 픽쳐에 있어서의 둥근 오브젝트의 위치에서 커진다. 그래서, 양차분 화상의 적을 산출한다. 양쪽의 차분 화상에 있어서 모두 차분값이 커지는 것은, T 픽쳐에 있어서의 둥근 오브젝트의 위치뿐이기 때문에, 이에 따라 T 픽쳐에서의 움직이는 오브젝트 영역의 차분만을 크게 할 수 있다. 이 실시형태에서는, 처리 대상의 픽쳐의 이전 및 이후의 픽쳐를 이용하여 산출하는 방법에 대해서 서술했지만, 여러 픽쳐 전, 여러 픽쳐 후의 픽쳐를 이용해도 마찬가지로 산출 가능하다. 즉, T-m 픽쳐 및 T+n 픽쳐를 이용하여, 마찬가지로 하여 움직이는 오브젝트 영역의 차분만을 크게 할 수 있다. 이와 같이 하여 얻어진 결과를, 영역마다 집계함으로써 영역 내의 변화량을 산출한다.
보다 구체적으로는, 다음 식 1에 따라 영역 내의 변화량을 계산한다.
[식 1]
Figure 112011053584911-pct00001
식 1에서, fT(x)는 T 픽쳐의 위치 x에 있어서의 화소값, R(i)는 i번째 영역(화소의 집합), w(i)는 i번째 영역의 변화량을 나타낸다. 이 실시형태에서는, 단순히 영역 내에서의 가산을 이용했지만, 영역 내에서의 평균을 취해도 되고, 자승하여 가산해도 되며, 중앙값이나 최대값 등, 다른 통계량을 이용하여 영역의 변화량을 구하도록 해도 된다. 또한, 영역 내의 모든 화소의 값을 이용하지 않고 변화량을 산출하는 것도 가능하다. 예를 들면, 1화소 걸러서 변화량을 산출하도록 해도 된다.
이와 같이 하여 산출한 각 영역에 대한 변화량에 의거하여, 변화량이 큰 영역을 구한다. 구체적으로는, 변화량이 일정한 문턱값을 초과하고 있는 영역을 산출하거나, 혹은, 변화량 내림 차순으로 일정 개수의 영역을 선택하도록 해도 된다. 그리고, 선택된 영역을 기술하는 정보(예를 들면, 영역의 인덱스 등)를 변화 영역 정보로서 출력한다. 예를 들면, 픽쳐상에 정해진 영역이, 도 4에 나타낸 바와 같이 화면을 16분할함으로써 얻어지는 블록이며, 사선을 그은 블록에서 변화량이 커지고, 그 블록의 인덱스 6, 10, 및 12를 변화 영역 정보로서 출력한다. 또한, 예를 들면, 픽쳐상에 정해진 영역이, 도 5에 나타내는 바와 같은 임의 형상의 복수의 국소 영역이며, 사선을 그은 국소 영역에서 변화량이 커진 경우에는, 그 국소 영역의 인덱스 2를 변화 영역 정보로서 출력한다.
또한, 변화 영역 정보는, 모든 픽쳐에 대하여 산출될 필요는 없고, 1픽쳐 걸러서 산출하도록 해도 된다. 이 경우에, 복수 픽쳐에서 산출된 영역의 변화량을 합계하여, 그 여러 픽쳐에 대응하는 변화 영역 정보를 구하는 것도 가능하다.
또한, 화상 전체에서의 특징량이 시간적으로 크게 변화하는 경우에는, 영역 단위의 특징량이 없어도 충분히 대조 가능하기 때문에, 이와 같은 영상 또는 영상 구간에 대해서는, 영역(블록 혹은 국소 영역)에 대한 특징량을 산출할 필요는 없다. 예를 들면, 시간축 방향의 변화량이 작은 영역의 수가 일정 문턱값 이하일 경우에는, 블록 혹은 국소 영역에 대한 특징량을 산출하지 않도록 한다. 구체적으로는, 변화 영역 정보로서는 아무것도 출력하지 않거나, 혹은 특징량 추출 대상 영역이 없음을 나타내는 정보를 포함하도록 한다.
이에 따라, 지나치게 영역 특징량을 산출하여 영상 특징의 사이즈가 불필요하게 커지는 것을 방지하여, 필요한 부분으로부터만 특징량을 산출할 수 있다.
도 2에 나타내는 시간축 방향 변화 영역 추출 수단(100)은, 기본적으로는 단순히 픽쳐간에서의 차분을 취하면 되기 때문에, 처리 부하가 작게 억제된다는 특징이 있다.
다음으로, 시간축 방향 변화 영역 추출 수단(100)의 다른 실시형태에 대해서 도 6을 참조하여 서술한다.
도 6을 참조하면, 시간축 방향 변화 영역 추출 수단(100)의 다른 실시형태가 나타나 있으며, 움직임 정보 산출 수단(500) 및 변화 영역 추출 수단(510)으로 이루어진다.
움직임 정보 산출 수단(500)은, 영상을 입력하고, 움직임 벡터를 산출하여 움직임 벡터 정보를 변화 영역 추출 수단(510)에 출력한다. 변화 영역 추출 수단(510)은, 움직임 정보 산출 수단(500)으로부터 출력되는 움직임 벡터 정보와 특징량 추출 파라미터를 이용하여 변화 영역 정보를 산출하고, 출력한다.
다음으로, 도 6에 나타내는 시간축 방향 변화 영역 추출 수단(100)의 동작에 대해서 설명한다.
우선, 영상은 움직임 정보 산출 수단(500)에 입력된다. 움직임 정보 산출 수단(500)에서는, 현재의 대상 픽쳐와 이전(또는 이후)의 픽쳐간에서 움직임 추정을 행하여, 움직임 벡터를 산출한다. 움직임 벡터의 산출 방법으로서는, 종래의 구배법(勾配法)에 의거하는 방법이나, 블록 매칭법에 의거하는 방법 등을 포함하는 임의의 벡터 추정법을 이용할 수 있다. 또한, 움직임은 화소 단위로 산출하도록 해도 되고, 또는 화상을 복수의 소영역으로 분할하여, 그 소영역 단위로 움직임을 구하도록 해도 된다. 이와 같이 하여 산출된 움직임 벡터의 자리를 기술하는 정보는, 움직임 벡터 정보로서 출력된다. 움직임 벡터 정보는, 픽쳐 내에서 산출된 개개의 움직임 벡터를 그대로 기술하는 정보여도 되고, 0 이외의 움직임 벡터가 산출된 영역만의 움직임을, 영역을 특정하는 정보와 함께 기술하는 정보여도 된다. 산출된 움직임 벡터 기술 정보는 변화 영역 추출 수단(510)에 출력된다.
변화 영역 추출 수단(510)에서는, 산출된 움직임 벡터를 영역마다 집계하고, 영역 내에서의 움직임량을 산출한다.
이를 도시한 것이 도 7이다. 도 7에서는, T 픽쳐와 T-1 픽쳐의 모습을 나타내고 있다. 이에 대하여, 움직임 추정 처리를 행함으로써, 둥근 오브젝트의 움직임에 상당하는 부분에서 움직임 벡터가 산출된다. 이 예에서는, 바로 전의 픽쳐를 이용할 경우에 대해서 기재했지만, 여러 픽쳐 전, 혹은 여러 픽쳐 후의 픽쳐를 이용하여 움직임 추정 처리를 행하는 것도 가능하다. 또한, 2장의 픽쳐뿐만 아니라, 여러장의 픽쳐를 이용하여 움직임 추정 처리를 행하는 것도 가능하다. 이 경우도 마찬가지로, 움직임이 있는 부분에서 움직임 픽쳐가 산출된다. 따라서, 이러한 움직임 벡터를 이용하여, 각 영역 내에서의 움직임량을 산출한다. 예를 들면, 영역 내에서 움직임 벡터의 길이의 합계를 산출하며, 이를 수식으로 나타낸 것이 식 2이다.
[식 2]
Figure 112011053584911-pct00002
식 2에서, v(x)는 x에서의 움직임 벡터를 나타내고 있다. 그 이외의 기호에 대해서는, 식 1과 마찬가지이다. 또한, 여기에서는 단순히 영역 내에서의 가산을 이용했지만, 영역 내에서의 평균을 구해도 되고, 자승하여 가산해도 되며, 중앙값이나 최대값 등, 다른 통계량을 이용하여 영역의 대표적인 움직임량을 구하는 것도 가능하다. 또한, 영역 내의 모든 움직임 벡터를 이용하지 않고 움직임량을 구해도 된다. 예를 들면, 적당히 솎아내어 움직임량을 산출할 수 있다.
도 6에 나타내는 시간축 방향 변화 영역 추출 수단(100)은, 움직임을 산출하기 위해, 일반적으로는 도 2에 나타내는 경우와 비교하여 처리량은 증가한다. 그러나, 실제의 움직임을 산출하기 때문에, 도 2에 나타내는 경우에 비하여, 시간 방향으로 움직임이 있는 영역을 정밀도 좋게 구하는 것이 가능해진다.
다음으로, 본 발명의 영상 식별자 대조 장치의 실시형태에 대해서 설명한다.
도 8을 참조하면, 본 발명의 영상 식별자 대조 장치의 실시형태가 나타나 있으며, 다중 분리 수단(200), 다른 다중 분리 수단(210), 픽쳐 대조 수단(220), 영역 대조 수단(230), 및 대조 결과 판정 수단(240)으로 이루어진다. 또한, 본 실시형태의 영상 식별자 대조 장치는, 프로그램 제어 가능한 컴퓨터에 의해 실현 가능하다.
다중 분리 수단(200)은, 입력되는 제1 영상 식별자를 다중 분리하고, 제1 픽쳐별 시각 특징량을 픽쳐 대조 수단(220)에 출력하며, 제1 영역별 시각 특징량 및 제1 변화 영역 정보를 영역 대조 수단(230)에 출력한다. 다중 분리 수단(210)도 마찬가지로, 입력되는 제2 영상 식별자를 다중 분리하고, 제2 픽쳐별 시각 특징량을 픽쳐 대조 수단(220)에 출력하며, 제2 영역별 시각 특징량 및 제2 변화 영역 정보를 영역 대조 수단(230)에 출력한다. 픽쳐 대조 수단(220)은, 다중 분리 수단(200)으로부터 출력되는 제1 픽쳐별 시각 특징량과 다중 분리 수단(210)으로부터 출력되는 제2 픽쳐별 시각 특징량을 대조하고, 픽쳐 대조 결과를 대조 결과 판정 수단(240)에 출력함과 함께, 영역 대조 실행 정보를 영역 대조 수단(230)에 출력한다. 영역 대조 수단(230)은, 픽쳐 대조 수단(220)으로부터 출력되는 영역 대조 실행 정보, 다중 분리 수단(200)으로부터 출력되는 제1 변화 영역 정보, 및 다중 분리 수단(210)으로부터 출력되는 제2 변화 영역 정보에 의거하여, 다중 분리 수단(200)으로부터 출력되는 제1 영역별 시각 특징량과 다중 분리 수단(210)으로부터 출력되는 제2 영역별 시각 특징량을 대조하고, 영역 대조 결과를 대조 결과 판정 수단(240)에 출력한다. 대조 결과 판정 수단(240)은, 픽쳐 대조 수단(220)으로부터 출력되는 픽쳐 대조 결과 및 영역 대조 수단(230)으로부터 출력되는 영역 대조 결과로부터 대조 결과를 산출하고, 출력한다.
다음으로, 도 8에 나타내는 본 발명에 따른 영상 식별자 대조 장치의 실시형태의 동작에 대해서 설명한다.
제1 영상 식별자는 다중 분리 수단(200)에 입력된다. 다중 분리 수단(200)에서는, 제1 영상 식별자로부터 제1 픽쳐별 시각 특징량, 제1 영역별 시각 특징량, 및 제1 변화 영역 정보를 분리한다. 이 처리에서, 다중화 수단(120)에 의해 다중화시에 이용한 방법에 대응하는 분리 방법에 의해 분리한다. 분리에 의해 생긴 제1 픽쳐별 시각 특징량은 픽쳐 대조 수단(220)에 출력되고, 제1 영역별 특징량 및 제1 변화 영역 정보는 영역 대조 수단(230)에 출력된다.
제2 영상 식별자는 다중 분리 수단(210)에 입력된다. 다중 분리 수단(210)의 동작은 다중 분리 수단(200)과 마찬가지이며, 분리에 의해 생긴 제2 픽쳐별 시각 특징량은 픽쳐 대조 수단(220)에 출력되고, 제2 영역별 특징량 및 제2 변화 영역 정보는 영역 대조 수단(230)에 출력된다.
픽쳐 대조 수단(220)에서는, 다중 분리 수단(200)으로부터 출력되는 제1 픽쳐별 시각 특징량과 다중 분리 수단(210)으로부터 출력되는 제2 픽쳐별 시각 특징량을 대조한다. 양쪽 특징량은 그 유사성을 나타내는 유사도에 의해 비교해도 되고, 양쪽 특징량의 차이의 정도를 나타내는 거리에 의해 비교해도 된다. 거리를 이용하여 비교할 경우에는, 식 3에 의거하여 비교한다.
[식 3]
Figure 112011053584911-pct00003
여기에서, N은 특징량의 차원수이며, v1(i) 및 v2(i)는 각각, 제1 및 제2 픽쳐별 시각 특징량의 i번째 차원의 값을 나타내고 있다. 이 비교를 픽쳐 단위로 행하고 합계함으로써, 제1 영상과 제2 영상의 일정 구간의 대조를 행한다. 예를 들면, 픽쳐 단위의 비교에 의해 거리의 값이 문턱값 이내가 되는 픽쳐 쌍의 수를 구하여, 그 값이 구간에 포함되는 픽쳐수에 비하여 충분히 클 때에, 양쪽 영상을 동일 구간이라고 판정하고, 그렇지 않으면, 양쪽 영상을 동일 구간이 아니라고 판정한다. 이 처리를 제1 영상과 제2 영상의 임의의 구간의 대조에 대하여 행함으로써, 이들 영상간에 포함되는 임의의 길이의 동일 구간을 모두 판정할 수 있다. 또한, 픽쳐 단위로 거리를 문턱값 처리하는 대신에, 거리를 구간 내에서 합계한 값이, 미리 정한 문턱값보다 작은지의 여부에 따라 판정할 수도 있다. 물론, 합계값 대신에 평균값을 구해도 된다. 혹은, 이상값(outlier)을 제외하여 구간 내에서 대조하도록 되어 있어도 된다. 예를 들면, 평균값 대신에 중앙값이나 M 추정의 결과를 이용함으로써 이와 같은 대조를 행할 수 있다.
임의의 길이의 구간의 비교법으로서는, 비특허문헌 2에 기재된 대조 방법을 이용할 수도 있다. 도 9에 나타내는 바와 같이, 영상간에서의 대조에 길이 L 픽쳐의 대조창을 설치하고, 이 창을 제1 영상, 제2 영상에서 각각 슬라이드시켜, 양자를 비교한다. 만일, 대조창 내의 구간끼리가 동일 구간이라고 판정된 경우에는, p 픽쳐 길이만큼 대조창을 늘려, 대조 처리를 계속한다. 양쪽이 동일 구간이라고 판정되는 한에서는, p 픽쳐만큼 창을 늘리는 처리를 반복하여, 최대 길이의 동일 구간을 구한다. 이와 같이 함으로써, 대조한 구간 중, 최대 길이의 동일 구간을 효율적으로 구할 수 있다.
또한, 상기의 설명에서는 거리를 척도로서 이용할 경우에 대해서 기재했지만, 유사도를 이용해도 마찬가지로 대조 가능하다. 그 경우에, 구체적으로는, 식 4에 의해 산출되는 유사도 S에 의거하여 비교한다.
[식 4]
Figure 112011053584911-pct00004
여기에서, Sim(x,y)은 x와 y의 근접성을 나타내는 함수이며, x와 y의 값이 유사할수록 큰 값이 된다. 예를 들면, x와 y 사이의 거리를 d(x,y)라고 하면, 식 5에 나타낸 함수를 이용할 수 있다.
[식 5]
Figure 112011053584911-pct00005
혹은, Sim(x,y)은 크로네커 델타(Kronecker delta)와 같이, x와 y가 일치했을 때에만 1, 그 이외는 0이 되는 함수여도 된다. 혹은, 유사도로서 특징 벡터간의 각도(코사인값)를 이용할 경우에는, 식 6에 의해 산출되는 유사도 S에 의거하여 비교한다.
[식 6]
Figure 112011053584911-pct00006
이와 같이 하여 구한 유사도를 이용하여, 거리의 경우와 마찬가지로 하여 대조를 행하는 것이 가능하다.
그리고 대조 결과를 대조 결과 판정 수단(240)에 출력한다. 대조 결과로서는, 일치하는 구간의 픽쳐 번호 및 시각 정보 등의 일치하는 구간을 특정하는 정보가 포함된다. 한편, 일치하는 구간이 존재하지 않을 경우에는, 그러한 사실을 나타내는 정보가 포함된다. 대조 결과에 아무것도 포함되지 않는 경우가 일치하는 구간이 존재하지 않는 경우에 대응하는 것도 가능하다.
이와 같이 하여 대조했을 때, 시간 방향으로 움직임이 적은 영상 구간에서는, 1개의 구간뿐만 아니라, 다른쪽 영상의 복수의 구간(일련의 구간 중의 임의의 부분 구간과 매치하는 경우도 포함)에 대응할 경우가 존재한다. 구간이 1개의 구간에 대응할 경우여도, 다른 후보 구간과의 거리값, 혹은 유사도에 그만큼 큰 차가 없어, 실질적으로 복수의 일치 후보 구간이 존재할 경우도 있다. 이와 같은 경우에는, 픽쳐마다의 대조로는 충분한 대조를 할 수 없었기 때문에, 영역 대조의 실행을 통지하는, 영역 대조 실행 정보를 영역 대조 수단(230)에 출력한다. 반대로, 일치한다고 판정할 수 있는 구간이 없는 경우나, 일치한다고 판정한 구간의 거리값 또는 유사도와, 다른 후보 구간의 거리값 또는 유사도간에 큰 차가 있을 경우에는, 영역마다의 대조는 불필요하다고 판정되어, 영역 대조 실행 정보는 출력되지 않는다.
한편, 영역 대조 수단(230)에서는, 다중 분리 수단(200)으로부터 출력되는 제1 변화 영역 정보 및 다중 분리 수단(210)으로부터 출력되는 제2 변화 영역 정보에 의거하여, 다중 분리 수단(200)으로부터 출력되는 제1 영역별 시각 특징량과 다중 분리 수단(210)으로부터 출력되는 제2 영역별 시각 특징량을 대조한다. 단, 이 대조는, 픽쳐 대조 수단(220)으로부터 출력되는 영역 대조 실행 정보에 따라 행해진다. 이는, 영역 대조 실행 정보가 출력되지 않을 경우에는 대조는 행하지 않고, 영역 대조 결과를 출력하지 않음을 의미한다. 영역 대조 실행 정보가 출력된 경우에는, 영역 대조를 행한다. 영역 대조 실행 정보에는, 대상 영상 구간을 특정하는 정보, 즉 픽쳐 대조에 있어서 좁힐 수 없는 대상 구간의 정보도 포함되는 것으로 하고, 이 구간에 대하여 영역 대조를 행한다.
대조가 행해질 경우에는, 우선 변화 영역 정보를 비교하여, 동일한 위치에 있는 영역이 존재하는지의 여부를 체크한다. 만일, 동일한 위치에 있는 영역이 존재하지 않는 경우에는, 영역 대조는 행하지 않는다. 한편, 동일한 위치에 있는 영역이 적어도 1개 존재할 경우에는, 그 영역에 대하여 영역별 대조를 행한다. 영역 단위에서의 대조의 방법은, 화면 전체에 대하여 대조를 행하는 경우와 마찬가지이다. 즉, 특징량간의 거리를 산출하여, 그것이 일정한 문턱값보다 크지 않을 경우에, 영역이 서로 일치한다고 판정한다. 혹은, 거리 대신에 특징량간의 유사도를 이용하여, 유사도가 일정한 문턱값보다 큰 경우에 서로 일치한다고 판정할 수 있다. 동일한 위치에 있는 영역이 복수 존재할 경우에는, 그들 모든 영역에 대하여 개별적으로 대조를 행한다. 예를 들면, 한쪽 영상의 변화 영역 정보가 도 4의 블록을 지정하고, 다른쪽 영상의 변화 영역 정보는 도 10의 블록을 지정하고 있는 경우, 인덱스가 6 및 10인 블록은 양자에서 위치가 일치해 있다. 따라서, 이 경우에는, 블록 6 및 10에 대하여 대조를 행하고, 서로 일치하는지의 여부를 판정한다.
픽쳐끼리의 대조의 경우와 마찬가지로, 일정한 구간에 포함되는 픽쳐에 대한 영역에서 상술한 대조 처리를 행하고, 그 구간이 서로 일치하는지를 구한다. 이 처리에서, 변화 영역 정보의 불일치에 의해 대조할 수 없는 픽쳐가 존재할 경우가 있지만, 이와 같은 픽쳐는 평가로부터 제외하여 영역간 대조를 행한다. 예를 들면, T 픽쳐, T+1 픽쳐, T+2 픽쳐 중, T와 T+2 픽쳐간에서는 대조할 수 있었지만, T+1 픽쳐에서는 할 수 없었던 경우에, T와 T+2 픽쳐로부터 구한 결과만을 이용하여 판정에 이용한다.
그리고, 영역 대조 처리에 있어서, 일치한다고 판정된 구간을 포함하는 대조 결과를 영역 대조 결과로서 대조 결과 판정 수단(240)에 출력한다.
대조 결과 판정 수단(240)에서는, 픽쳐 대조 수단(220)으로부터 출력되는 픽쳐 대조 결과 및 영역 대조 수단(230)에 출력되는 영역 대조 결과에 의거하여, 최종적인 대조 결과를 판정하고 출력한다. 픽쳐 대조 결과만이 존재할 경우에는 픽쳐 대조 결과로부터 판정한다. 픽쳐 대조 결과 및 영역 대조 결과가 모두 존재할 경우에는, 양자를 비교하여, 픽쳐 대조 결과와 영역 대조 결과 모두에 포함되는 일치 구간을 출력한다. 영역 대조 결과가 변화 영역 정보의 불일치에 의한 미(未)대조로 인해 대조 구간을 포함하지 않을 경우에는, 픽쳐 대조 결과를 그대로 출력한다.
이상이 본 발명에 따른 영상 식별자 대조 장치의 실시형태의 설명이다.
[제1 실시형태의 효과]
본 실시형태에 따르면, 화면 전체로서는 시간 방향의 변화가 부족하여, 정확한 시간 방향의 위치 대조가 곤란한 경우여도, 영상 식별자의 사이즈를 억제하도록, 국소적인 변화 정보를 구하고, 그것을 콤팩트하게 기술함으로써, 시간 방향의 대조 정밀도를 향상할 수 있다. 즉, 시간적인 변화가 적은 씬의 경우에도, 움직임이나 휘도 변화 등의 화상의 변화가 생기고 있는 영역에서는 특징량을 별도 산출하기 때문에, 움직임이 있는 영역을 이용하여 신뢰도가 높은 대조를 행하는 것이 가능해진다.
또한, 본 실시형태에서는, 변화 영역 정보가 산출되는 픽쳐와 그 전후의 픽쳐 사이에서 픽쳐간 화소값 차분을 산출하고, 상기 픽쳐간 화소값 차분에 의거하여, 변화 영역 정보를 산출하도록 하고 있으므로, 변화 영역 정보를 산출하기 위한 처리 부하를 작게 할 수 있다.
또한, 본 실시형태에서는, 변화 영역 정보가 산출되는 픽쳐와 그 전후의 픽쳐 사이에서 움직임 추정 처리를 행하고, 추정된 움직임의 크기의 정도에 의거하여, 상기 변화 영역 정보를 산출하도록 하고 있으므로, 시간 방향으로 움직임이 있는 영역을 정밀도 좋게 구하는 것이 가능해진다.
다음으로, 본원 발명의 제2 실시형태에 대해서, 도면을 참조하여 설명한다.
도 11을 참조하면, 본 발명의 제2 실시형태에 따른 영상 식별자 추출 장치가 나타나 있으며, 시간축 방향 변화 영역 추출 수단(100), 영역별 특징량 추출 수단(110), 픽쳐별 특징량 추출 수단(630), 다중화 수단(620), 및 대조 가중 정보 추출 수단(610)으로 이루어진다.
시간축 방향 변화 영역 추출 수단(100)과 영역별 특징량 추출 수단(110)의 접속 관계는 도 1의 경우와 마찬가지이다. 픽쳐별 특징량 추출 수단(630)은, 영상과 특징량 추출 파라미터를 수신하고, 픽쳐별 시각 특징량을 다중화 수단(620)에 출력한다. 대조 가중 정보 추출 수단(610)은, 영상 및 특징량 추출 파라미터를 수신하고, 대조 가중 정보를 다중화 수단(620)에 출력한다. 다중화 수단(620)은, 시간축 방향 변화 영역 추출 수단(100)으로부터 출력되는 변화 영역 정보, 영역별 특징량 추출 수단(110)으로부터 출력되는 영역별 시각 특징량, 픽쳐별 특징량 추출 수단(130)으로부터 출력되는 픽쳐별 시각 특징량, 및 대조 가중 정보 추출 수단(610)으로부터 출력되는 대조 가중 정보를 입력수신하고, 다중화한 결과를 영상 식별자로서 출력한다. 또한, 본 실시형태의 영상 식별자 추출 장치는 프로그램 제어 가능한 컴퓨터에 의해 실현 가능하다.
다음으로, 도 11에 나타내는 제2 실시형태의 동작에 대해서 상세하게 설명한다.
시간축 방향 변화 영역 추출 수단(100)의 동작 및 영역별 특징량 추출 수단(110)의 동작은 도 1의 경우와 마찬가지이다.
픽쳐별 특징량 추출 수단(630)의 동작도, 특징량 추출 파라미터에 따라 픽쳐마다의 특징량을 추출하는 것을 제외하면, 픽쳐별 특징량 추출 수단(130)의 동작과 마찬가지이다. 단, 시각 특징량은, 화면 전체를 변환함으로써 얻어지는 특징량이 아니라, 화면 내의 부분 영역으로부터 산출되는 특징량으로 한다. 즉, 특징량 벡터의 각 차원은, 특징량 추출 파라미터에 의해 화면 내의 특정의 영역과 대응되며, 그 영역으로부터 추출된 특징량의 값이 저장되는 것으로 한다. 예를 들면, 특징량 벡터의 각 차원을, 화면을 블록으로 분할했을 때의 개개의 블록으로부터 추출되는 특징량으로 한다. 미리 정해진 임의 형상의 영역으로부터 특징량의 각 차원의 값을 구하도록 해도 된다. 특징량의 각 차원에 대하여 추출 대상이 되는 영역을 기술하는 정보를 특징량 파라미터라고 하기로 한다. 구체적으로는, 특징량 벡터의 각 차원이 화면 내의 특정의 블록으로부터 추출되는 특징량일 경우에는, 그 특징량을 추출하는 특정 블록을 기술하는 정보(블록의 좌표값, 블록의 인덱스 번호 등)가 특징량 파라미터가 된다. 혹은, 다양한 형상의 국소 영역이 특징량 벡터의 각 차원에 대응할 경우에는, 그 국소 영역을 기술하는 정보(국소 영역의 위치, 사이즈, 및 형상을 나타내는 정보)가 특징량 파라미터가 된다.
대조 가중 정보 추출 수단(610)에서는, 특징량 추출 파라미터에 의해 특징량의 각 차원에 대응하는 영역에 있어서의, 시간 방향의 화상의 변화량을 산출하고, 변화량에 따라 대조시에 이용되는 각 차원의 가중 계수를 결정하며, 가중 계수를 기술하는 정보를 대조 가중 정보로서 출력한다.
이것은, 우선 현재 대상 픽쳐와 그 전후의 픽쳐를 이용하여, 영역마다 변화량을 산출함을 의미한다. 이 변화량은, 도 3에 나타내는 방법에 의해 산출되는 화상의 시간 방향의 변화량이어도 되고, 또는 도 7에 나타내는 방법에 의해 산출되는 움직임량이어도 된다.
다음으로, 각 차원에 대하여 산출된 시간 방향의 변화량에 따라, 대조에 이용되는 특징량의 각 차원의 가중의 정도를 기술하는 정보를 결정한다. 시간 방향의 변화가 큰 영역일수록, 영상의 식별에 기여할 가능성이 높으므로, 변화가 클수록 중요하다고 간주되는 가중을 행한다. 예를 들면, 시간 방향의 변화량에 대하여 단조(單調) 증가하는 함수에 의해 가중의 정도를 결정할 수 있다. 대조 가중 정보로서는, 가중의 정도를 결정하는 계수 그 자체여도 되고, 가중의 정도를 낮은 것부터 높은 것으로 나누어 이루어지는 등급 중에서, 이 등급을 지정하는 인덱스의 정보여도 된다. 예를 들면, 뉴스 프로그램에서 아나운서가 말하고 있는 장면에서는, 아나운서의 얼굴 근처 이외는 거의 움직임이 없는 경우가 있다. 이와 같은 경우에는, 아나운서의 얼굴에 대응하는 영역의 차원의 시간 방향의 변화가 화면 외의 영역에 비하여 상대적으로 커지기 때문에, 얼굴의 영역(특히, 입 및 눈에 대응하는 영역)에 대응하는 특징량의 차원의 가중이 높아지는 대조 가중 정보가 산출된다.
대조 가중 정보는, 각 픽쳐에 대하여 산출하도록 되어 있어도 되고, 또는 여러 픽쳐 합쳐 산출하고 출력하도록 되어 있어도 된다. 예를 들면, 쇼트 내에서 움직임이 있는 부분이 특정의 영역으로 한정되어 있을 경우에는, 그 쇼트 전체에 대하여 대조 가중 정보를 산출하고, 출력하는 것이 가능하다. 보다 구체적으로는, 쇼트 내의 하나의 픽쳐에 대하여 구한 대조 가중 정보를, 쇼트 내의 다른 픽쳐에 대해서도 사용하는 것이 가능하다. 이와 같이 함으로써, 대조 가중 정보를 구할 때의 계산량을 삭감할 수 있음과 함께, 영상 식별자의 정보량을 삭감할 수 있다. 혹은, 쇼트 내의 전부 혹은 복수의 픽쳐에 대하여 대조 가중 정보를 산출하고, 그 대표값(평균값, 중앙값 등)을 이용하여, 쇼트 전체의 대조 가중을 기술하도록 하여, 이를 쇼트 내의 모든 픽쳐에 대하여 사용할 수 있다. 이와 같이 함으로써, 영상 식별자의 정보량을 삭감할 수 있다.
단, 대조 가중 정보를 출력하는 단위는 쇼트에 한하지 않고, 여러 픽쳐 간격 등, 고정된 시간 간격이어도 된다. 혹은, 동일한 대조 가중 정보가 적용 가능한 시간 구간을 시간 방향 변동 정보로부터 산출하고, 그 시간 구간에 포함되는 픽쳐에 대하여 대조 가중 정보를 합쳐 산출하고 출력할 수 있다. 이 경우, 합쳐지는 픽쳐수가 매회 변화하기 때문에, 그 픽쳐수도 함께 기술하도록 한다. 동일한 대조 가중 정보를 적용 가능한 시간 구간의 산출은, 시간 방향 변동 정보의 픽쳐간에서의 변화를 문턱값 처리함으로써 산출할 수 있다. 즉, 시간 구간의 선두의 픽쳐에 있어서의 시간 방향 변동 정보와 현재의 픽쳐의 시간 방향 변동 정보를 비교하여, 그 변화의 정도가 문턱값을 상회하는 경우에, 그 전의 픽쳐까지의 구간을 하나의 통합으로 간주하고, 그 구간에 대한 대조 가중 정보를 산출하도록 한다. 상기 구간에 대한 대조 가중 정보는, 구간 내의 임의의 픽쳐의 대조 가중 정보 혹은 구간 내의 픽쳐의 대조 가중 정보의 대표값으로 이용할 수 있다. 이와 같이 함으로써, 처리 대상 영상이 어떠한 것이어도, 시간 방향의 식별 정밀도를 높게 유지한 상태로 대조 가중 정보의 정보량을 삭감할 수 있다.
또한, 특징량 벡터의 복수의 차원이 동일한 영역에 대응될 경우에는, 그들을 합쳐 1개의 가중 정보로서 나타내도 된다. 예를 들면, ISO／IEC 15938-3으로 규정되어 있는 Edge Histogram의 경우에는, 5개의 빈(bin)마다 동일한 영역에 대응지어져 있다. 이와 같은 경우에는, 5개의 빈마다 가중 정보를 합쳐 기술하도록 되어 있어도 된다.
다중화 수단(620)에서는, 시간축 방향 변화 영역 추출 수단(100)으로부터 출력되는 변화 영역 정보, 영역별 특징량 추출 수단(110)으로부터 출력되는 영역별 시각 특징량, 픽쳐별 특징량 추출 수단(130)으로부터 출력되는 픽쳐별 시각 특징량, 및 대조 가중 정보 추출 수단(610)으로부터 출력되는 대조 가중 정보를 다중화하고, 영상 식별자를 생성하고 출력한다. 다중화 수단(620)의 동작은, 대조 가중 정보 추출 수단(610)으로부터 출력되는 대조 가중 정보를 다중화하는 것을 제외하면, 도 1의 다중화 수단(120)의 동작과 마찬가지이다.
다음으로, 본 발명의 제2 실시형태에 따른 대조 장치에 대해서 서술한다.
도 12를 참조하면, 본 발명의 제2 실시형태에 따라 생성한 영상 식별자를 대조하는 대조 장치가 나타나 있으며, 다중 분리 수단(700), 다른 다중 분리 수단(710), 픽쳐 대조 수단(720), 가중 계수 산출 수단(730), 영역 대조 수단(230), 및 대조 결과 판정 수단(240)으로 이루어진다.
다중 분리 수단(700)은, 입력되는 제1 영상 식별자를 다중 분리하여, 제1 픽쳐별 시각 특징량을 픽쳐 대조 수단(720)에 출력하고, 제1 영역별 시각 특징량과 제1 변화 영역 정보를 영역 대조 수단(230)에 출력하며, 제1 대조 가중 정보를 가중 계수 산출 수단(730)에 출력한다. 마찬가지로, 다중 분리 수단(710)도 마찬가지로, 입력되는 제2 영상 식별자를 다중 분리하여, 제2 픽쳐별 시각 특징량을 픽쳐 대조 수단(720)에 출력하고, 제2 영역별 시각 특징량 및 제2 변화 영역 정보를 영역 대조 수단(230)에 출력하며, 제2 대조 가중 정보를 가중 계수 산출 수단(730)에 출력한다. 가중 계수 산출 수단(730)은, 다중 분리 수단(700)으로부터 출력되는 제1 대조 가중 정보, 및 다중 분리 수단(710)으로부터 출력되는 제2 대조 가중 정보로부터 가중 계수를 산출하고, 픽쳐 대조 수단(720)에 출력한다. 픽쳐 대조 수단(720)은, 가중 계수 산출 수단(730)으로부터 출력되는 가중 계수를 이용하여, 다중 분리 수단(700)으로부터 출력되는 제1 픽쳐별 시각 특징량과 다중 분리 수단(710)으로부터 출력되는 제2 픽쳐별 시각 특징량을 대조하고, 픽쳐 대조 결과를 대조 결과 판정 수단(240)에 출력함과 함께, 영역 대조 실행 정보를 영역 대조 수단(230)에 출력한다. 영역 대조 수단(230)은, 픽쳐 대조 수단(720)으로부터 출력되는 영역 대조 실행 정보, 다중 분리 수단(700)으로부터 출력되는 제1 변화 영역 정보, 및 다중 분리 수단(710)으로부터 출력되는 제2 변화 영역 정보에 의거하여, 다중 분리 수단(700)으로부터 출력되는 제1 영역별 시각 특징량과 다중 분리 수단(710)으로부터 출력되는 제2 영역별 시각 특징량을 대조하고, 영역 대조 결과를 대조 결과 판정 수단(240)에 출력한다. 대조 결과 판정 수단(240)은, 픽쳐 대조 수단(720)으로부터 출력되는 픽쳐 대조 결과와 영역 대조 수단(230)으로부터 출력되는 영역 대조 결과로부터 대조 결과를 산출하고, 출력한다. 본 실시형태의 대조 장치는 프로그램 제어 가능한 컴퓨터에 의해 실현 가능하다.
다음으로, 도 12에 나타내는 대조 장치의 동작에 대해서 설명한다.
다중 분리 수단(700)의 동작은, 도 8에 나타낸 다중 분리 수단(200)과 거의 동일하지만, 제1 영상 식별자로부터 제1 대조 가중 정보도 분리한다. 마찬가지로, 다중 분리 수단(710)의 동작도, 도 8에 나타낸 다중 분리 수단(210)과 거의 동일하지만, 제2 영상 식별자로부터 제2 대조 가중 정보도 분리한다. 분리된 제1 및 제2 대조 가중 정보는 가중 계수 산출 수단(730)에 입력된다.
가중 계수 산출 수단(730)에서는, 제1 대조 가중 정보 및 제2 대조 가중 정보로부터, 특징량의 각 차원에 대한 가중 계수를 산출한다. 제1 대조 가중 정보 및 제2 대조 가중 정보로부터 가중 계수를 산출하는 방법은 복수 생각할 수 있지만, 가중 계수는 양쪽의 대조 가중 정보가 작은 가중값에 대응할 때에 작아지고, 대조 가중 정보에 대응하는 중요도값 중 적어도 한쪽이 커졌을 때에 증가하는 조건을 만족하고 있으면 된다. 예를 들면, 제1 및 제2 대조 가중 정보로부터 산출되는 가중이 각각 w1(i) 및 w2(i)일 때에, 가중 계수 w(i)는 다음의 식 7에 의해 산출할 수 있다.
[식 7]
Figure 112011053584911-pct00007
보다 일반적으로는, 다음의 식 8의 식을 이용할 수 있다.
[식 8]
Figure 112011053584911-pct00008
식 8에서, p는 임의의 자연수이며, p가 무한대일 경우에 식 7로 귀착한다.
이 가중 계수를 특징량의 각 차원에 대하여 산출하고, 픽쳐 대조 수단(720)에 출력한다.
픽쳐 대조 수단(720)의 동작은, 기본적으로는 도 8에 나타낸 픽쳐 대조 수단(220)과 마찬가지이지만, 특징량 벡터간의 대조를 행할 때, 상술한 바와 같이 하여 산출된 가중 계수를 이용하는 점이 다르다.
이 경우에, 양쪽 특징량간의 유사성을 나타내는 유사도를 이용하여 특징량을 비교해도 되고, 양쪽 특징량간의 차이의 정도를 나타내는 거리를 이용하여 비교해도 된다. 거리를 이용하여 비교할 경우에는, 식 3 대신에 식 9에 따라 산출되는 거리 d에 의거하여 비교한다.
[식 9]
Figure 112011053584911-pct00009
여기에서, w(i)는, i번째 차원에 대응하는 가중 계수를 나타내고 있다. 마찬가지로, 유사도를 이용할 경우에는, 식 4, 식 6 대신에, 각각 식 10, 식 11을 이용한다.
[식 10]
Figure 112011053584911-pct00010
[식 11]
Figure 112011053584911-pct00011
영역 대조 수단(230) 및 대조 결과 판정 수단(240)의 동작은, 도 8에 나타낸 경우와 마찬가지이다.
[제2 실시형태의 효과]
본 실시형태에 따르면, 시간 방향의 대조 정밀도를 제1 실시형태와 비교하여, 높일 수 있다. 그 이유는, 움직임이나 휘도 변화 등의 화상의 변화가 생기고 있는 영역에 대응하는 특징량의 가중을 올림으로써, 부호화 변형 등으로 인한 특징량 변화에 의해 대조가 영향을 덜 받을 수 있기 때문이다. 예를 들면, 스튜디오에서 아나운서가 뉴스를 읽고 있는 씬이 2개의 픽쳐 A 및 B의 2장으로 구성되고, 픽쳐 A와 픽쳐 B간의 차이는, 아나운서의 입 부분뿐으로, 그 외는 완전히 동일한 화상으로 한다. 픽쳐 A와 완전히 동일한 픽쳐 C가 주어지고, 그 픽쳐 C가 픽쳐 A, B 중 어느 픽쳐와 유사한지를 기계적으로 판정하며, 픽쳐 A∼C에 부호화 변형이 존재하지 않으면, 픽쳐 C와 픽쳐 A간의 거리가 0이 된다. 한편, 픽쳐 C와 픽쳐 B간의 거리는, 움직임이 있는 입 부분의 가중이 커지고 있으므로, 충분히 큰 거리가 된다. 여기에서, 예를 들면 픽쳐 A의 배경 부분에 부호화 변형이 있는 경우를 생각하면, 이 부호화 변형으로 인해 픽쳐 C와 픽쳐 A간의 거리는 커지지만, 움직임이 없는 배경 부분의 가중은 작으므로, 픽쳐 C와 픽쳐 A간의 거리는, 픽쳐 C와 픽쳐 B간의 거리보다 커지지는 않는다.
다음으로, 본 발명의 제3 실시형태를 설명한다.
도 13은 픽쳐로부터 특징량을 추출하는 방식의 일례를 나타내고 있다. 이 방식에서는, 픽쳐 내의 임의의 2개의 영역을 페어로 하여 미리 정해 두고, 페어가 된 2개의 영역간에서의 특징량의 차를 특징량 벡터로 한다. 이 실시형태에서, 각 영역 페어를 P1, P2, P3,…으로 나타내고, n번째 페어로부터 정해지는 특징량을 Vn으로서 나타내기로 한다. 영역 페어를 취하는 방법은, 도 13에 나타내는 바와 같이, 영역의 다양한 형태 및 위치의 조합을 취할 수 있다. 또한, 페어 Pn으로부터 특징량 Vn을 산출하는 방법도 다양한 방법을 생각할 수 있다. 예를 들면, 각 페어로 사선의 영역과 망선을 그은 각 영역 내에서 휘도의 평균값을 산출하고, 그 대소 관계로부터 특징량 Vn의 값을 결정하는 방법이 있다. 구체적으로는, 사선의 영역 내에서 구한 평균 휘도값로부터 망선의 영역 내에서 구한 평균 휘도값을 빼서 차를 산출하고, 차가 양일 때에 Vn＝1이라고 하고, 음일 때에 Vn＝-1이라고 한다. 혹은, 차의 절대값이 문턱값보다 작을 경우에는, Vn은 0이라고 하여, Vn을 3개의 값으로 나타나게 할 수 있다. 또한, 평균 휘도값 대신에 다른 대표값을 이용할 수 있다. 예를 들면, 영역 내에서의 중앙값이나, 휘도값을 내림 차순으로 했을 때에 상위 a％에 상당하는 값을 이용할 수도 있고, 혹은 에지 특징량을 나타내는 양을 대표값로 이용해도 된다. 예를 들면, 에지를 검출하는 필터를 영역에 대하여 적용하고, 그 결과로부터 평균 등의 통계 처리를 행하여 대표값을 구할 수 있다.
시간축 방향 변화 영역 추출 수단(100)은, 화면을 M×N 분할(M, N은 자연수)하여 생기는 각 영역에 대하여, 시간 방향의 변화를 산출한다. 이 계산에는, 식 1 및 식 2를 이용할 수 있다. 그리고, 시간 방향의 변화량이 큰 영역을 선택하여, 그 영역의 인덱스를 변화 영역 정보로서 출력한다. 이러한 영역의 선택 방법은, 시간 방향의 변화량이 주어진 문턱값 이상일 경우에 영역을 선택하는 방법이나, 변화량의 내림 차순으로 영역을 나열했을 때에, 큰 쪽으로부터 주어진 개수의 영역을 선택하는 방법을 이용할 수 있다.
또한, 변화량이 큰 영역의 수가 많을 경우에는, 픽쳐 전체만을 이용하여 충분히 식별할 수 있는 경우가 많다. 이 경우에는, 영역 단위의 특징량을 산출하지 않아도 된다. 예를 들면, 변화량이 작은 영역의 수가 일정한 문턱값 이하일 경우에는, 영역 단위의 특징량은 구하지 않는다. 즉, 변화 영역 정보로서는 아무것도 출력하지 않거나, 혹은 특징량 추출의 대상 영역이 없음을 나타내는 정보를 포함할 수 있다.
구해진 변화 영역 정보는 영역별 특징량 추출 수단(110)에 출력된다. 영역별 특징량 추출 수단(110)에서는, 시간축 방향 변화 영역 추출 수단으로부터 출력되는 변화 영역 정보에 의해 지정되는 영역에 대하여, 영역마다의 특징량을 추출한다. 이 특징량으로서는, 픽쳐 전체에 대하여 산출한 것과 마찬가지의 것을 이용할 수 있다. 즉, 도 13에서 나타낸 바와 같이, 픽쳐 내의 임의의 2개의 영역을 페어로 하여 정해 두고, 페어가 된 2개의 영역간에서의 특징량의 차를 특징량 벡터로 구한다. 이 처리에서 페어를 정하는 방법이나, 영역 내에서의 대표값의 산출법은, 픽쳐 전체에 대한 경우와 마찬가지여도 되고, 달라도 된다. 또한, 영역마다 특징량의 산출 방법을 바꿔도 된다.
상술한 바와 같이, 시간적 변화가 적은 씬이어도, 시간축 방향으로 정밀도 좋게 영상 구간을 식별 가능한 특징량을 구축할 수 있다.
이상, 본 발명의 실시형태를 설명했지만, 본 발명은 상술한 실시형태에 한정되는 것이 아니다. 본 발명의 형태 및 상세에는, 본 발명의 범위 내에서 당업자가 이해할 수 있는 다양한 변경을 할 수 있다.
또한, 본 발명은, 일본국에서 2009년 1월 23일에 특허 출원된 특원2009-12815의 특허 출원으로부터 우선권의 이익을 주장하는 것으로, 당해 특허 출원에 기재된 내용은, 모두 본 명세서에 포함되는 것으로 한다.
본 발명은 유사 혹은 동일한 영상을 많은 영상 중에서 고정밀도로 검색하는데 적용할 수 있다. 특히, 영상의 동일 구간 검색에 대해서는, 네트워크상에 유통하는 위법으로 복사된 동화상을 식별하거나, 실제의 방송파에서 유통하는 CM을 식별하는데 이용할 수 있다.
100 : 시간축 방향 변화 영역 추출 수단
110 : 영역별 특징량 추출 수단
120, 620 : 다중화 수단
130, 630 : 픽쳐별 특징량 추출 수단
200, 210, 700, 710 : 다중 분리 수단
220, 720 : 픽쳐 대조 수단
230 : 영역 대조 수단
240 : 대조 결과 판정 수단
400 : 픽쳐간 차분 산출 수단
410 : 변화 영역 추출 수단
500 : 움직임 정보 산출 수단
510 : 변화 영역 추출 수단
610 : 대조 가중 정보 추출 수단
730 : 가중 계수 산출 수단

Claims (27)

  1. 입력되는 영상으로부터, 프레임 또는 필드인 픽쳐별 특징량을 픽쳐별 시각 특징량(each-picture visual feature)으로서 추출하는 픽쳐별 특징량 추출 수단;
    상기 영상으로부터, 픽쳐 내의 미리 정해진 영역에 대하여, 시간 방향의 화상 변화를 해석하고, 화상 변화량이 큰 영역을 구하고, 그 영역을 지정하는 정보인 변화 영역 정보를 생성하는 시간축 방향 변화 영역 추출 수단;
    상기 변화 영역 정보에 대응하는 영역의 특징량을, 상기 영상으로부터 영역별 시각 특징량으로서 추출하는 영역별 특징량 추출 수단; 및
    상기 픽쳐별 시각 특징량, 상기 영역별 시각 특징량, 및 상기 변화 영역 정보를 다중화하고, 영상 식별자를 생성하는 다중화 수단을 포함하는 영상 식별자 추출 장치.
  2. 제1항에 있어서,
    상기 시간축 방향 변화 영역 추출 수단은, 상기 변화 영역 정보가 산출되는 픽쳐와 그 전(前) 또는 후(後)의 픽쳐 사이에서 픽쳐간 화소값 차분(差分)을 산출하고, 상기 픽쳐간 화소값 차분에 의거하여, 상기 변화 영역 정보를 산출하는 영상 식별자 추출 장치.
  3. 제1항에 있어서,
    상기 시간축 방향 변화 영역 추출 수단은, 상기 변화 영역 정보가 산출되는 픽쳐와 그 전 또는 후의 픽쳐 사이에서 움직임 추정 처리를 행하고, 추정된 움직임의 크기의 정도에 의거하여, 상기 변화 영역 정보를 산출하는 영상 식별자 추출 장치.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 픽쳐별 특징량 추출 수단은, 상기 영상에 의거하여, 특징량의 각 차원에 대응하는 영역으로부터 복수 차원의 특징량을 추출하고,
    상기 영상 식별자 추출 장치는, 상기 영상의 각 픽쳐에 대하여, 특징량의 각 차원에 대응하는 상기 영역 내에서 시간 방향의 화상 변화량을 산출하고, 상기 화상 변화량에 따라 가중을 기술하는 정보인 대조 가중 정보를 출력하는 대조 가중 정보 추출 수단을 더 포함하고,
    상기 다중화 수단은 상기 대조 가중 정보도 더 다중화하고 영상 식별자를 생성하는 영상 식별자 추출 장치.
  5. 제4항에 있어서,
    상기 대조 가중 정보는 시간 방향의 변화량이 큰 차원일 수록 값이 큰 가중을 기술하는 영상 식별자 추출 장치.
  6. 제4항에 있어서,
    상기 대조 가중 정보 추출 수단은, 대조 가중 정보가 산출되는 픽쳐와 그 전 또는 후의 픽쳐 사이에서 픽쳐간 화소값 차분을 산출하고, 상기 픽쳐간 화소값 차분에 의거하여, 특징량의 각 차원에 대응하는 상기 대조 가중 정보를 산출하는 영상 식별자 추출 장치.
  7. 제4항에 있어서,
    상기 대조 가중 정보 추출 수단은, 대조 가중 정보가 산출되는 픽쳐와 그 전 또는 후의 픽쳐 사이에서 움직임 추정 처리를 행하고, 추정된 움직임의 크기의 정도에 의거하여, 특징량의 각 차원에 대응하는 상기 대조 가중 정보를 산출하는 영상 식별자 추출 장치.
  8. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 시간축 방향 변화 영역 추출 수단은 화상 변화량이 가장 큰 영역을 처음으로 하여 순서대로 선택되는 일정 개수의 영역을 구하는 영상 식별자 추출 장치.
  9. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 시간축 방향 변화 영역 추출 수단은 화상 변화가 문턱값 이상인 영역을 구하는 영상 식별자 추출 장치.
  10. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 변화 영역 정보에 의해 지정되는 영역은 픽쳐를 분할함으로써 이루어지는 블록인 영상 식별자 추출 장치.
  11. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 픽쳐별 시각 특징량의 각 차원은, 그 차원에 대하여 미리 정해져 있는, 픽쳐 내의 형상이 다른 2개의 영역의 특징량간의 차분에 대응하는 값인 영상 식별자 추출 장치.
  12. 픽쳐의 특징을 나타내는 제1 픽쳐별 시각 특징량, 상기 픽쳐의 영역 중 시간 방향의 화상 변화량이 큰 영역을 나타내는 제1 변화 영역 정보, 및 상기 제1 변화 영역 정보에 대응하는 영역의 특징을 나타내는 제1 영역별 시각 특징량을 포함한 제1 영상 식별자로부터, 상기 제1 픽쳐별 시각 특징량, 상기 제1 변화 영역 정보, 및 상기 제1 영역별 시각 특징량을 분리하는 제1 다중 분리 수단;
    픽쳐의 특징을 나타내는 제2 픽쳐별 시각 특징량, 상기 픽쳐의 영역 중 시간 방향의 화상 변화량이 큰 영역을 나타내는 제2 변화 영역 정보, 및 상기 제2 변화 영역 정보에 대응하는 영역의 특징을 나타내는 제2 영역별 시각 특징량을 포함한 제2 영상 식별자로부터, 상기 제2 픽쳐별 시각 특징량, 상기 제2 변화 영역 정보, 및 상기 제2 영역별 시각 특징량을 분리하는 제2 다중 분리 수단;
    상기 제1 픽쳐별 시각 특징량과 상기 제2 픽쳐별 시각 특징량을 비교하고, 픽쳐 대조 결과를 생성하고, 상기 픽쳐 대조 결과로부터, 영상 구간이 다른쪽 영상의 복수의 구간에 대응하거나 복수의 일치 후보 구간이 존재하는 것으로 판정된 경우에, 영역 대조 실행 정보를 출력하는 픽쳐 대조 수단;
    상기 영역 대조 실행 정보가 출력되었을 때에, 상기 제1 변화 영역 정보와 상기 제2 변화 영역 정보를 비교하고, 화면상의 위치가 동일한 영역을 지정하는 정보가 포함되어 있을 경우에는, 상기 제1 영역별 시각 특징량 및 상기 제2 영역별 시각 특징량의 영역에 대응하는 영역별 시각 특징량을 비교하고, 영역 대조 결과를 생성하는 영역 대조 수단; 및
    상기 픽쳐 대조 결과 및 상기 영역 대조 결과로부터, 동일 영상 구간을 식별하는 대조 결과 판정 수단을 포함하는 영상 식별자 대조 장치.
  13. 제12항에 있어서,
    상기 제1 영상 식별자는, 상기 제1 픽쳐별 시각 특징량의 차원마다의 대조 가중 정보이며, 상기 제1 픽쳐별 시각 특징량, 상기 제1 변화 영역 정보, 및 상기 제1 영역별 시각 특징량 이외에, 상기 차원에 대응하는 상기 픽쳐 내의 영역의 화상 변화에 대응하는 가중을 기술하는 제1 대조 가중 정보를 더 포함하고,
    상기 제2 영상 식별자는, 상기 제2 픽쳐별 시각 특징량의 차원마다의 대조 가중 정보이며, 상기 제2 픽쳐별 시각 특징량, 상기 제2 변화 영역 정보, 및 상기 제2 영역별 시각 특징량 이외에, 상기 차원에 대응하는 상기 픽쳐 내의 영역의 화상 변화에 대응하는 가중을 기술하는 제2 대조 가중 정보를 더 포함하고,
    상기 제1 다중 분리 수단은 상기 제1 픽쳐별 시각 특징량, 상기 제1 변화 영역 정보, 및 상기 제1 영역별 시각 특징량을 분리하는 것에 더하여, 상기 제1 대조 가중 정보를 더 분리하고,
    상기 제2 다중 분리 수단은 상기 제2 픽쳐별 시각 특징량, 상기 제2 변화 영역 정보, 및 상기 제2 영역별 시각 특징량을 분리하는 것에 더하여, 상기 제2 대조 가중 정보를 더 분리하고,
    상기 영상 식별자 대조 장치는, 상기 제1 대조 가중 정보 및 상기 제2 대조 가중 정보로부터, 특징량의 각 차원에 대해 가중 계수(係數)를 산출하는 가중 계수 산출 수단을 더 포함하고,
    상기 픽쳐 대조 수단은, 상기 가중 계수를 이용하여 차원마다 가중하고, 상기 제1 픽쳐별 시각 특징량과 상기 제2 픽쳐별 시각 특징량을 대조하는 영상 식별자 대조 장치.
  14. 입력되는 영상으로부터, 프레임 또는 필드인 픽쳐별 특징량을 픽쳐별 시각 특징량으로서 추출하는 단계;
    상기 영상으로부터, 픽쳐 내의 미리 정해진 영역에 대하여, 시간 방향의 화상 변화를 해석하고, 화상 변화량이 큰 영역을 구하고, 그 영역을 지정하는 정보인 변화 영역 정보를 생성하는 단계;
    상기 변화 영역 정보에 대응하는 영역의 특징량을, 상기 영상으로부터 영역별 시각 특징량으로서 추출하는 단계; 및
    상기 픽쳐별 시각 특징량, 상기 영역별 시각 특징량, 및 상기 변화 영역 정보를 다중화하고, 영상 식별자를 생성하는 단계를 포함하는 영상 식별자 추출 방법.
  15. 제14항에 있어서,
    상기 변화 영역 정보를 생성하는 단계는, 변화 영역 정보가 산출되는 픽쳐와 그 전 또는 후의 픽쳐 사이에서 픽쳐간 화소값 차분을 산출하고, 상기 픽쳐간 화소값 차분에 의거하여, 상기 변화 영역 정보를 산출하는 단계를 포함하는 영상 식별자 추출 방법.
  16. 제14항에 있어서,
    상기 변화 영역 정보를 생성하는 단계는, 변화 영역 정보가 산출되는 픽쳐와 그 전 또는 후의 픽쳐 사이에서 움직임 추정 처리를 행하고, 추정된 움직임의 크기의 정도에 의거하여, 상기 변화 영역 정보를 산출하는 단계를 포함하는 영상 식별자 추출 방법.
  17. 제14항 내지 제16항 중 어느 한 항에 있어서,
    상기 픽쳐별 시각 특징량을 추출하는 단계는, 상기 영상에 의거하여, 특징량의 각 차원에 대응하는 영역으로부터 복수 차원의 특징량을 추출하는 단계를 포함하고,
    상기 영상 식별자 추출 방법은, 상기 영상의 각 픽쳐에 대하여, 특징량의 각 차원에 대응하는 상기 영역 내에서 시간 방향의 화상 변화량을 산출하고, 상기 화상 변화량에 따라 가중을 기술하는 정보인 대조 가중 정보를 산출하는 단계를 더 포함하고,
    상기 영상 식별자를 생성하는 단계는, 상기 대조 가중 정보도 다중화하고 영상 식별자를 생성하는 단계를 포함하는 영상 식별자 추출 방법.
  18. 제17항에 있어서,
    상기 대조 가중 정보는 시간 방향의 변화량이 큰 차원일 수록 값이 큰 가중을 기술하는 영상 식별자 추출 방법.
  19. 제17항에 있어서,
    상기 대조 가중 정보를 산출하는 단계는, 대조 가중 정보가 산출되는 픽쳐와 그 전 또는 후의 픽쳐 사이에서 픽쳐간 화소값 차분을 산출하고, 상기 픽쳐간 화소값 차분에 의거하여, 특징량의 각 차원에 대응하는 상기 대조 가중 정보를 산출하는 단계를 포함하는 영상 식별자 추출 방법.
  20. 제17항에 있어서,
    상기 대조 가중 정보를 산출하는 단계는, 대조 가중 정보가 산출되는 픽쳐와 그 전 또는 후의 픽쳐 사이에서 움직임 추정 처리를 행하고, 추정된 움직임의 크기의 정도에 의거하여, 특징량의 각 차원에 대응하는 상기 대조 가중 정보를 산출하는 단계를 포함하는 영상 식별자 추출 방법.
  21. 제14항 내지 제16항 중 어느 한 항에 있어서,
    상기 변화 영역 정보를 생성하는 단계는 화상 변화량이 가장 큰 영역을 처음으로 하여 순서대로 선택되는 일정 개수의 영역을 구하는 단계를 포함하는 영상 식별자 추출 방법.
  22. 제14항 내지 제16항 중 어느 한 항에 있어서,
    상기 변화 영역 정보를 생성하는 단계는 화상 변화가 문턱값 이상인 영역을 구하는 단계를 포함하는 영상 식별자 추출 방법.
  23. 제14항 내지 제16항 중 어느 한 항에 있어서,
    상기 변화 영역 정보에 의해 지정되는 영역은 픽쳐를 분할함으로써 이루어지는 블록인 영상 식별자 추출 방법.
  24. 제14항 내지 제16항 중 어느 한 항에 있어서,
    상기 픽쳐별 시각 특징량의 각 차원은, 그 차원에 대하여 미리 정해져 있는, 픽쳐 내의 형상이 다른 2개의 영역의 특징량간의 차분에 대응하는 값인 영상 식별자 추출 방법.
  25. 픽쳐의 특징을 나타내는 제1 픽쳐별 시각 특징량, 상기 픽쳐의 영역 중 시간 방향의 화상 변화량이 큰 영역을 나타내는 제1 변화 영역 정보, 및 상기 제1 변화 영역 정보에 대응하는 영역의 특징을 나타내는 제1 영역별 시각 특징량을 포함한 제1 영상 식별자로부터, 상기 제1 픽쳐별 시각 특징량, 상기 제1 변화 영역 정보, 및 상기 제1 영역별 시각 특징량을 분리하는 단계;
    픽쳐의 특징을 나타내는 제2 픽쳐별 시각 특징량, 상기 픽쳐의 영역 중 시간 방향의 화상 변화량이 큰 영역을 나타내는 제2 변화 영역 정보, 및 상기 제2 변화 영역 정보에 대응하는 영역의 특징을 나타내는 제2 영역별 시각 특징량을 포함한 제2 영상 식별자로부터, 상기 제2 픽쳐별 시각 특징량, 상기 제2 변화 영역 정보, 및 상기 제2 영역별 시각 특징량을 분리하는 단계;
    상기 제1 픽쳐별 시각 특징량과 상기 제2 픽쳐별 시각 특징량을 비교하고, 픽쳐 대조 결과를 생성하고, 상기 픽쳐 대조 결과로부터, 영상 구간이 다른쪽 영상의 복수의 구간에 대응하거나 복수의 일치 후보 구간이 존재하는 것으로 판정된 경우에, 영역 대조 실행 정보를 출력하는 단계;
    상기 영역 대조 실행 정보가 출력되었을 때에, 상기 제1 변화 영역 정보와 제2 변화 영역 정보를 비교하고, 화면상의 위치가 동일한 영역을 지정하는 정보가 포함되어 있을 경우에는, 상기 제1 영역별 시각 특징량과 상기 제2 영역별 시각 특징량의 영역에 대응하는 영역별 시각 특징량을 비교하고, 영역 대조 결과를 생성하는 단계; 및
    상기 픽쳐 대조 결과와 상기 영역 대조 결과로부터, 동일 영상 구간을 식별하는 단계를 포함하는 영상 식별자 대조 방법.
  26. 제25항에 있어서,
    상기 제1 영상 식별자는, 상기 제1 픽쳐별 시각 특징량의 차원마다의 대조 가중 정보이며, 상기 차원에 대응하는 상기 픽쳐 내의 영역의 화상 변화에 대응하는 가중을 기술하는 제1 대조 가중 정보를 더 포함하고,
    상기 제2 영상 식별자는, 상기 제2 픽쳐별 시각 특징량의 차원마다의 대조 가중 정보이며, 상기 차원에 대응하는, 상기 픽쳐 내의 영역의 화상 변화에 대응하는 가중을 기술하는 제2 대조 가중 정보를 더 포함하고,
    상기 제1 영상 식별자로부터 분리하는 단계는, 상기 제1 대조 가중 정보를 분리하는 단계를 포함하고,
    상기 제2 영상 식별자로부터 분리하는 단계는, 상기 제2 대조 가중 정보를 분리하는 단계를 포함하고,
    상기 영상 식별자 대조 방법은, 상기 제1 대조 가중 정보 및 상기 제2 대조 가중 정보로부터, 특징량의 각 차원에 대해 가중 계수를 산출하는 단계를 더 포함하고,
    상기 픽쳐 대조 결과를 생성하는 단계는, 상기 가중 계수를 이용하여 차원마다 가중하고, 상기 제1 픽쳐별 시각 특징량과 상기 제2 픽쳐별 시각 특징량을 대조하는 단계를 포함하는 영상 식별자 대조 방법.
  27. 컴퓨터를,
    입력되는 영상으로부터, 프레임 또는 필드인 픽쳐별 특징량을 픽쳐별 시각 특징량으로서 추출하는 픽쳐별 특징량 추출 수단;
    상기 영상으로부터, 픽쳐 내의 미리 정해진 영역에 대하여, 시간 방향의 화상 변화를 해석하고, 화상 변화량이 큰 영역을 구하고, 그 영역을 지정하는 정보인 변화 영역 정보를 생성하는 시간축 방향 변화 영역 추출 수단;
    상기 변화 영역 정보에 대응하는 영역의 특징량을, 상기 영상으로부터 영역별 시각 특징량으로서 추출하는 영역별 특징량 추출 수단; 및
    상기 픽쳐별 시각 특징량, 상기 영역별 시각 특징량, 및 상기 변화 영역 정보를 다중화하고, 영상 식별자를 생성하는 다중화 수단으로서 기능시키는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체.
KR1020117016196A 2009-01-23 2010-01-20 영상 식별자 추출 장치 KR101369915B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2009012815 2009-01-23
JPJP-P-2009-012815 2009-01-23
PCT/JP2010/000278 WO2010084739A1 (ja) 2009-01-23 2010-01-20 映像識別子抽出装置

Publications (2)

Publication Number Publication Date
KR20110103415A KR20110103415A (ko) 2011-09-20
KR101369915B1 true KR101369915B1 (ko) 2014-03-06

Family

ID=42355797

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020117016196A KR101369915B1 (ko) 2009-01-23 2010-01-20 영상 식별자 추출 장치

Country Status (6)

Country Link
US (2) US8335251B2 (ko)
EP (1) EP2337345B1 (ko)
JP (1) JP4725690B2 (ko)
KR (1) KR101369915B1 (ko)
CN (1) CN102292726B (ko)
WO (1) WO2010084739A1 (ko)

Families Citing this family (37)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2470520B (en) 2008-03-03 2012-11-28 Videoiq Inc Dynamic object classification
US8873799B2 (en) * 2009-01-23 2014-10-28 Nec Corporation Matching weight information extraction device
US10949458B2 (en) 2009-05-29 2021-03-16 Inscape Data, Inc. System and method for improving work load management in ACR television monitoring system
US10375451B2 (en) 2009-05-29 2019-08-06 Inscape Data, Inc. Detection of common media segments
US9449090B2 (en) 2009-05-29 2016-09-20 Vizio Inscape Technologies, Llc Systems and methods for addressing a media database using distance associative hashing
US9071868B2 (en) 2009-05-29 2015-06-30 Cognitive Networks, Inc. Systems and methods for improving server and client performance in fingerprint ACR systems
US8769584B2 (en) 2009-05-29 2014-07-01 TVI Interactive Systems, Inc. Methods for displaying contextually targeted content on a connected television
US10116972B2 (en) 2009-05-29 2018-10-30 Inscape Data, Inc. Methods for identifying video segments and displaying option to view from an alternative source and/or on an alternative device
US9838753B2 (en) 2013-12-23 2017-12-05 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
US10192138B2 (en) 2010-05-27 2019-01-29 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
US9754169B2 (en) * 2011-12-16 2017-09-05 Nec Corporation Information processing system, information processing method, information processing device and control method and control program thereof, and communication terminal and control method and control program thereof
KR101973464B1 (ko) * 2012-12-07 2019-04-29 엘지전자 주식회사 이동단말기 및 그 제어방법
CN103312770B (zh) * 2013-04-19 2017-05-03 无锡成电科大科技发展有限公司 一种云平台资源审核的方法
EP3026922B1 (en) 2013-07-26 2021-01-06 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, appended information display method, and appended information display system
US9762951B2 (en) 2013-07-30 2017-09-12 Panasonic Intellectual Property Management Co., Ltd. Video reception device, added-information display method, and added-information display system
JP6240899B2 (ja) 2013-09-04 2017-12-06 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
US9906843B2 (en) 2013-09-04 2018-02-27 Panasonic Intellectual Property Management Co., Ltd. Video reception device, video recognition method, and display system for providing additional information to be superimposed on displayed image
US9955192B2 (en) 2013-12-23 2018-04-24 Inscape Data, Inc. Monitoring individual viewing of television events using tracking pixels and cookies
EP3125567B1 (en) 2014-03-26 2019-09-04 Panasonic Intellectual Property Management Co., Ltd. Video receiving device, video recognition method, and supplementary information display system
WO2015145492A1 (ja) 2014-03-26 2015-10-01 パナソニックＩｐマネジメント株式会社 映像受信装置、映像認識方法および付加情報表示システム
JP6471359B2 (ja) * 2014-07-17 2019-02-20 パナソニックＩｐマネジメント株式会社 認識データ生成装置、画像認識装置および認識データ生成方法
US10200765B2 (en) 2014-08-21 2019-02-05 Panasonic Intellectual Property Management Co., Ltd. Content identification apparatus and content identification method
CN108337925B (zh) 2015-01-30 2024-02-27 构造数据有限责任公司 用于识别视频片段以及显示从替代源和/或在替代设备上观看的选项的方法
CA2982797C (en) 2015-04-17 2023-03-14 Inscape Data, Inc. Systems and methods for reducing data density in large datasets
EP3323055A1 (en) 2015-07-16 2018-05-23 Inscape Data, Inc. Systems and methods for partitioning search indexes for improved efficiency in identifying media segments
JP6903653B2 (ja) 2015-07-16 2021-07-14 インスケイプ データ インコーポレイテッド 共通メディアセグメントの検出
CN108337912A (zh) 2015-07-16 2018-07-27 构造数据有限责任公司 对视频段的未来收看的预测以优化系统资源利用
US10080062B2 (en) * 2015-07-16 2018-09-18 Inscape Data, Inc. Optimizing media fingerprint retention to improve system resource utilization
EP3376468B1 (en) * 2015-12-02 2020-01-29 Mitsubishi Electric Corporation Object detection device and object detection method
CN105812619A (zh) * 2016-03-18 2016-07-27 常州大学 针对摄像机抖动的运动目标跟踪方法
WO2018187592A1 (en) 2017-04-06 2018-10-11 Inscape Data, Inc. Systems and methods for improving accuracy of device maps using media viewing data
US10922551B2 (en) * 2017-10-06 2021-02-16 The Nielsen Company (Us), Llc Scene frame matching for automatic content recognition
JP6907888B2 (ja) * 2017-10-30 2021-07-21 富士通株式会社 情報処理システム、情報処理装置および情報処理プログラム
CN108460335B (zh) * 2018-01-26 2022-05-27 百度在线网络技术（北京）有限公司 视频细粒度识别方法、装置、计算机设备及存储介质
WO2019189210A1 (ja) * 2018-03-30 2019-10-03 株式会社ニコン 動画圧縮装置、伸張装置、電子機器、動画圧縮プログラム、および伸張プログラム
CN110191352A (zh) * 2019-05-29 2019-08-30 哈尔滨工业大学 一种面向视频内容智能处理的综合展示系统
CN113627534A (zh) * 2021-08-11 2021-11-09 百度在线网络技术（北京）有限公司 识别动态图像的类型的方法、装置及电子设备

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020106127A1 (en) 2000-10-10 2002-08-08 Mei Kodama Method of and apparatus for retrieving movie image
JP2003157440A (ja) 2001-11-21 2003-05-30 Toshiba Corp 動画像内の物体識別装置及び方法及びこれを用いた監視システム
JP2003196658A (ja) 2001-12-28 2003-07-11 Nec Corp 類似性判定方法および装置
JP2004110448A (ja) 2002-09-19 2004-04-08 Nippon Hoso Kyokai <Nhk> 映像オブジェクト識別・追跡装置、その方法及びそのプログラム

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5592228A (en) * 1993-03-04 1997-01-07 Kabushiki Kaisha Toshiba Video encoder using global motion estimation and polygonal patch motion estimation
DE69940703D1 (de) * 1998-03-05 2009-05-20 Panasonic Corp Verfahren zur Bildkodierung, Verfahren zur Bildkodierung/-Dekodierung, Bildkodierer, oder Vorrichtung zur Bildaufzeichnung/-Wiedergabe
JP3657769B2 (ja) * 1998-03-19 2005-06-08 富士写真フイルム株式会社 画像処理方法および画像処理装置
US6792043B1 (en) 1998-10-23 2004-09-14 Telecommunications Advancement Organization Of Japan Method, apparatus and program products for retrieving moving image
JP2000194727A (ja) 1998-10-23 2000-07-14 Telecommunication Advancement Organization Of Japan 動画像検索装置、動画像検索方法、及び動画像検索プログラムを記録した記録媒体
KR100486047B1 (ko) * 1999-06-30 2005-05-03 샤프 가부시키가이샤 동화상 검색 정보 기록 장치 및 동화상 검색 장치
JP4232976B2 (ja) * 2004-08-16 2009-03-04 Ｋｄｄｉ株式会社 動き予測情報検出装置
US8009861B2 (en) * 2006-04-28 2011-08-30 Vobile, Inc. Method and system for fingerprinting digital video object based on multiresolution, multirate spatial and temporal signatures
JP4356716B2 (ja) 2006-08-03 2009-11-04 パナソニック電工株式会社 異常監視装置
CN101340551A (zh) * 2007-07-05 2009-01-07 韩庆军 一种多媒体数字签名的方法
JP4990051B2 (ja) 2007-07-05 2012-08-01 株式会社美幸軒 シート状トレー自動供給装置およびこれを用いた弁当箱への盛り付けラインシステム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020106127A1 (en) 2000-10-10 2002-08-08 Mei Kodama Method of and apparatus for retrieving movie image
JP2003157440A (ja) 2001-11-21 2003-05-30 Toshiba Corp 動画像内の物体識別装置及び方法及びこれを用いた監視システム
JP2003196658A (ja) 2001-12-28 2003-07-11 Nec Corp 類似性判定方法および装置
JP2004110448A (ja) 2002-09-19 2004-04-08 Nippon Hoso Kyokai <Nhk> 映像オブジェクト識別・追跡装置、その方法及びそのプログラム

Also Published As

Publication number Publication date
EP2337345A4 (en) 2011-08-31
CN102292726B (zh) 2014-10-22
EP2337345A1 (en) 2011-06-22
US8335251B2 (en) 2012-12-18
JPWO2010084739A1 (ja) 2012-07-12
US9118889B2 (en) 2015-08-25
US20110129017A1 (en) 2011-06-02
US20130070847A1 (en) 2013-03-21
WO2010084739A1 (ja) 2010-07-29
CN102292726A (zh) 2011-12-21
JP4725690B2 (ja) 2011-07-13
EP2337345B1 (en) 2014-01-08
KR20110103415A (ko) 2011-09-20

Similar Documents

Publication Publication Date Title
KR101369915B1 (ko) 영상 식별자 추출 장치
US9367616B2 (en) Video descriptor generation device
US8270806B2 (en) Information processing apparatus and method of controlling same
JP5573131B2 (ja) 映像識別子抽出装置および方法、映像識別子照合装置および方法、ならびにプログラム
KR100865248B1 (ko) 비디오 신호에서의 자막 검출
CN106937114B (zh) 用于对视频场景切换进行检测的方法和装置
Chao et al. A novel rate control framework for SIFT/SURF feature preservation in H. 264/AVC video compression
CN107430780B (zh) 用于基于视频内容特性的输出创建的方法
WO2014022254A2 (en) Identifying key frames using group sparsity analysis
KR101968921B1 (ko) 강건한 낮은 복잡도 비디오 핑거프린팅을 위한 장치 및 방법
US20210319230A1 (en) Keyframe Extractor
KR101281850B1 (ko) 영상 디스크립터 생성 장치
KR101347933B1 (ko) 대조 가중 정보 추출 장치
EP2325801A2 (en) Methods of representing and analysing images
KR101323369B1 (ko) 영상 프레임 군집화 장치 및 방법
Ngo et al. A novel content based scene retrieval using multi-frame features
JP4078136B2 (ja) 画像認識方法、画像認識装置及びコンピュータプログラム
Qureshi et al. A Computational visual saliency Model for Perceptual video coding

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E90F Notification of reason for final refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20170202

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20180202

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190201

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200205

Year of fee payment: 7