JPWO2010087127A1 - 映像識別子生成装置 - Google Patents
映像識別子生成装置 Download PDFInfo
- Publication number
- JPWO2010087127A1 JPWO2010087127A1 JP2010548399A JP2010548399A JPWO2010087127A1 JP WO2010087127 A1 JPWO2010087127 A1 JP WO2010087127A1 JP 2010548399 A JP2010548399 A JP 2010548399A JP 2010548399 A JP2010548399 A JP 2010548399A JP WO2010087127 A1 JPWO2010087127 A1 JP WO2010087127A1
- Authority
- JP
- Japan
- Prior art keywords
- video
- visual feature
- collation
- feature amount
- reliability
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/91—Television signal processing therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Theoretical Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- Signal Processing (AREA)
- Databases & Information Systems (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Collating Specific Patterns (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Abstract
Description
本発明の目的は、多くの映像中に共通に現れる映像パタンや、特徴量が安定的に求まらない映像パタンなどが映像中に存在していると照合精度が低下する、という課題を解決する映像識別子生成装置を提供することにある。
[式1]
w(k1,k2) = min(r1(k1), r2(k2))
[式2]
[式3]
[式4]
[式7]
120…信頼度算出手段
130…特徴量抽出手段
140…多重化手段
210…特定映像パタン検出手段
250…共通映像パタン学習手段
350…頑健性低下映像パタン学習手段
400…照合手段
410…照合パラメータ算出手段
420、430…多重分離手段
Claims (38)
- 映像中の、複数の部分領域対の特徴量に基づいて前記映像の識別に用いる視覚特徴量を抽出する視覚特徴量抽出手段と、
前記視覚特徴量の信頼度を算出する手段であって、前記映像が特定の映像である場合には、前記特定の映像以外の映像である場合に比べて、より値の小さな信頼度を算出する信頼度算出手段と
を備えることを特徴とする映像識別子生成装置。 - 前記信頼度は、前記視覚特徴量を用いて前記映像を他の映像と照合する際の照合結果の確からしさを表す値である
ことを特徴とする請求項1に記載の映像識別子生成装置。 - 前記視覚特徴量抽出手段は、前記映像中の複数の部分領域対の、対をなす2つの部分領域の特徴量の差分値に基づいて前記視覚特徴量を抽出する
ことを特徴とする請求項1または2に記載の映像識別子生成装置。 - 前記部分領域の特徴量は、前記部分領域の平均画素値である
ことを特徴とする請求項3に記載の映像識別子生成装置。 - 前記特定の映像は、平坦な画素値を有する映像である
ことを特徴とする請求項1乃至4の何れか1項に記載の映像識別子生成装置。 - 前記特定の映像は、映像全体の輝度値の分散が小さい映像である
ことを特徴とする請求項1乃至5の何れか1項に記載の映像識別子生成装置。 - 前記特定の映像は、輝度値が画面全体でほぼ一定になる映像である
ことを特徴とする請求項1乃至6の何れか1項に記載の映像識別子生成装置。 - 前記視覚特徴量の抽出と前記信頼度の算出は、ピクチャ単位で行われる
ことを特徴とする請求項1乃至7の何れか1項に記載の映像識別子生成装置。 - 前記ピクチャは、フレームである
ことを特徴とする請求項8に記載の映像識別子生成装置。 - 前記視覚特徴量抽出手段は、前記差分値を量子化して、前記視覚特徴量を算出する
ことを特徴とする請求項3乃至9の何れか1項に記載の映像識別子生成装置。 - 前記視覚特徴量と前記信頼度とをまとめて映像識別子として出力する多重化手段を備える
ことを特徴とする請求項1乃至10の何れか1項に記載の映像識別子生成装置。 - 第1の映像中の複数の部分領域対の特徴量から算出された、映像の識別に用いる第1の視覚特徴量と、前記第1の映像が特定の映像である場合には前記特定の映像以外の映像である場合に比べて値が小さくなるように算出された、前記第1の視覚特徴量の信頼度を示す第1の信頼度情報と、第2の映像中の複数の部分領域対の特徴量から算出された、前記第2の映像の識別に用いる第2の視覚特徴量と、前記第2の映像が特定の映像である場合には前記特定の映像以外の映像である場合に比べて、より値が小さくなるように算出された、前記第2の視覚特徴量の信頼度を示す第2の信頼度情報とを用い、
前記第1の信頼度情報と前記第2の信頼度情報とに基づいて、照合パラメータを算出する照合パラメータ算出手段と、
前記第1の視覚特徴量と前記第2の視覚特徴量とを、前記照合パラメータに従って照合し、照合結果を出力する照合手段と
を備えることを特徴とする映像識別子照合装置。 - 前記第1の視覚特徴量は、前記第1の映像中の複数の部分領域対の、対をなす2つの部分領域の特徴量の差分値から算出され、前記第2の視覚特徴量は、前記第2の映像中の複数の部分領域対の、対をなす2つの部分領域の特徴量の差分値から算出されている
ことを特徴とする請求項12に記載の映像識別子照合装置。 - 前記照合パラメータは、前記第1の信頼度と前記第2の信頼度とのうちの小さいほうの値によって定まる
ことを特徴とする請求項12または13に記載の映像識別子照合装置。 - 前記照合パラメータ算出手段は、前記第1の視覚特徴量と前記第2の視覚特徴量との間の距離または類似度を算出する際の重みを表す値を前記照合パラメータとして算出し、
前記照合手段は、前記照合パラメータによって定まる重みを用いて前記第1の視覚特徴量と前記第2の視覚特徴量との距離または類似度を算出して照合結果を求める
ことを特徴とする請求項12乃至14の何れか1項に記載の映像識別子照合装置。 - 前記照合パラメータ算出手段は、前記第1の視覚特徴量と前記第2の視覚特徴量の何れか一方の前記信頼度が低い場合には、前記照合パラメータとして特定のパラメータを出力し、
前記照合手段は、前記照合パラメータが前記特定のパラメータであるときに、前記第1の視覚特徴量と前記第2の視覚特徴量との間の距離または類似度を除いて照合結果を算出する
ことを特徴とする請求項12乃至15の何れか1項に記載の映像識別子照合装置。 - 前記照合パラメータ算出手段は、前記照合パラメータとして、前記第1の視覚特徴量と前記第2の視覚特徴量との間の照合をピクチャ単位で行う際の、ピクチャ単位の照合の失敗の回数の許容値を規定するパラメータを出力し、
前記照合手段は、ピクチャ単位の照合の失敗の回数が前記許容値以内の場合には照合を継続し、照合結果を算出する
ことを特徴とする請求項12乃至16の何れか1項に記載の映像識別子照合装置。 - 請求項1乃至11の何れかに記載の映像識別子生成装置から生成された映像識別子を用いて照合を行うことを特徴とする照合装置。
- 映像中の、複数の部分領域対の特徴量に基づいて前記映像の識別に用いる視覚特徴量を抽出し、
前記視覚特徴量の信頼度として、前記映像が特定の映像である場合には、前記特定の映像以外の映像である場合に比べて、より値の小さな信頼度を算出する
ことを特徴とする映像識別子生成方法。 - 前記信頼度は、前記視覚特徴量を用いて前記映像を他の映像と照合する際の照合結果の確からしさを表す値である
ことを特徴とする請求項19に記載の映像識別子生成方法。 - 前記映像中の複数の部分領域対の、対をなす2つの部分領域の特徴量の差分値に基づいて前記視覚特徴量を抽出する
ことを特徴とする請求項19または20に記載の映像識別子生成方法。 - 前記部分領域の特徴量は、前記部分領域の平均画素値である
ことを特徴とする請求項21に記載の映像識別子生成方法。 - 前記特定の映像は、平坦な画素値を有する映像である
ことを特徴とする請求項19乃至22の何れか1項に記載の映像識別子生成方法。 - 前記特定の映像は、映像全体の輝度値の分散が小さい映像である
ことを特徴とする請求項19乃至23の何れか1項に記載の映像識別子生成方法。 - 前記特定の映像は、輝度値が画面全体でほぼ一定になる映像である
ことを特徴とする請求項19乃至24の何れか1項に記載の映像識別子生成方法。 - 前記視覚特徴量の抽出と前記信頼度の算出は、ピクチャ単位で行われる
ことを特徴とする請求項19乃至25の何れか1項に記載の映像識別子生成方法。 - 前記ピクチャは、フレームである
ことを特徴とする請求項26に記載の映像識別子生成方法。 - 前記差分値を量子化して、前記視覚特徴量を算出する
ことを特徴とする請求項21乃至27の何れか1項に記載の映像識別子生成方法。 - 前記視覚特徴量と前記信頼度とをまとめて映像識別子として出力する
ことを特徴とする請求項19乃至28の何れか1項に記載の映像識別子生成方法。 - 第1の映像中の複数の部分領域対の特徴量から算出された、映像の識別に用いる第1の視覚特徴量と、前記第1の映像が特定の映像である場合には前記特定の映像以外の映像である場合に比べて値が小さくなるように算出された、前記第1の視覚特徴量の信頼度を示す第1の信頼度情報と、第2の映像中の複数の部分領域対の特徴量から算出された、前記第2の映像の識別に用いる第2の視覚特徴量と、前記第2の映像が特定の映像である場合には前記特定の映像以外の映像である場合に比べて、より値が小さくなるように算出された、前記第2の視覚特徴量の信頼度を示す第2の信頼度情報とを用い、
前記第1の信頼度情報と前記第2の信頼度情報とに基づいて、照合パラメータを算出し、
前記第1の視覚特徴量と前記第2の視覚特徴量とを、前記照合パラメータに従って照合し、照合結果を出力する
ことを特徴とする映像識別子照合方法。 - 前記第1の視覚特徴量は、前記第1の映像中の複数の部分領域対の、対をなす2つの部分領域の特徴量の差分値から算出され、前記第2の視覚特徴量は、前記第2の映像中の複数の部分領域対の、対をなす2つの部分領域の特徴量の差分値から算出されている
ことを特徴とする請求項30に記載の映像識別子照合方法。 - 前記照合パラメータは、前記第1の信頼度と前記第2の信頼度とのうちの小さいほうの値によって定まる
ことを特徴とする請求項30または31に記載の映像識別子照合方法。 - 前記第1の視覚特徴量と前記第2の視覚特徴量との間の距離または類似度を算出する際の重みを表す値を前記照合パラメータとして算出し、
前記照合パラメータによって定まる重みを用いて前記第1の視覚特徴量と前記第2の視覚特徴量との距離または類似度を算出して照合結果を求める
ことを特徴とする請求項30乃至32の何れか1項に記載の映像識別子照合方法。 - 前記第1の視覚特徴量と前記第2の視覚特徴量の何れか一方の前記信頼度が低い場合には、前記照合パラメータとして特定のパラメータを出力し、
前記照合パラメータが前記特定のパラメータであるときに、前記第1の視覚特徴量と前記第2の視覚特徴量との間の距離または類似度を除いて照合結果を算出する
ことを特徴とする請求項30乃至33の何れか1項に記載の映像識別子照合方法。 - 前記照合パラメータとして、前記第1の視覚特徴量と前記第2の視覚特徴量との間の照合をピクチャ単位で行う際の、ピクチャ単位の照合の失敗の回数の許容値を規定するパラメータを出力し、
ピクチャ単位の照合の失敗の回数が前記許容値以内の場合には照合を継続し、照合結果を算出する
ことを特徴とする請求項30乃至34の何れか1項に記載の映像識別子照合方法。 - 請求項19乃至29の何れかに記載の映像識別子生成方法によって生成された映像識別子を用いて照合を行うことを特徴とする照合方法。
- コンピュータを、
映像中の、複数の部分領域対の特徴量に基づいて前記映像の識別に用いる視覚特徴量を抽出する視覚特徴量抽出手段と、
前記視覚特徴量の信頼度を算出する手段であって、前記映像が特定の映像である場合には、前記特定の映像以外の映像である場合に比べて、より値の小さな信頼度を算出する信頼度算出手段と
して機能させるためのプログラム。 - コンピュータを、
第1の映像中の複数の部分領域対の特徴量から算出された、映像の識別に用いる第1の視覚特徴量と、前記第1の映像が特定の映像である場合には前記特定の映像以外の映像である場合に比べて値が小さくなるように算出された、前記第1の視覚特徴量の信頼度を示す第1の信頼度情報と、第2の映像中の複数の部分領域対の特徴量から算出された、前記第2の映像の識別に用いる第2の視覚特徴量と、前記第2の映像が特定の映像である場合には前記特定の映像以外の映像である場合に比べて、より値が小さくなるように算出された、前記第2の視覚特徴量の信頼度を示す第2の信頼度情報とを用い、
前記第1の信頼度情報と前記第2の信頼度情報とに基づいて、照合パラメータを算出する照合パラメータ算出手段と、
前記第1の視覚特徴量と前記第2の視覚特徴量とを、前記照合パラメータに従って照合し、照合結果を出力する照合手段と
して機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010548399A JP4883227B2 (ja) | 2009-01-29 | 2010-01-20 | 映像識別子生成装置 |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009017808 | 2009-01-29 | ||
JP2009017808 | 2009-01-29 | ||
JP2010548399A JP4883227B2 (ja) | 2009-01-29 | 2010-01-20 | 映像識別子生成装置 |
PCT/JP2010/000283 WO2010087127A1 (ja) | 2009-01-29 | 2010-01-20 | 映像識別子生成装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011262739A Division JP2012109979A (ja) | 2009-01-29 | 2011-11-30 | 映像識別子生成装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP4883227B2 JP4883227B2 (ja) | 2012-02-22 |
JPWO2010087127A1 true JPWO2010087127A1 (ja) | 2012-08-02 |
Family
ID=42395393
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010548399A Active JP4883227B2 (ja) | 2009-01-29 | 2010-01-20 | 映像識別子生成装置 |
JP2011262739A Pending JP2012109979A (ja) | 2009-01-29 | 2011-11-30 | 映像識別子生成装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011262739A Pending JP2012109979A (ja) | 2009-01-29 | 2011-11-30 | 映像識別子生成装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US20110285904A1 (ja) |
EP (2) | EP2393290B1 (ja) |
JP (2) | JP4883227B2 (ja) |
KR (1) | KR101290023B1 (ja) |
CN (1) | CN102301697B (ja) |
WO (1) | WO2010087127A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5633647B2 (ja) * | 2011-06-13 | 2014-12-03 | 日本電気株式会社 | 映像処理システム、映像処理方法、映像処理用データベースの作成方法とそのデータベース、映像処理装置およびその制御方法と制御プログラム |
US20140152891A1 (en) * | 2012-12-05 | 2014-06-05 | Silicon Image, Inc. | Method and Apparatus for Reducing Digital Video Image Data |
CN104683815B (zh) * | 2014-11-19 | 2017-12-15 | 西安交通大学 | 一种基于内容的h.264压缩域视频检索方法 |
WO2017075493A1 (en) * | 2015-10-28 | 2017-05-04 | Ustudio, Inc. | Video frame difference engine |
KR101672224B1 (ko) | 2015-11-02 | 2016-11-03 | 한국지질자원연구원 | 탄산염 제조 및 이산화탄소의 저감을 위한 해수담수화 시스템 |
US11227160B2 (en) * | 2019-11-15 | 2022-01-18 | International Business Machines Corporation | Detecting scene transitions in video footage |
WO2023120244A1 (ja) * | 2021-12-24 | 2023-06-29 | ソニーグループ株式会社 | 伝送装置、伝送方法、およびプログラム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6215898B1 (en) * | 1997-04-15 | 2001-04-10 | Interval Research Corporation | Data processing system and method |
US6501794B1 (en) * | 2000-05-22 | 2002-12-31 | Microsoft Corporate | System and related methods for analyzing compressed media content |
DE60228202D1 (de) * | 2001-02-12 | 2008-09-25 | Gracenote Inc | Verfahren zum erzeugen einer identifikations hash vom inhalt einer multimedia datei |
JP2003134535A (ja) * | 2001-10-30 | 2003-05-09 | Nec Eng Ltd | 画質劣化検知システム |
JP2004208117A (ja) * | 2002-12-26 | 2004-07-22 | Nec Engineering Ltd | 字幕合成時における画質劣化検知システム |
JP4349160B2 (ja) * | 2004-03-05 | 2009-10-21 | 日本電気株式会社 | 画像類似度算出システム、画像検索システム、画像類似度算出方法および画像類似度算出用プログラム |
JP4696857B2 (ja) * | 2005-11-02 | 2011-06-08 | オムロン株式会社 | 顔照合装置 |
EP2036354A1 (en) * | 2006-06-20 | 2009-03-18 | Koninklijke Philips Electronics N.V. | Generating fingerprints of video signals |
JP4999570B2 (ja) * | 2007-06-18 | 2012-08-15 | キヤノン株式会社 | 表情認識装置及び方法、並びに撮像装置 |
JP2009017808A (ja) | 2007-07-11 | 2009-01-29 | Nippon Flour Mills Co Ltd | 製パン用小麦粉組成物及び製パン用穀粉組成物並びにこれらを使用したパン |
JP5034733B2 (ja) * | 2007-07-13 | 2012-09-26 | カシオ計算機株式会社 | 特徴点追跡装置及びプログラム |
JP2009075868A (ja) * | 2007-09-20 | 2009-04-09 | Toshiba Corp | 画像から対象を検出する装置、方法およびプログラム |
-
2010
- 2010-01-20 CN CN201080005606.4A patent/CN102301697B/zh active Active
- 2010-01-20 KR KR1020117017640A patent/KR101290023B1/ko active IP Right Grant
- 2010-01-20 EP EP10735599.2A patent/EP2393290B1/en active Active
- 2010-01-20 JP JP2010548399A patent/JP4883227B2/ja active Active
- 2010-01-20 EP EP11189664.3A patent/EP2423839B1/en active Active
- 2010-01-20 US US13/145,076 patent/US20110285904A1/en not_active Abandoned
- 2010-01-20 WO PCT/JP2010/000283 patent/WO2010087127A1/ja active Application Filing
-
2011
- 2011-11-30 JP JP2011262739A patent/JP2012109979A/ja active Pending
Also Published As
Publication number | Publication date |
---|---|
EP2423839B1 (en) | 2021-02-24 |
EP2393290A1 (en) | 2011-12-07 |
EP2423839A2 (en) | 2012-02-29 |
EP2393290A4 (en) | 2012-12-05 |
JP2012109979A (ja) | 2012-06-07 |
JP4883227B2 (ja) | 2012-02-22 |
KR101290023B1 (ko) | 2013-07-30 |
EP2393290B1 (en) | 2021-02-24 |
CN102301697B (zh) | 2015-07-01 |
WO2010087127A1 (ja) | 2010-08-05 |
CN102301697A (zh) | 2011-12-28 |
KR20110110252A (ko) | 2011-10-06 |
EP2423839A3 (en) | 2012-12-05 |
US20110285904A1 (en) | 2011-11-24 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5573131B2 (ja) | 映像識別子抽出装置および方法、映像識別子照合装置および方法、ならびにプログラム | |
JP4883227B2 (ja) | 映像識別子生成装置 | |
JP4725690B2 (ja) | 映像識別子抽出装置 | |
Galvan et al. | First quantization matrix estimation from double compressed JPEG images | |
JP4771906B2 (ja) | Jpeg圧縮履歴に関して画像を分類する方法 | |
US8995708B2 (en) | Apparatus and method for robust low-complexity video fingerprinting | |
JP5644505B2 (ja) | 照合加重情報抽出装置 | |
KR100683501B1 (ko) | 신경망 기법을 이용한 뉴스 비디오의 앵커 화면 추출 장치및 그 방법 | |
Pathak et al. | Video forgery detection based on variance in luminance and signal to noise ratio using LESH features and bispectral analysis | |
CN110568983B (zh) | 图像处理方法及装置 | |
Jang et al. | The Original Similarity Extraction Mechanism for Digital Content Copyright Protection in UCC Service Environment | |
KR101470191B1 (ko) | 지역적 극대 필터 및 지역적 극소 필터를 이용한 비디오 내의 블록 오류 고속 검출 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20111108 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20111121 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20141216 Year of fee payment: 3 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 4883227 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |