JPH0729007A - 映像特徴処理方法 - Google Patents

映像特徴処理方法

Info

Publication number
JPH0729007A
JPH0729007A JP5167889A JP16788993A JPH0729007A JP H0729007 A JPH0729007 A JP H0729007A JP 5167889 A JP5167889 A JP 5167889A JP 16788993 A JP16788993 A JP 16788993A JP H0729007 A JPH0729007 A JP H0729007A
Authority
JP
Japan
Prior art keywords
hue
value
shot
change
histogram
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP5167889A
Other languages
English (en)
Other versions
JP3419415B2 (ja
Inventor
Toru Sadakata
徹 定方
Yoshinobu Tonomura
佳伸 外村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP16788993A priority Critical patent/JP3419415B2/ja
Publication of JPH0729007A publication Critical patent/JPH0729007A/ja
Application granted granted Critical
Publication of JP3419415B2 publication Critical patent/JP3419415B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Analysis (AREA)

Abstract

(57)【要約】 【目的】 映像から自動的に抽出可能な特徴量を用い
て、映像のショット内の大きさを概覧するとともに、映
像を自動的に分類する。 【構成】 最初に、対象映像の各フレームRGBデータ
を色変換し、色相、彩度、明度の値にする。この色相値
から色相のヒストグラムを計測し、色相ヒストグラムか
ら各フレームの色相代表値を決定する。色相代表値から
各フレームの平均値Afと偏差Dfを求める。平均値A
fと偏差Dfのショット内での変化を特徴量Dallと
して各ショットを分類する。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明は、色特徴を用いて映像を
分類する方法に関する。
【0002】
【従来の技術】映像は情報量が多く、意味的にも多義性
を持っている。映像を便利に取り扱うためにはわかり易
い特徴量を映像の中から取り出し、似た映像を一つにま
とめる映像シーン分類が必要になっている。映像の1フ
レームから1フレームの特徴量を取り出し、内容を記述
したり、記述された内容を基に映像を自動分類するため
の研究がなされている(山根、GONG、佐藤、坂内
“映像シーン記述言語を用いたビデオシーン検出システ
ムについての一考察”信学会秋全大、D−282,19
92、佐藤、山根、GONG、坂内“シーン記述言語を
用いた動画像シーン分類”信学会秋全大、D−283,
1922)。
【0003】
【発明が解決しようとする課題】これらの方法では映像
の特徴量の取り出しは人手に頼っており、またショット
内の変化の大きさについて概覧することができない。ま
た、これらの方法では映像を自動的に分類することがで
きない。
【0004】本発明の目的は、映像から自動的に抽出可
能な特徴量を用いて、映像のショット内の大きさを概覧
することができるとともに映像を自動的に分類する映像
特徴処理方法を提供することである。
【0005】
【課題を解決するための手段】本発明の映像特徴抽出方
法は、カラー映像の数フレームからなる映像のショット
に対して、各該フレームを色相、彩度、明度のいずれか
またはそれらの組み合わせからなる情報に変換し、該情
報のヒストグラムを計測し、該ヒストグラムから前記フ
レームの平均値と偏差を求め、該平均値と該偏差のショ
ット内の変化量を求め、該変化量から映像の変化を表
し、該ショットを分類する。
【0006】
【作用】本発明は映像から自動的に抽出可能な特徴量を
用いて映像を自動的に分類する。また、抽出した特徴量
より映像のショット内の変化の大きさを概覧することが
できる。
【0007】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。以下に説明する例は、色変換にMTM変換
(宮原、吉田“色データ(R,G,B) (H,V,
C)数学的変換方法”、テレビ学誌Vol.43,N
o.10(1989))を用いたが、これはHSI、H
SV、HSL等、色相、彩度、明度へ変換する他の方法
を用いてもよい。また、以下に説明する例では色相を用
いて代表値を決定しているが、彩度や明度を併用して代
表値を決定してもよい。また、以下に説明する例では各
フレームの代表値の平均値、偏差を用いているが、各フ
レームのヒストグラムの平均値と偏差を用いてもよい。
【0008】ここでは、映像を分類するためにショット
内での映像の変化に着目する。ショット内で映像が変化
する場合、例えば、ショット内で写っているものが入れ
換わったり、カメラが動いたために映像の背景が変化し
たりする場合、色相ヒストグラムは大きく変化する。そ
こで、色相ヒストグラムの変化をみることでショット内
の映像の変化を表し、映像を分類する。図9に1ショッ
トの色相ヒストグラムの例を簡単な図で示す。横軸が時
間、縦軸が色相値を表す。各フレームのヒストグラムの
頻度を明暗で示してある。網掛けになっているところが
頻度の高いところを示している。図9(a)のようにシ
ョット内で映像の変化の小さいショットでは色相ヒスト
グラムの変化も少ない。逆に、図9(b)のようにショ
ット内で映像の変化の大きいショットでは色相ヒストグ
ラムの変化も多くなる。この変化をみることにより映像
をショット毎に分類する。
【0009】図1は本発明の一実施例の映像特徴処理方
法を示すフローチャートである。
【0010】まず、処理手順の概要を説明する。
【0011】最初に、対象映像の各フレームRGBデー
タを色変換し、色相、彩度、明度の値にする。この色相
値から色相のヒストグラムを計測し、色相ヒストグラム
から各フレームの色相代表値を決定する。色相代表値か
ら各フレームの平均値Afと偏差Dfを求める。平均値
Afと偏差Dfのショット内での変化を特徴量Dall
として各ショットを分類する。
【0012】以下に各処理の詳細を説明する。
【0013】○色変換 計算機の中で表現されている画像情報は計算機のフレー
ムバッファ等の関係からRGBで表現されていることが
多い。このRGB情報から、人間の感覚に近い色相、彩
度、明度の情報に色情報を変換する。ここでは、色変換
手法としてMTM変換を用いたが、これはHSI、HS
V、HSL等、RGB情報を色相、彩度、明度へ変換す
る他の方法を用いてもよい。また、画像情報が色相、彩
度、明度で表現されている場合はそのまま用いて構わな
い。
【0014】○色相ヒストグラムの計測 次に、変換された色相値を用いて各フレーム毎に色相ヒ
ストグラムを計算する。色相ヒストグラムの一例を図2
に示す。横軸は色相値である。色相は図3のように環状
に表現されているが、ここでは一次元の直線で表してい
る。縦軸は各々の色相値をとる画素数である。本実施例
では256×240画素の原画像を用いているので、画
素の総数は61440画素で一定である。
【0015】○代表値選択 次に、色相ヒストグラムから各フレームを特徴付ける色
相代表値を求める。本実施例では色相ヒストグラムの極
大値をフレームの色相代表値とする。
【0016】色相ヒストグラムの極大値を求める方法に
ついて詳しく述べる。色相ヒストグラムの一例を図4に
示す。色相ヒストグラムは、このままでは各色相値で微
小な変化があり、多くの極大値を持っている。そこで、
色相ヒストグラムの微小な変化を消し、大きな変化のみ
を検出するため次のような処理を行う。
【0017】まず、色相ヒストグラムを色相累積ヒスト
グラムに変換する。図5に累積ヒストグラムの一例を示
す。次に、色相値uからある色相幅d(u)をとったと
き一定画素数Tになるために必要な色相の幅d(u)を
計算する。関係式を以下に示す。
【0018】
【数1】 本実施例では一定画素数Tを全画素数(61440画
素)の10%である6144画素で計測した例で説明す
る。これは、極値の微小な変化がなくなればよく、適当
な値で構わない。次に、この関係式から色相値と幅の関
係について説明する。色相ヒストグラムにおいて画素数
の多い色相値では幅d(u)は小さくなり、色相ヒスト
グラムにおいて画素数が少ない色相値では幅d(u)は
大きくなる。図6に色相値uと幅d(u)のグラフを示
す。図4で大きな変化を持つ二つの極大値である色相値
が図6では極小値として表現される。このように、いく
つか表れる極小値hiを代表値とする。本実施例では、
これらの極小値のうち幅dが全色相値の1/10である
25.6以下の極小値を代表値とした。この処理を各フ
レームの色相ヒストグラム毎に行い各フレームの代表値
を求める。
【0019】○1フレームの色相代表値の平均値と偏差 1フレームの色相代表値から、フレームの代表値平均A
fと代表値の偏差Dfを以下のように求める。
【0020】
【数2】 偏差Dfは1フレーム内の代表色相値の散らばり具合を
表す。図7に例を示す。図7(a)のように代表色相値
が一つの場合は代表値=平均値であり、偏差はもちろん
0である。また、図7の(b),(c)のように代表値
が二つの場合は平均値は二つの代表値の中点になる。図
7(b),(c)では平均値は同じ値である二つの代表
値がそれぞれ異なるため、偏差に違いが出ている。二つ
の代表値の値が図7(b)のように近い場合は偏差が小
さくなる。図7(c)のように二つの代表値が離れてい
る場合には偏差が大きくなる。
【0021】ショット内で各フレームの色相ヒストグラ
ムの形の変化が少なければ各フレームでの平均値、偏差
のショット内での変化は少なくなる。逆に、ショット内
でヒストグラムの変化が大きければ、平均値や分散値の
片方あるいは両方がショット内で大きく変化する。A
f,Dfのショット内の変化を観察することによって色
相ヒストグラムの変化をみる。
【0022】○ショット内の平均値と偏差 ショット内で各フレームの色相ヒストグラムの形の変化
が少なければ各フレームでの平均値、偏差のショット内
での変化は少なくなる。逆に、ショット内でヒストグラ
ムの変化が大きければ、平均値や分散値の片方あるいは
両方がショット内で大きく変化する。Af,Dfのショ
ット内の変化を観察することによって色相ヒストグラム
の変化をみる。
【0023】ショット内において、各フレームの平均値
Afの平均をAaf、偏差をDafを以下のように求め
る。また、ショット内において、各フレームの偏差値D
fの平均をAdf、偏差をDdfを以下にように求め
る。
【0024】
【数3】 ショット内で各フレームの色相ヒストグラムの形の変化
が少なければ各フレームでの平均値、偏差のショット内
での変化は少なくなるため、Daf,Ddfはともに小
さな値をとる。逆に、ショット内でヒストグラムの変化
が大きければ、平均値や偏差値の片方あるいは両方がシ
ョット内で大きく変化するため、Daf,Ddfの片方
あるいは両方が大きな値となる。そこで、ヒストグラム
の変化をみるためのパラメータとしてDafとDdfの
和の値Dallを定義する。
【0025】Dall=Daf+Ddf ○パラメータを用いた分類 次に、Dallを用いて映像の変化を表す。図8に15
8秒(4744フレーム)、44ショットの各ショット
とDallの関係を示す。変化の大きいショットと小さ
いショットを分類するために閾値を用いても構わない。
閾値の決定方法として映像全体のショットのDallの
値の平均値や平均値に一定の分散値を加えたもの、平均
値の数倍の値等が考えられる。また、一定の閾値を用い
ることも考えられる。本実施例では一定値の40を用い
た。ショット11,14,17,18,39等は映像の
変化の大きいショットに分類される。
【0026】
【発明の効果】以上説明したように本発明は、映像の色
特徴を用い映像のショット内の変化に着目しショット毎
の分類を行うことにより、映像の再利用を考えたときに
映像のショット内の変化の大きさを概覧することがで
き、またこれらの特徴量を用いてショット毎の変化の大
きさにより映像を自動的に分類できる効果がある。
【図面の簡単な説明】
【図1】本発明の一実施例の映像特徴処理方法を示すフ
ローチャートである。
【図2】色相ヒストグラムの一例を示す図である。
【図3】色相値説明のための色相環の説明図である。
【図4】色相ヒストグラムの一例とその中の極大値の説
明図である。
【図5】幅を計算するために用いる色相の累積ヒストグ
ラムの一例を示す図である。
【図6】色相値と幅dのグラフである。
【図7】各フレームの色相代表値と平均値、偏差の説明
図である。
【図8】Dallを用いた分類結果の一例を示す図であ
る。
【図9】変化の小さい色相のヒストグラムと変化の大き
い色相のヒストグラムの例を示す図である。
───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.6 識別記号 庁内整理番号 FI 技術表示箇所 H04N 9/79 7734−5C H04N 5/91 N 9/79 K

Claims (1)

    【特許請求の範囲】
  1. 【請求項1】 カラー映像の数フレームからなる映像の
    ショットに対して、各該フレームを色相、彩度、明度の
    いずれかまたはそれらの組み合わせからなる情報に変換
    し、該情報のヒストグラムを計測し、該ヒストグラムか
    ら前記フレームの平均値と偏差を求め、該平均値と該偏
    差のショット内の変化量を求め、該変化量から映像の変
    化を表し、該ショットを分類する映像特徴処理方法。
JP16788993A 1993-07-07 1993-07-07 映像特徴処理方法 Expired - Fee Related JP3419415B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP16788993A JP3419415B2 (ja) 1993-07-07 1993-07-07 映像特徴処理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP16788993A JP3419415B2 (ja) 1993-07-07 1993-07-07 映像特徴処理方法

Publications (2)

Publication Number Publication Date
JPH0729007A true JPH0729007A (ja) 1995-01-31
JP3419415B2 JP3419415B2 (ja) 2003-06-23

Family

ID=15857950

Family Applications (1)

Application Number Title Priority Date Filing Date
JP16788993A Expired - Fee Related JP3419415B2 (ja) 1993-07-07 1993-07-07 映像特徴処理方法

Country Status (1)

Country Link
JP (1) JP3419415B2 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001082131A1 (fr) * 2000-04-25 2001-11-01 Mitsubishi Denki Kabushiki Kaisha Dispositif d'extraction d'informations
JP2009205610A (ja) * 2008-02-29 2009-09-10 Nikon Systems Inc 画像分類装置、画像分類方法、画像分類プログラム及び記憶媒体
JP2010015588A (ja) * 2009-08-27 2010-01-21 Kddi R & D Laboratories Inc 動画像データの分類装置
JP2010225172A (ja) * 2003-07-04 2010-10-07 Mitsubishi Electric R&D Centre Europe Bv 画像グループの表現方法、画像グループの記述子、画像グループの探索方法、コンピュータ読み取り可能な記憶媒体およびコンピュータシステム
JP2011192316A (ja) * 1999-04-29 2011-09-29 Mitsubishi Electric R&D Centre Europe Bv カラー画像を探索する方法、カラー画像を探索する装置、制御装置、画像を探索するシステム、機械読取り可能媒体、カラー画像を表現する方法、コンピュータシステム、コンピュータプログラム、並びにコンピュータ読取り可能媒体
CN108337448A (zh) * 2018-04-12 2018-07-27 Oppo广东移动通信有限公司 高动态范围图像获取方法、装置、终端设备及存储介质

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011192316A (ja) * 1999-04-29 2011-09-29 Mitsubishi Electric R&D Centre Europe Bv カラー画像を探索する方法、カラー画像を探索する装置、制御装置、画像を探索するシステム、機械読取り可能媒体、カラー画像を表現する方法、コンピュータシステム、コンピュータプログラム、並びにコンピュータ読取り可能媒体
WO2001082131A1 (fr) * 2000-04-25 2001-11-01 Mitsubishi Denki Kabushiki Kaisha Dispositif d'extraction d'informations
JP2001306579A (ja) * 2000-04-25 2001-11-02 Mitsubishi Electric Corp 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体
JP2010225172A (ja) * 2003-07-04 2010-10-07 Mitsubishi Electric R&D Centre Europe Bv 画像グループの表現方法、画像グループの記述子、画像グループの探索方法、コンピュータ読み取り可能な記憶媒体およびコンピュータシステム
JP2009205610A (ja) * 2008-02-29 2009-09-10 Nikon Systems Inc 画像分類装置、画像分類方法、画像分類プログラム及び記憶媒体
JP2010015588A (ja) * 2009-08-27 2010-01-21 Kddi R & D Laboratories Inc 動画像データの分類装置
CN108337448A (zh) * 2018-04-12 2018-07-27 Oppo广东移动通信有限公司 高动态范围图像获取方法、装置、终端设备及存储介质

Also Published As

Publication number Publication date
JP3419415B2 (ja) 2003-06-23

Similar Documents

Publication Publication Date Title
EP3477931B1 (en) Image processing method and device, readable storage medium and electronic device
Gaubatz et al. Automatic red-eye detection and correction
US7254268B2 (en) Object extraction
JP4234195B2 (ja) 画像分割方法および画像分割システム
TWI431549B (zh) Image processing apparatus and method and computer program product
US8983202B2 (en) Smile detection systems and methods
US20020186881A1 (en) Image background replacement method
WO2012120697A1 (ja) 画像処理装置、画像処理方法、および制御プログラム
US8922674B2 (en) Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras
US8611586B1 (en) Fast target extraction from thermal imagery
JP2012088787A (ja) 画像処理装置、画像処理方法
JP2004310475A (ja) 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム
EP2795904B1 (en) Method and system for color adjustment
JP3486229B2 (ja) 画像変化検出装置
JP3459950B2 (ja) 顔検出及び顔追跡方法並びにその装置
CN110866889A (zh) 一种监控系统中的多相机数据融合方法
TWI255429B (en) Method for adjusting image acquisition parameters to optimize objection extraction
JPH0729007A (ja) 映像特徴処理方法
JP5272775B2 (ja) 電子スチルカメラ
JP2009038737A (ja) 画像処理装置
Petrovic Multilevel image fusion
JP2721107B2 (ja) 映像特徴処理方法
JPH09130714A (ja) 画像情報抽出装置および方法
JP2007080136A (ja) 画像内に表現された被写体の特定
CN115100240A (zh) 视频中的物体追踪方法及装置、电子设备、存储介质

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090418

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090418

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100418

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100418

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110418

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120418

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees