JPH0729007A - 映像特徴処理方法 - Google Patents
映像特徴処理方法Info
- Publication number
- JPH0729007A JPH0729007A JP5167889A JP16788993A JPH0729007A JP H0729007 A JPH0729007 A JP H0729007A JP 5167889 A JP5167889 A JP 5167889A JP 16788993 A JP16788993 A JP 16788993A JP H0729007 A JPH0729007 A JP H0729007A
- Authority
- JP
- Japan
- Prior art keywords
- hue
- value
- shot
- change
- histogram
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
Landscapes
- Image Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Image Analysis (AREA)
Abstract
て、映像のショット内の大きさを概覧するとともに、映
像を自動的に分類する。 【構成】 最初に、対象映像の各フレームRGBデータ
を色変換し、色相、彩度、明度の値にする。この色相値
から色相のヒストグラムを計測し、色相ヒストグラムか
ら各フレームの色相代表値を決定する。色相代表値から
各フレームの平均値Afと偏差Dfを求める。平均値A
fと偏差Dfのショット内での変化を特徴量Dallと
して各ショットを分類する。
Description
分類する方法に関する。
を持っている。映像を便利に取り扱うためにはわかり易
い特徴量を映像の中から取り出し、似た映像を一つにま
とめる映像シーン分類が必要になっている。映像の1フ
レームから1フレームの特徴量を取り出し、内容を記述
したり、記述された内容を基に映像を自動分類するため
の研究がなされている(山根、GONG、佐藤、坂内
“映像シーン記述言語を用いたビデオシーン検出システ
ムについての一考察”信学会秋全大、D−282,19
92、佐藤、山根、GONG、坂内“シーン記述言語を
用いた動画像シーン分類”信学会秋全大、D−283,
1922)。
の特徴量の取り出しは人手に頼っており、またショット
内の変化の大きさについて概覧することができない。ま
た、これらの方法では映像を自動的に分類することがで
きない。
能な特徴量を用いて、映像のショット内の大きさを概覧
することができるとともに映像を自動的に分類する映像
特徴処理方法を提供することである。
法は、カラー映像の数フレームからなる映像のショット
に対して、各該フレームを色相、彩度、明度のいずれか
またはそれらの組み合わせからなる情報に変換し、該情
報のヒストグラムを計測し、該ヒストグラムから前記フ
レームの平均値と偏差を求め、該平均値と該偏差のショ
ット内の変化量を求め、該変化量から映像の変化を表
し、該ショットを分類する。
用いて映像を自動的に分類する。また、抽出した特徴量
より映像のショット内の変化の大きさを概覧することが
できる。
て説明する。以下に説明する例は、色変換にMTM変換
(宮原、吉田“色データ(R,G,B) (H,V,
C)数学的変換方法”、テレビ学誌Vol.43,N
o.10(1989))を用いたが、これはHSI、H
SV、HSL等、色相、彩度、明度へ変換する他の方法
を用いてもよい。また、以下に説明する例では色相を用
いて代表値を決定しているが、彩度や明度を併用して代
表値を決定してもよい。また、以下に説明する例では各
フレームの代表値の平均値、偏差を用いているが、各フ
レームのヒストグラムの平均値と偏差を用いてもよい。
内での映像の変化に着目する。ショット内で映像が変化
する場合、例えば、ショット内で写っているものが入れ
換わったり、カメラが動いたために映像の背景が変化し
たりする場合、色相ヒストグラムは大きく変化する。そ
こで、色相ヒストグラムの変化をみることでショット内
の映像の変化を表し、映像を分類する。図9に1ショッ
トの色相ヒストグラムの例を簡単な図で示す。横軸が時
間、縦軸が色相値を表す。各フレームのヒストグラムの
頻度を明暗で示してある。網掛けになっているところが
頻度の高いところを示している。図9(a)のようにシ
ョット内で映像の変化の小さいショットでは色相ヒスト
グラムの変化も少ない。逆に、図9(b)のようにショ
ット内で映像の変化の大きいショットでは色相ヒストグ
ラムの変化も多くなる。この変化をみることにより映像
をショット毎に分類する。
法を示すフローチャートである。
タを色変換し、色相、彩度、明度の値にする。この色相
値から色相のヒストグラムを計測し、色相ヒストグラム
から各フレームの色相代表値を決定する。色相代表値か
ら各フレームの平均値Afと偏差Dfを求める。平均値
Afと偏差Dfのショット内での変化を特徴量Dall
として各ショットを分類する。
ムバッファ等の関係からRGBで表現されていることが
多い。このRGB情報から、人間の感覚に近い色相、彩
度、明度の情報に色情報を変換する。ここでは、色変換
手法としてMTM変換を用いたが、これはHSI、HS
V、HSL等、RGB情報を色相、彩度、明度へ変換す
る他の方法を用いてもよい。また、画像情報が色相、彩
度、明度で表現されている場合はそのまま用いて構わな
い。
ストグラムを計算する。色相ヒストグラムの一例を図2
に示す。横軸は色相値である。色相は図3のように環状
に表現されているが、ここでは一次元の直線で表してい
る。縦軸は各々の色相値をとる画素数である。本実施例
では256×240画素の原画像を用いているので、画
素の総数は61440画素で一定である。
相代表値を求める。本実施例では色相ヒストグラムの極
大値をフレームの色相代表値とする。
ついて詳しく述べる。色相ヒストグラムの一例を図4に
示す。色相ヒストグラムは、このままでは各色相値で微
小な変化があり、多くの極大値を持っている。そこで、
色相ヒストグラムの微小な変化を消し、大きな変化のみ
を検出するため次のような処理を行う。
グラムに変換する。図5に累積ヒストグラムの一例を示
す。次に、色相値uからある色相幅d(u)をとったと
き一定画素数Tになるために必要な色相の幅d(u)を
計算する。関係式を以下に示す。
素)の10%である6144画素で計測した例で説明す
る。これは、極値の微小な変化がなくなればよく、適当
な値で構わない。次に、この関係式から色相値と幅の関
係について説明する。色相ヒストグラムにおいて画素数
の多い色相値では幅d(u)は小さくなり、色相ヒスト
グラムにおいて画素数が少ない色相値では幅d(u)は
大きくなる。図6に色相値uと幅d(u)のグラフを示
す。図4で大きな変化を持つ二つの極大値である色相値
が図6では極小値として表現される。このように、いく
つか表れる極小値hiを代表値とする。本実施例では、
これらの極小値のうち幅dが全色相値の1/10である
25.6以下の極小値を代表値とした。この処理を各フ
レームの色相ヒストグラム毎に行い各フレームの代表値
を求める。
fと代表値の偏差Dfを以下のように求める。
表す。図7に例を示す。図7(a)のように代表色相値
が一つの場合は代表値=平均値であり、偏差はもちろん
0である。また、図7の(b),(c)のように代表値
が二つの場合は平均値は二つの代表値の中点になる。図
7(b),(c)では平均値は同じ値である二つの代表
値がそれぞれ異なるため、偏差に違いが出ている。二つ
の代表値の値が図7(b)のように近い場合は偏差が小
さくなる。図7(c)のように二つの代表値が離れてい
る場合には偏差が大きくなる。
ムの形の変化が少なければ各フレームでの平均値、偏差
のショット内での変化は少なくなる。逆に、ショット内
でヒストグラムの変化が大きければ、平均値や分散値の
片方あるいは両方がショット内で大きく変化する。A
f,Dfのショット内の変化を観察することによって色
相ヒストグラムの変化をみる。
が少なければ各フレームでの平均値、偏差のショット内
での変化は少なくなる。逆に、ショット内でヒストグラ
ムの変化が大きければ、平均値や分散値の片方あるいは
両方がショット内で大きく変化する。Af,Dfのショ
ット内の変化を観察することによって色相ヒストグラム
の変化をみる。
Afの平均をAaf、偏差をDafを以下のように求め
る。また、ショット内において、各フレームの偏差値D
fの平均をAdf、偏差をDdfを以下にように求め
る。
が少なければ各フレームでの平均値、偏差のショット内
での変化は少なくなるため、Daf,Ddfはともに小
さな値をとる。逆に、ショット内でヒストグラムの変化
が大きければ、平均値や偏差値の片方あるいは両方がシ
ョット内で大きく変化するため、Daf,Ddfの片方
あるいは両方が大きな値となる。そこで、ヒストグラム
の変化をみるためのパラメータとしてDafとDdfの
和の値Dallを定義する。
8秒(4744フレーム)、44ショットの各ショット
とDallの関係を示す。変化の大きいショットと小さ
いショットを分類するために閾値を用いても構わない。
閾値の決定方法として映像全体のショットのDallの
値の平均値や平均値に一定の分散値を加えたもの、平均
値の数倍の値等が考えられる。また、一定の閾値を用い
ることも考えられる。本実施例では一定値の40を用い
た。ショット11,14,17,18,39等は映像の
変化の大きいショットに分類される。
特徴を用い映像のショット内の変化に着目しショット毎
の分類を行うことにより、映像の再利用を考えたときに
映像のショット内の変化の大きさを概覧することがで
き、またこれらの特徴量を用いてショット毎の変化の大
きさにより映像を自動的に分類できる効果がある。
ローチャートである。
明図である。
ラムの一例を示す図である。
図である。
る。
い色相のヒストグラムの例を示す図である。
Claims (1)
- 【請求項1】 カラー映像の数フレームからなる映像の
ショットに対して、各該フレームを色相、彩度、明度の
いずれかまたはそれらの組み合わせからなる情報に変換
し、該情報のヒストグラムを計測し、該ヒストグラムか
ら前記フレームの平均値と偏差を求め、該平均値と該偏
差のショット内の変化量を求め、該変化量から映像の変
化を表し、該ショットを分類する映像特徴処理方法。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16788993A JP3419415B2 (ja) | 1993-07-07 | 1993-07-07 | 映像特徴処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP16788993A JP3419415B2 (ja) | 1993-07-07 | 1993-07-07 | 映像特徴処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH0729007A true JPH0729007A (ja) | 1995-01-31 |
JP3419415B2 JP3419415B2 (ja) | 2003-06-23 |
Family
ID=15857950
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP16788993A Expired - Fee Related JP3419415B2 (ja) | 1993-07-07 | 1993-07-07 | 映像特徴処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3419415B2 (ja) |
Cited By (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001082131A1 (fr) * | 2000-04-25 | 2001-11-01 | Mitsubishi Denki Kabushiki Kaisha | Dispositif d'extraction d'informations |
JP2009205610A (ja) * | 2008-02-29 | 2009-09-10 | Nikon Systems Inc | 画像分類装置、画像分類方法、画像分類プログラム及び記憶媒体 |
JP2010015588A (ja) * | 2009-08-27 | 2010-01-21 | Kddi R & D Laboratories Inc | 動画像データの分類装置 |
JP2010225172A (ja) * | 2003-07-04 | 2010-10-07 | Mitsubishi Electric R&D Centre Europe Bv | 画像グループの表現方法、画像グループの記述子、画像グループの探索方法、コンピュータ読み取り可能な記憶媒体およびコンピュータシステム |
JP2011192316A (ja) * | 1999-04-29 | 2011-09-29 | Mitsubishi Electric R&D Centre Europe Bv | カラー画像を探索する方法、カラー画像を探索する装置、制御装置、画像を探索するシステム、機械読取り可能媒体、カラー画像を表現する方法、コンピュータシステム、コンピュータプログラム、並びにコンピュータ読取り可能媒体 |
CN108337448A (zh) * | 2018-04-12 | 2018-07-27 | Oppo广东移动通信有限公司 | 高动态范围图像获取方法、装置、终端设备及存储介质 |
-
1993
- 1993-07-07 JP JP16788993A patent/JP3419415B2/ja not_active Expired - Fee Related
Cited By (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011192316A (ja) * | 1999-04-29 | 2011-09-29 | Mitsubishi Electric R&D Centre Europe Bv | カラー画像を探索する方法、カラー画像を探索する装置、制御装置、画像を探索するシステム、機械読取り可能媒体、カラー画像を表現する方法、コンピュータシステム、コンピュータプログラム、並びにコンピュータ読取り可能媒体 |
WO2001082131A1 (fr) * | 2000-04-25 | 2001-11-01 | Mitsubishi Denki Kabushiki Kaisha | Dispositif d'extraction d'informations |
JP2001306579A (ja) * | 2000-04-25 | 2001-11-02 | Mitsubishi Electric Corp | 情報検索装置、情報検索方法およびその方法をコンピュータに実行させるプログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2010225172A (ja) * | 2003-07-04 | 2010-10-07 | Mitsubishi Electric R&D Centre Europe Bv | 画像グループの表現方法、画像グループの記述子、画像グループの探索方法、コンピュータ読み取り可能な記憶媒体およびコンピュータシステム |
JP2009205610A (ja) * | 2008-02-29 | 2009-09-10 | Nikon Systems Inc | 画像分類装置、画像分類方法、画像分類プログラム及び記憶媒体 |
JP2010015588A (ja) * | 2009-08-27 | 2010-01-21 | Kddi R & D Laboratories Inc | 動画像データの分類装置 |
CN108337448A (zh) * | 2018-04-12 | 2018-07-27 | Oppo广东移动通信有限公司 | 高动态范围图像获取方法、装置、终端设备及存储介质 |
Also Published As
Publication number | Publication date |
---|---|
JP3419415B2 (ja) | 2003-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3477931B1 (en) | Image processing method and device, readable storage medium and electronic device | |
Gaubatz et al. | Automatic red-eye detection and correction | |
US7254268B2 (en) | Object extraction | |
JP4234195B2 (ja) | 画像分割方法および画像分割システム | |
TWI431549B (zh) | Image processing apparatus and method and computer program product | |
US8983202B2 (en) | Smile detection systems and methods | |
US20020186881A1 (en) | Image background replacement method | |
WO2012120697A1 (ja) | 画像処理装置、画像処理方法、および制御プログラム | |
US8922674B2 (en) | Method and system for facilitating color balance synchronization between a plurality of video cameras and for obtaining object tracking between two or more video cameras | |
US8611586B1 (en) | Fast target extraction from thermal imagery | |
JP2012088787A (ja) | 画像処理装置、画像処理方法 | |
JP2004310475A (ja) | 画像処理装置、画像処理を行う携帯電話、および画像処理プログラム | |
EP2795904B1 (en) | Method and system for color adjustment | |
JP3486229B2 (ja) | 画像変化検出装置 | |
JP3459950B2 (ja) | 顔検出及び顔追跡方法並びにその装置 | |
CN110866889A (zh) | 一种监控系统中的多相机数据融合方法 | |
TWI255429B (en) | Method for adjusting image acquisition parameters to optimize objection extraction | |
JPH0729007A (ja) | 映像特徴処理方法 | |
JP5272775B2 (ja) | 電子スチルカメラ | |
JP2009038737A (ja) | 画像処理装置 | |
Petrovic | Multilevel image fusion | |
JP2721107B2 (ja) | 映像特徴処理方法 | |
JPH09130714A (ja) | 画像情報抽出装置および方法 | |
JP2007080136A (ja) | 画像内に表現された被写体の特定 | |
CN115100240A (zh) | 视频中的物体追踪方法及装置、电子设备、存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090418 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090418 Year of fee payment: 6 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100418 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100418 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110418 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120418 Year of fee payment: 9 |
|
LAPS | Cancellation because of no payment of annual fees |