JPH09200704A

JPH09200704A - 動画像抽出装置

Info

Publication number: JPH09200704A
Application number: JP484396A
Authority: JP
Inventors: Iwao Abiru; 巌阿比留
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1996-01-16
Filing date: 1996-01-16
Publication date: 1997-07-31

Abstract

(57)【要約】【課題】動画像の画像を抽出するとき、画像内符号化
画像だけでなく前方向予測画像をも抽出することで、高
速再生のとき、滑らかな動画像を得る。【解決手段】画像抽出装置４が、キーフレーム位置情
報蓄積装置３から画像内符号化画像の位置を取得し、動
画像蓄積装置１から動画像を抽出するだけでなく、前方
向予測画像位置指定装置６がキーフレーム位置情報蓄積
装置３の情報により前方向予測画像の位置を割り出し、
画像抽出装置４に通知することで、画像抽出装置４が動
画像蓄積装置１から前方向予測画像を抽出することがで
きる。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、画像内符号化画像
と前方向予測画像と双方向予測画像から構成される動画
像を格納し、そのうちのある種類の画像を抽出すること
で情報量を削減し、高速再生を可能にするような動画像
再生装置に利用される動画像抽出装置に関するものであ
る。

【０００２】

【従来の技術】従来、ＭＰＥＧ(Moving Picture Coding
Experts Group)方式などで圧縮された動画像のような
画像内符号化画像，前方向予測画像，双方向予測画像か
ら構成される動画像を高速再生させる場合は、単位時間
あたりの情報量(情報速度)を抑えるために画像情報を間
引いている。この場合、他の画像と無関係である画像内
符号化画像のみを使用する。例えば、特開平７−154733
号公報では、ビデオディスクに動画像を格納したときの
高速再生の方法が記載されている。

【０００３】図10は従来の動画像抽出装置12の構成を示
すブロック図である。図10において、１は画像内符号化
画像，前方向予測画像，双方向予測画像から構成される
動画像を蓄積するハードディスクなどを用いた動画像蓄
積装置、２は動画像が動画像蓄積装置１のどの位置(ハ
ードディスクの場合はセクタ番号など)に格納されてい
るかを蓄積している動画像位置情報蓄積装置、３は動画
像のキーフレームである画像内符号化画像の位置を保持
しているキーフレーム位置情報蓄積装置、４は、キーフ
レーム位置情報蓄積装置３からキーフレームの位置を取
得し、動画像蓄積装置１からキーフレームを抽出する画
像抽出装置、５は画像抽出装置４の抽出した画像を出力
する出力装置である。

【０００４】前記動画像位置情報蓄積装置２は、動画像
蓄積装置１内の動画像の位置である通し番号(セクタ番
号など)を図11に例示する蓄積位置管理表(1)などで管理
している。また、前記キーフレーム位置情報蓄積装置３
は、動画像蓄積装置１内のキーフレームが蓄積されてい
る位置である通し番号を保持している図11に例示する蓄
積位置管理表(1)のインデックスをキーフレーム管理表
(2)により、蓄積している。これら蓄積位置管理表(1)と
キーフレーム管理表(2)の関係は図11に示すようになっ
ている。

【０００５】以上のような構成の動画像抽出装置12の動
作を説明すると、画像抽出装置４は、まず動画像位置情
報蓄積装置２からの動画像の位置情報である図11の蓄積
位置管理表(1)を受け取る。次に、画像抽出装置４はキ
ーフレーム位置情報蓄積装置３から図11のフレーム管理
表(2)のインデックスを取り出し、動画像位置情報蓄積
装置２から得た蓄積位置管理表(1)を引き、キーフレー
ムの位置を取得する。その後、動画像蓄積装置１からキ
ーフレームを取り出し、出力装置５に出力する。

【０００６】

【発明が解決しようとする課題】しかしながら、図10に
示す従来の動画像抽出装置では画像内符号化画像のみ出
力されるので、その画像を復号化した動画像はとびとび
の画像しか得られないので、滑らかな画像を得ることが
できないという問題があった。

【０００７】本発明は、上記従来の課題を解決するもの
で、動画像を構成する画像符号化画像だけでなく前方向
予測画像，双方向予測画像も出力することにより、より
滑らかな動画像の再生を行う動画像抽出装置の提供を目
的とするものである。

【０００８】

【課題を解決するための手段】本発明は上記課題を解決
し目的を達成するために、第１の手段は、画像内符号化
画像と前方向予測画像と双方向予測画像から構成される
動画像を格納する動画像蓄積装置と、前記動画像蓄積装
置内の動画像の位置情報を格納する動画像位置情報蓄積
装置と、前記動画像蓄積装置の中の画像内符号化画像の
位置を格納するキーフレーム位置情報蓄積装置と、前記
キーフレーム位置情報蓄積装置の位置情報から前方向予
測画像の位置を計算する前方向予測画像位置指定装置
と、前記動画像蓄積装置の中の画像内符号化画像を前記
キーフレーム位置情報蓄積装置の画像内符号化画像の位
置情報により取り出し、前記前方向予測画像位置指定装
置の前方向予測画像位置により前記動画像蓄積装置から
前方向予測画像を取り出す画像抽出装置と、前記画像抽
出装置が抽出した動画像を出力する出力装置とを有す
る。

【０００９】第１の手段によれば、まず、動画像位置情
報蓄積装置が動画像抽出装置に動画像の位置情報を出力
する。次に、キーフレーム位置情報蓄積装置が画像内符
号化画像の位置を画像抽出装置に通知し、画像抽出装置
は、動画像位置情報蓄積装置からの位置情報により動画
像蓄積装置から画像内符号化画像を抽出し、出力装置に
出力する。また、前方向予測画像位置指定装置は、キー
フレーム位置情報蓄積装置からの画像内符号化画像の位
置により前方向予測画像の位置を割り出し、画像抽出装
置に出力する。この画像抽出装置は、動画像蓄積装置か
ら画像を抽出し、出力装置に出力する。出力装置は入力
された画像を出力する。このように画像内符号化画像と
前方向予測画像を出力することで、滑らかな動画像を出
力することができる。

【００１０】また、本発明の第２の手段は、動画像中の
画像内符号化画像と前方向予測画像と双方向予測画像の
並び順である画像パターンと各画像の大きさの平均値を
格納する動画像符号化情報蓄積装置と、前記動画像符号
化情報蓄積装置から画像パターンと各画像の大きさの平
均値から前方向予測画像の予測位置を割り出す前方向予
測画像位置指定装置とを有する。

【００１１】本発明の第２の手段によれば、動画像符号
化情報蓄積装置が動画像の符号化情報を前方向予測画像
位置指定装置に出力し、この前方向位置指定装置がその
符号化情報から前方向予測画像の位置を割り出すこと
で、画像抽出装置が前方向予測画像を抽出する確率を向
上させ、より滑らかな動画像を出力できる。

【００１２】また、本発明の第３の手段は、動画像位置
情報蓄積装置の動画像位置情報により動画像蓄積装置か
ら動画像を取得し、画像内符号化画像と前方向予測画像
とを抽出する走査画像抽出装置と前記動画像蓄積装置の
負荷と動画像蓄積装置の最大負荷を比較し、画像抽出装
置と走査画像抽出装置を切り替える負荷判定装置とを有
する。

【００１３】本発明の第３の手段によれば、負荷判定装
置が動画像蓄積装置の負荷を監視し、この動画像蓄積装
置に余裕がある場合は、走査画像抽出装置が動画像蓄積
装置から動画像を取得し、そこから画像内符号化画像と
前方向予測画像を抽出することにより、より滑らかな動
画像を出力することができる。

【００１４】本発明の第４の手段は、画像抽出装置が抽
出する単位時間あたりの動画像の情報量を保持する抽出
速度保持装置と、前記抽出速度保持装置の保持する情報
量と出力装置の単位時間あたりの出力情報量の最大値と
比較し、画像抽出装置から受け取った動画像を取捨選択
し出力装置に出力する情報量制限装置とを有する。

【００１５】本発明の第４の手段によれば、抽出速度保
持装置は画像抽出装置が抽出する画像の情報量を保持し
ており、その情報量を情報量制限装置に出力する。そし
て情報量制限装置が、出力装置の情報量の制限を超えた
場合、画像を破棄するので、出力装置の出力情報量の制
限がある場合でも、滑らかな画像を出力することができ
る。

【００１６】

【発明の実施の形態】以下、本発明の各実施の形態につ
いて図１から図９を用いて説明する。

【００１７】（実施の形態１）図１は本発明の実施の形
態１における動画像抽出装置の構成を示すブロック図、
図２は図１の画像抽出装置の構成を示すブロック図であ
る。

【００１８】図１および図２において、前記従来例の図
10の動画像抽出装置12とほぼ同じ機能のブロック図には
同じ符号を付し、その説明を省略する。ここで、６はキ
ーフレーム位置情報蓄積装置３からの情報により前方向
予測画像位置を割り出す前方向予測画像位置指定装置で
ある。

【００１９】なお、画像抽出装置４はキーフレーム位置
情報蓄積装置３と前方向予測画像位置指定装置６からの
情報により動画像蓄積装置１から画像を抽出するもので
ある。

【００２０】この画像抽出装置４は図２に示すように動
画像蓄積装置１から動画像を取得する画像取得部41、キ
ーフレーム位置情報蓄積装置３からキーフレーム位置を
取得するキーフレーム位置取得部42、前方向予測画像位
置指定装置６から前方向予測画像の位置を取得する前方
向予測画像位置取得部43、および取得した画像が前方向
予測画像かどうかを判定する前方向予測画像判定部44と
から構成される。

【００２１】以上のように構成された図１の動画像抽出
装置の動作を図11を用いて説明する。

【００２２】まず、画像抽出装置４は動画像位置情報蓄
積装置２から蓄積位置管理表(1)(図11)を取得する。そ
の後、画像抽出装置４はキーフレーム位置情報蓄積装置
３から画像内符号化画像のインデックス(2)(図11)を、
前方向予測画像位置指定装置６からは前方向予測画像の
インデックスを取得し、前記蓄積位置管理表(1)を用い
て動画像蓄積装置の中の動画像の位置を取り出し、画像
を取得する。取得した画像を出力装置５に出力する。

【００２３】前方向予測画像位置指定装置６は、キーフ
レーム位置情報蓄積装置３からキーフレームのインデッ
クスが入力される。そして、前方向予測画像位置指定装
置６は、最後にキーフレーム位置情報蓄積装置３から入
力されたインデックスを記憶しており、そのインデック
スと今回入力されたインデックスの平均をとり、つま
り、前回インデックスと今回インデックスの中間である
値を、前方向予測画像位置として画像抽出位置４に出力
する。なお、画像内符号化画像，前方向予測画像，双方
向予測画像のシーケンスである画像パターンにばらつき
がある場合は、インデックスの平均でなく、インデック
スの値の間のランダム値を発生させることも有効であ
る。

【００２４】次に画像抽出装置の動作を図２を用いて説
明する。まず、キーフレーム位置取得部42は、キーフレ
ーム位置情報蓄積装置３から画像内符号化画像のインデ
ックスを取得する。画像取得部41は、キーフレーム位置
取得部42から前記インデックスを受け取り動画像位置情
報蓄積装置２と動画像蓄積装置１を使用し、画像内符号
化画像の画像を取得し、出力装置５に出力する。キーフ
レーム位置取得部42から次のインデックスを受け取る前
に、前方向予測画像位置取得部43は前方向予測画像位置
指定装置６から前方向予測画像のインデックスを取得
し、画像取得部41に出力する。画像取得部41は、そのイ
ンデックスにより動画像位置情報蓄積装置２と動画像蓄
積装置１から画像を取得する。その画像は前方向予測画
像判定部44に出力される。前方向予測画像判定部44はそ
の画像に前方向予測画像を示すインデックスがあれば前
方向予測画像と判定し出力装置５に出力される。前方向
予測画像のインデックスがなければ、この画像は前方向
予測画像判定部44によって破棄される。

【００２５】以上のように、前方向予測画像位置取得部
43が前方向予測画像の位置を推定し、その位置に従い、
画像抽出装置４が前方向画像を抽出することで、画像内
符号化画像と前方向予測画像を出力することで、動画像
を滑らかにすることができる。

【００２６】（実施の形態２）図３は本発明の実施の形
態２における動画像抽出装置の構成を示すブロック図で
ある。図３において、前記実施の形態１(図１，図２)と
ほぼ同じ機能のブロックには同じ符号を付し、その説明
を省略する。ここで、７は動画像符号化情報蓄積装置で
あり、動画像が画像内符号化画像，前方向予測画像，双
方向予測画像がどのようなパターンで構成され、また各
画像の情報量の平均値を図４に例示するような動画像符
号化情報蓄積表(3)で保持する。なお、前方向予測画像
指定装置６は動画像符号化情報蓄積装置７からの情報に
より前方向予測画像の位置を割り出すものである。

【００２７】また、動画像符号化情報蓄積装置７に格納
される図４に示す動画像符号化情報蓄積表(3)は、動画
像ごとに保持している。画像パターンは、ＩＢＰの文字
で表される。このうちのＩは画像内符号化画像、Ｐは前
方向予測画像、Ｂは双方向予測画像を意味しており、例
えば、ＩＢＢＰＢの場合は、画像内符号化画像，双方向
予測画像，双方向予測画像，前方向予測画像，双方向予
測画像の順で動画像が構成され、このパターンが動画像
の終了まで続く。各画像の平均情報量はこの動画像が記
録されるときに計算され、登録される。

【００２８】以上のように構成された動画像抽出装置の
動作について説明するが、画像内符号化画像の抽出の動
作は図１の実施の形態１と同様であるので、前方向予測
画像の抽出動作について説明する。

【００２９】前方向予測画像位置指定装置６は、画像抽
出装置４から指示されたときに前方向予測画像の位置を
通知する。前方向予測画像位置指定装置６は、動画像符
号化情報蓄積装置７から画像パターンと画像内符号化画
像，前方向予測画像，双方向予測画像の平均情報量を取
得する。図４のタイトルＡを例にとれば、画像パターン
がＩＢＢＰＢＢであるので、前方向予測画像の平均位置
はＩ画像の先頭から280kBのところにあると計算され
る。これは、画像パターンから画像内符号化画像の情報
量と画像内符号化画像と前方向予測画像の間にある双方
向予測画像の情報量の和となる。この値を、１つのイン
デックスで示される情報量、つまり動画像蓄積装置１の
１区画の情報量で割り、小数点以下を切り捨て、キーフ
レーム位置情報蓄積装置３から受け取った前回の画像内
符号化画像のインデックスに加えたのが、前方向予測画
像のインデックスとなる。

【００３０】前方向画像位置指定装置６は、画像抽出装
置４に、このインデックスを出力する。画像抽出装置４
はそのインデックスに従い、動画像蓄積装置１から前方
向予測画像を抽出する。

【００３１】以上のように、動画像符号化情報装置に蓄
積している動画像符号化情報により、前方向画像の位置
をより確度の高い確率で求めることができる。

【００３２】（実施の形態３）図５は本発明の実施の形
態３における動画像抽出装置の構成を示すブロック図で
ある。図５において、前記実施の形態１(図１，図２)と
ほぼ同じ機能のブロックには同じ符号を付し、その説明
は省略する。ここで、８は動画像蓄積装置１の負荷を判
断する負荷判定装置、９は、動画像蓄積装置１から動画
像をすべて読み出し、画像内符号化画像と前方向予測画
像を抽出する走査画像抽出装置である。

【００３３】以上のように構成された動画像抽出装置の
動作を図６のタイムスロット例と図７の動作フローチャ
ートを用いて説明する。

【００３４】まず、画像抽出装置４は負荷判定装置８に
動画像蓄積装置１の負荷情報を通知する。この負荷情報
と負荷判定装置８の動作について先に説明する。画像抽
出装置４は、通常再生、または画像を抽出して高速再生
を行っている動画像に対して、各動画像が途切れないよ
うにするため、動画像蓄積装置１から動画像を読み出す
時間を、固定時間(タイムスロット)とし、動画像蓄積装
置１から読み出す動画像にそれぞれ周期的にその固定時
間を割り当てる。図６にタイムスロットの例を示すよう
に、図６では画像抽出装置４における画像取得部41(図
２参照)が同じに扱える動画像が最大３であり、タイム
スロットはＳ１からＳ３まであり、周期的に繰り返され
る。この例では、現在Ｓ１とＳ２の２つタイムスロット
が使用されていることを意味している。

【００３５】図５における画像抽出装置４は負荷判定装
置８に対し、この空いているタイムスロットの数を負荷
情報として出力する。また画像抽出装置４は負荷判定装
置８にキーフレーム位置取得部42(図２参照)から受け取
ったインデックスを通知する。また負荷判定装置８は、
出力されたインデックスの数と、画像抽出装置４がスキ
ップする画像が格納されている動画像蓄積装置１の区画
数を比較し、必要なタイムスロットの数を計算する。こ
のタイムスロットの数と、画像抽出装置４から得た空き
タイムスロットの数を比較し、空きタイムスロットが大
きければ、動画像蓄積装置１に余裕があると判断する。
この場合、動画像蓄積装置１の動画像をすべて読み込む
ことができるので、画像抽出装置４の動作を停止させ、
走査画像抽出装置９の動作を開始させる。

【００３６】次に走査画像抽出装置９の動作について図
７のフローチャートを用いて説明する。まず、動画像位
置情報蓄積装置２から動画像の位置情報を取得する(S0
1)。そして、その位置情報に従い、動画像蓄積装置１か
ら画像を取得する(S02)。この画像から画像内符号化画
像のインデックス(ＩＤ)を検索する(S03)。このＩＤが
あれば画像内符号化画像なので、この画像を出力装置５
に出力する(S05)。画像内符号化画像のＩＤがなけれ
ば、次に前方向予測画像のＩＤを検索する(S04)。あれ
ば前方向予測画像なので、この画像を出力装置５に出力
する(S05)。このＩＤもなければ、この画像は双方向予
測画像であるので、画像を破棄する(S06)。そして引き
続き、動画像蓄積装置１から画像を取得し処理を続け
る。

【００３７】以上のように、動画像蓄積装置の負荷に余
裕がある場合、動画像蓄積装置から動画像すべてを読み
込み、画像内符号化画像と前方向予測画像を抽出するこ
とで、動画像蓄積装置の負荷に余裕がある場合、前方向
予測画像を必ず取得することができる。

【００３８】（実施の形態４）図８は本発明の実施の形
態４における動画像抽出装置の構成を示すブロック図、
図９は図８の抽出速度保持装置の構成を示すブロック図
である。図８および図９において、前記実施の形態１
(図１，図２)とほぼ同じ機能のブロックには同じ符号を
付し、その説明を省略する。ここで、10は、画像抽出装
置４が抽出した画像を受け取り、その情報量を保持して
いる抽出速度保持装置、11は動画像の情報量を制限する
情報量制限装置である。また、101は画像抽出装置４か
らの情報量を積算する情報量カウンタ、102は定期的に
情報量カウンタ101に通知を出すタイマである。

【００３９】以上のように構成された動画像抽出装置の
動作について説明する。画像抽出装置４が動画像蓄積装
置１から画像を抽出するまでの動作は実施の形態１と同
様である。画像抽出装置４で抽出された画像は、抽出速
度保持装置10に出力される。抽出速度保持装置10は、入
力された画像の情報量を取得し、単位時間あたりの情報
量を情報量カウンタ101で積算し保持する。そして、画
像とこの積算された情報量を情報量制限装置11に出力す
る。ここでタイマ102は例えば、１秒などの一定周期で
情報量カウンタ101に通知を出す。この通知を受け取っ
た情報量カウンタ101はタイマ102の値を０にリセットす
る。これによりタイマの周期という単位時間の画像の総
情報量がわかる。この単位時間あたりの画像の総情報量
と、画像抽出装置４から受け取った画像を情報量制限装
置11に入力する。情報量制限装置11は、出力装置５の単
位時間あたりの最大出力情報量を保持しており、それと
比較する。単位時間あたりの画像情報量が、この最大値
を超えていれば、抽出速度保持装置10から受け取った画
像を破棄する。最大値を下回っていれば、出力する。

【００４０】以上のように、出力装置の出力速度に制限
がある場合、その出力速度を超えない範囲で、画像内符
号化画像と前方向予測画像を抽出することができる。

【００４１】

【発明の効果】以上説明したように本発明は、前方向予
測画像の位置を推定し、前方向予測画像を取得すること
で、画像符号化画像だけでなく、前方向予測画像を出力
することで、滑らかな動画像の再生を行うことができ
る。

【図面の簡単な説明】

【図１】本発明の実施の形態１における動画像抽出装置
の構成を示すブロック図である。

【図２】図１の画像抽出装置の構成を示すブロック図で
ある。

【図３】本発明の実施の形態２における動画像抽出装置
の構成を示すブロック図である。

【図４】図３の動画像符号化情報蓄積表の一例図であ
る。

【図５】本発明の実施の形態３における動画像抽出装置
の構成を示すブロック図である。

【図６】本発明の実施の形態３におけるタイムスロット
の例である。

【図７】図５の走査画像抽出装置の動作フローチャート
である。

【図８】本発明の実施の形態４における動画像抽出装置
の構成を示すブロック図である。

【図９】図８の抽出速度保持装置の構成を示すブロック
図である。

【図１０】従来の動画像抽出装置の構成を示すブロック
図である。

【図１１】動画像抽出装置で用いる蓄積位置管理表とキ
ーフレーム管理表の関係図である。

【符号の説明】

１…動画像蓄積装置、２…動画像位置情報蓄積装置、
３…キーフレーム位置情報蓄積装置、４…画像抽出
装置、５…出力装置、６…前方向予測画像位置指定
装置、７…動画像符号化情報蓄積装置、８…負荷判
定装置、９…走査画像抽出装置、 10…抽出速度保持
装置、 11…情報量制限装置、 12…動画像抽出装置、
41…画像取得部、 42…キーフレーム位置取得部、
43…前方向予測画像位置取得部、 44…前方向予測画像
判定部、 101…情報量カウンタ、102…タイマ。

Claims

【特許請求の範囲】

【請求項１】画像内符号化画像と前方向予測画像と双
方向予測画像から構成される動画像を格納する動画像蓄
積装置と、前記動画像蓄積装置内の動画像の位置情報を
格納する動画像位置情報蓄積装置と、前記動画像蓄積装
置の中の画像内符号化画像の位置を格納するキーフレー
ム位置情報蓄積装置と、前記キーフレーム位置情報蓄積
装置の位置情報から前方向予測画像の位置を計算する前
方向予測画像位置指定装置と、前記動画像蓄積装置の中
の画像内符号化画像を前記キーフレーム位置情報蓄積装
置の画像内符号化画像の位置情報により取り出し、前記
前方向予測画像位置指定装置の前方向予測画像位置によ
り前記動画像蓄積装置から前方向予測画像を取り出す画
像抽出装置と、前記画像抽出装置が抽出した動画像を出
力する出力装置とを有することを特徴とする動画像抽出
装置。
【請求項２】動画像中の画像内符号化画像と前方向予
測画像と双方向予測画像の並び順である画像パターンと
各画像の大きさの平均値を格納する動画像符号化情報蓄
積装置と、前記動画像符号化情報蓄積装置から画像パタ
ーンと各画像の大きさの平均値から前方向予測画像の予
測位置を割り出す前方向予測画像位置指定装置とを有す
ることを特徴とする請求項１記載の動画像抽出装置。
【請求項３】動画像位置情報蓄積装置の動画像位置情
報により動画像蓄積装置から動画像を取得し、画像内符
号化画像と前方向予測画像とを抽出する走査画像抽出装
置と前記動画像蓄積装置の負荷と動画像蓄積装置の最大
負荷を比較し、画像抽出装置と走査画像抽出装置を切り
替える負荷判定装置とを有することを特徴とする請求項
１記載の動画像抽出装置。
【請求項４】画像抽出装置が抽出する単位時間あたり
の動画像の情報量を保持する抽出速度保持装置と、前記
抽出速度保持装置の保持する情報量と出力装置の単位時
間あたりの出力情報量の最大値と比較し、画像抽出装置
から受け取った動画像を取捨選択し出力装置に出力する
情報量制限装置とを有することを特徴とする請求項１記
載の動画像抽出装置。