JPH09154097A

JPH09154097A - 映像処理装置

Info

Publication number: JPH09154097A
Application number: JP7312004A
Authority: JP
Inventors: Katsuhiro Kanamori; 克洋金森; Shin Yamada; 伸山田; Yasuhiro Kikuchi; 康弘菊池; Koji Taniguchi; 幸治谷口
Original assignee: Matsushita Electric Industrial Co Ltd
Current assignee: Panasonic Holdings Corp
Priority date: 1995-11-30
Filing date: 1995-11-30
Publication date: 1997-06-10
Anticipated expiration: 2015-11-30
Also published as: JP3144285B2

Abstract

(57)【要約】【課題】本発明は放送を自動受信、蓄積しネットワー
クや表示端末に合わせた映像編集を行って効率的に映像
を検索し閲覧することを目的とする。【解決手段】映像入力制御部１０１で録画番組を記録
し、第１の映像編集部１１３で全フレームキャプチャを
前提にした第１のエンコーダ、デコーダを用いてシーン
チェンジ検出とインデクス画像生成が行われる。映像出
力部１０６から第２の映像編集部１１４へ送られた映像
は動画圧縮標準方式を用いた第２のエンコーダ、デコー
ダで縮小映像の等時間間隔サンプリングであるストロボ
ピクチャを生成し、圧縮映像へのランダムアクセスを高
速化する頭出し再生テーブルを作成する。表示端末部１
１５においては、圧縮映像を再生するデコーダと、イン
デクス画像表示手段とストロボピクチャ再生手段と映像
表示部とを備える。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、音声を含む映像
を、地上波放送、衛星放送、ケーブルテレビ、ビデオテ
ープなどから入力して再生時にユーザに応じた映像再生
方法を提供するための映像処理装置に関する。

【０００２】

【従来の技術】従来、知られている放送受信記録再生装
置として特開平６−１０５２８０号公報がある。放送映
像はＶＴＲなどを介在せずに直接リアルタイムに圧縮・
ディスク装置に録画され、圧縮映像を伸張してから映像
のシーン変化を検出して間引き映像を生成し、同様にデ
ィスク装置に蓄積される。ユーザは間引き映像から短時
間で見たいシーンを選択し、番組の途中から映像を再生
できる。これによって従来家庭用ＶＴＲで予約録画する
場合、番組を探すのに多くの時間がかかっていた、とい
う問題が解決されている。

【０００３】

【発明が解決しようとする課題】第１に特開平６−１０
５２８０号公報で示す構成では、単体システムで映像圧
縮と再生する場合を記載しており、間引き画像からみた
い映像を探し、どの部分に記録されている番組でもディ
スク装置から即座に映像を再生できると想定されてい
る。しかし、現実には圧縮映像を蓄積するサーバと映像
再生を行うクライアントがコンピュータネットワークに
接続されており、ネットワークの速度限界により通常の
映像再生が困難な場合やクライアントで使用している計
算機能力の限界から映像再生が困難な場合もある。この
場合には間引き画像、すなわちインデクス画像から見た
い映像を選択した後に、映像再生のための別の手段が必
要になるという課題がある。また、近年はＷＷＷブラウ
ザのような手段によりインターネットへ地球的な規模で
映像を提供することも行われており、その場合にはクラ
イアント側の端末状態や回線容量をあらかじめ知ること
はほぼ不可能であるから大きな課題となる。

【０００４】第２に放送映像では、シーン切り替えは編
集作業によりワイプ、デゾルブ、スライドなど特殊な編
集効果が多用される。これら編集効果などのシーンチェ
ンジ検出については、１秒３０フレームある映像の全フ
レームの画像処理が前提になる。ＴＶ放送をリアルタイ
ムに圧縮蓄積する場合、この秒３０フレームのレートで
のキャプチャと圧縮の性能を満たすものとして、ＭＰＥ
Ｇリアルタイムエンコーダがある。しかしＭＰＥＧのリ
アルタイムのエンコード処理は非常に負荷がかかりソフ
トウエアでの実現は難しく、一方ハードウエアは高価で
通常の家庭やオフィスでは用いることはできない。した
がって特開平６−１０５２８０号公報で示す構成では、
安価なシステム構成がとれないという課題がある。ま
た、ＭＰＥＧエンコード手法はフレーム間圧縮を用いて
おり、時間方向の編集、やサンプリングなどユーザ好み
の表示を自由に行う場合に障害になる。

【０００５】第３に、コンピュータを用いたシステムで
ニュース放送などを連日決まった時間に記録し、ビデオ
サーバに取り込み、インデクス付けをして加工する、な
どの作業は非常に人手を要し、工程の全自動化が求めら
れる。その際に映像管理情報として放送がシステムで記
録された日付と時間を用いることが多い。ところがニュ
ース番組などで深夜近くの放送の番組では、しばしば深
夜以降に前日分のニュース放送を行っており、映像管理
情報の日付とニュース内容の日付にずれを生じる課題が
ある。

【０００６】本発明は、以上のような課題の解決を目的
とする。

【０００７】

【課題を解決するための手段】この課題を解決するため
に本発明では、まず、ネットワーク自身の回線容量とネ
ットワークに接続された表示端末自体の性能によっては
映像を通常に再生表示できない場合に対応するために、
映像編集装置において、シーン先頭縮小画像であるイン
デクス画像を生成するインデクス画像生成手段と、縮小
映像の等時間間隔サンプリングであるストロボピクチャ
を生成するストロボピクチャ生成手段と前記インデクス
画像にて指定された映像へのランダムアクセスを高速化
するための情報である頭出し再生テーブルの作成部とを
備える構成としたものであり、表示側においては、圧縮
映像を再生するデコーダと、インデクス画像表示手段と
ストロボピクチャ再生手段と映像表示部とを備える表示
端末部で構成される。

【０００８】つぎにフレーム内映像符号化アルゴリズム
（モーションＪＰＥＧなど）を用いて映像を全フレーム
分キャプチャして録画し圧縮蓄積する第１のエンコーダ
と、圧縮映像を蓄積する第１のディスク装置と圧縮映像
をフレームごとに伸張再生する第１のデコーダと、映像
を外部へ送出する映像出力部と映像のシーンチェンジ検
出処理手段とからなる第１の映像編集部を備える。第１
の映像編集部では、映像をキャプチャして圧縮記録し、
次に１フレームづつ伸張してフレーム画像ごとに処理す
ることにより、秒３０フレームの精度で映像シーンを検
出できる。シーンチェンジ検出処理はかならずしもリア
ルタイムには行われず数時間を要することもある。さら
に伸張された映像は、アナログ信号、デジタル信号、い
ずれかの形態にて次の第２の映像編集部に送られる。映
像信号を今度はフレーム間映像符号化アルゴリズム（Ｍ
ＰＥＧなど）を用いてエンコードする第２のエンコーダ
と、圧縮映像を蓄積する第２のディスク装置と頭出し再
生テーブル生成部とからなる第２の映像編集部を備え
る。

【０００９】さらに、映像入力制御部はテレビ番組情報
をネットワーク、その他の手段により取得して、番組の
放送時間の変更に対処し、深夜以降の放送でも放送内容
と番組とが食い違わないようにするため該当番組の開始
以前にあらかじめ起動し、その後エンコーダを起動す
る。また、番組を確実に録画するために番組開始以前に
録画を開始し、番組の放映時間より長時間録画をするよ
うに構成したものである。

【００１０】

【発明の実施の形態】本発明の請求項１に記載の発明
は、各種の映像を入力する映像入力制御部と、前記映像
入力制御部で入力された映像を編集してインデックス画
像を生成する第１の映像編集部と、前記第１の映像編集
部の出力を編集してストロボピクチャを生成する第２の
映像編集部と、前記第１の映像編集部及び第２の映像編
集部の出力を表示する表示端末部とを具備する映像処理
装置であり、確実なシーンチェンジ検出と標準圧縮方式
のエンコーダ構成の両立という課題を解決する、という
作用を有する。

【００１１】本発明の請求項２に記載の発明は、第１の
映像編集部が、映像入力制御部で入力された映像をキャ
プチャして録画し圧縮蓄積する第１のエンコーダと、前
記第１のエンコーダで圧縮された第１の圧縮映像を蓄積
する第１のディスク装置と、前記第１の圧縮映像をフレ
ーム毎に伸張する第１のデコーダと、前記第１のデコー
ダで伸張された映像のシーンチェンジを検出し、前記の
シーンチェンジの先頭の画像を集めたインデクス画像フ
ァイルを作成するシーンチェンジ検出部と、前記第１の
デコーダで伸張された映像を出力する映像出力部とを備
える請求項１記載の映像処理装置であり、確実なシーン
チェンジ検出と標準圧縮方式のエンコーダ構成の両立と
いう課題を解決する、という作用を有する。

【００１２】また、システムは、あらかじめインデクス
画像、圧縮映像の他にストロボピクチャを生成、蓄積し
ておく。このストロボピクチャは、シーン検出手段によ
って得られるシーン先頭画面であるインデクス画像とは
異なり、サイズ縮小された映像を等時間間隔でサンプリ
ングした画像である。低速なネットワークや低速な映像
端末において、映像をインデクス画像から選択した後に
通常再生の代わりにストロボピクチャ再生を行うことに
よりネットワークの容量の制限や表示端末自体の性能不
足にかかわらずユーザが映像の概要をすばやく把握する
ことができるという作用を有する。

【００１３】本発明の請求項３に記載の発明は、第２の
映像編集部が、第１の映像編集部から出力された映像を
再びエンコードする第２のエンコーダと、前記第２のエ
ンコーダで圧縮された第２の圧縮映像を蓄積する第２の
ディスク装置と、前記第２の圧縮映像を伸張する第２の
デコーダと、前記第２の圧縮映像及びシーンチェンジ検
出部の出力からストロボピクチャを作成するストロボピ
クチャ作成部と、前記第２の圧縮映像及びシーンチェン
ジ検出部の出力から頭出し再生テーブルを作成する頭出
し再生テーブル生成部とを備える請求項２記載の映像処
理装置であり、確実なシーンチェンジ検出と標準圧縮方
式のエンコーダ構成の両立という課題を解決する、とい
う作用を有する。

【００１４】また、システムは、あらかじめインデクス
画像、圧縮映像の他にストロボピクチャを生成、蓄積し
ておく。このストロボピクチャは、シーン検出手段によ
って得られるシーン先頭画面であるインデクス画像とは
異なり、サイズ縮小された映像を等時間間隔でサンプリ
ングした画像である。低速なネットワークや低速な映像
端末において、映像をインデクス画像から選択した後に
通常再生の代わりにストロボピクチャ再生を行うことに
よりネットワークの容量の制限や表示端末自体の性能不
足にかかわらずユーザが映像の概要をすばやく把握する
ことができるという作用を有する。

【００１５】本発明の請求項４に記載の発明は、表示端
末部が、第２の圧縮映像を伸張する第３のデコーダと、
インデクス画像ファイルの画像を出力するインデクス画
像表示手段と、ストロボピクチャを出力するストロボピ
クチャ表示手段と、前記第３のデコーダ、インデクス画
像表示手段及びストロボピクチャ表示手段の出力を表示
する映像表示部とを備える請求項３記載の映像処理装置
であり、確実なシーンチェンジ検出と標準圧縮方式のエ
ンコーダ構成の両立という課題を解決する、という作用
を有する。

【００１６】また、システムは、あらかじめインデクス
画像、圧縮映像の他にストロボピクチャを生成、蓄積し
ておく。このストロボピクチャは、シーン検出手段によ
って得られるシーン先頭画面であるインデクス画像とは
異なり、サイズ縮小された映像を等時間間隔でサンプリ
ングした画像である。低速なネットワークや低速な映像
端末において、映像をインデクス画像から選択した後に
通常再生の代わりにストロボピクチャ再生を行うことに
よりネットワークの容量の制限や表示端末自体の性能不
足にかかわらずユーザが映像の概要をすばやく把握する
ことができるという作用を有する。

【００１７】請求項５に記載の発明は、映像入力制御部
はテレビ番組情報をネットワーク、その他の手段により
取得して、該当番組の開始以前にあらかじめ起動し、そ
の後エンコーダを起動し、番組の長さより長時間録画を
するもので、たとえば１週間内の各曜日における特定番
組の放送時間の変更に自動的に対処でき、システムの時
計やハードウエア装置に起因する時間誤差の影響をなく
し、目的の番組映像を確実に録画できる、という作用を
有する。

【００１８】請求項６記載の発明は、第１のエンコーダ
は映像をフレーム内圧縮する手段を採用することにより
映像のリアルタイムでのキャプチャーと圧縮蓄積をきわ
めて簡単かつ安価に実現でき、さらに各フレームの伸張
を簡単したまま、映像の処理を高精度にできる、という
作用を有する。

【００１９】請求項７記載の発明は第２のエンコーダは
映像をフレーム間圧縮するＭＰＥＧなどの標準的な映像
圧縮手段手段を採用することにより映像の高効率な圧縮
蓄積を実現し、同時に音声情報も付与でき、ユーザが満
足する画質での映像再生を効率的に可能にする、という
作用を有する。

【００２０】請求項８記載の発明は、映像出力部が第１
のデコーダにより伸張された映像をアナログ信号として
外部に出力する。その際、映像の先頭部と最後尾部に各
々マーカー映像を短時間挿入する。第２のエンコーダで
は、このアナログ信号を受信し、第１のエンコーダとは
異なるフレームレートでキャプチャ、圧縮を行うが、こ
の後に再び伸張して前記のマーカ検出部を行うことによ
り、映像本体部分の開始フレームと終了フレームを確実
に特定できる。全体としてリアルタイムできわめて短時
間で第２のエンコードが完了する、という作用を有す
る。

【００２１】請求項９記載の発明は、映像出力部は第１
のデコーダにより伸張された映像をデジタル信号として
出力する。この場合には、再び第２のエンコーダにおい
て圧縮されるが、特にこの形態ではソフトウエアでの圧
縮となり、やや長時間は必要であるが映像キャプチャ用
のハードウエアを使用しないためきわめて自由度が高
い、という作用を有する。

【００２２】請求項１０記載の発明は、表示端末部は映
像編集装置に接続されたＡＴＭなど高速コンピュータネ
ットワークに接続された高速映像表示用端末であり、ネ
ットワークでの転送可能な情報量が多いく、かつ伸張、
表示能力が優れているために圧縮映像をオーディオを含
めて通常に再生できる、という作用を有する。

【００２３】請求項１１記載の発明は、表示端末部はイ
ーサネットなど通常のコンピュータネットワークに接続
された映像表示用端末であり、ネットワークでの転送可
能な情報量が少ない、あるいは伸張表示能力が不足して
いるために圧縮映像をオリジナル通りに伸張し、再生す
ることは不可能であるが、一覧表示であるインデクス画
像と、ストロボピクチャ、およびオーディオを再生でき
る、という作用を有する。以下、本発明の実施の形態に
ついて、図１から図１１を用いて説明する。

【００２４】（実施の形態１）図１は、本発明の全体構
成図を示し、１０１の映像入力制御部は、衛星放送など
の放送電波を受信し、ビデオ映像信号を１０２のエンコ
ーダにてキャプチャし映像をデジタル圧縮し、１０３の
ディスクに蓄積する。このエンコーダの圧縮方法として
はリアルタイム圧縮が可能で映像オーディオともに圧縮
できる方式であれば何でも構わない。映像が従来のＶＴ
Ｒなどを経由して記録されないために、ビデオテープへ
の録画による画質の劣化がなくなり、ＶＴＲの頭出しな
どのキャプチャ時の煩雑な制御も不要になる。映像入力
制御部１０１は家庭用ＶＴＲのタイマー録画とおなじ
く、あらかじめ決められた録画開始時間にシステムを起
動し、キャプチャと圧縮を行い、録画終了時間にシステ
ムをストップする。これによって所望の番組が連日、あ
るいは毎週録画できる。ところが、いくらシステムの時
計が正確でも、放送番組の開始時間が放送局の番組編成
の都合により１週間単位程度に不規則に変動したり、ス
ポーツ中継などの影響で当日になって放送時間が突然変
更されたりする。本発明においては、映像入力制御部は
テレビ番組情報をネットワーク、映像自身、その他の手
段により適宜自動的に取得し、第１の問題を解決する。
各放送局は、インターネットを利用して自社のホームペ
ージを公開しているがこの情報の中に１週間の番組編成
を開示している放送局も存在する。この情報をシステム
が自動的に取得して所望の番組の開始時間を知ることが
できる。これにより１週間単位程度の番組変更の情報は
得ることができ、映像入力制御部は確実に番組を録画で
きる。これらの情報を取得、処理して所望の番組の録画
開始時間は、あらかじめ録画時間テーブルにただしく蓄
積されているものとする。番組の録画における別の問題
点として、システムのメカ二ズム部分、たとえばディス
ク装置などにおいて、微少な時間遅れを生じるために、
正確な時間からやや遅れてから録画が開始されてしまう
ことがある。したがって映像入力制御部は、番組を確実
に録画するため番組開始数秒前に録画を開始し、番組の
放映時間より数秒後まで長時間録画をするようにあらか
じめ構成されているものとする。

【００２５】録画された番組の管理上の問題として、深
夜以降の放送でも放送内容と番組とが食い違わないよう
にするため該当番組の開始以前にあらかじめ起動し、そ
の後エンコーダを起動するように構成されている。図２
において詳細に記す。本日のニュース番組（名称を仮
に"TOD"とする）が２５分番組として連日深夜に放送さ
れており、それを、連日録画圧縮してファイル名称をTO
Dmmddとして記録し管理するシステムを想定する。ここ
でmmは月、ddは日付であり、今日が１１月１日であれ
ば、ファイル名称は、TODNov1となる。番組の標準放送
時間帯は時刻23:35から２５分間であるが１週間の放送
スケジュールは不規則で、放送が遅い曜日では、時刻0:
30から放送されるものとする。このような番組を自動録
画するため従来は１週間分の録画時間テーブルを用意
し、このテーブルから本日の録画開始時間T＿startを取
得し、時刻T＿startに録画処理を行うプログラムを起動
し、２５分間の録画を実行していた。しかしながらファ
イル名称の決定部２０１、２０２は本プログラムの起動
時に実行されるため、１１月１日が標準時間帯の放送日
であれば、正しくTODNov1なる名称になるものの、放送
が遅い曜日であれば、TODNov2となって、ニュースと日
付の対応がとれなくなる。そこで本発明では、図２の下
段に示すように、連日決まった時間T＿everyにまず第１
のプログラム２０３が起動され、録画ファイル名はその
時点での日付から決定する。第１のプログラム２０３
は、録画時間テーブルから本日の録画開始時間T＿Rec＿
startを調べて、録画を行う第２のプログラム２０４を
自動実行させる。このため、１１月１日のニュース放送
が遅い場合の時間帯でもファイル名は正しくTODNov1と
なる。この処理の流れを図３に示す。システムは連日、
T＿everyの時刻に起動され、初期化処理３０１を実行し
た後、録画ファイル名称を３０２のように現在の日付か
ら決定する。次に３０３において、図１には記載されて
いない録画時間テーブルを読み出し、本日の録画開始時
間T＿Rec＿startを読みだし、その時間までまつ。ここ
までが図２における２０３に相当する処理になる。T＿r
ec＿start以降に処理３０４で録画、すなわち映像のキ
ャプチャとリアルタイム圧縮を行いう。ここで録画時間
T＿Lengthは前記のように番組の確実な録画のために２
５分よりも長い時間とする。、処理３０５では、この映
像に対して図２の録画以降に行われる図２には書いてい
ない映像編集処理を施す。

【００２６】録画処理が終了した時点で、第１のディス
ク装置１０３には、ニュース映像が２５分間圧縮記録さ
れている。これを第１の圧縮映像とする。音声は同時に
キャプチャされ、別ファイルとして記録蓄積されてい
る。また、第１のエンコード・デコードは、シーンチェ
ンジ検出処理など、あくまで映像処理、映像編集のため
に映像を蓄積するものであってエンドユーザが実際に目
にするものではない。したがって視覚特性を利用した高
圧縮率の映像圧縮方式よりも、映像の持つ情報を保存し
た圧縮方式をとるべきである。そこで簡単なハードウエ
ア装置で圧縮と伸張が可能しかも秒３０フレーム程度の
キャプチャが可能なモーションＪＰＥＧなどの方式を採
用する。この方式はフレーム内圧縮方式のために圧縮率
は低く、標準的な動画圧縮方式でない、音声を同時に圧
縮することができない、などの欠点を持っているの映像
処理のみに用いるには好適である。

【００２７】以降、前記３０５の映像編集処理を第１の
映像編集部１１３、第２の映像編集部１１４を用いて行
う部分について説明していく。図４は、前記３０５の映
像編集処理の流れ図である。処理４０１での映像出力
は、録画によって、第１のエンコーダ１０２により、映
像をデジタル圧縮し、第１のディスク装置１０３に蓄積
された映像を第１のディスク装置１０３から第１のデコ
ーダ１０４により読み出しリアルタイム伸張して映像出
力部１０６から第２の映像編集部へ送る。ここで映像信
号は、デジタル、アナログのいずれのビデオ映像として
出力することも可能である。しかしデジタル信号で出力
する場合でも第１のエンコード時にモーションＪＰＥＧ
などのいわゆるロッシィな圧縮を用いる場合には、一度
伸張してからの再度の圧縮による画質劣化は避けられな
い。また本実施形態においては第２のエンコーダ１０７
が映像キャプチャ機能と圧縮機能とをハードウエアとし
て持っている場合を想定している。これらの理由から、
本実施形態では映像出力部１０６は伸張された映像を一
旦アナログビデオ信号にまで変換して第２の映像編集部
１１４の第２のエンコーダ１０７に入力する形態を採用
している。これによって第２のエンコードがリアルタイ
ムに行え、全体の処理時間の短縮に貢献する。

【００２８】ビデオ信号まで伸張され再び第２のエンコ
ードをする際に第１、第２のエンコードで、各々デジタ
ル化された映像本体の開始フレームと末尾フレームを正
確に一致させるため、マーカ映像を映像の開始以前と末
尾以降に数秒付加する。マーカとは、カラー調整用の
「カラーバー」など対象映像とは明らかに異なる映像で
ある。本実施形態では、デジタル的にカラーバー映像を
１０秒程度の長さだけ生成し映像出力部で、（１）カラ
ーバー映像、（２）第１の記録映像２５分、（３）カラ
ーバー映像の順序にて隙間無く連続してビデオ出力して
いる。

【００２９】４０１の映像出力と同期して、第２の映像
編集部１１４では、処理４０２において第２のエンコー
ダ１０７によって、ビデオ信号をキャプチャしてリアル
タイム圧縮し、第２のディスク装置１１２に蓄積する。
第２のエンコーダ１０７では、第１のエンコーダとは異
なり、表示端末部１１５でエンドユーザが映像、音声の
再生を行う前提のもとに、標準的な動画圧縮方式で圧縮
率が高く音声も一緒に圧縮可能なＭＰＥＧなどの方式を
用いる。ただし、ＭＰＥＧの秒３０フレームでのリアル
タイムキャプチャとビデオとオーディオを多重化したエ
ンコードを行うにはきわめて高い計算能力を必要とし高
価なハードウエアが必要になる。本発明においては通常
のワークステーションで使用可能なビデオ映像のみのエ
ンコードを行うハードウエアを想定している。この前提
ではビデオ信号として入力される映像は秒１８フレーム
（１８ｆｐｓ）程度のレートでＭＰＥＧビデオストリー
ムに圧縮するのが限界である。これでも、表示端末側の
性能やネットワーク容量を考慮すれば、十分な映像品質
ということができる。図５は処理４０２の内容を示した
ものである。映像信号とオーディオ信号は、前記のハー
ドウエアでキャプチャされリアルタイムにＭＰＥＧビデ
オストリーム５０１とオーディオファイル５０２として
別々にデジタル記録される。次にオーディオエンコード
処理で、オーディオファイルがＭＰＥＧオーディオスト
リーム５０３にソフトウエア的に変換され、ＭＰＥＧビ
デオストリームとＭＰＥＧオーディオストリームとが別
個に第２のディスク装置１１２内に生成される。

【００３０】次に４０３のシステムエンコード処理では
システムエンコーダ１０８において、ビデオストリー
ム、オーディオストリームを多重化させてＭＰＥＧシス
テムストリーム５０４が作成され、これを第２の圧縮映
像として第２のディスク装置１１２に蓄積する。システ
ムストリームはＭＰＥＧにおいて映像と音声を同期して
再生するための標準的なフォーマットでありデジタル映
像をネットワーク上の様々なマシン上で汎用的に扱うた
めに、この処理を行う。第２の映像編集部におけるシス
テムストリームの作成処理は、後述するシーンチェンジ
検出処理の実行時間に並行して行うことができ処理時間
が短縮できる。

【００３１】システムエンコード処理と並行して、第１
の映像編集部１１３のシーンチェンジ検出部１０５にお
いてシーンチェンジ検出処理４０４が行われる。図６に
シーンチェンジ検出の概要を記す。第１のディスク装置
１０３から第１の圧縮映像６０１が１フレームごとに伸
張され、所定のシーンチェンジ検出処理６０２が行わ
れ、最終的にシーンチェンジ検出結果ファイル６０３と
ダイジェストデータファイル６０４、シーン先頭縮小画
像を集めたインデクス画像ファイル６０５が生成され
る。シーンチェンジとは映像の切り替わり場所である
が、特に放送素材では様々なカメラワークと編集効果に
よる人工的なシーンチェンジがあり、各々の特性を生か
して検出が精度よく行われるようにしてある。本発明で
は計４種類のシーンチェンジ検出方法を組み合わせて使
用している。

【００３２】短時間長型の検出処理６０６は前映像から
後映像までの変化が５フレーム以内に収まるカメラ切り
替えなどのすばやいシーンチェンジを対象とする。画像
を１６ブロックに分割し、各ブロックごとのカラーヒス
トグラムを計算し、連続フレームどうしで類似度を算出
する。時間軸上でこの類似度が減少から増加にいたる箇
所をシーンチェンジ候補とする。映像移動型の検出処理
６０７は「引き抜き」など前映像が次第に移動して除去
されて後映像が出現するタイプの編集効果を検出するた
めのものである。連続フレームどうしで画素の輝度差が
規定値以上ある箇所の面積（画素変化面積）の時間的変
化が所期には大きく、次第に減少していくまでの間をシ
ーンチェンジ候補とする。画素合成型の検出処理６０８
は「デゾルブ」など前映像と後映像が合成されながら次
第に変化していくタイプの編集効果を検出するためのも
のである。画像のエッジ強度の和が時間的に下に凸形状
を呈する箇所をシーンチェンジ候補とする。画素置換型
の検出処理６０９は「ワイプ」など、前映像が後映像に
一部分から次第に大きく置き換わっていくタイプの編集
効果を検出するためのものである。これらの検出方法に
より、検出されたシーンチェンジ箇所は、シーンチェン
ジ検出ファイル６０３に格納され、後でインデクス画像
生成のために使用される。

【００３３】ここで、シーンチェンジ検出結果ファイル
のテーブル内容につき（表１）で説明する。

【００３４】

【表１】（表１）において、上から５段まではヘッダ情報であ
り、シーンチェンジとは無関係である。本ファイルで
は、フレーム数表記をする場合には全て３０フレーム／
秒の意味で使用されるが、以降これを明確に表現するた
めに「フレーム（３０）」という表現を用いることとす
る。ＴＯＴＡＬ１４４００は、全フレーム（３０）数
であり、この例では映像が１４４００フレーム（３
０）、すなわち８分間あることを示す。ＭＦＮＵＭは、
第２のエンコード時の情報であり、第２の圧縮映像の全
フレーム（３０）数を示す。全述のように第２のエンコ
ーダでは、全フレームの圧縮は期待できないために、フ
レーム数は８９１０枚に減少している。ＣＢＡＲＳ、Ｃ
ＢＡＲＥの２項目は、映像前後のマーカ映像のフレーム
数である。これらは後述するマーカ映像検出後に記入さ
れる項目であり、シーンチェンジ検出直後には空欄であ
る。次のＦＰＳ１７．９７は第２のエンコード時の情
報であり、エンコード時の秒あたりのフレーム数を示
す。前記ＴＯＴＡＬと（ＭＦＮＵＭ−ＣＢＡＲＳ−ＣＢ
ＡＲＥ）の比と３０とＦＰＳの比は、ほぼ等しいが、
このＦＰＳ値は第２のエンコーダ１０７から得られる情
報である。ＳＴＡＲＴ以降はシーンチェンジ結果、記入
される項目であり、ＳＴＡＲＴ（フレーム（３０）番号
００００００）からＴＯ（フレーム（３０）番号０００
００４）までが１つのシーンで、次のＣＵＴ（フレーム
（３０）番号０００００５）において、シーンチェンジ
が検出され、そこからＴＯ（フレーム番号０００１０
６）までが１つの連続するシーンになっていることを意
味する。ＣＵＴ、ＷＩＰＥ，ＤＩＳＬＶ，ＯＴＨＥＲと
いうタグは、検出されたシーンチェンジの種類に相当
し、それぞれ短時間長型、映像置換型、画素合成型、映
像移動型を意味する。

【００３５】シーンチェンジ検出処理では、シーンチェ
ンジ検出されたフレーム、すなちシーンの先頭のフレー
ムを縮小して保存する。本実施例では現フレーム画像が
640x480画素の画像である場合、縦横4分の１、あるいは
8分の１に縮小処理された160x120画素、あるいは80x60
画素の画像とする。これらの画像は別個の画像ファイル
であり、第１のディスク装置に蓄えられ、後のインデク
ス画像生成に用いられる。

【００３６】シーンチェンジ検出部１０５では、同時に
ダイジェストデータファイル６０４が作成される。ダ
イジェストデータファイルは、映像をストロボピクチャ
再生する場合に類似して冗長な映像部分を少なくし、効
果的に表示するための情報ファイルである。以下、後述
するストロボピクチャが、秒３コマを基準として作成さ
れる場合を説明する。この時、ストロボピクチャは１０
フレーム（３０）づつサンプリングして解像度を縮小す
ることで作成される。そこで図６における伸張映像で、
規定のサンプリング間隔である１０フレーム（３０）お
きに次々に基準画像との類似度を計算し、類似度がしき
い値以下の場合にダイジェストデータファイルにフレー
ム番号を書き出し、同時に基準画像を現在フレームの画
像に切り替える。以下順次繰り返してダイジェストデー
タファイルを作成する。次に、インデクス画像作成処理
が行われる。インデクス画像生成処理ではシーンチェン
ジ検出時に、縮小され、蓄積された複数の縮小画像群が
１つのファイルにまとめて、第２のディスク装置１１２
に蓄積保存される。

【００３７】第１の映像編集部１１３でシーンチェンジ
検出処理が終了後、第２の映像編集部１１４において、
マーカ映像検出処理４０４が行われる。この処理は第１
の映像編集部１１３からビデオ信号として出力された映
像を第２の映像編集部１１４にて受信した後、開始フレ
ーム位置のずれを明確にし、補正するために必要であ
る。図７を用いてマーカ映像検出部１０９によるマーカ
映像検出につき説明する。まず、第２のエンコーダ１０
７にて第１の圧縮映像とは異なるキャプチャレート、た
とえば１８ｆｐｓなどのレートでキャプチャされ圧縮さ
れた第２の圧縮映像７０１のビデオストリームを第２の
デコーダ１１６により再生順の先頭から順次伸張する。
以降１８fpsのレートでのフレームをフレーム（１８）
と表現することとする。この映像は出力時に先頭、末尾
にマーカ映像が付加されている。そこで先頭画像７０２
がマーカ映像であることを仮定し順次、次のフレーム
（１８）と先頭画像７０２との類似度を計算していく。
類似度がしきい値以下になった箇所７０３のフレーム
（１８）番号Ｓを検出し、映像先頭のマーカ映像フレー
ム数（１８）とする。次に圧縮映像のビデオストリーム
の再生順の末尾から１フレームずつ伸張する。再び、末
尾画像７０５がマーカ映像であることを仮定して、順次
末尾画像との類似度を計算していき、類似度がしきい値
以下になった箇所７０４のフレーム番号Ｎ−Ｅおよび全
フレーム（１８）数Ｎから、Ｅを求めて末尾マーカ映像
フレーム（１８）数とする。次に、シーンチェンジ検出
結果ファイルの前述の２項目であるＣＢＡＲＳ、ＣＢＲ
ＡＥにＳ，およびＥを記載するのであるが、シーンチェ
ンジ検出結果ファイルでは、フレーム数はフレーム（３
０）にて表現されているので、フレーム番号補正部７０
６においてフレーム番号補正を行う。フレーム番号補正
は、表１に示すようにシーンチェンジ検出結果ファイル
７０７にＦＰＳとして記載されているのでこれを用いて

【００３８】

【数１】にて行われる。以上で、ＣＢＡＲＳ、ＣＢＡＲEが記載
され、改めてシーンチェンジ検出結果ファイル７０８が
完成する。

【００３９】次に第２の映像編集部１１４の頭出し再生
用テーブル生成部１０８において頭出し再生用テーブル
作成処理４０５を行う。これは、第１の映像編集部１１
３でのシーンチェンジ検出結果ファイルから指定された
シーンチェンジフレーム番号から第２の映像編集部１１
４での映像への頭出し再生を高速に行う目的で、システ
ムストリームにまでエンコードされた第２の圧縮映像を
解析しながらシステムストリームの任意フレームからの
デコード開始場所までの第２のディスク装置１１２上で
のシーク量を取得するためのテーブルを作成する処理で
ある。図８は頭出し再生用テーブル作成処理を示す。

【００４０】頭出し再生用テーブルは、シーンチェンジ
検出結果ファイルから指定されたシーンチェンジフレー
ム番号によってマーカ映像を含んだ第２の圧縮映像を頭
出しするものであり、再びフレーム数の対応が問題とな
る。シーンチェンジ検出結果ファイルでのシーン先頭フ
レーム（３０）から、頭出しすべきシーンのフレーム
（１８）を求めるためには、

【００４１】

【数２】が使用される。８０１はＭＰＥＧシステムストリームを
読み込み、ストリーム中に含まれるパックスタートコー
ド、およびパケットスタートコードを検出しそれらのコ
ード位置を記憶しビデオパケットとオーディオパケット
の分離をするシステムコード検出手段である。８０２は
複数のビデオパケットを１本のシステムストリームとし
て解析するビデオパケット解析手段、８０３は複数のオ
ーディオパケットを１本のオーディオストリームとして
解析するオーディオパケット解析手段である。８０５
は、複数のビデオパケットからピクチャコード，ＧＯＰ
コードを含むビデオパケットを検出するパケット内コー
ド検出手段である。８０６はピクチャコード数をカウン
トし，ＧＯＰコードを検出する度に各ＧＯＰコード直前
までの累積フレーム数とパケット内のＧＯＰコード以降
のピクチャコードを出力するビデオフレーム算出手段で
ある。８０７はビデオストリームデコード時のパラメー
タ、総フレームなどの情報を記憶しておくビデオストリ
ーム情報記憶手段である。８０８は８０５においてＧＯ
Ｐコードを検出する度に、パケット内フレーム数、累積
フレーム数、ストリーム先頭からパックヘッダまでの接
待オフセットバイト数、パックヘッダからパケットヘッ
ダまでの相対オフセットバイト数をまとめるビデオ頭出
し再生レコード作成手段である。８０９から８１２まで
はオーディオについて以上と同様の解析処理を行う。テ
ーブル作成手段８０４は以上のビデオ頭出し再生レコー
ド、オーディオ頭出し再生レコードを集めてテーブル化
して、頭出し再生テーブルファイルを作成する。頭出し
再生テーブルファイルは、以上のようにランダムアクセ
スしやすい複数の固定長レコードに、フレームからＭＰ
ＥＧシステムストリームオフセットまでのランダムアク
セスを可能にする情報が記載されており、ＭＰＥＧシス
テムストリーム映像の頭出し再生を高速にするためのフ
ァイルである。

【００４２】次に第２の映像編集部１１４のストロボピ
クチャ生成部１１０においてストロボピクチャ作成処理
４０６が行われる。図９は、ストロボピクチャ作成処理
を示す図である。ストロボピクチャとは、映像を時間的
に、たとえば秒３コマ程度にサンプリングして、フィル
ムイメージに映像を表示することにより、映像の時間的
な流れを瞬時に空間的に把握させるものである。また、
ネットワーク通信容量が小さい場合でもオーディオ情報
に付加する縮小映像を送りたい場合に使用されるもので
ある。再びシーンチェンジ検出結果テーブルファイルか
ら、ＦＰＳを読みとりサンプリング間隔決定手段から、
以下の式でフレーム数（１８）でのサンプリング間隔ｎ
を求める。

【００４３】

【数３】サンプリングされた画像は縦横２分の１程度に縮小処理
されて集められストロボピクチャファイルを生成する。
以上で、映像の編集処理は終了する。以上のような一連
の処理を実行すると、第２のディスク装置１１２上に以
下のファイルが生成される。（１）第２の圧縮映像ファイル（ＭＰＥＧビデオストリ
ーム）（２）オーディオファイル（３）ＭＰＥＧオーディオストリーム（４）ＭＰＥＧシステムストリームファイル（５）シーンチェンジ検出結果テーブルファイル（６）ダイジェストデータファイル（７）頭出し再生テーブルファイル（８）インデクス画像ファイル（９）ストロボピクチャファイルこれらのうち、（１）のＭＰＥＧビデオストリームは
（４）のＭＰＥＧシステムストリームが生成された時点
で不要になる。その他のファイルはそれぞれ表示端末に
よって適宜使用される。図１０、図１１は、映像編集が
終了し各ファイルが図１における第２のディスク装置１
１２に格納されている状態を示す。図１０はコンピュー
タネットワークが10MBPS程度の通信速度しか確保でき
ず、しかも表示端末もＰＣなどを想定している。ネット
ワークは構内ネットワークとして他の様々なマシンが接
続されている。このような一般的なネットワーク形態で
映像をネットワーク配信することは他のサービスへの圧
迫となり現実的ではない。表示端末のＰＣ（パーソナル
コンピュータ）としても一般ビジネスアプリケーション
を動かしながらの動画表示は負荷が重い。そこで、本実
施形態では表示端末部１１５では、インデクス画像表示
手段１１７によるインデクス画像（オーディオなし）表
示とストロボピクチャ表示手段１１８によるストロボピ
クチャ（オーディオなし）表示とストロボピクチャにオ
ーディオを同期させる機能としての映像表示のみとす
る。つまり映像表示手段１００７は、第２の圧縮映像を
ネットワーク受信することはしない。そして高品質な動
画再生が必要な場合、ローカルな画像サーバを各表示端
末部１１５に設置する。ローカルな映像サーバとして
は、簡単なものとしてアナログ光ディスク、あるいは第
２の圧縮映像ファイルをコピーしたメディアがあげら
れ、映像とオーディオがあらかじめ録画されているもの
とする。表示端末部１１５ではエンドユーザが制御手段
１００１に指令することにより、シーンチェンジ検出結
果テーブルファイル１００２を読みこむ。次にサーバプ
ロセス１００３がインデクス画像ファイルを必要な部分
のみ送出し、表示端末部１１５ではクライアントプロセ
ス１００４がインデクス画像を受信し、映像表示部１１
９に表示する。サーバプロセスとクライアントプロセス
はネットワーク上で大容量の映像ファイルなどを全部読
むことなしに必要な部分のみをストリームとしてリアル
タイムに送出するために用意されている。このサーバプ
ロセスとクライアントプロセスの機能により、たとえ
ば、ユーザがインデクス画像によって頭出ししたい映像
の部分を指定した場合、表示制御手段１００１は、サー
バプロセス１００５に該当フレームからストロボピクチ
ャファイルを送出するように指令し、サーバプロセス１
００５はストロボピクチャファイルを任意位置からネッ
トワークへ送出し、クライアントプロセス１００６は、
ストロボピクチャファイルおよびオーディオファイルを
読みこんで映像表示手段１００７は映像表示部にストロ
ボピクチャを、オーディオをスピーカに出力する。この
時、ストロボピクチャだけを表示することもむろん可能
である。また、ストロボピクチャ表示において類似した
画像が並ぶことをさけたければダイジェストデータファ
イルを読み込み、類似度が低いストロボピクチャのみを
表示することによって冗長度を下げることも可能であ
る。

【００４４】また、ローカルな映像サーバ１００８を設
ければ、１００８に指令することによってインデクス画
像で指定されたフレーム番号から頭出しされた映像を高
画質な動画オーディオ同期出力として得ることが出来
る。これらの表示機能はすべて表示制御手段によってユ
ーザインタフェースと一緒に制御され、エンドユーザに
自由に映像にアクセスすることを許す。

【００４５】図１１は、コンピュータネットワークが16
0MBのATMなどを使用し、表示端末部１１５としても高性
能ワークステーションなどを用いる系、あるいは、ネッ
トワーク自体の性能は低いが映像専用のネットワークが
用意されている系である。ここでも、インデクス画像表
示とストロボピクチャ表示としては図１０と同様のデー
タの流れを呈するが、映像表示の場合に、表示制御手段
が頭出し再生テーブルファイル１１０１を読み込んでお
く。それを元に、ユーザがインデクス画像によって頭出
し再生したい部分を指定すると、第２の圧縮映像ファイ
ル１１０２内の任意位置までシークし、シーク位置より
第２の圧縮映像ファイルをサーバプロセス１００３が送
出し、クライアントプロセス１１０４が圧縮映像を受信
して第３のデコーダ１１０５へ送る。第３のデコーダで
は、頭出しＭＰＥＧシステムストリームのデコード開始
位置を前記頭出し再生テーブルから取得し、ビデオスト
リームとオーディオストリームに分離して、ビデオ映像
を映像表示部へ、オーディオをスピーカへ出力する。

【００４６】以上のようにエンドユーザは、インデクス
画像を指定することにより、ストロボピクチャ、オーデ
ィオ付きのストロボピクチャ、通常映像を、映像の任意
の場所から即座に頭出しして再生することができる。

【００４７】なお、本実施の形態では、図１における映
像出力部１０６は映像をアナログビデオ、オーディオ信
号として出力しているが、デジタル出力することも可能
である。この場合には、第１の映像編集部１１３での映
像出力部１０６にけるマーカ映像付加と、第２の映像編
集部１１４でのマーカ映像検出部１０９は不要になる。
また、第１のディスク装置１０３と第２のディスク装置
１１２も便宜上、分離されているが同一でもよい。ま
た、第２の映像編集部１１４におけるシステムエンコー
ダ１０８は第２のエンコーダ１０７がシステムストリー
ムまで作成するものであれば不必要である。

【００４８】また、第２のデコーダ１１６と第３のデコ
ーダは同じものでも良い。

【００４９】

【発明の効果】以上のように本発明によればまず、ネッ
トワーク自身の回線容量とネットワークに接続された表
示端末自体の性能によっては映像を通常に再生表示でき
ない場合に対応するために、ストロボピクチャ再生表示
という手段をとってすべてのユーザに相応の映像データ
供給を可能にしている。

【００５０】つぎにフレーム内映像符号化アルゴリズム
（モーションＪＰＥＧなど）を用いて映像を全フレーム
分キャプチャしチェンジ検出処理手段などに向けて最適
化し、次にフレーム間映像符号化アルゴリズム（ＭＰＥ
Ｇなど）を用いて再エンコードすることによりユーザ表
示用の圧縮映像を作成する構成をとることによりコス
ト、性能的に効率的な映像編集を可能にしている。

【００５１】さらに、映像入力制御部は完全無人化での
番組録画をねらい、番組の放送時間が曜日ごとに変更さ
れても録画管理情報はこれに対処できる、などという有
利な結果が得られる。

【図面の簡単な説明】

【図１】本発明の一実施形態によるシステム構成を示す
図

【図２】同実施形態における録画時間の変動に対処する
図

【図３】同実施形態におけるシステムの動作全体の流れ
図

【図４】同実施形態における映像編集処理の流れ図

【図５】同実施形態における第２のエンコードとシステ
ムエンコードを示す図

【図６】同実施形態におけるシーンチェンジ検出処理を
示す図

【図７】同実施形態におけるストロボピクチャ作成処理
を示す図

【図８】同実施形態における頭出し再生テーブル作成を
示す図

【図９】同実施形態におけるストロボピクチャ作成を示
す図

【図１０】同実施形態における低速コンピュータネット
ワークにおけるデータの流れを示す図

【図１１】同実施形態における高速コンピュータネット
ワークにおけるデータの流れを示す図

【符号の説明】

１０１映像入力制御部１０２第１のエンコーダ１０３第１のディスク装置１０４第１のデコーダ１０５シーンチェンジ検出部１０６映像出力部１０７第２のエンコーダ１０８システムエンコーダ１０９マーカ映像検出部１１０ストロボピクチャ生成部１１１頭出し再生テーブル生成部１１２第２のディスク装置１１３第１の映像編集部１１４第２の映像編集部１１５表示端末部１１６第２のデコーダ１１７インデクス画像表示手段１１８ストロボピクチャ表示手段１１９映像表示部１２０第３のデコーダ

───────────────────────────────────────────────────── フロントページの続き (72)発明者谷口幸治神奈川県川崎市多摩区東三田３丁目10番１号松下技研株式会社内

Claims

【特許請求の範囲】

【請求項１】映像を入力する映像入力制御部と、前記
映像入力制御部で入力された映像を編集してインデック
ス画像を生成する第１の映像編集部と、前記第１の映像
編集部の出力を編集してストロボピクチャを生成する第
２の映像編集部と、前記第１の映像編集部及び第２の映
像編集部の出力を表示する表示端末部とを具備する映像
処理装置。
【請求項２】第１の映像編集部が、映像入力制御部で
入力された映像をキャプチャして録画し圧縮蓄積する第
１のエンコーダと、前記第１のエンコーダで圧縮された
第１の圧縮映像を蓄積する第１のディスク装置と、前記
第１の圧縮映像をフレーム毎に伸張する第１のデコーダ
と、前記第１のデコーダで伸張された映像のシーンチェ
ンジを検出し、前記のシーンチェンジの先頭の画像を集
めたインデクス画像ファイルを作成するシーンチェンジ
検出部と、前記第１のデコーダで伸張された映像を出力
する映像出力部とを備える請求項１記載の映像処理装
置。
【請求項３】第２の映像編集部が、第１の映像編集部
から出力された映像を再びエンコードする第２のエンコ
ーダと、前記第２のエンコーダで圧縮された第２の圧縮
映像を蓄積する第２のディスク装置と、前記第２の圧縮
映像を伸張する第２のデコーダと、前記第２の圧縮映像
及びシーンチェンジ検出部の出力からストロボピクチャ
を作成するストロボピクチャ作成部と、前記第２の圧縮
映像及びシーンチェンジ検出部の出力から頭出し再生テ
ーブルを作成する頭出し再生テーブル生成部とを備える
請求項２記載の映像処理装置。
【請求項４】表示端末部が、第２の圧縮映像を伸張す
る第３のデコーダと、インデクス画像ファイルの画像を
出力するインデクス画像表示手段と、ストロボピクチャ
を出力するストロボピクチャ表示手段と、前記第３のデ
コーダ、インデクス画像表示手段及びストロボピクチャ
表示手段の出力を表示する映像表示部とを備える請求項
３記載の映像処理装置。
【請求項５】映像入力制御部がテレビ番組情報を取得
して、該当テレビ番組の開始以前に第１のエンコーダを
起動し、前記テレビ番組の放映時間より長時間録画をす
ることを特徴とする請求項２ないし４のいずれかに記載
の映像処理装置。
【請求項６】第１のエンコーダが映像をフレーム内圧
縮することにより映像のリアルタイムでのキャプチャー
と圧縮蓄積を実現し、さらにフレーム毎の伸張を簡単に
することを特徴とする請求項２ないし５のいずれかに記
載の映像処理装置。
【請求項７】第２のエンコーダが映像をフレーム間圧
縮することにより映像の高効率な圧縮蓄積を実現し、同
時に音声情報も付与することを特徴とする請求項２ない
し６のいずれかに記載の映像処理装置。
【請求項８】映像出力部が第１のデコーダにより伸張
された映像をアナログ信号として出力し、圧縮映像の先
頭部と最後尾部に各々マーカ映像を短時間挿入し、前記
マーカ映像を挿入された映像を外部へ送出するものであ
り、第２のエンコーダが前記マーカ映像を検出する機能
を有し、映像本体部分の特定を確実にすることを特徴と
する請求項２ないし７のいずれかに記載の映像処理装
置。
【請求項９】映像出力部が第１のデコーダにより伸張
された映像をデジタル信号又はデジタル化されたファイ
ルとして出力し、再び第２のエンコーダにおいて圧縮さ
れることを特徴とする請求項２ないし７のいずれかに記
載の映像処理装置。
【請求項１０】表示端末部が第１及び第の２映像編集
部に接続された高速コンピュータネットワークに接続さ
れ、インデクス画像とストロボピクチャと通常映像を全
て見ることができる高速映像表示用端末である請求項１
ないし９のいずれかに記載の映像処理装置。
【請求項１１】表示端末部がコンピュータネットワー
クに接続され、インデクス画像とストロボピクチャを見
ることができる映像表示用端末である請求項１ないし９
のいずれかに記載の映像処理装置。