WO2005062614A1

WO2005062614A1 - 映像データ処理方法および映像データ処理装置

Info

Publication number: WO2005062614A1
Application number: PCT/JP2004/012976
Authority: WO
Inventors: Yoshiaki Kusunoki; Tsuyoshi Abe
Original assignee: Mitsubishi Denki Kabushiki Kaisha
Priority date: 2003-12-19
Filing date: 2004-09-07
Publication date: 2005-07-07
Also published as: EP1699240A4; JP4118232B2; US7613381B2; EP1699240B1; EP1699240A1; US20070140647A1; JP2005184429A

Abstract

　抽出部（１２）で通常再生ストリームからＩフレームを抽出し、フレーム内符号化ピクチャデータ変換処理部（１５）で上記Ｉフレームの符号化パラメータおよびＶＢＶディレイ等のデコーダバッファに関する制御パラメータを特殊再生用に変更し、リピートピクチャ付加部（１６）で上記Ｉフレームと同じ内容を表示するリピートピクチャを生成した上で、上記Ｉフレームの後ろに付加し、さらに符号量制御部（１７）で転送レートの制御を行う。ネットワーク上でサーバと端末間で特殊再生を行う場合、Ｉフレームのみを利用すると必要とするネットワーク帯域が上昇したり、デコーダバッファの破綻を生じる可能性があり、特殊再生ストリームを再生するデコーダで映像の乱れを生じる可能性があったが、このような問題が解決された。

Description

明細書

映像データ処理方法および映像データ処理装置

技術分野

[0001] 本発明は、映像をサーバに記録蓄積し、端末力の要求によって蓄積している映像ストリームを要求のあった端末に配信する映像配信システムにおいて、通常の再生に対して速度および Zまたは再生方向を変更した、例えば早送り、早巻き戻し、一時停止などの特殊再生を実現するためのデータ処理方法およびデータ処理装置に関するものである。

背景技術

[0002] 従来、特にネットワークを利用した映像再生システムにお、て、 MPEG— 2等で圧縮された映像ストリーム (以下、特殊再生ストリームと区別するために通常再生ストリームと称する）について、再生の速度および Zまたは再生方向を変更した特殊再生を実行しょうとする場合、通常再生ストリーム力も時間的に断続した（間欠的に発生される）フレーム内符号化ピクチャ (Iフレーム）のみを抽出し、さらに抽出した Iフレームを連続的に端末に配信し、端末で受信した後、再生する構成をとるのが一般的であつた。

[0003] し力しながら、上記従来の方法では、通常再生ストリームから Iフレームのみを抽出するので、本来の MPEG— 2の構造から逸脱したストリームになる場合がある。そのため、 Iフレームのみ力も構成される特殊再生ストリームの再生を可能にするために、再生側のデコーダに何らかの仕組みを用意しなければならないという問題があった。

[0004] また、符号量の大きな Iフレームのみを高速に抽出し、連続して配信することから、単位時間当たりの転送符号量 (転送レート）が非常に大きくなり、このために、伝送路上にあるバッファ、例えば多重装置や分離装置のバッファがオーバーフローを発生したり、ネットワークの帯域制限を越えたり、再生側のデコーダバッファがオーバーフロ一を発生したりする問題があった。そのため、転送レートが増大した特殊再生ストリームの転送を可能にするために、ネットワークの帯域を拡大したり、伝送路の各バッファのメモリサイズを大きくしたりするなどの対策が必要であった。 [0005] 特に、ネットワーク帯域についての問題は深刻で、 Iフレームのみを利用した特殊再生方法では、 Iフレームの符号量にもよる力通常再生に比べて一般的に 3倍程度の帯域を必要とした。しかし、現実的に特殊再生のために帯域を上げることは困難である。そこで、 1つの対策として、特殊再生ストリームを別途用意する方法があるが、この方法は、システムの構成上は簡単ではある力通常再生ストリームに加え、特殊再生ストリームを別途用意することなるため、蓄積するデータ量が多くなる上、通常再生ストリームと特殊再生ストリームを関連付けて管理することが必要であるという問題があつた o

[0006] このような従来の問題について、特殊再生ストリームとしてフレームもしくはフィールド内符号ィ匕されたデータに続いて、マクロブロックの動きベクトルを 0、予測誤差を 0に符号化されたリピートピクチャを挿入し、データを配信する方法が提案された (例えば、特許文献 1参照)。このリピートピクチャを挿入する方法によると、特殊再生の実行において、符号量の大きい Iフレームに続いて、符号量の非常に少ないリピートピクチャを追加することによって、転送レートを大幅に削減することができるので、転送レートの上昇を防ぎ、特殊再生用に大きなメモリを確保する必要がない。さらに、生成される特殊再生ストリームは、シンタックス的に通常再生ストリームと同じ構成にできるため、特殊ストリームを扱う上で、別途ロジックや回路の増設を必要とせず、特殊再生時に専用のロジックに切り替える必要もない。

[0007] また、ネットワーク上にあるサーバと端末との間における特殊再生時のデータ生成方法については、特殊再生を行う際に、通常再生ストリーム力抽出した Iフレームと、保存されているリピートピクチャデータから、特殊再生ストリームを構築し、さらに抽出した Iフレームデータの VBVディレイ（VBV Delay：デコーダバッファにおけるデータの滞在時間）に基づいて、 VBVバッファ（Video Buffering Verifierバッファ：符号発生量制御用仮想バッファ）を破綻させなヽようにリピーチピクチャに続ヽてスタッフイングを挿入する方法が提案された (例えば、特許文献 2参照)。

[0008] 特許文献 1 :特許第 3304634号 (第 10頁、図 1)

特許文献 2 :特開 2002-77811号公報 (第 12頁、図 1)

発明の開示発明が解決しょうとする課題

[0009] し力しながら、上記リピートピクチャを挿入する従来技術では、 Iフレームに続いてリピートピクチャを挿入するだけでは、生成された特殊再生ストリームにおける各フレームのデータとしては全く問題がなくとも、複数の連続した映像として見た場合、符号ィ匕されているパラメータについて整合性が取れない場合がある。例えば、元の通常再生ストリームに符号ィ匕されているパラメータである各フレームの再生順番、転送レート、 VBVディレイについて、生成した特殊再生ストリームに対応した値になるように適正化を行っていなければ、特殊再生ストリームの再生が正しく行われず、結果として再生映像が乱れる可能性がある。特に、 VBVディレイの値が正しくないと、再生側のデコーダバッファの破綻や、もし伝送路に多重装置が存在するならば、多重処理において多重ミスを発生する問題がある。通常 VBVディレイは、 VBVバッファのシミュレートを行う等、複雑な計算処理によって求めなくてはならず、システム負荷との兼ね合いもあり、実用の範囲で求めることができな力つた。

[0010] また、上記リピーチピクチャに続いてスタッフイングを挿入する従来技術では、リビートビクチャを前もって用意し、特殊再生の状態や変換前の元ストリームの状態を常に管理しておく必要があり、プログラムの構造が複雑になり、リアルタイムでかつ多くのストリームが並列で処理されるシステムには適していな力つた。また、通常再生ストリームに符号化されてヽる VBVディレイを特殊再生ストリームでも使用してヽるため、通常再生ストリームと同じデータサイズ分だけスタッフイングを行うことになる。そのため、 VBVバッファの破綻を防ぐことは可能になる力特殊再生ストリームの転送レートを削減することはもとより、特殊再生ストリームの転送レートを制御することはできない。また、特殊再生ストリームに埋め込まれた元ストリームの映像および圧縮に関するパラメータ（以下、符号ィ匕パラメータ）については、通常再生ストリームの値をそのまま流用し、特殊再生ストリームに対しての適正化が行われていない。そのため、一般的な M PEG— 2ストリームの規約から逸脱する場合があり、再生映像が乱れたり、多重装置にお、て多重化が失敗したりする恐れがある。

[0011] このように、特殊再生を行う従来の技術では、通常再生ストリーム力も特殊再生スト

、な、ので、ネットヮーク上でサーバと端末間で特殊再生を行う場合、 Iフレームのみを利用すると必要とするネットワーク帯域が上昇したり、デコーダバッファの破綻を生じる可能性があり、特殊再生ストリームを再生するデコーダで映像の乱れを生じる可能性があった。

[0012] 本発明は、このような従来の課題を解消するためになされたものであり、ネットワーク越しに特殊再生を行う場合に、映像の乱れの少なヽ映像データ処理方法および映像データ処理装置を提供するものである。

課題を解決するための手段

[0013] 本発明の映像データ処理方法は、

フレーム間予測を用いて符号ィ匕された映像ストリームに対して、再生速度および再生方向を変更した特殊再生ストリームを生成する映像データ処理方法であって、生成する特殊再生ストリームの速度と方向に合わせて、上記映像ストリーム力フレーム内符号化ピクチャを選択的に抽出する工程と、

上記抽出したフレーム内符号ィ匕ピクチャの符号化パラメータを解析する解析工程と上記速度と方向に合わせて、上記符号化パラメータを変更する変更工程と、上記抽出したフレーム内符号ィ匕ピクチャと同じ表示内容を示すリピートピクチャを生成し、上記リピートピクチャを、データの伝送順で上記再生速度および再生方向に基づいて選択される上記符号ィ匕パラメータを変更したフレーム内符号ィ匕ピクチャの後ろに続けて付加することによって、特殊再生ストリームを生成する生成工程とを備えたことを特徴とする。

[0014] また、本発明の映像データ処理装置は、

フレーム間予測を用いて符号ィ匕された映像ストリームに対して、再生速度および再生方向を変更した特殊再生ストリームを生成する映像データ処理装置であって、生成する特殊再生ストリームの速度と方向に合わせて、上記映像ストリーム力フレーム内符号ィ匕ピクチャを選択的に抽出する手段と、

上記抽出されたフレーム内符号ィ匕ピクチャの符号化パラメータを解析する解析手段と、

上記速度と方向に合わせて、上記符号化パラメータを変更する変更手段と、上記抽出されたフレーム内符号ィ匕ピクチャと同じ表示内容を示すリピートピクチャを生成し、上記リピートピクチャを、データの伝送順で上記再生速度および再生方向に基づいて選択される上記符号ィ匕パラメータを変更したフレーム内符号ィ匕ピクチャの後ろに続けて付加することによって、特殊再生ストリームを生成する生成手段とを備えたことを特徴とする。

発明の効果

[0015] 本発明によれば、生成する特殊再生ストリームの速度と方向に合わせて、映像ストリ一ムカもフレーム内符号ィ匕ピクチャを選択的に抽出し、そのフレーム内符号ィ匕ピクチャの符号ィ匕パラメータを解析し、上記速度と方向に合わせて、上記符号化パラメータを変更するとともに、上記フレーム内符号ィ匕ピクチャと同じ表示内容を示すリピートピクチャを生成し、上記リピートピクチャをデータの伝送順で上記符号ィ匕パラメータを変更したフレーム内符号ィ匕ピクチャの後ろに付加した特殊再生ストリームを生成することにより、特殊再生ストリームのネットワーク越しでの再生において、映像の乱れが発生することがな、と、う効果がある。

図面の簡単な説明

[0016] [図 1]本発明の実施の形態 1の映像データ処理装置を備えた映像配信システムを示す概略ブロック図である。

[図 2] (a)及び (b)は、本発明の実施の形態 1にお!/、ての早送り再生のストリームの構造を説明する図である。

[図 3] (a)及び (b)は、本発明の実施の形態 1においての一時停止のストリームの構造を説明する図である。

[図 4] (a)及び (b)は、本発明の実施の形態 1にお、ての早巻き戻し再生のストリームの構造を説明する図である。

[図 5] (a)及び (b)は、本発明の実施の形態 1においての VBVバッファの遷移を示す図である。

[図 6]本発明の実施の形態 2の映像データ処理装置を備えた広域監視システムを示す概略ブロック図である。

[図 7]本発明の実施の形態 2においての特殊再生モジュールを示すブロック図である [図 8]本発明の実施の形態 2においての GOP毎のタイムスタンプを説明する図である符号の説明

[0017] 1 サーバ、 2 蓄積部、 3 読み出し部、 4 スィッチ、 5 再生制御部、 6 スイッチ、 7 配信部、 11 特殊再生処理部、 12 抽出部、 13 解析部、 14 デコーダバッファ計算部、 15 フレーム内符号ィヒピクチャデータ変換処理部、 16 リピートピクチャ付加部、 17 符号量制御部、 18 PS化部、 21 アドレスマツプ、 31 ネットワーク、 41 再生入力部、 42 再生指示部、 43 受信部、 44 デコーダ、 45 表示部、 51, 52, 53 端末、 100 ネットワーク、 101, 102, 1 03 カメラ、 111, 112, 113 端末、 120 サーノ、 121 要求受付モジュール、 122 受信モジュール、 123 映像データベース、 124 配信モジュール、 1 25 蓄積モジュール、 126 特殊再生モジュール、 127 HDD, 131 Iフレームバッファ、 132 解析部、 133 デコーダバッファ計算部、 134 Iフレームデータ変換処理部、 135 リピートピクチャ付加部、 136 符号量制御部、 137 PS 化部、 138 特殊再生ストリームバッファ。

発明を実施するための最良の形態

[0018] 実施の形態 1.

図 1はネットワーク上に映像を配信するサーバおよびこのサーバから配信された映像を受信して再生を行う端末カゝら構成される本発明の実施の形態 1の映像データ処理装置を備えた映像配信システムを示す図である。

[0019] この実施の形態 1の映像配信システムでは、映像が記録された速度と同一の再生速度である通常再生と、通常再生に対して速度を変更した特殊再生、例えば通常再生の速度に対して 2倍、 5倍、 15倍等の速度を変えた早送り再生、さらに早送り再生に対して再生方向を逆にした早巻き戻し再生、また同じ映像を継続的に表示する一時停止を実現する。ここで、この実施の形態 1で使用する映像ストリームは、 ISOZIE C13818— 1、いわゆる MPEG— 2のプログラムストリームで記録されているものとする [0020] 図示の映像配信システムは、ネットワーク 31を介して互いに接続されたサーバ 1と、端末 51乃至 53とを含む。端末 51乃至 53は互いに同一の構成を有し、端末 51のみその詳細が図示されている。

サーバ 1は、蓄積部 2と、読み出し部 3と、スィッチ 4、スィッチ 6と、再生制御部 5と、配信部 7と、抽出部 12と、特殊再生処理部 11と、アドレスマップ 21とを備えている。

[0021] 蓄積部 2は、内部に映像ストリームを保存するために設けられたものであり、この蓄積部 2には、通常再生ストリームが複数保存される。また、アドレスマップ 21には、蓄積部 2に保存されて!、る通常再生ストリームの GOP (Group of Pictures)単位の再生タイムスタンプと、蓄積部 2に保存されてヽるアドレスとを対応付けたテーブルが保存されている。

[0022] 読み出し部 3は、再生制御部 5からの指示により、アドレスマップ 21に記録されているタイムスタンプとアドレス情報をもとに、蓄積部 2から該当ストリームの該当アドレスに記録された GOPデータを読み出す。

[0023] 再生制御部 5は、端末 51— 53からの再生要求が、通常再生か、特殊再生かによつて読み出し部 3、スィッチ 4、スィッチ 6を制御し、蓄積部 2からのストリームの流れを制御する。

[0024] 抽出部 12は、通常再生ストリームから、 MPEG— 2の映像単位の先頭を示すシーケンスヘッダ力最初のピクチャデータであるフレーム内符号ィ匕ピクチャデータまでを抽出する。この実施の形態 1では、通常再生ストリームはプログラムストリーム形式で保存されているので、上記抽出作業に並行して、プログラムストリームをエレメンタリーストリームに分離するデマルチプレックスも合わせて行う。

[0025] 特殊再生処理部 11は、入力されたフレーム内符号ィ匕ピクチャの解析を行う解析部 13と、生成する特殊再生ストリームのデコーダバッファの計算を行うデコーダバッファ計算部 14と、入力されたフレーム内符号ィ匕ピクチャの符号ィ匕パラメータを変更するフレーム内符号ィ匕ピクチャデータ変換処理部 15と、フレーム内符号ィ匕ピクチャと同じ映像表示を行うリピートピクチャを生成するリピートピクチャ付加部 16と、生成する特殊再生ストリームの発生符号量を制御する符号量制御部 17と、特殊再生ストリームを通常再生ストリームと同じ形式のプログラムストリームに多重化を行う PS (プログラムストリーム)化部 18とによって構成されており、通常再生ストリームのフレーム内符号ィ匕ピクチャを基に特殊再生ストリームの生成を行う。

[0026] 特殊再生処理部 11において、解析部 13は、入力されたフレーム内符号ィ匕ピクチャの VBVディレイ、テンポラル'リファレンス（Temporal Reference)、ピクチャ'コーデイング'タイプ (Picture Coding Type)、符号量等の解析を行い、特殊再生処理部 11内で必要なパラメータを取得する。

[0027] また、デコーダバッファ計算部 14は、解析部 13から取得したパラメータをもとに、生成する特殊再生ストリームの VBVディレイの計算を行う。なお、 VBVディレイの計算方法については後述する。

[0028] また、フレーム内符号ィ匕ピクチャデータ変換処理部 15は、入力したフレーム内符号化ピクチャが生成する特殊再生ストリームに適するように、例えばテンポラル'リファレンスゃ VBVディレイおよびシーケンスヘッダ以降フレーム内符号化ピクチャまでのビット'レート値（Bit Rate Value)や VBV'バッファ 'サイズ値（VBV Buffer Size Value)を変更する。

[0029] また、リピートピクチャ付加部 16は、先行するフレーム内符号ィ匕ピクチャと表示内容が同じになるように、動きベクトルを 0かつ予測誤差を 0に符号ィ匕し、かつスキップドマクロブロックを使用することによって符号量を大幅に削減したデータを生成する。

[0030] また、符号量制御部 17は、生成する特殊再生ストリームの目標転送レートに対して、発生する符号量を予測し、予測符号量が目標転送レートに比べて小さいなら、スタッフイングによって目標転送レートに近づけ、一方予測符号量が目標転送レートを上回りそうであれば、一時的に目標符号量を上げるとともに関連する例えばビット'レート値ゃ SCR (System Clock Reference:システム時刻基準参照値）の再調整を行い、 MPEGの規格に対して矛盾が生じな、処理を行うことによって、発生符号量の制御を行う。

[0031] また、 PS化部 18は、ビデオエレメンタリーストリームの形式で生成された特殊再生ストリームをパック単位に分割し、プログラムストリームの形式に変換を行う。

[0032] 配信部 7は、通常再生ストリームおよび特殊再生ストリームについて、例えば映像をストリーミング再生するための伝送プロトコルである RTP (Real-time Transport Protocol:リアルタイム 'プロトコル）に従って、ネットワーク 31を介して配信要求がなされた端末、例えば端末 51に対して配信を行う。

[0033] 上記のように、端末 51— 53は全て同一構成をとるため、ここでは端末 51について説明を行う。

[0034] 端末 51は、ネットワーク 31を介して接続されたサーバ 1に対して配信を要求し、その際に希望する映像ストリームの種類、通常再生か特殊再生か、特殊再生の場合は再生方向と再生速度を指定する。また、端末 51は、サーバ 1から配信された映像ストリームを受信し、さらにデコードすることによって通常再生および特殊再生を行う。

[0035] この端末 51は、ユーザ力もの操作を受け付ける再生入力部 41と、受け付けたユーザの要求を内部のコマンドに変換してネットワークを介してサーバ 1に送信する再生指示部 42と、サーバ 1からの映像ストリームを受信する受信部 43と、受信した映像ストリームをデコードするデコーダ部 44と、デコードした映像を表示する表示部 45とによって構成される。

[0036] 端末 51において、再生入力部 41は、ユーザが再生を希望するストリームの種類および通常再生、早送り、早巻き戻し、一時停止等の再生状態の受け付けを行う。また、再生指示部 42は、ネットワーク 31を介してサーバ 1に論理的に接続されている。再生入力部 41で受け付けられたユーザ要求が再生指示部 42で内部のコマンドに変換され、接続されたサーバ 1に送信される。また、受信部 43は、端末 51で受信すべきストリームの受信を行い、受信した RTPパケットから必要な映像ストリームを抜き出す。また、デコーダ 44は、 MPEG— 2で圧縮されたストリームをデコードし、表示部 45で表示を行う。

[0037] 次に、実施の形態 1の動作について説明する。まず、端末 51においてユーザが視聴したいデータを通常再生する場合について説明する。端末 51では、ユーザがリクェストしたストリームの種類および再生状態 (通常再生）が再生入力部 41に入力され、再生指示部 42は、ユーザのリクエスト内容を内部のコマンドに変換し、ネットワーク 31を経由してサーバ 1の再生制御部 5に命令を送信する。

[0038] サーバ 1内の再生制御部 5は、端末 51内の再生指示部 42からの命令を受信し、命令の内容に従って、読み出し部 2、スィッチ 4、スィッチ 6を制御する。今回の場合、通常再生が指示されているので、スィッチ 4を a側に、スィッチ 6を c側に設定する。

[0039] さらに、再生制御部 5は、再生すべきストリームについて、アドレスマップ 21に保持されて、る、タイムスタンプと蓄積部 2の蓄積アドレスとを対応付けたテーブルをもとに、再生すべきタイムスタンプから蓄積アドレスを求め、読み出し部 3に対してこの求めたアドレスに記録された 1つの GOPデータを読み出すように指示を出す。

[0040] 読み出し部 3は、指示されたアドレスに記録された GOPデータを蓄積部 2から読み出し、読み出した GOPのデータをスィッチ 4およびスィッチ 6を経由して配信部 7に送る。

[0041] 配信部 7は、プログラムストリーム形式の通常再生ストリームを RTPパケットィ匕し、ネットワーク帯域と転送レートおよび再生タイムスタンプを鑑みながら、ネットワーク 31に配信を行う。このとき、 RTPパケットはリクエストのあった端末 51の IP (Internet Protocol:インターネットプロトコル)アドレスを指定して送信が行われ、別の端末が誤つて受信しな!、ようになって!/、る。

[0042] このようにして 1GOPの配信が終了すると、再生制御部 5は、次の配信すべきタイムスタンプと蓄積アドレスをアドレスマップ 21から求め、次の再生すべき GOPの蓄積ァドレスを読み出すように読み出し部 3に指示を出す。読み出された GOPデータは、配信部 7により、先の GOPデータに続いて配信が行われる。この動作を繰り返すことによって、通常再生ストリームが順次読み出され、 RTPパケットィ匕されたデータとしてネットワークに送出される。

[0043] 次に、端末 51における通常再生ストリームの受信動作を説明する。端末 51においては、受信部 43は、ネットワーク 31を経由してサーバ 1から送信された RTPパケットの内、送信先として端末 51の IPアドレスが指定された RTPパケットのみを受信する。さらに、受信部 43は、受信した RTPパケットから再生に不要な RTPパケットヘッダを取り除き、プログラムストリームに変換する。このプログラムストリームは、デコーダ 44 にて MPEG— 2のデコードを行、、表示部 45で表示を行う。

[0044] RTPパケットは、端末 51の受信および再生状態によらず、サーバ 1から次々と送信されてくる。よって、受信部 43は、送信先として端末 51の IPアドレスが記述された RT Pパケットであれば全て受信を行い、受信したデータを次々とデコーダ 44へ送信を行う。このような動作により、サーバ 1と端末 51間の RTP通信による通常再生が可能となっている。

[0045] 次に、特殊再生の動作を説明する。まず、早送りの特殊再生について説明する。端末 51において、ユーザが特殊再生、例えば早送りの指示を再生入力部 41に行うと、再生指示部 42は、ネットワーク 31を経由して対応する命令をサーバ 1の再生制御部 5に伝える。再生制御部 5は、特殊再生を行う場合、スィッチ 4を b側に、スィッチ 6を d 側に設定し、特殊再生処理部 11に映像ストリームが流れるようにする。

[0046] この実施の形態 1では、早送りを行う場合、全ての GOPを再生するのではなぐ早送りの速度に応じて幾つかの GOPをスキップする。スキップする GOPの数は、特殊再生ストリームに付加されるリピートピクチャ数にも依存する。例えば、 GOP内のピクチヤ数が 15であるので、リピートピクチャを 2個使用し、 GOPあたり 3つのピクチヤからなる特殊再生ストリームを構成する場合、 5倍速の早送りであれば通常再生ストリームの全ての GOPを読み出し、 15倍速であれば 3GOP毎に該当 GOPを読み出すような構成をとる。

[0047] 再生制御部 5は、早送りの速度に合わせて、アドレスマップ 21に保持されたタイムスタンプと蓄積アドレスの対応テーブルから、早送りとして再生すべきタイムスタンプに対応する蓄積アドレスを求め、その蓄積アドレスを蓄積部 2から読み出すように読み出し部 3に命令を送る。

[0048] 読み出し部 3は、蓄積アドレスに記録された特殊再生を行うストリームの GOPデータを蓄積部 2から読み出し、スィッチ 4を経由して抽出部 12に送る。抽出部 12は、プログラムストリームの形式である通常再生ストリームをビデオエレメンタリーストリームにデマルチプレックスし、さらにフレーム内符号ィ匕ピクチャのみを抽出する。抽出したフレーム内符号ィ匕ピクチャは特殊再生処理部 11に送られ、特殊再生ストリームを生成する処理が行われる。

[0049] 特殊再生処理部 11では、まず最初に、解析部 13において、入力されたフレーム内符号化ピクチャ力も VBVディレイ、テンポラル'リファレンス、ピクチャ'コーディング'タイブ、符号量等のパラメータの抽出および解析を行う。そして、生成する特殊再生ストリームのフレーム構成を組み立てる。 [0050] 図 2に特殊再生処理部 11で生成される早送りの特殊再生ストリームのフレーム構成を示す。図 2 (a)は、特殊再生ストリームを生成する元となる通常再生ストリームであり、この通常再生ストリームは、 M = 3、 N= 15の GOP構造を持つ。ここで、 Nは GOP 内のピクチャ数、 Mはフレーム内符号ィ匕ピクチャ又は順方向予測ピクチヤが現れる周期（ピクチャ数で表された周期）である）また、図 2 (b)は、図 2 (a)の通常再生ストリーム力生成した早送りの特殊再生ストリームであり、通常再生ストリームのフレーム内符号化ピクチャ Iと、この Iに続いて Iの表示内容を繰り返す 2フレームのリピートピク

0 0 0

チヤ Bを続けて付加することで特殊再生ストリームを構成する。さらにその後には、上

R

述のフレーム内符号ィ匕ピクチャ Iに対応する特殊再生ストリームに続いて、次の GOP

0

のフレーム内符号ィ匕ピクチャ I と 2個のリピートピクチャ Bを続けて付加することによ

15 R

り構成された特殊再生ストリームが再生速度および再生方向に基づく特殊再生ストリームとして生成される（すなわち、上記フレーム内符号ィ匕ピクチャ Iおよびそれに続く

0

フレーム内符号ィ匕ピクチャ I が再生速度および再生方向に基づいて選択される符

15

号化パラメータを変更したフレーム内符号ィ匕ピクチャに相当する)。

[0051] 図 2 (a)と図 2 (b)を比較するとわかるように、元が GOP内のフレーム数が 15フレームである通常再生ストリームに対して、特殊再生ストリームでは GOP内のフレーム数力^にまで削減されており、結果として 5倍速の早送り映像表示を行うことができる。

[0052] 同様に、フレーム内符号ィ匕ピクチャ Iと 2個のリピートピクチャ Bの後ろに、 I を続け

0 R 15 ずに、図示されていないがさらに次の GOPのフレーム内符号化ピクチャである I と 2

30 個のリピートピクチャ Bを続けることによって、 10倍速を実現できる。このように、早送

R

りの速度に合わせて通常再生ストリームから Iフレームを選択的に抽出することによつて、早送りの速度を調整することができる。

[0053] 一方で、リピートピクチャとは、フレーム内符号ィ匕ピクチャの表示内容を繰り返して表示するように符号化されたもので、例えば動きベクトル 0、予測誤差 0となるように符号ィ匕を行っており、さらにデータ量削減のためマクロブロックの符号ィ匕を省略したスキップドマクロブロックを使用する。ここでは、リピートピクチャの符号ィ匕方式として、双方向予測ピクチャを用 V、ることとするが、順方向予測ピクチャを用いてもよい。

[0054] このようなリピートピクチャを用いることによって、図 2で示すように、この実施の形態 1の特殊再生ストリームでは通常再生ストリーム 1つの GOP内の B力 B までのピク

1 14 チヤデータを一切使用せず、 2個のリピートピクチャ Bと若干のスタッフイングで置き

R

換えるので、符号量が非常に小さくなるとともに、生成された特殊再生ストリームを構成するフレーム内符号ィ匕ピクチャ Iと 2個のリピートピクチャ B力も構成される GOPの

0 R

転送レートも小さくすることができる。

[0055] そのため、一般的な特殊再生として行われる Iフレームのみの転送では、その転送レートが非常に大きくなるのに対して、この実施の形態 1の特殊再生方法による特殊再生ストリームでは、転送レートの上昇を防ぐことができる。例えば、 6 [Mbps]の転送レート、 1GOPが 15フレームからなる通常再生ストリームについて Iフレームのみを転送することによって 15倍速の特殊再生を行う場合、一般的に 18 [Mbps]の帯域が必要となる。

[0056] し力しながら、この実施の形態 1のようにリピートピクチャを 2個利用した特殊再生では、全ての GOPを再生した場合は 5倍速の再生速度で 6 [Mbps]、 3GOP毎の再生であれば 15倍速でも同じく 6 [Mbps]の帯域で特殊再生を行うことができる。この構成をとつた特殊再生ストリームについて再生を行うと、同じ映像が 3フレーム分再生されるが、視覚上全く問題がない。

[0057] なお、ピクチャタイプは、この実施の形態 1では双方向予測ピクチヤとする力順方向予測ピクチヤであってもよい。また、この実施の形態 1では、リピートピクチャを 2個使用する構成をとっている力その理由は、例えば通常再生ストリームの転送レート力 [Mbps]の場合に、特殊再生ストリームも同じ 6 [Mbps]程度の転送レートにしたい場合に適切な数であるためであり、必要に応じてリピートピクチャの数を変更してもよい。

[0058] 次に、解析部 13で得られた VBVディレイおよび通常再生ストリームの符号量をもとに、デコーダバッファ計算部 ₁₄では、特殊再生ストリームの VBVディレイの計算を行う。通常、 VBVディレイは、連続するストリームの VBVバッファに占めるピクチャデータの遷移を示し、 VBVバッファのオーバーフローおよびアンダーフローを発生させないような値でなければならない。よって、 VBVディレイを決定する場合、 VBVの遷移をシミュレートすることによって正確な値の制御を行うことが必要となる。し力しながら、 VBVバッファの遷移を常にシミュレートすることは、計算負荷が大きぐ現実的でない。そこで、この実施の形態 1では、デコーダバッファ計算部 14において、 VBVディレィが簡単な算術計算によって導出する。なお、特殊再生ストリームの VBVディレイが簡単な算術計算によって導出できることおよび詳細な計算方法については後述する

[0059] フレーム内符号ィ匕ピクチャデータ変換処理部 15では、生成される特殊再生ストリームに対応したフレーム内符号ィ匕ピクチャになるように、そのテンポラル'リファレンスや VBVディレイおよびシーケンスヘッダからフレーム内符号化ピクチャまでのビット'レ一ト値ゃ VBV'バッファ 'サイズ値が変更される。例えば、通常再生ストリームにおいてフレーム内符号ィ匕ピクチャのテンポラル ·リファレンスが 2であり、特殊再生ストリームでリピートピクチャを 1個付加する場合は、テンポラル'リファレンスは 1に変更される。また、 VBVディレイも、デコーダバッファ計算部 14で計算された特殊再生ストリーム用の VBVディレイに置き換えられる。

[0060] リピートピクチャ付加部 16では、フレーム内符号ィ匕ピクチャの表示内容と同じ表示を行うリピートピクチャのデータを生成し、フレーム内符号ィ匕ピクチャの後ろに符号ィ匕を行う。さらに、符号量制御部 17では、予測する符号量が目標とする転送レートに対して少な!/、ようであればスタッフイングを行、、上回るようであれば目標転送レートを一時的に上昇させて、生成する特殊再生ストリームのデータが転送できるように調整を行う。最後に、 PS化部 18では、生成された特殊再生ストリームをプログラムストリームにマノレチプレックスを行う。

[0061] 以上のようにして特殊再生処理部 11で生成された特殊再生ストリームは、スィッチ 6 を経由して配信部 7に送られる。配信部 7では、通常再生ストリームと同様に、リクエストを行った端末を送信先 IPアドレスとして RTPパケットィ匕を行い、配信を行う。この操作を、特殊再生ストリームとして利用する GOP単位で繰り返すことによって、特殊再生ストリームの配信が行える。

[0062] 次に、端末 51における特殊再生ストリームの受信動作を説明する。端末 51では、通常再生ストリームを受信するのと同様に、受信部 43は、ネットワーク 31を経由してサーバ 1から送信された RTPパケットの内、送信先として端末 51の IPアドレスが指定された RTPパケットのみを受信する。さらに、受信部 43は、受信した RTPパケットから再生に不要な RTPパケットヘッダを取り除き、プログラムストリームに変換する。

[0063] プログラムストリームに戻された特殊再生ストリームは、映像ストリームの内容は特殊再生である早送り映像である力シンタックス上は通常のプログラムストリームと何ら変わりがない。そのため、通常再生と同様に、デコーダ 44にて MPEG— 2のデコードを行い、表示部 45に再生画を表示することが可能である。

[0064] 図 3に一時停止の場合の特殊再生ストリームのフレーム構成を示す。図 3 (a)は、特殊再生ストリームを生成する元となる通常再生ストリームであり、この通常再生ストリームは、 M = 3、 N= 15の GOP構造を持つ。また、図 3 (b)は、図 3 (a)の通常再生ストリームから生成した一時停止の特殊再生ストリームであり、図 2 (b)で示した早送り再生の構成に対して、使用する Iフレームが常に同じ I

0を用いる以外、同じ構成をとる。

[0065] 一時停止においては、通常再生ストリームにおける一時停止として表示したい GO Pのフレーム内符号ィ匕ピクチャ Iを利用し、この Iに続いて Iの表示内容を繰り返す 2

0 0 0

フレームのリピートピクチャ Bを続けて付加することで特殊再生ストリームを構成する

R

。さらにその後には、上述のフレーム内符号ィ匕ピクチャ I

0に対応する特殊再生ストリームに続いて、同じ映像を構成するために、この同じ I

0と 2個のリピートピクチャ B

Rを続けて付加することにより構成された特殊再生ストリームが再生速度および再生方向に基づく特殊再生ストリームとして生成される（すなわち、上記フレーム内符号化ピクチャ I

0およびそれに続く同じフレーム内符号ィ匕ピクチャ I

0が再生速度および再生方向に基づいて選択される符号ィ匕パラメータを変更したフレーム内符号ィ匕ピクチャに相当する)。このような構成により、継続的に同じ映像を示す一時停止用の特殊再生ストリームを構成できる。一時停止の場合は継続的に同じ映像を表示すればいいので、リピ一トビクチャ Bの数を増やすことによって、サーバおよびネットワークの負荷を下げる

R

ようにすることちでさる。

[0066] 次に、図 1を用いて、一時停止を行う動作について説明する。図 1において、再生制御部 5は、アドレスマップ 21を参照しながら常に同じタイムスタンプデータの蓄積ァドレスを蓄積部 2から読み出すように、読み出し部 3に対して指示を行う。読み出された GOPデータは、特殊再生処理部 11によって図 3 (b)に示すような一時停止の特殊再生ストリームに変換され、配信部 7から端末 51に対して配信が行われる。生成された一時停止用の特殊再生ストリームは、継続的に同じ再生画が表示されるデータ構造を持ち、端末 51は、通常再生や早送りのときと同じように、順次デコードおよび再生処理を継続するだけで、一時停止の再生画を表示することができる。

[0067] 図 4に早巻き戻しの場合の特殊再生ストリームのフレーム構成を示す。図 4 (a)は、特殊再生ストリームを生成する元となる通常再生ストリームであり、この通常再生ストリームは、 M = 3、 N= 15の GOP構造を持つ。また、図 4 (b)は、図 4 (a)の通常再生ストリーム力生成した早巻き戻しの特殊再生ストリームである。

[0068] 早巻き戻しでは、時間的に後の映像が先に表示されるように構成されなければならない。そのため、早巻き戻しの特殊再生ストリームは、通常再生ストリームの時間的に後のフレーム内符号ィ匕ピクチャ I と、この I に続いて I の表示内容を繰り返す 2フレ

15 15 15

ームのリピートピクチャ Bを続けて付加することで特殊再生ストリームを構成する。さら

R

にその後には、上述のフレーム内符号ィ匕ピクチャ I

15に対応する特殊再生ストリームに続いて、前の GOPのフレーム内符号化ピクチャ Iと 2個のリピートピクチャ Bを続けて

0 R 付加することにより構成された特殊再生ストリームが再生速度および再生方向に基づく特殊再生ストリームとして生成される（すなわち、上記フレーム内符号ィ匕ピクチャ I

15 およびそれに続くフレーム内符号ィ匕ピクチャ I

0が再生速度および再生方向に基づいて選択される符号ィ匕パラメータを変更したフレーム内符号ィ匕ピクチャに相当する)。このような構成により、表示映像の順が通常再生ストリームと反対になった早巻き戻し再生用の特殊再生ストリームを生成することができる。

[0069] 図 4 (a)と図 4 (b)を比較するとわかるように、元が GOP内のフレーム数が 15フレームである通常再生ストリームに対して、特殊再生ストリームでは GOP内のフレーム数力^にまで削減されており、結果として 5倍速の早巻き戻し映像表示を行うことができる。さらに、作成する特殊再生ストリームに使用するフレーム内符号ィ匕ピクチャを 2G OP毎にすれば 10倍速、 3GOP毎にすれば 15倍速の早巻き戻しが可能である。

[0070] 次に、図 1を用いて、早巻き戻しを行う動作について説明する。図 1において、再生制御部 5は、早巻き戻しの速度に合わせて、読み出すべき通常再生ストリームのタイムスタンプを決定する。さら〖こ、アドレスマップ 21を参照し、読み出すべきタイムスタンプデータの蓄積アドレス決定し、蓄積部 2から該当 GOPデータを読み出す。読み出された GOPデータは、特殊再生処理部 11によって早巻き戻しの特殊再生ストリームに変換される。同様に、早巻き戻し速度に合わせて、次の読み出しタイムスタンプを決定し、アドレスマップ 21から蓄積アドレスを求め、該当 GOPデータを蓄積部 2から読み出し、特殊再生処理部 11に送り込む動作を続けることによって、図 4 (b)に示すような早巻き戻しの特殊再生ストリームが生成される。生成された早巻き戻しの特殊再生ストリームは、配信部 7から端末 51に対して配信が行われる。この早巻き戻しの特殊再生ストリームは、再生画が時間的に逆になつたデータ構造を持ち、端末 51は通常再生のときと同じように順次デコードおよび再生処理を継続するだけで早巻き戻しの再生画を表示することができる。

[0071] 次に、特殊再生ストリームにおける VBVディレイの導出方法について説明する。図 5 (a)は通常再生ストリームにおける仮想デコーダの VBVバッファの遷移を示した図であり、図 5 (b)は特殊再生ストリームにおける仮想デコーダの VBVバッファの遷移を示した図である。図 5 (a)および図 5 (b)の両図とも、横軸に時間、縦軸に VBVバッファの占有量を示し、実線が VBVバッファの遷移を示して!/、る。

[0072] 図 5において、 VBVバッファの実線の傾き aは、通常再生ストリームの転送レートを

N

表している。先頭の Iピクチャは、転送レート aで VBVバッファに充填が行われ、 VB

N

Vディレイで示されるて時間後にデコードが開始される。そのとき、 Iピクチャのデー

NO

タ量である d 力VBVバッファから抜き去られる。

NO

[0073] 次のピクチャは、先頭ピクチヤの充填が完了し次第すぐに充填が開始され、同じく

て時間後に d が VBVバッファ力も抜き去られる。このとき、隣接するピクチャの充

Nl N1

填開始時間の差 X は、

NO

X = τ + Δ ί- τ · ' · ( 1)

NO NO Nl

で表される。ここで、 Δ ίは表示フレームの間隔であり、 NTSCでは 1Z29. 97である。また、転送レート aと符号量 d との間には、

N NO

d 二 a Χ χ · ' · (2)

NO Ν NO

という関係がある。

[0074] 一方、図 5 (b)に示される特殊再生ストリームにつ、ても、上記通常再生ストリームと同じ関係がある。つまり、

X = τ + Δ ί- τ - - (3)

TO TO Tl

d =a X x - - (4)

TO T TO

である。ここで、 x は特殊再生ストリームの先頭 Iピクチャと次のピクチヤの充填開始

TO

時間の差、 X は特殊再生ストリームの 2番目のピクチャと 3番目のピクチャの充填開

T1

始時間の差、 τ は特殊再生ストリームの先頭 Iピクチャの VBVディレイ、 τ は特殊

TO Tl 再生ストリームの 2番目のピクチャの VBVディレイ、 d は特殊再生ストリームの先頭 I

TO

ピクチャのデータ量、 aは特殊再生ストリームの転送レートである。

T

[0075] さらに、通常再生ストリームと特殊再生ストリームの間において、先頭の VBVバッファの充填量を同じと仮定すると、

a X τ =a X τ · · · (ο)

Ν NO Τ TO

の関係が導かれる。これは、図 5において破線で示す内容である。

[0076] 以上より、特殊再生ストリームの VBVディレイは、

τ =a z a X τ ··· (Ό)

TO Ν Τ NO

τ = τ -d /a + Δ ί· · · (7)

Tl TO TO T

τ = τ -d /a + Δ ί· · · (8)

Τ2 Tl Tl Τ

の関係が導かれる。つまり、通常再生ストリームの転送レート a、特殊再生ストリーム

N

の転送レート a、通常再生ストリームにおける先頭ピクチャの VBVディレイである τ

T NO

から、特殊再生ストリームの VBVディレイを求めることができる。以上より、一般的に V BVディレイを求めるときのように VBVバッファの遷移をシミュレートすることによって V BVディレイを求めることなぐ上記簡単な算術計算によって特殊再生ストリームの VB Vディレイを求めることができる。

[0077] なお、上記では特殊再生ストリームの VBVディレイを計算によって導出する方法を示したが、全ての VBVディレイを固定値 OxFFFFに置き換えることによつても、特殊再生ストリームを構成することができる。 VBVディレイが OxFFFFであることは、ストリームが VBR (Variable Bit Rate:可変ビットレート）であることを示す値である。一方、 V BVディレイとして OxFFFF以外の値が入っている場合は、 CBR (Constant Bit Rate: 固定ビットレート）を示す。 MPEG— 2では、 CBRは VBRの特殊な形態と定義されているため、生成した特殊再生ストリームを VBRに設定することについて何ら問題はない。この場合、 VBVディレイに関する計算処理が全く必要なぐデータの置き換えだけで済むのでさらに高速な処理が可能になる。

[0078] このように実施の形態 1では、ネットワーク上で接続されたサーバと端末間で映像の特殊再生を実行する場合において、通常再生ストリーム力も特殊再生ストリームをリアルタイムに生成するので、あら力じめ記録媒体に特殊再生ストリームを用意しておく必要や、あら力じめ用意しておいた特殊再生ストリームに対する特別な管理を行う必要がない。

[0079] また、生成する特殊再生ストリームは、通常再生ストリーム力も抽出した Iフレームに、符号量の少ないリピートピクチャを付加して、転送レートを抑えた特殊再生ストリームを生成し、秒あたりの符号量を削減しているので、特殊再生のときも、ネットワークの負荷を上昇させることなく転送が可能である。

[0080] また、生成された特殊再生ストリームは、再生側で通常の速度で再生することによつて、あた力も特殊再生されたかのような映像を呈するように生成されているので、再生側で特殊再生ストリームを再生するにあたり、特別な仕組みを設ける必要がなぐ特殊再生を実現できる。

[0081] さらに、通常再生ストリーム力も抽出した Iフレームの符号化パラメータの値を、生成する特殊再生ストリームおよび MPEG— 2ストリームの規約に従うように再設定して特殊生成ストリームに使用するので、符号化パラメータが不正な値をとることによる再生映像の乱れや、多重装置における多重化の失敗がなくなる。

[0082] また、生成する特殊再生ストリームに適合するように、デコーダバッファを制御する V BVディレイ等のデコーダバッファに関する制御パラメータを適正な値に設定し直すので、デコーダバッファの破淀を防ぐことができる。

[0083] また、 VBVディレイが適正な値になって、るので、もし特殊再生ストリームが配信される経路上に多重装置があっても、多重ミスを生じることがな、。

[0084] また、デコーダバッファ制御用パラメータを、特殊再生ストリームに変換する前の転送レートならびにデコーダバッファの制御用パラメータおよび変換後の転送レートから求めるので、特殊再生ストリームのデコーダバッファ制御用パラメータとして、より適切な値を導出でき、さらにデコーダバッファの破綻が起きなくなる。

[0085] また、この実施の形態 1で示した VBVディレイの計算方法では、簡単な算術計算により VBVディレイを求めることができるので、デコーダバッファのシミュレートにより VB Vディレイを求める方法に比べてシステムの負荷が少なぐ計算によるシステムの負荷上昇を発生させることなぐまた高速に求めることができる。

[0086] さらに、 VBVディレイ等のデコーダバッファ制御用パラメータを OxFFFF等の有意な固定値に設定することにより、上記簡単な算術計算すら行う必要がなぐデコーダノッファ制御用パラメータの計算処理に係る時間および負荷がほとんど発生しないので、システムの負荷をほとんど上昇させることなぐ VBVディレイ等のデコーダバッファ制御用パラメータを設定することができる。

[0087] さらに、変動する特殊再生ストリームの符号量に対して、転送レートの調整を発生符号量が少な!/、ときはスタッフイングで調整し、符合量が大き!/、ときは目標とする符号量を一時的に上昇させて、符号量を制御することにより、生成する特殊再生ストリームに対して転送レートの調整の制御ができるので、通常再生と同じ転送レートにしたり、特殊再生のときのみ転送レートを変化させたり、簡単に転送レートを調整できる。

なお、転送レート調整のために符号ィ匕するスタッフイングを、各ピクチャの符号量や VBVディレイが均一になるように、各リピートピクチャの後に均等に挿入するようにしても良い。

[0088] 以上のように実施の形態 1によれば、特殊再生ストリームのネットワーク越しでの再生において、映像の乱れが発生することがない。

[0089] 実施の形態 2.

図 6は本発明の実施の形態 2の映像データ処理装置を備えた広域監視システムを示す図である。この実施の形態 2では、カメラ 101— 103で撮影された映像をサーバ 120に蓄積保存し、複数台の端末 111一 113から蓄積された映像を視聴できるシステムを構築している。端末は、任意の映像を通常の再生速度で視聴できる他に、早送り、早巻き戻し、一時停止などの特殊再生も可能である。

[0090] 監視カメラ 101— 103は、撮影した映像を MPEG— 2プログラムストリームに圧縮を行い、さらに RTPプロトコルに対応した RTPZUDP (User Datagram Protocol:ユーザ ·データグラム ·プロトコル）パケット化を行い、ネットワーク 100を経由してサーバ 12 0に送信する。

[0091] サーバ 120は、カメラ 101— 103が撮影した映像ストリームについて 3つの蓄積機能を有しており、初期設定で選択が可能である。その 1つ目は、カメラ 101— 103からのマルチキャストストリームを、エンドレスに常時受信 ·蓄積を行う一次蓄積サーバ機能、 2つ目は、カメラ 101— 103からのマルチキャストストリームを、アラームをトリガに受信'蓄積するアラーム蓄積サーバ機能、 3つ目は、図 6に示されていない別のサーバに蓄積された映像ストリームを退避する画像保存サーバ機能であり、これら 3つの蓄積機能を初期設定で切り替えて使用できる。ここでは、サーバ 120は、一次蓄積サーバに設定されているものとして、以下説明を続ける。

[0092] サーバ 120は、要求受付モジュール 121と、受信モジュール 122と、映像データべース 123と、配信モジュール 124と、蓄積モジュール 125と、特殊再生モジュール 12 6と、 HDD (ノヽード'ディスク'ドライブ） 127とを備えている。

[0093] 要求受付モジュール 121は、外部からの蓄積および配信要求に応じるためのモジユールであって、端末 111一 113および図 6に示されて!/、な!/、別のサーバからの映像の配信および蓄積の要求を受け付け、サーバ 120内の他のモジュールに対して内部 IZFを利用して制御を行うとともに、要求のあった端末もしくはサーバに対して要求に対する応答メッセージ送信も行う。この要求受付モジュール 121は、 RTSP ( Real Time Streaming Protocol:リアルタイム ·ストリーミング'プロトコル）に対応しており、サーバ 120に蓄積されている映像ストリームの通常再生および特殊再生が可能になっている。また、要求受付モジュール 121は、映像データベース 123を利用した各種検索機能も備えており、例えば時間や撮影されたカメラを検索キーにして対象となる映像ストリームを検索することも可能である。

[0094] 受信モジュール 122は、カメラ 101— 103からマルチキャスト配信されたストリームの受信処理を行う。カメラ 101— 103がマルチキャストで送信するメリットは、 1つの映像ストリームを他のサーバで同時に保存が可能であることと、端末 111一 113から直接カメラの映像が視聴可能となることであり、サーバ 120に対してのみ送信したいのであればュ-キャストで送信してもよい。この受信モジュール 122は、 RTPZUDPパケットの送信 IPアドレスがサーバ 120の IPアドレスもしくはマルチキャストアドレスであり、かつポート番号が一致していたときのみ受信を行う。また、受信モジュール 122は、 RTPZUDPパケットで送られた GOPの先頭データを受信した時刻をタイムスタンプとして取得する。受信した RTPZUDPパケットは、 RTPZUDPヘッダが付加されているので、それらを取り除き、 RTPZUDPパケットのペイロード部を結合し、プロダラムストリームにする。

[0095] 蓄積モジュール 125は、受信したプログラムストリームである映像ストリームについて GOP単位で HDD127に蓄積を行うとともに、 HDD 127に蓄積されたデータにつ!/ヽて GOP単位で管理を行う。

[0096] 映像データベース 123は、蓄積モジュール 125が管理'蓄積を行っている映像ストリームおよび GOPのメタ情報 (コンテンツの構造や属性を示す情報）につ、ての記録 '管理および検索機能を提供する。映像ストリームのメタ情報の種類としては、例えばカメラ番号、映像の圧縮方式および圧縮レベル、受信モジュール 122で取得した時間を示すタイムスタンプ、撮影時刻等がある。

[0097] 配信モジュール 124は、要求受付モジュール 121からの要求に従い、蓄積モジュール 125が管理する映像ストリームをネットワーク 100に配信を行う。映像ストリームをネットワーク 100経由で、例えば端末 111に対して通常再生ストリームとして配信するときは、送信データであるプログラムストリームを RTPZUDPパケットィ匕し、送信先 IP アドレスとして端末 111の IPアドレスを設定するとともに、映像データベース 123に記録されている GOP毎の受信タイムスタンプをもとに GOP単位の送信のタイミングの制御を行う。

[0098] 一方、特殊再生ストリームを配信するときは、蓄積モジュール 125から読み出した通常再生ストリームを特殊再生モジュール 126にー且転送し、特殊再生モジュール 12 6が生成した特殊再生ストリームについて配信を行う。特殊再生ストリームの配信タイミングは、早送りおよび早巻き戻しについては、配信する GOPの受信タイムスタンプ間隔が、 15倍速であれば 1Z15になるように配信を行う。特殊再生モジュール 126 を利用するには、通常再生ストリーム力もフレーム内符号ィ匕ピクチャ (Iフレーム）を抽出して特殊再生モジュール 126に渡すとともに、特殊再生ストリームを生成するために必要とされるパラメータ、例えば通常再生ストリームの転送レート、希望する特殊再生ストリームの転送レート等のパラメータについても特殊再生モジュール 126に渡し、特殊再生ストリーム生成を行う。

[0099] 端末 111一 113では、サーバ 120に蓄積された映像ストリームを視聴することが可能であり、サーバ 120の要求受付モジュール 121に再生のリクエストを送ることによつて視聴が可能になる。例えば、端末 111が視聴したい映像ストリームをサーバ 120にリクエストすると、対応する映像ストリームが RTPZUDPパケット単位でサーバ 120から配信される。端末 111は、ネットワーク上の RTPZUDPパケット内の送信 IPァドレスおよびポート番号が一致しているパケットについて受信を行うことによって、リクエストした映像ストリームの再生を行うことができる。

[0100] 次に、図 7を用いて、特殊再生モジュール 126について説明する。特殊再生モジュール 126は、配信モジュール 124から転送される Iフレームを受信するための Iフレームノッファ 131と、受信した Iフレームデータのデータ構造や符号化パラメータの解析を行う解析部 132と、生成する特殊再生ストリームの VBVディレイの計算を行うデコーダバッファ計算部 133と、特殊再生ストリームに利用する Iフレームデータについてパラメータの変更を行う Iフレームデータ変換処理部 134と、 Iフレームに続いてこの I フレームと同じ表示内容を示すリピートピクチャを生成'付加するリピートピクチャ付カロ部 135と、生成する特殊再生ストリームの符号量を目標とする転送レートに合うように制御を行う符号量制御部 136と、生成された特殊再生ストリームをプログラムストリームに変換する PS化部 137と、生成された特殊再生ストリームを配信モジュール 124 に伝えるための特殊再生ストリームバッファ 138とによって構成されている。

[0101] 次に、実施の形態 2の動作について説明する。サーバ 120は、蓄積方法としてカメラ 101— 103からのマルチキャストストリームをエンドレスに常時受信'蓄積を行う一次蓄積サーバに設定がなされているものとする。サーバ 120がー次蓄積サーバに設定がなされると、サーバ 120の受信モジュール 122は、常時ネットワーク 100の RTPZ UDPパケットについて監視を行い、 RTPZUDPパケットの送信先 IPアドレスが自らの IPアドレスもしくはマルチキャストアドレスであり、さらにポート番号が一致していれば、該当 RTPZUDPパケットの受信を行う。 [0102] 受信モジュール 122で受信されたパケット単位の映像ストリームは、 RTPZUDPパケット形式力もプログラムストリームに変換され、さらに単独もしくは複数のパケットで G OP単位が構成されるごとに GOP単位で HDD 127に記録が行われる。また、映像データベース 123は、該当 GOPがサーバ 120において受信された時刻を GOPの受信タイムスタンプとして記録するとともに、カメラ情報、映像の圧縮方式および圧縮レべル等のメタ情報の記録を行う。この動作を繰り返すことによって、サーバ 120に映像ストリームが蓄積されていく。

[0103] 次に、通常再生の動作について説明する。まず、例えば端末 111から任意の映像を選択し、再生する場合について説明する。まず最初に、端末 111は、サーバ 120 の要求受付モジュール 121に対して、サーバ 120内に蓄積されている映像ストリームの一覧を取得する。映像ストリームの一覧を取得するには、映像データベース 123の検索機能を利用し、検索キーとして特に何も指定しないで検索を実行すると、蓄積された映像ストリームの一覧を取得することができる。こうして取得した映像ストリームの一覧から、端末 111は、任意の希望する映像ストリームを選択することができる。映像ストリームは、それぞれについて重複しない映像 IDが割り当てられており、映像ストリームの特定には映像 IDが利用される。

[0104] 次に、端末 111は、選択した映像ストリームを再生するために、要求受付モジユール 121に対して、選択した映像 IDの再生要求コマンドを発行する。再生要求を受けた要求受付モジュール 121は、配信モジュール 124に対して指定された映像 IDの再生を開始するように命令を送る。配信モジュール 124は、映像データベース 123を利用して、映像 IDに一致し、かつ再生時間に一致する映像ストリームの GOPを特定し、蓄積モジュール 125に再生の指示を出す。蓄積モジュール 125は、前記特定した映像ストリームの GOPを HDD127から読み出し、配信モジュール 124に送る。配信モジュール 124は、蓄積モジュール 125から取得した GOPの配信を行う。

[0105] 配信モジュール 125による配信においては、映像ストリームの GOPを RTP/UDP パケットィ匕し、送信先 IPアドレスとして端末 111の IPアドレスおよび受信する端末と同一のポート番号を指定し、さらに映像データベース 123に記録しておいた配信データのメタ情報の 1つである受信タイムスタンプをもとに配信タイミングの制御を行う。つまり、配信モジュール 124は、該当 GOPの配信タイミングとして、受信モジュール 122 で GOPを受信した時刻である受信タイムスタンプを再現するように GOPの配信を行う。これによつて、カメラにて撮影され、さらにエンコードされた映像データのカメラからの配信タイミングが再現され、結果としてネットワークおよび再生環境における各種バッファにおいてオーバーフローおよびアンダーフローを発生することなぐリアルタイムなデコード再生が可能になる。

[0106] 配信モジュール 125から配信された RTPZUDPパケットは、再生を要求した端末 1 11により受信される。端末 111は、連続的に配信される RTPZUDPパケットについて RTPZUDPヘッダを取り除き、複数の RTPZUDPパケットのペイロードをつなぎ合わせることによってプログラムストリームの形をした通常再生ストリームを取得できる

。以上より、端末 111は、サーバ 120に蓄積された映像再生ストリームを取得し、さらに図示しないが内部に備えられたデコーダによって取得した映像再生ストリームを再生することができる。

[0107] 次に、特殊再生の動作について説明する。ここでは、代表的な特殊再生の 1つである早送りの方法について説明する。説明の簡略化のために、蓄積されている通常再生データは、 MPEG— 2プログラムストリームで、 N= 15とする。

[0108] 早送りの場合、 GOP内の Iフレームのみを順次再生すれば 15倍速である力 Iフレームの後にリピートピクチャを 2枚付加した特殊再生ストリームを生成し、再生を行うと、通常再生ストリームに比べ 5倍速の表示を行うことができる。さらに早送りの速度を高速にするには、離散的に GOPを読み出せばよぐ例えば 3GOP毎に読み出せば 1 5倍速、 6GOP毎に読み出せば 30倍速の早送りを行うことができる。ここでは、端末 1 11から任意の映像について 15倍速の早送りの特殊再生がリクエストされたものとする。

[0109] 通常再生の場合と同じように、端末 111は、サーバ 120の要求受付モジュール 121 に対して、特殊再生を行う映像 IDと特殊再生を行う命令を発行する。再生要求を受け付けた要求受付モジュール 121は、配信モジュール 124に対して、選択された映像 IDと早送りのコマンドを発行する。配信モジュール 124は、映像データベース 123 を用いて、選択された映像 IDのストリームのメタ情報を取得し、 15倍速の早送りを実現するための読み込み対象の GOPを決定する。

[0110] 図 8に GOPと受信タイムスタンプの関係を示す。図 8において、 N= 15、リピートピクチャが 2枚の場合の 15倍速の早送りでは、 3GOP毎の読み出しを行えばよい。このようにして早送り速度に応じて読み込み GOPを決定し、決定した GOPを蓄積モジュール 125力 SHDD127力ら読み出しを行う。配信モジュール 124は、取得した通常再生ストリームの GOPデータから Iフレームを抽出し、特殊再生モジュール 126に送る。

[0111] 図 7において、特殊再生モジュール 126の Iフレームバッファ 131には、配信モジュール 124から送られた Iフレームデータが格納される。解析部 132は、 Iフレームバッファ 131に格納された Iフレームデータの VBVディレイ、テンポラル'リファレンス、ピクチヤ ·コーディング ·タイプ、符号量の解析を行い、特殊再生モジュール 126内の各処理で必要なパラメータを取得する。

[0112] デコーダバッファ計算部 133では、解析部 132から取得したパラメータをもとに、生成する特殊再生ストリームの VBVディレイの計算を行う。この VBVディレイの計算方法については、上記実施の形態 1で示した方法を用いるものとする。

[0113] Iフレームデータ変換処理部 134は、入力した Iフレームピクチャが生成される特殊再生ストリームに適合するように、例えばテンポラル'リファレンスや VBVディレイおよびシーケンスヘッダ以降 Iフレームまでのビット ·レート値や VBV'バッファ ·サイズ値を変更する。

[0114] リピートピクチャ付加部 135は、先行する Iフレームと表示内容が同じになるように、動きベクトルを 0かつ予測誤差を 0になるように、力つスキップドマクロブロックを使用しデータ量を大幅に削減するように符号ィ匕されたリピートピクチャのデータを作成する

[0115] 符号量制御部 136は、生成する特殊再生ストリームの目標転送レートに対して、発生する符号量を予測し、予測符号量が目標転送レートに比べて小さいなら、スタッフイングによって目標転送レートに近づけ、予測符号化量が目標転送レートを上回りそうであれば、一時的に目標転送レートを上げるとともに関連する例えばビット'レート値や SCRの再調整を行、、 MPEG— 2の規格に対して矛盾が生じな、処理を行うことによって、発生符号量の制御を行う。 [0116] PS化部 137は、ビデオエレメンタリーストリームの形式で生成された特殊再生ストリームをパック単位に分割し、プログラムストリームの形式に変換を行う。生成されたプログラムストリームは、特殊再生ストリームバッファ 138に保存され、当該データを配信モジュール 124に渡す。

[0117] 配信モジュール 124は、受け取った特殊再生ストリームについても、通常再生ストリームと同様に、 RTP/UDPパケットィ匕し、送信先 IPアドレスとして端末 111の IPアドレスおよびポート番号を指定し、さらに映像データベース 123に記録しておいた配信データのメタ情報の 1つである GOP毎の受信タイムスタンプをもとに早送り速度を鑑みながら、つまり 15倍速であれば GOP間の受信タイムスタンプの間隔が 1Z15になるように、 GOP単位での配信タイミングの制御を行う。配信モジュール 124から配信された RTPZUDPパケットは、再生を要求した端末 111により受信される。

[0118] 端末 111は、連続的に配信される RTPZUDPパケットについて、 RTPZUDPへッダを取り除き、プログラムストリームのパケットにし、さらに複数のペイロードパケットをつなぎ合わせることによって、特殊再生ストリームを取得できる。そして、取得した特殊再生ストリームを通常再生ストリームと同様に再生することによって、 15倍速の早送りの特殊再生を実現することができる。この特殊再生ストリームは、シンタックス上、通常再生ストリームと何ら変わりがないため、通常再生ストリームと同様に扱うことが可能である。以上より、端末 111は、取得した特殊再生ストリームを再生することができる。

[0119] ここでは、早送りの 15倍速について説明した力早送りの 30倍速であれば、 6GOP 毎に 1つの Iフレームを読み出し、配信するタイムテーブルの時間間隔を 1Z15にすればよい。また、早巻き戻しであれば、逆方向に読み出して、特殊再生モジュール 1 26に送ればよい。また、一時停止であれば、同じ GOPのデータを繰り返し、特殊再生モジュール 126に送ればよ!、。

[0120] なお、早送りおよび早巻き戻しの特殊再生ストリームの配信タイミングについては、受信時のタイムスタンプをもとに配信することによってリアルタイム性を確保できた力一時停止の特殊再生において配信を行うタイミングは、受信時刻が同一であるため、受信タイムテーブルを使用するのは無意味である。従って、生成した特殊再生ストリームの時刻情報をもとに配信を行なう方法をとる。 [0121] この実施の形態 2で説明した特殊再生ストリームは、再生側で通常の速度で再生することによって、あた力も特殊再生されたかのような映像を呈するように生成されているので、再生側で特殊再生ストリームを再生するにあたり、特別な仕組みを設ける必要がなぐ通常再生ストリームと同様に扱うことができる。

[0122] また、通常再生から特殊再生、もしくは特殊再生力通常再生に遷移するときに、シームレスに再生を続けるためには、プログラムストリームの SCR (System Clock Reference)および PTS (Presentation Time Stamp :再生出力の時刻管理情報）や DT S (Decoding Time Stamp :復号の時刻管理情報）の時間情報の連続性を保証することが必要である。もし、これらの時間情報が連続していないと、デコーダによっては、デコーダバッファのオーバーフローやアンダーフローが発生したり、デコードの一時中断や停止が発生したりする恐れがある。

[0123] 従って、通常再生と特殊再生間の切り替え時には、先行するストリームの最終 SCR をもとに、後続するストリームの SCRが連続するように、後続するストリームの SCRにオフセットを行うことが望ましい。さらに、後続するストリームの PTSおよび DTSについても、 SCRが行ったオフセット相当を行うことも必要である。

[0124] このように実施の形態 2では、ネットワーク上で接続されたサーバと端末間で映像の特殊再生を実行する場合において、通常再生ストリーム力も特殊再生ストリームをリアルタイムに生成するので、あら力じめ記録媒体に特殊再生ストリームを用意しておく必要や、あら力じめ用意しておいた特殊再生ストリームに対する特別な管理を行う必要がない。

[0125] また、生成する特殊再生ストリームは、通常再生ストリーム力も抽出した Iフレームに、符号量の少ないリピートピクチャを付加して、転送レートを抑えた特殊再生ストリームを生成し、秒あたりの符号量を削減しているので、特殊再生のときも、ネットワークの負荷を上昇させることなく転送が可能である。

[0126] また、生成された特殊再生ストリームは、再生側で通常の速度で再生することによつて、あた力も特殊再生されたかのような映像を呈するように生成されているので、再生側で特殊再生ストリームを再生するにあたり、特別な仕組みを設ける必要がなぐ特殊再生を実現できる。 [0127] さらに、通常再生ストリーム力も抽出した Iフレームの符号化パラメータの値を、生成する特殊再生ストリームおよび MPEG— 2ストリームの規約に従うように再設定して特殊生成ストリームに使用するので、符号化パラメータが不正な値をとることによる再生映像の乱れや、多重装置における多重化の失敗がなくなる。

[0128] また、生成する特殊再生ストリームに適合するように、デコーダバッファを制御する V BVディレイ等のデコーダバッファに関する制御パラメータを適正な値に設定し直すので、デコーダバッファの破淀を防ぐことができる。

[0129] また、 VBVディレイが適正な値になって、るので、もし特殊再生ストリームが配信される経路上に多重装置があっても多重ミスを生じることがない。

[0130] また、デコーダバッファ制御用パラメータを、特殊再生ストリームに変換する前の転送レートならびにデコーダバッファの制御用パラメータおよび変換後の転送レートから求めるので、特殊再生ストリームのデコーダバッファ制御用パラメータとして、より適切な値を導出でき、さらにデコーダバッファの破綻が起きなくなる。

[0131] また、デコーダバッファ制御用パラメータの導出が簡単な算術計算であるため、計算によるシステムの負荷上昇を発生させることなぐまた高速に求めることができる。

[0132] さらに、デコーダバッファ制御用パラメータを固定値に設定することにより、デコーダノッファ制御用パラメータの計算処理に係る時間および負荷がほとんど発生しないので、システムの負荷をほとんど上昇させることなぐデコーダバッファ制御用パラメータを設定することができる。

[0133] さらに、変動する特殊再生ストリームの符号量に対して、転送レートの調整を発生符号量が少な!/、ときはスタッフイングで調整し、符合量が大き!/、ときは目標とする符号量を一時的に上昇させて、符号量を制御することにより、生成する特殊再生ストリームに対して転送レートの調整の制御ができるので、通常再生と同じ転送レートにしたり、特殊再生のときのみ転送レートを変化させたり、簡単に転送レートを調整できる。

[0134] 以上のように実施の形態 2によれば、特殊再生ストリームのネットワーク越しでの再生において、映像の乱れが発生することがない。

Claims

請求の範囲

[1] フレーム間予測を用いて符号ィ匕された映像ストリームに対して、再生速度および再生方向を変更した特殊再生ストリームを生成する映像データ処理方法であって、生成する特殊再生ストリームの速度と方向に合わせて、上記映像ストリーム力フレーム内符号化ピクチャを選択的に抽出する工程と、

上記抽出したフレーム内符号ィ匕ピクチャの符号化パラメータを解析する解析工程と上記速度と方向に合わせて、上記符号化パラメータを変更する変更工程と、上記抽出したフレーム内符号ィ匕ピクチャと同じ表示内容を示すリピートピクチャを生成し、上記リピートピクチャを、データの伝送順で上記再生速度および再生方向に基づいて選択される上記符号ィ匕パラメータを変更したフレーム内符号ィ匕ピクチャの後ろに続けて付加することによって、特殊再生ストリームを生成する生成工程とを備えたことを特徴とする映像データ処理方法。

[2] 上記解析工程は、上記抽出したフレーム内符号ィ匕ピクチャのデコーダバッファに関する制御パラメータを解析し、

上記変更工程は、伝送された上記特殊再生ストリームがデコーダバッファで破綻に至らないように、上記デコーダバッファに関する制御パラメータを変更する

ことを特徴とする請求項 1記載の映像データ処理方法。

[3] 上記変更工程は、上記特殊再生ストリームを構成するフレーム内符号ィ匕ピクチャおよびリピートピクチャのデコーダバッファに関する制御パラメータを、上記抽出されたフレーム内符号ィ匕ピクチャの上記解析されたデコーダバッファ制御用パラメータ、ならびに上記映像ストリームの転送レート、および生成する特殊再生ストリームの転送レートから導出することを特徴とする請求項 2記載の映像データ処理方法。

[4] 上記変更工程は、上記特殊再生ストリームを構成するフレーム内符号ィ匕ピクチャおよびリピートピクチャのデコーダバッファに関する制御パラメータを、上記映像ストリームおよび生成する特殊再生ストリームの符号化構成によらず、有意な固定値とすることを特徴とする請求項 2記載の映像データ処理方法。

[5] 上記特殊再生ストリームの発生する符号量が、目標とする転送レート以下と予想される場合は、スタッフイングにより上記目標とする転送レートに合わせ、上記特殊再生ストリームの発生する符号量が、上記目標とする転送レートを上回ると予想される場合は、上記目標とする転送レートを一時的に上げる工程をさらに備えたことを特徴とする請求項 1記載の映像データ処理方法。

[6] フレーム間予測を用いて符号ィ匕された映像ストリームに対して、再生速度および再生方向を変更した特殊再生ストリームを生成する映像データ処理装置であって、生成する特殊再生ストリームの速度と方向に合わせて、上記映像ストリーム力フレーム内符号ィ匕ピクチャを選択的に抽出する手段と、

上記速度と方向に合わせて、上記符号化パラメータを変更する変更手段と、上記抽出されたフレーム内符号ィ匕ピクチャと同じ表示内容を示すリピートピクチャを生成し、上記リピートピクチャを、データの伝送順で上記再生速度および再生方向に基づいて選択される上記符号ィ匕パラメータを変更したフレーム内符号ィ匕ピクチャの後ろに続けて付加することによって、特殊再生ストリームを生成する生成手段とを備えたことを特徴とする映像データ処理装置。

[7] 上記解析手段は、上記抽出したフレーム内符号ィ匕ピクチャのデコーダバッファに関する制御パラメータを解析し、

上記変更手段は、伝送された上記特殊再生ストリームがデコーダバッファで破綻に至らないように、上記デコーダバッファに関する制御パラメータを変更する

ことを特徴とする請求項 6記載の映像データ処理装置。

[8] 上記変更手段は、上記特殊再生ストリームを構成するフレーム内符号ィ匕ピクチャおよびリピートピクチャのデコーダバッファに関する制御パラメータを、上記抽出されたフレーム内符号ィ匕ピクチャの上記解析されたデコーダバッファ制御用パラメータ、ならびに上記映像ストリームの転送レート、および生成する特殊再生ストリームの転送レートから導出することを特徴とする請求項 7記載の映像データ処理装置。

[9] 上記変更手段は、上記特殊再生ストリームを構成するフレーム内符号ィ匕ピクチャおよびリピートピクチャのデコーダバッファに関する制御パラメータを、上記映像ストリームおよび生成する特殊再生ストリームの符号化構成によらず、有意な固定値とすることを特徴とする請求項 7記載の映像データ処理装置。

上記特殊再生ストリームの発生する符号量が、目標とする転送レート以下と予想される場合は、スタッフイングにより上記目標とする転送レートに合わせ、上記特殊再生ストリームの発生する符号量が、上記目標とする転送レートを上回ると予想される場合は、上記目標とする転送レートを一時的に上げる手段をさらに備えたことを特徴とする請求項 6記載の映像データ処理装置。