JP3823044B2 - タイムスタンプ値制御装置 - Google Patents
タイムスタンプ値制御装置 Download PDFInfo
- Publication number
- JP3823044B2 JP3823044B2 JP2001334419A JP2001334419A JP3823044B2 JP 3823044 B2 JP3823044 B2 JP 3823044B2 JP 2001334419 A JP2001334419 A JP 2001334419A JP 2001334419 A JP2001334419 A JP 2001334419A JP 3823044 B2 JP3823044 B2 JP 3823044B2
- Authority
- JP
- Japan
- Prior art keywords
- time stamp
- stamp value
- value
- difference
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/04—Synchronising
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N9/00—Details of colour television systems
- H04N9/79—Processing of colour television signals in connection with recording
- H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
- H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
- H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/41—Structure of client; Structure of client peripherals
- H04N21/426—Internal components of the client ; Characteristics thereof
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Television Signal Processing For Recording (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Television Systems (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、マルチメディア処理装置又は動画像処理装置などに使用されるタイムスタンプ値制御装置に関する。
【０００２】
【従来の技術】
デジタルビデオカメラに代表される録画装置によりＡＶ(Ａｕｄｉｏ／Ｖｉｄｅｏ)データを保存することが一般的になっている。ＡＶデータを保存する形式としては、ＤＶ（デジタルビデオ）カセットに格納するＤＶ形式、又は、パーソナルコンピュータ（ＰＣ）上で入力動画像をキャプチャした際に選択できるＡＶＩ形式などがある。また、近年、ＴＶ電話装置に代表されるＩＴＵ−Ｔ Ｈ．３２４によるＡＶデータ伝送も行われている。
【０００３】
これらの形式のデータを格納する際に、ＡＶデータの各フレーム（ビデオなら１枚の画像、オーディオなら一定時間など）に対してプレゼンテーションタイム（再生時間・デコード時間）を付加することが一般的である。格納形式によっては、各フレームに対してプレゼンテーションタイムを付加するもの、また、各フレーム間のプレゼンテーションタイム間隔とその間隔で連続するフレーム数をテーブルとして格納するものなどがある。後者の例として、ＭＰ４（ＩＳＯ／ＩＥＣ １４４９６−１ １３章）などがある。
【０００４】
このような従来の録画装置の１例について、図７を参照して説明する。従来の録画装置は、第１及び第２の符号化部７０１、第１及び第２のタイムスタンプ付加部７０２、多重化部７０３及び出力部７０４を具備している。
【０００５】
符号化部７０１は、入力されるＡＶデータを符号化（ＭＰＥＧ４やＡＭＲなどに圧縮）する。タイムスタンプ付加部７０２は、符号化された各フレームに対しプレゼンテーションタイムを示すタイムスタンプ値を付加する。多重化部７０３は、タイムスタンプ付加部７０２からのＡＶデータを多重化してＤＶ、ＡＶＩ又はＭＰ４などの形式のデータに変換して出力部７０４に与える。出力部７０４は、多重化部７０３からのデータをファイルやネットワークへと送信する。なお、データにタイムスタンプ値を付加する例としては、符号化部７０１で符号化した時点で付加するもの、また、多重化部７０３で取り込んだ時点で内部タイマにより付加するものなどが考えられる。
【０００６】
ＭＰ４のような格納フォーマットの場合に、格納するＡＶデータのフレーム間隔は一定のほうが、プレゼンテーションタイム情報格納テーブルとしてはサイズが小さくなり効率的である。そのために、ＡＶデータを作成する側でフレームレートの制御をおこないフレーム間隔を一定にすることが一般的である。記録ファイルサイズを軽減するためにＡＶデータ生成部のフレームレートを制御する例としては、特開平７−２９８１１２号公報に記載されたものがある。そして、フレームレート制御ができず、フレーム間プレゼンテーションタイムが変わってしまった場合には、プレゼンテーションタイム情報格納テーブルを増やしていくこととなるが、フレームレートを一定にするようにＡＶデータ生成部を制御した場合には、ほとんどずれることはないためプレゼンテーションタイム情報格納テーブルとしては一つとなり、格納効率が良くなる。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来のＡＶデータ生成部のフレームレートを制御できないシステム、また、生成されたＡＶデータフレームに対してほぼ２０ミリ秒間隔（ｍｓｅｃＳｔｅｐ）のプレゼンテーションタイムしか付与できないシステムなどにおいては、ＭＰ４のような格納フォーマットでそのまま多重化しようとすると、プレゼンテーションタイム情報格納テーブルが肥大化して格納効率が低下してしまう。また、従来の録画装置において、プレゼンテーションタイム情報格納テーブルを最小に保つため、各フレームのプレゼンテーションタイムとかけはなれたプレゼンテーションタイムを付加してしまうと、同期ずれ又は音飛びなどが生じて再生時の表現品質が劣化してしまうという問題がある。
【０００８】
本発明は、かかる点に鑑みてなされたものであり、データの品質を維持しながらデータの格納効率を向上させることができるタイムスタンプ値制御装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明のタイムスタンプ値制御装置は、入力タイムスタンプ値、先行タイムスタンプ値及び予め定められた基準フレーム間隔値を受けてデータに付加されるタイムスタンプ値を制御するタイムスタンプ値制御部と、前記タイムスタンプ値制御部から出力される出力タイムスタンプ値を前記先行タイムスタンプ値として一時的に保持して前記タイムスタンプ値制御部に与えるタイムスタンプ値保持手段とを具備し、前記タイムスタンプ値制御部は、前記入力タイムスタンプ値と前記先行タイムスタンプ値との差を示すタイムスタンプ値差を求めるタイムスタンプ値差演算手段と、前記タイムスタンプ値差演算手段からの前記タイムスタンプ値差が前記基準フレーム間隔値に予め決められた許容範囲を加えた基準タイムスタンプ値範囲の内にあるかを判断する判断手段と、前記判断手段により前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にあると判断された時に前記先行タイムスタンプ値に前記基準フレーム間隔値を加えた値を出力タイムスタンプ値として出力し前記判断手段により前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にないと判断された時に前記入力タイムスタンプ値を出力タイムスタンプ値として出力する出力選択手段とを有する構成を採る。
【００１０】
この構成によれば、タイムスタンプ値をデータの視聴覚的劣化が生じないように制御するからデータの品質を維持することができ、かつ、多重化時の各ビデオフレーム間隔が一定になるため多重化フォーマットのデータを処理する時にプレゼンテーションタイム情報格納テーブルのサイズを縮小できるから、ファイル格納効率を向上させることができる。
【００１１】
本発明のタイムスタンプ値制御装置は、前記構成において、前記判断手段により前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にないと判断された時、又は、前記判断手段により前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にないと判断された回数が所定回数継続された時に、前記基準フレーム間隔値を前記タイムスタンプ値差に対応した値に更新する基準フレーム間隔値更新手段を有する構成を採る。
【００１２】
この構成によれば、データの品質を維持しながらデータの格納効率を向上させることができ、かつ、入力タイムスタンプ値の間隔が大きく変わるときにも、基準フレーム間隔値更新手段が判断手段に与える基準フレーム間隔値をタイムスタンプ値差に対応した値に更新するため、入力タイムスタンプ値の間隔の変化に追随することができるから、プレゼンテーションタイム格納テーブルを縮小することができる。
【００１３】
本発明のタイムスタンプ値制御装置は、前記構成において、前記タイムスタンプ値差演算手段により求められた前記タイムスタンプ値差が０でない状態が所定間隔継続された時に前記出力タイムスタンプ値を前記入力タイムスタンプ値と同じ値とするタイムスタンプ値リセット手段を有する構成を採る。
【００１４】
この構成によれば、データの品質を維持しながらデータの格納効率を向上させることができ、かつ、符号化部によるデータの生成時におけるビットレートと、格納（多重）時のビットレートを一致させたいシステムにおいて、所定間隔で出力タイムスタンプ値を入力タイムスタンプ値と同じ値とすることにより、符号化部から出力されるメディアデータのビットレートと一致させることができるから、ビットレートを維持しながらプレゼンテーションタイム格納テーブルを縮小することできる。
【００１５】
本発明のマルチメディアデータ多重化処理装置は、前記タイムスタンプ値制御装置を具備する構成を採る。
【００１６】
この構成によれば、ビデオデータ及びオーディオデータが同時に入力される時に、ビデオデータ及びオーディオデータの視聴覚上の品質を維持して格納ファイルのサイズを縮小することができる。
【００１７】
本発明のマルチメディアデータ送信装置は、前記タイムスタンプ値制御装置を具備する構成を採る。
【００１８】
この構成によれば、ビデオデータ及びオーディオデータが同時に入力される時に、ビデオデータ及びオーディオデータの視聴覚上の品質を維持して伝送データ量を削減できる。
【００１９】
【発明の実施の形態】
本発明の骨子は、タイムスタンプ値制御部が、入力タイムスタンプ値と先行タイムスタンプ値との差を示すタイムスタンプ値差を求め、前記タイムスタンプ値差が基準フレーム間隔値に予め決められた許容範囲を加えた基準タイムスタンプ値範囲の内にあるかを判断し、前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にあると判断された時に前記先行タイムスタンプ値に基準フレーム間隔値を加えた値を出力タイムスタンプ値として出力し、前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にないと判断された時に前記入力タイムスタンプ値を出力タイムスタンプ値として出力することである。
【００２０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１に係るタイムスタンプ値制御装置の構成を示すブロック図である。
【００２２】
本発明の実施の形態１に係るタイムスタンプ値制御装置１００は、タイムスタンプ値制御部１０１及びタイムスタンプ値保持部１０２を具備している。タイムスタンプ値制御部１０１は、符号化部より設定される入力タイムスタンプ値ＴＳｉｎ及び先行タイムスタンプ値ＴＳｐｒｅｖを受けてデータに付加されるタイムスタンプ値を制御する。
【００２３】
タイムスタンプ値保持部１０２は、タイムスタンプ値制御部１０１に接続され、タイムスタンプ値制御部１０１から出力される出力タイムスタンプ値ＴＳｏｕｔを先行タイムスタンプ値ＴＳｐｒｅｖとして一時的に保持して前記タイムスタンプ値制御部に与える。タイムスタンプ値保持部１０２は、例えば、ディレイ部で構成される。
【００２４】
タイムスタンプ値制御部１０１は、タイムスタンプ値差演算部１０３と、判断部１０４及び出力選択部１０５を有している。タイムスタンプ値差演算部１０３は、入力タイムスタンプ値ＴＳｉｎと先行タイムスタンプ値ＴＳｐｒｅｖとの差を示すタイムスタンプ値差ＴＳｄｉｆｆを求める。判断部１０４は、基準フレーム間隔値ＤｅｆＨｚ及びタイムスタンプ値差演算部１０３からのタイムスタンプ値差ＴＳｄｉｆｆを受けて、タイムスタンプ値差ＴＳｄｉｆｆが基準フレーム間隔値ＤｅｆＨｚに許容範囲を加えた基準タイムスタンプ値範囲の内にあるかを判断する。基準フレーム間隔値ＤｅｆＨｚは、符号化部のビデオフレームレートから決定される値又は外部装置から入力される値である。許容範囲は、予め決められ判断部１０４に記憶されている。
【００２５】
出力選択部１０５は、入力タイムスタンプ値ＴＳｉｎ及び判断部１０４からの判断結果を受ける。出力選択部１０５は、判断部１０４によりタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にあると判断された時に先行タイムスタンプ値ＴＳｐｒｅｖに基準フレーム間隔値ＤｅｆＨｚを加えた値を出力タイムスタンプ値ＴＳｏｕｔとして出力する。また、出力選択部１０５は、判断部１０４によりタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にないと判断された時に入力タイムスタンプ値ＴＳｉｎを出力タイムスタンプ値ＴＳｏｕｔとして出力する。
【００２６】
次に、前記許容範囲について詳細に説明する。許容範囲は、既定値の＋−マージン値（ＦｗｄＭａｒｇｉｎ、ＲｅｖＭａｒｇｉｎ）より決定される。ここで、＋−マージン値は、人間の視聴覚的特徴を考慮して設定される値である。本発明は、人間の視聴覚的特徴を考慮し、実際に発生したフレームのタイムスタンプ値に基づいて、格納するプレゼンテーションタイム値を調整するものである。
【００２７】
人間の眼には、「多少のＡＶ同期ずれは気にならない」という視覚的特徴がある。この「多少の同期ずれ」というのは、採用するシステムにもよるが、例えばテレビジョンの同期ずれに関しては、「音声の進みの許容限度は３３ミリ秒（ｍｓｅｃ）であり、 音声の遅れの許容限度は１００ミリ秒（ｍｓｅｃ）である。」という報告がある（テレビジョン学会技術報告：昭和５６年８月発表）。このような許容範囲内において、実際に発生したＡＶフレームのタイムスタンプと、格納するプレゼンテーションタイムに誤差があっても、再生時の視聴覚的品質劣化はないこととなる。そして、その許容範囲内でプレゼンテーションタイム値を変化させてプレゼンテーションタイム情報格納テーブルを構成することにより、テーブルサイズを軽減できる。例えば、この例の場合には、本発明の実施の形態１においては、ビデオフレームに付加するので、＋マージン値（ＦｗｄＭａｒｇｉｎ）＝１００ｍｓｅｃとなり、−マージン値（ＲｅｖＭａｒｇｉｎ）＝３０ｍｓｅｃとなる。
【００２８】
次に、本発明の実施の形態１に係るタイムスタンプ値制御装置１００の動作について、図１と共に図２を参照して説明する。図２は、本発明の実施の形態１に係るタイムスタンプ値制御装置１００の動作を説明するためのフローチャートである。
【００２９】
図２に示すように、ステップＳＴ２０１において、入力タイムスタンプ値ＴＳｉｎ、先行タイムスタンプ値ＴＳｐｒｅｖ、基準フレーム間隔値ＤｅｆＨｚ、＋マージン値（ＦｗｄＭａｒｇｉｎ）及び−マージン値（ＲｅｖＭａｒｇｉｎ）の初期値が設定される。
【００３０】
次に、ステップＳＴ２０２において、タイムスタンプ値差演算部１０３は、入力タイムスタンプ値ＴＳｉｎと先行タイムスタンプ値ＴＳｐｒｅｖとの差を示すタイムスタンプ値差Ｓｄｉｆｆを求め、判断部１０４は、タイムスタンプ値差ＴＳｄｉｆｆが基準フレーム間隔値ＤｅｆＨｚに許容範囲を加えた基準タイムスタンプ値範囲の内にあるかを判断する。
【００３１】
ステップＳＴ２０２においてタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にあると判断された時に、出力選択部１０５は先行タイムスタンプ値ＴＳｐｒｅｖに基準フレーム間隔値ＤｅｆＨｚを加えた値を生成して出力タイムスタンプ値ＴＳｏｕｔとして出力する（ステップＳＴ２０３、２０４）。
【００３２】
ステップＳＴ２０２においてタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にないと判断された時に、入力タイムスタンプ値ＴＳｉｎを出力タイムスタンプ値ＴＳｏｕｔとして出力する（ステップＳＴ２０５、２０４）。
【００３３】
次に、本発明の実施の形態１に係るタイムスタンプ値制御装置１００の動作の１例を説明する。
基準フレーム間隔値ＤｅｆＨｚを１０Ｈｚ（間隔値１００ｍｓｅｃ）とし、＋マージン値（ＦｗｄＭａｒｇｉｎ）を６０ｍｓｅｃとし、−マージン値（ＲｅｖＭａｒｇｉｎ）を２０ｍｓｅｃと設定した場合に、ある入力タイムスタンプＴＳｉｎをそのままのフレーム間隔で処理したもの（Ｄｅｌｔａ１）と、本発明の実施の形態１のフレーム間隔で処理したもの（Ｄｅｌｔａ２）との比較結果は、図３に示すようになった。
【００３４】
それぞれのフレーム間隔列を、値が変わるごとに情報テーブルが増えていくとすると、入力タイムスタンプＴＳｉｎをそのままのフレーム間隔で処理したもの（Ｄｅｌｔａ１）は１２個の情報テーブルが必要であるのに対し、本発明の実施の形態１のフレーム間隔で処理したもの（Ｄｅｌｔａ２）では７個となり４２％ほどサイズが小さくなっていることが分かる。
【００３５】
本発明の実施の形態１によれば、タイムスタンプ値をデータの視聴覚的劣化が生じないように制御するからデータの品質を維持することができ、かつ、多重化時の各ビデオフレーム間隔が一定になるためＭＰ４のような多重化フォーマットのデータを処理する時にプレゼンテーションタイム情報格納テーブルのサイズを縮小できるから、ファイル格納効率を向上させることができる。
【００３６】
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照して説明する。図４は、本発明の実施の形態２に係るタイムスタンプ値制御装置の構成を示すブロック図である。本発明の実施の形態２においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【００３７】
本発明の実施の形態２に係るタイムスタンプ値制御装置４００は、図１に示す本発明の実施の携帯１に係るタイムスタンプ値制御装置において、基準フレーム間隔値更新部４０１を追加してなる。この基準フレーム間隔値更新部４０１は、タイムスタンプ値差演算部１０３及び判断部１０４に接続されている。
【００３８】
基準フレーム間隔値更新部４０１は、タイムスタンプ値差ＴＳｄｉｆｆ、基準フレーム間隔値ＤｅｆＨｚ及び判断部１０４からの判断結果を受ける。基準フレーム間隔値更新部４０１は、判断部１０４によりタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にあると判断された時に、基準フレーム間隔値ＤｅｆＨｚを判断部１０４に与える。また、基準フレーム間隔値更新部４０１は、判断部１０４によりタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にないと判断された時、又は、判断部１０４によりタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にないと判断された回数が所定回数継続された時に、基準フレーム間隔値ＤｅｆＨｚをタイムスタンプ値差ＴＳｄｉｆｆに対応した値に更新して判断部１０４に与える。
【００３９】
次に、本発明実施の形態２に係る基準フレーム間隔値更新部４０１の動作の１例を説明する。
【００４０】
例えば、基準フレーム間隔値更新部４０１内の基準フレーム間隔のデフォルト値として、１５Ｈｚ（６６ミリ秒間隔）、１０Ｈｚ（１００ミリ秒間隔）、５Ｈｚ（２００ミリ秒）間隔を用意していたとする。１５Ｈｚと１０Ｈｚの閾値を８３ミリ秒間隔、１０Ｈｚと５Ｈｚの閾値を１５０ミリ秒間隔とし、現在の基準フレーム間隔値は１０Ｈｚとして動作をしていた時に、タイムスタンプ値差ＴＳｄｉｆｆが８３ミリ秒以下の時又は１５０ミリ秒以上となった時に、それぞれ１５Ｈｚ、５Ｈｚに近いと判断し、その値を判断部１０４にあたえることとなる。また、突発的なフレーム間隔値誤差を吸収することを考慮し、連続して８３ミリ秒以下になる回数又は１５０ミリ秒以上になる回数をカウントし、一定回数（例えば３回）以上続いた時にそれぞれ１５Ｈｚ、５Ｈｚに近いと判断することもありうる。
【００４１】
本発明の実施の形態２によれば、本発明の実施の形態１の効果に加えて、入力タイムスタンプ値ＴＳｉｎの間隔が大きく変わる時にも、基準フレーム間隔値更新部４０１が判断部１０４に与える基準フレーム間隔値ＤｅｆＨｚをタイムスタンプ値差ＴＳｄｉｆｆに対応した値に更新するため、入力タイムスタンプ値ＴＳｉｎの間隔の変化に追随することができるから、プレゼンテーションタイム格納テーブルを縮小することができる。
【００４２】
（実施の形態３）
次に、本発明の実施の形態３について、図面を参照して説明する。図５は、本発明の実施の形態３に係るタイムスタンプ値制御装置の構成を示すブロック図である。本発明の実施の形態３においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【００４３】
本発明の実施の形態３に係るタイムスタンプ値制御装置５００は、図１に示す本発明の実施の形態１に係るタイムスタンプ値制御装置において、タイムスタンプ値リセット部５０１を追加してなる。タイムスタンプ値リセット部５０１は、タイムスタンプ値差演算部１０３及び出力選択部１０５に接続されている。
【００４４】
タイムスタンプ値リセット部５０１は、タイムスタンプ値差演算部１０３により求められたタイムスタンプ値差ＴＳｄｉｆｆが０でない状態が所定間隔継続された時に出力選択部１０５からの出力タイムスタンプ値ＴＳｏｕｔを入力タイムスタンプ値ＴＳｉｎと同じ値とする。
【００４５】
なお、本発明の実施の形態３は、本発明の実施の形態２にも適用することができる。また、本発明の実施の形態１乃至３はソフトウェアにより実施することが可能である。
【００４６】
本発明の実施の形態３によれば、本発明の実施の形態１又は２の効果に加えて、符号化部によるデータの生成時におけるビットレートと、格納（多重）時のビットレートを一致させたいシステムにおいて、所定間隔（例えば１秒間隔）で出力タイムスタンプ値を入力タイムスタンプ値と同じ値とすることにより、符号化部から出力されるメディアデータのビットレートと一致させることができるから、ビットレートを維持しながらプレゼンテーションタイム格納テーブルを縮小することできる。
【００４７】
（実施の形態４）
次に、本発明の実施の形態４に係るマルチメディアデータ多重化処理装置について、図面を参照して説明する。図６は、本発明の実施の形態４に係るマルチメディアデータ多重化処理装置の構成を示すブロック図である。本発明の実施の形態４においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【００４８】
本発明の実施の形態４に係るマルチメディアデータ多重化処理装置は、第１及び第２の符号化部６０１、６０２、第１及び第２のタイムスタンプ付加部６０３、６０４、多重化部６０５及び出力部６０６を具備している。
【００４９】
第１の符号化部６０１は、入力されるビデオデータを符号化（ＭＰＥＧ４Ｖｉｄｅｏなどに圧縮）する。第２の符号化部６０２は、入力されるオーディオデータ（ＧＳＭ−ＡＭＲなどに圧縮）を符号化する。第１のタイムスタンプ付加部６０３は、タイムスタンプ値制御装置１００を有している。第１のタイムスタンプ付加部６０３は、タイムスタンプ値制御装置１００からの出力タイムスタンプ値ＴＳｏｕｔを第１の符号化部６０１からのビデオデータに付加する。第２のタイムスタンプ付加部６０４は、内部タイマー６０７を有している。第２のタイムスタンプ付加部６０４は、内部タイマー６０７からのタイムスタンプ値を第２の符号化部６０２からのオーディオデータに付加する。
【００５０】
多重化部６０５は、第１及び第２のタイムスタンプ付加部６０３、６０４からのデータをＭＰ４形式に多重化して多重化データを生成して出力部６０６に与える。出力部６０６は、多重化部６０５からの多重化データをファイルシステムなどを介してフラッシュメモリ装置にファイルとして保存する。
【００５１】
なお、本発明の実施の形態４においては、第１のタイムスタンプ付加部６０３は、タイムスタンプ値制御装置１００の代わりに、本発明の実施の形態２又は３に係るタイムスタンプ値制御装置４００又はタイムスタンプ値制御装置５００を有するように構成してもよい。
【００５２】
本発明の実施の形態４によれば、ビデオデータ及びオーディオデータが同時に入力される時に、ビデオデータ及びオーディオデータの視聴覚上の品質を維持して格納ファイルのサイズを縮小することができるから、多重化部６０５のメモリ装置を有効に使用することができる。
【００５３】
（実施の形態５）
次に、本発明の実施の形態５に係るマルチメディアデータ送信装置について、図面を参照して説明する。図６は、本発明の実施の形態５に係るマルチメディアデータ多重化処理装置の構成を示すブロック図である。本発明の実施の形態５においては、本発明の実施の形態４と同じ構成要素には同じ参照符号が付されている。
【００５４】
本発明の実施の形態５に係るマルチメディアデータ送信装置は、本発明の実施の形態４と同じように、第１及び第２の符号化部６０１、６０２、第１及び第２のタイムスタンプ付加部６０３、６０４、多重化部６０５及び出力部６０６を具備している。
【００５５】
本発明の実施の形態５に係るマルチメディアデータ送信装置における第１及び第２の符号化部６０１、６０２、第１及び第２のタイムスタンプ付加部６０３、６０４及び多重化部６０５は、本発明の実施の形態４と同じように動作する。出力部６０６は、多重化部６０５からの多重化データを送出するための伝送路部として動作する。
【００５６】
なお、本発明の実施の形態５においては、第１のタイムスタンプ付加部６０３は、タイムスタンプ値制御装置１００の代わりに、本発明の実施の形態２又は３に係るタイムスタンプ値制御装置４００又はタイムスタンプ値制御装置５００を有するように構成してもよい。
【００５７】
本発明の実施の形態５によれば、ビデオデータ及びオーディオデータが同時に入力される時に、ビデオデータ及びオーディオデータの視聴覚上の品質を維持して伝送データ量を削減できるから、通信データ料金の節約などの効果が期待できる。
【００５８】
なお、本発明は、格納時のプレゼンテーションタイムの誤差が人間の視聴覚上の品質に影響しないメディアデータに適用が可能である。
【００５９】
また、本発明の実施の形態１から３までのいずれかに係るタイムスタンプ値制御装置は、タイムスタンプ付加部と多重化部との間、又は、多重化部の内部に実装してもよい。
【００６０】
【発明の効果】
以上説明したように、本発明によれば、タイムスタンプ値をデータの視聴覚的劣化が生じないように制御するからデータの品質を維持することができ、かつ、多重化時の各ビデオフレーム間隔が一定になるためプレゼンテーションタイム情報格納テーブルのサイズを縮小できるから、データの格納効率を向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係るタイムスタンプ値制御装置の構成を示すブロック図
【図２】本発明の実施の形態１に係るタイムスタンプ値制御装置の動作を説明するためのフローチャート
【図３】本発明の実施の形態１に係るタイムスタンプ値制御装置の動作を説明するための図
【図 ４】本発明の実施の形態２に係るタイムスタンプ値制御装置の構成を示すブロック図
【図５】本発明の実施の形態３に係るタイムスタンプ値制御装置の構成を示すブロック図
【図６】本発明の実施の形態４、５に係るマルチメディアデータ多重化処理装置の構成を示すブロック図
【図７】従来の録画装置の構成を示すブロック図
【符号の説明】
１００、４００、５００ タイムスタンプ値制御装置
１０１ タイムスタンプ値制御部
１０２ タイムスタンプ値保持部
１０３ タイムスタンプ値差演算部
１０４ 判断部
１０５ 出力選択部
４０１ 基準フレーム間隔値更新部
５０１ タイムスタンプ値リセット部
６０１ 第１の符号化部
６０２ 第２の符号化部
６０３ 第１のタイムスタンプ付加部
６０４ 第２のタイムスタンプ付加部
６０５ 多重化部
６０６ 出力部
６０７ 内部タイマー
【発明の属する技術分野】
本発明は、マルチメディア処理装置又は動画像処理装置などに使用されるタイムスタンプ値制御装置に関する。
【０００２】
【従来の技術】
デジタルビデオカメラに代表される録画装置によりＡＶ(Ａｕｄｉｏ／Ｖｉｄｅｏ)データを保存することが一般的になっている。ＡＶデータを保存する形式としては、ＤＶ（デジタルビデオ）カセットに格納するＤＶ形式、又は、パーソナルコンピュータ（ＰＣ）上で入力動画像をキャプチャした際に選択できるＡＶＩ形式などがある。また、近年、ＴＶ電話装置に代表されるＩＴＵ−Ｔ Ｈ．３２４によるＡＶデータ伝送も行われている。
【０００３】
これらの形式のデータを格納する際に、ＡＶデータの各フレーム（ビデオなら１枚の画像、オーディオなら一定時間など）に対してプレゼンテーションタイム（再生時間・デコード時間）を付加することが一般的である。格納形式によっては、各フレームに対してプレゼンテーションタイムを付加するもの、また、各フレーム間のプレゼンテーションタイム間隔とその間隔で連続するフレーム数をテーブルとして格納するものなどがある。後者の例として、ＭＰ４（ＩＳＯ／ＩＥＣ １４４９６−１ １３章）などがある。
【０００４】
このような従来の録画装置の１例について、図７を参照して説明する。従来の録画装置は、第１及び第２の符号化部７０１、第１及び第２のタイムスタンプ付加部７０２、多重化部７０３及び出力部７０４を具備している。
【０００５】
符号化部７０１は、入力されるＡＶデータを符号化（ＭＰＥＧ４やＡＭＲなどに圧縮）する。タイムスタンプ付加部７０２は、符号化された各フレームに対しプレゼンテーションタイムを示すタイムスタンプ値を付加する。多重化部７０３は、タイムスタンプ付加部７０２からのＡＶデータを多重化してＤＶ、ＡＶＩ又はＭＰ４などの形式のデータに変換して出力部７０４に与える。出力部７０４は、多重化部７０３からのデータをファイルやネットワークへと送信する。なお、データにタイムスタンプ値を付加する例としては、符号化部７０１で符号化した時点で付加するもの、また、多重化部７０３で取り込んだ時点で内部タイマにより付加するものなどが考えられる。
【０００６】
ＭＰ４のような格納フォーマットの場合に、格納するＡＶデータのフレーム間隔は一定のほうが、プレゼンテーションタイム情報格納テーブルとしてはサイズが小さくなり効率的である。そのために、ＡＶデータを作成する側でフレームレートの制御をおこないフレーム間隔を一定にすることが一般的である。記録ファイルサイズを軽減するためにＡＶデータ生成部のフレームレートを制御する例としては、特開平７−２９８１１２号公報に記載されたものがある。そして、フレームレート制御ができず、フレーム間プレゼンテーションタイムが変わってしまった場合には、プレゼンテーションタイム情報格納テーブルを増やしていくこととなるが、フレームレートを一定にするようにＡＶデータ生成部を制御した場合には、ほとんどずれることはないためプレゼンテーションタイム情報格納テーブルとしては一つとなり、格納効率が良くなる。
【０００７】
【発明が解決しようとする課題】
しかしながら、従来のＡＶデータ生成部のフレームレートを制御できないシステム、また、生成されたＡＶデータフレームに対してほぼ２０ミリ秒間隔（ｍｓｅｃＳｔｅｐ）のプレゼンテーションタイムしか付与できないシステムなどにおいては、ＭＰ４のような格納フォーマットでそのまま多重化しようとすると、プレゼンテーションタイム情報格納テーブルが肥大化して格納効率が低下してしまう。また、従来の録画装置において、プレゼンテーションタイム情報格納テーブルを最小に保つため、各フレームのプレゼンテーションタイムとかけはなれたプレゼンテーションタイムを付加してしまうと、同期ずれ又は音飛びなどが生じて再生時の表現品質が劣化してしまうという問題がある。
【０００８】
本発明は、かかる点に鑑みてなされたものであり、データの品質を維持しながらデータの格納効率を向上させることができるタイムスタンプ値制御装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
本発明のタイムスタンプ値制御装置は、入力タイムスタンプ値、先行タイムスタンプ値及び予め定められた基準フレーム間隔値を受けてデータに付加されるタイムスタンプ値を制御するタイムスタンプ値制御部と、前記タイムスタンプ値制御部から出力される出力タイムスタンプ値を前記先行タイムスタンプ値として一時的に保持して前記タイムスタンプ値制御部に与えるタイムスタンプ値保持手段とを具備し、前記タイムスタンプ値制御部は、前記入力タイムスタンプ値と前記先行タイムスタンプ値との差を示すタイムスタンプ値差を求めるタイムスタンプ値差演算手段と、前記タイムスタンプ値差演算手段からの前記タイムスタンプ値差が前記基準フレーム間隔値に予め決められた許容範囲を加えた基準タイムスタンプ値範囲の内にあるかを判断する判断手段と、前記判断手段により前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にあると判断された時に前記先行タイムスタンプ値に前記基準フレーム間隔値を加えた値を出力タイムスタンプ値として出力し前記判断手段により前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にないと判断された時に前記入力タイムスタンプ値を出力タイムスタンプ値として出力する出力選択手段とを有する構成を採る。
【００１０】
この構成によれば、タイムスタンプ値をデータの視聴覚的劣化が生じないように制御するからデータの品質を維持することができ、かつ、多重化時の各ビデオフレーム間隔が一定になるため多重化フォーマットのデータを処理する時にプレゼンテーションタイム情報格納テーブルのサイズを縮小できるから、ファイル格納効率を向上させることができる。
【００１１】
本発明のタイムスタンプ値制御装置は、前記構成において、前記判断手段により前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にないと判断された時、又は、前記判断手段により前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にないと判断された回数が所定回数継続された時に、前記基準フレーム間隔値を前記タイムスタンプ値差に対応した値に更新する基準フレーム間隔値更新手段を有する構成を採る。
【００１２】
この構成によれば、データの品質を維持しながらデータの格納効率を向上させることができ、かつ、入力タイムスタンプ値の間隔が大きく変わるときにも、基準フレーム間隔値更新手段が判断手段に与える基準フレーム間隔値をタイムスタンプ値差に対応した値に更新するため、入力タイムスタンプ値の間隔の変化に追随することができるから、プレゼンテーションタイム格納テーブルを縮小することができる。
【００１３】
本発明のタイムスタンプ値制御装置は、前記構成において、前記タイムスタンプ値差演算手段により求められた前記タイムスタンプ値差が０でない状態が所定間隔継続された時に前記出力タイムスタンプ値を前記入力タイムスタンプ値と同じ値とするタイムスタンプ値リセット手段を有する構成を採る。
【００１４】
この構成によれば、データの品質を維持しながらデータの格納効率を向上させることができ、かつ、符号化部によるデータの生成時におけるビットレートと、格納（多重）時のビットレートを一致させたいシステムにおいて、所定間隔で出力タイムスタンプ値を入力タイムスタンプ値と同じ値とすることにより、符号化部から出力されるメディアデータのビットレートと一致させることができるから、ビットレートを維持しながらプレゼンテーションタイム格納テーブルを縮小することできる。
【００１５】
本発明のマルチメディアデータ多重化処理装置は、前記タイムスタンプ値制御装置を具備する構成を採る。
【００１６】
この構成によれば、ビデオデータ及びオーディオデータが同時に入力される時に、ビデオデータ及びオーディオデータの視聴覚上の品質を維持して格納ファイルのサイズを縮小することができる。
【００１７】
本発明のマルチメディアデータ送信装置は、前記タイムスタンプ値制御装置を具備する構成を採る。
【００１８】
この構成によれば、ビデオデータ及びオーディオデータが同時に入力される時に、ビデオデータ及びオーディオデータの視聴覚上の品質を維持して伝送データ量を削減できる。
【００１９】
【発明の実施の形態】
本発明の骨子は、タイムスタンプ値制御部が、入力タイムスタンプ値と先行タイムスタンプ値との差を示すタイムスタンプ値差を求め、前記タイムスタンプ値差が基準フレーム間隔値に予め決められた許容範囲を加えた基準タイムスタンプ値範囲の内にあるかを判断し、前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にあると判断された時に前記先行タイムスタンプ値に基準フレーム間隔値を加えた値を出力タイムスタンプ値として出力し、前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にないと判断された時に前記入力タイムスタンプ値を出力タイムスタンプ値として出力することである。
【００２０】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００２１】
（実施の形態１）
図１は、本発明の実施の形態１に係るタイムスタンプ値制御装置の構成を示すブロック図である。
【００２２】
本発明の実施の形態１に係るタイムスタンプ値制御装置１００は、タイムスタンプ値制御部１０１及びタイムスタンプ値保持部１０２を具備している。タイムスタンプ値制御部１０１は、符号化部より設定される入力タイムスタンプ値ＴＳｉｎ及び先行タイムスタンプ値ＴＳｐｒｅｖを受けてデータに付加されるタイムスタンプ値を制御する。
【００２３】
タイムスタンプ値保持部１０２は、タイムスタンプ値制御部１０１に接続され、タイムスタンプ値制御部１０１から出力される出力タイムスタンプ値ＴＳｏｕｔを先行タイムスタンプ値ＴＳｐｒｅｖとして一時的に保持して前記タイムスタンプ値制御部に与える。タイムスタンプ値保持部１０２は、例えば、ディレイ部で構成される。
【００２４】
タイムスタンプ値制御部１０１は、タイムスタンプ値差演算部１０３と、判断部１０４及び出力選択部１０５を有している。タイムスタンプ値差演算部１０３は、入力タイムスタンプ値ＴＳｉｎと先行タイムスタンプ値ＴＳｐｒｅｖとの差を示すタイムスタンプ値差ＴＳｄｉｆｆを求める。判断部１０４は、基準フレーム間隔値ＤｅｆＨｚ及びタイムスタンプ値差演算部１０３からのタイムスタンプ値差ＴＳｄｉｆｆを受けて、タイムスタンプ値差ＴＳｄｉｆｆが基準フレーム間隔値ＤｅｆＨｚに許容範囲を加えた基準タイムスタンプ値範囲の内にあるかを判断する。基準フレーム間隔値ＤｅｆＨｚは、符号化部のビデオフレームレートから決定される値又は外部装置から入力される値である。許容範囲は、予め決められ判断部１０４に記憶されている。
【００２５】
出力選択部１０５は、入力タイムスタンプ値ＴＳｉｎ及び判断部１０４からの判断結果を受ける。出力選択部１０５は、判断部１０４によりタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にあると判断された時に先行タイムスタンプ値ＴＳｐｒｅｖに基準フレーム間隔値ＤｅｆＨｚを加えた値を出力タイムスタンプ値ＴＳｏｕｔとして出力する。また、出力選択部１０５は、判断部１０４によりタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にないと判断された時に入力タイムスタンプ値ＴＳｉｎを出力タイムスタンプ値ＴＳｏｕｔとして出力する。
【００２６】
次に、前記許容範囲について詳細に説明する。許容範囲は、既定値の＋−マージン値（ＦｗｄＭａｒｇｉｎ、ＲｅｖＭａｒｇｉｎ）より決定される。ここで、＋−マージン値は、人間の視聴覚的特徴を考慮して設定される値である。本発明は、人間の視聴覚的特徴を考慮し、実際に発生したフレームのタイムスタンプ値に基づいて、格納するプレゼンテーションタイム値を調整するものである。
【００２７】
人間の眼には、「多少のＡＶ同期ずれは気にならない」という視覚的特徴がある。この「多少の同期ずれ」というのは、採用するシステムにもよるが、例えばテレビジョンの同期ずれに関しては、「音声の進みの許容限度は３３ミリ秒（ｍｓｅｃ）であり、 音声の遅れの許容限度は１００ミリ秒（ｍｓｅｃ）である。」という報告がある（テレビジョン学会技術報告：昭和５６年８月発表）。このような許容範囲内において、実際に発生したＡＶフレームのタイムスタンプと、格納するプレゼンテーションタイムに誤差があっても、再生時の視聴覚的品質劣化はないこととなる。そして、その許容範囲内でプレゼンテーションタイム値を変化させてプレゼンテーションタイム情報格納テーブルを構成することにより、テーブルサイズを軽減できる。例えば、この例の場合には、本発明の実施の形態１においては、ビデオフレームに付加するので、＋マージン値（ＦｗｄＭａｒｇｉｎ）＝１００ｍｓｅｃとなり、−マージン値（ＲｅｖＭａｒｇｉｎ）＝３０ｍｓｅｃとなる。
【００２８】
次に、本発明の実施の形態１に係るタイムスタンプ値制御装置１００の動作について、図１と共に図２を参照して説明する。図２は、本発明の実施の形態１に係るタイムスタンプ値制御装置１００の動作を説明するためのフローチャートである。
【００２９】
図２に示すように、ステップＳＴ２０１において、入力タイムスタンプ値ＴＳｉｎ、先行タイムスタンプ値ＴＳｐｒｅｖ、基準フレーム間隔値ＤｅｆＨｚ、＋マージン値（ＦｗｄＭａｒｇｉｎ）及び−マージン値（ＲｅｖＭａｒｇｉｎ）の初期値が設定される。
【００３０】
次に、ステップＳＴ２０２において、タイムスタンプ値差演算部１０３は、入力タイムスタンプ値ＴＳｉｎと先行タイムスタンプ値ＴＳｐｒｅｖとの差を示すタイムスタンプ値差Ｓｄｉｆｆを求め、判断部１０４は、タイムスタンプ値差ＴＳｄｉｆｆが基準フレーム間隔値ＤｅｆＨｚに許容範囲を加えた基準タイムスタンプ値範囲の内にあるかを判断する。
【００３１】
ステップＳＴ２０２においてタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にあると判断された時に、出力選択部１０５は先行タイムスタンプ値ＴＳｐｒｅｖに基準フレーム間隔値ＤｅｆＨｚを加えた値を生成して出力タイムスタンプ値ＴＳｏｕｔとして出力する（ステップＳＴ２０３、２０４）。
【００３２】
ステップＳＴ２０２においてタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にないと判断された時に、入力タイムスタンプ値ＴＳｉｎを出力タイムスタンプ値ＴＳｏｕｔとして出力する（ステップＳＴ２０５、２０４）。
【００３３】
次に、本発明の実施の形態１に係るタイムスタンプ値制御装置１００の動作の１例を説明する。
基準フレーム間隔値ＤｅｆＨｚを１０Ｈｚ（間隔値１００ｍｓｅｃ）とし、＋マージン値（ＦｗｄＭａｒｇｉｎ）を６０ｍｓｅｃとし、−マージン値（ＲｅｖＭａｒｇｉｎ）を２０ｍｓｅｃと設定した場合に、ある入力タイムスタンプＴＳｉｎをそのままのフレーム間隔で処理したもの（Ｄｅｌｔａ１）と、本発明の実施の形態１のフレーム間隔で処理したもの（Ｄｅｌｔａ２）との比較結果は、図３に示すようになった。
【００３４】
それぞれのフレーム間隔列を、値が変わるごとに情報テーブルが増えていくとすると、入力タイムスタンプＴＳｉｎをそのままのフレーム間隔で処理したもの（Ｄｅｌｔａ１）は１２個の情報テーブルが必要であるのに対し、本発明の実施の形態１のフレーム間隔で処理したもの（Ｄｅｌｔａ２）では７個となり４２％ほどサイズが小さくなっていることが分かる。
【００３５】
本発明の実施の形態１によれば、タイムスタンプ値をデータの視聴覚的劣化が生じないように制御するからデータの品質を維持することができ、かつ、多重化時の各ビデオフレーム間隔が一定になるためＭＰ４のような多重化フォーマットのデータを処理する時にプレゼンテーションタイム情報格納テーブルのサイズを縮小できるから、ファイル格納効率を向上させることができる。
【００３６】
（実施の形態２）
次に、本発明の実施の形態２について、図面を参照して説明する。図４は、本発明の実施の形態２に係るタイムスタンプ値制御装置の構成を示すブロック図である。本発明の実施の形態２においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【００３７】
本発明の実施の形態２に係るタイムスタンプ値制御装置４００は、図１に示す本発明の実施の携帯１に係るタイムスタンプ値制御装置において、基準フレーム間隔値更新部４０１を追加してなる。この基準フレーム間隔値更新部４０１は、タイムスタンプ値差演算部１０３及び判断部１０４に接続されている。
【００３８】
基準フレーム間隔値更新部４０１は、タイムスタンプ値差ＴＳｄｉｆｆ、基準フレーム間隔値ＤｅｆＨｚ及び判断部１０４からの判断結果を受ける。基準フレーム間隔値更新部４０１は、判断部１０４によりタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にあると判断された時に、基準フレーム間隔値ＤｅｆＨｚを判断部１０４に与える。また、基準フレーム間隔値更新部４０１は、判断部１０４によりタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にないと判断された時、又は、判断部１０４によりタイムスタンプ値差ＴＳｄｉｆｆが基準タイムスタンプ値範囲の内にないと判断された回数が所定回数継続された時に、基準フレーム間隔値ＤｅｆＨｚをタイムスタンプ値差ＴＳｄｉｆｆに対応した値に更新して判断部１０４に与える。
【００３９】
次に、本発明実施の形態２に係る基準フレーム間隔値更新部４０１の動作の１例を説明する。
【００４０】
例えば、基準フレーム間隔値更新部４０１内の基準フレーム間隔のデフォルト値として、１５Ｈｚ（６６ミリ秒間隔）、１０Ｈｚ（１００ミリ秒間隔）、５Ｈｚ（２００ミリ秒）間隔を用意していたとする。１５Ｈｚと１０Ｈｚの閾値を８３ミリ秒間隔、１０Ｈｚと５Ｈｚの閾値を１５０ミリ秒間隔とし、現在の基準フレーム間隔値は１０Ｈｚとして動作をしていた時に、タイムスタンプ値差ＴＳｄｉｆｆが８３ミリ秒以下の時又は１５０ミリ秒以上となった時に、それぞれ１５Ｈｚ、５Ｈｚに近いと判断し、その値を判断部１０４にあたえることとなる。また、突発的なフレーム間隔値誤差を吸収することを考慮し、連続して８３ミリ秒以下になる回数又は１５０ミリ秒以上になる回数をカウントし、一定回数（例えば３回）以上続いた時にそれぞれ１５Ｈｚ、５Ｈｚに近いと判断することもありうる。
【００４１】
本発明の実施の形態２によれば、本発明の実施の形態１の効果に加えて、入力タイムスタンプ値ＴＳｉｎの間隔が大きく変わる時にも、基準フレーム間隔値更新部４０１が判断部１０４に与える基準フレーム間隔値ＤｅｆＨｚをタイムスタンプ値差ＴＳｄｉｆｆに対応した値に更新するため、入力タイムスタンプ値ＴＳｉｎの間隔の変化に追随することができるから、プレゼンテーションタイム格納テーブルを縮小することができる。
【００４２】
（実施の形態３）
次に、本発明の実施の形態３について、図面を参照して説明する。図５は、本発明の実施の形態３に係るタイムスタンプ値制御装置の構成を示すブロック図である。本発明の実施の形態３においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【００４３】
本発明の実施の形態３に係るタイムスタンプ値制御装置５００は、図１に示す本発明の実施の形態１に係るタイムスタンプ値制御装置において、タイムスタンプ値リセット部５０１を追加してなる。タイムスタンプ値リセット部５０１は、タイムスタンプ値差演算部１０３及び出力選択部１０５に接続されている。
【００４４】
タイムスタンプ値リセット部５０１は、タイムスタンプ値差演算部１０３により求められたタイムスタンプ値差ＴＳｄｉｆｆが０でない状態が所定間隔継続された時に出力選択部１０５からの出力タイムスタンプ値ＴＳｏｕｔを入力タイムスタンプ値ＴＳｉｎと同じ値とする。
【００４５】
なお、本発明の実施の形態３は、本発明の実施の形態２にも適用することができる。また、本発明の実施の形態１乃至３はソフトウェアにより実施することが可能である。
【００４６】
本発明の実施の形態３によれば、本発明の実施の形態１又は２の効果に加えて、符号化部によるデータの生成時におけるビットレートと、格納（多重）時のビットレートを一致させたいシステムにおいて、所定間隔（例えば１秒間隔）で出力タイムスタンプ値を入力タイムスタンプ値と同じ値とすることにより、符号化部から出力されるメディアデータのビットレートと一致させることができるから、ビットレートを維持しながらプレゼンテーションタイム格納テーブルを縮小することできる。
【００４７】
（実施の形態４）
次に、本発明の実施の形態４に係るマルチメディアデータ多重化処理装置について、図面を参照して説明する。図６は、本発明の実施の形態４に係るマルチメディアデータ多重化処理装置の構成を示すブロック図である。本発明の実施の形態４においては、本発明の実施の形態１と同じ構成要素には同じ参照符号が付されている。
【００４８】
本発明の実施の形態４に係るマルチメディアデータ多重化処理装置は、第１及び第２の符号化部６０１、６０２、第１及び第２のタイムスタンプ付加部６０３、６０４、多重化部６０５及び出力部６０６を具備している。
【００４９】
第１の符号化部６０１は、入力されるビデオデータを符号化（ＭＰＥＧ４Ｖｉｄｅｏなどに圧縮）する。第２の符号化部６０２は、入力されるオーディオデータ（ＧＳＭ−ＡＭＲなどに圧縮）を符号化する。第１のタイムスタンプ付加部６０３は、タイムスタンプ値制御装置１００を有している。第１のタイムスタンプ付加部６０３は、タイムスタンプ値制御装置１００からの出力タイムスタンプ値ＴＳｏｕｔを第１の符号化部６０１からのビデオデータに付加する。第２のタイムスタンプ付加部６０４は、内部タイマー６０７を有している。第２のタイムスタンプ付加部６０４は、内部タイマー６０７からのタイムスタンプ値を第２の符号化部６０２からのオーディオデータに付加する。
【００５０】
多重化部６０５は、第１及び第２のタイムスタンプ付加部６０３、６０４からのデータをＭＰ４形式に多重化して多重化データを生成して出力部６０６に与える。出力部６０６は、多重化部６０５からの多重化データをファイルシステムなどを介してフラッシュメモリ装置にファイルとして保存する。
【００５１】
なお、本発明の実施の形態４においては、第１のタイムスタンプ付加部６０３は、タイムスタンプ値制御装置１００の代わりに、本発明の実施の形態２又は３に係るタイムスタンプ値制御装置４００又はタイムスタンプ値制御装置５００を有するように構成してもよい。
【００５２】
本発明の実施の形態４によれば、ビデオデータ及びオーディオデータが同時に入力される時に、ビデオデータ及びオーディオデータの視聴覚上の品質を維持して格納ファイルのサイズを縮小することができるから、多重化部６０５のメモリ装置を有効に使用することができる。
【００５３】
（実施の形態５）
次に、本発明の実施の形態５に係るマルチメディアデータ送信装置について、図面を参照して説明する。図６は、本発明の実施の形態５に係るマルチメディアデータ多重化処理装置の構成を示すブロック図である。本発明の実施の形態５においては、本発明の実施の形態４と同じ構成要素には同じ参照符号が付されている。
【００５４】
本発明の実施の形態５に係るマルチメディアデータ送信装置は、本発明の実施の形態４と同じように、第１及び第２の符号化部６０１、６０２、第１及び第２のタイムスタンプ付加部６０３、６０４、多重化部６０５及び出力部６０６を具備している。
【００５５】
本発明の実施の形態５に係るマルチメディアデータ送信装置における第１及び第２の符号化部６０１、６０２、第１及び第２のタイムスタンプ付加部６０３、６０４及び多重化部６０５は、本発明の実施の形態４と同じように動作する。出力部６０６は、多重化部６０５からの多重化データを送出するための伝送路部として動作する。
【００５６】
なお、本発明の実施の形態５においては、第１のタイムスタンプ付加部６０３は、タイムスタンプ値制御装置１００の代わりに、本発明の実施の形態２又は３に係るタイムスタンプ値制御装置４００又はタイムスタンプ値制御装置５００を有するように構成してもよい。
【００５７】
本発明の実施の形態５によれば、ビデオデータ及びオーディオデータが同時に入力される時に、ビデオデータ及びオーディオデータの視聴覚上の品質を維持して伝送データ量を削減できるから、通信データ料金の節約などの効果が期待できる。
【００５８】
なお、本発明は、格納時のプレゼンテーションタイムの誤差が人間の視聴覚上の品質に影響しないメディアデータに適用が可能である。
【００５９】
また、本発明の実施の形態１から３までのいずれかに係るタイムスタンプ値制御装置は、タイムスタンプ付加部と多重化部との間、又は、多重化部の内部に実装してもよい。
【００６０】
【発明の効果】
以上説明したように、本発明によれば、タイムスタンプ値をデータの視聴覚的劣化が生じないように制御するからデータの品質を維持することができ、かつ、多重化時の各ビデオフレーム間隔が一定になるためプレゼンテーションタイム情報格納テーブルのサイズを縮小できるから、データの格納効率を向上させることができる。
【図面の簡単な説明】
【図１】本発明の実施の形態１に係るタイムスタンプ値制御装置の構成を示すブロック図
【図２】本発明の実施の形態１に係るタイムスタンプ値制御装置の動作を説明するためのフローチャート
【図３】本発明の実施の形態１に係るタイムスタンプ値制御装置の動作を説明するための図
【図 ４】本発明の実施の形態２に係るタイムスタンプ値制御装置の構成を示すブロック図
【図５】本発明の実施の形態３に係るタイムスタンプ値制御装置の構成を示すブロック図
【図６】本発明の実施の形態４、５に係るマルチメディアデータ多重化処理装置の構成を示すブロック図
【図７】従来の録画装置の構成を示すブロック図
【符号の説明】
１００、４００、５００ タイムスタンプ値制御装置
１０１ タイムスタンプ値制御部
１０２ タイムスタンプ値保持部
１０３ タイムスタンプ値差演算部
１０４ 判断部
１０５ 出力選択部
４０１ 基準フレーム間隔値更新部
５０１ タイムスタンプ値リセット部
６０１ 第１の符号化部
６０２ 第２の符号化部
６０３ 第１のタイムスタンプ付加部
６０４ 第２のタイムスタンプ付加部
６０５ 多重化部
６０６ 出力部
６０７ 内部タイマー
Claims (5)
- 入力タイムスタンプ値、先行タイムスタンプ値及び予め定められた基準フレーム間隔値を受けてデータに付加されるタイムスタンプ値を制御するタイムスタンプ値制御部と、前記タイムスタンプ値制御部から出力される出力タイムスタンプ値を前記先行タイムスタンプ値として一時的に保持して前記タイムスタンプ値制御部に与えるタイムスタンプ値保持手段とを具備し、前記タイムスタンプ値制御部は、前記入力タイムスタンプ値と前記先行タイムスタンプ値との差を示すタイムスタンプ値差を求めるタイムスタンプ値差演算手段と、前記タイムスタンプ値差演算手段からの前記タイムスタンプ値差が前記基準フレーム間隔値に予め決められた許容範囲を加えた基準タイムスタンプ値範囲の内にあるかを判断する判断手段と、前記判断手段により前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にあると判断された時に前記先行タイムスタンプ値に前記基準フレーム間隔値を加えた値を出力タイムスタンプ値として出力し前記判断手段により前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にないと判断された時に前記入力タイムスタンプ値を出力タイムスタンプ値として出力する出力選択手段とを有することを特徴とするタイムスタンプ値制御装置。
- 前記判断手段により前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にないと判断された時、又は、前記判断手段により前記タイムスタンプ値差が前記基準タイムスタンプ値範囲の内にないと判断された回数が所定回数継続された時に、前記基準フレーム間隔値を前記タイムスタンプ値差に対応した値に更新する基準フレーム間隔値更新手段を有することを特徴とする請求項１記載のタイムスタンプ値制御装置。
- 前記タイムスタンプ値差演算手段により求められた前記タイムスタンプ値差が０でない状態が所定間隔継続された時に前記出力タイムスタンプ値を前記入力タイムスタンプ値と同じ値とするタイムスタンプ値リセット手段を有することを特徴とする請求項１又は２記載のタイムスタンプ値制御装置。
- 請求項１から請求項３のいずれかに記載のタイムスタンプ値制御装置を具備することを特徴とするマルチメディアデータ多重化処理装置。
- 請求項１から請求項３のいずれかに記載のタイムスタンプ値制御装置を具備することを特徴とするマルチメディアデータ送信装置。
Priority Applications (5)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334419A JP3823044B2 (ja) | 2001-10-31 | 2001-10-31 | タイムスタンプ値制御装置 |
| CNA028178912A CN1554188A (zh) | 2001-10-31 | 2002-10-30 | 时间戮值控制装置 |
| PCT/JP2002/011252 WO2003039145A1 (fr) | 2001-10-31 | 2002-10-30 | Dispositif de verification de valeur d'horodateur |
| US10/487,675 US20040208201A1 (en) | 2001-10-31 | 2002-10-30 | Timestamp value controlling apparatus |
| EP20020775409 EP1441517A1 (en) | 2001-10-31 | 2002-10-30 | Time stamp value controller |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001334419A JP3823044B2 (ja) | 2001-10-31 | 2001-10-31 | タイムスタンプ値制御装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003143550A JP2003143550A (ja) | 2003-05-16 |
| JP3823044B2 true JP3823044B2 (ja) | 2006-09-20 |
Family
ID=19149552
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001334419A Expired - Fee Related JP3823044B2 (ja) | 2001-10-31 | 2001-10-31 | タイムスタンプ値制御装置 |
Country Status (5)
| Country | Link |
|---|---|
| US (1) | US20040208201A1 (ja) |
| EP (1) | EP1441517A1 (ja) |
| JP (1) | JP3823044B2 (ja) |
| CN (1) | CN1554188A (ja) |
| WO (1) | WO2003039145A1 (ja) |
Families Citing this family (19)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7397768B1 (en) | 2002-09-11 | 2008-07-08 | Qlogic, Corporation | Zone management in a multi-module fibre channel switch |
| US7646767B2 (en) | 2003-07-21 | 2010-01-12 | Qlogic, Corporation | Method and system for programmable data dependant network routing |
| US7684401B2 (en) | 2003-07-21 | 2010-03-23 | Qlogic, Corporation | Method and system for using extended fabric features with fibre channel switch elements |
| US7792115B2 (en) | 2003-07-21 | 2010-09-07 | Qlogic, Corporation | Method and system for routing and filtering network data packets in fibre channel systems |
| US7430175B2 (en) * | 2003-07-21 | 2008-09-30 | Qlogic, Corporation | Method and system for managing traffic in fibre channel systems |
| US7894348B2 (en) | 2003-07-21 | 2011-02-22 | Qlogic, Corporation | Method and system for congestion control in a fibre channel switch |
| US7930377B2 (en) | 2004-04-23 | 2011-04-19 | Qlogic, Corporation | Method and system for using boot servers in networks |
| US7489706B2 (en) * | 2004-06-28 | 2009-02-10 | Spirent Communications, Inc. | Method and apparatus for placing a timestamp in a frame |
| US7792158B1 (en) | 2004-08-18 | 2010-09-07 | Atheros Communications, Inc. | Media streaming synchronization |
| US8149880B1 (en) | 2004-08-18 | 2012-04-03 | Qualcomm Atheros, Inc. | Media streaming synchronization |
| US7529642B2 (en) | 2004-08-20 | 2009-05-05 | Pdf Solutions S.A. | Method for evaluating the quality of data collection in a manufacturing environment |
| US8295299B2 (en) | 2004-10-01 | 2012-10-23 | Qlogic, Corporation | High speed fibre channel switch element |
| US7936794B2 (en) * | 2007-08-07 | 2011-05-03 | Avaya Inc. | Clock management between two end points |
| CN102376324B (zh) * | 2010-08-09 | 2015-08-05 | Tcl集团股份有限公司 | 一种视频数据帧的播放方法、系统及播放器 |
| JP5843631B2 (ja) * | 2012-01-26 | 2016-01-13 | 日本電信電話株式会社 | フレームレート制御方法，フレームレート制御装置およびフレームレート制御プログラム |
| CN104618786B (zh) * | 2014-12-22 | 2018-01-05 | 深圳市腾讯计算机系统有限公司 | 音视频同步方法和装置 |
| CN108259805B (zh) * | 2018-03-30 | 2020-11-10 | 深圳市华宝电子科技有限公司 | 多路视频解码的方法、播放的方法、装置、行车记录仪 |
| CN109788224B (zh) | 2019-03-26 | 2020-12-04 | 歌尔科技有限公司 | 视频录制方法、装置、网络摄像器及存储介质 |
| CN113055718B (zh) * | 2021-06-02 | 2021-08-27 | 杭州星犀科技有限公司 | 时间戳均匀化处理的方法、系统、电子装置和存储介质 |
Family Cites Families (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US4652909A (en) * | 1982-09-14 | 1987-03-24 | New York Institute Of Technology | Television camera and recording system for high definition television having imagers of different frame rate |
| US4914657A (en) * | 1987-04-15 | 1990-04-03 | Allied-Signal Inc. | Operations controller for a fault tolerant multiple node processing system |
| US5233618A (en) * | 1990-03-02 | 1993-08-03 | Micro Technology, Inc. | Data correcting applicable to redundant arrays of independent disks |
| JP3197766B2 (ja) * | 1994-02-17 | 2001-08-13 | 三洋電機株式会社 | Ｍｐｅｇオーディオデコーダ、ｍｐｅｇビデオデコーダおよびｍｐｅｇシステムデコーダ |
| US5640202A (en) * | 1994-04-26 | 1997-06-17 | Canon Kabushiki Kaisha | Imaging system which changes the frame rate of the image signal |
| US6081299A (en) * | 1998-02-20 | 2000-06-27 | International Business Machines Corporation | Methods and systems for encoding real time multimedia data |
| JP2000232474A (ja) * | 1999-02-08 | 2000-08-22 | Mitsubishi Electric Corp | データ中継装置 |
| US6680921B1 (en) * | 1999-06-18 | 2004-01-20 | Telefonaktiebolaget Lm Ericsson (Publ) | Estimation of time stamps in real-time packet communications |
| JP4612171B2 (ja) * | 2000-10-27 | 2011-01-12 | 株式会社東芝 | 動画像復号再生モジュールと再生時刻管理プログラムとマルチメディア情報受信装置 |
| JP3945190B2 (ja) * | 2001-06-20 | 2007-07-18 | 日本電気株式会社 | タイムスタンプ生成回路 |
-
2001
- 2001-10-31 JP JP2001334419A patent/JP3823044B2/ja not_active Expired - Fee Related
-
2002
- 2002-10-30 CN CNA028178912A patent/CN1554188A/zh active Pending
- 2002-10-30 WO PCT/JP2002/011252 patent/WO2003039145A1/ja not_active Application Discontinuation
- 2002-10-30 US US10/487,675 patent/US20040208201A1/en not_active Abandoned
- 2002-10-30 EP EP20020775409 patent/EP1441517A1/en not_active Withdrawn
Also Published As
| Publication number | Publication date |
|---|---|
| US20040208201A1 (en) | 2004-10-21 |
| JP2003143550A (ja) | 2003-05-16 |
| WO2003039145A1 (fr) | 2003-05-08 |
| CN1554188A (zh) | 2004-12-08 |
| EP1441517A1 (en) | 2004-07-28 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3823044B2 (ja) | タイムスタンプ値制御装置 | |
| JP3215952B2 (ja) | 符号化装置及び復号化装置 | |
| US6901209B1 (en) | Program viewing apparatus and method | |
| KR101291933B1 (ko) | 디지털 서비스의 다른 부분을 동기화하기 위한 디바이스 및방법 | |
| US6327421B1 (en) | Multiple speed fast forward/rewind compressed video delivery system | |
| WO1998041021A1 (en) | Imaging system and method for interactive control of image quality | |
| JP2007511992A (ja) | 動画撮影装置および動画撮影方法、動画撮影装置により映像信号が記録された記録媒体、記録媒体に記録された映像信号を再生する動画再生装置および動画再生方法 | |
| CN101094322A (zh) | 图像处理设备、成像设备及其方法 | |
| EP3685587B1 (en) | Backward compatible display management metadata compression | |
| US20040103446A1 (en) | Audio-video multiplexed data generating apparatus, reproducing apparatus and moving video decoding apparatus | |
| JP5202193B2 (ja) | 画像処理装置及び方法 | |
| US20190222831A1 (en) | Encoding/transmitting apparatus and encoding/transmitting method | |
| US20040190628A1 (en) | Video information decoding apparatus and method | |
| JP5471328B2 (ja) | 動画像再生装置及び動画像再生方法並びにプログラム | |
| JPH1169330A (ja) | 留守録機能を備えた画像通信装置 | |
| US6157770A (en) | Moving picture data reproduction controlling system and method for reproducing moving picture data having block elements and minimum elements each with headers | |
| JPH1168881A (ja) | データストリーム処理装置及び方法 | |
| JP7521227B2 (ja) | 画像処理装置及びプログラム | |
| JP3775525B2 (ja) | 復号化装置および復号化方法 | |
| JP4867872B2 (ja) | 画像処理装置、この画像処理装置の制御方法、及び、プログラム | |
| JP2001103425A (ja) | 符号化データ蓄積出力装置 | |
| JP2003339023A (ja) | 動画再生装置 | |
| JP2003061089A (ja) | ビットストリーム変換器、これを用いたデータ送信システム及び通信端末装置 | |
| JPH09130263A (ja) | データ通信装置、符号化装置及び復号化装置 | |
| JP3332479B2 (ja) | 画像通信端末装置及びフリーズ制御方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060228 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060424 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060620 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060626 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| LAPS | Cancellation because of no payment of annual fees |