JP4417031B2 - Video playback device and video playback system - Google Patents

Video playback device and video playback system Download PDF

Info

Publication number
JP4417031B2
JP4417031B2 JP2003149477A JP2003149477A JP4417031B2 JP 4417031 B2 JP4417031 B2 JP 4417031B2 JP 2003149477 A JP2003149477 A JP 2003149477A JP 2003149477 A JP2003149477 A JP 2003149477A JP 4417031 B2 JP4417031 B2 JP 4417031B2
Authority
JP
Japan
Prior art keywords
data stream
frame
playback
image data
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003149477A
Other languages
Japanese (ja)
Other versions
JP2004356738A (en
Inventor
成平 竹村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Electronics Corp
Original Assignee
NEC Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Electronics Corp filed Critical NEC Electronics Corp
Priority to JP2003149477A priority Critical patent/JP4417031B2/en
Publication of JP2004356738A publication Critical patent/JP2004356738A/en
Application granted granted Critical
Publication of JP4417031B2 publication Critical patent/JP4417031B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、動画再生装置に関し、特に、動画対応JPEG2000ファイルの動画データストリームを復号し動画を再生する動画再生装置に関する。
【0002】
【従来の技術】
まず、この種の動画再生装置で用いられる静止画国際標JPEG2000方式の特徴の内、本発明に関わる部分について簡単に説明する。なお、JPEG2000方式の詳細については、JPEG2000勧告書(ISO/IEC)、もしくは次世代画像符号化方式JPEG2000(日本語:トリケップス社発行)により参照可能である。
【0003】
JPEG2000方式の特徴の一つは、画像圧縮時のデータ圧縮効率をより高めるために、圧縮符号化を行う前に、元画像をウェーブレット変換と言う手法を用いて色空間周波数的に偏りを作ることにある。また、ウェーブレット変換を繰返すことにより、低解像度から高解像度までの画像データが各解像度レベル順に構成される特徴を有している。
【0004】
図7は、このウェーブレット変換を説明するための説明図であり、ウェーブレット変換を繰返すことにより、各解像度レベルが副次的に作成されて行くイメージを示す。
【0005】
図7に示すように、解像度レベル(0)である元画像Aは、ウェーブレット変換(1)により、画像の縦横方向の低周波成分Lおよび高周波成分Hに対応して4つの成分LL(1),HL(1),LH(1),HH(1)に分割され、画像AW1に示すイメージとなり、画像AW1の4つの各成分の画像解像度は、元画像Aの縦横方向共に1/2であり、解像度レベル(1)と言う。また、色空間周波数的に最も低周波成分が偏っている成分LL(1)の画像部分に対し、ウェーブレット変換(2)を行ったものが画像AW2に示すイメージとなり、4つの成分LL(2),HL(2),LH(2),HH(2)に分割され、更に、その内の成分LL(2)の画像部分に対しウェーブレット変換(3)を行ったものが画像AW3に示すイメージである。
【0006】
このように、1回のウェーブレット変換により作成される4つの成分の内、最も低周波成分が偏る成分LLのみを再帰的にウェーブレット変換することで、副次的に高解像度から低解像度まで複数の解像度レベルが作成される。
【0007】
また、符号化が行われる順番は、一般的に、解像度の低い方から高い方へと順に行われ、一つの符号列の符号化単位は、各解像度レベルの成分LL,HL,LH,HHを更にコードブロックCBと呼ばれる単位に分割した最小符号化単位となり、予測算術符号化と呼ばれるエントロピー符号化手法を用いて圧縮が行なわれる。
【0008】
図8は、符号列の最小符号化単位であるコードブロックCBを説明するための説明図であり、コードブロックCBのイメージを示す。
【0009】
JPEG2000方式では、図8に示すように、各々の符号は各画素単位に割り当てられるのではなく、まず、コードブロックCB単位の画像を色の解像度方向にビットごとにスライスしたビットプレーンという単位に分割され、更に、そのビットプレーンを構成するビットごとに、符号が割り振られる仕様となっている。尚、符号列としての最小符号化単位は、基本的にはコードブロック単位であるが、ビットプレーンを更にパスという概念で分割した単位とすることも可能である。
【0010】
また、JPEG2000方式では、符号化の順番は、上位のビットプレーンから下位のビットプレーンに向かって行われる特徴を有する。同様に、復号化の順番も、上位ビットプレーンから下位のビットプレーンに向かって行われ、復号が途中で中断された場合でも、それ以降のビットプレーンの値を0とみなすることで、復号が終了しているビットプレーンまでの色方向解像度を持った画像として表示することが可能である特徴を有している。
【0011】
上述のJPEG2000方式でそれぞれ圧縮符号化された複数フレームの圧縮画像データストリームからなる、動画対応JPEG2000ファイルの動画データストリームが、動画再生装置によりフレーム単位に復号され、動画が再生される。
【0012】
この動画再生装置は、JPEG2000復号部および画像表示部を備え、動画データストリームの複数フレームの圧縮画像データストリームをフレーム単位に連続して復号し、複数フレームの静止画を単純に連続して表示して動画を再生する。
【0013】
図9は、この動画再生装置による動画再生を説明するための説明図であり、複数フレームの静止画I1〜I6に対応して、複数フレームの圧縮画像データストリームが画面の解像度をXY方向とし色方向の解像度をZ方向としてイメージ的に表示されている。
【0014】
【発明が解決しようとする課題】
上述のように、JPEG2000方式を使用した従来の動画再生装置は、動画対応JPEG2000ファイルの動画データストリームを構成する各フレームの圧縮画像データストリームをそれぞれ復号し、各静止画を連続して単純に再生することで動画を得る方式であり、動画対応JPEG2000ファイルは、必要とされる解像度、フレームレートなどの再生環境に応じて各々作成されることが前提であり、元になる動画対応JPEG2000ファイルと異なる解像度、フレームレートなどを再生時に指定して再生することは不可能であった。
【0015】
即ち、従来の動画再生装置では、再生環境が異なれば、各環境に応じて動画データを個々に用意する必要があり、再生環境に合わせて動画を維持再生する一定レベル以上の復号処理能力が必要である。一定レベルを下回る復号処理能力しかない動画再生装置では、各フレームの動画再生が追いつかず動画の再生が破綻してしまう問題があった。
【0016】
尚、ここで言う「破綻」とは、各動画再生装置のエラー処理により様々なパターンが考えられる。例えば、動画再生処理が追いつかなくなった時点で、画面にエラー表示などを行い動画再生そのものが中断されるパターンが考えられ、また、デコード処理が完了した処までの画面が表示されるが、以降の動画再生が継続不可能または中断されるパターンが考えられる。更に、動画再生装置自体がハングアップするパターンなどが考えられ、いずれにしても、安定した動画再生が継続不可能になることを意味している。
【0017】
また、基本的に、動画対応JPEG2000ファイルおよび動画再生装置の再生環境が異なる場合は、動画対応JPEG2000ファイルの全ての情報を一度再生した後に、画面の縮小(解像度の変更)、フレーム間引き(フレームレート変更)、減色(色方向の解像度の変更)などを行う変換装置を別途用意する必要があり、非常に非能率的であり、また消費電力的にも無駄な電力を消費していることになる。
【0018】
従来は、再生環境に合わせた必要な能力を持ったCPU、DSPなどが単体で利用されることがほとんどであり、復号処理能力が不足するということが無かったのに対し、最近では、復号処理を含む複数の機能を1つのCPU、DSPで実行し小型化および低消費電力化するシステムも多く、復号処理以外の処理が大きくなり、復号処理能力が不足になる場合がある。また、システムの多様化のため、個々のシステムに最適な動画データストリームが用意されないことも多くなってきた。このため、このような問題が大きくなってきている。
【0019】
この対策として、例えば、特許文献1は、規定時間内に圧縮画像データストリームの復号が完了しない状勢になったとき以降の復号を簡略化処理に切り替えて行う画像復号装置を開示している。図10は、この従来の画像復号装置を示すブロック図である。しかし、この画像復号装置は、JPEG2000対応の復号処理およびその簡略化処理を行う専用の簡略化対応JPEG2000復号ユニット26および簡略化ユニット27を備える必要があり、市販または標準のJPEG2000デコーダを利用できない問題が新たに発生する。また、簡略化対応JPEG2000復号ユニット26が汎用CPUおよびプログラムにより並行して履行される複数のソフトウェア機能手段の1つとして構成された場合は、復号処理の状況により、再生中に解像度または表示色が変化し、ユーザから見れば、画面がちらつく状況となる問題が発生する。
【0020】
従って、本発明の目的は、動画対応JPEG2000ファイルと異なる再生環境条件で動画対応JPEG2000ファイルの動画データストリームを復号し動画を再生することにある。
【0021】
【特許文献1】
特開2002−325257号公報(図2,図3,請求項1)
【0022】
【課題を解決するための手段】
そのため、本発明は、動画対応JPEG2000ファイルの動画データストリームとしてそれぞれ圧縮符号化された複数フレームの圧縮画像データストリームをフレーム単位で復号するJPEG2000復号部と、フレーム単位で画像を表示して動画を再生する画像表示部とを備える動画再生装置において、
前記動画対応JPEG2000ファイルから動画データストリームの関連情報を抽出し且つ前記動画データストリームから再生フレームの圧縮画像データストリームを抽出するフレーム抽出部と、
前記再生フレームの圧縮画像データストリームを入力し終端制御信号に対応した位置で終端符号を付加し前記JPEG2000復号部へ出力するストリーム終端部と、
外部設定の再生環境条件および前記関連情報に基づき前記再生フレームの圧縮画像データストリームの終端位置を演算し演算結果に基づきフレーム単位毎に前記終端制御信号を生成する再生制御部とを備えることを特徴としている。
また、本発明は、動画対応JPEG2000ファイルの動画データストリームとしてそれぞれ圧縮符号化された複数フレームの圧縮画像データストリームをフレーム単位で復号するJPEG2000復号部と、フレーム単位で画像を表示して動画を再生する画像表示部とを備える動画再生装置において、
前記動画対応JPEG2000ファイルから動画データストリームの関連情報を抽出し且つ入力制御信号に基づき前記動画データストリームをフレーム単位に適宜入力またはスキップして前記動画データストリームから再生フレームの圧縮画像データストリームを抽出するフレーム抽出部と、
前記再生フレームの圧縮画像データストリームを入力し終端制御信号に対応した位置で終端符号を付加し前記JPEG2000復号部へ出力するストリーム終端部と、
外部設定の再生環境条件および前記関連情報に基づき前記再生フレームの圧縮画像データストリームの入力位置および終端位置を演算し演算結果に基づきフレーム単位毎に前記入力制御信号および前記終端制御信号を生成する再生制御部とを備える。
【0023】
また、前記JPEG2000復号部が、汎用CPUおよびプログラムにより並行して履行される複数のソフトウェア機能手段の1つであり、現在の復号能力情報を出力し、
前記再生制御部が、前記復号能力情報に基づき前記再生フレームの圧縮画像データストリームの入力位置および終端位置を演算し演算結果に基づき前記入力制御信号および前記終端制御信号を生成している。
【0024】
また、本発明の動画再生システムは、動画対応JPEG2000ファイルの動画データストリームとしてそれぞれ圧縮符号化された複数フレームの圧縮画像データストリームを受信しフレーム単位で復号しフレーム単位で画像を表示して動画を再生するストリーム受信局と、
このストリーム受信局の再生環境条件に対応して、動画対応JPEG2000ファイルの動画データストリームから再生フレームの圧縮画像データストリームを抽出して終端調整し前記ストリーム受信局へ送信するストリーム送信局とを備えている。
【0025】
また、前記ストリーム送信局が、前記動画対応JPEG2000ファイルから動画データストリームの関連情報を抽出し且つ入力制御信号に基づき前記動画データストリームをフレーム単位に適宜入力またはスキップして前記動画データストリームから再生フレームの圧縮画像データストリームを抽出するフレーム抽出部と、
前記再生フレームの圧縮画像データストリームを入力し終端制御信号に対応した位置で終端符号を付加し前記ストリーム受信局へ送信するストリーム終端部と、前記再生環境条件および前記関連情報に基づき前記再生フレームの圧縮画像データストリームの入力位置および終端位置を演算し演算結果に基づき前記入力制御信号および前記終端制御信号を生成する再生制御部とを備えている。
【0026】
また、前記ストリーム受信局が、汎用CPUおよびプログラムにより並行して履行される複数のソフトウェア機能手段の1つとして、前記複数フレームの圧縮画像データストリームを復号し且つ現在の復号能力情報を出力するJPEG2000復号部を備え、
前記再生制御部が、前記復号能力情報に基づき前記再生フレームの圧縮画像データストリームの入力位置および終端位置を演算し演算結果に基づき前記入力制御信号および前記終端制御信号を生成している。
【0027】
また、前記ストリーム受信局を複数備えている。
【0028】
また、前記再生環境条件が、再生動画の解像度およびフレームレートを含んでいる。
【0029】
【発明の実施の形態】
次に、本発明について、図面を参照して説明する。図1は、本発明の動画再生装置の実施形態1を示すブロック図である。図1を参照すると、本実施形態の動画再生装置は、フレーム抽出部11,ストリーム終端部12,再生制御部13,JPEG2000復号部21および画像表示部22を備える。
【0030】
フレーム抽出部11は、動画対応JPEG2000ファイルから動画データストリームの関連情報を抽出し、且つ、動画対応JPEG2000ファイルの動画データストリームとしてそれぞれ圧縮符号化された複数フレームの圧縮画像データストリームを入力制御信号に基づきフレーム単位に適宜入力またはスキップして、動画データストリームから再生フレームの圧縮画像データストリームを抽出する。
【0031】
ストリーム終端部12は、フレーム抽出部11から再生フレームの圧縮画像データストリームを入力し、終端制御信号に対応した位置で終端符号を付加しJPEG2000復号部21へ出力する。
【0032】
再生制御部13は、例えば、図2に示すように、演算部131および信号発生部132を備えて構成され、演算部131は、外部設定の再生環境条件と、フレーム抽出部11から入力した関連情報とに基づき、再生フレームの圧縮画像データストリームの入力位置および終端位置を演算し、信号発生部132は、演算部131の演算結果に基づき適切なタイミングで入力制御信号および終端制御信号を生成しフレーム抽出部11およびストリーム終端部12へ出力する。
【0033】
JPEG2000復号部21は、従来と同じ静止画国際標準JPEG2000対応のデコーダであり、複数フレームの圧縮画像データストリームをストリーム終端部12から入力してフレーム単位で復号し、複数フレームの画像データストリームを画像表示部22へ出力する。ここで、静止画国際標準JPEG2000では、圧縮画像データストリームの画像データ部分を構成し且つ基本的にコードブロック単位で作られる複数の符号列をそれぞれバイト単位でスキャンして、16進数で“FFFF”と言う値、つまり“FF”が2回連続する部分があれば、これを予測算術符号データによる各符号列の終端符号としており、この終端符号以降、更に符号列が続く、続かない、に関わらず、次の符号列の開始点までは復号処理が行われない仕様となっている。
【0034】
例えば、16進数で“・・・A128C2C0E62784・・・”という符号列があった場合、“・・・A128C2C0E”までで復号を強制終端したい場合は“・・・A128C2C0E”の後に続く“6278“を”FFFF”に置換するか、または、“・・・A128C2C0E”の後に”FFFF”を挿入してからJPEG2000デコーダに入力することで、この画像データは“・・・A128C2C0E”で終端されたデータの符号列として扱われ、目的の復号中断位置までで復号が終了し、以降の復号処理は行われない仕様となっている。
【0035】
画像表示部22は、従来と同じ機能であり、JPEG2000復号部21から複数フレームの画像データストリームを入力し、複数フレームの静止画を連続して表示して動画を再生する。
【0036】
本実施形態の動画再生装置は、動画対応JPEG2000ファイルと異なる再生環境で動画対応JPEG2000ファイルの動画データストリームを復号し動画を再生できる。図3は、本実施形態の動画再生装置による動画再生を説明するための説明図である。ここで、各分図(A)〜(D)において、再生環境に対応した動画再生例がそれぞれ示され、図9と同じく、複数フレームの静止画I1〜I6に対応して、複数フレームの圧縮画像データストリームが画面の解像度をXY方向とし色方向の解像度をZ方向としてイメージ的に表示され、また、ハッチングされた部分は、動画再生時に、各再生環境に応じて元画像から削除された部分を示す。
【0037】
例えば、図3(A)に示す動画再生例では、小型携帯TVなどで使用する液晶部分の表示部が小さく、再生環境として画像解像度または画像サイズが例えば1/4で良い例であり、各静止画とも、再生制御部13およびストリーム終端部12により、元画像に対し1段階低い解像度である解像度レベル(1)の成分LL(1)までが復号再生されるよう制御される。このとき、必要となるデコーダの処理能力は、FULLデコード時の1/4程度となる。
【0038】
図3(B)に示す動画再生例では、携帯電話などで使用する液晶部分の色方向の解像度が低く、再生環境として色方向の解像度または階調が例えば1/2で良い例であり、各静止画とも、再生制御部13およびストリーム終端部12により、各コードブロックのビットプレーン群の復号再生が1/2までで終端されるよう制御され、例えば、元画像の色方向の解像度または階調の各コンポーネントがそれぞれ8ビットならば、各コンポーネントの上位4ビットがそれぞれ復号再生される。このとき、必要となるデコーダの処理能力は、FULLデコード時の1/2程度となる。
【0039】
図3(C),(D)に示す動画再生例では、図3(A),(B)の動画再生例を元に、静止画3枚に1枚の間隔で、FULLデコードするキーフレームを定義し再生制御した例であり、このとき、必要となるデコーダの処理能力は、FULLデコード時の1/2,2/3程度となる。ただし、図3(A)の場合は、キーフレームとそれ以外で解像度が異なるので、キーフレーム以外の解像度の低い部分の(1/4)画像を別途4倍に拡大する必要がある。
【0040】
また、図3に動画再生例として示していないが、STN液晶などで、表示速度が遅く、フレームレートが例えば1/2で良く、その分の再生処理能力をより消費電力を少なくしたい場合は、再生制御部13およびフレーム抽出部11により、静止画2枚に1枚の入力データをスキップして再生フレームが抽出されるよう制御され、1/2のフレームレートでそれぞれ復号再生される。このとき、必要となるデコーダの処理能力は、FULLデコード時の1/2程度となる。
【0041】
上述したように、本実施形態の動画再生装置は、市販または標準のJPEG2000復号部の前段にフレーム抽出部11,ストリーム終端部12,再生制御部13を付加することにより、再生時の用途や目的に応じて、動画対応JPEG2000ファイルと異なる再生環境条件で、動画対応JPEG2000ファイルを編集せず動画データストリームを復号し動画を再生できる。また、一定レベルを下回る復号処理能力しか持たないデコーダを搭載した再生環境下においても、再生内容にトレードオフ項目が存在するものの、動画再生が破綻することなく継続される。
【0042】
図4は、本発明の動画再生装置の実施形態2を示すブロック図である。図4を参照すると、本実施形態の動画再生装置は、フレーム抽出部11,ストリーム終端部12,再生制御部14,JPEG2000復号部23および画像表示部22を備え、フレーム抽出部11,ストリーム終端部12および画像表示部22は、図1の実施形態1の動画再生装置における各ブロックとそれぞれ同じである。
【0043】
再生制御部14は、例えば、図5に示すように、演算部141および信号発生部132を備えて構成され、演算部141は、外部設定の再生環境条件と、フレーム抽出部11から入力した関連情報と、JPEG2000復号部23から入力した復号能力情報とに基づき、再生フレームの圧縮画像データストリームの入力位置および終端位置を演算し、信号発生部132は、演算部131の演算結果に基づき適切なタイミングで入力制御信号および終端制御信号を生成しフレーム抽出部11およびストリーム終端部12へ出力する。
【0044】
JPEG2000復号部23は、図4に示すように、汎用CPUおよびプログラムにより並行して履行される複数のソフトウェア機能手段の1つであり、静止画国際標準JPEG2000対応の復号処理を行い、動画対応JPEG2000ファイルの動画データストリームとしてそれぞれ圧縮符号化された複数フレームの圧縮画像データストリームをストリーム終端部12から入力してフレーム単位で復号し、複数フレームの画像データストリームを画像表示部22へ出力し、現在の復号能力情報を再生制御部14へ出力する。
【0045】
本実施形態の動画再生装置は、図1の実施形態1の動画再生装置と同じく、再生時の用途や目的に応じて、動画対応JPEG2000ファイルと異なる再生環境で、動画対応JPEG2000ファイルを編集せず動画データストリームを復号し動画を再生でき、また、汎用CPUがJPEG2000対応の復号処理以外の処理を並列実行することにより、JPEG2000復号部の復号処理能力が低下した場合でも、復号処理能力の低下に追従して、解像度,フレームレートなどの再生環境を適時調整し、再生内容にトレードオフ項目が存在するものの、動画再生が破綻することなく継続される。
【0046】
例えば、現在のデコード処理能力が25%に低下した場合、解像度を優先するのであれば、再生フレームレートが1/4になるよう制御すれば良いし、解像度を優先するのであれば、解像度が縦横1/2になるよう制御すれば良い。また、フレームレートおよび解像度を組み合わせて同時に制御することで微妙な調整をすることも可能であり、再生中のちらつき防止も選択できる。
【0047】
図6は、本発明の動画再生システムの実施形態を示すブロック図である。図6を参照すると、本実施形態の動画再生システムは、動画対応JPEG2000ファイルの動画データストリームとしてそれぞれ圧縮符号化されたストリーム送信局1およびストリーム受信局2を備える。
【0048】
ストリーム送信局1は、図1で示した動画再生装置におけるフレーム抽出部11,ストリーム終端部12および再生制御部13と通信インタフェース15を備え、ストリーム受信局2の再生環境条件に対応して、動画対応JPEG2000ファイルの動画データストリームから再生フレームの圧縮画像データストリームを抽出して終端調整しストリーム受信局2へ送信する。
【0049】
ストリーム受信局2は、図1で示した動画再生装置におけるJPEG2000復号部21および画像表示部22と通信インタフェース25を備え、ストリーム送信局1から複数フレームの圧縮画像データストリームを受信し、フレーム単位で復号し、フレーム単位で画像を表示して動画を再生する。
【0050】
上述のように、本実施形態の動画再生システムは、図1で示した動画再生装置における各ブロックをストリーム送信局1と、ストリーム受信局2とに分離し複数フレームの圧縮画像データストリームを送受信するものであり、基本的に、図1で示した動画再生装置と同様に動作する。図1で示した動画再生装置のワイヤレスシステムや、ホームサーバシステムへの応用例であり、動画対応JPEG2000ファイルを蓄積したストリーム送信局1から離れた場所で、ストリーム受信局2により動画を再生できる特徴を有する。
【0051】
なお、本実施形態の動画再生システムでは、ストリーム受信局が単数である場合について説明したが、この説明に限定されず、例えば、複数のストリーム受信局を備え、これら複数のストリーム受信局の再生環境条件に対応して、動画対応JPEG2000ファイルの動画データストリームから再生フレームの圧縮画像データストリームを抽出して終端調整し複数のストリーム受信局2へそれぞれ送信する変形例も可能である。
【0052】
この変形例では、複数のストリーム受信局でなく共通のストリーム送信局で再生フレームの圧縮画像データストリームを抽出および終端調整でき、システム全体としてコストを低く抑えることができる。また、調整済みの圧縮画像データストリームが送信されることにより、通信トラフィックが減り、比較的多くの電力を消費する通信関係の回路動作時間が短くなり、ストリーム送信局およびストリーム受信局が共に低消費電力化される。
【0053】
また、本実施形態の動画再生システムにおいても、図4で説明した動画再生装置と同様に、ストリーム受信局のJPEG2000復号部が、汎用CPUおよびプログラムにより並行して履行される複数のソフトウェア機能手段の1つとして、複数フレームの圧縮画像データストリームを復号し且つ現在の復号能力情報を出力し、フレーム送信局の再生制御部が、復号能力情報に基づき再生フレームの圧縮画像データストリームの入力位置および終端位置を演算し演算結果に基づき入力制御信号および終端制御信号を生成する変形例も可能である。
【0054】
【発明の効果】
以上説明したように、本発明の動画再生装置は、フレーム抽出部,ストリーム終端部,再生制御部の付加により、再生時の用途や目的に応じて、動画対応JPEG2000ファイルと異なる解像度やフレームレートなどの再生環境条件で、動画対応JPEG2000ファイルを編集せず動画データストリームを復号し動画を再生できる。また、一定レベルを下回る復号処理能力しか持たないデコーダを搭載した再生環境下においても、動画再生が破綻することなく継続される。
【0055】
また、簡略化処理を行う専用のJPEG2000デコーダを必要とせず、標準または市販のJPEG2000デコーダを利用でき、装置設計の自由度が向上する。
【図面の簡単な説明】
【図1】本発明の動画再生装置の実施形態1を示すブロック図である。
【図2】図1における再生制御部13の構成例を示すブロック図である。
【図3】本実施形態の動画再生装置による動画再生を説明するための説明図である。
【図4】本発明の動画再生装置の実施形態2を示すブロック図である。
【図5】図4における再生制御部14の構成例を示すブロック図である。
【図6】本発明の動画再生システムの実施形態を示すブロック図である。
【図7】JPEG2000方式におけるウェーブレット変換を説明するための説明図である。
【図8】JPEG2000方式における符号列の最小符号化単位であるコードブロックCBを説明するための説明図である。
【図9】動画再生装置による動画再生を説明するための説明図である。
【図10】従来の画像復号装置の1例を示すブロック図である。
【符号の説明】
1 ストリーム送信局
2 ストリーム受信局
11 フレーム抽出部
12 ストリーム終端部
13,14 再生制御部
15,25 通信インタフェース
21,23 JPEG2000復号部
22 画像表示部
26 簡略化対応JPEG2000復号ユニット
27 簡略化ユニット
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image playback apparatus, and more particularly, to a moving image playback apparatus that decodes a moving image data stream of a moving image-compatible JPEG 2000 file and reproduces a moving image.
[0002]
[Prior art]
First, among the features of the still image international standard JPEG2000 system used in this type of moving image playback apparatus, a portion related to the present invention will be briefly described. The details of the JPEG2000 system can be referred to according to the JPEG2000 recommendation (ISO / IEC) or the next-generation image encoding system JPEG2000 (Japanese: issued by Trikes).
[0003]
One of the features of the JPEG2000 system is that the original image is biased in terms of color space frequency using a method called wavelet transform before compression encoding in order to further increase the data compression efficiency during image compression. It is in. Further, by repeating the wavelet transform, image data from low resolution to high resolution is configured in order of each resolution level.
[0004]
FIG. 7 is an explanatory diagram for explaining the wavelet transform, and shows an image in which each resolution level is created as a result of repeating the wavelet transform.
[0005]
As shown in FIG. 7, the original image A having the resolution level (0) is converted into four components LL (1) corresponding to the low frequency component L and the high frequency component H in the vertical and horizontal directions of the image by the wavelet transform (1). , HL (1), LH (1), HH (1), and the image shown in the image AW1 is obtained. The image resolution of each of the four components of the image AW1 is ½ in both the vertical and horizontal directions of the original image A. This is called the resolution level (1). In addition, the image portion of the component LL (1) in which the lowest frequency component in the color space frequency is biased is subjected to wavelet transform (2), and an image shown in the image AW2 is obtained. The four components LL (2) , HL (2), LH (2), and HH (2), and further, wavelet transform (3) is performed on the image portion of the component LL (2) in the image shown in the image AW3. is there.
[0006]
In this way, among the four components created by one wavelet transform, only the component LL with the lowest frequency component biased is recursively wavelet transformed, so that a plurality of subordinates from a high resolution to a low resolution can be obtained. A resolution level is created.
[0007]
The order of encoding is generally performed in order from the lowest resolution to the highest resolution, and the encoding unit of one code string includes components LL, HL, LH, and HH of each resolution level. Further, it becomes a minimum coding unit divided into units called code blocks CB, and compression is performed using an entropy coding method called predictive arithmetic coding.
[0008]
FIG. 8 is an explanatory diagram for explaining the code block CB which is the minimum coding unit of the code string, and shows an image of the code block CB.
[0009]
In the JPEG2000 system, as shown in FIG. 8, each code is not assigned to each pixel unit, but first, an image of a code block CB unit is divided into units called bit planes sliced bit by bit in the color resolution direction. Furthermore, a code is assigned to each bit constituting the bit plane. The minimum coding unit as a code string is basically a code block unit, but may be a unit obtained by further dividing a bit plane by the concept of a path.
[0010]
Further, the JPEG2000 system has a feature that the coding order is performed from the upper bit plane toward the lower bit plane. Similarly, the decoding order is also performed from the upper bit plane toward the lower bit plane. Even when decoding is interrupted in the middle, decoding is performed by regarding the value of the subsequent bit planes as 0. It has a feature that it can be displayed as an image having color direction resolution up to the finished bit plane.
[0011]
A moving image data stream of a JPEG 2000 file corresponding to a moving image, which is composed of a plurality of compressed image data streams compressed and encoded by the above-described JPEG 2000 method, is decoded frame by frame by a moving image reproducing device, and a moving image is reproduced.
[0012]
This moving image playback apparatus includes a JPEG2000 decoding unit and an image display unit, continuously decodes a compressed image data stream of a plurality of frames of a moving image data stream in units of frames, and simply displays a still image of a plurality of frames continuously. To play the video.
[0013]
FIG. 9 is an explanatory diagram for explaining the moving image reproduction by the moving image reproducing device. The compressed image data stream of a plurality of frames has a screen resolution in the XY direction corresponding to the still images I1 to I6 of the plurality of frames. The direction resolution is displayed as an image in the Z direction.
[0014]
[Problems to be solved by the invention]
As described above, the conventional video playback device using the JPEG2000 system decodes the compressed image data stream of each frame constituting the video data stream of the video JPEG2000 file for video, and simply plays back each still image continuously. This is a method of obtaining a moving image, and it is assumed that a moving image-compatible JPEG2000 file is created according to the reproduction environment such as required resolution and frame rate, and is different from the original moving image-compatible JPEG2000 file. It was impossible to specify the resolution, frame rate, etc. during playback.
[0015]
That is, in the conventional video playback device, if the playback environment is different, it is necessary to prepare video data individually for each environment, and a decoding processing capability of a certain level or higher is required to maintain and play back the video according to the playback environment. It is. In a video playback device that has only a decoding processing capability below a certain level, there is a problem that video playback fails because video playback of each frame cannot catch up.
[0016]
Note that the “failure” mentioned here may have various patterns depending on the error processing of each moving picture reproducing apparatus. For example, when the video playback process cannot catch up, an error display etc. may be displayed on the screen and the video playback itself may be interrupted, and the screen up to the point where the decoding process has been completed is displayed. A pattern in which video playback cannot be continued or interrupted is conceivable. Furthermore, a pattern in which the video playback device itself hangs up is conceivable, which means that stable video playback cannot be continued anyway.
[0017]
Basically, if the playback environment of the video-compatible JPEG2000 file and the video playback device are different, after all the information of the video-compatible JPEG2000 file is played back once, the screen is reduced (resolution change), frame thinning (frame rate) Change), color reduction (changing the resolution in the color direction), etc., it is necessary to prepare a separate conversion device, which is very inefficient and consumes wasted power. .
[0018]
Conventionally, a CPU, a DSP or the like having a necessary capability adapted to the reproduction environment is mostly used alone, and there has been no shortage of the decoding processing capability. There are many systems that execute a plurality of functions including a single CPU and DSP to reduce the size and reduce power consumption, and processing other than decoding processing becomes large, and decoding processing capability may be insufficient. In addition, due to the diversification of systems, it has become more frequent that an optimal video data stream is not prepared for each system. For this reason, such a problem is increasing.
[0019]
As a countermeasure for this, for example, Patent Document 1 discloses an image decoding apparatus that performs decoding after that when decoding of a compressed image data stream is not completed within a specified time by switching to simplified processing. FIG. 10 is a block diagram showing this conventional image decoding apparatus. However, this image decoding apparatus needs to include a dedicated JPEG2000 decoding unit 26 and a simplified unit 27 dedicated to JPEG2000 compatible decoding processing and simplification processing, and a commercially available or standard JPEG2000 decoder cannot be used. Newly occurs. Further, when the simplification-compatible JPEG2000 decoding unit 26 is configured as one of a plurality of software function units that are executed in parallel by a general-purpose CPU and a program, the resolution or display color may be changed during reproduction depending on the decoding processing status. There is a problem that the screen changes from the user's point of view.
[0020]
Accordingly, an object of the present invention is to decode a moving image data stream of a moving image-compatible JPEG 2000 file and reproduce a moving image under a reproduction environment condition different from that of the moving image-compatible JPEG 2000 file.
[0021]
[Patent Document 1]
JP 2002-325257 A (FIG. 2, FIG. 3, claim 1)
[0022]
[Means for Solving the Problems]
Therefore, the present invention provides a JPEG2000 decoding unit that decodes a compressed image data stream of a plurality of frames, each compressed and encoded as a moving image data stream of a moving image-compatible JPEG2000 file, and reproduces a moving image by displaying an image in units of frames. In a video playback device comprising an image display unit
A frame extraction unit for extracting related information of a video data stream from the video JPEG2000 file and extracting a compressed image data stream of a playback frame from the video data stream;
A stream termination unit that inputs a compressed image data stream of the playback frame, adds a termination code at a position corresponding to a termination control signal, and outputs the termination code to the JPEG2000 decoding unit;
Based on the externally set playback environment condition and the related information, the end position of the compressed image data stream of the playback frame is calculated and based on the calculation result Every frame unit And a reproduction control unit that generates the termination control signal.
In addition, the present invention provides a JPEG2000 decoding unit that decodes a compressed image data stream of a plurality of frames, each of which is compression-encoded as a moving image data stream of a JPEG2000 file for moving images, and reproduces a moving image by displaying an image in units of frames. In a video playback device comprising an image display unit
Extract related information of a video data stream from the video JPEG2000 file, and input or skip the video data stream as appropriate for each frame based on an input control signal to extract a compressed image data stream of a playback frame from the video data stream A frame extractor;
A stream termination unit that inputs a compressed image data stream of the playback frame, adds a termination code at a position corresponding to a termination control signal, and outputs the termination code to the JPEG2000 decoding unit;
Based on the externally set playback environment conditions and the related information, the input position and end position of the compressed image data stream of the playback frame are calculated, and based on the calculation result Every frame unit A reproduction control unit that generates the input control signal and the termination control signal.
[0023]
Further, the JPEG2000 decoding unit is one of a plurality of software function means implemented in parallel by a general-purpose CPU and a program, and outputs current decoding capability information,
The reproduction control unit calculates an input position and a termination position of the compressed image data stream of the reproduction frame based on the decoding capability information, and generates the input control signal and the termination control signal based on the calculation result.
[0024]
Also, the moving image playback system of the present invention receives a compressed image data stream of a plurality of frames, each compressed and encoded as a moving image data stream of a JPEG 2000 file for moving images, decodes it in units of frames, displays an image in units of frames, and displays moving images. A stream receiving station to play,
Corresponding to the playback environment condition of the stream receiving station, a stream transmitting station that extracts the compressed image data stream of the playback frame from the moving picture data stream of the moving picture-compatible JPEG 2000 file, adjusts the termination, and transmits the stream to the stream receiving station is provided. Yes.
[0025]
In addition, the stream transmitting station extracts related information of the moving image data stream from the moving image compatible JPEG2000 file, and appropriately inputs or skips the moving image data stream in units of frames based on an input control signal, thereby reproducing a reproduction frame from the moving image data stream. A frame extraction unit for extracting the compressed image data stream of
A stream termination unit that inputs a compressed image data stream of the playback frame, adds a termination code at a position corresponding to a termination control signal, and transmits the stream to the stream receiving station; and based on the playback environment condition and the related information, And a playback control unit that calculates an input position and a termination position of the compressed image data stream and generates the input control signal and the termination control signal based on the calculation result.
[0026]
In addition, as one of a plurality of software function means executed in parallel by a general-purpose CPU and a program, the stream receiving station decodes the plurality of frames of compressed image data streams and outputs the current decoding capability information. A decoding unit,
The reproduction control unit calculates an input position and a termination position of the compressed image data stream of the reproduction frame based on the decoding capability information, and generates the input control signal and the termination control signal based on the calculation result.
[0027]
A plurality of the stream receiving stations are provided.
[0028]
Further, the reproduction environment condition includes a resolution and a frame rate of the reproduction moving image.
[0029]
DETAILED DESCRIPTION OF THE INVENTION
Next, the present invention will be described with reference to the drawings. FIG. 1 is a block diagram showing Embodiment 1 of the moving image playback apparatus of the present invention. Referring to FIG. 1, the moving image playback apparatus of the present embodiment includes a frame extraction unit 11, a stream termination unit 12, a playback control unit 13, a JPEG2000 decoding unit 21, and an image display unit 22.
[0030]
The frame extraction unit 11 extracts the related information of the moving image data stream from the moving image-compatible JPEG 2000 file, and uses the compressed image data streams of a plurality of frames that are each compression-coded as the moving image data stream of the moving image-compatible JPEG 2000 file as input control signals. Based on this, the compressed image data stream of the playback frame is extracted from the moving image data stream by appropriately inputting or skipping in units of frames.
[0031]
The stream termination unit 12 receives the compressed image data stream of the playback frame from the frame extraction unit 11, adds a termination code at a position corresponding to the termination control signal, and outputs the result to the JPEG 2000 decoding unit 21.
[0032]
For example, as shown in FIG. 2, the reproduction control unit 13 is configured to include a calculation unit 131 and a signal generation unit 132, and the calculation unit 131 includes externally set reproduction environment conditions and the relationship input from the frame extraction unit 11. Based on the information, the input position and the end position of the compressed image data stream of the playback frame are calculated, and the signal generation unit 132 generates the input control signal and the end control signal at appropriate timing based on the calculation result of the calculation unit 131. The data is output to the frame extraction unit 11 and the stream end unit 12.
[0033]
The JPEG2000 decoding unit 21 is a decoder that supports the same still image international standard JPEG2000 as the conventional one. The compressed image data stream of a plurality of frames is input from the stream end unit 12 and decoded in units of frames, and the image data stream of the plurality of frames is converted into an image. Output to the display unit 22. Here, in the still image international standard JPEG2000, a plurality of code strings that constitute an image data portion of a compressed image data stream and are basically generated in units of code blocks are scanned in units of bytes, and “FFFF” is expressed in hexadecimal. That is, if there is a portion where “FF” continues twice, this is used as the terminal code of each code string based on the predicted arithmetic code data, and whether the code string continues or does not continue after this terminal code. In other words, the decoding process is not performed until the start point of the next code string.
[0034]
For example, if there is a code string "... A128C2C0E62784 ..." in hexadecimal, if you want to forcibly terminate decoding up to "... A128C2C0E", use "6278" that follows "... A128C2C0E". By replacing it with “FFFF” or by inserting “FFFF” after “... A128C2C0E” and then inputting it to the JPEG2000 decoder, this image data will be the data of the data terminated with “... A128C2C0E”. It is treated as a code string, and the decoding is completed up to the target decoding interruption position, and the subsequent decoding process is not performed.
[0035]
The image display unit 22 has the same function as the conventional one. The image display unit 22 receives a plurality of frames of image data streams from the JPEG2000 decoding unit 21 and continuously displays a plurality of frames of still images to reproduce a moving image.
[0036]
The moving image playback apparatus according to the present embodiment can play back a moving image by decoding the moving image data stream of the moving image-compatible JPEG 2000 file in a reproduction environment different from that of the moving image-compatible JPEG 2000 file. FIG. 3 is an explanatory diagram for explaining moving image reproduction by the moving image reproducing device of the present embodiment. Here, in each of the divided drawings (A) to (D), examples of moving image reproduction corresponding to the reproduction environment are shown, respectively, and similarly to FIG. 9, a plurality of frames are compressed corresponding to the plurality of still images I1 to I6. The image data stream is displayed as an image with the screen resolution in the XY direction and the color direction resolution in the Z direction, and the hatched part is a part that is deleted from the original image according to each playback environment during playback of the moving image. Indicates.
[0037]
For example, the moving image reproduction example shown in FIG. 3A is an example in which the display portion of the liquid crystal portion used in a small portable TV or the like is small, and the image resolution or image size may be, for example, 1/4 as a reproduction environment. Both the images are controlled by the reproduction control unit 13 and the stream end unit 12 so as to decode and reproduce up to the component LL (1) of the resolution level (1) which is one step lower in resolution than the original image. At this time, the required processing capacity of the decoder is about ¼ that of FULL decoding.
[0038]
The moving image reproduction example shown in FIG. 3B is an example in which the resolution in the color direction of the liquid crystal part used in a mobile phone or the like is low, and the resolution or gradation in the color direction may be, for example, 1/2 as a reproduction environment. Both still images are controlled by the reproduction control unit 13 and the stream termination unit 12 so that the decoding and reproduction of the bit plane group of each code block is terminated to 1/2. For example, the resolution or gradation in the color direction of the original image If each component is 8 bits, the upper 4 bits of each component are decoded and reproduced. At this time, the required processing capacity of the decoder is about ½ that of FULL decoding.
[0039]
In the moving image reproduction examples shown in FIGS. 3C and 3D, key frames to be FULL decoded at intervals of three still images based on the moving image reproduction examples in FIGS. 3A and 3B. In this example, playback control is performed. At this time, the required processing capacity of the decoder is about 1/2, 2/3 of the FULL decoding. However, in the case of FIG. 3A, the resolution is different between the key frame and the others, so it is necessary to separately enlarge the (1/4) image of the low resolution part other than the key frame by a factor of four.
[0040]
Also, although not shown as an example of moving image reproduction in FIG. 3, when the display speed is slow and the frame rate may be, for example, 1/2 with STN liquid crystal or the like, and it is desired to reduce the power consumption of the reproduction processing capacity accordingly, The reproduction control unit 13 and the frame extraction unit 11 are controlled so that one frame of input data is skipped for two still images and a reproduction frame is extracted, and each frame is decoded and reproduced at a half frame rate. At this time, the required processing capacity of the decoder is about ½ that of FULL decoding.
[0041]
As described above, the moving image playback apparatus according to the present embodiment adds the frame extraction unit 11, the stream end unit 12, and the playback control unit 13 to the preceding stage of a commercially available or standard JPEG2000 decoding unit, so that it can be used for playback purposes and purposes. Accordingly, the moving image data stream can be decoded and the moving image can be reproduced without editing the moving image corresponding JPEG 2000 file under a reproduction environment condition different from that of the moving image corresponding JPEG 2000 file. Even in a playback environment equipped with a decoder that has only a decoding processing capability below a certain level, although there is a trade-off item in the playback content, video playback continues without failure.
[0042]
FIG. 4 is a block diagram showing Embodiment 2 of the moving image playback apparatus of the present invention. Referring to FIG. 4, the moving image playback device of the present embodiment includes a frame extraction unit 11, a stream termination unit 12, a playback control unit 14, a JPEG2000 decoding unit 23, and an image display unit 22. 12 and the image display unit 22 are the same as the respective blocks in the moving image reproducing apparatus of the first embodiment shown in FIG.
[0043]
For example, as shown in FIG. 5, the playback control unit 14 is configured to include a calculation unit 141 and a signal generation unit 132, and the calculation unit 141 relates to externally set playback environment conditions and the relationship input from the frame extraction unit 11. Based on the information and the decoding capability information input from the JPEG2000 decoding unit 23, the input position and the end position of the compressed image data stream of the playback frame are calculated, and the signal generation unit 132 selects an appropriate value based on the calculation result of the calculation unit 131. An input control signal and a termination control signal are generated at timing and output to the frame extraction unit 11 and the stream termination unit 12.
[0044]
As shown in FIG. 4, the JPEG2000 decoding unit 23 is one of a plurality of software function units that are executed in parallel by a general-purpose CPU and a program. The JPEG2000 decoding unit 23 performs decoding processing compatible with the still image international standard JPEG2000 and A compressed image data stream of a plurality of frames, each compressed and encoded as a moving image data stream of a file, is input from the stream end unit 12 and decoded in units of frames, and the image data stream of a plurality of frames is output to the image display unit 22, Is output to the reproduction control unit 14.
[0045]
The video playback device of the present embodiment does not edit the video JPEG 2000 file in a playback environment different from the video JPEG 2000 file depending on the use and purpose at the time of playback, similar to the video playback device of the first embodiment of FIG. The video data stream can be decoded and the video can be played back, and the general-purpose CPU can execute processes other than JPEG2000 compatible decoding processing in parallel, so that even when the decoding processing capacity of the JPEG2000 decoding unit decreases, the decoding processing capacity decreases. Following this, the playback environment such as resolution and frame rate is adjusted in a timely manner, and although there is a trade-off item in the playback content, video playback is continued without failure.
[0046]
For example, when the current decoding processing capacity drops to 25%, if priority is given to the resolution, the playback frame rate may be controlled to ¼, and if priority is given to the resolution, the resolution will be vertical and horizontal. What is necessary is just to control so that it may become 1/2. In addition, it is possible to make fine adjustments by controlling the frame rate and resolution at the same time, and it is possible to select flicker prevention during playback.
[0047]
FIG. 6 is a block diagram showing an embodiment of the moving image playback system of the present invention. Referring to FIG. 6, the moving image reproduction system of the present embodiment includes a stream transmission station 1 and a stream reception station 2 that are respectively compressed and encoded as a moving image data stream of a moving image-compatible JPEG2000 file.
[0048]
The stream transmission station 1 includes a frame extraction unit 11, a stream termination unit 12, a reproduction control unit 13, and a communication interface 15 in the video reproduction device shown in FIG. The compressed image data stream of the playback frame is extracted from the moving picture data stream of the corresponding JPEG2000 file, and the termination is adjusted and transmitted to the stream receiving station 2.
[0049]
The stream receiving station 2 includes a JPEG2000 decoding unit 21, an image display unit 22, and a communication interface 25 in the moving picture reproducing apparatus shown in FIG. 1, receives a compressed image data stream of a plurality of frames from the stream transmitting station 1, and receives the frame unit. Decodes and displays an image frame by frame to play a moving image.
[0050]
As described above, the moving image reproducing system of this embodiment separates each block in the moving image reproducing apparatus shown in FIG. 1 into the stream transmitting station 1 and the stream receiving station 2 and transmits / receives a compressed image data stream of a plurality of frames. Basically, it operates in the same manner as the moving picture reproducing apparatus shown in FIG. 1 is an application example of the video playback device shown in FIG. 1 to a wireless system or a home server system, and the video can be played back by the stream receiving station 2 at a location away from the stream transmitting station 1 that stores the JPEG2000 file corresponding to the video. Have
[0051]
In the video playback system of the present embodiment, the case where there is a single stream receiving station has been described. However, the present invention is not limited to this description. In accordance with the conditions, a modified example in which a compressed image data stream of a reproduction frame is extracted from a moving image data stream of a moving image-compatible JPEG 2000 file, adjusted to be terminated, and transmitted to a plurality of stream receiving stations 2 is possible.
[0052]
In this modification, the compressed image data stream of the playback frame can be extracted and adjusted at a common stream transmission station instead of a plurality of stream reception stations, and the cost of the entire system can be kept low. In addition, transmission of adjusted compressed image data stream reduces communication traffic, shortens communication-related circuit operation time that consumes a relatively large amount of power, and reduces both stream transmission station and stream reception station consumption. Powered.
[0053]
Also in the video playback system of the present embodiment, as in the video playback device described with reference to FIG. 4, the JPEG2000 decoding unit of the stream receiving station includes a plurality of software function means implemented in parallel by a general-purpose CPU and a program. As one example, the compressed image data stream of a plurality of frames is decoded and the current decoding capability information is output, and the playback control unit of the frame transmitting station determines the input position and end of the compressed image data stream of the playback frame based on the decoding capability information A modification in which the position is calculated and the input control signal and the termination control signal are generated based on the calculation result is also possible.
[0054]
【The invention's effect】
As described above, the moving image playback apparatus of the present invention has a resolution, a frame rate, and the like that differ from those of a JPEG 2000 file corresponding to a moving image depending on the use and purpose at the time of playback by adding a frame extraction unit, a stream end unit, and a playback control unit. Under the playback environment conditions, the moving image data stream can be decoded and the moving image can be reproduced without editing the moving image compatible JPEG2000 file. Further, even in a playback environment equipped with a decoder that has only a decoding processing capability below a certain level, video playback continues without failure.
[0055]
In addition, a dedicated or commercially available JPEG2000 decoder can be used without requiring a dedicated JPEG2000 decoder for performing simplification processing, and the degree of freedom in device design is improved.
[Brief description of the drawings]
FIG. 1 is a block diagram showing Embodiment 1 of a moving image playback apparatus of the present invention.
FIG. 2 is a block diagram illustrating a configuration example of a reproduction control unit 13 in FIG.
FIG. 3 is an explanatory diagram for explaining moving image reproduction by the moving image reproducing device of the present embodiment;
FIG. 4 is a block diagram showing a second embodiment of the moving image playback apparatus of the present invention.
5 is a block diagram illustrating a configuration example of a playback control unit 14 in FIG. 4. FIG.
FIG. 6 is a block diagram showing an embodiment of a moving image playback system of the present invention.
FIG. 7 is an explanatory diagram for explaining wavelet transformation in the JPEG2000 system.
FIG. 8 is an explanatory diagram for explaining a code block CB which is a minimum coding unit of a code string in the JPEG2000 system.
FIG. 9 is an explanatory diagram for explaining moving image reproduction by the moving image reproducing device;
FIG. 10 is a block diagram illustrating an example of a conventional image decoding device.
[Explanation of symbols]
1 Stream transmission station
2 Stream receiving stations
11 Frame extractor
12 Stream end
13, 14 Playback control unit
15, 25 Communication interface
21,23 JPEG2000 decoder
22 Image display
26 Simplified JPEG2000 decoding unit
27 Simplified unit

Claims (10)

動画対応JPEG2000ファイルの動画データストリームとしてそれぞれ圧縮符号化された複数フレームの圧縮画像データストリームをフレーム単位で復号するJPEG2000復号部と、フレーム単位で画像を表示して動画を再生する画像表示部とを備える動画再生装置において、
前記動画対応JPEG2000ファイルから動画データストリームの関連情報を抽出し且つ入力制御信号に基づき前記動画データストリームをフレーム単位に適宜入力またはスキップして前記動画データストリームから再生フレームの圧縮画像データストリームを抽出するフレーム抽出部と、
前記再生フレームの圧縮画像データストリームを入力し終端制御信号に対応した位置で終端符号を付加し前記JPEG2000復号部へ出力するストリーム終端部と、
外部設定の再生環境条件および前記関連情報に基づき前記再生フレームの圧縮画像データストリームの入力位置および終端位置を演算し演算結果に基づき、フレーム単位毎に前記入力制御信号および前記終端制御信号を生成する再生制御部とを備えることを特徴とする動画再生装置。
A JPEG2000 decoding unit that decodes a compressed image data stream of a plurality of frames, each compressed and encoded as a moving image data stream of a JPEG2000 file for moving images, and an image display unit that displays an image in units of frames and reproduces a moving image. In the video playback device provided,
Extract related information of a video data stream from the video JPEG2000 file, and input or skip the video data stream as appropriate for each frame based on an input control signal to extract a compressed image data stream of a playback frame from the video data stream A frame extractor;
A stream termination unit that inputs a compressed image data stream of the playback frame, adds a termination code at a position corresponding to a termination control signal, and outputs the termination code to the JPEG2000 decoding unit;
The input position and the end position of the compressed image data stream of the playback frame are calculated based on the externally set playback environment condition and the related information, and the input control signal and the end control signal are generated for each frame based on the calculation result. And a playback control unit.
前記JPEG2000復号部が、汎用CPUおよびプログラムにより並行して履行される複数のソフトウェア機能手段の1つであり、現在の復号能力情報を出力し、
前記再生制御部が、前記復号能力情報に基づき前記再生フレームの圧縮画像データストリームの入力位置および終端位置を演算し演算結果に基づき前記入力制御信号および前記終端制御信号を生成する、請求項1記載の動画再生装置。
The JPEG2000 decoding unit is one of a plurality of software function means executed in parallel by a general-purpose CPU and a program, and outputs current decoding capability information,
The reproduction control unit calculates an input position and a termination position of a compressed image data stream of the reproduction frame based on the decoding capability information, and generates the input control signal and the termination control signal based on a calculation result. Video playback device.
動画対応JPEG2000ファイルの動画データストリームとしてそれぞれ圧縮符号化された複数フレームの圧縮画像データストリームをフレーム単位で復号するJPEG2000復号部と、フレーム単位で画像を表示して動画を再生する画像表示部とを備える動画再生装置において、
前記動画対応JPEG2000ファイルから動画データストリームの関連情報を抽出し且つ前記動画データストリームから再生フレームの圧縮画像データストリームを抽出するフレーム抽出部と、
前記再生フレームの圧縮画像データストリームを入力し終端制御信号に対応した位置で終端符号を付加し前記JPEG2000復号部へ出力するストリーム終端部と、
外部設定の再生環境条件および前記関連情報に基づき前記再生フレームの圧縮画像データストリームの終端位置を演算し演算結果に基づき、フレーム単位毎に前記終端制御信号を生成する再生制御部とを備えることを特徴とする動画再生装置。
A JPEG2000 decoding unit that decodes a compressed image data stream of a plurality of frames, each compressed and encoded as a moving image data stream of a JPEG2000 file for moving images, and an image display unit that displays an image in units of frames and reproduces a moving image. In the video playback device provided,
A frame extraction unit for extracting related information of a video data stream from the video JPEG2000 file and extracting a compressed image data stream of a playback frame from the video data stream;
A stream termination unit that inputs a compressed image data stream of the playback frame, adds a termination code at a position corresponding to a termination control signal, and outputs the termination code to the JPEG2000 decoding unit;
A playback control unit that calculates the end position of the compressed image data stream of the playback frame based on externally set playback environment conditions and the related information, and generates the end control signal for each frame unit based on the calculation result. A featured video playback device.
前記JPEG2000復号部が、汎用CPUおよびプログラムにより並行して履行される複数のソフトウェア機能手段の1つであり、現在の復号能力情報を出力し、
前記再生制御部が、前記復号能力情報に基づき前記再生フレームの圧縮画像データストリームの終端位置を演算し演算結果に基づき前記終端制御信号を生成する、請求項3記載の動画再生装置。
The JPEG2000 decoding unit is one of a plurality of software function means executed in parallel by a general-purpose CPU and a program, and outputs current decoding capability information,
4. The moving image playback apparatus according to claim 3, wherein the playback control unit calculates the end position of the compressed image data stream of the playback frame based on the decoding capability information and generates the end control signal based on the calculation result.
前記再生環境条件が、再生動画の解像度およびフレームレートを含む、請求項1または3記載の動画再生装置。  The moving image reproducing apparatus according to claim 1 or 3, wherein the reproduction environment condition includes a resolution and a frame rate of the reproduced moving image. 動画対応JPEG2000ファイルの動画データストリームとしてそれぞれ圧縮符号化された複数フレームの圧縮画像データストリームを受信しフレーム単位で復号しフレーム単位で画像を表示して動画を再生するストリーム受信局と、
このストリーム受信局の再生環境条件に対応して、動画対応JPEG2000ファイルの動画データストリームから再生フレームの圧縮画像データストリームを抽出して、フレーム単位毎に終端調整し前記ストリーム受信局へ送信するストリーム送信局とを備える動画再生システム。
A stream receiving station that receives a compressed image data stream of a plurality of frames, each of which is compressed and encoded as a moving image data stream of a JPEG2000 file corresponding to a moving image, decodes the frame by frame, displays an image by the frame, and reproduces the moving image;
Corresponding to the playback environment conditions of the stream receiving station, a stream transmission is performed in which a compressed image data stream of a playback frame is extracted from a moving picture data stream of a JPEG2000 file corresponding to a moving picture, and is terminated for each frame unit and transmitted to the stream receiving station A video playback system comprising a station.
前記ストリーム送信局が、前記動画対応JPEG2000ファイルから動画データストリームの関連情報を抽出し且つ入力制御信号に基づき前記動画データストリームをフレーム単位に適宜入力またはスキップして前記動画データストリームから再生フレームの圧縮画像データストリームを抽出するフレーム抽出部と、
前記再生フレームの圧縮画像データストリームを入力し終端制御信号に対応した位置で終端符号を付加し前記ストリーム受信局へ送信するストリーム終端部と、
前記再生環境条件および前記関連情報に基づき前記再生フレームの圧縮画像データストリームの入力位置および終端位置を演算し演算結果に基づき、フレーム単位毎に前記入力制御信号および前記終端制御信号を生成する再生制御部とを備える、請求項6記載の動画再生システム。
The stream transmitting station extracts the relevant information of the video data stream from the video JPEG2000 file and compresses the playback frame from the video data stream by appropriately inputting or skipping the video data stream in units of frames based on an input control signal. A frame extraction unit for extracting an image data stream;
A stream termination unit that inputs a compressed image data stream of the reproduction frame, adds a termination code at a position corresponding to a termination control signal, and transmits the termination code to the stream reception station;
Reproduction control for calculating the input position and the end position of the compressed image data stream of the reproduction frame based on the reproduction environment condition and the related information and generating the input control signal and the end control signal for each frame unit based on the calculation result The moving image reproduction system according to claim 6, further comprising: a unit.
前記ストリーム受信局が、汎用CPUおよびプログラムにより並行して履行される複数のソフトウェア機能手段の1つとして、前記複数フレームの圧縮画像データストリームを復号し且つ現在の復号能力情報を出力するJPEG2000復号部を備え、
前記再生制御部が、前記復号能力情報に基づき前記再生フレームの圧縮画像データストリームの入力位置および終端位置を演算し演算結果に基づき、フレーム単位毎に前記入力制御信号および前記終端制御信号を生成する、請求項7記載の動画再生システム。
The JPEG2000 decoding unit which decodes the compressed image data stream of the plurality of frames and outputs the current decoding capability information as one of a plurality of software function means executed in parallel by a general-purpose CPU and a program by the stream receiving station With
The reproduction control unit calculates an input position and a termination position of the compressed image data stream of the reproduction frame based on the decoding capability information, and generates the input control signal and the termination control signal for each frame based on the calculation result. The moving image reproduction system according to claim 7.
前記再生環境条件が、再生動画の解像度およびフレームレートを含む、請求項6,7または8記載の動画再生システム。  The moving image reproduction system according to claim 6, wherein the reproduction environment condition includes a resolution and a frame rate of the reproduced moving image. 前記ストリーム受信局を複数備える、請求項6,7,8または9記載の動画再生システム。  The moving image reproduction system according to claim 6, 7, 8, or 9, comprising a plurality of the stream receiving stations.
JP2003149477A 2003-05-27 2003-05-27 Video playback device and video playback system Expired - Fee Related JP4417031B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003149477A JP4417031B2 (en) 2003-05-27 2003-05-27 Video playback device and video playback system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003149477A JP4417031B2 (en) 2003-05-27 2003-05-27 Video playback device and video playback system

Publications (2)

Publication Number Publication Date
JP2004356738A JP2004356738A (en) 2004-12-16
JP4417031B2 true JP4417031B2 (en) 2010-02-17

Family

ID=34045576

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003149477A Expired - Fee Related JP4417031B2 (en) 2003-05-27 2003-05-27 Video playback device and video playback system

Country Status (1)

Country Link
JP (1) JP4417031B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4742174B1 (en) * 2010-04-20 2011-08-10 株式会社ソニー・コンピュータエンタテインメント 3D video playback method and 3D video playback device

Also Published As

Publication number Publication date
JP2004356738A (en) 2004-12-16

Similar Documents

Publication Publication Date Title
CN102273205B (en) The software video transcoder accelerated with GPU
KR101747195B1 (en) Moving image prediction encoding device, moving image prediction encoding method, moving image prediction encoding program, moving image prediction decoding device, movign image prediction decoding method, and moving image prediction decoding program
US20060072837A1 (en) Mobile imaging application, device architecture, and service platform architecture
US7071939B2 (en) Unique method for performing zoom-in and zoom-out operations with horizontal and vertical video decimation within a wireless device having a video display
CN108271024A (en) Image coding, coding/decoding method and device
MX2013013764A (en) Image processing device and image processing method.
JP2014236264A (en) Image processing apparatus, image processing method and program
WO2006024077A2 (en) System and method for encoding and decoding video
EP1843594A2 (en) Coding and decoding method and apparatus using plural scanning patterns
JP2008516565A (en) Mobile imaging applications, equipment, architecture and service platform architecture
KR20030089505A (en) Signal processing system and method, signal processing device and method, recording medium, and program
CN100591126C (en) Manipulating sub-pictures of a compressed video signal
JP4417031B2 (en) Video playback device and video playback system
JP2000092485A (en) Encoding device, decoding device, image processor, and image processing system
JP4209783B2 (en) Image compression apparatus, image reproduction apparatus, image compression method, image reproduction method, image compression program, and image reproduction program
JPH1168881A (en) Data stream processor and its method
KR20070029090A (en) Information processing apparatus and method, transmission apparatus and method, recording apparatus and method and program
CN100341323C (en) Dynamic image regenerator
JP2003087798A (en) Apparatus and method for moving image compression
JP2006067483A (en) Video communication method and video communication apparatus
JPH09214955A (en) Encode and decode system for image data
JP2003338995A (en) Image reproducing device and its method
JP2003087797A (en) Apparatus and method for picture information conversion, picture information conversion program, and recording medium
CN117356092A (en) System, method and bitstream structure for a hybrid feature video bitstream and decoder
JPH10294953A (en) Moving image data receiver

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A711

Effective date: 20060308

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070116

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070202

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20070313

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070426

A911 Transfer of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20070524

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20070703

A912 Removal of reconsideration by examiner before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20070810

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091125

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees