JP4188139B2 - Transcoder - Google Patents

Transcoder Download PDF

Info

Publication number
JP4188139B2
JP4188139B2 JP2003140030A JP2003140030A JP4188139B2 JP 4188139 B2 JP4188139 B2 JP 4188139B2 JP 2003140030 A JP2003140030 A JP 2003140030A JP 2003140030 A JP2003140030 A JP 2003140030A JP 4188139 B2 JP4188139 B2 JP 4188139B2
Authority
JP
Japan
Prior art keywords
conversion
processing
data
processing flow
partial
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2003140030A
Other languages
Japanese (ja)
Other versions
JP2004343592A (en
Inventor
淑彦 秦
直樹 桑原
隆夫 嶋吉
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to JP2003140030A priority Critical patent/JP4188139B2/en
Publication of JP2004343592A publication Critical patent/JP2004343592A/en
Application granted granted Critical
Publication of JP4188139B2 publication Critical patent/JP4188139B2/en
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

【０００１】
【発明の属する技術分野】
この発明は、トランスコーダに係る発明であって、例えば、異なる仕様を有する複数の表示端末に接続した場合に、より効果的であるトランスコーダに関するものである。
【０００２】
【従来の技術】
トランスコーダとは、例えば、７２０×４８０画素，３０ｆｐｓ（ｆｒａｍｅｓ ｐｅｒ ｓｅｃｏｎｄ），６Ｍｂｐｓ（ｂｉｔｓ ｐｅｒ ｓｅｃｏｎｄ）のＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）−２動画像データを、３５２×２４０画素，１０ｆｐｓ，３８４ＫｂｐｓのＭＰＥＧ−４動画像データに変換するなど、画像データをトランスコード（符号化変換）する装置のことである。
【０００３】
従来のトランスコーダは、ＭＰＥＧ−２等で符号化された動画像データを入力し、当該入力した動画像データを一度復号化部で復号した後、符号化部で入力とは異なる符号化形式やビットレート（帯域幅）の動画像データに符号化して出力する構成になっている（例えば、特許文献１参照）。
【０００４】
また、例えば、カメラで撮影したライブ映像を、複数の表示端末が各々の表示能力やネットワーク帯域に応じた、異なる品質の動画像データとして受信し表示するような場合のように、一つの符号化データを、複数の異なる仕様の符号化データに、同時に変換するという要求がある。
【０００５】
当該要求に応える技術として、特許文献１の図９に示されている発明がある。当該発明では、入力されたＭＰＥＧ−２映像を一つの復号化処理部が画像データに復号し、処理内容の異なる２つのＭＰＥＧ−２符号化処理部が、当該復号した画像データを画質の異なる２つのＭＰＥＧ−２映像に再符号化することによって、計算量の増加を抑え処理負荷の低減を実現している。
【０００６】
【特許文献１】
特開平８−５１６３１号公報（第４図、第９図等）
【０００７】
【発明が解決しようとする課題】
しかし、上記特許文献１に記載のトランスコーダでは、一入力多出力の変換要求がその都度異なる場合、当該トランスコーダは、例えば一入力多出力のトランスコードソフトウェアモジュールを必要な種類だけ予めに実装しておく必要があり、変換要求のパターンが多いと格納するディスク量が大きくなり、装置価格が高くなるという問題があった。
【０００８】
また、途中で変換仕様を変更する場合、上記トランスコーダでは処理フローが固定であるため、各出力で共有していない処理部分のパラメータ変更（例えば，再量子化処理が共有されていなければ、そのパラメータの変更）の範囲でしか変更できず、例えば、途中で出力形式をＭＰＥＧ−２からＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｃｏｄｉｎｇ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）に変更するといった多様な変更要求には対応できず、用途が限定されるという問題があった。
【０００９】
そこで、この発明は、装置の価格を低く抑えると共に、種々の一入力多出力の変換要求に柔軟に対応することができる、トランスコーダを提供することを目的とする。
【００１０】
【課題を解決するための手段】
上記の目的を達成するために、本発明に係る請求項１に記載のトランスコーダは、第一の符号化データを入力し、当該第一の符号化データとは異なる第二の符号化データに変換するトランスコーダにおいて、外部からの前記変換の仕様に関する要求である変換要求情報を受信する変換要求受付手段と、前記変換を実行する、複数の部分処理手段と、前記変換要求情報に基づいて、前記複数の部分処理手段を協働的に機能させるための情報である処理フロー情報を作成する処理フロー作成手段と、前記処理フロー情報に基づいて、現在実行中の変換処理を中断することなく、前記部分処理手段の接続を動的に制御する変換制御手段とを、備えている。
【００１２】
【発明の実施の形態】
以下、この発明をその実施の形態を示す図面に基づいて具体的に説明する。
【００１３】
＜実施の形態１＞
図１は、本発明に係るトランスコーダ１０が組み込まれた映像監視システムの構成を示す図である。
【００１４】
図１において、映像監視専用の広帯域な映像ネットワーク１１には、複数のコーデック１２と複数の監視端末１３とが接続されている。また、一般業務に利用する狭帯域の業務ネットワーク１５には、複数の業務端末１６が接続されている。さらに、映像ゲートウェイ２０は、両ネットワーク１１，１５を接続している。
【００１５】
ここで、各コーデック１２には、カメラ１４が接続されている。また、各業務端末１６は、データの送受信を行う通信部１６ａ、受信した符号化データを復号するための復号化部１６ｂ、映像を表示する表示部１６ｃおよび、映像ゲートウェイ２０に対する各種要求を入力することができる対話制御部１６ｄで構成されている。なお、監視端末１３は、業務端末１６と同じ構成であってもかまわない。
【００１６】
また、映像ゲートウェイ２０は、映像ネットワーク１１側でのデータの送受信を行う通信部１７、本発明に係るトランスコーダ１０および、業務ネットワーク１５側でのデータの送受信を行う通信部１８で構成されている。
【００１７】
当該構成の映像監視システムにおいて、カメラ１４で撮影されたライブ映像は、コーデック１２により，例えば６Ｍｂｐｓ，７２０×４８０画素，３０ｆｐｓの高画質のＭＰＥＧ−２映像に符号化され、映像ネットワーク１１上でマルチキャスト配信される。映像ネットワーク１１に接続された監視端末１３では、表示すべきカメラ１４の映像を選択して受信し、復号化した映像を表示する。
【００１８】
一方、業務ネットワーク１５の帯域は狭く、６ＭｂｐｓのＭＰＥＧ−２映像を複数同時に配信するほどの空き帯域はないとする。そこで、業務端末１６から映像配信要求があると、映像ゲートウェイ２０は、指定されたカメラ１４のＭＰＥＧ−２映像を受信し、例えば３８４Ｋｂｐｓ，３５２×２４０画素，１０ｆｐｓの低画質のＭＰＥＧ−４映像にリアルタイムで変換し、要求のあった業務端末１６に対して配信する。
【００１９】
具体的に、映像ゲートウェイ２０では、指定されたカメラ１４のＭＰＥＧ−２映像が通信部１７により受信され、トランスコーダ１０によりＭＰＥＧ−２映像からＭＰＥＧ−４映像に符号化変換され、通信部１８により当該変換されたＭＰＥＧ−４映像が業務端末１６に配信される、という一連の処理が行われる。
【００２０】
ここで、トランスコーダ１０は、監視業務の内容や表示端末１３，１６の性能などにより、複数の表示端末１３，１６からの要求に応じて、同じカメラ１４の映像を異なる品質や符号化方式の映像に変換する。
【００２１】
次に、本発明に係るトランスコーダ１０の処理について、図２に示すブロック図に基づいて具体的に説明する。
【００２２】
図２において、変換要求受付手段１は、業務端末１６など外部からの変換の仕様に関する要求である変換要求情報（以下、単に変換要求という）を受信し、当該変換要求受付手段１に接続されている変換制御手段２へ当該変換要求を伝える。
【００２３】
変換制御手段２に接続されている処理フロー作成手段３は、当該変換制御手段２を経由して変換要求を受け取る。当該変換要求を受け取った処理フロー作成手段３は、変換要求情報に基づいて、複数の部分処理手段４を協働的に機能させるための情報である処理フロー情報６を作成し、当該処理フロー情報６を変換制御手段２へ送信する。
【００２４】
ここで、各部分処理手段４は、データの一連の変換処理における部分的な所定の処理を担っている。
【００２５】
本実施の形態では、処理フロー情報６は、トランスコーダ１０の入力から出力に向かって複数の部分処理手段４から構成されるツリー状処理フロー５の構造情報と、各部分処理手段４の処理パラメータ情報とから成る。
【００２６】
変換制御手段２は、上記処理フロー情報６を基に、新たな部分処理手段４の生成（起動）、削除（終了）、または部分処理手段４間の連結変更など処理フロー構造を変更し、一つの入力データ７が異なる仕様の出力データ８に逐次並列的に変換されるよう、変換処理全体を制御する。
【００２７】
図２において、ツリー状処理フロー５の構造は、例えば、カメラ１４による映像信号をディジタル化／符号化して映像ネットワーク１１に配信するコーデック１２からの符号化データ（入力データ７）を入力し、複数の表示端末１３，１６に対して異なる仕様（符号化形式、解像度、フレームレート、画質、ビットレートなど）の符号化データに再変換し、各表示端末１３，１６に対して当該再変換された符号化データ（出力データ８）を出力する構成となっている。
【００２８】
ここで、図２で例示したツリー状処理フロー５の構造では、最初の部分処理手段４ａは、全ての出力データ８ａ〜８ｄの処理で共有されている。即ち、部分処理手段４ａの出力結果を後段の部分処理手段４ｂ，４ｃが入力して、各部分処理手段４ｂ，４ｃでは、出力データ８ａ〜８ｄを生成するために、異なる処理を行う。
【００２９】
同様に、部分処理手段４ｂと部分処理手段４ｄでは、出力データ８ａ，８ｂを生成するための変換処理において共有されており、部分処理手段４ｃでは、出力データ８ｃ，８ｄを生成するための変換処理において共有されている。
【００３０】
即ち、部分処理手段４ｂの出力結果を後段の部分処理手段４ｄが入力し、当該部分処理手段４ｄの出力結果を後段の部分処理手段４ｇ，４ｈが入力し、各部分処理手段４ｇ，４ｈでは、出力データ８ａ，８ｂを生成するために、異なる処理を行う。一方、部分処理手段４ｃの出力結果を後段の部分処理手段４ｅ，４ｆが入力し、部分処理手段４ｅの出力結果を後段の部分処理手段４ｉが入力すると共に、部分処理手段４ｆの出力結果を後段の部分処理手段４ｊが入力する。そして、各部分処理手段４ｉ，４ｊでは、出力データ８ｃ，８ｄを生成するために、異なる処理を行う。
【００３１】
ここで、本発明に係るトランスコーダ１０の実装方法として、種々の方法が考えられるが、例えば、映像ゲートウェイ２０に搭載されたＣＰＵ（図示なし）で動作するソフトウェアとして実現されることができる。
【００３２】
以下、本実施の形態１に係るトランスコーダ１０では、複数スレッドから成る階層的なソフトウェア構成を考え、図３，４を用いて処理の具体的な流れを説明する。
【００３３】
図２で示した変換要求受付手段１は一つのスレッド（以下、変換要求受付手段は、スレッドであるとして話を進める。）であり、映像ゲートウェイ２０の起動と同時に、当該変換要求受付手段１が起動され、変換要求受付の処理が開始される（図３のステップＳ１１）。
【００３４】
ここで、変換要求受付手段１は、予め決められた通信ポート番号を有しており、業務端末１６は、当該通信ポートに対して、映像配信の要求や出力データ８の仕様変更を表す変換要求を送信する。
【００３５】
変換要求を受信した変換要求受付手段１は、図３のステップＳ１２において、現在のトランスコーダ１０の変換処理状態や、受信した変換要求内容に基づいて、処理内容を判断する。
【００３６】
具体的に、変換要求受付手段１が起動して以来、変換要求にて指定された入力データ７に対する変換処理がされていない場合（ステップＳ１２で「新規」の場合）には、新たな変換制御スレッドを起動させ、当該変換制御スレッドに変換要求を渡す（ステップＳ１３）。ここで、変換制御スレッドとは、変換制御手段２と処理フロー作成手段３とから成るスレッドのことである。
【００３７】
また、変換要求受付手段１が受信した変換要求が、既に変換処理がされている入力データ７に対する変換要求であれば、該当する変換制御スレッドに対して、当該変換要求を渡す（ステップＳ１４）。
【００３８】
また、変換要求受付手段１が受信した変換要求が、変換処理している入力データ７に対する全ての変換処理を終了させる変換要求であれば、該当する変換制御スレッドに対して終了メッセージを送信し、当該変換制御スレッドを終了させる（ステップＳ１５）。
【００３９】
その後、再び業務端末１６から、変換要求受付手段１が有している通信ポートに対して、映像配信の要求や出力データ８の仕様変更を表す変換要求を送信される度に、図３に示す処理が行われる。
【００４０】
次に、図４に示すフローチャートに基づいて、変換制御スレッドが動画像符号化データを再変換する処理の流れを説明する。
【００４１】
図４のステップＳ２１において、変換要求を受信した変換要求受付手段（スレッド）から変換制御スレッドが起動され、当該受信した変換要求に対する以下の処理を行う。
【００４２】
まず、ステップＳ２２において、処理フロー作成手段３が処理フロー情報６を作成する。
【００４３】
例えば起動後、最初の変換要求が一入力一出力の場合には、処理フロー作成手段３において、スレッドである複数の部分処理手段４（以下、部分処理手段４をスレッドであるとして話を進める。）がシーケンシャルに接続された構成の処理フロー情報６が作成される。その後、新たな出力データ８の変換要求を受信すると、当該処理フロー作成手段３では、例えば部分処理手段４から成る処理フローを枝分かれさせることにより、ツリー構造の処理フロー情報６が動的に作成（つまり、変換処理行いつつ、当該変換要求に応じた処理フロー情報６が作成）される。
【００４４】
ここで、同じ出力データ８に対して異なる出力仕様の変換要求が与えられた場合においても、処理フロー作成手段３がツリー構造の処理フロー情報６を作成することもある。つまり、処理フロー情報におけるツリー構造の変更は、新たな出力データの変換要求や出力データ停止の変換要求により発生するが、同じ出力データに対して異なる出力仕様の変換要求が与えられた場合でも、そのツリー構造が変更されることがある。
【００４５】
変換要求に対する実際の処理フロー情報６の作成方法は幾つか考えられる。
【００４６】
例えば、処理フローのパターン数が少なければ、予めサポートする全ての処理フローを考え、プログラムのヘッダファイルや、プログラムが読み込むファイルに定義する方法が適している。
【００４７】
また、処理フローのパターン数が多い場合には、出力する符号化方式や解像度等の出力仕様の種類に応じて、テンプレートとその組合せのルールとを予め準備しておき、処理フロー作成手段３が変換要求に応じて動的に処理フロー情報６を作成する方法が適している。
【００４８】
次に、ステップＳ２３において、変換制御手段２が上述で作成された処理フロー情報６に基づいて、必要な部分処理手段４の起動・連結、部分処理手段４の処理パラメータの変更、および不要な部分処理手段４の終了といった各制御処理を行う。
【００４９】
ここで、部分処理手段４は入力パラメータとして、連結された前段の部分処理手段４が処理した結果にアクセスするための情報パラメータ、前段からの入力情報をどのように処理するかを示す処理パラメータおよび、処理した結果を後段の部分処理手段４がアクセスできるようにするための情報パラメータなどを有している。当該パラメータを利用した部分処理手段４間通信により、部分処理手段４間のメッセージやデータのやり取り、同期処理などが行われる。
【００５０】
次に、ステップＳ２４において、前述で作成された処理フロー情報６に基づいて起動・連結させられた各部分処理手段４において、動画像データの１フレーム分の変換処理を行う。
【００５１】
具体的に、先頭の部分処理手段４は、符号化された入力データ７を入力して変換処理を行い、その結果を２番目の部分処理手段４が入力して変換処理を行い、以降最後の部分処理手段４まで逐次的に変換処理が実行される。
【００５２】
次に、ステップＳ２５において、変換制御スレッドが新たな変換要求の有無の判断を行い、変換要求が無ければ（ステップＳ２５で「なし」であれば）、ステップＳ２４に戻り、処理フローの構成を維持した状態で、次の１フレーム分に対する変換処理が行われる。他方、変換要求があれば（ステップＳ２５で「あり」であれば）、ステップＳ２６において、変換制御スレッドが当該変換要求の種類を調べる。
【００５３】
変換要求の種類を調べた結果、全ての変換処理を終了させるものである場合には（ステップＳ２６で「変換終了」）、ステップＳ２７において、部分処理手段４および変換制御スレッドが終了する。他方、そうでなければ（ステップＳ２６で「変換変更」）、ステップＳ２２に戻り、変換制御スレッドは新たな処理フロー情報６の作成を行い、当該作成された処理フロー情報６に基づいて構成された部分処理手段４により、変換処理を継続する。
【００５４】
次に、図５〜１１を用いて、部分処理手段４の変更の様子を具体的に説明する。
【００５５】
図５は、動画像符号化変換で用いられる部分処理手段４を例示している図である。
【００５６】
図５には、エントロピー復号化／符号化，逆量子化／量子化，逆ＤＣＴ（Ｄｉｓｃｒｅｔｅ Ｃｏｓｉｎｅ Ｔｒａｎｓｆｏｒｍ）／ＤＣＴ，動き補償といった、ＭＰＥＧ−２，ＭＰＥＧ−４，ＪＰＥＧ（正確には動画像に対してはＭｏｔｉｏｎ ＪＰＥＧであるが、本実施の形態での説明では、単にＪＰＥＧと称す）の復号化と符号化に必要な各部分処理手段４と、解像度変換，白黒化，ローパスフィルタ，エッジ強調などの画像処理を行う部分処理手段とが実線ブロックで例示されている。なお、図５には、トランスコード処理の両端に連結される受信および送信等のスレッドも含めて図示している。
【００５７】
図６〜１１は、一つの動画像符号化データを仕様の異なる複数の動画像符号化データに変換する、図５に例示した各部分処理手段４を連結して構成されるツリー状処理フロー５の例を示している。
【００５８】
図６では、例えば、７２０×４８０画素，カラー，３０ｆｐｓ，６ＭｂｐｓのＭＰＥＧ−２データ（以下、入力データｉ０とする）を受信し、３つの異なる動画像符号化データに変換した後、各業務端末１６に配信する場合のツリー状処理フロー５の一例である。また、図６に示すツリー状処理フロー５は、大きく４つの部分処理手段ブロックＢ４１〜Ｂ４４により構成されている。
【００５９】
部分処理手段ブロックＢ４１は、エントロピー復号化手段Ｂ４１ａ，逆量子化手段Ｂ４１ｂ，逆ＤＣＴ手段Ｂ４１ｃ，動き補償手段Ｂ４１ｄ，およびフレームメモリ手段Ｂ４１ｅ等の各部分処理手段４により構成されており、エントロピー復号化手段Ｂ４１ａから動き補償手段Ｂ４１ｄまで（もちろん、フレームメモリ手段Ｂ４１ｅも含む）による入力データｉ０の復号化処理が、３つの出力データｏ１〜ｏ３を生成する処理で共有されている。
【００６０】
また、部分処理手段ブロックＢ４２は、ＤＣＴ手段Ｂ４２ａ，量子化手段Ｂ４２ｂ，エントロピー符号化手段Ｂ４２ｃ，動き補償手段Ｂ４２ｄ，フレームメモリー手段Ｂ４２ｅ，逆ＤＣＴ手段Ｂ４２ｆ，逆量子化手段Ｂ４２ｇ等の各部分処理手段４により構成されており、出力データ（７２０×４８０画素，カラー，３０ｆｐｓ，３ＭｂｐｓのＭＰＥＧ−２データ）ｏ１の再符号化処理を実行している。
【００６１】
また、部分処理手段ブロックＢ４３は、ＤＣＴ手段Ｂ４３ａ，量子化手段Ｂ４３ｂ，エントロピー符号化手段Ｂ４３ｃ，動き補償手段Ｂ４３ｄ，フレームメモリー手段Ｂ４３ｅ，逆ＤＣＴ手段Ｂ４３ｆ，逆量子化手段Ｂ４３ｇ等の各部分処理手段４により構成されており、出力データ（７２０×４８０画素，カラー，３０ｆｐｓ，１ＭｂｐｓのＭＰＥＧ−２データ）ｏ２の再符号化処理を実行している。
【００６２】
さらに、部分処理手段ブロックＢ４４は、解像度変換（１／１６）手段Ｂ４４ａ，ＤＣＴ手段Ｂ４４ｂ，量子化手段Ｂ４４ｃ，エントロピー符号化手段Ｂ４４ｄ，動き補償手段Ｂ４４ｅ，フレームメモリー手段Ｂ４４ｆ，逆ＤＣＴ手段Ｂ４４ｇ，逆量子化手段Ｂ４４ｈ等の各部分処理手段４により構成されており、出力データ（１７６×１１２画素，カラー，１０ｆｐｓ，１２８ＫｂｐｓのＭＰＥＧ−４データ）ｏ３の再符号化処理を実行している。
【００６３】
ここで、ＭＰＥＧ−２への再符号化は、ＤＣＴ手段Ｂ４２ａ，Ｂ４３ａや量子化手段Ｂ４２ｂ，Ｂ４３ｂなどの部分処理手段４により行われており、量子化手段Ｂ４２ｂ，Ｂ４３ｂにおいて入力したＭＰＥＧ−２データより粗いステップで量子化したり、ＤＣＴ手段Ｂ４２ａ，Ｂ４３ａにおいてＤＣＴの高周波成分を０にすることで画質を落とし、ビットレートを６Ｍｂｐｓから３Ｍｂｐｓおよび１Ｍｂｐｓに減らしている。また、動き補償手段Ｂ４２ｄ，Ｂ４３ｄにおいて、マクロブロック単位の画像マッチングによる動き探索は行わず、入力データの動きベクトル（図６のエントロピー復号化後に抽出される）を利用することにより高速化している。
【００６４】
一方、ＭＰＥＧ−４への再変換は、まず復号化された３０ｆｐｓの画像シーケンスから各々１０ｆｐｓで必要な画像フレームを間引き、解像度変換（１／１６）手段Ｂ４４ａにより当該間引いた画像を１／１６に解像度変換した後、ＤＣＴ手段Ｂ４４ｂや量子化手段Ｂ４４ｃ等の部分処理手段４により符号化処理が行われている。なお、マクロブロックは１６×１６画素単位のため、解像度変換処理にて７２０×４８０画素の画像データの下部領域を棄てて、１／４の解像度ならば３５２×２４０画素、１／１６の解像度ならば１７６×１１２画素に変換する。
【００６５】
これらＭＰＥＧ−２、ＭＰＥＧ−４等のトランスコード技術は公知（例えば、特許文献１）であるため、ここでの詳細な変換処理の流れや、各部分処理手段４に関する説明は省略する。
【００６６】
このように、３つの異なる出力データｏ１〜ｏ３の変換処理において、図６に示したツリー状処理フロー５は、前段の復号化処理（部分処理手段ブロックＢ４１）が共有されているので、入力データｉ０の復号処理におけるＣＰＵ負荷を軽減することができ、変換処理の高速化に繋がる。
【００６７】
ここで、図６に示した例では、部分処理手段ブロックＢ４２〜Ｂ４４には、フレーム間符号化による処理のループが存在しており、また、部分処理手段ブロックＢ４１には、エントロピー復号化後に抽出した入力データｉ０の動きベクトルを後段の符号化における動きベクトル生成に用いているため、各部分処理手段をノードとして見ると、ツリー構造にはなっているとはいえない。
【００６８】
しかし、図６で示した構造をブロック単位で見ると、連結する部分処理手段の集合を、共有できる部分（部分処理手段ブロックＢ４１）と、共有できない部分（部分処理手段ブロックＢ４１〜Ｂ４４）に分け、共有部分と非共有部分をノードとして考えると、処理フローはツリー構造になっているとみなすことができる。本発明では、これをツリー状処理フローと表現している。
【００６９】
さて、次に、図６で示したツリー状処理フロー５に基づいて変換処理を行っている際に、新たな業務端末１６から、同じ入力データｉ０に対し、３５２×２４０画素，カラー，４ｆｐｓ，２５６ＫｂｐｓのＭＰＥＧ−４データ（以下、出力データｏ４とする）で配信してほしいとの変換要求が発生した場合について説明する。このとき構成されるツリー状処理フロー５の構成を図７に示す。
【００７０】
新たな業務端末１６から上記の変換要求が発生すると、図６と比較して図７に示すツリー状処理フロー５は、ＤＣＴ手段Ｂ４５ａ，量子化手段Ｂ４５ｂ，エントロピー符号化手段Ｂ４５ｃ，動き補償手段Ｂ４５ｄ，フレームメモリー手段Ｂ４５ｅ，逆ＤＣＴ手段Ｂ４５ｆ，逆量子化手段Ｂ４５ｇ等の部分処理手段４により構成された、部分処理手段ブロックＢ４５が新たに生成・連結されている。
【００７１】
また、部分処理手段ブロックＢ４４，Ｂ４５の前段において、解像度変換（１／４）の部分処理手段４Ａが新たに生成・連結され、さらに部分処理手段ブロックＢ４４において、解像度変換（１／１６）手段Ｂ４４ａが解像度変換（１／４）手段Ｂ４４ｋに置換されている。
【００７２】
ここで、新たに生成された各部分処理手段４は、他と同様スレッドである。
【００７３】
図７で新たに生成、変更になった各部分処理手段４において、以下に示す処理が実行される。
【００７４】
つまり、解像度変換（１／４）手段４Ａで、前段の部分処理手段ブロックＢ４１で復号化された画像データを解像度１／４で変換し、当該解像度変換した画像データから４ｆｐｓで必要な画像フレームを間引く。
【００７５】
また、部分処理手段ブロックＢ４５では、ＤＣＴ手段Ｂ４５ａ，量子化手段Ｂ４５ｂ，エントロピー符号化手段Ｂ４５ｃ，動き補償手段Ｂ４５ｄ等の部分処理手段４により、ＭＰＥＧ−４再符号化処理が行われ、当該再符号化された出力データｏ４を新たな業務端末１６へ配信する。
【００７６】
図７から分かるように、４つの出力データｏ１〜ｏ４に対して、部分処理手段ブロックＢ４１によるＭＰＥＧ−２復号化処理が共有されており、２つの出力データｏ３〜ｏ４に対して、解像度変換（１／４）手段４Ａによる解像度変換処理が共有されている。
【００７７】
上記変換要求を受け付けた際、変換制御手段２は、処理フロー作成手段３で作成された新たな処理フロー情報６に従い、図６で示したツリー状処理フロー５に基づく変換処理を継続したまま、上記変換要求に対応して必要な部分処理手段ブロックＢ４５を起動する。
【００７８】
これと並行して、出力データｏ３に対する変換処理中の画像フレームの解像度変換が終了した後、解像度変換（１／１６）手段Ｂ４４ａを終了させ、これに代えて２つの解像度変換（１／４）手段４Ａ，Ｂ４４ｋを起動し直列に連結させ、さらに最初の解像度変換（１／４）手段４Ａの出力を、部分処理手段ブロックＢ４５の先頭の部分処理スレッドに連結する。
【００７９】
その後、部分処理手段ブロックＢ４５におけるＤＣＴ手段Ｂ４５ａが、前段において復号化され、フレーム間引きされた最初の画像フレームのデータを取り込み、ＭＰＥＧ−４符号化処理が開始される。
【００８０】
上記で示した特許文献１の技術では、新たな変換要求に対して、全ての変換を一旦終了し、新たな処理フローに対する全ての部分処理手段を立ち上げ直す必要がある。したがって、新たな変換要求を受け付けてから実際に再度変換処理が実行されるまでには、かなりの時間を要することになり、当該新たな変換要求を出した業務端末１６に画像が表示される時間はさらに遅れると共に、他の業務端末１６においても画像の表示が長時間中断されることになる。
【００８１】
しかし、本発明に係るトランスコーダ１０では、新たな変換要求に対して他の変換処理を行いつつ、通信コネクションの確立、新たな部分処理手段の起動などを実行するため、業務端末１６が変換要求を出した後、当該業務端末１６に画像が表示されるまで通常数秒かかるが、他の業務端末１６の表示には何ら影響を与えることはない。
【００８２】
次に、図７で示したツリー状処理フロー５に基づいて変換処理を行っている際に、出力データｏ２を受信していた業務端末１６から、配信停止の変換要求が出された場合について説明する。このとき構成されるツリー状処理フロー５の構成を図８に示す。
【００８３】
本発明に係るトランスコーダ１０では上記変換要求を受け付けた際、変換制御手段２は、処理フロー作成手段３で作成された新たな処理フロー情報６に従い、図７で示したツリー状処理フロー５に基づく変換処理を継続したまま、図８に示すように、部分処理手段ブロックＢ４３が終了させられる。
【００８４】
また、図８で示したツリー状処理フロー５に基づいて変換処理を行っている際に、同じ入力データｉ０に対して、３５２×２４０画素，カラー，４ｆｐｓ，３８４ＫｂｐｓのＪＰＥＧデータ（以下、出力データｏ５とする）に変換して配信してほしいという変換要求が、新たな業務端末１６から発生した場合には、図９に示すツリー状処理フロー５が構成される。
【００８５】
つまり、本発明に係るトランスコーダ１０では上記変換要求を受け付けた際、変換制御手段２は、処理フロー作成手段３で作成された新たな処理フロー情報６に従い、図８で示したツリー状処理フロー５に基づく変換処理を継続したまま、図９に示すように、ＤＣＴ手段Ｂ４６ａ，量子化手段Ｂ４６ｂ，エントロピー符号化手段Ｂ４６ｃ等の各部分処理手段４から成る、部分処理手段ブロックＢ４６が新たに起動され、解像度変換（１／４）手段４Ａの後段に連結される。
【００８６】
その後、ＪＰＥＧデータへの再符号化が実行され、部分処理手段ブロックＢ４６の最後段の部分処理手段４から、出力データｏ５が出力される。
【００８７】
また、図９で示したツリー状処理フロー５に基づいて変換処理を行っている際に、出力データｏ５を受信していた業務端末１６が、７２０×４８０画素，カラー，４ｆｐｓ，１ＭｂｐｓのＪＰＥＧデータ（以下、出力データｏ６）に変更して配信してほしいという変換要求を出した場合には、図１０に示すツリー状処理フロー５が構成される。
【００８８】
つまり、本発明に係るトランスコーダ１０では上記変換要求を受け付けた際、変換制御手段２は、処理フロー作成手段３で作成された新たな処理フロー情報６に従い、図９で示したツリー状処理フロー５に基づく変換処理を継続したまま、図１０に示すように、部分処理手段ブロックＢ４６を解像度変換（１／４）手段４Ａから、部分処理手段ブロックＢ４１の後段に連結させる。
【００８９】
その後、新たな仕様でのＪＰＥＧデータ変換処理が再開され、部分処理手段ブロックＢ４６の最後段の部分処理手段４から、出力データｏ６が出力される。
【００９０】
また、図１０で示したツリー状処理フロー５に基づいて変換処理を行っている際に、出力データｏ４を受信していた業務端末１６が、７２０×４８０画素，カラー，１０ｆｐｓ，２ＭｂｐｓのＪＰＥＧデータ（以下、出力データｏ７とする）に変更して配信してほしいという変換要求を出した場合には、図１１に示すツリー状処理フロー５が構成される。
【００９１】
つまり、本発明に係るトランスコーダ１０では上記変換要求を受け付けた際、変換制御手段２は、処理フロー作成手段３で作成された新たな処理フロー情報６に従い、図１０で示したツリー状処理フロー５に基づく変換処理を継続したまま、図１０で示した部分処理手段ブロックＢ４５を終了させる。
【００９２】
そして、図１１に示すように、ＪＰＥＧ符号化の量子化手段Ｂ４７ａ，エントロピー符号化手段Ｂ４７ｂ等の各部分処理手段４から成る部分処理手段ブロックＢ４７を起動させ、ＤＣＴ手段Ｂ４６ａの後段に当該起動させた部分処理手段ブロックＢ４７が連結される。
【００９３】
さらに、ＤＣＴ手段Ｂ４６ａに対して、選択する（間引く）画像フレームをそれまでの４ｆｐｓから１０ｆｐｓに変更する。
【００９４】
さらに、出力データｏ３の変換処理に携わっていた、直列に接続された２つの解像度変換（１／４）手段４Ａ，Ｂ４４ｋの各部分処理手段４を終了させ、解像度変換（１／１６）手段４Ｂを起動させ、置き換える。
【００９５】
ここで、これら一連の部分処理手段４の生成・変更・削除等は、他の変換処理を継続したまま実行される。
【００９６】
その後、ＪＰＥＧデータの符号化が開始され、部分処理スレッドブロックＢ４７の最後段の部分処理手段４から、出力データｏ７が出力される。
【００９７】
また、図１１で示したツリー状処理フロー５に基づいて変換処理を行っている際に、出力データｏ１を受信していた業務端末１６が、ビットレートを３Ｍｂｐｓから１．５Ｍｂｐｓへと同じＭＰＥＧ−２データで画質を落として配信してほしいという変換要求を出した場合には、変換処理手段２は、処理フロー作成手段３で作成された新たな処理フロー情報６（上記で説明したように、パラメータ情報も含まれている）に従い、ツリー状処理フロー５の構成を変更することなく、新たな画像フレームを処理するタイミングで量子化手段Ｂ４２ｂに対して粗い量子化を行う処理パラメータを与えて、処理内容を変更する。
【００９８】
同様に、出力データｏ６を受信していた業務端末１６が、フレームレートを４ｆｐｓから６ｆｐｓへと、またビットレートを１Ｍｂｐｓから１．５Ｍｂｐｓへと同じＪＰＥＧデータで配信してほしいという変換要求を出した場合には、変換処理手段２は、処理フロー作成手段３で作成された新たな処理フロー情報６に従い、ツリー状処理フロー５の構成を変更することなく、新たな画像フレームを処理するタイミングで、量子化手段Ｂ４６ｂに対して選択する（間引く）画像フレームを６ｆｐｓにする等の処理パラメータ与えて、処理内容を変更する。
【００９９】
このように、同じ符号化映像の入力データｉ０に対し、複数の異なる仕様の符号化映像の出力データｏ１〜ｏ７に変換する際に、変換要求受付手段２が業務端末１６から変換要求を受け取った場合には、処理フロー作成手段３がトランスコーダ１０の入力から出力に向かって、共用可能な部分処理手段４を共用するツリー状の処理フロー情報６を作成する。
【０１００】
そして、変換制御手段２は、当該作成された処理フロー情報６に従い部分処理手段４を連結し、一つの入力データｉ０を複数の出力データｏ１〜ｏ７に逐次並列的に変換するよう制御する構造のツリー状処理フロー５を構成する。
【０１０１】
これにより、ＣＰＵ（図示していない）が同じ部分処理を複数回行う無駄をなくすことができ、トランスコード処理の高速化を図ることができる。また、従来の技術のように、予め想定される全ての処理フロー、すなわち部分処理手段のあらゆる組合せに対応する一入力多出力変換のソフトウェアモジュール（部分処理手段４）群を作成し、ディスク等に格納するのではなく、用意した部分処理に対応するソフトウェアモジュール群の中から変換要求に応じて、必要な部分処理ソフトウェアモジュールを選択し、組み合わせるので、装置の価格を低く抑えると共に、種々の変換要求に柔軟に対応可能なトランスコーダ１０を効率よく実装できる効果がある。
【０１０２】
さらに、時系列の動画像データの変換中に、処理フロー作成手段３が業務端末１６からの変更要求に基づき処理フロー情報６を変更し、変換制御手段３が部分処理手段４間の連結を動的に変更（つまり、一部で変換処理を続行しつつ、部分処理手段４の構成を変更）し、あるいは部分処理手段４の処理内容を動的に変更（つまり、一部で変換処理を続行しつつ、部分処理手段４のパラメータを変更）しているので、従来の技術のように、変換プロセスの消滅・再生成等に伴う、変換処理全体の中断をする必要がない。したがって、変換要求に対応する出力データ以外の出力データに影響を与えず、該当する出力データに対してのみ変換要求に対応した変更を実施することができる。
【０１０３】
＜実施の形態２＞
本実施の形態２は、図１に示す映像監視システムにおいて、業務端末１６がクロッピング変換または虫眼鏡変換といった変換要求を出力した場合について、説明するものである。
【０１０４】
実施の形態１では、高いビットレートの入力映像を、再量子化による画質低下、解像度縮小、およびフレーム間引きにより、低いビットレートの出力映像に変換した。しかし、監視の目的によっては、カメラで撮影される一部の領域のみを高画質で詳細に見たいという要求がある場合もある。当該要求を実現することができる方法として、クロッピング変換と虫眼鏡変換がある。
【０１０５】
図１２に示すように、クロッピング変換とは、画像フレームの一部の領域を取り出し高画質で再符号化する変換方法のことである。また、虫眼鏡変換とは、詳細に見たい領域は高い画質で、そうでない領域は低い画質で再符号化する変換方法のことである。
【０１０６】
ここで、トランスコーダ１０の構成やソフトウェアの実装方法などは実施の形態１と同様なので、ここでの説明は省略し、異なる部分のみを説明する。
【０１０７】
図１３は、映像ネットワーク１１上でコーデック１２からマルチキャストされる、６４０×４８０画素，カラー，１５ｆｐｓ，５ＭｂｐｓのＪＰＥＧデータを映像ゲートウェイ２０が受信し、当該受信したＪＰＥＧデータを本発明に係るトランスコーダ１０により、３２０×２４０画素，カラー，５ｆｐｓ，５１２ＫｂｐｓのＪＰＥＧデータに変換した後、当該変換したＪＰＥＧデータを映像ゲートウェイ２０が業務ネットワーク１５上に、マルチキャスト配信する際の処理フローを示している。
【０１０８】
図１３に示すフロー構成では、入力されてきたＪＰＥＧデータから必要な画像フレームを間引いた後、エントロピー復号化手段４Ｆ，逆量子化手段４Ｇ，解像度変換（１／４）手段４Ｈ，量子化手段４Ｉ，エントロピー符号化手段４Ｊ等の各部分処理手段４により、所定の変換処理を行い、変換されたＪＰＥＧデータを業務ネットワーク１５上に、マルチキャスト配信する。
【０１０９】
さて、図１３に示した変換処理を実行している最中に、マルチキャスト配信されたＪＰＥＧデータを受信し表示していた２台の業務端末１６から、クロッピング変換の要求がトランスコーダ１０の変換要求受付手段１に送られたとする。
【０１１０】
具体的に、図１４に示すように、一方の業務端末１６からは、詳細に見たい領域として入力映像に対して領域Ａが指定され、当該領域Ａに関して３２０×２４０画素，カラー，５ｆｐｓ，５１２ＫｂｐｓのＪＰＥＧデータに変更して配信してほしいという変換要求が出力されたとする。
【０１１１】
これに対して、他方の業務端末１６からは、詳細に見たい領域として入力映像に対して領域Ｂが指定され、当該領域Ｂに関して３２０×２４０画素，カラー，５ｆｐｓ，５１２ＫｂｐｓのＪＰＥＧデータに変更して配信してほしいという変換要求が出力されたとする。
【０１１２】
なお、各業務端末１６からの領域の指定は、入力画像のマクロブロック単位に指定できる。
【０１１３】
上記変換要求を変換要求受付手段１が受け取ると、実施の形態１で説明したように、処理フロー作成手段３が作成した処理フロー情報６に基づき、変換制御手段２は、スレッドである２つのエントロピー符号化手段を起動させ、図１５に示すツリー状処理フロー５を構成する。
【０１１４】
図１５で示されているように、新たに起動されたエントロピー符号化手段４Ｋ，４Ｌがエントロピー符号化手段４Ｆの後段に、それぞれ接続される。そして、エントロピー復号化手段４Ｆで復号化された入力画像のうち、一方の業務端末１６に対するエントロピー符号化手段４Ｋは、領域Ａを構成するマクロブロックデータを選択して符号化する。これに対して、他方の業務端末１６に対するエントロピー符号化手段４Ｌは、領域Ｂを構成するマクロブロックデータを選択して符号化する。
【０１１５】
このように、図１５に示したツリー状処理フロー５では、３つの出力データを変換するに際して、エントロピー復号化手段４Ｆと逆量子化手段４Ｇとが共有されている。
【０１１６】
次に、図１３に示した変換処理を実行している最中に、マルチキャスト配信されたＪＰＥＧデータを受信し表示していた２台の業務端末１６から、虫眼鏡変換の要求がトランスコーダ１０の変換要求受付手段１に送られてきた場合について説明する。
【０１１７】
ここで、上記２台の業務端末１６から指定される、入力映像に対して虫眼鏡変換を行う領域指定は、上記と同様に、図１４に示した指定であるとする。また、両業務端末１６が配信を要求する映像の種類は、６４０×４８０画素，カラー，５ｆｐｓ，１ＭｂｐｓのＪＰＥＧデータであるとする。
【０１１８】
上記変換要求を変換要求受付手段１が受け取ると、実施の形態１で説明したように、処理フロー作成手段３が作成した処理フロー情報６に基づき、変換制御手段２は、スレッドである２つの量子化手段４Ｍ，４Ｏと、スレッドである２つのエントロピー符号化手段４Ｎ，４Ｐとを起動させ、図１６に示すツリー状処理フロー５を構成する。
【０１１９】
図１６で示されているように、新たに起動された量子化手段４Ｍ，４Ｏが逆量子化手段４Ｇの後段に、それぞれ接続され、また両量子化手段４Ｍ，４Ｏの後段には、各エントロピー符号化手段４Ｎ，４Ｐが各々接続されている。
【０１２０】
図１６で示されたツリー状処理フロー５において、エントロピー復号化手段４Ｆ、逆量子化手段４Ｇにより変換された入力データに対し、量子化手段４Ｍでは、領域（Ａ＋Ｂ）を構成するマクロブロックデータを入力画像と同様に量子化する（入力符号化データと同一の方法およびパラメータで量子化する）。
【０１２１】
これに対して、量子化手段４Ｏでは、領域（Ａ×Ｂ）以外の領域において高次のＤＣＴ成分を０にして量子化する（つまり、量子化手段４Ｏにて領域（Ａ×Ｂ）以外の領域の高次成分を０に置き換える）。
【０１２２】
次に、領域Ａを指定した業務端末１６に対応するエントロピー符号化手段４Ｎは、領域Ａを構成するマクロブロックデータを量子化手段４Ｍから受け取り、また領域Ａ以外の領域を構成するマクロブロックデータを量子化手段４Ｏから受け取り、再符号化を行う。
【０１２３】
これに対して、領域Ｂを指定した業務端末１６に対応するエントロピー符号化手段４Ｐは、領域Ｂを構成するマクロブロックデータを量子化手段４Ｍから受け取り、また領域Ｂ以外の領域を構成するマクロブロックデータを量子化手段４Ｏから受け取り、再符号化を行う。
【０１２４】
このように、図１６に示したツリー状処理フロー５では、３つの出力データを変換するに際して、エントロピー復号化手段４Ｆと逆量子化手段４Ｇとが共有されている。また、２つの出力データ（虫眼鏡変換された出力データ）を変換するに際して、領域（Ａ＋Ｂ）に対する量子化を行う量子化手段４Ｍおよび、領域（Ａ×Ｂ）以外の領域に対する量子化を行う量子化手段４Ｏが共有されている。
【０１２５】
ここで、上記クロッピング変換および虫眼鏡変換において、業務端末１６からの領域（指定）変更要求に対するトランスコーダ１０の応答タイミングは、出力画像のフレーム単位である。したがって、ユーザが業務端末１６の画面上で指定領域をマウスでドラッグしながら、トランスコーダ１０と対話的に領域を変更することも可能である。
【０１２６】
このように、本実施の形態２では、クロッピング変換や虫眼鏡変換のように変換パラメータとして入力画像フレームの一部の領域を指定し、さらにその指定領域を対話的に変更するといった変換に対しても、実施の形態１と同様に、同じ入力データに対する複数の変換において一部の部分処理手段４を共有している。
【０１２７】
したがって、本実施の形態２で説明した変換においても、ＣＰＵ（図示せず）の処理負担を軽減することができ、変換処理の高速化を図ることができる等の実施の形態１と同様な効果を得ることができる。また、指定領域は画像フレーム単位で動的に変更でき、使い勝手のよいシステムを提供できる。
【０１２８】
なお、上記では、領域の指定は入力画像のマクロブロック単位でできるとしたが、入力画像を画素レベルまで復号すれば、画素単位で領域を指定することができる。
【０１２９】
＜実施の形態３＞
上記各実施の形態では、一つの動画像を複数の表示端末に異なる符号化データとして配信する場合について説明したが、本実施の形態３では、静止画像を複数の表示端末に異なる符号化データとして配信する場合について説明する。トランスコーダ１０の構成やソフトウェアの実装方法などは、実施の形態１で説明したものと同様であるので、ここでは異なる部分のみを説明する。
【０１３０】
図１７は、本実施の形態３に係る画像サーバシステムの構成を示す図であり、例えば、電子会議や電子授業において、ある表示端末から同じ静止画像を複数の他の表示端末に配信して表示する場合等に適用することができる。
【０１３１】
図１７において、ネットワーク２５を介して、画像サーバ２１と複数の表示端末２６とがそれぞれ接続されている。
【０１３２】
画像サーバ２１は、読出部２２、本発明に係るトランスコーダ１０および通信部２３等により構成されている。読出部２２は、画像データベース２４から該当する符号化画像を読出し、当該読出した符号化画像を本発明に係るトランスコーダ１０は、各表示端末２６からの要求に応じた形式の符号化画像に変換する。そして、通信部２３により、トランスコーダ１０において符号化された画像が各表示端末２６に配信される。
【０１３３】
各表示端末２６は、カラー／モノクロ、解像度といった表示能力の違い、各表示端末２６へ繋がるネットワーク２５の空き容量の違い、または各表示端末２６に表示している画面のレイアウトの違いなどにより、配信されるべき画像の符号化方式やパラメータが異なる。各表示端末２６に対して、どのような符号化をするかを決める方法として、各表示端末２６からの配信要求で指定する、予め画像サーバ２１に設定しておく、あるいは画像サーバ２１から各表示端末２６に問い合わせるなど、色々な方法がある。
【０１３４】
ここで、各表示端末２６は、実施の形態１で説明した業務端末１６と同じ構成が取られており、通信部１６ａ、復号化部１６ｂ、表示部１６ｃおよび対話制御部１６ｄ等により構成されている。
【０１３５】
本実施の形態においても、トランスコーダ１０で構成される各部分処理手段４はスレッドとしており、図１８は、静止画像符号化変換で用いられる部分処理スレッドモジュール（部分処理手段４）を例示する図である。
【０１３６】
図１８には、エントロピー復号化／符号化，逆量子化／量子化，逆ＤＣＴ／ＤＣＴといった、ＪＰＥＧの復号化と符号化に必要な各部分処理手段４と、解像度変換，白黒化，ローパスフィルタ，エッジ強調などの画像処理を行う部分処理手段４と、ＧＩＦ復号化／符号化などのＧＩＦ変換に必要な各部分処理手段４とが実線ブロックで示されている。なお、図１８には、入力部，送信部，表示部，ファイル出力部等の、トランスコーダ１０の両端で接続される入出力のスレッドも記載されている。
【０１３７】
次に、図１９，２０は、図１８に示した各部分処理手段４を連結して、一つの静止画像符号化データを、仕様の異なる複数の静止画像符号化データに変換するツリー状処理フロー５の例を示している。
【０１３８】
図１９では、例えば、２４００×１６００画素，カラー，１０ＭＢのＧＩＦ画像データ（入力データｉ１１と称す）を受信し、３つの異なるＪＰＥＧ静止画像符号化データと、３つの異なるＧＩＦ画像符号化データとに変換した後、各表示端末２６に配信する場合のツリー状処理フロー５の一例である。
【０１３９】
図１９において、ＧＩＦ復号化手段４１Ａは、全ての変換で共有されている。また、ＧＩＦ復号化手段４１Ａの後段には、３つＪＰＥＧ変換で共有されているＤＣＴ手段４１Ｂと、３つのＧＩＦ変換で共有されているローパスフィルタ手段４１Ｃとが接続されている。
【０１４０】
また、ＤＣＴ手段４１Ｂの後段には、３つの量子化手段４１Ｄ，４１Ｅ，４１Ｆとが各々並列に接続されている。また、ローパスフィルタ手段４１Ｃの後段には、ＧＩＦ符号化手段４１Ｇ、解像度変換（１／１６）手段４１Ｈと、解像度変換（１／６４）手段４１Ｉが各々並列に接続されている。
【０１４１】
さらに、各量子化手段４１Ｄ〜４１Ｆには、エントロピー符号化手段４１Ｊ，４１Ｋ，４１Ｌが各々接続されている。また、解像度変換（１／１６）手段４１Ｈの後段には、ＧＩＦ符号化手段４１Ｍが接続されおり、解像度変換（１／６４）手段４１Ｉの後段には、ＧＩＦ符号化手段４１Ｎが接続されている。
【０１４２】
図１９において、ＧＩＦ復号化手段４１Ａ，ＤＣＴ手段４１Ｂ，量子化手段４１Ｄおよびエントロピー符号化手段４１Ｊにより、入力データ１１ｉを、２４００×１６００画素，カラー，５００ＫＢのＪＰＥＧデータ（出力データ）ｏ１１に再符号化している。
【０１４３】
また、ＧＩＦ復号化手段４１Ａ，ＤＣＴ手段４１Ｂ，量子化手段４１Ｅおよびエントロピー符号化手段４１Ｋにより、入力データ１１ｉを、２４００×１６００画素，カラー，３００ＫＢのＪＰＥＧデータ（出力データ）ｏ１２に再符号化している。
【０１４４】
また、ＧＩＦ復号化手段４１Ａ，ＤＣＴ手段４１Ｂ，量子化手段４１Ｆおよびエントロピー符号化手段４１Ｌにより、入力データ１１ｉを、２４００×１６００画素，白黒，１５０ＫＢのＪＰＥＧデータ（出力データ）ｏ１３に再符号化している。
【０１４５】
また、ＧＩＦ復号化手段４１Ａ，ローパスフィルタ手段４１Ｃ，およびＧＩＦ符号化手段４１Ｇにより、入力データ１１ｉを、２４００×１６００画素，カラー，５ＭＢのＧＩＦデータ（出力データ）ｏ１４に再符号化している。
【０１４６】
また、ＧＩＦ復号化手段４１Ａ，ローパスフィルタ手段４１Ｃ，解像度変換（１／１６）手段４１Ｈ，およびＧＩＦ符号化手段４１Ｍにより、入力データ１１ｉを、６００×４００画素，カラー，６００ＫＢのＧＩＦデータ（出力データ）ｏ１５に再符号化している。
【０１４７】
また、ＧＩＦ復号化手段４１Ａ，ローパスフィルタ手段４１Ｃ，解像度変換（１／６４）手段４１Ｉ，およびＧＩＦ符号化手段４１Ｎにより、入力データ１１ｉを、３００×２００画素，カラー，１５０ＫＢのＧＩＦデータ（出力データ）ｏ１６に再符号化している。
【０１４８】
また図２０では、例えば、２４００×１６００画素，カラー，１ＭＢのＪＰＥＧ画像データ（入力データ）ｉ２１を受信し、５つの異なるＪＰＥＧ静止画像符号化データと、１つのＧＩＦ画像符号化データとに変換した後、各表示端末２６に配信する場合のツリー状処理フロー５の一例である。
【０１４９】
ここで、入力データｉ２１は、図２０に示すツリー状処理フロー５によって、２４００×１６００画素，カラー，５００ＫＢのＪＰＥＧデータ（出力データ）ｏ２１、２４００×１６００画素，カラー，２５０ＫＢのＪＰＥＧデータ（出力データ）ｏ２２、２４００×１６００画素，白黒，１５０ＫＢのＪＰＥＧデータ（出力データ）ｏ２３、１２００×８００画素，カラー，１５０ＫＢのＪＰＥＧデータ（出力データ）ｏ２４、１２００×８００画素，白黒，１００ＫＢのＪＰＥＧデータ（出力データ）ｏ２５、および、６００×４００画素，カラー，１５０ＫＢのＧＩＦデータ（出力データ）ｏ２６に変換（再符号化）される。
【０１５０】
図２０において、エントロピー復号化手段４２Ａ，逆量子化手段４２Ｂ，および逆ＤＣＴ手段４２Ｃは、全ての出力データｏ２１〜ｏ２６の変換で共有されている。
【０１５１】
また、逆ＤＣＴ手段４２Ｃの後段には、出力データｏ２１〜ｏ２３のＪＰＥＧ変換で共有されているＤＣＴ手段４２Ｄと、出力データｏ２４，ｏ２５のＪＰＥＧ変換で共有されている解像度変換（１／４）手段４２Ｅと、出力データｏ２６のＧＩＦ変換で使用される解像度変換（１／１６）手段４２Ｆとが並列に接続されている。
【０１５２】
また、ＤＣＴ手段４２Ｄの後段には、出力データｏ２１の変換処理で使用される量子化手段４２Ｇと、出力データｏ２２，ｏ２３の変換で共有されている量子化手段４２Ｈとが各々並列に接続されている。
【０１５３】
また、解像度変換（１／４）手段４２Ｅの後段には、出力データｏ２４，ｏ２５の変換で共有されているＤＣＴ手段４２Ｉと、量子化手段４２Ｊとが直列に接続されている。
【０１５４】
また、量子化手段４２Ｇの後段には、エントロピー符号化手段４２Ｋが接続されており、量子化手段４２Ｈの後段には、エントロピー符号化手段４２Ｌが接続されている一方で、白黒化手段４２Ｍを介してエントロピー符号化手段４２Ｎが接続されている。
【０１５５】
また、量子化手段４２Ｊの後段には、エントロピー符号化手段４２Ｏが接続されている一方で、白黒化手段４２Ｐを介してエントロピー符号化手段４２Ｑが接続されている。
【０１５６】
また、解像度変換（１／１６）手段４２Ｆの後段には、ＧＩＦ符号化手段４２Ｒが接続されている。
【０１５７】
さて、例えば、図２０に示したツリー状処理フロー５により、所定の静止画像データの変換および配信を終了させた後に、画像サーバシステムにおいて、新たな表示端末２６が１２００×８００画素，カラー，３００ＫＢのＪＰＥＧデータ（出力データｏ２７）の配信を要求し、さらに、出力データｏ２１の配信を要求いていた表示端末２６が画質を向上して８００ＫＢのＪＰＥＧデータを要求した場合には、トランスコーダ１０において、図２１に示すツリー状処理フロー５が構成される。
【０１５８】
つまり、図２１において、量子化手段４２Ｇのパラメータの変更されると共に、ＤＣＴ手段４２Ｉの後段に、新たなスレッドとして量子化手段４２Ｓとエントロピー符号化手段４２Ｔとが生成され、当該順に接続される。
【０１５９】
このように、図１７に示した画像サーバシステムを用いた電子会議や電子授業では、同じ仕様で符号化された、異なる静止画像を画像データベース２４から読出し、複数の表示端末２６に対して符号化変換して配信している状況において、表示端末２６の新規追加や削除、あるいは表示端末２６から出力仕様の変更要求等の新たな変換要求があっても、処理フローで変更がある部分処理手段４のみにおいて、スレッドの終了、起動、連結、または処理内容の変更が行われるため、全ての変換処理に迅速かつ柔軟に対応することができる。
【０１６０】
以上のように、本実施の形態３で説明した静止画像に対しても、実施の形態１と同様に、同じ入力に対する複数の変換において一部の部分処理手段４が共有されているので、高速化やシステムの費用の削減を図ることができる。また、表示端末２６からの変換要求に応じて、スレッドである部分処理手段４を組み合わせることにより、種々の変換要求に柔軟に対応することができるトランスコーダ１０を提供することができる。
【０１６１】
さらに、複数の静止画像を連続して変換している際に、処理フロー作成手段３が変換方法の変更要求に基づき処理フロー情報６を変更し、変換制御手段２が部分処理手段４間の連結を動的に変更し、あるいは部分処理手段４の処理内容（パラメータ情報）を動的に変更するため、変換プロセス全体の消滅・再生成等に伴う変換の中断や遅延が発生することなく、他の出力に影響を与えず該当する出力の変換要求に対応することができる。
【０１６２】
なお、上記各実施の形態に示した各システムでは、業務端末１６や表示端末２６が変換要求を出すとしたが、例えば、ネットワークの空き帯域を管理するＱｏＳ管理サーバが、トランスコーダ１０に対して各出力のビットレートを指示するなど、別の端末やモジュールが変換要求を出すシステム構成であっても良い。
【０１６３】
また、映像ゲートウェイ２０や画像サーバ２１にトランスコーダ１０を組み込む構成を示したが、例えば、業務端末１６や表示端末２６内にトランスコーダ１０と組み込み、当該業務端末１６や表示端末２６にて受信した符号化画像を白黒で表示し、当該表示した画像を使用の異なる多数の形式でファイル記録するなど、別の構成でも構わない。
【０１６４】
また、画像の符号化方式として、ＪＰＥＧ，ＭＰＥＧ−２／４，ＧＩＦ等を例にとって説明したが、これらに限定されるものではなく、他の画像符号化形式でもよく、符号化された音声や他の信号データでも本発明に係るトランスコーダ１０を適用することができる。
【０１６５】
また、動画像データをトランスコードする実施の形態１では、処理フロー変更を画像フレーム単位として話を進めたが、ＭＰＥＧ−２のＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）等、一連の画像フレームを単位としてもよい。
【０１６６】
さらに、上記各実施の形態では、トランスコーダ１０を構成するソフトウェアの実装方法として、階層的なマルチスレッド構成の方法としたが、複数プロセスで複数スレッドの構成する方法や、１プロセスで１スレッドの構成する方法であってもよい。
【０１６７】
【発明の効果】
本発明の請求項１に記載のトランスコーダは、第一の符号化データを入力し、当該第一の符号化データとは異なる第二の符号化データに変換するトランスコーダにおいて、外部からの前記変換の仕様に関する要求である変換要求情報を受信する変換要求受付手段と、前記変換を実行する、複数の部分処理手段と、前記変換要求情報に基づいて、前記複数の部分処理手段を協働的に機能させるための情報である処理フロー情報を作成する処理フロー作成手段と、前記処理フロー情報に基づいて、前記部分処理手段の接続を制御する変換制御手段とを、備えているので、種々の一入力多出力の変換要求に柔軟に対応することができるトランスコーダを提供することができる。
【図面の簡単な説明】
【図１】 本発明に係るトランスコーダを用いたシステムを説明するための図である。
【図２】 本発明に係るトランスコーダの構成を示すブロック図である。
【図３】 変換要求受付手段における処理の流れを示すフローチャートである。
【図４】 変換制御スレッドにおける処理の流れを示すフローチャートである。
【図５】 動画像に関するトランスコードに用いられる部分処理手段の一部を列挙した図である。
【図６】 実施の形態１に係る第一のツリー状処理フローの構成を示す図である。
【図７】 実施の形態１に係る第二のツリー状処理フローの構成を示す図である。
【図８】 実施の形態１に係る第三のツリー状処理フローの構成を示す図である。
【図９】 実施の形態１に係る第四のツリー状処理フローの構成を示す図である。
【図１０】 実施の形態１に係る第五のツリー状処理フローの構成を示す図である。
【図１１】 実施の形態１に係る第六のツリー状処理フローの構成を示す図である。
【図１２】 クロッピング変換および虫眼鏡変換の様子を示す図である。
【図１３】 実施の形態２に係る処理フローの構成を示す図である。
【図１４】 クロッピング変換等を行う領域を指定する様子を示す図である。
【図１５】 実施の形態２に係る第一のツリー状処理フローの構成を示す図である。
【図１６】 実施の形態２に係る第二のツリー状処理フローの構成を示す図である。
【図１７】 実施の形態３に係る画像サーバシステムの構成を示す図である。
【図１８】 静止画像に関するトランスコードに用いられる部分処理手段の一部を列挙した図である。
【図１９】 実施の形態３に係る第一のツリー状処理フローの構成を示す図である。
【図２０】 実施の形態３に係る第二のツリー状処理フローの構成を示す図である。
【図２１】 実施の形態３に係る第三のツリー状処理フローの構成を示す図である。
【符号の説明】
１ 変換要求受付手段、２ 変換制御手段、３ 処理フロー作成手段、４ 部分処理手段、５ ツリー状処理フロー、６ 処理フロー情報、１０ トランスコーダ。[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a transcoder and relates to a transcoder that is more effective when connected to a plurality of display terminals having different specifications, for example.
[0002]
[Prior art]
The transcoder is, for example, MPEG (Moving Picture Experts Group) -2 moving image data of 720 × 480 pixels, 30 fps (frames per second), 6 Mbps (bits per second), MPEG of 352 × 240 pixels, 10 fps, 384 Kbps. -4 refers to a device that transcodes (encodes and converts) image data, such as converting to moving image data.
[0003]
A conventional transcoder inputs moving image data encoded by MPEG-2 or the like, and once the input moving image data is decoded by a decoding unit, the encoding unit uses a different encoding format from the input. It is configured to encode and output video data of a bit rate (bandwidth) (for example, see Patent Document 1).
[0004]
In addition, for example, when a plurality of display terminals receive and display live video captured by a camera as moving image data of different quality according to each display capability and network bandwidth, one encoding is performed. There is a need to simultaneously convert data into a plurality of encoded data of different specifications.
[0005]
As a technique that meets this requirement, there is an invention shown in FIG. In the present invention, one decoding processing unit decodes the input MPEG-2 video into image data, and two MPEG-2 encoding processing units having different processing contents convert the decoded image data into two different image quality. By re-encoding to one MPEG-2 video, an increase in calculation amount is suppressed and a processing load is reduced.
[0006]
[Patent Document 1]
JP-A-8-51631 (FIGS. 4, 9, etc.)
[0007]
[Problems to be solved by the invention]
However, in the transcoder described in Patent Document 1, when the conversion requirement for one-input / multiple output is different each time, the transcoder implements, for example, one-input / multiple-output transcoding software module in advance for the necessary types. There is a problem that if there are many conversion request patterns, the amount of disk to be stored increases and the price of the apparatus increases.
[0008]
Also, when changing the conversion specification in the middle, the processing flow is fixed in the transcoder, so the parameter change of the processing part that is not shared by each output (for example, if the requantization process is not shared, Parameter change), for example, it cannot respond to various change requests such as changing the output format from MPEG-2 to JPEG (Joint Photographic Coding Experts Group) during the process, and its use is limited. There was a problem.
[0009]
SUMMARY OF THE INVENTION Accordingly, an object of the present invention is to provide a transcoder that can keep the cost of the apparatus low and can flexibly respond to various single-input multiple-output conversion requests.
[0010]
[Means for Solving the Problems]
In order to achieve the above object, a transcoder according to claim 1 of the present invention inputs first encoded data, and converts it into second encoded data different from the first encoded data. In the transcoder for conversion, based on the conversion request information, conversion request reception means for receiving conversion request information that is a request regarding the specifications of the conversion from the outside, a plurality of partial processing means for executing the conversion, Based on the processing flow information, processing flow creation means for creating processing flow information that is information for causing the plurality of partial processing means to function cooperatively, Without interrupting the current conversion process Connection of the partial processing means Dynamically Conversion control means for controlling.
[0012]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, the present invention will be specifically described with reference to the drawings showing embodiments thereof.
[0013]
<Embodiment 1>
FIG. 1 is a diagram showing a configuration of a video surveillance system in which a transcoder 10 according to the present invention is incorporated.
[0014]
In FIG. 1, a plurality of codecs 12 and a plurality of monitoring terminals 13 are connected to a broadband video network 11 dedicated to video monitoring. A plurality of business terminals 16 are connected to a narrow-band business network 15 used for general business. Furthermore, the video gateway 20 connects both networks 11 and 15.
[0015]
Here, a camera 14 is connected to each codec 12. In addition, each business terminal 16 inputs various requests to the communication unit 16 a that transmits and receives data, the decoding unit 16 b that decodes the received encoded data, the display unit 16 c that displays video, and the video gateway 20. It is configured by a dialogue control unit 16d capable of The monitoring terminal 13 may have the same configuration as the business terminal 16.
[0016]
The video gateway 20 includes a communication unit 17 that transmits and receives data on the video network 11 side, a transcoder 10 according to the present invention, and a communication unit 18 that transmits and receives data on the business network 15 side. .
[0017]
In the video monitoring system having the above configuration, live video captured by the camera 14 is encoded by the codec 12 into high-quality MPEG-2 video of 6 Mbps, 720 × 480 pixels, 30 fps, for example, and multicast on the video network 11. be delivered. The monitoring terminal 13 connected to the video network 11 selects and receives the video of the camera 14 to be displayed, and displays the decoded video.
[0018]
On the other hand, it is assumed that the bandwidth of the business network 15 is narrow and there is not enough free bandwidth to simultaneously deliver a plurality of 6 Mbps MPEG-2 videos. Therefore, when there is a video distribution request from the business terminal 16, the video gateway 20 receives the MPEG-2 video of the designated camera 14, and converts it to a low-quality MPEG-4 video of, for example, 384 Kbps, 352 × 240 pixels, 10 fps. The data is converted in real time and distributed to the requested business terminal 16.
[0019]
Specifically, in the video gateway 20, the MPEG-2 video of the designated camera 14 is received by the communication unit 17, and is encoded and converted by the transcoder 10 from MPEG-2 video to MPEG-4 video. A series of processing is performed in which the converted MPEG-4 video is distributed to the business terminal 16.
[0020]
Here, the transcoder 10 has different quality and encoding methods for the video of the same camera 14 in response to requests from the plurality of display terminals 13 and 16 depending on the contents of the monitoring work and the performance of the display terminals 13 and 16. Convert to video.
[0021]
Next, the processing of the transcoder 10 according to the present invention will be specifically described based on the block diagram shown in FIG.
[0022]
In FIG. 2, the conversion request accepting unit 1 receives conversion request information (hereinafter simply referred to as a conversion request) that is a request relating to conversion specifications from the outside such as the business terminal 16, and is connected to the conversion request accepting unit 1. The conversion request is transmitted to the existing conversion control means 2.
[0023]
The processing flow creation means 3 connected to the conversion control means 2 receives a conversion request via the conversion control means 2. The processing flow creation means 3 that has received the conversion request creates processing flow information 6 that is information for causing the plurality of partial processing means 4 to function cooperatively based on the conversion request information. 6 is transmitted to the conversion control means 2.
[0024]
Here, each partial processing means 4 is responsible for partial predetermined processing in a series of data conversion processing.
[0025]
In the present embodiment, the processing flow information 6 includes the structure information of the tree-like processing flow 5 composed of a plurality of partial processing means 4 from the input to the output of the transcoder 10 and the processing parameters of each partial processing means 4. It consists of information.
[0026]
Based on the processing flow information 6, the conversion control unit 2 changes the processing flow structure such as generation (activation), deletion (end) of a new partial processing unit 4, or change of connection between the partial processing units 4. The entire conversion process is controlled so that one input data 7 is sequentially converted into different output data 8 having different specifications.
[0027]
In FIG. 2, the structure of the tree-like processing flow 5 is such that, for example, encoded data (input data 7) from a codec 12 that digitizes / encodes a video signal from the camera 14 and distributes it to the video network 11 is input. The display terminals 13 and 16 are reconverted into encoded data having different specifications (encoding format, resolution, frame rate, image quality, bit rate, etc.), and the display terminals 13 and 16 are reconverted. The encoded data (output data 8) is output.
[0028]
Here, in the structure of the tree-like processing flow 5 illustrated in FIG. 2, the first partial processing means 4a is shared by the processing of all the output data 8a to 8d. That is, the output result of the partial processing unit 4a is input to the subsequent partial processing units 4b and 4c, and the partial processing units 4b and 4c perform different processes to generate the output data 8a to 8d.
[0029]
Similarly, the partial processing means 4b and the partial processing means 4d are shared in the conversion process for generating the output data 8a and 8b, and the partial processing means 4c is the conversion process for generating the output data 8c and 8d. Shared in
[0030]
That is, the output result of the partial processing unit 4b is input to the subsequent partial processing unit 4d, the output result of the partial processing unit 4d is input to the subsequent partial processing units 4g and 4h, and the partial processing units 4g and 4h Different processing is performed to generate the output data 8a and 8b. On the other hand, the output result of the partial processing unit 4c is input to the subsequent partial processing units 4e and 4f, the output result of the partial processing unit 4e is input to the partial processing unit 4i, and the output result of the partial processing unit 4f is input to the subsequent stage. Are input by the partial processing means 4j. The partial processing means 4i and 4j perform different processes in order to generate the output data 8c and 8d.
[0031]
Here, various methods are conceivable as a method of mounting the transcoder 10 according to the present invention. For example, the transcoder 10 can be realized as software operating on a CPU (not shown) mounted on the video gateway 20.
[0032]
Hereinafter, in the transcoder 10 according to the first embodiment, a hierarchical software configuration including a plurality of threads is considered, and a specific flow of processing will be described with reference to FIGS.
[0033]
The conversion request accepting unit 1 shown in FIG. 2 is a single thread (hereinafter, the conversion request accepting unit is assumed to be a thread), and when the video gateway 20 is activated, the conversion request accepting unit 1 The conversion request acceptance process is started (step S11 in FIG. 3).
[0034]
Here, the conversion request receiving means 1 has a predetermined communication port number, and the business terminal 16 sends a conversion request indicating a request for video distribution or a change in the specification of the output data 8 to the communication port. Send.
[0035]
Upon receiving the conversion request, the conversion request accepting unit 1 determines the processing content based on the current conversion processing state of the transcoder 10 and the received conversion request content in step S12 of FIG.
[0036]
Specifically, if the conversion process for the input data 7 specified in the conversion request has not been performed since the conversion request accepting unit 1 was activated (in the case of “new” in step S12), a new conversion control is performed. The thread is activated and a conversion request is passed to the conversion control thread (step S13). Here, the conversion control thread is a thread composed of the conversion control means 2 and the processing flow creation means 3.
[0037]
If the conversion request received by the conversion request accepting unit 1 is a conversion request for the input data 7 that has already been converted, the conversion request is passed to the corresponding conversion control thread (step S14).
[0038]
If the conversion request received by the conversion request accepting unit 1 is a conversion request for ending all conversion processing for the input data 7 being converted, an end message is transmitted to the corresponding conversion control thread, The conversion control thread is terminated (step S15).
[0039]
Thereafter, whenever the business terminal 16 again sends a video distribution request or a conversion request indicating a change in the specification of the output data 8 to the communication port of the conversion request receiving means 1, it is shown in FIG. Processing is performed.
[0040]
Next, the flow of processing in which the conversion control thread reconverts moving image encoded data will be described based on the flowchart shown in FIG.
[0041]
In step S21 of FIG. 4, a conversion control thread is activated from the conversion request receiving means (thread) that has received the conversion request, and the following processing is performed on the received conversion request.
[0042]
First, in step S22, the processing flow creation unit 3 creates processing flow information 6.
[0043]
For example, after the activation, when the first conversion request is one input and one output, the processing flow creation means 3 proceeds with a plurality of partial processing means 4 (hereinafter referred to as partial processing means 4 as threads) as threads. ) Are generated in a sequential connection manner. Thereafter, when a conversion request for new output data 8 is received, the processing flow creation means 3 dynamically creates processing flow information 6 having a tree structure by branching the processing flow comprising, for example, the partial processing means 4 ( That is, processing flow information 6 corresponding to the conversion request is created while performing the conversion process.
[0044]
Here, even when conversion requests of different output specifications are given to the same output data 8, the processing flow creation means 3 may create the processing flow information 6 having a tree structure. In other words, the tree structure change in the processing flow information occurs due to a new output data conversion request or an output data stop conversion request, but even when a conversion request with a different output specification is given to the same output data, The tree structure may change.
[0045]
There are several methods for creating the actual processing flow information 6 for the conversion request.
[0046]
For example, if the number of processing flow patterns is small, all processing flows supported in advance are considered, and a method of defining a program header file or a file read by the program is suitable.
[0047]
When the number of processing flow patterns is large, templates and their combination rules are prepared in advance according to the type of output specifications such as the encoding method and resolution to be output. A method of dynamically creating the processing flow information 6 according to the conversion request is suitable.
[0048]
Next, in step S23, the conversion control means 2 starts and connects the necessary partial processing means 4, changes the processing parameters of the partial processing means 4, and unnecessary parts based on the processing flow information 6 created above. Each control process such as termination of the processing means 4 is performed.
[0049]
Here, the partial processing means 4 has, as input parameters, an information parameter for accessing the result processed by the connected partial processing means 4 in the preceding stage, a processing parameter indicating how to process the input information from the previous stage, and , Information parameters for enabling the partial processing means 4 in the subsequent stage to access the processed results. By communication between the partial processing means 4 using the parameters, message and data exchange between the partial processing means 4 and synchronization processing are performed.
[0050]
Next, in step S24, conversion processing for one frame of moving image data is performed in each of the partial processing means 4 activated and connected based on the processing flow information 6 created above.
[0051]
Specifically, the top partial processing means 4 inputs the encoded input data 7 and performs conversion processing. The second partial processing means 4 inputs the result and performs conversion processing. The conversion processing is sequentially executed up to the partial processing means 4.
[0052]
Next, in step S25, the conversion control thread determines whether or not there is a new conversion request. If there is no conversion request (if “No” in step S25), the process returns to step S24 to maintain the processing flow configuration. In this state, conversion processing for the next one frame is performed. On the other hand, if there is a conversion request (if “Yes” in step S25), the conversion control thread checks the type of the conversion request in step S26.
[0053]
As a result of examining the types of conversion requests, if all conversion processes are to be ended (“conversion end” in step S26), the partial processing means 4 and the conversion control thread are ended in step S27. On the other hand, if not (“conversion change” in step S26), the process returns to step S22, and the conversion control thread creates new process flow information 6 and is configured based on the created process flow information 6. The partial processing means 4 continues the conversion process.
[0054]
Next, how the partial processing means 4 is changed will be specifically described with reference to FIGS.
[0055]
FIG. 5 is a diagram illustrating the partial processing means 4 used in the moving image coding conversion.
[0056]
FIG. 5 shows MPEG-2, MPEG-4, JPEG (precisely for moving images) such as entropy decoding / encoding, inverse quantization / quantization, inverse DCT (Discrete Cosine Transform) / DCT, motion compensation. Each of the partial processing means 4 required for decoding and encoding), resolution conversion, black and white, low-pass filter, edge enhancement, etc. The partial processing means for performing the image processing is illustrated by a solid line block. Note that FIG. 5 also includes threads for reception and transmission that are connected to both ends of the transcode processing.
[0057]
6 to 11 show a tree-like processing flow 5 configured by connecting the partial processing means 4 exemplified in FIG. 5 for converting one moving image encoded data into a plurality of moving image encoded data having different specifications. An example is shown.
[0058]
In FIG. 6, for example, after receiving 720 × 480 pixels, color, 30 fps, 6 Mbps MPEG-2 data (hereinafter referred to as input data i0) and converting it into three different moving image encoded data, each business terminal 16 is an example of a tree-like processing flow 5 in the case of distribution to A.16. The tree-like processing flow 5 shown in FIG. 6 is mainly composed of four partial processing means blocks B41 to B44.
[0059]
The partial processing means block B41 is composed of each partial processing means 4 such as entropy decoding means B41a, inverse quantization means B41b, inverse DCT means B41c, motion compensation means B41d, and frame memory means B41e. The decoding process of the input data i0 from the means B41a to the motion compensation means B41d (including the frame memory means B41e, of course) is shared by the processes for generating the three output data o1 to o3.
[0060]
The partial processing means block B42 includes DCT means B42a, quantization means B42b, entropy coding means B42c, motion compensation means B42d, frame memory means B42e, inverse DCT means B42f, inverse quantization means B42g, etc. 4 and executes re-encoding processing of output data (720 × 480 pixels, color, 30 fps, 3 Mbps MPEG-2 data) o1.
[0061]
The partial processing means block B43 includes DCT means B43a, quantization means B43b, entropy coding means B43c, motion compensation means B43d, frame memory means B43e, inverse DCT means B43f, inverse quantization means B43g, etc. 4 and executes re-encoding processing of output data (720 × 480 pixels, color, 30 fps, 1 Mbps MPEG-2 data) o2.
[0062]
Further, the partial processing means block B44 includes resolution conversion (1/16) means B44a, DCT means B44b, quantization means B44c, entropy coding means B44d, motion compensation means B44e, frame memory means B44f, inverse DCT means B44g, and reverse. Each partial processing means 4 such as the quantization means B44h is configured to execute re-encoding processing of output data (MPEG-4 data of 176 × 112 pixels, color, 10 fps, 128 Kbps) o3.
[0063]
Here, the re-encoding to MPEG-2 is performed by the partial processing means 4 such as the DCT means B42a, B43a and the quantization means B42b, B43b, and the MPEG-2 data inputted in the quantization means B42b, B43b. The image quality is lowered by quantizing in a coarser step or by setting the high-frequency component of DCT to 0 in DCT means B42a and B43a, and the bit rate is reduced from 6 Mbps to 3 Mbps and 1 Mbps. The motion compensation means B42d and B43d do not perform motion search by image matching in units of macroblocks, and use the motion vector of the input data (extracted after entropy decoding in FIG. 6) to increase the speed.
[0064]
On the other hand, in the re-conversion to MPEG-4, first, necessary image frames are each thinned out from the decoded 30 fps image sequence at 10 fps, and the thinned image is reduced to 1/16 by resolution conversion (1/16) means B44a. After the resolution conversion, encoding processing is performed by the partial processing means 4 such as the DCT means B44b and the quantization means B44c. Since the macroblock is in a unit of 16 × 16 pixels, the lower area of the image data of 720 × 480 pixels is discarded in the resolution conversion process. If the resolution is 1/4, 352 × 240 pixels and if the resolution is 1/16 For example, it is converted to 176 × 112 pixels.
[0065]
Since these transcoding techniques such as MPEG-2 and MPEG-4 are publicly known (for example, Patent Document 1), detailed flow of conversion processing here and description of each partial processing means 4 are omitted.
[0066]
In this way, in the conversion processing of three different output data o1 to o3, the tree-like processing flow 5 shown in FIG. 6 shares the preceding decoding processing (partial processing means block B41), so the input data The CPU load in the i0 decoding process can be reduced, and the conversion process can be speeded up.
[0067]
Here, in the example shown in FIG. 6, the partial processing means blocks B42 to B44 have a processing loop by interframe coding, and the partial processing means block B41 is extracted after entropy decoding. Since the motion vector of the input data i0 is used for motion vector generation in the subsequent encoding, it cannot be said that a tree structure is obtained when each partial processing means is viewed as a node.
[0068]
However, when the structure shown in FIG. 6 is viewed in units of blocks, the set of partial processing means to be connected is divided into a shareable part (partial processing means block B41) and a non-sharable part (partial processing means blocks B41 to B44). If the shared part and the non-shared part are considered as nodes, the processing flow can be regarded as a tree structure. In the present invention, this is expressed as a tree-like processing flow.
[0069]
Next, when performing conversion processing based on the tree-like processing flow 5 shown in FIG. 6, 352 × 240 pixels, color, 4 fps, A case will be described in which a conversion request for distribution with 256-Kbps MPEG-4 data (hereinafter referred to as output data o4) is generated. The configuration of the tree-like processing flow 5 configured at this time is shown in FIG.
[0070]
When the above conversion request is generated from a new business terminal 16, the tree-like processing flow 5 shown in FIG. 7 is compared with FIG. 6 in the DCT means B45a, quantization means B45b, entropy encoding means B45c, and motion compensation means B45d. , A partial processing means block B45 constituted by the partial processing means 4 such as the frame memory means B45e, the inverse DCT means B45f, and the inverse quantization means B45g is newly generated and connected.
[0071]
Further, the partial processing means 4A for resolution conversion (1/4) is newly generated and connected in the previous stage of the partial processing means blocks B44, B45, and further, the resolution conversion (1/16) means B44a is generated in the partial processing means block B44. Is replaced by resolution conversion (1/4) means B44k.
[0072]
Here, each newly generated partial processing means 4 is a thread like the others.
[0073]
In each of the partial processing means 4 newly created and changed in FIG. 7, the following processing is executed.
[0074]
In other words, the resolution conversion (1/4) means 4A converts the image data decoded by the preceding partial processing means block B41 at a resolution of 1/4, and a necessary image frame is obtained at 4 fps from the resolution-converted image data. Thin out.
[0075]
In the partial processing means block B45, MPEG-4 re-encoding processing is performed by the partial processing means 4 such as DCT means B45a, quantization means B45b, entropy encoding means B45c, motion compensation means B45d, and the like. The converted output data o4 is distributed to the new business terminal 16.
[0076]
As can be seen from FIG. 7, the MPEG-2 decoding process by the partial processing means block B41 is shared for the four output data o1 to o4, and the resolution conversion ( 1/4) The resolution conversion processing by means 4A is shared.
[0077]
When receiving the conversion request, the conversion control unit 2 continues the conversion process based on the tree-like process flow 5 shown in FIG. 6 according to the new process flow information 6 created by the process flow creation unit 3. In response to the conversion request, the necessary partial processing means block B45 is activated.
[0078]
In parallel with this, after the resolution conversion of the image frame being converted to the output data o3 is completed, the resolution conversion (1/16) means B44a is ended, and instead of this, two resolution conversions (1/4) The means 4A and B44k are activated and connected in series, and the output of the first resolution conversion (1/4) means 4A is connected to the head partial processing thread of the partial processing means block B45.
[0079]
Thereafter, the DCT means B45a in the partial processing means block B45 fetches the data of the first image frame decoded and thinned out in the previous stage, and the MPEG-4 encoding process is started.
[0080]
In the technique disclosed in Patent Document 1 described above, it is necessary to temporarily end all conversions and restart all partial processing means for a new processing flow in response to a new conversion request. Accordingly, it takes a considerable time from when a new conversion request is received to when the conversion process is actually executed again, and the time during which an image is displayed on the business terminal 16 that issued the new conversion request. The display of the image is interrupted for a long time on the other business terminals 16 as well.
[0081]
However, in the transcoder 10 according to the present invention, the business terminal 16 performs a conversion request for establishing a communication connection, starting a new partial processing means, etc. while performing other conversion processing on the new conversion request. It takes a few seconds until an image is displayed on the business terminal 16 after issuing the command, but it does not affect the display of other business terminals 16.
[0082]
Next, a description will be given of a case where a distribution stop conversion request is issued from the business terminal 16 that has received the output data o2 while performing conversion processing based on the tree-like processing flow 5 shown in FIG. To do. The configuration of the tree-like processing flow 5 configured at this time is shown in FIG.
[0083]
When the transcoder 10 according to the present invention receives the above conversion request, the conversion control means 2 follows the new process flow information 6 created by the process flow creation means 3 and changes to the tree-like process flow 5 shown in FIG. The partial processing means block B43 is terminated as shown in FIG. 8 while continuing the conversion processing based on the processing.
[0084]
Further, when conversion processing is performed based on the tree-like processing flow 5 shown in FIG. 8, 352 × 240 pixels, color, 4 fps, 384 Kbps JPEG data (hereinafter, output data) is applied to the same input data i0. If a conversion request for conversion to (e.g., o5) is generated from a new business terminal 16, a tree-like processing flow 5 shown in FIG. 9 is configured.
[0085]
That is, when the transcoder 10 according to the present invention receives the above conversion request, the conversion control means 2 follows the new processing flow information 6 created by the processing flow creation means 3 and the tree-like processing flow shown in FIG. As shown in FIG. 9, the partial processing means block B46 comprising the respective partial processing means 4 such as the DCT means B46a, the quantization means B46b, the entropy encoding means B46c, etc. is newly started up while the conversion processing based on 5 is continued. And connected to the subsequent stage of the resolution conversion (1/4) means 4A.
[0086]
Thereafter, re-encoding into JPEG data is executed, and output data o5 is output from the last partial processing means 4 of the partial processing means block B46.
[0087]
Further, when the conversion processing is performed based on the tree-like processing flow 5 shown in FIG. 9, the business terminal 16 that has received the output data o5 receives JPEG data of 720 × 480 pixels, color, 4 fps, and 1 Mbps. When a conversion request for changing to (hereinafter referred to as output data o6) is issued, a tree-like processing flow 5 shown in FIG. 10 is configured.
[0088]
That is, when the transcoder 10 according to the present invention receives the above conversion request, the conversion control means 2 follows the new processing flow information 6 created by the processing flow creation means 3 and the tree-like processing flow shown in FIG. As shown in FIG. 10, the partial processing means block B46 is connected from the resolution conversion (1/4) means 4A to the subsequent stage of the partial processing means block B41 while continuing the conversion processing based on 5.
[0089]
Thereafter, the JPEG data conversion process with the new specification is resumed, and the output data o6 is output from the last partial processing means 4 of the partial processing means block B46.
[0090]
In addition, when the conversion process is performed based on the tree-like processing flow 5 shown in FIG. 10, the business terminal 16 that has received the output data o4 receives JPEG data of 720 × 480 pixels, color, 10 fps, and 2 Mbps. When a conversion request for changing to (hereinafter referred to as output data o7) is issued, a tree-like processing flow 5 shown in FIG. 11 is configured.
[0091]
That is, when the transcoder 10 according to the present invention receives the above conversion request, the conversion control means 2 follows the new processing flow information 6 created by the processing flow creation means 3 and the tree-like processing flow shown in FIG. While continuing the conversion processing based on 5, the partial processing means block B45 shown in FIG. 10 is terminated.
[0092]
Then, as shown in FIG. 11, the partial processing means block B47 including the respective partial processing means 4 such as the JPEG encoding quantization means B47a and the entropy encoding means B47b is activated, and the activation is performed at the subsequent stage of the DCT means B46a. The partial processing means block B47 is connected.
[0093]
Further, the selected (thinned-out) image frame is changed from 4 fps up to 10 fps to the DCT means B 46 a.
[0094]
Further, the partial processing means 4 of the two resolution conversion (1/4) means 4A and B44k connected in series, which were involved in the conversion process of the output data o3, are terminated, and the resolution conversion (1/16) means 4B. Start and replace.
[0095]
Here, generation, change, deletion, etc. of the series of partial processing means 4 are executed while continuing other conversion processing.
[0096]
Thereafter, encoding of JPEG data is started, and output data o7 is output from the last partial processing means 4 of the partial processing thread block B47.
[0097]
Further, when the conversion process is performed based on the tree-like processing flow 5 shown in FIG. 11, the business terminal 16 that has received the output data o1 has the same MPEG-bit rate from 3 Mbps to 1.5 Mbps. When a conversion request is issued to request distribution with reduced image quality with two data, the conversion processing means 2 sends new processing flow information 6 created by the processing flow creation means 3 (as explained above, Parameter information is also included), without changing the configuration of the tree-like processing flow 5, giving processing parameters for coarse quantization to the quantizing means B42b at the timing of processing a new image frame, Change the processing content.
[0098]
Similarly, the business terminal 16 that has received the output data o6 has issued a conversion request for distributing the frame rate from 4 fps to 6 fps and the bit rate from 1 Mbps to 1.5 Mbps in the same JPEG data. In this case, the conversion processing means 2 follows the new processing flow information 6 created by the processing flow creation means 3 at the timing of processing a new image frame without changing the configuration of the tree-like processing flow 5. The processing content is changed by giving a processing parameter such as 6 fps for the image frame to be selected (thinned) to the quantizing means B46b.
[0099]
In this way, when the input data i0 of the same encoded video is converted into the output data o1 to o7 of encoded video having different specifications, the conversion request receiving means 2 receives the conversion request from the business terminal 16. In this case, the processing flow creation means 3 creates tree-like processing flow information 6 sharing the sharable partial processing means 4 from the input to the output of the transcoder 10.
[0100]
Then, the conversion control means 2 connects the partial processing means 4 according to the created processing flow information 6 and controls to sequentially convert one input data i0 into a plurality of output data o1 to o7. A tree-like processing flow 5 is configured.
[0101]
Thereby, it is possible to eliminate the waste of the CPU (not shown) performing the same partial processing a plurality of times, and it is possible to speed up the transcode processing. Also, as in the prior art, a group of software modules (partial processing means 4) for one-input / multiple-output conversion corresponding to all processing flows assumed in advance, that is, any combination of partial processing means, is created and stored on a disk or the like. Instead of storing, the necessary partial processing software modules are selected and combined from the software module group corresponding to the prepared partial processing according to the conversion request, so that the price of the apparatus is kept low and various conversion requests are made. Therefore, there is an effect that the transcoder 10 that can flexibly cope with the above can be efficiently mounted.
[0102]
Further, during the conversion of time-series moving image data, the processing flow creation means 3 changes the processing flow information 6 based on a change request from the business terminal 16, and the conversion control means 3 moves the connection between the partial processing means 4. Change (that is, change the configuration of the partial processing unit 4 while continuing the conversion process in part) or dynamically change the processing content of the partial processing unit 4 (that is, continue the conversion process in part) However, since the parameters of the partial processing means 4 are changed), it is not necessary to interrupt the entire conversion process due to the disappearance / regeneration of the conversion process as in the conventional technique. Therefore, changes corresponding to the conversion request can be performed only on the corresponding output data without affecting output data other than the output data corresponding to the conversion request.
[0103]
<Embodiment 2>
In the second embodiment, the case where the business terminal 16 outputs a conversion request such as cropping conversion or magnifying glass conversion in the video monitoring system shown in FIG. 1 will be described.
[0104]
In the first embodiment, an input video with a high bit rate is converted into an output video with a low bit rate by image quality reduction due to requantization, resolution reduction, and frame thinning. However, depending on the purpose of monitoring, there is a case where only a part of the area photographed by the camera is desired to be viewed in detail with high image quality. There are cropping conversion and magnifying glass conversion as methods that can realize the request.
[0105]
As shown in FIG. 12, cropping conversion is a conversion method in which a part of an image frame is extracted and re-encoded with high image quality. The magnifying glass conversion is a conversion method in which a region desired to be seen in detail is re-encoded with a high image quality, and other regions are re-encoded with a low image quality.
[0106]
Here, since the configuration of the transcoder 10, the software mounting method, and the like are the same as those in the first embodiment, description thereof will be omitted, and only different parts will be described.
[0107]
FIG. 13 shows that the video gateway 20 receives JPEG data of 640 × 480 pixels, color, 15 fps, and 5 Mbps multicasted from the codec 12 on the video network 11, and the received JPEG data is transferred to the transcoder 10 according to the present invention. 3 shows a processing flow when the video gateway 20 multicast-distributes the converted JPEG data to the business network 15 after converting into 320 × 240 pixel, color, 5 fps, 512 Kbps JPEG data.
[0108]
In the flow configuration shown in FIG. 13, after necessary image frames are thinned out from the input JPEG data, entropy decoding means 4F, inverse quantization means 4G, resolution conversion (1/4) means 4H, quantization means 4I. The partial processing means 4 such as the entropy encoding means 4J performs a predetermined conversion process and distributes the converted JPEG data on the business network 15 by multicast.
[0109]
While the conversion process shown in FIG. 13 is being executed, the cropping conversion request from the two business terminals 16 that received and displayed the multicast-distributed JPEG data is the conversion request of the transcoder 10. Suppose that it is sent to the accepting means 1.
[0110]
Specifically, as shown in FIG. 14, one business terminal 16 designates an area A for an input video as an area to be viewed in detail, and 320 × 240 pixels, color, 5 fps, 512 Kbps for the area A. Suppose that a conversion request is output to change to JPEG data and distribute.
[0111]
On the other hand, the other business terminal 16 designates an area B for the input video as an area to be viewed in detail, and changes the area B to JPEG data of 320 × 240 pixels, color, 5 fps, and 512 Kbps. And a conversion request for distribution is output.
[0112]
The area designation from each business terminal 16 can be designated in units of macroblocks of the input image.
[0113]
When the conversion request accepting unit 1 receives the conversion request, as described in the first embodiment, based on the processing flow information 6 created by the processing flow creating unit 3, the conversion control unit 2 uses two entropies that are threads. The encoding means is activated to configure the tree-like processing flow 5 shown in FIG.
[0114]
As shown in FIG. 15, newly activated entropy encoding means 4K and 4L are connected to the subsequent stage of entropy encoding means 4F, respectively. Then, among the input images decoded by the entropy decoding unit 4F, the entropy encoding unit 4K for one business terminal 16 selects and encodes the macroblock data constituting the area A. On the other hand, the entropy encoding means 4L for the other business terminal 16 selects and encodes the macroblock data constituting the region B.
[0115]
As described above, in the tree-like processing flow 5 shown in FIG. 15, the entropy decoding unit 4F and the inverse quantization unit 4G are shared when three pieces of output data are converted.
[0116]
Next, during the execution of the conversion process shown in FIG. 13, a request for magnifying glass conversion is received from the transcoder 10 from the two business terminals 16 that have received and displayed the multicast-distributed JPEG data. A case where it is sent to the request receiving means 1 will be described.
[0117]
Here, it is assumed that the area designation for performing the magnifying glass conversion on the input video, which is designated from the two business terminals 16, is the designation shown in FIG. In addition, it is assumed that the type of video requested to be distributed by both business terminals 16 is JPEG data of 640 × 480 pixels, color, 5 fps, and 1 Mbps.
[0118]
When the conversion request receiving means 1 receives the conversion request, as described in the first embodiment, based on the processing flow information 6 created by the processing flow creating means 3, the conversion control means 2 converts the two quantums that are threads. Activating means 4M, 4O and two entropy encoding means 4N, 4P, which are threads, are activated to form a tree-like processing flow 5 shown in FIG.
[0119]
As shown in FIG. 16, the newly activated quantizing means 4M and 4O are connected to the subsequent stage of the inverse quantizing means 4G, respectively, and each entropy is connected to the subsequent stage of both quantizing means 4M and 4O. Encoding means 4N and 4P are connected to each other.
[0120]
In the tree-like processing flow 5 shown in FIG. 16, the quantizing means 4M converts the macroblock data constituting the region (A + B) to the input data transformed by the entropy decoding means 4F and the inverse quantization means 4G. Quantize in the same manner as the input image (quantize with the same method and parameters as the input encoded data).
[0121]
On the other hand, in the quantization means 4O, quantization is performed by setting the high-order DCT component to 0 in the area other than the area (A × B) (that is, in the quantization means 4O other than the area (A × B)). Replace the higher order components of the region with 0).
[0122]
Next, the entropy encoding means 4N corresponding to the business terminal 16 that has designated the area A receives the macroblock data constituting the area A from the quantization means 4M, and receives the macroblock data constituting the area other than the area A. Receiving from the quantization means 4O, re-encoding is performed.
[0123]
On the other hand, the entropy encoding unit 4P corresponding to the business terminal 16 designating the region B receives the macroblock data constituting the region B from the quantizing unit 4M, and the macroblock constituting the region other than the region B. Data is received from the quantization means 40 and re-encoded.
[0124]
As described above, in the tree-like processing flow 5 shown in FIG. 16, the entropy decoding unit 4F and the inverse quantization unit 4G are shared when three pieces of output data are converted. In addition, when converting two output data (magnifying glass-converted output data), quantization means 4M that performs quantization on the region (A + B) and quantization that performs quantization on regions other than the region (A × B) The means 4O is shared.
[0125]
Here, in the cropping conversion and the magnifying glass conversion, the response timing of the transcoder 10 in response to the area (designation) change request from the business terminal 16 is a frame unit of the output image. Accordingly, the user can interactively change the area with the transcoder 10 while dragging the designated area on the screen of the business terminal 16 with the mouse.
[0126]
As described above, in the second embodiment, a part of the input image frame is designated as a transformation parameter, such as cropping transformation or magnifying glass transformation, and the designated region is interactively changed. As in the first embodiment, some partial processing means 4 are shared in a plurality of conversions for the same input data.
[0127]
Therefore, also in the conversion described in the second embodiment, the processing load on the CPU (not shown) can be reduced, and the same effect as that of the first embodiment can be achieved such that the conversion process can be speeded up. Can be obtained. In addition, the designated area can be dynamically changed for each image frame, and an easy-to-use system can be provided.
[0128]
In the above description, the area can be specified in units of macroblocks of the input image. However, if the input image is decoded to the pixel level, the area can be specified in units of pixels.
[0129]
<Embodiment 3>
In each of the above embodiments, a case where one moving image is distributed to a plurality of display terminals as different encoded data has been described. However, in the third embodiment, a still image is converted to a plurality of display terminals as different encoded data. A case of distribution will be described. Since the configuration of the transcoder 10 and the software mounting method are the same as those described in the first embodiment, only different parts will be described here.
[0130]
FIG. 17 is a diagram illustrating the configuration of the image server system according to the third embodiment. For example, in an electronic conference or an electronic lesson, the same still image is distributed from one display terminal to a plurality of other display terminals and displayed. It can be applied to such cases.
[0131]
In FIG. 17, the image server 21 and a plurality of display terminals 26 are connected via the network 25.
[0132]
The image server 21 includes a reading unit 22, a transcoder 10 according to the present invention, a communication unit 23, and the like. The reading unit 22 reads the corresponding encoded image from the image database 24, and the transcoder 10 according to the present invention converts the read encoded image into an encoded image of a format according to a request from each display terminal 26. To do. Then, the communication unit 23 distributes the image encoded in the transcoder 10 to each display terminal 26.
[0133]
Each display terminal 26 is distributed due to a difference in display capability such as color / monochrome and resolution, a difference in free capacity of the network 25 connected to each display terminal 26, or a difference in the layout of the screen displayed on each display terminal 26. The encoding method and parameters of the image to be performed are different. As a method of deciding what encoding is to be performed for each display terminal 26, it is designated by a distribution request from each display terminal 26, set in advance in the image server 21, or each display from the image server 21. There are various methods such as inquiring to the terminal 26.
[0134]
Here, each display terminal 26 has the same configuration as the business terminal 16 described in the first embodiment, and includes a communication unit 16a, a decryption unit 16b, a display unit 16c, a dialog control unit 16d, and the like. Yes.
[0135]
Also in this embodiment, each partial processing means 4 configured by the transcoder 10 is a thread, and FIG. 18 is a diagram illustrating a partial processing thread module (partial processing means 4) used in still image coding conversion. It is.
[0136]
FIG. 18 shows each partial processing means 4 necessary for JPEG decoding and encoding, such as entropy decoding / encoding, inverse quantization / quantization, and inverse DCT / DCT, resolution conversion, monochrome conversion, and low-pass filter. , Partial processing means 4 for performing image processing such as edge enhancement and each partial processing means 4 necessary for GIF conversion such as GIF decoding / encoding are indicated by solid line blocks. FIG. 18 also shows input / output threads connected at both ends of the transcoder 10, such as an input unit, a transmission unit, a display unit, and a file output unit.
[0137]
Next, FIGS. 19 and 20 are tree-like processing flows in which the partial processing units 4 shown in FIG. 18 are connected to convert one still image encoded data into a plurality of still image encoded data having different specifications. 5 shows an example.
[0138]
In FIG. 19, for example, GIF image data (referred to as input data i11) of 2400 × 1600 pixels, color, and 10 MB is received, and three different JPEG still image encoded data and three different GIF image encoded data. It is an example of the tree-like process flow 5 in the case of distributing to each display terminal 26 after conversion.
[0139]
In FIG. 19, the GIF decoding means 41A is shared by all conversions. Further, a DCT unit 41B shared by three JPEG conversions and a low-pass filter unit 41C shared by three GIF conversions are connected to the subsequent stage of the GIF decoding unit 41A.
[0140]
Further, three quantizing means 41D, 41E, and 41F are connected in parallel to the subsequent stage of the DCT means 41B. Further, the GIF encoding means 41G, the resolution conversion (1/16) means 41H, and the resolution conversion (1/64) means 41I are connected in parallel to the subsequent stage of the low-pass filter means 41C.
[0141]
Furthermore, entropy encoding means 41J, 41K, and 41L are connected to the quantization means 41D to 41F, respectively. Further, a GIF encoding means 41M is connected to the subsequent stage of the resolution conversion (1/16) means 41H, and a GIF encoding means 41N is connected to the subsequent stage of the resolution conversion (1/64) means 41I. .
[0142]
In FIG. 19, GIF decoding means 41A, DCT means 41B, quantization means 41D and entropy encoding means 41J re-encode input data 11i into 2400 × 1600 pixels, color, 500 KB JPEG data (output data) o11. It has become.
[0143]
Also, the GIF decoding means 41A, DCT means 41B, quantization means 41E and entropy encoding means 41K re-encode the input data 11i into 2400 × 1600 pixels, color, 300 KB JPEG data (output data) o12. Yes.
[0144]
Also, the GIF decoding means 41A, DCT means 41B, quantization means 41F and entropy encoding means 41L re-encode the input data 11i into 2400 × 1600 pixels, black and white, 150 KB JPEG data (output data) o13. Yes.
[0145]
Also, the input data 11i is re-encoded into 2400 × 1600 pixels, color, 5 MB GIF data (output data) o14 by the GIF decoding means 41A, the low-pass filter means 41C, and the GIF encoding means 41G.
[0146]
Further, the GIF decoding means 41A, the low-pass filter means 41C, the resolution conversion (1/16) means 41H, and the GIF encoding means 41M convert the input data 11i into GIF data (output data of 600 × 400 pixels, color, 600 KB). ) Re-encoded to o15.
[0147]
The GIF decoding means 41A, the low-pass filter means 41C, the resolution conversion (1/64) means 41I, and the GIF encoding means 41N convert the input data 11i into GIF data (output data of 300 × 200 pixels, color, 150 KB). ) Re-encoded to o16.
[0148]
In FIG. 20, for example, JPEG image data (input data) i21 of 2400 × 1600 pixels, color, and 1 MB is received and converted into five different JPEG still image encoded data and one GIF image encoded data. After that, it is an example of a tree-like processing flow 5 in the case of distribution to each display terminal 26.
[0149]
Here, the input data i21 is converted to 2400 × 1600 pixels, color, 500KB JPEG data (output data) o21, 2400 × 1600 pixels, color, 250KB JPEG data (output data) by the tree-like processing flow 5 shown in FIG. ) O22, 2400 × 1600 pixels, black and white, 150KB JPEG data (output data) o23, 1200 × 800 pixels, color, 150KB JPEG data (output data) o24, 1200 × 800 pixels, black and white, 100KB JPEG data (output) Data) o25 and 600 × 400 pixels, color, 150 KB GIF data (output data) o26 (re-encoded).
[0150]
In FIG. 20, entropy decoding means 42A, inverse quantization means 42B, and inverse DCT means 42C are shared by the conversion of all output data o21 to o26.
[0151]
Further, the DCT unit 42D shared by the JPEG conversion of the output data o21 to o23 and the resolution conversion (1/4) unit shared by the JPEG conversion of the output data o24 and o25 are provided at the subsequent stage of the inverse DCT unit 42C. 42E and resolution conversion (1/16) means 42F used in the GIF conversion of the output data o26 are connected in parallel.
[0152]
Further, in the subsequent stage of the DCT means 42D, the quantization means 42G used in the conversion process of the output data o21 and the quantization means 42H shared by the conversion of the output data o22 and o23 are respectively connected in parallel. Yes.
[0153]
Further, a DCT unit 42I and a quantization unit 42J, which are shared by the conversion of the output data o24 and o25, are connected in series after the resolution conversion (1/4) unit 42E.
[0154]
An entropy encoding unit 42K is connected to the subsequent stage of the quantizing unit 42G, and an entropy encoding unit 42L is connected to the subsequent stage of the quantizing unit 42H. The entropy encoding means 42N is connected.
[0155]
Further, an entropy encoding unit 42O is connected to the subsequent stage of the quantization unit 42J, while an entropy encoding unit 42Q is connected through a black and white unit 42P.
[0156]
Further, the GIF encoding means 42R is connected to the subsequent stage of the resolution conversion (1/16) means 42F.
[0157]
Now, for example, after the conversion and distribution of predetermined still image data is completed by the tree-like processing flow 5 shown in FIG. 20, the new display terminal 26 has 1200 × 800 pixels, color, 300 KB in the image server system. When the display terminal 26 that has requested the distribution of the JPEG data (output data o27) and requested the distribution of the output data o21 improves the image quality and requests 800 KB of JPEG data, the transcoder 10 A tree-like processing flow 5 shown in FIG. 21 is configured.
[0158]
That is, in FIG. 21, the parameter of the quantizing unit 42G is changed, and the quantizing unit 42S and the entropy encoding unit 42T are generated as new threads after the DCT unit 42I and connected in that order.
[0159]
As described above, in the electronic conference and the electronic lesson using the image server system shown in FIG. 17, different still images encoded with the same specifications are read from the image database 24 and encoded on the plurality of display terminals 26. In the situation where the data is converted and distributed, even if there is a new conversion request such as a new addition or deletion of the display terminal 26 or a request for changing the output specification from the display terminal 26, the partial processing means 4 that is changed in the processing flow Only the thread is terminated, activated, connected, or the processing content is changed, so that all conversion processes can be handled quickly and flexibly.
[0160]
As described above, even for the still image described in the third embodiment, a part of the partial processing means 4 is shared in a plurality of conversions for the same input as in the first embodiment. And system costs can be reduced. Further, by combining the partial processing means 4 that is a thread in response to a conversion request from the display terminal 26, it is possible to provide the transcoder 10 that can flexibly respond to various conversion requests.
[0161]
Furthermore, when continuously converting a plurality of still images, the processing flow creation unit 3 changes the processing flow information 6 based on the conversion method change request, and the conversion control unit 2 connects the partial processing units 4. Or the processing contents (parameter information) of the partial processing means 4 are dynamically changed, so that the conversion process is not interrupted or delayed due to the disappearance or regeneration of the entire conversion process. It is possible to respond to the conversion request of the corresponding output without affecting the output of the output.
[0162]
In each system described in each of the above embodiments, the business terminal 16 and the display terminal 26 issue a conversion request. For example, a QoS management server that manages the free bandwidth of the network sends a transcoder 10 A system configuration in which another terminal or module issues a conversion request, such as instructing the bit rate of each output, may be used.
[0163]
In addition, the configuration in which the transcoder 10 is incorporated in the video gateway 20 or the image server 21 has been described. For example, the transcoder 10 is incorporated in the business terminal 16 or the display terminal 26 and received by the business terminal 16 or the display terminal 26. Other configurations, such as displaying the encoded image in black and white and recording the displayed image in a number of different formats, may be used.
[0164]
In addition, although JPEG, MPEG-2 / 4, GIF, etc. have been described as examples of image encoding methods, the present invention is not limited to these, and other image encoding formats may be used. The transcoder 10 according to the present invention can be applied to other signal data.
[0165]
Further, in the first embodiment for transcoding moving image data, the processing flow change is described in units of image frames. However, a series of image frames such as MPEG-2 Group of Pictures (GOP) may be used as units. .
[0166]
Furthermore, in each of the above-described embodiments, a hierarchical multi-thread configuration method is used as the software implementation method for configuring the transcoder 10, but a method of configuring a plurality of threads in a plurality of processes or a method of one thread in one process. It may be a method of configuring.
[0167]
【The invention's effect】
The transcoder according to claim 1 of the present invention is a transcoder that receives first encoded data and converts the first encoded data into second encoded data different from the first encoded data. A conversion request receiving unit that receives conversion request information that is a request related to the specification of conversion, a plurality of partial processing units that execute the conversion, and the plurality of partial processing units based on the conversion request information Since the processing flow creating means for creating the processing flow information that is information for causing the function to function and the conversion control means for controlling the connection of the partial processing means based on the processing flow information, It is possible to provide a transcoder that can flexibly respond to a conversion request of one input and multiple outputs.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining a system using a transcoder according to the present invention.
FIG. 2 is a block diagram showing a configuration of a transcoder according to the present invention.
FIG. 3 is a flowchart showing a flow of processing in a conversion request accepting unit.
FIG. 4 is a flowchart showing a flow of processing in a conversion control thread.
FIG. 5 is a diagram listing a part of partial processing means used for transcoding related to moving images.
FIG. 6 is a diagram showing a configuration of a first tree-like processing flow according to the first embodiment.
FIG. 7 is a diagram showing a configuration of a second tree-like processing flow according to the first embodiment.
FIG. 8 is a diagram showing a configuration of a third tree-like processing flow according to the first embodiment.
FIG. 9 is a diagram showing a configuration of a fourth tree-like processing flow according to the first embodiment.
FIG. 10 is a diagram showing a configuration of a fifth tree-like processing flow according to the first embodiment.
FIG. 11 is a diagram showing a configuration of a sixth tree-like processing flow according to the first embodiment.
FIG. 12 is a diagram showing a state of cropping conversion and magnifying glass conversion.
FIG. 13 is a diagram showing a configuration of a processing flow according to the second embodiment.
FIG. 14 is a diagram illustrating a state in which an area for performing cropping conversion or the like is designated.
FIG. 15 is a diagram showing a configuration of a first tree-like processing flow according to the second embodiment.
FIG. 16 is a diagram showing a configuration of a second tree-like processing flow according to the second embodiment.
FIG. 17 is a diagram illustrating a configuration of an image server system according to a third embodiment.
FIG. 18 is a diagram listing a part of partial processing means used for transcoding related to still images.
FIG. 19 is a diagram showing a configuration of a first tree-like processing flow according to the third embodiment.
FIG. 20 is a diagram showing a configuration of a second tree-like processing flow according to the third embodiment.
FIG. 21 is a diagram showing a configuration of a third tree-like processing flow according to the third embodiment.
[Explanation of symbols]
1 conversion request reception means, 2 conversion control means, 3 processing flow creation means, 4 partial processing means, 5 tree processing flow, 6 processing flow information, 10 transcoder.

Claims (4)

第一の符号化データを入力し、当該第一の符号化データとは異なる第二の符号化データに変換するトランスコーダにおいて、
外部からの前記変換の仕様に関する要求である変換要求情報を受信する変換要求受付手段と、
前記変換を実行する、複数の部分処理手段と、
前記変換要求情報に基づいて、前記複数の部分処理手段を協働的に機能させるための情報である処理フロー情報を作成する処理フロー作成手段と、
前記処理フロー情報に基づいて、現在実行中の変換処理を中断することなく、前記部分処理手段の接続を動的に制御する変換制御手段とを、
備えていることを特徴とするトランスコーダ。In a transcoder that inputs first encoded data and converts it into second encoded data different from the first encoded data,
Conversion request receiving means for receiving conversion request information which is a request regarding the specifications of the conversion from the outside;
A plurality of partial processing means for performing the conversion;
Processing flow creation means for creating processing flow information which is information for causing the plurality of partial processing means to function cooperatively based on the conversion request information;
Conversion control means for dynamically controlling connection of the partial processing means without interrupting the conversion process currently being executed based on the processing flow information;
Transcoder characterized by having. 前記第二の符号化データは、少なくとも２以上であり、
前記処理フロー情報は、入力から出力に向かって、前記部分処理手段が枝分かれする、ツリー状処理フロー構成情報を含んでいる、
ことを特徴とする請求項１に記載のトランスコーダ。The second encoded data is at least 2 or more,
The processing flow information includes tree-shaped processing flow configuration information in which the partial processing means branches from input to output.
The transcoder according to claim 1. 前記処理フロー情報は、前記部分処理手段の処理内容に関するパラメータ情報も含んでおり、
前記変換制御手段は、当該処理フロー情報に基づいて、前記部分処理手段の処理内容に関するパラメータも変化させる、
ことを特徴とする請求項１または請求項２に記載のトランスコーダ。The processing flow information includes parameter information related to the processing content of the partial processing means,
The conversion control unit also changes a parameter related to the processing content of the partial processing unit based on the processing flow information.
The transcoder according to claim 1 or 2, characterized in that 前記変換要求受付手段が既に前記変換要求情報を受信し変換処理を実行している最中に新たな前記変換要求情報を受信したとき、前記処理フロー作成手段は、When the conversion request accepting unit has already received the conversion request information and received the new conversion request information while executing the conversion process, the process flow creating unit includes:
実行中の前記変換処理を中断することなく、前記新たな変更要求情報に基づき前記処理フロー情報を変更し、Changing the processing flow information based on the new change request information without interrupting the conversion process being executed,
前記変換制御手段は、  The conversion control means includes
前記部分処理手段間の連結を動的に変更し、あるいは前記部分処理手段の処理内容に関するパラメータを動的に変更する、  Dynamically changing the connection between the partial processing means, or dynamically changing parameters relating to the processing content of the partial processing means,
ことを特徴とする請求項１ないし請求項３のいずれかに記載のトランスコーダ。The transcoder according to any one of claims 1 to 3, wherein the transcoder is provided.
JP2003140030A 2003-05-19 2003-05-19 Transcoder Expired - Lifetime JP4188139B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003140030A JP4188139B2 (en) 2003-05-19 2003-05-19 Transcoder

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003140030A JP4188139B2 (en) 2003-05-19 2003-05-19 Transcoder

Publications (2)

Publication Number Publication Date
JP2004343592A JP2004343592A (en) 2004-12-02
JP4188139B2 true JP4188139B2 (en) 2008-11-26

Family

ID=33528877

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003140030A Expired - Lifetime JP4188139B2 (en) 2003-05-19 2003-05-19 Transcoder

Country Status (1)

Country Link
JP (1) JP4188139B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5076587B2 (en) * 2007-03-27 2012-11-21 富士通株式会社 Sensor information management system, sensor information management method, sensor information management program
KR101305491B1 (en) 2007-04-17 2013-09-17 (주)휴맥스 Bitstream decoding device and method
JP2013507084A (en) * 2009-10-05 2013-02-28 アイ．シー．ヴイ．ティー リミテッド Method and system for image processing
JP5307681B2 (en) * 2009-10-06 2013-10-02 日本電信電話株式会社 Image coding structure automatic generation method, image coding structure automatic generation apparatus and program thereof
JP5716549B2 (en) * 2011-05-27 2015-05-13 株式会社リコー Conference support system, information processing apparatus, and document distribution program
JP2015041790A (en) * 2013-08-20 2015-03-02 日本電気株式会社 Transcoding device and transcoding method
JP6357188B2 (en) * 2016-04-12 2018-07-11 株式会社Ｎｅｘｐｏｉｎｔ Surveillance camera system and surveillance camera data storage method
JP7563147B2 (en) 2020-12-04 2024-10-08 富士通株式会社 COMMUNICATION CONTROL DEVICE, COMMUNICATION CONTROL SYSTEM, AND COMMUNICATION CONTROL METHOD

Also Published As

Publication number Publication date
JP2004343592A (en) 2004-12-02

Similar Documents

Publication Publication Date Title
TWI428020B (en) Image transmitting apparatus, image transmitting method, receiving apparatus, and image transmitting system
US12081782B2 (en) Region of interest (ROI) request and inquiry in a video chain
KR100345447B1 (en) Method for management of variable bit rate for streaming service
US8760492B2 (en) Method and system for switching between video streams in a continuous presence conference
KR101657073B1 (en) Adaptive streaming aware node, encoder and client enabling smooth quality transition
US7573877B2 (en) Terminal apparatus, data transmitting apparatus, data transmitting and receiving system, and data transmitting and receiving method
EP2088782B1 (en) A method and a device for transcoding video
US7809830B2 (en) Optimization of quality of service in the distribution of bitstreams
CN101640784A (en) Device and method for controlling multi-image compounding in video conference system
KR20000075421A (en) System for network transcoding of multimedia data flow
JP4188139B2 (en) Transcoder
CN111147860A (en) Video data decoding method and device
KR100511034B1 (en) Mpeg video bit stream transmission apparatus and method
US11006161B1 (en) Assistance metadata for production of dynamic Over-The-Top (OTT) adjustable bit rate (ABR) representations using On-The-Fly (OTF) transcoding
RU2524677C2 (en) Information processing device and method and information processing system
US11356722B2 (en) System for distributing an audiovisual content
TW202143740A (en) Adaptive video streaming systems and methods
CN115209189B (en) Video stream transmission method, system, server and storage medium
US20090074054A1 (en) Resolution-converting apparatus, resolution-converting method and previewing apparatus
US11523156B2 (en) Method and system for distributing an audiovisual content
JP7006387B2 (en) Image distribution device, method and program
US10958945B2 (en) Elementary module of a system for distributing an audiovisual content
KR102414301B1 (en) Pod-based video control system and method
EP2999229A1 (en) Method for storing and delivering a video sequence using a cloud network
US20230269386A1 (en) Optimized fast multipass video transcoding

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051101

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071127

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080109

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20080109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080909

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080910

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110919

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120919

Year of fee payment: 4