JP5854127B2 - 符号化システム、符号化装置、符号化方法、プログラム、及びプログラムを記録したコンピュータ読取可能な記録媒体 - Google Patents

符号化システム、符号化装置、符号化方法、プログラム、及びプログラムを記録したコンピュータ読取可能な記録媒体 Download PDF

Info

Publication number
JP5854127B2
JP5854127B2 JP2014507095A JP2014507095A JP5854127B2 JP 5854127 B2 JP5854127 B2 JP 5854127B2 JP 2014507095 A JP2014507095 A JP 2014507095A JP 2014507095 A JP2014507095 A JP 2014507095A JP 5854127 B2 JP5854127 B2 JP 5854127B2
Authority
JP
Japan
Prior art keywords
encoding
processing unit
signal
encoding device
synchronization
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014507095A
Other languages
English (en)
Other versions
JPWO2013145126A1 (ja
Inventor
靖 梅崎
靖 梅崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Publication of JPWO2013145126A1 publication Critical patent/JPWO2013145126A1/ja
Application granted granted Critical
Publication of JP5854127B2 publication Critical patent/JP5854127B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/436Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using parallelised computational arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

開示の技術は、符号化システム、符号化装置、符号化方法、プログラム、及びプログラムを記録したコンピュータ読取可能な記録媒体に関する。
様々な映像(動画像)、例えば、HD(High Definition)映像やHD映像を超える高解像度の映像等を伝送するための様々な技術が知られている。
例えば、複数の表示装置を組合せて1画面の表示を行うため、フレーム画像を複数に分割し、該分割した画像の画像データの各々を符号化装置で符号化し、符号化したデータの各々の送信タイミングを調整する技術が提案されている。
また、符号化の際に、フレーム画像を複数に分割した分割画像毎の画像データを、既存の符号化装置を複数台用いて符号化して伝送する方法も知られている。この場合、既存の符号化装置を使用できるため、専用装置を開発するより、低コストでシステムを構成することが可能となる。
特開2008−090080号公報
従来、複数台の符号化装置を使う方法では、各符号化装置の電源投入タイミングと起動に要する時間の個体差等により、起動完了タイミングがばらつき、各符号化装置の符号化開始タイミングが同期しないことがある。一方、入力映像の特徴に合わせて動的に符号化パラメータを変更し、映像品質を向上させたいという要望もある。しかしながら、従来の装置では、動的に符号化パラメータを変更したくても、複数の符号化装置が符号化パラメータを同じタイミングで切替えることができなかった。
図15に、複数の符号化装置間において、符号化開始タイミングが同期せず、符号化パラメータの切替えが同期しない例を示す。ここでは、Iフレーム、Pフレーム、及びBフレームの3種類のフレームを含むMPEG(Moving Picture Experts Group)方式の符号化を行う符号化装置を例示した。図15に示されるように、MPEG方式で符号化されたフレーム群は、Iフレームから次のIフレームの1つ前のフレームまでのフレームの集合を1つのグループとするGOP(Group of Picture)構造になっている。また、符号化パラメータが変更された場合、変更後の符号化パラメータは、グループの先頭のIフレームから適用される。このため、各符号化装置間で同期がとれていないと、例えば、外部(図15では全体制御装置として例示してある)から符号化パラメータの切替えのコマンドを一斉に各符号化装置に送信しても、符号化パラメータの適用タイミングにばらつきが生じてしまう。
この状態で符号化された複数の画像データを復号して合成すると、符号化パラメータの変更に伴って画像分割の境界が目立つなどの映像品質劣化が発生するため、動的に符号化パラメータを最適化する手段が使えないという問題がある。
なお、符号化装置間の同期をとる手法として、同期専用のインタフェースを各符号化装置に設け、外部から符号化処理を開始させる処理コマンドや符号化パラメータを変更させる処理コマンドと同期信号とを各符号化装置に直接送信する方法が考えられる。
しかしながら、この手法では、各符号化装置が単体で動作する際には必要のない同期専用のインタフェースを追加的に設ける必要があるため、既存の符号化装置を流用して符号化処理を実現する方法と比較して、コストが嵩む。
また、複数台の符号化装置を同期して使用するシステムにおいて、全符号化装置が正常に同期しているか否かを確認するには、従来は、復号装置側で復号された映像を目視するしかなかった。これでは、異常が発生しても素早く対処することができない。
開示の技術は、コストをかけずに同期状態を監視しながら複数の符号化装置の符号化パラメータをフレーム単位で同期させて動的に切替えることを目的とする。
開示の技術は、映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準として符号化する符号化処理部を各々が有する複数の符号化装置で符号化する。複数の符号化装置の何れか1つが主符号化装置とされ、前記複数の符号化装置の前記主符号化装置を除く符号化装置を従符号化装置とされる。
前記主符号化装置は、前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替えタイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を前記従符号化装置に送信する。このとき、前記主符号化装置は、前記垂直同期信号を基準として前記設定信号を送信する。
また、前記主符号化装置は、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する。
前記従符号化装置は、前記主符号化装置から受信した設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する。
開示の技術は、コストをかけずに同期状態を監視しながら複数の符号化装置の符号化パラメータをフレーム単位で同期させて動的に切替えることができる、という効果を有する。
実施形態に係る符号化側画像処理システムの構成図である。 実施形態に係る復号側画像処理システムの構成図である。 符号化装置の機能構成図である。 符号化装置のハードウェア構成図である。 本実施形態の符号化システムの動作を模式的に説明する図である。 マスタである符号化装置の同期処理部により実行される同期処理ルーチンのフローチャートである。 マスタである符号化装置の同期処理部により実行される符号化処理結果情報処理ルーチンのフローチャートである。 スレーブである符号化装置の同期処理部により実行される同期処理ルーチンのフローチャートである。 スレーブである符号化装置の同期処理部により実行される符号化処理結果情報処理ルーチンのフローチャートである。 正常動作時のタイミングチャートの一例を示す図である。 コマンド発行による設定段階でエラーが発生した場合のタイミングチャートの一例を示す図である。 符号化処理実行段階でエラーが発生した場合のタイミングチャートの一例を示す図である。 マスタである符号化装置の同期処理部により実行される変形例としての同期処理ルーチンのフローチャートである。 第1エラー判定処理を示すフローチャートである。 第2エラー判定処理を示すフローチャートである。 複数の符号化装置間において、符号化開始タイミングが同期せず、符号化パラメータの切替えが同期しない従来技術を説明する説明図である。
以下、図面を参照して開示の技術の実施形態を詳細に説明する。
図1Aには、本実施形態に係る符号化側画像処理システム10が示されている。符号化側画像処理システム10は、画像分割装置12及び符号化システム14を備えている。画像分割装置12は、複数のフレーム画像の画像データ、垂直同期信号、及び水平同期信号を含む映像信号を取得する。映像信号は、HD(High Definition)画像の信号であってもよいし、SD(Standard Definition)画像の信号であってもよいし、HD画像よりも高解像度の画像の信号であってもよい。画像分割装置12は、該映像信号に含まれるフレーム画像の画像データを複数(ここではn個:nは2以上の整数)の画像データ(以下、分割画像データと呼称する)に分割する。画像分割装置12は、分割したn個の分割画像データ毎に、分割画像データ、垂直同期信号、及び水平同期信号を含む映像信号を生成する。画像分割装置12で生成された映像信号を、画像分割装置12により画像データが分割される前の映像信号と区別するため、分割映像信号と呼称する。
符号化システム14は、互いにLAN(Local Area Network)16を介して接続されたn個の符号化装置E1〜Enを備えている。符号化システム14は、画像分割装置12により生成されたn個の分割映像信号を取得して、n個の分割映像信号に含まれる分割画像データの各々をn個の符号化装置E1〜Enにより符号化する。
本実施形態では、n個の符号化装置E1〜Enが、各々汎用のLAN I/F(Interface)38(後述)を有し、通信方式の1種であるLAN16を介して双方向に通信する例について説明するが、通信方式をLAN16に限定するものではない。後述するように、マスタ(主符号化装置)としての符号化装置と、スレーブ(従符号化装置)としての符号化装置の各々とが、互いに双方向に通信可能な汎用の通信方式であればよい。
図1Bには、本実施形態に係る復号側画像処理システム20が示されている。復号側画像処理システム20は、画像合成装置22及び復号システム24を備えている。復号システム24は、LAN26に接続されたn個の復号装置D1〜Dnを備え、符号化側画像処理システム10により符号化されたn個の分割画像データがLAN26経由で入力されると、該n個の復号装置D1〜Dnが該n個の分割画像データを復号する。ここでは、分割画像データがLAN26経由でn個の復号装置D1〜Dnに入力される例について説明したが、n個の復号装置D1〜Dnに分割画像データを入力する通信方式は、LAN26に限定されるものではない。画像合成装置22は、復号システム24により復号されたn個の分割画像データを合成して1つのフレーム画像を生成する。
図2は、符号化装置E1〜Enの機能構成図である。
本実施形態において、n個の符号化装置E1〜Enのうち、何れか1つの符号化装置(ここでは符号化装置E1とする)がマスタとして動作し、それ以外の符号化装置(ここでは、符号化装置E2〜En)がスレーブとして動作する。
図2に示すように、マスタとして動作する符号化装置E1は、信号入力部30、同期処理部32、符号化処理部34、符号化ストリーム送信部36、及びLAN I/F38を備えている。
信号入力部30には、分割画像データ、垂直同期信号、及び水平同期信号を含む分割映像信号が入力される。信号入力部30は、A端子、B端子、及びC端子を備えている。信号入力部30は、分割映像信号から抽出した垂直同期信号をA端子から出力し、分割映像信号から抽出した水平同期信号をフレーム画像単位でカウントしたカウント値をB端子から出力し、分割画像データをC端子から出力する。
同期処理部32には、信号入力部30のA端子から出力された垂直同期信号と、B端子から入力されたライン数のカウント値とが入力される。
同期処理部32は、n個の符号化装置E1〜Enの符号化処理部34による符号化処理開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、符号化処理部34に対する設定を行わせる設定信号をスレーブに送信する。このとき、同期処理部32は、垂直同期信号を基準とするタイミングで設定信号を送信するものとする。また、同期処理部32は、自装置の符号化処理部34の設定も行う。
更にまた、同期処理部32は、スレーブとしての符号化装置E2〜Enから符号化処理部34の設定状態や符号化処理結果等、符号化処理部34の状態を示す状態信号を受信する。また、同期処理部32には、自装置の符号化処理部34から、符号化処理の処理結果を示す情報(符号化処理結果情報)も入力される。これにより、同期処理部32は、n個の符号化装置E1〜Enの符号化処理の同期状態を監視する。
符号化処理部34は、同期処理部32により符号化開始タイミングや符号化パラメータが設定される。符号化処理部34には、信号入力部30のA端子から出力された垂直同期信号及びC端子から出力された分割画像データが入力される。符号化処理部34は、同期処理部32による設定に従って、垂直同期信号を基準とするタイミングで分割画像データに符号化処理を施す。本実施形態では、符号化処理部34は、MPEG(Moving Picture Experts Group)方式で符号化処理を行うものとするが、これに限定されず、例えば、H264等、H26x系の符号化方式で符号化を行うものであってもよい。
ここで、符号化処理部34が符号化処理に使用する符号化パラメータの具体例としては、例えば、解像度を示すパラメータが挙げられる。複雑な絵柄の映像の場合には、解像度が低下しても、その解像度の低下が認識されにくい傾向がある。一方、単純な絵柄の映像の場合には、解像度の低下が認識されやすい傾向がある。解像度は圧縮率が高くなるほど低くなるため、入力される映像信号の複雑さ(粗さ)に応じて圧縮率を設定することができる。
例えば、符号化システム14に分割映像信号を符号化する前に、映像信号の各フレーム画像の複雑さを画像処理により予め認識し、符号化装置E1が、該認識結果を別途取得して圧縮率を求めるようにしてもよい。例えば、符号化装置E1に、複雑さを示す値と予め定められた圧縮率とを対応付けて登録したテーブルを記憶した記憶部を設け、該記憶部を参照して圧縮率を求めるようにしてもよい。また、符号化装置E1〜Enの各々が画像認識を行って複雑さを求め、該複雑さを示す情報を符号化装置E1が取得して圧縮率を判断するようにしてもよい。また、外部装置から符号化パラメータとしての圧縮率が符号化装置E1に入力されるようにしてもよい。
また、動きが速い映像と動きの遅い映像とでは、動きが速い映像の方が、解像度が少々低下しても認識されにくい傾向がある。従って、映像信号が示す映像の動きに応じて、上記と同様に、符号化パラメータとしての圧縮率を求めてもよい。
更にまた、MPEG方式で符号化されたフレームには、Iフレーム、Bフレーム、及びPフレームの3種類のフレームがある。
Iフレームは、画面内予測符号化方法により符号化されたフレームであり、動画像データが空間方向に相関が高いことを利用する。すなわち、画面内予測符号化方法は、他のフレーム画像を用いず、符号化対象となるフレーム画像の情報のみで符号化対象のフレーム画像を符号化する方法である。画面内予測符号化方法を、「フレーム内予測符号化方法」と呼称する場合もある。
Bフレーム及びPフレームは、画面間予測符号化方法により符号化されたフレームであり、動画像データが時間方向に相関が高いことを利用する。動画像データでは、一般的に、時間的に近いフレーム画像は類似度が高いため、既に符号化したフレーム画像を復号した復号画像を参照して符号化対象のフレーム画像の符号化を行うことで、冗長性を取り除くことが可能である。画面間予測符号化方法を、「フレーム間予測符号化方法」と呼称する場合もある。過去のフレームから一方向のフレーム間予測を行って差分を符号化したものがPフレームであり、過去と未来の2つのフレームから二方向のフレーム間予測を行い差分を符号化したものがBフレームである。Bフレームは、3つのフレームの中で最も圧縮効率が高い。
このように、Bフレーム及びPフレームは、既に符号化されたフレームを用いて符号化するものであるため、GOP(Group Of Picture)と呼ばれる1つのIフレームを含むフレーム群単位での符号化処理が基本となる。Iフレームに比べて、PフレームやBフレームはデータ量が小さくなるため、GOP長を長くする(PフレームやBフレームの数を多くする)と、全体のデータ量を小さくすることができる。しかし、GOP長を長くしすぎると、誤差が大きくなり、動きが速い映像においては画質が劣化することにもなる。従って、動きの速さに応じて、「IBBP」のフレーム構造からBフレームをなくして「IPPP」のフレーム構造に変更したり、Bフレームの数を少なくしてGOP長を短くし、「IBP」というフレーム構造に変更したりする等の調整をしてもよい。
以上説明したように、圧縮率、解像度、GOP長、或いはフレーム構造等を符号化パラメータとして符号化処理部34に設定することで、符号化処理部34では、設定された符号化パラメータに応じた符号化処理が行われる。
符号化処理部34は、符号化処理の処理結果を示す情報(符号化処理結果情報)を同期処理部32に出力する。
符号化ストリーム送信部36は、符号化処理部34で符号化処理された分割画像データをLAN I/F38を介して外部装置に出力する。
LAN I/F38は、LAN16に接続された装置と双方向で通信を行うための汎用のインタフェースである。
スレーブとして動作する符号化装置E2〜En(図2ではEnのみ図示)は、信号入力部30、同期処理部42、符号化処理部34、符号化ストリーム送信部36、及びLAN I/F(Interface)38を備えている。ここで、符号化装置E1に含まれる構成と同じ構成については、同じ符号を付して説明を省略し、ここでは、同期処理部42について説明する。
同期処理部42には、信号入力部30のA端子から出力された垂直同期信号と、B端子から入力されたライン数のカウント値とが入力される。また、符号化装置E1からLAN I/F38を介して受信された設定信号も入力される。
同期処理部42は、符号化装置E1から受信した設定信号に応じて、自装置の符号化処理部34の設定を行う。また、同期処理部42には、自装置の符号化処理部34から、符号化処理の処理結果を示す情報(符号化処理結果情報)も入力される。同期処理部42は、LAN I/F38を介して符号化装置E1に対して自装置の符号化処理部34の状態を示す状態信号を送信する。
図3は、符号化装置E1〜Enのハードウェア構成図である。
図3に示されるように、符号化装置E1〜Enは、CPU(Central Processing Unit)56を備えている。CPU56は、CPUバス64を介して、信号入力回路50、符号化LSI(Large Scale Integration)54、RAM(Random Access Memory)58、ROM(Read Only Memory )60、及びLANコントローラ62に接続されている。
信号入力回路50は、図2の信号入力部30を実現する回路である。信号入力回路50には、ラインカウンタレジスタ52が設けられている。ラインカウンタレジスタ52には、分割映像信号から抽出された水平同期信号が入力される。ラインカウンタレジスタ52は、入力された水平同期信号をフレーム画像単位でカウントし、該カウントしたカウント値をレジスタに保持し、該保持したカウントしたカウント値をB端子から出力する。また、信号入力回路50は、入力された分割映像信号から垂直同期信号を抽出してA端子から出力すると共に、該分割映像信号から分割画像データを抽出してC端子から出力する。
符号化LSI54は、図2の符号化処理部34及び符号化ストリーム送信部36の機能を備えたハードウェアである。LANコントローラ62は、図2のLAN I/F38の機能を備えたハードウェアである。
RAM58は、CPU56のワークメモリ等として使用される。ROM60は、CPU56が実行する同期処理プログラムが記録された記録媒体である。符号化装置E1のCPU56がROM60に記録されたマスタの同期処理プログラムを実行することにより、CPU56は、図2の同期処理部32として動作する。また、符号化装置E2〜EnのCPU56がROM60に記録されたスレーブの同期処理プログラムを実行することにより、CPU56は、図2の同期処理部42として動作する。
次に、本実施形態の符号化システム14の作用について説明するが、以下では、符号化装置E1が送信(発行)する設定信号を「コマンド」と呼称する。また、符号化装置E2〜Enが送信する状態信号として、符号化処理部34の設定完了を通知する設定通知信号と、符号化処理部34の符号化処理の完了を通知する符号化処理通知信号の2種類を例に挙げて説明する。以下、設定通知信号を単に「設定通知」といい、符号化処理通知信号を単に「符号化処理通知」という。
本実施形態の符号化システム14は、図4に示すように、マスタとしての符号化装置E1から、スレーブとしての符号化装置E2〜Enに対して、垂直同期信号を基準としたタイミングでコマンドを発行する。ここでは、垂直同期信号をLレベルのパルス信号として表わした。本実施形態では、符号化装置E1は、垂直同期信号のHレベルからLレベルへの立ち下がりタイミングをトリガとしてコマンドを生成し、該生成したコマンドを発行するものとする。符号化装置E1から発行されるコマンドには、符号化処理開始タイミングを設定するためのコマンドや、符号化パラメータの切替えを設定するためのコマンドがある。
符号化装置E2〜En(以下、n=16の場合を例示して説明する)は、正常動作時には、コマンド発行後、次の垂直同期信号が入力されるまでの期間に該コマンドを受信し、該コマンドに応じて符号化処理部34を設定する。また、符号化装置E1は、コマンド発行と共に、自装置の符号化処理部34に対する設定を行う。
なお、図4では、符号化装置E2〜E16のコマンドの受信タイミングが同一となっているが、符号化装置E2〜E16のコマンド受信処理を模式的に示しただけであり、実際にはコマンドの受信タイミングが同一となることは保証されていない。
符号化処理部34は、垂直同期信号の入力をトリガとして分割画像データの符号化処理を開始する。本実施形態では、符号化装置E1〜E16の各符号化処理部34は、コマンドが発行された後に入力された垂直同期信号の立ち下がりタイミングで、一斉に該コマンドに応じて行われた設定に従って、入力された分割画像データの符号化処理を行う。
なお、本実施形態では、垂直同期信号が入力されてから次の垂直同期信号が入力されるまでの期間が、1フレーム分の画像データを符号化する期間とされるため、該期間をフレーム期間と呼称する。
図4に示されるように、コマンドが発行されたフレーム期間の1つ後のIフレーム期間から、コマンドによる設定が適用されて各符号化処理部34の符号化処理が開始される。その後は、次に符号化パラメータを切替えるコマンドが発行されるまでは、設定中の符号化パラメータを適用した符号化処理が継続される。
ここでは、図示を省略したが、符号化装置E1〜E16の各々は、各符号化装置の電源投入タイミングのバラツキ及び起動に要する時間の個体差により、起動完了タイミングにばらつきが生じることがある。従って、符号化装置E1〜E16を起動した後に、まず符号化装置E1から各符号化装置E2〜E16に対して符号化開始タイミングを各符号化処理部34に設定するためのコマンドを出力するものとする。このコマンドは、符号化装置E1〜E16のうち、起動完了タイミングのばらつきを考慮して、全符号化装置E1〜E16の起動が完了したと推定されるタイミングの後に出力される。符号化装置E2〜E16は、コマンドに従って、自装置の符号化処理部34の符号化開始タイミングを設定する。また、符号化装置E1は、該コマンド発行と共に、自装置の符号化処理部34の符号化開始タイミングを設定する。
符号化開始タイミングを設定するコマンドの発行後、コマンドが発行されたフレーム期間の1つ後のフレーム期間から、コマンドによる設定が適用されて各符号化処理部34の符号化処理が開始される。従って、各符号化装置E1〜E16は、起動後、最初に符号化開始タイミングを設定するコマンドが符号化装置E1から出力されるまでは、待機状態とされる。符号化開始タイミングを設定するコマンドに、符号化パラメータの設定に関する情報を含めて出力することもできる。符号化装置E2〜E16は、次のフレーム期間までに該コマンドに含まれる情報に従って符号化パラメータを自装置の符号化処理部34に設定する。符号化開始タイミングを設定するコマンドに、符号化パラメータの設定に関する情報を含めない場合には、デフォルトで符号化処理部34に記憶されている符号化パラメータが適用されるものとしてもよい。
なお、本実施形態では、符号化装置E1〜E16の同期状態の監視が、外部装置を介入させずに自律的に行われる。以下、コマンドの発行と同期状態の監視について、具体例を挙げて説明する。
図5は、符号化装置E1の同期処理部32により実行される同期処理ルーチンのフローチャートである。この同期処理ルーチンは、垂直同期信号が入力されたタイミングで開始される。
ステップ100において、同期処理部32は、現在のフレーム期間においてコマンドを発行する必要があるか否か判断する。例えば、符号化システム14が、電源投入されて起動された直後であれば、符号化処理を開始させる符号化処理開始タイミングを設定させるためのコマンドを各スレーブに対して発行する必要がある。また、例えば画像処理によって認識された映像に含まれるオブジェクトの動きの速さや映像の複雑度に応じて、符号化パラメータを変更する必要があると判断した場合には、符号化パラメータを変更するコマンドをスレーブに対して発行する必要がある。
ここでは、コマンド発行の必要性を、マスタである符号化装置E1が、起動直後か否か、或いは画像処理により認識した結果に応じて判断する例を挙げたが、符号化装置E1〜E16の何れかが判断するようにしてもよい。また、外部装置から強制的に符号化パラメータの変更を指示する指示情報を符号化システム14に入力し、該入力した結果が符号化装置E1の同期処理部32に入力されるようにしてもよい。
同期処理部32は、ステップ100において肯定判断した場合には、ステップ102において、発行が必要なコマンド(本実施形態では、符号化開始タイミングの設定或いは符号化パラメータの設定のためのコマンド)を生成して発行する。符号化装置E1は、同期管理に利用できるよう、コマンドを識別するための識別番号を含めてコマンドを生成してもよい。
同期処理部32は、ステップ100において否定判断した場合には、ステップ102をスキップする。
ステップ104において、同期処理部32は、スレーブである符号化装置E2〜E16から、設定通知が受信されたか否かを判断する。ステップ104で肯定判断した場合には、同期処理部32は、ステップ106において、該設定通知に含まれるステータスを予め定められた記憶領域に保存した後、その内容を確認する。
ステータスがOK(成功)を示していた場合には、該設定通知を送信したスレーブにおいて、現フレーム期間において発行したコマンドに従って符号化処理部34の設定が現フレーム期間に正常に終了したことを示すものである。従って、同期処理部32は、エラー処理は行わずに、ステップ104に戻る。
また、設定通知に含まれるステータスがNG(失敗)を示していた場合、設定通知を送信したスレーブにおいて、コマンドに応じた設定が該コマンドを発行したフレーム期間内に正常に終了しなかったことを示す。従って、ステップ108において、第1エラー処理を実行する。
第1エラー処理として、例えば、全符号化装置E1〜E16の符号化処理を一時停止して、NGとなった設定を再度行わせるためのコマンドを再発行する等のリトライ処理を行ってもよい。また、符号化側画像処理システム10のシステム管理者に異常が発生したことを通知するようにしてもよい。
また、同期処理部32は、ステップ104で否定判断した場合には、ステップ110において、符号化処理通知を受信したか否かを判断する。ステップ110で肯定判断した場合には、同期処理部32は、ステップ112において、該符号化処理通知に含まれるステータスを確認する。
ステータスがOK(成功)を示していた場合には、該符号化処理通知を送信したスレーブにおいて、現フレーム期間において実行すべきフレームの分割画像データの符号化が現フレーム期間に正常に終了したことを示すものである。従って、同期処理部32は、エラー処理は行わずに、ステップ104に戻る。
また、符号化処理通知に含まれるステータスがNG(失敗)を示していた場合には、設定通知を送信したスレーブにおいて、分割画像データの符号化が該分割画像データを符号化すべきフレーム期間に正常に終了しなかったことを示すものである。従って、ステップ114において第2エラー処理を実行する。
第2エラー処理として、例えば、全符号化装置E1〜E16の符号化処理を一時停止して、NGとなったフレームの符号化処理を再度行わせるためのコマンドを再発行する等のリトライ処理を行ってもよい。また、符号化側画像処理システム10のシステム管理者に異常が発生したことを通知するようにしてもよい。
また、同期処理部32は、ステップ110において否定判断した場合には、ステップ116に進み、自装置の符号化処理部34から符号化処理状態情報が入力されたか否かを判断する。同期処理部32は、ステップ116において否定判断した場合には、ステップ104に戻り、肯定判断した場合には、ステップ118の符号化処理結果情報処理を行う。
図6は、符号化装置E1の同期処理部32により実行される符号化処理結果情報処理ルーチンのフローチャートである。
同期処理部32に、自装置の符号化処理部34から符号化処理結果情報が入力されると、同期処理部32は、ステップ150において、符号化処理が正常終了したのか否かを判断する。
具体的には、同期処理部32は、符号化処理結果情報が符号化完了を示していた場合には、符号化処理部34で完了した符号化処理が、現フレーム期間で実行されるべきフレームの符号化処理であったのか否かを判断する。
仮に、符号化完了した分割画像データのフレームが、現フレーム期間より前のフレーム期間において実行すべきフレームであった場合には、符号化処理は正常に終了しなかったと判断される。また、符号化完了した分割画像データのフレームが、現フレーム期間において実行すべきフレームであった場合には、符号化処理は正常に終了したと判断される。更に、同期処理部32は、符号化処理結果情報が符号化失敗を示していた場合には、符号化処理部34において何らかの異常が発生したことを示しているため、符号化処理は正常に終了しなかったと判断される。
同期処理部32は、ステップ150において、肯定判断した場合には、ステップ152において、自装置の符号化処理部34の符号化処理のステータスとして、OK(成功)を示すデータを保存する。
同期処理部32は、ステップ150において、否定判断した場合には、ステップ154において、自装置の符号化処理部34の符号化処理のステータスとして、NG(失敗)を示すデータを保存する。そして、ステップ156において、同期処理部32は、前述した第2エラー処理を行う。
このように、符号化装置E1は、符号化装置E2〜E16の符号化処理部34の符号化処理状態だけでなく、自装置の符号化処理部34の符号化処理状態も把握して、同期状態を監視するようにしている。
なお、自装置の符号化処理部34に対する符号化パラメータ等の設定結果は、同期処理部32自身が設定した時点で把握できるため、図示を省略した。
図7は、符号化装置E2〜E16の同期処理部42により実行される同期処理ルーチンのフローチャートである。この同期処理ルーチンは、符号化装置E2〜E16が起動したときに開始される。
ステップ200において、同期処理部42は、符号化装置E1からコマンドを受信したか否かを判断する。同期処理部42は、ステップ200において肯定判断した場合には、ステップ202において、コマンドに応じて自装置の符号化処理部34を設定する。
ステップ204において、同期処理部42は、信号入力部30のB端子から出力された最新のカウント値を参照し、該カウント値が予め定められた閾値を超えているか否かを判断する。ここでカウント値が閾値を超えている場合には、コマンドに対する設定完了を示す設定通知をマスタである符号化装置E1に送信しても、コマンド発行と同一のフレーム期間内に設定通知が届かない可能性が高い。これではマスタ側で同期確認ができない。また、コマンドが発行されたフレーム期間の終了と同時に設定処理が完了した場合には、次の垂直同期信号が入力されたと同時に開始すべき符号化処理が間に合わない。そこで、同期処理部42は、ステップ206において、NGのステータスを含む設定通知を生成して符号化装置E1に送信する。
なお、ステップ204において、ステップ200でコマンドを受信したとき、或いは設定処理を開始したときのカウント値と、予め定められた閾値(この閾値は、上記設定完了時点のカウント値と比較される上記閾値よりも小さくなる)とを比較して判断してもよい。例えば、符号化装置E1からのコマンドが、該コマンドが発行されたフレーム期間内において、設定処理に必要な時間がとれないほどに遅延して到着する場合もある。このような場合でも、コマンド受信時、或いは設定開始時のカウント値と閾値とを比較して、カウント値が閾値より大きければNGのステータスを含む設定通知を生成することができる。この場合、同期処理部42は、設定が完了する前に設定通知を送信してもよい。同期がとれないことを迅速に符号化装置E1に伝えることができるためである。
また、ステップ204において、カウント値が閾値以下である場合には、ステップ208において、OKのステータスを含む設定通知を生成して符号化装置E1に送信する。
なお、設定通知には、どのコマンドに対する設定通知であるのかが符号化装置E1で判断可能なように、符号化装置E2〜E16は、該コマンドの識別番号を含めて設定通知を生成し、送信することができる。
また、同期処理部42は、ステップ200において否定判断した場合には、ステップ210に進み、自装置の符号化処理部34から符号化処理状態情報が入力されたか否かを判断する。同期処理部42は、ステップ210において否定判断した場合には、ステップ200に戻り、肯定判断した場合には、ステップ212の符号化処理結果情報処理を行う。図8は、符号化装置E2〜E16の同期処理部42により実行される符号化処理結果情報処理ルーチンのフローチャートである。
同期処理部42に、自装置の符号化処理部34から符号化処理結果情報が入力されると、同期処理部42は、ステップ250において、符号化処理が正常終了したのか否かを判断する。
具体的には、同期処理部42は、符号化処理結果情報が符号化完了を示していた場合には、符号化処理部34で完了した符号化処理が、現フレーム期間で実行されるべきフレームの符号化処理であったのか否かを判断する。
仮に、符号化完了した分割画像データのフレームが、現フレーム期間より前のフレーム期間において実行すべきフレームであった場合には、符号化処理は正常に終了しなかったと判断される。また、符号化完了した分割画像データのフレームが、現フレーム期間において実行すべきフレームであった場合には、符号化処理は正常に終了したと判断される。更に、同期処理部42は、符号化処理結果情報が符号化失敗を示していた場合には、符号化処理部34において何らかの異常が発生したことを示しているため、符号化処理は正常に終了しなかったと判断される。
同期処理部42は、ステップ250において、肯定判断した場合には、ステップ252において、自装置の符号化処理部34の符号化処理のステータスとして、OK(成功)を含む符号化処理通知を生成して符号化装置E1に送信する。
同期処理部42は、ステップ250において、否定判断した場合には、ステップ254において、自装置の符号化処理部34の符号化処理のステータスとして、NG(失敗)を含む符号化処理通知を生成して送信する。
以上説明したように、符号化装置E1〜E16が動作することにより、マスタとしての符号化装置E1は、符号化装置E1〜E16の同期状態を監視することができる。
ここで、図9〜図11のタイミングチャートを用いて、具体例を挙げて説明する。なお、HD画像が処理対象である場合には、フレーム画像単位のライン総数(水平同期信号の総数)は、1125本となるが、ここでは、100本単位でライン数を図示した。
図9は、正常動作時のタイミングチャートの一例を示す図である。
図9において、1〜5の数字により、各符号化装置E1〜E16が実行する処理が示されている。1は、コマンド発行処理、2は、コマンド受信処理、3は、符号化処理部34に対する設定処理、4は、スレーブから送信された設定通知或いは符号化処理通知の受信処理(スレーブ通知受信処理)、5は、符号化処理状態検出・通知処理を示す。
まず、符号化装置E1において、(1)に示すようにコマンド発行処理1が行われて、何らかのコマンドが生成され、スレーブ側の符号化装置E2〜E16に送信される(図5のステップ102も参照)。
スレーブ側の符号化装置E2〜E16では、コマンド受信処理2によりコマンドを受信すると(図7のステップ200も参照)、該受信したコマンドに従って、符号化処理部34を設定する設定処理3が行われる(図7のステップ202も参照)。設定処理後は、設定通知(ステータスOK)が生成され、符号化装置E1に送信される(図7のステップ208も参照)。また、コマンドを発行した符号化装置E1も、自装置の符号化処理部34の設定処理3を行う。
符号化装置E1は、(2)に示すように、スレーブ通知受信処理4により符号化装置E2〜E16から送信された設定通知を受信する(図5のステップ104、Y、ステップ106、OK))。
コマンドを発行したフレーム期間の1つ後のフレーム期間において、符号化装置E1〜E16の符号化処理部34の各々が垂直同期信号をトリガとして、設定に応じた符号化処理を開始する。符号化装置E1は、図6に示す処理ルーチンにより自装置の符号化処理部34の符号化処理の状態(OK)を検出する。また、符号化装置E2〜E16は、図8に示す処理ルーチンにより自装置の符号化処理部34の符号化処理の状態を検出し、(3)に示すように、符号化処理通知を生成して符号化装置E1に送信する。本例では、フレーム期間内に正常に符号化処理が終了しているため、OKを示すステータスを含む符号化処理通知が符号化装置E1に送信される(図8のステップ252も参照)。
図10は、コマンド発行による設定段階でエラーが発生した場合のタイミングチャートの一例を示す図である。
まず、符号化装置E1において、(1)に示すようにコマンド発行処理1が行われて、何らかのコマンドが生成され、符号化装置E2〜E16に送信される(図5のステップ102も参照)。
符号化装置E2〜E15では、コマンド受信処理2によりコマンドを受信すると、該受信したコマンドに従って、符号化処理部34を設定する設定処理3が行われる。設定処理後は、設定通知(ステータスOK)が生成され、符号化装置E1に送信される(図7のステップ208も参照)。
ただし、符号化装置E16だけは、ネットワーク伝搬遅延等により、コマンドが発行されたフレーム期間の終了間際に設定処理3が完了している。設定処理3が完了した時点で入力されたカウント値を1100とし、該カウント値と比較される閾値を1000とすると、図7のステップ204において肯定判断されることとなる。従って、符号化装置E16では、設定通知(ステータスNG)が生成され、該設定通知が、(4)に示すように符号化装置E1に送信される(図7のステップ206も参照)。また、コマンドを発行した符号化装置E1も、自装置の符号化処理部34の設定処理3を行う。
符号化装置E1は、(2)に示すように、スレーブ通知受信処理4により符号化装置E2〜E15から送信された設定通知を受信する(図5のステップ104、Y、ステップ106、OK)。
コマンドが発行されたフレーム期間の1つ後のフレーム期間において、符号化装置E1〜E15の符号化処理部34の各々が垂直同期信号をトリガとして、設定に応じた符号化処理を開始する。符号化装置E1は、図6に示す処理ルーチンにより自装置の符号化処理部34の符号化処理の状態を検出する。また、符号化装置E2〜E15は、(3)に示すように、OKを示すステータスを含む符号化処理通知を符号化装置E1に送信する(図8のステップ252も参照)。
一方、符号化装置E16では、設定処理の完了が遅れたため、次に入力された垂直同期信号をトリガとして符号化処理を開始することができない。符号化装置E16から送信された設定通知は、コマンドが発行されたフレーム期間の1つ後のフレーム期間において符号化装置E1により受信される(図5のステップ106、NGも参照)。これにより、符号化装置E1は、符号化装置E16の同期がとれていないことを把握する。従って、第1エラー処理として、例えば、(5)に示すように、リトライ処理等が行われる(図5のステップ108も参照)。
図11は、符号化処理実行段階でエラーが発生した場合のタイミングチャートの一例を示す図である。
図11の(1)、(2)に示すように、コマンド発行から設定処理までは、正常に終了し同期がとれている。これにより、コマンドが発行されたフレーム期間の1つの後のフレーム期間から該設定に基づいた符号化処理が開始されるが、符号化装置E1〜E15までは、フレーム期間内に正常に符号化処理が終了している。従って、符号化装置E1は、図6に示す処理ルーチンにより自装置の符号化処理部34の符号化処理の状態(OK)を検出する。また、符号化装置E2〜E15は、また、符号化装置E2〜E15は、(3)に示すように、OKを示すステータスを含む符号化処理通知が符号化装置E1に送信する(図8のステップ252も参照)。
一方、本例において、符号化装置E16では、1フレーム分の符号化処理を1フレーム期間内に終了できず、次のフレーム期間まで処理が跨いでしまっている。これは、例えば、分割映像信号の入力タイミングがずれた、或いは、符号化装置E16自体に異常が発生した、或いは、符号化装置E16への電力供給が符号化処理途中で途絶えた等により、こうした事態が発生することがある。
従って、符号化装置E16では、フレーム期間内に正常に符号化処理が終了しなかったため、(4)に示すように、NGを示すステータスを含む符号化処理通知が符号化装置E1に送信される(図8のステップ254も参照)。
符号化装置E16から送信された符号化処理通知は、次のフレーム期間において符号化装置E1により受信される(図5のステップ110、Yも参照)。符号化処理通知のステータスはNGを示している(図5のステップ112、NGも参照)。これにより、符号化装置E1は、符号化装置E16の同期がとれていないことを把握する。従って、第2エラー処理として、例えば、リトライ処理やエラー発生をシステム管理者に通知する等が行われる(図5のステップ114も参照)。
なお、コマンドが発行されたフレーム期間より後のフレーム期間に、スレーブがコマンドを受信した場合等には、カウント値がリセットされて、スレーブ側で、水平同期信号のカウント値だけでは同期状態が判断できないことがある。従って、例えば、符号化装置E1〜E16において、垂直同期信号もカウントするよう第2のカウンタを設けてもよい。そして、符号化装置E1は、垂直同期信号のカウント値をコマンドに含めて送信する。符号化装置E2〜E16は、コマンドに含まれる垂直同期信号のカウント値と、設定完了時点、或いは符号化処理完了時点の垂直同期信号のカウント値とを比較し、互いに異なっていれば、水平同期信号のカウント値を確認することなく同期が外れていると判断できる。この場合、NGのステータスを含む設定通知を生成して符号化装置E1に送信する。また、符号化装置E2〜E16は、コマンドに含まれる垂直同期信号のカウント値と、設定完了時点、或いは符号化処理完了時点の垂直同期信号のカウント値とが同一であれば、水平同期信号のカウント値と閾値とを上記説明したように比較して、判断すればよい。
以上、スレーブ側が自分自身で設定及び符号化処理のOK・NGの判断を行い、マスタ側がスレーブから受信した通知に応じて同期状態を把握する例について説明したが、マスタ側が各スレーブの設定及び符号化処理のOK・NGの判断を行うようにしてもよい。こにより、例えば、コマンドがスレーブに到着しない、或いはコマンドの到着が著しく遅延する場合等においても迅速に同期状態を把握できるため、有効な手法である。
例えば、マスタである符号化装置E1は、コマンドを送信したフレーム期間内に、スレーブである符号化装置E2〜E16の少なくとも1つから設定通知を受信しなかった場合には同期がとれていないと判定することができる。また、符号化装置E1は、コマンドを送信したフレーム期間内に、スレーブである符号化装置E2〜E16から設定通知を受信した場合には同期がとれていると判定することができる。
また、符号化装置E1は、符号化処理を実行するフレーム期間内において、スレーブである符号化装置E2〜E16の少なくとも1つから符号化処理通知を受信しなかった場合には同期がとれていないと判定することができる。符号化装置E1は、符号化処理を実行するフレーム期間内において、スレーブである符号化装置E2〜E16から符号化処理通知を受信した場合には同期がとれていないと判定することができる。
この場合、スレーブは、設定や符号化処理が正常に終了したかを判定する必要はなく、設定処理或いは符号化処理が完了した時点で、ステータスを含まない設定通知や符号化処理通知を生成して符号化装置E1に送信することができる。
以下、図12〜14を参照して、マスタ側でスレーブの設定や符号化処理のOK・NGの判断を行う例について説明する。
図12に示す同期処理ルーチンは、符号化装置E1の同期処理部32により図5に示す同期処理ルーチンに代えて実行される同期処理ルーチンのフローチャートである。この同期処理ルーチンは、垂直同期信号が入力されたタイミングで開始される。
ステップ300において、同期処理部32は、上記図5のステップ100と同様に、現在のフレーム期間においてコマンドを発行する必要があるか否か判断する。
同期処理部32は、ステップ300において肯定判断した場合には、ステップ302において、発行が必要なコマンド(本実施形態では、符号化開始タイミングの設定、或いは符号化パラメータの設定のためのコマンド)を生成して発行する。
次に、ステップ310において、同期処理部32は、符号化装置E2〜E16から、設定通知が受信されたか否かを判断する。ステップ310で肯定判断した場合には、同期処理部32は、ステップ314において、該設定通知を送信した送信元の符号化装置の識別番号(ID)を記憶する。ステップ314の後は、ステップ310に戻る。
また、同期処理部32は、ステップ310で否定判断した場合には、ステップ312において、符号化処理通知を受信したか否かを判断する。ステップ312で肯定判断した場合には、同期処理部32は、ステップ316において、該符号化処理通知を送信した送信元の符号化装置の識別番号(ID)を記憶する。ステップ316の後は、ステップ310に戻る。
なお、符号化装置E2〜E16は、符号化処理した分割画像データが属するフレーム画像がどのフレーム画像であるかが把握できる識別番号を符号化処理通知に含めて符号化装置E1に送信してもよい。また、前述したように、垂直同期信号をカウントするカウンタを符号化装置E1〜E16に設けた場合には、符号化処理を開始したときの垂直同期信号のカウント値を、符号化処理通知に含めるようにしてもよい。この場合には、ステップ316において、符号化処理通知に含まれるフレーム画像の識別番号、或いは垂直同期信号のカウント値に対応付けて符号化装置E1〜E16のIDを記憶するようにしてもよい。これにより、符号化装置E1は、符号化処理通知を受信した場合に、どのフレーム画像の分割画像データに対する符号化処理通知かを迅速に把握でき、後述する第2エラー判定処理におけるステップ360の判定に利用できる。
また、同期処理部32は、ステップ312で否定判断した場合には、ステップ318において、符号化処理結果情報が入力されたか否かを判断する。ステップ318で肯定判断した場合には、同期処理部32は、ステップ320において、図6を用いて説明した、符号化処理結果情報処理を実行する。同期処理部32は、ステップ320の後は、ステップ310に戻る。また、同期処理部32は、ステップ318で否定判断した場合にも、ステップ310に戻る。
また、同期処理部32は、ステップ300において否定判断した場合には、ステップ304において、現フレーム期間が、コマンドを発行したフレーム期間(コマンド発行フレーム期間)の1つ後のフレーム期間であるか否かを判定する。
ステップ304において肯定判断した場合には、ステップ306において、第1エラー判定処理を行う。図13は、第1エラー判定処理を示すフローチャートである。
ステップ350において、同期処理部32は、1つ前のフレーム期間において、全スレーブ(符号化装置E2〜E16)から、発行したコマンドに対する設定通知を受信済みか否かを判断する。前述したように、同期処理部32は、ステップ314において、設定通知を送信したスレーブのIDを記憶するようにしている。同期処理部32は、該記憶しているIDを確認することでステップ350の判断を行う。
同期処理部32は、ステップ350において肯定判断した場合には、符号化装置E1〜E16の符号化処理部34に対する設定処理が、コマンドを発行したフレーム期間内に正常に終了したことを示しているため、エラー処理等は行わず、ステップ354に進む。
一方、同期処理部32は、ステップ350において否定判断した場合には、符号化装置E2〜E16の何れかにおいて符号化処理部34に対する設定処理が正常に終了しなかったことを示しているため、ステップ352において、前述した第1エラー処理を実行する。
なお、ここでは、符号化装置E1は、自装置の符号化処理部34の設定は正常に終了しているものとして説明した。
次に、ステップ354において、同期処理部32は、1つ前のフレーム期間に符号化処理が実行されたか否かを判断する。同期処理部32は、ステップ354で肯定判断した場合には、ステップ356において、第2エラー判定処理を行う。第2エラー判定処理の詳細は後述する。また、同期処理部32は、ステップ354で否定判断した場合には、本処理ルーチンを終了する。
同期処理部32は、ステップ306の第1エラー判定処理の後は、ステップ310に進み、上記説明した処理を行う。
また、同期処理部32は、図12のステップ304において否定判断した場合には、ステップ308において、第2エラー判定処理を行う。また、上記ステップ354で肯定判断した場合にも、この第2エラー判定処理が行われる。図14は、第2エラー判定処理を示すフローチャートである。
ステップ360において、同期処理部32は、1つ前のフレーム期間において、該フレーム期間に受信すべき符号化処理通知を全スレーブ(符号化装置E2〜E16)から受信したか否かを判断する。
前述したように、同期処理部32は、ステップ316において、符号化処理通知を送信したスレーブのIDを記憶するようにしている。同期処理部32は、該記憶しているIDを確認することでステップ360の判断を行う。
なお、符号化装置E2〜E16が、符号化処理通知に、フレーム画像の識別番号、或いは垂直同期信号のカウント値を含めて生成した場合には、符号化装置E1は、該識別番号及びカウント値毎に記憶された符号化装置IDを確認する。すなわち、ステップ360では、符号化装置E1は、1つ前のフレーム期間において処理すべきフレーム画像の識別番号、或いは垂直同期信号のカウント値に対応付けられて記憶されている符号化装置IDを確認すればよい。
同期処理部32は、ステップ360で肯定判断した場合には、符号化装置E1〜E16の符号化処理部34において符号化処理が同一フレーム期間内に同期して正常に終了したことを示しているため、本処理ルーチンを終了する。
一方、同期処理部32は、ステップ360において否定判断した場合には、符号化装置E2〜E16の何れかにおいて符号化処理が同期して正常に終了しなかったことを示しているため、ステップ362において、前述した第2エラー処理を実行する。
ここでは、符号化装置E1は、自装置の符号化処理は正常に終了しているものとして説明したが、自装置の符号化処理が正常に終了しなかった場合にも第2エラー処理を実行すればよい。
同期処理部32は、ステップ308の第2エラー判定処理の後は、ステップ310に進み、上記説明した処理を行う。
なお、符号化装置E1が、主体的に各符号化装置E2〜E16の符号化処理部34の状態を判断して同期状態の監視を行う手法は、上記例に限定されない。
例えば、各符号化装置E2〜E16が、設定通知及び符号化処理通知に、信号入力部30のB端子から出力されたカウント値を含めて符号化装置E1に送信し、符号化装置E1は、該カウント値を参照して同期状態を監視するようにしてもよい。
具体的には、例えば、符号化処理部34に対する設定処理に関しては、各符号化装置E2〜E16は、自装置の符号化処理部34に対する設定が完了したときに入力された水平同期信号のカウント値を設定通知に含めて生成する。符号化装置E1は、該設定通知に含まれるカウント値が、予め定められた閾値以下の場合には、コマンドを発行したフレーム期間内に設定処理が正常に終了したと判断することができる。また、符号化装置E1は、該設定通知に含まれるカウント値が、該閾値を超えていた場合には、コマンドを発行したフレーム期間内に設定処理が正常に終了しなかったと判断することができる。
また、設定通知に、各符号化装置E2〜E16がコマンドを受信したときに入力された水平同期信号のカウント値を含めてもよい。そして、符号化装置E1は、このカウント値と予め定められた閾値とを比較して、設定処理が正常に終了したか否かを判断することができる。カウント値が閾値より大きければ、コマンドを受信してから次の垂直同期信号が入力される間での期間が短く、次の垂直同期信号が入力されるまでに設定処理を完了することができなかったと推定されるためである。
また、設定通知に、各符号化装置E2〜E16がコマンドを受信したときに入力されたカウント値、及び符号化処理部34に対する設定が完了したときに入力されたカウント値の両方を含めるようにしてもよい。符号化装置E1は、両方のカウント値の各々と、異なる2つの閾値とを用いて比較処理を行い、同期状態を監視することができる。
また、コマンドが発行されたフレーム期間より後のフレーム期間に、スレーブがコマンドを受信した場合には、スレーブから送信される設定通知に含まれるカウント値は、該後のフレーム期間におけるカウント値となる。この場合には、マスタは、コマンドが発行されたフレーム期間より後のフレーム期間に設定通知を受信することとなるため、カウント値により判断するまでもなく同期が外れたことを把握できる。
また、各符号化装置E2〜E16は、符号化処理通知についても、同様に、符号化処理が完了したときに入力された水平同期信号のカウント値を含めて生成し、符号化装置E1に送信することができる。符号化装置E1は、該カウント値と予め定められた閾値とを比較して、同一フレーム期間内に同一フレーム画像の分割画像データが各符号化装置E2〜E16で符号化処理されたか否かを把握できる。
なお、前述したように、符号化処理通知に、符号化処理した分割画像データが属するフレーム画像がどのフレーム画像であるかが把握できる識別番号を含めて生成してもよい。1フレーム期間内で符号化処理が完了しなかった場合(図11も参照)において送信された符号化処理通知については、符号化装置E1は、水平同期信号のカウント値を参照するまでもなく、同期が外れたことを把握できる。また、前述したように、垂直同期信号をカウントするカウンタを符号化装置E1〜E16に設けた場合には、符号化処理を開始したときの垂直同期信号のカウント値を、符号化処理通知に含めるようにしてもよい。この場合には、符号化装置E1は、符号化処理通知に含まれる垂直同期信号のカウント値を参照することで、該符号化処理通知を送信した符号化装置の符号化処理の同期が外れたか否かを把握できる。
更にまた、符号化装置E1は、コマンドを生成した時点、或いはコマンドを発行する直前の水平同期信号のカウント値を含むコマンドを発行するようにしてもよい。そして、各符号化装置E2〜E16は、コマンドを受信したときのカウント値、設定処理が完了したときのカウント値と共に、符号化装置E1から受信したコマンドに含まれていたカウント値を含めて設定通知を生成し、符号化装置E1に送信するようにしてもよい。これにより、符号化装置E1〜Enの何れかの同期が外れた等の異常が発生した場合に、該カウント値を異常の解析に利用できる。
なお、符号化装置E1が各符号化装置E2〜E16の設定及び符号化処理のOK・NGの判断を行う手法と、各符号化装置E2〜E16自身が設定及び符号化処理のOK・NGの判断を行う手法の双方を組合せて同期状態の監視を行うようにしてもよい。
更に、上記ではマスタ及びスレーブの同期処理のプログラムがROM60に記憶されている態様を説明したが、同期処理のプログラムは、CD−ROMやDVD−ROM、USBメモリ等の可搬型の記録媒体に記録されている形態で提供することも可能である。
なお、同期処理部32及び同期処理部42は、例えば半導体集積回路、より詳しくはASIC(Application Specific Integrated Circuit)等で実現することも可能であり、同期処理部32及び同期処理部42を例えば電子回路等で実現することも可能である。
本明細書に記載された全ての文献、特許出願及び技術規格は、個々の文献、特許出願及び技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (12)

  1. 映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有し、何れか1つが主符号化装置とされ、残りが従符号化装置とされる複数の符号化装置と、
    前記主符号化装置に設けられ、前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信すると共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する主同期処理部と、
    前記従符号化装置に設けられ、前記主符号化装置から受信した前記設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する従同期処理部と、
    を含む符号化システム。
  2. 前記主同期処理部は、前記従符号化装置へ前記設定信号を送信してから次の前記垂直同期信号が入力されるよりも前に、前記従符号化装置から前記符号化処理部の設定状態を示す状態信号を受信したか否かに基づいて、前記複数の符号化装置の同期状態を判断する
    請求項1に記載の符号化システム。
  3. 前記主同期処理部は、垂直同期信号が入力されてから次の垂直同期信号が入力されるまでの期間に、前記従符号化装置から、前記期間に符号化処理すべきフレーム画像についての前記符号化処理部の符号化処理状態を示す状態信号を受信したか否かに基づいて、前記複数の符号化装置の同期状態を判断する
    請求項1に記載の符号化システム。
  4. 前記複数の符号化装置の各々に設けられ、前記映像信号に含まれる水平同期信号を計数する計数部を更に備え、
    前記従同期処理部は、前記状態信号に前記計数部による計数値を含めて送信し、
    前記主同期処理部は、前記従符号化装置から受信した前記状態信号に含まれる計数値に基づいて、前記複数の符号化装置の同期状態を判断する
    請求項1に記載の符号化システム。
  5. 前記複数の符号化装置の各々に設けられ、前記映像信号に含まれる水平同期信号を計数する計数部を更に備え、
    前記従同期処理部は、前記計数値に基づいて前記複数の符号化装置における自装置の同期状態を判断し、該判断結果を前記状態信号に含めて送信し、
    前記主同期処理部は、前記状態信号に含まれる判断結果から、前記複数の符号化装置の同期状態を判断する
    請求項1に記載の符号化システム。
  6. 映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有する複数の符号化装置のうち、何れか1つの主符号化装置を除いた残りの従符号化装置に、前記主符号化装置から受信した設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する従同期処理部が設けられ、前記主符号化装置として機能する前記符号化装置であって、
    前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信する共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する主同期処理部を備え、前記主符号化装置として機能する符号化装置。
  7. 映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有する複数の符号化装置のうち、何れか1つの主符号化装置を除いた残りの従符号化装置として機能する前記符号化装置であって、
    前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信すると共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する主同期処理部を備えた前記主符号化装置から受信した前記設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する従同期処理部を備えた符号化装置。
  8. 映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準として符号化する符号化処理部を各々が有する複数の符号化装置の何れか1つを主符号化装置とし、前記複数の符号化装置の前記主符号化装置を除く符号化装置を従符号化装置としたときに、
    前記主符号化装置が、前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替えタイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を前記垂直同期信号を基準として前記従符号化装置に送信すると共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視し、
    前記従符号化装置が、前記主符号化装置から受信した設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する符号化方法。
  9. 映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有する複数の符号化装置のうち、何れか1つの主符号化装置を除いた残りの従符号化装置に、前記主符号化装置から受信した設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する従同期処理部が設けられ、前記主符号化装置として機能する前記符号化装置に搭載されたコンピュータに、
    前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信する共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する処理を実行させるためのプログラム。
  10. 映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有する複数の符号化装置のうち、何れか1つの主符号化装置を除いた残りの従符号化装置として機能する前記符号化装置に搭載されたコンピュータに、
    前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信すると共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する主同期処理部を備えた前記主符号化装置から受信した前記設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する処理を実行させるためのプログラム。
  11. 映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有する複数の符号化装置のうち、何れか1つの主符号化装置を除いた残りの従符号化装置に、前記主符号化装置から受信した設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する従同期処理部が設けられ、前記主符号化装置として機能する前記符号化装置に搭載されたコンピュータに、
    前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信する共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する処理を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
  12. 映像信号に含まれるフレーム画像単位の画像データを複数の分割画像データに分割したときの何れかの分割画像データを、前記映像信号に含まれる垂直同期信号を基準とするタイミングで符号化する符号化処理部を各々有する複数の符号化装置のうち、何れか1つの主符号化装置を除いた残りの従符号化装置として機能する前記符号化装置に搭載されたコンピュータに、
    前記複数の符号化処理部の各々による符号化処理の開始タイミング及び符号化パラメータの切替タイミングがフレーム画像単位で同期するように、前記符号化処理部に対する設定を行わせる設定信号を、前記垂直同期信号を基準として前記従符号化装置に送信すると共に、前記従符号化装置から受信した前記従符号化装置の符号化処理部の状態を示す状態信号に基づいて前記複数の符号化装置の同期状態を監視する主同期処理部を備えた前記主符号化装置から受信した前記設定信号に応じて自装置の符号化処理部の設定を行い、自装置の符号化処理部の状態を示す状態信号を前記主符号化装置に送信する処理を実行させるためのプログラムを記録したコンピュータ読取り可能な記録媒体。
JP2014507095A 2012-03-27 2012-03-27 符号化システム、符号化装置、符号化方法、プログラム、及びプログラムを記録したコンピュータ読取可能な記録媒体 Active JP5854127B2 (ja)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/057946 WO2013145126A1 (ja) 2012-03-27 2012-03-27 符号化システム、符号化装置、符号化方法、プログラム、及びプログラムを記録したコンピュータ読取可能な記録媒体

Publications (2)

Publication Number Publication Date
JPWO2013145126A1 JPWO2013145126A1 (ja) 2015-08-03
JP5854127B2 true JP5854127B2 (ja) 2016-02-09

Family

ID=49258493

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014507095A Active JP5854127B2 (ja) 2012-03-27 2012-03-27 符号化システム、符号化装置、符号化方法、プログラム、及びプログラムを記録したコンピュータ読取可能な記録媒体

Country Status (3)

Country Link
US (1) US9560381B2 (ja)
JP (1) JP5854127B2 (ja)
WO (1) WO2013145126A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9553954B1 (en) * 2013-10-01 2017-01-24 Integrated Device Technology, Inc. Method and apparatus utilizing packet segment compression parameters for compression in a communication system
US9313300B2 (en) 2013-11-07 2016-04-12 Integrated Device Technology, Inc. Methods and apparatuses for a unified compression framework of baseband signals
JP6633687B2 (ja) * 2018-05-25 2020-01-22 Nttエレクトロニクス株式会社 映像符号化装置

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH077730A (ja) * 1993-02-26 1995-01-10 Toshiba Corp 同期制御装置および方法
JP3237806B2 (ja) * 1994-09-06 2001-12-10 日本電信電話株式会社 画面分割映像符号化復号化装置
JPH10234043A (ja) * 1997-02-20 1998-09-02 Toshiba Corp 動画像符号化/復号化装置
JPH11239347A (ja) * 1998-02-23 1999-08-31 Victor Co Of Japan Ltd 画像データ符号化装置及び画像データ符号化方法
JP2000338944A (ja) * 1999-05-26 2000-12-08 Mitsubishi Electric Corp マルチディスプレイビデオ表示装置
JP4677733B2 (ja) * 2004-04-15 2011-04-27 ソニー株式会社 サーバ装置、表示装置及び表示方法
JP4384607B2 (ja) * 2005-01-25 2009-12-16 株式会社日立国際電気 画像処理装置
JP4965957B2 (ja) 2006-10-03 2012-07-04 キヤノン株式会社 表示制御装置、表示システム、及び表示制御方法
JP4607856B2 (ja) * 2006-12-26 2011-01-05 富士通株式会社 符号化復号システム及び符号化復号方法
EP2330824A1 (en) * 2009-11-27 2011-06-08 Thomson Licensing Local statistical multiplexing of video streams over internet protocol
WO2013140485A1 (ja) * 2012-03-17 2013-09-26 富士通株式会社 符号化装置、復号化装置、符号化方法および復号化方法

Also Published As

Publication number Publication date
JPWO2013145126A1 (ja) 2015-08-03
WO2013145126A1 (ja) 2013-10-03
US20150003539A1 (en) 2015-01-01
US9560381B2 (en) 2017-01-31

Similar Documents

Publication Publication Date Title
US10390049B2 (en) Electronic devices for sending a message and buffering a bitstream
CN102439974B (zh) 活动图像再生系统及活动图像再生方法
US9392278B2 (en) Image encoding or decoding apparatus, system, method, and storage medium for encoding or decoding a plurality of images in parallel
CN112235597B (zh) 流媒体直播音视频同步保护方法、装置、计算机设备
JP5854127B2 (ja) 符号化システム、符号化装置、符号化方法、プログラム、及びプログラムを記録したコンピュータ読取可能な記録媒体
KR100272397B1 (ko) 화상 통신 시스템 및 그 방법
US20130100331A1 (en) Display device and display system
US9986243B2 (en) Image processor
US20170013206A1 (en) Communication system, communication apparatus, communication method and program
US9426460B2 (en) Electronic devices for signaling multiple initial buffering parameters
JP2014187448A (ja) 映像配信システム及びデコーダ並びに映像配信方法
KR101660778B1 (ko) 스트리밍제어 장치
US9241164B2 (en) Image processor that reduces processing load of a software processing unit
JP2009055579A (ja) 画像符号化装置
JP2017535171A (ja) 先行するデコード化をせずに、いくつかのコード化されたビデオストリームを切断するための装置および方法。
US10129551B2 (en) Image processing apparatus, image processing method, and storage medium
JP6579692B2 (ja) ビデオサーバシステム
JP2007166022A (ja) 映像表示システム及び映像表示装置
JP4068258B2 (ja) 系統切替システム
JP2011061287A (ja) 通信制御装置、通信制御方法、および通信制御プログラム
JP2014017554A (ja) 画像符号化装置
JP4374152B2 (ja) 画像伝送システムおよび画像送信装置および画像受信装置
JP2012065177A (ja) 画像符号化装置、画像符号化方法、画像復号装置、及び画像復号方法
JP6490945B2 (ja) 画像処理装置
JP6490946B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151110

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151123

R150 Certificate of patent or registration of utility model

Ref document number: 5854127

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150