JP4266733B2

JP4266733B2 - 映像受信装置

Info

Publication number: JP4266733B2
Application number: JP2003195119A
Authority: JP
Inventors: 修村山; 進岡; 幸保川畑; 武史三尾; 守男吉本
Original assignee: Mitsubishi Electric Corp
Current assignee: Mitsubishi Electric Corp
Priority date: 2003-07-10
Filing date: 2003-07-10
Publication date: 2009-05-20
Anticipated expiration: 2023-07-10
Also published as: JP2005033424A

Description

【０００１】
【発明の属する技術分野】
この発明は、映像データ通信における映像受信装置に関するものである。
【０００２】
【従来の技術】
映像データ通信を行う際に、伝送路でデータの欠落やデータ化けが発生すると、受信側で再生する場合に表示映像が乱れることになる。
そこで、従来のビデオ・オン・デマンド（ＶＯＤ）システム等の映像データ転送方式としては、受信側で受信データに欠落がある場合には送信側に再送要求を行っている（例えば、特許文献１参照）。
【０００３】
【特許文献１】
特開平１０−１０８１５７号公報
【０００４】
【発明が解決しようとする課題】
従来の映像データ転送方式は以上のように構成されているので、欠落があったデータの再送が、受信側での再生タイミングに間に合うように、送信側で予め映像データ自体の固有のビットレートより速いレートで送信する必要があるが、映像データのビットレートよりどれだけ速いレートで伝送すべきかは、再送要求の発生頻度に依存していた。また、あるシーンの映像の乱れが受信側で視聴するユーザにとって重要でない場合にも、その乱れを起こさせないために、伝送路の帯域やメモリ量を確保する必要があるなどの課題があった。
【０００５】
この発明は上記のような課題を解決するためになされたもので、映像データの優先度に基づいて再送要求の認否を決定することにより、ネットワークの伝送帯域を削減する映像受信装置を得ることを目的とする。
【０００６】
【課題を解決するための手段】
この発明に係る映像受信装置は、ネットワークを通じて受信された映像データの誤りや欠落を検出するインタフェース部と、インタフェース部により受信された映像データを蓄積しながら再生すると共に、受信された映像データの再生時に、ユーザの再生操作に応じて通常のリアルタイム再生よりも表示時間を短く再生された映像データを優先度が低いと判定し、相対的にそれ以外の映像データを優先度が高いと判定する蓄積再生部と、インタフェース部により映像データに誤りや欠落が検出され、且つ蓄積再生部により映像データの優先度が高いと判定された場合にのみ映像データの再送要求を決定し、映像データを再送要求する場合には、インタフェース部からネットワークを通じて映像データの送信元に映像データを再送要求させる再送要求部とを備えたものである。
【０００７】
【発明の実施の形態】
以下、この発明の実施の一形態を説明する。
実施の形態１．
図１はこの発明の実施の形態１による映像受信装置を示す構成図であり、図において、映像受信装置１は、例えば、遠隔地の映像監視システム等、遠隔地から伝送されてくる映像データ１１を、蓄積しながらリアルタイムに再生する装置である。
その映像受信装置１において、ネットワークＩ／Ｆ部（インタフェース部）２は、ネットワークを通じて受信された映像データ１１の欠落やエラーの有無を検出したり、映像データを再送要求する場合には、ネットワークを通じてその映像データの送信元に再送要求情報１２を送信するものである。
蓄積再生部３は、ネットワークＩ／Ｆ部２により受信された映像データ１３を蓄積しながらリアルタイムに再生するものである。
再送要求部４は、ネットワークＩ／Ｆ部２により欠落やエラーが検出された映像データ１１の再送要求の認否をその映像データ１１の優先度に基づいて決定し、再送要求する場合には、ネットワークＩ／Ｆ部２に再送要求出力指示情報１５を出力するものである。
【０００８】
次に動作について説明する。
ネットワークを通じて外部から伝送されてくる映像データ１１は、所定のプロトコルに従ったデータであり、例えば、ＲＴＰ（ＲｅａｌＴｉｍｅｔｒａｎｓｐｏｒｔＰｒｏｔｏｃｏｌ）使用の場合なら、映像データ部にＲＴＰヘッダが付加された映像データ１１が伝送されてくる。
ネットワークＩ／Ｆ部２では、その映像データ１１の欠落やエラーの有無を検査し、蓄積再生部３にその欠落やエラー確認後の映像データ１３を出力すると共に、再送要求部４にその欠落やエラー検査結果に応じた伝送エラー情報１４を出力する。
例えば、データ欠落の検査は、ＲＴＰならＲＴＰヘッダにあるシーケンス番号（通し番号）を確認し、シーケンス番号に飛びがある場合には欠落と判断してそのシーケンス番号に欠落がある旨の伝送エラー情報１４を再送要求部４に出力する。また、データエラーの検査は、送信元で映像データ１１の伝送単位毎に、ＣＲＣ（ＣｙｃｌｉｃＲｅｄｕｎｄａｎｃｙＣｈｅｃｋ）コード等の誤り検出データを付与しておき、受信側で検査することで判断することができる。エラーを検出した場合も同様にそのシーケンス番号にエラーがある旨の伝送エラー情報１４を再送要求部４に出力する。
ネットワークＩ／Ｆ部２では、映像データ１１からＲＴＰヘッダを除去し、そのＲＴＰヘッダを除去した映像データ１３とそのＲＴＰヘッダに付加されたシーケンス番号とを対にして蓄積再生部３に出力する。
【０００９】
蓄積再生部３では、ネットワークＩ／Ｆ部２により受信され、ＲＴＰヘッダ等が除去された映像データ１３をそのシーケンス番号と対にしてＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）等で蓄積しながら、再生映像データ１６に変換（復号）し、ユーザにディスプレイ等でリアルタイムに表示する。
また、再送要求部４では、ネットワークＩ／Ｆ部２により映像データ１１の欠落やエラーが検出され、伝送エラー情報１４が入力された場合に、その映像データ１１の再送要求を行うかどうかをその映像データ１１の優先度に基づいて決定し、再送要求する場合には、欠落やエラーが検出されたシーケンス番号からなる再送要求出力指示情報１５をネットワークＩ／Ｆ部２に出力し、ネットワークＩ／Ｆ部２では、再送要求送受信のプロトコルに従えばＴＣＰ（ＴｒａｎｓｍｉｓｓｉｏｎＣｏｎｔｒｏｌＰｒｏｔｏｃｏｌ）使用の場合なら、その再送要求出力指示情報１５にＴＣＰヘッダを付加した再送要求情報１２をネットワークを通じて映像データの送信元に送信する。
【００１０】
映像データの送信元から、再送要求情報１２に応じた映像データ１１がネットワークを通じて再送された場合には、ネットワークＩ／Ｆ部２では、映像データ１１からＲＴＰヘッダを除去し、そのＲＴＰヘッダを除去した映像データ１３とそのＲＴＰヘッダに付加されたシーケンス番号とを対にして蓄積再生部３に出力する。このシーケンス番号は、再送要求情報１２に含まれたシーケンス番号と同一のものである。
蓄積再生部３では、既に受信され蓄積された映像データ１３のうちの再送されたシーケンス番号に該当する映像データ１３を書き換えることによって補完し、さらに、補完された映像データ１３を再生映像データ１６に変換（復号）することによって、ユーザに再送処理の無い場合と比べて乱れの少ない映像をディスプレイ等でリアルタイムに表示する。
【００１１】
ところで、再送要求部４における映像データの優先度の高低は、その映像データの特徴により判定するようにしても良い。
例えば、受信される映像データが国際的な符号化方式であるＭＰＥＧ−２またはＭＰＥＧ−４ビデオ形式で符号化されていた場合、蓄積再生部３において、Ｉピクチャの一部または全部を含むデータが復号され再生された時に、その映像データが高優先度であると判定し、そのシーケンス番号を含む優先度情報１８を再送要求部４に出力するようにしても良いし、特にＭＰＥＧ−４ビデオ形式については、ＤＣＩ（ＤｅｃｏｄｅｒＣｏｎｆｉｇｕｒａｔｉｏｎＩｎｆｏｒｍａｔｉｏｎ）と呼ばれる符号化パラメータに関する情報を含むデータが復号され再生された時に、その映像データが高優先度であると判定し、そのシーケンス番号を含む優先度情報１８を再送要求部４に出力するようにしても良い。
この場合、再送要求部４では、伝送エラー情報１４が入力されると共に優先度情報１８が入力され、両者のシーケンス番号が一致する場合に再送要求出力指示情報１５を出力する。
このように、蓄積再生部３では、受信された映像データ１３の再生時に、その映像データ１３の特徴に応じて優先度を判定し、判定した優先度情報１８を再送要求部４に出力するので、映像受信装置としては、何ら操作することなく映像データ１１の優先度を決定することができる。
【００１２】
また、ネットワークを通じて映像データ１１のみがネットワークＩ／Ｆ部２に伝送されてくるものについて説明したが、伝送されてくるデータは映像データ１１のみならず、音声やその他のデータが多重化されたものであっても良く、その場合、音声の優先度をその音声の特徴に従い決定したり、その他のデータの優先度をその他のデータの特徴に従い決定するようにしても良い。例えば、この実施の形態１における映像受信装置１を利用した監視システムにおいて、伝送されてくるデータが映像データ１１に音声データが含まれているものである場合に、再生時の音声レベルの大小でその音声データの優先度を決定しても良い。
この場合、再送要求部４では、音声データに関する伝送エラー情報１４が入力されると共に音声データに関する優先度情報１８が入力され、両者のシーケンス番号が一致し、且つ高優先度である場合にその音声データに関する再送要求出力指示情報１５を出力する。
【００１３】
また、複数のメディアが多重化されている場合に、一方のメディアの特徴により他方のメディアの優先度も決定するようにしても良い。例えば、伝送されてくるデータが映像データ１１に音声データが含まれているものである場合に、優先度が高いと判定された映像データと再生タイミングが近い音声データも同様に優先度が高いとしても良いし、その逆に音声データの優先度に合わせて映像データの優先度を決定しても良い。
この場合、同一時間帯の各メディアの優先度を同一と見なした実際に即した優先度の決定を行うことができる。
【００１４】
なお、映像データあるいは複数のメディアが多重化されたデータの特徴に従った優先度付けについては、映像受信装置１が行っても良いし、送信側で決定され、データに予め優先度情報が付与されるようにしても良い。
例えば、送信側で映像データ１１の映像データ部に予め優先度情報が付与されている場合には、蓄積再生部３でその優先度情報を判定し、また、送信側で映像データ１１のＲＴＰヘッダに予め優先度情報が付与されている場合には、ネットワークＩ／Ｆ部２でその優先度情報を判定するようにすれば良い。
【００１５】
また、蓄積再生部３から出力されディスプレイに表示される再生映像データ１６を見ているユーザがその映像データの優先度付けを行っても良い。例えば、再生映像データ１６を見ていたユーザが特定のシーンの映像の乱れが気になった場合、ユーザは優先度情報１９を再送要求部４に伝え、再送要求部４では、そのシーンを構成する映像データを高優先度と判定し、欠落やエラーがあった場合には再送要求を行うようにしても良い。
この場合、蓄積再生部３では、映像データ１３を再生映像データ１６に復号する際にそのシーケンス番号を再送要求部４に伝え、再送要求部４では、優先度情報１９が入力された時の蓄積再生部３から入力されるシーケンス番号に応じて、高優先度のシーケンス番号を認識し、さらに、ネットワークＩ／Ｆ部２からシーケンス番号を含む伝送エラー情報１４が入力され、両者のシーケンス番号が一致する場合に再送要求出力指示情報１５を出力する。
このように、再送要求部４では、ユーザの指定により映像データ１３の優先度を決定するので、ユーザにとっては、自身の判断から映像データ１３の優先度を決定することができ、利便性を良くすることができる。
【００１６】
また、ユーザが直接優先度を指定せずに、ユーザによる再生方式の操作信号から、優先度を判定しても良い。例えば、ユーザがリアルタイム再生中に、特定のシーンが気になり、リアルタイム再生を中断して一時停止や巻き戻し、スロー再生等の特殊再生を行う場合に、ユーザは特殊再生操作信号１７を蓄積再生部３に対し送る。蓄積再生部３では、特殊再生操作信号１７に従い、再生映像データ１６を変化させながら、再送要求部４にそのシーケンス番号を含む優先度情報１８を送信する。再送要求部４では、伝送エラー情報１４が入力されると共に優先度情報１８が入力され、両者のシーケンス番号が一致する場合に再送要求出力指示情報１５を出力する。
また、これとは逆に、特殊再生からの復帰時、特殊再生中に受信したシーンをスキップまたは早送りした場合、すなわち、表示時間の低いシーンを構成する映像データを優先度が低いと判定し、相対的にそれ以外の映像データを優先度が高いと判定しても良い。
【００１７】
図２は特殊再生による優先度判定を示す説明図であり、送信側から送られてきた映像データ１１をネットワークＩ／Ｆ部２により受信し、蓄積再生部３により復号され、通常再生された場合と、特殊再生された場合とを時系列に示したものである。図において、Ａ〜Ｇはそれぞれ映像データ単位を示したものであり、シーケンス番号が連続した映像データ単位である。Ｈは特殊再生総時間、Ｉは巻戻し時間、Ｊは巻戻し後再生時間、Ｋは処理遅延時間、すなわち、ネットワークＩ／Ｆ部２により受信されてから蓄積再生部３により復号され、再生されるまでの処理による遅延時間である。
図２において、ユーザは左端にある映像データ単位Ａから順にＢ，Ｃ・・・へと、受信したリアルタイム映像データを見る。通常のリアルタイム再生の例では処理遅延時間Ｋ経過後、映像データ単位Ａから順にＢ，Ｃ，Ｄ，Ｅ，Ｆ，Ｇ，・・・へと順次再生される。一方、特殊再生の例では、映像データ単位Ａから順にＢ，Ｃへと順次再生後に、巻戻し処理を行い、巻戻し時間Ｉ経過後に、再度、映像データ単位Ｂ，Ｃを再生し、巻戻し後再生時間Ｊを掛けて表示し、その後、映像データ単位Ｇからリアルタイム映像再生を再開している。
【００１８】
この時、通常通りリアルタイム再生された映像データ単位Ａ，Ｇに比べ、長時間表示された映像データ単位Ｂ，Ｃが相対的に優先度が高いと判断することができる。また、これとは逆に特殊再生操作により表示されなかった映像データ単位Ｄ，Ｅ，Ｆが優先度が低いと判断し、相対的に残りの映像データ単位Ａ，Ｂ，Ｃ，Ｇを優先度が高いと判断しても良い。
このように、受信された映像データの再生時に、ユーザの特殊再生操作信号１７に応じて映像データの優先度を判定し、シーケンス番号を含む優先度情報１８を再送要求部４に出力するようにしたので、ユーザにとって重要な映像データは、再生期間が長くなったり、スロー再生等が行われると推測されることから、そのような再生操作が行われた場合には優先度が高いと判定することで、ユーザ自身が特に優先度を指定することなく、利便性を良くすることができる。
【００１９】
なお、再送要求部４では、伝送エラー情報１４が入力された場合の映像データ１１の再送要求を行うかどうかを、その映像データ１１の優先度が高い場合のみ再送要求するようにしても良く、この場合は、確実に再送処理を制限することができ、ネットワークの伝送帯域を削減することができる。
また、再送要求部４では、伝送エラー情報１４の到着順序に関わらず、優先度の高いものから順に再送要求を行うようにしても良い。
【００２０】
以上のように、この実施の形態１によれば、欠落やエラーが検出された映像データ１１の再送要求の認否を、その映像データ１１の優先度に基づいて決定するようにしたので、重要度の低い映像データの再送処理を制限することで、ネットワークの伝送帯域の圧迫を抑制することができる。
【００２１】
実施の形態２．
図３はこの発明の実施の形態２による映像送信装置を示す構成図であり、図において、映像送信装置２１は、例えば、遠隔地の映像監視システム等、監視カメラの映像信号３１を、蓄積しながらリアルタイムに遠隔地の監視者の元に送信する装置である。
その映像送信装置２１において、蓄積符号化部２２は、監視カメラ２５から入力される映像信号３１を符号化すると共に、一時的に記録媒体に蓄積し、符号化した映像データ３２をネットワークＩ／Ｆ部２３に出力するものであり、また、再送データ出力指示情報３６を入力した場合に、記録媒体に蓄積された該当する映像データ３２をネットワークＩ／Ｆ部２３に出力するものである。
ネットワークＩ／Ｆ部（インタフェース部）２３は、蓄積符号化部２２により符号化された映像データ３２をネットワークを通じて送信するものであり、また、映像データ３２を再送する場合には、ネットワークを通じてその映像データの受信先に再送するものである。
再送制御部２４は、ネットワークＩ／Ｆ部２３からネットワークを通じて映像データ３３の受信先からの再送要求情報３４を受信した場合に、その映像データの再送の認否をその映像データの優先度に基づいて決定し、その映像データを再送する場合には、蓄積符号化部２２に再送データ出力指示情報３６を出力するものである。
【００２２】
次に動作について説明する。
蓄積符号化部２２では、監視カメラ２５から入力される映像信号３１を符号化し、符号化した映像データ３２をネットワークＩ／Ｆ部２３に出力する。
また、ネットワークＩ／Ｆ部２３では、蓄積符号化部２２により符号化された映像データ３２をネットワークを通じて送信する。ここで、プロトコルとしてＲＴＰ使用の場合なら、映像データ３２を映像データ部とし、受信側でのエラー検出にＣＲＣ使用の場合なら、その映像データ部にＣＲＣコード等の誤り検出データを付与すると共に、その映像データ部にシーケンス番号を含むＲＴＰヘッダを付加したデータを映像データ３３として送信する。
さらに、蓄積符号化部２２では、受信先からの映像データ３３の再送要求に応じるために、符号化した映像データ３２とネットワークＩ／Ｆ部２３においてＲＴＰヘッダに付加されたシーケンス番号とを対にして一時的に記録媒体に蓄積しておく。
【００２３】
上記実施の形態１に示したように映像データ３３の受信先において映像データに欠落やエラーがあり、そのシーケンス番号を含む再送要求情報３４が伝送されてきた場合に、ネットワークＩ／Ｆ部２３では、再送要求送受信のプロトコルにＴＣＰ使用の場合なら、その再送要求情報３４からＴＣＰヘッダを取り除いた再送要求情報３５を再送制御部２４に出力する。
再送制御部２４では、再送要求情報３５を入力した場合に、その映像データの再送の認否をその映像データの優先度に基づいて決定し、その映像データを再送する場合には、蓄積符号化部２２にそのシーケンス番号を含む再送データ出力指示情報３６を出力する。
蓄積符号化部２２では、再送データ出力指示情報３６を入力した場合に、記録媒体に一時的に蓄積された映像データから再送データ出力指示情報３６のシーケンス番号に該当する映像データを読み出し、そのシーケンス番号と共に映像データ３２をネットワークＩ／Ｆ部２３に出力する。
ネットワークＩ／Ｆ部２３では、その映像データ３２を映像データ部とし、その映像データ部にシーケンス番号を含むＲＴＰヘッダを付加したデータを映像データ３３としてその受信先に再送する。
【００２４】
なお、再送制御部２４では、再送要求情報３５を入力した場合に、その映像データの再送の認否をその映像データの優先度に基づいて決定するようにしたが、上記実施の形態１の映像受信装置で示したように、受信先からの再送要求情報が既に映像データの優先度に基づいて再送要求の認否が決定されている場合には、改めて再送制御部２４において映像データの再送の認否をその映像データの優先度に基づいて決定することなく、映像データの再送を認めるようにしても良い。
【００２５】
一方、受信先からの再送要求情報が映像データの優先度に基づいて再送要求の認否が決定されていない場合には、この実施の形態２の映像送信装置において、映像データの優先度に基づいて再送の認否を決定するようにする。
例えば、上記実施の形態１で示したように、再送制御部２４における映像データの優先度の高低を、蓄積符号化部２２における符号化方式での映像データの特徴により判定したり、映像データのみならず、複数のメディアが多重化されたメディアを対象にしたり、複数のメディアが多重化されている場合に、一方のメディアの特徴により他方のメディアの優先度も決定するようにしても良い。
この場合、蓄積符号化部２２では、映像データの符号化の際にそのシーケンス番号と共に、映像データの特徴あるいは優先度の高低を再送制御部２４に出力し、再送制御部２４では、再送要求情報３５を入力した場合に、再送要求情報３５に含まれるシーケンス番号と蓄積符号化部２２からのシーケンス番号とが照合された映像データの特徴あるいは優先度の高低からその映像データの再送の認否を決定し、その映像データを再送する場合には、蓄積符号化部２２にそのシーケンス番号を含む再送データ出力指示情報３６を出力するようにすれば良い。
【００２６】
なお、映像送信装置２１から伝送される映像データ３３に、その映像データの優先度情報を付与しても良く、例えば、蓄積符号化部２２において、符号化した映像データの特徴により優先度の高低を判定し、その判定結果を優先度情報として、ネットワークＩ／Ｆ部２３において、伝送される映像データ３３の映像データ部にその優先度情報を付与したり、映像データ３３のＲＴＰヘッダに優先度情報を付与するようにすれば良い。
【００２７】
また、再送制御部２４では、再送要求情報３５が入力された場合の映像データ３３の再送を行うかどうかを、その映像データ３３の優先度が高い場合のみ再送するようにしても良く、この場合は、確実に再送処理を制限することができ、ネットワークの伝送帯域を削減することができる。
また、再送制御部２４では、再送要求情報３５の到着順序に関わらず、優先度の高いものから順に再送を行うようにしても良い。
【００２８】
また、蓄積符号化部２２では、優先度の高い映像データのみ記録媒体に蓄積するようにしても良く、記録媒体の容量を削減することができる。
【００２９】
以上のように、この実施の形態２によれば、映像データの受信先からの再送要求に応じた再送の認否を、その映像データ３３の優先度に基づいて決定するようにしたので、重要度の低い映像データの再送処理を制限することで、ネットワークの伝送帯域の圧迫を抑制することができる。
【００３０】
上記のように、優先度の決定において、受信側で映像を見ているユーザの指定、またはユーザによる映像再生方式の操作信号を利用できるようにしたので、利便性を良くすることができる。
【００３１】
【発明の効果】
以上のように、この発明によれば、誤りや欠落が検出された映像データの再送要求の認否を、その映像データの優先度に基づいて決定するように構成したので、再送処理を制限することができ、ネットワークの伝送帯域を削減することができる効果がある。
【図面の簡単な説明】
【図１】この発明の実施の形態１による映像受信装置を示す構成図である。
【図２】特殊再生による優先度判定を示す説明図である。
【図３】この発明の実施の形態２による映像送信装置を示す構成図である。
【符号の説明】
１映像受信装置、２ネットワークＩ／Ｆ部（インタフェース部）、３蓄積再生部、４再送要求部、１１，１３，３２，３３映像データ、１２，３４，３５再送要求情報、１４伝送エラー情報、１５再送要求出力指示情報、１６再生映像データ、１７特殊再生操作信号、１８，１９優先度情報、２１映像送信装置、２２蓄積符号化部、２３ネットワークＩ／Ｆ部（インタフェース部）、２４再送制御部、２５監視カメラ、３１映像信号、３６再送データ出力指示情報。

Claims

ネットワークを通じて受信された映像データの誤りや欠落を検出するインタフェース部と、
上記インタフェース部により受信された映像データを蓄積しながら再生すると共に、
受信された映像データの再生時に、ユーザの再生操作に応じて通常のリアルタイム再生よりも表示時間を短く再生された映像データを優先度が低いと判定し、相対的にそれ以外の映像データを優先度が高いと判定する蓄積再生部と、
上記インタフェース部により映像データに誤りや欠落が検出され、且つ上記蓄積再生部によりその映像データの優先度が高いと判定された場合にのみ映像データの再送要求を決定し、その映像データを再送要求する場合には、そのインタフェース部からネットワークを通じてその映像データの送信元にその映像データを再送要求させる再送要求部とを備えた映像受信装置。
再送要求部は、
ユーザの指定により映像データの優先度を決定することを特徴とする請求項１記載の映像受信装置。
蓄積再生部は、
受信された映像データの再生時に、その映像データの特徴に応じて優先度を判定し、判定した優先度を再送要求部に出力することを特徴とする請求項１または請求項２記載の映像受信装置。