JP4359307B2 - 画像データ処理回路 - Google Patents

Description

本発明は、画像データ処理回路等に関する。

ＩＳＤＢ−Ｔ（地上波統合デジタル放送）などのデジタル放送を受信するデジタル画像受信機における受信エラー対策として、特許文献１（特開２００３−２９９０３４号公報）に示されるようなビデオモーションダンパー回路（以下、単に“ＶＭＤ回路”と言う）、及びビデオモーションダンパーシステム（以下、単に“ＶＭＤＳ”と言う）を用いた画像データ処理方法が知られている。同システムは、受信エラーの発生及び回復時に同回路内にストアされた画像データを利用して動画と静止画を混合出力することにより、受信エラーに伴う再生画像の断続による視覚上の違和感を軽減させるものである。
従来のＶＭＤ回路の構成を図１に示す。同図において、ＦＩＦＯ１〜７によって示されるフレームメモリ１１は、先入れ・先出し（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）方式のメモリである。ＦＩＦＯ１〜７各段のフレームメモリは、全て直列に接続されており前段フレームメモリの出力が次段フレームメモリの入力に接続され、全体として１つの大きなＦＩＦＯ方式のメモリを構成している。また、フレームメモリ１１の各段の出力毎に画像データの引出しが可能な出力タップが設けられている。ＦＩＦＯ１〜７各段のフレームメモリには、デジタル画像受信機で受信されたデジタル画像データが、例えば、フィールド単位毎、或いはフレーム単位毎に順次格納される。なお、フレームメモリ１１に含まれるＦＩＦＯの段数は、図１の回路に限定されるものでないことは言うまでもない。
タップ選択部１２は、フレームメモリ１１の各段からの出力タップを選択／切換して、受信したデジタル画像データを選択した出力タップから取り出す回路である。
エラー検知部１３は、デジタル画像受信機のフロントエンド回路やデータ再生回路等（いずれも図示せず）で検出された、例えば、キャリア同期外れ信号やパケットエラー信号、或いはデータ誤り率信号等の各種のエラー信号を受付て、所定のエラー状態検知信号を生成して、これをＶＭＤＳ制御部１４に通報する回路である。
ＶＭＤＳ制御部１４は、エラー検知部１３からのエラー状態検知信号に基づいて、ＶＭＤＳの所定のアルゴリズムに従ってタップ選択部１２のタップ切換を制御する回路である。
なお、ＶＭＤ回路１０は、デジタル画像受信機の内部において、放送規格に応じた圧縮データを復号するブロックであるチャンネルデコーダ回路と、かかる圧縮データを拡張してベースバンド信号に変換するブロックであるソースデコーダ回路との間に設けるようにしても良い。或いは、上記ソースデコーダ回路と、デジタル画像信号をアナログ画像信号に変換するブロックであるビデオエンコーダ回路との間に設けても良い（いずれの回路も図示せず）。
次に、ＶＭＤ回路１０によるＶＭＤＳの処理について説明する。
先ず、受信エラーが生じていない場合、フレームメモリ１１のうちＦＩＦＯ４の出力タップがタップ切換部１２によって選択され、ＦＩＦＯ４からの出力がＶＭＤ回路１０からの画像出力データとして後段の各回路に供給される。ＦＩＦＯ４は、フレームメモリ１１の初段であるＦＩＦＯ１から数えて４段目のフレームメモリに相当する。したがって、ＦＩＦＯ１〜７の各段のフレームメモリに１フレームずつの画像データがストアされるものとすると、図２の出力データ欄に示される如く、ＶＭＤ回路１０からは、入力される画像データに対して４フレーム分遅延された画像データが出力されることになる。
なお、図中の数字は、画像データのフレームナンバーを表しており、また、点線で囲まれた数字は、タップ切換部１２によって選択されたＦＩＦＯのタップから出力される画像データのフレームナンバーを表している。
次ぎに、受信エラーの発生及び回復時におけるＶＭＤ回路１０の動作を図３に基づいて説明する。
先ず、図３に示される如く、入力画像データの第１２フレーム目で受信エラーが発生して、かかる情報がエラー検知部１３からＶＭＤＳ制御部１４に通知されたものと仮定する。
ＶＭＤＳ制御部１４は、ＦＩＦＯ４から第８フレーム目を出力し終わると、出力タップをＦＩＦＯ５に切り換える指令をタップ切換回路１２に通知する。そして、ＦＩＦＯ５から第８及び第９の２つのフレームが出力されると、ＶＭＤＳ制御部１４は、さらに出力タップ位置を進める指令をタップ切換回路１２に通知する。
タップ切換回路１２ではこれに応じて出力タップの切換が行われ、図３に示される如く、受信エラーの発生前に受信された最後の正常データである第１１フレーム目がＦＩＦＯ７から出力されるまで、かかる処理が続行される。因みに、受信エラーの発生時におけるフレームメモリの出力タップ位置の切換処理をビデオモーションダンプ（ＶＭＤ）処理と称する。
その後、入力画像データの第１８フレーム目で受信エラーが回復したものと仮定する。
ＶＭＤＳ制御部１４は、エラー発生時までにストアしたデータを出し切った時点（ＦＩＦＯ７からの第１１フレーム目を出力した時点）で、エラー回復後の最先の画像データである第１８フレーム目が格納されているＦＩＦＯ１の出力タップ位置を選択する指令をタップ切換回路１２に出力する。
その後、ＶＭＤＳ制御部１４は、タップ切換回路１２に対して、図３に示す如く、所定のフレーム数を出力する毎に出力タップ位置を徐々に進める指令を通知する。そして、フレームメモリ１１の出力タップ位置がＦＩＦＯ４に達すると、ＶＭＤＳ制御部１４は、タップ切換部１２におけるタップ切換処理を停止させて出力タップ位置をＦＩＦＯ４に固定する指令を行う。
なお、受信エラーの回復後におけるフレームメモリ１１の出力タップ位置の切換処理をリカバリー処理と称する。
以上に説明したＶＭＤ処理、及びリカバリー処理の期間中は、ＶＭＤ回路１０から図３の出力データの欄に示される如く、フレームナンバーが１づつ歩進する動画出力と、フレームナンバーが停滞する静止画出力が混在して出力される。これによって、受信エラーによって再生画像の出力が単に静止画のみとなる場合に比較して、視覚上の違和感が緩和されることになる。
しかしながら、例えば、受信エラーが頻発するような受信環境においては、ＶＭＤ処理とリカバリー処理が同時に発生する場合があり、ＶＭＤ回路１０の制御部のマイクロプロセッサや内蔵メモリの負担が増大するおそれがある。また、以上に説明した如く、ＶＭＤ処理とリカバリー処理は、それぞれほぼ同程度の処理時間が必要とされる。しかし、本来的に必要な機能はＶＭＤ処理であって、リカバリー処理は、次のエラー発生時におけるＶＭＤ処理を行うための準備に過ぎない。そして、両処理共ににその処理期間内は、正常データの受信時に比較して再生画像の動きが不自然になるため、かかる処理時間中に含まれる静止画出力の割合は小さいことが望ましい。

本発明が解決しようとする課題には、受信機における受信エラーの回復時に視覚上の違和感を軽減させる画像データ処理回路を提供することが一例として挙げられる。
本発明は、受信した画像データを画像データメモリに順次書き込むデータ書込み手段と、読出しアドレスに基づいて前記画像データメモリから前記画像データを読み出すデータ読出し手段と、受信エラーを検知するエラー検知手段とを有し、前記データ読出し手段がエラー発生期間内に前記読出しアドレスを暫時固定したまま画像データを読み出す静止画読出しモードと、前記読出しアドレスを前記画像データの書込み順に変化させつつ画像データを読み出す動画読出しモードとを選択的に実行する受信機における画像データ処理回路であって、前記エラー検知手段の検知結果に基づく受信エラーの発生状況をエラー履歴情報として記憶するエラー履歴記憶手段と、前記検知結果より受信エラーの回復を検出した際に前記エラー状況記憶手段に記憶されたエラー履歴情報に基づいて前記データ読出し手段を制御する制御手段と、をさらに含むことを特徴とする。

図１は、従来のＶＭＤ回路の構成を示すブロック図であり、
図２は、図１のＶＭＤ回路において、正常データ受信時における出力データの遷移の様子を示すデータ遷移図であり、
図３は、図１のＶＭＤ回路において、受信エラー発生時における出力データの遷移の様子を示すデータ遷移図であり、
図４は、本発明の実施の形態にかかる画像データ処理回路を示すブロック図であり、
図５は、本発明の実施の形態にかかる画像データ処理方法の第１の実施例による処理を示すデータ遷移図であり、
図６は、図５の変形実施例による処理を示すデータ遷移図であり、
図７は、本発明の実施の形態にかかる画像データ処理方法の第２の実施例による処理を示すデータ遷移図である。

本発明の実施の形態にかかる画像データ処理回路について図４を参照して説明する。
図４は、本発明の実施の形態にかかる画像データ処理回路の構成を示すブロック図である。図４において、画像データ処理回路２０は、データ書込み手段２１、画像データメモリ２２、データ読出し手段２３、エラー検知手段２４、エラー履歴記憶手段２５、及び制御手段２６を備えて構成されている。
画像データ処理回路２０において、データ書込み手段２１は、画像データ処理回路２０が設けられている受信機が受信したデータを画像データメモリ２２のメモリ上の所定アドレスに書き込む部位である。
画像データメモリ２２は、データ書込み手段２１によって書き込まれたデータを格納する部位である。
データ読出し手段２３は、画像データメモリ２２上の所定アドレスから画像データを読み出す部位である。
エラー検知手段２４は、画像データ処理回路２０を含む受信機における受信信号のエラーを検知する部位である。
エラー履歴記憶手段２５は、エラー検知手段２４の検知結果をエラー発生状況の履歴情報として記憶する部位である。
制御手段２６は、データ読出し手段２３が画像データメモリ２２から所望のデータを読み出せるように、所定の読出しアドレスを生成してデータ読出し手段２３を制御する部位である。
次に、本発明の実施の形態にかかる画像データ処理回路２０の動作を説明する。
制御手段２６は、エラー検知手段２４の検知結果から受信エラーの発生期間内であると判断すると、データ読出し手段２３に対して静止画読出しモードと動画読み出しモードとを選択的に実行させる制御を行う。ここで、静止画読出しモードとは読出しアドレスを暫時固定したまま画像データを読み出すモードであり、動画読出しモードとは読出しアドレスを画像データの書き込み順に変化させつつ画像データを売み出すモードをいう。なお、エラー発生期間内において、データ読出し手段２３が上記２つのモードを選択的に実行する処理をビデオモーションダンパー処理（ＶＤＭ処理）という。
一方、制御手段２６は、エラー検知手段２４の検知結果から受信エラーが回復したと判断すると、画像データメモリ２２から受信エラー回復以降のデータを読み出す際にデータ読出し手段２３に対して、再び、静止画読み出しモードと動画読出しモードとを選択的に実行させる制御を行う。受信エラー回復後にこのような動作を行うことで、データ書込み手段２１による書込みデータに対してデータ読出し手段２３からの読出しデータを時間的に送らせることができ、読出しデータについてのバッファを設けたことに相当する効果が得られる。なお、受信エラーの回復後に、データ読出し手段２３が上記２つのモードを選択的に実行する処理をリカバリー処理という。
受信エラー回復後において画像データメモリ２２からデータを読み出す際に、制御手段２６は、エラー履歴記憶手段２５に記憶されている受信エラーの発生状況を示す履歴情報に応じてデータ読出し手段２３を制御する。
具体的には、制御部２６は、上記の履歴情報から受信エラーの発生頻度が低いと判断した場合（例えば、発生頻度が所定の第１閾値未満の場合）、それ以外の場合（例えば、所定の第１閾値以上の場合）に比較して、長期間に亘り、受信エラー回復後のデータ読み出しから動画読出しモードをデータ読出し手段２３に継続して実行させる制御を行う。受信エラーの発生頻度が低い状況下では受信状態が安定しているため、受信エラー回復直後に読み出しデータについて上記のバッファをすぐに設ける必要はない。そのため、エラー回復直後のデータ読み出しから動画読み出しモードを長時間実行することで、エラー回復直後から動画を再生することができる。なお、受信エラーの発生頻度とは、例えば、所定時間内における受信エラーの発生回数によって定義するようにしても良い。また、受信エラーの発生回数だけでなく受信エラーの発生時間を考慮するようにしても良い。
受信エラーの発生頻度が低い状況下では、制御手段２６は、読み出しデータのバッファを設けるためにリカバリー処理を実行させる際に、動画読出モードを受信エラーの発生頻度が低い状況以外のときよりも長時間実行させるような制御を行うようにしても良い。これによって、ユーザー等の視覚には、常に動画が再生出力されているように見せることができる。
一方、制御手段２６は、上記の履歴情報から受信エラーの発生頻度が高いと判断した場合（例えば、発生頻度が所定の第２閾値以上の場合）、次の受信エラーが発生するまで、受信エラー回復直後のデータの読み出しから動画読出しモードをデータ読出し手段２３に継続して実行させる制御を行う。受信エラーの発生頻度が高い状況下では受信状況が不安定で、受信エラーが回復してもすぐにエラーが発生して、ＶＭＤ処理を実行する必要が生ずる可能性が高い。このような状況下では、リカバリー処理を実行せずに動画読出しモード継続して実行することで、リカバリー処理中にＶＭＤ処理に切り換える煩雑さを回避することが可能となり、制御部処理動作の負荷を低減させることができる。
また、このように受信エラーの発生頻度が高い状況下において、制御手段２６は、データ書込み手段２１の書込みデータと、データ読出し手段２３の読出しデータが時間的に接近したときは、上記のバッファがなくなりつつある状態を意味する。したがって、この場合は、当該バッファを確保するためにリカバリー処理を行うようにしても良い。
以上に説明したように、本発明の実施の形態にかかる画像データ処理回路は、受信エラー回復後のデータ読み出しにおいて、受信エラーの発生状況を記憶した履歴情報を用いてデータ読出し手段２３を制御することで、ユーザーの視覚上適した画像再生を行うことができ、さらに、制御手段２６の処理動作の負荷を低減させることが可能となる。

第１の実施例．
本発明の実施の形態にかかる画像データ処理回路によって為される画像データ処理方法の第１の実施例を、図５の出力データ遷移図に基づいて説明する。なお、本実施例は、受信エラーの発生頻度が低い場合におけるリカバリー処理の方法を規定するものである。また、本実施例によるリカバリー処理が実行される回路は、動作説明の便宜上、図１に示された回路を用いるものとする。
先ず、図５に示される如く、入力画像データの第１２フレーム目で受信エラーが発生して、かかる情報がエラー検知部１３からＶＭＤＳ制御部１４に通知されたものとする。これによって、ＶＭＤ回路１０は、前述したＶＭＤＳのアルゴリズムに従ってＶＭＤ処理を実行する。
その後、入力画像データの第１８フレーム目で受信エラーが回復したものとする。ＶＭＤ回路１０では、エラー発生時までにフレームメモリ１１にストアされた最後の画像データである第１１フレーム目がＦＩＦＯ７から出力されると、その時点で、エラー回復後における最先の画像データである第１８フレーム目が格納されているＦＩＦＯ１の出力タップを選択される。
本実施例において、ＶＭＤＳ制御部１４は、受信エラー回復時点の前後における受信エラーの発生頻度の高低を、エラー検知部１３からの情報に基づいて把握しているものとする。受信エラーの発生頻度は、例えば、単位時間内における受信エラーの発生回数から求めるようにしても良し、当該発生頻度の高低は、算出した発生頻度を所定の閾値と比較することにより求めても良い。
ＶＭＤＳ制御部１４は、受信エラーの発生頻度が低いと認識した場合、従来の出力タップ切換時間間隔によるリカバリー処理を行わず、フレームメモリ１１の出力タップ位置を所定時間Ｔ１の間、受信エラーの回復後最初に選択したＦＩＦＯ１に固定する。なお、視覚上の違和感を軽減させるべく、かかる時間Ｔ１は、図５のＶＭＤ処理に要する時間Ｔｖｄｍに比較して十分に長い時間とすることが望ましい。
時間Ｔ１の経過後、即ち、図５の入力画像データの第３１フレーム目において、ＶＭＤＳ制御部１４は、フレームメモリ１１の出力タップの位置をＦＩＦＯ２に進める指令をタップ切換回路１２に通知する。その後、所定時間Ｔ２の経過後、ＶＭＤＳ制御部１４は、出力タップ位置をＦＩＦＯ３に進める指令をタップ切換回路１２に通知し、さらに所定時間Ｔ３が経過すると、出力タップ位置をＦＩＦＯ４に進める指令をタップ切換回路１２に通知する。
以上に説明した如く、本実施例によれば、リカバリー処理におけるフレームメモリ１１の出力タップ位置の切換時間間隔が比較的長時間に設定されるため、リカバリー処理期間中（Ｔ１＋Ｔ２＋Ｔ３）に占める出力タップ切換時に生じるフレームナンバー停滞期間の割合を低減させることができる。すなわち、リカバリー処理の過程において、出力画像データ中に含まれる静止画の比率を低くすることが可能であり、リカバリー処理中における視覚上の違和感を減少させつつ、次のモーションダンプ処理に対する準備を行うことができる。
なお、図５に示す事例では、ＦＩＦＯ１〜３各々の出力タップ位置の保持時間を
Ｔ１＝Ｔ２＝Ｔ３
と設定したが、本実施例は、かかる事例に限定されるものではない。
例えば、図６の出力データ遷移図に示される如く、ＦＩＦＯ１〜３各々の出力タップ位置の保持時間を
Ｔ１＞Ｔ２，Ｔ３
と設定するようにしても良い。この場合、受信エラー回復後の比較的長期間Ｔ１に亘りＦＩＦＯ１の出力タップを選択した後に、通常のタップ切換時間間隔によるリカバリー処理を行って出力タップ位置をＦＩＦＯ４に戻すことになる。この場合においても、ＶＭＤ処理とリカバリー処理とを、時間的に十分に隔離することができるので、視覚上の違和感を緩和することができる。
第２の実施例．
次に、本発明の実施の形態にかかる画像データ処理回路によって為される画像データ処理方法の第２の実施例を図７の出力データ遷移図に基づいて説明する。なお、本実施例は、受信エラーの発生頻度が比較的に高い場合のリカバリー処理（Ｒ処理）の方法を規定するものである。また、本実施例によるリカバリー処理が実行される回路は、動作説明の便宜上、第１実施例と同様とする。
先ず、図７に示される如く、入力画像データの第１２フーム目で受信エラーが発生して、かかる情報がエラー検知部１３からＶＭＤＳ制御１４に通知されたものとする。これに伴ってＶＭＤ回路１０は、前述のＶＭＤＳのアルゴリスムに従ってＶＭＤ処理を実行する。
その後、入力画像データの第１５フレーム目で受信エラーが回復したものと想定する。ＶＭＤ回路１０は、エラー発生時までにフレームメモリ１１にストアされた最後の画像データである第１１フレーム目をＦＩＦＯ６から出力し終わると、その時点でエラー回復後における最先の画像データである第１５フレーム目が格納されているＦＩＦＯ３の出力タップ位置を選択する。
本実施例において、ＶＭＤＳ制御部１４は、受信エラー回復時点の前後における受信エラーの発生頻度を、エラー検知部１３からの情報に基づいて把握しているものとする。受信エラーの発生頻度は、例えば、単位時間内における受信エラーの発生回数から求めるようにしても良い。また、発生頻度の高低は、算出した発生頻度を所定の閾値と比較することにより求めても良い。なお、図７に示される事例では、第１２フレーム目で発生した受信エラーの以前においても、同図には示されぬ受信エラーが多々発生しており、受信エラーの発生頻度が十分に高い場合であるものとする。
ＶＭＤＳ制御部１４は、受信エラーの発生頻度が高いと認識した場合、先ず、エラー回復後の最先の画像データが格納されているとして選択したフレームメモリの出力タップ位置をチェックする。そして、当該出力タップ位置がフレームメモリ１１の初段ＦＩＦＯ１ではない場合、従来のリカバリー処理を行わず、当該選択したタップ位置（ＦＩＦＯ３）をそのまま保持する。
図７に示される事例では、その後、入力画像データの第２１フレーム目で再び受信エラーが発生する。これを検知したＶＭＤＳ制御部１４は、ＶＭＤ処理に移行してＦＩＦＯ３からＦＩＦＯ４へのタップ切換を指令する。
図７では、第２１フレーム目で発生した受信エラーが、その直後の第２３フレーム目で回復するため、ＦＩＦＯ４から第２０フレーム目のデータが出力された時点で、ＶＭＤ回路１０はＶＤＭ処理を中止する。そして、ＶＭＤＳ制御部１４は、その時点で最先のエラー回復後の受信データである第２３フレーム目が格納されているＦＩＦＯ２の出力タップを選択する指令をタップ切換部１２に出力する。
この場合もＶＭＤＳ制御部１４は、同時点において受信エラーの発生頻度が高いこと、及びエラー回復後に最初に選択した出力タップ位置がフレームメモリ１１の初段ＦＩＦＯではないことを認識しているので、従来のリカバリー処理は行われず、選択されたＦＩＦＯ３のタップ位置がそのまま保持される。
その後、入力画像データの第３０フレーム目で再び受信エラーが発生して、ＶＤＭ処理が行われ、さらに、第３３フレーム目でこの受信エラーが回復するが、このときエラー回復後に選択される出力タップの位置は、フレームメモリ１１の初段であるＦＩＦＯ１に復帰している。ＶＭＤＳ制御部１４は、かかる状態を認識すると、従来のリカバリー処理を実行する指令をタップ切換部１２に通知する。これによって、ＶＭＤ回路１０では、入力画像データの第３４フレームから第３９フレームにかけて通常のリカバリー処理が行われ、第３９フレーム目で出力タップの位置が定常状態であるＦＩＦＯ４に固定される。なお、入力画像データの第４０フレーム目以降の動作については、上記の説明と重複するためこれを省略する。
以上に説明した如く、本実施例によれば、受信エラーの回復後に選択される出力タップの位置がフレームメモリ１１の初段ＦＩＦＯに戻るまで、従来のリカバリー処理を行わず受信エラー発生時におけるＶＭＤ処理のみを実行する。これによって、受信エラーが輻輳した場合でも、リカバリー処理とＶＭＤ処理との切換回数を低減させることが可能となり、ＶＭＤ回路１０に含まれるマイクロプロセッサやメモリ回路の負荷を低減させることができる。
以上の説明および添付図面は本発明の好ましい形態を開示するものと理解される。また、開示した発明の範囲および精神から逸脱することなく上記教示内容に鑑みて、種々の変更、追加および代替をなし得ることは、当業者において明らかである。したがって、本発明は、添付の請求の範囲内において実施され得るが、開示された実施例に限定されない。
本出願は、日本国特許出願第２００４−１０４９０３号公報に基づくものであり、当該公報を援用することにより当該公報の開示内容を含むものである。

Claims (3)

1. 受信した画像データを画像データメモリに順次書き込むデータ書込み手段と、読出しアドレスに基づいて前記画像データメモリから前記画像データを読み出すデータ読出し手段と、受信エラーを検知するエラー検知手段とを有し、前記データ読出し手段がエラー発生期間内に前記読出しアドレスを暫時固定したまま画像データを読み出す静止画読出しモードと、前記読出しアドレスを前記画像データの書込み順に変化させつつ画像データを読み出す動画読出しモードとを選択的に実行する受信機における画像データ処理回路であって、
   前記エラー検知手段の検知結果に基づく受信エラーの発生状況をエラー履歴情報として記憶するエラー履歴記憶手段と、
   前記検知結果より受信エラーの回復を検出した際に、前記エラー状況記憶手段に記憶されたエラー履歴情報に基づいて前記データ読出し手段を制御する制御手段と、
   をさらに含むことを特徴とする画像データ処理回路。
2. 前記制御手段は、前記エラー履歴情報に基づいて受信エラーの発生頻度が第１閾値未満であると判断した際に、前記発生頻度が前記第１閾値以上の場合に比較して長期間に亘り、前記データ読出し手段に対して受信エラー回復直後のデータ読み出しから前記動画読出しモードを継続して実行させる制御を為すことを特徴とする請求項１に記載の画像データ処理回路。
3. 前記制御手段は、前記エラー履歴情報に基づいて受信エラーの発生頻度が第２閾値以上であると判断した際に、次回の受信エラーが発生するまでの間、前記データ読出し手段に対して受信エラー回復直後のデータ読み出しから前記動画読出しモードを継続して実行させる制御を為すことを特徴とする請求項１または２に記載の画像データ処理回路。

Images