JPWO2009028101A1 - 信号出力装置、信号出力方法及び信号出力プログラム - Google Patents

Abstract

映像データのフレーム数が少ない場合でも、一定品質を保つ映像を視聴者に提供することを課題とする。信号出力装置は、入力された画像データに基づいて映像信号を出力する信号出力部２６と、画像データを記憶する記憶部２４と、記憶部２４に記憶された、ひとまとまりの画像データに含まれるフレームの数が所定数を満たしているかを検出する検出部２３と、ひとまとまりの画像データに含まれるフレームの数が所定数を満たしていない場合、ひとまとまりの画像データに含まれるフレームの数が所定数を満たすように、新たなフレームをひとまとまりの画像データに追加し、新たなフレームが追加された、ひとまとまりの画像データを信号出力部２６に入力するデータ作成部２５と、を備える。

Description

本発明は、信号出力装置、信号出力方法及び信号出力プログラムに関する。

フレームレート変換方法として、隣接するフレームの間にフレームを追加する方法がある（特許文献１参照。）また、映像フレームの補間には、映画フィルムの２４コマ映像を、１秒間に６０フィールドのインターレース信号に変換する２−３プルダウン方式がある。そして、画像の動きをよりなめらかにするため、画素差分により移動量を判別し、２−３プルダウン方式の補間に適用する方法がある（特許文献２参照）。
特開２００５−１２４２０１号公報 特開２００６−１６５６０２号公報

従来、ワンセグ放送（１セグメント放送）を受信可能なチューナ及びアンテナが接続されたパーソナルコンピュータを用いて、ワンセグ放送を視聴することができる。この場合、放送局から送信される映像フレームをそのまま表示していた。

ワンセグ放送とは、地上ディジタル放送の１チャンネルあたりの帯域（６ＭＨｚ）を１３のセグメントに分け、そのうちの１セグメントを利用して提供される携帯・移動体向けの放送である。このワンセグ放送によって、テレビジョン番組の他、テキストデータや静止画データなどのコンテンツが提供される。

ワンセグ放送では、動画データの圧縮符号化方式としてＨ．２６４／ＡＶＣ（レベル１．２、３２０ｘ２４０または３２０ｘ１８０、最小フレーム間隔１／１５秒）が用いられている。したがって、最大１５フレーム／秒で映像が表示されるが、この値は最大値である。放送局から送信される映像データ（画像データ）の映像フォーマットは、放送局のテレビジョン番組に依存する。そのため、１２フレーム／秒で映像データが放送局から放送される場合がある。

１５フレーム／秒で映像データが放送される場合と、１２フレーム／秒で映像データが放送される場合とでは、表示される映像の見た目の品質が異なる。そのため、チャンネルが切り替えられた際、切り替わる前の映像と切り替わった後の映像とでは、見た目の品質が異なる場合がある。また、放送局が同じであっても、放送される映像の見た目の品質が異なる場合がある。

本発明は、上記の問題に鑑み、映像データのフレーム数が少ない場合でも、一定品質を保つ映像を視聴者に提供することを課題とする。

本発明は、上記課題を解決するために、以下の手段を採用した。すなわち、本発明は、入力された画像データに基づいて映像信号を出力する信号出力部と、画像データを記憶する記憶部と、前記記憶部に記憶された、ひとまとまりの画像データに含まれるフレームの数が所定数を満たしているかを検出する検出部と、前記ひとまとまりの画像データに含まれるフレームの数が所定数を満たしていない場合、前記ひとまとまりの画像データに含まれるフレームの数が所定数を満たすように、新たなフレームを前記ひとまとまりの画像データに追加し、新たなフレームが追加された、ひとまとまりの画像データを前記信号出力部に入力するデータ作成部と、を備える信号出力装置である。

本発明によれば、ひとまとまりの画像データに含まれるフレームの数が所定数を満たすように、新たなフレームを補間する。そして、新たなフレームが追加された、ひとまとまりの画像データに基づいて映像信号が出力されることにより、視聴者に違和感を与えない映像信号を出力することが可能となる。すなわち、ひとまとまりの画像データに新たなフレームを補間することで、一定品質を保つ映像信号を出力することが可能となる。

また、上記信号出力装置において、前記データ作成部は、前記フレームを複数の局所領域に分割し、連続するフレームの局所領域の移動量を算出し、局所領域の移動量が最大となる２つのフレームを検出し、これら２つのフレームの間に前記新たなフレームを追加するようにしてもよい。

データ作成部が、ひとまとまりの画像データに含まれるフレームを複数の局所領域に分割することで、連続するフレームの局所領域の移動量を算出することが可能となる。そして、データ作成部が、局所領域の移動量が最大となる２つのフレームを検出することで、視聴者に違和感を与える映像箇所に新たなフレームを追加することが可能となる。

また、上記信号出力装置において、前記新たなフレームは、前記２つのフレームの何れか一方のフレームと、前記２つのフレームとは異なるフレームであって前記一方のフレームと隣接するフレームとに基づいて作成されてもよい。前記２つのフレームの何れか一方のフレームと、前記２つのフレームとは異なるフレームであって前記一方のフレームと隣接するフレームとは、連続するフレームである。この連続するフレームを参照することにより、フレームが連続して欠落しているひとまとまりの画像データに新たなフレームを補間することができるため、一定品質を保つ映像を提供することが可能となる。

また、上記信号出力装置において、前記新たなフレームは、前記２つのフレームの何れか一方のフレームの局所領域及び前記２つのフレームとは異なるフレームであって前記一方のフレームと隣接するフレームの局所領域の移動量と移動方向に基づいて作成されてもよい。前記２つのフレームの何れか一方のフレームと、前記２つのフレームとは異なるフレームであって前記一方のフレームと隣接するフレームとは、連続するフレームである。この連続するフレームの局所領域の移動量と移動方向に基づいて、フレームが連続して欠落しているひとまとまりの画像データに新たなフレームを補間することができるため、一定品質を保つ映像を提供することが可能となる。

また、上記信号出力装置において、前記画像データは動画であり、前記ひとまとまりの画像データに含まれるフレームを、前記動画を構成する最小単位構造とすることが好ましい。

また、本発明は、コンピュータその他の装置、機械等が上記いずれかの処理を実行する方法であってもよい。また、本発明は、コンピュータその他の装置、機械等に、以上のいずれかの機能を実現させるプログラムであってもよい。また、本発明は、そのようなプログラムをコンピュータ等が読み取り可能な記録媒体に記録したものでもよい。

本発明は、映像データのフレーム数が少ない場合でも、一定品質を保つ映像を視聴者に提供することが可能となる。

実施形態に係るパーソナルコンピュータのハードウェア構成図である。 実施形態に係るパーソナルコンピュータの機能構成図である。 Ｈ．２６４／ＡＶＣのフレーム間予測の説明図である。 実施形態における信号出力処理を示す図である。 実施形態におけるフレーム補間処理を示す図である。 実施形態におけるＧＯＰの概念図である。 実施形態におけるフレーム補間処理の例を示す図である。 実施形態におけるＧＯＰの概念図である。 Ｈ．２６４／ＡＶＣの双予測の説明図である。 実施形態におけるＧＯＰの概念図である。 実施形態におけるＧＯＰの概念図である。 実施形態におけるＧＯＰの概念図である。 Ｈ．２６４／ＡＶＣの双方向予測の説明図である。

符号の説明

１ パーソナルコンピュータ
２ ＣＰＵ
３ メモリ
４ インターフェース
５ 放送受信装置
６ 通信装置
７ ハードディスク駆動装置
８ 可搬媒体駆動装置
９ 入力装置
１０ 表示装置
２０ 操作部
２１ 検知部
２２ 放送受信部
２３ 検出部
２４ 記憶部
２５ データ作成部
２６ 信号出力部
２７ 表示部

以下、図面を参照して、本発明の実施をするための最良の形態（以下、実施形態という）に係る出力信号装置を備えた情報機器を、ワンセグ放送の視聴機能を備えるパーソナルコンピュータとして説明する。以下の実施形態の構成は例示であり、本発明は実施形態の構成に限定されない。

本実施形態に係るパーソナルコンピュータは、ワンセグ放送の受信チューナ及び復号手段を備え、表示装置（ディスプレイ）に復号した映像信号に基づく映像を表示し、復号した音響信号に基づく音響を再生することによってワンセグ放送を視聴することが可能なパーソナルコンピュータである。

ワンセグ放送は、放送番組や放送局の違いにより、１５フレーム／秒で映像データ（画像データ）が放送される場合と、１２フレーム／秒で映像データが放送される場合とがある。１５フレーム／秒で映像データが放送された場合に比較して、１２フレーム／秒で映像データが放送された場合は、３フレームが欠落した状態で映像データが受信されることになる。

そこで、本実施形態では、欠落した３フレームを擬似的に追加することにより、１２フレーム／秒で映像データが放送される場合でも、一定品質を保つ映像を表示させるようにする。

図１は、本実施形態に係るパーソナルコンピュータ１のハードウェア構成図である。図１に示すように、パーソナルコンピュータ１は、コンピュータプログラムを実行し、パーソナルコンピュータ１を制御するＣＰＵ２と、ＣＰＵ２で実行されるコンピュータプログラムやＣＰＵ２が処理するデータを記憶するメモリ３と、ＣＰＵ２を各種の装置に接続するインターフェース４と、インターフェース４を通じて接続される放送受信装置５と、通信装置６と、ハードディスク駆動装置７と、可搬媒体駆動装置８と、入力装置９と、表示装置１０とを有している。

メモリ３は、ＣＰＵ２で実行されるプログラムやＣＰＵ２で処理されるデータを記憶する。メモリ３は、揮発性のＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）と、不揮発性のＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）を含む。ＲＯＭには、フラッシュメモリ、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）のような書き換え可能な半導体メモリを含む。

インターフェース４は、ＵＳＢ等のシリアルインターフェース、あるいは、ＰＣＩ（Ｐｅｒｉｐｈｅｒａｌ Ｃｏｍｐｏｎｅｎｔ Ｉｎｔｅｒｃｏｎｎｅｃｔ）、ＩＳＡ（Ｉｎｄｕｓｔｒｙ Ｓｔａｎｄａｒｄ Ａｒｃｈｉｔｅｃｔｕｒｅ ）、ＥＩＳＡ（Ｅｘｔｅｎｄｅｄ ＩＳＡ）、ＡＴＡ（ＡＴ Ａｔｔａｃｈｍｅｎｔ）、ＩＤＥ（Ｉｎｔｅｇｒａｔｅｄ Ｄｒｉｖｅ Ｅｌｅｃｔｒｏｎｉｃｓ）、ＩＥＥＥ１３９４、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）等のパラレルインターフェースのいずれでもよい。なお、ＣＰＵ２と各装置とをインターフェース４で接続しているが、ＣＰＵ２と各装置との間を異なるインターフェースで接続してもよい。また、複数のインターフェースをブリッジ接続してもよい。

放送受信装置５は、アンテナ、チューナ及び復調器を有し、デバイスドライバを実行するＣＰＵ２によって制御される。放送受信装置５は、アンテナを用いて放送波を受信し、チューナを用いてチャンネルを選択する。そして、放送受信装置５は、復調器を用いてチャンネルの放送波に基づいたＯＦＤＭ（Ｏｒｔｈｏｇｏｎａｌ Ｆｒｅｑｕｅｎｃｙ Ｄｉｖｉｓｉｏｎ Ｍｕｌｔｉｐｌｅｘｉｎｇ）復調処理及び圧縮動画データストリーム（ＴＳデータ）の作成処理（デコード処理）を行う。作成されたＴＳデータは、バスを介して出力される。ＴＳデータは、メモリ３に一時的に記憶される。そして、メモリ３に記憶されたＴＳデータが映像信号に変換され、表示装置１０へ出力される。

通信装置６は、ブロードバンドネットワークとのインターフェースである。ブロードバンドネットワークは、例えば、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ ）、ケーブルテレビネットワーク、ｘＤＳＬ（ｘ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）、ＡＤＳＬ、光ネットワーク等の有線ネットワーク、あるいは、無線ＬＡＮ、固定無線アクセス（ＦＷＡ）等の無線アクセス可能なネットワークである。通信装置６は、例えば、ネットワーク上のサーバから、ハードディスク駆動装置７にインストールされるコンピュータプログラムや、テレビジョン放送の電子番組表等を取得する。これらのブロードバンドネットワークは、一般的には、インターネットに接続可能である。

ハードディスク駆動装置７は、メモリ３にロードされるプログラムを格納する。また、ハードディスク駆動装置７は、ＣＰＵ２で処理されるデータを記憶する。

可搬媒体駆動装置８は、例えば、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）、ＨＤ−ＤＶＤ、ブルーレイディスク等の駆動装置である。また、可搬媒体駆動装置８は、フラッシュメモリ等の不揮発性メモリを有するカード媒体の入出力装置であってもよい。可搬媒体駆動装置８が駆動する媒体は、例えば、ハードディスク駆動装置７にインストールされるコンピュータプログラム、入力データ等を保持する。入力装置９は、例えば、キーボード、マウス、ポインティングデバイス、ワイヤレスリモコン等である。

表示装置１０は、映像信号に基づく映像を表示する。映像が表示装置１０に表示されることで、ユーザはテレビジョン放送を視聴することが可能となる。表示装置１０は、例えば、液晶表示装置、プラズマディスプレイパネル、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、エレクトロルミネッセンスパネル等である。また、表示装置１０には、スピーカが付属し、音響信号に基づく音響を出力する。

本発明に係る信号出力装置を備えた情報機器は、以上のようなパーソナルコンピュータ１として構成できる。ただし、本発明に係る信号出力装置を備えた情報機器は、パーソナルコンピュータ１に限定されず、同等の機能を有する他の装置、例えば、テレビジョン受信装置であってもよい。また、テレビジョン放送受信用のチューナ、セットトップボックス、テレビジョン放送受信機能付きの携帯電話、携帯情報端末（ＰＤＡ）、ゲーム機、テレビジョン放送受信機能付きの車載器等によっても実現できる。

図２は、本実施形態に係るパーソナルコンピュータ１の機能構成図である。パーソナルコンピュータ１は、ユーザの操作を受けて、パーソナルコンピュータを操作する操作部２０と、操作部２０における操作を検知する検知部２１と、放送波（テレビジョン放送）を受信し、受信した放送波のデータをＴＳデータに復号する放送受信部２２と、放送受信部２２から出力されるＴＳデータに補間が必要であるかを検出する検出部２３と、放送受信部２２から出力されるＴＳデータを一時的に記憶する記憶部２４と、記憶部２４に記憶されているＴＳデータに基づいて、新たなＴＳデータを作成するデータ作成部２５と、記憶部２４から出力されるＴＳデータ及びデータ作成部２５から出力されるＴＳデータを映像信号に変換し、表示部２７へ入力する信号出力部２６と、入力される映像信号に基づいて映像を表示する表示部２７とを有する。

これらの各機能部は、ＣＰＵ２、メモリ３等を含むコンピュータ、各装置及びコンピュータ上で実行されるプログラム等によって実現することができる。

操作部２０は、ユーザからの入力を受け付け、所定のコマンドや必要なデータを入力するときなどに操作される。

検知部２１は、操作部２０への操作（例えば、放送番組の視聴開始操作や受信チャンネルの切り替え操作）を検知する。検知部２１は、ＣＰＵ２上で実行されるコンピュータプログラムとして構成すればよい。また、検知部２１として、専用のハードウェアを設けてもよい。

放送受信部２２は、アンテナで放送波を受信し、受信した放送波に基づいたデータストリーム（例えば、ＴＳデータ）を出力する。放送受信部２２は、放送受信装置５やＣＰＵ２上で実行されるコンピュータプログラムとして構成すればよい。

検出部２３は、放送受信部２２から出力されるＴＳデータを監視し、ＴＳデータのＧＯＰが１２フレーム又は１５フレームのいずれかであるかを検出する。Ｈ．２６４／ＡＶＣでは、図３に示すように、３枚以内の参照ピクチャ（１００、１０１、１０２）からフレーム間予測が行われ、Ｐピクチャ（Ｐｒｅｄｉｃｔｉｖｅ Ｐｉｃｔｕｒｅ）１０３が作成される。本実施形態では、図３に示すＰピクチャ１０３を、ピクチャ又はフレームと呼ぶ。本実施形態において、映像データであるＴＳデータは、動画であってもよく、ＴＳデータのＧＯＰに含まれるフレームを、動画を構成する最小単位構造としてもよい。また、ＩＤＲピクチャによって区切られる、ひとまとまりのフレーム群は、ＧＯＰ（Ｇｒｏｕｐ Ｏｆ Ｐｉｃｔｕｒｅ）と呼ばれる。本実施形態では、ＧＯＰは、１２フレームである場合と、１５フレームである場合とがある。また、本実施形態では、１つのＧＯＰの再生時間は１秒である。検出部２３は、ＣＰＵ２上で実行されるコンピュータプログラムとして構成すればよい。

記憶部２４は、入力されたデータを一時的に記憶する。記憶部２４は、放送受信部２２から出力されるＴＳデータの入力を受け付け、再生時間にして３秒のＴＳデータを記憶する。記憶部２４に記憶されたＴＳデータは、データ作成部２５又は信号出力部２６に入力される。記憶部２４は、ＣＰＵ２上で実行されるコンピュータプログラムによって制御される揮発性メモリ、フラッシュメモリ等の不揮発性のメモリ、ハードディスクあるいは可搬媒体等の記録媒体として構成される。また、記憶部２４は、入力データを記憶する専用メモリとして構成されてもよい。

データ作成部２５は、ＩＤＲピクチャによって区切られたＧＯＰに含まれるフレームの数をカウントすることにより、記憶部２４に記憶されたＴＳデータのＧＯＰが１２フレーム又は１５フレームであるかを判定する。記憶部２４に記憶されたＴＳデータのＧＯＰが１２フレームである場合、データ作成部２５は、ＴＳデータのＧＯＰに３フレームを追加（フレーム補間）し、ＧＯＰに含まれるフレームの数が１５フレームとなるＴＳデータを信号出力部２６に出力する。データ作成部２５は、ＣＰＵ２上で実行されるコンピュータプログラムとして構成すればよい。

信号出力部２６は、表示部２７とのインターフェースを有し、表示部２７へ出力するＴＳデータを制御する。すなわち、信号出力部２６は、記憶部２４又はデータ作成部２５から入力されたＴＳデータを、表示部２７が表示できる映像信号又は音響信号に変換し、表示部２７に出力する。また、信号出力部２６は、放送受信部２２によって放送波が受信された時間から３秒遅延したＴＳデータが入力される。信号出力部２６は、ＣＰＵ２上で実行されるコンピュータプログラムとして構成すればよい。また、信号出力部２６は、映像信号及び音響信号を出力する専用プロセッサとして構成されてもよい。

表示部２７は、信号出力部２６から出力された映像信号及び音響信号の入力を受けて映像を表示し、音響を再生する。また、表示部２７は、放送受信部２２によって放送波が受信された時間から３秒遅延した映像信号及び音響信号が入力される。

本実施形態において、記憶されるＴＳデータの量は、動画又は音響として再生する場合の時間に換算して３秒分とする。例えば、動画データでは、ワンセグ放送は毎秒１２フレーム又は１５フレームであるため、約３６フレームから４５フレームの動画データが記憶される。この記憶量は、可能な限り多くすることが好ましいが、パーソナルコンピュータ１上に確保できる記憶領域のサイズを考慮して、本実施形態では３秒とする。但し、この記憶量は、実施の形態毎に適宜最適な値に設定されることが好ましい。例えば、常駐するアプリケーションや不要なアプリケーションを終了させるか、メインメモリの一部をビデオメモリとして使用しない（単独のビデオメモリを設ける）ことで確保可能なメインメモリの容量を増やし、記憶量を増やしてもよい。

また、本実施形態に係るパーソナルコンピュータ１は、ＴＳデータ３秒分の遅延出力を行う。つまり、本実施形態に係るパーソナルコンピュータ１でワンセグ放送を視聴する場合、他の通常のワンセグ放送視聴装置で視聴する場合に比べて約３秒遅れた映像及び音響が出力される。遅延出力を行うことによって、フレーム数が少ない映像データを受信した場合でも、フレーム数が少ない映像信号をそのまま出力してしまうことなく、記憶された未出力のデータを遅延再生することで、フレーム数が少ない部分の映像を補間することが可能となる。

＜処理フロー＞
図４及び図５に、パーソナルコンピュータ１の処理フローを示す。図４は、本実施形態における信号出力処理を示すフローチャートである。図５は、本実施形態におけるフレーム補間処理を示すフローチャートである。

〈信号出力処理〉
図４の信号出力処理について説明する。本実施形態における信号出力処理は、操作部２０におけるテレビジョン視聴開始操作を検知部２１が検知し、信号出力処理の開始指示の信号が、検知部２１から信号出力部２６に出力されたことによって実行される。

まず、放送受信部２２からＴＳデータが出力される（Ｓ１０１）。次に、放送受信部２２から出力されたＴＳデータを受け取った検出部２３は、ＴＳデータのＧＯＰが１２フレーム又は１５フレームのいずれかであるかを判定する（Ｓ１０２）。

ＴＳデータのＧＯＰが１２フレーム又は１５フレームのいずれかでない場合（Ｓ１０２の処理でＮＯ）、検出部２３は、信号出力部２６に映像表示不可の信号を出力する（Ｓ１０３）。映像表示不可の信号が入力された信号出力部２６は、正常な表示ができない旨のメッセージを含む映像信号を表示部２７に出力する。正常な表示が出来ない旨のメッセージを含む映像信号が入力された表示部２７は、正常な表示ができない旨のメッセージを表示する。例えば、表示部２７は、「信号がありません」という表示を行う。これにより、視聴者は何らかの要因により視聴が不可能となっている状況を把握することができる。検出部２３は、映像表示不可の信号を信号出力部２６に出力した場合、Ｓ１０１の処理に進む。

一方、ＴＳデータのＧＯＰが１２フレーム又は１５フレームのいずれかである場合（Ｓ１０２の処理でＹＥＳ）、ＴＳデータは記憶部２４に記憶される（Ｓ１０４）。記憶部２４に３秒分のＴＳデータが記憶された場合、Ｓ１０５の処理に進む。

次に、データ作成部２５は、記憶部２４に記憶されているＴＳデータのＧＯＰが１５フレームであるか否かを判定する（Ｓ１０５）。すなわち、記憶部２４に記憶されているＧＯＰに含まれるフレームの数が、１５であるか否かを判定する。

ＴＳデータのＧＯＰが１５フレームである場合（Ｓ１０５の処理でＹＥＳ）、ＴＳデータは、記憶部２４から信号出力部２６に入力される。そして、信号出力部２６によって、ＴＳデータは映像信号に変換され、表示部２７に入力される。表示部２７は、信号出力部２６から入力される映像信号に従い、映像を表示する（Ｓ１０６）。

一方、ＴＳデータのＧＯＰが１５フレームでない場合（Ｓ１０５の処理でＮＯ）、データ作成部２５は、新たなフレームを追加することにより、ＧＯＰに含まれるフレームの数が１５フレームとなるＴＳデータを作成する（Ｓ１０７）。データ作成部２５は、ＧＯＰに含まれるフレームの数が１５フレームとなるＴＳデータを信号出力部２６に出力する。信号出力部２６に入力されたＴＳデータは映像信号に変換され、表示部２７に入力される。表示部２７は、信号出力部２６から入力される映像信号に従い、映像を表示する（Ｓ１０６）。記憶部２４に記憶されている３秒分のＴＳデータが処理された場合、Ｓ１０１の処理に進む。

〈フレーム補間処理〉
次に、図４のＳ１０７において、データ作成部２５が行う新たなフレームの追加処理（フレーム補間処理）について詳細に説明する。図５は、データ作成部２５によって行われるフレーム補間処理を示すフローチャートである。

データ作成部２５は、記憶部２４に記憶されているＴＳデータのうち、ＧＯＰに含まれるフレームの数が１５フレームではないＴＳデータを分割する（Ｓ２０１）。すなわち、記憶部２４に記憶されているＴＳデータのうち、ＧＯＰに含まれるフレームの数が１２フレームであるＴＳデータを分割する。この場合、データ作成部２５は、１２フレームを３つのフレームグループに分割することにより、４フレームで一組のフレームグループを３つ作成する。

図６は、１２フレームを３つのフレームグループに分割した場合のＧＯＰの概念図である。フレームＰ０１は、フレームＰ０２より時間的に過去の映像を表示するフレームである。フレームＰ０１からフレームＰ１２までの１２フレームは、ＩＤＲピクチャにより区切られ、ＧＯＰを形成している。

本実施形態では、４フレームで一組のフレームグループを３つ作成する例を示すが、これに限定されず、フレームグループに含まれるフレームの数は適宜変更してもよい。例えば、３フレームで一組のフレームグループを４つ作成してもよいし、６フレームで一組のフレームグループを２つ作成してもよい。また、記憶部２４には、３秒分のＴＳデータが記憶されているため、異なるＧＯＰに含まれるフレームで一組のフレームグループを作成してもよい。例えば、図６のフレームＰ０１、フレームＰ０２及びフレームＰ０３と、図６に示すＧＯＰよりも時間的に過去の映像を表示するＴＳデータのＧＯＰに含まれるフレームとで一組のフレームグループを作成してもよい。

図５の説明に戻る。次に、データ作成部２５は、記憶部２４に記憶されている各フレームを参照することにより、対象ブロックの移動量Ｖを算出する（Ｓ２０２）。ここで、図７を参照して、対象ブロックの移動量Ｖについて説明する。図７における、フレームＰ０５、フレームＰ０６、フレームＰ０７及びフレームＰ０８は、記憶部２４に記憶されているフレーム（ＴＳデータ）を示す。ここでは、記憶部２４に記憶されているフレームは、フレームＰ０５、フレームＰ０６、フレームＰ０７及びフレームＰ０８の順に記憶部２４から出力される。

本実施形態では、フレームをマクロブロック（局所領域に相当）に分割して、マクロブロックの移動量を算出する。図７におけるフレームＰ０５、フレームＰ０６、フレームＰ０７及びフレームＰ０８では、Ｃ及びＤを対象ブロック（マクロブロック）として示す。

データ作成部２５は、記憶部２４に記憶されている各フレームを参照して、対象ブロックの色差信号の変動量を検出することにより、対象ブロックの移動を検出する。そして、データ作成部２５は、移動を検出した対象ブロックの移動量Ｖを算出する。すなわち、記憶部２４にはフレームが連続して記憶されているため、データ作成部２５は、連続するフレームを比較して、これら２つのフレームに共通する対象ブロックの移動量Ｖを算出する。

図７に示すフレームＰ０７とフレームＰ０８とを比較した場合、対象ブロックＤのみ色差信号の変動量があるため、対象ブロックＤの移動が検出される。また、図７に示すフレームＰ０７とフレームＰ０８とを比較した場合、対象ブロックＣは、色差信号の変動量がないため、対象ブロックＣの移動は検出されない。

なお、Ｓ２０２の処理において、対象ブロックの移動を複数検出した場合、データ作成部２５は、検出した対象ブロックのうちで最も移動量が大きい対象ブロックについて、対象ブロックの移動量Ｖを算出するようにしてもよい。視聴者は、映像における変化の大きい部分に着目しやすいためである。また、Ｓ２０２の処理において、対象ブロックの移動を複数検出した場合、データ作成部２５は、対象ブロックの移動量Ｖとして、検出した複数の対象ブロックの移動量の平均値を算出するようにしてもよい。

図５の説明に戻る。データ作成部２５は、記憶部２４に記憶されている各フレームを参照して、対象ブロックの移動量Ｖが最も大きい２つのフレームを検出する（Ｓ２０３）。ここで、対象ブロックの移動量Ｖが最も大きい２つのフレームを検出する処理を詳細に説明する。図８は、ＧＯＰの概念図である。図８には、１つのＧＯＰが示されており、１２フレームがフレームグループ２００、フレームグループ２０１及びフレームグループ２０２に分けられている。対象ブロックの移動量Ｖが最も大きい２つのフレームを、フレームグループ２０１から検出する場合、データ作成部２５は、フレームＰ０４、フレームＰ０５、フレームＰ０６、フレームＰ０７、フレームＰ０８及びフレームＰ０９を参照する。したがって、データ作成部２５は、フレームグループ内のフレームと、フレームグループ内のフレームと連続性のあるフレーム（図８では、フレームＰ０４及びフレームＰ０９）とを参照することにより、対象ブロックの移動量Ｖが最も大きい２つのフレームを検出する。

図５の説明に戻る。データ作成部２５は、新たなフレームを挿入する位置を決定する（Ｓ２０４）。具体的には、データ作成部２５は、Ｓ２０３の処理で検出された２つのフレームの間に、新たなフレームを挿入することを決定する。

次に、データ作成部２５は、記憶部２４に記憶されている任意の２つのフレームを参照し、対象ブロックの移動ベクトル（移動量及び移動方向）を算出する（Ｓ２０５）。例えば、Ｓ２０３の処理で検出された２つのフレームのうちのいずれかのフレームと、そのフレームと連続するフレームとを参照し、対象ブロックの移動ベクトルを算出してもよい。図７では、フレームＰ０７及びフレームＰ０８が参照され、対象ブロックＣ及び対象ブロックＤの移動ベクトルが算出される。また、フレームＰ０５及びフレームＰ０６を参照し、対象ブロックＣ及び対象ブロックＤの移動ベクトルを算出してもよい。

図５の説明に戻る。データ作成部２５は、算出した移動ベクトルから、対象ブロックの位置を推測し、新たなフレームを作成する（Ｓ２０６）。図７では、対象ブロックＣ及び対象ブロックＤの移動ベクトルから、対象ブロックＣ及び対象ブロックＤの位置が推測され、新たなフレームＰＢが作成される。

ここで、図９を参照して、Ｈ．２６４／ＡＶＣの双予測による新たなフレームの作成について説明する。Ｈ．２６４／ＡＶＣの双予測では、任意の２つのフレームを参照することにより、新たなフレームを作成する。図９では、フレームＰ２０１の対象ブロックＦ及びフレームＰ２０２の対象ブロックＦが参照されて、新たなフレームＰＣの対象ブロックＦが作成されている。フレームＰ２０１及びフレームＰ２０２は、新たなフレームＰＣよりも時間的に後に表示される映像である。図７に示す新たなフレームＰＢは、図９に示すこのような処理により作成される。

図５の説明に戻る。データ作成部２５は、新たに作成したフレームを、Ｓ２０４の処理で決定した位置に挿入する（Ｓ２０７）。データ作成部２５は、分割した３つのフレームグループの夫々に対して、Ｓ２０２からＳ２０７の処理を繰り返し、フレーム補間処理を終了する。

なお、Ｓ２０４の処理において、既に新たなフレームが挿入されている場合には、既に新たなフレームが挿入された位置を除外して、データ作成部２５は、新たなフレームを挿入する位置を決定してもよい。図１０は、ＧＯＰの概念図である。図１０には、１つのＧＯＰが示されており、１２フレームがフレームグループ２００、フレームグループ２０１及びフレームグループ２０２に分けられている。例えば、図１０のフレームグループ２００に新たなフレームを追加した位置が、図１０のＡの位置であった場合、図１０のフレームグループ２０１に新たなフレームを追加する位置として、図１０のＡの位置を除外してもよい。なお、図１０のＢ、Ｃ、Ｄ及びＥは、新たなフレームを追加可能な位置を示している。

さらに、例えば、図１０のフレームグループ２００に新たなフレームを追加した位置が、図１０のＡの位置であった場合、図１０のフレームグループ２０１に新たなフレームを追加する際、フレームグループ２００に追加した新たなフレームを参照してもよい。図１１に、フレームグループ２００に新たなフレームＰＤを追加した場合のＧＯＰの概念図を示す。この場合、図１１のフレームグループ２０１に新たなフレームを追加する際、新たなフレームＰＤ、フレームＰ０５、フレームＰ０６、フレームＰ０７、フレームＰ０８及びフレームＰ０９を参照してもよい。このようにすれば、新たなフレームＰＤとフレームＰ０５との間に、新たなフレームＰＥを挿入することも可能である。データ作成部２５は、新たに作成したフレームＰＤを記憶部２４に記憶し、新たなフレームＰＥを作成する場合に、新たなフレームＰＤを参照すればよい。

図１２は、新たなフレームを追加し、ＧＯＰに含まれるフレーム数を、１２フレームから１５フレームに変換した場合のＧＯＰの概念図である。フレームグループ３００に新たなフレームＰＡが追加され、フレームグループ３０１に新たなフレームＰＢが追加され、フレームグループ３０２に新たなフレームＰＣが追加されている。このように、本実施形態では、新たなフレームが追加され、ＧＯＰに含まれるフレームの数が１５フレームとなるＴＳデータが出力され、１５フレームの映像信号に基づく映像が表示される。

本実施形態によれば、フレーム数が少ない映像データを受信した場合、フレームを追加することで、視聴者に違和感を与えない映像を表示することが可能となる。

ここで、対象ブロックの移動量が最も大きい２つのフレームの両方を参照して、新たなフレームを作成する場合について説明する。Ｈ．２６４／ＡＶＣの双方向予測では、新たなフレームを追加する場合、追加する新たなフレームを挟み込む２つのフレームを参照して、新たなフレームが作成される。そして、新たなフレームは、参照した２つのフレームの間に挿入される。しかし、参照するフレームが欠落している場合があり、新たなフレームを正確に作成できない場合がある。これは、１２フレームのＧＯＰを受信した際、３フレームが欠落しており、この欠落した３フレームが連続するフレームの場合に起こる。

図１３は、Ｈ．２６４／ＡＶＣの双方向予測によって参照されるフレームの説明図である。図１３は、元の映像のＧＯＰは１５フレームであったが、受信したＴＳデータのＧＯＰは１２フレームであった場合を示している。フレームＰ０１からフレームＰ１２は、受信したＴＳデータのＧＯＰに含まれるフレームを示しており、フレームＰＸ、フレームＰＹ及びフレームＰＺは、元の映像のＧＯＰから欠落したフレームを示している。

図１３に示すように、フレームＰＸ及びフレームＰＹは、元の映像のＧＯＰでは連続するフレームである。フレームＰＴは、双方向予測によって新たに作成されるフレームである。双方向予測によって新たなフレームＰＴを作成する場合、参照すべきフレームはフレームＰ０２及びフレームＰＹ、または、フレームＰＸ及びフレームＰ０３となる。しかし、フレームＰＹは欠落しており、フレームＰ０２及びフレームＰＹを参照して、新たなフレームＰＴを作成することができない。また、フレームＰＸは欠落しており、フレームＰＸ及びフレームＰ０３を参照して、新たなフレームＰＴを作成することができない。

すなわち、受信したＴＳデータのＧＯＰに、連続して欠落するフレームがある場合、連続して欠落するフレームと隣接するフレーム（図１３では、フレームＰ０２及びフレームＰ０３）との間の対象ブロックの移動量が大き過ぎるため、双方向予測では、新たなフレームの対象ブロックの位置を推定できない。

本実施形態では、対象ブロックの移動量が最も大きい２つのフレームのいずれか一方と、対象ブロックの移動量が最も大きい２つのフレームとは異なるフレームとを参照することにより、新たなフレームが作成される。この異なるフレームは、対象ブロックの移動量が最も大きい２つのフレームのいずれか一方と隣接するフレームである。

したがって、本実施形態によれば、対象ブロックの移動量が大き過ぎる場合であっても、すなわち、対象ブロックの移動量が双方向予測により参照できる許容量を超える場合であっても、新たなフレームの対象ブロックの位置を推定することができる。そのため、対象ブロックの移動量が大き過ぎる場合であっても、新たなフレームを作成することができる。

また、本実施形態では、対象ブロックの移動量が最も大きい２つのフレームの両方ではなく、いずれか一方を参照して、新たなフレームが作成される。このように、本実施形態によれば、フレームが連続して欠落する場合でも、新たなフレームを作成することができる。

〈コンピュータ読み取り可能な記録媒体〉
コンピュータに上記いずれかの機能を実現させるプログラムをコンピュータが読み取り可能な記録媒体に記録することができる。そして、コンピュータに、この記録媒体のプログラムを読み込ませて実行させることにより、その機能を提供させることができる。ここで、コンピュータ読み取り可能な記録媒体とは、データやプログラム等の情報を電気的、磁気的、光学的、機械的、または化学的作用によって蓄積し、コンピュータから読み取ることができる記録媒体をいう。このような記録媒体のうちコンピュータから取り外し可能なものとしては、例えばフレキシブルディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＣＤ−Ｒ／Ｗ、ＤＶＤ、ＤＡＴ、８ｍｍテープ、メモリカード等がある。また、コンピュータに固定された記録媒体としてハードディスクやＲＯＭ等がある。

Claims (15)

1. 入力された画像データに基づいて映像信号を出力する信号出力部と、
   画像データを記憶する記憶部と、
   前記記憶部に記憶された、ひとまとまりの画像データに含まれるフレームの数が所定数を満たしているかを検出する検出部と、
   前記ひとまとまりの画像データに含まれるフレームの数が所定数を満たしていない場合、前記ひとまとまりの画像データに含まれるフレームの数が所定数を満たすように、新たなフレームを前記ひとまとまりの画像データに追加し、新たなフレームが追加された、ひとまとまりの画像データを前記信号出力部に入力するデータ作成部と、
   を備える信号出力装置。
2. 前記データ作成部は、前記フレームを複数の局所領域に分割し、連続するフレームの局所領域の移動量を算出し、局所領域の移動量が最大となる２つのフレームを検出し、これら２つのフレームの間に前記新たなフレームを追加する請求項１に記載の信号出力装置。
3. 前記新たなフレームは、前記２つのフレームの何れか一方のフレームと、前記２つのフレームとは異なるフレームであって前記一方のフレームと隣接するフレームとに基づいて作成される請求項２に記載の信号出力装置。
4. 前記新たなフレームは、前記２つのフレームの何れか一方のフレームの局所領域及び前記２つのフレームとは異なるフレームであって前記一方のフレームと隣接するフレームの局所領域の移動量と移動方向に基づいて作成される請求項２に記載の信号出力装置。
5. 前記画像データは動画であり、前記ひとまとまりの画像データに含まれるフレームは前記動画を構成する最小単位構造である請求項１乃至４のいずれか１項に記載の信号出力装置。
6. コンピュータが、
   入力された画像データに基づいて映像信号を出力する信号出力ステップと、
   画像データを記憶する記憶部に記憶された、ひとまとまりの画像データに含まれるフレームの数が所定数を満たしているかを検出する検出ステップと、
   前記ひとまとまりの画像データに含まれるフレームの数が所定数を満たしていない場合、前記ひとまとまりの画像データに含まれるフレームの数が所定数を満たすように、新たなフレームを前記ひとまとまりの画像データに追加し、新たなフレームが追加された、ひとまとまりの画像データを作成するデータ作成ステップと、
   を実行し、
   前記信号出力ステップは、新たなフレームが追加された、ひとまとまりの画像データに基づいて映像信号を出力する、
   信号出力方法。
7. 前記データ作成ステップは、前記フレームを複数の局所領域に分割し、連続するフレームの局所領域の移動量を算出し、局所領域の移動量が最大となる２つのフレームを検出し、これら２つのフレームの間に前記新たなフレームを追加する請求項６に記載の信号出力方法。
8. 前記新たなフレームは、前記２つのフレームの何れか一方のフレームと、前記２つのフレームとは異なるフレームであって前記一方のフレームと隣接するフレームとに基づいて作成される請求項７に記載の信号出力方法。
9. 前記新たなフレームは、前記２つのフレームの何れか一方のフレームの局所領域及び前記２つのフレームとは異なるフレームであって前記一方のフレームと隣接するフレームの局所領域の移動量と移動方向に基づいて作成される請求項７に記載の信号出力方法。
10. 前記画像データは動画であり、前記ひとまとまりの画像データに含まれるフレームは前記動画を構成する最小単位構造である請求項６乃至９のいずれか１項に記載の信号出力方法。
11. コンピュータに、
    入力された画像データに基づいて映像信号を出力する信号出力ステップと、
    画像データを記憶する記憶部に記憶された、ひとまとまりの画像データに含まれるフレームの数が所定数を満たしているかを検出する検出ステップと、
    前記ひとまとまりの画像データに含まれるフレームの数が所定数を満たしていない場合、前記ひとまとまりの画像データに含まれるフレームの数が所定数を満たすように、新たなフレームを前記ひとまとまりの画像データに追加し、新たなフレームが追加された、ひとまとまりの画像データを作成するデータ作成ステップと、
    を実行させ、
    前記信号出力ステップは、新たなフレームが追加された、ひとまとまりの画像データに基づいて映像信号を出力する、
    信号出力プログラム。
12. 前記データ作成ステップは、前記フレームを複数の局所領域に分割し、連続するフレームの局所領域の移動量を算出し、局所領域の移動量が最大となる２つのフレームを検出し、これら２つのフレームの間に前記新たなフレームを追加する請求項１１に記載の信号出力プログラム。
13. 前記新たなフレームは、前記２つのフレームの何れか一方のフレームと、前記２つのフレームとは異なるフレームであって前記一方のフレームと隣接するフレームとに基づいて作成される請求項１２に記載の信号出力プログラム。
14. 前記新たなフレームは、前記２つのフレームの何れか一方のフレームの局所領域及び前記２つのフレームとは異なるフレームであって前記一方のフレームと隣接するフレームの局所領域の移動量と移動方向に基づいて作成される請求項１２に記載の信号出力プログラム。
15. 前記画像データは動画であり、前記ひとまとまりの画像データに含まれるフレームは前記動画を構成する最小単位構造である請求項１１乃至１４のいずれか１項に記載の信号出力装置。

Images