JPWO2013088589A1 - 映像信号処理装置、映像信号出力装置、及び映像信号処理方法 - Google Patents

Abstract

フレームの繰り返しを誤検出せず、フレームリピートされたフレームを適切に補間する。圧縮映像信号をデコードしたベースバンド映像信号の信号処理を行う映像信号処理装置（６０）であって、複数回連続して出力された同じフレームの位置を表すフレームリピート情報を取得し、フレーム間の動きを補間した補間フレームを生成するための補間位相情報を生成する補間位相生成部（３０）と、フレームリピート情報が表す更新されたフレーム間の動きベクトルを検出する動きベクトル検出部（４０）と、補間位相情報及び前記動きベクトルを用いて補間フレームを生成し、更新されたフレームと補間フレームとを含む、ベースバンド映像信号と同じフレームレートの出力映像信号を出力する補間フレーム生成部（５０）とを備える。

Description

本発明は、圧縮映像信号（ビデオストリーム）をデコードし、フレームレートを変換する映像信号出力装置、及び映像を補間して出力する映像信号処理装置及び映像信号処理方法に関する。

近年、例えばインターネットを介したフレームレートの低い圧縮映像信号を再生する表示装置が増加してきている。

このような圧縮映像信号が表示装置で再生される場合、デコードされた圧縮映像信号のフレームがフレームリピート処理によって繰り返されることで、圧縮映像信号のフレームレートは、表示装置の出力フレームレートに変換される。

また、このような場合、フレームリピート処理されたフレーム間の映像の変化を滑らかにする目的で、繰り返して出力されるフレームを、フレーム間の動きを補間した補間フレームに置き換える技術が知られている。

フレーム間の動きを補間する場合、映像信号から映像信号リピート周期（ケイデンス情報）を検出するケイデンス検出（例えば、特許文献１参照）を行い、リピート周期に応じてフレームを補間する。

特開平５−１８３８８４号公報

しかしながら、ケイデンス検出では、フレームの変化点を誤検出するような場合があり、このような場合には、フレームリピートされたフレームを適切に補間できないことが課題である。

そこで、本発明は、フレームの繰り返しを誤検出せず、フレームリピートされたフレームを適切に補間可能な映像信号処理装置及び映像信号処理方法を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る映像信号処理装置は、圧縮映像信号がデコードされることで得られるフレームごとに当該フレームと同じフレームが複数回連続して出力されることによって生成されたベースバンド映像信号の信号処理を行う映像信号処理装置であって、複数回連続して出力された前記同じフレームのうち最初のフレームの前記ベースバンド映像信号内の位置を表すフレームリピート情報を取得し、前記フレームリピート情報に基づいて、前記ベースバンド映像信号のフレームレートに応じて補間フレームを生成するための位相を示す補間位相情報を生成する補間位相生成部と、前記フレームリピート情報が表す更新されたフレーム間の動きベクトルを検出する動きベクトル検出部と、前記補間位相情報及び前記動きベクトルを用いて、前記更新されたフレーム間の動きを補間した前記補間フレームを生成し、前記更新されたフレームと前記補間フレームとを含む、前記ベースバンド映像信号と同じフレームレートの出力映像信号を出力する補間フレーム生成部とを備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

本発明によれば、フレームの繰り返しがフレームリピートによるものであることを判別し、誤検出なくフレームリピートされたフレームを補間することができる。

図１は、本発明の第１の実施形態に係る映像信号処理装置の構成を表すブロック図である。 図２は、フレームリピート処理の判別方法の例を表すフローチャートである。 図３Ａは、本発明の第１の実施形態に係る映像信号処理装置の動作の例を表す図である。 図３Ｂは、繰返し位相と補間位相情報の関係を示す図である。 図４Ａは、本発明の第１の実施形態に係る映像信号処理装置の動作の別の例を表す図である。 図４Ｂは、繰返し位相と補間位相情報の関係を示す図である。 図５は、本発明の第２の実施形態に係る映像信号出力装置及び映像信号処理装置の構成を表すブロック図である。 図６は、本発明の第２の実施形態に係るベースバンド映像信号のデータ構造を示す図である。 図７は、本発明の第２の実施形態のフレームリピート情報のビット割り当ての例を示す図である。 図８は、本発明の第３の実施形態に係る映像信号出力装置及び映像信号処理装置の構成を表すブロック図である。 図９は、従来の例を示すブロック図である。

（本発明の基礎となった知見）
本発明者らは、「背景技術」の欄において記載した、デコードした圧縮映像信号についてフレームレート変換する処理の後、補間フレームを用いて映像信号を再生する場合に以下の課題が生じることを見出した。

特許文献１には、従来のフレームレート変換処理の一例が開示されている。まず、このような例について、図９を参照しながら説明する。

図９は、例えば、入力映像信号が周期的にリピートされているＦｉｌｍ素材である事を入力映像信号から映像信号リピート周期（ケイデンス情報）を検出し（ケイデンス検出）、フレームレートをハイビジョン方式からＮＴＳＣ方式に変換（ダウンコンバート）する例である。

図９において、入力端子１０１にはハイビジョン方式の映像信号Ｖｉｎが供給される。同時に、映像信号Ｖｉｎは直接減算器１０２にも供給され、さらに遅延回路（１フレーム期間の遅延時間）を構成するフィールドメモリ１０３，１０４の直列回路を介して減算器１０２に供給される。

減算器１０２より出力される１フレーム間差信号ＳＤＦは、２−３プルダウン方式のテレシネ映像信号の検出回路１０５に供給される。また、入力端子１０１に供給される映像信号Ｖｉｎは、タイミング発生回路１０６に供給される。

タイミング発生回路１０６は同期分離回路やＰＬＬ回路等を用いて構成され、映像信号Ｖｉｎより分離された同期信号等に基づいてクロックＣＫ、奇偶ラインに対応したライン同期信号ＬＯ／Ｅ、フィールドパルスＶＰ、及びフレームパルスＦＰを出力する。上述の検出回路１０５には、タイミング発生回路１０６からフィールドパルスＶＰが供給される。

また、従来の圧縮映像信号をデコードする圧縮映像信号デコーダ、及びそれ以降の映像信号処理装置は、放送信号をデコードするために開発されていた。このため、圧縮映像信号デコーダは圧縮映像信号のフレームを繰り返して出力するフレームリピートにより、フレームレートを６０Ｈｚ（＝６０ｆｐｓ）または、５０Ｈｚにデコードした映像信号を出力していた。このような場合、フレームリピートされたフレーム間の映像の変化を滑らかにする目的で、繰り返して出力されるフレームを、フレーム間の動きを補間した補間フレームに置き換える技術が知られている。

しかしながら、ケイデンス検出では、フレームの繰り返しがコンテンツ制作側の意図によるものか、圧縮映像信号デコーダによってフレームリピートされたものかを、圧縮映像信号デコーダ以降の処理ブロックにおいて判別できないという課題がある。

また、映像信号処理装置では、圧縮映像信号デコーダから出力されるフレームから求められるケイデンス情報を検出するため、類似するフレームが連続するような場合、フレームの変化点を誤検出することがある。したがって誤検出等により映像信号が補間された結果、映像の乱れが発生することも課題である。

このような課題を解決するために、本発明の一態様に係る映像信号処理装置は、圧縮映像信号がデコードされることで得られるフレームごとに当該フレームと同じフレームが複数回連続して出力されることによって生成されたベースバンド映像信号の信号処理を行う映像信号処理装置であって、複数回連続して出力された前記同じフレームのうち最初のフレームの前記ベースバンド映像信号内の位置を表すフレームリピート情報を取得し、前記フレームリピート情報に基づいて、前記ベースバンド映像信号のフレームレートに応じて補間フレームを生成するための位相を示す補間位相情報を生成する補間位相生成部と、前記フレームリピート情報が表す更新されたフレーム間の動きベクトルを検出する動きベクトル検出部と、前記補間位相情報及び前記動きベクトルを用いて、前記更新されたフレーム間の動きを補間した前記補間フレームを生成し、前記更新されたフレームと前記補間フレームとを含む、前記ベースバンド映像信号と同じフレームレートの出力映像信号を出力する補間フレーム生成部とを備える。

これにより、フレームリピート情報を用いることでフレームの繰り返しを誤検出することがない。したがって、フレーム間の動きを適切に補間可能な映像信号処理装置が実現される。

また、前記補間位相生成部は、前記フレームリピート情報に基づいて、前記ベースバンド映像信号に含まれるフレームが直前のフレームから更新されたか否かを表すフレーム更新情報を生成し、前記動きベクトル検出部は、前記フレーム更新情報が表す前記更新されたフレーム間の動きベクトルを検出してもよい。

また、前記映像信号処理装置は、さらに、前記ベースバンド映像信号に含まれるフレームが更新されたか否かを表すケイデンス情報を前記ベースバンド映像信号に基づいて検出するケイデンス検出部を備え、前記補間位相生成部は、前記フレームリピート情報と前記ケイデンス情報とを用いて前記フレーム更新情報と前記補間位相情報とを生成してもよい。

また、前記映像信号処理装置は、さらに、前記ベースバンド映像信号と前記フレームリピート情報とが含まれるＨＤＭＩ（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）規格の映像信号を取得するＨＤＭＩ取得部を備え、前記フレームリピート情報は、前記ＨＤＭＩ規格の映像信号のＩｎｆｏＦｒａｍｅに重畳されてもよい。

また、前記映像信号処理装置は、さらに、前記圧縮映像信号をデコードして前記ベースバンド映像信号と前記フレームリピート情報とを出力する圧縮映像信号デコード部を備えてもよい。

また、前記圧縮映像信号デコード部は、前記ベースバンド映像信号のうち映像情報が含まれていない期間であるブランキング期間に前記フレームリピート情報を重畳して前記ベースバンド映像信号及び前記フレームリピート情報を出力してもよい。

また、前記映像信号処理装置は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）であってもよい。

また、本発明の一態様に係る映像信号出力装置は、圧縮映像信号を取得し、前記圧縮映像信号がデコードされることで得られるフレームごとに当該フレームと同じフレームを複数回連続して出力することによって生成したベースバンド映像信号と、複数回連続して出力した前記同じフレームのうち最初のフレームの前記ベースバンド映像信号内の位置を表すフレームリピート情報とを出力する圧縮映像信号デコード部を備える。

また、前記圧縮映像信号デコード部は、前記ベースバンド映像信号のうち映像情報が含まれていない期間であるブランキング期間に前記フレームリピート情報を重畳して前記ベースバンド映像信号及び前記フレームリピート情報を出力してもよい。

また、前記映像信号出力装置は、さらに、前記ベースバンド映像信号と前記フレームリピート情報とをＨＤＭＩ規格の映像信号として出力するＨＤＭＩ出力部とを備え、前記ＨＤＭＩ出力部は、前記フレームリピート情報を前記ＨＤＭＩ規格の映像信号のＩｎｆｏＦｒａｍｅに重畳して出力してもよい。

また、本発明は、映像信号処理方法として圧縮映像信号をデコードすることで得られるフレームごとに当該フレームと同じフレームが複数回連続して出力されることによって生成されたベースバンド映像信号の信号処理を行う映像信号処理方法であって、複数回連続して出力された前記同じフレームのうち最初のフレームの前記ベースバンド映像信号内の位置を表すフレームリピート情報を取得し、前記フレームリピート情報に基づいて、前記ベースバンド映像信号のフレームレートに応じて補間される補間フレームの位相を示す補間位相情報とを生成する補間位相生成ステップと、前記フレームリピート情報が表す更新されたフレーム間の動きベクトルを検出する動きベクトル検出ステップと、前記補間位相情報及び前記動きベクトルを用いて前記補間フレームを生成し、前記更新されたフレームと前記補間フレームとを含む、前記ベースバンド映像信号と同じフレームレートの出力映像信号を出力する補間フレーム生成ステップとを備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下で説明する本発明の実施の形態は、本発明の好ましい一具体例を示すものである。本実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態などは、一例であり、本発明を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（第１の実施形態）
以下、図１を参照しながら、第１の実施形態の構成について説明する。

図１は、第１の実施形態に係る映像信号処理装置の構成を表すブロック図である。

映像信号処理装置６０は、圧縮映像信号デコード部１０と、ケイデンス検出部２０と、補間位相生成部３０と、動きベクトル検出部４０と、補間フレーム生成部５０とを備える。

圧縮映像信号デコード部１０は、入力される圧縮映像信号をデコードしてベースバンド映像信号とフレームリピート情報とを出力する。ベースバンド映像信号は、圧縮映像信号がデコード（復号）された映像信号に含まれるフレームごとに当該フレームと同じフレームを複数回連続して出力することによって生成される映像信号である。フレームリピート情報は、複数回連続して出力した同じフレームのうち最初のフレームのベースバンド映像信号内の位置を表す情報である。

ケイデンス検出部２０は、ベースバンド映像信号に含まれるフレームが更新されたか否かを表すケイデンス情報をベースバンド映像信号に基づいて検出する。

フレームが更新される、とは、直前の複数回連続して出力されたフレームと異なるフレームが出力されることを意味する。つまり、フレームが更新された点は、ベースバンド映像信号内における、フレームの変化点（圧縮映像信号がデコードされた映像信号に含まれるフレームの切り替わり）である。したがって、フレーム更新の周期とは、フレームの繰り返しの周期を意味する。

補間位相生成部３０は、フレームリピート情報を取得し、フレーム更新情報と、補間位相情報とを生成する。フレーム更新情報は、ベースバンド映像信号に含まれるフレームが更新されたか否かを表す。補間位相情報は、ベースバンド映像信号の異なるフレーム間の動きを補間するための情報である。

動きベクトル検出部４０は、ベースバンド映像信号とフレーム更新情報とから更新されたフレーム間の動きベクトルを検出する。

補間フレーム生成部５０は、フレーム更新情報、ベースバンド映像信号、補間位相情報及び動きベクトルを用いて補間フレームを生成し、更新されたフレームと補間フレームとを含む、ベースバンド映像信号と同じフレームレートの出力映像信号を出力する。

次に、映像信号処理装置６０の動作について説明する。なお、以下の説明では特に断りのない限り圧縮映像信号デコード部１０の出力フレームレートは６０Ｈｚである。

図３Ａは、映像信号処理装置６０の動作の例を表す図である。

まず、圧縮映像信号デコード部１０は、入力される圧縮映像信号（図３Ａの（１）及び（１’））をデコードしてベースバンド映像信号（図３Ａの（２））とフレームリピート情報（図３Ａの（３））とを出力する。ここでは、圧縮映像信号デコード部１０は、圧縮映像信号に含まれるヘッダー情報の一部であるフレームレート情報、または圧縮映像信号に含まれるタイムスタンプ情報を用いて、圧縮映像信号のフレームレートの判別を行う。この場合、圧縮映像信号のフレームレートは１５Ｈｚであり、圧縮映像信号デコード部１０の出力フレームレートは、上述のように６０Ｈｚであるから、圧縮映像信号デコード部１０は、圧縮映像信号がデコードされた映像信号のフレームごとに当該フレームと同じフレームを４回ずつ連続して出力する。図３Ａ（２）中の「１」と記載されたフレーム（以下、フレーム「１」と記載する）は、圧縮映像信号の１のストリームを表すフレームと同じフレームである。同様に、フレーム「２」は、圧縮映像信号の２のストリームを表すフレームと同じフレームである。

図３Ａの（３）で示されるフレームリピート情報は、４回連続して出力した同じフレームのうち最初のフレームを表す。具体的には、フレームリピート情報は、４回連続して出力されるフレーム「１」、フレーム「２」、フレーム「３」・・・のそれぞれ先頭のフレームが出力される期間でローレベルの値をとり、それ以外の期間ではハイレベルの値をとるデジタル信号である。なお、フレームリピート情報の論理（ハイレベル期間とローレベル期間）は逆であってもよい。つまり、連続して出力されるフレームのそれぞれ先頭のフレームが出力される期間でハイレベルの値をとり、それ以外の期間ではローレベルの値をとってもよい。

次に、補間位相生成部３０は、圧縮映像信号デコード部１０から出力されるフレームリピート情報のハイレベルとローレベルの割合から、圧縮映像信号のフレームレートを検出し、フレームリピート処理の判別を行う。

図２は、補間位相生成部３０のフレームリピート処理の判別方法の例を表すフローチャートである。

図２に示されるように、圧縮映像信号のフレームレートには、圧縮映像信号デコード部１０が行う所定のフレームリピート処理が対応付けられている。

具体的には、圧縮映像信号のフレームレートが３０Ｈｚである場合、圧縮映像信号デコード部１０が行うフレームリピート処理は２：２：２：４処理、または２：２処理のいずれかである。

２：２：２：４処理とは、具体的には、例えば、圧縮映像信号に時間的に連続したフレーム「１」「２」「３」「４」が含まれる（１〜４のストリームが含まれる）場合、圧縮映像信号デコード部１０がベースバンド映像信号としてフレーム「１」「１」「２」「２」「３」「３」「４」「４」「４」「４」を出力することを意味する。フレーム「４」に連続するフレーム「５」以降のフレームも同様に、周期的に連続して出力される。

また、２：２処理とは、同様に、圧縮映像信号デコード部１０がベースバンド映像信号としてフレーム「１」「１」「２」「２」「３」「３」「４」「４」と圧縮映像信号がデコードされた映像信号のフレームを２回ずつ連続して出力することを意味する。

圧縮映像信号のフレームレートが２５Ｈｚである場合、フレームリピート処理は２：３：２：３：２処理であり、圧縮映像信号のフレームレートが２４Ｈｚである場合、フレームリピート処理は３：２処理である。圧縮映像信号のフレームレートが２４Ｈｚ、２０Ｈｚ、１５Ｈｚ、１２Ｈｚである場合も同様に、それぞれ、フレームリピート処理の３：２処理、３：３処理、４：４処理、５：５処理が対応付けられている。

以上のように、圧縮映像信号のフレームレートには、所定のフレームリピート処理が対応付けられているため、補間位相生成部３０は、図２のフローチャートに従い、圧縮映像信号デコード部１０が行ったフレームリピート処理を判別することができる。

フレームレートが３０Ｈｚである場合（Ｓ２でＹｅｓ）は、補間位相生成部３０は、ケイデンス検出部２０の出力を参照する（Ｓ１３）。その結果、ケイデンス検出部２０の出力が２：２：２：４処理を表す場合（Ｓ１３でＹｅｓ）、補間位相生成部３０は、フレームリピート処理が２：２：２：４処理であると判別する（Ｓ１４）。ケイデンス検出部２０の動作については後述する。ケイデンス検出部２０の出力が２：２：２：４処理を表さない時（Ｓ１３でＮｏ）は補間位相生成部３０は、フレームリピート処理が２：２処理であると判別する。

以降、フレームレートが３０Ｈｚではなく（Ｓ２でＮｏ）でフレームレートが２５Ｈｚである時（Ｓ３でＹｅｓ）は、補間位相生成部３０は、フレームリピート処理が２：３：２：３：２処理であると判別する（Ｓ８）。フレームレートが２５Ｈｚではなく（Ｓ３でＮｏ）フレームレートが２４Ｈｚである時（Ｓ４でＹｅｓ）は、補間位相生成部３０は、フレームリピート処理が３：２処理であると判別する（Ｓ９）。

同様に、補間位相生成部３０は、フレームレートが２０Ｈｚである場合（Ｓ５でＹｅｓ）はフレームリピート処理が３：３処理（Ｓ１０）、フレームレートが１５ｈｚと判別された場合（Ｓ６でＹｅｓ）はフレームリピート処理が４：４処理（Ｓ１１）、フレームレートが１２Ｈｚである場合（Ｓ７でＹｅｓ）はフレームリピート処理が５：５処理（Ｓ１２）であると判別する。なお、圧縮映像信号のフレームレートが図２で示されるフレームレートのいずれにも全てに当てはまらないと判断された時（Ｓ７でＮｏ）は、Ｓ８〜Ｓ１２、Ｓ１４およびＳ１５の処理の処理遅延と合わせる処理をして、再度、フレーム判別が行われる。

図３Ａの例では、図３Ａの（４）のように、補間位相生成部３０は、圧縮映像信号のフレームレートが１５Ｈｚであると判別する（図２のＳ６）。したがって、補間位相生成部３０は、圧縮映像信号デコード部１０が行うフレームリピート処理は、４：４処理（図２のＳ１１）であると判別する。

なお、フレームレートの判別は、圧縮映像信号に含まれるヘッダー情報の一部であるフレームレート情報を用いても良い。また本判別は圧縮映像信号に含まれるタイムスタンプ情報を用いても良い。また、図２のステップＳ２〜Ｓ７の判別処理を１つのステップで行なっても良い。また、図２のステップＳ２〜Ｓ７の処理の順序を入れ替えても良い。

次に、補間位相生成部３０は、フレーム更新情報（図３Ａの（６））と、補間位相情報（図３Ａの（７））とを生成する。

フレーム更新情報は、フレームの更新（切り替わり）を表す情報である。ベースバンド映像信号では、圧縮映像信号がデコードされた映像信号に含まれるフレーム「１」、フレーム「２」、フレーム「３」・・・と同じフレームがそれぞれ４回ずつ連続して出力される。フレームが更新される、とは、直前の複数回連続して出力されたフレームと異なるフレームが出力されることを意味する。

具体的には、フレーム更新情報は、ベースバンド映像信号の４回ずつ連続して出力されるフレームのそれぞれ最初のフレーム（更新されたフレーム）が出力される期間でハイレベルの値をとり、それ以外の期間ではローレベルの値をとるデジタル信号である。図３Ａの例では、フレーム更新情報は、フレームリピート情報の論理を反転させた信号である。つまり、フレーム更新情報の生成は、必ずしも必須ではなく、フレームリピート情報をそのまま用いてもよい。

なお、フレーム更新情報の論理は逆であってもよい。つまり、連続して出力されるフレームのそれぞれ先頭のフレームが出力される期間でローレベルの値をとり、それ以外の期間ではハイレベルの値をとってもよい。

補間位相情報は、ベースバンド映像信号において連続して出力されるフレームの動きを、後述する動きベクトルによって補間した補間フレームを生成するための情報である。図３Ａの例では、フレーム間の時間距離を表す情報であるともいえる。

例えば、圧縮映像信号がデコードされた映像信号に含まれるフレーム「１」、フレーム「２」、フレーム「３」・・・のそれぞれのフレーム間の時間距離を「１」とする。ベースバンド映像信号では、圧縮映像信号がデコードされた映像信号に含まれるフレームと同じフレームがそれぞれ４回連続して出力されるため、連続して出力されるフレーム間の時間距離は「０」である。これに対し、例えば、４回連続して出力されるフレーム「１」の最後のフレーム「１」と、このフレームに続いて出力されるフレーム「２」との時間距離は、上述のように「１」である。

このようにベースバンド映像信号に含まれるフレーム間の時間的距離は不均一であるため、フレーム間の動きを補間した補間フレームを用いてフレーム間の時間距離を均等にすることでスムースな映像表示が実現される。

補間位相情報は、具体的には、次のようにして求められる。

まず、図３Ａの（４）で示されるフレームレートの検出結果（フレームリピート処理の判別結果）に基づき、繰り返し位相（図３Ａの（５））を求める。フレームリピート処理が４：４処理の場合、圧縮映像信号がデコードされた映像信号に含まれるフレームと同じフレームが４回ずつ出力されるため、繰り返し位相として「０」〜「３」の各繰り返し位相が対応付けられる。ここで、フレーム更新情報に基づき、更新されたフレームには、繰り返し位相「０」が対応付けられ、続く、更新されたフレームと同じ３つのフレームには繰り返し位相「１」「２」「３」が対応付けられる。

次に、繰り返し位相計算結果から、補間位相情報を求める。第１の実施形態では、例えば、判別されたフレームリピート処理ごとに、繰り返し位相と補間位相が対応付けられている。

図３Ｂは、繰返し位相と補間位相情報の関係を示す図である。

図３Ｂに示されるように、繰り返し位相「０」「１」「２」「３」にそれぞれ補間位相情報「０」「１／４」「２／４」「３／４」がそれぞれ対応付けられている。したがって例えば、連続して出力される最初のフレーム「１」（以下、更新されたフレーム「１」と記述する）には補間位相情報「０」が対応付けられる。更新されたフレーム「１」に続いて出力される２番目のフレーム「１」には、補間位相情報「１／４」が対応付けられる。同様に、３番目のフレーム「１」には、補間位相情報「２／４」が対応付けられ、４番目のフレーム「１」には、補間位相情報「３／４」が対応付けられる。

このように、補間位相生成部３０は、判別されたフレームリピート処理ごとに、繰り返し位相と補間位相が対応付けられたテーブルを用いて、補間位相情報を求める。

動きベクトル検出部４０は、フレーム更新信号を用いて更新されたフレーム間の動きベクトルを求める（図３Ａの（８））。

また、補間フレーム生成部５０は、ベースバンド映像信号、動きベクトル、フレーム更新情報、及び補間位相情報を用いて補間フレームを生成する（図３Ａの（９））。

以下、動きベクトル及び補間フレームの生成方法について詳細に説明する。なお、以下の説明では主に連続して出力されるフレーム「１」に置き換えられる補間フレームの生成方法について説明するが、フレーム「２」「３」・・・についても同様である。

補間フレームは、ベースバンド映像信号、動きベクトル、補間位相情報、及びフレーム更新情報を用い、更新されたフレームを線形補間をすることで生成される。例えば、図３Ａの（９）に示される補間位相「１／４」に対応する補間フレーム「１．２５」は、補間位相情報「０」に対応する更新されたフレーム「１」と更新されたフレーム「２」とから求められる動きベクトルを用いて、線形補間することで生成される。

まず、動きベクトル検出部４０は、例えば、更新されたフレーム「１」と更新されたフレーム「２」とをいくつかの小領域に分割する。

次に、動きベクトル検出部４０は、フレーム「２」の一つの小領域（以下、小領域Ａとする。）と、フレーム「１」の各小領域とのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を求める。ＳＡＤは、フレームを構成する各画素について、当該フレームと時間的に連続するフレームの対応する画素との輝度差の絶対値を求め、求めた各画素の輝度差の絶対値を合計したパラメータである。

続いて、動きベクトル検出部４０は、小領域の数だけ求められたＳＡＤのうち、最も小さいＳＡＤ値に対応する更新されたフレーム「１」の小領域（以下、小領域Ａ´とする）を求める。さらに、動きベクトル検出部４０は、小領域Ａ及び小領域Ａ´を用いて、小領域Ａから小領域Ａ´への位置の変化を表す動きベクトルＡを求める。

次に、補間フレーム生成部５０は、補間フレーム「１．２５」に含まれる小領域のうち、小領域Ａの位置から、動きベクトルＡ´×０．２５（＝補間位相情報１／４）によって求められる位置の小領域（以下、小領域Ａ´´とする）を求める。

小領域Ａ´´の各画素の輝度は、小領域Ａの各画素の輝度と小領域Ａ´の各画素との輝度を比例配分することによって求められる。例えば、小領域Ａ´´の任意の画素ａの輝度は（小領域Ａ´´の画素ａの輝度）＝（小領域Ａの画素ａに対応する画素の輝度）×０．２５＋（小領域Ａ´の画素ａに対応する画素の輝度）×０．７５という式で求められる。上記の０．２５と０．７５とは、補間位相情報１／４から求められる値である。

以上のように各画素の輝度を求めることで、補間フレーム「１．２５」の小領域Ａ´´の輝度が求められる。フレーム「２」の他の小領域についても、動きベクトルをそれぞれ求めることで、補間フレーム「１．２５」の他の小領域の輝度が求められる。この結果、補間フレーム「１．２５」が生成される。

同様にして、補間フレーム生成部５０は、補間位相情報「２／４」、「３／４」に対応する補間フレーム「１．５」、「１．７５」を生成する。また、図３Ａに示される補間フレーム「２．２５」、「２．５」、「２．７５」についても同様の方法にて生成される。

最後に、補間フレーム生成部５０は、補間位相情報に応じて、ベースバンド映像信号に含まれるフレームを補間フレームに置き換えた出力映像信号を出力する。なお、図３Ａの（９）に示されるように、補間位相情報「０」に対応するフレーム、つまり更新されたフレームは、補間フレームには置き換えられない。

これにより、補間フレームを用いてフレーム間の時間距離を均等にすることでスムースな映像表示が実現される。

なお、映像信号処理装置がフレームリピート情報とケイデンス情報の検出を併用してフレームリピート処理を判別するような構成であってもよい。

図４Ａは、このような映像信号処理装置６０の動作の別の例を表す図である。

図４Ａでは、まず、圧縮映像信号デコード部１０は、入力される圧縮映像信号（図４Ａの（１）及び（１’））をデコードしてベースバンド映像信号（図４Ａの（２））とフレームリピート情報（図４Ａの（３））とを出力する。この場合、圧縮映像信号デコード部１０は、２：２：２：４処理によってフレームを連続して出力する。したがって、図４Ａで示されるように、ベースバンド映像信号では、フレーム「１」〜「３」は２回ずつ連続して出力され、フレーム「４」は４回連続して出力される。つまり、図４Ａの（１）中の「４のストリーム」で表されるフレームと「４’のストリーム」で表されるフレームは同じ映像（フレーム）であり、図４Ａの（２）中のフレーム「４」とフレーム「４’」は同じフレームである。

図４Ａの（３）で示されるフレームリピート情報は、２回ずつ連続して出力されるフレーム「１」・・・、フレーム「４」、フレーム「４’」・・・のそれぞれ先頭のフレームが出力される期間でローレベルの値をとり、それ以外の期間ではハイレベルの値をとる。この場合、フレームリピート情報は、圧縮映像信号のフレームレートを表す信号である。

補間位相生成部３０は、図４Ａの（３）のフレームリピート情報のハイレベル及びローレベルの期間の比率から圧縮映像信号のフレームレートが３０Ｈｚであることを検出する。（図４Ａの（４））。

一方、ケイデンス検出部２０は、ベースバンド映像信号に含まれるフレームが更新されたか否かを表すケイデンス情報をベースバンド映像信号に基づいて検出する（図４Ａの（７））。ケイデンス情報は、具体的には、図４Ａの（２）で示されるベースバンド映像信号のフレームの差分を、各フレームの対応する画素の輝度差の絶対値を累積加算した値（図４Ａの（５））を算出し、これらを閾値によって０／１判別したデジタル信号（図４Ａの（６））である。

補間位相生成部３０は、フレームリピート処理が２：２：２：４処理であるというケイデンス情報の検出結果に基づき、フレーム更新情報（図４Ａの（９））と補間位相情報（図４Ａの（１０））を生成する。

補間位相情報を生成するために、補間位相生成部３０は、まず、繰り返し位相（図４Ａの（８）を求める。フレームリピート処理が２：２：２：４処理の場合、フレームリピート処理は、１０フレームごとの周期を持つため、繰り返し位相として「０」〜「９」の各繰り返し位相が対応付けられる。

次に、繰り返し位相計算結果から、対応付けられた補間位相情報を求める。

図４Ｂは、繰返し位相と補間位相情報の関係を示す図である。

図４Ｂに示されるように、繰り返し位相「０」〜「９」にそれぞれ補間位相情報「０」「２／５」「４／５」「１／５」「３／５」「０」「２／５」「４／５」「１／５」「３／５」「０」がそれぞれ対応付けられている。したがって、図４Ａの（２）に示されるベースバンド映像信号に含まれる各フレームに上記の補間位相情報がそれぞれ対応付けられる。

動きベクトル検出部４０は、フレーム更新情報（図４Ａの（９））を用いて、更新されたフレーム間の動きベクトルを検出する（図４Ａの（１１））。補間フレーム生成部５０は、動きベクトルとフレーム更新情報と補間位相情報とを用いて補間フレームを生成する（図４Ａの（１２））。動きベクトルの検出方法、及び補間フレームの生成方法は図３Ａで説明した方法と同様である。

最後に、補間フレーム生成部５０は、補間位相情報に応じて、ベースバンド映像信号に含まれるフレームを補間フレームに置き換えた出力映像信号を出力する。なお、図４Ａの（１２）に示されるように、補間位相情報「０」に対応するフレームは、補間フレームには置き換えられない。

なお、図４Ａの例において、フレームリピート情報は、フレームリピート処理２：２：２：４処理を直接明示するような信号であってもよい。つまり、例えば、フレームリピート情報が図４Ａの（６）で示されるケイデンス情報の論理を反転した信号であってもよい。

なお、第１の実施形態では、ケイデンス検出部２０の検出結果を用いるのは圧縮映像信号のフレームレートが３０Ｈｚの場合のみを記載している。しかしながら、他のフレームレートの場合であっても、同一のフレームレートに対するフレームリピート処理が２種類以上あるような場合には、ケイデンス検出部２０のケイデンス情報の検出結果を用いてフレームリピート処理を判別してもよい。

また、第１の実施形態では、ケイデンス検出部２０が２：２：２：４処理のみを検出する構成であるが、ケイデンス検出部２０は、他のフレームリピート処理について、ケイデンス情報を検出しても良い。

以上、本発明に係る映像信号処理装置６０について、第１の実施形態に基づいて説明した。

映像信号処理装置６０によれば、ベースバンド映像信号のフレームリピート処理を誤検出なく判別することができる。したがって、映像信号処理装置６０は、フレームリピート処理されたフレームを適切に補間することが可能である。

なお、映像信号処理装置６０は、出力映像信号を表示装置等に出力すると共に、図２で検出したフレームレートの検出結果を、表示装置等に表示してもよい。また、この場合、例えば、フレームレートの検出結果に基づき、フレームの補間処理を行うかどうかをユーザに選択させるための選択メニューを、フレームの補間処理を行う前に表示装置等に表示してもよい。

（第２の実施形態）
映像信号処理において、圧縮映像信号をデコードする装置（映像信号出力装置）と、補間フレームを生成する装置（映像信号処理装置）とは、それぞれ別々のＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として構成されることが多い。

第２の実施形態では、このような構成の一例として、映像信号出力装置と、映像信号処理装置とがＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）を用いて通信する場合について、図面を参照しながら説明する。

図５は、本発明の第２の実施形態に係る映像信号出力装置及び映像信号処理装置を表すブロック図である。なお、構成要素のうち第１の実施形態と同じ符号のものは、特に断りのない限り、第１の実施形態と同様の機能を備え、第１の実施形態と同様の動作をするものとして説明を省略する。

図５において、映像信号出力装置１２０は、圧縮映像信号デコード部１０と、ＬＶＤＳ出力部１００とを備えるＬＳＩである。映像信号処理装置１３０は、ケイデンス検出部２０と、補間位相生成部３０と、動きベクトル検出部４０と、補間フレーム生成部５０と、ＬＶＤＳ取得部１１０とを備えるＬＳＩである。

ＬＶＤＳ出力部１００は、圧縮映像信号デコード部１０が出力したベースバンド映像信号の映像情報が含まれないブランキング期間にフレームリピート情報を重畳（記録）し、ＬＶＤＳとして出力する。

ＬＶＤＳ取得部１１０は、例えば、ＬＶＤＳを取得してベースバンド映像信号のブランキング期間に重畳されているフレームリピート情報とベースバンド映像信号を分離する。

また、ＬＶＤＳ取得部１１０は、分離したフレームリピート情報を補間位相生成部３０へ出力し、ベースバンド映像信号をケイデンス検出部２０、動きベクトル検出部４０、及び補間フレーム生成部５０へ出力する。

次に、ベースバンド映像信号のブランキング期間にフレームリピート情報を重畳する方法について説明する。

図６は、第２の実施形態に係るベースバンド映像信号のデータ構造を示す図である。図６に示されるデータ構造は、ベースバンド映像信号の緑（Ｇ）に対応する信号（信号Ｇ）の９ビット目から２ビット目である。

図６の例では、ＬＶＤＳ出力部１００は、信号Ｇの９ビット目から２ビット目に位置する２０バイト（８ビット×２０）のブランキング期間にフレームリピート情報を重畳して出力する。

なお、０バイト目（ＨＤ）は多重信号のヘッダーを示す固定値ＦＦｈであり、１バイト目（Ｄ０）はデコーダのリピートフラグの有効フラグである。２バイト目（Ｄ１）は、フレームリピート情報であり、３バイト目（Ｄ２）は、圧縮映像信号（入力ストリーム）のフレームレート情報であり、４〜１９バイト目（Ｄ３〜Ｄ１８）は予備データである。

図７は、フレームリピート情報のビット割り当ての例を示す図である。

１バイト目（Ｄ０）のＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）は、フレームリピート情報の有効／無効を表すフラグであり、例えば、「０」が無効に対応し、「１」が有効に対応する。

２バイト目（Ｄ１）のＬＳＢは、フレームリピート情報であり、例えば、「０」がフレームリピートなし（連続する同じフレームの最初のフレーム）に対応し、「１」がフレームリピート発生（連続する同じフレームの最初のフレーム以外）に対応する。

３バイト目（Ｄ２）は、圧縮映像信号（入力映像ストリーム）のフレームレート情報である。図７に示されるように、例えば、圧縮映像信号のフレームレートが３０Ｈｚ（図７では３０Ｐと記載）の場合、Ｄ２には１ｅｈ（ｈは１６進数を表す）の値が格納され、圧縮映像信号のフレームレートが１５Ｈｚの場合、Ｄ２には０ｆｈが格納される。

このように、映像信号出力装置１２０が、フレームリピート情報をベースバンド映像信号のブランキング期間へ重畳することで、映像信号出力装置１２０は、ベースバンド映像信号のデータ構造等を変更することなくフレームリピート情報を伝送することができる。

なお、第２の実施形態では、映像信号出力装置１２０と、映像信号処理装置１３０とがＬＶＤＳを用いて通信する例について説明したが、通信に用いられる信号はＬＶＤＳに限定されない。例えば、通信に用いられる信号は、ＬＳＩ間のインターフェースに用いられるＶｂｙＯｎｅ（登録商標）等の差動伝送方式の信号を用いてもよいし、ＣＭＯＳ等のシングルエンド伝送方式の信号を用いてもよい。

（第３の実施形態）
映像信号処理において、圧縮映像信号をデコードする装置（映像信号出力装置）と、補間フレームを生成する装置（映像信号処理装置）とが、それぞれ別々の機器に実装される場合が考えられる。例えば、圧縮映像信号をデコードする装置がＢｌｕ−Ｒａｙプレーヤであり、補間フレームを生成する装置がテレビであるような場合である。

第３の実施形態では、このような構成の一例として、映像信号出力装置と、映像信号処理装置とがＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）を用いて通信する場合について説明する。

図８は、第３の実施形態に係る映像信号出力装置及び映像信号処理装置の構成を表すブロック図である。

映像信号出力装置２２０は、圧縮映像信号デコード部１０と、ＨＤＭＩ出力部２００とを備える。映像信号処理装置２３０は、ケイデンス検出部２０と、補間位相生成部３０と、動きベクトル検出部４０と、補間フレーム生成部５０と、ＨＤＭＩ取得部２１０とを備えるＬＳＩである。

ＨＤＭＩ出力部２００は、ベースバンド映像信号とフレームリピート情報が含まれるデコード情報とをＨＤＭＩ規格の映像信号として出力する。ＨＤＭＩ出力部２００は、フレームリピート情報を含むデコード情報をＨＤＭＩ規格の映像信号のＩｎｆｏＦｒａｍｅ部に重畳して出力する。

ＨＤＭＩ取得部２１０は、ベースバンド映像信号とフレームリピート情報を含むデコード情報とが含まれるＨＤＭＩ規格の映像信号を取得する。フレームリピート情報は、ＨＤＭＩ出力部２００によってＨＤＭＩ規格の映像信号のＩｎｆｏＦｒａｍｅに重畳されている。

このように、映像信号出力装置２２０が、フレームリピート情報をＨＤＭＩ規格の映像信号のＩｎｆｏＦｒａｍｅへ重畳することで、異なる機器間においても映像信号出力装置２２０は、フレームリピート情報を容易に伝送することができる。

以上、本発明の一態様に係る映像信号出力装置、及び映像信号処理装置について、第１〜第３の実施形態に基づいて説明した。なお、本発明は、以下のように変形することもできる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるディジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記ディジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記ディジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記ディジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記ディジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記ディジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

以上、本発明の一態様に係る映像信号出力装置、及び映像信号処理装置について、第１〜第３の実施形態、及びその変形例について説明した。

本発明によれば、フレームリピート情報を用いることで、映像信号処理装置は、フレームリピート処理を誤検出することなく、ベースバンド映像信号を、補間フレームを用いた出力映像信号に信号処理することが可能である。したがって、視聴者が映像に違和感を感じない、スムースで高品位な映像表示が実現される。

なお、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

本発明の映像信号処理装置、映像信号出力装置、及び映像信号処理方法によれば、フレームリピート処理を誤検出することなく、ベースバンド映像信号を、補間フレームを用いた出力映像信号に信号処理することが可能である。したがって、本発明によれば、視聴者が違和感を感じない、スムースで高品位な映像表示が可能であり、圧縮映像信号を再生可能なテレビや、パーソナルコンピュータなどの表示装置等として有用である。

１０ 圧縮映像信号デコード部
２０ ケイデンス検出部
３０ 補間位相生成部
４０ 動きベクトル検出部
５０ 補間フレーム生成部
６０、１３０、２３０ 映像信号処理装置
１００ ＬＶＤＳ出力部
１１０ ＬＶＤＳ取得部
１２０、２２０ 映像信号出力装置
２００ ＨＤＭＩ出力部
２１０ ＨＤＭＩ取得部

本発明は、圧縮映像信号（ビデオストリーム）をデコードし、フレームレートを変換する映像信号出力装置、及び映像を補間して出力する映像信号処理装置及び映像信号処理方法に関する。

近年、例えばインターネットを介したフレームレートの低い圧縮映像信号を再生する表示装置が増加してきている。

このような圧縮映像信号が表示装置で再生される場合、デコードされた圧縮映像信号のフレームがフレームリピート処理によって繰り返されることで、圧縮映像信号のフレームレートは、表示装置の出力フレームレートに変換される。

また、このような場合、フレームリピート処理されたフレーム間の映像の変化を滑らかにする目的で、繰り返して出力されるフレームを、フレーム間の動きを補間した補間フレームに置き換える技術が知られている。

フレーム間の動きを補間する場合、映像信号から映像信号リピート周期（ケイデンス情報）を検出するケイデンス検出（例えば、特許文献１参照）を行い、リピート周期に応じてフレームを補間する。

特開平５−１８３８８４号公報

しかしながら、ケイデンス検出では、フレームの変化点を誤検出するような場合があり、このような場合には、フレームリピートされたフレームを適切に補間できないことが課題である。

そこで、本発明は、フレームの繰り返しを誤検出せず、フレームリピートされたフレームを適切に補間可能な映像信号処理装置及び映像信号処理方法を提供することを目的とする。

上記の課題を解決するために、本発明の一態様に係る映像信号処理装置は、圧縮映像信号がデコードされることで得られるフレームごとに当該フレームと同じフレームが複数回連続して出力されることによって生成されたベースバンド映像信号の信号処理を行う映像信号処理装置であって、複数回連続して出力された前記同じフレームのうち最初のフレームの前記ベースバンド映像信号内の位置を表すフレームリピート情報を取得し、前記フレームリピート情報に基づいて、前記ベースバンド映像信号のフレームレートに応じて補間フレームを生成するための位相を示す補間位相情報を生成する補間位相生成部と、前記フレームリピート情報が表す更新されたフレーム間の動きベクトルを検出する動きベクトル検出部と、前記補間位相情報及び前記動きベクトルを用いて、前記更新されたフレーム間の動きを補間した前記補間フレームを生成し、前記更新されたフレームと前記補間フレームとを含む、前記ベースバンド映像信号と同じフレームレートの出力映像信号を出力する補間フレーム生成部とを備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

本発明によれば、フレームの繰り返しがフレームリピートによるものであることを判別し、誤検出なくフレームリピートされたフレームを補間することができる。

図１は、本発明の第１の実施形態に係る映像信号処理装置の構成を表すブロック図である。 図２は、フレームリピート処理の判別方法の例を表すフローチャートである。 図３Ａは、本発明の第１の実施形態に係る映像信号処理装置の動作の例を表す図である。 図３Ｂは、繰返し位相と補間位相情報の関係を示す図である。 図４Ａは、本発明の第１の実施形態に係る映像信号処理装置の動作の別の例を表す図である。 図４Ｂは、繰返し位相と補間位相情報の関係を示す図である。 図５は、本発明の第２の実施形態に係る映像信号出力装置及び映像信号処理装置の構成を表すブロック図である。 図６は、本発明の第２の実施形態に係るベースバンド映像信号のデータ構造を示す図である。 図７は、本発明の第２の実施形態のフレームリピート情報のビット割り当ての例を示す図である。 図８は、本発明の第３の実施形態に係る映像信号出力装置及び映像信号処理装置の構成を表すブロック図である。 図９は、従来の例を示すブロック図である。

（本発明の基礎となった知見）
本発明者らは、「背景技術」の欄において記載した、デコードした圧縮映像信号についてフレームレート変換する処理の後、補間フレームを用いて映像信号を再生する場合に以下の課題が生じることを見出した。

特許文献１には、従来のフレームレート変換処理の一例が開示されている。まず、このような例について、図９を参照しながら説明する。

図９は、例えば、入力映像信号が周期的にリピートされているＦｉｌｍ素材である事を入力映像信号から映像信号リピート周期（ケイデンス情報）を検出し（ケイデンス検出）、フレームレートをハイビジョン方式からＮＴＳＣ方式に変換（ダウンコンバート）する例である。

図９において、入力端子１０１にはハイビジョン方式の映像信号Ｖｉｎが供給される。同時に、映像信号Ｖｉｎは直接減算器１０２にも供給され、さらに遅延回路（１フレーム期間の遅延時間）を構成するフィールドメモリ１０３，１０４の直列回路を介して減算器１０２に供給される。

減算器１０２より出力される１フレーム間差信号ＳＤＦは、２−３プルダウン方式のテレシネ映像信号の検出回路１０５に供給される。また、入力端子１０１に供給される映像信号Ｖｉｎは、タイミング発生回路１０６に供給される。

タイミング発生回路１０６は同期分離回路やＰＬＬ回路等を用いて構成され、映像信号Ｖｉｎより分離された同期信号等に基づいてクロックＣＫ、奇偶ラインに対応したライン同期信号ＬＯ／Ｅ、フィールドパルスＶＰ、及びフレームパルスＦＰを出力する。上述の検出回路１０５には、タイミング発生回路１０６からフィールドパルスＶＰが供給される。

また、従来の圧縮映像信号をデコードする圧縮映像信号デコーダ、及びそれ以降の映像信号処理装置は、放送信号をデコードするために開発されていた。このため、圧縮映像信号デコーダは圧縮映像信号のフレームを繰り返して出力するフレームリピートにより、フレームレートを６０Ｈｚ（＝６０ｆｐｓ）または、５０Ｈｚにデコードした映像信号を出力していた。このような場合、フレームリピートされたフレーム間の映像の変化を滑らかにする目的で、繰り返して出力されるフレームを、フレーム間の動きを補間した補間フレームに置き換える技術が知られている。

しかしながら、ケイデンス検出では、フレームの繰り返しがコンテンツ制作側の意図によるものか、圧縮映像信号デコーダによってフレームリピートされたものかを、圧縮映像信号デコーダ以降の処理ブロックにおいて判別できないという課題がある。

また、映像信号処理装置では、圧縮映像信号デコーダから出力されるフレームから求められるケイデンス情報を検出するため、類似するフレームが連続するような場合、フレームの変化点を誤検出することがある。したがって誤検出等により映像信号が補間された結果、映像の乱れが発生することも課題である。

このような課題を解決するために、本発明の一態様に係る映像信号処理装置は、圧縮映像信号がデコードされることで得られるフレームごとに当該フレームと同じフレームが複数回連続して出力されることによって生成されたベースバンド映像信号の信号処理を行う映像信号処理装置であって、複数回連続して出力された前記同じフレームのうち最初のフレームの前記ベースバンド映像信号内の位置を表すフレームリピート情報を取得し、前記フレームリピート情報に基づいて、前記ベースバンド映像信号のフレームレートに応じて補間フレームを生成するための位相を示す補間位相情報を生成する補間位相生成部と、前記フレームリピート情報が表す更新されたフレーム間の動きベクトルを検出する動きベクトル検出部と、前記補間位相情報及び前記動きベクトルを用いて、前記更新されたフレーム間の動きを補間した前記補間フレームを生成し、前記更新されたフレームと前記補間フレームとを含む、前記ベースバンド映像信号と同じフレームレートの出力映像信号を出力する補間フレーム生成部とを備える。

これにより、フレームリピート情報を用いることでフレームの繰り返しを誤検出することがない。したがって、フレーム間の動きを適切に補間可能な映像信号処理装置が実現される。

また、前記補間位相生成部は、前記フレームリピート情報に基づいて、前記ベースバンド映像信号に含まれるフレームが直前のフレームから更新されたか否かを表すフレーム更新情報を生成し、前記動きベクトル検出部は、前記フレーム更新情報が表す前記更新されたフレーム間の動きベクトルを検出してもよい。

また、前記映像信号処理装置は、さらに、前記ベースバンド映像信号に含まれるフレームが更新されたか否かを表すケイデンス情報を前記ベースバンド映像信号に基づいて検出するケイデンス検出部を備え、前記補間位相生成部は、前記フレームリピート情報と前記ケイデンス情報とを用いて前記フレーム更新情報と前記補間位相情報とを生成してもよい。

また、前記映像信号処理装置は、さらに、前記ベースバンド映像信号と前記フレームリピート情報とが含まれるＨＤＭＩ（登録商標）（ＨｉｇｈＤｅｆｉｎｉｔｉｏｎＭｕｌｔｉｍｅｄｉａＩｎｔｅｒｆａｃｅ）規格の映像信号を取得するＨＤＭＩ取得部を備え、前記フレームリピート情報は、前記ＨＤＭＩ規格の映像信号のＩｎｆｏＦｒａｍｅに重畳されてもよい。

また、前記映像信号処理装置は、さらに、前記圧縮映像信号をデコードして前記ベースバンド映像信号と前記フレームリピート情報とを出力する圧縮映像信号デコード部を備えてもよい。

また、前記圧縮映像信号デコード部は、前記ベースバンド映像信号のうち映像情報が含まれていない期間であるブランキング期間に前記フレームリピート情報を重畳して前記ベースバンド映像信号及び前記フレームリピート情報を出力してもよい。

また、前記映像信号処理装置は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）であってもよい。

また、本発明の一態様に係る映像信号出力装置は、圧縮映像信号を取得し、前記圧縮映像信号がデコードされることで得られるフレームごとに当該フレームと同じフレームを複数回連続して出力することによって生成したベースバンド映像信号と、複数回連続して出力した前記同じフレームのうち最初のフレームの前記ベースバンド映像信号内の位置を表すフレームリピート情報とを出力する圧縮映像信号デコード部を備える。

また、前記圧縮映像信号デコード部は、前記ベースバンド映像信号のうち映像情報が含まれていない期間であるブランキング期間に前記フレームリピート情報を重畳して前記ベースバンド映像信号及び前記フレームリピート情報を出力してもよい。

また、前記映像信号出力装置は、さらに、前記ベースバンド映像信号と前記フレームリピート情報とをＨＤＭＩ規格の映像信号として出力するＨＤＭＩ出力部とを備え、前記ＨＤＭＩ出力部は、前記フレームリピート情報を前記ＨＤＭＩ規格の映像信号のＩｎｆｏＦｒａｍｅに重畳して出力してもよい。

また、本発明は、映像信号処理方法として圧縮映像信号をデコードすることで得られるフレームごとに当該フレームと同じフレームが複数回連続して出力されることによって生成されたベースバンド映像信号の信号処理を行う映像信号処理方法であって、複数回連続して出力された前記同じフレームのうち最初のフレームの前記ベースバンド映像信号内の位置を表すフレームリピート情報を取得し、前記フレームリピート情報に基づいて、前記ベースバンド映像信号のフレームレートに応じて補間される補間フレームの位相を示す補間位相情報とを生成する補間位相生成ステップと、前記フレームリピート情報が表す更新されたフレーム間の動きベクトルを検出する動きベクトル検出ステップと、前記補間位相情報及び前記動きベクトルを用いて前記補間フレームを生成し、前記更新されたフレームと前記補間フレームとを含む、前記ベースバンド映像信号と同じフレームレートの出力映像信号を出力する補間フレーム生成ステップとを備える。

なお、これらの全般的または具体的な態様は、システム、方法、集積回路、コンピュータプログラムまたは記録媒体で実現されてもよく、システム、方法、集積回路、コンピュータプログラムまたは記録媒体の任意な組み合わせで実現されてもよい。

以下、本発明の実施の形態について図面を用いて詳細に説明する。なお、以下で説明する本発明の実施の形態は、本発明の好ましい一具体例を示すものである。本実施の形態で示される数値、形状、材料、構成要素、構成要素の配置及び接続形態などは、一例であり、本発明を限定する主旨ではない。よって、以下の実施の形態における構成要素のうち、最上位概念を示す独立請求項に記載されていない構成要素については、任意の構成要素として説明される。

（第１の実施形態）
以下、図１を参照しながら、第１の実施形態の構成について説明する。

図１は、第１の実施形態に係る映像信号処理装置の構成を表すブロック図である。

映像信号処理装置６０は、圧縮映像信号デコード部１０と、ケイデンス検出部２０と、補間位相生成部３０と、動きベクトル検出部４０と、補間フレーム生成部５０とを備える。

圧縮映像信号デコード部１０は、入力される圧縮映像信号をデコードしてベースバンド映像信号とフレームリピート情報とを出力する。ベースバンド映像信号は、圧縮映像信号がデコード（復号）された映像信号に含まれるフレームごとに当該フレームと同じフレームを複数回連続して出力することによって生成される映像信号である。フレームリピート情報は、複数回連続して出力した同じフレームのうち最初のフレームのベースバンド映像信号内の位置を表す情報である。

ケイデンス検出部２０は、ベースバンド映像信号に含まれるフレームが更新されたか否かを表すケイデンス情報をベースバンド映像信号に基づいて検出する。

フレームが更新される、とは、直前の複数回連続して出力されたフレームと異なるフレームが出力されることを意味する。つまり、フレームが更新された点は、ベースバンド映像信号内における、フレームの変化点（圧縮映像信号がデコードされた映像信号に含まれるフレームの切り替わり）である。したがって、フレーム更新の周期とは、フレームの繰り返しの周期を意味する。

補間位相生成部３０は、フレームリピート情報を取得し、フレーム更新情報と、補間位相情報とを生成する。フレーム更新情報は、ベースバンド映像信号に含まれるフレームが更新されたか否かを表す。補間位相情報は、ベースバンド映像信号の異なるフレーム間の動きを補間するための情報である。

動きベクトル検出部４０は、ベースバンド映像信号とフレーム更新情報とから更新されたフレーム間の動きベクトルを検出する。

補間フレーム生成部５０は、フレーム更新情報、ベースバンド映像信号、補間位相情報及び動きベクトルを用いて補間フレームを生成し、更新されたフレームと補間フレームとを含む、ベースバンド映像信号と同じフレームレートの出力映像信号を出力する。

次に、映像信号処理装置６０の動作について説明する。なお、以下の説明では特に断りのない限り圧縮映像信号デコード部１０の出力フレームレートは６０Ｈｚである。

図３Ａは、映像信号処理装置６０の動作の例を表す図である。

まず、圧縮映像信号デコード部１０は、入力される圧縮映像信号（図３Ａの（１）及び（１’））をデコードしてベースバンド映像信号（図３Ａの（２））とフレームリピート情報（図３Ａの（３））とを出力する。ここでは、圧縮映像信号デコード部１０は、圧縮映像信号に含まれるヘッダー情報の一部であるフレームレート情報、または圧縮映像信号に含まれるタイムスタンプ情報を用いて、圧縮映像信号のフレームレートの判別を行う。この場合、圧縮映像信号のフレームレートは１５Ｈｚであり、圧縮映像信号デコード部１０の出力フレームレートは、上述のように６０Ｈｚであるから、圧縮映像信号デコード部１０は、圧縮映像信号がデコードされた映像信号のフレームごとに当該フレームと同じフレームを４回ずつ連続して出力する。図３Ａ（２）中の「１」と記載されたフレーム（以下、フレーム「１」と記載する）は、圧縮映像信号の１のストリームを表すフレームと同じフレームである。同様に、フレーム「２」は、圧縮映像信号の２のストリームを表すフレームと同じフレームである。

図３Ａの（３）で示されるフレームリピート情報は、４回連続して出力した同じフレームのうち最初のフレームを表す。具体的には、フレームリピート情報は、４回連続して出力されるフレーム「１」、フレーム「２」、フレーム「３」・・・のそれぞれ先頭のフレームが出力される期間でローレベルの値をとり、それ以外の期間ではハイレベルの値をとるデジタル信号である。なお、フレームリピート情報の論理（ハイレベル期間とローレベル期間）は逆であってもよい。つまり、連続して出力されるフレームのそれぞれ先頭のフレームが出力される期間でハイレベルの値をとり、それ以外の期間ではローレベルの値をとってもよい。

次に、補間位相生成部３０は、圧縮映像信号デコード部１０から出力されるフレームリピート情報のハイレベルとローレベルの割合から、圧縮映像信号のフレームレートを検出し、フレームリピート処理の判別を行う。

図２は、補間位相生成部３０のフレームリピート処理の判別方法の例を表すフローチャートである。

図２に示されるように、圧縮映像信号のフレームレートには、圧縮映像信号デコード部１０が行う所定のフレームリピート処理が対応付けられている。

具体的には、圧縮映像信号のフレームレートが３０Ｈｚである場合、圧縮映像信号デコード部１０が行うフレームリピート処理は２：２：２：４処理、または２：２処理のいずれかである。

２：２：２：４処理とは、具体的には、例えば、圧縮映像信号に時間的に連続したフレーム「１」「２」「３」「４」が含まれる（１〜４のストリームが含まれる）場合、圧縮映像信号デコード部１０がベースバンド映像信号としてフレーム「１」「１」「２」「２」「３」「３」「４」「４」「４」「４」を出力することを意味する。フレーム「４」に連続するフレーム「５」以降のフレームも同様に、周期的に連続して出力される。

また、２：２処理とは、同様に、圧縮映像信号デコード部１０がベースバンド映像信号としてフレーム「１」「１」「２」「２」「３」「３」「４」「４」と圧縮映像信号がデコードされた映像信号のフレームを２回ずつ連続して出力することを意味する。

圧縮映像信号のフレームレートが２５Ｈｚである場合、フレームリピート処理は２：３：２：３：２処理であり、圧縮映像信号のフレームレートが２４Ｈｚである場合、フレームリピート処理は３：２処理である。圧縮映像信号のフレームレートが２４Ｈｚ、２０Ｈｚ、１５Ｈｚ、１２Ｈｚである場合も同様に、それぞれ、フレームリピート処理の３：２処理、３：３処理、４：４処理、５：５処理が対応付けられている。

以上のように、圧縮映像信号のフレームレートには、所定のフレームリピート処理が対応付けられているため、補間位相生成部３０は、図２のフローチャートに従い、圧縮映像信号デコード部１０が行ったフレームリピート処理を判別することができる。

フレームレートが３０Ｈｚである場合（Ｓ２でＹｅｓ）は、補間位相生成部３０は、ケイデンス検出部２０の出力を参照する（Ｓ１３）。その結果、ケイデンス検出部２０の出力が２：２：２：４処理を表す場合（Ｓ１３でＹｅｓ）、補間位相生成部３０は、フレームリピート処理が２：２：２：４処理であると判別する（Ｓ１４）。ケイデンス検出部２０の動作については後述する。ケイデンス検出部２０の出力が２：２：２：４処理を表さない時（Ｓ１３でＮｏ）は補間位相生成部３０は、フレームリピート処理が２：２処理であると判別する。

以降、フレームレートが３０Ｈｚではなく（Ｓ２でＮｏ）でフレームレートが２５Ｈｚである時（Ｓ３でＹｅｓ）は、補間位相生成部３０は、フレームリピート処理が２：３：２：３：２処理であると判別する（Ｓ８）。フレームレートが２５Ｈｚではなく（Ｓ３でＮｏ）フレームレートが２４Ｈｚである時（Ｓ４でＹｅｓ）は、補間位相生成部３０は、フレームリピート処理が３：２処理であると判別する（Ｓ９）。

同様に、補間位相生成部３０は、フレームレートが２０Ｈｚである場合（Ｓ５でＹｅｓ）はフレームリピート処理が３：３処理（Ｓ１０）、フレームレートが１５ｈｚと判別された場合（Ｓ６でＹｅｓ）はフレームリピート処理が４：４処理（Ｓ１１）、フレームレートが１２Ｈｚである場合（Ｓ７でＹｅｓ）はフレームリピート処理が５：５処理（Ｓ１２）であると判別する。なお、圧縮映像信号のフレームレートが図２で示されるフレームレートのいずれにも全てに当てはまらないと判断された時（Ｓ７でＮｏ）は、Ｓ８〜Ｓ１２、Ｓ１４およびＳ１５の処理の処理遅延と合わせる処理をして、再度、フレーム判別が行われる。

図３Ａの例では、図３Ａの（４）のように、補間位相生成部３０は、圧縮映像信号のフレームレートが１５Ｈｚであると判別する（図２のＳ６）。したがって、補間位相生成部３０は、圧縮映像信号デコード部１０が行うフレームリピート処理は、４：４処理（図２のＳ１１）であると判別する。

なお、フレームレートの判別は、圧縮映像信号に含まれるヘッダー情報の一部であるフレームレート情報を用いても良い。また本判別は圧縮映像信号に含まれるタイムスタンプ情報を用いても良い。また、図２のステップＳ２〜Ｓ７の判別処理を１つのステップで行なっても良い。また、図２のステップＳ２〜Ｓ７の処理の順序を入れ替えても良い。

次に、補間位相生成部３０は、フレーム更新情報（図３Ａの（６））と、補間位相情報（図３Ａの（７））とを生成する。

フレーム更新情報は、フレームの更新（切り替わり）を表す情報である。ベースバンド映像信号では、圧縮映像信号がデコードされた映像信号に含まれるフレーム「１」、フレーム「２」、フレーム「３」・・・と同じフレームがそれぞれ４回ずつ連続して出力される。フレームが更新される、とは、直前の複数回連続して出力されたフレームと異なるフレームが出力されることを意味する。

具体的には、フレーム更新情報は、ベースバンド映像信号の４回ずつ連続して出力されるフレームのそれぞれ最初のフレーム（更新されたフレーム）が出力される期間でハイレベルの値をとり、それ以外の期間ではローレベルの値をとるデジタル信号である。図３Ａの例では、フレーム更新情報は、フレームリピート情報の論理を反転させた信号である。つまり、フレーム更新情報の生成は、必ずしも必須ではなく、フレームリピート情報をそのまま用いてもよい。

なお、フレーム更新情報の論理は逆であってもよい。つまり、連続して出力されるフレームのそれぞれ先頭のフレームが出力される期間でローレベルの値をとり、それ以外の期間ではハイレベルの値をとってもよい。

補間位相情報は、ベースバンド映像信号において連続して出力されるフレームの動きを、後述する動きベクトルによって補間した補間フレームを生成するための情報である。図３Ａの例では、フレーム間の時間距離を表す情報であるともいえる。

例えば、圧縮映像信号がデコードされた映像信号に含まれるフレーム「１」、フレーム「２」、フレーム「３」・・・のそれぞれのフレーム間の時間距離を「１」とする。ベースバンド映像信号では、圧縮映像信号がデコードされた映像信号に含まれるフレームと同じフレームがそれぞれ４回連続して出力されるため、連続して出力されるフレーム間の時間距離は「０」である。これに対し、例えば、４回連続して出力されるフレーム「１」の最後のフレーム「１」と、このフレームに続いて出力されるフレーム「２」との時間距離は、上述のように「１」である。

このようにベースバンド映像信号に含まれるフレーム間の時間的距離は不均一であるため、フレーム間の動きを補間した補間フレームを用いてフレーム間の時間距離を均等にすることでスムースな映像表示が実現される。

補間位相情報は、具体的には、次のようにして求められる。

まず、図３Ａの（４）で示されるフレームレートの検出結果（フレームリピート処理の判別結果）に基づき、繰り返し位相（図３Ａの（５））を求める。フレームリピート処理が４：４処理の場合、圧縮映像信号がデコードされた映像信号に含まれるフレームと同じフレームが４回ずつ出力されるため、繰り返し位相として「０」〜「３」の各繰り返し位相が対応付けられる。ここで、フレーム更新情報に基づき、更新されたフレームには、繰り返し位相「０」が対応付けられ、続く、更新されたフレームと同じ３つのフレームには繰り返し位相「１」「２」「３」が対応付けられる。

次に、繰り返し位相計算結果から、補間位相情報を求める。第１の実施形態では、例えば、判別されたフレームリピート処理ごとに、繰り返し位相と補間位相が対応付けられている。

図３Ｂは、繰返し位相と補間位相情報の関係を示す図である。

図３Ｂに示されるように、繰り返し位相「０」「１」「２」「３」にそれぞれ補間位相情報「０」「１／４」「２／４」「３／４」がそれぞれ対応付けられている。したがって例えば、連続して出力される最初のフレーム「１」（以下、更新されたフレーム「１」と記述する）には補間位相情報「０」が対応付けられる。更新されたフレーム「１」に続いて出力される２番目のフレーム「１」には、補間位相情報「１／４」が対応付けられる。同様に、３番目のフレーム「１」には、補間位相情報「２／４」が対応付けられ、４番目のフレーム「１」には、補間位相情報「３／４」が対応付けられる。

このように、補間位相生成部３０は、判別されたフレームリピート処理ごとに、繰り返し位相と補間位相が対応付けられたテーブルを用いて、補間位相情報を求める。

動きベクトル検出部４０は、フレーム更新信号を用いて更新されたフレーム間の動きベクトルを求める（図３Ａの（８））。

また、補間フレーム生成部５０は、ベースバンド映像信号、動きベクトル、フレーム更新情報、及び補間位相情報を用いて補間フレームを生成する（図３Ａの（９））。

以下、動きベクトル及び補間フレームの生成方法について詳細に説明する。なお、以下の説明では主に連続して出力されるフレーム「１」に置き換えられる補間フレームの生成方法について説明するが、フレーム「２」「３」・・・についても同様である。

補間フレームは、ベースバンド映像信号、動きベクトル、補間位相情報、及びフレーム更新情報を用い、更新されたフレームを線形補間をすることで生成される。例えば、図３Ａの（９）に示される補間位相「１／４」に対応する補間フレーム「１．２５」は、補間位相情報「０」に対応する更新されたフレーム「１」と更新されたフレーム「２」とから求められる動きベクトルを用いて、線形補間することで生成される。

まず、動きベクトル検出部４０は、例えば、更新されたフレーム「１」と更新されたフレーム「２」とをいくつかの小領域に分割する。

次に、動きベクトル検出部４０は、フレーム「２」の一つの小領域（以下、小領域Ａとする。）と、フレーム「１」の各小領域とのＳＡＤ（Ｓｕｍ ｏｆ Ａｂｓｏｌｕｔｅ Ｄｉｆｆｅｒｅｎｃｅ）を求める。ＳＡＤは、フレームを構成する各画素について、当該フレームと時間的に連続するフレームの対応する画素との輝度差の絶対値を求め、求めた各画素の輝度差の絶対値を合計したパラメータである。

続いて、動きベクトル検出部４０は、小領域の数だけ求められたＳＡＤのうち、最も小さいＳＡＤ値に対応する更新されたフレーム「１」の小領域（以下、小領域Ａ´とする）を求める。さらに、動きベクトル検出部４０は、小領域Ａ及び小領域Ａ´を用いて、小領域Ａから小領域Ａ´への位置の変化を表す動きベクトルＡを求める。

次に、補間フレーム生成部５０は、補間フレーム「１．２５」に含まれる小領域のうち、小領域Ａの位置から、動きベクトルＡ´×０．２５（＝補間位相情報１／４）によって求められる位置の小領域（以下、小領域Ａ´´とする）を求める。

小領域Ａ´´の各画素の輝度は、小領域Ａの各画素の輝度と小領域Ａ´の各画素との輝度を比例配分することによって求められる。例えば、小領域Ａ´´の任意の画素ａの輝度は（小領域Ａ´´の画素ａの輝度）＝（小領域Ａの画素ａに対応する画素の輝度）×０．２５＋（小領域Ａ´の画素ａに対応する画素の輝度）×０．７５という式で求められる。上記の０．２５と０．７５とは、補間位相情報１／４から求められる値である。

以上のように各画素の輝度を求めることで、補間フレーム「１．２５」の小領域Ａ´´の輝度が求められる。フレーム「２」の他の小領域についても、動きベクトルをそれぞれ求めることで、補間フレーム「１．２５」の他の小領域の輝度が求められる。この結果、補間フレーム「１．２５」が生成される。

同様にして、補間フレーム生成部５０は、補間位相情報「２／４」、「３／４」に対応する補間フレーム「１．５」、「１．７５」を生成する。また、図３Ａに示される補間フレーム「２．２５」、「２．５」、「２．７５」についても同様の方法にて生成される。

最後に、補間フレーム生成部５０は、補間位相情報に応じて、ベースバンド映像信号に含まれるフレームを補間フレームに置き換えた出力映像信号を出力する。なお、図３Ａの（９）に示されるように、補間位相情報「０」に対応するフレーム、つまり更新されたフレームは、補間フレームには置き換えられない。

これにより、補間フレームを用いてフレーム間の時間距離を均等にすることでスムースな映像表示が実現される。

なお、映像信号処理装置がフレームリピート情報とケイデンス情報の検出を併用してフレームリピート処理を判別するような構成であってもよい。

図４Ａは、このような映像信号処理装置６０の動作の別の例を表す図である。

図４Ａでは、まず、圧縮映像信号デコード部１０は、入力される圧縮映像信号（図４Ａの（１）及び（１’））をデコードしてベースバンド映像信号（図４Ａの（２））とフレームリピート情報（図４Ａの（３））とを出力する。この場合、圧縮映像信号デコード部１０は、２：２：２：４処理によってフレームを連続して出力する。したがって、図４Ａで示されるように、ベースバンド映像信号では、フレーム「１」〜「３」は２回ずつ連続して出力され、フレーム「４」は４回連続して出力される。つまり、図４Ａの（１）中の「４のストリーム」で表されるフレームと「４’のストリーム」で表されるフレームは同じ映像（フレーム）であり、図４Ａの（２）中のフレーム「４」とフレーム「４’」は同じフレームである。

図４Ａの（３）で示されるフレームリピート情報は、２回ずつ連続して出力されるフレーム「１」・・・、フレーム「４」、フレーム「４’」・・・のそれぞれ先頭のフレームが出力される期間でローレベルの値をとり、それ以外の期間ではハイレベルの値をとる。この場合、フレームリピート情報は、圧縮映像信号のフレームレートを表す信号である。

補間位相生成部３０は、図４Ａの（３）のフレームリピート情報のハイレベル及びローレベルの期間の比率から圧縮映像信号のフレームレートが３０Ｈｚであることを検出する。（図４Ａの（４））。

一方、ケイデンス検出部２０は、ベースバンド映像信号に含まれるフレームが更新されたか否かを表すケイデンス情報をベースバンド映像信号に基づいて検出する（図４Ａの（７））。ケイデンス情報は、具体的には、図４Ａの（２）で示されるベースバンド映像信号のフレームの差分を、各フレームの対応する画素の輝度差の絶対値を累積加算した値（図４Ａの（５））を算出し、これらを閾値によって０／１判別したデジタル信号（図４Ａの（６））である。

補間位相生成部３０は、フレームリピート処理が２：２：２：４処理であるというケイデンス情報の検出結果に基づき、フレーム更新情報（図４Ａの（９））と補間位相情報（図４Ａの（１０））を生成する。

補間位相情報を生成するために、補間位相生成部３０は、まず、繰り返し位相（図４Ａの（８）を求める。フレームリピート処理が２：２：２：４処理の場合、フレームリピート処理は、１０フレームごとの周期を持つため、繰り返し位相として「０」〜「９」の各繰り返し位相が対応付けられる。

次に、繰り返し位相計算結果から、対応付けられた補間位相情報を求める。

図４Ｂは、繰返し位相と補間位相情報の関係を示す図である。

図４Ｂに示されるように、繰り返し位相「０」〜「９」にそれぞれ補間位相情報「０」「２／５」「４／５」「１／５」「３／５」「０」「２／５」「４／５」「１／５」「３／５」「０」がそれぞれ対応付けられている。したがって、図４Ａの（２）に示されるベースバンド映像信号に含まれる各フレームに上記の補間位相情報がそれぞれ対応付けられる。

動きベクトル検出部４０は、フレーム更新情報（図４Ａの（９））を用いて、更新されたフレーム間の動きベクトルを検出する（図４Ａの（１１））。補間フレーム生成部５０は、動きベクトルとフレーム更新情報と補間位相情報とを用いて補間フレームを生成する（図４Ａの（１２））。動きベクトルの検出方法、及び補間フレームの生成方法は図３Ａで説明した方法と同様である。

最後に、補間フレーム生成部５０は、補間位相情報に応じて、ベースバンド映像信号に含まれるフレームを補間フレームに置き換えた出力映像信号を出力する。なお、図４Ａの（１２）に示されるように、補間位相情報「０」に対応するフレームは、補間フレームには置き換えられない。

なお、図４Ａの例において、フレームリピート情報は、フレームリピート処理２：２：２：４処理を直接明示するような信号であってもよい。つまり、例えば、フレームリピート情報が図４Ａの（６）で示されるケイデンス情報の論理を反転した信号であってもよい。

なお、第１の実施形態では、ケイデンス検出部２０の検出結果を用いるのは圧縮映像信号のフレームレートが３０Ｈｚの場合のみを記載している。しかしながら、他のフレームレートの場合であっても、同一のフレームレートに対するフレームリピート処理が２種類以上あるような場合には、ケイデンス検出部２０のケイデンス情報の検出結果を用いてフレームリピート処理を判別してもよい。

また、第１の実施形態では、ケイデンス検出部２０が２：２：２：４処理のみを検出する構成であるが、ケイデンス検出部２０は、他のフレームリピート処理について、ケイデンス情報を検出しても良い。

以上、本発明に係る映像信号処理装置６０について、第１の実施形態に基づいて説明した。

映像信号処理装置６０によれば、ベースバンド映像信号のフレームリピート処理を誤検出なく判別することができる。したがって、映像信号処理装置６０は、フレームリピート処理されたフレームを適切に補間することが可能である。

なお、映像信号処理装置６０は、出力映像信号を表示装置等に出力すると共に、図２で検出したフレームレートの検出結果を、表示装置等に表示してもよい。また、この場合、例えば、フレームレートの検出結果に基づき、フレームの補間処理を行うかどうかをユーザに選択させるための選択メニューを、フレームの補間処理を行う前に表示装置等に表示してもよい。

（第２の実施形態）
映像信号処理において、圧縮映像信号をデコードする装置（映像信号出力装置）と、補間フレームを生成する装置（映像信号処理装置）とは、それぞれ別々のＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）として構成されることが多い。

第２の実施形態では、このような構成の一例として、映像信号出力装置と、映像信号処理装置とがＬＶＤＳ（Ｌｏｗ Ｖｏｌｔａｇｅ Ｄｉｆｆｅｒｅｎｔｉａｌ Ｓｉｇｎａｌ）を用いて通信する場合について、図面を参照しながら説明する。

図５は、本発明の第２の実施形態に係る映像信号出力装置及び映像信号処理装置を表すブロック図である。なお、構成要素のうち第１の実施形態と同じ符号のものは、特に断りのない限り、第１の実施形態と同様の機能を備え、第１の実施形態と同様の動作をするものとして説明を省略する。

図５において、映像信号出力装置１２０は、圧縮映像信号デコード部１０と、ＬＶＤＳ出力部１００とを備えるＬＳＩである。映像信号処理装置１３０は、ケイデンス検出部２０と、補間位相生成部３０と、動きベクトル検出部４０と、補間フレーム生成部５０と、ＬＶＤＳ取得部１１０とを備えるＬＳＩである。

ＬＶＤＳ出力部１００は、圧縮映像信号デコード部１０が出力したベースバンド映像信号の映像情報が含まれないブランキング期間にフレームリピート情報を重畳（記録）し、ＬＶＤＳとして出力する。

ＬＶＤＳ取得部１１０は、例えば、ＬＶＤＳを取得してベースバンド映像信号のブランキング期間に重畳されているフレームリピート情報とベースバンド映像信号を分離する。

また、ＬＶＤＳ取得部１１０は、分離したフレームリピート情報を補間位相生成部３０へ出力し、ベースバンド映像信号をケイデンス検出部２０、動きベクトル検出部４０、及び補間フレーム生成部５０へ出力する。

次に、ベースバンド映像信号のブランキング期間にフレームリピート情報を重畳する方法について説明する。

図６は、第２の実施形態に係るベースバンド映像信号のデータ構造を示す図である。図６に示されるデータ構造は、ベースバンド映像信号の緑（Ｇ）に対応する信号（信号Ｇ）の９ビット目から２ビット目である。

図６の例では、ＬＶＤＳ出力部１００は、信号Ｇの９ビット目から２ビット目に位置する２０バイト（８ビット×２０）のブランキング期間にフレームリピート情報を重畳して出力する。

なお、０バイト目（ＨＤ）は多重信号のヘッダーを示す固定値ＦＦｈであり、１バイト目（Ｄ０）はデコーダのリピートフラグの有効フラグである。２バイト目（Ｄ１）は、フレームリピート情報であり、３バイト目（Ｄ２）は、圧縮映像信号（入力ストリーム）のフレームレート情報であり、４〜１９バイト目（Ｄ３〜Ｄ１８）は予備データである。

図７は、フレームリピート情報のビット割り当ての例を示す図である。

１バイト目（Ｄ０）のＬＳＢ（Ｌｅａｓｔ Ｓｉｇｎｉｆｉｃａｎｔ Ｂｉｔ）は、フレームリピート情報の有効／無効を表すフラグであり、例えば、「０」が無効に対応し、「１」が有効に対応する。

２バイト目（Ｄ１）のＬＳＢは、フレームリピート情報であり、例えば、「０」がフレームリピートなし（連続する同じフレームの最初のフレーム）に対応し、「１」がフレームリピート発生（連続する同じフレームの最初のフレーム以外）に対応する。

３バイト目（Ｄ２）は、圧縮映像信号（入力映像ストリーム）のフレームレート情報である。図７に示されるように、例えば、圧縮映像信号のフレームレートが３０Ｈｚ（図７では３０Ｐと記載）の場合、Ｄ２には１ｅｈ（ｈは１６進数を表す）の値が格納され、圧縮映像信号のフレームレートが１５Ｈｚの場合、Ｄ２には０ｆｈが格納される。

このように、映像信号出力装置１２０が、フレームリピート情報をベースバンド映像信号のブランキング期間へ重畳することで、映像信号出力装置１２０は、ベースバンド映像信号のデータ構造等を変更することなくフレームリピート情報を伝送することができる。

なお、第２の実施形態では、映像信号出力装置１２０と、映像信号処理装置１３０とがＬＶＤＳを用いて通信する例について説明したが、通信に用いられる信号はＬＶＤＳに限定されない。例えば、通信に用いられる信号は、ＬＳＩ間のインターフェースに用いられるＶｂｙＯｎｅ（登録商標）等の差動伝送方式の信号を用いてもよいし、ＣＭＯＳ等のシングルエンド伝送方式の信号を用いてもよい。

（第３の実施形態）
映像信号処理において、圧縮映像信号をデコードする装置（映像信号出力装置）と、補間フレームを生成する装置（映像信号処理装置）とが、それぞれ別々の機器に実装される場合が考えられる。例えば、圧縮映像信号をデコードする装置がＢｌｕ−Ｒａｙ（登録商標）プレーヤであり、補間フレームを生成する装置がテレビであるような場合である。

第３の実施形態では、このような構成の一例として、映像信号出力装置と、映像信号処理装置とがＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）を用いて通信する場合について説明する。

図８は、第３の実施形態に係る映像信号出力装置及び映像信号処理装置の構成を表すブロック図である。

映像信号出力装置２２０は、圧縮映像信号デコード部１０と、ＨＤＭＩ出力部２００とを備える。映像信号処理装置２３０は、ケイデンス検出部２０と、補間位相生成部３０と、動きベクトル検出部４０と、補間フレーム生成部５０と、ＨＤＭＩ取得部２１０とを備えるＬＳＩである。

ＨＤＭＩ出力部２００は、ベースバンド映像信号とフレームリピート情報が含まれるデコード情報とをＨＤＭＩ規格の映像信号として出力する。ＨＤＭＩ出力部２００は、フレームリピート情報を含むデコード情報をＨＤＭＩ規格の映像信号のＩｎｆｏＦｒａｍｅ部に重畳して出力する。

ＨＤＭＩ取得部２１０は、ベースバンド映像信号とフレームリピート情報を含むデコード情報とが含まれるＨＤＭＩ規格の映像信号を取得する。フレームリピート情報は、ＨＤＭＩ出力部２００によってＨＤＭＩ規格の映像信号のＩｎｆｏＦｒａｍｅに重畳されている。

このように、映像信号出力装置２２０が、フレームリピート情報をＨＤＭＩ規格の映像信号のＩｎｆｏＦｒａｍｅへ重畳することで、異なる機器間においても映像信号出力装置２２０は、フレームリピート情報を容易に伝送することができる。

以上、本発明の一態様に係る映像信号出力装置、及び映像信号処理装置について、第１〜第３の実施形態に基づいて説明した。なお、本発明は、以下のように変形することもできる。

（１）上記の各装置は、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭ、ハードディスクユニット、ディスプレイユニット、キーボード、マウスなどから構成されるコンピュータシステムである。前記ＲＡＭまたはハードディスクユニットには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、各装置は、その機能を達成する。ここでコンピュータプログラムは、所定の機能を達成するために、コンピュータに対する指令を示す命令コードが複数個組み合わされて構成されたものである。

（２）上記の各装置を構成する構成要素の一部または全部は、１個のシステムＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ：大規模集積回路）から構成されているとしてもよい。システムＬＳＩは、複数の構成部を１個のチップ上に集積して製造された超多機能ＬＳＩであり、具体的には、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどを含んで構成されるコンピュータシステムである。前記ＲＡＭには、コンピュータプログラムが記憶されている。前記マイクロプロセッサが、前記コンピュータプログラムにしたがって動作することにより、システムＬＳＩは、その機能を達成する。

（３）上記の各装置を構成する構成要素の一部または全部は、各装置に脱着可能なＩＣカードまたは単体のモジュールから構成されているとしてもよい。前記ＩＣカードまたは前記モジュールは、マイクロプロセッサ、ＲＯＭ、ＲＡＭなどから構成されるコンピュータシステムである。前記ＩＣカードまたは前記モジュールは、上記の超多機能ＬＳＩを含むとしてもよい。マイクロプロセッサが、コンピュータプログラムにしたがって動作することにより、前記ＩＣカードまたは前記モジュールは、その機能を達成する。このＩＣカードまたはこのモジュールは、耐タンパ性を有するとしてもよい。

（４）本発明は、上記に示す方法であるとしてもよい。また、これらの方法をコンピュータにより実現するコンピュータプログラムであるとしてもよいし、前記コンピュータプログラムからなるディジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記ディジタル信号をコンピュータ読み取り可能な記録媒体、例えば、フレキシブルディスク、ハードディスク、ＣＤ−ＲＯＭ、ＭＯ、ＤＶＤ、ＤＶＤ−ＲＯＭ、ＤＶＤ−ＲＡＭ、ＢＤ（Ｂｌｕ−ｒａｙ Ｄｉｓｃ）、半導体メモリなどに記録したものとしてもよい。また、これらの記録媒体に記録されている前記ディジタル信号であるとしてもよい。

また、本発明は、前記コンピュータプログラムまたは前記ディジタル信号を、電気通信回線、無線または有線通信回線、インターネットを代表とするネットワーク、データ放送等を経由して伝送するものとしてもよい。

また、本発明は、マイクロプロセッサとメモリを備えたコンピュータシステムであって、前記メモリは、上記コンピュータプログラムを記憶しており、前記マイクロプロセッサは、前記コンピュータプログラムにしたがって動作するとしてもよい。

また、前記プログラムまたは前記ディジタル信号を前記記録媒体に記録して移送することにより、または前記プログラムまたは前記ディジタル信号を前記ネットワーク等を経由して移送することにより、独立した他のコンピュータシステムにより実施するとしてもよい。

（５）上記実施の形態及び上記変形例をそれぞれ組み合わせるとしてもよい。

以上、本発明の一態様に係る映像信号出力装置、及び映像信号処理装置について、第１〜第３の実施形態、及びその変形例について説明した。

本発明によれば、フレームリピート情報を用いることで、映像信号処理装置は、フレームリピート処理を誤検出することなく、ベースバンド映像信号を、補間フレームを用いた出力映像信号に信号処理することが可能である。したがって、視聴者が映像に違和感を感じない、スムースで高品位な映像表示が実現される。

なお、本発明は、この実施の形態に限定されるものではない。本発明の趣旨を逸脱しない限り、当業者が思いつく各種変形を本実施の形態に施したものや、異なる実施の形態における構成要素を組み合わせて構築される形態も、本発明の一つまたは複数の態様の範囲内に含まれてもよい。

本発明の映像信号処理装置、映像信号出力装置、及び映像信号処理方法によれば、フレームリピート処理を誤検出することなく、ベースバンド映像信号を、補間フレームを用いた出力映像信号に信号処理することが可能である。したがって、本発明によれば、視聴者が違和感を感じない、スムースで高品位な映像表示が可能であり、圧縮映像信号を再生可能なテレビや、パーソナルコンピュータなどの表示装置等として有用である。

１０ 圧縮映像信号デコード部
２０ ケイデンス検出部
３０ 補間位相生成部
４０ 動きベクトル検出部
５０ 補間フレーム生成部
６０、１３０、２３０ 映像信号処理装置
１００ ＬＶＤＳ出力部
１１０ ＬＶＤＳ取得部
１２０、２２０ 映像信号出力装置
２００ ＨＤＭＩ出力部
２１０ ＨＤＭＩ取得部

Claims (11)

1. 圧縮映像信号がデコードされることで得られるフレームごとに当該フレームと同じフレームが複数回連続して出力されることによって生成されたベースバンド映像信号の信号処理を行う映像信号処理装置であって、
   複数回連続して出力された前記同じフレームのうち最初のフレームの前記ベースバンド映像信号内の位置を表すフレームリピート情報を取得し、前記フレームリピート情報に基づいて、前記ベースバンド映像信号のフレームレートに応じて補間フレームを生成するための位相を示す補間位相情報を生成する補間位相生成部と、
   前記フレームリピート情報が表す更新されたフレーム間の動きベクトルを検出する動きベクトル検出部と、
   前記補間位相情報及び前記動きベクトルを用いて、前記更新されたフレーム間の動きを補間した前記補間フレームを生成し、前記更新されたフレームと前記補間フレームとを含む、前記ベースバンド映像信号と同じフレームレートの出力映像信号を出力する補間フレーム生成部とを備える
   映像信号処理装置。
2. 前記補間位相生成部は、前記フレームリピート情報に基づいて、前記ベースバンド映像信号に含まれるフレームが直前のフレームから更新されたか否かを表すフレーム更新情報を生成し、
   前記動きベクトル検出部は、前記フレーム更新情報が表す前記更新されたフレーム間の動きベクトルを検出する
   請求項１に記載の映像信号処理装置。
3. 前記映像信号処理装置は、さらに、前記ベースバンド映像信号に含まれるフレームが更新されたか否かを表すケイデンス情報を前記ベースバンド映像信号に基づいて検出するケイデンス検出部を備え、
   前記補間位相生成部は、前記フレームリピート情報と前記ケイデンス情報とを用いて前記補間位相情報を生成する
   請求項１または２に記載の映像信号処理装置。
4. 前記映像信号処理装置は、さらに、前記ベースバンド映像信号と前記フレームリピート情報とが含まれるＨＤＭＩ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）規格の映像信号を取得するＨＤＭＩ取得部を備え、
   前記フレームリピート情報は、前記ＨＤＭＩ規格の映像信号のＩｎｆｏＦｒａｍｅに重畳される
   請求項１〜３のいずれか１項に記載の映像信号処理装置。
5. 前記映像信号処理装置は、さらに、前記圧縮映像信号をデコードして前記ベースバンド映像信号と前記フレームリピート情報とを出力する圧縮映像信号デコード部を備える
   請求項１〜４のいずれか１項に記載の映像信号処理装置。
6. 前記圧縮映像信号デコード部は、前記ベースバンド映像信号のうち映像情報が含まれていない期間であるブランキング期間に前記フレームリピート情報を重畳して前記ベースバンド映像信号及び前記フレームリピート情報を出力する
   請求項５に記載の映像信号処理装置。
7. 前記映像信号処理装置は、ＬＳＩ（Ｌａｒｇｅ Ｓｃａｌｅ Ｉｎｔｅｇｒａｔｉｏｎ）である
   請求項１〜６のいずれか１項に記載の映像信号処理装置。
8. 圧縮映像信号を取得し、前記圧縮映像信号がデコードされることで得られるフレームごとに当該フレームと同じフレームを複数回連続して出力することによって生成したベースバンド映像信号と、複数回連続して出力した前記同じフレームのうち最初のフレームの前記ベースバンド映像信号内の位置を表すフレームリピート情報とを出力する圧縮映像信号デコード部を備える
   映像信号出力装置。
9. 前記圧縮映像信号デコード部は、前記ベースバンド映像信号のうち映像情報が含まれていない期間であるブランキング期間に前記フレームリピート情報を重畳して前記ベースバンド映像信号及び前記フレームリピート情報を出力する
   請求項８に記載の映像信号出力装置。
10. 前記映像信号出力装置は、さらに、前記ベースバンド映像信号と前記フレームリピート情報とをＨＤＭＩ規格の映像信号として出力するＨＤＭＩ出力部とを備え、
    前記ＨＤＭＩ出力部は、前記フレームリピート情報を前記ＨＤＭＩ規格の映像信号のＩｎｆｏＦｒａｍｅに重畳して出力する
    請求項８に記載の映像信号出力装置。
11. 圧縮映像信号がデコードされることで得られるフレームごとに当該フレームと同じフレームが複数回連続して出力されることによって生成されたベースバンド映像信号の信号処理を行う映像信号処理方法であって、
    複数回連続して出力された前記同じフレームのうち最初のフレームの前記ベースバンド映像信号内の位置を表すフレームリピート情報を取得し、前記フレームリピート情報に基づいて、前記ベースバンド映像信号のフレームレートに応じて補間される補間フレームの位相を示す補間位相情報とを生成する補間位相生成ステップと、
    前記フレームリピート情報が表す更新されたフレーム間の動きベクトルを検出する動きベクトル検出ステップと、
    前記補間位相情報及び前記動きベクトルを用いて前記補間フレームを生成し、前記更新されたフレームと前記補間フレームとを含む、前記ベースバンド映像信号と同じフレームレートの出力映像信号を出力する補間フレーム生成ステップとを備える
    映像信号処理方法。

Images