JP4915018B2 - 映像処理装置、映像処理方法、プログラム、記録媒体、携帯端末、及び、受信装置 - Google Patents

Description

本発明は、映像処理装置、映像処理方法、プログラム、記録媒体、携帯端末、及び、受信装置、特に、フレーム補間機能及び画像拡大機能を有する映像処理装置、映像処理方法、当該映像処理方法を実行するプログラム、当該プログラムを記録した記録媒体、前記映像処理装置を備えた携帯端末、及び、受信装置に関する。

現在、いわゆるワンセグ放送（携帯端末向けの1セグメント部分受信サービス）を視聴できる様々な携帯端末が開発されている。このワンセグ放送では、送信されるフレーム数は、毎秒１５フレームと通常のテレビ放送に比べて少なく、サッカー等のスポーツ番組を視聴する場合には、映像がコマ落ちするため、フレーム補間を行うことで滑らかな動画像を表示する必要がある。このようなフレーム補間に関する技術が特許文献１に開示されている。

また、ワンセグ放送は、最大３２０×２４０ピクセル（ＱＶＧＡ）の解像度を有しているが、近年、携帯端末の表示画面が大型化する傾向にあり、大型化した表示画面でワンセグ放送を視聴しても、表示される映像が小さいため、表示映像を拡大する必要がある。このような映像の拡大に関する技術が特許文献２に開示されている。

すなわち、ワンセグ放送を大型化した表示画面を有する携帯端末で快適に視聴するためには、フレーム補間処理及び画像拡大処理の両方を行わなければならない。

図７は、フレーム補間処理及び画像拡大処理を説明するための概略図である。
図７に示したように、従来では、受信フレームｋ（１０１ｘ）及び受信フレームｋ＋１（１０３ｘ）から、補間フレームＩ（１０２ｘ）を生成し、当該各フレームに対して拡大処理を実行し、拡大フレーム１０１ｍ〜１０３ｍを生成する。なお、拡大フレーム１０４ｍ，１０５ｍについても、補間フレームＩ＋１（１０４ｘ），受信フレームｋ＋２（１０５ｘ）から生成される。
特開２００５−２６８９１２号公報 特開２０００−１８４１８７号公報

しかし、補間フレームＩ（１０２ｘ）を生成し、この補間フレームＩ（１０２ｘ）から拡大フレーム１０２ｍを生成すると、滑らかな動画像を生成できないという問題が生じる。
ここで、図８を用いて、この問題について説明する。
図８（Ａ）は、受信フレームｋ（１０１ｘ）の一部分（ブロック）を示す画素数１０×１０の画素配列図１１１で、図８（Ｂ）は、受信フレームｋ＋１（１０３ｘ）の同画素配列図１１２で、図８（Ｃ）は、補間フレームＩ（１０２ｘ）の同画素配列図１１３である。

図８（Ａ）の画素配列図１１１には、座標（２，２）に注目画素が設定されているとする（黒色部分）。同様に、図８（Ｂ）の画素配列図１１２の座標（７，２）に移動した当該注目画素が設定されたとする（黒色部分）。
このような場合に、当該注目画素の動きベクトルｍｖは、（５，０）（（７，２）−（２，２））と算出される。そして、補間フレーム生成時に参照される動きベクトルは、前記動きベクトルｍｖを（補間フレーム数＋１）で割った値、すなわち、ｍｖ／２（（５，０）／２＝（２．５，０））と非整数倍となる。

そのため、図８（Ｃ）に示すように、画素配列図１１３の座標（４，２）または座標（５，２）のいずれかに補間する画素の位置を決定しなければならず、当該補間フレームの画素位置は誤差を有する状態となる。
つまり、補間フレームを生成する際に算出される動きベクトルが非整数倍（半画素精度）の場合には、補間フレームの画素位置を決定する際に、誤差が生じてしまう（補間の精度が低い）。

このような誤差を有する補間フレームに対して、拡大処理を施すと、誤差がさらに大きくなるため、滑らかな動画像を生成できなかった。

本発明は、かかる実情に鑑みてなされたものであり、フレーム補間処理と画像拡大処理を同時に実行することで、拡大した補間フレームの精度を向上すると共に、受信フレームの拡大処理を実現し、滑らかな動画像を生成できる映像処理装置、映像処理方法、プログラム、及び、当該プログラムを記録した記録媒体を提供することを目的とする。
また、前記映像処理装置を備えた受信装置及び携帯端末を提供することを目的とする。

第１の技術手段は、受信映像についてフレーム補間すると共に画像を拡大する映像処理装置であって、連続して受信した受信映像の２つの受信フレームの画像を順次記憶し、前記記憶した受信映像を構成する画素値の画像に基づいて動きベクトル値を算出し、前記受信フレーム間に補間するフレーム数及び拡大画像の画素数に基づく画像の拡大倍率に基づいて前記動きベクトル値を調整し、前記調整した動きベクトル値及び拡大倍率に基づいて前記記憶した受信フレームの画像を参照して前記補間フレームの画像を含めた拡大画像を生成することを特徴とする映像処理装置である。

第２の技術手段は、第１の技術手段において、前記動きベクトル値の調整は、前記算出した動きベクトル値に補間フレーム数に１を加算した数の逆数及び拡大倍率を乗算して算出することを特徴とする映像処理装置である。

第３の技術手段は、受信映像についてフレーム補間すると共に画像を拡大する映像処理方法であって、連続して受信した受信映像の２つの受信フレームの画像を順次記憶し、前記記憶した受信映像を構成する画素値の画像に基づいて動きベクトル値を算出するステップと、前記受信フレーム間に補間するフレーム数及び拡大画像の画素数に基づく画像の拡大倍率に基づいて前記動きベクトル値を調整するステップと、前記調整した動きベクトル値及び拡大倍率に基づいて前記記憶した受信フレームの画像を参照して前記補間フレームの画像を含めた拡大画像を生成するステップからなることを特徴とする映像処理方法である。

第４の技術手段は、第３の技術手段において、前記動きベクトル値を調整するステップは、前記算出した動きベクトル値に補間フレーム数に１を加算した数の逆数及び拡大倍率を乗算して算出することを特徴とする映像処理方法である。

第５の技術手段は、第１又は第２の技術手段の映像処理装置を備えたことを特徴とする携帯端末である。

第６の技術手段は、第１又は第２の技術手段の映像処理装置を備えたことを特徴とする受信装置である。

第７の技術手段は、第３又は第４の技術手段の映像処理方法をコンピュータに実行させるためのプログラムである。

第８の技術手段は、第７の技術手段のプログラムを記録した記録媒体である。

本発明により、フレーム補間処理と画像拡大処理を同時に実行することにより、拡大した補間フレームの精度の向上、及び、受信フレームの画像の拡大処理を行うことにより簡単な処理で滑らかな動画像を生成できる。

図１は、フレーム補間処理と画像拡大処理とを同時に実行する処理を説明するための概略図である。
図１に示したように、本発明により、受信フレームｋ（５１ｘ）及び受信フレームｋ＋１（５２ｘ）に基づいて、フレーム補間と画像拡大処理を同時に実行することにより、補間拡大フレーム５２ｍを生成する。また、この補間拡大フレームの生成処理手法によって、受信フレームｋ／受信フレームｋ＋１の拡大フレーム５１ｍ，５３ｍを生成する。
なお、同様に、受信フレームｋ＋１（５２ｘ）及び受信フレームｋ＋２（５３ｘ）から、補間拡大フレーム５４ｍ、拡大フレーム５５ｍを生成する。

図２は、かかるフレーム補間処理と画像拡大処理とを同時に実行する機能を備えた映像処理装置１のブロック図である。

１１は受信フレームメモリであり、図示しない映像信号受信装置が受信した受信映像のフレームを記憶する。受信フレームメモリ１１には、受信フレームｋ（１１ａ）、受信フレームｋ＋１（１１ｂ）等が記憶されているものとする。

１２は注目画素抽出部であり、受信フレームメモリ１１に記憶された受信フレーム画像を解析して、注目画素を抽出（検出）する。この手法は、各種の公知の手法が適用できる。通常、該注目画素と他の画像（画素）との間のエッジを検出し、検出したエッジから、コントロールライン（画像間のエッジなどの特徴の対応を与える線分）を設定する。

１３は動きベクトル算出部であり、注目画素抽出部１２にて設定したコントロールラインの動きを推定し、動きベクトルｍｖ１を算出する。
すなわち、（式１）に示すように、注目画素抽出部１２が抽出した受信フレームｋ内の注目画素に対応する受信フレームｋ＋１内の注目画素の画素位置と、前記受信フレームｋ内の注目画素の画素位置との差をとり、動きベクトルｍｖ１を算出する。
ｍｖ１＝受信フレームｋ内の注目画素に対応する受信フレームｋ＋１内の注目画素の画素位置ｐ’−受信フレームｋ内の注目画素の画素位置ｐ……（式１）

ここで、動きベクトルを算出する処理について、図３を用いて具体的に説明する。
図３（Ａ）は、受信フレームｋ（１１ａ）の一部分（ブロック）を示す画素数１０×１０の画素配列図６１で、図３（Ｂ）は、受信フレームｋ＋１（１１ｂ）の同画素配列図６２である。

図３（Ａ）の画素配列図６１の、座標（２，２），（２，３），（２，４）に注目画素が設定されているものとする（黒色部分）。なお、前述したように当該画素をもとにして、コントロールラインが設定されるが、以下の説明では、当該画素がコントロールラインの一部に相当するものとする。同様に、図３（Ｂ）の画素配列図６２の座標（７，２），（７，３），（７，４）に移動した当該注目画素が設定されたとする（黒色部分）。
図からも明らかなように、注目画素は右方向に移動している。

動きベクトル算出部１３は、受信フレームｋと受信フレームｋ＋１における注目画素の動きベクトルを算出する。図３の例では、動きベクトルｍｖ１（ｐ’−ｐ）は、（５，０）（（７，２）−（２，２））と算出される。

ここで、図２のブロック図の説明に戻る。

１４はパラメータ算出部で、補間拡大フレームを生成する場合には、（補間フレーム数Ｌ＋１＝Ｎ）の逆数を算出し、動きベクトル調整部１５に出力する。

動きベクトル調整部１５は、動きベクトル算出部１３が算出した動きベクトルｍｖ１、補間するフレームに対応して、１，２…補間フレーム数Ｌと変化する数値を示すＣ、パラメータ算出部１４が算出したパラメータ（１／Ｎ，Ｎ＝Ｌ＋１）、入力された拡大倍率Ｍを乗算した、動きベクトルｍｖ２の算出式
ｍｖ２＝ｍｖ１×Ｃ×（１／Ｎ）×Ｍ……（式２）
をもとに、補間拡大フレームごとに動きベクトルｍｖ２の値を調整する。

例えば、３枚の補間フレーム（補間フレーム数Ｌ＝３）を生成する場合には、
１枚目の補間拡大フレームに対して、ｍｖ２’ ＝ｍｖ１×（１）×（１／４）×Ｍ
２枚目の補間拡大フレームに対して、ｍｖ２’’ ＝ｍｖ１×（２）×（１／４）×Ｍ
３枚目の補間拡大フレームに対して、ｍｖ２’’’＝ｍｖ１×（３）×（１／４）×Ｍ
として、補間拡大フレームごとに動きベクトルｍｖ２の値を調整する。

本実施例で、補間拡大フレームを生成する場合には、調整される動きベクトルｍｖ２の値は、ｍｖ１＝（５，０），Ｃ＝１，Ｎ＝２，Ｍ＝２として、（５，０）と調整される。
なお、当該拡大倍率は任意である。

出力フレーム生成部１６は、動きベクトル調整部１５で調整した動きベクトルｍｖ２の値及び拡大倍率Ｍ等に基づいて、拡大フレーム上に補間フレームの画像及び受信フレームの画像を生成する。

補間拡大フレームを生成する場合には、受信フレーム内のコントロールラインの一部を構成する画素位置ｐ，動きベクトルｍｖ２をもとに、受信フレーム内の前記画素位置ｐに対応する補間拡大フレーム内の画素位置Ｐを算出する。この場合、当該画素位置Ｐは、例えば、
Ｐ＝ｐ×Ｍ＋ｍｖ２……（式３）
により算出される。そして、算出した画素位置Ｐの近隣に位置する画素に対して所定の拡大処理を施すことにより、拡大した補間フレームを生成する。

なお、画素位置Ｐの算出は、（式３）に限定されるものではなく、調整した動きベクトルｍｖ２を参照すれば、様々な算出手法を採用することができる。

また、補間拡大フレームにおける画素位置Ｐから構成されるコントロールラインの領域内（または、コントロールライン周辺）の画素位置及び当該画素位置の画素値は、当該画素位置に対応する受信フレーム（例えば、受信フレームｋ／受信フレームｋ＋１）内の画素位置及び当該画素位置の画素値等を参照して算出することができるが、この算出手法は、従来から提案されている様々な手法を採用することができる。

なお、前記補間拡大処理は、補間拡大するフレームごとに実行される。

また、受信フレームｋ＋１の拡大フレームを生成する場合には、例えば、（式３）の動きベクトルｍｖ２を（動きベクトルｍｖ１×拡大倍率Ｍ）に置換すればよい。なお、拡大フレームの生成処理においては、前述したように、動きベクトルｍｖ１／拡大倍率等を参照すれば、従来から提案されている様々な手法を採用することができる。
このように、補間拡大フレーム生成手法を利用して受信フレームの拡大フレームを生成することができるので、処理負担も削減することができる。
なお、拡大処理における画素の補間の手法は、従来から提案されている様々な手法を採用することができる。

出力フレームメモリ１７は、出力フレーム生成部１６における補間拡大フレーム生成処理及び受信フレームの拡大処理実行時に使用されるメモリで、かかるメモリ内に補間拡大フレーム等が展開されることになる。なお、生成された補間拡大フレーム，受信フレームの拡大フレームは、図示しない表示装置に出力される。

ここで、ワンセグ放送の受信フレームに対して１枚のフレームを補間すると同時にＱＶＧＡ映像（３２０×２４０）を２倍に拡大する例について、図３，図４を用いて説明する。

（補間拡大フレーム生成処理）
図４（Ａ）は、出力フレーム生成部１６にて生成される補間拡大フレームの一部分（ブロック）を示す画素数２０×２０の画素配列図６３である。これは、前述した図３の画素配列図を２倍に拡大した画素配列図である。
出力フレーム生成部１６は、例えば、前述した（式３）の数式、Ｐ＝ｐ×Ｍ＋ｍｖ２を用いて補間拡大フレームの画素位置を決定する。

すなわち、図３（Ａ）のコントロールラインの一部を構成する画素位置ｐ（２，２），（２，３），（２，４）に拡大倍率Ｍ（２）を乗算して、調整した動きベクトルｍｖ２（５，０）を加算することにより補間拡大フレームのコントロールラインの一部を構成する画素位置（（９，４），（９，６），（９，８））を決定する（黒色部分）。

なお、決定した各画素の右，上，右上の画素位置（灰色部分）は、拡大に伴って補間される画素であり、当該画素位置の画素値(輝度値)も図３（Ａ）の画素位置ｐの画素値(輝度値)等を参照して決定される。

このような処理を補間拡大フレームの他のブロックについても実行することにより、補間拡大フレームが生成される。

（受信フレームｋ＋１（１１ｂ）の拡大処理）
図４（Ｂ）は、図３（Ｂ）の画素配列図を２倍に拡大した画素数２０×２０の画素配列図６４を示すものである。
出力フレーム生成部１６は、前述した（式３）の数式、Ｐ＝ｐ×Ｍ＋ｍｖ２の動きベクトルｍｖ２を（動きベクトルｍｖ１×拡大倍率Ｍ）に置換した式を用いて拡大フレームの画素位置を決定する。

すなわち、図３（Ａ）の画素位置ｐ（２，２），（２，３），（２，４）に拡大倍率Ｍ（２）を乗算し、動きベクトルｍｖ１（５，０）に拡大倍率Ｍ（２）を乗算した値を加算することにより拡大フレームの画素位置（１４，４），（１４，６），（１４，８）を決定する（黒色部分）。

なお、前述したように、決定した各画素の右，上，右上の画素位置（灰色部分）は、拡大倍率に応じて決定され、当該画素位置の画素値(輝度値)も図３（Ａ）／図３（Ｂ）の画素位置ｐの画素値(輝度値)等を参照して決定される。この拡大処理については、従来から提案されている様々な拡大処理を採用することができる。

このような処理を受信フレームｋ（１１ａ）の他のブロックについても実行することにより、拡大フレームが生成される。

（受信フレームｋ（１１ａ）の拡大処理）
図４（Ｃ）は、図３（Ａ）の画素配列図を２倍に拡大した画素数２０×２０の画素配列図６５を示すものである。
この拡大処理は、受信フレームｋ−１と受信フレームｋの補間拡大処理で同様に生成される。

従来技術で説明したように、誤差が生じたフレーム（図８（Ｃ）参照）に対して、拡大処理を実行すると、図５に示す画素配列図６６のように、誤差がさらに大きくなる（斜線部分）。
しかし、本発明のようにフレーム補間処理と画像拡大処理を同時に実行することで、従来の手法で生成する補間拡大フレームよりも精度の向上した補間拡大フレームを生成でき、滑らかな動画像を生成できる。

図６は、補間拡大フレームの生成処理、及び、受信フレームの拡大処理を説明するためのフロー図である。
受信フレームｋ，受信フレームｋ＋１を受信フレームメモリ１１に記憶する（ステップＳ１）。
注目画素抽出部１２は、記憶した受信フレームｋ及び受信フレームｋ＋１内の画像に対して注目画素を抽出してコントロールラインを設定する（ステップＳ２）。
次に、動きベクトル算出部１３は、注目画素抽出部１２にて設定したコントロールラインの画素の動きベクトルｍｖ１を算出する（ステップＳ３）。

パラメータ算出部１４は、Ｎ（補間するフレーム数Ｌ＋１）の逆数（１／Ｎ）を算出し（ステップＳ４）、入力された拡大倍率Ｍを設定し（ステップＳ５）、動きベクトル調整部１５は、ステップＳ３で算出した動きベクトルｍｖ１、パラメータ算出部１４が算出したＮの逆数（１／Ｎ）、設定した拡大倍率Ｍ等に基づいて（式２参照）、動きベクトル調整値ｍｖ２を算出する（ステップＳ６）

出力フレーム生成部１６は、注目画素抽出部１２で抽出した注目画素、拡大倍率（Ｍ）、動きベクトル調整部１５で調整した動きベクトルｍｖ２の値に基づいて（式３参照）、補間するフレーム数分の補間拡大フレームを生成する（ステップＳ７）。

また、出力フレーム生成部１６は、動きベクトルｍｖ２を（動きベクトルｍｖ１×拡大倍率Ｍ）に置換して、受信フレームｋ＋１の拡大フレームを生成する（ステップＳ８）。

次に、カウンタｋに１を加算し（ステップＳ９）、映像フレームの受信処理が終了したかを判定する（ステップＳ１０）。終了しない場合には（ステップＳ１０：ＮＯ）、ステップＳ１の処理を実行する。終了した場合には（ステップＳ１０：ＹＥＳ）、処理を終了する。なお、受信フレームｋの拡大フレームは、前述したように、受信フレームｋ−１と受信フレームｋにおける補間拡大処理にて生成される。

このように、フレーム補間処理と画像拡大処理を同時に実行することにより、拡大した補間フレームを精度よく生成、及び、受信フレームの画像の拡大処理を行うことにより滑らかな動画像を生成できる。

なお、本実施例では、受信フレームｋを参照して補間拡大フレームを生成したが、受信フレームｋ＋１を参照して補間拡大フレームを生成することもできる。

また、本発明による映像処理装置を携帯電話機，ＰＤＡ等の携帯端末、映像受信装置に搭載することもできる。
さらに、本発明による映像処理機能をプログラムにて実行することもでき、当該プログラムを記録媒体に記録し、記録したプログラムを携帯端末、情報処理装置にインストールして実行することもできる。

フレーム補間処理と画像拡大処理とを同時に実行する処理を説明するための概略図である。 本発明に係る映像処理装置のブロック図である。 動きベクトルを算出する処理を説明するための図である。 拡大フレームの一部分（ブロック）を示す画素配列図である。 誤差が生じたフレームの一部分（ブロック）を示す画素配列図である。 補間拡大フレームの生成処理、及び、受信フレームの拡大処理を説明するためのフロー図である。 フレーム補間処理及び画像拡大処理を説明するための概略図である。 受信フレームの一部分（ブロック）を示す画素配列図である。

符号の説明

１…映像処理装置、１１…受信フレームメモリ、１２…注目画素抽出部、１３…ベクトル算出部、１４…パラメータ算出部、１５…ベクトル調整部、１６…出力フレーム生成部、１７…出力フレームメモリ、５１ｍ，５３ｍ，５５ｍ…拡大フレーム、５２ｍ，５４ｍ…補間拡大フレーム、５１ｘ〜５３ｘ…受信フレーム、６１〜６６…画素配列図、１０１ｍ〜１０５ｍ…拡大フレーム、１０１ｘ，１０３ｘ，１０５ｘ…受信フレーム、１０２ｘ，１０４ｘ…補間フレーム、１１１〜１１３…画素配列図。

Claims (8)

1. 受信映像についてフレーム補間すると共に画像を拡大する映像処理装置であって、
   連続して受信した受信映像の２つの受信フレームの画像を順次記憶し、前記記憶した受信映像を構成する画素値の画像に基づいて動きベクトル値を算出し、
   前記受信フレーム間に補間するフレーム数及び拡大画像の画素数に基づく画像の拡大倍率に基づいて前記動きベクトル値を調整し、
   前記調整した動きベクトル値及び拡大倍率に基づいて前記記憶した受信フレームの画像を参照して前記補間フレームの画像を含めた拡大画像を生成することを特徴とする映像処理装置。
2. 前記動きベクトル値の調整は、前記算出した動きベクトル値に補間フレーム数に１を加算した数の逆数及び拡大倍率を乗算して算出することを特徴とする請求項１に記載の映像処理装置。
3. 受信映像についてフレーム補間すると共に画像を拡大する映像処理方法であって、
   連続して受信した受信映像の２つの受信フレームの画像を順次記憶し、前記記憶した受信映像を構成する画素値の画像に基づいて動きベクトル値を算出するステップと、
   前記受信フレーム間に補間するフレーム数及び拡大画像の画素数に基づく画像の拡大倍率に基づいて前記動きベクトル値を調整するステップと、
   前記調整した動きベクトル値及び拡大倍率に基づいて前記記憶した受信フレームの画像を参照して前記補間フレームの画像を含めた拡大画像を生成するステップからなることを特徴とする映像処理方法。
4. 前記動きベクトル値を調整するステップは、前記算出した動きベクトル値に補間フレーム数に１を加算した数の逆数及び拡大倍率を乗算して算出することを特徴とする請求項３に記載の映像処理方法。
5. 請求項１又は２に記載の映像処理装置を備えたことを特徴とする携帯端末。
6. 請求項１又は２に記載の映像処理装置を備えたことを特徴とする受信装置。
7. 請求項３又は４に記載の映像処理方法をコンピュータに実行させるためのプログラム。
8. 請求項７に記載のプログラムを記録した記録媒体。

Images