JP3792601B2 - 映像信号の圧縮装置およびその方法ならびに映像信号の復元装置およびその方法 - Google Patents
映像信号の圧縮装置およびその方法ならびに映像信号の復元装置およびその方法 Download PDFInfo
- Publication number
- JP3792601B2 JP3792601B2 JP2002155403A JP2002155403A JP3792601B2 JP 3792601 B2 JP3792601 B2 JP 3792601B2 JP 2002155403 A JP2002155403 A JP 2002155403A JP 2002155403 A JP2002155403 A JP 2002155403A JP 3792601 B2 JP3792601 B2 JP 3792601B2
- Authority
- JP
- Japan
- Prior art keywords
- signal
- frame rate
- video signal
- color signal
- luminance signal
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、映像信号を圧縮する圧縮装置、および、映像信号の圧縮方法、ならびに、圧縮された映像信号を復元する復元装置、および、そのような映像信号を復元する復元方法に関する。
【０００２】
【従来の技術】
近年、携帯端末やＰＤＡ（Personal Digital Assistant）に対する映像の配信サービスが普及し始めている。このような配信サービスにおける映像の符号化技術としては、ＭＰＥＧ−４（Moving Picture Experts Group-4）が採用されている。このＭＰＥＧ−４においては、伝送路の帯域に制限のある移動体通信などに適合するように、空間解像度だけでなく、時間方向の周波数を変更することで時間解像度の削減処理も行われ、映像の低フレームレート化が実現されている。
【０００３】
このような処理の従来例としては、一定のフレームレートで映像表示する際に、変換先のコマ数に合わせて変換元映像を単純に間引く方法があげられる。例えば、ＳＩＦ（Source Input Format）であれば３０フレーム／秒の映像が作成される。また、特定の参照画像から着目するオブジェクトの動き方向と、動き量を画素ごとの動きベクトルとして検出し、この動きベクトルを利用して変換元と変換先の変換比に合わせて内挿映像を作成するテレビの方式変換装置（例えば、野尻祐司らによる「ＨＤＴＶ方式変換装置」、テレビジョン学会誌、ＶＯＬ４８、Ｎｏ１、ｐｐ８４−９４、１９９４）がある。
【０００４】
ここで、時間解像度を削減してフレームレートを低下させると、映像がぎくしゃくした動きになるジャーキネス劣化や、２重像劣化が発生し易くなる。このようなジャーキネス劣化や２重像劣化を軽減する方法として、フレーム周期で時間軸フィルタをフレーム繰り返し部の前に設ける方法（鎧沢勇、「時間軸フィルタの画質改善効果に関する心理物理実験」、テレビジョン学会技術報告、ＶＶＩ３７−１、ｐｐ１９−２４、１９８０）がある。そして、ＭＰＥＧ−４の符号化・復号化装置で、発生ビット量がバッファの占有量の規定を超えると、フレームをスキップする処理を行うものがある（ＭＰＥＧ−４ ＶＭ ソフトウエア、Ｅｕｒｏｐｅａｎ ＡＣＴＳ ｐｒｏｊｅｃｔ ＭｏＭｕＳｙｓ）。
【０００５】
【発明が解決しようとする課題】
しかしながら、前記したように変換元映像を単純に間引いて時間方向の映像処理を行う場合に削減されるデータ量は、輝度信号を基準とするフレームレートで実質的に決定されており、一定量以上の圧縮を行うことができなかった。これは、輝度信号に対する視聴者の視覚感度が高いために、輝度信号のフレームレートが一定値以下に下がると、視聴者は映像の劣化を感じてしまうからである。また、動きベクトルを利用して内挿映像を作成する方法は、動きベクトルの検出にブロックマッチング法などを用いた複雑な処理が必要であるために、データ処理に時間がかかったり、コストがかかったりするという問題を有していた。
さらに、前記したジャーキネス劣化や２重像劣化を軽減するために用いられる方法は、時間軸フィルタでフィルタリングするためにフィルタのタップ数に応じたフレームメモリを設ける必要があるので、処理が複雑になり、コストがかかるという問題を有していた。
したがって、本発明が目的とするところは、映像を圧縮したり復元するにあたり、フレームレートを低下させた場合に発生し易い、ジャーキネス劣化や、２重像劣化を抑制し、低コストで映像信号の圧縮率を高めることである。
【０００６】
【課題を解決するための手段】
前記の課題を解決するための請求項１に係る発明は、映像信号を圧縮する装置であって、映像信号から輝度信号と色信号を分離する手段と、分離した前記色信号の時間解像度を前記輝度信号の時間解像度よりも大きく削減する削減手段と、映像信号の出力時のフレームレートである目標フレームレートの情報および輝度信号ならびに時間解像度を削減した前記色信号を多重する手段とを有し、前記削減手段は、輝度信号の時間解像度を削減する第１時間解像度削減部と、あらかじめ設定されている削減レートに従って、色信号の時間解像度を削減する第２時間解像度削減部と、を備え、前記第１時間解像度削減部は、フレームレートがｎフレーム／秒（ｎ：整数）であり、目標フレームレートがｒｎフレーム／秒（０＜ｒ＜１）である場合に、１／ｒフレームごとに一つのフレームに相当する輝度信号を抽出し、前記第２時間解像度削減部は、フレームレートがｎフレーム／秒、目標フレームレートがｒｎフレーム／秒、削減レートがｋ（ｋ：正の整数）である場合に、ｋ／ｒフレームごとに一つのフレームに相当する色信号を抽出する構成とした。
【０００７】
この圧縮装置は、輝度信号よりも色信号に対する視覚感度が低いことに着目して、感度の低い色信号の時間解像度を大きく削減することにより、映像信号全体としての圧縮率を高める。
【０００８】
請求項２に係る発明は、請求項１に記載の映像信号の圧縮装置であって、輝度信号の時間解像度を目標フレームレートに相当する時間解像度まで削減する手段を有する構成にした。
【０００９】
この圧縮装置は、輝度信号の時間解像度を、目標フレームレートに相当する時間解像度まで削減する。送信側であらかじめ輝度信号の時間解像度を削減することで送信時のデータ量を必要最小限に止めるものである。
【００１０】
請求項３に係る発明は、前記請求項１または前記請求項２に記載の圧縮装置で圧縮された映像信号を復元する復元装置であって、異なるフレームレートに相当する時間解像度を有する輝度信号と色信号を含んで構成されている映像信号から輝度信号と色信号を分離すると共に、映像信号の出力時のフレームレートである目標フレームレート、カット点情報および削減レートの情報を取得する分離手段と、色信号の時間解像度と輝度信号の時間解像度とを一致させるべく色信号に対して内挿処理を施す内挿手段と、輝度信号と内挿処理後の色信号をモニタに出力する手段とを有する映像信号の復元装置とした。
【００１１】
この復元装置は、感度の低い色信号の時間解像度を大きく削減した映像信号を出力するために用いられる。時間解像度を削減することにより輝度信号よりも低い時間解像度になっている色信号に対して内挿処理を行う。輝度信号と色信号の時間解像度を一致させることにより、映像の出力を可能にする。
【００１２】
請求項４に係る発明は、請求項３に記載の映像信号の復元装置において、内挿手段は、隣接するフレームの色信号レベルにフィルタリング処理を施す手段とした。
【００１３】
この復元装置は、簡単な処理で色信号のフレームレートを増加させるものである。映像信号の受信から出力までに要する時間を最小限に止めることができる。
【００１４】
請求項５に係る発明は、第一のフレームレートの映像信号を取得し、前記第一のフレームレートよりも小さい第二のフレームレートである目標フレームレート映像信号を出力する映像信号の圧縮方法であって、前記第一のフレームレートの映像信号から輝度信号と色信号を分離するステップと、前記輝度信号を目標フレームレートおよびカット点情報に従って、第二のフレームレートになるように、フレームレートがｎフレーム／秒（ｎ：整数）であり、目標フレームレートがｒｎフレーム／秒（０＜ｒ＜１）である場合に、１／ｒフレームごとに一つのフレームに相当する輝度信号を抽出し、当該輝度信号の時間解像度を削減し、前記色信号を前記目標フレームレート、カット点情報および設定される削減レートに従って、前記第二のフレームレートよりも小さい第三のフレームレートになるように、フレームレートがｎフレーム／秒、目標フレームレートがｒｎフレーム／秒、削減レートがｋ（ｋ：正の整数）である場合に、ｋ／ｒフレームごとに一つのフレームに相当する色信号を抽出し、当該色信号の時間解像度を削減するステップと、前記削減した色信号を前記輝度信号に多重して前記第二のフレームレートの映像信号を作成するステップと、を含むこととした。
【００１５】
この圧縮方法は、輝度信号よりも色信号に対する視覚感度が低いことに着目して、感度の低い色信号のフレームレートを削減する。出力時の第二のフレームレートよりも色信号の時間解像度を低くすることで、データ量を大きく圧縮できる。
【００１６】
前記請求項６に記載の圧縮方法で圧縮された映像信号を復元する復元方法であって、異なるフレームレートに相当する時間解像度を有する輝度信号と色信号を含んで構成されている前記映像信号から前記輝度信号と前記色信号を分離すると共に、映像信号の出力時のフレームレートである目標フレームレート、カット点情報および削減レートの情報を分離し、前記色信号を内挿してその時間解像度を増加させた後に、前記映像信号および前記色信号を出力することを特徴とする映像信号の復元方法。
【００１７】
この復元方法は、感度の低い色信号の時間解像度を大きく削減した映像信号を出力するために用いられる。時間解像度を削減することで輝度信号と異なる時間解像度になっている色信号に対して内挿処理を行い、両信号の時間解像度を一致させることで、映像の出力を可能にする。
【００１８】
【発明の実施の形態】
本発明の実施形態について図面を参照しながら詳細に説明する。
図１は本実施形態における圧縮装置や復元装置の使用形態の一例を示す図である。図２は圧縮装置の構成を示すブロック図であり、図３は復元装置の構成を示すブロック図である。
図１に示すように、圧縮装置１は映像の配信などをする配信局２で用いられる。配信局２は、複数の映像や、テキストなどの各種のコンテンツを配信する機能を有し、図１には本実施形態に特に関連のある構成要素のみを図示してある。
また、復元装置３は受信機５で受信したデータをモニタ４に出力させる携帯端末６の構成要素である。携帯端末６としては、携帯電話装置や、ＰＤＡがあげられ、図１には本実施形態に特に関連のある構成要素のみを図示してある。
【００１９】
配信局２では、配信する映像の信号（以下、映像信号とする）などを入力する入力装置７を有し、入力されたデータが圧縮装置１および伝送装置８を経て、アンテナ９から配信される構成になっている。ここで、入力装置７としては、映像信号を記録した記録媒体から必要なデータを読み取る装置や、キーボード、マウスなどがあげられる。また、入力装置７は、映像を取得するための撮像手段や、他の記憶装置から映像信号を取り込むための通信手段などであっても良い。伝送装置８は圧縮装置１から受け取ったデータを無線通信用の伝送波に多重するなどする装置である。
【００２０】
図２に示すように、圧縮装置１は、映像信号として連続して入力されるフレームから輝度信号と色信号を分離する信号分離部１１と、輝度信号の時間解像度を削減する時間解像度削減部１２と、色信号の時間解像度を削減する時間解像度削減部１３と、時間解像度を削減した色信号などを多重化するデータ多重部１４とを含んで構成されている。
【００２１】
時間解像度削減部（第１時間解像度削減部）１２は、入力装置７から取得した目標フレームレート、カット点情報に従って、輝度信号の時間解像度を削減する。例えば、取得した映像信号のフレームレートがｎフレーム／秒（ｎ：整数）であり、目標フレームレートがｒｎフレーム／秒（０＜ｒ＜１）である場合には、時間解像度削減部１２は、１／ｒフレームごとに一つのフレームに相当する輝度信号を抽出し、抽出した輝度信号をデータ多重部１４に出力する。輝度信号に時間解像度が目標フレームレートに合うように削減されるので、データ量を減少させることが可能になる。なお、目標フレームレートは、配信用の映像信号、つまり、圧縮装置１から出力される映像信号のフレームレートのことである。また、フレームレートの単位は「フレーム／秒」の他に「Ｈｚ」と表されることもあるが、本実施形態では「フレーム／秒」の表記を採用する。さらに、カット点情報は、番組のカットごとに送られてくる情報であり、時間解像度削減部１２の処理を映像のカットごとにリセットするために用いられる。これは、復元時に異なるカットに属する映像から内挿フレームを作成することを避けるためである。
【００２２】
時間解像度削減部（第２時間解像度削減部）１３は、入力装置７から取得した目標フレームレート、カット点情報、および、あらかじめ設定されている削減レートに従って、信号分離部１１から取得した色信号の時間解像度を削減する。例えば、取得した映像信号のフレームレートがｎフレーム／秒、目標フレームレートがｒｎフレーム／秒、削減レートがｋ（ｋ：正の整数）である場合に、時間解像度削減部１３は、ｋ／ｒフレームごとに一つのフレームに相当する色信号を抽出し、抽出した色信号をデータ多重部１４に出力する。色信号に時間解像度が目標フレームレートよりも小さいフレームレートになるように削減されるので、データ量を減少させることが可能になる。ここでのカット点情報は、時間解像度削減部１３の処理を映像のカットごとにリセットするために用いられる。なお、入力装置７から圧縮装置１に入力される映像信号のフレームレートを第一のフレームレート、圧縮装置１から出力する映像信号を第二のフレームレートとすると、時間解像度削減部１３により作成される色信号の時間解像度から換算されるフレームレートは、第一および第二のフレームレートよりも小さいレートを有する第三のフレームレートになる。
【００２３】
データ多重部１４は、時間解像度削減部１２から取得する輝度信号と、時間解像度削減部１３から取得する色信号と、入力装置７から取得する目標フレームレートの情報およびカット点情報とを多重して、配信用の映像信号を作成する。ここで、輝度信号の時間解像度よりも色信号の時間解像度の方が低いので、輝度信号と色信号から作成される映像信号のフレームは、輝度信号のみを含むフレームと、輝度信号および色信号を含むフレームの二種類が作成されることになる。したがって、このデータ多重部１４から出力されるのは、少なくとも輝度信号を含むフレームに、目標フレームレートの情報およびカット点情報を含むヘッダを付与したデータになる。ここで、目標フレームレートの情報とは、その値や、受信側で目標フレームレートが確認できるようなデータのことであり、カット点情報は、カット点を示す情報である。
【００２４】
なお、カット点情報を取得する代わりに、カット点を自動的に検出しても良い。この場合の処理としては、例えば、映像信号において隣接するフレームの信号レベルの相関を調べ、あらかじめ設定したしきい値よりも相関が低い場合、カット点とすることがあげられる。
【００２５】
次に、復元装置３について説明する。
復元装置３は、前記したように、携帯端末６（図１参照）の構成要素の一部である。なお、携帯端末６は、アンテナ１０で受信した電波から映像信号のストリームデータを抽出する受信機５と、モニタ４を有し、この他にもメモリや、スピーカ、データ入力用のインターフェイスなどを備えている。
【００２６】
図３に構成を示すように、復元装置３は映像信号に含まれるデータを分離するデータ分離部３１と、分離した輝度信号と色信号の同期を取るために設けられた遅延部３２と、色信号に内挿処理を施す色信号内挿部３３と、モニタ４の種類に合わせて信号を出力するために輝度信号を一時的に保持する輝度信号ホールド部３４、および、色信号を一時的に保持する色信号ホールド部３５を含んで構成されている。
【００２７】
データ分離部３１は、配信局２で付与されたヘッダのデータと映像信号のフレームのデータとを分離し、ヘッダに含まれるカット点情報を遅延部３２、色信号内挿部３３、輝度信号ホールド部３４および色信号ホールド部３５に出力する。このカット点情報は、映像のカットごとに各部３２〜３５の処理をリセットするために用いられる。また、ヘッダに含まれる目標フレームレートの情報は、輝度信号ホールド部３４および色信号ホールド部３５に出力され、各部３４，３５における信号のホールド時間や、モニタ４への出力タイミングなどの制御のために用いられる。さらに、フレームのデータからは輝度信号と色信号を分離し、輝度信号は遅延部３２に出力し、色信号は色信号内挿部３３に出力する。
【００２８】
色信号内挿部３３は、遅延器、乗算器および加算器を有し、隣接する二つのフレーム（以下、隣接フレームとする）の対応する画素ブロックの色信号にフィルタリング処理を施して、内挿フレームを作成する。例えば、削減レートが２（ｋ＝２）の場合には、隣接フレームの色信号レベルの平均値（係数１／２，１／２のフィルタ）を計算し、内挿フレームを作成する。具体的には、フレームの色信号に乗算器で係数１／２を掛けた値と、遅延器で取得する一つ前のフレームの色信号に乗算器で係数１／２を掛けた値との和を加算器で取得することにより内挿フレームが作成される。
【００２９】
また、削減レートが３（ｋ＝３）の場合には、図４に模式的に示すように、内挿フレーム４３，４４は、隣接フレーム４１，４２のすべての画素の色信号に基づいてフィルタリング処理を行って作成される。例えば、隣接フレーム４１，４２のうちの先の隣接フレーム４１の特定の画素４１ａの色信号レベルに乗算器４５ａで係数２／３を乗算し、画素４１ａに対応する隣接フレーム４２の画素４２ａの色信号レベルに乗算器４５ｂで係数１／３を乗算し、それぞれの乗算器４５ａ，４５ｂで得られた値を加算器４６ａで加算すると、内挿フレーム４３の画素４３ａが得られる。また、先の隣接フレーム４１の特定の画素４１ａの色信号レベルに乗算器４５ｃで係数１／３を乗算し、画素４１ａに対応する隣接フレーム４２の画素４２ａの色信号レベルに乗算器４５ｄで係数２／３を乗算し、それぞれの乗算器４５ｃ，４５ｄで得られた値を加算器４６ｂで加算すると、内挿フレーム４４の画素４４ａが得られる。この色信号内挿部３３は、カット点情報によりカットが切り替わるたびにリセットするものとする。
【００３０】
次に、映像信号を圧縮装置１で圧縮し、圧縮した映像信号を復元装置３で復元する処理について具体的に説明する。なお、以下においては、フレームごとにデータ処理を行うものとして説明するが、実際にはフレームを構成する各画素ブロックの輝度信号、色信号についてデータ処理が行われる。
【００３１】
まず、図１に示す入力装置７から入力された映像信号は、圧縮装置１に取り込まれる。このときの映像信号は、図５に模式的に示す映像信号５２のように、輝度信号Ｙと、色信号Ｃを有するフレーム５１が連続したものである。この映像信号５２のフレームレートは６０フレーム／秒（ｎ＝６０）とする。また、目標フレームレートは３０フレーム／秒（ｒ＝０．５）、削減レートは２（ｋ＝２）とする。
【００３２】
映像信号５２を取り込んだ圧縮装置１は、図２に示す信号分離部１１で輝度信号と色信号とを分離し、輝度信号のみを時間解像度削減部１２に受け渡す。また、色信号を時間解像度削減部１３に受け渡す。このときの輝度信号の時間解像度、色信号の時間解像度は、共に映像信号５２のフレームレート（この場合は、６０フレーム／秒）に相当する時間解像度である。
【００３３】
時間解像度削減部１２は、輝度信号Ｙから２（１／ｒ；ｒ＝０．５）フレームごとに一つのフレームに相当する輝度信号Ｙを抽出することで、データ量を減らして輝度信号Ｙの時間解像度を削減する。これにより、輝度信号Ｙの時間解像度に相当するフレームレートは、目標フレームレートと同じ３０フレーム／秒となる。
一方、時間解像度削減部１３は、色信号Ｃから４（ｋ／ｒ；ｋ＝２，ｒ＝０．５）フレームごとに一つのフレームに相当する色信号フレームＣを抽出することで、データ量を減らして色信号Ｃの時間解像度を削減する。これにより、色信号Ｃの時間解像度に相当するフレームレートは、目標フレームレートよりも小さい値、１５フレーム／秒になる。
【００３４】
データ多重部１４は、時間解像度を削減した輝度信号Ｙと色信号Ｃ、ならびに、目標フレームレートの情報およびカット点情報を多重して、図５に示す映像信号５３を作成する。映像信号５３は、その先頭にヘッダ５４が付与されたパケット形式になっており、このヘッダ５４には目標フレームレートおよびカット点情報がフラグ情報として格納されている。ヘッダ５４に続くフレーム５５は、輝度信号Ｙおよび色信号Ｃを有するフレーム５５ａと、輝度信号Ｙを有し、色信号Ｃを有しないフレーム５５ｂとが交互に連続する。なお、フレーム５５ａとフレーム５５ｂの配列は目標フレームレート（ｒｎ）および削減レート（ｋ）に基づいて決まる。例えば、ｋ＝３の場合は、３フレームごとにフレーム５５ａが配列され、残りのフレームはフレーム５５ｂになる。また、フレーム５５は、フレーム５５ｃのようにすべてのフレームが輝度信号Ｙと色信号Ｃを有するフレーム配列にしても良い。この場合、色信号Ｃの１／ｋの情報を各フレームに分配する。
【００３５】
このような映像信号５３の作成をもって圧縮処理が終了する。作成された映像信号５３は、図１の伝送装置８において、必要に応じて符号化処理やスクランブル処理を施した後に、電波に重畳などされ、アンテナ９から送信される。そして、携帯端末６は、この電波を受信し、受信機５において、必要に応じてデスクランブル処理や復号化処理を施し、映像信号５３を得る。以下においては、このようにして取得した映像信号５３を復元装置３が復元し、モニタ５に出力する処理について説明する。
【００３６】
映像信号５３を取得した復元装置３は、図３に示すデータ分離部３１で、ヘッダ５４とフレーム５５とを分離し、ヘッダ５４からフラグ情報である目標フレームレートの情報とカット点情報を取り出す。また、フレーム５５を輝度信号Ｙからなるストリームデータと、色信号Ｃからなるストリームデータに分離する。そして、輝度信号Ｙは、３０フレーム／秒のフレームレートに相当する時間解像度で遅延部３２に送られ、色信号Ｃは、１５フレーム／秒のフレームレートに相当する時間解像度で色信号内挿部３３に送られる。
【００３７】
色信号内挿部３３では、前記したような内挿フレームを隣接するフレームに相当する色信号Ｃから作成する。この場合は、削減レートが２であるので、隣接するフレームの間に一つの内挿フレームが作成され、挿入されることになる。以降において内挿フレームを構成する色信号は、受信した色信号Ｃと同様に取り扱われるので、色信号Ｃの時間解像度は増加し、目標フレームレートである３０フレーム／秒に相当する値まで復元される。
【００３８】
そして、内挿処理が終了した後の色信号Ｃは、色信号ホールド部３５からモニタ４に出力される。色信号ホールド部３５では、色信号Ｃを、１／３０（１／ｒｎ）秒ホールドする。一方、輝度信号Ｙは、色信号内挿部３３での処理に同期するように遅延部３２で遅延処理が行われた後に輝度信号ホールド部３４に出力される。輝度信号ホールド部３４では、輝度信号Ｙを、１／３０（１／ｒｎ）秒ホールドする。このように目標フレームレートに復元され、かつ、同期してホールドされた輝度信号および色信号をモニタ４で出力することにより、映像を視聴することが可能になる。
【００３９】
このような圧縮装置１および復元装置３を用いると、輝度信号よりも視覚に対する感度が低い色信号について、その時間解像度を、輝度信号の時間解像度よりも大きく削減することにより、ジャーキネス劣化や、その他の画質の劣化を防ぎながらも、映像信号の圧縮率を高めることができる。例えば、色信号の解像度が輝度信号の解像度の半分である４：２：２フォーマットでは、色信号の時間解像度を目標フレームレートの１／ｋにすると、映像信号の圧縮率を１００×（ｋ−１）／２ｋ％だけ高めることができる。具体的には、ｋ＝２のときは２５％、ｋ＝３のときは３３％圧縮率を高めることが可能になる。さらに、この圧縮装置１や復号装置３と、ＭＰＥＧ―４などの符号化圧縮技術と併用すると、さらに圧縮率を高めることが可能になる。
【００４０】
なお、圧縮装置１は、モニタ５に出力する際のフレームレートである目標フレームレートよりも低いフレームレートに相当する時間解像度に輝度信号を圧縮する装置であっても良い。この場合には、圧縮装置１の時間解像度削減部１２が輝度信号の時間解像度を目標フレームレート以下となるように削減する。一方、復元装置３は、データ分離部３１と輝度信号ホールド部３４の間に輝度信号内挿部を設け、輝度信号を目標フレームレートに相当する時間解像度に復元する。配信時のフレームレートをモニタ４への出力時のフレームレートよりも小さくすることで、映像信号の配信を速やかに行うことが可能になる。
また、輝度信号ホールド部３４および色信号ホールド部３５は、ＣＲＴ（Cathode Ray Tube）を用いるモニタ４の場合には輝度信号をｒ回（例えば、ｒ＝４のときは４回）繰り返し出力するものとする。
【００４１】
また、前記の実施形態では、無線伝送技術を用いた映像配信に圧縮装置１や復元装置３を使用する例について説明したが、インターネットや、ＬＡＮ（Local Area Network）などを用いた有線通信を行う装置に使用することも可能である。また、地上波や衛星波を用いた放送を行うための装置に使用することもできる。
【００４２】
さらに、コンピュータや所定の電気・電子回路からなる装置を圧縮装置１や復元装置３として機能させるようなプログラムを必要に応じて起動させたり、ダウンロードしたりすることで前記の実施形態と同様な作用・効果を得ることも可能である。ここにおいて、圧縮装置１として機能させるプログラムとしては、コンピュータなどを、映像信号から輝度信号と色信号を分離する手段と、輝度信号の時間解像度を目標フレームレートに相当する値まで削減する手段と、色信号の時間解像度を輝度信号の時間解像度よりも大きく削減する手段と、輝度信号ならびに時間解像度の低い色信号を多重する手段として機能させるものがあげられる。また、復元装置３として機能させるプログラムとしては、コンピュータなどを、輝度信号、色信号、目標フレームレートの情報をそれぞれ分離する手段と、色信号に対して内挿処理を施す内挿手段と、輝度信号と内挿処理後の色信号をモニタに出力する手段として機能させるものがあげられる。
【００４３】
【発明の効果】
本発明の請求項１または請求項５によれば、輝度信号より色信号の時間解像度を大きく削減することで、フレームレートの低下に伴い発生し易いジャーキネス劣化や２重像劣化の発生を防止し、低コストで映像信号の圧縮率を高めることが可能になる。
請求項２によれば、さらに映像信号の圧縮率を高めることが可能になる。
請求項３または請求項６によれば、輝度信号より色信号の時間解像度を大きく削減した場合であっても、色信号を復元して、ジャーキネス劣化や２重像劣化の発生を防止することができる。
請求項４によれば、色信号の復元を低コストで速やかに行うことができる。
【図面の簡単な説明】
【図１】本発明の実施形態における圧縮装置や復元装置の使用形態の一例を示す図である。
【図２】圧縮装置の構成を示すブロック図である。
【図３】復元装置の構成を示すブロック図である。
【図４】色信号の内挿処理を説明する模式図である。
【図５】本実施形態における映像信号の一例を示す図である。
【符号の説明】
１ 圧縮装置
３ 復号装置
１１ 信号分離部
１２ 時間解像度削減部
１３ 時間解像度削減部
１４ データ多重部
３１ データ分離部
３３ 色信号内挿部
３４ 輝度信号ホールド部
３５ 色信号ホールド部
【発明の属する技術分野】
本発明は、映像信号を圧縮する圧縮装置、および、映像信号の圧縮方法、ならびに、圧縮された映像信号を復元する復元装置、および、そのような映像信号を復元する復元方法に関する。
【０００２】
【従来の技術】
近年、携帯端末やＰＤＡ（Personal Digital Assistant）に対する映像の配信サービスが普及し始めている。このような配信サービスにおける映像の符号化技術としては、ＭＰＥＧ−４（Moving Picture Experts Group-4）が採用されている。このＭＰＥＧ−４においては、伝送路の帯域に制限のある移動体通信などに適合するように、空間解像度だけでなく、時間方向の周波数を変更することで時間解像度の削減処理も行われ、映像の低フレームレート化が実現されている。
【０００３】
このような処理の従来例としては、一定のフレームレートで映像表示する際に、変換先のコマ数に合わせて変換元映像を単純に間引く方法があげられる。例えば、ＳＩＦ（Source Input Format）であれば３０フレーム／秒の映像が作成される。また、特定の参照画像から着目するオブジェクトの動き方向と、動き量を画素ごとの動きベクトルとして検出し、この動きベクトルを利用して変換元と変換先の変換比に合わせて内挿映像を作成するテレビの方式変換装置（例えば、野尻祐司らによる「ＨＤＴＶ方式変換装置」、テレビジョン学会誌、ＶＯＬ４８、Ｎｏ１、ｐｐ８４−９４、１９９４）がある。
【０００４】
ここで、時間解像度を削減してフレームレートを低下させると、映像がぎくしゃくした動きになるジャーキネス劣化や、２重像劣化が発生し易くなる。このようなジャーキネス劣化や２重像劣化を軽減する方法として、フレーム周期で時間軸フィルタをフレーム繰り返し部の前に設ける方法（鎧沢勇、「時間軸フィルタの画質改善効果に関する心理物理実験」、テレビジョン学会技術報告、ＶＶＩ３７−１、ｐｐ１９−２４、１９８０）がある。そして、ＭＰＥＧ−４の符号化・復号化装置で、発生ビット量がバッファの占有量の規定を超えると、フレームをスキップする処理を行うものがある（ＭＰＥＧ−４ ＶＭ ソフトウエア、Ｅｕｒｏｐｅａｎ ＡＣＴＳ ｐｒｏｊｅｃｔ ＭｏＭｕＳｙｓ）。
【０００５】
【発明が解決しようとする課題】
しかしながら、前記したように変換元映像を単純に間引いて時間方向の映像処理を行う場合に削減されるデータ量は、輝度信号を基準とするフレームレートで実質的に決定されており、一定量以上の圧縮を行うことができなかった。これは、輝度信号に対する視聴者の視覚感度が高いために、輝度信号のフレームレートが一定値以下に下がると、視聴者は映像の劣化を感じてしまうからである。また、動きベクトルを利用して内挿映像を作成する方法は、動きベクトルの検出にブロックマッチング法などを用いた複雑な処理が必要であるために、データ処理に時間がかかったり、コストがかかったりするという問題を有していた。
さらに、前記したジャーキネス劣化や２重像劣化を軽減するために用いられる方法は、時間軸フィルタでフィルタリングするためにフィルタのタップ数に応じたフレームメモリを設ける必要があるので、処理が複雑になり、コストがかかるという問題を有していた。
したがって、本発明が目的とするところは、映像を圧縮したり復元するにあたり、フレームレートを低下させた場合に発生し易い、ジャーキネス劣化や、２重像劣化を抑制し、低コストで映像信号の圧縮率を高めることである。
【０００６】
【課題を解決するための手段】
前記の課題を解決するための請求項１に係る発明は、映像信号を圧縮する装置であって、映像信号から輝度信号と色信号を分離する手段と、分離した前記色信号の時間解像度を前記輝度信号の時間解像度よりも大きく削減する削減手段と、映像信号の出力時のフレームレートである目標フレームレートの情報および輝度信号ならびに時間解像度を削減した前記色信号を多重する手段とを有し、前記削減手段は、輝度信号の時間解像度を削減する第１時間解像度削減部と、あらかじめ設定されている削減レートに従って、色信号の時間解像度を削減する第２時間解像度削減部と、を備え、前記第１時間解像度削減部は、フレームレートがｎフレーム／秒（ｎ：整数）であり、目標フレームレートがｒｎフレーム／秒（０＜ｒ＜１）である場合に、１／ｒフレームごとに一つのフレームに相当する輝度信号を抽出し、前記第２時間解像度削減部は、フレームレートがｎフレーム／秒、目標フレームレートがｒｎフレーム／秒、削減レートがｋ（ｋ：正の整数）である場合に、ｋ／ｒフレームごとに一つのフレームに相当する色信号を抽出する構成とした。
【０００７】
この圧縮装置は、輝度信号よりも色信号に対する視覚感度が低いことに着目して、感度の低い色信号の時間解像度を大きく削減することにより、映像信号全体としての圧縮率を高める。
【０００８】
請求項２に係る発明は、請求項１に記載の映像信号の圧縮装置であって、輝度信号の時間解像度を目標フレームレートに相当する時間解像度まで削減する手段を有する構成にした。
【０００９】
この圧縮装置は、輝度信号の時間解像度を、目標フレームレートに相当する時間解像度まで削減する。送信側であらかじめ輝度信号の時間解像度を削減することで送信時のデータ量を必要最小限に止めるものである。
【００１０】
請求項３に係る発明は、前記請求項１または前記請求項２に記載の圧縮装置で圧縮された映像信号を復元する復元装置であって、異なるフレームレートに相当する時間解像度を有する輝度信号と色信号を含んで構成されている映像信号から輝度信号と色信号を分離すると共に、映像信号の出力時のフレームレートである目標フレームレート、カット点情報および削減レートの情報を取得する分離手段と、色信号の時間解像度と輝度信号の時間解像度とを一致させるべく色信号に対して内挿処理を施す内挿手段と、輝度信号と内挿処理後の色信号をモニタに出力する手段とを有する映像信号の復元装置とした。
【００１１】
この復元装置は、感度の低い色信号の時間解像度を大きく削減した映像信号を出力するために用いられる。時間解像度を削減することにより輝度信号よりも低い時間解像度になっている色信号に対して内挿処理を行う。輝度信号と色信号の時間解像度を一致させることにより、映像の出力を可能にする。
【００１２】
請求項４に係る発明は、請求項３に記載の映像信号の復元装置において、内挿手段は、隣接するフレームの色信号レベルにフィルタリング処理を施す手段とした。
【００１３】
この復元装置は、簡単な処理で色信号のフレームレートを増加させるものである。映像信号の受信から出力までに要する時間を最小限に止めることができる。
【００１４】
請求項５に係る発明は、第一のフレームレートの映像信号を取得し、前記第一のフレームレートよりも小さい第二のフレームレートである目標フレームレート映像信号を出力する映像信号の圧縮方法であって、前記第一のフレームレートの映像信号から輝度信号と色信号を分離するステップと、前記輝度信号を目標フレームレートおよびカット点情報に従って、第二のフレームレートになるように、フレームレートがｎフレーム／秒（ｎ：整数）であり、目標フレームレートがｒｎフレーム／秒（０＜ｒ＜１）である場合に、１／ｒフレームごとに一つのフレームに相当する輝度信号を抽出し、当該輝度信号の時間解像度を削減し、前記色信号を前記目標フレームレート、カット点情報および設定される削減レートに従って、前記第二のフレームレートよりも小さい第三のフレームレートになるように、フレームレートがｎフレーム／秒、目標フレームレートがｒｎフレーム／秒、削減レートがｋ（ｋ：正の整数）である場合に、ｋ／ｒフレームごとに一つのフレームに相当する色信号を抽出し、当該色信号の時間解像度を削減するステップと、前記削減した色信号を前記輝度信号に多重して前記第二のフレームレートの映像信号を作成するステップと、を含むこととした。
【００１５】
この圧縮方法は、輝度信号よりも色信号に対する視覚感度が低いことに着目して、感度の低い色信号のフレームレートを削減する。出力時の第二のフレームレートよりも色信号の時間解像度を低くすることで、データ量を大きく圧縮できる。
【００１６】
前記請求項６に記載の圧縮方法で圧縮された映像信号を復元する復元方法であって、異なるフレームレートに相当する時間解像度を有する輝度信号と色信号を含んで構成されている前記映像信号から前記輝度信号と前記色信号を分離すると共に、映像信号の出力時のフレームレートである目標フレームレート、カット点情報および削減レートの情報を分離し、前記色信号を内挿してその時間解像度を増加させた後に、前記映像信号および前記色信号を出力することを特徴とする映像信号の復元方法。
【００１７】
この復元方法は、感度の低い色信号の時間解像度を大きく削減した映像信号を出力するために用いられる。時間解像度を削減することで輝度信号と異なる時間解像度になっている色信号に対して内挿処理を行い、両信号の時間解像度を一致させることで、映像の出力を可能にする。
【００１８】
【発明の実施の形態】
本発明の実施形態について図面を参照しながら詳細に説明する。
図１は本実施形態における圧縮装置や復元装置の使用形態の一例を示す図である。図２は圧縮装置の構成を示すブロック図であり、図３は復元装置の構成を示すブロック図である。
図１に示すように、圧縮装置１は映像の配信などをする配信局２で用いられる。配信局２は、複数の映像や、テキストなどの各種のコンテンツを配信する機能を有し、図１には本実施形態に特に関連のある構成要素のみを図示してある。
また、復元装置３は受信機５で受信したデータをモニタ４に出力させる携帯端末６の構成要素である。携帯端末６としては、携帯電話装置や、ＰＤＡがあげられ、図１には本実施形態に特に関連のある構成要素のみを図示してある。
【００１９】
配信局２では、配信する映像の信号（以下、映像信号とする）などを入力する入力装置７を有し、入力されたデータが圧縮装置１および伝送装置８を経て、アンテナ９から配信される構成になっている。ここで、入力装置７としては、映像信号を記録した記録媒体から必要なデータを読み取る装置や、キーボード、マウスなどがあげられる。また、入力装置７は、映像を取得するための撮像手段や、他の記憶装置から映像信号を取り込むための通信手段などであっても良い。伝送装置８は圧縮装置１から受け取ったデータを無線通信用の伝送波に多重するなどする装置である。
【００２０】
図２に示すように、圧縮装置１は、映像信号として連続して入力されるフレームから輝度信号と色信号を分離する信号分離部１１と、輝度信号の時間解像度を削減する時間解像度削減部１２と、色信号の時間解像度を削減する時間解像度削減部１３と、時間解像度を削減した色信号などを多重化するデータ多重部１４とを含んで構成されている。
【００２１】
時間解像度削減部（第１時間解像度削減部）１２は、入力装置７から取得した目標フレームレート、カット点情報に従って、輝度信号の時間解像度を削減する。例えば、取得した映像信号のフレームレートがｎフレーム／秒（ｎ：整数）であり、目標フレームレートがｒｎフレーム／秒（０＜ｒ＜１）である場合には、時間解像度削減部１２は、１／ｒフレームごとに一つのフレームに相当する輝度信号を抽出し、抽出した輝度信号をデータ多重部１４に出力する。輝度信号に時間解像度が目標フレームレートに合うように削減されるので、データ量を減少させることが可能になる。なお、目標フレームレートは、配信用の映像信号、つまり、圧縮装置１から出力される映像信号のフレームレートのことである。また、フレームレートの単位は「フレーム／秒」の他に「Ｈｚ」と表されることもあるが、本実施形態では「フレーム／秒」の表記を採用する。さらに、カット点情報は、番組のカットごとに送られてくる情報であり、時間解像度削減部１２の処理を映像のカットごとにリセットするために用いられる。これは、復元時に異なるカットに属する映像から内挿フレームを作成することを避けるためである。
【００２２】
時間解像度削減部（第２時間解像度削減部）１３は、入力装置７から取得した目標フレームレート、カット点情報、および、あらかじめ設定されている削減レートに従って、信号分離部１１から取得した色信号の時間解像度を削減する。例えば、取得した映像信号のフレームレートがｎフレーム／秒、目標フレームレートがｒｎフレーム／秒、削減レートがｋ（ｋ：正の整数）である場合に、時間解像度削減部１３は、ｋ／ｒフレームごとに一つのフレームに相当する色信号を抽出し、抽出した色信号をデータ多重部１４に出力する。色信号に時間解像度が目標フレームレートよりも小さいフレームレートになるように削減されるので、データ量を減少させることが可能になる。ここでのカット点情報は、時間解像度削減部１３の処理を映像のカットごとにリセットするために用いられる。なお、入力装置７から圧縮装置１に入力される映像信号のフレームレートを第一のフレームレート、圧縮装置１から出力する映像信号を第二のフレームレートとすると、時間解像度削減部１３により作成される色信号の時間解像度から換算されるフレームレートは、第一および第二のフレームレートよりも小さいレートを有する第三のフレームレートになる。
【００２３】
データ多重部１４は、時間解像度削減部１２から取得する輝度信号と、時間解像度削減部１３から取得する色信号と、入力装置７から取得する目標フレームレートの情報およびカット点情報とを多重して、配信用の映像信号を作成する。ここで、輝度信号の時間解像度よりも色信号の時間解像度の方が低いので、輝度信号と色信号から作成される映像信号のフレームは、輝度信号のみを含むフレームと、輝度信号および色信号を含むフレームの二種類が作成されることになる。したがって、このデータ多重部１４から出力されるのは、少なくとも輝度信号を含むフレームに、目標フレームレートの情報およびカット点情報を含むヘッダを付与したデータになる。ここで、目標フレームレートの情報とは、その値や、受信側で目標フレームレートが確認できるようなデータのことであり、カット点情報は、カット点を示す情報である。
【００２４】
なお、カット点情報を取得する代わりに、カット点を自動的に検出しても良い。この場合の処理としては、例えば、映像信号において隣接するフレームの信号レベルの相関を調べ、あらかじめ設定したしきい値よりも相関が低い場合、カット点とすることがあげられる。
【００２５】
次に、復元装置３について説明する。
復元装置３は、前記したように、携帯端末６（図１参照）の構成要素の一部である。なお、携帯端末６は、アンテナ１０で受信した電波から映像信号のストリームデータを抽出する受信機５と、モニタ４を有し、この他にもメモリや、スピーカ、データ入力用のインターフェイスなどを備えている。
【００２６】
図３に構成を示すように、復元装置３は映像信号に含まれるデータを分離するデータ分離部３１と、分離した輝度信号と色信号の同期を取るために設けられた遅延部３２と、色信号に内挿処理を施す色信号内挿部３３と、モニタ４の種類に合わせて信号を出力するために輝度信号を一時的に保持する輝度信号ホールド部３４、および、色信号を一時的に保持する色信号ホールド部３５を含んで構成されている。
【００２７】
データ分離部３１は、配信局２で付与されたヘッダのデータと映像信号のフレームのデータとを分離し、ヘッダに含まれるカット点情報を遅延部３２、色信号内挿部３３、輝度信号ホールド部３４および色信号ホールド部３５に出力する。このカット点情報は、映像のカットごとに各部３２〜３５の処理をリセットするために用いられる。また、ヘッダに含まれる目標フレームレートの情報は、輝度信号ホールド部３４および色信号ホールド部３５に出力され、各部３４，３５における信号のホールド時間や、モニタ４への出力タイミングなどの制御のために用いられる。さらに、フレームのデータからは輝度信号と色信号を分離し、輝度信号は遅延部３２に出力し、色信号は色信号内挿部３３に出力する。
【００２８】
色信号内挿部３３は、遅延器、乗算器および加算器を有し、隣接する二つのフレーム（以下、隣接フレームとする）の対応する画素ブロックの色信号にフィルタリング処理を施して、内挿フレームを作成する。例えば、削減レートが２（ｋ＝２）の場合には、隣接フレームの色信号レベルの平均値（係数１／２，１／２のフィルタ）を計算し、内挿フレームを作成する。具体的には、フレームの色信号に乗算器で係数１／２を掛けた値と、遅延器で取得する一つ前のフレームの色信号に乗算器で係数１／２を掛けた値との和を加算器で取得することにより内挿フレームが作成される。
【００２９】
また、削減レートが３（ｋ＝３）の場合には、図４に模式的に示すように、内挿フレーム４３，４４は、隣接フレーム４１，４２のすべての画素の色信号に基づいてフィルタリング処理を行って作成される。例えば、隣接フレーム４１，４２のうちの先の隣接フレーム４１の特定の画素４１ａの色信号レベルに乗算器４５ａで係数２／３を乗算し、画素４１ａに対応する隣接フレーム４２の画素４２ａの色信号レベルに乗算器４５ｂで係数１／３を乗算し、それぞれの乗算器４５ａ，４５ｂで得られた値を加算器４６ａで加算すると、内挿フレーム４３の画素４３ａが得られる。また、先の隣接フレーム４１の特定の画素４１ａの色信号レベルに乗算器４５ｃで係数１／３を乗算し、画素４１ａに対応する隣接フレーム４２の画素４２ａの色信号レベルに乗算器４５ｄで係数２／３を乗算し、それぞれの乗算器４５ｃ，４５ｄで得られた値を加算器４６ｂで加算すると、内挿フレーム４４の画素４４ａが得られる。この色信号内挿部３３は、カット点情報によりカットが切り替わるたびにリセットするものとする。
【００３０】
次に、映像信号を圧縮装置１で圧縮し、圧縮した映像信号を復元装置３で復元する処理について具体的に説明する。なお、以下においては、フレームごとにデータ処理を行うものとして説明するが、実際にはフレームを構成する各画素ブロックの輝度信号、色信号についてデータ処理が行われる。
【００３１】
まず、図１に示す入力装置７から入力された映像信号は、圧縮装置１に取り込まれる。このときの映像信号は、図５に模式的に示す映像信号５２のように、輝度信号Ｙと、色信号Ｃを有するフレーム５１が連続したものである。この映像信号５２のフレームレートは６０フレーム／秒（ｎ＝６０）とする。また、目標フレームレートは３０フレーム／秒（ｒ＝０．５）、削減レートは２（ｋ＝２）とする。
【００３２】
映像信号５２を取り込んだ圧縮装置１は、図２に示す信号分離部１１で輝度信号と色信号とを分離し、輝度信号のみを時間解像度削減部１２に受け渡す。また、色信号を時間解像度削減部１３に受け渡す。このときの輝度信号の時間解像度、色信号の時間解像度は、共に映像信号５２のフレームレート（この場合は、６０フレーム／秒）に相当する時間解像度である。
【００３３】
時間解像度削減部１２は、輝度信号Ｙから２（１／ｒ；ｒ＝０．５）フレームごとに一つのフレームに相当する輝度信号Ｙを抽出することで、データ量を減らして輝度信号Ｙの時間解像度を削減する。これにより、輝度信号Ｙの時間解像度に相当するフレームレートは、目標フレームレートと同じ３０フレーム／秒となる。
一方、時間解像度削減部１３は、色信号Ｃから４（ｋ／ｒ；ｋ＝２，ｒ＝０．５）フレームごとに一つのフレームに相当する色信号フレームＣを抽出することで、データ量を減らして色信号Ｃの時間解像度を削減する。これにより、色信号Ｃの時間解像度に相当するフレームレートは、目標フレームレートよりも小さい値、１５フレーム／秒になる。
【００３４】
データ多重部１４は、時間解像度を削減した輝度信号Ｙと色信号Ｃ、ならびに、目標フレームレートの情報およびカット点情報を多重して、図５に示す映像信号５３を作成する。映像信号５３は、その先頭にヘッダ５４が付与されたパケット形式になっており、このヘッダ５４には目標フレームレートおよびカット点情報がフラグ情報として格納されている。ヘッダ５４に続くフレーム５５は、輝度信号Ｙおよび色信号Ｃを有するフレーム５５ａと、輝度信号Ｙを有し、色信号Ｃを有しないフレーム５５ｂとが交互に連続する。なお、フレーム５５ａとフレーム５５ｂの配列は目標フレームレート（ｒｎ）および削減レート（ｋ）に基づいて決まる。例えば、ｋ＝３の場合は、３フレームごとにフレーム５５ａが配列され、残りのフレームはフレーム５５ｂになる。また、フレーム５５は、フレーム５５ｃのようにすべてのフレームが輝度信号Ｙと色信号Ｃを有するフレーム配列にしても良い。この場合、色信号Ｃの１／ｋの情報を各フレームに分配する。
【００３５】
このような映像信号５３の作成をもって圧縮処理が終了する。作成された映像信号５３は、図１の伝送装置８において、必要に応じて符号化処理やスクランブル処理を施した後に、電波に重畳などされ、アンテナ９から送信される。そして、携帯端末６は、この電波を受信し、受信機５において、必要に応じてデスクランブル処理や復号化処理を施し、映像信号５３を得る。以下においては、このようにして取得した映像信号５３を復元装置３が復元し、モニタ５に出力する処理について説明する。
【００３６】
映像信号５３を取得した復元装置３は、図３に示すデータ分離部３１で、ヘッダ５４とフレーム５５とを分離し、ヘッダ５４からフラグ情報である目標フレームレートの情報とカット点情報を取り出す。また、フレーム５５を輝度信号Ｙからなるストリームデータと、色信号Ｃからなるストリームデータに分離する。そして、輝度信号Ｙは、３０フレーム／秒のフレームレートに相当する時間解像度で遅延部３２に送られ、色信号Ｃは、１５フレーム／秒のフレームレートに相当する時間解像度で色信号内挿部３３に送られる。
【００３７】
色信号内挿部３３では、前記したような内挿フレームを隣接するフレームに相当する色信号Ｃから作成する。この場合は、削減レートが２であるので、隣接するフレームの間に一つの内挿フレームが作成され、挿入されることになる。以降において内挿フレームを構成する色信号は、受信した色信号Ｃと同様に取り扱われるので、色信号Ｃの時間解像度は増加し、目標フレームレートである３０フレーム／秒に相当する値まで復元される。
【００３８】
そして、内挿処理が終了した後の色信号Ｃは、色信号ホールド部３５からモニタ４に出力される。色信号ホールド部３５では、色信号Ｃを、１／３０（１／ｒｎ）秒ホールドする。一方、輝度信号Ｙは、色信号内挿部３３での処理に同期するように遅延部３２で遅延処理が行われた後に輝度信号ホールド部３４に出力される。輝度信号ホールド部３４では、輝度信号Ｙを、１／３０（１／ｒｎ）秒ホールドする。このように目標フレームレートに復元され、かつ、同期してホールドされた輝度信号および色信号をモニタ４で出力することにより、映像を視聴することが可能になる。
【００３９】
このような圧縮装置１および復元装置３を用いると、輝度信号よりも視覚に対する感度が低い色信号について、その時間解像度を、輝度信号の時間解像度よりも大きく削減することにより、ジャーキネス劣化や、その他の画質の劣化を防ぎながらも、映像信号の圧縮率を高めることができる。例えば、色信号の解像度が輝度信号の解像度の半分である４：２：２フォーマットでは、色信号の時間解像度を目標フレームレートの１／ｋにすると、映像信号の圧縮率を１００×（ｋ−１）／２ｋ％だけ高めることができる。具体的には、ｋ＝２のときは２５％、ｋ＝３のときは３３％圧縮率を高めることが可能になる。さらに、この圧縮装置１や復号装置３と、ＭＰＥＧ―４などの符号化圧縮技術と併用すると、さらに圧縮率を高めることが可能になる。
【００４０】
なお、圧縮装置１は、モニタ５に出力する際のフレームレートである目標フレームレートよりも低いフレームレートに相当する時間解像度に輝度信号を圧縮する装置であっても良い。この場合には、圧縮装置１の時間解像度削減部１２が輝度信号の時間解像度を目標フレームレート以下となるように削減する。一方、復元装置３は、データ分離部３１と輝度信号ホールド部３４の間に輝度信号内挿部を設け、輝度信号を目標フレームレートに相当する時間解像度に復元する。配信時のフレームレートをモニタ４への出力時のフレームレートよりも小さくすることで、映像信号の配信を速やかに行うことが可能になる。
また、輝度信号ホールド部３４および色信号ホールド部３５は、ＣＲＴ（Cathode Ray Tube）を用いるモニタ４の場合には輝度信号をｒ回（例えば、ｒ＝４のときは４回）繰り返し出力するものとする。
【００４１】
また、前記の実施形態では、無線伝送技術を用いた映像配信に圧縮装置１や復元装置３を使用する例について説明したが、インターネットや、ＬＡＮ（Local Area Network）などを用いた有線通信を行う装置に使用することも可能である。また、地上波や衛星波を用いた放送を行うための装置に使用することもできる。
【００４２】
さらに、コンピュータや所定の電気・電子回路からなる装置を圧縮装置１や復元装置３として機能させるようなプログラムを必要に応じて起動させたり、ダウンロードしたりすることで前記の実施形態と同様な作用・効果を得ることも可能である。ここにおいて、圧縮装置１として機能させるプログラムとしては、コンピュータなどを、映像信号から輝度信号と色信号を分離する手段と、輝度信号の時間解像度を目標フレームレートに相当する値まで削減する手段と、色信号の時間解像度を輝度信号の時間解像度よりも大きく削減する手段と、輝度信号ならびに時間解像度の低い色信号を多重する手段として機能させるものがあげられる。また、復元装置３として機能させるプログラムとしては、コンピュータなどを、輝度信号、色信号、目標フレームレートの情報をそれぞれ分離する手段と、色信号に対して内挿処理を施す内挿手段と、輝度信号と内挿処理後の色信号をモニタに出力する手段として機能させるものがあげられる。
【００４３】
【発明の効果】
本発明の請求項１または請求項５によれば、輝度信号より色信号の時間解像度を大きく削減することで、フレームレートの低下に伴い発生し易いジャーキネス劣化や２重像劣化の発生を防止し、低コストで映像信号の圧縮率を高めることが可能になる。
請求項２によれば、さらに映像信号の圧縮率を高めることが可能になる。
請求項３または請求項６によれば、輝度信号より色信号の時間解像度を大きく削減した場合であっても、色信号を復元して、ジャーキネス劣化や２重像劣化の発生を防止することができる。
請求項４によれば、色信号の復元を低コストで速やかに行うことができる。
【図面の簡単な説明】
【図１】本発明の実施形態における圧縮装置や復元装置の使用形態の一例を示す図である。
【図２】圧縮装置の構成を示すブロック図である。
【図３】復元装置の構成を示すブロック図である。
【図４】色信号の内挿処理を説明する模式図である。
【図５】本実施形態における映像信号の一例を示す図である。
【符号の説明】
１ 圧縮装置
３ 復号装置
１１ 信号分離部
１２ 時間解像度削減部
１３ 時間解像度削減部
１４ データ多重部
３１ データ分離部
３３ 色信号内挿部
３４ 輝度信号ホールド部
３５ 色信号ホールド部
Claims (6)
- 映像信号を圧縮する装置であって、映像信号から輝度信号と色信号を分離する手段と、分離した前記色信号の時間解像度を前記輝度信号の時間解像度よりも大きく削減する削減手段と、映像信号の出力時のフレームレートである目標フレームレートの情報および輝度信号ならびに時間解像度を削減した前記色信号を多重する手段とを有し、
前記削減手段は、前記目標フレームレートおよびカット点情報に従って、輝度信号の時間解像度を削減する第１時間解像度削減部と、前記目標フレームレート、カット点情報および設定される削減レートに従って、色信号の時間解像度を削減する第２時間解像度削減部と、を備え、
前記第１時間解像度削減部は、フレームレートがｎフレーム／秒（ｎ：整数）であり、目標フレームレートがｒｎフレーム／秒（０＜ｒ＜１）である場合に、１／ｒフレームごとに一つのフレームに相当する輝度信号を抽出し、
前記第２時間解像度削減部は、フレームレートがｎフレーム／秒、目標フレームレートがｒｎフレーム／秒、削減レートがｋ（ｋ：正の整数）である場合に、ｋ／ｒフレームごとに一つのフレームに相当する色信号を抽出することを特徴とする映像信号の圧縮装置。 - 輝度信号の時間解像度を前記目標フレームレートに相当する時間解像度まで削減する手段を有することを特徴とする請求項１に記載の映像信号の圧縮装置。
- 前記請求項１または前記請求項２に記載の圧縮装置で圧縮された映像信号を復元する復元装置であって、異なるフレームレートに相当する時間解像度を有する輝度信号と色信号を含んで構成されている前記映像信号から輝度信号と色信号とを分離すると共に、映像信号の出力時のフレームレートである目標フレームレート、カット点情報および削減レートの情報を取得する分離手段と、前記色信号の時間解像度と前記輝度信号の時間解像度とを一致させるべく前記色信号に対して内挿処理を施す内挿手段と、前記輝度信号と内挿処理後の前記色信号をモニタに出力する手段とを有することを特徴とする映像信号の復元装置。
- 前記内挿手段は、隣接するフレームの色信号レベルにフィルタリング処理を施す手段であることを特徴とする請求項３に記載の復元装置。
- 第一のフレームレートの映像信号を取得し、前記第一のフレームレートよりも小さい第二のフレームレートである目標フレームレート映像信号を出力する映像信号の圧縮方法であって、
前記第一のフレームレートの映像信号から輝度信号と色信号とを分離するステップと、
前記輝度信号を目標フレームレートおよびカット点情報に従って、第二のフレームレートになるように、フレームレートがｎフレーム／秒（ｎ：整数）であり、目標フレームレートがｒｎフレーム／秒（０＜ｒ＜１）である場合に、１／ｒフレームごとに一つのフレームに相当する輝度信号を抽出し、当該輝度信号の時間解像度を削減し、前記色信号を前記目標フレームレート、カット点情報および設定される削減レートに従って、前記第二のフレームレートよりも小さい第三のフレームレートになるように、フレームレートがｎフレーム／秒、目標フレームレートがｒｎフレーム／秒、削減レートがｋ（ｋ：正の整数）である場合に、ｋ／ｒフレームごとに一つのフレームに相当する色信号を抽出し、当該色信号の時間解像度を削減するステップと、
前記削減した色信号を前記輝度信号に多重して前記第二のフレームレートの映像信号を作成するステップと、を含むことを特徴とする映像信号の圧縮方法。 - 前記請求項５に記載の圧縮方法で圧縮された映像信号を復元する復元方法であって、異なるフレームレートに相当する時間解像度を有する輝度信号と色信号を含んで構成されている前記映像信号から前記輝度信号と前記色信号とを分離すると共に、映像信号の出力時のフレームレートである目標フレームレート、カット点情報および削減レートを分離し、前記色信号を内挿してその時間解像度を増加させた後に、前記映像信号および前記色信号を出力することを特徴とする映像信号の復元方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002155403A JP3792601B2 (ja) | 2002-05-29 | 2002-05-29 | 映像信号の圧縮装置およびその方法ならびに映像信号の復元装置およびその方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002155403A JP3792601B2 (ja) | 2002-05-29 | 2002-05-29 | 映像信号の圧縮装置およびその方法ならびに映像信号の復元装置およびその方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003348620A JP2003348620A (ja) | 2003-12-05 |
| JP3792601B2 true JP3792601B2 (ja) | 2006-07-05 |
Family
ID=29771937
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002155403A Expired - Fee Related JP3792601B2 (ja) | 2002-05-29 | 2002-05-29 | 映像信号の圧縮装置およびその方法ならびに映像信号の復元装置およびその方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3792601B2 (ja) |
Cited By (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103476324A (zh) * | 2011-11-11 | 2013-12-25 | 奥林巴斯医疗株式会社 | 色彩信号传输装置、无线影像传输系统以及发送装置 |
Families Citing this family (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP4273420B2 (ja) | 2004-12-06 | 2009-06-03 | ソニー株式会社 | 映像信号処理装置及び映像信号の伝送方法 |
| JP2011061503A (ja) * | 2009-09-10 | 2011-03-24 | Panasonic Corp | 映像信号送信機および受信機 |
| US8891610B2 (en) | 2010-05-05 | 2014-11-18 | Samsung Electronics Co., Ltd. | Method and system for chroma partitioning and rate adaptation for uncompressed video transmission in wireless networks |
-
2002
- 2002-05-29 JP JP2002155403A patent/JP3792601B2/ja not_active Expired - Fee Related
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN103476324A (zh) * | 2011-11-11 | 2013-12-25 | 奥林巴斯医疗株式会社 | 色彩信号传输装置、无线影像传输系统以及发送装置 |
| CN103476324B (zh) * | 2011-11-11 | 2015-09-02 | 奥林巴斯医疗株式会社 | 色彩信号传输装置、无线影像传输系统以及发送装置 |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003348620A (ja) | 2003-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101056096B1 (ko) | 압축 및 압축복원 비디오 비트스트림 모두에 대한 움직임 보상 프레임 레이트 상향 변환을 위한 방법 및 시스템 | |
| US20160065991A1 (en) | Method and system for motion-compensated frame-rate up-conversion for both compressed and decompressed video bitstreams | |
| US20070277221A1 (en) | Personal multimedia device video format conversion across multiple video formats | |
| JP3301055B2 (ja) | 表示システム及び方法 | |
| US5387940A (en) | Method and apparatus for providing scaleable compressed video signal | |
| CA2547954A1 (en) | Directional video filters for locally adaptive spatial noise reduction | |
| US10587892B2 (en) | Image processing apparatus, image processing method, and program for generating motion compensated image data | |
| JPH10126748A (ja) | 画像信号のフォーマット変換信号処理方法及び回路 | |
| US8724912B2 (en) | Method, apparatus, and program for compressing images, and method, apparatus, and program for decompressing images | |
| CN1214626C (zh) | 用于高分辨率视频信号的抽取的装置和方法 | |
| US20070040943A1 (en) | Digital noise reduction apparatus and method and video signal processing apparatus | |
| JP2003338991A (ja) | 画像表示装置及び画像表示方法 | |
| US20010016010A1 (en) | Apparatus for receiving digital moving picture | |
| JPH1079941A (ja) | 画像処理装置 | |
| US8774552B2 (en) | Image transfer system, image transfer method, image reception apparatus, image transmission apparatus, and image pickup apparatus | |
| JP3792601B2 (ja) | 映像信号の圧縮装置およびその方法ならびに映像信号の復元装置およびその方法 | |
| US8767831B2 (en) | Method and system for motion compensated picture rate up-conversion using information extracted from a compressed video stream | |
| EP2890127A1 (en) | Receiving device, transmission device, and image transmission method | |
| WO2015118664A1 (ja) | 画像伝送装置と画像受信装置、並びに、これらを利用した監視カメラシステム、テレビ会議システム、そして、車載カメラシステム | |
| EP1418754B1 (en) | Progressive conversion of interlaced video based on coded bitstream analysis | |
| US8848793B2 (en) | Method and system for video compression with integrated picture rate up-conversion | |
| JP6826439B2 (ja) | 映像復号装置 | |
| JP2000209592A (ja) | 画像伝送装置と方法及びシステムとその制御方法 | |
| JP2020021991A (ja) | 画像処理装置、画像処理装置の制御方法およびプログラム | |
| WO2012114373A1 (ja) | 映像信号処理方法及び装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050207 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20051221 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060217 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060329 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060405 |
|
| R150 | Certificate of patent (=grant) or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100414 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (prs date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110414 Year of fee payment: 5 |
|
| LAPS | Cancellation because of no payment of annual fees |