WO2011061958A1

WO2011061958A1 - 復号化装置、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number: WO2011061958A1
Application number: PCT/JP2010/060682
Authority: WO
Inventors: 合志　清一
Original assignee: シャープ株式会社
Priority date: 2009-11-17
Filing date: 2010-06-23
Publication date: 2011-05-26
Also published as: US8824825B2; US20120213289A1

Abstract

　復号化装置（３００ａ）は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、上記コンテンツを表す出力信号を出力する復号化装置であって、上記符号化信号を復号化することによって復号化信号を生成する復号化処理部（３１０）と、上記復号化信号に含まれる周波数成分のうち少なくとも直流成分を上記入力信号から除去することによって得られる低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理部（１０２）を備え、上記非線形処理信号を上記復号化信号に加算することによって、上記出力信号を生成する。

Description

復号化装置、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体

　本発明は、符号化された信号の復号化を行なう復号化装置、復号化装置の制御方法、伝送システム、および制御プログラムを記録したコンピュータ読み取り可能な記録媒体に関するものである。

　近年、インターネット、携帯電話、デジタル放送などの普及に伴い、画像や音声などのマルチメディアコンテンツを送受信するデジタル通信が広く行なわれている。マルチメディアコンテンツは情報量が大きいことから、通信ネットワークを介してマルチメディアコンテンツを送信する際は、伝送ビットレートを抑えるために、符号化（圧縮符号化）することによって情報量を低減する技術が広く用いられている。例えば、動画像の符号化方式として、ＭＰＥＧ（Moving Picture Experts Group）－２やＨ．２６４などが広く用いられている。

　これらの符号化は不可逆符号化であり、人間の視聴覚特性を利用して人間が認識しにくい情報を削減することにより符号化を行なうものである。そのため、復号化後の信号は、符号化前の原信号を完全に再現したものにはならない。したがって、復号化後の信号で表される画像や音声は、符号化前の原信号で表される画像や音声よりもやや劣化したものとなる。

　そこで、符号化による情報量の低減を維持しつつ、復号化後の信号をできるだけ劣化させない技術が従来から知られている。例えば、特許文献１には、人間がノイズ等を視認しにくい動画フレームのセクタでは量子化を大きくし、逆に、人間がノイズ等を視認しやすい動画フレームのセクタでは量子化を小さくすることによって、低いビットレートを維持しながら画質を最適にする符号化技術が開示されている。

　また、特許文献２には、デジタル放送受信機において、復号化後の動画像を表す信号の輪郭強調処理を行なう技術が開示されている。

日本国公開特許公報「特開２００２－３３５５２７号公報（公開日：２００２年１１月２２日）」日本国公開特許公報「特開２００２－１２５２００号公報（公開日：２００２年４月２６日）」

　ところで、復号化後の信号に高周波成分が十分に存在しない場合、復号化後の信号で表される画像や音声は、不鮮鋭なものとなる。画像の場合、例えば、ボケたり、解像度が下がる。

　ここで、特許文献１などの従来技術では、原信号に含まれる高周波成分が符号化されていない限り、復号化後の信号において当該高周波成分を復元することはできない。そのため、復号化後の信号に高周波成分を含ませるためには、原信号から高周波成分をできるだけ削減しないように符号化する必要がある。この場合、代償として、符号化した信号の伝送ビットレートが増大するという問題がある。

　一方、特許文献２などの従来技術にて復号化後の信号に対して鮮鋭化処理を施す場合、ある程度の鮮鋭化が期待される。しかしながら、従来技術で行われる鮮鋭化処理は線形演算に基づくものであるため、ナイキスト周波数を超える高周波域を補償することができない。そのため、復号化後の信号で表される画像や音声を高度に鮮鋭化することはできないという問題がある。

　本発明は、上記の問題点に鑑みてなされたものであり、その目的は、復号化後の信号で表されるコンテンツを高度に鮮鋭化する復号化装置等を提供することにある。

　上記課題を解決するために、本発明に係る復号化装置は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、上記コンテンツを表す出力信号を出力する復号化装置であって、上記符号化信号を復号化することによって復号化信号を生成する復号化手段と、上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって低周波除去信号を生成する低周波成分除去手段と、上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理手段と、上記非線形処理信号を上記復号化信号に加算することによって、加算信号を生成する加算手段とを備え、上記加算信号を上記出力信号として出力することを特徴としている。

　また、本発明に係る復号化装置の制御方法は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、上記コンテンツを表す出力信号を出力する復号化装置の制御方法であって、上記符号化信号を復号化することによって復号化信号を生成する復号化ステップと、上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって低周波除去信号を生成する低周波成分除去ステップと、上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理ステップと、上記非線形処理信号を上記復号化信号に加算することによって、加算信号を生成する加算ステップとを含み、上記加算信号を上記出力信号として出力することを特徴としている。

　上記の構成によれば、原信号を符号化した信号を含む符号化信号を復号化することによって復号化信号を生成し、該生成した復号化信号に含まれる周波数成分のうち、少なくとも直流成分を上記入力信号から除去することによって低周波除去信号を生成する。そして、上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する。そして、上記非線形処理信号を上記復号化信号に加算することによって、出力信号として出力する。

　よって、復号化信号に含まれる上記低周波除去信号に対して非線形処理を施した信号を、出力信号として出力することができる。

　ここで、上記出力信号は、例えば、上記復号化信号と、上記低周波除去信号を２乗する等の非線形処理を施した非線形処理信号とを加算することにより生成される。ただし、出力信号の符号の正負は、低周波除去信号の符号の正負が維持される。

　このように、上記出力信号には、復号化信号の周波数成分には含まれない高い周波数成分が含まれる。その結果、上記出力信号は、復号化信号を離散化する場合のサンプリング周波数の１／２の周波数であるナイキスト周波数よりも高い周波数成分を含むこととなる。

　したがって、本発明に係る復号化装置は、復号化信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。とりわけ、線形演算を施す鮮鋭化処理と比べて、より高度に、エッジ部分に相当する信号の立ち上がりおよび立ち下がりを急峻にすることができる。

　その結果、本発明に係る復号化装置は、復号化信号で表されるコンテンツを高度に鮮鋭化することが可能となる。特に、復号化信号が画像を表すものである場合、画像に含まれる輪郭部分（エッジ）に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるため、画像を高度に鮮鋭化することができ、画像のボケを改善し、解像度を向上させることができるという効果を奏する。なお、復号化信号が音声を表すものである場合も同様に鮮鋭化され、音質をクリアにすることができる。

　さらに、上述したように、ナイキスト周波数よりも高い周波数成分を復号化信号に含ませることができるため、原信号を符号化するにあたり、原信号の情報量を予め低減してから符号化することが可能となる。具体的には、例えば、符号化するにあたり、原信号に含まれる高周波成分を除去した信号を符号化することが可能となる。これにより、符号化装置から復号化装置に符号化信号を伝送する場合、伝送路における伝送レートを低減させることができるという効果を奏する。そして、伝送レートを低減させることにより、伝送に要するコスト（特に、伝送路の設置コストや維持コストなど）の低減を図ることができる。

　本発明の他の目的、特徴、および優れた点は、以下に示す記載によって十分分かるであろう。また、本発明の利点は、添付図面を参照した次の説明で明白になるであろう。

本発明に係る復号化装置および符号化装置の構成を示すブロック図である。本発明に係る復号化装置を含む伝送システムの構成を示すブロック図である。図１に示した符号化装置および復号化装置の変形例の構成例を示すブロック図である。本発明に係る鮮鋭化処理部の構成を示すブロック図である。図４に示した鮮鋭化処理部に含まれる高周波成分抽出部の構成を示すブロック図である。図５に示した高周波成分抽出部に含まれるフィルタの他の構成例を示すブロック図である。図７の（ａ）は、図４に示した鮮鋭化処理部に入力される信号の波形を模式的に示す図である。図７の（ｂ）は、図４に示した鮮鋭化処理部にて生成される高周波信号の波形を模式的に示す図である。図７の（ｃ）は、図４に示した鮮鋭化処理部にて生成される非線形信号の波形を模式的に示す図である。図７の（ｄ）は、図４に示した鮮鋭化処理部にて生成される符号変換信号の波形を模式的に示す図である。図７の（ｅ）は、図４に示した鮮鋭化処理部にて生成される出力信号の波形を模式的に示す図である。図８の（ａ）は、図４に示した鮮鋭化処理部に入力される信号の波形を模式的に示す図である。図８の（ｂ）は、図８の（ａ）に示した信号を、従来技術によりエンハンスした波形を模式的に示す図である。本発明に係る鮮鋭化処理部の他の構成を示すブロック図である。図９に示した鮮鋭化処理部に含まれる微分部の構成を示すブロック図である。図１１の（ａ）は、図９に示した鮮鋭化処理部に入力される信号の波形を模式的に示す図である。図１１の（ｂ）は、図９に示した鮮鋭化処理部にて生成される高周波信号の波形を模式的に示す図である。図１１の（ｃ）は、図９に示した鮮鋭化処理部にて生成される非線形信号の波形を模式的に示す図である。図１１の（ｄ）は、図９に示した鮮鋭化処理部にて生成される微分信号の波形を模式的に示す図である。図１１の（ｅ）は、図９に示した鮮鋭化処理部にて生成される符号変換信号の波形を模式的に示す図である。図１１の（ｆ）は、図９に示した鮮鋭化処理部にて生成される出力信号の波形を模式的に示す図である。本発明に係る鮮鋭化処理部のさらなる他の構成を示すブロック図である。図１３の（ａ）は、図１２に示した鮮鋭化処理部に入力される信号の波形を模式的に示す図である。図１３の（ｂ）は、図１２に示した鮮鋭化処理部にて生成される高周波信号の波形を模式的に示す図である。図１３の（ｃ）は、図１２に示した鮮鋭化処理部にて生成される非線形信号の波形を模式的に示す図である。図１３の（ｄ）は、図１２に示した鮮鋭化処理部にて生成される出力信号の波形を模式的に示す図である。本発明に係る鮮鋭化処理部のさらなる他の構成を示すブロック図である。本発明に係る鮮鋭化処理部のさらなる他の構成を示すブロック図である。図１７に示した復号化装置と対応する符号化装置の構成を示すブロック図である。本発明に係る復号化装置の他の構成を示すブロック図である。図１７に示した復号化装置の変形例の構成例を示すブロック図である。図１７に示した復号化装置と対応する符号化装置の他の構成を示すブロック図である。図１９に示した符号化装置の変形例の構成例を示すブロック図である。図２２に示した復号化装置と対応する符号化装置の構成を示すブロック図である。本発明に係る復号化装置のさらなる他の構成を示すブロック図である。図２１に示した符号化装置の変形例の構成例を示すブロック図である。図２２に示した復号化装置の変形例の構成例を示すブロック図である。

　（伝送システムの概要）
　図２を参照しながら、各実施形態に係る伝送システム９００について説明する。図２は、伝送システム９００の構成を示すブロック図である。

　同図に示すとおり、伝送システム９００は、送信サブシステム９２０および受信サブシステム９３０を含んでいる。そして、送信サブシステム９２０と受信サブシステム９３０とは、一般的に知られている伝送路７００を介して通信可能に接続されている。なお、伝送路７００には、スイッチや交換機等の中継装置が含まれていてもよい。

　送信サブシステム９２０は、概略的には、画像や音声などのコンテンツを表す信号（以下、単に、原信号ＳＲと表記する）を、受信サブシステム９３０に送信するためのシステムであり、原信号ＳＲの符号化および変調等の、送信側に通常設けられる機能を具備している。送信サブシステム９２０は、特に、符号化に関する処理を行なう符号化装置２００を含んでいる。符号化装置２００の構成については、下記に示す各実施形態にて説明する。

　次に、受信サブシステム９３０は、概略的には、送信サブシステム９２０から送信される信号を受信するためのシステムであり、信号の復調、復号化、および、いわゆる３Ｒ機能（reshaping、retiming、regenerating）等の、受信側に通常設けられる機能を具備している。受信サブシステム９３０は、特に、復号化に関する処理を行なう復号化装置３００を含んでいる。復号化装置３００の構成については、下記に示す各実施形態にて説明する。

　なお、後述する符号化装置２００ａ～２００ｇを区別しないとき、単に「符号化装置２００」と表記する。また、後述する復号化装置３００ａ～３００ｇを区別しないとき、単に「復号化装置３００」と表記する。

　なお、原信号ＳＲで表される画像（つまり、符号化を行なう前の画像）を「原画像」とも表記し、復号化装置３００にて復号化を行なうことによって復元された画像を「復元画像」とも表記する。

　なお、原信号ＳＲで表されるコンテンツは、動画像、静止画像、音声などのコンテンツであるが、各実施形態では、特に、動画像を想定して説明する。さらに、動画像は、例えば、標準画質テレビジョン（ＳＤＴＶ：Standard Definition Television）または高精細テレビジョン（ＨＤＴＶ：High Definition Television）の受像機等にて、リアルタイムに表示されるものであってもよい。なお、動画像は、時間的に連続する複数のフレーム（画面）から構成されているものとする。

　（鮮鋭化処理部の概要）
　次に、符号化装置２００および復号化装置３００の構成要素となる鮮鋭化処理部（高調波生成手段）１００の概要について説明する（図１などを参照）。鮮鋭化処理部１００の詳細な構成については、後述する。なお、後述する鮮鋭化処理部１００ａ～１００ｅを区別しないとき、単に、「鮮鋭化処理部１００」と表記する。

　鮮鋭化処理部１００は、鮮鋭化処理部１００に入力される信号（以下、単に、入力信号と称する）に対して、該入力信号の波形を鮮鋭化するための鮮鋭化処理を施し、該鮮鋭化された出力信号を出力するものである。ここで、鮮鋭化処理とは、入力信号の立ち上がりおよび立ち下がりを急峻にする（エンハンスする）処理を指すものとする。特に、入力信号が画像を表すものである場合、画像に含まれる輪郭部分（エッジ）に相当する信号の立ち上がりおよび立ち下がりを急峻にする。

　以下では、鮮鋭化処理部１００に入力される入力信号を、入力信号Ｓｉｎとも表記する。また、鮮鋭化処理部１００から出力される出力信号を、出力信号Ｓｏｕｔとも表記する。

　なお、鮮鋭化処理部１００は、後述するように、少なくとも非線形処理部（非線形処理手段、第２の非線形処理手段）１０２を備えている。非線形処理部１０２は、後述する非線形処理部１０２ａ～１０２ｅの総称であるものとする。そして、鮮鋭化処理部１００は、入力信号Ｓｉｎの高周波成分に対して非線形処理部１０２にて非線形演算を施すことにより、入力信号Ｓｉｎに含まれない高周波成分（具体的には、入力信号Ｓｉｎを離散化する場合のサンプリング周波数の１／２の周波数であるナイキスト周波数より高い周波数成分）を、出力信号Ｓｏｕｔに含ませることができる。そのため、鮮鋭化処理部１００にて鮮鋭化処理を行なうと、線形演算に基づく鮮鋭化処理と比べて、入力信号の立ち上がりおよび立ち下がりを、より急峻なものにすることが可能となる。

　〔実施形態１〕
　本発明の一実施形態について図１から図１５に基づいて説明すると以下の通りである。なお、本実施形態に係る符号化装置２００を、符号化装置２００ａと表記する。また、本実施形態に係る復号化装置３００を、復号化装置３００ａと表記する。

　（符号化装置および復号化装置の構成）
　図１を参照しながら、符号化装置２００ａおよび復号化装置３００ａの構成について説明する。図１は、符号化装置２００ａおよび復号化装置３００ａの構成を示すブロック図である。

　まず、符号化装置２００ａの構成について説明する。同図に示すとおり、符号化装置２００ａは、低域通過フィルタ（以下、ＬＰＦと表記する）（周波数成分抽出手段）２１０、および、符号化処理部２２０を備えている。

　ＬＰＦ２１０は、一般的に知られている低域通過フィルタであり、原信号ＳＲに含まれる周波数成分のうちの高周波成分を、原信号ＳＲから除去するものである。周波数特性が調整可能な（いわゆるアダプティブな）低域通過フィルタであってもよい。なお、ＬＰＦ２１０から出力される信号を、高周波除去信号Ｓ２１０と表記する。

　次に、符号化処理部２２０は、ＬＰＦ２１０の後段に設けられ、ＬＰＦ２１０から出力される高周波除去信号Ｓ２１０を符号化するものである。符号化処理部２２０から出力される信号を、符号化信号Ｓ２２０と表記する。

　なお、符号化処理部２２０と後述する復号化処理部（復号化手段）３１０とは対になっており、符号化処理部２２０は、復号化処理部３１０にて復号化が可能な符号化信号Ｓ２２０を出力するように構成されているものとする。

　また、動画像を符号化する場合、符号化処理部２２０は、一般的に知られているフレーム間予測符号化による圧縮符号化を行なうものとする。そして、復号化処理部３１０にて動き補償を行なうために用いる動きベクトルを、符号化信号Ｓ２２０に含めて出力する。

　次に、復号化装置３００ａの構成について説明する。復号化装置３００ａは、同図に示すとおり、復号化処理部３１０、および、鮮鋭化処理部１００を備えている。

　復号化処理部３１０は、上述のとおり、符号化装置２００ａの符号化処理部２２０から出力された符号化信号Ｓ２２０を復号化するものである（復号化ステップ）。なお、動画像を復号化する場合、復号化処理部３１０は、符号化信号Ｓ２２０に含まれる動きベクトルを用いてフレーム間予測を行なうことにより動き補償を行なう。

　なお、復号化処理部３１０から出力される信号を、復号化信号Ｓ３１０と表記する。復号化信号Ｓ３１０は、原信号ＳＲで表される原画像に対応する復元画像を表す信号である。

　次に、鮮鋭化処理部１００について説明する。鮮鋭化処理部１００は、上述したように、入力信号の高周波成分に対して非線形処理部１０２にて非線形演算を施すことにより（非線形処理ステップ）、入力信号に含まれない高周波成分（具体的には、入力信号Ｓｉｎを離散化する場合のサンプリング周波数の１／２の周波数であるナイキスト周波数より高い周波数成分）を出力信号に含ませるものであり、入力信号の立ち上がりおよび立ち下がりを急峻なものにする。

　そして、復号化装置３００ａは、鮮鋭化処理部１００を、復号化処理部３１０の後段に設ける構成であるため、復号化処理部３１０から出力される復号化信号Ｓ３１０が、鮮鋭化処理部１００の入力信号となる。したがって、復号化装置３００ａは、鮮鋭化処理部１００にて、復号化信号Ｓ３１０に対して非線形演算に基づく鮮鋭化処理を施す。つまり、復号化装置３００ａの鮮鋭化処理部１００によって、復号化信号Ｓ３１０で表される復元画像は鮮鋭化される。

　（上記構成により奏される効果）
　上述したように、符号化装置２００ａは、原信号ＳＲから高周波成分を除去した高周波除去信号Ｓ２１０を符号化する。したがって、符号化装置２００ａによって原信号ＳＲを符号化すると、原信号ＳＲをそのまま符号化する場合と比べて、高周波成分を除去する分だけ符号化後のデータ量を低減させることができる。つまり、符号化装置２００ａによれば、伝送路７００を伝送させる信号の伝送レートを低減させることができる。なお、伝送レートを低減させることにより、データ伝送の際に要するコストの低減が図られる。

　ただし、原信号ＳＲに含まれていた高周波成分を除去しているため、当該符号化後の符号化信号Ｓ２２０を受信側にて復号化すると、復号化後の信号には、上記除去された高周波成分は含まれない。この場合、復号化信号Ｓ３１０で表される復元画像は、原信号ＳＲで表される原画像と比べて、高周波成分に相当する部分が劣化（または除去）されたものとなる。つまり、復元画像にて高周波成分に相当する輪郭部分（エッジ）を十分に再現することができなくなり、その結果、復元画像は不鮮鋭になる（復元画像がボケる）。原信号ＳＲで表されるコンテンツが音声である場合も同様であり、復号後の音声は不鮮鋭になる（例えば、音質が劣化する）。

　そこで、本実施形態に係る復号化装置３００ａでは、上述したように、復号化処理部３１０の後段に鮮鋭化処理部１００を備える構成としている。鮮鋭化処理部１００は、入力信号に含まれない高周波成分を出力信号に含ませることができることから、復号化信号Ｓ３１０の立ち上がりおよび立ち下がりを急峻なものとすることができる。これにより、復号化装置３００ａでは、復号化後のコンテンツを鮮鋭化することができるので、例えば、コンテンツが画像の場合、復号化後の画像のボケを抑制し、解像度を向上させることができる。また、コンテンツが音声である場合も同様に鮮鋭化され、音質をクリアにすることができる。

　したがって、符号化装置２００ａにて符号化を行なうとともに、復号化装置３００ａにて復号化を行なう上記構成によれば、伝送路７００にて伝送させる信号の伝送レートを低減させつつ、かつ、受信側で復号化した後のコンテンツが不鮮鋭になることを抑制することができるという効果を奏する。

　（変形例１）
　符号化装置２００ａは、ＬＰＦ２１０と符号化処理部２２０とを隣接して設ける構成であるが、必ずしも隣接して設けなくてもよい。つまり、ＬＰＦ２１０と符号化処理部２２０との間に他の装置（機器）を設け、ＬＰＦ２１０から出力される信号を、当該他の装置を介して、符号化処理部２２０に入力する構成にしてもよい。同様に、復号化装置３００ａは、復号化処理部３１０と鮮鋭化処理部１００とを隣接して設ける構成であるが、必ずしも隣接して設けなくてもよい。つまり、復号化処理部３１０と鮮鋭化処理部１００との間に他の装置（機器）を設け、復号化処理部３１０から出力される信号を、当該他の装置を介して、鮮鋭化処理部１００に入力する構成にしてもよい。

　ＬＰＦ２１０と符号化処理部２２０との間、および、復号化処理部３１０と鮮鋭化処理部１００との間に他の装置（機器）を設ける構成例について、図３を参照しながら説明する。図３は、符号化装置２００ａの変形例である符号化装置２００ｂ、および、復号化装置３００ａの変形例である復号化装置３００ｂの構成例を示すブロック図である。

　同図に示すとおり、符号化装置２００ｂは、ＬＰＦ２１０と符号化処理部２２０との間に、ダウンサンプラ２６０を備えている。ダウンサンプラ２６０は、ＬＰＦ２１０から出力される高周波除去信号Ｓ２１０に対して一般的な間引き（デシメーション：decimation）を行なうものである。そして、間引き後の信号を符号化処理部２２０に入力する。

　そして、復号化装置３００ｂは、復号化処理部３１０と鮮鋭化処理部１００との間に、アップサンプラ（信号補間手段）３６０を備えている。アップサンプラ３６０は、ダウンサンプラ２６０に対応するものであり、復号化処理部３１０から出力される復号化信号Ｓ３１０に対して一般的な補間（インターポレーション：interpolation）を行なうものである。そして、補間後の信号を鮮鋭化処理部１００に入力する。

　上記構成によれば、符号化する前にデータの間引きを行なうので、符号化後のデータ量をさらに低減させることができる。つまり、伝送路７００を伝送させる信号の伝送レートをさらに低減させることができるという効果を奏する。

　なお、受信側では、間引きを行なった分を補間することにより、間引きによるコンテンツの劣化を抑制している。

　そして、アップサンプラ３６０による補間の後、鮮鋭化処理部１００による鮮鋭化処理を行なうことによって、補間後の信号に対して非線形処理を施し、ナイキスト周波数を超える高周波域を補償する。これにより、間引きおよび補間により生じる画像のボケを抑制し、解像度の低下を抑制することができる。

　なお、補間後に信号に線形演算による鮮鋭化処理（従来技術）を施す場合、ナイキスト周波数を超える高周波域を補償することができないことから、不鮮鋭さはあまり改善されない（画像の場合、ボケが残存したり、解像度があまり向上しない結果となる）。

　（変形例２）
　上述した変形例２では、送信側にダウンサンプラを設け、当該ダウンサンプラに対応するアップサンプラを受信側に設ける構成について説明したが、送信側にダウンサンプラを設けずに、受信側のみにアップサンプラを設ける構成も考えられる。

　例えば、ＨＤＴＶ用の信号を伝送する伝送システムにおいて、受信側に備わるディスプレイ装置が、ＨＤＴＶの画素数よりも多い、４０００×２０００程度の画素数のディスプレイ（いわゆる４Ｋディスプレイ）等である場合を想定する。この場合、受信側にて、ＨＤＴＶ用の信号をアップコンバートしてからディスプレイ装置に表示することにより、アップコンバートせずにディスプレイ装置に表示する場合と比べて、画像の画質を改善させることができる。

　このように、受信側にてコンテンツのアップコンバートを行なうことが望ましい場合、送信側の構成にかかわらず、受信側は、符号化装置２００ｂのように、アップサンプラ３６０を備える構成にすることが望ましい。

　（変形例３）
　コンテンツの符号化および復号化を行なうと、復号化後のコンテンツは、符号化前のコンテンツと比べて若干劣化することが一般的に知られている。そのため、送信側の符号化装置の構成にかかわらず、受信側の復号化装置は常に鮮鋭化処理部１００を備える構成とすることが望ましい。これにより、復号化後のコンテンツは常に鮮鋭化され、不鮮鋭になることを抑制することができる。

　（鮮鋭化処理部の構成）
　次に、鮮鋭化処理部１００の詳細な構成について説明する。

　（鮮鋭化処理部の構成例１）
　図４は、鮮鋭化処理部１００ａの構成を示すブロック図である。同図に示すとおり、鮮鋭化処理部１００ａは、高周波成分抽出部（低周波成分除去手段、第２の低周波成分除去手段）１１、非線形処理部１０２ａ、および加算部（加算手段、第２の加算手段）１５を備えている。

　まず、高周波成分抽出部１１について説明する。高周波成分抽出部１１は、概略的には、入力信号Ｓｉｎに含まれる高周波成分を抽出し、高周波信号Ｓ１１（低周波除去信号、第２の低周波除去信号）として出力するものである（低周波成分除去ステップ）。図５を参照しながら、高周波成分抽出部１１の構成について説明する。図５は、高周波成分抽出部１１の構成を示すブロック図である。

　同図に示すように、高周波成分抽出部１１は、フィルタ１１０と、丸め処理部（低レベル信号除去手段）１３２、およびリミッタ（高レベル信号除去手段）１３３とを備えている。

　フィルタ１１０は、フィルタ１１０は、ｍ－１個の単位遅延素子１１１ｈ（ｈ＝１、２、…、ｍ－１：ｍは３以上の正の整数を示す）と、ｍ個の乗算部１１２ｋ（ｋ＝１、２、…、ｍ）と、加算部１３１とを備える、ｍタップのトランスバーサル型の高域通過フィルタであり、入力信号Ｓｉｎを入力とし、高域信号ＳＨ１を出力する。

　単位遅延素子１１１ｈのそれぞれは、入力された信号を単位時間ずつ遅延させた信号を出力するものである。なお、単位遅延素子１１１１（ｈ＝１）には、入力信号Ｓｉｎが入力される。

　乗算部１１２ｋのそれぞれは、入力される信号に係数Ｃｋを乗算し、該乗算した結果を加算部１３１に出力する。ここで、係数Ｃｋは、フィルタ１１０が高域通過フィルタとして機能するように予め設定されるものである。例えば、ｍ＝３の場合、Ｃ１＝０．５、Ｃ２＝－１、Ｃ３＝０．５と設定することにより、フィルタ１１０は、高域通過フィルタとして機能する。

　加算部１３１は、乗算部１１２ｋから出力される信号を加算することによって、高域信号ＳＨ１を生成する。

　なお、一般的に知られているように、高域通過フィルタよりも低域通過フィルタの方が容易に実現可能である。そこで、フィルタ１１０は、低域通過フィルタを用いて構成してもよい。図６に、フィルタ１１０の他の構成例を示す。同図に示すように、フィルタ１１０は、低域通過フィルタ１１０１と減算部１１０２とによって構成してもよい。

　丸め処理部１３２は、後段の非線形処理部１０２にてノイズを増幅させないために、高域信号ＳＨ１に含まれるノイズとみなせる低レベル信号を除去することによって、低レベル除去信号ＳＨ２を生成する。

　具体的には、高域信号ＳＨ１の信号値のうち、絶対値が所定の下限値ＬＶ以下の信号値を“０”に変更することによって、低レベル除去信号ＳＨ２を生成する。

　例えば、入力信号Ｓｉｎが、－２５５から２５５のいずれかの整数値を取り得る場合において、下限値ＬＶを“２”とすると、高域信号ＳＨ１の信号値のうち、絶対値が“２”以下の信号値を全てノイズとみなして“０”に変更する（つまり、丸める）。

　次に、リミッタ１３３は、既に十分なエネルギーを有する信号を後段の非線形処理部１０２にてさらに増幅させないために、低レベル除去信号ＳＨ２に含まれる高レベルの信号値を除去することによって、高周波信号Ｓ１１を生成する。

　具体的には、低レベル除去信号ＳＨ２の信号値が所定の上限値ＵＶ１以下となるように、低レベル除去信号ＳＨ２の信号のうち、絶対値が上限値ＵＶ１よりも大きい部分について、絶対値を上限値ＵＶ１以下に変更する処理（以下、クリップ処理とも表記する）を行なうことによって、高周波信号Ｓ１１を生成する。

　例えば、低レベル除去信号ＳＨ２の信号値の絶対値が“６４”を超える部分について、当該部分の信号値を、符号に応じて“６４”または“－６４”に変更する。または、“０”に変更してもよい。

　なお、入力信号Ｓｉｎが８ビット信号である場合、上述したフィルタ１１０では、この８ビット信号に対して、例えば１２ビット演算で３ｒｄＭＳＢ（８ビット信号で６４または－６４程度）以下に制限した信号を入力信号Ｓｉｎに加算する。そのため、丸め処理部１３２およびリミッタ１３３は、フィルタ１１０で行なわれた演算結果を、８ビット信号相当に制限する処理を行なっている。

　また、上述では、高周波成分抽出部１１は、丸め処理部１３２とリミッタ１３３とをそれぞれ備える構成としたが、これらを一体にした部材を備える構成としてもよい。

　次に、非線形処理部１０２ａについて説明する。非線形処理部１０２ａは、図４に示すように、非線形演算部（偶数冪乗演算手段、平方根演算手段）２１、符号変換部（符号変換手段）４１、およびリミッタ（振幅調整手段）５１を備えている。

　非線形演算部２１は、高周波信号Ｓ１１に対して非線形演算を施し、非線形信号Ｓ２１を生成する。

　ここで、非線形演算部２１にて行なう非線形演算について説明する。以下では、非線形演算部２１への入力信号値をｘとし、非線形演算部２１からの出力信号値をｙとし、非線形演算部２１にて行なう非線形演算を、ｙ＝ｆ（ｘ）という関数で表す。

　ここで、関数ｆ（ｘ）は、正負対称（原点対称）に単調増加する非線形関数であるものとする。なお、単調増加とは広義の単調増加を意味するものとする。ただし、関数ｆ（ｘ）は、少なくともｘ＝“０”の近傍で単調増加するものであればよい。また、関数ｆ（ｘ）は、少なくともｘ＝“０”の近傍で、｜ｆ（ｘ）｜＞｜ｘ｜であることが好ましい。

　このような関数ｆ（ｘ）として、例えば、下記数式（１）～（３）で示されるものが挙げられる。なお、下記数式（２）および（３）で示される関数ｆ（ｘ）を用いる場合、当該関数ｆ（ｘ）は、０≦ｘ≦１の区間での値の増加が大きいため、当該区間で用いることが好ましい。

　関数ｆ（ｘ）として上記数式（１）を用いる場合、非線形演算部２１は、２以上の偶数を冪指数として高周波信号Ｓ１１を冪乗することにより非線形信号Ｓ２１（偶数冪乗信号、平方根信号）を生成する。例えば、上記数式（１）においてｎ＝１の場合（つまり、ｆ（ｘ）＝ｘ^２である場合）、非線形演算部２１は、高周波信号Ｓ１１を２乗することにより、非線形信号Ｓ２１を生成する。この場合、高周波信号Ｓ１１を構成するデータ列が、Ｘ１，Ｘ２，Ｘ３、…であるとすると、高周波信号Ｓ１１を２乗した非線形信号Ｓ２１は、データ列Ｘ１^２，Ｘ２^２，Ｘ３^２、…で構成されるデジタル信号となる。

　ところで、高周波信号Ｓ１１の信号値が、－２５５～２５５のいずれかの整数値である場合、関数ｆ（ｘ）を用いるにあたり、ｘを２５５で正規化してもよい。例えば、上記数式（２）を用いる代わりに、上記数式（２）で示される関数ｆ（ｘ）の右辺のｘを、ｘ／２５５で正規化するとともに、右辺に２５５を乗算した下記数式（４）を用いてもよい。なお、下記数式（４）は、ｆ（ｘ）＞ｘという条件を満たす。

　上記数式（４）では、上記数式（２）で示される関数ｆ（ｘ）の右辺のｘを、２５５で正規化するとともに、右辺に２５５を乗算したが、右辺に乗算する数値は正規化するための値（この例では２５５）と同じ値である必要はなく、｜ｆ（ｘ）｜＞｜ｘ｜という条件を満たすものであればよい。例えば、２５５の代わりに右辺に１００を乗算した下記数式（５）を用いてもよい。

　また、関数ｆ（ｘ）は、下記数式（６）に示す三角関数を用いたものであってもよい。

　次に、符号変換部４１は、高周波信号Ｓ１１の符号ビット情報に基づき、非線形信号Ｓ２１に高周波信号Ｓ１１の符号を反映させたものを、符号変換信号Ｓ４１として生成する。すなわち、符号変換部４１は、非線形信号Ｓ２１のうち、符号が、高周波信号Ｓ１１と同じ部分については、符号をそのまま維持する。一方、非線形信号Ｓ２１のうち、符号が、高周波信号Ｓ１１と異なる部分については、符号の正負を反転させる。

　次に、リミッタ５１は、符号変換部４１が生成する符号変換信号Ｓ４１の振幅（信号レベル、強度）を調整する処理（以下、振幅調整処理とも表記する）を行なうことにより、非線形処理信号（第２の非線形処理信号）Ｓ１２を生成する。具体的には、リミッタ５１は、符号変換信号Ｓ４１に、所定の倍率値α（｜α｜＜１）を乗算することにより、符号変換信号Ｓ４１の振幅を調整する。なお、倍率値αは、伝送路の特性に応じて、適切に設定されるものとする。

　さらに、リミッタ５１は、既に十分なエネルギーを有する信号をさらに増幅させないために、非線形処理信号Ｓ１２の信号値が所定の上限値ＵＶ２以下となるように、非線形処理信号Ｓ１２の信号のうち、絶対値が上限値ＵＶ２よりも大きい部分について、絶対値を当該上限値ＵＶ２以下に変更する処理（以下、クリップ処理とも表記する）を行なう。例えば、非線形処理信号Ｓ１２の信号値の絶対値が“６４”を超える部分について、当該部分の信号値を、符号に応じて“６４”または“－６４”に変更する。または、“０”に変更してもよい。

　なお、非線形処理部１０２ａは、リミッタ５１を備えず、符号変換信号Ｓ４１の振幅調整処理およびクリップ処理を行なわない構成としてもよい。この場合、符号変換部４１が生成する符号変換信号Ｓ４１が、非線形処理信号Ｓ１２として非線形処理部１０２ａから出力される。

　最後に、加算部１５について説明する。加算部１５は、非線形処理信号Ｓ１２を補償用信号として、入力信号Ｓｉｎに加算することにより、出力信号Ｓｏｕｔを生成するものである（加算ステップ）。なお、加算部１５には、入力信号Ｓｉｎと非線形処理信号Ｓ１２との間のタイミングを調整するための遅延素子が適宜含まれているものとする。

　（構成例１における信号の波形）
　次に、図７の（ａ）～（ｅ）を参照しながら、鮮鋭化処理部１００ａの各部にて生成される信号の波形について説明する。図７の（ａ）～（ｅ）は、鮮鋭化処理部１００ａの各部にて生成される信号の波形を模式的に示す図である。ここでは、図７の（ａ）に示す信号が、入力信号Ｓｉｎとして鮮鋭化処理部１００ａに入力されるものとする。

　まず、入力信号Ｓｉｎが高周波成分抽出部１１に入力されると、入力信号Ｓｉｎに含まれる高周波成分が抽出され、図７の（ｂ）に示される高周波信号Ｓ１１が生成される。

　続いて、非線形処理部１０２ａの非線形演算部２１にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ^２である場合、高周波信号Ｓ１１を２乗した非線形信号Ｓ２１が、非線形演算部２１にて生成される（図７の（ｃ）参照）。

　続いて、非線形信号Ｓ２１が符号変換部４１に入力されると、図７の（ｄ）に示される符号変換信号Ｓ４１が生成される。同図に示すとおり、符号変換信号Ｓ４１は、図７の（ｂ）に示される高周波信号Ｓ１１の符号の正負が維持されている。

　続いて、符号変換信号Ｓ４１がリミッタ５１に入力されると、振幅調整処理およびクリップ処理が行なわれ、非線形処理信号Ｓ１２が生成される。その後、加算部１５によって、非線形処理信号Ｓ１２が入力信号Ｓｉｎに加算されると、出力信号Ｓｏｕｔが生成される（図７の（ｅ）参照）。

　なお、図７の（ｅ）に示した非線形処理信号Ｓ１２における信号の立ち上がりおよび立ち下がりは、線形演算を用いて入力信号Ｓｉｎをエンハンスした場合における信号の立ち上がりおよび立ち下がりよりも、急峻となるので、図８を参照しながら説明する。

　図８の（ａ）に示す信号は、図７の（ａ）に示した入力信号Ｓｉｎと同じものである。そして、図８の（ａ）に示す入力信号Ｓｉｎをエンハンスする場合、線形演算を用いた鮮鋭化処理では、図８の（ａ）に示す入力信号Ｓｉｎから高域信号を抽出し、該抽出した高域信号に入力信号Ｓｉｎを加算するという方法が用いられる。したがって、線形演算を用いた鮮鋭化処理では、入力信号Ｓｉｎに含まれていないナイキスト周波数を超えた信号成分が付加されることはない。

　そのため、線形演算を用いた鮮鋭化処理では、図８の（ｂ）で示される信号が生成される。図８の（ｂ）で示される信号における立ち上がりは、図８の（ａ）に示す入力信号Ｓｉｎにおける信号の立ち上がりよりも急峻となるものの、鮮鋭化処理部１００ａにて生成される非線形処理信号Ｓ１２（図７の（ｅ））における信号の立ち上がりの方が、より急峻となる。

　（鮮鋭化処理部の構成例２）
　上述した非線形処理部１０２ａにおいて、非線形演算部２１にて生成される非線形信号Ｓ２１を微分する構成としてもよい。非線形信号Ｓ２１を微分することによって、非線形信号Ｓ２１に含まれる直流成分を除去することができるからである。

　そこで、図９を参照しながら、鮮鋭化処理部１００ｂの構成例について説明する。図９は、鮮鋭化処理部１００ｂの構成を示すブロック図である。

　同図に示すとおり、鮮鋭化処理部１００ｂは、高周波成分抽出部１１、非線形処理部１０２ｂ、および加算部１５を備えている。そして、非線形処理部１０２ｂは、図４に示した非線形処理部１０２ａの構成に加え、非線形演算部２１と符号変換部４１との間に、微分部（微分手段）３１を備えている。高周波成分抽出部１１、非線形処理部１０２ｂの微分部３１以外の部材、および加算部１５は、上述したものと同じものであるので、ここではその詳細な説明を省略する。

　微分部３１は、非線形演算部２１にて生成される非線形信号Ｓ２１を微分することにより、微分信号Ｓ３１を生成するものである。

　図１０を参照しながら、微分部３１の構成について説明する。図１０は、微分部３１の構成を示すブロック図である。同図に示すように、微分部３１は、単位遅延素子３１１１と減算部３１１２とから構成されており、微分部３１に入力される信号に対して後退差分を算出するものである。

　そして、微分部３１が生成した微分信号Ｓ３１に対して、符号変換部４１は、高周波信号Ｓ１１の符号ビット情報に基づき、非線形信号Ｓ２１に高周波信号Ｓ１１の符号を反映させたものを、符号変換信号Ｓ４２として生成する。すなわち、符号変換部４１は、微分信号Ｓ３１のうち、符号が、高周波信号Ｓ１１と同じ部分については、符号をそのまま維持する。一方、非線形信号Ｓ２１のうち、符号が、高周波信号Ｓ１１と異なる部分については、符号の正負を反転させる。

　そして、リミッタ５１は、符号変換部４１にて生成される符号変換信号Ｓ４２に対して、振幅調整処理およびクリップ処理を行なうことによって、非線形処理信号Ｓ１２を生成する。振幅調整処理では、符号変換信号Ｓ４２に、所定の倍率値αを乗算することにより、符号変換信号Ｓ４２の振幅を調整する。

　なお、非線形処理部１０２ｂは、リミッタ５１を備えず、符号変換信号Ｓ４２の振幅調整処理およびクリップ処理を行なわない構成としてもよい。この場合、符号変換部４１が生成する符号変換信号Ｓ４２が、非線形処理信号Ｓ１２として非線形処理部１０２ｂから出力される。

　（構成例２における信号の波形）
　次に、図１１の（ａ）～（ｆ）を参照しながら、鮮鋭化処理部１００ｂの各部にて生成される信号の波形について説明する。図１１の（ａ）～（ｆ）は、鮮鋭化処理部１００ｂの各部にて生成される信号の波形を模式的に示す図である。ここでは、図１１の（ａ）に示す信号が、入力信号Ｓｉｎとして鮮鋭化処理部１００ｂに入力されるものとする。なお、図１１の（ａ）に示す信号は、図７の（ａ）に示す信号と同じである。

　まず、入力信号Ｓｉｎが高周波成分抽出部１１に入力されると、入力信号Ｓｉｎに含まれる高周波成分が抽出され、図１１の（ｂ）に示される高周波信号Ｓ１１が生成される。

　続いて、非線形処理部１０２ｂの非線形演算部２１にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ^２である場合、高周波信号Ｓ１１を２乗した非線形信号Ｓ２１が、非線形演算部２１にて生成される（図１１の（ｃ）参照）。

　続いて、非線形信号Ｓ２１が微分部３１に入力されると、図１１の（ｄ）に示される微分信号Ｓ３１が生成される。なお、微分信号Ｓ３１では、非線形信号Ｓ２１に含まれていた直流成分が除去されている。

　続いて、微分信号Ｓ３１が符号変換部４１に入力されると、図１１の（ｅ）に示される符号変換信号Ｓ４２が生成される。同図に示すとおり、符号変換信号Ｓ４２は、図１１の（ｂ）に示される高周波信号Ｓ１１の符号の正負が維持されている。

　続いて、符号変換信号Ｓ４１がリミッタ５１に入力されると、振幅調整処理およびクリップ処理が行なわれ、非線形処理信号Ｓ１２が生成される。最後に、加算部１５によって、非線形処理信号Ｓ１２が入力信号Ｓｉｎに加算されると、出力信号Ｓｏｕｔが生成される（図１１の（ｆ）参照）。

　なお、図１１の（ｆ）に示される出力信号Ｓｏｕｔにおける信号の立ち上がりおよび立ち下がりは、線形演算を用いて鮮鋭化する場合よりも、急峻となる。

　（鮮鋭化処理部の構成例３）
　上述した非線形処理部１０２ａおよび非線形処理部１０２ｂの構成では、符号変換部４１を備える構成としたが、高周波信号Ｓ１１に対して施す非線形演算が、高周波信号Ｓ１１の符号の正負を維持するものであれば、符号変換部４１を備える必要はない。

　そこで、図１２を参照しながら、符号変換部４１を備えない鮮鋭化処理部１００ｃの構成例について説明する。図１２は、鮮鋭化処理部１００ｃの構成を示すブロック図である。

　同図に示すとおり、鮮鋭化処理部１００ｃは、高周波成分抽出部１１、非線形処理部１０２ｃ、および加算部１５を備えている。そして、非線形処理部１０２ｃは、非線形演算部（奇数冪乗演算手段）２２、およびリミッタ５１を備えている。高周波成分抽出部１１、リミッタ５１、および加算部１５は、上述したものと同じものであるので、ここではその詳細な説明を省略する。

　非線形演算部２２は、高周波信号Ｓ１１に対して非線形演算を施し、非線形信号Ｓ２２を生成する。

　ここで、非線形演算部２２にて行なう非線形演算について説明する。以下では、非線形演算部２２への入力信号値をｘとし、非線形演算部２２からの出力信号値をｙとし、非線形演算部２２にて行なう非線形演算を、ｙ＝ｇ（ｘ）という関数で表す。

　ここで、関数ｇ（ｘ）は、正負対称（原点対称）に単調増加する非線形関数であるものとする。なお、単調増加とは、広義の単調増加を意味するものとする。ただし、関数ｇ（ｘ）は、少なくともｘ＝“０”の近傍で単調増加するものであればよい。また、関数ｇ（ｘ）は、少なくともｘ＝“０”の近傍で、｜ｇ（ｘ）｜＞｜ｘ｜であることが好ましい。

　このような関数ｇ（ｘ）として、例えば、下記数式（７）が挙げられる。

　関数ｇ（ｘ）として上記数式（７）を用いる場合、非線形演算部２２は、３以上の奇数を冪指数として高周波信号Ｓ１１を冪乗することにより非線形信号Ｓ２２を生成する。例えば、上記数式（７）においてｎ＝１の場合（つまり、ｇ（ｘ）＝ｘ^３である場合）、非線形演算部２２は、高周波信号Ｓ１１を３乗することにより、非線形信号Ｓ２２を生成する。この場合、高周波信号Ｓ１１を構成するデータ列が、Ｘ１，Ｘ２，Ｘ３、…であるとすると、高周波信号Ｓ１１を３乗した非線形信号Ｓ２２は、データ列Ｘ１^３，Ｘ２^３，Ｘ３^３、…で構成されるデジタル信号となる。

　そして、リミッタ５１は、非線形演算部２２にて生成される非線形信号Ｓ２２に対して、振幅調整処理およびクリップ処理を行なうことによって、非線形処理信号Ｓ１２を生成する。

　なお、非線形処理部１０２ｃは、リミッタ５１を備えず、非線形信号Ｓ２２の振幅調整処理およびクリップ処理を行なわない構成としてもよい。この場合、非線形演算部２２が生成する非線形信号Ｓ２２が、非線形処理信号Ｓ１２として非線形処理部１０２ｃから出力される。

　（構成例３における信号の波形）
　次に、図１３の（ａ）～（ｄ）を参照しながら、鮮鋭化処理部１００ｃの各部にて生成される信号の波形について説明する。図１３の（ａ）～（ｄ）は、鮮鋭化処理部１００ｃの各部にて生成される信号の波形を模式的に示す図である。ここでは、図１３の（ａ）に示す信号が、入力信号Ｓｉｎとして鮮鋭化処理部１００ｃに入力されるものとする。なお、図１３の（ａ）に示す信号は、図７の（ａ）に示す信号と同じである。

　まず、入力信号Ｓｉｎが高周波成分抽出部１１に入力されると、入力信号Ｓｉｎに含まれる高周波成分が抽出され、図１３の（ｂ）に示される高周波信号Ｓ１１が生成される。

　続いて、非線形演算部２２にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ^３である場合、高周波信号Ｓ１１を３乗した非線形信号Ｓ２２が、非線形演算部２２にて生成される（図１３の（ｃ）参照）。

　続いて、非線形信号Ｓ２２がリミッタ５１に入力されると、振幅調整処理およびクリップ処理が行なわれ、非線形処理信号Ｓ１２が生成される。最後に、加算部１５によって、非線形処理信号Ｓ１２が入力信号Ｓｉｎに加算されると、出力信号Ｓｏｕｔが生成される（図１３の（ｄ）参照）。

　なお、図１３の（ｄ）に示される出力信号Ｓｏｕｔにおける信号の立ち上がりおよび立ち下がりは、線形演算を用いて鮮鋭化する場合よりも、急峻となっている。

　（ナイキスト周波数を超える周波数が生成される理由）
　次に、鮮鋭化処理部１００が生成する出力信号Ｓｏｕｔが、入力信号Ｓｉｎが有する高調波成分等のナイキスト周波数ｆｓ／２を超える高周波成分を含む理由について説明する。

　ここでは、入力信号Ｓｉｎが、時間をｘとした関数Ｆ（ｘ）で表現されるものとする。そして、入力信号Ｓｉｎの基本角周波数をωとすると、関数Ｆ（ｘ）は、下記数式（８）のようにフーリエ級数で表現することができる。

　ここで、Ｎは、サンプリング周波数ｆｓに対するナイキスト周波数ｆｓ／２を超えない最高周波数の高調波の次数である。すなわち、下記数式（９）が満たされる。

　次に、関数Ｆ（ｘ）で表される入力信号Ｓｉｎの直流成分ａ_０以外の信号をＧ（ｘ）と表記すると、Ｇ（ｘ）は下記数式（１０）で表される。

　ここで、鮮鋭化処理部１００に入力される入力信号Ｓｉｎは、信号Ｇ（ｘ）または信号Ｇ（ｘ）の高周波成分を含む。

　そして、例えば、非線形演算部２１にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ^２である場合、非線形演算部２１にて生成される非線形信号Ｓ２１は、高周波信号Ｓ１１を２乗することにより得られる信号である。ここで、上記数式（１０）により、（Ｇ（ｘ））^２の各項は、下記数式（１１）～（１３）のいずれかで表される（ｉ＝±１、±２、…、±Ｎ；ｊ＝±１、±２、…、±Ｎ）。

　ここで、三角関数に関する公式を用いることにより、上記数式（１１）～（１３）は、それぞれ、下記数式（１４）～（１６）に書き直すことができる。

　上記数式（１４）～（１６）から分かるように、（Ｇ（ｘ））^２は、（Ｎ＋１）ω、（Ｎ＋２）ω、…、２Ｎω等の角周波数成分を含む。

　よって、（Ｇ（ｘ））^２は、ナイキスト周波数ｆｓ／２より高い周波数成分を含むこととなる。つまり、非線形演算部２１にて生成される非線形信号Ｓ２１は、周波数２Ｎω／（２π）といった高調波成分等のように、ナイキスト周波数ｆｓ／２より高い周波数成分を含むこととなる。

　同様に、例えば、非線形演算部２２にて行なわれる非線形演算が、ｆ（ｘ）＝ｘ^３である場合、非線形演算部２２にて生成される非線形信号Ｓ２２は、高周波信号Ｓ１１を３乗することにより得られる信号である。ここで、上記数式（１０）により、（Ｇ（ｘ））^３の各項は、下記数式（１７）～（２０）のいずれかで表される（ｉ＝±１、±２、…、±Ｎ；ｊ＝±１、±２、…、±Ｎ；ｋ＝±１、±２、…、±Ｎ）。

　ここで、例えば、ｉ＝ｊ＝ｋ＝Ｎである項のうち、上記数式（１７）および（２０）で示される項に着目すると、これらの項は、三角関数に関する公式を用いることにより、下記数式（２１）および（２２）に書き直すことができる。

　また、例えば、ｉ＝ｊ＝ｋ＝－Ｎである項のうち、上記数式（１７）および（２０）で示される項に着目すると、これらの項は、三角関数に関する公式を用いることにより、下記数式（２３）および（２４）に書き直すことができる。

　上記数式（２１）～（２４）から分かるように、（Ｇ（ｘ））^３は、基本角周波数ωの３Ｎ倍の周波数成分、および、－３Ｎ倍の周波数成分を含む。（Ｇ（ｘ））^３の他の項についても三角関数の公式によって書き直すことにより、（Ｇ（ｘ））^３は、基本角周波数ωの－３Ｎ倍から３Ｎ倍までの様々な周波数成分を含むことが分かる。

　よって、（Ｇ（ｘ））^３は、ナイキスト周波数ｆｓ／２より高い周波数成分を含むこととなる。つまり、非線形演算部２２にて生成される非線形信号Ｓ２２は、周波数３Ｎω／（２π）といった高調波成分等のように、ナイキスト周波数ｆｓ／２より高い周波数成分を含むこととなる。

　以上のように、鮮鋭化処理部１００にて生成される出力信号Ｓｏｕｔは、入力信号Ｓｉｎに含まれない高周波成分、すなわちナイキスト周波数より高い周波数成分を含むこととなる。

　（鮮鋭化処理部の他の構成例１）
　鮮鋭化処理部１００にて施す非線形演算は、上述した以外にも様々に考えられる。そこで、図１４および図１５を参照しながら、鮮鋭化処理部１００ｄおよび１００ｅの構成例について説明する。

　まず、図１４は、鮮鋭化処理部１００ｄの構成を示すブロック図である。同図に示すとおり、鮮鋭化処理部１００ｄは、高周波成分抽出部１１、非線形処理部１０２ｄ、および加算部１５を備えている。高周波成分抽出部１１および加算部１５は、上述したものと同じものであるので、ここではその詳細な説明を省略する。

　非線形処理部１０２ｄは、２乗演算部６１、第１微分部７１、第２微分部８１、および乗算部９１を備えている。

　２乗演算部６１は、高周波信号Ｓ１１を２乗することにより２乗信号Ｓ６１を生成するものである。すなわち、高周波信号Ｓ１１を構成するデータ列が、Ｘ１、Ｘ２、Ｘ３、…であるとすると、高周波信号Ｓ１１を２乗した２乗信号Ｓ６１は、データ列Ｘ１^２、Ｘ２^２、Ｘ３^２、…によって構成されるデジタル信号となる。

　次に、第１微分部７１は、２乗演算部６１にて生成される２乗信号Ｓ６１を微分することにより、第１微分信号Ｓ７１を生成する。なお、第１微分部７１の構成は、例えば、微分部３１と同様の構成である。

　次に、第２微分部８１は、入力信号Ｓｉｎを微分することにより、第２微分信号Ｓ８１を生成する。なお、第２微分部８１の構成は、例えば、微分部３１と同様の構成である。

　そして、乗算部９１は、第１微分信号Ｓ７１と第２微分信号Ｓ８１とを乗算することにより、非線形処理信号Ｓ１２を生成する。すなわち、第１微分信号Ｓ７１を構成するデータ列が、Ｕ１、Ｕ２、Ｕ３、…であるとし、第２微分信号Ｓ８１を構成するデータ列が、Ｖ１、Ｖ２、Ｖ３、…であるとすると、非線形処理信号Ｓ１２は、データ列Ｕ１・Ｖ１、Ｕ２・Ｖ２、Ｕ３・Ｖ３、…によって構成されるデジタル信号となる。

　なお、上述では、非線形演算を施すために２乗演算部６１を設ける構成としたが、２乗演算部６１に代えて、高周波信号Ｓ１１を４乗する４乗演算部を用いてもよい。より一般的には、２以上の偶数を冪指数とする高周波信号Ｓ１１の冪乗に相当する信号を生成する冪乗演算部を用いてもよい。

　（鮮鋭化処理部の他の構成例２）
　上述した鮮鋭化処理部１００ｄの構成では、２乗演算部６１を備える構成としたが、２乗演算部６１に代えて、入力された信号の絶対値を計算する絶対値処理部６２を備える構成としてもよい。

　そこで、図１５を参照しながら、絶対値処理部６２を備える鮮鋭化処理部１００ｅの構成例について説明する。図１５は、鮮鋭化処理部１００ｅの構成を示すブロック図である。

　同図に示すとおり、鮮鋭化処理部１００ｅは、高周波成分抽出部１１、非線形処理部１０２ｅ、および加算部１５を備えている。高周波成分抽出部１１および加算部１５は、上述したものと同じものであるので、ここではその詳細な説明を省略する。

　非線形処理部１０２ｅは、絶対値処理部６２、第１微分部７１、第２微分部８１、および乗算部９１を備えている。第１微分部７１、第２微分部８１、および乗算部９１は、上述したものと同じものであるので、ここではその詳細な説明を省略する。

　絶対値処理部６２は、高周波信号Ｓ１１の絶対値に相当する信号である絶対値信号Ｓ６２を生成する。すなわち、高周波信号Ｓ１１を構成するデータ列が、Ｘ１，Ｘ２，Ｘ３、…であるとすると、絶対値信号Ｓ６２は、データ列｜Ｘ１｜、｜Ｘ２｜、｜Ｘ３｜、…によって構成されるデジタル信号となる。

　次に、第１微分部７１は、絶対値処理部６２にて生成される絶対値信号Ｓ６２を微分することにより、第１微分信号Ｓ７２を生成する。

　そして、乗算部９１は、第１微分信号Ｓ７２と第２微分信号Ｓ８１とを乗算することにより、非線形処理信号Ｓ１２を生成する。

　〔実施形態２〕
　実施形態１にて説明した符号化装置２００ａは、原信号ＳＲの高周波成分を除去した高周波除去信号Ｓ２１０のみを符号化処理部２２０にて符号化することによって符号化信号Ｓ２２０を出力する構成である。そして、復号化装置３００ａの復号化処理部３１０では、符号化信号Ｓ２２０のみに基づいて復号化処理を行なうので、復号化処理部３１０から出力される復号化信号Ｓ３１０で表される復元画像は、原信号ＳＲで表される原画像よりも必ず劣化するものとなる。

　ここで、伝送路７００を伝送させる信号の伝送レートの低減度合いが低くなることが許容される場合、復元画像の劣化をできるだけ抑えることを目的として、所定期間毎に高周波除去信号Ｓ２１０に代えて原信号ＳＲを符号化する構成としてもよい。例えば、数フレーム毎に１フレームだけ原信号ＳＲを符号化する構成としてもよい。

　そこで、本実施形態では、送信側にて、所定期間毎に、高周波除去信号Ｓ２１０に代えて原信号ＳＲを符号化する形態について説明する。

　本発明の一実施形態について図１６から図１８に基づいて説明すると以下の通りである。本実施形態に係る符号化装置２００を、符号化装置２００ｃと表記する。また、本実施形態に係る復号化装置３００を、復号化装置３００ｃと表記する。

　なお、説明の便宜上、実施形態１にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、特に記載する場合を除きその説明を省略する。

　（符号化装置および復号化装置の構成）
　図１６および図１７を参照しながら、符号化装置２００ｃおよび復号化装置３００ｃの構成例について説明する。図１６および図１７は、それぞれ、符号化装置２００ｃおよび復号化装置３００ｃの構成例を示すブロック図である。

　まず、符号化装置２００ｃの構成について説明する。図１６に示すとおり、符号化装置２００ｃは、ＬＰＦ２１０、信号切替部２４０、および符号化処理部（符号化手段）２２１を備えている。

　信号切替部２４０は、符号化処理部２２１へ入力される信号線の接続を切り替えるスイッチである。信号切替部２４０は、符号化処理部２２１からの指示に応じて、接続点Ｏｕｔ１を接続点Ｉｎ１１と接続するか、または、接続点Ｉｎ１２と接続するかを切り替える。なお、本実施形態では、接続点Ｏｕｔ１と接続点Ｉｎ１２とを接続すると高周波除去信号Ｓ２１０が符号化処理部２２１へ入力され、一方、接続点Ｏｕｔ１と接続点Ｉｎ１１とを接続すると原信号ＳＲが符号化処理部２２１へ入力される。

　符号化処理部２２１は、信号切替部２４０から入力される信号を符号化するものである。符号化処理部２２１から出力される信号を、符号化信号Ｓ２２１と表記する。なお、本実施形態の場合、符号化信号Ｓ２２１には、原信号ＳＲを符号化した信号と、高周波除去信号Ｓ２１０を符号化した信号とが含まれることとなる。

　なお、符号化処理部２２１と後述する復号化処理部３２０とは対になっており、符号化処理部２２１は、復号化処理部３２０にて復号化が可能な符号化信号Ｓ２２１を出力するように構成されているものとする。

　また、動画像を符号化する場合、符号化処理部２２１は、一般的に知られているフレーム間予測符号化による圧縮符号化を行なうものとする。そして、復号化処理部３２０が動き補償を行なうために用いる動きベクトルを、符号化信号Ｓ２２１に含めて出力する。

　さらに、符号化処理部２２１は、信号切替部２４０に対して、接続点Ｏｕｔ１を、接続点Ｉｎ１１および接続点Ｉｎ１２のいずれに接続させるかを指示する。より詳しくは、通常時は接続点Ｏｕｔ１を接続点Ｉｎ１２に接続させるように指示し、所定期間（以下、所定期間Ｔ１）毎に、接続点Ｏｕｔ１を接続点Ｉｎ１１に接続させるように指示する。

　なお、所定期間Ｔ１は、符号化効率や復元画像の画質などに応じて、適宜定められるものである。本実施形態では、例えば、符号化効率を高くするときは、高周波除去信号Ｓ２１０を符号化するフレームを多く、かつ、原信号ＳＲを符号化するフレームが少なくなるように（一例として、所定の数百フレームについて高周波除去信号Ｓ２１０を符号化する毎に、次の１つのフレームについては原信号ＳＲを符号化するように）、上記所定期間Ｔ１を定めればよい。

　一方、復元画像の画質を重視する場合は、原信号ＳＲを符号化するフレームを多くするように（一例として、所定の数フレームについて高周波除去信号Ｓ２１０を符号化する毎に、次の１つのフレームについては原信号ＳＲを符号化するように）、上記所定期間Ｔ１を定めればよい。

　なお、符号化処理部２２１は、符号化信号Ｓ２２１が、信号切替部２４０の接続点Ｉｎ１１から入力された信号（以下、入力信号Ａ１１と表記する）、および、接続点Ｉｎ１２から入力された信号（以下、入力信号Ａ１２と表記する）のいずれを符号化したものであるかを示す情報（以下、符号化情報Ｅ１と表記する）を、符号化信号Ｓ２２１に多重化するものとする。なお、本実施形態では、入力信号Ａ１１は原信号ＳＲであり、入力信号Ａ１２は高周波除去信号Ｓ２１０である。

　次に、復号化装置３００ｃの構成について説明する。復号化装置３００ｃは、図１７に示すとおり、復号化制御部（復号化手段）３１１、および鮮鋭化処理部１００を備えている。

　まず、復号化制御部３１１について説明する。復号化制御部３１１は、復号化処理部３２０、および信号再構成部３３０を備えている。なお、復号化制御部３１１から出力される信号を、復号結果信号（復号化信号）Ｓ３１１と表記する。復号結果信号Ｓ３１１は、原画像に対応する復元画像を表す信号である。

　復号化処理部３２０は、上述のとおり、符号化処理部２２１から出力された符号化信号Ｓ２２１を復号化するものである（復号化ステップ）。なお、動画像を復号化する場合、復号化処理部３２０は、符号化信号Ｓ２２１に含まれる動きベクトルを用いてフレーム間予測を行なうことにより動き補償を行なう。

　なお、復号化処理部３２０から出力される信号を、復号化信号Ｓ３２０と表記する。ここで、上述したように、本実施形態では、符号化信号Ｓ２２１には、原信号ＳＲを符号化した信号と、高周波除去信号Ｓ２１０を符号化した信号とが含まれる。そのため、復号化信号Ｓ３２０には、原信号ＳＲを符号化した信号を復号化した信号（以下、復号後原信号と表記する）と、高周波除去信号Ｓ２１０を符号化した信号を復号化した信号（以下、復号後高周波除去信号と表記する）とが含まれる。

　さらに、復号化処理部３２０は、信号再構成部３３０が備える第１信号切替部３３１（後述する）に対して、接続点Ｏｕｔ２を、接続点Ｉｎ２１および接続点Ｉｎ２２のいずれに接続させるかを指示する。また、第２信号切替部３３４（後述する）に対して、接続点Ｏｕｔ３を、接続点Ｉｎ３１および接続点Ｉｎ３２のいずれに接続させるかを指示する。

　具体的には、復号化処理部３２０は、まず、符号化信号Ｓ２２１に含まれる符号化情報Ｅ１を抽出する。そして、符号化情報Ｅ１が、符号化信号Ｓ２２１が入力信号Ａ１１（つまり、原信号ＳＲ）を符号化したものであることを示す場合、第１信号切替部３３１に対して、接続点Ｏｕｔ２を接続点Ｉｎ２１に接続させるように指示するとともに、第２信号切替部３３４に対して、接続点Ｏｕｔ３を接続点Ｉｎ３１に接続させるように指示する。

　一方、符号化情報Ｅ１が、符号化信号Ｓ２２１が入力信号Ａ１２（つまり、高周波除去信号Ｓ２１０）を符号化したものであることを示す場合、第１信号切替部３３１に対して、接続点Ｏｕｔ２を接続点Ｉｎ２２に接続させるように指示するとともに、第２信号切替部３３４に対して、接続点Ｏｕｔ３を接続点Ｉｎ３２に接続させるように指示する。

　次に、信号再構成部３３０について説明する。信号再構成部３３０は、概略的には、復号化信号Ｓ３２０に含まれる復号後原信号および復号後高周波除去信号に基づいて、復元画像を表す復号結果信号（復号化信号）Ｓ３１１を出力するものである。具体的には、本実施形態では、復号化信号Ｓ３２０が復号後原信号であるとき、復号後原信号をそのまま復号結果信号Ｓ３１１として出力する。一方、復号化信号Ｓ３２０が復号後高周波除去信号であるとき、直前のフレームに相当する復号結果信号Ｓ３１１に対して動き補償を施した信号に、復号後高周波除去信号を加算することによって、最新のフレームに相当する復号結果信号Ｓ３１１を出力する。

　上記処理を行なうために、信号再構成部３３０は、第１信号切替部３３１、フレームメモリ部３３２、動き補償部３３３、第２信号切替部３３４、および、加算部３３５を備えている。

　第１信号切替部３３１は、フレームメモリ部３３２へ入力される信号線の接続を切り替えるスイッチである。第１信号切替部３３１は、復号化処理部３２０からの指示に応じて、接続点Ｏｕｔ２を接続点Ｉｎ２１と接続するか、または、接続点Ｉｎ２２と接続するかを切り替える。接続点Ｏｕｔ２と接続点Ｉｎ２１とを接続すると復号化信号Ｓ３２０がフレームメモリ部３３２へ入力され、一方、接続点Ｏｕｔ２と接続点Ｉｎ２２とを接続すると復号結果信号Ｓ３１１がフレームメモリ部３３２へ入力される。

　なお、接続点Ｏｕｔ２と接続点Ｉｎ２１とが接続されるのは、復号化処理部３２０にて抽出した符号化情報Ｅ１が、入力信号Ａ１１（つまり、原信号ＳＲ）を符号化したものであることを示すときであり、復号化処理部３２０では、復号後原信号を復号化信号Ｓ３２０として出力する。よって、接続点Ｏｕｔ２と接続点Ｉｎ２１とを接続したときは、復号後原信号がフレームメモリ部３３２へ入力される。

　次に、フレームメモリ部３３２は、第１信号切替部３３１を介して入力される信号を、１フレーム分保持するものである。したがって、フレームメモリ部３３２には、復号後原信号および復号結果信号Ｓ３１１のいずれか一方が、１フレーム分保持される。そして、フレームメモリ部３３２は、１フレーム毎に、保持している信号を、動き補償部３３３に出力する。フレームメモリ部３３２から出力される信号を、メモリ信号Ｓ３３２と表記する。

　次に、動き補償部３３３は、メモリ信号Ｓ３３２で表される直前のフレームに対し、動きベクトルに基づく動き補償を施すことによって、最新のフレームを算出するものである。なお、動き補償に用いる動きベクトルは、復号化処理部３２０にて行なう動き補償のために用いる動きベクトルを、復号化処理部３２０から受け取るものとする。そのため、動き補償部３３３には、メモリ信号Ｓ３３２と復号化処理部３２０から受け取る動きベクトルとの間のタイミングを調整するための遅延素子が適宜含まれているものとする。動き補償部３３３から出力される信号を、動き補償信号Ｓ３３３と表記する。

　次に、第２信号切替部３３４は、加算部３３５へ入力される信号線の接続を切り替えるスイッチである。第２信号切替部３３４は、復号化処理部３２０からの指示に応じて、接続点Ｏｕｔ３を接続点Ｉｎ３１と接続するか、または、接続点Ｉｎ３２と接続するかを切り替える。本実施形態では、接続点Ｏｕｔ３と接続点Ｉｎ３２とを接続すると動き補償信号Ｓ３３３が加算部３３５へ入力され、一方、接続点Ｏｕｔ３と接続点Ｉｎ３１とを接続すると加算部３３５へは何も入力されない。

　次に、加算部３３５は、第２信号切替部３３４から入力される信号と、復号化信号Ｓ３２０とを加算することによって復号結果信号Ｓ３１１を出力するものである。よって、第２信号切替部３３４の接続点Ｏｕｔ３と接続点Ｉｎ３２とが接続されているとき、復号化信号Ｓ３２０と動き補償信号Ｓ３３３とを加算することによって復号結果信号Ｓ３１１を出力する。一方、第２信号切替部３３４の接続点Ｏｕｔ３と接続点Ｉｎ３１とが接続されているとき、復号化信号Ｓ３２０をそのまま復号結果信号Ｓ３１１として出力する。

　なお、加算部３３５には、第２信号切替部３３４から入力される信号と復号化信号Ｓ３２０との間のタイミングを調整するための遅延素子が適宜含まれているものとする。

　以上の構成により、復号化制御部３１１は、本実施形態では、（１）符号化情報Ｅ１が、符号化信号Ｓ２２１が入力信号Ａ１１（つまり、原信号ＳＲ）を符号化したものであることを示すとき、復号化信号Ｓ３２０として復号後原信号を出力し、第１信号切替部３３１を介してフレームメモリ部３３２に復号後原信号を保持するとともに、加算部３３５を介して復号後原信号を復号結果信号Ｓ３１１として出力する。（２）一方、符号化情報Ｅ１が、符号化信号Ｓ２２１が入力信号Ａ１２（つまり、高周波除去信号Ｓ２１０）を符号化したものであることを示すとき、復号化信号Ｓ３２０として復号後高周波除去信号を出力し、フレームメモリ部３３２から出力されるメモリ信号Ｓ３３２に対して動き補償部３３３にて動き補償を行なうことによって生成される動き補償信号Ｓ３３３と、復号後高周波除去信号とを加算部３３５にて加算することによって、復号結果信号Ｓ３１１を出力する。そして、復号結果信号Ｓ３１１を、次回、動き補償部３３３にて動き補償を行なうために、第１信号切替部３３１を介してフレームメモリ部３３２に保持する。

　以上の処理を繰り返し行なうことにより、復号化制御部３１１は、原画像に対応する復元画像を表す復号結果信号Ｓ３１１を出力する。

　最後に、復号化装置３００ｃは、鮮鋭化処理部１００を、復号化制御部３１１の後段に設ける構成であり、復号化制御部３１１から出力される復号結果信号Ｓ３１１が、鮮鋭化処理部１００の入力信号となる。したがって、復号化装置３００ｃは、鮮鋭化処理部１００にて、復号結果信号Ｓ３１１に対して非線形演算に基づく鮮鋭化処理を施す。つまり、復号化装置３００ｃの鮮鋭化処理部１００によって、復号結果信号Ｓ３１１で表される復元画像が、鮮鋭化される。

　（上記構成により奏される効果）
　符号化装置２００ｃでは、所定期間毎に高周波除去信号Ｓ２１０に代えて原信号ＳＲを符号化するとともに、復号化装置３００ｃでは、復号化制御部３１１により、直前のフレームを表す信号に対して動き補償を施した信号に、復号後高周波除去信号を加算した信号を復号結果信号Ｓ３１１として出力するとともに、所定期間毎に、復号後原信号をそのまま復号結果信号Ｓ３１１として出力する。したがって、復号化装置３００ｃは、実施形態１にて説明した符号化装置２００ａよりも、復元画像の劣化を抑制することができる。特に、高精細信号の欠如によるボケ感を減少させることに効果がある。

　（変形例）
　上述した復号化装置３００ｃでは、復号結果信号Ｓ３１１の全てに対して、鮮鋭化処理部１００にて鮮鋭化処理を施す構成としたが、復号結果信号Ｓ３１１に対して鮮鋭化処理を施すか否かを適宜切り替える構成としてもよい。例えば、復号後原信号をそのまま復号結果信号Ｓ３１１として出力するときは、復号結果信号Ｓ３１１に対して鮮鋭化処理を施さず、一方、復号後高周波除去信号を用いて復号結果信号Ｓ３１１を出力するときは、復号結果信号Ｓ３１１に対して鮮鋭化処理を施す構成としてもよい。これにより、復号結果信号Ｓ３１１の全てに対して鮮鋭化処理を施すのではなく、復号結果信号Ｓ３１１のうち劣化があると考えられる部分のみに対して鮮鋭化処理を施すことができる。

　そこで、上記構成について、図１８を参照しながら説明する。図１８は、復号化装置３００ｃの変形例である復号化装置３００ｄの構成例を示すブロック図である。

　同図に示すとおり、復号化装置３００ｄは、復号化制御部（復号化手段）３１２、鮮鋭化処理部１００、および、出力切替部３４０を備えている。なお、復号化制御部３１２から出力される信号を、復号結果信号（復号化信号）Ｓ３１２と表記する。復号結果信号Ｓ３１２は、原画像に対応する復元画像を表す信号である。

　まず、出力切替部３４０は、復号化装置３００ｄから出力する信号線を切り替えるスイッチである。信号切替部２４０は、復号化制御部３１２の復号化処理部３２１からの指示に応じて、接続点Ｏｕｔ４を接続点Ｉｎ４１と接続するか、または、接続点Ｉｎ４２と接続するかを切り替える。なお、接続点Ｏｕｔ４と接続点Ｉｎ４２とを接続すると、鮮鋭化処理部１００の出力信号が復号化装置３００ｄから出力される。一方、接続点Ｏｕｔ４と接続点Ｉｎ４１とを接続すると、復号結果信号Ｓ３１２が復号化装置３００ｄから出力される。

　次に、復号化制御部３１２は、復号化処理部３２０を復号化処理部３２１に置き換えた点を除き復号化制御部３１１と同じ構成である。復号化処理部３２１は、復号化処理部３２０が有する機能を全て備えている。さらに、復号化処理部３２１は、出力切替部３４０に対して、接続点Ｏｕｔ４を、接続点Ｉｎ４１および接続点Ｉｎ４２のいずれに接続させるかを指示する機能を備えている。

　具体的には、復号化処理部３２１は、符号化信号Ｓ２２１に含まれる符号化情報Ｅ１を抽出し、（１）符号化情報Ｅ１が、符号化信号Ｓ２２１が入力信号Ａ１１（つまり、原信号ＳＲ）を符号化したものであることを示す場合、出力切替部３４０に対して、接続点Ｏｕｔ４を接続点Ｉｎ４１に接続させるように指示する。これにより、復号後原信号をそのまま復号結果信号Ｓ３１２として出力するときは、復号結果信号Ｓ３１２をそのまま復号化装置３００ｄから出力する信号とする。

　一方、（２）符号化情報Ｅ１が、符号化信号Ｓ２２１が入力信号Ａ１２（つまり、高周波除去信号Ｓ２１０）を符号化したものであることを示す場合、出力切替部３４０に対して、接続点Ｏｕｔ４を接続点Ｉｎ４２に接続させるように指示する。これにより、信号再構成部３３０にて復号後高周波除去信号を用いて復号結果信号Ｓ３１２を出力するとき、鮮鋭化処理部１００にて鮮鋭化処理を施した信号を、復号化装置３００ｄから出力する信号とする。

　上記構成によれば、復号化後の信号の全てに対して鮮鋭化処理を施すのではなく、復号結果信号Ｓ３１２のうち劣化度合いが大きいと考えられる部分（つまり、復号後高周波除去信号を用いて復号結果信号Ｓ３１２を出力したとき）にのみ鮮鋭化処理を施すことができる。

　〔実施形態３〕
　上述した符号化装置２００ｃでは、ＬＰＦ２１０および信号切替部２４０を用いて、原信号ＳＲおよび高周波除去信号Ｓ２１０のいずれかを符号化する構成としたが、高周波除去信号Ｓ２１０は、ＬＰＦにより原信号ＳＲから高周波成分を除去したものであるので、原画像に含まれる輪郭部分（エッジ）に相当する信号が少ない。そのため、復号化装置３００ｃにて復号化した復元画像では、輪郭部分（エッジ）を十分に復元できない場合がある。

　そこで、本実施形態では、伝送路７００を伝送させる信号の伝送レートを抑えつつ、復元画像の輪郭部分（エッジ）を十分に復元可能とする構成について説明する。

　本発明の一実施形態について図１７、図１９および図２０に基づいて説明すると以下の通りである。本実施形態に係る符号化装置２００を、符号化装置２００ｄと表記する。また、本実施形態に係る復号化装置３００を、復号化装置３００ｅと表記する。

　なお、説明の便宜上、実施形態１および２にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、特に記載する場合を除きその説明を省略する。

　（符号化装置および復号化装置の構成）
　図１９および図１７を参照しながら、符号化装置２００ｄおよび復号化装置３００ｅの構成例について説明する。図１９および図１７は、それぞれ、符号化装置２００ｄおよび復号化装置３００ｅの構成例を示すブロック図である。

　まず、符号化装置２００ｄの構成について説明する。図１９に示すとおり、符号化装置２００ｄは、ＬＰＦ（高周波成分除去手段）２１０、鮮鋭化処理部１００、および減算部（減算手段）２５０、並びに、信号切替部２４０、符号化処理部２２１を備えている。なお、ＬＰＦ２１０、鮮鋭化処理部１００、および減算部２５０を、まとめて、周波数成分抽出部（周波数成分抽出手段）２３０と称する。

　符号化装置２００ｄの鮮鋭化処理部１００は、ＬＰＦ２１０の後段に設けられており、ＬＰＦ２１０から出力される高周波除去信号Ｓ２１０に対して鮮鋭化処理を施した信号（以下、高周波除去信号Ｓ２１０の高調波とも表記する）を出力する。

　減算部２５０は、原信号ＳＲから、高周波除去信号Ｓ２１０の高調波を減算するものである。なお、減算部２５０には、原信号ＳＲと高周波除去信号Ｓ２１０の高調波との間のタイミングを調整するための遅延素子が適宜含まれているものとする。

　なお、減算部２５０から出力される信号を、差信号（周波数成分抽出信号）Ｓ２５０と表記する。差信号Ｓ２５０は、原信号ＳＲで表される原画像に含まれる輪郭部分（エッジ）に相当する信号であると言える。

　なお、ＬＰＦ２１０、信号切替部２４０、および、符号化処理部２２１は、実施形態２で説明した機能を有する。

　ただし、本実施形態では、信号切替部２４０にて接続点Ｏｕｔ１と接続点Ｉｎ１２とが接続されると、差信号Ｓ２５０が符号化処理部２２１へ入力される、一方、接続点Ｏｕｔ１と接続点Ｉｎ１１とが接続されると、原信号ＳＲが符号化処理部２２１へ入力される。そのため、本実施形態の場合、符号化信号Ｓ２２１は、差信号Ｓ２５０を符号化した信号と、原信号ＳＲを符号化した信号とを含むこととなる。

　また、本実施形態では、なお、本実施形態では、入力信号Ａ１１は原信号ＳＲであり、入力信号Ａ１２は差信号Ｓ２５０である。

　次に、復号化装置３００ｅの構成について説明する。復号化装置３００ｅは、実施形態２にて図１７に示した復号化装置３００ｃと同じ構成である。

　なお、本実施形態では、復号化処理部３２０は、抽出した符号化情報Ｅ１が、（１）符号化信号Ｓ２２１が入力信号Ａ１１（つまり、原信号ＳＲ）を符号化したものであることを示す場合、第１信号切替部３３１に対して、接続点Ｏｕｔ２を接続点Ｉｎ２１に接続させるように指示するとともに、第２信号切替部３３４に対して、接続点Ｏｕｔ３を接続点Ｉｎ３１に接続させるように指示する。

　一方、符号化情報Ｅ１が、（２）符号化信号Ｓ２２１が入力信号Ａ１２（つまり、差信号Ｓ２５０）を符号化したものであることを示す場合、第１信号切替部３３１に対して、接続点Ｏｕｔ２を接続点Ｉｎ２２に接続させるように指示するとともに、第２信号切替部３３４に対して、接続点Ｏｕｔ３を接続点Ｉｎ３２に接続させるように指示する。

　なお、本実施形態の場合、上述したように、符号化信号Ｓ２２１には、原信号ＳＲを符号化した信号と、差信号Ｓ２５０を符号化した信号とが含まれる。そのため、復号化処理部３２０から出力される復号化信号Ｓ３２０には、原信号ＳＲを符号化した信号を復号化した信号（以下、復号後原信号と表記する）と、差信号Ｓ２５０を符号化した信号を復号化した信号（以下、復号後差信号と表記する）とが含まれる。

　そして、本実施形態では、信号再構成部３３０は、復号化信号Ｓ３２０が復号後原信号であるときは、復号後原信号をそのまま復号結果信号Ｓ３１１として出力する。一方、復号化信号Ｓ３２０が復号後差信号であるときは、直前のフレームに相当する復号結果信号Ｓ３１１に対して動き補償を施した信号に、復号後差信号を加算することによって、最新のフレームに相当する復号結果信号Ｓ３１１を出力する。

　具体的には、復号化信号Ｓ３２０が復号後原信号であるとき、第１信号切替部３３１を介してフレームメモリ部３３２に復号後原信号を保持するとともに、加算部３３５を介して復号後原信号を復号結果信号Ｓ３１１として出力する。一方、復号化信号Ｓ３２０が復号後差信号であるとき、まず、フレームメモリ部３３２から出力されるメモリ信号Ｓ３３２に対して動き補償部３３３にて動き補償を行なうことによって生成する動き補償信号Ｓ３３３と、復号後差信号とを加算部３３５にて加算することによって復号結果信号Ｓ３１１を出力する。そして、復号結果信号Ｓ３１１を、次回、動き補償部３３３にて動き補償を行なうために、第１信号切替部３３１を介してフレームメモリ部３３２に保持する。

　そして、鮮鋭化処理部１００によって、復号結果信号Ｓ３１１で表される復元画像が、鮮鋭化される。

　（上記構成により奏される効果）
　上述したように、符号化装置２００ｄは、鮮鋭化処理部１００により高周波除去信号Ｓ２１０に対して鮮鋭化処理を施した信号を、原信号ＳＲから減算した差信号Ｓ２５０を生成する。そして、原信号ＳＲと差信号Ｓ２５０とを切り替えながら符号化する。したがって、符号化装置２００ｄによれば、伝送路７００を伝送させる信号の伝送レートを低減させることができる。なお、伝送レートを低減させることにより、データ伝送の際に要するコストの低減が図られる。

　そして、復号化装置３００ｅでは、鮮鋭化処理部１００によって、復号結果信号Ｓ３１１で表されるコンテンツが鮮鋭化されるので、コンテンツが画像の場合、復号化後の画像のボケを抑制し、解像度を向上させることができる。また、コンテンツが音声である場合も同様に鮮鋭化され、音質をクリアにすることができる。

　したがって、符号化装置２００ｄにて符号化を行なうとともに、復号化装置３００ｅにて復号化を行なう上記構成によれば、伝送路７００にて伝送させる信号の伝送レートを低減させつつ、かつ、受信側で復号化した後のコンテンツが不鮮鋭になることを抑制することができるという効果を奏する。

　（変形例１）
　上述した符号化装置２００ｄでは、ＬＰＦ２１０、鮮鋭化処理部１００、および減算部２５０を用いて、原信号ＳＲで表される原画像に含まれる輪郭部分（エッジ）に相当する信号としての差信号Ｓ２５０を出力する構成である。しかしながら、原画像に含まれる輪郭部分（エッジ）に相当する信号の生成方法は、他の方法であってもよい。最も単純な構成は、原信号ＳＲを高域通過フィルタ（以下、ＨＰＦ）に通すことによって原画像に含まれる輪郭部分（エッジ）に相当する信号を生成する構成である。

　そこで、上記構成について、図２０を参照しながら説明する。図２０は、符号化装置２００ｄの変形例である符号化装置２００ｅの構成例を示すブロック図である。

　同図に示すとおり、符号化装置２００ｅは、符号化装置２００ｄのＬＰＦ２１０、鮮鋭化処理部１００、および減算部２５０に代えて、ＨＰＦ（周波数成分抽出手段）２１５を備えている。

　ＨＰＦ２１５は、一般的に知られている高域通過フィルタであり、原信号ＳＲに含まれる周波数成分のうちの低周波成分を、原信号ＳＲから除去するものである。周波数特性が調整可能な（いわゆるアダプティブな）高域通過フィルタであってもよい。なお、ＨＰＦ２１５から出力される信号を、低周波除去信号（周波数成分抽出信号）Ｓ２１５と表記する。低周波除去信号Ｓ２１５は、原信号ＳＲで表される原画像に含まれる輪郭部分（エッジ）に相当する信号である。

　以上のように、符号化装置２００ｅは、簡易な構成により、符号化装置２００ｄと同様に、原信号ＳＲと、原信号ＳＲに含まれる周波数成分の一部とを切り替えながら符号化するものである。

　ただし、符号化装置２００ｅにて生成される低周波除去信号Ｓ２１５は、単に、原信号ＳＲから低周波成分を除去したものであるため、原信号ＳＲのナイキスト周波数の近傍にある高周波成分を含むものである。そのため、低周波除去信号Ｓ２１５は、符号化装置２００ｄにて生成される差信号Ｓ２５０よりもノイズや細かいエッジを多く含んでいるとともに、差信号Ｓ２５０よりもデータ量が多くなる。

　したがって、符号化装置２００ｅは、符号化装置２００ｄよりも伝送路７００を伝送させる信号の伝送レートが増加するとともに、復号化後の画像がやや不鮮鋭になるものの、回路規模やコストを低減させることを重視する場合は、符号化装置２００ｄよりも符号化装置２００ｅの方が適していると言える。

　（変形例２）
　上述した復号化装置３００ｅでは、復号結果信号Ｓ３１１の全てに対して、鮮鋭化処理部１００にて鮮鋭化処理を施す構成としたが、復号結果信号Ｓ３１１に対して鮮鋭化処理を施すか否かを適宜切り替える構成としてもよい。例えば、復号後原信号をそのまま復号結果信号Ｓ３１１としたときは、復号結果信号Ｓ３１１に対して鮮鋭化処理を施さず、一方、復号後差信号に基づいて復号結果信号Ｓ３１１を出力したときは、復号結果信号Ｓ３１１に対して鮮鋭化処理を施す構成としてもよい。これにより、復号結果信号Ｓ３１１の全てに対して鮮鋭化処理を施すのではなく、復号結果信号Ｓ３１１のうち劣化があると考えられる部分（つまり、復号後差信号に基づいて復号結果信号Ｓ３１１をしたとき）のみに対して鮮鋭化処理を施すことができる。

　なお、上記構成は、復号化装置３００ｄの構成と同じであるので、ここではその説明を省略する。

　〔実施形態４〕
　復号化後のコンテンツの劣化度合いは、伝送路７００における伝送帯域の変動やコンテンツ自体に依存して、適宜変わり得るものである。そのため、ＬＰＦ２１０および高周波成分抽出部１１の周波数特性を調整することによって、差信号Ｓ２５０のデータ量を調整する構成としてもよい。

　そこで、本実施形態では、送信側にて、符号化前のコンテンツと、復号化後のコンテンツとを比較し、該比較結果に応じて、ＬＰＦ２１０および高周波成分抽出部１１の周波数特性を調整する形態について説明する。

　本発明の一実施形態について図２１および図２２に基づいて説明すると以下の通りである。本実施形態に係る符号化装置２００を、符号化装置２００ｆと表記する。また、本実施形態に係る復号化装置３００を、復号化装置３００ｆと表記する。

　なお、説明の便宜上、実施形態１から３にて示した各部材と同一の機能を有する部材には、同一の符号を付記し、その説明を省略する。

　（符号化装置および復号化装置の構成）
　図２１および図２２を参照しながら、符号化装置２００ｆおよび復号化装置３００ｆの構成例について説明する。図２１および図２２は、それぞれ、符号化装置２００ｆおよび復号化装置３００ｆの構成例を示すブロック図である。

　まず、符号化装置２００ｆの構成について説明する。図２１に示すとおり、符号化装置２００ｆは、ＬＰＦ２１１、ＬＰＦ２１１の後段に設ける鮮鋭化処理部１０１（以下、鮮鋭化処理部１０１Ａと表記する）、減算部２５０、信号切替部２４０、符号化処理部（符号化手段）２２２、復号化制御部３１３、復号化制御部３１３の後段に設ける鮮鋭化処理部１０１（以下、鮮鋭化処理部１０１Ｂと表記する）、減算部２８０、および周波数成分制御部２９０を備えている。なお、鮮鋭化処理部１０１Ａおよび１０１Ｂ、並びに後述する鮮鋭化処理部１０１Ｃを区別しないとき、単に、「鮮鋭化処理部１０１」と表記する。

　なお、鮮鋭化処理部１０１は、次に示す相違点を除き、鮮鋭化処理部１００と同じ構成を有するものである。相違点は、外部からの指示に応じて、高周波成分抽出部１１の周波数特性が調整可能（つまり、高周波成分抽出部１１が抽出する高周波成分の増減が調整可能）であることである。具体的にはフィルタ係数が調整可能になっている。鮮鋭化処理部１０１の構成については説明を省略する。

　ＬＰＦ２１１は、外部からの指示に応じて、周波数特性が調整可能な（いわゆるアダプティブな）低域通過フィルタである。具体的にはフィルタ係数が調整可能になっている。つまり、ＬＰＦ２１１は、除去する高周波成分の増減が調整可能である。なお、ＬＰＦ２１１から出力される信号を、高周波除去信号Ｓ２１１と表記する。

　鮮鋭化処理部１０１Ａは、ＬＰＦ２１１の後段に設けられており、ＬＰＦ２１１から出力される高周波除去信号Ｓ２１１に対して鮮鋭化処理を施した信号（以下、高周波除去信号Ｓ２１１の高調波とも表記する）を出力する。

　符号化処理部２２２は、符号化処理部２２１と同様の機能を備えている。符号化処理部２２２から出力される信号を、符号化信号Ｓ２２２と表記する。なお、符号化処理部２２２と、復号化制御部３１３の復号化処理部３２０および後述する復号化制御部（復号化手段）３１４の復号化処理部３２２とは対になっており、符号化処理部２２２は、復号化制御部３１３の復号化処理部３２０および復号化制御部３１３の復号化処理部３２２にて復号化が可能な符号化信号Ｓ２２２を出力するように構成されているものとする。

　復号化制御部３１３は、図１７を用いて説明した復号化制御部３１１と同じ構成であり、内部に、復号化処理部３２０、および、信号再構成部３３０を備えている。なお、復号化制御部３１３から出力される信号を、復号結果信号Ｓ３１３と表記する。

　鮮鋭化処理部１０１Ｂは、復号化制御部３１３の後段に設けられており、復号化制御部３１３から出力される復号結果信号Ｓ３１３に対して鮮鋭化処理を施した信号（以下、復号結果信号Ｓ３１３の高調波とも表記する）を出力する。

　減算部２８０は、原信号ＳＲから、復号結果信号Ｓ３１３の高調波を減算するものである。減算部２８０から出力される信号を、差信号Ｓ２８０と表記する。なお、減算部２８０には、原信号ＳＲと復号結果信号Ｓ３１３の高調波との間のタイミングを調整するための遅延素子が適宜含まれているものとする。

　周波数成分制御部２９０は、復号結果信号Ｓ３１３の高調波で表される画像と原画像との差が少なくなるように、ＬＰＦ２１１、並びに、鮮鋭化処理部１０１Ａおよび鮮鋭化処理部１０１Ｂの高周波成分抽出部１１を制御し、周波数特性を調整するものである。

　そのために、周波数成分制御部２９０は、まず、差信号Ｓ２８０の絶対値の総和（以下、総和ＳＵと表記する）と所定閾値とを比較する。なお、総和ＳＵは、復号結果信号Ｓ３１１の高調波で表される画像と原画像との差異を示す値であると言える。

　また、復号結果信号Ｓ３１３の高調波で表される画像は、後述する復号化装置３００ｆにて復号化された復号結果信号（復号化信号）Ｓ３１４の高調波で表される画像と同じ画像である。よって、総和ＳＵは、復元画像と原画像との差異を示す値であると言える。したがって、総和ＳＵの値が大きいほど、復元画像と原画像との差異が大きいこととなる。

　そこで、上記比較の結果、総和ＳＵが所定閾値より大きいとき、周波数成分制御部２９０は、復元画像と原画像との差異が小さくなるように、ＬＰＦ２１１、鮮鋭化処理部１０１Ａ、および鮮鋭化処理部１０１Ｂを制御する。つまり、差信号Ｓ２５０のデータ量が多くなるように制御する。具体的には、（Ａ）ＬＰＦ２１１が除去する高周波成分を減少させるようにＬＰＦ２１１の周波数特性を調整するか、または、（Ｂ）鮮鋭化処理部１０１Ａおよび１０１Ｂが抽出する高周波成分を増加させるように鮮鋭化処理部１０１Ａおよび１０１Ｂの高周波成分抽出部１１の周波数特性を調整するか、または、上記（Ａ）および（Ｂ）の両方を行なう。

　一方、上記比較の結果、総和ＳＵが所定閾値以下のとき、周波数成分制御部２９０は、差信号Ｓ２５０のデータ量が小さくなるように、ＬＰＦ２１１、鮮鋭化処理部１０１Ａ、および鮮鋭化処理部１０１Ｂを制御する。具体的には、（Ｃ）ＬＰＦ２１１が除去する高周波成分を増加させるようにＬＰＦ２１１の周波数特性を調整するか、または、（Ｄ）鮮鋭化処理部１０１Ａおよび１０１Ｂが抽出する高周波成分を減少させるように鮮鋭化処理部１０１Ａおよび１０１Ｂの高周波成分抽出部１１の周波数特性を調整するか、または、上記（Ｃ）および（Ｄ）の両方を行なう。

　なお、鮮鋭化処理部１０１Ａおよび１０１Ｂの高周波成分抽出部１１の周波数特性は、同一になるように調整する。

　また、鮮鋭化処理部１０１Ａおよび１０１Ｂが備える高周波成分抽出部１１の周波数特性の調整内容（以下、周波数特性調整情報Ｆ１と表記する）は、復号化装置３００ｆに送信されるものとする。例えば、符号化処理部２２２を介して、符号化信号Ｓ２２２と多重化されて復号化装置３００ｆに送信される。

　次に、復号化装置３００ｆの構成について説明する。復号化装置３００ｆは、復号化制御部３１４、および復号化制御部３１４の後段に設ける鮮鋭化処理部１０１（以下、鮮鋭化処理部１０１Ｃと表記する）を備えている。

　復号化制御部３１４は、復号化処理部３２０を復号化処理部３２２に置き換えた点を除き復号化制御部３１１と同じ構成である。復号化処理部３２２は、次の相違点を除いて、復号化処理部３２０と同じ機能を有している。相違点は、符号化装置２００ｆから送信される周波数特性調整情報Ｆ１に従って、復号化制御部３１４の後段に設けられている鮮鋭化処理部１０１Ｃが抽出する高周波成分の増減を調整することである。具体的には、鮮鋭化処理部１０１Ｃが備える高周波成分抽出部１１の周波数特性の調整を行なうことである。当該調整の内容は、鮮鋭化処理部１０１Ａおよび１０１Ｂが備える高周波成分抽出部１１の周波数特性の調整内容と同じである。

　なお、復号化制御部３１４から出力される信号を、復号結果信号Ｓ３１４と表記する。復号結果信号Ｓ３１４は、原画像に対応する復元画像を表す信号である。

　そして、復号化装置３００ｆは、鮮鋭化処理部１０１Ｃを、復号化制御部３１４の後段に設ける構成であり、復号化制御部３１３から出力される復号結果信号Ｓ３１４が、鮮鋭化処理部１０１Ｃの入力信号となる。したがって、復号化装置３００ｆは、鮮鋭化処理部１０１Ｃにて、復号結果信号Ｓ３１４に対して非線形演算に基づく鮮鋭化処理を施す。つまり、復号化装置３００ｆの鮮鋭化処理部１００によって、復号結果信号Ｓ３１４で表される復元画像が、鮮鋭化される。

　（上記構成により奏される効果）
　上述したように、符号化装置２００ｆは、内部に復号化装置３００ｆと同等の機能を備えており、復号化装置３００ｆにて復号化された復元画像を生成するとともに、原画像との差異を比較することができる。そして、該比較結果に応じて、差信号Ｓ２５０のデータ量を調整している。また、符号化装置２００ｆにて調整した内容を、復号化装置３００ｆに送信し、復号化装置３００ｆにおける鮮鋭化処理に反映させている。これにより、復号化装置３００ｆにて復号化される復元画像の画質の調整、および、伝送路７００を伝送させるデータ量の調整を行なうことができる。

　したがって、符号化装置２００ｆおよび復号化装置３００ｆを含む伝送システムでは、復号化後のコンテンツの劣化度合い、および、伝送路７００を伝送させるデータ量を適切に調整することができる。

　（変形例１）
　伝送路７００を伝送させるデータ量を抑えるために、さらに、符号化装置にて符号化を行なう前に信号の間引きを行なうとともに、復号化後に信号の補間を行なう構成としてもよい。

　そこで、上記構成について、図２３および図２４を参照しながら説明する。図２３および図２４は、それぞれ、符号化装置２００ｆの変形例である符号化装置２００ｇ、および、復号化装置３００ｆの変形例である復号化装置３００ｇの構成例を示すブロック図である。

　図２３に示すように、符号化装置２００ｇは、符号化装置２００ｆと同じ構成を備えているが、さらに、信号切替部２４０と符号化処理部２２２との間にダウンサンプラ２７０を備え、また、復号化制御部３１１と鮮鋭化処理部１０１Ｂとの間にアップサンプラ２７１を備えている。

　また、図２４に示すように、復号化装置３００ｇは、復号化装置３００ｆと同じ構成を備えているが、さらに、復号化制御部３１３と鮮鋭化処理部１０１Ｃとの間にアップサンプラ３７１を備えている。

　（変形例２）
　上述した実施形態３では、図２０を参照しながら、符号化装置の変形例として、原信号ＳＲをＨＰＦに通すことによって原画像に含まれる輪郭部分（エッジ）に相当する信号を生成する構成について説明した。本実施形態においても、符号化装置２００ｆのＬＰＦ２１１、鮮鋭化処理部１０１Ａ、および減算部２５０に代えて、ＨＰＦ２９１（不図示）を備える構成としてもよい。ＨＰＦ２９１は、外部からの指示に応じて、周波数特性が調整可能な（いわゆるアダプティブな）高域通過フィルタである。具体的にはフィルタ係数が調整可能になっている。つまり、ＨＰＦ２９１は、除去する低周波成分の増減が調整可能である。

　そして、周波数成分制御部２９０は、総和ＳＵが所定閾値より大きいとき、ＨＰＦ２９１が除去する低周波成分を増加させるように、一方、総和ＳＵが所定閾値以下のとき、ＨＰＦ２９１が除去する低周波成分を減少させるように、ＨＰＦ２９１の周波数特性を調整すればよい。

　（変形例３）
　上述した復号化装置３００ｆでは、復号結果信号Ｓ３１３の全てに対して、鮮鋭化処理部１０１Ｃにて鮮鋭化処理を施す構成としたが、復号結果信号Ｓ３１３に対して鮮鋭化処理を施すか否かを適宜切り替える構成としてもよい。例えば、復号後原信号をそのまま復号結果信号Ｓ３１３とて出力するときは、復号結果信号Ｓ３１３に対して鮮鋭化処理を施さず、一方、復号後差信号に基づいて復号結果信号Ｓ３１３を出力したときは、復号結果信号Ｓ３１３に対して鮮鋭化処理を施す構成としてもよい。これにより、復号結果信号Ｓ３１３の全てに対して鮮鋭化処理を施すのではなく、復号結果信号Ｓ３１３のうち劣化があると考えられる部分（つまり、復号後差信号に基づいて復号結果信号Ｓ３１３をしたとき）のみに対して鮮鋭化処理を施すことができる。

　なお、上記切り替えを行なう構成は、復号化装置３００ｄの構成と同じであるので、ここではその説明を省略する。

　〔付記事項〕
　最後に、符号化装置２００および復号化装置３００の各機能は、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵ（central processing unit）を用いてソフトウェアによって実現してもよい。

　ソフトウェアによって実現する場合は、符号化装置２００および復号化装置３００（特に、鮮鋭化処理部１００～１０１、復号化制御部３１１～３１４、周波数成分制御部２９０）は、各機能を実現する制御プログラムの命令を実行するＣＰＵ、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラム及び各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである符号化装置２００・復号化装置３００の制御プログラムのプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記符号化装置２００・復号化装置３００に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。

　上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ－ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ－Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。

　また、符号化装置２００・復号化装置３００を通信ネットワークと接続可能に構成し、上記プログラムコードを、通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、ＩＥＥＥ８０２．１１無線、ＨＤＲ、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。

　このように本明細書において、手段とは必ずしも物理的手段を意味するものではなく、各手段の機能がソフトウェアによって実現される場合も含む。さらに、１つの手段の機能が２つ以上の物理的手段により実現されても、もしくは２つ以上の手段の機能が１つの物理的手段により実現されてもよい。

　以上のように、本発明に係る復号化装置は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、上記コンテンツを表す出力信号を出力する復号化装置であって、上記符号化信号を復号化することによって復号化信号を生成する復号化手段と、上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって低周波除去信号を生成する低周波成分除去手段と、上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理手段と、上記非線形処理信号を上記復号化信号に加算することによって、加算信号を生成する加算手段とを備え、上記加算信号を上記出力信号として出力する。

　また、本発明に係る復号化装置の制御方法は、画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、上記コンテンツを表す出力信号を出力する復号化装置の制御方法であって、上記符号化信号を復号化することによって復号化信号を生成する復号化ステップと、上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって低周波除去信号を生成する低周波成分除去ステップと、上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理ステップと、上記非線形処理信号を上記復号化信号に加算することによって、加算信号を生成する加算ステップとを含み、上記加算信号を上記出力信号として出力する。

　よって、復号化信号に含まれる上記低周波除去信号に対して非線形処理を施した信号を、出力信号として出力することができる。上記出力信号は、復号化信号を離散化する場合のサンプリング周波数の１／２の周波数であるナイキスト周波数よりも高い周波数成分を含むこととなる。

　その結果、復号化信号で表されるコンテンツを高度に鮮鋭化することが可能となる。特に、復号化信号が画像を表すものである場合、画像に含まれる輪郭部分（エッジ）に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができる。その結果、画像を高度に鮮鋭化することができ、画像のボケを改善し、解像度を向上させることができるという効果を奏する。もちろん、復号化信号が音声を表すものである場合も同様に鮮鋭化され、音質をクリアにすることができる。

　さらに、本発明に係る復号化装置は、上記コンテンツは、時間的に連続する複数のフレームから構成され、上記符号化信号は、フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを含むものであって、上記復号化手段は、さらに、上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、上記第２の信号を復号化したとき、上記符号化において算出される、フレーム間の動き補償予測を行なうための動きベクトル情報を用いて、直前に生成された上記復号化信号に対して動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成する構成としてもよい。

　上記の構成によれば、符号化信号は、フレーム単位で、（１）原信号を符号化した第１の信号、および、（２）原信号に含まれる周波数成分の一部を符号化した第２の信号、のいずれかを含む。そして、本発明に係る復号化装置は、上記（１）の場合、第１の信号を復号化した信号を復号化信号として生成し、一方、上記（２）の場合、直前に生成された復号化信号（以下、基準信号とも称する）に対して動き補償を行なった後の信号と、第２の信号を復号化した信号とを加算した信号を、次の復号化信号として生成する。これにより、上記（１）および（２）のいずれの場合であっても、復号化装置にて生成される復号化信号は、符号化および復号化による劣化を除けば、原信号と同等の情報量を有する信号となる。

　そして、本発明に係る復号化装置は、上記（１）および（２）のいずれの場合においても、復号化信号に対して非線形処理を施した信号を出力信号として出力する。つまり、復号化信号で表されるコンテンツを高度に鮮鋭化する。

　したがって、本発明に係る復号化装置によれば、符号化信号が、フレーム毎に、第１の信号および第２の信号のいずれかを含むものである場合であっても、原信号と同等の復号化信号を生成することができるとともに、復号化信号で表されるコンテンツを高度に鮮鋭化することができるという効果を奏する。

　なお、上記（２）の場合、直前に生成された復号化信号を基準信号として次の復号化信号を生成するので、基準信号と原信号との差異が大きいほど、次に生成される復号化信号と原信号との差異が大きくなる。よって、少なくとも所定数フレーム毎に、第１の信号を復号化した信号をそのまま復号化信号（基準信号）とし、基準信号と原信号との差異が大きくなり続けることを防止することが望ましい。

　また、第２の信号は第１の信号に比べて情報量が少ないので、符号化効率を高くするときは（伝送レートを下げるときは）、第２の信号に対する第１の信号の割合が少なくなるようにすればよい。一例として、所定の数百フレーム毎に第１の信号を含むようにすればよい。一方、復号化信号で表される画像の画質を重視するときは（伝送レートを上げるときは）、第２の信号に対する第１の信号の割合が多くなるようにすればよい。一例として、所定の数フレーム毎に第１の信号を含むようにすればよい。

　さらに、本発明に係る復号化装置は、上記復号化信号に対して信号の補間を行なう信号補間手段をさらに備える構成としてもよい。

　上記の構成によれば、復号化信号に対して信号の補間（インターポレーション、アップサンプリング）を行なう。そして、補間後の信号に対して非線形処理を施した信号を出力信号として出力する。

　ここで、上記補間が行なわれるケースとしては、例えば、ＨＤＴＶ用の信号を伝送する伝送システムにおいて、受信側に備わるディスプレイ装置が、ＨＤＴＶの画素数よりも多い４０００×２０００程度の画素数のディスプレイ（いわゆる４Ｋディスプレイ）等である場合が挙げられる。この場合、受信側にて、ＨＤＴＶ用の信号にアップコンバートしてからディスプレイ装置に表示するための補間が行なわれる。しかしながら、単に、補間を行なうだけでは、補間後の信号で表されるコンテンツは、通常、不鮮鋭なものとなる。例えば、画像の場合、補間によりボケが生じたり、解像度が低下する。

　これに対して、上記復号化装置の構成によれば、補間後の信号に対して非線形処理を施すことによってナイキスト周波数を超える高周波域を補償するため、補間により生じるコンテンツの劣化を抑制することができる。つまり、復号化信号に対して信号の補間を行なった場合であっても、当該補間により生じる画像のボケを改善し、解像度の低下を抑制することができるという効果を奏する。なお、音声の場合も同様に、当該補間により生じる音声の劣化を抑制し、音質をクリアにすることができるという効果を奏する。

　なお、補間後に信号に、線形演算による鮮鋭化処理（従来技術）を施す場合、ナイキスト周波数を超える高周波域を補償することができないことから、コンテンツの不鮮鋭さはあまり改善されない。例えば、画像の場合、ボケが残存したり、解像度があまり向上しない結果となる。

　さらに、本発明に係る復号化装置は、上記非線形処理手段は、２以上の偶数を冪指数として、上記低周波除去信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、上記偶数冪乗信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備える構成としてもよい。

　上記の構成によれば、さらに、２以上の偶数を冪指数として、低周波除去信号を冪乗することにより偶数冪乗信号を生成するとともに、上記偶数冪乗信号のうち、符号の正負が上記冪乗前の周波数成分と異なる部分の符号を反転することによって、非線形処理信号を生成する。

　よって、低周波除去信号を、２以上の偶数を冪指数として冪乗するとともに、符号の正負は、上記冪乗前の低周波除去信号の符号の正負を維持したものが、非線形処理信号として生成されるので、低周波除去信号と非線形処理信号とを加算することによって得られる出力信号は、低周波除去信号には含まれない（すなわち、復号化信号に含まれない）高い周波数成分が含まれる。

　したがって、復号化信号に対して線形演算を施す方法よりも、復号化信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。

　さらに、本発明に係る復号化装置は、上記非線形処理手段は、２以上の偶数を冪指数として、上記低周波除去信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、上記偶数冪乗信号を微分することによって微分信号を生成する微分手段と、上記微分信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備える構成としてもよい。

　上記の構成によれば、さらに、２以上の偶数を冪指数として、低周波除去信号を冪乗することによって偶数冪乗信号を生成するとともに、偶数冪乗信号を微分することによって微分信号を生成し、上記微分信号のうち、符号の正負が上記冪乗前の周波数成分と異なる部分の符号を反転することによって、非線形処理信号を生成する。

　よって、低周波除去信号を、２以上の偶数を冪指数として冪乗し、冪乗後の信号に含まれ得る直流成分を微分することによって除去するとともに、符号の正負は、上記冪乗前の低周波除去信号の符号の正負を維持したものが、非線形処理信号として生成されるので、低周波除去信号と非線形処理信号とを加算することによって得られる出力信号は、低周波除去信号には含まれない（すなわち、復号化信号に含まれない）周波数成分が含まれる。

　したがって、復号化信号に対して線形演算を施す方法よりも、復号化信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。なお、冪乗後の信号に含まれ得る直流成分を微分することによって除去しているので、冪乗後の信号に含まれ得る直流成分を除去しない場合と比べて、信号の立ち上がりおよび立ち下がりをより急峻にすることができる。

　さらに、本発明に係る復号化装置は、上記非線形処理手段は、３以上の奇数を冪指数として、上記低周波除去信号を冪乗することによって、上記非線形処理信号を生成する奇数冪乗演算手段を備える構成としてもよい。

　上記の構成によれば、さらに、３以上の奇数を冪指数として、低周波除去信号を冪乗することによって、非線形処理信号を生成する。

　よって、低周波除去信号を、３以上の奇数を冪指数として冪乗したものが、非線形処理信号として生成されるので、低周波除去信号と非線形処理信号とを加算することによって得られる出力信号は、低周波除去信号には含まれない（すなわち、復号化信号に含まれない）周波数成分が含まれる。

　さらに、本発明に係る復号化装置は、上記非線形処理手段は、上記低周波除去信号を上記低周波除去信号の取り得る最大値で除算した値の絶対値の平方根と、上記最大値とを乗算することによって平方根信号を生成する平方根演算手段と、上記平方根信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備える構成としてもよい。

　上記の構成によれば、上記低周波除去信号を上記低周波除去信号の取り得る最大値で除算した値（つまり、低周波除去信号を正規化した値）の絶対値の平方根と、上記最大値とを乗算した平方根信号であって、符号の正負は低周波除去信号の符号の正負を維持したものが、非線形処理信号として生成される。

　よって、低周波除去信号と非線形処理信号とを加算することによって得られる出力信号は、低周波除去信号には含まれない（すなわち、復号化信号に含まれない）高い周波数成分が含まれる。

　さらに、本発明に係る復号化装置は、上記非線形処理手段は、上記非線形処理信号の振幅を、所定の倍率値を乗算することによって調整する振幅調整手段をさらに備える構成としてもよい。

　上記の構成によれば、低周波除去信号と非線形処理信号とを加算することによって得られる出力信号の振幅を適切な大きさに調整することができる。したがって、出力信号の振幅が大きくなりすぎることを防止できるという効果を奏する。

　さらに、本発明に係る復号化装置は、上記非線形処理手段は、上記低周波除去信号の値が０の近傍のとき、絶対値が上記低周波除去信号の絶対値よりも大きい上記非線形処理信号を生成する構成としてもよい。

　上記の構成によれば、低周波除去信号の値が０の近傍のとき、絶対値が低周波除去信号の絶対値よりも大きい非線形処理信号を生成する。

　よって、低周波除去信号の値が０の近傍の区間では、出力信号を生成する際に低周波除去信号に加算する非線形処理信号の値を、低周波除去信号より大きい値にすることができる。

　したがって、低周波除去信号の値が０の近傍の区間において、復号化信号に含まれるエッジ部分に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるという効果を奏する。

　さらに、本発明に係る復号化装置は、上記低周波成分除去手段は、タップ数が３以上の高域通過型のフィルタである構成としてもよい。

　上記の構成によれば、低周波成分除去手段は、タップ数が３以上の高域通過型のフィルタであるので、復号化信号から、少なくとも直流成分を適切に除去することができる。

　よって、復号化信号に含まれる直流成分を除いた低周波除去信号に対して非線形処理を施した非線形処理信号と低周波除去信号とを加算することによって得られる出力信号は、低周波除去信号には含まれない（すなわち、復号化信号に含まれない）高い周波数成分が含まれる。

　さらに、本発明に係る復号化装置は、上記低周波成分除去手段は、上記低周波除去信号のうち、絶対値が所定下限値よりも小さい部分の信号値を０に変更する低レベル信号除去手段と、上記低周波除去信号のうち、絶対値が所定上限値よりも大きい部分の信号値を、符号を維持して絶対値のみ当該上限値以下に変更する高レベル信号除去手段とをさらに備える構成としてもよい。

　上記の構成によれば、低周波除去信号のうち、絶対値が所定下限値よりも小さい部分の信号値を０に変更するとともに、低周波除去信号のうち、絶対値が所定上限値よりも大きい部分の信号値を、符号を維持して絶対値のみ当該上限値以下に変更する。

　よって、低周波除去信号に含まれるノイズを除去することができるとともに、低周波除去信号に含まれるエネルギーが大きい高周波成分が、非線形処理によって増幅されることを防ぐことができる。

　したがって、出力信号においても、ノイズが除去されており、かつ、エネルギーが大きい高周波成分が増幅されることを防止できるという効果を奏する。

　また、本発明に係る伝送システムは、上記原信号を符号化した信号を含む上記符号化信号を出力する符号化装置を送信側に備えるとともに、上記復号化装置を受信側に備えることを特徴としている。

　上記の構成によれば、送信側に備えられた符号化装置から符号化信号が出力される。そして、受信側に備えられた復号化装置は、符号化信号を入力とし、符号化信号を復号化することによって復号化信号を生成し、該生成した復号化信号に含まれる低周波除去信号に対して非線形処理を施した信号を、出力信号として出力する。

　したがって、上記伝送システムによれば、符号化装置から出力された符号化信号を、復号化装置にて復号化するとともに、復号化信号で表されるコンテンツを高度に鮮鋭化することが可能となる。特に、復号化信号が画像を表すものである場合、画像に含まれる輪郭部分（エッジ）に相当する信号の立ち上がりおよび立ち下がりをより急峻にすることができるので、画像を高度に鮮鋭化することができ、符号化および復号化により生じるボケを改善し、解像度を向上させることができるという効果を奏する。もちろん、音声の場合も同様に鮮鋭化され、音質をクリアにすることができる。

　さらに、復号化信号に対する鮮鋭化処理により、ナイキスト周波数を超える高周波成分を復号化信号に含めることができることから、符号化の際に、予め、原信号に含まれる周波数成分の一部を除去してから符号化することが可能となる。これにより、符号化装置から復号化装置に符号化信号を伝送する場合、伝送路における伝送レートを低減させることができるという効果を奏する。そして、伝送レートを低減させることができるので、データ伝送に要するコストの低減を図ることができる。

　また、本発明に係る伝送システムは、上記原信号に含まれる周波数成分の一部を上記原信号から抽出することによって周波数成分抽出信号を生成する周波数成分抽出手段と、上記周波数成分抽出信号と上記原信号とを切り替えながら符号化し、該符号化した信号を含む上記符号化信号を出力する符号化手段とを備える符号化装置を送信側に備えるとともに、上記復号化装置を受信側に備えることを特徴としている。

　上記の構成によれば、符号化装置から、上記周波数成分抽出信号と上記原信号とを切り替えながら符号化した信号を含む（例えば、（１）あるフレームでは、原信号を符号化した第１の信号を含み、（２）他のフレームでは、周波数成分抽出信号を符号化した第２の信号を含む）符号化信号が出力される。そして、復号化装置は、符号化信号を入力とし、上記（１）の場合、第１の信号を復号化した信号を復号化信号として生成し、一方、上記（２）の場合、直前に生成された復号化信号に対して動き補償を行なった後の信号と、第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成する。これにより、上記（１）および（２）のいずれの場合であっても、生成される復号化信号は、符号化および復号化による劣化を除けば、原信号と同等の信号となる。

　したがって、符号化信号が、フレーム毎に、第１の信号および第２の信号のいずれかを含むものである場合であっても、原信号と同等の復号化信号を生成することができるとともに、復号化信号で表されるコンテンツを高度に鮮鋭化することができるという効果を奏する。

　また、本発明に係る伝送システムは、上記周波数成分抽出手段は、上記原信号に含まれる周波数成分のうち高周波成分を上記原信号から除去することによって高周波除去信号を生成する高周波成分除去手段と、上記高周波除去信号の高調波を生成する高調波生成手段と、上記原信号から、上記高周波除去信号の高調波を減算することによって、上記周波数成分抽出信号を生成する減算手段とを備えるとともに、上記高調波生成手段は、上記高周波除去信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記高周波除去信号から除去することによって第２の低周波除去信号を生成する第２の低周波成分除去手段と、上記第２の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第２の低周波除去信号の値が０の近傍のとき、上記第２の低周波除去信号に対して非線形に広義に単調増加する第２の非線形処理信号を生成する第２の非線形処理手段と、上記第２の非線形処理信号を上記高周波除去信号に加算することによって、上記高調波を生成する第２の加算手段とを備える構成としてもよい。

　上記の構成によれば、符号化装置において、原信号に含まれる周波数成分のうち高周波成分を原信号から除去した高周波除去信号の高調波を、原信号から減算することによって、周波数成分抽出信号を生成する。なお、高周波除去信号の高調波の生成するにあたり、まず、高周波除去信号に含まれる周波数成分のうち、少なくとも直流成分を高周波除去信号から除去することによって第２の低周波除去信号を生成する。そして、第２の低周波除去信号の符号の正負が維持され、かつ、少なくとも第２の低周波除去信号の値が０の近傍のとき、第２の低周波除去信号に対して非線形に広義に単調増加する第２の非線形処理信号を生成する。そして、第２の非線形処理信号を高周波除去信号に加算することによって、高調波を出力する。

　つまり、周波数成分抽出信号は、原信号に含まれる高周波成分であると言える。画像の場合、輪郭部分（エッジ）に相当する信号である。ただし、周波数成分抽出信号は、原信号のナイキスト周波数の近傍にある高周波成分は含まないので、ノイズや細かいエッジを含まない。

　そして、符号化装置は、原信号と周波数成分抽出信号とを切り替えながら符号化し、それぞれ、第１の信号および第２の信号として上記符号化信号に含めて出力する。そして、復号化装置は、符号化信号を入力とし、第１の信号を復号化するときは、第１の信号を復号化した信号を復号化信号として生成する。

　一方、第２の信号を復号化するときは、直前に生成された復号化信号（以下、基準信号とも称する）に対して動き補償を行なった後の信号と、第２の信号を復号化した信号とを加算した信号を、復号化信号として生成する。なお、第２の信号を復号化した信号は、原信号に含まれる高周波成分を表す信号であるから、上記加算を行なうことにより、例えば画像の場合、基準信号に対して動き補償を行なった後の信号に、輪郭部分（エッジ）に相当する信号が加算されることとなる。

　したがって、第１の信号および第２の信号のいずれを復号化することによって生成される復号化信号についても、符号化および復号化による劣化を除けば、原信号と同等の信号となる。そして、いずれの場合においても、復号化信号に対して非線形処理を施し、復号化信号で表されるコンテンツを高度に鮮鋭化する。

　したがって、符号化信号が、フレーム毎に、原信号を符号化した第１の信号および原信号に含まれる周波数成分抽出信号を符号化した第２の信号のいずれかを含むものである場合にも、原信号と同等の復号化信号を生成することができるとともに、復号化信号で表されるコンテンツを高度に鮮鋭化することができるという効果を奏する。

　なお、上記復号化装置は、コンピュータによって実現してもよく、この場合には、コンピュータを上記各手段として動作させることにより上記復号化装置をコンピュータにて実現させる上記復号化装置の制御プログラム、およびそれを記録したコンピュータ読み取り可能な記録媒体も、本発明の範疇に入る。

　さらに、上記の各手段を実行させる回路を備えるチップや、制御プログラムが格納されたＲＯＭ（read only memory）なども、本発明の範疇に入る。

　本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。

　発明の詳細な説明の項においてなされた具体的な実施形態または実施例は、あくまでも、本発明の技術内容を明らかにするものであって、そのような具体例にのみ限定して狭義に解釈されるべきものではなく、本発明の精神と次に記載する特許請求事項の範囲内で、いろいろと変更して実施することができるものである。

　本発明は、符号化装置を含む送信側から復号化装置を含む受信側にデータを伝送する伝送システムに適用できる。特に、画像や音声などを符号化して伝送する伝送システムに好適に適用できる。

　１１　　　　　　　　　　　　高周波成分抽出部（低周波成分除去手段、第２の低周波成分除去手段）
　１５　　　　　　　　　　　　加算部（加算手段、第２の加算手段）
　２１　　　　　　　　　　　　非線形演算部（偶数冪乗演算手段、平方根演算手段）
　２２　　　　　　　　　　　　非線形演算部（奇数冪乗演算手段）
　３１　　　　　　　　　　　　微分部（微分手段）
　４１　　　　　　　　　　　　符号変換部（符号変換手段）
　５１　　　　　　　　　　　　リミッタ（振幅調整手段）
１００、１００ａ～１００ｅ　　鮮鋭化処理部（高調波生成手段）
１０２、１０２ａ～１０２ｅ　　非線形処理部（非線形処理手段、第２の非線形処理手段）
１３２　　　　　　　　　　　　丸め処理部（低レベル信号除去手段）
１３３　　　　　　　　　　　　リミッタ（高レベル信号除去手段）
２００、２００ａ～２００ｇ　　符号化装置
２１０　　　　　　　　　　　　低域通過フィルタ（高周波成分除去手段、周波数成分抽出手段）
２１５　　　　　　　　　　　　高域通過フィルタ（周波数成分抽出手段）
２２１、２２２　　　　　　　　符号化処理部（符号化手段）
２３０　　　　　　　　　　　　周波数成分抽出部（周波数成分抽出手段）
２５０　　　　　　　　　　　　減算部（減算手段）
３００、３００ａ～３００ｇ　　復号化装置
３１０　　　　　　　　　　　　復号化処理部（復号化手段）
３１１、３１２、３１４　　　　復号化制御部（復号化手段）
３６０　　　　　　　　　　　　アップサンプラ（信号補間手段）
９００　　　　　　　　　　　　伝送システム
Ｓ１１　　　　　　　　　　　　高周波信号（低周波除去信号、第２の低周波除去信号）
Ｓ１２　　　　　　　　　　　　非線形処理信号（第２の非線形処理信号）
Ｓ２１　　　　　　　　　　　　非線形信号（偶数冪乗信号、平方根信号）
Ｓ２２　　　　　　　　　　　　非線形信号
Ｓ３１　　　　　　　　　　　　微分信号
Ｓ２１０　　　　　　　　　　　高周波除去信号（周波数成分抽出信号）
Ｓ２１５　　　　　　　　　　　低周波除去信号（周波数成分抽出信号）
Ｓ２２０、Ｓ２２１、Ｓ２２２　符号化信号
Ｓ２５０　　　　　　　　　　　差信号（周波数成分抽出信号）
Ｓ３１０　　　　　　　　　　　復号化信号
Ｓ３１１、Ｓ３１２　　　　　　復号結果信号（復号化信号）
ＳＲ　　　　　　　　　　　　　原信号

Claims

　画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、上記コンテンツを表す出力信号を出力する復号化装置であって、
　上記符号化信号を復号化することによって復号化信号を生成する復号化手段と、
　上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって低周波除去信号を生成する低周波成分除去手段と、
　上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理手段と、
　上記非線形処理信号を上記復号化信号に加算することによって、加算信号を生成する加算手段とを備え、
　上記加算信号を上記出力信号として出力することを特徴とする復号化装置。
　上記コンテンツは、時間的に連続する複数のフレームから構成され、
　上記符号化信号は、フレーム毎に、上記原信号を符号化した第１の信号、および、上記原信号に含まれる周波数成分の一部を符号化した第２の信号のいずれかを含むものであって、
　上記復号化手段は、さらに、
　上記第１の信号を復号化したとき、上記第１の信号を復号化した信号を、上記復号化信号として生成し、
　上記第２の信号を復号化したとき、上記符号化において算出される、フレーム間の動き補償予測を行なうための動きベクトル情報を用いて、直前に生成された上記復号化信号に対して動き補償を行なった後の信号と、上記第２の信号を復号化した信号とを加算した信号を、上記復号化信号として生成することを特徴とする請求項１に記載の復号化装置。
　上記復号化信号に対して信号の補間を行なう信号補間手段をさらに備えることを特徴とする請求項１または２に記載の復号化装置。
　上記非線形処理手段は、
　２以上の偶数を冪指数として、上記低周波除去信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、
　上記偶数冪乗信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備えることを特徴とする請求項１から３のいずれか１項に記載の復号化装置。
　上記非線形処理手段は、
　２以上の偶数を冪指数として、上記低周波除去信号を冪乗することにより偶数冪乗信号を生成する偶数冪乗演算手段と、
　上記偶数冪乗信号を微分することによって微分信号を生成する微分手段と、
　上記微分信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備えることを特徴とする請求項１から３のいずれか１項に記載の復号化装置。
　上記非線形処理手段は、３以上の奇数を冪指数として、上記低周波除去信号を冪乗することによって、上記非線形処理信号を生成する奇数冪乗演算手段を備えることを特徴とする請求項１から３のいずれか１項に記載の復号化装置。
　上記非線形処理手段は、
　上記低周波除去信号を上記低周波除去信号の取り得る最大値で除算した値の絶対値の平方根と、上記最大値とを乗算することによって平方根信号を生成する平方根演算手段と、
　上記平方根信号のうち、符号の正負が上記低周波除去信号と異なる部分の符号を反転することによって、上記非線形処理信号を生成する符号変換手段とを備えることを特徴とする請求項１から３のいずれか１項に記載の復号化装置。
　上記非線形処理手段は、上記非線形処理信号の振幅を、所定の倍率値を乗算することによって調整する振幅調整手段をさらに備えることを特徴とする請求項１から７のいずれか１項に記載の復号化装置。
　上記非線形処理手段は、上記低周波除去信号の値が０の近傍のとき、絶対値が上記低周波除去信号の絶対値よりも大きい上記非線形処理信号を生成することを特徴とする請求項１から８のいずれか１項に記載の復号化装置。
　上記低周波成分除去手段は、タップ数が３以上の高域通過型のフィルタであることを特徴とする請求項１から９のいずれか１項に記載の復号化装置。
　上記低周波成分除去手段は、
　上記低周波除去信号のうち、絶対値が所定下限値よりも小さい部分の信号値を０に変更する低レベル信号除去手段と、
　上記低周波除去信号のうち、絶対値が所定上限値よりも大きい部分の信号値を、符号を維持して絶対値のみ当該上限値以下に変更する高レベル信号除去手段とをさらに備えることを特徴とする請求項１から１０のいずれか１項に記載の復号化装置。
　画像および音声の少なくともいずれかのコンテンツを表す原信号を符号化した信号を含む符号化信号を入力とし、上記コンテンツを表す出力信号を出力する復号化装置の制御方法であって、
　上記符号化信号を復号化することによって復号化信号を生成する復号化ステップと、
　上記復号化信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記復号化信号から除去することによって低周波除去信号を生成する低周波成分除去ステップと、
　上記低周波除去信号の符号の正負が維持され、かつ、少なくとも上記低周波除去信号の値が０の近傍のとき、上記低周波除去信号に対して非線形に広義に単調増加する非線形処理信号を生成する非線形処理ステップと、
　上記非線形処理信号を上記復号化信号に加算することによって、加算信号を生成する加算ステップとを含み、
　上記加算信号を上記出力信号として出力することを特徴とする復号化装置の制御方法。
　上記原信号を符号化した信号を含む上記符号化信号を出力する符号化装置を送信側に備えるとともに、
　請求項１に記載の復号化装置を受信側に備えることを特徴とする伝送システム。
　上記原信号に含まれる周波数成分の一部を上記原信号から抽出することによって周波数成分抽出信号を生成する周波数成分抽出手段と、
　上記周波数成分抽出信号と上記原信号とを切り替えながら符号化し、該符号化した信号を含む上記符号化信号を出力する符号化手段とを備える符号化装置を送信側に備えるとともに、
　請求項２に記載の復号化装置を受信側に備えることを特徴とする伝送システム。
　上記周波数成分抽出手段は、
　　上記原信号に含まれる周波数成分のうち高周波成分を上記原信号から除去することによって高周波除去信号を生成する高周波成分除去手段と、
　　上記高周波除去信号の高調波を生成する高調波生成手段と、
　　上記原信号から、上記高周波除去信号の高調波を減算することによって、上記周波数成分抽出信号を生成する減算手段とを備えるとともに、
　　上記高調波生成手段は、
　　　上記高周波除去信号に含まれる周波数成分のうち、少なくとも直流成分を含む低周波成分を上記高周波除去信号から除去することによって第２の低周波除去信号を生成する第２の低周波成分除去手段と、
　　　上記第２の低周波除去信号の符号の正負が維持され、かつ、少なくとも上記第２の低周波除去信号の値が０の近傍のとき、上記第２の低周波除去信号に対して非線形に広義に単調増加する第２の非線形処理信号を生成する第２の非線形処理手段と、
　　　上記第２の非線形処理信号を上記高周波除去信号に加算することによって、上記高調波を生成する第２の加算手段とを備えることを特徴とする請求項１４に記載の伝送システム。
　請求項１から１１のいずれか１項に記載の復号化装置が備えるコンピュータを上記の各手段として機能させるための制御プログラムを記録したコンピュータ読み取り可能な記録媒体。