JP4161312B2

JP4161312B2 - 画質評価値算出方法及び画質評価値算出装置

Info

Publication number: JP4161312B2
Application number: JP2003338430A
Authority: JP
Inventors: 林　　哲也
Original assignee: Casio Computer Co Ltd
Current assignee: Casio Computer Co Ltd
Priority date: 2003-09-29
Filing date: 2003-09-29
Publication date: 2008-10-08
Anticipated expiration: 2023-09-29
Also published as: JP2005109732A

Description

本発明は、画像の画質を評価する画質評価方法及び画質評価値算出装置に関する。

従来、デジタルカメラやビデオカメラ等の画像撮影装置で撮影された画像の画質を評価する画質評価方法として、画像を複数のブロックに分割してそれぞれを圧縮し、圧縮した各ブロックを伸長して、それぞれの画質の劣化を定量的に評価する方法が提案されている（例えば特許文献１、特許文献２）。

すなわち、特許文献１では、原画像データを離散コサイン変換（以下、ＤＣＴ変換）により得られた変換係数と、評価対象の画像データをＤＣＴ変換により得られた変換係数に対して、各成分（周波数成分）ごとに差分をとって、その絶対値の和を「評価値」とし、重み付けに際しては低周波成分を重視するようにしている。

また、特許文献２では、原画像データを圧縮、伸長して得られた圧縮伸長画像とその原画像データとを符号化処理時と同じ複数のブロックに分割し、分割により得られた個々のブロック毎に劣化量を算出するようにしている。

特開平１０−２００８９３号公報（第２頁、第３頁、第１図）特開平８−１９５８８８号公報（第３頁、第４頁、第４図）

しかしながら、上述した従来の画質評価方法においては、画質評価値の算出が複雑であり、結果が得られるまでに時間がかかるという問題がある。

すなわち、特許文献１で開示された技術では、原画像データを複数に分割した全ブロックについて画質評価値を算出するようにしており、特許文献２で開示された技術では、特許文献１で開示された技術と同様に原画像データを複数に分割した全ブロックについて画質劣化量を算出するようにしている。このように、従来の画質評価方法では、原画像データを複数に分割した全ブロックについて画質評価値を算出するようにしているので、画質評価値の算出が複雑で、結果が得られるまでに時間がかかってしまう。

本発明は、かかる従来の課題に鑑みてなされたものであり、デジタルカメラやビデオカメラ等の画像撮影装置で撮影された画像の画質評価値を簡単且つ短時間で算出することができる画質評価値算出方法及び画像圧縮伸長装置を提供することを目的とする。

前記課題を解決するために請求項１に係る発明の画質評価値算出方法は、
原画像データを複数のブロックに分割し、
前記分割した複数のブロックそれぞれを離散コサイン変換して変換係数を求め、
前記求めた複数の変換係数のなかから高周波成分の多いものを検出し、検出した変換係数に対応するブロックを画質評価値算出用ブロックとする一方、
前記求めた複数の変換係数それぞれを、所定の量子化テーブルを用いて圧縮し、
さらに前記圧縮した複数の量子化変換係数それぞれを、前記圧縮時に用いた量子化テーブルを用いて伸長し、
前記伸長で復元した複数の変換係数のなかの前記画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換し、
前記逆離散コサイン変換で復元された画質評価値算出用ブロックの周縁部の画素値と、前記画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの前記画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を前記所定の量子化テーブルに対する画質評価値とすることを特徴とする。

この方法によれば、原画像データを複数のブロックに分割してそれぞれを離散コサイン変換して変換係数を求め、そのなかから高周波成分を多く含むものを検出してそれに対応するブロックを画質評価値算出用ブロックとし、さらに離散コサイン変換により求めた複数のブロックそれぞれの変換係数を所定の量子化テーブルを用いて圧縮し、さらに圧縮した複数の量子化変換係数それぞれを、圧縮時に用いた量子化テーブルを用いて伸長する。そして、伸長により復元した複数の変換係数のなかで画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換し、これにより得られた画質評価値算出用ブロックの周縁部の画素値と、画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を所定の量子化テーブルに対する画質評価値とする。

したがって、原画像データを複数に分割した全ブロックから画質評価値を算出するのではなく、高周波成分を多く含むブロックを探し、そのブロックと、そのブロックに隣接する周辺の各ブロックとから原画像の画質評価値を求めるので、原画像の画質評価値を簡単且つ短時間で求めることが可能となる。

また、請求項２に係る発明の画質評価値算出方法は、
原画像データを複数のブロックに分割し、
前記分割した複数のブロックそれぞれを離散コサイン変換して変換係数を求め、
前記求めた複数のブロックの変換係数のなかから高周波成分の多いものを検出し、
前記検出した変換係数に対応するブロックを画質評価値算出用ブロックとして、その画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を、所定の量子化テーブルを用いて圧縮し、
さらに前記圧縮した画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する量子化変換係数を、前記圧縮時に用いた量子化テーブルを用いて伸長し、
前記伸長で復元した画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換し、
前記逆離散コサイン変換で復元した画質評価値算出用ブロックの周縁部の画素値と、前記画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの前記画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を前記所定の量子化テーブルに対する画質評価値とすることを特徴とする。

この方法によれば、原画像データを複数のブロックに分割してそれぞれを離散コサイン変換して変換係数を求め、そのなかから高周波成分を多く含むものを検出してそれに対応するブロックを画質評価値算出用ブロックとし、その画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を、所定の量子化テーブルを用いて圧縮し、さらに伸長する。そして、伸長により復元した画質評価用ブロックとそれに隣接する周辺の各ブロックそれぞれの変換係数を逆離散コサイン変換し、これにより得られた画質評価値算出用ブロックの周縁部の画素値と、画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を上記量子化テーブルに対する画質評価値とする。

したがって、原画像データを複数に分割した全ブロックから画質評価値を算出するのではなく、高周波成分を多く含むブロックを取得し、そのブロックと、そのブロックに隣接する周辺の各ブロックとから原画像の画質評価値を求めるので、原画像の画質評価値を簡単且つ短時間で求めることが可能となる。しかも、全ブロックに対して圧縮、伸長処理を行うのではなく、画質評価値算出用ブロックとそれに隣接する周辺の各ブロックに対してのみ行うので、請求項１に係る発明の画質評価値算出方法よりも更に簡単且つ短時間で画質評価値を求めることができる。

また、請求項３に係る発明の画質評価値算出プログラムは、
原画像データを複数のブロックに分割するブロック分割処理と、
前記分割された複数のブロックそれぞれを離散コサイン変換して変換係数を求める離散コサイン変換処理と、
前記求められた複数の変換係数のなかから高周波成分の多い変換係数を検出し、その高周波成分の多い変換係数に対応するブロックを画質評価値算出用ブロックとする画質評価値算出用ブロック検出処理と、
前記求められた複数の変換係数それぞれを、所定の量子化テーブルを用いて圧縮する圧縮処理と、
前記圧縮された複数の量子化変換係数それぞれを、前記圧縮時に用いた量子化テーブルを用いて伸長する伸長処理と、
前記伸長処理により復元された複数の変換係数のなかの前記画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換する離散コサイン変換処理と、
前記逆離散コサイン変換で復元された画質評価値算出用ブロックの周縁部の画素値と、前記画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの前記画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を前記所定の量子化テーブルに対する画質評価値とする画質評価値算出処理と、
を含み、
前記各処理をコンピュータに実行させることを特徴とする。

このプログラムによれば、原画像データを複数のブロックに分割してそれぞれを離散コサイン変換して変換係数を求め、そのなかから高周波成分を多く含むものを検出してそれに対応するブロックを画質評価値算出用ブロックとし、さらに離散コサイン変換により求めた複数のブロックそれぞれの変換係数を所定の量子化テーブルを用いて圧縮し、さらに圧縮した複数の量子化変換係数それぞれを、圧縮時に用いた量子化テーブルを用いて伸長する。そして、伸長により復元した複数の変換係数のなかで画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換し、これにより得られた画質評価値算出用ブロックの周縁部の画素値と、画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を所定の量子化テーブルに対する画質評価値とする。

また、請求項４に係る発明の画質評価値算出プログラムは、
原画像データを複数のブロックに分割するブロック分割処理と、
前記分割された複数のブロックそれぞれを離散コサイン変換して変換係数を求める離散コサイン変換処理と、
前記求められた複数のブロックそれぞれの変換係数から高周波成分の多いものを画質評価値算出用ブロックとして検出する画質評価値算出用ブロック検出処理と、
前記検出された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を、所定の量子化テーブルを用いて圧縮する圧縮処理と、
前記圧縮された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する量子化変換係数を、前記圧縮時に用いた量子化テーブルを用いて伸長する伸長処理と、
前記伸長で復元された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換する逆離散コサイン変換処理と、
前記逆離散コサイン変換で復元された画質評価値算出用ブロックの周縁部の画素値と、前記画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの前記画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を前記所定の量子化テーブルに対する画質評価値とする画質評価値算出処理と、を含み、
前記各処理をコンピュータに実行させることを特徴とする。

このプログラムによれば、原画像データを複数のブロックに分割してそれぞれを離散コサイン変換して変換係数を求め、そのなかから高周波成分を多く含むものを検出してそれに対応するブロックを画質評価値算出用ブロックとし、その画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を、所定の量子化テーブルを用いて圧縮し、さらに伸長する。そして、伸長により復元した画質評価用ブロックとそれに隣接する周辺の各ブロックそれぞれの変換係数を逆離散コサイン変換し、これにより得られた画質評価値算出用ブロックの周縁部の画素値と、画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を上記量子化テーブルに対する画質評価値とする。

したがって、原画像データを複数に分割した全ブロックから画質評価値を算出するのではなく、高周波成分を多く含むブロックを取得し、そのブロックと、そのブロックに隣接する周辺の各ブロックとから原画像の画質評価値を求めるので、原画像の画質評価値を簡単且つ短時間で求めることが可能となる。しかも、全ブロックに対して圧縮、伸長処理を行うのではなく、画質評価値算出用ブロックとそれに隣接する周辺の各ブロックに対してのみ行うので、請求項３に係る発明の画質評価値算出プログラムよりも更に簡単且つ短時間で画質評価値を求めることができる。

また、請求項５に係る発明の画質評価値算出装置は、
原画像データを複数のブロックに分割するブロック分割手段と、
前記分割された複数のブロックそれぞれを離散コサイン変換して変換係数を求める離散コサイン変換手段と、
前記求められた複数の変換係数のなかから高周波成分の多い変換係数を検出し、その高周波成分の多い変換係数に対応するブロックを画質評価値算出用ブロックとする画質評価値算出用ブロック検出手段と、
前記求められた複数の変換係数それぞれを、所定の量子化テーブルを用いて圧縮する圧縮手段と、
前記圧縮された複数の量子化変換係数それぞれを、前記圧縮時に用いた量子化テーブルを用いて伸長する伸長手段と、
前記伸長手段で復元された複数の変換係数のなかの前記画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換する離散コサイン変換手段と、
前記逆離散コサイン変換で復元された画質評価値算出用ブロックの周縁部の画素値と、前記画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの前記画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を前記所定の量子化テーブルに対する画質評価値とする画質評価値算出手段と、
を具備することを特徴とする。

この構成によれば、原画像データを複数のブロックに分割してそれぞれを離散コサイン変換して変換係数を求め、そのなかから高周波成分を多く含むものを検出してそれに対応するブロックを画質評価値算出用ブロックとし、さらに離散コサイン変換により求めた複数のブロックそれぞれの変換係数を所定の量子化テーブルを用いて圧縮し、さらに圧縮した複数の量子化変換係数それぞれを、圧縮時に用いた量子化テーブルを用いて伸長する。そして、伸長により復元した複数の変換係数のなかで画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換し、これにより得られた画質評価値算出用ブロックの周縁部の画素値と、画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を所定の量子化テーブルに対する画質評価値とする。

したがって、原画像データを複数に分割した全ブロックから画質評価値を算出するのではなく、高周波成分を多く含むブロックを探し、そのブロックと、そのブロックに隣接する周辺の各ブロックとから原画像の画質評価値を求めるので、原画像の画質評価値を簡単且つ短時間で求めることができる画質評価値算出装置を提供することが可能となる。

また、請求項６に係る発明の画質評価値算出装置は、
原画像データを複数のブロックに分割するブロック分割手段と、
前記分割された複数のブロックそれぞれを離散コサイン変換して変換係数を求める離散コサイン変換手段と、
前記求められた複数のブロックそれぞれの変換係数から高周波成分の多いものを画質評価値算出用ブロックとして検出する画質評価値算出用ブロック検出手段と、
前記検出された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を、所定の量子化テーブルを用いて圧縮する圧縮手段と、
前記圧縮された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する量子化変換係数を、前記圧縮時に用いた量子化テーブルを用いて伸長する伸長手段と、
前記伸長手段で復元された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換する逆離散コサイン変換手段と、
前記逆離散コサイン変換で復元された画質評価値算出用ブロックの周縁部の画素値と、前記画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの前記画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を前記所定の量子化テーブルに対する画質評価値とする画質評価値算出手段と、
を具備することを特徴とする。

この構成によれば、原画像データを複数のブロックに分割してそれぞれを離散コサイン変換して変換係数を求め、そのなかから高周波成分を多く含むものを検出してそれに対応するブロックを画質評価値算出用ブロックとし、その画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を、所定の量子化テーブルを用いて圧縮し、さらに伸長する。そして、伸長により復元した画質評価用ブロックとそれに隣接する周辺の各ブロックそれぞれの変換係数を逆離散コサイン変換し、これにより得られた画質評価値算出用ブロックの周縁部の画素値と、画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を上記量子化テーブルに対する画質評価値とする。

したがって、原画像データを複数に分割した全ブロックから画質評価値を算出するのではなく、高周波成分を多く含むブロックを取得し、そのブロックと、そのブロックに隣接する周辺の各ブロックとから原画像の画質評価値を求めるので、原画像の画質評価値を簡単且つ短時間で求めることができる画質評価値算出装置を提供することが可能となる。しかも、全ブロックに対して圧縮、伸長処理を行うのではなく、画質評価値算出用ブロックとそれに隣接する周辺の各ブロックに対してのみ行うので、請求項５に係る発明の画質評価値算出装置よりも更に簡単且つ短時間で画質評価値を求めることができる。

また、請求項７に係る発明の画像撮像装置は、請求項５又は請求項６のいずれかに係る発明の画質評価値算出装置を具備することを特徴とする。

この構成によれば、原画像の画質評価値を簡単且つ短時間で算出することができる画像撮影装置を提供することができる。

本発明は、原画像データを複数に分割したブロックの全てから画質評価値を算出することなく、高周波成分を多く含むブロックとそれに隣接する周辺の各ブロックから画質評価値を算出するので、原画像の画質評価値を簡単且つ短時間で求めることができる。

以下、本発明の実施の形態について、図面を参照して詳細に説明する。

（実施の形態１）
図１は、本発明の実施の形態１に係る画質評価値算出装置の機能ブロック図である。
図１において、本実施の形態に係る画質評価値算出装置は、マイクロコンピュータ（図示略）を搭載してソフトウェア制御によって入力画像の画質を評価する画質評価値を算出するものであり、マイクロコンピュータは、画像データ取得部９、ブロック分割部１０、ＤＣＴ演算部１１、画質評価用ブロック検出部１２、量子化テーブル部１３、量子化部１４、エントロピー符号化部１５、ブロック入力部１６、エントロピー逆符号化部１７、逆量子化部１８、逆ＤＣＴ演算部１９、画質評価値算出部２０、データ出力部２１などの機能を有している。量子化テーブル部１３は、低圧縮率から高圧縮率の複数の量子化テーブルを有しており、これらはＥＥＰＲＯＭ(Electrically Erasable and Programmable Read Onlr Memory)等の不揮発性メモリ（図示略）に記憶されている。なお、言うまでもないが、上記マイクロコンピュータは画質評価値を算出するためのプログラムを記憶したメモリを有しており、当該プログラムに従って以下で説明する画質評価値を算出する処理を行う。

画像データ取得部９は、外部より入力される原画像データを取得するものであり、取得した原画像データをブロック分割部１０に出力する。ブロック分割部１０は、画像データ取得部９から出力された原画像データを複数のブロックに分割し、各ブロックをＤＣＴ演算部１１に出力する。ＤＣＴ演算部１１は、ブロック分割部１０から入力されたブロックごとの多値画像をＤＣＴ変換して変換係数を画質評価用ブロック検出部１２に出力する。ＤＣＴ変換（離散コサイン変換）とは、デジタル信号で表された画像データを周波数成分に変換することである。
そして、画質評価用ブロック検出部１２は、ＤＣＴ演算部１１からの各ブロックごとの変換係数をそのまま量子化部１４に出力するとともに、各ブロックごとの変換係数から高周波成分を多く含むブロック（以下、このブロックを「画質評価値算出用ブロック」と言う）を検出して保存する。

量子化テーブル部１３は、上述したように低圧縮率から高圧縮率の複数の量子化テーブルを有しており、ＣＰＵ１にて指定された量子化テーブルを量子化部１４と逆量子化部１８それぞれに与える。量子化部１４は、画質評価値算出時には、画質評価用ブロック検出部１２にて検出された「画質評価値算出用ブロック」の変換係数と、「画質評価値算出用ブロック」に隣接する周辺の各ブロックの変換係数とを量子化テーブル部１３から与えられた量子化テーブルを使用して量子化する。また、画質評価値を算出した後の画像圧縮時には、ＤＣＴ演算部１１にて求められた複数のブロック夫々の変換係数を、量子化テーブル部１３から与えられた量子化テーブルを使用して量子化する。そして、いずれの場合も、量子化された変換係数をエントロピー符号化部１５に出力する。エントロピー符号化部１５は、量子化部１４から入力された各ブロックごとの量子化された変換係数を、ハフマン符号化などの手法によりさらにデータ圧縮して、ブロック入力部１６に出力する。

ブロック入力部１６は、エントロピー符号化部１５からの圧縮データを取り込み、エントロピー逆符号化部１７に出力する。エントロピー逆符号化部１７は、ブロック入力部１６から入力された圧縮データをハフマン符号化等を使用してエントロピー逆符号化し、量子化変換係数を得る。そして、逆量子化部１８は、エントロピー逆符号化部１７からの各ブロックごとの量子化変換係数を量子化テーブル部１３から与えられた量子化テーブル（圧縮時に用いられたものと同一のもの）を用いて逆量子化し、各ブロックごとの変換係数を得て逆ＤＣＴ演算部に出力する。

逆ＤＣＴ演算部１９は、復元された各ブロックごとの変換係数を逆ＤＣＴ変換して、各ブロックの画像を得る。画質評価値算出部２０は、逆ＤＣＴ演算部１９で復元された全ブロックの画像のなかから、画質評価用ブロック検出部１２で保存されている画質評価値算出用ブロックに対応する復元画像と、画質評価値算出用ブロックに隣接する周辺の４つのブロックそれぞれの復元画像とから画質評価値を算出する。

ここで、画質評価値の算出方法の一例について図２及び図３を参照して説明する。
画質評価値の算出方法としては種々の方法を用いることが可能であるが、ここでは、図２に示すように、量子化テーブルによる画像の圧縮に伴なって、高周波成分を多く含む「画質評価値算出用のブロック」の高周波成分を減失してしまい、これにより隣接するブロックとの境界において、復元画像の画素値が不連続になってしまうという特徴に注目した画質評価方法の一例を示す。

画質評価値算出部２０は、まず、逆ＤＣＴ演算部１９で得られた各ブロックの原画像の画素値を求める（以下、この画素値を「復元画素値」という）。次いで、図３に示すように、画質評価値算出用ブロックＢＫｈの周縁部の復元画素値（Ａ_１１、…、Ａ_８１、…、Ａ_８８、…、Ａ_１８、…、Ａ_１１）とその周囲の４つの隣接ブロックＢＫｎ１〜ＢＫｎ４ぞれぞれの画質評価値算出用ブロックと接する側の周縁部の復元画素値（Ｂ_１８、…、Ｂ_８８、Ｅ_１１、…、Ｅ_１８、Ｄ_８１…、Ｄ_１１、Ｃ_８８、…、Ｃ_８１）との差分を求める。そして、式（１）に示すように、差分の和を求めて画質評価値を得る。なお、式１では差分値の２乗和を用いる例を示しているが、各差分値の絶対値を求めて、この絶対値の和を求めて画質評価値としてもよい。

データ出力部２１は、本装置で圧縮された原画像データと、伸長された原画像データの外部への出力を行う。

次に、図４に示すフローチャート及び図５〜図１０を参照して、上記構成の画質評価値算出装置の動作を説明する。
まず、図５（ａ）に示すように、例えば６４０×４８０画素の原画像データに対して、８×８画素を１ブロックとして、当該データを複数のブロックに分割する。次いで、分割した複数のブロックそれぞれに対してＤＣＴ変換を行い、各ブロックにおける高周波成分と低周波成分を抽出する（ステップＳ１０）。すなわち、複数に分割したブロックそれぞれにおいて、高周波成分と低周波成分がどのくらいの割合で含まれているかを知るために、それぞれにブロックに対してＤＣＴ変換を行う。図６は図５（ｂ）のブロックに対する変換係数（ＤＣＴ変換を行って得られた係数をいう）を表しており、左上が低周波成分を表し、右下が高周波成分を表している。

このようにして、原画像データを１ブロック８×８画素で複数に分割して、それぞれのブロックをＤＣＴ変換した後、各ブロックのなかから高周波成分の多いブロックを探し、そのブロックを画質評価値算出用ブロックとする（ステップＳ１２）。すなわち、各ブロックにおいて、右下の高周波成分の多いものを探し、それを画質評価値算出用ブロックとする。なお、高周波成分の多いブロックを選定するにあたっては、例えば、次のような方法によって実行することが可能である。すなわち、まず、各ブロックごとに、「高周波成分」の部分の変換係数の二乗和や絶対値の和を求める。ここで、「高周波成分」を表す変換係数の範囲は、例えば右下４×４ヶ所の変換係数を用いる、といったようにあらかじめ定めておき、その範囲の変換係数の二乗和あるいは絶対値の和を求めるようにする。そして、この値が最も大きい値となっているブロック、あるいは、この値が所定値以上となっている複数のブロック、または、この値の大きい方から所定数のブロック、などの方法で定まるブロックを、画質評価値算出用ブロックとして選定する。

次いで、全てのブロックの変換係数を圧縮し、更に圧縮後の量子化変換係数を伸長する（ステップＳ１４）。ここで、圧縮処理と伸長処理において量子化テーブルが用いられるが、例えば図７に示す量子化テーブルで図６に示す１つのブロックを圧縮すると図８に示す値となる。この場合、図６の値を図７の対応する値で割り四捨五入する。この圧縮処理が全てのブロックの量子化変換係数に対して行われる。一方、伸長する場合は圧縮と逆の手順をとり、図８の値に図７の量子化テーブルの値を乗じて変換係数を復元する。図９は復元した１つの変換係数である。この場合、図９と図６は理想的には同じ値にならなければならないが、圧縮処理において整数化したために完全には一致しない。

このようにして、圧縮された全てのブロックの量子化変換係数から元の変換係数を復元した後、逆ＤＣＴ変換を行って元の画像データを復元する。図１０は復元した１つのブロックの画像データである。そして、画質評価値算出用ブロックの周縁部の画素値（これを復元画素値という）と、画質評価値算出用ブロックに隣接する周辺の４つのブロックぞれぞれの画質評価値算出用ブロックと接する側の周縁部の復元画素値との差分を求め、さらに差分の和（２乗和、絶対値の和）を求める（ステップＳ１６）。そして、求めた差分の和を画質評価値として出力する（ステップＳ１８）。

このように、本実施の形態に係る画質評価値算出装置によれば、原画像データを複数のブロックに分割してそれぞれを離散コサイン変換して変換係数を求め、求めた複数の変換係数のなかから高周波成分を多く含むものを検出してそれに対応するブロックを画質評価値算出用ブロックとし、さらに離散コサイン変換で求めた複数のブロックそれぞれの変換係数を所定の量子化テーブルを用いて圧縮し、さらに圧縮した複数の量子化変換係数それぞれを、圧縮時に用いた量子化テーブルを用いて伸長する。そして、伸長により復元した複数の変換係数を逆離散コサイン変換し、これにより得られた画質評価値算出用ブロックの周縁部の画素値と、画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を所定の量子化テーブルに対する画質評価値とする。

なお、本実施の形態では、高周波成分が最も多いブロックを画質評価値算出用ブロックとしたが、例えば高周波成分がある程度の量以上含まれているブロックの全てを画質評価値算出用ブロックとしても良い。

なお、本実施の形態では、マイクロコンピュータを使用してソフトウェア制御にて画質評価値を算出するようにしたが、当然ながらハードウェア構成で画質評価値を算出することも可能である。この場合、図１の各部をハードウェアで組むだけのことである。

（実施の形態２）
上記実施の形態１では、全てのブロックを圧縮、伸長した後、全てのブロックのなかの高周波成分の多いブロックとそれに隣接する周辺の４つのブロックから画質評価値を算出するようにしたが、本実施の形態では、ＤＣＴ変換した全てのブロックの変換係数なかから高周波成分の多いものを選択し、その変換係数に対応するブロック（即ち「画質評価値算出用ブロック」）と、それに隣接する周辺の４つのブロックを圧縮、伸長し、さらにこれら５つのブロックを逆ＤＣＴ変換し、得られた５つの復元画像から画質評価値を算出するようにしたものである。

本実施の形態では全ブロックについて圧縮、伸長処理を行わず、画質評価値の算出に必要なブロックのみを伸長するようにしているため、画質評価値の算出にかかる時間をさらに短縮化することができる。

図１１は、本発明の実施の形態２に係る画質評価値算出装置の機能ブロック図である。なお、この図において、画質評価用ブロック検出部１２Ａを除く他の部分は上述した図１の対応する部分と同じ機能を有しているので、同じ機能を有するものには同じ符号を付けている。

本実施の形態の画質評価用ブロック検出部１２Ａは、ＤＣＴ演算部１１でＤＣＴ変換して得られた全ての変換係数のなかから高周波成分を多く含むブロック（即ち「画質評価値算出用ブロック」）を検出して量子化部１４に出力するとともに、検出した画質評価値算出用ブロックに隣接する周辺の４つのブロックそれぞれの変換係数をも量子化部１４に出力する。すなわち、画質評価用ブロック検出部１２Ａは、画質評価値算出用ブロックとそれに隣接する周辺の４つのブロックそれぞれ変換係数のみ量子化部１４に出力する。

量子化部１４は、画質評価値算出時には、画質評価用ブロック検出部１２にて検出された「画質評価値算出用ブロック」の変換係数と、「画質評価値算出用ブロック」に隣接する周辺の各ブロックの変換係数とを量子化テーブル部１３から与えられた量子化テーブルを使用して量子化する。また、画質評価値を算出した後の画像圧縮時には、ＤＣＴ演算部１１にて求められた複数のブロック夫々の変換係数を、量子化テーブル部１３から与えられた量子化テーブルを使用して量子化する。そして、いずれの場合も、量子化された変換係数をエントロピー符号化部１５に出力する。エントロピー符号化部１５は、画質評価値算出用ブロックとそれに隣接する周辺の４つのブロックそれぞれに対応する量子化された変換係数を、ハフマン符号化などの手法によりさらにデータ圧縮して、ブロック入力部１６に出力する。ブロック入力部１６は、エントロピー符号化部１５からの圧縮データを取り込み、エントロピー逆符号化部１７に出力する。エントロピー逆符号化部１７は、ブロック入力部１６から入力された圧縮データをハフマン符号化等を使用してエントロピー逆符号化し、画質評価値算出用ブロックとそれに隣接する周辺の４つのブロックそれぞれに対応する量子化変換係数を得て逆量子化部１８に出力する。

逆量子化部１８は、画質評価値算出用ブロックとそれに隣接する周辺の４つのブロックそれぞれに対応する量子化変換係数を量子化テーブル部１３から与えられた量子化テーブルを使用して逆量子化し、変換係数を得る。逆ＤＣＴ演算部１９は、復元された画質評価値算出用ブロックとそれに隣接する周辺の４つのブロックそれぞれに対応する変換係数を逆ＤＣＴ変換して、各ブロックの画像を得る。画質評価値算出部２０は、画質評価値算出用ブロックとそのブロックに隣接する周辺の４つのブロックそれぞれの復元画像とから画質評価値を算出する。画質評価値は実施の形態１と同様の計算により得られる。

このように、本実施の形態に係る画質評価値算出装置によれば、原画像データを複数のブロックに分割してそれぞれを離散コサイン変換して変換係数を求め、そのなかから高周波成分を多く含むものを検出してそれに対応するブロックを画質評価値算出用ブロックとし、その画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数のみを、所定の量子化テーブルを用いて圧縮し、さらに伸長する。そして、伸長により復元した画質評価用ブロックとそれに隣接する周辺の各ブロックそれぞれの変換係数を逆離散コサイン変換する。そして最後に、逆離散コサイン変換で復元した画質評価値算出用ブロックの画像周縁部の画素値と、画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの画質評価値算出用ブロックと接する側の画像周縁部の画素値との差分を求め、その結果を上記量子化テーブルに対する画質評価値とする。

したがって、原画像データを複数に分割した全ブロックから画質評価値を算出するのではなく、高周波成分を多く含むブロックを取得し、そのブロックと、そのブロックに隣接する周辺の各ブロックとから原画像の画質評価値を求めるので、原画像の画質評価値を簡単且つ短時間で求めることができる画質評価値算出装置を提供することが可能となる。しかも、全ブロックに対して圧縮、伸長処理を行うのではなく、画質評価値算出用ブロックとそれに隣接する周辺の各ブロックに対してのみ行うので、実施の形態１の画質評価値算出装置よりも更に簡単且つ短時間で画質評価値を求めることができる。

本発明は、デジタルカメラやビデオカメラ等の画像撮影装置に適用が可能である。また、その他、撮影機能を有した携帯電話、時計、ＰＤＡ、さらに、撮影機能を有しないパソコン等でもよく、要は、撮影機能を有した機器、若しくは、画像データを記録することができる機器であればなんでも良い。

本発明の実施の形態１に係る画質評価値算出装置の機能ブロック図である。本発明の実施の形態１に係る画質評価値算出装置における原画像データとそれを圧縮、伸長した後のデータである。本発明の実施の形態１に係る画質評価値算出装置における画質評価値算出用ブロックの周縁部の画素値と、画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの、画質評価値算出用ブロックと接する側の周縁部の画素値との差分を説明するための図である。本発明の実施の形態１に係る画質評価値算出装置における画質評価値算出処理を示すフローチャートである。原画像の一例を示す図である。図５の原画像に対する変換係数を示す図である。量子化テーブルの一例を示す図である。図６の変換係数を図７の量子化テーブルで量子化した変換係数を示す図である。図８の量子化変換係数を伸長して得られた変換係数を示す図である。図９の変換係数を逆離散コサイン変換して復元された画像を示す図である。本発明の実施の形態２に係る画質評価値算出装置の機能ブロック図である。

符号の説明

９画像データ取得部
１０ブロック分割部
１１ＤＣＴ演算部
１２、１２Ａ画質評価用ブロック検出部
１３量子化テーブル部
１４量子化部
１５エントロピー符号化部
１６ブロック入力部
１７エントロピー逆符号化部
１８逆量子化部
１９逆ＤＣＴ演算部
２０画質評価値算出部
２１データ出力部
ＢＫｈ画質評価値算出用ブロック
ＢＫｎ１〜ＢＫｎ４隣接ブロック

Claims

原画像データを複数のブロックに分割し、
前記分割した複数のブロックそれぞれを離散コサイン変換して変換係数を求め、
前記求めた複数の変換係数のなかから高周波成分の多いものを検出し、検出した変換係数に対応するブロックを画質評価値算出用ブロックとする一方、
前記求めた複数の変換係数それぞれを、所定の量子化テーブルを用いて圧縮し、
さらに前記圧縮した複数の量子化変換係数それぞれを、前記圧縮時に用いた量子化テーブルを用いて伸長し、
前記伸長で復元された複数の変換係数のなかの前記画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換し、
前記逆離散コサイン変換で復元された画質評価値算出用ブロックの周縁部の画素値と、前記画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの前記画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を前記所定の量子化テーブルに対する画質評価値とすることを特徴とする画質評価値算出方法。
原画像データを複数のブロックに分割し、
前記分割した複数のブロックそれぞれを離散コサイン変換して変換係数を求め、
前記求めた複数のブロックの変換係数のなかから高周波成分の多いものを検出し、
前記検出した変換係数に対応するブロックを画質評価値算出用ブロックとして、その画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を、所定の量子化テーブルを用いて圧縮し、
さらに前記圧縮した画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する量子化変換係数を、前記圧縮時に用いた量子化テーブルを用いて伸長し、
前記伸長で復元された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換し、
前記逆離散コサイン変換で復元された画質評価値算出用ブロックの周縁部の画素値と、前記画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの前記画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を前記所定の量子化テーブルに対する画質評価値とすることを特徴とする画質評価値算出方法。
原画像データを複数のブロックに分割するブロック分割処理と、
前記分割された複数のブロックそれぞれを離散コサイン変換して変換係数を求める離散コサイン変換処理と、
前記求められた複数の変換係数のなかから高周波成分の多い変換係数を検出し、その高周波成分の多い変換係数に対応するブロックを画質評価値算出用ブロックとする画質評価値算出用ブロック検出処理と、
前記求められた複数の変換係数それぞれを、所定の量子化テーブルを用いて圧縮する圧縮処理と、
前記圧縮された複数の量子化変換係数それぞれを、前記圧縮時に用いた量子化テーブルを用いて伸長する伸長処理と、
前記伸長処理により復元された複数の変換係数のなかの前記画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換する離散コサイン変換処理と、
前記逆離散コサイン変換で復元された画質評価値算出用ブロックの画像周縁部の画素値と、前記画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの前記画質評価値算出用ブロックと接する側の画像周縁部の画素値との差分を求め、その結果を前記所定の量子化テーブルに対する画質評価値とする画質評価値算出処理と、
を含み、
前記各処理をコンピュータに実行させることを特徴とする画質評価値算出プログラム。
原画像データを複数のブロックに分割するブロック分割処理と、
前記分割された複数のブロックそれぞれを離散コサイン変換して変換係数を求める離散コサイン変換処理と、
前記求められた複数のブロックそれぞれの変換係数から高周波成分の多いものを画質評価値算出用ブロックとして検出する画質評価値算出用ブロック検出処理と、
前記検出された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を、所定の量子化テーブルを用いて圧縮する圧縮処理と、
前記圧縮された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する量子化変換係数を、前記圧縮時に用いた量子化テーブルを用いて伸長する伸長処理と、
前記伸長で復元された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換する逆離散コサイン変換処理と、
前記逆離散コサイン変換で復元された画質評価値算出用ブロックの周縁部の画素値と、前記画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの前記画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を前記所定の量子化テーブルに対する画質評価値とする画質評価値算出処理と、を含み、
前記各処理をコンピュータに実行させることを特徴とする画質評価値算出プログラム。
原画像データを複数のブロックに分割するブロック分割手段と、
前記分割された複数のブロックそれぞれを離散コサイン変換して変換係数を求める離散コサイン変換手段と、
前記求められた複数の変換係数のなかから高周波成分の多い変換係数を検出し、その高周波成分の多い変換係数に対応するブロックを画質評価値算出用ブロックとする画質評価値算出用ブロック検出手段と、
前記求められた複数の変換係数それぞれを、所定の量子化テーブルを用いて圧縮する圧縮手段と、
前記圧縮された複数の量子化変換係数それぞれを、前記圧縮時に用いた量子化テーブルを用いて伸長する伸長手段と、
前記伸長手段で復元された複数の変換係数のなかの前記画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換する離散コサイン変換手段と、
前記逆離散コサイン変換で復元された画質評価値算出用ブロックの周縁部の画素値と、前記画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの前記画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を前記所定の量子化テーブルに対する画質評価値とする画質評価値算出手段と、
を具備することを特徴とする画質評価値算出装置。
原画像データを複数のブロックに分割するブロック分割手段と、
前記分割された複数のブロックそれぞれを離散コサイン変換して変換係数を求める離散コサイン変換手段と、
前記求められた複数のブロックそれぞれの変換係数から高周波成分の多いものを画質評価値算出用ブロックとして検出する画質評価値算出用ブロック検出手段と、
前記検出された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を、所定の量子化テーブルを用いて圧縮する圧縮手段と、
前記圧縮された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する量子化変換係数を、前記圧縮時に用いた量子化テーブルを用いて伸長する伸長手段と、
前記伸長手段で復元された画質評価値算出用ブロックとそれに隣接する周辺の各ブロックそれぞれに対応する変換係数を逆離散コサイン変換する逆離散コサイン変換手段と、
前記逆離散コサイン変換で復元された画質評価値算出用ブロックの周縁部の画素値と、前記画質評価値算出用ブロックに隣接する周囲のブロックそれぞれの前記画質評価値算出用ブロックと接する側の周縁部の画素値との差分を求め、その結果を前記所定の量子化テーブルに対する画質評価値とする画質評価値算出手段と、
を具備することを特徴とする画質評価値算出装置。
請求項５又は請求項６のいずれかに記載の画質評価値算出装置を具備することを特徴とする画像撮影装置。