JP5275078B2 - 画像処理装置、画像処理方法及びそれをコンピュータに実行させるためのプログラム - Google Patents

Description

本発明は、映像信号にスケーリング処理を行って表示装置に表示する画像処理装置、画像処理方法及びそれをコンピュータに実行させるためのプログラムに関するものである。

テレビジョン等の画像表示装置では、輪郭強調処理やノイズ低減処理などの画質調整処理によって、鮮鋭度やノイズ量を制御して表示している。見た目の鮮鋭感やノイズ感は視距離によって変化し、遠くから見た場合は、細かい部分を認識できないために鮮鋭に見えにくいが、近くから見た場合は、鮮鋭に見えやすくノイズが目立ちやすい。このため、視距離を考慮した画質調整方法が知られている。視距離とは、表示装置を視聴する視聴者と、表示画面との間の距離である。

例えば、特許文献１では、輪郭強調処理を行う際に、視距離を計測し、視距離に応じて、強調の強さや強調する周波数帯域を適応的に変化させるテレビジョン受像機について示されている。
図２１は、特許文献１に記載されている従来のテレビジョン受像機の機能的構成の一例を示すブロック図である。視距離取得部１０１では、視距離を計測し、画質調整処理部１０２に出力する。画質調整処理部１０２では、入力画像に対して輪郭強調処理を行うが、視距離に応じて輪郭強調の程度を適応的に変化させる。画質調整処理部１０２から出力された画像は、表示部１０３において視聴者に呈示される。

また、特許文献２では、ノイズ低減処理において、視距離を測定し、視距離に応じてノイズの減算レベルを制御する画像処理装置について示されている。

ところで、ＮＴＳＣ、ＨＤＴＶ等、さまざまなフォーマットの映像信号が入力される画像表示装置では、表示部の画素数に合わせて表示するために、画像を拡大または縮小するスケーリング処理を行っている。スケーリング処理によって鮮鋭度やノイズ量が変化するため、スケーリング倍率を考慮した画質調整処理方法が知られている。例えば、特許文献３では、スケーリング倍率に応じて、ノイズ除去特性を制御するノイズ除去装置について示されている。図２２は、特許文献３に記載されている従来のノイズ除去装置の機能的構成の一例を示すブロック図である。画質調整処理部１１１では、入力画像に対してノイズ除去処理を行うが、倍率に応じてノイズ除去特性を適応的に変化させる。スケーリング処理部１１２では、与えられた倍率のスケーリング処理が行われ、表示部１１３において視聴者に呈示される。

特開平９−２４７５６４号公報 特開２００５−１８４４４２号公報 特開２００２−２５２７９３号公報

しかしながら、スケーリング処理によって得られる画像の画質は、用いるスケーリング手法によって異なる。例えば、ニアレストネイバ法を用いた拡大画像は、入力画像が持っていた周波数成分を壊さないので見た目の鮮鋭度は高いが、平滑化が行われないのでブロック状のノイズが生じやすい。一方、バイリニア法を用いた拡大画像は、鮮鋭度が低いが、目立ったノイズは生じにくい。

これらのことから、スケーリング処理を行って表示する画像の画質は、輪郭強調やノイズ低減などの画質調整処理と、スケーリング処理の両方に依存する。このため、見た目の画質を制御するためには、輪郭強調やノイズ低減などの画質調整処理だけを視距離に応じて変化させても充分に制御できないという問題がある。

本発明は、上述のごとき実情に鑑みてなされたものであり、スケーリング処理を行って表示する画像の画質を効果的に制御する画像処理装置、画像処理方法及びそれをコンピュータに実行させるためのプログラムを提供することを目的とする。

本発明は、入力画像にスケーリング処理をして表示手段に表示させる画像処理装置であって、
入力画像を拡大または縮小するスケーリング処理手段と、前記スケーリング処理手段で得られた画像に対して画質調整を行う画質調整処理手段と、前記表示手段の表示画面と視聴者との間の視距離を取得する視距離取得手段と、を備え、
前記スケーリング処理手段は、複数のスケーリング手法による処理情報を記憶するスケーリング手法記憶手段と、前記視距離取得手段により取得した視距離及びスケーリング倍率に基づいて、前記スケーリング手法記憶手段の処理情報の中から１つを選択するスケーリング手法選択手段と、前記スケーリング手法選択手段により選択した処理情報に基づいて前記スケーリング倍率により画像を作成するスケーリング画像作成手段と、を備えることを特徴とする。

また、本発明は、入力画像にスケーリング処理をして表示手段に表示させる画像処理装置であって、
入力画像を拡大または縮小するスケーリング処理手段と、前記スケーリング処理手段で得られた画像に対して画質調整を行う画質調整処理手段と、前記表示手段の表示画面と視聴者との間の視距離を取得する視距離取得手段と、前記表示手段の表示画面の照度を取得する照度取得手段と、視聴者の視力を取得する視力取得手段と、を備え、
前記スケーリング処理手段は、複数のスケーリング手法による処理情報を記憶するスケーリング手法記憶手段と、前記視距離取得手段により取得した視距離、前記照度取得手段により取得した照度、前記視力取得手段により取得した視力及びスケーリング倍率に基づいて、前記スケーリング手法記憶手段の処理情報の中から一つを選択するスケーリング手法選択手段と、前記スケーリング手法選択手段により選択した処理情報に基づいて前記スケーリング倍率により画像を作成するスケーリング画像作成手段と、を備えることを特徴とする。

上記画像処理装置において、前記表示手段に、複数の画像を同時に表示する場合、前記スケーリング処理手段及び前記画質調整処理手段を、表示する各々の画像に対して独立に備えたことを特徴とする。

また、上記画像処理装置において、前記視距離取得手段は、複数の視聴者がいる場合の視距離を決定する複数の処理モード備え、選択された処理モードにより視距離を取得可能とすることを特徴とする。

また、本発明は、入力画像にスケーリング処理をして表示手段に表示させる画像処理装置であって、
入力画像に対して画質調整を行う画質調整処理手段と、画質調整処理を行った画像を拡大または縮小するスケーリング処理手段と、前記表示手段の表示画面と視聴者との間の視距離を取得する視距離取得手段と、を備え、
前記スケーリング処理手段は、複数のスケーリング手法による処理情報を記憶するスケーリング手法記憶手段と、前記視距離取得手段により取得した視距離及びスケーリング倍率に基づいて、前記スケーリング手法記憶手段の処理情報の中から１つを選択するスケーリング手法選択手段と、前記スケーリング手法選択手段により選択した処理情報に基づいて前記スケーリング倍率により画像を作成するスケーリング画像作成手段と、を備えることを特徴とする。

上記画像処理装置において、前記スケーリング処理手段で得られた画像に対して画質調整を行うスケーリング後画質調整処理手段を更に備え、両画質調整手段で異なる画質調整の処理を行うことを特徴とする。

また、本発明は、入力画像にスケーリング処理をして表示手段に表示させる画像処理方法であって、
視距離取得手段により前記表示手段の表示画面と視聴者との間の視距離を取得する視距離取得ステップと、前記視距離取得手段により取得した前記視距離及びスケーリング倍率に基づいて、複数のスケーリング手法による処理情報を記憶するスケーリング手法記憶手段の処理情報の中から１つを選択するスケーリング手法選択ステップと、選択した処理情報に基づいて前記スケーリング倍率により画像を作成するスケーリング画像作成ステップと、作成された画像に対して画質調整を行う画質調整処理ステップと、を備えることを特徴とする。

また、本発明は、入力画像にスケーリング処理をして表示手段に表示させる画像処理方法であって、
視距離取得手段により前記表示手段の表示画面と視聴者との間の視距離を取得し、照度取得手段により前記表示手段の表示画面の照度とを取得し、視力取得手段により視聴者の視力を取得する取得ステップと、前記視距離取得手段により取得した視距離、前記照度取得手段により取得した照度、前記視力取得手段により取得した前記視力及びスケーリング倍率に基づいて、複数のスケーリング手法による処理情報を記憶するスケーリング手法記憶手段の処理情報の中から１つを選択するスケーリング手法選択ステップと、選択された処理情報に基づいて前記スケーリング倍率により画像を作成するスケーリング画像作成ステップと、作成された画像に対して画質調整を行う画質調整処理ステップと、を備えることを特徴とする。

また、本発明は、入力画像にスケーリング処理をして表示手段に表示させる画像処理方法であって、
視距離取得手段により前記表示手段の表示画面と視聴者との間の視距離を取得する視距離取得ステップと、入力画像に対して画質調整を行う画質調整処理ステップと、前記視距離取得手段により取得した前記視距離及びスケーリング倍率に基づいて、スケーリング手法記憶手段の処理情報の中から１つを選択するスケーリング手法選択ステップと、選択した処理情報に基づいて前記スケーリング倍率により画像を作成するスケーリング画像作成ステップと、を備えることを特徴とする。

本発明は、上記画像処理方法の各ステップをコンピュータに実行させるためのプログラムである。

本発明によれば、画像にスケーリング処理を行う場合に、スケーリング手法を視距離に応じて選択することによって、視距離に応じた画質調整を行うことができる。

第一の実施の形態に係る画像処理装置の概略構成を示すブロック図である。 第一の実施の形態に係るスケーリング処理部の構成例を示すブロック図である。 第一の実施の形態に係るスケーリング処理部での処理の流れの例を示すフローチャートである。 第一の実施の形態に係るスケーリング手法選択部で用いる閾値テーブルの例を示す図である。 第一の実施の形態に係る画質調整処理部の構成例を示すブロック図である。 第一の実施の形態に係る画質調整処理部での処理の流れの例を示すフローチャートである。 第一の実施の形態に係る輪郭強調係数選択部で用いる係数テーブルの例を示す図である。 第二の実施の形態に係る画像処理装置の概略構成を示すブロック図である。 第二の実施の形態に係るスケーリング処理部の構成例を示すブロック図である。 第二の実施の形態に係るスケーリング処理部での処理の流れの例を示すフローチャートである。 第二の実施の形態に係るスケーリング手法選択部で用いる閾値テーブルの例を示す図である。 第二の実施の形態に係る画質調整処理部の構成例を示すブロック図である。 第三の実施の形態に係る画像処理装置の概略構成を示すブロック図である。 第四の実施の形態に係る視聴者と視距離について説明する図である。 第四の実施の形態に係る視距離決定方法に関するモードの例を示す図である。 第五の実施の形態に係る画像処理装置の概略構成の例を示すブロック図である。 第五の実施の形態に係る画像処理装置の別の構成例を示すブロック図である。 第六の実施の形態に係る画像処理装置の概略構成を示すブロック図である。 第六の実施の形態に係るスケーリング処理部の構成例を示すブロック図である。 第六の実施の形態に係るスケーリング手法選択部で用いる混合比テーブルの例を示す図である。 従来のテレビジョン受像機の概略構成を示すブロック図である。 従来のノイズ除去装置の概略構成を示すブロック図である。

以下、添付図面を参照しながら本発明の実施の形態について詳細に説明する。図面において同じ機能を有する部分については同じ符号を付し、繰り返しの説明は省略する。

（第一の実施の形態）
図１は、本発明の第一の実施の形態に係る画像処理装置１０の概略構成を示すブロック図である。図２は、図１におけるスケーリング処理部２の構成例を示し、図３は、図２におけるスケーリング処理部２での処理の流れの例を示す。

本実施形態の画像処理装置１０は、図１に示すように、視距離取得部１と、スケーリング処理部２と、画質調整処理部３とで構成されており、画像処理装置１０で処理された画像が表示部４において視聴者に呈示される。なお、画像処理装置１０と表示部４とが一体の画像表示装置を形成してもよいし、画像処理装置１０と表示部４が別体でも構わない。

視距離取得部１では、視距離を取得し、スケーリング処理部２と画質調整処理部３の両方に出力する。スケーリング処理部２では、入力画像に対し、与えられた倍率のスケーリング処理を行うが、視距離によって異なるスケーリング手法を用いる。スケーリング処理とは、倍率が１より大きい場合は拡大画像、倍率が１より小さい場合は縮小画像を作成する処理である。画質調整処理部３では、スケーリング処理が行われた画像に対して輪郭強調やノイズ低減などの画質調整を行うが、従来の技術と同様に、視距離と倍率に応じて輪郭強調やノイズ低減の程度を適応的に変化させる。画質調整処理部３から表示部４に画像が出力される。

図２に示すように、スケーリング処理部２は、スケーリング手法選択部２１と、閾値記憶部２２と、複数のスケーリング手法の処理情報を記憶するスケーリング手法記憶部２３と、スケーリング画像作成部２４と、で構成されている。スケーリング手法選択部２１は、倍率に基づいて閾値記憶部２２に記憶されている視距離に対する閾値のうちから最適のものを決定し、視距離と閾値を比較して、スケーリング手法記憶部２３に記憶されている複数のスケーリング手法２３ａ〜２３ｎ（ｎ種類）の情報の中から１つを選択する。選択した手法の処理情報を用いて、スケーリング画像作成部２４において、スケーリング画像が作成される。スケーリング手法としては、ニアレストネイバ法、バイリニア法、バイキュービック法、Lanczos補間法などを用いることができる。

スケーリング処理部２の処理の流れの例を図３に示す。この例は、スケーリング手法２３としてニアレストネイバ法とバイリニア法の２つを用意した場合に関するものである。まず、ステップＳ１において、スケーリング手法選択部２１は、スケーリングの倍率に基づいて、閾値記憶部２２に記憶されている閾値の中から視距離に対する閾値を決定する。ステップＳ２では、スケーリング手法選択部２１は、視距離と決定した閾値の大小関係を判定し、それに応じてステップＳ３かステップＳ４に進み、スケーリング手法記憶部２３に記憶されている処理情報の中から、ニアレストネイバ法かバイリニア法のどちらかを選択する。視距離が閾値より大きい場合には、ニアレストネイバ法を用いることで、入力画像が持っていた周波数成分を保ち、遠くからでも鮮鋭に見えやすくする効果がある。視距離が閾値以下の場合には、バイリニア法を用いることで、画像が持っていた周波数成分はやや劣化して鮮鋭度は落ちるが、ノイズを減少させる効果がある。ステップＳ５では、スケーリング画像作成部２４が選択したスケーリング手法の処理情報に基づいて、スケーリング画像を作成する。

ステップＳ１において、閾値記憶部２２に記憶されている閾値は倍率によって変わるものであるが、例えば図４のようなテーブルを用いることができる。Ｈは表示画面の縦方向のサイズを表し、例えば、２Ｈとは、縦方向サイズの２倍の距離を表す。拡大の場合、すなわち倍率が１より大きい場合、倍率が大きくなるにつれて閾値を大きく設定する。これは、倍率が大きい場合には、ニアレストネイバ法で生じるブロック状のノイズのサイズが大きくなるため、ニアレストネイバ法を適用する範囲を、視距離が遠い場合のみに限定する効果がある。縮小の場合、すなわち倍率が１より小さい場合、倍率が小さくなるにつれて閾値を大きく設定する。帯域制限をしないでニアレストネイバ法で縮小すると折返し歪によるノイズが生じるが、倍率が小さい場合には、折返し歪によるノイズが強く生じやすいため、ニアレストネイバ法を適用する範囲を、視距離が遠い場合のみに限定する効果がある。

なお、本構成例ではテーブルを用いたが、テーブルに限定するものではなく、倍率によって閾値を連続的に変化させてもよい。例えば、図４のテーブルの変わりに以下の式によって閾値を決定する。
・倍率＞１の場合：閾値＝Ｈ・（倍率−１）＋Ｈ
・０＜倍率＜１の場合：Ｈ／倍率
（Ｈ：表示画面の縦方向のサイズ）

また、本実施例では、ニアレストネイバ法とバイリニア法を用いたが、この２つに限定するものではなく、他のスケーリング手法を用いてもよいし、３つ以上のスケーリング手法の中から１つを選択するようにしてもよい。また、ここでのスケーリング手法選択部は、視距離とスケーリング倍率の２つの入力からスケーリング手法を選択する方法について記載しているが、この方法に限定するものではなく、いずれか一方のみを用いてスケーリング手法を選択するようにしてもよい。

図５は、図１における画質調整処理部３の構成例を示す。この例は、画質調整として輪郭強調処理のみを行う場合に関するものである。画質調整処理部３は、輪郭強調係数選択部３１と、輪郭強調係数記憶部３２と、輪郭画像作成部３３と、輪郭強調画像作成部３４とから構成される。輪郭強調係数選択部３１は、視距離と倍率に応じて輪郭強調係数を選択する。輪郭強調係数記憶部３２は、倍率と視距離に対する輪郭強調係数が複数記憶されている。輪郭画像作成部３３は、輪郭抽出処理を行い、入力画像の輪郭成分だけを取り出した画像を作成する。これを輪郭画像とする。輪郭抽出処理には、微分フィルタなどの輪郭抽出フィルタや、その他のハイパスフィルタ、バンドパスフィルタなどを用いることができる。輪郭強調画像作成部３４は、輪郭画像に輪郭強調係数を掛けて、入力画像に加算する。

画質調整処理部３の処理の流れの例を図６に示す。まず、ステップＳ１１において、輪郭画像作成部３３は、輪郭抽出処理を行い、入力画像Ｉの輪郭成分だけを取り出した画像Ｊを作成する。ステップＳ１２において、輪郭強調係数選択部３１は、視距離とスケーリングの倍率とに基づいて、輪郭強調係数記憶部３２に記憶されている輪郭強調係数の中から一つの係数Ｃを選択する。ステップＳ１３において、輪郭強調画像作成部３４は、輪郭画像Ｊに輪郭強調係数を掛けて、入力画像に加算し、表示部４へ画像Ｋとして出力する。
すなわち、Ｋ＝Ｉ＋Ｃ・Ｊ となる。

ステップＳ１２における輪郭強調係数選択部３１での選択は、例えば図７のようなテーブルによって行う。このテーブルが輪郭強調係数記憶部３２に記憶されている。輪郭強調係数が大きいほど輪郭が強く強調され、係数が０の場合は輪郭強調が行われない。テーブルの作成は、スケーリング処理部２で用いる図４の閾値テーブルを考慮し、ニアレストネイバ法が選択される際には輪郭強調係数を小さく設定する。これは、ニアレストネイバ法を用いた画像に対する過剰な輪郭強調を防ぐ効果がある。

なお、本構成例では輪郭強調係数選択部３１での選択にテーブルを用いたが、テーブルに限定するものではなく、倍率によって輪郭強調係数を連続的に変化させてもよい。また、図５のように輪郭画像の加算によって輪郭強調をするのではなく、高域強調フィルタやバンド強調フィルタを入力画像に施すことによって一段階で輪郭強調を行ってもよい。また、画質調整処理部３で行われる画質調整処理の内容は、輪郭強調処理だけではなく他の画質調整処理が含まれてもよいし、輪郭強調処理が含まれなくてもよい。また、視距離と倍率に応じて変化させずに、一定でもよいし、視距離とスケーリング倍率のどちらか一方だけに応じて変えてもよい。

図１における視距離取得部１での視距離取得方法については、例えば、表示装置に赤外線センサや超音波センサなどの距離センサを実装することで実現できる。或いは、視聴者がリモートコントローラなどを用いて表示装置までの距離を入力してもよい。

上述のとおり、本実施形態の画像処理装置によれば、画像にスケーリング処理を行う場合に、視距離に応じて表示画質に適するスケーリング手法を選択することができ、最適な画質調整を行うことができる。

（第二の実施の形態）
図８は、本発明の第二の実施の形態に係る画像処理装置４０の概略構成を示すブロック図である。図９は、図８におけるスケーリング処理部４２の構成例を示した図であり、図１０は、図９におけるスケーリング処理部４２での処理の流れの例を示すフローチャートである。

本実施形態の画像処理装置４０は、図８に示すように、視距離取得部１と、スケーリング処理部４２と、画質調整処理部４３と照度取得部４５と、視力取得部４６とで構成されており、画像処理装置４０で処理された画像が表示部４において視聴者に呈示される。視距離取得部１及び表示部４は図１と同じ機能なので、図１と同一符号を付している。

照度取得部４５では、視聴環境の照明や外光による表示部４の照度を、照度計を用いて計測する。視力取得部４６では、視聴者の視力を取得する。これは、視聴者が視力を入力してもよいし、表示部に視力計測用の図形を表示して、簡単な視力検査を行ってもよい。視距離取得部１と照度取得部４５と視力取得部４６とでそれぞれ取得した視距離と照度と視力は、スケーリング処理部４２と画質調整処理部４３の両方に出力する。

スケーリング処理部４２では、入力画像に対し、与えられた倍率のスケーリング処理を行うが、視距離と照度と視力によって異なるスケーリング手法を用いる。画質調整処理部４３では、スケーリング処理が行われた画像に対して輪郭強調やノイズ低減などの画質調整を行うが、視距離と照度と視力と倍率に応じて輪郭強調やノイズ低減の程度を適応的に変化させる。画質調整処理部４３から出力された画像は、表示部４において視聴者に呈示される。

図９に示すように、スケーリング処理部４２は、スケーリング手法選択部５１と、閾値記憶部５２と、複数のスケーリング手法の処理情報を記憶するスケーリング手法記憶部５３と、スケーリング画像作成部５４と、で構成されている。図２と異なるのは、スケーリング手法選択部５１への入力に、照度と視力が加わっている点である。スケーリング手法選択部５１では、照度と視力と視距離と倍率とに応じて、予め用意してある複数のスケーリング手法の中から１つを選択する。

スケーリング処理部４２の処理の流れの例を図１０に示す。この例は、スケーリング手法２３としてニアレストネイバ法とバイリニア法の２つを用意した場合に関するものであり、図３と異なるのは、ステップＳ２１への入力に、照度と視力が加わっている点である。ステップＳ２１では、スケーリング手法選択部５１は、照度と視力と倍率に応じて、閾値記憶部５２に記憶されている閾値の中から閾値を決定する。ステップＳ２２では、スケーリング手法選択部５１は、視距離と決定した閾値の大小関係を判定し、それに応じてステップＳ２３かステップＳ２４に進み、スケーリング手法記憶部５３に記憶されている処理情報の中から、ニアレストネイバ法かバイリニア法のどちらかを選択する。視距離が閾値より大きい場合には、ニアレストネイバ法を用いることで、入力画像が持っていた周波数成分を保ち、遠くからでも鮮鋭に見えやすくする効果がある。視距離が閾値以下の場合には、バイリニア法を用いることで、画像が持っていた周波数成分はやや劣化して鮮鋭度は落ちるが、ノイズを減少させる効果がある。ステップＳ２５では、スケーリング画像作成部５４が選択したスケーリング手法の処理情報に基づいて、スケーリング画像を作成する。

ステップＳ２１において、閾値記憶部５２に記憶されている閾値は照度、視力、倍率によって変わるものであるが、例えば図１１のようなテーブルを用いることができる。本実施例でも、第一の実施例と同様に、拡大の場合は倍率が大きくなるにつれて閾値を大きくし、縮小の場合は倍率が小さくなるにつれて閾値を大きく設定する。さらに、照度と視力も考慮し、視力が良い場合には、閾値を大きくしている。これは、視力が良い視聴者の方が鮮鋭に見えやすいためである。また、照度が非常に高い場合には、閾値を小さくしている。これは、光幕反射によって表示画面が見えにくくなり、細かい部分を認識できないためである。光幕反射の他、視覚のコントラスト感度が明るさによって変化することなども、照度と閾値の関係を決める際に考慮することができる。

また、ここでのスケーリング手法選択部は、照度と視力と視距離とスケーリング倍率の４つの入力からスケーリング手法を選択する方法について記載しているが、この方法に限定されるのではなく、これらの入力の中から１つもしくは複数の入力を組み合わせて、スケーリング手法を選択するようにしてもよい。

図１２は、図８における画質調整処理部４３の構成例を示す。この例は、画質調整として輪郭強調処理のみを行う場合に関するものである。画質調整処理部４３は、輪郭強調係数選択部６１と、輪郭強調係数記憶部６２と、輪郭画像作成部３３と、輪郭強調画像作成部３４とから構成される。輪郭画像作成部３３及び輪郭強調画像作成部３４は図５と同じ機能なので、図１と同一符号を付している。

輪郭強調係数選択部６１は、照度、視力、視距離及び倍率に応じて輪郭強調係数を選択する。輪郭強調係数記憶部６２は、照度、視力、視距離及び倍率と視距離に対する輪郭強調係数が複数記憶されている。輪郭画像作成部３３は、輪郭抽出処理を行い、入力画像の輪郭成分だけを取り出した画像を作成する。これを輪郭画像とする。輪郭抽出処理には、微分フィルタなどの輪郭抽出フィルタや、その他のハイパスフィルタ、バンドパスフィルタなどを用いることができる。輪郭強調画像作成部３４は、輪郭画像に輪郭強調係数を掛けて、入力画像に加算する。画質調整処理部３の処理の流れは図６に示す流れと同じであり、説明は省略する。

なお、輪郭強調係数選択部６１での選択に第一の実施の形態のようにテーブルを用いてもよいし、倍率によって輪郭強調係数を連続的に変化させてもよい。また、図１２のように輪郭画像の加算によって輪郭強調をするのではなく、高域強調フィルタやバンド強調フィルタを入力画像に施すことによって一段階で輪郭強調を行ってもよい。また、画質調整処理部３で行われる画質調整処理の内容は、輪郭強調処理だけではなく他の画質調整処理が含まれてもよいし、輪郭強調処理が含まれなくてもよい。また、視距離と倍率に応じて変化させずに、一定でもよいし、視距離とスケーリング倍率のどちらか一方だけに応じて変えてもよい。

上述のとおり、本実施形態の画像処理装置によれば、画像にスケーリング処理を行う場合に、照度、視力を考慮してすることで、視距離に応じた表示画質に適するスケーリング手法を、より細かく選択することができ、最適な画質調整を行うことができる。

（第三の実施の形態）
図１３は、本発明の第三の実施の形態に係る画像処理装置の概略構成を示すブロック図である。本実施形態は、入力画像が複数ある場合に関するものであり、図１３は、入力画像が２つの場合について示したものである。２つの入力画像がある場合とは、１つの映像を視聴中に、画面内に他の映像を小さく表示する子画面表示や、２つの映像を左右などに並べて同時に表示する２画面表示を行う場合である。２つの入力画像を、親画面入力画像、子画面入力画像と呼ぶことにする。

本実施形態の画像処理装置７０は、図１３に示すように、視距離取得部１と、親画面スケーリング処理部７１と、親画面画質調整処理部７２と、子画面スケーリング処理部７３と、子画面画質調整処理部７４とで構成されており、画像処理装置７０で処理された画像が表示部４において視聴者に呈示される。視距離取得部１及び表示部４は図１と同じ機能なので、図１と同一符号を付している。

視距離取得部１では、視距離を取得し、親画面スケーリング処理部７１と、親画面画質調整処理部７２と、子画面スケーリング処理部７３と、子画面画質調整処理部７４とに出力する。
親画面スケーリング処理部７１と子画面スケーリング処理部７３の処理内容は、第一の実施形態におけるスケーリング処理部２の処理内容と同じであり、また、親画面画質調整処理部７２と子画面画質調整処理部７４の処理内容は第一の実施形態における画質調整処理部３の処理内容と同じである。

親画面スケーリング処理部７１では、親画面入力画像に対し、親画面用に与えられた親画面倍率でのスケーリング処理を行うが、視距離によって異なるスケーリング手法を用いる。親画面倍率の値が１の場合は、スケーリング処理を行わず、そのまま出力する。親画面画質調整処理部７２では、スケーリング処理が行われた画像に対して輪郭強調やノイズ低減などの画質調整を行うが、視距離と倍率に応じて輪郭強調やノイズ低減の程度を適応的に変化させる。親画面と同様に、子画面スケーリング処理部７３では、子画面入力画像に対し、子画面倍率でのスケーリング処理を行うが、視距離によって異なるスケーリング手法を用いる。子画面倍率の値が１の場合は、スケーリング処理を行わず、そのまま出力する。子画面画質調整処理部７４では、スケーリング処理が行われた画像に対して輪郭強調やノイズ低減などの画質調整を行うが、視距離と倍率に応じて輪郭強調やノイズ低減の程度を適応的に変化させる。親画面画質調整処理部７２と子画面画質調整処理部７４から出力された画像は、表示部４において視聴者に呈示される。なお、入力画像の数は２つに限定するものではなく、３つ以上であっても同様に、それぞれの入力画像に対して独立に、視距離に応じたスケーリング処理を行うことができる。

上述のとおり、本実施形態の画像処理装置によれば、複数の入力画像に独立にスケーリング処理を行うことができるので、視距離に応じて、それぞれの画像に適した画質調整を行うことができる。

（第四の実施の形態）
本発明の第四の実施の形態は、視聴者が複数いる場合の視距離の決定方法に関するものである。本実施形態の画像処理装置の概略構成は、第一の実施形態と同様に図１で示されるが、視聴者が複数いる場合について、視距離取得部１における処理の方法について示す。

図１４は、本実施形態に係る視聴者と視距離について説明する図であり、例として視聴者が４人の場合に関するものである。図１４において、Ｐ１からＰ４は、４人の視聴者であり、全員が表示画面７５を視聴している。Ｄ１からＤ４は、それぞれ、Ｐ１からＰ４の視聴者と表示画面７５との間の距離であり、この例では、Ｄ２＜Ｄ１＜Ｄ３＜Ｄ４の順に長くなっている。また、優先的に画質調整をできる視聴者を優先視聴者と呼ぶことにし、図１４ではＰ１を優先視聴者とした。

本実施形態では、複数の視聴者がいる場合の視距離の決定方法を、視聴者が選択する。図１５は、視聴者が選択する視距離決定方法に関するモードの例を示したものである。これらのモードはあらかじめ記憶されており、この複数のモード対して視聴者が選択する。視距離取得部１は、選択されたモードで視距離を取得する。

平均値モードは、視距離の平均値を出力し、各視聴者に認識される画質を平均的に調整する効果がある。最小値モードは、視距離の最小値を出力し、最も近い視聴者に適した画質に調整する効果がある。最大値モードは、視距離の最大値を出力し、最も遠い視聴者に適した画質に調整する効果がある。優先視聴者モードは、優先視聴者の視距離を出力し、優先視聴者に適した画質に調整する効果がある。中心視聴者モードは、表示画面を中心に近い位置から見ている視聴者の視距離を出力し、その視聴者に対して適した画質に調整する効果がある。

視聴者の中から優先視聴者を設定する方法については、例えば、専用のリモートコントローラを用いて、位置を表示装置に通知することで実現できる。視聴者によるモードの選択は、例えば、リモートコントローラに設けられたボタンの操作によって行うことができる。或いは、表示装置にボタンを設けてもよい。

上述のとおり、本実施形態の画像処理装置によれば、視聴者が複数いる場合、視距離を決定する複数の処理モードから視聴者の所望のモードを選択できるので、視聴者が望む視距離に応じたスケーリング処理によって画質調整を行うことができる。

（第五の実施の形態）
本発明の第五の実施の形態は、スケーリング処理の前に画質調整処理を行う場合の構成について示したものである。図１６は、本実施形態に係る画像処理装置の概略構成の例を示すブロック図であり、画像処理装置１１は、視距離取得部１と、画質調整処理部３と、スケーリング処理部２とで構成されて、画像処理装置１１で処理された画像が表示部４において視聴者に呈示される。第一の実施形態を示した図１に対して、スケーリング処理部２と画質調整処理部３との順序を入れ替えたものである。

視距離取得部１では、視距離を取得し、画質調整処理部３とスケーリング処理部２の両方に出力する。画質調整処理部３では、入力画像に対して輪郭強調やノイズ低減などの画質調整を行うが、従来の技術と同様に、視距離と倍率に応じて輪郭強調やノイズ低減の程度を適応的に変化させる。スケーリング処理部２では、画質調整が行われた画像に対し、与えられた倍率のスケーリング処理を行うが、視距離によって異なるスケーリング手法を用いる。スケーリング処理部２から出力された画像は、表示部４において視聴者に呈示される。

図１７は本実施形態に係る画像処理装置の別の構成の例を示すブロック図である。この画像処理装置８０は、視距離取得部１と、スケーリング前画質調整処理部８１と、スケーリング処理部２と、スケーリング後画質調整処理部８２とで構成されており、画像処理装置８０で処理された画像が表示部４において視聴者に呈示される。図１６の構成と異なるのは、スケーリング処理の後にも画質調整処理を行う点である。

視距離取得部１では、視距離を取得し、スケーリング前画質調整処理部８１と、スケーリング処理部２と、スケーリング後画質調整処理部８２とに出力する。スケーリング前画質調整処理部８１とスケーリング後画質調整処理部８２では、視距離と倍率に応じて輪郭強調やノイズ低減などの画質調整を行う。例えば、ノイズ低減をスケーリング前画質調整処理部８１で行い、輪郭強調をスケーリング後画質調整処理部８２で行う。これは、スケーリングによってノイズが強調されるのを抑える効果がある。或いは、輪郭強調とノイズ低減を、それぞれ、スケーリング前画質調整処理部８１とスケーリング後画質調整処理部８２の両方で行ってもよいし、輪郭強調をスケーリング前画質調整処理部８１で行い、ノイズ低減をスケーリング後画質調整処理部８２で行ってもよい。

上述のとおり、本実施形態の画像処理装置によれば、視距離に応じたスケーリング処理を行う場合に、スケーリング処理の前に画質調整処理を行うことによって、画質調整の制御が容易になる。また、さらにスケーリング処理の後にも異なる画質調整を行うことによってさらに適した画質調整が可能となる。

（第六の実施の形態）
本発明の第六の実施の形態に係る画像処理装置の概略構成は、第一の実施形態の図１とほぼ同様であるが、スケーリング処理部の構成が異なる。図１８は、本発明の第六の実施の形態に係る画像処理装置９０の概略構成を示すブロック図である。図１９は、図１８におけるスケーリング処理部９２の構成例を示す。

本実施形態の画像処理装置９０は、図１８に示すように、視距離取得部１と、スケーリング処理部９２と、画質調整処理部３とで構成されており、画像処理装置９０で処理された画像が表示部４において視聴者に呈示される。図１９に示すように、スケーリング処理部９２は、２つのスケーリング画像作成部２４ａ，２４ｂと、混合比選択部９４と、スケーリング画像混合部９５とで構成されている。ここで、スケーリング画像作成部２４ａ，２４ｂは、図２に示すスケーリング画像作成部２４と同様の機能を有する。

例えば、スケーリング画像作成部２４ａはニアレストネイバ法、スケーリング画像作成部２４ｂはバイリニア法を用いて、それぞれスケーリング画像を作成する。作成された２枚のスケーリング画像から、スケーリング画像混合部９５において重み付き平均によって混合画像を作成する。画素ごとに、２枚の画像の同じ位置の画素値の重み付き平均を計算し、それを混合画像の画素値とする。得られた混合画像を、スケーリング処理部９２の出力画像とする。混合によって、それぞれのスケーリング手法の特性を併せ持つスケーリング画像が得られる。スケーリング画像混合部９５で用いる混合比は、混合比選択部９４で求める。混合比は視距離と倍率によって選択するが、例えば図２０のようなテーブルを用いることができる。

図２０において、２０％とは、ニアレストネイバ法のスケーリング画像とバイリニア法のスケーリング画像を、２０％と８０％の混合比で混合するという意味である。混合比は０％から１００％までの間の値を取り、視距離が遠いほどニアレストネイバ法の割合が大きくなるように設定する。拡大の場合、すなわち倍率が１より大きい場合、倍率が大きくなるにつれてニアレストネイバ法の割合を小さくし、縮小の場合、すなわち倍率が１より小さい場合、倍率が小さくなるにつれてニアレストネイバ法の割合を小さく設定する。

なお、本構成例ではテーブルを用いたが、テーブルに限定するものではなく、倍率によって閾値を連続的に変化させてもよい。また、本実施例では、ニアレストネイバ法とバイリニア法を用いたが、この２つに限定するものではなく、他のスケーリング手法を用いてもよいし、３つ以上のスケーリング手法で各々スケーリング画像を作成し、それらの画像を混合するようにしてもよい。

上述のとおり、本実施形態の画像処理装置によれば、画像にスケーリング処理を行う場合に、それぞれ異なるスケーリング手法で作成した画像を混合してスケーリング画像を作成するので、視距離に応じた画質調整を細かく制御することができる。

以上において、本発明の画像処理装置及び方法に関する実施形態の例について説明したが、これらの説明から、本画像処理装置に用いる画像処理装置及び方法、及び、該画像処理方法をコンピュータによりプログラムとして実行する処理プログラム、及び、該処理プログラムをコンピュータにより読み取り可能な記録媒体に記録したプログラム記録媒体についても容易に理解することができるであろう。

また、本発明の画像処理装置に用いる画像処理方法は、上述したとおり、画像表示部と一体的に構成してもよいし、画像表示部とは別体に、画像処理装置として設けられてもよい。さらに、これらに限らず、例えば各種記録メディア再生装置などの映像出力機器内に設けられても良いことは言うまでもない。

１ 視距離取得部
２ スケーリング処理部
３ 画質調整処理部
４ 表示部
１０ 画像処理装置
１１ 画像処理装置
２１ スケーリング手法選択部
２２ 閾値記憶部
２３ スケーリング手法記憶部
２４ スケーリング画像作成部
２４ａ，２４ｂ スケーリング画像作成部
３１ 輪郭強調係数選択部
３２ 輪郭強調係数記憶部
３３ 輪郭画像作成部
３４ 輪郭強調画像作成部
４０ 画像処理装置
４２ スケーリング処理部
４３ 画質調整処理部
４５ 照度取得部
４６ 視力取得部
５１ スケーリング手法選択部
５２ 閾値記憶部
５３ スケーリング手法記憶部
５４ スケーリング画像作成部
６１ 輪郭強調係数選択部
６２ 輪郭強調係数記憶部
７０ 画像処理装置
７１ 親画面スケーリング処理部
７２ 親画面画質調整処理部
７３ 子画面スケーリング処理部
７４ 子画面画質調整処理部
７５ 表示画面
８０ 画像処理装置
８１ スケーリング前画質調整処理部
８２ スケーリング後画質調整処理部
９０ 画像処理装置
９２ スケーリング処理部
９４ 混合比選択部
９５ スケーリング画像混合部
１０１ 視距離取得部
１０２ 画質調整処理部
１０３ 表示部
１１１ 画質調整処理部
１１２ スケーリング処理部
１１３ 表示部

Claims (10)

1. 入力画像にスケーリング処理をして表示手段に表示させる画像処理装置であって、
   入力画像を拡大または縮小するスケーリング処理手段と、
   前記スケーリング処理手段で得られた画像に対して画質調整を行う画質調整処理手段と、
   前記表示手段の表示画面と視聴者との間の視距離を取得する視距離取得手段と、
   を備え、
   前記スケーリング処理手段は、
   複数のスケーリング手法による処理情報を記憶するスケーリング手法記憶手段と、
   前記視距離取得手段により取得した視距離及びスケーリング倍率に基づいて、前記スケーリング手法記憶手段の処理情報の中から１つを選択するスケーリング手法選択手段と、
   前記スケーリング手法選択手段により選択した処理情報に基づいて前記スケーリング倍率により画像を作成するスケーリング画像作成手段と、
   を備えることを特徴とする画像処理装置。
2. 入力画像にスケーリング処理をして表示手段に表示させる画像処理装置であって、
   入力画像を拡大または縮小するスケーリング処理手段と、
   前記スケーリング処理手段で得られた画像に対して画質調整を行う画質調整処理手段と、
   前記表示手段の表示画面と視聴者との間の視距離を取得する視距離取得手段と、
   前記表示手段の表示画面の照度を取得する照度取得手段と、
   視聴者の視力を取得する視力取得手段と、
   を備え、
   前記スケーリング処理手段は、
   複数のスケーリング手法による処理情報を記憶するスケーリング手法記憶手段と、
   前記視距離取得手段により取得した視距離、前記照度取得手段により取得した照度、前記視力取得手段により取得した視力及びスケーリング倍率に基づいて、前記スケーリング手法記憶手段の処理情報の中から一つを選択するスケーリング手法選択手段と、
   前記スケーリング手法選択手段により選択した処理情報に基づいて前記スケーリング倍率により画像を作成するスケーリング画像作成手段と、
   を備えることを特徴とする画像処理装置。
3. 請求項１又は２に記載の画像処理装置において、
   前記表示手段に、複数の画像を同時に表示する場合、前記スケーリング処理手段及び前記画質調整処理手段を、表示する各々の画像に対して独立に備えたことを特徴とする画像処理装置。
4. 請求項１又は２に記載の画像処理装置において、
   前記視距離取得手段は、複数の視聴者がいる場合の視距離を決定する複数の処理モード備え、選択された処理モードにより視距離を取得可能とすることを特徴とする画像処理装置。
5. 入力画像にスケーリング処理をして表示手段に表示させる画像処理装置であって、
   入力画像に対して画質調整を行う画質調整処理手段と、
   画質調整処理を行った画像を拡大または縮小するスケーリング処理手段と、
   前記表示手段の表示画面と視聴者との間の視距離を取得する視距離取得手段と、
   を備え、
   前記スケーリング処理手段は、
   複数のスケーリング手法による処理情報を記憶するスケーリング手法記憶手段と、
   前記視距離取得手段により取得した視距離及びスケーリング倍率に基づいて、前記スケーリング手法記憶手段の処理情報の中から１つを選択するスケーリング手法選択手段と、
   前記スケーリング手法選択手段により選択した処理情報に基づいて前記スケーリング倍率により画像を作成するスケーリング画像作成手段と、
   を備えることを特徴とする画像処理装置。
6. 請求項５に記載の画像処理装置において、
   前記スケーリング処理手段で得られた画像に対して画質調整を行うスケーリング後画質調整処理手段を更に備え、
   両画質調整手段で異なる画質調整の処理を行うことを特徴とする画像処理装置。
7. 入力画像にスケーリング処理をして表示手段に表示させる画像処理方法であって、
   視距離取得手段により前記表示手段の表示画面と視聴者との間の視距離を取得する視距離取得ステップと、
   前記視距離取得手段により取得した前記視距離及びスケーリング倍率に基づいて、複数のスケーリング手法による処理情報を記憶するスケーリング手法記憶手段の処理情報の中から１つを選択するスケーリング手法選択ステップと、
   選択した処理情報に基づいて前記スケーリング倍率により画像を作成するスケーリング画像作成ステップと、
   作成された画像に対して画質調整を行う画質調整処理ステップと、
   を備えることを特徴とする画像処理方法。
8. 入力画像にスケーリング処理をして表示手段に表示させる画像処理方法であって、
   視距離取得手段により前記表示手段の表示画面と視聴者との間の視距離を取得し、照度取得手段により前記表示手段の表示画面の照度とを取得し、視力取得手段により視聴者の視力を取得する取得ステップと、
   前記視距離取得手段により取得した視距離、前記照度取得手段により取得した照度、前記視力取得手段により取得した前記視力及びスケーリング倍率に基づいて、複数のスケーリング手法による処理情報を記憶するスケーリング手法記憶手段の処理情報の中から１つを選択するスケーリング手法選択ステップと、
   選択された処理情報に基づいて前記スケーリング倍率により画像を作成するスケーリング画像作成ステップと、
   作成された画像に対して画質調整を行う画質調整処理ステップと、
   を備えることを特徴とする画像処理方法。
9. 入力画像にスケーリング処理をして表示手段に表示させる画像処理方法であって、
   視距離取得手段により前記表示手段の表示画面と視聴者との間の視距離を取得する視距離取得ステップと、
   入力画像に対して画質調整を行う画質調整処理ステップと、
   前記視距離取得手段により取得した前記視距離及びスケーリング倍率に基づいて、スケーリング手法記憶手段の処理情報の中から１つを選択するスケーリング手法選択ステップと、
   選択した処理情報に基づいて前記スケーリング倍率により画像を作成するスケーリング画像作成ステップと、
   を備えることを特徴とする画像処理方法。
10. 請求項７乃至９のいずれか１項に記載の画像処理方法の各ステップをコンピュータに実行させるためのプログラム。

Images