JP5521913B2 - 画像処理装置、および画像処理方法、並びにプログラム - Google Patents

Description

本発明は、画像処理装置、および画像処理方法、並びにプログラムに関し、特に２次元画像に対する画像変換を実行してステレオ視（立体視）に対応した両眼視差画像を生成する画像処理装置、および画像処理方法、並びにプログラムに関する。

２次元画像をステレオ視（立体視）に対応した両眼視差画像に変換する装置および方法について従来から様々な提案がなされている。２次元画像に基づいて生成された両眼視差画像は、左眼で観察する左眼用画像と右眼で観察する右眼用画像のペアによって構成される。これらの左眼用画像と右眼用画像のペアによって構成される両眼視差画像を、左眼用画像と右眼用画像をそれぞれ分離して観察者の左眼と右眼に提示することを可能とした表示装置に表示することで、観察者は画像を立体画像として知覚することができる。

このような画像の生成や表示処理に関して開示した従来技術には以下のようなものがある。
例えば、特許文献１には、水平方向に動きがある動画像に対する画像処理構成を開示している。具体的には左眼用画像または右眼用画像の一方に原画像を出力し、他方にはフィールド単位で遅延させた画像を出力する構成である。このような画像出力制御により、水平に移動する物体を背景よりも手前に知覚させるものである。

また、特許文献２は、静止画像や動きの少ない画像に対して、左眼用画像と右眼用画像を所定量だけ水平方向にずらすことにより、画像が浮き上がったように知覚させる装置を提案している。
また、特許文献３は、画像を複数の視差算出領域に分割し、各領域において画像の特徴量から擬似的な奥行きを算出し、奥行きに基づいて左眼用画像と右眼用画像を反対方向に水平シフトする方法を提案している。

また、特許文献４には、特許文献３と同様にして、画像の特徴量から算出される遅延量に基づいて、左眼用画像と右眼用画像の水平遅延量を変化させながら、水平遅延量に制限を与えることにより必要以上に網膜像差が生じないようにすることで眼の疲労度を防ぐ提案がなされている。
さらに、特許文献５には、画像の上部と下部の特徴量を算出し、予め用意した奥行き情報を表す複数のシーン構造の合成比率を調整することより、画像を単純な構造の組み合わせで表現する方法が提案されている。
ところで、上記の従来技術には以下に示すような問題がある。

特許文献１に記載の画像変換装置では、水平方向に一定の速度で動く物体に対してのみ良好な立体視が可能である。複数の動被写体が写っているような画像や、複雑な動きが含まれる画像においては両眼視差が正しく設定されず、不自然な位置に物体が配置されたり、網膜像差が大きくなりすぎるために立体視が成立しなくなることが考えられる。
また、特許文献２に記載の画像変換装置では、静止画や動きの少ない画像に対しては、画面全体をずらすのみであり、画像中の物体の前後関係を表現することは出来ない。

特許文献３、および特許文献４に記載の画像変換装置では、画像の特徴量から擬似的な奥行きを推定するが、推定は画面前方にある物体の先鋭度が高い、輝度が高い、彩度が高いなどの仮定に基づいており、必ずしも正しい推定が行われるとは限らない。このため、奥行き推定を誤った物体に対しては誤った網膜像差が与えられるため、誤った位置に配置されてしまう。

特許文献５に記載の画像変換装置は、画像の構造を比較的単純な有限の構造に当てはめる構成であり、不自然な奥行きが発生することは抑制される。しかしながら、上記の全ての従来手法に共通する問題であるが、生成された両眼視差画像には、比較的大きな網膜像差が発生する。この両眼視差画像は、立体表示装置を利用して立体表示されるが、一般的には偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式、または液晶シャッタにより時間的に左右分離するアクティブ眼鏡方式など、立体視用の特殊な眼鏡を装着して画像を観察する立体表示装置が利用される。

大きな網膜像差を与えられた両眼視差画像を見る場合、このような立体視用の眼鏡をかけた状態では網膜像差に従った立体感を知覚することが出来る。しかし、眼鏡をはずした状態で、画面をみると左右の画像が大きく重なった２重の画像が見えてしまい、通常の２次元画像として観察することはできない。つまり、これら従来の画像変換装置により変換された画像は、眼鏡をかけた状態でしか鑑賞することができなかった。

また、大きな網膜像差は、観察者の疲れにも影響すると考えられる。例えば特許文献６には、左眼と右眼の画像が大きくずれている場合には、現実世界での見え方に対して、輻輳角の制御と水晶体の調整に矛盾が生じ、この矛盾が両眼視差を用いた立体視における疲労に繋がっているとの記述がある。

また、特許文献３、特許文献４、および特許文献５に記載の画像変換装置では、画像から擬似的な奥行きを推定しているが、１枚の画像から詳細な奥行きを検出することは難しく、たとえば、樹木の枝や電線、髪の毛のような微細な構造に対する奥行きの推定を行うことは容易ではない。従って、これらの微細な被写体に立体感を持たせることはできなかった。

特開平９−１０７５６２号公報 特開平８−３０８０６号公報 特開平１０−５１８１２号公報 特開２０００−２０９６１４号公報 特開２００５−１５１５３４号公報 特開平６−１９４６０２号公報

本発明は、例えば上記の問題を解決し、奥行き推定の誤りにより誤った立体感の発生を抑制し、左右の画像が合成された場合に原画像、または原画像に近い画像を復元可能とする。すなわち、立体視対応の眼鏡をはずした状態では通常の２次元画像として鑑賞することが可能であり、かつ観察者の疲労の少ない両眼視差画像の生成、提示を実現する画像処理装置、および画像処理方法、並びにプログラムを提供することにある。

本発明の第１の側面は、
２次元画像信号を入力する画像入力部と、
前記画像入力部から出力される画像信号を入力して、立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換部と、
前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力部を具備し、
前記画像変換部は、
入力画像信号の空間的な特徴量を抽出し、前記特徴量を適用した画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行う構成であり、前記入力画像信号の所定領域単位の距離情報と予め規定した閾値との比較処理結果に応じて異なる態様の画像変換処理を実行する画像処理装置にある。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を左眼用画像または右眼用画像として生成し、入力画像信号に処理を加えない非変換信号を前記変換信号と異なる眼用の画像として出力する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、入力画像信号の輝度微分信号を抽出し、該輝度微分信号を非線形変換して生成した信号を前記特徴量として設定し、入力画像信号に対して前記特徴量を加算した信号または減算した信号を生成し、これらの信号のいずれかを左眼用画像または右眼用画像として生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、前記入力画像信号の所定領域単位の距離情報と予め規定した閾値との比較処理結果に応じて、前記入力画像信号に前記特徴量を加算して左眼用画像または右眼用画像を生成する処理と、前記入力画像信号から前記特徴量を減算して左眼用画像または右眼用画像を生成する処理を切り替えて処理を実行する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、前記所定領域単位の距離と前記予め規定した閾値との関係が、距離≦閾値の場合には、左眼用画像信号を前記入力画像信号から前記特徴量を減算した信号、右眼用画像信号を前記入力画像信号に前記特徴量を加算した信号として生成し、距離＞閾値の場合には、左眼用画像信号を前記入力画像信号に前記特徴量を加算した信号、右眼用画像信号を前記入力画像信号から前記特徴量を減算した信号として生成する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、前記所定領域単位の距離情報に応じて前記入力画像信号と前記特徴量との加算処理と減算処理を入れ替える処理を行い、知覚範囲を表示部の前後領域に拡大した左眼用画像と右眼用画像を生成する。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像変換部の生成する左眼用画像と右眼用画像の出力を行う画像出力部を有し、前記画像出力部は、前記画像変換部の生成する左眼用画像と右眼用画像を入力画像フレームレートの２倍速で交互に出力する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、動画像を構成する各フレームに対して、左眼用画像と右眼用画像のいずれか一方のみを交互に生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、動画像を構成する各フレームに対して、左眼用画像と右眼用画像を生成する処理を行うとともに、生成した左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像変換部は、生成する左眼用画像と右眼用画像の加算信号が入力信号に等しくなる設定、またはほぼ等しくなる設定として左眼用画像と右眼用画像を生成する処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像処理装置は、さらに、前記画像変換部の生成した画像を表示する画像表示部を有する構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像表示部は、左眼用画像、および右眼用画像を交互に出力する時間分割方式の立体表示処理を実行する際、左眼用画像および右眼用画像の出力切り替えタイミングを画像観察者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させて表示切り替えを行う構成である。

さらに、本発明の画像処理装置の一実施態様において、前記画像表示部は、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせた構成を有し、前記画像変換部の生成する左眼用画像と右眼用画像を構成するラインデータを交互に含む両眼視差画像を表示する構成である。

さらに、本発明の第２の側面は、
２次元画像信号を入力する画像入力部と、
前記画像入力部から出力される画像信号を入力して、立体視を実現するための左眼用画像または右眼用画像を生成して出力する画像変換部と、
前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力部を具備し、
前記画像変換部は、
左眼用画像と右眼用画像の加算信号が入力信号に等しくなる設定、またはほぼ等しくなる設定とした左眼用画像と右眼用画像を生成する処理を行う構成であり、前記入力画像信号の所定領域単位の距離情報と予め規定した閾値との比較処理結果に応じて異なる態様の画像変換処理を実行する画像処理装置にある。

さらに、本発明の第３の側面は、
画像処理装置における画像処理方法であり、
画像入力部が、２次元画像信号を入力する画像入力ステップと、
画像変換部が、前記画像入力部から出力される画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力する画像変換ステップと、
画像出力部が、前記画像変換部から出力される左眼用画像と右眼用画像を出力する画像出力ステップを有し、
前記画像変換ステップは、
入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行うステップであり、前記入力画像信号の所定領域単位の距離情報と予め規定した閾値との比較処理結果に応じて異なる態様の画像変換処理を実行するステップである画像処理方法にある。

さらに、本発明の第４の側面は、
画像処理装置において画像処理を実行させるプログラムであり、
画像入力部に、２次元画像信号を入力させる画像入力ステップと、
画像変換部に、前記画像入力部から出力される画像信号を入力させて、両眼立体視を実現するための左眼用画像と右眼用画像を生成して出力させる画像変換ステップと、
画像出力部に、前記画像変換部から出力される左眼用画像と右眼用画像を出力させる画像出力ステップを有し、
前記画像変換ステップは、入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して前記特徴量を適用した強調処理を施す画像変換処理により左眼用画像または右眼用画像の少なくともいずれかの画像生成を行わせるステップであり、前記入力画像信号の所定領域単位の距離情報と予め規定した閾値との比較処理結果に応じて異なる態様の画像変換処理を実行するステップであるプログラムにある。

なお、本発明のプログラムは、例えば、様々なプログラム・コードを実行可能な汎用システムに対して、コンピュータ可読な形式で提供する記憶媒体、通信媒体によって提供可能なプログラムである。このようなプログラムをコンピュータ可読な形式で提供することにより、コンピュータ・システム上でプログラムに応じた処理が実現される。

本発明のさらに他の目的、特徴や利点は、後述する本発明の実施例や添付する図面に基づくより詳細な説明によって明らかになるであろう。なお、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

本発明の一実施例構成によれば、２次元画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成する構成において、画像変換部が入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する。具体的には、入力画像信号の輝度微分信号、あるいは輝度微分信号を非線形変換して生成した信号を特徴量とする。入力画像信号に対してこの特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する。さらに、画素あるいは所定領域単位の距離情報に応じて加算処理と減算処理を入れ替え、知覚範囲を表示部の前後領域に拡大する。本構成により、簡易な信号処理で、立体視の可能な画像の生成が可能となる。また、左眼用画像と右眼用画像の加算信号は、入力信号に等しくなるので、立体視用のメガネを用いないで画像を観察した場合には通常の２次元画像として観察することが可能となる。

本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像入力部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像入力部の一処理例として、入力画像が静止画像である場合の処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の画像入力部の一処理例として、入力画像が動画像である場合の処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の画像変換部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する画像信号に対する非線形変換処理の一例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部内の画像合成部の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 発明の一実施例に係る画像処理装置の生成する右眼用画像と左眼用画像の網膜像差について説明する図である。 発明の一実施例に係る画像処理装置の生成する右眼用画像と左眼用画像の網膜像差について説明する図である。 発明の一実施例に係る画像処理装置の生成する右眼用画像と左眼用画像の網膜像差について説明する図である。 発明の一実施例に係る画像処理装置の生成する右眼用画像と左眼用画像の網膜像差について説明する図である。 右眼用画像と左眼用画像の視差の設定と知覚画像について説明する図である。 右眼用画像と左眼用画像の視差の設定と知覚画像について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する入力画像からの右眼および左眼用の画像信号生成処理例について説明する図である。 右眼用画像と左眼用画像の視差の設定と知覚画像について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する左眼用画像の生成処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する右眼用画像の生成処理シーケンスについて説明するフローチャートを示す図である。 本発明の一実施例に係る画像処理装置の構成例について説明する図である。 本発明の一実施例に係る画像処理装置の画像変換部の実行する画像信号に対する非線形変換処理の一例について説明する図である。

以下、図面を参照しながら本発明の画像処理装置、および画像処理方法、並びにプログラムの詳細について説明する。

図１は、本発明の画像処理装置の一実施例を示す図である。画像処理装置１００は、画像入力部１１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、内部データ形式に変換する。ここで、内部データ形式は、ベースバンドの動画像データであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のビデオデータ、または、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）のビデオデータである。内部データ形式は、色空間の識別信号が重畳されており、後段の色空間変換部２が対応していればどのような色空間でも構わない。

画像入力部１１０から出力されたビデオデータは、色空間変換部１２０に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータがＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間変換部１２０は、色空間の変換を行わずに出力する。入力ビデオデータがＲ，Ｇ，Ｂ色空間、または他の色空間に従う場合には、色空間変換部１２０は、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）信号への変換を行い出力する。

ここで、色空間変換部１２０から出力するビデオデータの色空間は、Ｙ，Ｃｂ，Ｃｒ空間に限るものではなく、輝度成分と色成分が分離された色空間であれば、どのような空間でも構わない。

色空間変換部１２０から出力されたビデオデータは、画像変換部１３０に入力される。画像変換部１３０は、後述する処理によって左眼用と右眼用の両眼視差画像を生成し、立体表示装置の形式に従ってこれらの画像を合成して出力する。すなわち画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。

画像変換部１３０から出力されたビデオデータは、色空間逆変換部１４０に入力され、Ｙ，Ｃｂ，Ｃｒ色空間から出力画像フォーマットに従った色空間へ変換される。このとき、出力画像フォーマットがＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間逆変換部１４０は、色空間の変換を行わずに出力する。このように図１には、色空間変換部１２０、色空間逆変換部１４０を有する構成を示しているが、これらの構成は、必須構成ではなく、省略した構成も可能である。

色空間逆変換部１４０から出力されたビデオデータは、画像出力部１５０に入力される。画像出力部１５０は、画像変換部１３０で変換された両眼視差画像を表示して立体視を実現することが可能な外部接続した立体表示装置において受信可能なビデオデータに変換して出力する。

なお、本実施例においては、静止画像を入力した場合、画像入力部１１０においてビデオデータに変換する方法を記載しているが、この方法に限らず、１枚の静止画像から２枚の左眼用画像と右眼用画像に変換し、２枚の静止画像として例えばメモリカードなどにファイル出力する構成にしても構わない。

図２は、画像入力部１１０の一実施例の構成を示すブロック図である。画像入力部１１０は、静止画像ファイルなどを入力するためのメモリカードインタフェース１１１、映像機器を直接接続するためのＵＳＢインタフェース１１２、ビデオ信号を入力するためのビデオインタフェース１１３、フレームメモリ１１４、デコーダ１１５、ビデオ出力部１１６で構成されている。

画像入力部１１０における処理の一例として、静止画像を入力する場合の処理シーケンスに関して図３に示すフローチャートを参照して説明する。

ステップＳ１０１において、画像入力部１１０は、静止画像の入力を開始する。
ステップＳ１０２において、画像入力部１１０は、メモリカードインタフェース１１１にメモリカードが挿入されているかどうかを確認し、メモリカードから画像データを入力するかどうかを判断する。メモリカードが挿入されている場合にはステップＳ１０４に進み、メモリカードが挿入されていない場合にはステップ１０３に進む。

ステップＳ１０３では、画像入力部１１０は、ＵＳＢインタフェース１１２に静止画像入力が可能な外部機器が接続されているかどうかを確認し、ＵＳＢインタフェース１１２から画像データを入力するかどうかを判断する。ＵＳＢ機器が接続されている場合にはステップＳ１０５に進み、ＵＳＢ機器が接続されていない場合には、画像入力処理を終了する。

ここで、どの媒体から動画像データを入力するかの判断には、図示しない操作部を利用して、入力装置を指示する方法でも構わない。

ステップＳ１０４において、画像入力部１１０は、メモリカードに記録されている静止画像ファイルから画像データを読み込む。この際、メモリカード内の静止画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に静止画像ファイルを選択しても良い。

ステップＳ１０５では、画像入力部１１０は、ＵＳＢインタフェースに接続された外部機器から静止画像データを読み込む。このとき、外部機器内の静止画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に静止画像ファイルを選択しても良い。

ステップＳ１０６では、画像入力部１１０は、ステップＳ１０４、またはステップＳ１０５において読み込まれた静止画像データをフレームメモリ１１４に記憶する。

ステップＳ１０７において、画像入力部１１０は、図示しない制御部によりフレームメモリ１１４から静止画像データを読み出す。このとき、読み出しアドレスはステップＳ１０６において記憶された画像データの先頭を示す。

ステップＳ１０８において、画像入力部１１０は、静止画像のデコード処理を行う。静止画像データは、ＪＰＥＧ（Ｊｏｉｎｔ Ｐｈｏｔｏｇｒａｐｈｉｃ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などで規定されたフォーマットに従って画像圧縮されていることが一般的であるため、デコーダ１１５は、画像フォーマットに従った画像伸張処理を実施し、ベースバンドの画像データを復元する。

ステップＳ１０９では、画像入力部１１０は、デコードされた静止画像データをビデオデータの１フレームとして出力する。ここで、ビデオデータのフォーマットは、画像出力部１５０で出力されるフォーマットに従う。つまり、画像出力部１５０においてＨＤ（Ｈｉｇｈ Ｄｅｆｉｎｉｔｉｏｎ）解像度、６０フレーム毎秒のビデオデータとして出力される場合には、図示しない制御部においてＨＤ解像度、６０フレーム毎秒のビデオ同期信号を生成し、この信号の有効領域内に静止画像を貼り付けて出力する。

ステップＳ１１０では、画像出力部１５０における画像出力処理が終了しているかどうかを判断する。画像出力処理が終了している場合、画像入力処理を終了する。画像出力処理が終了していない場合には、ステップＳ１１１に進む。

ステップＳ１１１において、画像入力部１１０は、フレームメモリ１１４の読み出しアドレスを初期化し、ステップＳ１０６で記憶した静止画像データの先頭を示すようにする。ステップＳ１１１のアドレス初期化が終了すると、ステップＳ１０７に進み、以降、ステップＳ１０７〜ステップＳ１１１の処理を繰り返す。

このようにして、画像入力部１１０は、静止画像が入力された場合には、同じ画像が連続したビデオデータへの変換を行う。

次に、画像入力部１１０における処理の一例として、動画像を入力する場合の処理シーケンスに関して図４に示すフローチャートを参照して説明する。

ステップＳ２０１において、画像入力部１１０は、動画像の入力を開始する。
ステップＳ２０２において、画像入力部１１０は、ビデオインタフェース１１３にビデオ信号が入力されているかを確認し、ビデオインタフェースから動画像データを入力するかどうかを判断する。ビデオ信号が入力されている場合にはステップＳ２０５に進み、ビデオ信号が入力されていない場合にはステップＳ２０３に進む。

ステップＳ２０３では、画像入力部は、ＵＳＢインタフェース１１２に動画像入力が可能な外部機器が接続されているかどうかを確認し、ＵＳＢインタフェース１１２から動画像データを入力するかどうかを判断する。ＵＳＢ機器が接続されている場合にはステップＳ２０６に進み、ＵＳＢ機器が接続されていない場合にはステップＳ２０４に進む。

ステップＳ２０４では、画像入力部１１０は、メモリカードインタフェース１１１にメモリカードが挿入されているかどうかを確認し、メモリカードから動画像データを入力するかどうかを判断する。メモリカードが挿入されている場合にはステップＳ２０７に進み、メモリカードが挿入されていない場合には、画像入力処理を終了する。

ここで、どの媒体から動画像データを入力するかの判断には、図示しない操作部を利用して、入力装置を指示する方法でも構わない。

ステップＳ２０５において、画像入力部１１０は、ビデオインタフェース１１３からビデオデータを読み込む。ビデオインタフェース１１３は、ＤＶＩ（Ｄｉｇｉｔａｌ Ｖｉｄｅｏ Ｉｎｔｅｒｆａｃｅ）、ＨＤＭＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｍｕｌｔｉｍｅｄｉａ Ｉｎｔｅｒｆａｃｅ）、ＨＤＳＤＩ（Ｈｉｇｈ−Ｄｅｆｉｎｉｔｉｏｎ Ｓｅｒｉａｌ Ｄｉｇｉｔａｌ Ｉｎｔｅｒｆａｃｅ）などのデジタルビデオ伝送方式で伝送されるビデオ信号や、ＮＴＳＣ（Ｎａｔｉｏｎａｌ Ｔｅｌｅｖｉｓｉｏｎ Ｓｔａｎｄａｒｄｓ Ｃｏｍｍｉｔｔｅｅ）方式、コンポーネント方式などのアナログビデオ伝送方式で伝送されるビデオ信号が入力される。ビデオインタフェース１１３は、アナログビデオ信号が入力された場合には、復調処理によりベースバンド信号に変換した後、図示しないＡ／Ｄ変換器によりデジタル信号に変換する。一方、デジタルビデオ信号が入力された場合には、復調処理によりベースバンド信号に変換する。

ステップＳ２０６において、画像入力部１１０は、ＵＳＢインタフェース１１２に接続された外部機器から動画像データを読み込む。このとき、外部機器内の動画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に動画像ファイルを選択しても良い。

ステップＳ２０７では、画像入力部１１０は、メモリカードに記録されている動画像ファイルから画像データを読み込む。この際、メモリカード内の動画像ファイルの選択は、図示しない操作部を用いて行っても良いし、何らかの基準で決められた順番に従って自動的に動画像ファイルを選択しても良い。

ここで、ＵＳＢインタフェース１１２を介して入力される動画像データや、メモリカードに記録されている動画像データは、ＭＰＥＧ（Ｍｏｖｉｎｇ Ｐｉｃｔｕｒｅ Ｅｘｐｅｒｔｓ Ｇｒｏｕｐ）などで規定された動画像圧縮方式により圧縮されたストリームデータである。このような圧縮方式は、フレームメモリを用いたデコード処理を要するため、ステップＳ２０８では、これらのストリームデータをフレームメモリ１１４に記憶する。

ステップＳ２０９において、画像入力部１１０は、図示しない制御部によりフレームメモリ１１４から動画像データを読み出す。

ステップＳ２１０において、画像入力部１１０は、動画像のデコード処理を行う。前述の通り、フレームメモリ１１４に記憶されている動画像データは、ＭＰＥＧなどで圧縮されたストリームデータであるので、デコーダ１１５は、画像フォーマットに従った画像伸張処理を実施し、ベースバンドのビデオデータを復元する。

ステップＳ２１１では、ビデオ出力部１１６は、ビデオインタフェース１１３から出力されるビデオデータ、または、デコーダ１１５から出力されるビデオデータのいずれかを内部データ形式によりビデオ出力する。

図５は、画像変換部１３０の一実施例の構成を示すブロック図である。画像変換部１３０は、入力画像信号の空間的な特徴量を抽出し、抽出した特徴量に対する異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。画像変換部１３０は、微分器１３１、非線形変換部１３２、および画像合成部１３３から構成される。

微分器１３１は、画像変換部１３０に入力されたビデオデータから輝度信号を取り出し、輝度信号に対する微分信号を生成する。具体的には、例えば画像の輝度信号を水平方向に入力して、入力輝度信号を一次微分した信号を生成する。一次微分処理は、例えば、水平方向３タップの線形１次微分フィルタなどを用いる。

非線形変換部１３２は、微分器１３１から出力される微分信号を非線形的に変換し、視差強調信号として出力する。

図６は、非線形変換部１３２において実行する非線形変換処理の一例を示している。横軸が、微分器１３１からの入力信号であり輝度微分信号である。縦軸が、非線形変換部１３２における非線形変換処理後の出力を示している。非線形変換部１３２は、入力された微分信号（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号（Ｏｕｔ）を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。このとき、関数ｆ（ｘ）は、様々な設定が利用可能である。関数ｆ（ｘ）の一例としては、例えば、
ｆ（ｘ）＝ｘ^β
上記式に示されるような指数関数を用いる。βは予め設定した係数であり、様々な値に設定可能である。
また、非線形変換部１３２における変換関数は、指数関数に限定するものではなく、また線形的な変換を施しても構わない。

図２５に非線形変換部１３２において実行する非線形変換処理の別例を示す。図６と同様に、横軸が、微分器１３１からの入力信号であり輝度微分信号である。縦軸が、非線形変換部１３２における非線形変換処理後の出力を示している。非線形変換部１３２は、入力された微分信号（Ｉｎ）を、予め規定した関数ｆ（ｘ）により変換して、視差強調信号（Ｏｕｔ）を出力する。すなわちＯｕｔ＝ｆ（Ｉｎ）とする。図２５に示す例は、関数ｆ（ｘ）として、以下に示す数式１０に示す関数ｆ（ｘ）を用いた場合の例である。ｇａｉｎ、γＡ、γＢ、Ｄａは予め設定した係数であり、様々な値に設定可能である。

このような非線形変換処理を行う狙いは、より良い３Ｄ画像を生成することにある。例えば、図２５に示す非線形変換処理では、入力された微分信号（Ｉｎ）が任意のスレッショルドＤａを超えると視差強調信号（Ｏｕｔ）を抑制する方向に働く。この効果により、最終的に生成される右目用画像信号と左目用画像信号の不必要な高域強調を抑えることができ、同時に生成される右目用画像信号と左目用画像信号の奥行き感を強調する効果も生じる。

画像合成部１３３は、非線形変換部１３２から出力される視差強調信号と、画像変換部１３０に入力されたビデオデータを受け取り、ビデオデータを構成する各フレーム画像と視差強調信号を合成して、左眼用画像と、右眼用画像を生成する処理を行う。

なお、図５に点線で示すように、非線形変換部１３２の変換処理を省略し、微分器１３１の生成した微分信号を画像合成部１３３に直接入力して、画像合成部１３３が、微分信号を適用して左眼用画像と、右眼用画像を生成する処理を行う構成としてもよい。

このように、画像合成部１３３は、入力画像信号の空間的な特徴量として、微分器１３１の生成した微分信号、または、非線形変換部１３２から出力される視差強調信号を適用して左眼用画像と、右眼用画像を生成する処理を行う。

画像合成部１３３は、ビデオデータを構成する各フレーム画像と、このフレーム画像から生成した空間的な特徴量、すなわち、輝度信号の微分信号、または、この微分信号を非線形変換して生成した視差強調信号を適用して左眼用画像と、右眼用画像を生成する処理を行う。

図７は、画像合成部１３３の一実施例の構成を示すブロック図である。画像合成部１３３は、加算器１３４、減算器１３５、距離情報（距離画像）生成部１３６、セレクタ１３７を有する。

距離情報（距離画像）生成部１３６は、処理対象とする画像の構成画素単位、あるいは予め規定した複数画素から構成されるブロック等の所定領域単位で、撮影位置（カメラ位置）からの距離を算出または取得してセレクタ１３７に出力する。具体的には、例えば距離を輝度レベルで表した距離画像を生成してセレクタ１３７に出力する。なお、画像の構成画素あるいは所定領域単位の距離の取得または生成手法としては既存の公知技術を用いることが可能である。例えば、画像生成時にレーザーレンジスキャナ等の距離計測機器を使い、算出した距離情報を画像の属性情報として画像に付属させて、これを取得する。あるいは画像の解析によって距離を算出する公知の手法を適用して画素単位あるいは所定領域単位の距離を算出する。

距離情報（距離画像）生成部１３６の取得または生成した距離情報はセレクタ１３７に出力される。セレクタ１３７は、予め設定した距離閾値（スレッショルド）と距離画像生成部１３６から出力された現在処理中画素の距離（カメラからの距離）を比較する。この比較結果に応じて、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を加算器１３４の出力、あるいは減算器１３５の出力のいずれにするかを決定して出力する。

加算器１３４、減算器１３５は、入力信号と微分信号を非線形変換した視差強調信号を加算、または減算し出力する。すなわち、
加算器１３４は、入力信号＋視差強調信号、
減算器１３５は、入力信号−視差強調信号、
これらの信号を生成して出力する。

セレクタ１３７は、予め設定した距離閾値（スレッショルド）と距離画像生成部１３６から出力された現在処理中画素の距離（カメラからの距離）を比較し、以下に示す表１に従って、加算器１３４の出力と減算器１３５の出力を左眼用画像（Ｌ画像）または右眼用画像（Ｒ画像）として出力する。

上記表１に示すように、画像合成部１３３は、距離画像生成部１３６からの距離情報に応じて、左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を以下のように設定して出力する。
撮影位置からの距離≦閾値（スレッショルド）
の場合、
左眼用画像（Ｌ画像）＝入力信号−視差強調信号（減算器の出力）
右眼用画像（Ｒ画像）＝入力信号＋視差強調信号（加算器の出力）
これらの出力を左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）として出力する。

一方、
撮影位置からの距離＞閾値（スレッショルド）
の場合、
左眼用画像（Ｌ画像）＝入力信号＋視差強調信号（加算器の出力）
右眼用画像（Ｒ画像）＝入力信号−視差強調信号（減算器の出力）
これらの出力を左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）として出力する。

図８を参照して、画像合成部１３３において実行する画像合成処理の一例について説明する。図８に示す処理は、上記の表１における撮影位置からの距離が、
距離＞閾値（スレッショルド）
この場合の画素領域に対応する処理である。この場合、画像合成部１３３は、
左眼用画像（Ｌ画像）＝入力信号＋視差強調信号（加算器の出力）
右眼用画像（Ｒ画像）＝入力信号−視差強調信号（減算器の出力）
これらの出力を左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）として生成して出力する。

図８には、上から順に、
（ａ）入力信号
（ｂ）微分信号
（ｃ）右眼用画像信号
（ｄ）左眼用画像信号
これらの各信号を示している。

（ａ）入力信号は、ビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ａにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｂにおいて、輝度が次第に低くなる変化を示している。

（ｂ）微分信号は、（ａ）入力信号の微分結果である。この微分信号は、図５に示す画像変換部１３０の微分器１３１において生成される信号である。
微分器１３１の生成する微分信号は、図に示すとおり、（ａ）入力信号の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。

（ｃ）右眼用画像信号、（ｄ）左眼用画像信号は、図５に示す画像変換部１３０の画像合成部１３３において生成する信号である。画像合成部１３３は、（ａ）入力信号と、（ｂ）微分信号を非線形変換部１３２において非線形変換した結果（非線形変換部１３２の出力）である視差強調信号とを合成して（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。

図８（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、
図８（ｂ）に示す微分信号を非線形変換した視差強調信号の信号レベルを（Ｅ）とする。
画像合成部１３３は、（ａ）入力信号に相当するビデオデータ（Ｓ）と、（ｂ）微分信号を非線形変換した視差強調信号（Ｅ）を受け取り、例えば以下の（式１）により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成する。
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
・・・・・（式１）
ここで、画像合成部１３３は、（式１）のように左眼用画像信号（Ｌｅｆｔ）と右眼用画像信号（Ｒｉｇｈｔ）の両方を変換せずに、いずれか一方の信号に対してのみ変換をかけるようにしても構わない。

すなわち、
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ
このような信号の組み合わせとしてもよい。
あるいは、
Ｒｉｇｈｔ＝Ｓ
Ｌｅｆｔ＝Ｓ＋Ｅ
このような信号の組み合わせとしてもよい。
このような処理によって、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）には、網膜像差が発生し奥行きを知覚させる画像を得ることができる。なお、網膜像差と奥行き知覚との関係については、図１３以下を参照して後段で説明する。

なお、前述したように、非線形変換部１３２の変換処理を省略し、微分器１３１の生成した微分信号を画像合成部１３３に直接入力（図５の点線）して、画像合成１３３が、微分信号を適用して左眼用画像と、右眼用画像を生成する処理を行う構成としてもよい。この場合は、上記の視差強調信号（Ｅ）は微分信号に置き換えられる。

このように、画像合成部１３３は、入力画像信号の空間的な特徴量を抽出して入力画像信号に対して前記特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する処理を行う。特徴量は、入力画像信号の輝度微分信号、あるいはその非線形変換処理によって生成する視差強調信号である。

図８（ｃ）右眼用画像信号（Ｒｉｇｈｔ）は、（ａ）入力信号から、（ｂ）微分信号を非線形変換した視差強調信号（Ｅ）を減算して生成した信号である。
（ｃ）右眼用画像信号（Ｒｉｇｈｔ）は、図８（ｃ）右眼用画像信号に示すように以下のような信号特性（ｃ１）〜（ｃ３）を持つ信号として生成される。
（信号特性）
（ｃ１）（ａ）入力信号の輝度変化が正、（ｂ）微分信号が正の値をとる領域Ａの少なくとも一部領域において、（ａ）入力信号より輝度が低下した信号領域が発生する。
（ｃ２）（ａ）入力信号の輝度変化が負、（ｂ）微分信号が負の値をとる領域Ｂの少なくとも一部領域において、（ａ）入力信号より輝度が上昇した信号領域が発生する。
（ｃ３）（ｂ）微分信号が０の値をとる領域では、（ａ）入力信号に対する輝度変化は発生しない。

また、図８（ｄ）左眼用画像信号（Ｌｅｆｔ）は、（ａ）入力信号に、（ｂ）微分信号を非線形変換した視差強調信号（Ｅ）を加算して生成した信号である。
（ｄ）左眼用画像信号（Ｌｅｆｔ）は、図８（ｄ）左眼用画像信号に示すように以下のような信号特性（ｄ１）〜（ｄ３）を持つ信号として生成される。
（信号特性）
（ｄ１）（ａ）入力信号の輝度変化が正、（ｂ）微分信号が正の値をとる領域Ａの少なくとも一部領域において、（ａ）入力信号より輝度が上昇した信号領域が発生する。
（ｄ２）（ａ）入力信号の輝度変化が負、（ｂ）微分信号が負の値をとる領域Ｂの少なくとも一部領域において、（ａ）入力信号より輝度が低下した信号領域が発生する。
（ｄ３）（ｂ）微分信号が０の値をとる領域では、（ａ）入力信号に対する輝度変化は発生しない。

画像合成部１３３は、上述したように、（ａ）入力信号と、（ｂ）微分信号を非線形変換部１３２において非線形変換した結果（非線形変換部１３２の出力）である視差強調信号とを合成して（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。

なお、画像合成部１３３は、例えば、変換対象となる入力信号が静止画であれば、静止画を構成する１フレーム画像について、上記の式１に従った信号合成処理によって、（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。

また、変換対象となる入力信号が動画であれば、動画を構成する各フレーム画像について、上記の式１に従った信号合成処理によって、（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成する。ただし、動画像の場合は、最終的に画像表示を実行する画像出力部１５０（図１参照）や表示装置の制御方式に従って、右眼用画像信号と左眼用画像信号の生成態様を変更する設定としてもよい。以下、図９以下を参照して変換対象となる入力信号が動画像（ビデオデータ）である場合の画像合成部１３３の実行する複数の処理例について説明する。

まず、変換対象となる入力信号が動画像（ビデオデータ）の場合の画像合成部１３３の実行する基本的な処理例について図９を参照して説明する。図９に示す処理例は、画像合成部１３３が、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）のすべてについて、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）の両画像を生成して出力する処理例である。

画像合成部１３３は、図９に示す（ａ）入力画像フレームのすべてのフレームについて、（ａ）入力画像フレームの輝度信号と、（ｂ）微分画像信号の非線形変換結果である視差強調信号とを合成して、図９に示す（ｃ）右眼用画像信号と、（ｄ）左眼用画像信号を生成して出力する。この場合、画像合成部１３３は、２系統のビデオ信号を出力する。

合成処理は、例えば先に説明した式（式１）に従って行われる。すなわち、図８（ａ）入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図８（ｂ）に示す微分信号を非線形変換した視差強調信号の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ

図９に示す基本処理例では、画像合成部１３３は、全てのフレームに対応する右眼用画像と、左眼用画像の２系統のビデオ信号を出力する。これらの２系統の信号を受領した画像出力部１５０（図１参照）は、立体視を実現する表示装置にこれらのデータを出力する。表示装置は、立体視を実現する各種の表示方式に従って出力制御を行う。表示装置の表示方式とは、例えば、偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式、あるいは、液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式などである。表示装置は、画像合成部１３３の生成した２系統のビデオ信号を利用して上記いずれかの表示方式に従った画像を表示する。

なお、画像表示方式が予め決定されている場合は、画像合成部１３３が、各画像出力方式に応じた出力画像信号を生成して出力する設定とすることができる。以下、図１０〜図１２を参照して、３つの異なる表示方式に応じた画像合成部１３３の処理例について説明する。

最終的に画像表示を実行する表示装置の表示方式は以下の３種類である。
（１）左眼用画像と右眼用画像を時間分割で交互に出力する方式（図１０）
これは、例えば液晶シャッタを左右交互に開閉して観察する画像を左右の眼交互に時間的に分離するアクティブ眼鏡方式に対応する画像出力方式である。
（２）左眼用画像と右眼用画像を時間分割で交互に出力する方式において出力フレームレートを高速とした方式（図１１）
これは、図１０と同様の時間分割方式であるが、出力フレームレートを高速化した方式である。
（３）左眼用画像と右眼用画像を空間的に分離して同時出力する方式（図１２）
これは、例えば偏光フィルタや、色フィルタにより左右の眼各々によって観察する画像を分離するパッシブ眼鏡方式に対応する画像出力方式である。例えば、この空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて観察される。

まず、図１０を参照して、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間分割に交互出力する方式である場合の画像合成部１３３の処理例について説明する。

この画像表示方式の場合、画像合成部１３３は、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）について、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）を各フレーム毎に切り替えて生成して出力する。

入力するビデオデータの奇数フレームと偶数フレームをそれぞれ左眼用画像および右眼用画像（または、右眼用画像および左眼用画像）として設定して出力する。出力された画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。各画像の出力タイミングは、画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉と同期するように制御される。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるように制御される。

画像合成部１３３は、このような時間分割方式の立体表示装置に出力するため、入力ビデオデータの各フレーム（フレームｎ，ｎ＋１，ｎ＋２，ｎ＋３・・・）に対する画像合成処理をフレーム単位で左眼用画像と右眼用画像を切り替えて実行する。すなわち、図１０（ｃ），（ｄ）に示すように、左眼用画像（Ｌｅｆｔ）の合成と、右眼用画像（Ｒｉｇｈｔ）の合成をフレーム単位で交互に実施して出力する。

図１０に示す例では、フレームｎでは、右眼用画像を先に説明した式（式１）に従って生成する。すなわち、図１０（ａ）入力信号のフレームｎのビデオデータの輝度レベルを（Ｓ）とし、図１０（ｂ）に示すフレームｎの微分信号を非線形変換した視差強調信号の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）を生成する。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ

次のフレームｎ＋１では、左眼用画像を先に説明した式（式１）に従って生成する。すなわち、図１０（ａ）入力信号のフレームｎ＋１のビデオデータの輝度レベルを（Ｓ）とし、図１０（ｂ）に示すフレームｎ＋１の微分信号を非線形変換した視差強調信号の信号レベルを（Ｅ）としたとき、以下の式により左眼用画像信号（Ｌｅｆｔ）を生成する。
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ

以降、フレームｎ＋２では右眼用画像、フレームｎ＋３では左眼用画像、以下、交互に各フレーム毎に右眼用画像と左眼用画像を、前述の式１に従った画像合成処理によって生成して出力する。この方式では、画像合成部１３３は、各フレームに対応して右眼用画像または左眼用画像の１画像を生成して出力することになる。すなわち１系統のビデオデータを出力する。

出力された画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。各画像の出力タイミングは、画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉と同期するように制御される。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるように制御される。

図１１は、図１０と同様、最終的に画像表示を実行する表示装置の表示方式が、左眼用画像と右眼用画像を時間分割に交互出力する方式である場合の画像合成部１３３の処理例である。ただし、この処理例は、図１０に示す処理と異なり、入力ビデオデータの各フレームに対して、左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）の両画像を前述の式１に従った合成処理により合成して出力する。

画像出力を行う表示装置においては、入力ビデオデータの２倍のフレームレートで、左眼用画像と右眼用画像を時間分割に交互出力する。

この処理では、画像合成部１３３は、図１１に示すように、１つのフレーム、例えば、（ａ）入力画像のフレームｎとその（ｂ）微分画像から生成した視差強調信号から、前述の式１を適用して、（ｃ）右眼用画像と、（ｄ）左眼用画像を生成する。さらに、次のフレーム、すなわち、（ａ）入力画像のフレームｎ＋１とその（ｂ）微分画像から生成した視差強調信号から、前述の式１を適用して、（ｃ）右眼用画像と、（ｄ）左眼用画像を生成する。

このようにして１つのフレームから左眼用画像と右眼用画像を生成する。１フレームから生成した２枚の画像、すなわち、右眼用画像と左眼用画像は、画像出力部１５０を介して画像表示装置において左眼用画像と右眼用画像が時間分割に交互出力される。

画像出力部１５０は、表示装置において、図１１（ａ）に示す入力画像のフレームレートの２倍のフレームレートで表示されるように出力する。なお、この表示タイミングに併せて画像を観察するユーザの装着する例えば液晶シャッタ方式によるメガネのシャッタ開閉も同期して制御する。すなわち、左眼には左眼用画像、右眼には右眼用画像が時間的に交互に観察されるようにする。この方式では、画像合成部１３３は、１系統の入力ビデオデータの２倍のフレームレートのビデオデータを出力する。

図１２は、空間分割方式の立体表示装置に対して出力する場合の画像合成部１３３の処理例を示している。空間分割方式の立体表示装置においては、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて提示される方式である。すなわち、メガネの左右の偏光フィルタも偏光方向が異なるように設定したフィルタであり、右眼には、図１２（ｃ）に示す右眼用画像のみが観察され、左眼には図１２（ｄ）に示す左眼用画像のみが観察される。

この処理では、画像合成部１３３は、図１２に示すように、１つのフレーム、例えば、（ａ）入力画像のフレームｎとその（ｂ）微分画像から生成した視差強調信号から、前述の式１を適用して、（ｃ）右眼用画像と、（ｄ）左眼用画像を生成する。

さらに、画像合成部１３３は、図１２に示す（ｅ）両眼視差画像を（ｃ）右眼用画像と（ｄ）左眼用画像から生成する。すなわち、（ｃ）右眼用画像と（ｄ）左眼用画像の各画像をそれぞれ位相を１ラインずらして垂直方向に１／２に縮小処理する。画像合成部１３３は、このようにして得られた左眼用画像と右眼用画像を水平ライン単位で交互に合成して１枚の（ｄ）両眼視差画像を生成して出力する。

図１２に示す（ｄ）両眼視差画像は、（ｃ）右眼用画像と（ｄ）左眼用画像の有効領域（黒ライン以外の画像表示部）を連結して生成した画像である。すなわち、（ｄ）両眼視差画像は、（ｃ）右眼用画像と（ｄ）左眼用画像の各ラインデータを交互に含む画像である。画像合成部１３３は、このようにして（ｄ）両眼視差画像を生成して出力する。この方式では、画像合成部１３３は、入力画像と同一フレームレートの１系統のビデオデータを出力する。

画像出力部１５０は、空間分割方式の立体表示装置に対して、図１２に示す（ｄ）両眼視差画像を出力表示する。空間分割方式の立体表示装置は前述したように、表示前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタが設定されている。ユーザは偏光フィルタ方式によるメガネで観察する。メガネの左右の偏光フィルタも偏光方向が異なるように設定したフィルタであり、右眼には、図１２（ｃ）に示す右眼用画像のみが観察され、左眼には図１２（ｄ）に示す左眼用画像のみが観察される。

図９〜図１２を参照して説明した右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）は、先に説明した式（式１）に従って生成される画像である。すなわち、下式に従って、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）が生成される。
Ｒｉｇｈｔ＝Ｓ−Ｅ
Ｌｅｆｔ＝Ｓ＋Ｅ
ただし、Ｓは入力信号、Ｅは、入力信号Ｓの微分信号Ｄを非線形変換した視差強調信号である。なお、先に説明したように、視差強調信号Ｅは、入力信号Ｓの微分信号Ｄの非線形変換のみならず、線形変換信号を施して得られる信号でもよい。

このような右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成して、これらの画像を観察者の右眼と左眼で観察することにより奥行きを感じることができる。これは、右眼用画像と左眼用画像の網膜像差に基づく現象である。本発明の画像処理装置１００において生成する右眼用画像と左眼用画像の網膜像差について、以下、図１３〜図１６を参照して説明する。なお、以下において、図１３〜図１５では、微分信号Ｄに対する非線形変換処理を省略し、右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を入力信号Ｓと、入力信号Ｓの微分信号Ｄを適用して以下の式に従って生成したと仮定して説明する。
Ｒｉｇｈｔ＝Ｓ−Ｄ
Ｌｅｆｔ＝Ｓ＋Ｄ

図１３は、微分信号の加減算により発生する網膜像差を説明する図である。ここでは、説明を簡単にするために、入力信号として、１次元の正弦波信号が入力された場合に、左眼用の信号と右眼用の信号がどのように生成されるかを示した。図の水平軸は、画像の水平方向の画素位置を表しており、垂直軸は、画素の輝度レベルを表している。

入力信号Ｓを以下の式（式２）で表す。
Ｓ＝ｓｉｎωｘ・・・（式２）
このとき、微分信号Ｄは、以下の式（式３）で表される。
Ｄ＝ｃｏｓωｘ・・・（式３）

このとき、左眼信号Ｌと右眼信号Ｒは、以下のように式（式４）、（式５）で表される。

これらの式、（式４）、（式５）から、左眼信号Ｌは、入力信号Ｓに対してπ／４だけ位相が進み、右眼信号Ｒは、入力信号Ｓに対してπ／４だけ位相が遅れている。つまり、左眼信号Ｌは、入力信号よりも振幅が√２倍で、角周波数ωで決まる周期の１／８だけ水平左方向にずれた信号であり、右眼信号Ｒは、同様に、振幅が√２倍で、周期の１／８だけ水平右方向にずれた信号となっている。このように、左眼信号Ｌと右眼信号Ｒの間ではπ／２だけの位相差が発生し、この位相差が網膜像差として知覚され、奥行きを感じることが出来る。

上述の通り、網膜像差は、角周波数ωに依存して変化する。図１４は、図１３と比較して、入力信号の角周波数が１／２になった場合の波形を示している。図からわかる通り、網膜像差は図１３の場合の２倍になっており、両眼立体視した場合には、図１３の入力信号に比較して奥に知覚される。

また、図１５は、図１３と比較して、入力信号の角周波数が２倍になった場合の波形を示している。図からわかる通り、網膜像差は図１３の場合の１／２になっており、両眼立体視した場合には、図１３の入力信号に比較して手前に知覚される。

さらに、微分信号Ｄの振幅を制御した場合の波形を図１６に示す。図１６は、微分信号Ｄに２倍の増幅を施した場合を示しているが、より一般化するため、制御した微分信号Ｆを式（式６）で示す。
Ｆ＝ｋｃｏｓωｘ・・・（式６）
ここで、ｋは正の実数である。
なお、上記のＦは、微分信号Ｄに対する変換処理によって生成した前述の視差強調信号Ｅに相当する。

このとき、左眼信号Ｌと右眼信号Ｒは、以下のように式（式７）、式（式８）で表される。

ここで、αは０〜π／２の範囲にあり、以下の式（式９）で表される。

上記式（式９）において、微分信号の増幅値ｋを大きくするとαは大きくなるため、入力信号Ｓと左眼信号Ｌ、および右眼信号Ｒとの位相差は大きくなる。従って、左眼信号Ｌと右眼信号Ｒの位相差も大きくなり、網膜像差が大きく知覚される。この結果、両眼立体視した場合にはより奥にあるように知覚されるようになる。

このように、本発明の画像処理装置１００の生成する右眼用画像と左眼用画像は、画像の空間周波数に応じて網膜像差が変化し、空間周波数の高い領域ほど網膜像差が小さくなり、空間周波数の低い領域ほど網膜像差が大きくなるような画像である。このような画像が人間の右眼、および左眼に分離して提示された場合、人間は、網膜像差の小さい領域を手前に、網膜像差の大きい領域を奥に知覚する。

しかしながら、本発明の画像処理装置１００は、上述の通り、単に局所的な空間周波数に応じた処理を行っており、画像中の個々の被写体に対してもエッジ部とテクスチャ部では異なる網膜像差が与えられている。従って、観察者は網膜像差からのみでは正確な奥行きを知覚出来ないため、画像の絵画的な特徴（構図、物体の前後関係、空間周波数）や、運動視差などを手掛かりとして、画像の大局的な奥行きは人間がこれらの画像情報から類推して知覚することが出来ると考えられる。

また、上述のとおり、主に画像のエッジ部に対して網膜像差を発生させるようにしているため、樹木の枝や電線、髪の毛といった微細な構造にも網膜像差を与えることができるため、微細な被写体の立体感を表現することも可能である。

本発明の画像処理装置は、このような特性を利用して、画像の局所的な変調処理を施すだけで、自然な立体視を実現できる両眼視差画像の生成構成を実現している。

さらに、本発明の画像処理装置は、右眼用画像（Ｒｉｇｈｔ）と左眼用画像（Ｌｅｆｔ）を先に説明した式（式１）に従って生成している。すなわち、入力信号に相当するビデオデータの輝度レベルを（Ｓ）とし、図８（ｂ）に示す微分信号を非線形変換した視差強調信号の信号レベルを（Ｅ）としたとき、以下の式により右眼用画像信号（Ｒｉｇｈｔ）と、左眼用画像信号（Ｌｅｆｔ）を生成している。
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ

この式から理解されるように、右眼用画像信号と左眼用画像信号を加算して生成される加算信号は、以下のようになる。
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
結果として加算信号は、入力画像と等価になる。

従って、例えば、図１０、または図１１を参照して説明したように時間分割方式の立体表示装置で表示する場合において、観察者であるユーザが液晶シャッタ方式のメガネを外して画像を観察すると、人間の視覚系における時間的な積分機能により左眼用画像（Ｌｅｆｔ）と右眼用画像（Ｒｉｇｈｔ）が積分された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
上記信号［Ｓ］となる。すなわち、入力の２次元画像をそのまま知覚することが出来る。すなわち不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能となる。

また、図１２に示したように空間分割方式の立体表示装置で表示する場合には、偏光メガネを外した場合には、垂直方向の１画素を知覚できなくなる程度の距離から観察する場合には垂直方向の２画素が加算された画像を知覚する。この画像は、上記の加算信号、すなわち、
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
上記信号［Ｓ］となる。一方、人間の網膜像差に対する視力は、通常視力の１０倍ほど高いため、このような距離から観察しても左眼用画像と右眼用画像の間の網膜像差は十分認識することが可能である。従って、偏光メガネを外した場合には、不自然な二重の画像に見えてしまうというようなことがなく、何ら処理を施していない画像として観察することが可能であり、偏光メガネを装着すれば、立体知覚が可能となる。

このように、本発明の画像処理装置によって生成される画像は、立体表示装置を用いて表示を行うことにより、立体視用のメガネを装着した場合には立体知覚が可能であり、立体視用のメガネを非装着の場合には、変換を施していない元の２次元画像として知覚することが可能となる。

以上は、前記した表１の撮影位置からの距離が、
距離＞閾値（スレッショルド）
上記式に対応する画素領域に対する処理についての説明である。
次に、
距離≦閾値（スレッショルド）
上記式に対応する画素領域に対する処理について説明する。

先に示した表１に示すように、
撮影位置からの距離≦閾値（スレッショルド）
の場合、
左眼用画像（Ｌ画像）＝入力信号−視差強調信号（減算器の出力）
右眼用画像（Ｒ画像）＝入力信号＋視差強調信号（加算器の出力）
これらの出力を左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）として出力する。

この処理は、図８以下を参照して説明した撮影位置からの距離が、
距離＞閾値（スレッショルド）
の場合の処理における左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）を入れ替えた処理、すなわち、図７に示すセレクタ１３７の処理によって、加算器１３４と、減算器１３５の出力を入れ替えた処理に相当する。
この場合、図８（ｃ）右眼用信号が左眼用信号に、図８（ｄ）左眼用信号が右眼用信号に入れ替わることになる。これは、図１３においては、左眼用信号と右眼用信号が入れ替わることを示す。

前述の通りこの位相差が網膜残差として知覚され奥行きを感じるが、この場合、残差が丁度逆になるので、入れ替わらない場合と比較して、奥に感じていた場合は手前、手前に感じていた場合は奥へ奥行きを反転して感じることになる。

ここで、感じる奥行きが反転する境界は、撮影位置からの距離が、加算器１３４、減算器１３５の出力を切り替える距離＝閾値（スレッショルド）が成立する画素となる。すなわち、距離＞閾値（スレッショルド）の範囲で奥に深さを知覚していれば距離＝スレッショルドの値を境界として距離＜閾値（スレッショルド）の範囲で手前に深さを知覚し、切り替えを行わない処理と比較して、より広い範囲の深さを知覚することが可能となる。

この知覚構成について、図１７〜図２０を参照して説明する。
図１７（ａ）に示すように、表示部の表示面上で左眼用画像と右眼用画像が一致している視差なし画像の表示を行った場合、観察者は、表示面に画像を知覚する。これは通常の２次元画像表示処理である。

立体表示、すなわち３次元画像表示処理を行う場合、左眼用画像と右眼用画像をずらして表示する。すなわち視差のある画像を表示することにより、立体的な知覚を得ることができる。

視差設定の態様としては、図１７、図１８に示す２つの異なる設定が可能である。すなわち、
図１７（ｂ）視差あり（視差設定例１）
図１８（ｃ）視差あり（視差設定例２）
これらの２のパターンである。

図１７（ｂ）視差あり（視差設定例１）は、図１７（ｂ）表示画像に示すように、表示面上に表示する左眼用画像を左側（観察者から見て左側）にずらし、右眼用画像を右側（観察者から見て右側）にずらした視差設定例である。この設定では、図１７（ｂ）知覚画像に示すように、観察者は、画像に対応するオブジェクトを表示面より奥（遠く）に知覚することになる。

図１８（ｃ）視差あり（視差設定例２）は、図１８（ｃ）表示画像に示すように、表示面上に表示する左眼用画像を右側（観察者から見て右側）にずらし、右眼用画像を左側（観察者から見て左側）にずらした視差設定例である。この設定では、図１８（ｃ）知覚画像に示すように、観察者は、画像に対応するオブジェクトを表示面より手前（近く）に知覚することになる。

本発明の画像処理装置は、これら図１７（ｂ）の視差設定と、図１８（ｃ）の視差設定の両者を選択適用する構成である。すなわち、図５、図７に示す画像合成部１３３は、先に示した表１の撮影位置からの距離と閾値（スレッショルド）との比較に応じて、これらの視差設定を切り替えて、左眼用画像と右眼用画像を生成する。

画像合成部１３３の実行する処理は、具体的には以下の処理となる。
撮影位置からの距離＞閾値（スレッショルド）
上記判定式が成立する画素領域に対しては、
左眼用画像（Ｌ画像）＝入力信号＋視差強調信号（加算器の出力）
右眼用画像（Ｒ画像）＝入力信号−視差強調信号（減算器の出力）
これらの出力を左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）として出力する。
この処理は、図８に示す（ｃ）右目用画像と（ｄ）左眼用画像を生成する処理となる。これは、図１７（ｂ）の視差設定例１に対応する処理となり、画像が表示面より奥（遠く）に知覚される。

一方、
撮影位置からの距離≦閾値（スレッショルド）
上記判定式が成立する画素領域に対しては、
左眼用画像（Ｌ画像）＝入力信号−視差強調信号（減算器の出力）
右眼用画像（Ｒ画像）＝入力信号＋視差強調信号（加算器の出力）
これらの出力を左眼用画像（Ｌ画像）と右眼用画像（Ｒ画像）として出力する。
この処理は、図１８（ｃ）の視差設定例２に対応する処理となり、画像が表示面より手前（近く）に知覚される。

なお、この処理において、画像合成部１３３において実行する画像合成処理によって生成する右眼用画像（Ｒ画像）と左眼用画像（Ｌ画像）は、図１９に示す設定となる。

図１９には、先に説明した図８と同様の信号、すなわち、上から順に、
（ａ）入力信号
（ｂ）微分信号
（ｃ）右眼用画像信号
（ｄ）左眼用画像信号
これらの各信号を示している。

（ａ）入力信号、（ｂ）微分信号は、先に説明した図８と同様の信号である。（ａ）入力信号は、ビデオデータの任意のフレームの任意の水平１ラインの輝度変化を示している。中央部に輝度の高い高輝度領域が存在する１つのラインを例示している。ライン位置（ｘ１）からライン位置（ｘ２）までの領域Ａにおいて、輝度が次第に高くなる変化を示し、ライン位置（ｘ２）〜（ｘ３）において高レベル輝度を維持した高輝度部分が存在し、その後、ライン位置（ｘ３）からライン位置（ｘ４）までの領域Ｂにおいて、輝度が次第に低くなる変化を示している。

（ｂ）微分信号は、（ａ）入力信号の微分結果である。この微分信号は、図５に示す画像変換部１３０の微分器１３１において生成される信号である。
微分器１３１の生成する微分信号は、図に示すとおり、（ａ）入力信号の輝度変化が正になる領域Ａにおいて正の値をとり、（ａ）入力信号の輝度変化が負になる領域Ｂにおいて負の値をとる。

（ｃ）右眼用画像信号、（ｄ）左眼用画像信号は、先に説明した図８に示す（ｃ）右眼用画像信号と（ｄ）左眼用画像信号を入れ替えた信号となる。
これらの信号を適用することで、図１８（ｃ）の視差設定例２に対応する表示処理が実行され、観察者は画像を表示面より手前（近く）に知覚することになる。

このように、本発明の画像処理装置は、図１７（ｂ）の視差設定と、図１８（ｃ）の視差設定の両者を選択適用する。すなわち、先に説明した表１に示したように、撮影位置からの距離と閾値（スレッショルド）との比較に応じて、視差設定を切り替えた右眼用画像信号と左眼用画像信号を生成する。

図２０を参照して本発明に従った画像処理装置の実行する処理についてまとめて説明する。本発明の画像処理装置は、図２０（ｐ）に示すように表示面より遠くに画像を知覚させる視差設定例２と、図２０（ｑ）に示すように表示面より近くに画像を知覚させる視差設定例１を画像の構成画素の距離情報に応じて切り替えて利用する。この結果、図２０（ｒ）に示すように、観察者は、画像を表示面の手前（近く）から表示面の奥（遠く）までの広範囲で知覚することが可能となり、より立体的な知覚を得ることができる。

次に、図２１に示すフローチャートを参照して、本発明の一実施例に係る画像処理装置１００の画像変換部１３０の実行する処理のシーケンスについて説明する。なお、図２１に示すフローチャートは入力画像が動画像（ビデオデータ）である場合の処理である。

ステップＳ４０１において、微分器１３１（図５参照）は、画像変換部１３０に入力されるビデオデータのうち輝度信号に対して微分処理を行う。すなわち、図８（ａ）入力信号の微分処理により図８（ｂ）微分信号を生成する。

ステップＳ４０２では、非線形変換部１３２（図５参照）が、微分器１３１から出力される微分信号に対して非線形変換処理を行う。この非線形変換処理は、例えば図６に示すようなグラフに対応した非線形変換処理である。

ステップＳ４０３以下の処理は画像合成部１３３の処理である。画像合成部１３３内の制御部は、ステップＳ４０３において、現在の入力フレームに対する左眼用画像の合成を行うかどうかを判断する。この判断処理は、画像処理装置１００の出力する画像表示装置の表示方式と、画像合成部１３３内に設けられたフレームカウンタの値に従って判断する。フレームカウンタは、入力画像フレームのフレーム番号に対応する値を保持するカウンタである。

画像表示装置の出力方式が図１０に示す時間分割出力方式の場合には、画像合成部１３３はフレームカウンタの値に従って左眼用画像を出力するかどうかを判断する。すなわち図１０に示す時間分割出力方式の場合には、偶数フレームまたは奇数フレームのいずれかのみにおいて左眼用画像を出力するように制御を行う。フレームカウンタの値に従って左眼用画像を出力すると判断した場合は、ステップＳ４０４に進む。一方、フレームカウンタの値により右眼用画像出力のフレームであると判断した場合にはステップＳ４０５に進む。

また、図１０に示す時間分割出力方式以外の場合、すなわち、図１１に示す２倍のフレームレートによる時間分割出力方式、または、図１２に示す空間分割出力方式、あるいは、画像表示装置側で、図９に示す左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部１３３は、全ての入力フレームに対して左眼用画像を合成すると判断してステップＳ４０４に進む。

ステップＳ４０４では、画像合成部１３３は左眼用画像（Ｌｅｆｔ）を生成する。ステップＳ４０４の左眼用画像（Ｌｅｆｔ）生成処理の詳細フローを図２２に示す。画像合成部１３３は、先に説明した表１に従って左眼用画像（Ｌｅｆｔ）を生成する。

すなわち、各画素あるいは所定領域単位で撮影位置からの距離と予め設定した閾値（スレッショルド）を比較し、比較結果に応じて以下のように左眼用画像（Ｌｅｆｔ）を生成する。
撮影位置からの距離≦閾値（スレッショルド）の場合には、
左眼用画像（Ｌ画像）＝入力信号−視差強調信号、
撮影位置からの距離＞閾値（スレッショルド）の場合には、
左眼用画像（Ｌ画像）＝入力信号＋視差強調信号、
これらの処理によって左眼用画像（Ｌｅｆｔ）を生成する。

ステップＳ４０４の左眼用画像（Ｌｅｆｔ）生成処理の詳細について、図２２のフローを参照して説明する。まず、ステップＳ５０１において、各画素毎に左眼用画像（Ｌｅｆｔ）生成処理が終了したか否か判定する。全ての画素について処理が終了したと判定した場合は、ステップＳ５１０に進み、ステップＳ４０４は終了し、図２１に示すステップＳ４０６に進む。

ステップＳ５０１において、左眼用画像（Ｌｅｆｔ）生成処理が未処理の画素があると判定した場合は、ステップＳ５０２に進む。
ステップＳ５０２では、画素あるいは所定領域単位で撮影位置からの距離と予め設定した閾値（スレッショルド）を比較する。

ステップＳ５０２において、
撮影位置からの距離≦閾値（スレッショルド）
上記判定式が成立すると判定した場合（ステップＳ５０２の判定＝Ｙｅｓ）は、
ステップＳ５０３に進む。
ステップＳ５０３では、以下の式に従って、左眼用画像を生成する。
左眼用画像（Ｌ画像）＝入力信号（Ｓ）−視差強調信号（Ｅ）
上記算出式は、図７に示す画像合成部１３３のセレクタ１３７が減算器１３５の出力を選択して左眼用画像（Ｌ画像）として出力する処理に相当する。

一方、ステップＳ５０２において、
撮影位置からの距離≦閾値（スレッショルド）
上記判定式が成立しないと判定した場合（ステップＳ５０２の判定＝Ｎｏ）は、
ステップＳ５０４に進む。
ステップＳ５０４では、以下の式に従って、左眼用画像を生成する。
左眼用画像（Ｌ画像）＝入力信号（Ｓ）＋視差強調信号（Ｅ）
上記算出式は、図７に示す画像合成部１３３のセレクタ１３７が加算器１３４の出力を選択して左眼用画像（Ｌ画像）として出力する処理に相当する。

一方、図２１に示すステップＳ４０３において、現在の入力フレームに対する左眼用画像の合成を行わないと判定した場合は、ステップＳ４０５に進み、現在の入力フレームに対する右眼用画像を生成する。

ステップＳ４０５では、画像合成部１３３は右眼用画像（Ｒｉｇｈｔ）を生成する。ステップＳ４０５の右眼用画像（Ｒｉｇｈｔ）生成処理の詳細フローを図２３に示す。画像合成部１３３は、先に説明した表１に従って右眼用画像（Ｒｉｇｈｔ）を生成する。

すなわち、各画素あるいは所定領域単位で撮影位置からの距離と予め設定した閾値（スレッショルド）を比較し、比較結果に応じて以下のように右眼用画像（Ｒｉｇｈｔ）を生成する。
撮影位置からの距離≦閾値（スレッショルド）の場合には、
右眼用画像（Ｒ画像）＝入力信号＋視差強調信号、
撮影位置からの距離＞閾値（スレッショルド）の場合には、
右眼用画像（Ｒ画像）＝入力信号−視差強調信号、
これらの処理によって右眼用画像（Ｒｉｇｈｔ）を生成する。

ステップＳ４０５の右眼用画像（Ｒｉｇｈｔ）生成処理の詳細について、図２３のフローを参照して説明する。まず、ステップＳ５２１において、各画素毎に右眼用画像（Ｒｉｇｈｔ）生成処理が終了したか否か判定する。全ての画素について処理が終了したと判定した場合は、ステップＳ５３０に進み、ステップＳ４０５は終了し、図２１に示すステップＳ４０７に進む。

ステップＳ５２１において、右眼用画像（Ｒｉｇｈｔ）生成処理が未処理の画素があると判定した場合は、ステップＳ５２２に進む。
ステップＳ５２２では、画素あるいは所定領域単位で撮影位置からの距離と予め設定した閾値（スレッショルド）を比較する。

ステップＳ５２２において、
撮影位置からの距離≦閾値（スレッショルド）
上記判定式が成立すると判定した場合（ステップＳ５２２の判定＝Ｙｅｓ）は、
ステップＳ５２３に進む。
ステップＳ５２３では、以下の式に従って、右眼用画像を生成する。
右眼用画像（Ｒ画像）＝入力信号（Ｓ）＋視差強調信号（Ｅ）
上記算出式は、図７に示す画像合成部１３３のセレクタ１３７が加算器１３４の出力を選択して右眼用画像（Ｒ画像）として出力する処理に相当する。

一方、ステップＳ５２２において、
撮影位置からの距離≦閾値（スレッショルド）
上記判定式が成立しないと判定した場合（ステップＳ５２２の判定＝Ｎｏ）は、
ステップＳ５２４に進む。
ステップＳ５２４では、以下の式に従って、右眼用画像を生成する。
右眼用画像（Ｒ画像）＝入力信号（Ｓ）−視差強調信号（Ｅ）
上記算出式は、図７に示す画像合成部１３３のセレクタ１３７が減算器１３５の出力を選択して右眼用画像（Ｒ画像）として出力する処理に相当する。

また、図２１のステップＳ４０４において左眼用画像の生成を終了すると、ステップＳ４０６において、左眼用画像の生成フレームと同一フレームに対して右眼用画像も生成するか否かを判定する。画像処理装置の出力方式が図１０に示す時間分割出力方式の場合には、各フレームにおいては左眼、右眼のいずれかの画像のみを合成するため、右眼用画像の生成は行わないと判断してステップＳ４０７に進む。

また、図１０に示す時間分割出力方式以外の場合、すなわち、図１１に示す２倍のフレームレートによる時間分割出力方式、または、図１２に示す空間分割出力方式、あるいは、画像表示装置側で、図９に示す左眼用画像、右眼用画像を入力して表示制御を行う場合は、画像合成部１３３は、全ての入力フレームに対して右眼用画像を合成すると判断してステップＳ４０５に進む。ステップＳ４０５の処理はすでに説明した通り、前述した表１に従った右眼用画像の生成処理である。

ステップＳ４０７では、画像合成部１３３の制御部は、画像の縮小処理を行うかどうかを判断する。画像処理装置の出力形式が図１２に示す空間分割出力方式の場合、画像縮小処理を行うと判断し、ステップＳ４０８に進む。画像処理装置の出力形式が図１２に示す空間分割出力方式以外の場合、すなわち、図９に示す左眼用画像、右眼用画像の同時出力方式、図１０に示す時間分割出力方式、または、図１１に示す２倍のフレームレートによる時間分割出力方式のいずれかである場合には、画像縮小処理は不要であるため、ステップＳ４１０に進む。

ステップＳ４０８〜Ｓ４０９において、画像合成部１３３は、先に図１２を参照して説明したように図１２に示す（ｅ）両眼視差画像を（ｃ）右眼用画像と（ｄ）左眼用画像から生成する。すなわち、（ｃ）右眼用画像と（ｄ）左眼用画像の各画像をそれぞれ位相を１ラインずらして垂直方向に１／２に縮小処理する（Ｓ４０８）。さらに、画像合成部１３３は、このようにして得られた左眼用画像と右眼用画像を水平ライン単位で交互に合成して１枚の（ｄ）両眼視差画像を生成する（Ｓ４０９）。

ステップＳ４１０では、画像出力部１５０における画像出力処理が終了しているかどうかを判断する。画像出力処理が終了している場合、画像変換処理を終了する。画像出力処理が終了していない場合には、ステップＳ４１１に進む。

ステップＳ４１１では、フレームカウントをインクリメントし、ステップＳ４０１に進み、以降、ステップＳ４０１〜ステップＳ４１０の処理を繰り返す。

なお、図２１〜図２３のフローの説明では右目用画像と左眼用画像の生成を入力信号（Ｓ）と視差強調信号（Ｅ）を適用して生成する例を説明したが、先に図５を参照して説明したように、非線形変換部１３２の変換処理を省略し、微分器１３１の生成した微分信号を画像合成部１３３に直接入力（図５の点線）して、画像合成１３３が、微分信号を適用して左眼用画像と、右眼用画像を生成する処理を行う構成としてもよい。この場合は、上記の視差強調信号（Ｅ）は微分信号に置き換えられる。

以上、説明の通り、本発明の一実施例の画像処理装置によれば、２次元画像データを入力とし、画像の特徴量、すなわち輝度変化部分であるエッジ部を抽出して、エッジ部の画像態様を変更すことで擬似的な右眼用画像と左眼用画像を生成する構成である。この構成より、立体表示装置において好適な両眼視差画像を生成することが可能となる。

さらに、本発明による画像処理装置では、先に表１を参照して説明したように、入力信号（Ｓ）と視差強調信号（Ｅ）としたとき、以下の式により右眼用画像信号と左眼用画像信号を生成する。
撮影位置からの距離≦閾値（スレッショルド）
上記判定式が成立する画素領域の場合、
左眼用画像信号：Ｌｅｆｔ＝Ｓ−Ｅ
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ＋Ｅ
撮影位置からの距離＞閾値（スレッショルド）
上記判定式が成立する画素領域の場合、
左眼用画像信号：Ｌｅｆｔ＝Ｓ＋Ｅ
右眼用画像信号：Ｒｉｇｈｔ＝Ｓ−Ｅ

これら、左眼用画像信号と右眼用画像信号の生成式から理解されるように、右眼用画像信号と左眼用画像信号を加算して生成される加算信号は、以下のようになる。
加算信号＝（Ｓ＋Ｅ）＋（Ｓ−Ｅ）＝Ｓ
上記式から明らかなように加算信号は入力画像と等価になる。

このように、加算信号は入力信号に等しくなる、またはほぼ等しくなる設定である。従って、立体表示装置に表示した画像をユーザが見る場合に、立体視用のメガネを装着した場合には立体表現を知覚することが可能であり、立体視用のメガネを装着しない場合には通常の２次元画像として知覚することが可能となる。すなわち、メガネの装着の有無によらず画像を鑑賞することが可能となる。また、本発明による画像変換装置によれば、左眼用画像と右眼用画像の視差は非常に小さく、立体視用メガネを装着した場合の疲労度を低減することが可能である。

図１に示す画像処理装置は、画像表示部を持たない画像処理装置として説明した。しかし、画像表示部を持つ画像処理装置として構成してもよい。図２４は、画像表示部を持つ画像処理装置の一実施例を示す図である。

画像表示装置３００は、画像入力部３１０において、デジタルスチルカメラなどから出力される静止画像ファイルや、カムコーダなどから出力される動画像データを受け取り、内部データ形式に変換する。ここで、内部データ形式は、ベースバンドの動画像データであり、赤（Ｒ）、緑（Ｇ）、青（Ｂ）の三原色のビデオデータ、または、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）のビデオデータである。内部データ形式は、色空間の識別信号が重畳されており、後段の色空間変換部３２が対応していればどのような色空間でも構わない。

画像入力部３１０から出力されたビデオデータは、色空間変換部３２０に入力され、輝度信号と色差信号に変換される。このとき、入力ビデオデータがＹ，Ｃｂ，Ｃｒ色空間に従う場合には、色空間変換部３２０、色空間の変換を行わずに出力する。入力ビデオデータがＲ，Ｇ，Ｂ色空間、または他の色空間に従う場合には、色空間変換部３２０は、輝度（Ｙ）、色差（Ｃｂ，Ｃｒ）信号への変換を行い出力する。

ここで、色空間変換部３２０から出力するビデオデータの色空間は、Ｙ，Ｃｂ，Ｃｒ空間に限るものではなく、輝度成分と色成分が分離された色空間であれば、どのような空間でも構わない。

色空間変換部３２０から出力されたビデオデータは、画像変換部３３０に入力される。画像変換部３３０は、先に説明した処理によって左眼用と右眼用の両眼視差画像を生成し、画像表示部３５０の形式に従ってこれらの画像を合成して出力する。

画像変換部３３０から出力されたビデオデータは、色空間逆変換部３４０に入力され、Ｙ，Ｃｂ，Ｃｒ色空間からＲ，Ｇ，Ｂ色空間へ変換される。

色空間逆変換部３４０から出力されたビデオデータは、画像表示部３５０に入力される。画像表示部３５０は、画像出力部と表示部とを兼ね備えた構成であり、以下に示す立体表示方式（時間分割方式または空間分割方式）のいずれかの方式よって画像表示を行う。

（時間分割方式）
時間分割方式の立体表示方法においては、入力されるビデオデータの奇数フレームと偶数フレームをそれぞれ左眼用画像、および右眼用画像（または、右眼用画像、および左眼用画像）と認識し、ユーザが装着する液晶シャッタ方式によるメガネを制御して、左眼と右眼に映像が時間的に交互に提示されるようにする。この表示方式では、画像表示部３５０は、左眼用画像、および右眼用画像の出力切り替えタイミングを、鑑賞者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させる設定として制御する。

（空間分割方式）
空間分割方式の立体表示方法においては、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせ、ユーザが装着する偏光フィルタ方式によるメガネで見た場合に、左眼と右眼に水平ラインごとに映像が分離されて提示されるようにする。

以上、説明の通り、本発明による画像処理装置によれば、２次元画像データを入力とし、画像の特徴量から擬似的に右眼用画像と左眼用画像を生成することにより、両眼視差を利用した立体表示を行うことが可能である。さらに、本発明による画像処理装置によれば、左眼用画像と右眼用画像を加算したときに入力画像と等価となるように画像変換を行うことにより、立体視用のメガネを装着した場合には立体表現を知覚することが可能であり、立体視用のメガネを装着しない場合には通常の２次元画像として知覚することが可能となり、メガネの装着の有無によらず画像を鑑賞することが可能となる。また、本発明による画像表示装置によれば、左眼用画像と右眼用画像の視差は非常に小さく、立体視用メガネを装着した場合の疲労度を低減することが可能である。

以上、特定の実施例を参照しながら、本発明について詳解してきた。しかしながら、本発明の要旨を逸脱しない範囲で当業者が実施例の修正や代用を成し得ることは自明である。すなわち、例示という形態で本発明を開示してきたのであり、限定的に解釈されるべきではない。本発明の要旨を判断するためには、特許請求の範囲の欄を参酌すべきである。

また、明細書中において説明した一連の処理はハードウェア、またはソフトウェア、あるいは両者の複合構成によって実行することが可能である。ソフトウェアによる処理を実行する場合は、処理シーケンスを記録したプログラムを、専用のハードウェアに組み込まれたコンピュータ内のメモリにインストールして実行させるか、あるいは、各種処理が実行可能な汎用コンピュータにプログラムをインストールして実行させることが可能である。例えば、プログラムは記録媒体に予め記録しておくことができる。記録媒体からコンピュータにインストールする他、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）、インターネットといったネットワークを介してプログラムを受信し、内蔵するハードディスク等の記録媒体にインストールすることができる。

なお、明細書に記載された各種の処理は、記載に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。また、本明細書においてシステムとは、複数の装置の論理的集合構成であり、各構成の装置が同一筐体内にあるものには限らない。

以上、説明したように、本発明の一実施例構成によれば、２次元画像信号を入力して、両眼立体視を実現するための左眼用画像と右眼用画像を生成する構成において、画像変換部が入力画像信号の空間的な特徴量を抽出し、入力画像信号に対して特徴量を適用した異なる強調処理を施すことで左眼用画像と右眼用画像を生成する。具体的には、入力画像信号の輝度微分信号、あるいは輝度微分信号を非線形変換して生成した信号を特徴量とする。入力画像信号に対してこの特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を左眼用画像と右眼用画像の組として生成する。さらに、画素あるいは所定領域単位の距離情報に応じて加算処理と減算処理を入れ替え、知覚範囲を表示部の前後領域に拡大する。本構成により、簡易な信号処理で、立体視の可能な画像の生成が可能となる。また、左眼用画像と右眼用画像の加算信号は、入力信号に等しくなるので、立体視用のメガネを用いないで画像を観察した場合には通常の２次元画像として観察することが可能となる。

１００ 画像処理装置
１１０ 画像入力部
１１１ メモリカードインタフェース
１１２ ＵＳＢインタフェース
１１３ ビデオインタフェース
１１４ フレームメモリ
１１５ デコーダ
１１６ ビデオ出力部
１２０ フレームメモリ
１３０ 画像変換部
１３１ 微分器
１３２ 非線形変換部
１３３ 画像合成部
１３４ 加算器
１３５ 減算器
１３６ 距離情報生成部
１３７ セレクタ
１４０ 色空間逆変換部
１５０ 画像出力部
３００ 画像処理装置
３１０ 画像入力部
３２０ フレームメモリ
３３０ 画像変換部
１４０ 色空間逆変換部
３５０ 画像表示部

Claims (18)

1. 一つの２次元画像信号に対する画像変換を実行して２つの異なる視点からの観察画像に相当する第一画像と第二画像を生成する画像変換部を有し、
   前記画像変換部は、
   ２次元画像信号の空間的な特徴量を抽出し、
   前記２次元画像信号の所定領域単位の距離情報と予め規定した閾値との比較処理結果に応じて、前記特徴量を適用した異なる態様の画像変換処理を実行して前記第一画像または第二画像の少なくともいずれかの画像生成を行う構成であり、
   前記画像変換部は、
   ２次元画像信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、２次元画像信号に対して前記特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を第一画像として生成し、２次元画像信号に処理を加えない非変換信号を第二画像として生成する画像処理装置。
2. 一つの２次元画像信号に対する画像変換を実行して２つの異なる視点からの観察画像に相当する第一画像と第二画像を生成する画像変換部を有し、
   前記画像変換部は、
   ２次元画像信号の空間的な特徴量を抽出し、
   前記２次元画像信号の所定領域単位の距離情報と予め規定した閾値との比較処理結果に応じて、前記特徴量を適用した異なる態様の画像変換処理を実行して前記第一画像または第二画像の少なくともいずれかの画像生成を行う構成であり、
   前記画像変換部は、
   ２次元画像信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定し、２次元画像信号に対して前記特徴量を加算した信号と減算した信号を生成し、これらの２つの信号の組を第一画像と第二画像の組として生成する画像処理装置。
3. 一つの２次元画像信号に対する画像変換を実行して２つの異なる視点からの観察画像に相当する第一画像と第二画像を生成する画像変換部を有し、
   前記画像変換部は、
   ２次元画像信号の空間的な特徴量を抽出し、
   前記２次元画像信号の所定領域単位の距離情報と予め規定した閾値との比較処理結果に応じて、前記特徴量を適用した異なる態様の画像変換処理を実行して前記第一画像または第二画像の少なくともいずれかの画像生成を行う構成であり、
   前記画像変換部は、
   ２次元画像信号の輝度微分信号を抽出し、該輝度微分信号を非線形変換して生成した信号を前記特徴量として設定し、２次元画像信号に対して前記特徴量を加算した信号または減算した信号を生成し、これらの信号のいずれかを第一画像または第二画像として生成する処理を行う画像処理装置。
4. 前記画像変換部は、
   前記２次元画像信号の所定領域単位の距離情報と予め規定した閾値との比較処理結果に応じて、
   前記２次元画像信号に前記特徴量を加算して第一画像または第二画像を生成する処理と、
   前記２次元画像信号から前記特徴量を減算して第一画像または第二画像を生成する処理を切り替えて処理を実行する構成である請求項１〜３いずれかに記載の画像処理装置。
5. 前記画像変換部は、前記所定領域単位の距離と前記予め規定した閾値との関係が、
   距離≦閾値の場合には、
   第一画像信号を前記２次元画像信号から前記特徴量を減算した信号、
   第二画像信号を前記２次元画像信号に前記特徴量を加算した信号として生成し、
   距離＞閾値の場合には、
   第一画像信号を前記２次元画像信号に前記特徴量を加算した信号、
   第二画像信号を前記２次元画像信号から前記特徴量を減算した信号として生成する構成である請求項１〜４いずれかに記載の画像処理装置。
6. 前記画像変換部は、
   前記所定領域単位の距離情報に応じて前記２次元画像信号と前記特徴量との加算処理と減算処理を入れ替える処理を行い、知覚範囲を表示部の前後領域に拡大した第一画像と第二画像を生成する請求項１〜５いずれかに記載の画像処理装置。
7. 前記画像変換部は、
   動画像を構成する各フレームに対して、第一画像と第二画像を生成する処理を行う構成である請求項１〜３いずれかに記載の画像処理装置。
8. 前記画像処理装置は、さらに、
   前記画像変換部の生成する第一画像と第二画像の出力を行う画像出力部を有し、
   前記画像出力部は、前記画像変換部の生成する第一画像と第二画像を入力画像フレームレートの２倍速で交互に出力する処理を行う構成である請求項７に記載の画像処理装置。
9. 前記画像変換部は、
   動画像を構成する各フレームに対して、第一画像と第二画像のいずれか一方のみを交互に生成する処理を行う構成である請求項１〜３いずれかに記載の画像処理装置。
10. 前記画像変換部は、
    動画像を構成する各フレームに対して、第一画像と第二画像を生成する処理を行うとともに、
    生成した第一画像と第二画像を構成するラインデータを交互に含む両眼視差画像を生成する処理を行う構成である請求項１〜３いずれかに記載の画像処理装置。
11. 前記画像変換部は、
    生成する第一画像と第二画像の加算信号が入力信号に等しくなる設定、またはほぼ等しくなる設定として第一画像と第二画像を生成する処理を行う構成である請求項１〜３いずれかに記載の画像処理装置。
12. 前記画像処理装置は、さらに、
    前記画像変換部の生成した画像を表示する画像表示部を有する構成である請求項１〜１１いずれかに記載の画像処理装置。
13. 前記画像表示部は、第一画像、および第二画像を交互に出力する時間分割方式の立体表示処理を行う構成である請求項１２に記載の画像処理装置。
14. 前記画像表示部は、第一画像、および第二画像を交互に出力する時間分割方式の立体表示処理を実行する際、第一画像および第二画像の出力切り替えタイミングを画像観察者の装着したメガネの左右眼鏡部のシャッタ切り替えに同期させて表示切り替えを行う構成である請求項１３に記載の画像処理装置。
15. 前記画像表示部は、表示部前面に水平ラインごとに偏光方向が異なるように設定した偏光フィルタを貼り合わせた構成を有し、前記画像変換部の生成する第一画像と第二画像を構成するラインデータを交互に含む両眼視差画像を表示する構成である請求項１２に記載の画像処理装置。
16. 前記第一画像と第二画像は、立体視を実現するための左眼用画像と右眼用画像である請求項１〜１５いずれかに記載の画像処理装置。
17. 画像処理装置における画像処理方法であり、
    画像変換部が、一つの２次元画像信号に対する画像変換を実行して２つの異なる視点からの観察画像に相当する第一画像と第二画像を生成する画像変換ステップを実行し、
    前記画像変換ステップは、
    ２次元画像信号の空間的な特徴量を抽出する特徴量抽出処理と、
    前記２次元画像信号の所定領域単位の距離情報と予め規定した閾値との比較処理結果に応じて、前記特徴量を適用した異なる態様の画像変換処理を実行して前記第一画像または第二画像の少なくともいずれかの画像生成を行う画像生成処理を含むステップであり、
    前記特徴量抽出処理は、
    ２次元画像信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定する処理であり、
    前記画像生成処理は、
    ２次元画像信号に対して前記特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を第一画像として生成し、２次元画像信号に処理を加えない非変換信号を第二画像として生成する処理である画像処理方法。
18. 画像処理装置において画像処理を実行させるプログラムであり、
    画像変換部に、一つの２次元画像信号に対する画像変換を実行して２つの異なる視点からの観察画像に相当する第一画像と第二画像を生成する画像変換ステップを実行させ、
    前記画像変換ステップにおいて、
    ２次元画像信号の空間的な特徴量を抽出する特徴量抽出処理と、
    前記２次元画像信号の所定領域単位の距離情報と予め規定した閾値との比較処理結果に応じて、前記特徴量を適用した異なる態様の画像変換処理を実行して前記第一画像または第二画像の少なくともいずれかの画像生成を行う画像生成処理を実行させ、
    前記特徴量抽出処理は、
    ２次元画像信号の輝度微分信号を抽出し、該輝度微分信号を前記特徴量として設定する処理であり、
    前記画像生成処理は、
    ２次元画像信号に対して前記特徴量を加算した変換信号、または減算した変換信号のいずれかの変換信号を第一画像として生成し、２次元画像信号に処理を加えない非変換信号を第二画像として生成する処理であるプログラム。