JP6202856B2 - 画像処理装置、画像処理方法およびプログラム - Google Patents

Description

本発明は、画像表示技術における色補正処理に関する。

現在、両眼視差を利用して観賞者に立体像を知覚させる３Ｄ画像表示技術が普及している。この技術は、同一物体に関して両眼の視差の分だけ見え方の異なる画像（視差画像）を左右それぞれの眼に別個に提示することにより立体像を知覚させる技術である。中でも専用のメガネを併用する方式（以下、「メガネ方式」と呼ぶ。）は、映画館の３Ｄ上映や家庭用３Ｄテレビで採用され広く知られている。このようなメガネ方式の３Ｄ画像表示技術のうち例えば偏光メガネ方式では、ＬＣＤパネルなどの画像出力装置により視差画像を偏光で出力し、この出力光を、偏光板を取り付けたメガネを用いて左右の眼に振り分けることで、それぞれの眼に視差画像が提示される。

また、偏光メガネは、複数人の観賞者に対して同一画面を用いて同時に異なる画像を提示する同時マルチ画像表示技術においても用いられる。この場合は、メガネごとに特性の異なる偏光板を取り付け、偏光で出力した画像をそれぞれのメガネをかけた観賞者に振り分けることで、各観賞者に異なる画像が提示される。

一般にこのようなメガネ方式の画像表示方式の場合、画像出力装置の視野角特性とメガネの光学特性により、観賞位置に依存して色の見え方に変化が生じてしまう。例えば、液晶テレビ等の画像が表示される面（画像表示面）を正面から見た場合と斜めから見た場合とでは、同じ出力画像であってもその色が異なって見えてしまう。このような鑑賞位置に依存した色の変化を抑制する方法としては、視線方向に応じて画像出力装置の色再現を補正する技術が知られている。例えば、特許文献１には、画像表示面に対する観賞者の視線方向を推定し、その視線方向に応じて表示する画像の彩度や明度を補正することにより、視野角特性による色の変化を抑制する技術が開示されている。

特開２００９−１２８３８１号公報 特開２００７−０３４６２８号公報

しかしながら、メガネ方式の画像表示技術における色の見え方の変化は、鑑賞位置だけに依存するものではなく、鑑賞時の姿勢にも依存することが分かっている。例えば、背筋を伸ばして見た場合と首を傾げて見た場合とでは色が異なって見えてしまう。上述の特許文献１の技術は視線方向と画像表示面の法線方向とのなす角度に応じて色補正を行うものであるため、このような鑑賞者の姿勢に依存した色の見え方の変化（視線方向を回転中心としたメガネの傾きによる色の変化）には対応することができなかった。

本発明に係る画像処理装置は、偏光素子を有するメガネと画像表示装置とを含む画像表示システムのための画像処理装置であって、前記画像表示装置の表示面に対する前記メガネの傾き情報に基づき、表示される画像を示す画像データに対する色補正処理を行う色補正手段と、を備え、前記色補正手段は、複数の回転角度に対応付けられた複数の色補正パラメータの中から、前記メガネの傾き情報に基づいて、前記色補正処理に用いる色補正パラメータを取得することを特徴とする。

本発明によれば、メガネ方式の画像表示技術において、メガネの傾きに応じて適切に色再現がなされた画像の表示が可能となる。

実施例１に係るメガネ方式の３Ｄ画像表示技術を採用したシステム構成例を示す図である。 画像処理装置の内部構成を示す図である。 実施例１に係る画像処理装置における一連の処理の流れを示すフローチャートである。 傾き情報の具体例であり、（ａ）は回転角度θが０度の場合、（ｂ）は回転角度θが４５度の場合をそれぞれ示している。 実施例１に係る、専用メガネの傾きに応じた色補正パラメータの作成の流れを示すフローチャートである。 画像出力装置で出力された画像を測色する様子を示す図である。 実施例１に係る、測色データF(L,θref)および F(L,θ)の具体例である。 実施例１における色域圧縮を説明する図であり、（ａ）はL*a*b*色空間における各色域をL*とa*の二次元の座標位置で表した図、（ｂ）は色域圧縮によって得られた対応データF'(L,θ)の具体例を示している。 対応データF'(L,θ)を実現するＬＵＴの具体例である。 実施例２における色補正パラメータの作成の流れを示すフローチャートである。 実施例２に係る色域圧縮の説明図であり、（ａ）は色域圧縮によって得られた基準レンズL0の対応データF'(L0,θ)の具体例、（ｂ）は、非基準レンズL1の測色データF(L1,θ)の具体例である。また、（ｃ）はL*a*b*色空間における各色域を、L*とa*の二次元の座標位置で表した図、（ｄ）は対応データF''(L1, θ)の具体例である。 対応データF''(L1, θ)を実現するＬＵＴの具体例である。 実施例３に係るライドアトラクションの外観を示す図である。 同時マルチ画像表示システムの説明図である。 クロストークの説明図である。 実施例４に係る表示デバイスの測色データF(L,θ)およびF(R,θ)の具体例である。 実施例４に係るクロストークの測色データG(L,θ)およびG(R,θ)の具体例である。

実施例４に係る画像処理装置における一連の処理の流れを示すフローチャートである。 実施例５に係るクロストーク補正係数W(θ)を示すグラフである。

［実施例１］
本実施例では、画像出力装置の画像表示面上に表示される画像データに対し、メガネの傾きに応じた色補正パラメータを用いて色補正（色変換）処理を施すことにより、適切に色再現がなされた補正画像データを生成する。

図１は、本実施例に係るメガネ方式の３Ｄ画像表示技術を採用したシステム構成例を示す図である。

３Ｄ画像表示システム１００は、入力された画像データに色補正処理を行って補正画像データを生成する画像処理装置１１０、円偏光板をレンズに用いた専用メガネ１２０、画像出力装置としての液晶ディスプレイ１３０で構成される。

デジタルカメラ等から入力された３D表示用の画像データが、専用メガネ１２０に設けられた傾きセンサ１２１からの情報に応じて画像処理装置１１０で色補正処理され、それが液晶ディスプレイ１３０に出力されて表示される。以下、詳しく説明する。

図２は、画像処理装置１１０の内部構成を示す図である。

画像処理装置１１０は、ＣＰＵ２０１、ＲＡＭ２０２、ＲＯＭ２０３、ハードディスクドライブ（ＨＤＤ）２０４、ＨＤＤ Ｉ／Ｆ２０５、入力Ｉ／Ｆ２０６、出力Ｉ／Ｆ２０７、システムバス２０８で構成される。

ＣＰＵ２０１は、ＲＡＭ２０２をワークメモリとして、ＲＯＭ２０３及びＨＤＤ２０４に格納されたプログラムを実行し、システムバス２０８を介して後述する各構成を統括的に制御する。これにより、後述する様々な処理が実行される。

ＨＤＤインタフェイス（Ｉ／Ｆ）２０５は、例えばシリアルＡＴＡ（ＳＡＴＡ）等のインタフェイスであり、二次記憶装置としてのＨＤＤ２０４を接続する。ＣＰＵ２０１は、ＨＤＤＩ／Ｆ２０５を介して、ＨＤＤ２０４からのデータ読み出し、およびＨＤＤ２０４へのデータ書き込みが可能である。さらにＣＰＵ２０１は、ＨＤＤ２０４に格納されたデータをＲＡＭ２０２に展開し、同様に、ＲＡＭ２０２に展開されたデータをＨＤＤ２０４に保存することが可能である。そしてＣＰＵ２０１は、ＲＡＭ２０２に展開したデータをプログラムとみなし、実行することができる。なお、二次記憶装置は、ＨＤＤのほか、光ディスクドライブなどの他の記憶デバイスでもよい。

入力インタフェイス（Ｉ／Ｆ）２０６は、例えばＵＳＢやＩＥＥＥ１３９４等のシリアルバスインタフェイスである。入力Ｉ／Ｆ２０６は、視差画像を撮像するデジタルカメラ２０９や、ユーザが各種操作指示を行うためのキーボード・マウス２１０などの各種入力デバイス、および、加速度センサや角速度センサで構成される傾きセンサ１２１を接続する。ＣＰＵ２０１は、入力Ｉ／Ｆ２０６を介して各種入力デバイスや傾きセンサ１２１から様々なデータを取得することが可能である。なお、デジタルカメラ２０９は視差画像を撮像可能なデバイスの一例であって、ビデオカメラ等の他のデバイスでもよいことはいうまでもない。

出力インタフェイス（Ｉ／Ｆ）２０７は、例えばＤＶＩやＨＤＭＩ（登録商標）等の画像出力インタフェイスであり、画像出力装置としての液晶ディスプレイ１３０を接続する。この出力Ｉ／Ｆ２０７を介して液晶ディスプレイ１３０に画像データが送られ、視差画像が画面上に表示される。なお、図１に示すシステムでは、画像出力装置として液晶ディスプレイ１３０を用いているが、これに限られない。例えば、液晶ディスプレイに代えてプラズマディスプレイや有機ＥＬディスプレイを用いてもよいし、さらにプロジェクタを用いて視差画像をスクリーンに映し出すタイプのシステムであってもよい。メガネ方式の３D画像表示技術において、本発明は幅広く適用可能である。

図３は、本実施例に係る画像処理装置１１０における一連の処理の流れを示すフローチャートである。本実施例では、傾きセンサ１２１によって、専用メガネ１２０が基準からどれぐらい傾いているのかを示す情報（以下、「傾き情報」と呼ぶ。）を取得し、専用メガネ１２０の傾きに応じた色補正を、入力された画像データに対し行う。以下、観賞者が液晶ディスプレイ１３０に正対しているものと仮定して説明する。なお、この一連の処理は、以下に示す手順を記述したコンピュータ実行可能なプログラムを、ＲＯＭ２０３あるいはＨＤＤ２０４からＲＡＭ２０２上に読み込んだ後、該プログラムがＣＰＵ２０１で実行されることによって実現される。

ステップ３０１において、ＣＰＵ２０１は、液晶ディスプレイ１３０に表示する画像データを取得する。例えば、入力Ｉ／Ｆ２０６を介してデジタルカメラ２０９から取得してもよいし、ＨＤＤＩ／Ｆ２０５を介してＨＤＤ２０４などの二次記憶装置に保存されている画像データを取得してもよい。取得（入力）される画像データは、前述のとおり左眼画像と右眼画像の２種類の画像からなる視差画像データである。

ステップ３０２において、ＣＰＵ２０１は、傾きセンサ１２１から専用メガネ１２０の傾き情報を取得する。この傾き情報は、画像出力装置の画像表示面に平行な平面内における、水平軸に対する専用メガネ１２０の回転角度である。ＣＰＵ２０１は、画像表示面の水平方向、鉛直方向、法線方向をそれぞれx軸、y軸、z軸とし、x軸（水平軸）を基準としたz軸周りの回転角度（傾きセンサ１２１から得た鑑賞時の角度）θを傾き情報として取得する（図１を参照）。図４は、傾き情報の具体例を示す図であり、図４の（ａ）は回転角度θが０度の場合、図４の（ｂ）は回転角度θが４５度の場合をそれぞれ示している。

なお、図４の例では、専用メガネ１２０に傾きセンサ１２１を直接取り付けているが、傾き情報の取得方法はこれに限られない。例えば、専用メガネ１２０の傾きが観賞者の頭部の傾きと一致すると見做して、鑑賞者の頭部に固定するアクセサリ（ヘッドセットやイヤフォン等）に傾きセンサ１２１を取り付けて傾き情報を取得するようにしてもよい。あるいは、観賞者の頭部そのものに傾きセンサ１２１を固定してもよい。また、傾きセンサ１２１の代わりに観賞者の顔を撮像するカメラを別途用意し、得られた顔画像に対し公知の顔認識技術を用いて顔の傾きを推定し、推定された傾きを基に傾き情報を求めてもよい。

図３のフローチャートの説明に戻る。

ステップ３０３において、ＣＰＵ２０１は、取得した傾き情報に基づき、左眼画像用と右眼画像用のそれぞれの色補正に用いる色補正パラメータを取得する。具体的には、取得した傾き情報が示す角度θに対応する左眼画像用色補正パラメータと右眼画像用色補正パラメータを、ＨＤＤ２０４から取得する。ここで、ＨＤＤ２０４には、専用メガネ１２０の左右それぞれのレンズについて、複数の角度に対応付けられた色補正パラメータが予め作成され保持されているものとする。例えば、−７０度から＋７０度までの各角度（５度刻み）に対応付けられた色補正パラメータが左右それぞれのレンズについて作成・保持されていたとする。このとき、専用メガネ１２０の傾き（＝鑑賞角度θ）が＋２０度であれば、左眼レンズのθ＝＋２０度に対応する左眼画像用色補正パラメータと、右眼レンズのθ＝＋２０度に対応する右眼画像用色補正パラメータを、それぞれ選択する。色補正パラメータ作成方法の詳細については後述する。

なお、色補正パラメータが上述のように５度刻みで作成されていた場合には、取得した傾き情報（角度θ）に対応する色補正パラメータが存在しないということも十分考えられる。この場合は、θ0＜θ＜θ1を満たすような2つの角度（θ0とθ1）に対応する２つの色補正パラメータを用いて補間処理を行い、取得された傾き情報に対応する色補正パラメータを導出する。例えば、上述の例において、取得された傾き情報が示す角度θが＋２２度であった場合は、θ0＝＋２０度、θ1＝＋２５度として、角度θ0とθ1に対応付けられた２つの色補正パラメータを用いて補間処理を行う。こうして、傾き＋２２度に相当する色補正パラメータを導出し、これを使用する色補正パラメータに決定する。また、角度θ0とθ1に対応する色補正パラメータが存在しない場合は、取得された傾き情報（角度θ）に最も近い角度の色補正パラメータを選択して、使用する色補正パラメータとして決定する。例えば、傾き情報が示す角度θが＋８０度の場合は、存在する中で最も近い角度である＋７０度に対応する色補正パラメータを使用する色補正パラメータとして選択する。なお、色補正パラメータを予め用意する際、角度の範囲や間隔は上述した例に限定されるものではなく、より広くても（例えば、−９０度〜＋９０度）、逆に狭くても（例えば、−５０度〜＋５０度）よい。また、角度の範囲は上限と下限が０度を中心に対称でなくても（例えば、−７０度〜＋６０度）よいし、角度の間隔は非均等（例えば、−２０度〜＋２０度の間は２度刻み、残りの上限／下限までの範囲は５度刻み等）であってもよい。

図３のフローチャートの説明に戻る。

ステップ３０４において、ＣＰＵ２０１は、取得した色補正パラメータを用いて入力された視差画像データの画素値を変換（色補正）し、補正画像データを生成する。なお、入力される視差画像データと同様、補正画像データも左眼補正画像と右眼補正画像とで構成される。この場合において、入力された視差画像データ内に色補正パラメータに対応していない（すなわち、格子点と一致しない）RGB値がある場合には、その近傍格子点から四面体補間等の補間処理を行って、各補正画像の画素値を求めればよい。

ステップ３０５において、ＣＰＵ２０１は、生成された補正画像データを液晶ディスプレイ１３０へ送る。そして、液晶ディスプレイ１３０において、補正画像データが表示される。

なお、ステップ３０１で取得した入力画像データが動画データであった場合には、当該動画データの表示開始から終了までの間、専用メガネ１２０の傾きをリアルタイムで検出して傾き情報を随時更新し、常に鑑賞者の姿勢に応じた色補正を行うようにすればよい。

＜色補正パラメータの作成＞
ＨＤＤ２０４等に保持される色補正パラメータは、予め定めた目標色群が再現されるような色補正パラメータである。本実施例では、リファレンス角度θrefで液晶ディスプレイ１３０の画像表示面を見た場合の表示色が、他の観賞角度θで見た場合にも再現されるような色補正パラメータを、専用メガネ１２０のレンズ毎に作成する。ここで、リファレンス角度θrefは、例えば専用メガネ１２０が地面と水平になる角度である０度（図４の（ａ）参照）とする。あるいは、レンズ越しに画像表示面を見た際の表示色の輝度レンジや色域といった再現可能域が最も狭くなる角度をリファレンス角度θrefとしてもよい。この場合には、リファレンス角度θrefでの表示色が他の観賞角度θにおける色域内に含まれる可能性が高くなり、忠実な色再現が容易となる。

図５は、本実施例における、専用メガネ１２０の傾きに応じた色補正パラメータの作成の流れを示すフローチャートである。本実施例では、入力画像のRGB値を補正画像のRGB値へ変換する際の対応関係が記述された３次元色変換ルックアップテーブル（以下、単に「ＬＵＴ」と呼ぶ。）を、色補正パラメータとして求めるものとする。

まずステップ５０１において、RGB色空間を格子状に分割して生成した各格子点に相当するRGB値を、画像出力装置である液晶ディスプレイ１３０に入力して表示し、その画像表示面を測色する。測色には例えば分光放射輝度計を用い、専用メガネ１２０をリファレンス角度θrefおよび所定の観賞角度θに設定して、レンズ越しにそれぞれ測色する。図６は、測色の様子を示す図であり、液晶ディスプレイ１３０の画像表示面が、所定の観賞角度θに傾けられた専用メガネ１２０の左眼用のレンズL越しに分光放射輝度計６０１で測色されている。そして、このような測色を任意の間隔・範囲の鑑賞角度θについて繰り返し行い、得られたXYZ値をL*a*b*値に変換して、変換後のL*a*b*値と格子点のRGB値とを対応付けた測色データF(L,θref)及びF(L,θ)を得る。図７の（ａ）及び（ｂ）は、このようにして得られた測色データF(L,θref)及びF(L,θ)の具体例をそれぞれ示している。

ステップ５０２では、リファレンス角度θrefに関する測色データF(L,θref)に対して、色域圧縮処理を行う。具体的には、リファレンス角度θrefにおける測色データF(L,θref)を、各観賞角度θにおける測色データF(L,θ)で示される色域内に収まるように色域圧縮する。これは、観賞角度θの色域には含まれないがリファレンス角度θrefの色域には含まれるL*a*b*値の全てを、当該観賞角度θの色域で再現可能なL*a*b*値に変換するためである。この色域圧縮処理により、格子点のRGB値と色域圧縮後のL*a*b*値との対応データF'(L,θ)を得る。図８は、本実施例における色域圧縮を説明する図であり、（ａ）はL*a*b*色空間における各色域をL*とa*の二次元の座標位置で表した図である。図８の（ａ）において、破線は図７で示したリファレンス角度θrefにおける測色データF(L,θref)に対応し、一点鎖線は特定の観賞角度θにおける測色データF(L,θ)に対応している。リファレンス角度θrefの測色データF(L,θref)が特定の観賞角度θの測色データF(L,θ)に含まれるように色域圧縮され、実線で示す対応データF'(L,θ)が得られている。図８の（ｂ）は、この色域圧縮によって得られた対応データF'(L,θ)の具体例を示している。色域圧縮には種々の方法があるが、例えば視覚的な一致を図る方法として、色域内の色はできる限り圧縮せずに忠実に再現し、色域外の色は色域内の高彩度部へ圧縮して階調性を保持する方法が広く知られている。

ステップ５０３では、ステップ５０１で得た測色データF(L,θ)を用いて、ステップ５０２で得た対応データF'(L,θ)中のL*a*b*値をRGB値に変換する。すなわち、格子点のRGB値と特定の観賞角度θのメガネレンズ越しに測色したL*a*b*値との対応関係に基づき、色域圧縮後のL*a*b*値をRGB値に変換する。具体的には、格子点のRGB値をF'(L,θ)に入力して色域圧縮後のL*a*b*値pに変換し、さらに、pを以下の式（１）を用いてRGB値へ逆変換する。

ここで、pi(i=0,1,2,3)は、F(L,θ)上に存在するL*a*b*値のうちL*a*b*色空間においてpを取り囲む四面体をなす４つの近傍色であり、F^-1L,θ(pi)はF(L,θ)上においてpiに対応するRGB値である。また、wi(i=0,1,2,3)は、L*a*b*色空間において四面体p0-p1-p2-p3がpにより分割されてできる小四面体p-pj0-pj1-pj2 (i≠j0≠j1≠j2)の体積比である。

このような処理を経て得られたRGB値が、格子点のRGB値に対する色補正後のRGB値となる。

ステップ５０４では、格子点のRGB値とステップ５０３で得た変換後のRGB値とを対応付けた、特定の観賞角度θにおけるＬＵＴを作成する。図９は、図８の（ａ）及び（ｂ）で示した対応データF'(L,θ)を実現するＬＵＴの具体例である。このＬＵＴの場合、例えば、入力画像データにおけるある画素の値が（R,G,B）＝（64,0,0）であった場合、補正画像データにおける当該画素の値は（R,G,B）＝（59,3,1）に補正されることになる。

そして、上記ステップ５０１からステップ５０４の処理を様々な観賞角度θについて行い、さらにこれら一連の処理を左右それぞれのレンズについて行って、所定の範囲の鑑賞角度θを網羅する複数のＬＵＴを作成する。

なお、本実施例では、色補正パラメータとして、RGB値を基準とした３次元色変換ＬＵＴを用いて説明したが、画像を表す色空間はＲＧＢに限らない。例えば、ＣＭＹＫやその他のデバイス依存色空間などを用いてもよいし、ＬＵＴの入力−出力間で異なる色空間を用いてもよい。また、３次元色変換ＬＵＴ以外にも、入力画像の信号値に対する補正画像の信号値を関連付ける変換マトリクスや変換関数などを用いてもよく、そのような方法によっても同様の効果を得ることができる。

本実施例によれば、メガネの傾きに応じて色補正がなされるので、観賞姿勢に依存した色の変化を抑制することが可能となる。

［実施例２］
実施例１では、入力された画像データをメガネの傾きに応じて色補正して出力する態様について説明した。

ところで、一般にメガネ方式の３Ｄ画像表示システムで用いる専用メガネは、特性の異なる光で出力された視差画像を左右の眼に振り分けるため、左右のレンズの光学特性が異なっている。そのため、レンズ越しに再現可能な色域や鑑賞角度に依存した色の変化の仕方も左右で異なり、左右それぞれの視差画像に対して専用メガネの傾きに応じた色補正パラメータを用いて色補正を行っても、色域形状によっては左右で色が異なって見える可能性がある。そして、左右で色の見え方が大きく異なると、視野闘争と呼ばれる現象が生じて立体像を知覚することが困難となる場合がある。

そこで、実施例１で説明したメガネの傾きによる色の見え方の差だけでなく、左眼−右眼間（両眼間）における色の見え方の差も小さくなるような色補正パラメータを用いて補正を行う態様について、実施例２として説明する。

なお、実施例１と共通する画像処理装置１１０における一連の処理については説明を省略し、ここでは差異点である色補正パラメータの作成方法を中心に説明することとする。

図１０は、本実施例における色補正パラメータの作成の流れを示すフローチャートである。

ステップ１００１では、左右のレンズのうち基準とするレンズ（以下、「基準レンズ」と呼ぶ。）Ｌ0について、実施例１で説明した方法で色補正パラメータを作成する。具体的には、図５のフローチャートで示した手順で、リファレンス角度θrefのメガネ越しに画像表示面を見た場合の表示色を再現する３次元色変換ＬＵＴを作成する。このときのステップ５０２で得られるRGB値と色域圧縮後のL*a*b*値との対応データを、F'(L0,θ)とする。図１１は、本実施例に係る色域圧縮の説明図であり、（ａ）は本ステップにおける色域圧縮によって得られた、基準レンズL0の対応データF'(L0,θ)の具体例を示している（便宜的に、実施例1に係る図８の（ｂ）と同内容となっている。）。

ここで、基準レンズＬ0は、例えば観賞者の利き眼側のレンズとする。利き眼情報は、画像出力装置である液晶ディスプレイ等に表示したＵＩを介して観賞者が指定するように構成してもよいし、利き眼判定用の視差画像データを表示して自動判定（例えば、特許文献２の第２の実施形態を参照。）してもよい。さらに、レンズ越しに画像表示面を見た際の表示色の再現可能域に基づいて、例えば、輝度レンジや色域が平均して狭い方や、観賞角度θ毎に表示色の輝度レンジや色域が狭い方を基準レンズＬ0に選択するようにしてもよい。

ステップ１００２では、基準としなかったもう一方のレンズ（以下、「非基準レンズ」と呼ぶ。）Ｌ1について、様々な鑑賞角度θで基準レンズＬ0越しに色補正後の画像表示面を見た場合の表示色を再現する色補正パラメータを作成する。具体的には、以下のとおりである。

まず、所定の観察角度θにおける非基準レンズＬ1越しの測色データF(L1,θ)を得る（図５のフローチャートのステップ５０１）。図１１の（ｂ）に、非基準レンズL1の測色データF(L1,θ)の具体例が示されている。

次に、ステップ１００１で得た基準レンズＬ0に関する色域圧縮後の対応データF'(L0,θ)に対して、非基準レンズL1の測色データF(L1, θ)で示される色域内に収まるように色域圧縮処理を行う（図５のフローチャートのステップ５０２）。つまり、実施例１では測色データF(L,θref)を用いた部分を、基準レンズL0の対応データF'(L0,θ)に置き換えて、前述のステップ５０２の処理を適用する。これにより、非基準レンズL1についての、格子点のRGB値に対する新たなL*a*b*値の対応データF"(L1,θ)を得る。図１１の（ｃ）は、L*a*b*色空間における各色域を、L*とa*の二次元の座標位置で表した図である。図１１の（ｃ）において、実線は基準レンズL0の対応データF'(L0,θ)を示し、一点鎖線は非基準レンズL1の観賞角度θにおける測色データF(L1,θ)を示している。基準レンズL0の対応データF'(L0,θ)が、非基準レンズL1の測色データF(L1,θ)に含まれるように色域圧縮され、斜線で示す領域の対応データF''(L1,θ)が得られている。なお、破線は、非基準レンズL1についてのリファレンス角度θで測色した場合の測色データF(L1,θref)を示している。仮に、これを用いて実施例１を適用した場合には、非基準レンズL1の測色データF(L1,θ)はこのF(L1,θref)を目指して色域圧縮されるので、その結果得られる対応データは、上記対応データF''(L1, θ)とは一致しないことが分かる。もちろん、実施例1を適用して得られる対応データ（測色データF(L1,θref)を目指して色域圧縮された対応データ）を実現するＬＵＴでも、そのＬＵＴを用いた補正の結果、左眼と右眼との間で再現される色に大きな差がなければ視野闘争の問題は生じない。本実施例は、その差が大きくなって視野闘争が起こり得るようなケースを想定し、そのようなケースでも視野闘争が生じないよう、両眼間におけるメガネ越しに再現される色の差にも配慮したものである。

最後に、測色データF(L1,θ)を用いて、対応データF''(L1,θ)中のL*a*b*値をRGB値に変換し、これを格子点のRGB値に対応付けて、非基準レンズL1についてのＬＵＴとする（図５のステップ５０３〜５０４）。図１２は、図１１の（ｃ）及び（ｄ）で示した対応データF''(L1, θ)を実現するＬＵＴの具体例である。このＬＵＴの場合、例えば、入力された画像データにおけるある画素の値が（R,G,B）＝（64,0,0）であった場合、補正画像データにおける当該画素の値は（R,G,B）＝（100,4,9）に補正されることになる。

以上のようにして予め作成した様々な観察角度θについての色補正パラメータを用いて実施例１で説明した図３のフローチャートによる処理を行うことで、観賞姿勢に依存した色の変化だけでなく視野闘争も抑制することが可能となる。

なお、上述の例では基準とする片方のレンズ越しの色に、他方のレンズ越しの色を合わせたが、両眼間における色の見え方の差を縮める方法はこれに限らない。例えば、格子点のRGB値に対する目標色群（例えば、目標L*a*b*値）を定めた共通ターゲットデータF(Lt)を設定する。そして、この共通ターゲットデータF(Lt)に基づき、左右のレンズについてそれぞれ目標L*a*b*値を再現する色補正パラメータを作成して色補正するようにしてもよい。この場合、共通ターゲットデータF(Lt)は、例えばリファレンス角度θrefや任意の観賞角度θで左右それぞれのレンズ越しに画像表示面を見た際の共通色域内に目標L*a*b*値が収まるように設計する。つまり、左右それぞれのレンズ越しに再現される色の再現可能域の共通領域に含まれる共通の目標色群F(Lt)を設定する。そして、実施例１で説明したリファレンス角度θrefに関する測色データF(L,θref)を共通ターゲットデータF(Lt)に置き換えて、図５のフローチャートで示した手順で、各レンズについてのＬＵＴを作成すればよい。

［実施例３］
実施例１及び２では、専用メガネとして円偏光メガネを用いる３Ｄ画像表示システムにおいて、メガネの傾きに応じた色補正を行う例を説明した。本発明は、その他の３Ｄ画像表示システムに対しても適用可能である。

例えば、偏光素子を利用したシャッター方式の専用メガネを用いる３Ｄ画像表示システムや、偏光で出力した画像を偏光特性の異なる専用メガネを用いて複数の観賞者に振り分けて提示する同時マルチ画像表示システム（図１４を参照。）に対しても有効である。

さらには、図１３に示したような、ライドアトラクション等において、観賞者と連動して動く偏光板１３０１を広義のメガネとみなして本発明を適用することも可能である。

［実施例４］
実施例１及び２では、入力された画像データをメガネの傾きに応じた色補正を行う態様について説明した。次に、色補正の中でも、３Ｄ映像視聴の際の妨害要因となるクロストークを画像処理にて打ち消す態様について、実施例４として説明する。なお、実施例１及び２と共通する点については説明を省略し、ここでは差異点を中心に説明することとする。

まず、３Ｄ映像のクロストークについて説明する。

３Ｄ映像のクロストークとは、左眼に見せたい映像が右眼に漏れて見え、右眼に見せたい映像が左眼に漏れて見えてしまう現象である。そして、クロストークの色は、例えば偏光フィルムを用いた専用メガネ１２０の光学特性により変動し、さらに、鑑賞者の姿勢（視線方向を回転中心としたメガネの傾き）によっても変動する。

図１５は、クロストークを説明する図である。まず、左眼画像と右眼画像の２種類の画像からなる視差画像データを入力として、左眼画像には偏光Ａ、右眼画像には偏光Ｂをかけて出力し、これらを同一画面上に表示する。鑑賞者は、左眼に偏光Ａ、右眼に偏光Ｂの偏光フィルムの貼られた専用メガネ１２０を通してこの映像を鑑賞する。この結果、左眼には左眼画像のみが入り、右眼には右眼画像のみが入るのが理想であるが、実際には、反対側の眼に見せたい画像が互いにクロストークとして混入してしまう。図１５には、このクロストークによって映像が２重像として見えてしまっている様子が示されている。

次に、本実施例における色補正処理について説明する。本実施例における色補正処理では、クロストーク補正処理を行い、この結果色補正画像としてクロストーク補正画像を得る。なお、本実施例では、専用メガネ１２０越しに測定した表示デバイスの測色データに加えて、専用メガネ１２０越しに測定したクロストークの測色データをあらかじめ用意しておき、これらを用いてクロストーク補正処理を行う。

（表示デバイスの測色について）
表示デバイスの測色データは、実施例１に係る図５のフローチャートのステップ５０１で説明した方法で得ることができる。具体的には、RGB色空間を格子状に分割して生成した各格子点に相当するRGB値を、画像出力装置である液晶ディスプレイ１３０に入力して表示し、その画像表示面を測色する。測色には例えば分光放射輝度計を用い、専用メガネ１２０を所定の観賞角度θに設定して、レンズ越しに測色する。そして、このような測色を実施例１と同様に任意の間隔・範囲の鑑賞角度θについて繰り返し行い、得られたXYZ値をL*a*b*値に変換して、変換後のL*a*b*値と格子点のRGB値とを対応付けた測色データF(L,θ)及びF(R,θ)を得る。F(L,θ)は左眼用のレンズＬ越しに測定された表示デバイスの測色データ、F(R,θ)は右眼用のレンズR越しに測定された表示デバイスの測色データである。ここで、F(L,θ)の測色は、左眼画像として格子点のRGB値を表示し、右眼画像は非表示とした状態で行う。逆に、F(R,θ)の測色は、右眼画像として格子点のRGB値を表示し、左眼画像は非表示とした状態で行う。図１６の（ａ）及び（ｂ）は、このようにして得られた表示デバイスの測色データF(L,θ)及びF(R,θ)の具体例をそれぞれ示している。得られた測色データは、ＨＤＤ２０４に記憶される。

（クロストークの測色について）
基本的な測色の流れは、表示デバイスの測色と同様であるため詳細な説明は省略するが、クロストークの測色では、測色するレンズと表示する画像との対応関係が前述の表示デバイスの測色の時とは異なる。具体的には、左眼用のレンズL越しに測色を行う場合は、右眼用画像として格子点のRGB値を表示し、左眼画像は非表示とした状態で行う。逆に、右目用のレンズR越しに測色を行う場合は、左眼用画像として格子点のRGB値を表示し、右眼画像は非表示とした状態で行う。このようにすることで左右それぞれのクロストークを測色することができる。図１７の（ａ）及び（ｂ）は、左眼のクロストーク測色データG(L,θ)及び右眼のクロストーク測色データG(R,θ)の具体例をそれぞれ示している。得られた測色データは、ＨＤＤ２０４に記憶される。

図１８は、本実施例におけるクロストーク補正処理の流れを示すフローチャートである。なお、一部のステップは実施例１に係る図３のフローチャートにおける処理と同様であるため、これらについては詳細な説明は省略する。

ステップ１６０１において、ＣＰＵ２０１は、液晶ディスプレイ１３０に表示する画像データを取得する。例えば、入力Ｉ／Ｆ２０６を介してデジタルカメラ２０９から取得してもよいし、ＨＤＤＩ／Ｆ２０５を介してＨＤＤ２０４などの二次記憶装置に保存されている画像データを取得してもよい。取得（入力）される画像データは、左眼画像と右眼画像の２種類の画像からなる視差画像データである。

ステップ１６０２において、ＣＰＵ２０１は、傾きセンサ１２１から専用メガネ１２０の傾き情報を取得する。処理の詳細は、図３のフローチャートにおけるステップ３０２と同様であるため説明を省略する。

ステップ１６０３において、ＣＰＵ２０１は、ステップ１６０２で取得した傾き情報に基づき、左右それぞれの眼に対応するクロストーク測色データを取得する。具体的には、取得した傾き情報が示す角度θに対応する左眼のクロストーク測色データG(L,θ)と右眼のクロストーク測色データG(R,θ)を、ＨＤＤ２０４から取得する。なお、クロストーク測色データが、例えば５度刻みで作成されていた場合には、取得した傾き情報（角度θ）に対応するクロストーク測色データが存在しないということも十分考えられる。この場合は、θ0＜θ＜θ1を満たすような2つの角度（θ0とθ1）に対応する２つのクロストーク測色データを用いて補間処理を行い、取得された傾き情報に対応するクロストーク測色データを導出する。また、角度θ0とθ1に対応するクロストーク測色データが存在しない場合は、取得された傾き情報（角度θ）に最も近い角度のクロストーク測色データを選択して、使用するクロストーク測色データとして決定する。なお、クロストーク測色データを予め用意する際、角度の範囲や間隔は特定の条件に限定されるものではなく、実施例１の色補正パラメータと同様の方法で設定すればよい。

ステップ１６０４において、ＣＰＵ２０１は、参照画像の画素値とクロストーク測色データから、左右それぞれの眼に対応するクロストーク補正パラメータを導出する。ここで、参照画像とは、処理対象の眼とは反対の眼に表示したい画像をいう。具体的には、左目用のクロストーク補正パラメータを導出する際は右眼画像を参照画像とし、右目用のクロストーク補正パラメータを導出する際は左眼画像を参照画像とする。本ステップで得られるクロストーク補正パラメータは、参照画像の各画素のＲＧＢ値に対応するクロストークのL*a*b*値となる。具体的には、左眼用のクロストーク補正パラメータＨ（Ｌ）を導出する場合は、右眼画像を参照画像とし、参照画像の各画素のＲＧＢ値でクロストーク測色データG(L,θ)を参照することにより求めることができる。右眼用のクロストーク補正パラメータＨ（Ｒ）はこの逆の方法、すなわち、左眼画像を参照画像とし、参照画像の各画素のＲＧＢ値でクロストーク測色データG(R,θ)を参照することにより求めることができる。なお、参照画像内にクロストーク測色データに対応していない（すなわち、格子点と一致しない）RGB値がある場合には、その近傍格子点から四面体補間等の補間処理を行って、クロストーク補正パラメータを求めればよい。

ステップ１６０５において、ＣＰＵ２０１は、ステップ１６０４で導出されたクロストーク補正パラメータを用いて、ステップ１６０１で入力された視差画像データの画素値を補正し、クロストーク補正画像データ（色補正画像データ）を生成する。入力される視差画像データと同様、クロストーク補正画像データも左眼クロストーク補正画像と右眼クロストーク補正画像とで構成される。以下、左眼クロストーク補正画像の生成を例に、視差画像データの画素値をどのように補正するのかを具体的に説明する。

まず、ステップ１６０１で取得した入力画像である左眼画像のRGB値で左眼用のレンズＬ越しに測定された表示デバイスの測色データF(L,θ)を参照して、左眼画像のL*a*b*値を求める。なお、左眼画像内に測色データに対応していない（すなわち、格子点と一致しない）RGB値がある場合には、その近傍格子点から四面体補間等の補間処理を行って、対象となっているＲＧＢ値に対応したL*a*b*値を求めればよい。

次に、得られた左眼画像のL*a*b*値から、ステップ１６０４で導出したクロストーク補正パラメータＨ（Ｌ）を減算し、左眼クロストーク補正画像のL*a*b*値を求める。

最後に、左眼用のレンズＬ越しに測定された表示デバイスの測色データF(L,θ)に基づき、左眼クロストーク補正画像のL*a*b*値をRGB値へ逆変換して、左眼クロストーク補正画像のRGB値を求める。なお、変換後のRGB値がマイナスの値や２５６以上の値をとる場合は、適切にクリッピング処理を行えばよい。同様の方法で、右眼クロストーク補正画像も生成される。

ステップ１６０６において、ＣＰＵ２０１は、生成されたクロストーク補正画像データを液晶ディスプレイ１３０へ送る。そして、液晶ディスプレイ１３０において、クロストーク補正画像データが表示される。

以上のような色補正処理により、メガネの傾きに応じてクロストークの補正がなされるので、観賞姿勢に依存したクロストークの発生を抑制することが可能となる。

本実施例では、クロストーク補正画像のRGB値がマイナスの値をとる場合にクリッピング処理をすればよいとしたが、この処理により色転び等の弊害が生じる可能性がある。そこで、予め、例えばクロストークの値に応じて導出したオフセット量で入力画像の画素値をオフセットしておくことが考えられる。これにより、補正後にRGB値がマイナスの値となるのを防ぐことができ、色転びを生じさせることなくクロストークをより抑制することができる。この場合のオフセット量は、メガネの傾きに応じて適宜変更すればよい。さらに、オフセット量を導出する際のクロストークの値は、例えばクロストーク測色データ内の最大値とする。もちろん、このオフセット量を入力画像ごとに適宜変更するようにしてもよいことは言うまでもない。

また、本実施例で説明したクロストーク補正処理によって生成されたクロストーク補正画像データが、新たなクロストークを発生してしまうことが考えられる。これに対しては、生成されたクロストーク補正画像データを新たに入力画像データとして、左右の眼に対応するクロストーク補正画像データを順次更新していくことで抑制することができる。なお、クロストーク補正画像データの更新の繰り返し回数は、例えばクロストークの許容値をあらかじめ定めておき、クロストーク補正パラメータがこれを下回るまで行うといった具合に設定すればよい。

さらに、実施例１や２で説明した色補正処理と本実施例で説明したクロストーク補正処理とを同時に実施するようにしてもよい。すなわち、F(L,θ)の代わりにF'(L,θ)やF''(L,θ)を用いて本実施例で説明したクロストーク補正処理を行うようにしてもよい。

［実施例５］
実施例４では、あらかじめ様々な回転角度に対してクロストークを測色しておき、得られた測色データを用いてメガネの傾きに応じてクロストークの補正を行う態様について説明した。次に、例えば最もクロストークの強く発生する回転角度のみクロストークを測色しておき、これ以外の角度に対しては、補間計算にてクロストークの色を導出する態様について実施例５として説明する。なお、実施例４と共通する点については説明を省略し、ここでは差異点を中心に説明することとする。

まず、本実施例におけるクロストークの測色について説明する。

本実施例では、クロストークが最も強く発生する専用メガネ１２０の回転角度に対してのみクロストークの測色を行う。クロストークが最も強く発生する回転角度は専用メガネ１２０の偏光フィルムの光学特性等により異なるが、ここでは、回転角度が９０度の場合にクロストークが最も強く発生するものとする。この場合、専用メガネ１２０を９０度まわした状態に固定して、実施例４と同様の方法でクロストークの測色を行うことになる。これにより、左眼のクロストーク測色データG(L,90度)及び右眼のクロストーク測色データG(R,90度)を得る。

次に、専用メガネ１２０の傾き情報に応じたクロストーク測色データの導出方法について説明する。本実施例では、専用メガネ１２０の光学特性を基に、クロストークの輝度の変化量をＳｉｎの絶対値に近似し、これを回転角度に応じたクロストーク補正係数W(θ)とする。図１９は、クロストーク補正係数のグラフを示している。なお、本実施例では、クロストークの輝度の変化量をＳｉｎの絶対値に近似しているが、専用メガネの光学特性に応じてこの近似関数は適切に定義する必要がある。そして、このクロストーク補正係数W(θ)をクロストーク測色データG(L,90度)、G(R,90度)に掛けることにより、目的の回転角度に対応するクロストーク測色データを導出することができる。

このようにして求めたクロストーク測色データを用いて、実施例４で説明したクロストーク補正処理を行うことにより、クロストーク測色にかかる工数を削減しつつ観賞姿勢に依存したクロストークの発生を抑制することが可能となる。

（その他の実施形態）
また、本発明の目的は、以下の処理を実行することによっても達成される。即ち、上述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体を、システム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）が記憶媒体に格納されたプログラムコードを読み出す処理である。この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施の形態の機能を実現することになり、そのプログラムコード及び該プログラムコードを記憶した記憶媒体は本発明を構成することになる。

Claims (24)

1. 偏光素子を有するメガネと画像表示装置とを含む画像表示システムのための画像処理装置であって、
   前記画像表示装置の表示面に対する前記メガネの傾き情報に基づき、表示される画像を示す画像データに対する色補正処理を行う色補正手段と、
   を備え、
   前記色補正手段は、複数の回転角度に対応付けられた複数の色補正パラメータの中から、前記メガネの傾き情報に基づいて、前記色補正処理に用いる色補正パラメータを取得する
   ことを特徴とする画像処理装置。
2. 前記メガネの傾き情報は、前記画像表示装置の表示面に平行な平面内における、水平軸に対する前記メガネの回転角度であることを特徴とする請求項１に記載の画像処理装置。
3. 前記色補正パラメータは、予め定めた目標色群が再現されるような色補正パラメータであることを特徴とする請求項１に記載の画像処理装置。
4. 前記目標色群は、前記メガネの傾きが水平のときの当該メガネ越しに再現される色群であることを特徴とする請求項３に記載の画像処理装置。
5. 前記色補正パラメータは、両眼間におけるメガネ越しに再現される色の差が小さくなるような色補正パラメータであることを特徴とする請求項３又は４に記載の画像処理装置。
6. 前記色補正パラメータは、前記メガネを構成する左右のレンズのうち基準とするレンズに対しては予め定めた目標色群が再現されるような色補正パラメータであり、他方のレンズに対しては前記基準とするレンズ越しに再現される色が再現されるような色補正パラメータであることを特徴とする請求項５に記載の画像処理装置。
7. 前記基準とするレンズは、観賞者の利き眼に対応する側のレンズであることを特徴とする請求項６に記載の画像処理装置。
8. 前記基準とするレンズは、前記傾き情報に応じて定まるメガネ越しに再現される色の再現可能域に基づいて選択されることを特徴とする請求項６に記載の画像処理装置。
9. 前記色補正パラメータは、前記メガネを構成する左右のレンズそれぞれに対して、予め定めた共通の目標色群が再現されるような色補正パラメータであることを特徴とする請求項５に記載の画像処理装置。
10. 前記共通の目標色群は、前記左右それぞれのレンズ越しに再現される色の再現可能域の共通領域に含まれることを特徴とする請求項９に記載の画像処理装置。
11. 偏光素子を有するメガネと画像表示装置とを含む画像表示システムのための画像処理方法であって、
    前記画像表示装置の表示面に対する前記メガネの傾き情報に基づき、表示される画像を示す画像データに対する色補正処理を行う色補正ステップと、
    を含み、
    前記色補正ステップでは、複数の回転角度に対応付けられた複数の色補正パラメータの中から、前記メガネの傾き情報に基づいて、前記色補正処理に用いる色補正パラメータを取得する
    ことを特徴とする画像処理方法。
12. コンピュータを請求項１乃至１０のいずれか１項に記載の画像処理装置として機能させるためのプログラム。
13. 偏光素子を有するメガネと画像表示装置とを含む画像表示システムのための画像処理装置であって、
    前記画像表示装置の表示面に対する前記メガネの傾き情報および参照画像の画素値に基づき、表示される画像を示す画像データに対する色補正処理を行う色補正手段を備える
    ことを特徴とする画像処理装置。
14. 前記色補正手段が行う色補正処理はクロストーク補正処理であることを特徴とする請求項１３に記載の画像処理装置。
15. 前記参照画像とは左眼画像と右眼画像の２種類の画像からなる視差画像のうち処理対象の画像とは逆の眼に対応した画像であることを特徴とする請求項１３に記載の画像処理装置。
16. 表示される画像データの画素値をオフセットするオフセット手段をさらに備えることを特徴とする請求項１３に記載の画像処理装置。
17. 前記オフセット手段は、クロストークの値に基づいて設定されたオフセット量だけ表示される画像データの画素値をオフセットすることを特徴とする請求項１６に記載の画像処理装置。
18. 前記クロストークの値は、クロストーク測色データ内の最大値であることを特徴とする請求項１７に記載の画像処理装置。
19. 前記オフセット量は、表示される画像データごとに変更することを特徴とする請求項１７に記載の画像処理装置。
20. 前記色補正手段によって得られる色補正画像データをあらたに色補正処理の対象として繰り返し色補正処理することを特徴とする請求項１３に記載の画像処理装置。
21. 色補正処理の繰り返し回数を、あらかじめ設定されたクロストークの許容値に基づき導出することを特徴とする請求項２０に記載の画像処理装置。
22. クロストークが最も発生するメガネの傾きに対してのみクロストークを測色するクロストーク測色手段と、
    前記メガネを回転した際の輝度の変化量からクロストークの補正係数を導出する手段と、
    前記クロストーク測色手段により得られるクロストーク測色データと前記クロストークの補正係数から、特定の回転角度に対応するクロストークの測色データを導出する手段と
    をさらに備えることを特徴とする請求項１３に記載の画像処理装置。
23. 偏光素子を有するメガネと画像表示装置とを含む画像表示システムのための画像処理方法であって、
    前記画像表示装置の表示面に対する前記メガネの傾き情報および参照画像の画素値に基づき、表示される画像を示す画像データに対する色補正処理を行う色補正ステップを含む ことを特徴とする画像処理方法。
24. コンピュータを請求項１３乃至２２のいずれか１項に記載の画像処理装置として機能させるためのプログラム。

Images