JP5576745B2

JP5576745B2 - 画像処理装置およびその方法

Info

Publication number: JP5576745B2
Application number: JP2010197142A
Authority: JP
Inventors: 靖浩伊藤
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2010-09-02
Filing date: 2010-09-02
Publication date: 2014-08-20
Anticipated expiration: 2030-09-02
Also published as: JP2012053359A

Description

本発明は、光沢を再現する画像処理に関する。

ディジタルカメラや、ディスプレイ、プリンタなどの画像を扱うデバイスの進化により、被写体の質感の再現や立体視などへの要求も高まっている。質感再現としては、例えば、反射光モデルに基づいて入力ビデオ信号の画像を補正し、質感として金属光沢を発生させる技術が提案されている（例えば、特許文献1）。この方法は、画像の輝度信号に基づいて金属光沢の質感を得る。

また、観察者の右目と左目に相関性の低い画像を提示すると、融像が起こらず、一方の画像だけが優越して交互に観察されたりする現象が知られている。時間経過の中で不安定に変動し、恰も右目と左目が競い合っているようにみえることから、この現象は「視野闘争(binocular rivalry)」と呼ばれる。右目と左目に輝度が異なる画像を提示すると「両眼光沢(binocular luster)」と呼ばれる光沢感が生じる。

また、複数の視差画像をレンズ特性に応じて短冊状に分割した画像（以下、ストライプ画像）を合成した画像と、レンチキュラーレンズを組み合わせて、立体視を得る方法が知られている（例えば、特許文献2）。レンチキュラーレンズの主用途は、観察者の右目と左目に異なる視差画像を提示することである。

一般に、物体の光沢は、双方向反射率分布関数(bidirectional reflectance distribution function: BRDF)に大きく依存する。BRDFは、物体表面の光の入射角と出射角に対する反射率を表す。光沢の低い物体ほど、入射角、出射角に依らずBRDFはほぼ一定の値になる。逆に、光沢の高い物体ほど、鏡面反射成分の値が大きくなる。つまり、画像中の光沢の高い領域と低い領域では、輝度差が大きくなる。ここで、画像を扱うデバイスやメディアにはそれぞれ再現可能な輝度の範囲が存在する。そのため、光沢がある被写体を含む画像を、例えばマット紙のように輝度再現範囲が狭いメディアに出力すると、光沢が高い領域と低い領域の輝度差が充分に再現されずに、光沢感が損なわれる問題がある。

特開平10-285459号公報特開平10-319214号公報

本発明は、レンチキュラーレンズを使用して光沢を再現するための光沢再現画像を生成することを目的とする。

本発明は、前記の目的を達成する一手段として、以下の構成を備える。

本発明にかかる画像処理は、レンチキュラーレンズを使用して光沢を再現するための光沢再現画像を生成する際に、前記光沢を再現する対象画像を入力し、前記対象画像において前記光沢を再現する領域を設定し、前記対象画像の前記光沢を再現する領域に光沢再現処理を施した複数の画像を生成し、前記レンチキュラーレンズの特性に基づき前記複数の画像をそれぞれ分割したストライプ画像を生成し、前記複数の画像それぞれから分割したストライプ画像を所定の順に配置して前記光沢再現画像を生成する。その際、正反射光から作成された明度変換用のルックアップテーブルを用いて前記対象画像の前記光沢を再現する領域に前記光沢再現処理を施した第一の画像、および、拡散反射光から作成された明度変換用のルックアップテーブルを用いて前記対象画像の前記光沢を再現する領域に前記光沢再現処理を施した第二の画像を生成し、前記第一および第二の画像それぞれから分割したストライプ画像を交互に配置して前記光沢再現画像を生成する。

本発明によれば、レンチキュラーレンズを使用して光沢を再現するための光沢再現画像を生成することができる。

レンチキュラーレンズを介して観察される画像を説明する模式図。画像処理装置の構成例を説明するブロック図。画像処理APが実現する機能構成例を説明するブロック図。画像処理APによる画像処理を説明するフローチャート。領域入力部の処理を説明するフローチャート。右目用明度変換部の処理を説明するフローチャート。画像合成部の処理を説明するフローチャート。ストライプ画像の形成および光沢再現画像の合成を説明する図。正反射用LUT、拡散反射用LUTの作成方法を説明する図。実施例2における画像処理APが実現する機能構成例を説明するブロック図。実施例2における画像処理APによる画像処理を説明するフローチャート。光沢再現画像の形成を説明する図。

以下、本発明にかかる実施例の画像処理を図面を参照して詳細に説明する。なお、以下では、デバイスやメディアの輝度再現範囲に依らず光沢感を再現することが可能な、レンチキュラーレンズ用の画像を生成する処理について説明する。

［レンチキュラーレンズ］
図1の模式図によりレンチキュラーレンズを介して観察される画像を説明する。

図1に示すように、右目用の画像（以下、右画像）11と左目用の画像（以下、左画像）12をそれぞれ短冊状に分割した画像（以下、短冊画像）を交互に配置する。そして、交互に配置した短冊画像をレンチキュラーレンズ10を通して観察すると、右画像と左画像が分離して提示される。そのため、右画像と左画像が両眼の視差をもつ画像（以下、視差画像）であれば、交互に配置した短冊画像から立体視が得られる。

右画像11と左画像12が、視差画像ではなく、明度が異なる画像であれば、両眼光沢により光沢感がある画像が観察される。

［装置の構成］
図2のブロック図により画像処理装置の構成例を説明する。

マイクロプロセッサ(CPU)201は、メインメモリ202のRAMをワークメモリとして、メインメモリ202のROMやハードディスクドライブ(HDD)203に格納されたプログラムを実行し、システムバス206を介して後述する構成を制御する。インタフェイス(I/F)204は、USB(Universal Serial Bus)やIEEE1394などのシリアルバスインタフェイスであり、キーボードやマウスなどの入力機器207やプリンタなどの画像出力装置208が接続される。また、ビデオインタフェイスであるビデオカード205には、モニタ209が接続される。

以下では、図2に示す画像処理装置において動作する汎用のオペレーティングシステム(OS)上で動作する、実施例の画像処理アプリケーション(AP)の動作を説明する。なお、画像処理APがOS上で動作する詳細については説明を省略する。

入力機器207から入力されるユーザ指示に従い、CPU201がHDD203に格納された画像処理APを起動すると、画像処理APは、モニタ205にユーザインタフェイス(UI)を表示する。画像処理AP（CPU201）は、UIを介して入力されるユーザ指示に基づき、HDD203に格納されたデータやインタフェイス204から入力されるデータをメインメモリ202のRAMにロードし、各種演算を実行する。画像処理APは、演算結果をモニタ205に表示したり、HDD203に格納したり、画像出力装置208に出力したりする。

［画像処理の機能構成］
次に、画像処理APが、ユーザ指示に従い、画像データ、明度情報、レンチキュラーレンズの特性（以下、レンズ特性）を入力し、これらデータからレンチキュラーレンズに組み合わせる画像の画像データを生成する処理を説明する。

図3のブロック図により画像処理APが実現する機能構成例を説明する。

画像処理部301は、画像データおよびレンズ特性を入力し、画像データが表す画像（以下、対象画像）内において光沢感を与えるべき領域を判定し、対象画像に光沢感を与える画像処理（以下、光沢再現処理）を施した光沢再現画像を出力する。

画像入力部302は、例えばHDD203から対象画像の画像データを取得する。レンズ特性入力部303は、例えばHDD203からレンズ特性を取得する。領域入力部304は、画像入力部302が取得した画像データが表す対象画像の中で光沢感を与える領域（光沢再現処理を行う領域）を例えば演算や入力機器207によって取得する。

右目用明度変換部305は、例えばHDD203に格納された拡散反射用ルックアップテーブル(LUT)307を参照して、領域入力部304が取得した領域に含まれる画素に明度変換を施して、対象画像から右画像（第一の画像）を生成する。左目用明度変換部306は、例えばHDD203に格納された正反射用LUT308を参照して、領域入力部304が取得した領域に含まれる画素に明度変換を施して、対象画像から左画像（第二の画像）を生成する。なお、右目用明度変換部305が正反射用LUT308を参照し、左目用明度変換部306が拡散反射用LUT307を参照して、第一の画像と第二の画像を生成してもよい。また、明度変換特性が記録された拡散反射用LUT307、正反射用LUT308を作成するLUT作成部312、311については後述する。

画像合成部309は、レンズ特性入力部303が取得したレンズ特性に基づき、右画像と左画像を合成して光沢再現画像を生成する。出力部310は、光沢再現画像を形成するために、光沢再現画像を画像出力装置208などに出力する。

図4のフローチャートにより画像処理APによる画像処理を説明する。

画像処理部301は、画像入力部302により対象画像の画像データを取得し(S401)、レンズ特性入力部303によりレンズ特性を取得する(S402)。レンズ特性には、レンチキュラーレンズの向きや幅などの情報が含まれる。なお、画像データ、レンズ特性などのデータは任意の方法で取得または入力すればよい。例えば、HDD203に格納されたデータを読み込んでもよいし、入力機器207のキーボードやマウスを操作するユーザの指示として入力してもよい。あるいは、インタフェイス204に接続された図示しない外部記憶装置やディジタルカメラから画像データを入力しても構わない。

次に、画像処理部301は、詳細は後述するが、領域入力部304により、画像データが表す対象画像において光沢再現処理を行う領域（以下、光沢再現領域）を取得する(S403)。そして、詳細は後述するが、右目用明度変換部305により右画像を生成し(S404)、左目用明度変換部306により左画像を生成する(S405)。

次に、画像処理部301は、詳細は後述するが、画像合成部309により右画像と左画像を合成した光沢再現画像を生成し(S406)、出力部310により光沢再現画像を出力する(S407)。なお、光沢再現画像の出力先は、画像出力装置208に限らず、任意のデバイスでよい。例えば、HDD203に格納したり、インタフェイス204に接続された図示しない外部記憶装置に格納しても構わない。

●領域入力部
図5のフローチャートにより領域入力部304の処理(S403)を説明する。

領域入力部304は、画像入力部302が入力した画像データが表す対象画像のオブジェクトを認識する(S501)。オブジェクト認識には、一般に用いられている方法、例えばサポートベクタマシンやブースティングなどの方法を用いればよい。

次に、領域入力部304は、認識したオブジェクトの中で輝度変化が大きい領域を抽出する(S502)。輝度変化は、画像の微分成分などを用いて表せばよい。また、対象画像をモニタ209に表示し、ユーザが例えば入力機器207を操作するなどして領域を指定しても構わない。

次に、領域入力部304は、抽出した（または指定された）領域を光沢再現領域として、光沢再現領域を示す情報を画像処理部301に出力する(S503)。例えば、対象画像と同じ高さと幅をもつビットマップを用意して、光沢再現領域の画素は‘1’、光沢再現領域外の画素を‘0’として、光沢再現領域を示せばよい。

●右目用/左目用明度変換部
図6のフローチャートにより右目用明度変換部305の処理(S404)を説明する。なお、左目用明度変換部306の処理は、下記の説明において、拡散反射用LUT307を正反射用LUT308に置き換えればよい。

右目用明度変換部305は、注目画素の位置を初期化する(S601)。例えば、画像が一次元配列として格納されている場合は一次元配列の先頭位置を示す0を設定すればよい。画像が二次元配列として格納されている場合は二次元配列の先頭位置（例えば画像の左上隅）を示す座標(x, y)=(0, 0)を設定すればよい。

次に、右目用明度変換部305は、注目画素が光沢再現領域に含まれるか否かを判定し(S602)、含まれる場合は拡散反射用LUT307を参照して注目画素に明度変換を施し(S603)、含まれなければ明度変換を施さない。そして、対象画像の全画素についてステップS602の判定を行ったか否かを判定し(S604)、未判定の画素があれば注目画素を移動して(S605)、処理をステップS602に戻し、未判定の画素がなければ光沢再現処理を終了する。

●画像合成部
図7のフローチャートにより画像合成部309の処理(S406)を説明する。

画像合成部309は、明度変換画像である右画像と左画像を入力し(S701)、レンズ特性が示すレンズの幅に応じて、右画像と左画像を短冊状に分割する際の分割幅を決定する(S702)。例えば、レンチキュラーレンズが60LPIの場合、一つのレンズ当りの幅は1/60インチである。二つの画像を60LPIのレンチキュラーレンズ用に合成する場合、その分割幅は1/120インチになる。つまり、W LPIのレンチキュラーレンズ用にM枚の画像を合成する場合の分割幅ΔWは、次式によって表される。
ΔW = 1/(W×M) …(1)

次に、画像合成部309は、レンズ特性が示すレンズの向きに応じて、画像の分割方向を決定する(S703)。なお、右目と左目で異なる画像を観察するには、細長いカマボコ状の凸レンズが両眼を結ぶ線に対して直交する方向に並んだ状態（レンズの向きが縦）である必要がある。従って、正立像を縦方向に分割する。ただし、レンズの向きが横の場合は、例えば、正立像を横方向に分割し、レンチキュラーレンズと画像を90度回転して観察すれば、光沢像が再現される。以下、レンズの向きは縦として説明する。

次に、画像合成部309は、右画像と左画像を縦方向に分割した分割幅ΔWのストライプ画像を形成する(S704)。そして、右画像から分割したストライプ画像（以下、右ストライプ画像）と左画像から分割したストライプ画像（以下、左ストライプ画像）を所定の順、つまり交互に並べた光沢再現画像を合成する(S705)。

図8によりストライプ画像の形成および光沢再現画像の合成を説明する。左画像801は分割幅ΔWのストライプ画像A1、A2、…、A_2nに分割され、右画像802は分割幅ΔWのストライプ画像B1、B2、…、B_2nに分割される。そして、レンチキュラーレンズ804のレンズL1にA1とB1が対応し、L2にA2とB2が対応し、…、L_nにA_2nとB_2nが対応するように、ストライプ画像を交互に配置した光沢再現画像803を形成する。ただし、全部のストライプ画像を並べると、光沢再現画像の幅は、対象画像の幅の二倍になる。そこで、光沢再現画像の幅を、対象画像の幅に合わせるため、ストライプ画像の一部を間引く。例えば、レンズLi (1≦i≦n)にA_2i-1とB_2iを対応させる。なお、光沢再現画像の幅が対象画像の幅に合えばよく、例えば、レンズLiにA_2iとB_2i-1を対応させてもよいし、対象画像の幅を分割前に1/2に縮小しても構わない。

●LUT作成部
図9により正反射用LUT308、拡散反射用LUT307の作成方法を説明する。

まず、光沢再現画像の形成に使用するプリンタとメディアを使用して、カラーパッチを印刷したプリント901を形成し、光沢感の再現に使用するレンチキュラーレンズ902をプリント901の印刷面に重ねた試料を用意する。これは、レンチキュラーレンズ902を通したプリント901の反射光と、プリント901の反射光とは色が異なる場合があるためである。レンチキュラーレンズ902を通した反射光を所望の色にするには、色が異なる複数のカラーパッチをレンチキュラーレンズ902を通して測定する。そして、カラーパッチの測定結果を参照して、所望する色に対応するカラーパッチを探索し、所望する色と探索したカラーパッチの色の関係を示すLUTを生成する。このとき、レンチキュラーレンズ902を通した反射光が、プリントの色と光沢の双方を再現するように、LUTによって色変換だけでなく明度変換も行う必要がある。

そこで、正反射光データを取得する測定器903および拡散反射光データを取得する測定器904には、例えば色彩輝度計などを用いる。そして、試料から45度の反射光を入射するように測定器903を配置し、試料から90度の反射光を入射するように測定器904を配置する。なお、測定器は一台でもよく、例えば、45度の反射光を測定した後、90度の反射光を測定すればよい。また、照明905は、試料に対して-45度の角度で光を入射するように配置する。測定器903には、レンチキュラーレンズ902を介してプリント901の印刷面から反射した正反射光が入射する。また、測定器904には、正反射光以外の拡散反射光が入射する。

測定によって得られる反射光のデータには、レンチキュラーレンズ902とプリント901を組み合わせた状態で、所望する明度を表示する明度変換を行うための情報と、所望する色を表示する色変換を行うための情報が含まれることになる。すなわち、同じ色に対する反射光データであっても、測定器903から得られる正反射光データが示す明度より測定器904から得られる拡散反射光データが示す明度の方が高くなる。この明度の差を用いることで、異なる明度変換を行うLUTを作成することができる。そこで、LUT作成部311は、測定器903が測定した、色が異なる複数のカラーパッチの正反射光データに基づき、正反射光に対応した明度変換と色変換を行う正反射用LUT308を作成する。また、LUT作成部312は、測定器904が測定した、色が異なる複数のカラーパッチの拡散反射光データに基づき、拡散反射光に対応した明度変換と色変換を行う拡散反射用LUT307を作成する。

以上のように、カラーパッチの測定によって正反射用LUT308および拡散反射用LUT307を作成する例を説明したが、他の方法で正反射用LUT308および拡散反射用LUT307を作成しても構わない。上述した方法の方がプリント901の光沢の再現に優れるが、例えば、先に作成した正反射光データに所定の明度変換を行い、明度変換した正反射光データを用いて拡散反射用LUT307を作成してもよい。

また、上記では、右目用明度変換部305と左目用明度変換部306を利用して、対象画像をそれぞれ明度変換する例を説明した。しかし、右目用の明度変換を行わずに、対象画像をそのまま用いてもよい。この場合、拡散反射用LUT307の生成は不要になる。

このように、LUTを用いる簡易な画像処理によって形成した光沢再現画像とレンチキュラーレンズを組み合わせることで、デバイスやメディアの輝度再現範囲に依らず光沢感を再現することができる。

以下、本発明にかかる実施例2の画像処理を説明する。なお、実施例2において、実施例1と略同様の構成については、同一符号を付して、その詳細説明を省略する。

実施例1では、正反射光用および拡散反射光用の二つのLUTが存在する例を説明した。実施例2では、三つ以上のLUTを用いて光沢再現画像を生成する例を説明する。

図10のブロック図により実施例2における画像処理APが実現する機能構成例を説明する。実施例2には、光沢再現領域の画素に明度変換を施す明度変換部313₁〜313_n（n≧3）が存在する。従ってし、各明度変換部に対応するLUT315₁〜315_n、各LUTを作成するLUT作成部317₁〜317_nが存在する。なお、各LUT作成部はそれぞれ、反射光の角度が異なる入射光によって明度変換用のLUTを作成する。

図11のフローチャートにより実施例2における画像処理APによる画像処理を説明する。ステップS401からS403、S407の処理は実施例1と同じである。

画像処理部301は、カウンタi=1を設定し(S500)、LUT315_iを参照する明度変換部313_iにより明度変換処理した画像（以下、明度変換画像）を生成する(S501)。そして、カウンタiが明度変換部313の数n未満（i＜n）か否かを判定し(S502)、i＜nであればカウンタiをインクリメントして処理をステップS501に戻す。また、i=nになると、n個の明度変換画像を合成した光沢再現画像を生成する(S504)。

図12により光沢再現画像の形成を説明する。例えば、明度変換画像が三つ存在するn=3の場合、三つの明度変換画像から一つの光沢再現画像を生成する。この場合、図12に示すように、各明度変換画像から分割したストライプ画像の配置順が三通り存在し、再現すべき光沢度に応じて配置順を変更することができる。その結果、二つの明度変換画像から光沢再現画像を形成する場合に比べて、光沢度をより詳細に変化させるための光沢再現画像を形成することができる。

各明度変換画像から分割したストライプ画像の配置順は、画像合成部309の処理において決定してもよいし、ユーザが指定しても構わない。右目と左目が観察する画像の輝度差を大きくするようにストライプ画像を配置すれば光沢度が増加し、逆に、右目と左目が観察する画像の輝度差を小さくするようにストライプ画像を配置すれば光沢度が減少する。

［その他の実施例］
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステムあるいは装置のコンピュータ（又はCPUやMPU等）がプログラムを読み出して実行する処理である。

Claims

レンチキュラーレンズを使用して光沢を再現するための光沢再現画像を生成する画像処理装置であって、
前記光沢を再現する対象画像を入力する入力手段と、
前記対象画像において前記光沢を再現する領域を設定する設定手段と、
前記対象画像の前記光沢を再現する領域に光沢再現処理を施した複数の画像を生成する処理手段と、
前記レンチキュラーレンズの特性に基づき前記複数の画像をそれぞれ分割したストライプ画像を生成し、前記複数の画像それぞれから分割したストライプ画像を所定の順に配置して前記光沢再現画像を生成する生成手段とを有し、
前記処理手段は、正反射光から作成された明度変換用のルックアップテーブルを用いて前記対象画像の前記光沢を再現する領域に前記光沢再現処理を施した第一の画像、および、拡散反射光から作成された明度変換用のルックアップテーブルを用いて前記対象画像の前記光沢を再現する領域に前記光沢再現処理を施した第二の画像を生成し、
前記生成手段は、前記第一および第二の画像それぞれから分割したストライプ画像を交互に配置して前記光沢再現画像を生成することを特徴とする画像処理装置。
入力手段、設定手段、処理手段、生成手段を有し、レンチキュラーレンズを使用して光沢を再現するための光沢再現画像を生成する画像処理装置の画像処理方法であって、
前記入力手段が、前記光沢を再現する対象画像を入力し、
前記設定手段が、前記対象画像において前記光沢を再現する領域を設定し、
前記処理手段が、前記対象画像の前記光沢を再現する領域に光沢再現処理を施した複数の画像を生成し、
前記生成手段が、前記レンチキュラーレンズの特性に基づき前記複数の画像をそれぞれ分割したストライプ画像を生成し、前記複数の画像それぞれから分割したストライプ画像を所定の順に配置して前記光沢再現画像を生成し、
前記処理手段は、正反射光から作成された明度変換用のルックアップテーブルを用いて前記対象画像の前記光沢を再現する領域に前記光沢再現処理を施した第一の画像、および、拡散反射光から作成された明度変換用のルックアップテーブルを用いて前記対象画像の前記光沢を再現する領域に前記光沢再現処理を施した第二の画像を生成し、
前記生成手段は、前記第一および第二の画像それぞれから分割したストライプ画像を交互に配置して前記光沢再現画像を生成することを特徴とする画像処理方法。
コンピュータを請求項1に記載された画像処理装置の各手段として機能させるためのプログラム。