JP3851538B2 - 画像表示装置および方法ならびに画像処理システム - Google Patents
画像表示装置および方法ならびに画像処理システム Download PDFInfo
- Publication number
- JP3851538B2 JP3851538B2 JP2001316867A JP2001316867A JP3851538B2 JP 3851538 B2 JP3851538 B2 JP 3851538B2 JP 2001316867 A JP2001316867 A JP 2001316867A JP 2001316867 A JP2001316867 A JP 2001316867A JP 3851538 B2 JP3851538 B2 JP 3851538B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- reflectance
- data
- display
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Color Television Image Signal Generators (AREA)
- Processing Of Color Television Signals (AREA)
- Control Of Indicators Other Than Cathode Ray Tubes (AREA)
- Liquid Crystal (AREA)
- Digital Computer Display Output (AREA)
- Liquid Crystal Display Device Control (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、撮像によって得られた画像およびコンピュータ上で作成した画像を表示するための画像表示装置および方法ならびに画像処理システムに関する。
【０００２】
【従来の技術】
被写体を撮像して得られる画像データに基づいて、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）などの表示装置で被写体画像を表示するシステムにおいて、１）被写体を撮影環境や撮影場所で直接見たように再現する機能や、２）表示装置の設置環境や設置場所に被写体を置いて直接見たように表示する機能が提案されている。
【０００３】
たとえば特開平１０−２４３２４７号公報には、１）の機能を実現するための色変換方法が開示されている。詳しくは、画像データから３つ以上の入力色分解値を求め、これをニューラルネットによって分光分布に変換して、環境に依存しない色彩値を有する画像データを作成し、この画像データの色彩値を観察環境下での色彩値に変換することによって、異なる環境下でも同様の見え方で被写体を表示している。
【０００４】
また、特開平９−１０２８８２号公報には、１）の機能を実現するための画像処理装置が開示されている。詳しくは、原稿画像をスキャナで読み取ってＣＲＴ（Cathode Ray Tube）モニタなどの表示装置で表示する場合、表示装置の設置環境における照明の状態（周囲光）をセンサで測色し、周囲光の色温度に合わせて画像データを色変換することによって、周囲光に依存せずに原稿画像と表示画像の見え方を一致させている。
【０００５】
またホームページ(http://www.isl.titech.ac.jp/~yamalab/Reproduction/
summary.html)には、２）の機能を実現するために、撮影に用いる照明やカメラ、および表示時の照明や表示特性を考慮した補正を画像データに施す画像処理システム（マルチスペクトル情報を用いた色再現システム）が開示されている。
【０００６】
また、従来コンピュータグラフィックス（ＣＧ：Computer Graphics）画像によって、所定形状の物体（素材）を着色して表示する技術が開発されている。このような技術を用いれば、たとえば、線図（輪郭図）によって描いた建築物や家具をさまざまな色で着色して表示できる。したがって、ユーザに所望の色を選択させて、表示させることが容易となる。
【０００７】
【発明が解決しようとする課題】
上記ホームページに記載されたシステムでは、表示時の照明状況の特性（照明特性）を正確にデータ化する必要がある。
【０００８】
しかしながら、一般のオフィスや家庭では無論のこと、画像を専門に扱うオフィスなどであっても、表示時の照明状況を常に一定に保つことは非常に困難である。したがって、照明特性を予め正確にデータ化しておくことはできなかった。このため、表示時の照明特性をデータ化しても、別の機会では照明状況が変化しているため、正しい色再現が不可能になる。さらに、照明特性を正確にデータ化するには熟練した技術が必要になり、一般のユーザにとって極めて困難な作業になる。また、センサによって表示の度に照明特性をデータ化する構成では表示処理に時間がかかるという問題が発生する。
【０００９】
また、従来のＣＧ画像では金属光沢やダイヤモンドの独特の光沢を近似的に表現することは可能であるが、それは、あくまでＣＧ画像を生成する時の照明光などの設定条件下によるものである。すなわち、ＣＧ画像を作成条件下での見え方で表示するものであり、表示装置の設置環境や設置場所にＣＧ画像を置いた場合の見え方で表示することができない。
【００１０】
また、特開平９−１０２８８２号公報のように、センサを用いて表示開始の度に照明特性をデータ化する場合、データ化に必要な処理時間が加わるため、全体の表示時間が長くなってしまう。
【００１１】
また、特開平９−１０２８８２号公報および特開平１０−２４３２４７号公報では、表示装置の設置環境や設置場所に被写体を置いて直接見たように表示することができない。
【００１２】
本発明の目的は、表示時の照明特性を測定することなく、表示時の照明状況下に被写体またはコンピュータグラフィックス画像を置いて直接見たように表示できる画像表示装置および方法ならびに画像処理システムを提供することである。
【００１３】
【課題を解決するための手段】
本発明は、反射型のカラー表示部と、
前記反射型のカラー表示部について各色の表示特性を記憶する表示特性記憶部と、
被写体を撮像して得られ、被写体の反射率を表わす反射率画像データを、前記表示特性記憶部に記憶された表示特性に基づいて、前記反射型のカラー表示部の、被写体が表示される各画素の反射率と、被写体の反射率とが一致するように変換して前記反射型のカラー表示部に表示させる反射率再現変換部とを備えることを特徴とする画像表示装置である。
【００１４】
本発明に従えば、反射型のカラー表示部の表示特性に基づいて、被写体の反射率画像データを変換することによって、反射型のカラー表示部における光反射率が被写体の各部位における反射率と一致するように制御できる。反射率画像データは、照明状況に依存せず、被写体の各部位に固有の反射率を示すデータである。したがって、表示時の照明特性を測定することなく、反射型のカラー表示部は、このカラー表示部の照明状況下に被写体を置いて直接見たように表示できる。
【００１５】
また本発明は、反射型のカラー表示部と、
前記反射型のカラー表示部の各色の反射率の特性を示す表示特性データを記憶する表示特性記憶部と、
コンピュータグラフィックス画像を生成する際に用いられる各素材に対し、素材固有の反射率を示す反射率データを記憶する反射率データ記憶部と、
物体の形状データに基づいて作成されるコンピュータグラフィックス画像を、表示特性データおよび各素材の反射率データとに基づいて、前記反射型のカラー表示部の、コンピュータグラフィックス画像が表示される各画素の反射率と、前記コンピュータグラフィックス画像の素材固有の反射率とが一致するように、コンピュータグラフィックス画像の各素材の反射率データを変換して前記反射型のカラー表示部に表示させる反射率再現変換部とを備えることを特徴とする画像表示装置である。
【００１６】
本発明に従えば、物体の形状データに基づいて作成したコンピュータグラフィックス画像は、表示特性記憶部に記憶される表示特性データおよび反射率データ記憶部に記憶される素材固有の反射率を示す反射率データに基づいて、反射型のカラー表示部で再現されるコンピュータグラフィックス画像の反射率とコンピュータグラフィックス画像の素材固有の反射率とが一致するように、コンピュータグラフィックス画像の各素材の反射率データを変換して反射型のカラー表示部に表示させる。反射率データは、たとえば、予め測定されるプラスチックおよび木などの拡散反射の分光反射率データ、または標準となる色の分光反率データであってもよい。したがって、表示時の照明特性を測定することなく、反射型のカラー表示部は、このカラー表示部の照明状況下に、作成されたコンピュータグラフィックス画像を置いて直接見たように表示できる。
【００１７】
また本発明は、前記反射型のカラー表示部は、薄型で、電力不要で表示状態を維持し、携帯可能な情報表示媒体で構成されていることを特徴とする。
【００１８】
本発明に従えば、カラー表示部が薄型で、電力不要で表示状態を維持し、携帯可能な情報表示媒体、いわゆる電子ペーパーで構成されるので、カラー表示部に液晶表示装置を用いる場合に比べて装置をさらに軽量化することができる。したがって、異なる環境下、たとえば明るい場所、暗い場所でカラー表示部に表示させた画像の見え方を確かめるために、画像表示装置を移動させる場合、画像表示装置の持ち運びが容易となる。
【００１９】
また本発明は、前述の画像表示装置と、
前記画像表示装置の反射型のカラー表示部に表示された画像を、薄型で、電力不要で表示状態を維持し、携帯可能な記録媒体に出力する画像出力装置とを備えることを特徴とする画像処理システムである。
【００２０】
本発明に従えば、カラー表示部に表示された画像を、画像出力装置を用いて、薄型で、電力不要で表示状態を維持し、携帯可能な記録媒体、いわゆる電子ペーパーに表示させることができる。したがって、被写体またはコンピュータフィックス画像そのものの見え方で表示された記録媒体を短時間で複数枚得ることができる。
【００２１】
また本発明は、画像入力装置と、画像表示装置とで構成される画像処理システムであって、
前記画像入力装置は、
被写体を複数の光周波数バンド別に撮像する撮像部と、
被写体に照射する照明光および前記撮像部の入力特性を記憶する入力特性記憶部と、
前記入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを被写体に固有の反射率画像データに補正する入力補正部とを備え、
前記画像表示装置は、
反射型のカラー表示部と、
前記反射型のカラー表示部について各色の表示特性を記憶する表示特性記憶部と、
前記表示特性記憶部に記憶された表示特性に基づいて、前記反射型のカラー表示部の、被写体が表示される各画素の反射率と、被写体の反射率とが一致するように、前記反射率画像データを変換して前記反射型のカラー表示部に表示させる反射率再現変換部とを備えることを特徴とする画像処理システムである。
【００２２】
本発明に従えば、画像入力装置において、被写体を複数の光周波数バンド別に撮像し、被写体に照射する照明光および撮像部の入力特性に基づいて、光周波数バンド別に撮像した画像データを被写体に固有の反射率画像データに補正することによって、照明状況に依存せず、被写体の各部位に固有の反射率を示すデータが得られる。
【００２３】
また画像表示装置において、反射型のカラー表示部の表示特性に基づいて、被写体の反射率画像データを変換することによって、反射型のカラー表示部における光反射率が被写体の各部位における反射率と一致するように制御できる。したがって、表示時の照明特性を測定することなく、反射型のカラー表示部は、このカラー表示部の照明状況下に被写体を置いて直接見たように表示できる。
【００２４】
たとえば、画像入力装置と画像表示装置とがインターネットを介して接続されている場合、ネットワーク上で販売する商品を被写体として画像入力装置で撮像して、その分光反射率データをインターネット上で公開しておいて、画像表示装置がこの分光反射率データを読み込んで表示すると、画像表示装置の設置場所に実際の商品を置いたかのように観察できるため、注文者側で商品がどのように見えるかを容易にチェックできる。
【００２５】
また本発明は、画像入力装置と、画像表示装置とで構成される画像処理システムであって、
前記画像入力装置は、被写体の各部位において、複数のバンドパスフィルタによるマルチバンド撮影で得られる画像データを生成する撮像部を備え、
前記画像表示装置は、外光に対する反射率が画素毎に制御可能なカラー表示部を備え、
前記画像表示装置は、前記撮像部から伝達された画像データに基づいて、前記カラー表示部の、画像が表示される各画素の反射率と、各画素に応じた被写体の部位における反射率とが一致するように制御することによって、被写体を前記カラー表示部に表示することを特徴とする画像処理システムである。
【００２６】
本発明に従えば、マルチバンド撮影で得られる画像データに基づいて、カラー表示部の各画素の反射率を、各画素に応じた被写体の部位における反射率と一致するように制御することによって、表示時の照明特性を測定することなく、反射型のカラー表示部は、このカラー表示部の照明状況下に被写体を置いて直接見たように表示できる。
【００２７】
また、色数を増加させる処理が不要になり、カラー表示部の表示に必要な反射率データを精度良く生成できる。
【００２８】
また本発明は、画像入力装置と、画像表示装置とで構成される画像処理システムであって、
前記画像入力装置は、
被写体を複数の光周波数バンド別に撮像する撮像部と、
被写体に照射する照明光および前記撮像部の入力特性を記憶する入力特性記憶部と、
前記入力特性記憶部に記憶された入力特性および光周波数バンド別に撮像した画像データに基づき、照明状況に依存しない被写体固有の反射率を有する反射率画像データに補正する入力補正部とを備え、
前記画像表示装置は、
反射型のカラー表示部と、
前記反射型のカラー表示部の各色の反射率の特性を示す表示特性データを記憶する表示特性記憶部と、
コンピュータグラフィックス画像を生成する際に用いられる各素材に対し、素材固有の反射率を示す反射率データを記憶する反射率データ記憶部と、
物体の形状データに基づいて作成されるコンピュータグラフィックス画像を、表示特性データおよび各素材の反射率データとに基づいて、前記反射型のカラー表示部の、コンピュータグラフィックス画像が表示される各画素の反射率と、前記コンピュータグラフィックス画像の素材固有の反射率とが一致するように、コンピュータグラフィックス画像の各素材の反射率データを変換して前記反射型のカラー表示部に表示させ、前記表示特性記憶部に記憶された表示特性に基づいて、前記反射型のカラー表示部の、被写体が表示される各画素の反射率が、被写体固有の反射率と一致するように、前記反射率画像データを変換して前記反射型のカラー表示部に表示させる反射率再現変換部とを有することを特徴とする画像処理システムである。
【００２９】
本発明に従えば、画像入力装置において、被写体を複数の光周波数バンド別に撮像し、被写体に照射する照明光および撮像部の入力特性に基づいて、光周波数バンド別に撮像した画像データを被写体に固有の反射率画像データに補正することによって、照明状況に依存せず被写体の各部位に固有の反射率を示すデータが得られる。
【００３０】
また画像表示装置において、物体の形状データに基づいて作成したコンピュータグラフィックス画像は、表示特性記憶部に記憶される表示特性データおよび反射率データ記憶部に記憶される素材固有の反射率を示す反射率データに基づいて、反射型のカラー表示部で再現されるコンピュータグラフィックス画像の反射率とコンピュータグラフィックス画像の素材固有の反射率とが一致するように、コンピュータグラフィックス画像の各素材の反射率データを変換して反射型のカラー表示部に表示させる。また被写体の反射率画像データを変換することによって、反射型のカラー表示部における光反射率が被写体の各部位における反射率と一致するように制御できる。したがって、表示時の照明特性を測定することなく、反射型のカラー表示部は反射型のカラー表示部の照明状況下に、被写体およびコンピュータグラフィックス画像を置いて直接見たように表示できる。
【００３１】
また本発明は、前記入力補正部は、前記入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを、各光周波数バンドごとの反射率データに変換した後、撮像した光周波数バンドの数よりも多い数の周波数バンドの反射率データに変換して反射率画像データを生成し、
前記反射率再現変換部は、前記反射率画像データを、赤、青、緑ごとの反射率データに変換することを特徴とする。
【００３２】
本発明に従えば、画像データを変換する際に、入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを、各光周波数バンドごとの反射率データに変換した後、撮像した光周波数バンドの数よりも多い数の周波数バンドの反射率データに変換して反射率画像データを生成することによって、変換に必要な情報量が豊富になる。したがって、反射率再現変換部が反射率画像データを変換する際に、カラー表示部の種々の特性に応じて高い精度で変換できる。また、反射率画像データを、赤、青、緑ごとの反射率データに変換することによって、入力の処理計算時間を短縮できる。
【００３３】
また本発明は、前記画像表示装置は、前記入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを、各光周波数バンドごとの反射率データに変換した後、撮像した光周波数バンドの数よりも多い数の周波数バンドの反射率データに変換して反射率画像データを生成する手段を有し、
前記反射率再現変換部は、前記反射率画像データを、赤、青、緑ごとの反射率データに変換することを特徴とする。
【００３４】
本発明に従えば、画像データを変換する際に、入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを、各光周波数バンドごとの反射率データに変換した後、撮像した光周波数バンドの数よりも多い数の周波数バンドの反射率データに変換して反射率画像データを生成することによって、変換に必要な情報量が豊富になる。したがって、反射率再現変換部が反射率画像データを変換する際に、カラー表示部の種々の特性に応じて高い精度で変換できる。また、反射率画像データを、赤、青、緑ごとの反射率データに変換することによって、入力の処理計算時間を短縮できる。
【００３５】
さらに、画像表示装置において入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを、各光周波数バンドごとの反射率データに変換した後、撮像した光周波数バンドの数よりも多い数の周波数バンドの反射率データに変換して反射率画像データを生成することによって、画像入力装置から画像表示装置へ伝送すべきデータ量が少なくて済むため、反射率データの伝送時間を短縮できる。
【００３６】
また本発明は、前記反射型のカラー表示部は、薄型で、電力不要で表示状態を維持し、携帯可能な情報表示媒体で構成されていることを特徴とする。
【００３７】
本発明に従えば、カラー表示部が薄型で、電力不要で表示状態を維持し、携帯可能な情報表示媒体、いわゆる電子ペーパーで構成されるので、液晶表示装置に比べて装置をさらに軽量化することができる。したがって、異なる環境下、たとえば明るい場所、暗い場所でカラー表示部に表示させた画像の見え方を確かめるために、画像表示装置を移動させる場合、画像表示装置の持ち運びが容易となる。
【００３８】
また本発明は、前記画像表示装置のカラー表示部に表示された画像を、薄型で、電力不要で表示状態を維持し、携帯可能な記録媒体に出力する画像出力装置をさらに備えることを特徴とする。
【００３９】
本発明に従えば、画像出力装置を用いて、カラー表示部に表示された画像を、薄型で、電力不要で表示状態を維持し、携帯可能な記録媒体、いわゆる電子ペーパーに表示させることができる。したがって、被写体またはコンピュータグラフィックス画像そのものの見え方で表示された記録媒体を短時間で複数枚得ることができる。
【００４０】
また本発明は、被写体を撮像して得られる被写体に固有の情報として、被写体の分光反射率を記憶する工程と、
該被写体の分光反射率に基づいて、反射型のカラー液晶ディスプレイの、被写体が表示される各画素の反射率が、被写体の反射率と一致するように、反射型のカラー液晶ディスプレイを構成する液晶セルの各画素の光反射率を制御する工程と、
所定の観察光源を用いて、被写体を該ディスプレイ上に表示する工程とを含むことを特徴とする画像表示方法である。
【００４１】
本発明に従えば、被写体に固有の情報に基づいて、液晶セルの光反射率を制御することによって、該ディスプレイにおける光反射率が被写体の各部位における反射率と一致するように制御できる。反射率画像データは、照明状況に依存せず、被写体の各部位に固有の反射率を示すデータである。したがって、表示時の照明特性を測定することなく、該ディスプレイの照明状況下に被写体を置いて直接見たように表示できる。
【００４２】
また被写体に固有の情報は被写体の分光反射率であることによって、撮像時の照明状況に依存しない画像データとなるため、該ディスプレイの照明状況下において、実物により近い表示が可能になる。
【００４３】
また本発明は、前記観察光源は、ＣＩＥ準拠のＡ光源、Ｂ光源、Ｃ光源、任意の色温度のＤ光源、または分光測色器による計測によって得られる任意の光源であることを特徴とする。
【００４４】
本発明に従えば、ディスプレイの観察光源として、放射スペクトルが予め判明している上記光源を使用することによって、色ずれが少ない適切な被写体表示が可能になる。
【００４５】
【発明の実施の形態】
図１は、本発明の第１実施形態の画像処理システムを示すブロック図である。本実施形態の画像処理システムは、撮像機能を有する画像入力装置１と、画像表示機能を有する画像表示装置２などで構成される。
【００４６】
画像入力装置１は、被写体Ａを撮像して、被写体Ａの各部位における分光反射率に応じた反射率データを生成し、静止画像のデジタルデータとして出力する。
【００４７】
画像入力装置１は、撮像照明ライト１１と、光センサ１２と、照明光データ処理部１３と、カメラ１４と、撮像データバッファ１５と、分光反射率推定部１６と、データ記憶部１７などで構成される。
【００４８】
撮像照明ライト１１は、撮像に適した照明光を放射して被写体Ａに照射するもので、たとえばハロゲンランプ（色温度３２００Ｋ）、キセノンランプ（色温度５１００Ｋ）、ＣＩＥ（Commission Internationale de I'Eclairage）準拠の標準Ｄ６５光源などが使用できる。
【００４９】
光センサ１２は、撮像照明ライト１１からの照明光の分光放射分布を測定するもので、たとえばミノルタ社製分光放射輝度計CS-1000などが使用できる。
【００５０】
照明光データ処理部（入力特性記憶部）１３は、メモリなどで構成され、光センサ１２で測定された分光放射分布（単位[W・sr-1・m-2]）を記憶し、また、使用するカメラ１４の分光感度特性およびフィルタ１４ａの分光透過率などを予め記憶する。
【００５１】
カメラ（撮像部）１４は、６色のカラーフィルタが選択的に使用できるフィルタ１４ａと、多数の受光部がマトリクス状に配列された、たとえばＣＣＤ（電荷結合素子）などの受光素子１４ｂなどを有し、マルチバンド撮影が可能なデジタルカメラとして構成される。カメラ１４は、被写体Ａの各部位からの反射光を、カラーフィルタを介して受光して、反射光の波長分布を取得する。
【００５２】
撮影の準備段階として、撮影機器のセッティングを行う。まず被写体Ａおよびカメラ１４の設置位置を決定し、次に撮像照明ライト１１の設置位置を決定する。被写体Ａとカメラ１４との間の撮影距離は、目標とする画像の解像度が決まれば、カメラ１４の解像度および使用レンズの性能によって決定される。
【００５３】
図１に示すように、フィルタ１４ａを所定の回転角度に設定して、使用するカラーフィルタを選択した後、カメラ１４がカラーフィルタを介して被写体Ａの各部位からの反射光を受光する。こうした操作を６色のカラーフィルタ別に行なうことによって、１つの画素について６色分のデータが得られる。
【００５４】
撮像データバッファ１５は、メモリなどで構成され、カメラ１４が被写体Ａを色分解して撮像した６色分の撮像データを記憶する。
【００５５】
分光反射率推定部（入力補正部）１６は、照明光データ処理部１３に記憶された分光放射分布と撮像データバッファ１５に記憶された撮像データとに基づいて、被写体Ａの反射率画像データを推定する。
【００５６】
その動作に関して、分光反射率推定部１６は分光放射分布および撮像データから、フィルタ１４ａの各カラーフィルタ特性に応じた６個の周波数バンドについて、被写体Ａの各部位ごとの反射率データを計算する。この反射率データは、照明状況に依存せず、被写体Ａの各部位に固有の反射率を示すデータである。
【００５７】
次に分光反射率推定部１６は、Ｗｉｅｎｅｒ推定を用いて、６個の周波数バンドごとの反射率データを８１個の周波数バンドの反射率データに変換し、データ記憶部１７に記憶させる。
【００５８】
Ｗｉｅｎｅｒ推定は、ｍ次元のベクトルデータｖが伝達関数行列Ａによって線形変換され、ｍより大きいｎ次元のベクトルデータｏが出力される場合、行列Ａは正方行列とならないため、行列Ａの逆行列Ｇを用いてベクトルデータｖからベクトルデータｏを推定するものである。ここでは、６次元データである６個の周波数バンドごとの反射率データから８１次元データである８１個の周波数バンドの反射率データを推定している。
【００５９】
６個の周波数バンドの反射率データを８１個の周波数バンドの反射率データに変換する方法について具体的に説明する。６個の周波数バンドの反射率データをｖ、８１個の周波数バンドの反射率データをｏ、光源の分光放射分布、カメラの分光感度およびフィルタの分光透過率に基づいて作成された行列（システム行列）をＦとすると、
ｖ＝ｏＦ
が成立する。したがって、８１個の周波数バンドの反射率データｏは、
ｏ＝Ｆ-1ｖ
となり、システム行列Ｆの逆行列から８１個の周波数バンドの反射率データｏが得られる。
【００６０】
また、システム行列Ｆの逆行列Ｆ-1は、以下の（１）〜（３）によって求められる。
（１）被写体Ａの撮像時と同じ撮像条件で、複数の色見本となるサンプルを測定し、それぞれ６個の周波数バンド分の分光反射率データを求める。
（２）分光測色計によって、（１）に使用した色見本となるサンプルの分光反射率データを求める。
（３）上記（１）において得られた分光反射率データを（２）において得られた分光反射率データに変換する行列を、Ｗｉｅｎｅｒ推定を用いて求める。
【００６１】
なお、Ｗｉｅｎｅｒ推定では、（２）において得られた分光反射率データと推定値との平均２乗誤差を最小とするような行列を求めることとなる。また、Ｗｉｅｎｅｒ推定については、『H.Haneishi,T.Hasegawa,N.Tsumura and Y.Miyake:IS＆T‘ｓ 50th Annual Conference,Massachusettes,pp.369-372(1997).
“Design of colorfilters for recording artworks”』において詳細に説明されている。なお、Ｗｉｅｎｅｒ推定の代わりに主成分分析や重回帰分析など種々の統計分析手法が使用できる。
【００６２】
上述した画像入力装置１の照明光データ処理部１３、撮像データバッファ１５、分光反射率測定部１６およびデータ記憶部１７は、図示しない制御部によって制御される。
【００６３】
画像表示装置２は、観測照明ライト２０と、データ記憶部２１，２２と、反射率再現変換部２３と、反射型のカラー液晶ディスプレイ部（以下、反射型ＬＣＤ部と記す）２４などで構成される。画像表示装置２は、画像入力装置１によって得られた反射率画像データに基づいて、被写体Ａを画像表示装置２の設置環境および設置場所に置いたときの見え方で表示する機能を有する。
【００６４】
観測照明ライト２０は、反射型ＬＣＤ部２４に向けて照明光を照射するもので、たとえばハロゲンランプ、キセノンランプ、およびＣＩＥ準拠の標準のＡ光源、Ｂ光源、Ｃ光源、任意の色温度のＤ光源が使用でき、また、一般の白熱電球、蛍光灯、日中の野外では太陽光も利用できる。
【００６５】
データ記憶部２１は、画像入力装置１のデータ記憶部１７に記憶された反射率データを、ネットワークなどを経由して取得し、記憶する。
【００６６】
データ記憶部（表示特性記憶部）２２は、使用する反射型ＬＣＤ部２４のＲ（赤），Ｇ（緑），Ｂ（青）各色ごとの反射率の表示特性データ（ＬＣＤ特性データ）、たとえばγ補正テーブルなどを記憶する。
【００６７】
反射型ＬＣＤ部（反射型のカラー表示部）２４は、液晶層を偏光板と反射電極で挟んだ構造を有し、液晶への印加電圧を制御して、入射光の偏光方向および反射電極で反射した光の偏光方向を制御することによって、カラー表示を実現する。透過型液晶ディスプレイが液晶層を２枚の偏光板で挟んだ構造であるのに対して、反射型液晶ディスプレイは１枚の偏光板だけで済むため、光の利用効率が高いという利点がある。
【００６８】
図４は、反射型ＬＣＤ部２４の構成例を示す部分斜視図である。反射型ＬＣＤ部２４は、偏向板４１、Ｒ，Ｇ，Ｂから成るカラーフィルタ４２、上ガラス基板４３、透明電極（図示せず）、液晶層４４、反射板を兼ねる画素電極（反射電極）４５および下ガラス基板４６がこの順番に積層されて構成される。反射型ＬＣＤ部２４では、液晶層４４は画素に応じた液晶セルに分割されている。反射型ＬＣＤ部２４では、各液晶セルに印加される電圧をＯＮまたはＯＦＦし、画像データに応じて印加電圧を制御し、入射光と反射光との偏向方向を制御することによって、カラー画像表示を行う。
【００６９】
図４に示す反射型ＬＣＤ部２４において、観測照明ライト２０からの観測照明光が偏光板４１、透明電極、カラーフィルタ４２、ガラス板４３、液晶層４４を通過して反射板４５によって反射され、液晶層４４、ガラス板４３、カラーフィルタ４２、透明電極、偏光板４１の順で再び通過すると、表示光になる。反射型ＬＣＤの反射率は、入射光の光量に対する表示光の光量の比率、つまり入射光量／反射光量を算出することによって得られる。この反射率については、日本画像学会誌；第３８巻第２号ｐ１２８〜ｐ１３１（１９９９）およびホームページ
http://www.sharp.co.jp/sc/gaiyou/news/970910.htmなどにおいて詳細に説明されている。
【００７０】
反射率再現変換部２３は、データ記憶部２１に記憶された反射率データとデータ記憶部２２に記憶された表示特性データとに基づいて、被写体Ａの各部位における反射率を反射型ＬＣＤ部２４上に再現する。すなわち、反射型ＬＣＤ部２４における各液晶セルの光反射率が被写体Ａの各部位における反射率と一致するように、反射型ＬＣＤ部２４の表示特性データを用いて被写体Ａの反射率データを変換する。
【００７１】
反射率再現変換部２３は、反射型ＬＣＤ部２４の表示特性データを用いて、８１個の周波数バンドの反射率データから反射型ＬＣＤ部２４の表示特性に応じた赤、青、緑の３色ごとの反射率データに変換している。こうして変換された３色の反射率データは、反射型ＬＣＤ部２４に供給され、液晶セルの印加電圧を色別に制御することによって、各液晶セルの光反射率が被写体Ａの各部位における反射率と一致するようになる。
【００７２】
上述したデータ記憶部２１，２２、反射型ＬＣＤ部２４および反射率再現変換部２３は、たとえばＣＰＵ（Central Processing Unit）などからなる制御部２５によって制御される。
【００７３】
以上のように本実施形態の画像処理システムでは、画像入力装置１が被写体Ａの各部位における分光反射率に応じた反射率データを生成し、画像表示装置２が反射率データおよび反射型ＬＣＤ部２４の表示特性データに基づいて３色の反射率データを生成し、各液晶セルの光反射率を被写体Ａの各部位における反射率とほぼ同じ値となるように表示する。
【００７４】
こうした構成によって、観測照明ライト２０の照明状況下に被写体Ａを置いて直接見たような見え方で反射型ＬＣＤ部２４上に表示することができる。その結果、たとえば画像入力装置１と画像表示装置２とがインターネットを介して接続されている場合、ネットワーク上で販売する商品を被写体Ａとして画像入力装置１で撮像して、その分光反射率データをインターネット上で公開しておいて、画像表示装置２がこの分光反射率データを読み込んで表示すると、画像表示装置２の設置場所に実際の商品を置いたかのように観察できるため、注文者側で商品がどのように見えるかを容易にチェックできる。
【００７５】
また、反射型ＬＣＤ部２４を使用することによって、観測照明ライト２０の照明状況を測定してデータ処理する必要がなくなるため、画像表示装置２での処理時間を短縮でき、迅速な画像表示を実現できる。
【００７６】
さらに、画像入力装置１は６個の周波数バンド分の反射率データを８１個の周波数バンドの反射率データに変換し、画像表示装置２は８１個の周波数バンドの反射率データから反射型ＬＣＤ部２４の表示特性に応じた赤、青、緑の３色ごとの反射率データに変換している。これによって変換に必要な情報量が豊富になるため、適切な３色の反射率データを得ることができる。
【００７７】
図２は、本発明の第２実施形態の画像処理システムを示すブロック図である。本実施形態の画像処理システムは、撮像機能を有する画像入力装置１と、画像表示機能を有する画像表示装置２などで構成される。全体構成は図１のものと同様であるが、図１の分光反射率推定部１６の代わりに反射率補正部３１を設け、図１のデータ記憶部２１の後段に分光反射率推定部３２を追加している点が相違する。
【００７８】
反射率補正部３１は、光センサ１２で測定された分光反射分布およびカメラ１４からの撮像データを用いて、フィルタ１４ａの各カラーフィルタ特性に応じた６個の周波数バンドについて、被写体Ａの各部位ごとの反射率データを計算して、データ記憶部１７に記憶させる。
【００７９】
画像表示装置２における分光反射率推定部３２は、画像データにおける色数の次元を増加させる手段であり、Ｗｉｅｎｅｒ推定を用いて、６個の周波数バンドごとの反射率データを８１個の周波数バンドの反射率データに変換し、反射率再現変換部２３に供給する。
【００８０】
こうして画像表示装置２において分光反射率推定を行うことによって、画像入力装置１から画像表示装置２へ伝達される反射率データは６個の周波数バンド分で足りるため、データ伝送量が格段に少なくなり、反射率データの伝送時間を大幅に短縮できる。
【００８１】
図３は、本発明の第３実施形態の画像処理システムを示すブロック図である。本実施形態の画像処理システムは、撮像機能を有する画像入力装置１と、画像表示機能を有する画像表示装置２などで構成される。全体構成は図１のものと同様であるが、図１の分光反射率推定部１６の代わりに反射率補正部３１を設け、図１のフィルタ１４ａの代わりに８１個の周波数バンドに対応した８１色のカラーフィルタを有するフィルタ１４ｃを有する点が相違する。
【００８２】
反射率補正部３１は、光センサ１２で測定された分光反射分布およびカメラ１４からの撮像データを用いて、フィルタ１４ｃの各カラーフィルタ特性に応じた８１個の周波数バンドについて、被写体Ａの各部位ごとの反射率データを計算して、データ記憶部１７に記憶させる。
【００８３】
カメラ１４で撮影する場合、フィルタ１４ｃを所定の回転角度に設定して、使用するカラーフィルタを選択した後、カメラ１４がカラーフィルタを介して被写体Ａの各部位からの反射光を受光する。こうした操作を８１色のカラーフィルタ別に行なうことによって、１つの画素について８１色分のデータが得られる。
【００８４】
こうして画像入力装置１が８１色分の撮像データを生成することによって、Ｗｉｅｎｅｒ推定を用いた分光反射率推定を省略できるため、推定誤差の発生を防止でき、反射型ＬＣＤ部２４の表示に必要な３色の反射率データを精度良く生成できる。
【００８５】
図５は、本発明の第４実施形態の画像処理システムを示すブロック図である。本実施形態の画像処理システムは、画像入力装置である分光測色計５１と画像表示機能を有する画像表示装置５２とを含む。なお、図５に示す本実施形態の画像処理システムで、図１に示す画像処理システムの構成と同様な部分には同一の符号を付し、重複する説明を省略する。本実施形態の画像表示装置５２は、コンピュータグラフィックス画像（以下、ＣＧ画像と記す）を作成し、表示する機能を有する。
【００８６】
分光測色計５１は色見本サンプル５３の分光反射率を測定する。色見本サンプル５３は、互いに異なる色を有するカラーパネルである。分光測色計５１は、前記見本サンプル５０の分光反射率を測定して、８１個の周波数バンドの分光反射率データ（色見本反射率データ）を生成する。色見本反射率データとは、入力光の波長に対する反射率のデータであり、たとえば、入力波長３８０ｎｍ〜７８０ｎｍで、５ｎｍ毎の反射率データを０〜１に正規化することによって生成される。
【００８７】
分光測色計５１は、図６に示すように色見本サンプル５３の代わりに実際の素材サンプル５４、たとえばプラスチック、陶器、木および布などの拡散反射の分光反射率を推定してもよい。このように、実際の素材を分光測色系５１によって測定することで、ＣＧ画像を作成する場合に、より実際に近い色や質感を表すことが可能となる。
【００８８】
拡散反射の分光反射率を推定する方法としては、たとえば、Journal of
Optical Society of America.A,Vol.7,pp312-317(1990).に記載されている四分円解析法を用いることができる。この方法は、物体表面の複数の場所から分光反射率を測定する、あるいは、物体の１点から観測角を変えて分光反射率を測定し、２種類の制約条件を与えて、拡散反射成分の存在範囲を推定するものであり、高い精度での推定が可能となる。
【００８９】
画像表示装置５２は、制御部５５、ＲＯＭ（Read Only Memory）５６、素材分光反射率データ記憶部５７、反射型ＬＣＤ部２４、反射型ＬＣＤ部２４の表示特性データ記憶部であるデータ記憶部２２、形状・背景データベース５８および反射率再現変換部５９を含む。
【００９０】
制御部５５は、たとえばＣＰＵによって構成される。ＲＯＭ５６には、所定のソフトウェア（プログラム）が格納される。制御部５５はＲＯＭ５６に格納されるプログラムを用いて、画像表示装置５２を含む画像処理システムを制御する。また制御部５５は、図示しない操作手段、たとえば操作パネルおよびキーボードなどを制御して、操作手段を用いて行なわれるユーザの指示を画像処理装置５２に入力させる機能を有する。ＲＯＭ５６に格納されるプログラムは、図示しない外部記憶装置であるプログラム読取装置によって読み取られてＲＯＭ５６に記録される。
【００９１】
素材分光反射率データ記憶部５７は、前記分光測色計５１において生成された色見本反射率データを格納し、また、素材サンプル５４のデータを用いる場合は、素材毎に拡散反射の分光反射率を格納しておく。
【００９２】
形状・背景データベース５８は、表示対象物（素材）の形状データおよび背景データを記憶する。ここで素材とは、机、椅子、花瓶、階段、電化製品などの具体的な物体である。形状データとは、素材を３次元的に表現するような、素材の輪郭を示す線図のデータ（輪郭データ）である。また、背景データとは、壁、窓、カーテン、床（たとえば、絨毯、フローリング、畳など）など、素材の背景を構成すると考えられる物体を３次元的に表現する輪郭データである。上述の形状データおよび背景データは同じ輪郭データであるので、まとめて形状データとしてもよい。図７は、形状データおよび背景データの一例を示す図である。図７（ａ）は形状データである机を表し、図７（ｂ）は形状データである椅子を表し、図７（ｃ）は背景データであるカーテンを表している。
【００９３】
制御部５５は、形状データおよび背景データに、色見本サンプル５３の中、あるいは素材サンプル５４の中からユーザによって選択された色を割り当て、プログラムを実行して３次元のＣＧ画像を作成する。反射率再現変換部５９は、制御部５５に制御され、作成されるＣＧ画像に割り当てられる色の反射率データと、データ記憶部２２に記憶される表示特性データとを用いて３次元のＣＧ画像の各部位における反射率を反射型ＬＣＤ部２４に再現させる。さらに詳しく説明すると、制御部５５は後述するレンダリングの手法を用いて、形状データおよび背景データに色見本反射率データまたは素材毎の拡散反射の分光反射率データを割り当てることによって、３次元のＣＧ画像を生成する。そして、反射率再現変換部５９を介して、反射型ＬＣＤ部２４における各画素の反射率を、ＣＧ画像における各部の反射率と同様になるように制御する。
【００９４】
このとき、反射率再現変換部５９では、８１個の周波数バンドの波長域に関する輝度データが、表示特性データを用い、ＲＧＢ等色関数による変換によって、反射型ＬＣＤ部２４の特性に応じた赤・青・緑の３色の反射率データ（ＲＧＢデータ）に変換される。そして、前記ＲＧＢデータを用いて反射型ＬＣＤ部２４における各画素の反射率が制御される。たとえば、反射率再現変換部５９では、ＣＧ画像における輝度データに基づいて、輝度とＲＧＢ等色関数の各要素を掛け合わせた三刺激値が求められる。そして、この三刺激値を座標変換して輝度および色度を求め、γ補正を行うことでＲＧＢデータを求める。
【００９５】
次に、制御部５５によるＣＧ画像の作成動作について、図８のフローチャートを用いて説明する。ステップＳ１では、形状・背景データベース５８から、ユーザの指示に基づいて表示対象となる素材の形状データおよび背景データの少なくともいずれか１つを選択し、素材（輪郭）データを作成して、ステップＳ２に進む。ステップＳ２では、色のマッピングを行う。ステップＳ２の色のマッピングでは、素材分光反射率データ記憶部５７に格納される色のサンプルを反射型ＬＣＤ部２４に表示し、その中からユーザが選択することによって行なわれ、選択された色見本サンプル５３の色見本反射率データが反射率データ記憶部から読み出される。また、素材サンプル５４のデータを用いる場合は、素材の選択が行なわれる。
【００９６】
次にステップＳ３に進み、素材の質感や模様といった表面材質を設定して、ステップＳ４に進む。ステップＳ３で行なわれる表面材質の設定内容としては、光沢、模様のサイズ、反射率、荒さ、透明度および屈折率が挙げられる。光沢は、光の映り込みの強さ、つまり明るさを意味する。荒さは、反射による映り込みや透明度によって透過して見える部分をぼかす処理を行う。屈折率は、光の屈折率を設定し、透明度が設定されているときに有効となる。また反射率の設定では、色見本サンプル５３を用いる場合には、選択された色見本サンプル５３の色見本反射率データが入力され、素材サンプル５４データを用いる場合には、選択された素材サンプル５４の拡散反射の分光反射率データが入力される。
【００９７】
ステップＳ４では光源の設定を行い、ステップＳ５に進む。ステップＳ４で行なわれる光源の設定内容としては、光源の種類、光源の位置および光源の角度が挙げられる。光源の種類には、無限遠光源、点光源、スポットライトおよび環境光がある。無限遠光源は、太陽光をシミュレートしたものであり、環境全体におよぶ光源である。点光源およびスポットライトは、光の届く範囲を指定することができ、点光源は全方向に照射される光源であり、スポットライトは指向性の有る光源である。環境光は、空気中の乱反射を擬似的にシミュレートすることができる光源である。これらの中から、画像表示装置５２の設置環境および設置場所に応じて適切な光源を選択する。
【００９８】
従来の表示装置に画像を表示する場合には、表示装置の設置環境における照明の状態（周囲光）を検知し、検知した周囲光に合わせて画像データを色変換するように設定し、原稿画像と表示装置上での画像との見え方を、周囲光によらず一致させている。しかしながら、本発明では反射型の液晶ディスプレイである反射型ＬＣＤ部２４を用いて表示を行うので、設置環境における照明の状態を考慮する必要はない。つまり、本発明ではＣＧ画像の画素ごとの分光反射率を求めて、反射型ＬＣＤ部２４における各画素の反射率を補正するのみでよい。
【００９９】
ステップＳ５ではカメラの設定を行い、ステップＳ６に進む。ステップＳ５で行なわれるカメラの設定としては、対象物をどこからどのように眺めるかといった、視野に関する設定を行う。透視図内の表示は、主に視点、注視点およびズーム値の設定で決まる。視点とはカメラの位置を示し、注視点とはカメラが注目している位置を示す。視点と注視点との２点によって、カメラが存在する位置と向きとを決定することができる。このとき、視点と注視点とを結ぶ線が視線にあたる。
【０１００】
ステップＳ６では、レンダリングの手法を用いて、形状データおよび背景データに色見本反射率データまたは素材毎の拡散反射の分光反射データを割り当てることによって、３次元のＣＧ画像を生成し、ＣＧ画像の作成動作を終了する。ステップＳ６で行なわれるレンダリングとは、コンピュータ計算によってＣＧ画像を作成する方法である。レンダリングには、たとえば、スキャンライン、レイトレーシングおよび分散レイトレーシングを用いることができる。以下に各手法の特徴を述べる。
【０１０１】
スキャンラインは、高速レンダリングが可能である。しかしながら、物体の影、映り込み、屈折は表現できない。高品質なレンダリングを行う前に、おおまかなレンダリング結果の確認として活用することができる。
【０１０２】
レイトレーシングは、物体の影、映り込み、屈折および反射といった光学的シミュレーションによってリアルなレンダリング結果が得られ、印刷物にも十分対応できる。レイトレーシングは、速度、品質ともにバランスのとれた標準的手法である。しかしながら、被写界深度を表現することはできない。
【０１０３】
図９は、レイトレーシングによる光線の追跡結果を示す図である。レイトレーシングでは、光線がどのようにオブジェクト（物体、対象物）６０で反射および屈折し、ある物体に入射したときにどのような影響を受けるかということを、カメラ（視点）６１からスクリーン（反射型ＬＣＤ部２４）６２上の画素６３を通って、光線を追跡しながらその都度計算し、これを光源６４にたどり着くまで繰り返すことで色および光の強さを決め画像を作成する。
【０１０４】
分散レイトレーシングは、物体の柔らかな影、被写界深度および表面材質の粗さによる反射像の乱れなどを表現ことができる。分散レイトレーシングは、モアレも低減されるので、もっとも綺麗な画像を得ることができるが、他の２種類のレンダリングよりも処理時間を要する。具体的には、分散レイトレーシングは、レイトレーシングの約１０倍以上のレンダリング時間を要する。
【０１０５】
上述したレンダリングの手法は、たとえば、ＰＯＶ−Ｒａｙ（Persistence Of Vision Ray Trancer）などのソフトウェアを使用することで実現できる。
【０１０６】
以上のように本実施形態の画像処理システムでは、分光測色計５１が色見本サンプル５３または素材サンプル５４を用いて、カラーパネルの反射率に応じた色見本反射率データまたは素材毎の拡散反射の分光反射率データを生成するように設定されている。そして、画像表示装置５２が、形状データまたは背景データと色見本反射率データまたは素材毎の拡散反射の分光反射率データとを用いてシミュレーションすることで、任意の色（色の反射率）を有する３次元のＣＧ画像を生成することができる。画像表示装置５２は、反射型ＬＣＤ部２４における各画素の反射率を、各画素の対応するＣＧ画像の反射率と同様の値に制御することによって、ＣＧ画像を表示するように設定されている。つまり、本実施形態の画像処理システムでは、ＣＧ画像における固有の情報である反射率を、反射型ＬＣＤ部２４上で再現するように設定されている。これによって、反射型ＬＣＤ部２４では、観測照明２０に応じた状態でＣＧ画像を表示することが可能となり、表示時の照明状況下にＣＧ画像を置いて直接見たように表示することができる。
【０１０７】
したがって、本画像処理システムを用いれば、以下のようなことが可能となる。すなわち、新たに購入したいインテリア（置時計などの室内調度品）を設置したい場所に画像表示装置５２を設置する。そして、色見本サンプル５０から好みの色を選択して、所望するインテリアの形からなるＣＧ画像を作成して表示することで、インテリアの設置状況を非常に容易にシミュレートできる。
【０１０８】
図１０は、本発明の第５実施形態である画像処理システムを示すブロック図である。本実施形態の画像処理システムは、前記第４実施形態の画像処理システムに加えて、前記第１実施形態の画像処理システムに用いられる画像入力装置１を含む。なお、図５に示す本実施形態の画像処理システムで、図１および図５に示す画像処理システムの構成と同様な部分には同一の符号を付し、重複する説明を省略する。また、本実施形態の画像表示装置５２の全体構成は、図４の画像表示装置５２と同様であるが、図４の画像表示装置５２の各構成に加えて、図１の画像表示装置２が備えるデータ記憶部２１を備える。本実施形態の画像処理システムでは、画像入力装置１によって撮像される被写体Ａと、画像表示装置５２において作成されるＣＧ画像とを組み合わせて表示させることができる。
【０１０９】
画像入力装置１は、被写体Ａを撮像して静止画像のデジタルデータを生成する。このデータは、被写体Ａの輪郭データおよび被写体Ａの各部位における分光反射率に応じた反射率データとから構成される。
【０１１０】
本実施形態の画像処理システムでは、画像入力装置１の分光反射率推定部１６は、照明光データ処理部１３に記憶された分光放射分布と撮像データバッファ１５に記憶された被写体Ａの撮像データとに基づいて被写体Ａの反射率データを推定するとともに、撮像データバッファ１５に記憶された撮像データから被写体Ａの輪郭データを求める。分光反射率推定部１６は、反射率画像データと輪郭データとを組み合わせた分光反射率画像データを生成して、データ記憶部１７に記憶させる。
【０１１１】
なお、輪郭データの作成はＡｄｏｂｅ（アドビ）社製のPhotoshop（登録商標）などの画像編集ソフトウェア、または撮像データに対して一般的に使用されているゾーベルフィルタおよびラプラシアンフィルタの処理を施して、撮像データにおける任意の領域を線図として抽出することで実現できる。
【０１１２】
画像表示装置５２のデータ記憶部２１は、前記画像入力装置１のデータ記憶部１７に記憶されている分光反射率画像データを、ネットワークなどを経由して取得して記憶する。
【０１１３】
本実施形態の画像処理システムにおいても、上述した第１実施形態の画像処理システムのように、画像表示装置５２では、分光反射率画像データに含まれている輪郭データおよび反射率データを用いて被写体Ａの画像を反射型ＬＣＤ部２４に表示させることができる。また、上述した第４実施形態の画像処理システムのように、画像表示装置５２では、形状・背景データベース５８に記憶される形状データおよび背景データと、素材分光反射率データ記憶部５７に記憶される色見本反射率データまたは素材毎の拡散反射の分光反射率データを用いてＣＧ画像を作成し、作成したＣＧ画像を反射型ＬＣＤ部２４に表示させることができる。
【０１１４】
また、制御部５５は、分光反射率画像データの輪郭データに素材分光反射率データ記憶部５７に記憶される色見本反射率データまたは素材毎の拡散反射の分光反射率データを割り当て、上述した第４実施形態の画像処理システムのように、ＣＧ画像を作成することができる。このように、本実施形態の画像処理システムでは、撮像によって得られた被写体Ａの画像を所望の色にペイントすることができ、また、被写体Ａと形状・背景データベース５８に記憶される形状データおよび背景データを組み合わせたＣＧ画像を表示させることができる。
【０１１５】
また本実施形態では、画像入力装置１の備えるカメラ１４によって色見本サンプル５３を撮像し、色見本反射率データを取得してもよい。この場合、カメラ１４では、フィルタ１４ａを回転させながら、見本サンプル５０からの反射光を各画素によって受光することで、画素毎に６色ずつの画素データを得ることとなる。
【０１１６】
また、カメラ１４では、フィルタ１４ａの装着時に受光素子１４ｂの位置が変化すると、合成画像に色ずれの弊害が生じる。また、受光素子１４ｂの位置ずれが微少であったとしても、合成画像に影響が出る。このため、フィルタ１４ａの装着時には受光素子１４ｂの位置を変化させないように注意することが望ましい。
【０１１７】
また本実施形態における画像入力装置１は、第１実施形態と同じ画像入力装置１であるが、これに限らず、第２または第３実施形態に示した画像入力装置１を用いてもよい。第２実施形態に示した画像入力装置１を用いる場合には、画像表示装置５２に、第２実施形態の画像表示装置２が備える分光反射率推定部３２を備えることによって、反射率データの伝送に要する時間を短縮できる。
【０１１８】
以上、第１〜第５実施形態の画像処理システムにおける画像表示装置２および５２では、反射型の液晶ディスプレイである反射型ＬＣＤ部２４を用いた例を説明したが、観測照明光の反射率を画素ごとに制御して画像表示する反射型のカラー表示装置全般に本発明は適用できる。
【０１１９】
また、前記第４および第５実施形態の画像処理システムでは、画像表示装置５２内に形状・背景データベース５８を設けているが、形状データおよび背景データを記憶しているデータベースがネットワーク（たとえばインターネットなど）上にある場合は、画像表示装置５２内に形状・背景データベース５８を備える必要はない。すなわち、この場合には、画像表示装置５２がネットワーク上のデータベースから形状データおよび背景データを取得するように設定されてもよい。
【０１２０】
次に、本発明の第６実施形態の画像処理システムについて説明する。本実施形態の画像処理システムでは、全体構成は図１の画像処理システムと同様であるが、図１の反射型ＬＣＤ部２４の代わりに、薄型で、電力不要で表示状態を維持し、携帯可能な情報表示媒体である電子ペーパーをディスプレイとして設け、データ記憶部２２に電子ペーパーの表示特性データが記憶されている。
【０１２１】
電子ペーパーは、可撓性を有し、厚さが５０μｍ〜１ｍｍ程度の薄型の表示装置であり、表示される画像の書き換えが可能である。電子ペーパーの表示方式としては、電場を用いた電気泳動表示方式およびツイストボール表示方式などが用いられる。
【０１２２】
まず、電気泳動表示方式によって表示を行なう電子ペーパー（ＥＰＩＤ：
Electrophoretic Image Display）について説明する。電気泳動表示方式の電子ペーパーでは、液体中に分散させた荷電粒子が外部電場に沿ってクーロン力により液体中を泳動する電気泳動現象を用いて画像の表示を行なう。
【０１２３】
図１１（ａ）は、電気泳動表示方式の電子ペーパーの構成例を示す断面図である。電気泳動表示方式の電子ペーパーは、基材７１、画素電極７２、バインダ７３、マイクロカプセル７４、透明電極７５および表面保護膜７６を含む。樹脂からなる板状の基材７１の一方方向表面に、平行に延びる複数の画素電極７２が所定の間隔を設けて配置される。画素電極７２の一方方向に所定の間隔を設けて、画素電極７２の延びる方向と直交する方向に延びる複数の透明電極７５が設けられる。透明電極７５の一方方向には、たとえばＰＥＴ（ポリエチレンテレフタレート）などの透明な樹脂から成る表面保護膜７６が設けられる。前記画素電極７２および透明電極７５の間には、球状のマイクロカプセル７４が配置される。マイクロカプセル７４の間隙には接合剤であるバインダが設けられる。電気泳動表示方式の電子ペーパーでは、前記画素電極７２と透明電極７５とが重なる部分が画素となる。
【０１２４】
図１１（ｂ）は、前記マイクロカプセル７４の拡大図である。マイクロカプセル７４は、天然高分子あるいは合成高分子の壁膜を持つ微小な透明容器内に分散液７７と帯電した白色微粒子７８とを封入して形成される。マイクロカプセル７４の直径は５０μｍ程度である。分散液７７は、染料で着色された絶縁性の液体である。白色微粒子７８としては顔料粒子が用いられ、白色度の点から酸化チタンが用いられる。
【０１２５】
電気泳動表示方式の電子ペーパーでは、画素電極７２および透明電極７５間に電圧を印加すると、形成される電界の方向によって、白色微粒子は画素電極７２および透明電極７５のいずれか一方側に引き寄せられる。これによって、電気泳動表示方式の電子ペーパーの表面保護膜７６側から見た観測者には、白色微粒子７８の色または染料で着色された分散液７７の色が見える。したがって、各画素へ印加する電圧を制御することによって、画像を表示することができる。
【０１２６】
上述した電気泳動表示方式の電子ペーパーでは、前記マイクロカプセル７４は透明容器内に染料で着色した分散液７７と白色微粒子７８とを封入して構成されるが、マイクロカプセル７４は、透明容器内に白色微粒子７８、黒色微粒子および透明な分散液とを封入して構成されてもよい。この場合、白色微粒子７８と黒色微粒子の極性を異ならせることによって、白色および黒色の表示を行なうことができる。
【０１２７】
また電気泳動表示方式の電子ペーパーでは、電極間に電圧を印加することで発生する電界によって一方側電極上に引き寄せられた粒子は、電界を取り去った後も長期にわたってその状態を保持する。したがって、電気泳動表示方式の電子ペーパーは電力不要で表示状態を維持する表示メモリ性を有する。
【０１２８】
電気泳動表示方式の電子ペーパーの特徴としては、高視野角性、高コントラスト、構造が簡単であることに起因する低コスト、大型表示デバイス作製の容易さなどが挙げられる。さらに、色表示の媒体が顔料および染料であることから、眼にやさしい自然な色合いを持ち、印刷物に近い表示が可能となる。
【０１２９】
上述した電気泳動表示方式の電子ペーパーは、２値表示を行なうディスプレイであるが、カラーフィルタを用いたり、Ｃ（シアン）、Ｍ（マゼンタ）またはＹ（イエロー）の微粒子が封入されたマイクロカプセル、あるいはこれにＢ（ブラック）の微粒子が封入されたマイクロカプセルを加えた４種類のマイクロカプセルを複数用い、各色に印加する電圧を制御したりすることによって、カラー表示を行なうことができる。
【０１３０】
次に、ツイストボール表示方式によって表示を行なう電子ペーパー（ＥＴＢＤ：Electrical Twisting Ball Display）について説明する。ツイストボール表示方式の電子ペーパーでは、半球面の色が異なる微小球体を回転させて表示を行なう。
【０１３１】
図１２は、ツイストボール表示方式の電子ペーパーの基本構成を示す断面図である。ツイストボール表示方式の電子ペーパーは、基材８１、電極８２、絶縁性シート８３、着色微小絶縁球体８４、画素電極８５および表面保護層８６を含む。樹脂からなる板状の基材８１の一方方向表面に、電極８２が配置される。電極８２の一方方向に所定の間隔を開けて画素電極８５が設けられる。画素電極８５の一方方向には、たとえばＰＥＴ（ポリエチレンテレフタレート）などの透明な樹脂から成る表面保護膜８６が設けられる。前記電極８２および画素電極８５の間には、透明な絶縁性シート８３が設けられる。前記絶縁性シート８３の内部には、半球面ごとに白と黒、あるいは白と赤に塗り分けられた着色微小絶縁球体８４が埋め込まれる。前記着色微小絶縁球体８４は、絶縁性シート８３と直接接触しているのではなく、絶縁性シート８３に設けられた着色微小絶縁球体８４の径よりも僅かに大きな空洞８７の中に、非極性の有機液体を介して保持される。また、着色微小絶縁体球８４は、色の違いに対応して、その表面の帯電状態に異差を設けるなどしてダイポールモーメントを持つように形成されている。また、電極８２および画素電極８５に接触しない絶縁シート８３の側部は、エポキシ樹脂８８などによってシールされている。
【０１３２】
電極８２および画素電極８５間に電圧を印加すると、形成される電界および着色微小絶縁球体８４のダイポールモーメントが平行となるように着色微小絶縁球体８４が回転する。ツイストボール表示方式の電子ペーパーでは、電極８２および画素電極８５間に画像情報に応じた電界パターンを与え、この電界によって着色微小絶縁球体８４を回転させて、向きを制御し、着色微小絶縁球体８４の２つの半球面のコントラストによって表示を行なう。
【０１３３】
ツイストボール表示方式の電子ペーパーでは、電極間に電圧を印加することで発生する電界によって回転した着色微小絶縁球体８４は、電界を取り去った後も長期にわたってその状態を保持する。したがって、電気泳動表示方式の電子ペーパーは電力不要で表示状態を維持する表示メモリ性を有する。
【０１３４】
ツイストボール表示方式の電子ペーパーの特徴としては、視野角の制限がなく、印刷物に近い質感を高いコントラストで実現することができることが挙げられる。
【０１３５】
上述したツイストボール表示方式の電子ペーパーは、説明のため電極を一対のみ設けた構成とし、また２値表示を行なうディスプレイであるが、複数の電極を形成し、カラーフィルタを用いたり、Ｃ，Ｍ，Ｙに着色された着色微小絶縁球体、あるいはこれに黒色に着色された着色微小絶縁球体を用い、各色に印加する電圧を制御したりすることによって、カラー表示を行なうことができる。
【０１３６】
また、電子ペーパーの表示方式は、上述した方式の他に、印加電圧を取り除いても液晶の配向状態が保存される強誘電性液晶またはコレステリック液晶を用いた液晶表示方式、および酸化還元反応に伴う化学物質の色変化を利用するエレクトロクロミック表示方式などを用いてもよい。エレクトロクロミック表示方式は、電流駆動であり、表示速度が遅いといった問題があるが、表示品位に優れる。
【０１３７】
上述した電子ペーパーを反射型ＬＣＤ部２４の代わりに用いた場合、電子ペーパーの画素毎の反射率は、反射型ＬＣＤ部２４を用いた場合と同様に制御される。すなわち、８１バンドの波長域に関する反射率データは、反射率再現変換部２３で、データ記憶部２２に記憶される電子ペーパーの特性データ、たとえばＲＧＢ等色関数などを用いて、電子ペーパーの表示特性に応じたＲＧＢもしくはＣＭＹの３色の反射率データに変換される。そして、変化された反射率データに基づいて表示を行なう。
【０１３８】
本実施形態では、第１実施形態の画像処理システムにおける画像表示装置２の反射型ＬＣＤ部２４を電子ペーパーに代えているが、第２〜第４実施形態の画像処理システムにおける画像表示装置２および５２の反射型ＬＣＤ部２４を同様に電子ペーパーに代えて構成することができる。
【０１３９】
以上のように、反射型のカラー表示部として電子ペーパーを用いることによって、装置をさらに軽量化することができる。したがって、異なる環境下、たとえば明るい場所、暗い場所でカラー表示部に表示させた画像の見え方を確かめるために、画像表示装置を移動させる場合、画像表示装置の持ち運びが容易となる。また、電子ペーパーは大型化が容易であり、たとえば、大型の家具などのインテリアを原寸大で表示することが可能となる。
【０１４０】
図１３は、本発明の第７実施形態の画像処理システムを示すブロック図である。本実施形態の画像処理システムは、前記第１実施形態の画像処理システムに加えて、薄型で、電力不要で表示状態を維持し、携帯可能な記録媒体である電子ペーパーに画像を表示させる画像出力装置９０をさらに含む。図１３の画像処理システムで、図１の画像処理システムと同様な構成には同一の符号を付し、重複する説明を省略する。なお本実施形態では、画像表示装置２はカラー表示部として、反射型ＬＣＤ部２４を備えるが、反射型ＬＣＤ部２４に代えて前記第６実施形態に示した電子ペーパーを用いる構成としてもよい。画像表示装置２のデータ記憶部２２には、ＬＣＤ特性データが記憶される。
【０１４１】
本実施形態で画像が表示される電子ペーパーは、上述のように表示される画像の書き換えが可能であるが、能動的に表示内容を更新することができず、書き込み器である画像出力装置９０を用いて表示内容の更新を行なう。つまり、電気泳動表示方式によって表示を行なう電子ペーパーは、図１１（ａ）に示される電気泳動表示方式の電子ペーパーの画素電極７２および透明電極７５を取り外した構成である。また、ツイストボール表示方式によって表示を行なう電子ペーパーは、図１２に示されるツイストボール表示方式の電子ペーパーの電極８２および画素電極８５を取り外した構成である。本実施形態で用いられる電子ペーパーは、画像出力装置９０によって外部から電界の付与が行なわれることで画像を表示するので、電極を持たない。
【０１４２】
上述した電子ペーパーに画像を表示させるには、たとえば、複写機などの画像形成装置で用いられる、電子写真方式と同様の方法を用いることができる。しかしながら、電子ペーパーにはトナー像を形成する必要が無いので、現像工程および定着工程は行なわない。
【０１４３】
図１４は、電子ペーパーに画像を表示させる画像出力装置９０の概略的な構成を示す断面図である。画像出力装置９０は、感光体ドラム９１、帯電部材９２、露光部材９３、対向部材９４、クリーニング部材９５、感光体ドラム除電部材９６および電子ペーパー除電部材９７を含み構成される。画像出力装置９０は、感光体ドラム９１の外周に、帯電部材９２、露光部材９３、クリーニング部材９５および感光体ドラム除去部材９６がこの順番で配置されて構成される。
【０１４４】
感光体ドラム９１は、円筒形状の基材９８と、この基材９８の周上に形成される光導電層９９とを含む。基材９８は、たとえばアルミニウムなどから構成され、光導電層９９は、光を照射することによって電気的特性が変化するＯＰＣ（有機光半導体）から構成される。
【０１４５】
帯電部材９２は、コロナ帯電器、帯電ローラまたは帯電ブラシなどから構成される。コロナ帯電器は、コロナ放電によって感光体ドラム９１の表面を帯電させる。帯電ローラは、導電性のローラを感光体ドラム９１の表面に接触させ、電流を流すことによって感光体ドラム９１の表面を帯電させる。帯電ブラシは、導電性のブラシを感光体ドラムの表面に接触させ、電流を流すことによって感光体ドラム９１の表面を帯電させる帯電ブラシである。帯電部材９２によって、感光体ドラム９１の表面が均一に帯電される。
【０１４６】
露光部材９３は、半導体レーザまたは発光ダイオードなどからなり、帯電が行なわれた感光体ドラム９１の表面に露光を行なう。これによって、感光体ドラム９１の光導電層９９にキャリアが生成され、光を照射した部分の表面電荷がキャンセルされる。これによって、感光体ドラム９１の表面に上に静電潜像が形成される。
【０１４７】
対向部材９４は、感光体ドラム９１に対向して設けられる円柱状の部材であり、感光体ドラム９１との間に電子ペーパー１００を挟持して搬送する。クリーニング部材９５は、感光体ドラム９１の表面に付着した粉塵などを除去する。感光体ドラム除電部材９６は、感光体ドラム９１の表面を除電する。電子ペーパー除電部材９７は、電子ペーパー１００の表面上の電荷を除去する。感光体ドラム９１および対向部材９４は、図１４の紙面に垂直な方向に延びる回転軸を有し、回転軸の端部は画像出力装置９０の機体に回転自在に軸支される。また、感光体ドラム９１の長手方向端部には、歯車などが設けられ、駆動装置から回転力が伝達される。
【０１４８】
上述のように構成された画像出力装置９０の動作について説明する。まず、感光体ドラム９１の表面が帯電部材９２によって均一に帯電される。次に、反射型ＬＣＤ部２４に表示されている画像情報に基づいて、露光部材９３によって感光体ドラム９１の表面を露光し、静電潜像を形成する。つまり、データ記憶部２１に記憶される８１バンドの波長域に関する反射率データが、反射率再現変換部２３で、データ記憶部２２に記憶される電子ペーパーの特性データを用いて、電子ペーパーの表示特性に応じたＲＧＢもしくはＣＭＹの３色の反射率データに変換される。そして、この変換された反射率データに基づき、露光量が調整される。次に、感光体ドラム９１を回転させ、図示しない搬送手段によって矢符Ａの方向に搬送される電子ペーパー１００と、表面に静電潜像が形成された感光体ドラム９１とを対向部材９４によって密着させる。対向部材９４を接地しておくことで、電子ペーパー１００に適切なバイアス電圧が印加される。あるいは、対向部材９４に直流電圧を印加するようにしておいてもよい。これによって、電子ペーパー１００に画像が表示される。最後に、電子ペーパー除電部材９７によって、電子ペーパー１００上の電荷を除去することで、電子ペーパー１００に表示された画像が維持される。
【０１４９】
また、電子ペーパーに画像情報の書き込む方法としては、電子写真方式のプロセス以外にイオンフロー方式を用いることができる。イオンフロー方式では、図１４に示す画像出力装置における感光体ドラム９１の光導電層９９の代わりに誘電体材料からなる誘電体層が設けられ、帯電部材９２および露光部材９３の代わりにイオンを照射して、誘電体層を選択的に帯電させるイオンフローヘッドが用いられる。イオンフローヘッドは、イオン発生源と制御電極から構成される。イオンフローヘッドは、イオン発生源で発生したイオンを、制御電極に設けられた開口部から電子ペーパーに照射する。制御電極には、画像情報が入力され、イオンの開口部の通過および非通過を制御することで、静電潜像を形成することができる。また、イオンフロー方式では、電子ペーパーへイオンを照射する書き込み用と消去用のイオンフローヘッドを用いて、電子ペーパーに直接電荷を付与するようにしてもよい。
【０１５０】
本実施形態では、電気泳動表示方式およびツイストボール表示方式の電子ペーパーを用いた場合について述べたが、強誘電性液晶またはコレステリック液晶を用いた液晶表示方式、および酸化還元反応に伴う化学物質の色変化を利用するエレクトロクロミック表示方式の電子ペーパーを用いてもよい。また、コレステリック液晶を用い、光を照射することによって抵抗が変換する光スイッチング素子から構成され、光と電界によって表示が行なわれる光書込み方式の電子ペーパーを用いてもよい。光書込み式の電子ペーパーを用いる場合は、上記画像出力装置９０は光を電子ペーパーに照射して書き込みを行なう構成とすればよい。
【０１５１】
また、本実施形態の画像処理システムは、前記第１実施形態の画像処理システムに画像出力装置９０を加えた構成であるが、図１５に示すように第２実施形態の画像処理システムに画像出力装置９０を加えて構成してもよく、また、図１６に示すように、第３実施形態の画像処理システムに画像出力装置９０を加えて構成してもよい。さらに、第４および第５実施形態の画像処理システムに画像出力装置を加えた構成としてもよい。さらに、上述の各構成におけるカラー表示部は、反射型ＬＣＤ部２４に代えて電子ペーパーを用いてもよい。この場合、データ記憶部２２には、上述した電子ペーパーの表示特性データが記憶される。
【０１５２】
以上のように画像出力装置９０を備える画像処理システムでは、画像の表示に電子ペーパーを用いることができるので、複数枚の被写体およびコンピュータグラフィックス画像を出力させることができる。したがって、たとえば、被写体およびコンピュータグラフィックス画像が大きい場合でも、画像を部分的に複数の電子ペーパーに出力し、前記複数の電子ペーパーをつなぎ合わせることで表示させることができる。さらに、出力した画像の持ち運びが容易であり、画像が表示された電子ペーパーを短時間で複数枚得ることができるので、たとえば広告媒体として配布を行なうこともできる。
【０１５３】
【発明の効果】
以上詳説したように本発明によれば、反射型のカラー表示部における光反射率が被写体の各部位における反射率と一致するように制御できる。反射率画像データは、照明状況に依存せず、被写体の各部位に固有の反射率を示すデータである。したがって、表示時の照明特性を測定することなく、反射型のカラー表示部は、このカラー表示部の照明状況下に被写体を置いて直接見たように表示できる。
【０１５４】
また本発明によれば、物体の形状に基づいて生成されたコンピュータグラフィックス画像を、照明に依存しない素材固有の反射率を示す反射率データを用いて反射型のカラー表示部に表示させることができる。したがって、あたかもコンピュータグラフィックス画像で作成された物体が観測環境によって見え方が異なるように、任意の観測環境での見えるべき表示を行うことができる。
【０１５５】
また本発明によれば、画像入力装置によって撮像される被写体のデータを画像処理システムで作成されるコンピュータグラフィックス画像に用いることができる。したがって、コンピュータグラフィックス画像を作成する上での自由度が高まる。
【０１５６】
また本発明によれば、画像の表示に電子ペーパーを用いることができるので、装置を軽量化することができ、持ち運びがさらに容易となるので、異なる照明環境下に装置を持ち運び、被写体およびコンピュータグラフィックス画像の見え方を確かめることが容易となる。
【０１５７】
また本発明によれば、画像の表示に電子ペーパーを用いることができるので、複数の被写体を出力させることができる。したがって、たとえば、被写体が大きな場合でも、画像を部分的に複数の電子ペーパーに出力し、前記複数の電子ペーパーをつなぎ合わせることで表示させることができる。さらに、出力した画像の持ち運びが容易であり、配布を行なうこともできる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の画像処理システムを示すブロック図である。
【図２】本発明の第２実施形態の画像処理システムを示すブロック図である。
【図３】本発明の第３実施形態の画像処理システムを示すブロック図である。
【図４】反射型液晶ディスプレイの構成例を示す部分斜視図である。
【図５】本発明の第４実施形態の画像処理システムを示すブロック図である。
【図６】本発明の第４実施形態の画像処理システムを示すブロック図である。
【図７】形状データおよび背景データの一例を示す図である。
【図８】ＣＧ画像の作成動作を示すフローチャートである。
【図９】レイトレーシングによる光線の追跡結果を示す図である。
【図１０】本発明の第５実施形態の画像処理システムを示すブロック図である。
【図１１】（ａ）は電気泳動表示方式の電子ペーパーの構成例を示す断面図であり、（ｂ）はマイクロカプセル７４の拡大図である。
【図１２】ツイストボール表示方式の電子ペーパーの基本構成を示す断面図である。
【図１３】本発明の第７実施形態の画像処理システムを示すブロック図である。
【図１４】画像出力装置９０の概略的な構成を示す断面図である。
【図１５】本発明のさらに他の実施形態の画像処理システムを示すブロック図である。
【図１６】本発明のさらに他の実施形態の画像処理システムを示すブロック図である。
【符号の説明】
１，５１ 画像入力装置
２，５２ 画像表示装置
１１ 撮像照明ライト
１２ 光センサ
１３ 照明光データ処理部
１４ カメラ
１４ａ，１４ｃ フィルタ
１４ｂ 受光素子
１５ 撮像データバッファ
１６，３２ 分光反射率推定部
２０ 観測照明ライト
２１，２２ データ記憶部
２３，５９ 反射率再現変換部
２４ 反射型カラー液晶ディスプレイ（ＬＣＤ）部
３１ 反射率補正部
５１ 分光測色計
５３ 色見本サンプル
５４ 素材サンプル
５７ 素材分光反射率データ記憶部
５８ 形状・背景データベース
５５ 制御部
９０ 画像出力装置
１００ 電子ペーパー
【発明の属する技術分野】
本発明は、撮像によって得られた画像およびコンピュータ上で作成した画像を表示するための画像表示装置および方法ならびに画像処理システムに関する。
【０００２】
【従来の技術】
被写体を撮像して得られる画像データに基づいて、液晶ディスプレイ（ＬＣＤ：Liquid Crystal Display）などの表示装置で被写体画像を表示するシステムにおいて、１）被写体を撮影環境や撮影場所で直接見たように再現する機能や、２）表示装置の設置環境や設置場所に被写体を置いて直接見たように表示する機能が提案されている。
【０００３】
たとえば特開平１０−２４３２４７号公報には、１）の機能を実現するための色変換方法が開示されている。詳しくは、画像データから３つ以上の入力色分解値を求め、これをニューラルネットによって分光分布に変換して、環境に依存しない色彩値を有する画像データを作成し、この画像データの色彩値を観察環境下での色彩値に変換することによって、異なる環境下でも同様の見え方で被写体を表示している。
【０００４】
また、特開平９−１０２８８２号公報には、１）の機能を実現するための画像処理装置が開示されている。詳しくは、原稿画像をスキャナで読み取ってＣＲＴ（Cathode Ray Tube）モニタなどの表示装置で表示する場合、表示装置の設置環境における照明の状態（周囲光）をセンサで測色し、周囲光の色温度に合わせて画像データを色変換することによって、周囲光に依存せずに原稿画像と表示画像の見え方を一致させている。
【０００５】
またホームページ(http://www.isl.titech.ac.jp/~yamalab/Reproduction/
summary.html)には、２）の機能を実現するために、撮影に用いる照明やカメラ、および表示時の照明や表示特性を考慮した補正を画像データに施す画像処理システム（マルチスペクトル情報を用いた色再現システム）が開示されている。
【０００６】
また、従来コンピュータグラフィックス（ＣＧ：Computer Graphics）画像によって、所定形状の物体（素材）を着色して表示する技術が開発されている。このような技術を用いれば、たとえば、線図（輪郭図）によって描いた建築物や家具をさまざまな色で着色して表示できる。したがって、ユーザに所望の色を選択させて、表示させることが容易となる。
【０００７】
【発明が解決しようとする課題】
上記ホームページに記載されたシステムでは、表示時の照明状況の特性（照明特性）を正確にデータ化する必要がある。
【０００８】
しかしながら、一般のオフィスや家庭では無論のこと、画像を専門に扱うオフィスなどであっても、表示時の照明状況を常に一定に保つことは非常に困難である。したがって、照明特性を予め正確にデータ化しておくことはできなかった。このため、表示時の照明特性をデータ化しても、別の機会では照明状況が変化しているため、正しい色再現が不可能になる。さらに、照明特性を正確にデータ化するには熟練した技術が必要になり、一般のユーザにとって極めて困難な作業になる。また、センサによって表示の度に照明特性をデータ化する構成では表示処理に時間がかかるという問題が発生する。
【０００９】
また、従来のＣＧ画像では金属光沢やダイヤモンドの独特の光沢を近似的に表現することは可能であるが、それは、あくまでＣＧ画像を生成する時の照明光などの設定条件下によるものである。すなわち、ＣＧ画像を作成条件下での見え方で表示するものであり、表示装置の設置環境や設置場所にＣＧ画像を置いた場合の見え方で表示することができない。
【００１０】
また、特開平９−１０２８８２号公報のように、センサを用いて表示開始の度に照明特性をデータ化する場合、データ化に必要な処理時間が加わるため、全体の表示時間が長くなってしまう。
【００１１】
また、特開平９−１０２８８２号公報および特開平１０−２４３２４７号公報では、表示装置の設置環境や設置場所に被写体を置いて直接見たように表示することができない。
【００１２】
本発明の目的は、表示時の照明特性を測定することなく、表示時の照明状況下に被写体またはコンピュータグラフィックス画像を置いて直接見たように表示できる画像表示装置および方法ならびに画像処理システムを提供することである。
【００１３】
【課題を解決するための手段】
本発明は、反射型のカラー表示部と、
前記反射型のカラー表示部について各色の表示特性を記憶する表示特性記憶部と、
被写体を撮像して得られ、被写体の反射率を表わす反射率画像データを、前記表示特性記憶部に記憶された表示特性に基づいて、前記反射型のカラー表示部の、被写体が表示される各画素の反射率と、被写体の反射率とが一致するように変換して前記反射型のカラー表示部に表示させる反射率再現変換部とを備えることを特徴とする画像表示装置である。
【００１４】
本発明に従えば、反射型のカラー表示部の表示特性に基づいて、被写体の反射率画像データを変換することによって、反射型のカラー表示部における光反射率が被写体の各部位における反射率と一致するように制御できる。反射率画像データは、照明状況に依存せず、被写体の各部位に固有の反射率を示すデータである。したがって、表示時の照明特性を測定することなく、反射型のカラー表示部は、このカラー表示部の照明状況下に被写体を置いて直接見たように表示できる。
【００１５】
また本発明は、反射型のカラー表示部と、
前記反射型のカラー表示部の各色の反射率の特性を示す表示特性データを記憶する表示特性記憶部と、
コンピュータグラフィックス画像を生成する際に用いられる各素材に対し、素材固有の反射率を示す反射率データを記憶する反射率データ記憶部と、
物体の形状データに基づいて作成されるコンピュータグラフィックス画像を、表示特性データおよび各素材の反射率データとに基づいて、前記反射型のカラー表示部の、コンピュータグラフィックス画像が表示される各画素の反射率と、前記コンピュータグラフィックス画像の素材固有の反射率とが一致するように、コンピュータグラフィックス画像の各素材の反射率データを変換して前記反射型のカラー表示部に表示させる反射率再現変換部とを備えることを特徴とする画像表示装置である。
【００１６】
本発明に従えば、物体の形状データに基づいて作成したコンピュータグラフィックス画像は、表示特性記憶部に記憶される表示特性データおよび反射率データ記憶部に記憶される素材固有の反射率を示す反射率データに基づいて、反射型のカラー表示部で再現されるコンピュータグラフィックス画像の反射率とコンピュータグラフィックス画像の素材固有の反射率とが一致するように、コンピュータグラフィックス画像の各素材の反射率データを変換して反射型のカラー表示部に表示させる。反射率データは、たとえば、予め測定されるプラスチックおよび木などの拡散反射の分光反射率データ、または標準となる色の分光反率データであってもよい。したがって、表示時の照明特性を測定することなく、反射型のカラー表示部は、このカラー表示部の照明状況下に、作成されたコンピュータグラフィックス画像を置いて直接見たように表示できる。
【００１７】
また本発明は、前記反射型のカラー表示部は、薄型で、電力不要で表示状態を維持し、携帯可能な情報表示媒体で構成されていることを特徴とする。
【００１８】
本発明に従えば、カラー表示部が薄型で、電力不要で表示状態を維持し、携帯可能な情報表示媒体、いわゆる電子ペーパーで構成されるので、カラー表示部に液晶表示装置を用いる場合に比べて装置をさらに軽量化することができる。したがって、異なる環境下、たとえば明るい場所、暗い場所でカラー表示部に表示させた画像の見え方を確かめるために、画像表示装置を移動させる場合、画像表示装置の持ち運びが容易となる。
【００１９】
また本発明は、前述の画像表示装置と、
前記画像表示装置の反射型のカラー表示部に表示された画像を、薄型で、電力不要で表示状態を維持し、携帯可能な記録媒体に出力する画像出力装置とを備えることを特徴とする画像処理システムである。
【００２０】
本発明に従えば、カラー表示部に表示された画像を、画像出力装置を用いて、薄型で、電力不要で表示状態を維持し、携帯可能な記録媒体、いわゆる電子ペーパーに表示させることができる。したがって、被写体またはコンピュータフィックス画像そのものの見え方で表示された記録媒体を短時間で複数枚得ることができる。
【００２１】
また本発明は、画像入力装置と、画像表示装置とで構成される画像処理システムであって、
前記画像入力装置は、
被写体を複数の光周波数バンド別に撮像する撮像部と、
被写体に照射する照明光および前記撮像部の入力特性を記憶する入力特性記憶部と、
前記入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを被写体に固有の反射率画像データに補正する入力補正部とを備え、
前記画像表示装置は、
反射型のカラー表示部と、
前記反射型のカラー表示部について各色の表示特性を記憶する表示特性記憶部と、
前記表示特性記憶部に記憶された表示特性に基づいて、前記反射型のカラー表示部の、被写体が表示される各画素の反射率と、被写体の反射率とが一致するように、前記反射率画像データを変換して前記反射型のカラー表示部に表示させる反射率再現変換部とを備えることを特徴とする画像処理システムである。
【００２２】
本発明に従えば、画像入力装置において、被写体を複数の光周波数バンド別に撮像し、被写体に照射する照明光および撮像部の入力特性に基づいて、光周波数バンド別に撮像した画像データを被写体に固有の反射率画像データに補正することによって、照明状況に依存せず、被写体の各部位に固有の反射率を示すデータが得られる。
【００２３】
また画像表示装置において、反射型のカラー表示部の表示特性に基づいて、被写体の反射率画像データを変換することによって、反射型のカラー表示部における光反射率が被写体の各部位における反射率と一致するように制御できる。したがって、表示時の照明特性を測定することなく、反射型のカラー表示部は、このカラー表示部の照明状況下に被写体を置いて直接見たように表示できる。
【００２４】
たとえば、画像入力装置と画像表示装置とがインターネットを介して接続されている場合、ネットワーク上で販売する商品を被写体として画像入力装置で撮像して、その分光反射率データをインターネット上で公開しておいて、画像表示装置がこの分光反射率データを読み込んで表示すると、画像表示装置の設置場所に実際の商品を置いたかのように観察できるため、注文者側で商品がどのように見えるかを容易にチェックできる。
【００２５】
また本発明は、画像入力装置と、画像表示装置とで構成される画像処理システムであって、
前記画像入力装置は、被写体の各部位において、複数のバンドパスフィルタによるマルチバンド撮影で得られる画像データを生成する撮像部を備え、
前記画像表示装置は、外光に対する反射率が画素毎に制御可能なカラー表示部を備え、
前記画像表示装置は、前記撮像部から伝達された画像データに基づいて、前記カラー表示部の、画像が表示される各画素の反射率と、各画素に応じた被写体の部位における反射率とが一致するように制御することによって、被写体を前記カラー表示部に表示することを特徴とする画像処理システムである。
【００２６】
本発明に従えば、マルチバンド撮影で得られる画像データに基づいて、カラー表示部の各画素の反射率を、各画素に応じた被写体の部位における反射率と一致するように制御することによって、表示時の照明特性を測定することなく、反射型のカラー表示部は、このカラー表示部の照明状況下に被写体を置いて直接見たように表示できる。
【００２７】
また、色数を増加させる処理が不要になり、カラー表示部の表示に必要な反射率データを精度良く生成できる。
【００２８】
また本発明は、画像入力装置と、画像表示装置とで構成される画像処理システムであって、
前記画像入力装置は、
被写体を複数の光周波数バンド別に撮像する撮像部と、
被写体に照射する照明光および前記撮像部の入力特性を記憶する入力特性記憶部と、
前記入力特性記憶部に記憶された入力特性および光周波数バンド別に撮像した画像データに基づき、照明状況に依存しない被写体固有の反射率を有する反射率画像データに補正する入力補正部とを備え、
前記画像表示装置は、
反射型のカラー表示部と、
前記反射型のカラー表示部の各色の反射率の特性を示す表示特性データを記憶する表示特性記憶部と、
コンピュータグラフィックス画像を生成する際に用いられる各素材に対し、素材固有の反射率を示す反射率データを記憶する反射率データ記憶部と、
物体の形状データに基づいて作成されるコンピュータグラフィックス画像を、表示特性データおよび各素材の反射率データとに基づいて、前記反射型のカラー表示部の、コンピュータグラフィックス画像が表示される各画素の反射率と、前記コンピュータグラフィックス画像の素材固有の反射率とが一致するように、コンピュータグラフィックス画像の各素材の反射率データを変換して前記反射型のカラー表示部に表示させ、前記表示特性記憶部に記憶された表示特性に基づいて、前記反射型のカラー表示部の、被写体が表示される各画素の反射率が、被写体固有の反射率と一致するように、前記反射率画像データを変換して前記反射型のカラー表示部に表示させる反射率再現変換部とを有することを特徴とする画像処理システムである。
【００２９】
本発明に従えば、画像入力装置において、被写体を複数の光周波数バンド別に撮像し、被写体に照射する照明光および撮像部の入力特性に基づいて、光周波数バンド別に撮像した画像データを被写体に固有の反射率画像データに補正することによって、照明状況に依存せず被写体の各部位に固有の反射率を示すデータが得られる。
【００３０】
また画像表示装置において、物体の形状データに基づいて作成したコンピュータグラフィックス画像は、表示特性記憶部に記憶される表示特性データおよび反射率データ記憶部に記憶される素材固有の反射率を示す反射率データに基づいて、反射型のカラー表示部で再現されるコンピュータグラフィックス画像の反射率とコンピュータグラフィックス画像の素材固有の反射率とが一致するように、コンピュータグラフィックス画像の各素材の反射率データを変換して反射型のカラー表示部に表示させる。また被写体の反射率画像データを変換することによって、反射型のカラー表示部における光反射率が被写体の各部位における反射率と一致するように制御できる。したがって、表示時の照明特性を測定することなく、反射型のカラー表示部は反射型のカラー表示部の照明状況下に、被写体およびコンピュータグラフィックス画像を置いて直接見たように表示できる。
【００３１】
また本発明は、前記入力補正部は、前記入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを、各光周波数バンドごとの反射率データに変換した後、撮像した光周波数バンドの数よりも多い数の周波数バンドの反射率データに変換して反射率画像データを生成し、
前記反射率再現変換部は、前記反射率画像データを、赤、青、緑ごとの反射率データに変換することを特徴とする。
【００３２】
本発明に従えば、画像データを変換する際に、入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを、各光周波数バンドごとの反射率データに変換した後、撮像した光周波数バンドの数よりも多い数の周波数バンドの反射率データに変換して反射率画像データを生成することによって、変換に必要な情報量が豊富になる。したがって、反射率再現変換部が反射率画像データを変換する際に、カラー表示部の種々の特性に応じて高い精度で変換できる。また、反射率画像データを、赤、青、緑ごとの反射率データに変換することによって、入力の処理計算時間を短縮できる。
【００３３】
また本発明は、前記画像表示装置は、前記入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを、各光周波数バンドごとの反射率データに変換した後、撮像した光周波数バンドの数よりも多い数の周波数バンドの反射率データに変換して反射率画像データを生成する手段を有し、
前記反射率再現変換部は、前記反射率画像データを、赤、青、緑ごとの反射率データに変換することを特徴とする。
【００３４】
本発明に従えば、画像データを変換する際に、入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを、各光周波数バンドごとの反射率データに変換した後、撮像した光周波数バンドの数よりも多い数の周波数バンドの反射率データに変換して反射率画像データを生成することによって、変換に必要な情報量が豊富になる。したがって、反射率再現変換部が反射率画像データを変換する際に、カラー表示部の種々の特性に応じて高い精度で変換できる。また、反射率画像データを、赤、青、緑ごとの反射率データに変換することによって、入力の処理計算時間を短縮できる。
【００３５】
さらに、画像表示装置において入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを、各光周波数バンドごとの反射率データに変換した後、撮像した光周波数バンドの数よりも多い数の周波数バンドの反射率データに変換して反射率画像データを生成することによって、画像入力装置から画像表示装置へ伝送すべきデータ量が少なくて済むため、反射率データの伝送時間を短縮できる。
【００３６】
また本発明は、前記反射型のカラー表示部は、薄型で、電力不要で表示状態を維持し、携帯可能な情報表示媒体で構成されていることを特徴とする。
【００３７】
本発明に従えば、カラー表示部が薄型で、電力不要で表示状態を維持し、携帯可能な情報表示媒体、いわゆる電子ペーパーで構成されるので、液晶表示装置に比べて装置をさらに軽量化することができる。したがって、異なる環境下、たとえば明るい場所、暗い場所でカラー表示部に表示させた画像の見え方を確かめるために、画像表示装置を移動させる場合、画像表示装置の持ち運びが容易となる。
【００３８】
また本発明は、前記画像表示装置のカラー表示部に表示された画像を、薄型で、電力不要で表示状態を維持し、携帯可能な記録媒体に出力する画像出力装置をさらに備えることを特徴とする。
【００３９】
本発明に従えば、画像出力装置を用いて、カラー表示部に表示された画像を、薄型で、電力不要で表示状態を維持し、携帯可能な記録媒体、いわゆる電子ペーパーに表示させることができる。したがって、被写体またはコンピュータグラフィックス画像そのものの見え方で表示された記録媒体を短時間で複数枚得ることができる。
【００４０】
また本発明は、被写体を撮像して得られる被写体に固有の情報として、被写体の分光反射率を記憶する工程と、
該被写体の分光反射率に基づいて、反射型のカラー液晶ディスプレイの、被写体が表示される各画素の反射率が、被写体の反射率と一致するように、反射型のカラー液晶ディスプレイを構成する液晶セルの各画素の光反射率を制御する工程と、
所定の観察光源を用いて、被写体を該ディスプレイ上に表示する工程とを含むことを特徴とする画像表示方法である。
【００４１】
本発明に従えば、被写体に固有の情報に基づいて、液晶セルの光反射率を制御することによって、該ディスプレイにおける光反射率が被写体の各部位における反射率と一致するように制御できる。反射率画像データは、照明状況に依存せず、被写体の各部位に固有の反射率を示すデータである。したがって、表示時の照明特性を測定することなく、該ディスプレイの照明状況下に被写体を置いて直接見たように表示できる。
【００４２】
また被写体に固有の情報は被写体の分光反射率であることによって、撮像時の照明状況に依存しない画像データとなるため、該ディスプレイの照明状況下において、実物により近い表示が可能になる。
【００４３】
また本発明は、前記観察光源は、ＣＩＥ準拠のＡ光源、Ｂ光源、Ｃ光源、任意の色温度のＤ光源、または分光測色器による計測によって得られる任意の光源であることを特徴とする。
【００４４】
本発明に従えば、ディスプレイの観察光源として、放射スペクトルが予め判明している上記光源を使用することによって、色ずれが少ない適切な被写体表示が可能になる。
【００４５】
【発明の実施の形態】
図１は、本発明の第１実施形態の画像処理システムを示すブロック図である。本実施形態の画像処理システムは、撮像機能を有する画像入力装置１と、画像表示機能を有する画像表示装置２などで構成される。
【００４６】
画像入力装置１は、被写体Ａを撮像して、被写体Ａの各部位における分光反射率に応じた反射率データを生成し、静止画像のデジタルデータとして出力する。
【００４７】
画像入力装置１は、撮像照明ライト１１と、光センサ１２と、照明光データ処理部１３と、カメラ１４と、撮像データバッファ１５と、分光反射率推定部１６と、データ記憶部１７などで構成される。
【００４８】
撮像照明ライト１１は、撮像に適した照明光を放射して被写体Ａに照射するもので、たとえばハロゲンランプ（色温度３２００Ｋ）、キセノンランプ（色温度５１００Ｋ）、ＣＩＥ（Commission Internationale de I'Eclairage）準拠の標準Ｄ６５光源などが使用できる。
【００４９】
光センサ１２は、撮像照明ライト１１からの照明光の分光放射分布を測定するもので、たとえばミノルタ社製分光放射輝度計CS-1000などが使用できる。
【００５０】
照明光データ処理部（入力特性記憶部）１３は、メモリなどで構成され、光センサ１２で測定された分光放射分布（単位[W・sr-1・m-2]）を記憶し、また、使用するカメラ１４の分光感度特性およびフィルタ１４ａの分光透過率などを予め記憶する。
【００５１】
カメラ（撮像部）１４は、６色のカラーフィルタが選択的に使用できるフィルタ１４ａと、多数の受光部がマトリクス状に配列された、たとえばＣＣＤ（電荷結合素子）などの受光素子１４ｂなどを有し、マルチバンド撮影が可能なデジタルカメラとして構成される。カメラ１４は、被写体Ａの各部位からの反射光を、カラーフィルタを介して受光して、反射光の波長分布を取得する。
【００５２】
撮影の準備段階として、撮影機器のセッティングを行う。まず被写体Ａおよびカメラ１４の設置位置を決定し、次に撮像照明ライト１１の設置位置を決定する。被写体Ａとカメラ１４との間の撮影距離は、目標とする画像の解像度が決まれば、カメラ１４の解像度および使用レンズの性能によって決定される。
【００５３】
図１に示すように、フィルタ１４ａを所定の回転角度に設定して、使用するカラーフィルタを選択した後、カメラ１４がカラーフィルタを介して被写体Ａの各部位からの反射光を受光する。こうした操作を６色のカラーフィルタ別に行なうことによって、１つの画素について６色分のデータが得られる。
【００５４】
撮像データバッファ１５は、メモリなどで構成され、カメラ１４が被写体Ａを色分解して撮像した６色分の撮像データを記憶する。
【００５５】
分光反射率推定部（入力補正部）１６は、照明光データ処理部１３に記憶された分光放射分布と撮像データバッファ１５に記憶された撮像データとに基づいて、被写体Ａの反射率画像データを推定する。
【００５６】
その動作に関して、分光反射率推定部１６は分光放射分布および撮像データから、フィルタ１４ａの各カラーフィルタ特性に応じた６個の周波数バンドについて、被写体Ａの各部位ごとの反射率データを計算する。この反射率データは、照明状況に依存せず、被写体Ａの各部位に固有の反射率を示すデータである。
【００５７】
次に分光反射率推定部１６は、Ｗｉｅｎｅｒ推定を用いて、６個の周波数バンドごとの反射率データを８１個の周波数バンドの反射率データに変換し、データ記憶部１７に記憶させる。
【００５８】
Ｗｉｅｎｅｒ推定は、ｍ次元のベクトルデータｖが伝達関数行列Ａによって線形変換され、ｍより大きいｎ次元のベクトルデータｏが出力される場合、行列Ａは正方行列とならないため、行列Ａの逆行列Ｇを用いてベクトルデータｖからベクトルデータｏを推定するものである。ここでは、６次元データである６個の周波数バンドごとの反射率データから８１次元データである８１個の周波数バンドの反射率データを推定している。
【００５９】
６個の周波数バンドの反射率データを８１個の周波数バンドの反射率データに変換する方法について具体的に説明する。６個の周波数バンドの反射率データをｖ、８１個の周波数バンドの反射率データをｏ、光源の分光放射分布、カメラの分光感度およびフィルタの分光透過率に基づいて作成された行列（システム行列）をＦとすると、
ｖ＝ｏＦ
が成立する。したがって、８１個の周波数バンドの反射率データｏは、
ｏ＝Ｆ-1ｖ
となり、システム行列Ｆの逆行列から８１個の周波数バンドの反射率データｏが得られる。
【００６０】
また、システム行列Ｆの逆行列Ｆ-1は、以下の（１）〜（３）によって求められる。
（１）被写体Ａの撮像時と同じ撮像条件で、複数の色見本となるサンプルを測定し、それぞれ６個の周波数バンド分の分光反射率データを求める。
（２）分光測色計によって、（１）に使用した色見本となるサンプルの分光反射率データを求める。
（３）上記（１）において得られた分光反射率データを（２）において得られた分光反射率データに変換する行列を、Ｗｉｅｎｅｒ推定を用いて求める。
【００６１】
なお、Ｗｉｅｎｅｒ推定では、（２）において得られた分光反射率データと推定値との平均２乗誤差を最小とするような行列を求めることとなる。また、Ｗｉｅｎｅｒ推定については、『H.Haneishi,T.Hasegawa,N.Tsumura and Y.Miyake:IS＆T‘ｓ 50th Annual Conference,Massachusettes,pp.369-372(1997).
“Design of colorfilters for recording artworks”』において詳細に説明されている。なお、Ｗｉｅｎｅｒ推定の代わりに主成分分析や重回帰分析など種々の統計分析手法が使用できる。
【００６２】
上述した画像入力装置１の照明光データ処理部１３、撮像データバッファ１５、分光反射率測定部１６およびデータ記憶部１７は、図示しない制御部によって制御される。
【００６３】
画像表示装置２は、観測照明ライト２０と、データ記憶部２１，２２と、反射率再現変換部２３と、反射型のカラー液晶ディスプレイ部（以下、反射型ＬＣＤ部と記す）２４などで構成される。画像表示装置２は、画像入力装置１によって得られた反射率画像データに基づいて、被写体Ａを画像表示装置２の設置環境および設置場所に置いたときの見え方で表示する機能を有する。
【００６４】
観測照明ライト２０は、反射型ＬＣＤ部２４に向けて照明光を照射するもので、たとえばハロゲンランプ、キセノンランプ、およびＣＩＥ準拠の標準のＡ光源、Ｂ光源、Ｃ光源、任意の色温度のＤ光源が使用でき、また、一般の白熱電球、蛍光灯、日中の野外では太陽光も利用できる。
【００６５】
データ記憶部２１は、画像入力装置１のデータ記憶部１７に記憶された反射率データを、ネットワークなどを経由して取得し、記憶する。
【００６６】
データ記憶部（表示特性記憶部）２２は、使用する反射型ＬＣＤ部２４のＲ（赤），Ｇ（緑），Ｂ（青）各色ごとの反射率の表示特性データ（ＬＣＤ特性データ）、たとえばγ補正テーブルなどを記憶する。
【００６７】
反射型ＬＣＤ部（反射型のカラー表示部）２４は、液晶層を偏光板と反射電極で挟んだ構造を有し、液晶への印加電圧を制御して、入射光の偏光方向および反射電極で反射した光の偏光方向を制御することによって、カラー表示を実現する。透過型液晶ディスプレイが液晶層を２枚の偏光板で挟んだ構造であるのに対して、反射型液晶ディスプレイは１枚の偏光板だけで済むため、光の利用効率が高いという利点がある。
【００６８】
図４は、反射型ＬＣＤ部２４の構成例を示す部分斜視図である。反射型ＬＣＤ部２４は、偏向板４１、Ｒ，Ｇ，Ｂから成るカラーフィルタ４２、上ガラス基板４３、透明電極（図示せず）、液晶層４４、反射板を兼ねる画素電極（反射電極）４５および下ガラス基板４６がこの順番に積層されて構成される。反射型ＬＣＤ部２４では、液晶層４４は画素に応じた液晶セルに分割されている。反射型ＬＣＤ部２４では、各液晶セルに印加される電圧をＯＮまたはＯＦＦし、画像データに応じて印加電圧を制御し、入射光と反射光との偏向方向を制御することによって、カラー画像表示を行う。
【００６９】
図４に示す反射型ＬＣＤ部２４において、観測照明ライト２０からの観測照明光が偏光板４１、透明電極、カラーフィルタ４２、ガラス板４３、液晶層４４を通過して反射板４５によって反射され、液晶層４４、ガラス板４３、カラーフィルタ４２、透明電極、偏光板４１の順で再び通過すると、表示光になる。反射型ＬＣＤの反射率は、入射光の光量に対する表示光の光量の比率、つまり入射光量／反射光量を算出することによって得られる。この反射率については、日本画像学会誌；第３８巻第２号ｐ１２８〜ｐ１３１（１９９９）およびホームページ
http://www.sharp.co.jp/sc/gaiyou/news/970910.htmなどにおいて詳細に説明されている。
【００７０】
反射率再現変換部２３は、データ記憶部２１に記憶された反射率データとデータ記憶部２２に記憶された表示特性データとに基づいて、被写体Ａの各部位における反射率を反射型ＬＣＤ部２４上に再現する。すなわち、反射型ＬＣＤ部２４における各液晶セルの光反射率が被写体Ａの各部位における反射率と一致するように、反射型ＬＣＤ部２４の表示特性データを用いて被写体Ａの反射率データを変換する。
【００７１】
反射率再現変換部２３は、反射型ＬＣＤ部２４の表示特性データを用いて、８１個の周波数バンドの反射率データから反射型ＬＣＤ部２４の表示特性に応じた赤、青、緑の３色ごとの反射率データに変換している。こうして変換された３色の反射率データは、反射型ＬＣＤ部２４に供給され、液晶セルの印加電圧を色別に制御することによって、各液晶セルの光反射率が被写体Ａの各部位における反射率と一致するようになる。
【００７２】
上述したデータ記憶部２１，２２、反射型ＬＣＤ部２４および反射率再現変換部２３は、たとえばＣＰＵ（Central Processing Unit）などからなる制御部２５によって制御される。
【００７３】
以上のように本実施形態の画像処理システムでは、画像入力装置１が被写体Ａの各部位における分光反射率に応じた反射率データを生成し、画像表示装置２が反射率データおよび反射型ＬＣＤ部２４の表示特性データに基づいて３色の反射率データを生成し、各液晶セルの光反射率を被写体Ａの各部位における反射率とほぼ同じ値となるように表示する。
【００７４】
こうした構成によって、観測照明ライト２０の照明状況下に被写体Ａを置いて直接見たような見え方で反射型ＬＣＤ部２４上に表示することができる。その結果、たとえば画像入力装置１と画像表示装置２とがインターネットを介して接続されている場合、ネットワーク上で販売する商品を被写体Ａとして画像入力装置１で撮像して、その分光反射率データをインターネット上で公開しておいて、画像表示装置２がこの分光反射率データを読み込んで表示すると、画像表示装置２の設置場所に実際の商品を置いたかのように観察できるため、注文者側で商品がどのように見えるかを容易にチェックできる。
【００７５】
また、反射型ＬＣＤ部２４を使用することによって、観測照明ライト２０の照明状況を測定してデータ処理する必要がなくなるため、画像表示装置２での処理時間を短縮でき、迅速な画像表示を実現できる。
【００７６】
さらに、画像入力装置１は６個の周波数バンド分の反射率データを８１個の周波数バンドの反射率データに変換し、画像表示装置２は８１個の周波数バンドの反射率データから反射型ＬＣＤ部２４の表示特性に応じた赤、青、緑の３色ごとの反射率データに変換している。これによって変換に必要な情報量が豊富になるため、適切な３色の反射率データを得ることができる。
【００７７】
図２は、本発明の第２実施形態の画像処理システムを示すブロック図である。本実施形態の画像処理システムは、撮像機能を有する画像入力装置１と、画像表示機能を有する画像表示装置２などで構成される。全体構成は図１のものと同様であるが、図１の分光反射率推定部１６の代わりに反射率補正部３１を設け、図１のデータ記憶部２１の後段に分光反射率推定部３２を追加している点が相違する。
【００７８】
反射率補正部３１は、光センサ１２で測定された分光反射分布およびカメラ１４からの撮像データを用いて、フィルタ１４ａの各カラーフィルタ特性に応じた６個の周波数バンドについて、被写体Ａの各部位ごとの反射率データを計算して、データ記憶部１７に記憶させる。
【００７９】
画像表示装置２における分光反射率推定部３２は、画像データにおける色数の次元を増加させる手段であり、Ｗｉｅｎｅｒ推定を用いて、６個の周波数バンドごとの反射率データを８１個の周波数バンドの反射率データに変換し、反射率再現変換部２３に供給する。
【００８０】
こうして画像表示装置２において分光反射率推定を行うことによって、画像入力装置１から画像表示装置２へ伝達される反射率データは６個の周波数バンド分で足りるため、データ伝送量が格段に少なくなり、反射率データの伝送時間を大幅に短縮できる。
【００８１】
図３は、本発明の第３実施形態の画像処理システムを示すブロック図である。本実施形態の画像処理システムは、撮像機能を有する画像入力装置１と、画像表示機能を有する画像表示装置２などで構成される。全体構成は図１のものと同様であるが、図１の分光反射率推定部１６の代わりに反射率補正部３１を設け、図１のフィルタ１４ａの代わりに８１個の周波数バンドに対応した８１色のカラーフィルタを有するフィルタ１４ｃを有する点が相違する。
【００８２】
反射率補正部３１は、光センサ１２で測定された分光反射分布およびカメラ１４からの撮像データを用いて、フィルタ１４ｃの各カラーフィルタ特性に応じた８１個の周波数バンドについて、被写体Ａの各部位ごとの反射率データを計算して、データ記憶部１７に記憶させる。
【００８３】
カメラ１４で撮影する場合、フィルタ１４ｃを所定の回転角度に設定して、使用するカラーフィルタを選択した後、カメラ１４がカラーフィルタを介して被写体Ａの各部位からの反射光を受光する。こうした操作を８１色のカラーフィルタ別に行なうことによって、１つの画素について８１色分のデータが得られる。
【００８４】
こうして画像入力装置１が８１色分の撮像データを生成することによって、Ｗｉｅｎｅｒ推定を用いた分光反射率推定を省略できるため、推定誤差の発生を防止でき、反射型ＬＣＤ部２４の表示に必要な３色の反射率データを精度良く生成できる。
【００８５】
図５は、本発明の第４実施形態の画像処理システムを示すブロック図である。本実施形態の画像処理システムは、画像入力装置である分光測色計５１と画像表示機能を有する画像表示装置５２とを含む。なお、図５に示す本実施形態の画像処理システムで、図１に示す画像処理システムの構成と同様な部分には同一の符号を付し、重複する説明を省略する。本実施形態の画像表示装置５２は、コンピュータグラフィックス画像（以下、ＣＧ画像と記す）を作成し、表示する機能を有する。
【００８６】
分光測色計５１は色見本サンプル５３の分光反射率を測定する。色見本サンプル５３は、互いに異なる色を有するカラーパネルである。分光測色計５１は、前記見本サンプル５０の分光反射率を測定して、８１個の周波数バンドの分光反射率データ（色見本反射率データ）を生成する。色見本反射率データとは、入力光の波長に対する反射率のデータであり、たとえば、入力波長３８０ｎｍ〜７８０ｎｍで、５ｎｍ毎の反射率データを０〜１に正規化することによって生成される。
【００８７】
分光測色計５１は、図６に示すように色見本サンプル５３の代わりに実際の素材サンプル５４、たとえばプラスチック、陶器、木および布などの拡散反射の分光反射率を推定してもよい。このように、実際の素材を分光測色系５１によって測定することで、ＣＧ画像を作成する場合に、より実際に近い色や質感を表すことが可能となる。
【００８８】
拡散反射の分光反射率を推定する方法としては、たとえば、Journal of
Optical Society of America.A,Vol.7,pp312-317(1990).に記載されている四分円解析法を用いることができる。この方法は、物体表面の複数の場所から分光反射率を測定する、あるいは、物体の１点から観測角を変えて分光反射率を測定し、２種類の制約条件を与えて、拡散反射成分の存在範囲を推定するものであり、高い精度での推定が可能となる。
【００８９】
画像表示装置５２は、制御部５５、ＲＯＭ（Read Only Memory）５６、素材分光反射率データ記憶部５７、反射型ＬＣＤ部２４、反射型ＬＣＤ部２４の表示特性データ記憶部であるデータ記憶部２２、形状・背景データベース５８および反射率再現変換部５９を含む。
【００９０】
制御部５５は、たとえばＣＰＵによって構成される。ＲＯＭ５６には、所定のソフトウェア（プログラム）が格納される。制御部５５はＲＯＭ５６に格納されるプログラムを用いて、画像表示装置５２を含む画像処理システムを制御する。また制御部５５は、図示しない操作手段、たとえば操作パネルおよびキーボードなどを制御して、操作手段を用いて行なわれるユーザの指示を画像処理装置５２に入力させる機能を有する。ＲＯＭ５６に格納されるプログラムは、図示しない外部記憶装置であるプログラム読取装置によって読み取られてＲＯＭ５６に記録される。
【００９１】
素材分光反射率データ記憶部５７は、前記分光測色計５１において生成された色見本反射率データを格納し、また、素材サンプル５４のデータを用いる場合は、素材毎に拡散反射の分光反射率を格納しておく。
【００９２】
形状・背景データベース５８は、表示対象物（素材）の形状データおよび背景データを記憶する。ここで素材とは、机、椅子、花瓶、階段、電化製品などの具体的な物体である。形状データとは、素材を３次元的に表現するような、素材の輪郭を示す線図のデータ（輪郭データ）である。また、背景データとは、壁、窓、カーテン、床（たとえば、絨毯、フローリング、畳など）など、素材の背景を構成すると考えられる物体を３次元的に表現する輪郭データである。上述の形状データおよび背景データは同じ輪郭データであるので、まとめて形状データとしてもよい。図７は、形状データおよび背景データの一例を示す図である。図７（ａ）は形状データである机を表し、図７（ｂ）は形状データである椅子を表し、図７（ｃ）は背景データであるカーテンを表している。
【００９３】
制御部５５は、形状データおよび背景データに、色見本サンプル５３の中、あるいは素材サンプル５４の中からユーザによって選択された色を割り当て、プログラムを実行して３次元のＣＧ画像を作成する。反射率再現変換部５９は、制御部５５に制御され、作成されるＣＧ画像に割り当てられる色の反射率データと、データ記憶部２２に記憶される表示特性データとを用いて３次元のＣＧ画像の各部位における反射率を反射型ＬＣＤ部２４に再現させる。さらに詳しく説明すると、制御部５５は後述するレンダリングの手法を用いて、形状データおよび背景データに色見本反射率データまたは素材毎の拡散反射の分光反射率データを割り当てることによって、３次元のＣＧ画像を生成する。そして、反射率再現変換部５９を介して、反射型ＬＣＤ部２４における各画素の反射率を、ＣＧ画像における各部の反射率と同様になるように制御する。
【００９４】
このとき、反射率再現変換部５９では、８１個の周波数バンドの波長域に関する輝度データが、表示特性データを用い、ＲＧＢ等色関数による変換によって、反射型ＬＣＤ部２４の特性に応じた赤・青・緑の３色の反射率データ（ＲＧＢデータ）に変換される。そして、前記ＲＧＢデータを用いて反射型ＬＣＤ部２４における各画素の反射率が制御される。たとえば、反射率再現変換部５９では、ＣＧ画像における輝度データに基づいて、輝度とＲＧＢ等色関数の各要素を掛け合わせた三刺激値が求められる。そして、この三刺激値を座標変換して輝度および色度を求め、γ補正を行うことでＲＧＢデータを求める。
【００９５】
次に、制御部５５によるＣＧ画像の作成動作について、図８のフローチャートを用いて説明する。ステップＳ１では、形状・背景データベース５８から、ユーザの指示に基づいて表示対象となる素材の形状データおよび背景データの少なくともいずれか１つを選択し、素材（輪郭）データを作成して、ステップＳ２に進む。ステップＳ２では、色のマッピングを行う。ステップＳ２の色のマッピングでは、素材分光反射率データ記憶部５７に格納される色のサンプルを反射型ＬＣＤ部２４に表示し、その中からユーザが選択することによって行なわれ、選択された色見本サンプル５３の色見本反射率データが反射率データ記憶部から読み出される。また、素材サンプル５４のデータを用いる場合は、素材の選択が行なわれる。
【００９６】
次にステップＳ３に進み、素材の質感や模様といった表面材質を設定して、ステップＳ４に進む。ステップＳ３で行なわれる表面材質の設定内容としては、光沢、模様のサイズ、反射率、荒さ、透明度および屈折率が挙げられる。光沢は、光の映り込みの強さ、つまり明るさを意味する。荒さは、反射による映り込みや透明度によって透過して見える部分をぼかす処理を行う。屈折率は、光の屈折率を設定し、透明度が設定されているときに有効となる。また反射率の設定では、色見本サンプル５３を用いる場合には、選択された色見本サンプル５３の色見本反射率データが入力され、素材サンプル５４データを用いる場合には、選択された素材サンプル５４の拡散反射の分光反射率データが入力される。
【００９７】
ステップＳ４では光源の設定を行い、ステップＳ５に進む。ステップＳ４で行なわれる光源の設定内容としては、光源の種類、光源の位置および光源の角度が挙げられる。光源の種類には、無限遠光源、点光源、スポットライトおよび環境光がある。無限遠光源は、太陽光をシミュレートしたものであり、環境全体におよぶ光源である。点光源およびスポットライトは、光の届く範囲を指定することができ、点光源は全方向に照射される光源であり、スポットライトは指向性の有る光源である。環境光は、空気中の乱反射を擬似的にシミュレートすることができる光源である。これらの中から、画像表示装置５２の設置環境および設置場所に応じて適切な光源を選択する。
【００９８】
従来の表示装置に画像を表示する場合には、表示装置の設置環境における照明の状態（周囲光）を検知し、検知した周囲光に合わせて画像データを色変換するように設定し、原稿画像と表示装置上での画像との見え方を、周囲光によらず一致させている。しかしながら、本発明では反射型の液晶ディスプレイである反射型ＬＣＤ部２４を用いて表示を行うので、設置環境における照明の状態を考慮する必要はない。つまり、本発明ではＣＧ画像の画素ごとの分光反射率を求めて、反射型ＬＣＤ部２４における各画素の反射率を補正するのみでよい。
【００９９】
ステップＳ５ではカメラの設定を行い、ステップＳ６に進む。ステップＳ５で行なわれるカメラの設定としては、対象物をどこからどのように眺めるかといった、視野に関する設定を行う。透視図内の表示は、主に視点、注視点およびズーム値の設定で決まる。視点とはカメラの位置を示し、注視点とはカメラが注目している位置を示す。視点と注視点との２点によって、カメラが存在する位置と向きとを決定することができる。このとき、視点と注視点とを結ぶ線が視線にあたる。
【０１００】
ステップＳ６では、レンダリングの手法を用いて、形状データおよび背景データに色見本反射率データまたは素材毎の拡散反射の分光反射データを割り当てることによって、３次元のＣＧ画像を生成し、ＣＧ画像の作成動作を終了する。ステップＳ６で行なわれるレンダリングとは、コンピュータ計算によってＣＧ画像を作成する方法である。レンダリングには、たとえば、スキャンライン、レイトレーシングおよび分散レイトレーシングを用いることができる。以下に各手法の特徴を述べる。
【０１０１】
スキャンラインは、高速レンダリングが可能である。しかしながら、物体の影、映り込み、屈折は表現できない。高品質なレンダリングを行う前に、おおまかなレンダリング結果の確認として活用することができる。
【０１０２】
レイトレーシングは、物体の影、映り込み、屈折および反射といった光学的シミュレーションによってリアルなレンダリング結果が得られ、印刷物にも十分対応できる。レイトレーシングは、速度、品質ともにバランスのとれた標準的手法である。しかしながら、被写界深度を表現することはできない。
【０１０３】
図９は、レイトレーシングによる光線の追跡結果を示す図である。レイトレーシングでは、光線がどのようにオブジェクト（物体、対象物）６０で反射および屈折し、ある物体に入射したときにどのような影響を受けるかということを、カメラ（視点）６１からスクリーン（反射型ＬＣＤ部２４）６２上の画素６３を通って、光線を追跡しながらその都度計算し、これを光源６４にたどり着くまで繰り返すことで色および光の強さを決め画像を作成する。
【０１０４】
分散レイトレーシングは、物体の柔らかな影、被写界深度および表面材質の粗さによる反射像の乱れなどを表現ことができる。分散レイトレーシングは、モアレも低減されるので、もっとも綺麗な画像を得ることができるが、他の２種類のレンダリングよりも処理時間を要する。具体的には、分散レイトレーシングは、レイトレーシングの約１０倍以上のレンダリング時間を要する。
【０１０５】
上述したレンダリングの手法は、たとえば、ＰＯＶ−Ｒａｙ（Persistence Of Vision Ray Trancer）などのソフトウェアを使用することで実現できる。
【０１０６】
以上のように本実施形態の画像処理システムでは、分光測色計５１が色見本サンプル５３または素材サンプル５４を用いて、カラーパネルの反射率に応じた色見本反射率データまたは素材毎の拡散反射の分光反射率データを生成するように設定されている。そして、画像表示装置５２が、形状データまたは背景データと色見本反射率データまたは素材毎の拡散反射の分光反射率データとを用いてシミュレーションすることで、任意の色（色の反射率）を有する３次元のＣＧ画像を生成することができる。画像表示装置５２は、反射型ＬＣＤ部２４における各画素の反射率を、各画素の対応するＣＧ画像の反射率と同様の値に制御することによって、ＣＧ画像を表示するように設定されている。つまり、本実施形態の画像処理システムでは、ＣＧ画像における固有の情報である反射率を、反射型ＬＣＤ部２４上で再現するように設定されている。これによって、反射型ＬＣＤ部２４では、観測照明２０に応じた状態でＣＧ画像を表示することが可能となり、表示時の照明状況下にＣＧ画像を置いて直接見たように表示することができる。
【０１０７】
したがって、本画像処理システムを用いれば、以下のようなことが可能となる。すなわち、新たに購入したいインテリア（置時計などの室内調度品）を設置したい場所に画像表示装置５２を設置する。そして、色見本サンプル５０から好みの色を選択して、所望するインテリアの形からなるＣＧ画像を作成して表示することで、インテリアの設置状況を非常に容易にシミュレートできる。
【０１０８】
図１０は、本発明の第５実施形態である画像処理システムを示すブロック図である。本実施形態の画像処理システムは、前記第４実施形態の画像処理システムに加えて、前記第１実施形態の画像処理システムに用いられる画像入力装置１を含む。なお、図５に示す本実施形態の画像処理システムで、図１および図５に示す画像処理システムの構成と同様な部分には同一の符号を付し、重複する説明を省略する。また、本実施形態の画像表示装置５２の全体構成は、図４の画像表示装置５２と同様であるが、図４の画像表示装置５２の各構成に加えて、図１の画像表示装置２が備えるデータ記憶部２１を備える。本実施形態の画像処理システムでは、画像入力装置１によって撮像される被写体Ａと、画像表示装置５２において作成されるＣＧ画像とを組み合わせて表示させることができる。
【０１０９】
画像入力装置１は、被写体Ａを撮像して静止画像のデジタルデータを生成する。このデータは、被写体Ａの輪郭データおよび被写体Ａの各部位における分光反射率に応じた反射率データとから構成される。
【０１１０】
本実施形態の画像処理システムでは、画像入力装置１の分光反射率推定部１６は、照明光データ処理部１３に記憶された分光放射分布と撮像データバッファ１５に記憶された被写体Ａの撮像データとに基づいて被写体Ａの反射率データを推定するとともに、撮像データバッファ１５に記憶された撮像データから被写体Ａの輪郭データを求める。分光反射率推定部１６は、反射率画像データと輪郭データとを組み合わせた分光反射率画像データを生成して、データ記憶部１７に記憶させる。
【０１１１】
なお、輪郭データの作成はＡｄｏｂｅ（アドビ）社製のPhotoshop（登録商標）などの画像編集ソフトウェア、または撮像データに対して一般的に使用されているゾーベルフィルタおよびラプラシアンフィルタの処理を施して、撮像データにおける任意の領域を線図として抽出することで実現できる。
【０１１２】
画像表示装置５２のデータ記憶部２１は、前記画像入力装置１のデータ記憶部１７に記憶されている分光反射率画像データを、ネットワークなどを経由して取得して記憶する。
【０１１３】
本実施形態の画像処理システムにおいても、上述した第１実施形態の画像処理システムのように、画像表示装置５２では、分光反射率画像データに含まれている輪郭データおよび反射率データを用いて被写体Ａの画像を反射型ＬＣＤ部２４に表示させることができる。また、上述した第４実施形態の画像処理システムのように、画像表示装置５２では、形状・背景データベース５８に記憶される形状データおよび背景データと、素材分光反射率データ記憶部５７に記憶される色見本反射率データまたは素材毎の拡散反射の分光反射率データを用いてＣＧ画像を作成し、作成したＣＧ画像を反射型ＬＣＤ部２４に表示させることができる。
【０１１４】
また、制御部５５は、分光反射率画像データの輪郭データに素材分光反射率データ記憶部５７に記憶される色見本反射率データまたは素材毎の拡散反射の分光反射率データを割り当て、上述した第４実施形態の画像処理システムのように、ＣＧ画像を作成することができる。このように、本実施形態の画像処理システムでは、撮像によって得られた被写体Ａの画像を所望の色にペイントすることができ、また、被写体Ａと形状・背景データベース５８に記憶される形状データおよび背景データを組み合わせたＣＧ画像を表示させることができる。
【０１１５】
また本実施形態では、画像入力装置１の備えるカメラ１４によって色見本サンプル５３を撮像し、色見本反射率データを取得してもよい。この場合、カメラ１４では、フィルタ１４ａを回転させながら、見本サンプル５０からの反射光を各画素によって受光することで、画素毎に６色ずつの画素データを得ることとなる。
【０１１６】
また、カメラ１４では、フィルタ１４ａの装着時に受光素子１４ｂの位置が変化すると、合成画像に色ずれの弊害が生じる。また、受光素子１４ｂの位置ずれが微少であったとしても、合成画像に影響が出る。このため、フィルタ１４ａの装着時には受光素子１４ｂの位置を変化させないように注意することが望ましい。
【０１１７】
また本実施形態における画像入力装置１は、第１実施形態と同じ画像入力装置１であるが、これに限らず、第２または第３実施形態に示した画像入力装置１を用いてもよい。第２実施形態に示した画像入力装置１を用いる場合には、画像表示装置５２に、第２実施形態の画像表示装置２が備える分光反射率推定部３２を備えることによって、反射率データの伝送に要する時間を短縮できる。
【０１１８】
以上、第１〜第５実施形態の画像処理システムにおける画像表示装置２および５２では、反射型の液晶ディスプレイである反射型ＬＣＤ部２４を用いた例を説明したが、観測照明光の反射率を画素ごとに制御して画像表示する反射型のカラー表示装置全般に本発明は適用できる。
【０１１９】
また、前記第４および第５実施形態の画像処理システムでは、画像表示装置５２内に形状・背景データベース５８を設けているが、形状データおよび背景データを記憶しているデータベースがネットワーク（たとえばインターネットなど）上にある場合は、画像表示装置５２内に形状・背景データベース５８を備える必要はない。すなわち、この場合には、画像表示装置５２がネットワーク上のデータベースから形状データおよび背景データを取得するように設定されてもよい。
【０１２０】
次に、本発明の第６実施形態の画像処理システムについて説明する。本実施形態の画像処理システムでは、全体構成は図１の画像処理システムと同様であるが、図１の反射型ＬＣＤ部２４の代わりに、薄型で、電力不要で表示状態を維持し、携帯可能な情報表示媒体である電子ペーパーをディスプレイとして設け、データ記憶部２２に電子ペーパーの表示特性データが記憶されている。
【０１２１】
電子ペーパーは、可撓性を有し、厚さが５０μｍ〜１ｍｍ程度の薄型の表示装置であり、表示される画像の書き換えが可能である。電子ペーパーの表示方式としては、電場を用いた電気泳動表示方式およびツイストボール表示方式などが用いられる。
【０１２２】
まず、電気泳動表示方式によって表示を行なう電子ペーパー（ＥＰＩＤ：
Electrophoretic Image Display）について説明する。電気泳動表示方式の電子ペーパーでは、液体中に分散させた荷電粒子が外部電場に沿ってクーロン力により液体中を泳動する電気泳動現象を用いて画像の表示を行なう。
【０１２３】
図１１（ａ）は、電気泳動表示方式の電子ペーパーの構成例を示す断面図である。電気泳動表示方式の電子ペーパーは、基材７１、画素電極７２、バインダ７３、マイクロカプセル７４、透明電極７５および表面保護膜７６を含む。樹脂からなる板状の基材７１の一方方向表面に、平行に延びる複数の画素電極７２が所定の間隔を設けて配置される。画素電極７２の一方方向に所定の間隔を設けて、画素電極７２の延びる方向と直交する方向に延びる複数の透明電極７５が設けられる。透明電極７５の一方方向には、たとえばＰＥＴ（ポリエチレンテレフタレート）などの透明な樹脂から成る表面保護膜７６が設けられる。前記画素電極７２および透明電極７５の間には、球状のマイクロカプセル７４が配置される。マイクロカプセル７４の間隙には接合剤であるバインダが設けられる。電気泳動表示方式の電子ペーパーでは、前記画素電極７２と透明電極７５とが重なる部分が画素となる。
【０１２４】
図１１（ｂ）は、前記マイクロカプセル７４の拡大図である。マイクロカプセル７４は、天然高分子あるいは合成高分子の壁膜を持つ微小な透明容器内に分散液７７と帯電した白色微粒子７８とを封入して形成される。マイクロカプセル７４の直径は５０μｍ程度である。分散液７７は、染料で着色された絶縁性の液体である。白色微粒子７８としては顔料粒子が用いられ、白色度の点から酸化チタンが用いられる。
【０１２５】
電気泳動表示方式の電子ペーパーでは、画素電極７２および透明電極７５間に電圧を印加すると、形成される電界の方向によって、白色微粒子は画素電極７２および透明電極７５のいずれか一方側に引き寄せられる。これによって、電気泳動表示方式の電子ペーパーの表面保護膜７６側から見た観測者には、白色微粒子７８の色または染料で着色された分散液７７の色が見える。したがって、各画素へ印加する電圧を制御することによって、画像を表示することができる。
【０１２６】
上述した電気泳動表示方式の電子ペーパーでは、前記マイクロカプセル７４は透明容器内に染料で着色した分散液７７と白色微粒子７８とを封入して構成されるが、マイクロカプセル７４は、透明容器内に白色微粒子７８、黒色微粒子および透明な分散液とを封入して構成されてもよい。この場合、白色微粒子７８と黒色微粒子の極性を異ならせることによって、白色および黒色の表示を行なうことができる。
【０１２７】
また電気泳動表示方式の電子ペーパーでは、電極間に電圧を印加することで発生する電界によって一方側電極上に引き寄せられた粒子は、電界を取り去った後も長期にわたってその状態を保持する。したがって、電気泳動表示方式の電子ペーパーは電力不要で表示状態を維持する表示メモリ性を有する。
【０１２８】
電気泳動表示方式の電子ペーパーの特徴としては、高視野角性、高コントラスト、構造が簡単であることに起因する低コスト、大型表示デバイス作製の容易さなどが挙げられる。さらに、色表示の媒体が顔料および染料であることから、眼にやさしい自然な色合いを持ち、印刷物に近い表示が可能となる。
【０１２９】
上述した電気泳動表示方式の電子ペーパーは、２値表示を行なうディスプレイであるが、カラーフィルタを用いたり、Ｃ（シアン）、Ｍ（マゼンタ）またはＹ（イエロー）の微粒子が封入されたマイクロカプセル、あるいはこれにＢ（ブラック）の微粒子が封入されたマイクロカプセルを加えた４種類のマイクロカプセルを複数用い、各色に印加する電圧を制御したりすることによって、カラー表示を行なうことができる。
【０１３０】
次に、ツイストボール表示方式によって表示を行なう電子ペーパー（ＥＴＢＤ：Electrical Twisting Ball Display）について説明する。ツイストボール表示方式の電子ペーパーでは、半球面の色が異なる微小球体を回転させて表示を行なう。
【０１３１】
図１２は、ツイストボール表示方式の電子ペーパーの基本構成を示す断面図である。ツイストボール表示方式の電子ペーパーは、基材８１、電極８２、絶縁性シート８３、着色微小絶縁球体８４、画素電極８５および表面保護層８６を含む。樹脂からなる板状の基材８１の一方方向表面に、電極８２が配置される。電極８２の一方方向に所定の間隔を開けて画素電極８５が設けられる。画素電極８５の一方方向には、たとえばＰＥＴ（ポリエチレンテレフタレート）などの透明な樹脂から成る表面保護膜８６が設けられる。前記電極８２および画素電極８５の間には、透明な絶縁性シート８３が設けられる。前記絶縁性シート８３の内部には、半球面ごとに白と黒、あるいは白と赤に塗り分けられた着色微小絶縁球体８４が埋め込まれる。前記着色微小絶縁球体８４は、絶縁性シート８３と直接接触しているのではなく、絶縁性シート８３に設けられた着色微小絶縁球体８４の径よりも僅かに大きな空洞８７の中に、非極性の有機液体を介して保持される。また、着色微小絶縁体球８４は、色の違いに対応して、その表面の帯電状態に異差を設けるなどしてダイポールモーメントを持つように形成されている。また、電極８２および画素電極８５に接触しない絶縁シート８３の側部は、エポキシ樹脂８８などによってシールされている。
【０１３２】
電極８２および画素電極８５間に電圧を印加すると、形成される電界および着色微小絶縁球体８４のダイポールモーメントが平行となるように着色微小絶縁球体８４が回転する。ツイストボール表示方式の電子ペーパーでは、電極８２および画素電極８５間に画像情報に応じた電界パターンを与え、この電界によって着色微小絶縁球体８４を回転させて、向きを制御し、着色微小絶縁球体８４の２つの半球面のコントラストによって表示を行なう。
【０１３３】
ツイストボール表示方式の電子ペーパーでは、電極間に電圧を印加することで発生する電界によって回転した着色微小絶縁球体８４は、電界を取り去った後も長期にわたってその状態を保持する。したがって、電気泳動表示方式の電子ペーパーは電力不要で表示状態を維持する表示メモリ性を有する。
【０１３４】
ツイストボール表示方式の電子ペーパーの特徴としては、視野角の制限がなく、印刷物に近い質感を高いコントラストで実現することができることが挙げられる。
【０１３５】
上述したツイストボール表示方式の電子ペーパーは、説明のため電極を一対のみ設けた構成とし、また２値表示を行なうディスプレイであるが、複数の電極を形成し、カラーフィルタを用いたり、Ｃ，Ｍ，Ｙに着色された着色微小絶縁球体、あるいはこれに黒色に着色された着色微小絶縁球体を用い、各色に印加する電圧を制御したりすることによって、カラー表示を行なうことができる。
【０１３６】
また、電子ペーパーの表示方式は、上述した方式の他に、印加電圧を取り除いても液晶の配向状態が保存される強誘電性液晶またはコレステリック液晶を用いた液晶表示方式、および酸化還元反応に伴う化学物質の色変化を利用するエレクトロクロミック表示方式などを用いてもよい。エレクトロクロミック表示方式は、電流駆動であり、表示速度が遅いといった問題があるが、表示品位に優れる。
【０１３７】
上述した電子ペーパーを反射型ＬＣＤ部２４の代わりに用いた場合、電子ペーパーの画素毎の反射率は、反射型ＬＣＤ部２４を用いた場合と同様に制御される。すなわち、８１バンドの波長域に関する反射率データは、反射率再現変換部２３で、データ記憶部２２に記憶される電子ペーパーの特性データ、たとえばＲＧＢ等色関数などを用いて、電子ペーパーの表示特性に応じたＲＧＢもしくはＣＭＹの３色の反射率データに変換される。そして、変化された反射率データに基づいて表示を行なう。
【０１３８】
本実施形態では、第１実施形態の画像処理システムにおける画像表示装置２の反射型ＬＣＤ部２４を電子ペーパーに代えているが、第２〜第４実施形態の画像処理システムにおける画像表示装置２および５２の反射型ＬＣＤ部２４を同様に電子ペーパーに代えて構成することができる。
【０１３９】
以上のように、反射型のカラー表示部として電子ペーパーを用いることによって、装置をさらに軽量化することができる。したがって、異なる環境下、たとえば明るい場所、暗い場所でカラー表示部に表示させた画像の見え方を確かめるために、画像表示装置を移動させる場合、画像表示装置の持ち運びが容易となる。また、電子ペーパーは大型化が容易であり、たとえば、大型の家具などのインテリアを原寸大で表示することが可能となる。
【０１４０】
図１３は、本発明の第７実施形態の画像処理システムを示すブロック図である。本実施形態の画像処理システムは、前記第１実施形態の画像処理システムに加えて、薄型で、電力不要で表示状態を維持し、携帯可能な記録媒体である電子ペーパーに画像を表示させる画像出力装置９０をさらに含む。図１３の画像処理システムで、図１の画像処理システムと同様な構成には同一の符号を付し、重複する説明を省略する。なお本実施形態では、画像表示装置２はカラー表示部として、反射型ＬＣＤ部２４を備えるが、反射型ＬＣＤ部２４に代えて前記第６実施形態に示した電子ペーパーを用いる構成としてもよい。画像表示装置２のデータ記憶部２２には、ＬＣＤ特性データが記憶される。
【０１４１】
本実施形態で画像が表示される電子ペーパーは、上述のように表示される画像の書き換えが可能であるが、能動的に表示内容を更新することができず、書き込み器である画像出力装置９０を用いて表示内容の更新を行なう。つまり、電気泳動表示方式によって表示を行なう電子ペーパーは、図１１（ａ）に示される電気泳動表示方式の電子ペーパーの画素電極７２および透明電極７５を取り外した構成である。また、ツイストボール表示方式によって表示を行なう電子ペーパーは、図１２に示されるツイストボール表示方式の電子ペーパーの電極８２および画素電極８５を取り外した構成である。本実施形態で用いられる電子ペーパーは、画像出力装置９０によって外部から電界の付与が行なわれることで画像を表示するので、電極を持たない。
【０１４２】
上述した電子ペーパーに画像を表示させるには、たとえば、複写機などの画像形成装置で用いられる、電子写真方式と同様の方法を用いることができる。しかしながら、電子ペーパーにはトナー像を形成する必要が無いので、現像工程および定着工程は行なわない。
【０１４３】
図１４は、電子ペーパーに画像を表示させる画像出力装置９０の概略的な構成を示す断面図である。画像出力装置９０は、感光体ドラム９１、帯電部材９２、露光部材９３、対向部材９４、クリーニング部材９５、感光体ドラム除電部材９６および電子ペーパー除電部材９７を含み構成される。画像出力装置９０は、感光体ドラム９１の外周に、帯電部材９２、露光部材９３、クリーニング部材９５および感光体ドラム除去部材９６がこの順番で配置されて構成される。
【０１４４】
感光体ドラム９１は、円筒形状の基材９８と、この基材９８の周上に形成される光導電層９９とを含む。基材９８は、たとえばアルミニウムなどから構成され、光導電層９９は、光を照射することによって電気的特性が変化するＯＰＣ（有機光半導体）から構成される。
【０１４５】
帯電部材９２は、コロナ帯電器、帯電ローラまたは帯電ブラシなどから構成される。コロナ帯電器は、コロナ放電によって感光体ドラム９１の表面を帯電させる。帯電ローラは、導電性のローラを感光体ドラム９１の表面に接触させ、電流を流すことによって感光体ドラム９１の表面を帯電させる。帯電ブラシは、導電性のブラシを感光体ドラムの表面に接触させ、電流を流すことによって感光体ドラム９１の表面を帯電させる帯電ブラシである。帯電部材９２によって、感光体ドラム９１の表面が均一に帯電される。
【０１４６】
露光部材９３は、半導体レーザまたは発光ダイオードなどからなり、帯電が行なわれた感光体ドラム９１の表面に露光を行なう。これによって、感光体ドラム９１の光導電層９９にキャリアが生成され、光を照射した部分の表面電荷がキャンセルされる。これによって、感光体ドラム９１の表面に上に静電潜像が形成される。
【０１４７】
対向部材９４は、感光体ドラム９１に対向して設けられる円柱状の部材であり、感光体ドラム９１との間に電子ペーパー１００を挟持して搬送する。クリーニング部材９５は、感光体ドラム９１の表面に付着した粉塵などを除去する。感光体ドラム除電部材９６は、感光体ドラム９１の表面を除電する。電子ペーパー除電部材９７は、電子ペーパー１００の表面上の電荷を除去する。感光体ドラム９１および対向部材９４は、図１４の紙面に垂直な方向に延びる回転軸を有し、回転軸の端部は画像出力装置９０の機体に回転自在に軸支される。また、感光体ドラム９１の長手方向端部には、歯車などが設けられ、駆動装置から回転力が伝達される。
【０１４８】
上述のように構成された画像出力装置９０の動作について説明する。まず、感光体ドラム９１の表面が帯電部材９２によって均一に帯電される。次に、反射型ＬＣＤ部２４に表示されている画像情報に基づいて、露光部材９３によって感光体ドラム９１の表面を露光し、静電潜像を形成する。つまり、データ記憶部２１に記憶される８１バンドの波長域に関する反射率データが、反射率再現変換部２３で、データ記憶部２２に記憶される電子ペーパーの特性データを用いて、電子ペーパーの表示特性に応じたＲＧＢもしくはＣＭＹの３色の反射率データに変換される。そして、この変換された反射率データに基づき、露光量が調整される。次に、感光体ドラム９１を回転させ、図示しない搬送手段によって矢符Ａの方向に搬送される電子ペーパー１００と、表面に静電潜像が形成された感光体ドラム９１とを対向部材９４によって密着させる。対向部材９４を接地しておくことで、電子ペーパー１００に適切なバイアス電圧が印加される。あるいは、対向部材９４に直流電圧を印加するようにしておいてもよい。これによって、電子ペーパー１００に画像が表示される。最後に、電子ペーパー除電部材９７によって、電子ペーパー１００上の電荷を除去することで、電子ペーパー１００に表示された画像が維持される。
【０１４９】
また、電子ペーパーに画像情報の書き込む方法としては、電子写真方式のプロセス以外にイオンフロー方式を用いることができる。イオンフロー方式では、図１４に示す画像出力装置における感光体ドラム９１の光導電層９９の代わりに誘電体材料からなる誘電体層が設けられ、帯電部材９２および露光部材９３の代わりにイオンを照射して、誘電体層を選択的に帯電させるイオンフローヘッドが用いられる。イオンフローヘッドは、イオン発生源と制御電極から構成される。イオンフローヘッドは、イオン発生源で発生したイオンを、制御電極に設けられた開口部から電子ペーパーに照射する。制御電極には、画像情報が入力され、イオンの開口部の通過および非通過を制御することで、静電潜像を形成することができる。また、イオンフロー方式では、電子ペーパーへイオンを照射する書き込み用と消去用のイオンフローヘッドを用いて、電子ペーパーに直接電荷を付与するようにしてもよい。
【０１５０】
本実施形態では、電気泳動表示方式およびツイストボール表示方式の電子ペーパーを用いた場合について述べたが、強誘電性液晶またはコレステリック液晶を用いた液晶表示方式、および酸化還元反応に伴う化学物質の色変化を利用するエレクトロクロミック表示方式の電子ペーパーを用いてもよい。また、コレステリック液晶を用い、光を照射することによって抵抗が変換する光スイッチング素子から構成され、光と電界によって表示が行なわれる光書込み方式の電子ペーパーを用いてもよい。光書込み式の電子ペーパーを用いる場合は、上記画像出力装置９０は光を電子ペーパーに照射して書き込みを行なう構成とすればよい。
【０１５１】
また、本実施形態の画像処理システムは、前記第１実施形態の画像処理システムに画像出力装置９０を加えた構成であるが、図１５に示すように第２実施形態の画像処理システムに画像出力装置９０を加えて構成してもよく、また、図１６に示すように、第３実施形態の画像処理システムに画像出力装置９０を加えて構成してもよい。さらに、第４および第５実施形態の画像処理システムに画像出力装置を加えた構成としてもよい。さらに、上述の各構成におけるカラー表示部は、反射型ＬＣＤ部２４に代えて電子ペーパーを用いてもよい。この場合、データ記憶部２２には、上述した電子ペーパーの表示特性データが記憶される。
【０１５２】
以上のように画像出力装置９０を備える画像処理システムでは、画像の表示に電子ペーパーを用いることができるので、複数枚の被写体およびコンピュータグラフィックス画像を出力させることができる。したがって、たとえば、被写体およびコンピュータグラフィックス画像が大きい場合でも、画像を部分的に複数の電子ペーパーに出力し、前記複数の電子ペーパーをつなぎ合わせることで表示させることができる。さらに、出力した画像の持ち運びが容易であり、画像が表示された電子ペーパーを短時間で複数枚得ることができるので、たとえば広告媒体として配布を行なうこともできる。
【０１５３】
【発明の効果】
以上詳説したように本発明によれば、反射型のカラー表示部における光反射率が被写体の各部位における反射率と一致するように制御できる。反射率画像データは、照明状況に依存せず、被写体の各部位に固有の反射率を示すデータである。したがって、表示時の照明特性を測定することなく、反射型のカラー表示部は、このカラー表示部の照明状況下に被写体を置いて直接見たように表示できる。
【０１５４】
また本発明によれば、物体の形状に基づいて生成されたコンピュータグラフィックス画像を、照明に依存しない素材固有の反射率を示す反射率データを用いて反射型のカラー表示部に表示させることができる。したがって、あたかもコンピュータグラフィックス画像で作成された物体が観測環境によって見え方が異なるように、任意の観測環境での見えるべき表示を行うことができる。
【０１５５】
また本発明によれば、画像入力装置によって撮像される被写体のデータを画像処理システムで作成されるコンピュータグラフィックス画像に用いることができる。したがって、コンピュータグラフィックス画像を作成する上での自由度が高まる。
【０１５６】
また本発明によれば、画像の表示に電子ペーパーを用いることができるので、装置を軽量化することができ、持ち運びがさらに容易となるので、異なる照明環境下に装置を持ち運び、被写体およびコンピュータグラフィックス画像の見え方を確かめることが容易となる。
【０１５７】
また本発明によれば、画像の表示に電子ペーパーを用いることができるので、複数の被写体を出力させることができる。したがって、たとえば、被写体が大きな場合でも、画像を部分的に複数の電子ペーパーに出力し、前記複数の電子ペーパーをつなぎ合わせることで表示させることができる。さらに、出力した画像の持ち運びが容易であり、配布を行なうこともできる。
【図面の簡単な説明】
【図１】本発明の第１実施形態の画像処理システムを示すブロック図である。
【図２】本発明の第２実施形態の画像処理システムを示すブロック図である。
【図３】本発明の第３実施形態の画像処理システムを示すブロック図である。
【図４】反射型液晶ディスプレイの構成例を示す部分斜視図である。
【図５】本発明の第４実施形態の画像処理システムを示すブロック図である。
【図６】本発明の第４実施形態の画像処理システムを示すブロック図である。
【図７】形状データおよび背景データの一例を示す図である。
【図８】ＣＧ画像の作成動作を示すフローチャートである。
【図９】レイトレーシングによる光線の追跡結果を示す図である。
【図１０】本発明の第５実施形態の画像処理システムを示すブロック図である。
【図１１】（ａ）は電気泳動表示方式の電子ペーパーの構成例を示す断面図であり、（ｂ）はマイクロカプセル７４の拡大図である。
【図１２】ツイストボール表示方式の電子ペーパーの基本構成を示す断面図である。
【図１３】本発明の第７実施形態の画像処理システムを示すブロック図である。
【図１４】画像出力装置９０の概略的な構成を示す断面図である。
【図１５】本発明のさらに他の実施形態の画像処理システムを示すブロック図である。
【図１６】本発明のさらに他の実施形態の画像処理システムを示すブロック図である。
【符号の説明】
１，５１ 画像入力装置
２，５２ 画像表示装置
１１ 撮像照明ライト
１２ 光センサ
１３ 照明光データ処理部
１４ カメラ
１４ａ，１４ｃ フィルタ
１４ｂ 受光素子
１５ 撮像データバッファ
１６，３２ 分光反射率推定部
２０ 観測照明ライト
２１，２２ データ記憶部
２３，５９ 反射率再現変換部
２４ 反射型カラー液晶ディスプレイ（ＬＣＤ）部
３１ 反射率補正部
５１ 分光測色計
５３ 色見本サンプル
５４ 素材サンプル
５７ 素材分光反射率データ記憶部
５８ 形状・背景データベース
５５ 制御部
９０ 画像出力装置
１００ 電子ペーパー
Claims (13)
- 反射型のカラー表示部と、
前記反射型のカラー表示部について各色の表示特性を記憶する表示特性記憶部と、
被写体を撮像して得られ、被写体の反射率を表わす反射率画像データを、前記表示特性記憶部に記憶された表示特性に基づいて、前記反射型のカラー表示部の、被写体が表示される各画素の反射率と、被写体の反射率とが一致するように変換して前記反射型のカラー表示部に表示させる反射率再現変換部とを備えることを特徴とする画像表示装置。 - 反射型のカラー表示部と、
前記反射型のカラー表示部の各色の反射率の特性を示す表示特性データを記憶する表示特性記憶部と、
コンピュータグラフィックス画像を生成する際に用いられる各素材に対し、素材固有の反射率を示す反射率データを記憶する反射率データ記憶部と、
物体の形状データに基づいて作成されるコンピュータグラフィックス画像を、表示特性データおよび各素材の反射率データとに基づいて、前記反射型のカラー表示部の、コンピュータグラフィックス画像が表示される各画素の反射率と、前記コンピュータグラフィックス画像の素材固有の反射率とが一致するように、コンピュータグラフィックス画像の各素材の反射率データを変換して前記反射型のカラー表示部に表示させる反射率再現変換部とを備えることを特徴とする画像表示装置。 - 前記反射型のカラー表示部は、薄型で、電力不要で表示状態を維持し、携帯可能な情報表示媒体で構成されていることを特徴とする請求項１または２記載の画像表示装置。
- 請求項１〜３のいずれか１つに記載の画像表示装置と、
前記画像表示装置の反射型のカラー表示部に表示された画像を、薄型で、電力不要で表示状態を維持し、携帯可能な記録媒体に出力する画像出力装置とを備えることを特徴とする画像処理システム。 - 画像入力装置と、画像表示装置とで構成される画像処理システムであって、
前記画像入力装置は、
被写体を複数の光周波数バンド別に撮像する撮像部と、
被写体に照射する照明光および前記撮像部の入力特性を記憶する入力特性記憶部と、
前記入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを被写体に固有の反射率画像データに補正する入力補正部とを備え、
前記画像表示装置は、
反射型のカラー表示部と、
前記反射型のカラー表示部について各色の表示特性を記憶する表示特性記憶部と、
前記表示特性記憶部に記憶された表示特性に基づいて、前記反射型のカラー表示部の、被写体が表示される各画素の反射率と、被写体の反射率とが一致するように、前記反射率画像データを変換して前記反射型のカラー表示部に表示させる反射率再現変換部とを備えることを特徴とする画像処理システム。 - 画像入力装置と、画像表示装置とで構成される画像処理システムであって、
前記画像入力装置は、被写体の各部位において、複数のバンドパスフィルタによるマルチバンド撮影で得られる画像データを生成する撮像部を備え、
前記画像表示装置は、外光に対する反射率が画素毎に制御可能なカラー表示部を備え、
前記画像表示装置は、前記撮像部から伝達された画像データに基づいて、前記カラー表示部の、画像が表示される各画素の反射率と、各画素に応じた被写体の部位における反射率とが一致するように制御することによって、被写体を前記カラー表示部に表示することを特徴とする画像処理システム。 - 画像入力装置と、画像表示装置とで構成される画像処理システムであって、
前記画像入力装置は、
被写体を複数の光周波数バンド別に撮像する撮像部と、
被写体に照射する照明光および前記撮像部の入力特性を記憶する入力特性記憶部と、
前記入力特性記憶部に記憶された入力特性および光周波数バンド別に撮像した画像データに基づき、照明状況に依存しない被写体固有の反射率を有する反射率画像データに補正する入力補正部とを備え、
前記画像表示装置は、
反射型のカラー表示部と、
前記反射型のカラー表示部の各色の反射率の特性を示す表示特性データを記憶する表示特性記憶部と、
コンピュータグラフィックス画像を生成する際に用いられる各素材に対し、素材固有の反射率を示す反射率データを記憶する反射率データ記憶部と、
物体の形状データに基づいて作成されるコンピュータグラフィックス画像を、表示特性データおよび各素材の反射率データとに基づいて、前記反射型のカラー表示部の、コンピュータグラフィックス画像が表示される各画素の反射率と、前記コンピュータグラフィックス画像の素材固有の反射率とが一致するように、コンピュータグラフィックス画像の各素材の反射率データを変換して前記反射型のカラー表示部に表示させ、前記表示特性記憶部に記憶された表示特性に基づいて、前記反射型のカラー表示部の、被写体が表示される各画素の反射率が、被写体固有の反射率と一致するように、前記反射率画像データを変換して前記反射型のカラー表示部に表示させる反射率再現変換部とを有することを特徴とする画像処理システム。 - 前記入力補正部は、前記入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを、各光周波数バンドごとの反射率データに変換した後、撮像した光周波数バンドの数よりも多い数の周波数バンドの反射率データに変換して反射率画像データを生成し、
前記反射率再現変換部は、前記反射率画像データを、赤、青、緑ごとの反射率データに変換することを特徴とする請求項５または７記載の画像処理システム。 - 前記画像表示装置は、前記入力特性記憶部に記憶された入力特性に基づいて、光周波数バンド別に撮像した画像データを、各光周波数バンドごとの反射率データに変換した後、撮像した光周波数バンドの数よりも多い数の周波数バンドの反射率データに変換して反射率画像データを生成する手段を有し、
前記反射率再現変換部は、前記反射率画像データを、赤、青、緑ごとの反射率データに変換することを特徴とする請求項５または７記載の画像処理システム。 - 前記反射型のカラー表示部は、薄型で、電力不要で表示状態を維持し、携帯可能な情報表示媒体で構成されていることを特徴とする請求項５〜９のいずれか１つに記載の画像処理システム。
- 前記画像表示装置のカラー表示部に表示された画像を、薄型で、電力不要で表示状態を維持し、携帯可能な記録媒体に出力する画像出力装置をさらに備えることを特徴とする請求項５〜１０のいずれか１つに記載の画像処理システム。
- 被写体を撮像して得られる被写体に固有の情報として、被写体の分光反射率を記憶する工程と、
該被写体の分光反射率に基づいて、反射型のカラー液晶ディスプレイの、被写体が表示される各画素の反射率が、被写体の反射率と一致するように、反射型のカラー液晶ディスプレイを構成する液晶セルの各画素の光反射率を制御する工程と、
所定の観察光源を用いて、被写体を該ディスプレイ上に表示する工程とを含むことを特徴とする画像表示方法。 - 前記観察光源は、ＣＩＥ準拠のＡ光源、Ｂ光源、Ｃ光源、任意の色温度のＤ光源、または分光測色器による計測によって得られる任意の光源であることを特徴とする請求項１２記載の画像表示方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001316867A JP3851538B2 (ja) | 2000-10-16 | 2001-10-15 | 画像表示装置および方法ならびに画像処理システム |
Applications Claiming Priority (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2000-315575 | 2000-10-16 | ||
| JP2000315575 | 2000-10-16 | ||
| JP2001316867A JP3851538B2 (ja) | 2000-10-16 | 2001-10-15 | 画像表示装置および方法ならびに画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2002221931A JP2002221931A (ja) | 2002-08-09 |
| JP3851538B2 true JP3851538B2 (ja) | 2006-11-29 |
Family
ID=26602179
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001316867A Expired - Fee Related JP3851538B2 (ja) | 2000-10-16 | 2001-10-15 | 画像表示装置および方法ならびに画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3851538B2 (ja) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2004191709A (ja) * | 2002-12-12 | 2004-07-08 | Fuji Xerox Co Ltd | 画像書き込み装置 |
| US20060077148A1 (en) * | 2004-09-27 | 2006-04-13 | Gally Brian J | Method and device for manipulating color in a display |
| JP5361643B2 (ja) | 2009-09-28 | 2013-12-04 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
| JP5309081B2 (ja) * | 2010-05-12 | 2013-10-09 | シャープ株式会社 | 表示装置 |
| US8848294B2 (en) | 2010-05-20 | 2014-09-30 | Qualcomm Mems Technologies, Inc. | Method and structure capable of changing color saturation |
| JP5693192B2 (ja) | 2010-12-13 | 2015-04-01 | キヤノン株式会社 | 色処理装置、色処理方法、プログラム及び記憶媒体 |
| JP5938910B2 (ja) * | 2012-01-12 | 2016-06-22 | セイコーエプソン株式会社 | 分光計測方法、分光計測器、および変換行列の生成方法 |
| JP5938911B2 (ja) * | 2012-01-12 | 2016-06-22 | セイコーエプソン株式会社 | 分光計測方法、分光計測器、および変換行列の生成方法 |
| JP2022182590A (ja) * | 2021-05-28 | 2022-12-08 | ソニーグループ株式会社 | 情報処理装置及び情報処理方法 |
-
2001
- 2001-10-15 JP JP2001316867A patent/JP3851538B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2002221931A (ja) | 2002-08-09 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| Stone | A field guide to digital color | |
| Meyer et al. | An experimental evaluation of computer graphics imagery | |
| JP6039109B2 (ja) | 着色検査装置および着色検査方法 | |
| Pratt | Introduction to digital image processing | |
| Kruijff et al. | Perceptual issues in augmented reality revisited | |
| US20040070565A1 (en) | Method and apparatus for displaying images | |
| JP3809838B2 (ja) | 照明源固有ｈｓｖ色座標を用いた画像ハイライト補正方法、画像ハイライト補正プログラム、および画像取得システム | |
| Giorgianni et al. | Digital color management: Encoding solutions | |
| McConnell | Computer graphics: theory into practice | |
| JP7076760B2 (ja) | 色判定装置及び色判定方法 | |
| JP3851538B2 (ja) | 画像表示装置および方法ならびに画像処理システム | |
| Zhang et al. | A systematic approach to testing and predicting light-material interactions | |
| Demos | The Use of Logarithmic and Density Units for Pixels | |
| Prasad et al. | Metrics and statistics of frequency of occurrence of metamerism in consumer cameras for natural scenes | |
| McCann | Color theory and color imaging systems: Past, present and future | |
| JP2016194449A (ja) | 着色検査装置および着色検査方法 | |
| Navvab et al. | Evaluation of historical museum interior lighting system using fully immersive virtual luminous environment | |
| JP2790750B2 (ja) | レンダリング装置 | |
| Wang et al. | Color Reproduction of Glass Dry Plate Scanned by a Linear Sensor Camera Using Filter Coefficient | |
| Navvab | Measureable Domain for Colour Differences within Virtual Environment | |
| PRO | CIC27 | |
| Atié et al. | Towards a Calibrated 360° Stereoscopic HDR Image Dataset for Architectural Lighting Studies | |
| US20240054697A1 (en) | Information processing apparatus, non-transitory computer readable medium, and information processing method | |
| RU100347U1 (ru) | Устройство для сканирования объектов | |
| Plataniotis et al. | Color spaces |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040611 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20060419 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060523 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060722 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060829 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060901 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 3851538 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090908 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100908 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110908 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120908 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130908 Year of fee payment: 7 |
|
| LAPS | Cancellation because of no payment of annual fees |