JP7027807B2 - 表示装置、スキャナ、表示システム及びプログラム - Google Patents

表示装置、スキャナ、表示システム及びプログラム Download PDF

Info

Publication number
JP7027807B2
JP7027807B2 JP2017209558A JP2017209558A JP7027807B2 JP 7027807 B2 JP7027807 B2 JP 7027807B2 JP 2017209558 A JP2017209558 A JP 2017209558A JP 2017209558 A JP2017209558 A JP 2017209558A JP 7027807 B2 JP7027807 B2 JP 7027807B2
Authority
JP
Japan
Prior art keywords
image
reflection image
distribution function
reflectance distribution
diffuse reflection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017209558A
Other languages
English (en)
Other versions
JP2019082838A (ja
Inventor
良隆 桑田
潤吾 針貝
裕一 市川
良介 東方
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Business Innovation Corp
Original Assignee
Fuji Xerox Co Ltd
Fujifilm Business Innovation Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fuji Xerox Co Ltd, Fujifilm Business Innovation Corp filed Critical Fuji Xerox Co Ltd
Priority to JP2017209558A priority Critical patent/JP7027807B2/ja
Priority to US15/984,440 priority patent/US10606545B2/en
Priority to CN201810728962.7A priority patent/CN109724945B/zh
Publication of JP2019082838A publication Critical patent/JP2019082838A/ja
Application granted granted Critical
Publication of JP7027807B2 publication Critical patent/JP7027807B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/147—Digital output to display device ; Cooperation and interconnection of the display device with other functional units using display panels
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/40—Analysis of texture
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/04—Texture mapping
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N2021/556—Measuring separately scattering and specular
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/55—Specular reflectivity
    • G01N21/57—Measuring gloss
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10004—Still image; Photographic image
    • G06T2207/10008—Still image; Photographic image from scanner, fax or copier
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10141—Special mode during image acquisition
    • G06T2207/10152—Varying illumination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination
    • G06T2207/20224—Image subtraction

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Biochemistry (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Investigating Or Analysing Materials By Optical Means (AREA)
  • Image Generation (AREA)
  • Image Processing (AREA)
  • Computer Hardware Design (AREA)

Description

本発明は、表示装置、スキャナ、表示システム及びプログラムに関する。
物体表面の質感（光沢感や凹凸感など）を簡易に３次元ＣＧで再現するためには、双方向反射率分布関数（Ｂｉｄｉｒｅｃｔｉｏｎａｌ Ｒｅｆｌｅｃｔａｎｃｅ Ｄｉｓｔｒｉｂｕｔｉｏｎ Ｆｕｎｃｔｉｏｎ、以下ＢＲＤＦ）を取得し、取得した値にＢＲＤＦモデルをフィッティングし、拡散反射係数や鏡面反射係数等のＢＲＤＦモデルの係数を決める必要がある。
特許文献１には、モデル係数を決める方法として、ＢＲＤＦを取得し、取得したＢＲＤＦにフィッティングするモデル係数を最小二乗法等で推定する手法が記載されている。
また、特許文献２には、多数の角度から光を照射し、多数の角度からカメラで撮影して、照射角度や撮影角度と撮影画像の輝度との変換テーブルを用意し、変換テーブルの補間処理で注目位置の輝度を算出する方法が記載されている。
特開２０１５－４９６９１号公報 特開２００５－１１５６４５号公報
しかしながら、ＢＲＤＦを取得する手法では、入射角や受光角を変更して反射率分布を測定するためデータの取得に時間がかかる。また、取得したＢＲＤＦにフィッティングしモデル係数を推定する手法では、測定誤差の影響で係数を最適化できない場合があり、完全に自動化することが難しい。
また、多数の角度から光を入射し、多数の角度からカメラで撮影して、多数の画像データを用いてＢＲＤＦを推定する手法では、画像データの取得に膨大な時間がかかり、かつ、多くのメモリ容量が必要となる。また、モデル係数を最適化する場合には、係数の最適化の難易度がさらに高まる。さらに、大面積の物体表面をカメラで撮影する場合には、撮影した画像内で光の入射角度と撮影角度の幾何条件が異なるため光沢のムラが生じてしまい、正確な光沢情報を取得するためにはより多数の角度からの画像を取得し、取得した画像データから光沢情報を推定する必要があり、多くの計算量が必要となる。
本発明の目的は、多数の角度からカメラで撮影して多数の画像データを取得し、これらの画像データを用いて物体表面の質感を表示する場合に比べて、より少ない画像データを用いた簡易な演算で、物体表面の向きの変化に応じた物体表面の質感を表示し得る技術を提供することにある。
請求項１に記載の発明は、物体表面の拡散反射画像を取得する拡散反射画像取得部と、 前記物体表面の鏡面反射画像を取得する鏡面反射画像取得部と、前記拡散反射画像と前記鏡面反射画像の差分画像を取得する差分画像取得部と、前記拡散反射画像と前記差分画像を用いて物体表面の反射率分布関数を算出する反射率分布関数算出部と、前記反射率分布関数を用いて前記物体表面の向きの変化に応じた前記物体表面の反射色を表示する表示部とを備え、前記差分画像取得部は、前記差分画像として、前記鏡面反射画像から前記拡散反射画像を減算した画像と、前記拡散反射画像から前記鏡面反射画像を減算した画像を取得し、前記反射率分布関数算出部は、前記拡散反射画像から算出される拡散反射率分布関数と、前記鏡面反射画像から前記拡散反射画像を減算した画像から算出される第１鏡面反射率分布関数と、前記拡散反射画像から前記鏡面反射画像を減算した画像から算出される第２鏡面反射率分布関数から前記反射率分布関数を算出する、表示装置である。
請求項２に記載の発明は、前記反射率分布関数は、重みをｗ１及びｗ２として、前記拡散反射率分布関数と、第１鏡面反射率分布関数に前記重みｗ１を乗じた関数と、前記第２鏡面反射率分布関数に前記重みｗ２を乗じた関数から前記反射率分布関数を算出し、前記重みｗ１及び前記重みｗ２を変化させて前記反射率分布関数を算出する請求項１に記載の表示装置である。
請求項３に記載の発明は、前記拡散反射画像と前記鏡面反射画像は、物体表面に対する照射の入射角度が第１入射角度である第１光源及び前記第１入射角度と異なる第２入射角度である第２光源を備えるスキャナで走査して得られた画像である請求項１、２のいずれかに記載の表示装置である。
請求項４に記載の発明は、前記第１入射角度は４５°であり、前記第２入射角度は５°～１０°である請求項３に記載の表示装置である。
請求項５に記載の発明は、互いにネットワークに接続されたスキャナ、サーバ、及び表示装置を備え、前記スキャナは、物体表面に対する照射の入射角度が第１入射角度である第１光源と、前記物体表面に対する照射の入射角度が前記第１入射角度と異なる第２入射角度である第２光源と、前記第１入射角度で照射して得られる前記物体表面の拡散反射画像と、前記第２入射角度で照射して得られる前記物体表面の鏡面反射画像を出力する出力部とを備え、前記表示装置は、前記スキャナで得られた前記拡散反射画像を取得する拡散反射画像取得部と、前記スキャナで得られた前記鏡面反射画像を取得する鏡面反射画像取得部と、前記拡散反射画像と前記鏡面反射画像の差分画像を取得する差分画像取得部と、前記拡散反射画像と前記差分画像を用いて物体表面の反射率分布関数を算出する反射率分布関数算出部と、前記反射率分布関数を用いて前記物体表面の向きの変化に応じた前記物体表面の反射色を表示する表示部と、前記表示部に表示された前記物体表面の反射色を前記サーバに送信する送信部とを備え、前記差分画像取得部は、前記差分画像として、前記鏡面反射画像から前記拡散反射画像を減算した画像と、前記拡散反射画像から前記鏡面反射画像を減算した画像を取得し、前記反射率分布関数算出部は、前記拡散反射画像から算出される拡散反射率分布関数と、前記鏡面反射画像から前記拡散反射画像を減算した画像から算出される第１鏡面反射率分布関数と、前記拡散反射画像から前記鏡面反射画像を減算した画像から算出される第２鏡面反射率分布関数から前記反射率分布関数を算出する、
表示システムである。
請求項６に記載の発明は、互いにネットワークに接続されたスキャナ、サーバ、及び表示装置を備え、前記スキャナは、物体表面に対する照射の入射角度が第１入射角度である第１光源と、前記物体表面に対する照射の入射角度が前記第１入射角度と異なる第２入射角度である第２光源と、前記第１入射角度で照射して得られる前記物体表面の拡散反射画像と、前記第２入射角度で照射して得られる前記物体表面の鏡面反射画像を出力する出力部とを備え、前記サーバは、前記スキャナで得られた前記拡散反射画像を取得する拡散反射画像取得部と、前記スキャナで得られた前記鏡面反射画像を取得する鏡面反射画像取得部と、前記拡散反射画像と前記鏡面反射画像の差分画像を取得する差分画像取得部と、前記拡散反射画像と前記差分画像を用いて物体表面の反射率分布関数を算出する反射率分布関数算出部と、前記反射率分布関数を前記表示装置に送信する送信部とを備え、前記表示装置は、前記反射率分布関数を用いて前記物体表面の向きの変化に応じた前記物体表面の反射色を表示する表示部を備え、前記差分画像取得部は、前記差分画像として、前記鏡面反射画像から前記拡散反射画像を減算した画像と、前記拡散反射画像から前記鏡面反射画像を減算した画像を取得し、前記反射率分布関数算出部は、前記拡散反射画像から算出される拡散反射率分布関数と、前記鏡面反射画像から前記拡散反射画像を減算した画像から算出される第１鏡面反射率分布関数と、前記拡散反射画像から前記鏡面反射画像を減算した画像から算出される第２鏡面反射率分布関数から前記反射率分布関数を算出する、表示システムである。
請求項７に記載の発明は、コンピュータに、物体表面の拡散反射画像を取得してメモリに記憶するステップと、前記物体表面の鏡面反射画像を取得してメモリに記憶するステップと、前記拡散反射画像と前記鏡面反射画像の差分画像を取得してメモリに記憶するステップと、前記拡散反射画像と前記差分画像を用いて物体表面の反射率分布関数を算出するステップと、前記反射率分布関数を用いて前記物体表面の向きの変化に応じた前記物体表面の反射色を表示部に表示するステップとを実行させ、前記差分画像として、前記鏡面反射画像から前記拡散反射画像を減算した画像と、前記拡散反射画像から前記鏡面反射画像を減算した画像を取得し、前記反射率分布関数を算出するステップでは、前記拡散反射画像から算出される拡散反射率分布関数と、前記鏡面反射画像から前記拡散反射画像を減算した画像から算出される第１鏡面反射率分布関数と、前記拡散反射画像から前記鏡面反射画像を減算した画像から算出される第２鏡面反射率分布関数から前記反射率分布関数を算出する、プログラムである。
請求項１，５－７に記載の発明によれば、多数の角度からカメラで撮影して多数の画像データを取得し、これらの画像データを用いてモデル係数を推定する場合に比べて、より少ない画像データを用いた簡易な演算で物体表面の質感が表示される。
請求項２に記載の発明によれば、さらに、重みを用いて多様な反射率分布関数が算出される。
請求項３，４に記載の発明によれば、さらに、スキャナで走査することで光の入射角度と撮影角度の幾何条件が画像内で同一の拡散反射画像と鏡面反射画像が簡易に得られる。
実施形態における質感スキャナの構成図である。 質感スキャナで取得される拡散反射画像、鏡面反射画像、及びこれらの差分画像の説明図である。 カメラで撮影して取得される拡散反射画像、鏡面反射画像、及びこれらの差分画像の説明図である。 実施形態における表示装置の構成図である。 双方向反射率分布関数（ＢＲＤＦ）の幾何条件説明図である。 実測ＢＲＤＦ例を示すグラフ図である。 Ｐｈｏｎｇ反射モデルの説明図である。 実測ＢＲＤＦをＰｈｏｎｇ反射モデルに適用した例を示すグラフ図である。 実施形態における表示部に表示される画像（ＣＧ画像）の説明図である。 実施形態における表示部に表示される他の画像（ＣＧ画像）の説明図である。 実施形態における拡散反射画像、鏡面反射画像、及び２つの差分画像を示す説明図である。 実施形態における表示部に表示される画像（ＣＧ画像）の説明図である。 実施形態における表示装置の他の構成図である。 Ｔｏｒｒａｎｃｅ－Ｓｐａｒｒｏｗ反射モデルの説明図である。 変形例の質感スキャナの構成図である。 変形例のシステム構成図である。
以下、図面に基づき本発明の実施形態について説明する。
＜実施形態１＞
１．スキャナ（質感スキャナ）の構成
図１は、本実施形態における平面物体１０の表面の画像を取得するためのスキャナ（質感スキャナ）５の構成を示す。
質感スキャナ５は、平面物体１０の表面特性を光学的に読み取り、その読取結果を表す画像信号を生成する。質感スキャナ５が生成する画像信号には、拡散反射光に基づく画像信号と鏡面反射光に基づく画像信号が含まれる。質感スキャナは、プラテンガラス１２と、キャリッジ１４と、光源１６，１８，２０と、センサ２２を備える。
質感スキャナ５は、図示する各部の構成を紙面に垂直な方向について決められた幅で有する。この方向は、質感スキャナの主走査方向である。また、図中矢印が示す方向は、質感スキャナの副走査方向である。
プラテンガラス１２は、読取対象である平面物体１０を支持する透明のガラス板である。プラテンガラス１２は、ガラス板に限らず、例えばアクリル板などであってもよい。図示していないが、外光を遮断するようにプラテンガラス１２を覆い、平面物体１０を挟み込むプラテンカバーを備えていてもよい。
キャリッジ１４は、平面物体１０を読み取るときに、決められた速度で副走査方向に移動するように構成される。キャリッジ１４は、光源１６，１８，２０を内部に備える。光源１６は、フロント側光源であり、平面物体１０の法線方向に対して第１入射角度である４５°の入射角度で光を照射することで、平面物体１０からの拡散反射光を読み取るための光を照射する。光源１８は、リア側光源であり、平面物体１０の法線方向に対して４５°の入射角度で光を照射することで、平面物体１０からの拡散反射光を読み取るための光を照射する。他方で、光源２０は、リア側光源であり、平面物体１０の法線方向に対して第２入射角度である１０°の入射角度で光を照射することで、平面物体１０からの鏡面反射光を読み取るための光を照射する。
光源２０は、その反射光の主光線を遮ることがない位置に設けられる。光源２０が照射する光の入射角度は実施形態では１０°であるが、５°～１０°程度であってもよい。光源２０により照射された光の反射光は、平面物体１０の法線方向に進行するものが読み取られる。
また、光源２０は、照射する光の角度が狭いことが望ましい。光源２０が照射する光の角度が比較的大きい場合には、光源２０が照射する光の角度を制限するカバー等を設けてもよい。さらに、光源２０は、平面物体１０の光沢情報を読み取るためのものであるため、光源１６，１８に比べ、主走査方向についての輝度がなるべく一様かつ連続であることが望ましい。
光源２０の要件を満たすものとしては、例えば、蛍光ランプや希ガス蛍光ランプ（キセノン蛍光ランプ等）である。また、光源２０は、白色のＬＥＤを主走査方向に複数配列し、拡散板などを用いて主走査方向の輝度分布を均一化したものであってもよい。
キャリッジ１４は、さらに結像光学系及びセンサ２２を内部に備える。結像光学系は反射ミラーや結像レンズで構成され、平面物体１０からの拡散反射光及び鏡面反射光成分をセンサ２２に結像させる。センサ２２は、結像光学系により結像された拡散反射光及び鏡面反射光成分を受け、受けた光に応じた画像信号を生成する。センサ２２は、ＣＣＤリニアイメージセンサやＣＭＯＳイメージセンサ等の受光素子で構成され、受光した光をその強弱を表す信号に変換する。また、センサ２２は、カラーフィルタを備え、平面物体１０の色を表す画像信号を生成する。センサ２２は、拡散反射光を受光して得られた拡散反射画像信号、及び鏡面反射光を受光して得られた鏡面反射画像信号を外部装置に出力する。
通常のスキャナ（あるいは画像読取装置）では、光源１６（あるいは光源１８）により平面物体１０の法線方向に対して４５°の入射角度で光を照射することで、平面物体１０からの拡散反射光を読み取る構成であるが、本実施形態の質感スキャナは、これに加えて光源２０により平面物体１０の法線方向に対して１０°の入射角度で光を照射することで、平面物体１０からの鏡面反射光を読み取る構成である。
図２は、図１に示す質感スキャナで得られる平面物体１０の拡散反射画像及び鏡面反射画像の一例を示す。平面物体１０は、シアン＋シルバートナー、マゼンタ＋シルバートナー、マゼンタトナー、シアントナーを用いて印刷時のトナー量であるカバレッジを変化させて電子写真方式で出力した印刷物である。図２（ａ）は拡散反射画像であり、通常のスキャナでも得られる画像である。図２（ｂ）は鏡面反射画像であり、特に平面物体１０の金属光沢部分が光る画像である。本実施形態では、これら２つの画像を用いて平面物体１０の金属光沢領域を抽出する。すなわち、拡散反射画像と鏡面反射画像の差分を演算することで差分画像を取得する。
図２（ｃ）は、図２（ａ）に示す拡散反射画像と図２（ｂ）に示す鏡面反射画像との差分画像を示す。画像中の金属光沢領域（実際にはシルバートナーを含む領域）が明瞭に現れ、さらに、金属光沢の反射率の違いも現れている。
図１に示す質感スキャナ５では、２次元平面の各画素で入射角／受光角が一定であるため、拡散反射の条件（光源入射角４５°）で取得した画像と、鏡面反射の条件（光源入射角１０°）で取得した画像との差分を演算することで、金属光沢情報が正確に抽出される。すなわち、簡易な差分演算で、金属光沢の領域と反射率（２次元平面の鏡面反射率）を一度に取得することができる。なお、拡散反射の条件（光源入射角４５°）と鏡面反射の条件（光源入射角１０°）は、同一の白色校正板でキャリブレーションが行われている。そのため、簡易な差分演算で光沢情報を抽出することができる。
図３は、比較のため、同じ平面物体１０をカメラで撮影して得られた画像で、白色ＬＥＤを用いて、拡散反射の条件（光源入射角４５°）で取得した画像と、鏡面反射の条件（光源入射角１０°）で取得した画像を示す。カメラの場合、２次元平面の各画素で入射角／受光角条件が異なるため、鏡面反射の条件で取得した画像に光沢のムラができてしまい、拡散反射の条件で取得した画像と鏡面反射の条件で取得した画像の差分を取得しても、２次元平面の金属光沢情報(シルバートナーの領域と反射率)を正確に抽出することができない。このため、カメラを用いて金属光沢情報を正確に抽出するためには、より多数の角度からの画像を取得し、取得した画像データから金属光沢情報を推定する必要があり、多くの計算量が必要となる。そのため、大面積（例えば、Ａ３用紙サイズの印刷物）の物体表面の光沢情報を正確に取得する場合、多大な計算量が必要となる。
２．表示装置の構成
図４は、本実施形態の全体構成図を示す。図１に示す質感スキャナで得られた拡散反射画像と鏡面反射画像を取得して処理し、平面物体１０の質感を表示する表示装置２５の構成である。
表示装置２５は、拡散反射画像取得部３０、鏡面反射画像取得部３２、差分画像取得部３４、拡散反射率分布関数算出部３６、鏡面反射率分布関数算出部３８、パラメータ調整部４０、反射率分布関数算出部４２、光源情報取得部４４、カメラ情報取得部４６、レンダリング部４８、及び表示部５０を備える。
拡散反射画像取得部３０及び鏡面反射画像取得部３２は、それぞれ質感スキャナ５で得られた拡散反射画像及び鏡面反射画像を取得する。拡散反射画像取得部３０及び鏡面反射画像取得部３２は、それぞれ質感スキャナ５に接続され、質感スキャナ５からこれらの画像を取得してもよく、あるいは質感スキャナ５にネットワークを介して接続されたサーバからこれらの画像を取得してもよい。
差分画像取得部３４は、拡散反射画像と鏡面反射画像の差分を演算して差分画像を取得する。差分画像には、（鏡面反射画像－拡散反射画像）と、（拡散反射画像－鏡面反射画像）の２つがあり、差分画像取得部３４は、少なくともこれらのいずれかの差分画像を演算する。
拡散反射率分布関数算出部３６は、拡散反射画像を用いて平面物体１０の拡散反射率分布関数を算出する。例えば、拡散反射率分布関数算出部３６は、Ｌａｍｂｅｒｔの反射モデルに従い、ρｄを入射光に対する拡散反射率、θｉを入射角として、拡散反射率分布関数をρｄ・ｃｏｓθｉとし、拡散反射画像からパラメータとしての拡散反射率ρｄを算出する。
鏡面反射率分布関数算出部３８は、差分画像を用いて平面物体１０の鏡面反射率分布関数を算出する。例えば、鏡面反射率分布関数算出部３８は、Ｐｈｏｎｇの反射モデルに従い、ρｓを鏡面反射率、γを鏡面反射方向と視線方向のなす角、ｎを鏡面反射指数として、鏡面反射率分布関数をρｓ・ｃｏｓｎγとし、差分画像からパラメータとしての鏡面反射率ρｓ，ｎを算出する。なお、差分画像取得部３４にて２つの差分画像が取得され、これら２つの差分画像を用いて鏡面反射率分布関数を算出する場合、鏡面反射率分布関数算出部は、差分画像（鏡面反射画像－拡散反射画像）については鏡面反射率分布関数をρｓ１・ｃｏｓｎ１γとし、差分画像（拡散反射画像－鏡面反射画像）については鏡面反射率分布関数をρｓ２・ｃｏｓｎ２γとし、それぞれの差分画像からパラメータとしてのρｓ１，ρｓ２，ｎ１，ｎ２を算出する。
反射率分布関数算出部４２は、拡散反射率分布関数算出部３６で算出された拡散反射率分布関数と、鏡面反射率分布関数算出部３８で算出された鏡面反射率分布関数を用いて平面物体１０の画素毎の反射率分布関数を算出する。例えば、反射率分布関数算出部４２は、Ｌａｍｂｅｒｔの反射モデルとＰｈｏｎｇの反射モデルに従い、
反射率分布関数＝拡散反射率分布関数＋鏡面反射率分布関数
により反射率分布関数を算出する。
レンダリング部４８は、反射率分布関数算出部４２で算出された反射率分布関数と、パラメータ調整部４０で設定された各種パラメータと、光源情報取得部４４で取得された光源情報（光源方向）と、カメラ情報取得部４６で取得されたカメラ情報（視線方向）とに基づいて、仮想３次元空間内に設定された仮想スクリーン上に３次元モデルをレンダリング処理して平面物体１０の質感をＣＧとして再現し、表示部５０に表示する。レンダリング処理は公知であり、例えば相互反射を考慮したラジオシティ法やレイトレーシング法を用いてレンダリング処理してもよい。
図４に示す表示装置２５は、具体的には１または複数のプロセッサ、メモリ、入出力インターフェイス、通信インターフェイス及び表示部を備えるコンピュータで実現され得る。プロセッサは、ＲＯＭやＨＤＤ、ＳＳＤ等の不揮発性メモリに記憶された処理プログラムを読み出して実行することで各部の機能を実現する。例えば、メモリは拡散反射画像取得部３０及び鏡面反射画像取得部３２として機能して拡散反射画像及び鏡面反射画像を記憶し、プロセッサは処理プログラムを実行することで差分画像取得部３４、拡散反射率分布関数算出部３６、鏡面反射率分布関数算出部３８、反射率分布関数算出部４２，レンダリング部４８として機能する。すなわち、プロセッサは、メモリに記憶された拡散反射画像と鏡面反射画像を読み出して差分演算し、生成した差分画像をメモリに記憶する。そして、メモリに記憶された拡散反射画像を読み出して拡散反射率分布関数を算出してそのパラメータをメモリに記憶し、メモリに記憶された差分画像を読み出して鏡面反射率分布関数を算出してそのパラメータをメモリに記憶する。プロセッサは、例えば拡散反射率分布関数と鏡面反射率分布関数の和として反射率分布関数を演算する。プロセッサでの実行ステップを列挙すると以下の通りである。
（ａ）平面物体１０の拡散反射画像を取得してメモリに記憶する。
（ｂ）平面物体１０の鏡面反射画像を取得してメモリに記憶する。
（ｃ）拡散反射画像と鏡面反射画像の差分画像を取得してメモリに記憶する。なお、差分画像が質感スキャナ５で生成されて出力されていればその差分画像を取得する。また、質感スキャナ５から差分画像が出力されていなければ、拡散反射画像と鏡面反射画像の差分を演算して差分画像を生成して取得する。
（ｄ）拡散反射画像と差分画像を用いて平面物体１０の反射率分布関数を算出する。
（ｅ）反射率分布関数を用いて見る角度や光の入射角度の違いによる平面物体１０の反射色の変化を表示部５０に表示するステップ
なお、（ｄ）ステップは、さらに、
（ｄ１）拡散反射画像を用いて拡散反射率分布関数を算出する
（ｄ２）差分画像を用いて鏡面反射率分布関数を算出する
の２ステップを含む。１又は複数のプロセッサは、ＣＰＵあるいはＧＰＵで構成され得る。表示部５０は液晶ディスプレイや有機ＥＬディスプレイで構成される。パラメータ調整部４０、光源情報取得部４４及びカメラ情報取得部４６は、キーボードやマウス、タッチパネル等の入力装置で構成され得る。
コンピュータは、図１に示す質感スキャナ５に直接接続されていてもよく、ネットワーク経由で質感スキャナ５及びサーバに接続されていてもよい。コンピュータには、ＰＣ、タブレット端末、スマートフォン等が含まれ、例えば傾きセンサを備えるタブレット端末が含まれる。
３．反射率分布関数
次に、反射率分布関数について説明する。
図５は、双方向反射率分布関数（ＢＲＤＦ）の幾何条件を示す。ＢＲＤＦは、反射表面上のある地点ｘに対して、光源方向Ｌの微小立体角から入射する光の放射照度ｄＥに対する視線方向Ｖの微小立体角への反射光の放射輝度ｄＬ０の割合を表す関数である。一般的にはゴニオフォトメータ等の入射角や受光角を変更できる計測器で測定される。この測定値は、実測ＢＲＤＦと称される。
ＢＲＤＦは、以下の式で表現される。
Figure 0007027807000001
図６は、シルバートナーを用いてカバレッジを変化させて電子写真方式で出力した印刷物の実測ＢＲＤＦの例を示す。光源方向ベクトルＬと視線方向ベクトルＶが同一平面上にあり（φ成分はなし）、入射角θｉが４５°で、横軸は受光角θ０を示す。入射角が４５°の場合の鏡面反射角度は４５°である。
この図より、シルバートナーのカバレッジ（金属光沢）が高いほど、鏡面反射光輝度が高くなる。
次に、実測ＢＲＤＦを用いて反射モデルを生成する。反射モデルには、
Ｌａｍｂｅｒｔ反射モデルとＰｈｏｎｇ反射モデル
を用い得る。
図７は、Ｌａｍｂｅｒｔ反射モデルとＰｈｏｎｇ反射モデルの幾何条件を示す。
Ｉｉ：入射光強度
ρｄ：拡散反射率
θｉ：入射角
ρｓ：鏡面反射率
ｎ：鏡面反射指数
γ：鏡面反射方向と視線方向のなす角
とすると、反射光強度Ｉは
Figure 0007027807000002
 で表現される。この反射モデルにおいて、
ρｄ：拡散反射率
ρｓ：鏡面反射率
ｎ：鏡面反射指数
の各パラメータを実測ＢＲＤＦから非線形回帰分析で推定する。
図８は、反射モデルでのパラメータ推定の例で、図６に示す低カバレッジの場合の実測ＢＲＤＦにフィッティングした予測ＢＲＤＦを示す。
ＢＲＤＦを取得する手法では、入射角や受光角を変更して反射率分布を測定するためデータの取得に時間がかかる。また、取得したＢＲＤＦから非線形回帰分析で反射モデルの係数を最適化する必要がある。さらに、測定器のセンサがエリアセンサでない場合（例えば、フォトマルの場合）には、測定領域内の平均的なＢＲＤＦしか取得できないため、領域ごとに不均一なＢＲＤＦを持つ物体表面のＢＲＤＦを取得することが困難である。また、物体表面の面積が大きくなることに応じて物体表面のＢＲＤＦを取得することの困難性が増大する。
これに対し、本実施形態では、拡散反射画像から拡散反射率分布関数を算出するとともに、差分画像から鏡面反射率分布関数を算出する。差分画像は、平面物体１０の光沢部分のみが正確に抽出されているため、これに基づいて２次元平面の画素ごとの鏡面反射率分布関数が高精度に算出され得る。これにより、ＢＲＤＦを取得することなく、少ない画像データを用いた簡易な演算で物体表面の質感を表示できる。
具体的には、反射率分布関数算出部４２は、拡散反射率分布関数算出部３６で得られた拡散反射率分布関数と、鏡面反射率分布関数算出部３８で得られた鏡面反射率分布関数を用いて、Ｌａｍｂｅｒｔの反射モデルとＰｈｏｎｇの反射モデルに従い、
Figure 0007027807000003
 により２次元平面の反射光強度Ｉ（ｘ，ｙ）を算出する。ここで、
｛ｗｄ・Ｇｄ（ｘ，ｙ）・ｃｏｓθｉ｝：拡散反射率分布関数
ｗｄ：拡散反射重み係数
Ｇｄ（ｘ，ｙ）：拡散反射画像
｛ｗｓ・｛Ｇｓ（ｘ，ｙ）―Ｇｄ（ｘ，ｙ）｝・ｃｏｓｎγ｝：鏡面反射率分布関数
ｗｓ：鏡面反射重み係数
Ｇｓ（ｘ，ｙ）：鏡面反射画像 ｎ：鏡面反射指数
である。差分画像は（鏡面反射画像－拡散反射画像）であり、差分値が負の画素は０とする。反射光強度Ｉ（ｘ，ｙ）は、拡散反射画像と鏡面反射画像のＲ，Ｇ，Ｂ成分のそれぞれについて別々に計算する。その結果、平面物体１０の反射色が算出される。
拡散反射率分布関数算出部３６は、拡散反射画像と拡散反射重み係数から拡散反射率を算出し、鏡面反射率分布関数算出部３８は、差分画像と鏡面反射重み係数から鏡面反射率を算出する。この反射モデルにおいて、拡散反射重み係数ｗｄと鏡面反射重み係数ｗｓ、鏡面反射指数ｎの各パラメータは、対象物体の反射特性や表示装置の出力特性に応じて、パラメータ調整部４０であらかじめ固定値で設定しておく。図６のシルバートナーのように同一素材の対象物体であれば、ｎを固定値で設定しても実物に近い光沢変化を再現できる。
本実施形態では、図１に示す質感スキャナ５を用いて入射角／受光角条件を固定しているため、カメラで撮影する場合のように多くの画像は必要とせず、また、ＢＲＤＦを取得し非線形回帰分析によるパラメータ推定を行わずに、拡散反射画像と差分画像から２次元平面の画素ごとの反射率分布関数が算出される。
図９は、表示部５０に表示される平面物体１０の画像例（ＣＧ画像）を示す。平面物体１０は、図２で示した、シアン＋シルバートナー、マゼンタ＋シルバートナー、マゼンタトナー、シアントナーを用いてカバレッジを変化させて電子写真方式で出力した印刷物である。光源情報取得部４４で取得された光源情報（光源方向）と、カメラ情報取得部４６で取得されたカメラ情報（視線方向）とに基づいて、レンダリング部４８でレンダリングして得られる画像である。光源は平面物体の法線方向（光源入射角０°）に配置されている。図９（ａ）は、カメラが平面物体の法線方向に対し４５°傾いた方向に配置され、平面物体１０を斜めから視認した拡散反射画像であり、図９（ｂ）は、カメラが平面物体の法線方向に配置され、平面物体１０を正面から視認した鏡面反射画像である。カメラの位置を変更させて見る角度の違いによる反射色の変化、特にその光沢の変化が表示される。具体的には、シルバートナーを含む金属光沢領域とその反射率の違いが明瞭に現れる。
図１０は、表示部５０に表示される平面物体１０の他の画像例（ＣＧ画像）を示す。図４に示す表示装置として傾きセンサを備えるタブレット端末とし、タブレット端末の傾きに応じて光源の位置を変更させて平面物体１０の光沢の変化を表示する例である。カメラは平面物体の法線方向に配置されている。図１０（ａ）は、タブレット端末を傾けて平面物体１０へ斜めから光を入射させた（光源入射角４５°）拡散反射画像であり、図１０（ｂ）は、タブレット端末の角度を変えて平面物体１０へ正面から光を入射させた（光源入射角０°）鏡面反射画像である。光源の位置を変更させて光の入射角度の違いによる平面物体１０の光沢の変化を動的に表示することで、平面物体１０の質感が３次元ＣＧでリアルに再現される。
本実施形態を要約すると以下の通りである。すなわち、平面物体１０の反射色を表示するためには、
・Ｌａｍｂｅｒｔの反射モデルやＰｈｏｎｇの反射モデル等のパラメータを求めておき、反射モデルを使って表示する方法
・多数の角度の拡散反射画像や鏡面反射画像を取得し、画像の補間で表示する方法
の大きく２つの方法がある。
このうち、後者の方法では膨大な角度条件の画像が必要になり演算量が増大する。他方で、前者の方法では実施形態のように質感スキャナ５で取得した拡散反射画像と鏡面反射画像から拡散反射率と鏡面反射率を求める場合と、カメラで取得した拡散反射画像と鏡面反射画像から拡散反射率と鏡面反射率を求める場合があり得る。質感スキャナ５であれば拡散反射画像と鏡面反射画像の単純な差分から２次元平面の画素ごとの鏡面反射率が算出されるが、カメラでは単純な差分では光沢のムラができてしまい２次元平面の光沢情報を正確に抽出できず、このためカメラでは多数の画像を取得して多数の画像から推定して求める必要が生じる。結果として、カメラより質感スキャナ５の方が演算量が少なくなる。
＜実施形態２＞
実施形態２では、拡散反射画像と鏡面反射画像の差分画像として、（鏡面反射画像－拡散反射画像）と（拡散反射画像－鏡面反射画像）の２つの差分画像を用いる。
具体的には、反射率分布関数算出部４２は、拡散反射率分布関数算出部３６で得られた拡散反射率分布関数と、鏡面反射率分布関数算出部３８で得られた鏡面反射率分布関数を用いて、Ｌａｍｂｅｒｔの反射モデルとＰｈｏｎｇの反射モデルに従い、
Figure 0007027807000004
 により２次元平面の反射光強度Ｉ（ｘ，ｙ）を算出する。ここで、
｛ｗｄ・Ｇｄ（ｘ，ｙ）・ｃｏｓθｉ｝：拡散反射率分布関数
ｗｄ：拡散反射重み係数
Ｇｄ（ｘ，ｙ）：拡散反射画像
｛ｗｓ１・｛Ｇｓ（ｘ，ｙ）―Ｇｄ（ｘ，ｙ）｝・ｃｏｓｎ１γ｝：第１鏡面反射率分布関数
Ｇｓ（ｘ，ｙ）：鏡面反射画像
｛ｗｓ２・｛Ｇｄ（ｘ，ｙ）―Ｇｓ（ｘ，ｙ）｝・ｃｏｓｎ２γ｝：第２鏡面反射率分布関数
ｗｓ１、ｗｓ２：鏡面反射重み係数
ｎ１、ｎ２：鏡面反射指数である。差分画像は（鏡面反射画像－拡散反射画像）と（拡散反射画像－鏡面反射画像）であり、差分値が負の画素は０とする。
拡散反射率分布関数算出部３６は、拡散反射画像と拡散反射重み係数から拡散反射率を算出し、鏡面反射率分布関数算出部３８は、２つの差分画像と２つの鏡面反射重み係数から鏡面反射率を算出する。
この反射モデルにおいて、拡散反射重み係数ｗｄと鏡面反射重み係数ｗｓ１，ｗｓ２、鏡面反射指数ｎ１，ｎ２の各パラメータは、対象物体の反射特性や表示装置の出力特性に応じて、パラメータ調整部４０であらかじめ固定値で設定しておく。
図１１は、本実施形態における図１に示す質感スキャナで得られる平面物体１０の拡散反射画像、鏡面反射画像、差分画像の例を示す。平面物体１０はパール顔料を含む素材で、各画素からの反射光が、鏡面反射方向だけでなく様々な角度方向に広がる画像である。
図１１（ａ）は拡散反射画像、図１１（ｂ）は鏡面反射画像、図１１（ｃ）、（ｄ）は差分画像であり、図１１（ｃ）は（鏡面反射画像－拡散反射画像）であり、図１１（ｄ）は（拡散反射画像－鏡面反射画像）である。実施形態１とは異なり、（鏡面反射画像－拡散反射画像）の差分値が負となる画素が増えるため、（鏡面反射画像－拡散反射画像）の差分値が負となる（拡散反射画像－鏡面反射画像）の差分画像を追加して、鏡面反射率分布関数を算出する。拡散反射率分布関数は図１１（ａ）の画像から算出され、鏡面反射率分布関数は図１１（ｃ）、（ｄ）の画像から算出される。
図１２は、図１１の平面物体１０の画像例（ＣＧ画像）を示す。光源は平面物体の法線方向（光源入射角０°）に配置されている。図１２（ａ）は、カメラが平面物体の法線方向に対し４５°傾いた方向に配置され、平面物体１０を斜めから視認した拡散反射画像であり、図１２（ｂ）、（ｃ）は、カメラが平面物体の法線方向に配置され、平面物体１０を正面から視認した鏡面反射画像である。図１２（ｂ）は比較のため実施形態１の（鏡面反射画像－拡散反射画像）の差分画像で鏡面反射率分布関数を算出した画像で、図１２（ｃ）は実施形態２の（鏡面反射画像－拡散反射画像）と（拡散反射画像－鏡面反射画像）の２つの差分画像で鏡面反射率分布関数を算出した画像である。
実施形態１の図１２（ｂ）の画像では、実物の鏡面反射画像よりも明るく光る画素が増えてしまうが、実施形態２の図１２（ｃ）の画像では、（鏡面反射画像－拡散反射画像）の差分値が負となる画素を考慮しているため、実物に近い光沢を再現できる。
このように、ミクロな領域で鏡面反射率分布が異なる素材に対しても、少ない画像データを用いた簡易な演算で物体表面の質感を表示できる。
＜実施形態３＞
実施形態１と２では、平面物体の拡散反射画像と鏡面反射画像を質感スキャナで取得し、平面物体の質感としてＣＧで再現しているが、平面物体の拡散反射画像と鏡面反射画像を質感スキャナで取得し、立体物の質感としてＣＧで再現してもよい。
具体的には、図１３に示すように、形状情報取得部４５を追加し、質感を再現する３次元形状モデルを取得する。そして、光源情報取得部４４で取得された光源情報（光源方向）と、カメラ情報取得部４６で取得されたカメラ情報（視線方向）と、形状情報取得部で取得された形状情報に基づいて、仮想３次元空間内に設定された仮想スクリーン上に３次元モデルをレンダリング処理して立体物の質感をＣＧとして再現し、表示部５０に表示する。これにより、任意の３次元形状モデルに平面物体の質感を転写した際の反射色の変化を表示できる。
以上、本発明の実施形態について説明したが、本発明はこれらの実施形態に限定されるものではなく、種々の変形が可能である。
例えば、鏡面反射指数ｎは、２次元平面の各画素で同一の値を使用したが、
Figure 0007027807000005
 により、各画素に応じて変化させても良い。
例えば、
Figure 0007027807000006
 により、拡散反射画像と鏡面反射画像の差分画像の関数とし、差分画像の輝度が高くなるほどｎが高くなるように設定してもよい。
また、実施形態ではＰｈｏｎｇの反射モデルを用いているが、Ｔｏｒｒａｎｃｅ－Ｓｐａｒｒｏｗ反射モデル、あるいはＣｏｏｋ－Ｔｏｒｒａｎｃｅ反射モデルを用いてもよい。
図１４は、Ｔｏｒｒａｎｃｅ－Ｓｐａｒｒｏｗの反射モデルを示す。
Ｉｉ：入射光強度
ｗｓ：鏡面反射重み係数
Ｇｓ（ｘ，ｙ）：鏡面反射画像
Ｇｄ（ｘ，ｙ）：拡散反射画像
α：入射角と反射角の２等分線が法線となす角
σ：表面粗さ
θｒ：反射角
とすると、２次元平面の鏡面反射光強度Ｉｓ（ｘ，ｙ）は、
Figure 0007027807000007
 で表現される。この反射モデルにおいて、鏡面反射重み係数ｗｓ、表面粗さσの各パラメータは、対象物体の反射特性や表示装置の出力特性に応じて、パラメータ調整部４０であらかじめ固定値で設定しておく。
また、Ｃｏｏｋ－Ｔｏｒｒａｎｃｅの反射モデルは、
Ｉｉ：入射光強度
ｗｓ：鏡面反射重み係数
Ｇｓ（ｘ，ｙ）：鏡面反射画像
Ｇｄ（ｘ，ｙ）：拡散反射画像
α：入射角と反射角の２等分線が法線となす角
ｍ：表面粗さ
θｒ：反射角
とすると、２次元平面の鏡面反射光強度Ｉｓ（ｘ，ｙ）は、
Figure 0007027807000008
 で表現される。この反射モデルにおいて、鏡面反射重み係数ｗｓ、表面粗さｍの各パラメータは、対象物体の反射特性や表示装置の出力特性に応じて、パラメータ調整部４０であらかじめ固定値で設定しておく。
また、拡散反射重み係数ｗｄと鏡面反射重み係数ｗｓ、鏡面反射指数ｎなどのパラメータはパラメータ調整部４０であらかじめ設定しておいたが、表示部５０にパラメータ調整機能を表示し、表示部でパラメータを変更してＣＧ画像の反射色を変化させてもよい。
例えば重み係数を種々変化させ、一定の評価関数を用いて反射率分布関数を評価し、相対的に評価値の高い反射率分布関数を選択するように構成してもよく、重み係数を種々変化させたＣＧ画像を表示部５０に順次表示し、利用者が最適と考える重みを選択し得る構成としてもよい。
また、実施形態では、図４に示すように表示装置２５の差分画像取得部３４で差分画像を演算しているが、図１に示す質感スキャナが演算部を備え、拡散反射画像と鏡面反射画像の差分を演算して外部に出力する構成でもよい。
図１５は、質感スキャナ５の他の構成を示す。図１に示す質感スキャナ５の構成に加え、演算部２３を備える。演算部２３は、拡散反射画像と鏡面反射画像の差分を演算して差分画像を生成して外部装置に出力する。従って、質感スキャナ５は、拡散反射画像と、鏡面反射画像と、差分画像を出力インターフェイスから外部装置に出力する。差分画像は、拡散反射画像－鏡面反射画像と、鏡面反射画像－拡散反射画像の少なくともいずれかである。外部装置は表示装置２５でもよく外部のサーバでもよい。あるいはＵＳＢメモリやＳＤメモリ等の可搬性メモリでもよい。
また、図４に示す表示装置で作成され表示されたＣＧ画像を適宜、ネットワークを介してサーバに登録し、ＣＧ画像のデータベースを構成してもよい。
図１６は、変形例におけるシステム構成を示す。質感スキャナ５と、サーバ１００と、表示装置２５がネットワークを介してデータ送受信可能に接続される。質感スキャナ５で得られた拡散反射画像、鏡面反射画像、及び差分画像はネットワークを介してサーバ１００に送信され、記憶される。表示装置２５は、サーバ１００にアクセスして拡散反射画像、鏡面反射画像、及び差分画像を取得し、反射率分布関数を算出して反射色を表示部５０に表示する。また、表示装置２５で表示されたＣＧ画像は、通信インターフェイス及びネットワークを介してサーバ１００に送信されて記憶され、他の表示装置からの要求に応じて当該他の表示装置に送信される。サーバ１００は、表示装置２５からアップロードされたＣＧ画像を例えばサムネイル形式で他の表示装置に一覧表示し、当該他の表示装置での選択に供してもよい。
５ 質感スキャナ、１０ 平面物体、１２ プラテンガラス、１４ キャリッジ、１６，１８，２０ 光源、２２ センサ、２５ 表示装置、１００ サーバ。

Claims (7)

  1. 物体表面の拡散反射画像を取得する拡散反射画像取得部と、
    前記物体表面の鏡面反射画像を取得する鏡面反射画像取得部と、
    前記拡散反射画像と前記鏡面反射画像の差分画像を取得する差分画像取得部と、
    前記拡散反射画像と前記差分画像を用いて物体表面の反射率分布関数を算出する反射率分布関数算出部と、
    前記反射率分布関数を用いて前記物体表面の向きの変化に応じた前記物体表面の反射色を表示する表示部と、
    を備え、
    前記差分画像取得部は、前記差分画像として、前記鏡面反射画像から前記拡散反射画像を減算した画像と、前記拡散反射画像から前記鏡面反射画像を減算した画像を取得し、
    前記反射率分布関数算出部は、前記拡散反射画像から算出される拡散反射率分布関数と、前記鏡面反射画像から前記拡散反射画像を減算した画像から算出される第１鏡面反射率分布関数と、前記拡散反射画像から前記鏡面反射画像を減算した画像から算出される第２鏡面反射率分布関数から前記反射率分布関数を算出する、
    表示装置。
  2. 前記反射率分布関数は、重みをｗ１及びｗ２として、前記拡散反射率分布関数と、第１鏡面反射率分布関数に前記重みｗ１を乗じた関数と、前記第２鏡面反射率分布関数に前記重みｗ２を乗じた関数から前記反射率分布関数を算出し、前記重みｗ１及び前記重みｗ２を変化させて前記反射率分布関数を算出する
    請求項１に記載の表示装置。
  3. 前記拡散反射画像と前記鏡面反射画像は、物体表面に対する照射の入射角度が第１入射角度である第１光源及び前記第１入射角度と異なる第２入射角度である第２光源を備えるスキャナで走査して得られた画像である
    請求項１、２のいずれかに記載の表示装置。
  4. 前記第１入射角度は４５°であり、前記第２入射角度は５°～１０°である
    請求項３に記載の表示装置。
  5. 互いにネットワークに接続されたスキャナ、サーバ、及び表示装置を備え、
    前記スキャナは、
    物体表面に対する照射の入射角度が第１入射角度である第１光源と、
    前記物体表面に対する照射の入射角度が前記第１入射角度と異なる第２入射角度である第２光源と、
    前記第１入射角度で照射して得られる前記物体表面の拡散反射画像と、前記第２入射角度で照射して得られる前記物体表面の鏡面反射画像を出力する出力部と、
    を備え、
    前記表示装置は、
    前記スキャナで得られた前記拡散反射画像を取得する拡散反射画像取得部と、
    前記スキャナで得られた前記鏡面反射画像を取得する鏡面反射画像取得部と、
    前記拡散反射画像と前記鏡面反射画像の差分画像を取得する差分画像取得部と、
    前記拡散反射画像と前記差分画像を用いて物体表面の反射率分布関数を算出する反射率分布関数算出部と、
    前記反射率分布関数を用いて前記物体表面の向きの変化に応じた前記物体表面の反射色を表示する表示部と、
    前記表示部に表示された前記物体表面の反射色を前記サーバに送信する送信部と、
    を備え、
    前記差分画像取得部は、前記差分画像として、前記鏡面反射画像から前記拡散反射画像を減算した画像と、前記拡散反射画像から前記鏡面反射画像を減算した画像を取得し、
    前記反射率分布関数算出部は、前記拡散反射画像から算出される拡散反射率分布関数と、前記鏡面反射画像から前記拡散反射画像を減算した画像から算出される第１鏡面反射率分布関数と、前記拡散反射画像から前記鏡面反射画像を減算した画像から算出される第２鏡面反射率分布関数から前記反射率分布関数を算出する、
    表示システム。
  6. 互いにネットワークに接続されたスキャナ、サーバ、及び表示装置を備え、
    前記スキャナは、
    物体表面に対する照射の入射角度が第１入射角度である第１光源と、
    前記物体表面に対する照射の入射角度が前記第１入射角度と異なる第２入射角度である第２光源と、
    前記第１入射角度で照射して得られる前記物体表面の拡散反射画像と、前記第２入射角度で照射して得られる前記物体表面の鏡面反射画像を出力する出力部と、
    を備え、
    前記サーバは、
    前記スキャナで得られた前記拡散反射画像を取得する拡散反射画像取得部と、
    前記スキャナで得られた前記鏡面反射画像を取得する鏡面反射画像取得部と、
    前記拡散反射画像と前記鏡面反射画像の差分画像を取得する差分画像取得部と、
    前記拡散反射画像と前記差分画像を用いて物体表面の反射率分布関数を算出する反射率分布関数算出部と、
    前記反射率分布関数を前記表示装置に送信する送信部と、
    を備え、
    前記表示装置は、
    前記反射率分布関数を用いて前記物体表面の向きの変化に応じた前記物体表面の反射色を表示する表示部、
    を備え、
    前記差分画像取得部は、前記差分画像として、前記鏡面反射画像から前記拡散反射画像を減算した画像と、前記拡散反射画像から前記鏡面反射画像を減算した画像を取得し、
    前記反射率分布関数算出部は、前記拡散反射画像から算出される拡散反射率分布関数と、前記鏡面反射画像から前記拡散反射画像を減算した画像から算出される第１鏡面反射率分布関数と、前記拡散反射画像から前記鏡面反射画像を減算した画像から算出される第２鏡面反射率分布関数から前記反射率分布関数を算出する、
    表示システム。
  7. コンピュータに、
    物体表面の拡散反射画像を取得してメモリに記憶するステップと、
    前記物体表面の鏡面反射画像を取得してメモリに記憶するステップと、
    前記拡散反射画像と前記鏡面反射画像の差分画像を取得してメモリに記憶するステップと、
    前記拡散反射画像と前記差分画像を用いて物体表面の反射率分布関数を算出するステップと、
    前記反射率分布関数を用いて前記物体表面の向きの変化に応じた前記物体表面の反射色を表示部に表示するステップと、
    を実行させ、
    前記差分画像として、前記鏡面反射画像から前記拡散反射画像を減算した画像と、前記拡散反射画像から前記鏡面反射画像を減算した画像を取得し、
    前記反射率分布関数を算出するステップでは、前記拡散反射画像から算出される拡散反射率分布関数と、前記鏡面反射画像から前記拡散反射画像を減算した画像から算出される第１鏡面反射率分布関数と、前記拡散反射画像から前記鏡面反射画像を減算した画像から算出される第２鏡面反射率分布関数から前記反射率分布関数を算出する、
    プログラム。
JP2017209558A 2017-10-30 2017-10-30 表示装置、スキャナ、表示システム及びプログラム Active JP7027807B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2017209558A JP7027807B2 (ja) 2017-10-30 2017-10-30 表示装置、スキャナ、表示システム及びプログラム
US15/984,440 US10606545B2 (en) 2017-10-30 2018-05-21 Display apparatus, scanner, and non-transitory computer readable medium
CN201810728962.7A CN109724945B (zh) 2017-10-30 2018-07-05 显示装置、扫描器、显示系统以及计算机可读介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017209558A JP7027807B2 (ja) 2017-10-30 2017-10-30 表示装置、スキャナ、表示システム及びプログラム

Publications (2)

Publication Number Publication Date
JP2019082838A JP2019082838A (ja) 2019-05-30
JP7027807B2 true JP7027807B2 (ja) 2022-03-02

Family

ID=66245458

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017209558A Active JP7027807B2 (ja) 2017-10-30 2017-10-30 表示装置、スキャナ、表示システム及びプログラム

Country Status (3)

Country Link
US (1) US10606545B2 (ja)
JP (1) JP7027807B2 (ja)
CN (1) CN109724945B (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPWO2016181804A1 (ja) * 2015-05-08 2018-03-08 ソニー株式会社 画像処理装置および方法
JP7409014B2 (ja) 2019-10-31 2024-01-09 富士フイルムビジネスイノベーション株式会社 表示装置
JP7463697B2 (ja) 2019-11-01 2024-04-09 Ｔｏｐｐａｎホールディングス株式会社 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム
JP7367563B2 (ja) 2020-03-02 2023-10-24 マツダ株式会社 照り評価装置および該方法
KR20220066168A (ko) * 2020-03-30 2022-05-23 쉔젠 하이퍼나노 옵틱스 테크놀로지 코., 엘티디 측정 대상 물질의 스펙트럼 정보를 추출하는 방법
US11474037B2 (en) 2020-06-01 2022-10-18 Waymo Llc Retro-reflectometer for measuring retro-reflectivity of objects in an outdoor environment comprising a lock-in amplifier coupled to an optical modulator and an optical detector
DE102021101594B3 (de) * 2021-01-26 2022-01-05 Carl Zeiss Spectroscopy Gmbh Messanordnung zum Messen von diffus reflektiertem Licht und von spekular reflektiertem Licht
CN114322842B (zh) * 2021-12-09 2023-08-18 中国石油大学(华东) 一种基于改进Phong模型的高反光零件测量方法及系统
US20230206409A1 (en) * 2021-12-23 2023-06-29 Dell Products L.P. Method and System of Identifying and Correcting Environmental Illumination Light Sources Reflecting onto Display Surface

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003145733A (ja) 2001-11-08 2003-05-21 Fuji Photo Film Co Ltd 画像記録方法およびインクジェットプリンタ
JP2010135920A (ja) 2008-12-02 2010-06-17 Fuji Xerox Co Ltd 読取装置及び画像形成装置

Family Cites Families (21)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5764874A (en) * 1994-10-31 1998-06-09 Northeast Robotics, Inc. Imaging system utilizing both diffuse and specular reflection characteristics
CN100367027C (zh) * 1995-10-27 2008-02-06 杰富意钢铁株式会社 表面缺陷的检查装置和方法
JP2003281565A (ja) 2002-03-20 2003-10-03 Japan Science & Technology Corp 表示デバイスの特性に依存しない光沢感再現方法
JP2005115645A (ja) 2003-10-07 2005-04-28 Digital Fashion Ltd シェーディング情報取得装置及び画像処理装置
CN100494986C (zh) * 2004-10-29 2009-06-03 夏普株式会社 镜面光泽预测装置、镜面光泽预测方法、控制程序及介质
JP4797593B2 (ja) * 2005-03-10 2011-10-19 富士ゼロックス株式会社 光沢測定装置及びプログラム
WO2007029446A1 (ja) * 2005-09-01 2007-03-15 Matsushita Electric Industrial Co., Ltd. 画像処理方法、画像処理装置及び画像処理プログラム
JP4779995B2 (ja) * 2007-02-28 2011-09-28 ソニー株式会社 画像表示装置及び電子機器
JP4917959B2 (ja) * 2007-05-09 2012-04-18 日本電信電話株式会社 知覚的な鏡面・拡散反射画像推定方法とその装置、及びプログラムと記憶媒体
CN101398940B (zh) * 2008-11-07 2011-12-07 北京航空航天大学 基于线性光源的真实物体材质反射属性建模方法
JP2010245918A (ja) * 2009-04-08 2010-10-28 Seiko Epson Corp 画像読取装置及び画像読取方法
JP5300672B2 (ja) 2009-09-14 2013-09-25 キヤノン株式会社 画像処理装置及び画像処理方法
US9267886B2 (en) * 2010-11-26 2016-02-23 Ricoh Company, Ltd. Optical sensor and image forming apparatus
WO2013081833A1 (en) * 2011-11-28 2013-06-06 U.S. Coatings Ip Co. Llc Colour recipe calculating method for matt colour standards
JP5900037B2 (ja) * 2012-03-08 2016-04-06 オムロン株式会社 画像処理装置およびその制御方法
JP5443533B2 (ja) * 2012-03-22 2014-03-19 株式会社東芝 画像処理装置、画像表示装置及び画像処理方法
JP6030396B2 (ja) * 2012-09-28 2016-11-24 日立マクセル株式会社 映像処理装置
JP2014240766A (ja) * 2013-06-11 2014-12-25 株式会社リケン 表面検査方法および表面検査装置
JP5851461B2 (ja) 2013-08-30 2016-02-03 本田技研工業株式会社 意匠層データ作成装置及び方法並びに意匠シュミレーション装置
DE102014221950B3 (de) * 2014-10-28 2016-04-21 Siemens Aktiengesellschaft Geräuschreduzierung bei selektiver MR-Anregung
JP2017129562A (ja) * 2016-01-20 2017-07-27 キヤノン株式会社 測定システム、情報処理装置、情報処理方法およびプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003145733A (ja) 2001-11-08 2003-05-21 Fuji Photo Film Co Ltd 画像記録方法およびインクジェットプリンタ
JP2010135920A (ja) 2008-12-02 2010-06-17 Fuji Xerox Co Ltd 読取装置及び画像形成装置

Also Published As

Publication number Publication date
JP2019082838A (ja) 2019-05-30
US20190129674A1 (en) 2019-05-02
US10606545B2 (en) 2020-03-31
CN109724945A (zh) 2019-05-07
CN109724945B (zh) 2023-09-19

Similar Documents

Publication Publication Date Title
JP7027807B2 (ja) 表示装置、スキャナ、表示システム及びプログラム
JP6661336B2 (ja) 構造体から光学信号を表すデータを取得するためのシステム、そのデータをマッピングする方法、および、非一過性コンピュータ読み取り可能媒体
US10055882B2 (en) System and method for three-dimensional scanning and for capturing a bidirectional reflectance distribution function
CN105847786B (zh) 用于确定色彩变换参数的系统和方法
Sitnik et al. Archiving shape and appearance of cultural heritage objects using structured light projection and multispectral imaging
Pitard et al. Discrete modal decomposition: a new approach for the reflectance modeling and rendering of real surfaces
JP2016186421A (ja) 画像処理方法
EP3381015A1 (en) Systems and methods for forming three-dimensional models of objects
JP7334458B2 (ja) 画像処理装置及び画像処理プログラム
KR101672537B1 (ko) 광학 파라미터를 이용한 3차원 객체 렌더링 장치
Hasegawa et al. Photometric approach to surface reconstruction of artist paintings
CN116091684B (zh) 基于WebGL的图像渲染方法、装置、设备及存储介质
Simonot et al. Modeling, measuring, and using BRDFs: significant French contributions
JP7409014B2 (ja) 表示装置
JP2009236696A (ja) 被写体の３次元画像計測方法、計測システム、並びに計測プログラム
Lucat et al. Diffraction removal in an image-based BRDF measurement setup
JP2007256211A (ja) 情報処理装置、反射光量算出方法、プログラム、コンピュータ読み取り可能な記録媒体
Ladefoged et al. Spatially-varying diffuse reflectance capture using irradiance map rendering for image-based modeling applications
JP7463697B2 (ja) 光沢取得状態算出装置、光沢取得状態算出方法、光沢取得状態算出プログラム、端末及び光沢取得状態表示プログラム
JP5482612B2 (ja) 分光反射率取得装置及び分光反射率取得方法
CN110192099A (zh) 测量装置、信息处理装置、信息处理方法和程序
Medina et al. Objective colorimetric validation of perceptually realistic rendering: a study of paint coating materials
Sitnik et al. Integrated shape, color, and reflectivity measurement method for 3D digitization of cultural heritage objects
Bärz et al. Validating photometric and colorimetric consistency of physically-based image synthesis
Ďurikovič et al. Measuring the Light Reflectance with Mobile Devices

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20200831

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20210623

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20210706

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210825

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220118

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220131

R150 Certificate of patent or registration of utility model

Ref document number: 7027807

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150