JP6254826B2 - カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム - Google Patents

カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム Download PDF

Info

Publication number
JP6254826B2
JP6254826B2 JP2013232192A JP2013232192A JP6254826B2 JP 6254826 B2 JP6254826 B2 JP 6254826B2 JP 2013232192 A JP2013232192 A JP 2013232192A JP 2013232192 A JP2013232192 A JP 2013232192A JP 6254826 B2 JP6254826 B2 JP 6254826B2
Authority
JP
Japan
Prior art keywords
color
illumination
dimensional
unit
dimensional object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2013232192A
Other languages
English (en)
Other versions
JP2015046142A5 (ja
JP2015046142A (ja
Inventor
浩一 戸塚
浩一 戸塚
磴 秀康
磴  秀康
龍介 小山内
龍介 小山内
那緒子 吉田
那緒子 吉田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2013232192A priority Critical patent/JP6254826B2/ja
Publication of JP2015046142A publication Critical patent/JP2015046142A/ja
Publication of JP2015046142A5 publication Critical patent/JP2015046142A5/ja
Application granted granted Critical
Publication of JP6254826B2 publication Critical patent/JP6254826B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46Colour picture communication systems
    • H04N1/56Processing of colour picture signals
    • H04N1/60Colour correction or control
    • H04N1/6083Colour correction or control controlled by factors external to the apparatus
    • H04N1/6086Colour correction or control controlled by factors external to the apparatus by scene illuminant, i.e. conditions at the time of picture capture, e.g. flash, optical filter used, evening, cloud, daylight, artificial lighting, white point measurement, colour temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106Processing image signals
    • H04N13/15Processing image signals for colour aspects of image signals
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/103Detecting, measuring or recording devices for testing the shape, pattern, colour, size or movement of the body or parts thereof, for diagnostic purposes
    • A61B5/1032Determining colour for diagnostic purposes
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61CDENTISTRY; APPARATUS OR METHODS FOR ORAL OR DENTAL HYGIENE
    • A61C19/00Dental auxiliary appliances
    • A61C19/04Measuring instruments specially adapted for dentistry
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/508Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour of teeth
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01JMEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/52Measurement of colour; Colour measuring devices, e.g. colorimeters using colour charts
    • G01J3/524Calibration of colorimeters
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • G06T11/001Texturing; Colouring; Generation of texture or colour
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/90Determination of colour characteristics
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20Image signal generators
    • H04N13/257Colour aspects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/84Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/643Hue control means, e.g. flesh tone control
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0077Devices for viewing the surface of the body, e.g. camera, magnifying lens
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/0059Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence
    • A61B5/0082Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes
    • A61B5/0088Measuring for diagnostic purposes; Identification of persons using light, e.g. diagnosis by transillumination, diascopy, fluorescence adapted for particular medical purposes for oral or dental tissue
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00Measuring for diagnostic purposes; Identification of persons
    • A61B5/44Detecting, measuring or recording for evaluating the integumentary system, e.g. skin, hair or nails
    • A61B5/441Skin evaluation, e.g. for skin disorder diagnosis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30004Biomedical image processing
    • G06T2207/30036Dental; Teeth

Landscapes

  • Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Public Health (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Dentistry (AREA)
  • Biomedical Technology (AREA)
  • Epidemiology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Pathology (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Image Processing (AREA)
  • Spectrometry And Color Measurement (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Facsimile Image Signal Circuits (AREA)
  • Color Image Communication Systems (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Color Television Image Signal Generators (AREA)

Description

本発明は、歯科カメラシステム、及び肌計測(診断)カメラシステム等のカメラシステム、色変換装置、色変換方法、及び色変換プログラムに関し、詳しくは、デジタルスチールカメラ(DSC)やデジタルビデオカメラ等のデジタルカメラで撮影された撮影画像を処理して測色画像を出力する色変換装置及び方法、このような色変換装置とデジタルカメラを含む撮影部を備えるカメラシステム、色変換方法を実行する色変換プログラムに関するものである。
従来、歯科においては、欠損した歯を義歯やブリッジで補綴する場合、人工歯や補綴物が使用されている。人工歯や補綴物は、アクリル樹脂や陶材等でつくられるが、患者の歯と色調が合致したものを選ぶ必要があるため、その色調が異なり、番号が付された複数の見本を一通り組み合せたシェードガイドと呼ばれる色リファレンス(色見本)が使用されている。このような色リファレンスの色調の選択及び番号の特定には、照明が使われず、直射日光の入らない明るい窓際で行われている。歯科技工士は、歯科医師によって特定された番号の色調になるように、人工歯や補綴物を作製している。
また、上述のような歯科では、シェードガイド等の色リファレンスを患者の歯等の被写体と並べて撮像し、撮影されたカラー画像中の被写体と色リファレンスの色を比較することで、現物被写体の色を推定する方法も行われている(特許文献1参照)。なお、皮膚科や美容カウンセリング等でも、色リファレンスを患者や対象者の皮膚表面等の被写体と並べて撮影して、同様の色推定方法が行われている。
さらに、歯科等では、対象物の表面に押し当てて、対象物に光照射し、対象物を多波長分光計測する撮像装置(特許文献2参照)等も用いられている。
特開平4−367658号公報 WO2004−36162号公報
ところで、シェードガイドの特定された色調の番号を用いるのものでは、歯科医師の要求する人工歯や補綴物の色調と、歯科技工士が作製する人工歯や補綴物の色調にズレが生じる恐れを解消できないという問題があった。
また、特許文献1に開示されている歯科カラーマネージメントシステム(CMS)等における歯科用補綴物の色彩調整方法では、光源を特定し、基準色表示部を設けたシェードガイド等の色リファレンスを患者の歯等の被写体と並べてカメラや撮像素子で撮像し、色リファレンスの基準色の実際の色と撮影されたカラー画像(写真やモニタ表示)中の色リファレンスの基準色の色とを比較するので、人工歯や補綴物の色調を、患者の実際の歯の色調に合わせることができるが、歯科医師が色リファレンスを片手で被写体近くに保持した状態で、もう一方の手でカメラによる撮像を行わなければならず、極めて作業性が悪く、ファインダを見ることもできないため構図やライティングも不適切な写真しか撮影できないという問題があった。
さらに、特許文献2に開示されている歯科CMS等の画像処理システムでは、撮像装置によって対象物を多波長分光計測することができるので、高度に色再現でき、色調の調整も高度に行うことができるが、画像処理システムの撮像装置や処理装置が、非常に高額である上に専用装置であり、一般撮影等には使えず一般には浸透していないという問題があった。
これに対し、通常の被写体の撮影では、通常のRGB3色のデジタルカメラをカラーチャート等でキャリブレーションする方法も知られており、精度良くテーブル作成することにより、色差ΔEが2以下となるようにすることもできる。このため、この程度の精度であれば、歯科インプラント等の人工歯や補綴物の作製には十分な精度となるため、汎用のデジタルカメラを用いることができる安価な計測システムとして期待されていた。
しかしながら、歯科等において、シェードガイド等の色リファレンスを用いて、人工歯や補綴物のような立体物を撮影して色調調整を行う場合には、高精度な色調調整が必要となるため、通常の被写体の撮影に用いられる通常のRGB3色のデジタルカメラを利用するに至っていないという問題があった。
本発明の第1の目的は、上記従来技術の問題点を解消し、高価な専用の撮像装置を用いる必要が無く、汎用のRGB3色のデジタルカメラによる簡単な撮影を可能とし、しかも、照明幾何学条件や照明光質条件等の照明条件に応じて立体的な物体からなる立体被写体を撮影した画像データを精度よく測色値に変換して出力することができるカメラシステム、歯科カメラシステム、肌計測カメラシステム、色変換装置、色変換方法、及び色変換プログラムを提供することにある。
また、本発明の第2の目的は、上記第1の目的に加え、立体被写体の撮影画像データの測色値と共に、撮影された立体被写体の光沢感を出力することができるカメラシステム、歯科カメラシステム、肌計測カメラシステム、色変換装置、色変換方法、及び色変換プログラムを提供することにある。
また、本発明の第3の目的は、上記第1の目的及び第2の目的に加え、撮影された立体被写体の全体の立体構造のみならず、立体被写体の表面のテクスチャ等の微小な立体構造に対しても、精度の良い色再現をすることができ、表面の凹凸感を得ることができるカメラシステム、歯科カメラシステム、肌計測カメラシステム、色変換装置、色変換方法、及び色変換プログラムを提供することにある。
上記課題を解決するために、本発明者は鋭意研究を重ねた結果、上記問題点を明確にするために、例えば、RGB3色のデジタルカメラをカラーチャート等でキャリブレーションする方式によって、立体物をデジタルカメラ(DSC)で撮影し、カラーチャートを用いて高精度に作成した変換テーブルでカラー画像を測色変換した処、当該立体物の色は、基準測定器の値とは大きく異なる値になることを知見した。そこで、再度カラーチャートのパッチ数を増やす等の処置を行い、変換精度を高めて試行してみたが、結果は改善しないことを知見した。このため、このような色ズレには光量バラツキが影響するものと推定し、白色板を入れて光量制御することも試みたが、必ずしも安定化しないことを知見した。つまり、上記方式でカラーチャート等は、高精度に色計測できても、立体物では十分な精度が出せないものであることを知見した。その結果、立体物の近接撮影においては、立体物に対する測定角度を少なくとも含む照明幾何学条件及び照明光質条件等の照明条件を考慮することにより、安価な汎用のデジタルカメラを用いて撮影した患者の歯や人間の皮膚、肌や体腔内壁等の被写体のカラー画像を高精度に測色変換できることを知見し、本発明に至ったものである。
即ち、本発明の第1の態様のカメラシステムは、立体被写体を撮影して画像データを取得する撮影部と、予め、基準測色値がそれぞれ付与された、複数の基準色立体物を、撮影部によってそれぞれ撮影して得られた画像データと、これに対応する基準測色値とからそれぞれ算出された複数の変換関係が、基準色立体物の撮影における照明幾何学条件を含む複数の照明条件にそれぞれ関連付けられた、複数の立体色プロファイルを格納するデータベースと、このデータベースに格納された複数の立体色プロファイルの中から、立体被写体の撮影時の照明条件に基づいて、この照明条件に対応する立体色プロファイルを選択する選択部と、この選択部によって選択された立体色プロファイルに基づいて、撮影部によって撮影された立体被写体の撮影画像の画像データから測色値への色変換を行う色変換部を有することを特徴とする。
ここで、複数の基準色立体物は、3色以上の基準色立体物であり、
複数の立体色プロファイルは、3色以上の基準色立体物のそれぞれに対して、複数の照明条件に応じてそれぞれ作成されていることが好ましい。
また、本発明の第2の態様のカメラシステムは、立体被写体を撮影して画像データを取得する撮影部と、予め、基準測色値が付与された、立体被写体の類似色の1色以上の基準色立体物に対して、撮影部による撮影時における照明幾何学条件を含む複数の照明条件が関連付けられた複数の立体色補正プロファイルを格納するデータベースと、立体被写体の撮影時の照明条件に基づいて、データベースに格納された複数の立体色補正プロファイルの中から、対応する立体色補正プロファイルを選択する選択部と、予め基準測色値が付与された複数の平面色票を撮影して得られた画像データと、基準測色値とから算出された変換関係、及び選択部によって選択された立体色補正プロファイルに基づいて、撮影部によって撮影された立体被写体の撮影画像の画像データから測色値への色変換を行う色変換部を有することを特徴とする。
ここで、上記第2の態様において、1色以上の基準色立体物は、立体被写体の類似色の1色の基準色立体物であり、複数の立体色補正プロファイルは、1色の基準色立体物に対して、複数の照明条件に応じてそれぞれ作成されており、複数の平面色票は、3色以上の平面色票であることが好ましい。
また、変換関係は、平面色プロファイルであり、色変換部は、撮影画像の画像データを、平面色プロファイルを用いて撮影画像の中間測色値に色変換すると共に、色変換された撮影画像の中間測色値を、選択された立体色補正プロファイルを用いて色補正して撮影画像の測色値を作成することが好ましい。
又は、変換関係は、平面色プロファイルであり、色変換部は、平面色プロファイルと選択された立体色補正プロファイルとを用いて立体色プロファイルを作成し、作成された立体色プロファイルに基づいて、立体被写体の撮影画像の画像データから撮影画像の測色値への色変換を行うことが好ましい。
また、上記第1及び第2の態様において、基準色立体物は、立体被写体と同一又は類似の、曲面、立体形状、表面の凹凸形状及び層構造の少なくとも1つを持ち、立体被写体の類似物質の立体物からなることが好ましい。
また、基準色立体物には、立体被写体と類似の、半透明性、不透明性、光散乱性、乳白色及び/又は肌色の色味の少なくとも1つを備える基準色立体物が含まれることが好ましい。
また、撮影部は、デジタルカメラを備え、照明幾何学条件は、光源、デジタルカメラ、及び立体被写体又は基準色立体物の3者の幾何学的位置情報を含むことが好ましい。
また、照明幾何学条件は、立体被写体又は基準色立体物に対する光源の照明角度及び照明距離の少なくとも1つであることが好ましい。
また、上記第1及び第2の態様においては、さらに、立体被写体の撮影時の照明条件を判断する条件判断部を有し、選択部は、条件判断部によって判断された照明条件に基づいて、データベースから、照明条件に対応する立体色プロファイル又は立体色補正プロファイルを選択することが好ましい。
また、照明条件は、照明幾何学条件に加え、さらに、撮影時の照明光の照明光質条件を含み、条件判断部は、照明幾何学条件及び照明光質条件を判断することが好ましい。
また、条件判断部は、撮影部から立体被写体の撮影時の付帯情報を取得する付帯情報取得部、立体被写体の撮影画像の画像解析を行う画像解析部、及び予め設定された判断条件組み合せリストを備える条件リスト参照部の少なくとも1つを有し、付帯情報取得部が取得した付帯情報、画像解析部の解析結果、及び条件リスト参照部のリストの中の選択結果の少なくとも1つから、照明条件を判断することが好ましい。
また、上記第1及び第2の態様においては、さらに、色変換部で色変換された立体被写体の測色画像データに基づいて立体被写体の光沢感を判断する光沢判断部を有することが好ましい。
また、光沢判断部は、立体被写体の測色画像データから求められる明度及び立体被写体に写像された光源像の鮮明度に基づいて光沢感を求めることが好ましい。
また、本発明の第3の態様の歯科カメラシステムは、上記第1及び第2の態様のカメラシステムを有し、立体被写体は、人間の歯であり、基準色立体物は、人間の歯と類似の、半透明性、光散乱性及び乳白色の色味を備えていることを特徴とする。
また、本発明の第4の態様の肌計測カメラシステムは、上記第1、及び第2の態様のカメラシステムを有し、立体被写体は、人間の皮膚(肌)であり、基準色立体物は、人間の皮膚(肌)と類似の、半透明性又は不透明性、光散乱性、及び乳白色又は肌色の色味の少なくとも1つを備えていることを特徴とする。
また、本発明の第5の態様の色変換装置は、予め、基準測色値がそれぞれ付与された、複数の基準色立体物を、それぞれ撮影して得られた画像データと、これに対応する基準測色値とからそれぞれ算出された複数の変換関係が、基準色立体物の撮影における照明幾何学条件を含む複数の照明条件にそれぞれ関連付けられた、複数の立体色プロファイルを格納するデータベースと、このデータベースに格納された複数の立体色プロファイルの中から、立体被写体の撮影時の照明条件に基づいて、この照明条件に対応する立体色プロファイルを選択する選択部と、この選択部によって選択された立体色プロファイルに基づいて、撮影された立体被写体の撮影画像の画像データから測色値への色変換を行う色変換部を有することを特徴とする。
また、本発明の第6の態様の色変換装置は、予め、基準測色値が付与された、立体被写体の類似色の1色以上の基準色立体物に対して、撮影時における照明幾何学条件を含む複数の照明条件が関連付けられた複数の立体色補正プロファイルを格納するデータベースと、立体被写体の撮影時の照明条件に基づいて、データベースに格納された複数の立体色補正プロファイルの中から、対応する立体色補正プロファイルを選択する選択部と、予め基準測色値が付与された複数の平面色票を撮影して得られた画像データと、基準測色値とから算出された変換関係、及び選択部によって選択された立体色補正プロファイルに基づいて、撮影された立体被写体の撮影画像の画像データから測色値への色変換を行う色変換部を有することを特徴とする。
また、本発明の第7の態様の色変換方法は、予め、基準測色値がそれぞれ付与された、複数の基準色立体物をそれぞれ撮影して得られた画像データと、これに対応する基準測色値とからそれぞれ算出された複数の変換関係が、基準色立体物の撮影における照明幾何学条件を含む複数の照明条件にそれぞれ関連付けられた、複数の立体色プロファイルを格納するデータベースを作成しておき、立体被写体を撮影して画像データを取得し、データベースに格納された複数の立体色プロファイルの中から、立体被写体の撮影時の照明条件に基づいて、この照明条件に対応する立体色プロファイルを選択し、選択された立体色プロファイルに基づいて、撮影された立体被写体の撮影画像の画像データから測色値への色変換を行うことを特徴とする。
また、本発明の第8の態様の色変換方法は、予め、基準測色値が付与された、立体被写体の類似色の1色以上の基準色立体物に対して、撮影時における照明幾何学条件を含む複数の照明条件が関連付けられた複数の立体色補正プロファイルを格納するデータベースを作成しておき、立体被写体を撮影して画像データを取得し、立体被写体の撮影時の照明条件に基づいて、データベースに格納された複数の立体色補正プロファイルの中から、対応する立体色補正プロファイルを選択し、予め基準測色値が付与された複数の平面色票を撮影して得られた画像データと、基準測色値とから算出された変換関係、及び選択された立体色補正プロファイルに基づいて、撮影された立体被写体の撮影画像の画像データから測色値への色変換を行うことを特徴とする。
また、本発明の第9の態様の色変換方法プログラムは、コンピュータに、上記第7又は第8の態様の色変換方法の各手順を実行させるための色変換プログラム、又は上記第7又は第8の態様の色変換方法の各ステップを手順としてコンピュータに行わせる色変換プログラムである。
本発明の各態様によれば、上記各構成により、高価な専用の撮像装置を用いる必要が無く、汎用のRGB3色のデジタルカメラ等による簡単な撮影を可能とし、しかも、予め基準色立体物を用いて作成され、照明幾何学条件や照明光質条件等の照明条件に応じて選択された立体色プロファイル、又は立体色補正プロファイル及び平面色プロファイルを用いて、立体的な物体からなる立体被写体を撮影して得られた画像データを精度よく測色値に変換して出力することができる。
また、本発明の各態様によれば、上記各構成により、上記効果に加え、撮影された立体被写体の表面のテクスチャ等の細部の微小な立体構造の色再現を向上させた凹凸感を得ることもでき、また、撮影された立体被写体の光沢感を得ることもできる。
本発明の第1の実施の形態に係る色変換装置を用いるカメラシステムの構成の一例を模式的に示すブロック図である。 図1に示すカメラシステムの撮影部及び撮影対象の立体被写体並びに基準色立体物の一例を模式的に示す模式図である。 図2に示すカメラシステムの撮影部のデジタルカメラ、光源及び立体被写体の3者の位置関係の一例を模式的に示す模式図である。 (A)、(B)、(C)及び(D)は、それぞれ図1に示すカメラシステムの色変換装置の条件判断部の構成の一例を模式的に示すブロック図である。 本発明の第2の実施の形態に係る色変換装置を用いるカメラシステムの構成の一例を模式的に示すブロック図である。 図5に示すカメラシステムの撮影部及び撮影対象の立体被写体並びに平面色票及び基準色立体物の一例を模式的に示す模式図である。 (A)および(B)は、図5に示すカメラシステムの色変換部を説明するための模式的なブロック図である。 本発明の第3の実施の形態に係る色変換装置を用いるカメラシステムの構成の一例を模式的に示すブロック図である。 本発明の第4の実施の形態に係る色変換装置を用いるカメラシステムの構成の一例を模式的に示すブロック図である。 (A)及び(B)は、図8に示すカメラシステムの色変換装置の光沢判断部で判断される写像鮮明度の異なる3値化後の立体被写体を示す模式図である。 (A)及び(B)は、それぞれ本発明に用いられる卵型(半卵型)の基準色立体物の一例を模式的に示す平面図及び側面図であり、(C)は、本発明に用いられる多面体型の基準色立体物の一例を模式的に示す平面図である。 カメラで撮影された本発明に用いられる傾斜表面を持つ基準色立体物の表面の反射光強度と傾斜角との関係を示すグラフである。 (A)及び(B)は、それぞれ鏡面反射領域を持つ立体被写体及びこの立体被写体の撮影画像の解析領域と解析対象外領域を示す模式図である。
以下に、本発明に係るカメラシステム、歯科カメラシステム、肌計測カメラシステム、色変換装置、色変換方法、色変換プログラム、及び記憶媒体を、添付の図面に示す好適実施形態に基づいて詳細に説明する。
図1は、本発明の第1の実施の形態に係る色変換装置を用いるカメラシステムの構成の一例を模式的に示すブロック図である。図2は、図1に示すカメラシステムの撮影部及び撮影対象の立体被写体並びに基準色立体物の一例を模式的に示す模式図である。
以下では、始めに、本発明に係るカメラシステムの具体例としては、歯科CMSにおける歯科カメラシステムを代表例に挙げて主として説明するが、本発明は、歯科カメラシステムに限定されず、肌計測(診断)カメラシステムや、内視鏡カメラシステム等の種々のカメラシステムに適用可能なことはもちろんである。
図1に示すように、カメラシステム10は、立体被写体を撮影して3色の画像データを取得する撮影部12と、撮影部12で取得された画像データを測色値に色変換する色変換装置14とを有する。
撮影部12は、図2に示すように、デジタルカメラ(デジタルスチールカメラ:DSC)16と、デジタルカメラ16による撮影の際に立体被写体18や基準色立体物である複数の立体リファレンス(立体チャートともいう)20等の被写体に照明光を照射する撮影光源22とを備える。
デジタルカメラ16は、被写体を撮影してRGB3色の画像データを取得する汎用のデジタルカメラを用いることができ、立体被写体18等の被写体を撮影して3色の画像データ、例えばRGBの画像データ(以下、RGB画像データで代表する)を取得して画像ファイルとして内部の画像メモリ(図示せず)等を格納すると共に、好ましくは、フラッシュを備える場合にはフラッシュのオン/オフの情報や、立体被写体18等の被写体への合焦点情報等を画像ファイルの付帯情報、即ちタグ情報として画像メモリ等に格納することができるものである。これらのタグ情報は、後述するが、後段の色変換装置14の条件判断部26に送られる。
なお、デジタルカメラ16は、デジタルスチールカメラに限定されず、デジタルビデオカメラであっても良い。また、本発明では、安価な汎用のデジタルカメラも用いることができるが、特に限定的では無く、デジタルカメラであれば、どのようなものであっても良い。また、デジタルカメラ16で取得される画像データとしては、RGB画像データに限定されず、CMY画像データや、YIQ画像データ、sRGB画像データ等のデバイス依存データを挙げることができる。
撮影光源(以下、単に光源ともいう)22は、デジタルカメラ16で立体被写体18や立体リファレンス20等の被写体を撮影する際の照明光を射出するもので、デジタルカメラ16で適切に撮影できるように被写体を照明できればどのようなものでも良いが、デジタルカメラ16のレンズの全周に設けられた無影撮影用のリングライトフラッシュ、人間の歯の治療の際に用いられる歯科用照明装置や歯科用リングライト、室内灯(蛍光灯等)等を挙げることができる。なお、リングライトフラッシュや、リングライトは、無影照明のために用いられているものを用いることができる。
なお、本発明のカメラシステム10の撮影被写体となるのは、図2に模式的に示すような立体的な物体(立体物)からなる立体被写体18であり、立体被写体18は、例えば、人間の歯、人間の皮膚(肌)、人間の食道内壁等の体腔内壁等を挙げることができるが、特に、これらに限定される訳ではない。
また、立体被写体18は、所定の曲面、立体形状、表面の凹凸形状及び層構造を持つものであり、複数の平面や曲面からなる多面体、特に所定の角度を持つ面を備える多面体等の立体構造と見做せるものである。例えば、人間の歯、人間の皮膚(肌)、人間の体腔内壁等は、それぞれに特有の所定の曲面、立体形状、表面の凹凸形状、層構造を持つ。特に、人間の歯の場合などは、半透明な表層及び白色内層からなる2層構造を持つものである。また、人間の皮膚や肌の場合などは、角層、表皮及び真皮からなる3層構造を持ち、しわや毛穴等のように、皮膚(肌)表面から凹んだ表面の凹凸形状、いわゆるテクスチャと呼ばれる微小な立体構造を持つものである。更に、人間の体腔内壁等も、同様に、多層構造を持ち、表面の微少凹凸等の凹凸形状を持つものである。なお、これらの立体物は、微小な立体構造や凹凸形状をも含め、多面体等の立体構造に近似できるものである。
したがって、本発明における立体被写体18は、通常、立体物の全体としての立体構造を対象とするものであるが、これに限定されず、立体物が、例えば、上述したように、人間の皮膚や肌、体腔内壁等のように、その表面にテクスチャと呼ばれる微小な立体構造や凹凸形状を持つ場合には、立体物の全体ではなく、立体物の表面の一部や立体物の細部の微小な立体構造や凹凸形状を対象とするものであっても良いし、立体物の全体としての立体構造に加えて、立体物の細部等の微小な立体構造や凹凸形状をも対象とするものであっても良い。この場合には、なお、立体物全体を、微小な立体構造や凹凸形状をも含め、多面体等の立体構造に近似しても良い。
立体物の全体としての立体構造と、立体物の表面の細部等の微小な立体構造や凹凸形状との両方を対象とする場合や、立体物を微細構造も含めて多面体構造として近似する場合には、立体物の全体のみならず、細部の微小な立体構造や凹凸形状に対しても、精度の良い色再現ができる。
図2に示す立体リファレンス20も、後述する立体色プロファイルを作成する際に、撮影部12のデジタルカメラ16の被写体となるものであり、予め基準測色値がそれぞれ付与された曲面を有する、又は角度のついた複数の平面や複数の曲面からなる多面体、特に所定の角度を持つ平面を備える多面体等の立体構造を有する立体物(立体色リファレンス)であり、本発明の基準色立体物である。なお、本発明においては、互いに色の異なる複数色、従って複数の立体リファレンス20が用いられるが、好ましくは3色以上、即ち色の異なる3種又は3個以上の立体リファレンス20を用いるのが良い。なお、図2に示す例では、8個の立体リファレンス20が用いられている。
また、細部の微小な立体構造を対象する場合に用いられる立体リファレンス20としては、微小な立体構造や凹凸形状や、これらをも含めた多面体等の立体構造に応じた基準色立体物とするのが好ましい。
なお、立体被写体18及び立体リファレンス20として、細部の微小な立体構造や凹凸形状を対象とする場合については、後述する。
ここで、立体リファレンス20は、立体被写体18の持つ曲面と同一又は類似の曲面、特に、ゆるやかに変化する曲面や、角度のついた複数の平面を持つことが好ましい。また、立体リファレンス20は、立体被写体18、例えば、人間の歯、人間の皮膚や肌、又は人間の食道等の体腔の内壁等に類似した立体形状、又は同一の立体形状を持つ立体物、又は、多面体等の立体構造を持つ立体物であることが好ましく、同一又は類似の、表面の凹凸形状を持つ立体物であるのが好ましい。
例えば、立体被写体18が人間の歯である場合には、立体リファレンス20として、図11(A)及び(B)にそれぞれ示すような所定の曲面を持つ立体物である卵型(半卵型)の立体リファレンス(基準色立体物)20a、又は図11(C)に示すような所定の傾斜した平面を持つ立体物である多面体(例えば、宝石)型の立体リファレンス(基準色立体物)20bを用いるのが好ましい。このように、立体被写体18に応じて、立体リファレンス20の立体物の形状や構造を選択するのが好ましい。
また、より好ましくは、立体リファレンス20は、このような人間の歯、皮膚や肌、又は体腔内壁等の立体被写体18に類似した半透明性、不透明性、光散乱性、及び乳白色及び/又は肌色の色味の少なくとも1つを持つと良い。
なお、人間の歯の場合、歯の色は、以下の測色値、例えば、CIELabの3次元色空間において、下記最大値(Max)−最小値(Min)の指標内に入るような歯を対象とすることができる。
また、日本人の肌(皮膚)の場合、肌色は、例えば、マンセル色票(マンセル色見本表:マンセル表色系)において、明度 5.5〜7、色相 10R〜10YRで定義することができ、CIELab表色系(L表色系)において、明度L 60〜80、クロマネティクス指数a 10〜20、b 5〜30で定義することができる。
さらに好ましくは、立体リファレンス20は、人間の歯、皮膚や肌、又は体腔内壁等の立体被写体18に類似した又は同一の層構造、例えば、人間の歯の場合などは、半透明な表層及び白色内層からなる2層構造、人間の皮膚の場合などは、角層、表皮、及び真皮からなる3層構造を持つと良い。しかし、本発明では、層構造を持つ立体リファレンス20は、立体被写体18の層構造を構成する複数層の内の少なくとも1層を含むもので構成されるものであってもよい。さらにより好ましくは、立体リファレンス20は、人間の歯、皮膚、肌、又は体腔内壁等の立体被写体18と同じ、または類似した物質、例えば、人間の歯の場合などは、エナメル質、象牙質等の物質で構成されているともっと良く、人間の皮膚や肌、又は体腔内壁等の場合などは、シリコンやウレタン等の基材に染料や顔料等により着色して作成されているともっと良い。
このように、立体リファレンス20は、立体被写体18と同一又は類似の、曲面、立体形状、表面の凹凸形状及び層構造、並びに複数の平面や曲面からなる多面体、特に所定の角度を持つ面を備える多面体等の立体構造の少なくとも1つを持ち、立体被写体18の類似物質の立体物からなるのが好ましい。
なお、本発明においては、主要被写体となる立体被写体18は、このような立体リファレンス20の1つ以上とともに撮影されることが好ましい。
色変換装置14は、予め複数の立体リファレンス20に対し各々複数の照明条件に応じてそれぞれ求められた基準測色値とデジタルカメラ16の撮影画像のRGB3色の画像データとの変換関係を表す複数の立体色プロファイルを格納するデータベース(DB)24と、撮影部12による撮影時に立体被写体18を照明する照明条件を判断する条件判断部26と、データベース24から立体被写体18の撮影時の照明条件に基づいて対応する立体色プロファイルを選択する選択部28と、選択部28で選択された立体色プロファイルに基づいて、撮影部12による立体被写体18の撮影画像のRGB画像データを測色値、例えば、XYZ測色値に色変換する色変換部30と、色変換部30で色変換された立体被写体18の測色画像、例えばXYZ測色画像を出力する画像出力部32とを有する。
データベース24は、予め基準測色値が付与された複数の立体リファレンス20に対して、その中の1つの立体リファレンス20を撮影部12のデジタルカメラ16によって所定の照明幾何学条件を含む所定の照明条件で撮影して得られた撮影画像の3色のRGB画像データと当該立体リファレンス20の基準測色値との対応関係、即ち変換関係、及び撮影時の所定の照明条件を関連付けた立体色プロファイルを格納するためのものである。なお、データベース24には、1つの立体リファレンス20に対して、それぞれ異なる複数の照明条件毎に撮影されたRGB画像データと基準測色値との変換関係、及び撮影時の複数の照明条件をそれぞれ関連付けた複数の立体色プロファイルが、複数の照明条件毎に格納されている。データベース24には、さらに、1つの立体リファレンス20による複数の照明条件毎の複数の立体色プロファイルからなる組が、複数の立体リファレンス20に対してそれぞれ求められているので、複数の立体リファレンス20にそれぞれ対応して複数の立体色プロファイルからなる組が、複数組格納されている。
ここで、データベース24内に格納される立体色プロファイルは、撮影画像の3色のRGB画像データを測色値(測色画像データ)に測色変換するためのもので、両者の変換のための3次元ルックアップテーブル(3DLUT)や3次元マトリックス等であるのが好ましいが、特に制限的では無く、両者の測色変換関係式であっても良く、両者の測色変換ができるものであれば、どのようなものであっても良い。なお、RGB画像データから測色値(測色画像データ)への測色変換のための3DLUT、3次元マトリックス、測色変換関係式等は、従来公知のものを用いることができる。
本発明においては、立体色プロファイルにおいて測色値とRGB画像データとの変換関係と関連付けられる照明条件には、少なくとも照明幾何学条件を含む必要があるが、好ましくは、照明幾何学条件に加え、照明光質条件を含むのが好ましい。さらに好ましくは、撮影用の照明光の他に、外光又は環境光等が存在する場合には、照明条件として、蛍光灯等の屋内灯(室内灯)や歯科用照明装置等からの外光、室内光又は環境光等の外部環境条件を考慮するのが好ましい。なお、外光又は環境光は、撮影のための照明用フラッシュ等の撮影専用光源が点灯されていない場合には、撮影のための照明光となるので、蛍光灯等の屋内灯や歯科用照明装置等は、光源22として取り扱うことができる。
本発明においては、照明条件としての照明幾何学条件は、少なくとも、光源22による立体被写体18の照明角度を含む必要があり、好ましくは、光源22による立体被写体18の照明角度及び照明距離を含むのが好ましい。ここで、照明角度とは、立体被写体18を中心として見た時における光源22とデジタルカメラ16との成す角とすることができる。また、照明距離とは、立体被写体18と光源22との間の距離とすることができる。
このような照明幾何学条件としては、又は照明幾何学条件を求めるための幾何学的配置条件としては、被写体撮影時の光源、被写体及びカメラの3者、即ち、例えば、撮影部12によって光源22によって照明された立体被写体18を撮影する時に、光源22、立体被写体18及びデジタルカメラ16の3者の幾何学位置関係を判断するための3者の幾何学的配置関係を示す幾何学位置情報を挙げることができる。これらの幾何学位置情報を、デジタルカメラ16の画像ファイルのタグ情報として、撮影部12の後段の条件判断部26に送ることができる。なお、光源22、立体被写体18及びデジタルカメラ16の3者の幾何学位置は、(a)光源22−立体被写体18、(b)立体被写体18−デジタルカメラ16、(c)デジタルカメラ16−光源22の位置関係の組み合わせで決まる。
なお、詳細は後述するが、デジタルカメラ16がフラッシュを備えている場合には、フラッシュは光源22となるので、両者の上記位置関係(c)は固定されており、予め既知であるので、上記位置関係(b)のデジタルカメラ16と立体被写体18との距離の情報を取得すれば、撮影時にフラッシュがオンの場合には、上記位置関係(b)及び(c)から、上記位置関係(a)も求めることができる。上記位置関係(b)のデジタルカメラ16と立体被写体18との距離、即ち撮影距離の情報は、例えば、幾何学位置情報の1つである立体被写体18の合焦点情報等から求めることができる。デジタルカメラ16で取得することができる合焦点情報はもちろんのこと、このような撮影距離の情報を取得した場合には、その撮影距離の情報をデジタルカメラ16の画像ファイルのタグ情報として、撮影部12の後段の条件判断部26に送ることができる。
一方、デジタルカメラ16が撮影のための照明用のフラッシュ等の撮影専用光源を備えていない場合や、フラッシュ等の撮影専用光源を備えていてもオフの場合には、上述したように、蛍光灯等の屋内灯(室内灯)や歯科用照明装置等からの外光、室内光又は環境光は、撮影のための照明光となる。このため、蛍光灯等の屋内灯や歯科用照明装置等は光源22となるが、その位置は固定されている。したがって、撮影時の立体被写体18の位置が決まれば、光源22の位置は決まるので、上記位置関係(a)が決まり、上述のように上記位置関係(b)のデジタルカメラ16と立体被写体18との距離の情報が取得されれば、上記位置関係(c)も決めることができる。
以上から、フラッシュのオン/オフの情報及び立体被写体18の合焦点情報等のデジタルカメラ16のタグ情報を用いることにより、上記位置関係(a)、(b)及び(c)を決定することができる。
このようにして、上記位置関係(a)、(b)及び(c)が決定されると、照明幾何学条件としての光源22による立体被写体18の照明角度、更には、その照明距離を求めることができる。
このような照明幾何学条件を決定する際には、デジタルカメラ16から、そのタグ情報として、フラッシュのオン/オフの情報、及び立体被写体18の合焦点情報等を、後段の条件判断部26に送り、又は、これらから光源、被写体、カメラの幾何学位置関係を判断するための幾何学位置情報やカメラと被写体の距離の情報を取得し、取得した情報を後段の条件判断部26に送ることにより、条件判断部26が、これらの情報を取得して、照明幾何学条件を決定することができる。
なお、デジタルカメラ16でタグ情報として取得され、条件判断部26に送られるフラッシュのオン/オフの情報、及び立体被写体18の合焦点情報等以外の幾何学的な位置に関する情報は、条件判断部26内外のメモリに格納された情報や外部入力情報等から、条件判断部26が取得するように構成されているのが好ましい。
次に、照明条件としての照明光質条件としては、光源22の光源特性、例えば光源22の光拡散性、偏光性、分光分布、色温度等の少なくとも1つの光質情報を上げることができ、このような光質情報は、後段の条件判断部26へ送ることができる。このような光質情報の一つとして、光源22としてのフラッシュのオン/オフ情報が利用できる。
なお、このような光質情報、例えば、フラッシュがオンの場合の光源22としてのフラッシュの光源特性(照明光質)の情報や、フラッシュがオフの場合の室内光や歯科用照明装置の照明光等の光源特性(照明光質)の情報も、条件判断部26内外のメモリに格納された情報や外部入力情報等から、条件判断部26が取得するように構成されているのが好ましい。
また、照明条件としての外部環境条件としては、フラッシュがオンの場合には、外光、室内光又は環境光等を放射する蛍光灯等の屋内灯(室内灯)や歯科用照明装置等の幾何学的な位置や、外光、室内光又は環境光等の光源特性(光質)を挙げることができ、フラッシュが無い又はオフの場合で、歯科用照明装置等からの撮影用の照明光等が照射されている場合には、蛍光灯等の屋内灯(室内灯)等の幾何学的な位置や、外光、室内光又は環境光等光源特性(光質)を挙げることができる。
なお、このような外光、室内光又は環境光等の光源の幾何学的な位置や、外光、室内光又は環境光等の光源特性(光質)も、条件判断部26内外のメモリに格納された情報や外部入力情報等から、条件判断部26が取得するように構成されているのが好ましい。
以上のような照明条件、特に照明幾何学条件に関連付けられた立体色プロファイルは、以下のようにして作成され、データベース24に格納される。ここでは、立体色プロファイルの作成の際の照明条件としては、照明幾何学条件の照明角度、フラッシュのオン/オフおよび撮影距離が用いられ、データベース24内の格納された立体色プロファイルの管理項目には、照明条件として、少なくとも照明幾何学条件の照明角度及び照明距離が用いられる場合を例に挙げて説明する。
まず、デジタルカメラ16によって、予め基準測色値が付与された所定の色の立体リファレンス20を、照明角度、フラッシュのオン/オフおよび撮影距離を変えて複数回撮影し、複数の照明角度に対する立体リファレンス20の撮影画像のRGB画像データを取得する。当該立体リファレンス20に予め付与された基準測色値と取得された立体リファレンス20の撮影画像のRGB画像データとを対応させて変換関係とする立体色プロファイルを複数の照明角度、フラッシュのオン/オフおよび複数の撮影距離の各々に応じてそれぞれ複数作成する。こうして、1つの立体リファレンス20に対する1組の複数の立体色プロファイルが作成される。
続いて、この立体リファレンス20を、予め異なる基準測色値が付与された異なる色の立体リファレンス20に変更して、同様にして、複数の照明角度、フラッシュのオン/オフおよび複数の撮影距離の各々に応じて、異なる基準測色値と測定RGB画像データとの変換関係を定める複数の立体色プロファイルを1組作成することを、予め準備されている異なる複数色、好ましくは、3色以上(複数)の立体リファレンス20について全ての組の複数の立体色プロファイルが作成されるまで続ける。
こうして得られた全ての組の複数の立体色プロファイルは、各組毎に、それぞれ複数の照明角度に関連付けられており、全てデータベース24に格納される。
ここでは、複数色、例えば、3色以上の立体リファレンス20に対して、照明幾何学条件の照明角度(測定角度)、フラッシュのオン/オフおよび撮影距離(照明距離)に応じた測色値(基準測色値)とデジタルカメラ16のRGB信号値(RGB画像データ)との変換関係を求め、照明角度を管理項目としてデータベース24において管理する立体色プロファイルを作成しているが、本発明はこれに限定されず、照明幾何学条件の照明角度及び照明距離(距離)の両者を、管理項目としても良い。
また、上記管理項目の照明角度及び照明距離に、さらに、フラッシュのオン/オフ(ON/OFF)条件を加えるとより好ましい。また、その他の光源特性、例えば、照明光質条件を上記管理項目に加えるとさらに良い。さらにまた、立体リファレンス20は、立体被写体18に適した色種を選択しておくとさらに良い。
こうして、データベース24には、少なくとも、照明条件として照明幾何学条件の照明角度を管理項目とした、測色値とRGB画像データとの変換関係を示す立体色プロファイルが多数、即ち複数格納される。
データベース24では、例えば、照明条件の内の照明幾何学条件、特に、照明角度と照明距離とを、管理項目として、立体色プロファイルを関連付けて管理することができる。以下に、データベース24に格納される「立体色プロファイル」として、以下に例示される、照明条件、例えば、照明角度と照明距離との照明幾何学条件、更には、照明光質条件等の管理項目に紐付けられた「立体色プロファイル」を挙げることができる。
例1):管理項目である「照明角度」×「照明距離」の組み合わせに紐付けされた「立体色プロファイル」の関連付け
例2):管理項目である「照明角度」×「照明距離」×「光源特性(フラッシュ等)」の組み合わせに紐付けされた「立体色プロファイル」の関連付け
ここで、「光源特性(フラッシュ等)」は、フラッシュオン/オフ、他の光源特性(指向性等)や撮影条件でもよい。
例3):各照明条件の管理項目の「組み合わせ条件」に紐付けされた「立体色(補正)プロファイル」の関連付け
ここでは、「照明角度」×「照明距離」×「光源特性又は照明光質(フラッシュ等)」の管理項目の組み合わせは固定されているものとする。
照明条件の「組み合わせ条件」に紐付けされた「立体色(補正)プロファイル」のデータベースの例を表及び表に示す。
組み合わせA
組み合わせB
上記表の組み合せAに示す例においては、室内Aの室内灯は蛍光灯であり、フラッシュがオン(Flash ON)の時、撮影光源22はフラッシュとなり、外部環境条件が蛍光灯からの室内光となり、フラッシュがオフ(Flash OFF)の時、撮影光源22は蛍光灯で、光質は蛍光灯色となり、照明光質が変わることになる。
においては、フラッシュオン時にも、フラッシュオフ時にも、照明距離を15cmと30cmに変化させると共に、照明角度を0°、30°、45°と変化させて、それぞれの「照明角度」×「照明距離」×「照明光質(フラッシュオン/オフ)」の管理項目の組み合せ毎に作成された立体色プロファイルP1〜P12が、データベース24に格納されている。
一方、上記表の組み合せBに示す例においては、室内Bの室内灯が電球、例えば白熱電球に変わり、フラッシュがオン(Flash ON)の時、撮影光源22はフラッシュとなり、外部環境条件が電球からの室内光となり、フラッシュがオフ(Flash OFF)の時、撮影光源22は電球で、光質は電球色となり、照明光質が変わる点で、上記表に示す組み合せAと異なるが、照明角度及び照明距離の組み合せは同様にして、それぞれの「照明角度」×「照明距離」×「照明光質(フラッシュオン/オフ)」の管理項目の組み合せ毎に作成された立体色プロファイルP13〜P24が、データベース24に格納されている。
このように、データベース24には、様々な照明条件の管理項目の組み合わせに応じた立体色プロファイルが格納されている。
条件判断部26は、撮影部12によって立体被写体18を撮影する時に、立体被写体18を照明する際の幾何学配置条件、例えば、撮影光源22、立体被写体18及びデジタルカメラ16の幾何学的配置を示す、特に、照明角度及び照明距離を含む照明幾何学条件を少なくとも含む照明条件を判断するものである。条件判断部26で判断された照明条件、具体的には、照明角度及び照明距離を含む照明幾何学条件は、データベース24に格納された立体色プロファイルを選択するために用いられるものであるので、データベース24に格納された立体色プロファイルに関連付けられた照明条件を判断する必要がある。換言すれば、データベース24に格納された立体色プロファイルを管理する管理項目となる照明条件を判断する必要がある。
なお、条件判断部26は、上述の照明幾何学条件に加え、さらに、撮影光源22から射出される照明光の光質、例えば、フラッシュ、特にリングライトフラッシュの光であるのか、歯科用照明装置や歯科用リングライト等の特別な光であるのか、室内灯(蛍光灯等)の光であるのかによって定まる光の光拡散性、偏光性、分光分布特性、色温度等の情報を表す照明光質条件を含む照明条件を判断するのが好ましい。さらには、上述の照明幾何学条件及び照明光質条件に加え、室内光や外光や環境光等の外部環境条件を含む照明条件を判断するのが好ましい。
条件判断部26は、立体色プロファイルが、上記管理項目の例1)〜例3)に例示される照明条件に紐付けられている時には、照明条件を以下のように判断する。
上記例1)の場合:照明条件の内の照明幾何学条件である光源と被写体の照明角度と照明距離を判断する。
上記例2)の場合:例1)に加えて、照明条件の内の照明光質条件(フラッシュのオン/オフ等)を判断する。
上記例3)の場合:光源と被写体の位置関係を判断し、管理項目の組み合せ条件を判断する(表及び表参照)。
なお、これらの例1)〜例3)までの照明条件の各管理項目(照明角度及び照明距離等の照明幾何学条件、照明光質条件(フラッシュのオン/オフ等))の情報は、上述したように、以下の種々の方式により取得することができる。
a)デジタルカメラ16の付帯情報(タグ情報)から直接取得しても良い。例えば、合焦点情報から撮影距離を取得するようにしても良い。
b)また、デジタルカメラ16のタグ情報から、推定しても良い。
c)また、デジタルカメラ16の撮影距離と光源22の位置から光源22、立体被写体18、デジタルカメラ16の位置関係を計算しても良い。
d)デジタルカメラ16のタグ情報から、何らかのデータベース(DB)を参照して取得しても良い。
e)デジタルカメラ16の撮影画像のRGB画像データによる画像解析から求めても良い。
f)立体被写体18の撮影画像の画像データ中の大きさと実際の立体被写体18の大きさとを照らし合わせて推定しても良い。
g)立体リファレンス20(基準色立体物)の曲面又は複数の平面上に発生している陰影から光源の位置を推定しても良い。
なお、例えば、上述のg)の例において、複数の傾斜角度の異なる面を持つ立体リファレンス20、特に多面体からなる立体リファレンス20を用いる場合には、立体リファレンス20の撮影画像から、又は立体リファレンス20の表面反射の計測から得られる輝度Y、又は明度Lの分布等から、どの面が強く光っているかを解析することにより、光源22の配置角度を容易に推定することができる。
例えば、光源22によって照明された立体リファレンス20をデジタルカメラ16で撮影する際に、光源22、立体リファレンス20及びデジタルカメラ16は、立体リファレンス20の特定の面(曲面からなる立体物の離散的に見た微小曲面又は多面体の平面)で反射された光源22の反射光が、デジタルカメラ16の撮影レンズに入射する光学的な幾何学的配置にある時の特定の面の傾斜角を0°とすると、傾斜角が0°の面による光源22の反射光は、直接デジタルカメラ16の撮影レンズに鏡面反射成分として入射する。立体リファレンス20の撮画像では、傾斜角が0°の面は、反射光強度が最も高く、鏡面光沢が発生している領域となる。したがって、面の傾斜角度が0°から傾斜するにつれて、傾斜面による光源22の反射光の鏡面反射成分は減少し、反射光強度が低い領域となる。これらの結果から、立体リファレンス20の傾斜面の反射光強度を解析することにより、光源22の配置角度を容易に推定することができ、したがって、光源22、立体リファレンス20及びデジタルカメラ16の配置を容易に推定することができる。
こうして解析された光源22の配置角度情報をもとに、条件判断部26において、照明条件(照明幾何学条件)を判断することができる。
以下に、条件判断部26による判断の具体例を示す。
図3は、リングライトフラッシュ付きデジタルカメラ16で立体被写体18を撮影した場合の条件判断部26による判断のためのリングライトフラッシュからなる光源22及びデジタルカメラ16と立体被写体18との位置関係の一例を模式的に示す模式図である。
図3に示すような場合、以下のような種々の情報が取得でき、かつ推定できる。
まず、図3に示すように、デジタルカメラ16(撮影レンズの中心)と光源22(リングライトフラッシュのリングライトの位置)との距離bは、リングライトの口径Dから知ることができ、b=D/2で与えられる。
次に、図3に示すように、立体被写体18とデジタルカメラ16の距離は、デジタルカメラ16の合焦点位置情報から得ることができる。
また、リングライトの利用は、リングライトフラッシュのオン/オフ情報から知ることができる。
また、リングライトの利用により、デジタルカメラ16は、立体被写体18の正面にあると推定することができる。
さらに、リングライトの利用により、リングライトの色温度、分光分布等の光質が推定可能である。
以上の情報から図3に示すような照明条件の照明幾何学条件(照明角度、照明距離)及び照明光質条件(フラッシュのオン/オフ:フラッシュ光源/室内灯)が得られる。ここで、フラッシュオンの場合には、照明光質としてフラッシュライト(リングライト)が選択され、フラッシュオフの場合には、照明光質として、室内光が選択される。
図3に示す例おいて、照明幾何学条件の照明角度θは、関係式tanθ=b/aで求めることができ、光源22と立体被写体との間の照明距離aは、リングライトフラッシュ付きデジタルカメラ16であるので、図3に示すように立体被写体18とデジタルカメラ16の距離に等しく、合焦点位置情報から求めることができる。
こうして、条件判断部26の判断により、照明条件(照明幾何学条件、照明光質条件)の管理項目の組み合せ(角度θ、距離a、フラッシュ光源のオン/オフ)が決定される。
即ち、データベース24に格納されている立体色プロファイルの中から、条件判断部26で判断された照明条件に該当する立体色プロファイルを選択するために、例えば、表及び表に示されるような、立体色プロファイルに関連付けられた照明条件の管理項目の組み合せ(角度θ、距離a、フラッシュ光源のオン/オフ)が求められる。
条件判断部26は、上述した照明幾何学条件及び照明光質条件等の照明条件は、以下の種々の方式によって判断することができる。
図4(A)に示す条件判断部26aのように、条件判断部26aが撮影部12のデジタルカメラ16から撮影画像のタグ情報を取得するタグ情報取得部34を有する場合には、条件判断部26aは、上述したように、デジタルカメラ16から伝送され、タグ情報取得部34によって取得された合焦点情報やフラッシュのオン/オフ情報等のタグ情報から照明条件を判断する。例えば、上述の照明条件の管理項目の情報の取得方式a)〜d)及び図3に示す例の場合には、タグ情報取得部34において、デジタルカメラ16の画像ファイルのタグ情報を取得し、条件判断部26aで照明条件を判断するのが良い。
なお、条件判断部26aのタグ情報取得部34では、撮影部12によって光源22によって照明された立体被写体18を撮影する時に、光源22、立体被写体18及びデジタルカメラ16の3者の幾何学位置関係を判断するための3者の幾何学的配置関係を示す幾何学位置情報や、立体被写体18とデジタルカメラ16との間の距離(撮影距離)や、光源22の光拡散性、偏光性、分光分布、色温度の情報等をタグ情報として取得しても良い。
また、図4(B)に示すように、条件判断部26bが撮影部12のデジタルカメラ16から撮影画像の画像ファイル(RGB画像データ)を受け取って画像解析する画像解析部36を有する場合には、条件判断部26bの画像解析部36は、上述したように、デジタルカメラ16から受け取った撮影画像の画像ファイル(RGB画像データ)を画像解析して、照明条件を判断する。例えば、上述の照明条件の管理項目の情報の取得方式e)〜g)の場合には、画像解析部36において、デジタルカメラ16の画像ファイルの画像データを画像解析して、条件判断部26bで照明条件を判断するのが良い。
また、図4(C)に示すように、条件判断部26cは、人間によって指定情報として、直接照明条件が入力される、又は照明条件を取得するための指定情報が入力される指定情報入力部38と、指定情報として直接入力された照明条件を判断された照明条件として取得する、又は入力された指定情報を照明条件を取得するための取得条件として取得する条件リスト参照部40と、指定情報や取得条件に応じた複数の照明条件がリストとして格納されている条件リストデータベース(DB)42とを有する。この条件リストDB42においては、予め、照明角度及び照明距離等の照明幾何学条件と照明光質条件の組み合わせを照明条件A、B及びCのようにして登録しておいても良い。
この条件判断部26cの条件リストDB42には、指定情報入力部38から入力される指定情報に対応する照明条件(の各管理項目等)のリストが作成されている。この場合、指定情報は、指定番号であっても良く、図示しないモニタ等の表示デバイスに表示された条件リストDB42内の照明条件(の各管理項目等)のリストの番号を指定して指定情報入力部38から入力することにより、条件リスト参照部40は、条件リストDB42からリスト中の該当する照明条件を取得し、条件判断部26cによって判断された照明条件とすることができる。指定情報入力部38から入力される指定情報は、照明条件のリストの指定番号に限定されず、リスト中の該当する照明条件を指定できるものであれば何でもよい。例えば、指定情報は、タグ情報として用いられる、光源22、立体被写体18及びデジタルカメラ16の3者の幾何学的配置関係を示す幾何学位置情報や、立体被写体18とデジタルカメラ16との間の距離(撮影距離)の情報や、光源22の光拡散性、偏光性、分光分布、色温度等の光質の情報等であっても良い。これらの幾何学位置情報と光質の情報との組み合わせを組み合せ条件a、b及びcのように登録しておいても良い。この場合には、条件リストDB42には、これらの情報に対応する(紐付けされた)照明条件のリストが格納される。なお、条件リストDB42のリスト中に、指定情報に該当する照明条件が無い場合には、類似の、又は前後の照明条件から補間等によって該当する照明条件を求めても良い。
また、図4(D)に示す条件判断部26dは、カメラシステム10において、撮影部12における撮影システム情報として、例えば、直接照明条件を取得できる場合や、光源22、立体被写体18及びデジタルカメラ16の3者の幾何学的配置関係を示す幾何学位置情報や、撮影距離の情報や、光源22の光質の情報等の、照明条件を取得するための情報を取得できる場合に用いられるもので、カメラシステム10又は撮影部12から撮影システム情報を取得する情報取得部44と、情報取得部44で取得された撮影システム情報から該当する照明条件を取得する条件取得部46とを有する。なお、条件判断部26dは、図示しないが、図4(C)に示す条件判断部26cの条件リストデータベース(DB)42と同様に、撮影システム情報に応じた複数の照明条件がリストとして格納されている条件リストデータベース(DB)を有していても良い。
この条件判断部26dにおいては、条件取得部46が、情報取得部44で取得された撮影システム情報から該当する照明条件を求める。条件取得部46における照明条件の求め方は特に制限的では無く、撮影システム情報から照明幾何学条件や照明光質条件等を算出しても良いし、条件リストDB42を備えている場合には、取得された撮影システム情報に該当する照明条件を取得しても良い。なお、条件リストDBから取得する場合において、リスト中に、指定情報に該当する照明条件が無い場合には、類似の、又は前後の照明条件から補間等によって該当する照明条件を求めても良い。
選択部28は、条件判断部26で判断されて得られた立体被写体18の撮影時の照明条件、例えば、照明幾何学条件及び照明光質条件等に基づいて、その照明条件に該当する立体色プロファイルをデータベース24から選択するためのものである。
例えば、データベース24に、上述の表及び表に示すように、照明条件の管理項目の組み合わせ(照明角度θ、照明距離a、フラッシュのオン/オフ)に応じて立体色プロファイルが格納されている場合には、選択部28は、条件判断部26で判断された照明条件の管理項目の組み合わせ(照明角度θ、照明距離a、フラッシュのオン/オフ)に該当する立体色プロファイルを選択する。例えば、照明条件が、室内Aの室内灯が蛍光灯であり、照明角度θが30°であり、フラッシュオンであり、照明距離aが30cmである場合には、データベース24内の表から該当する立体色プロファイルP5を選択する。
なお、照明幾何学条件や照明光質条件等の照明条件に該当する適切な立体色プロファイルがない場合は、近い照明条件の複数の立体色プロファイルから、例えば、類似の複数の照明条件、好ましくは前後の照明条件に対応する複数の立体色プロファイルから補間してもよい。
例えば、上述の表及び表に示す場合のように、距離20cmに相当するものが無い場合には、15cmに該当するものと30cmに該当するものとから補間して近似の立体色プロファイルを作成することができる。
色変換部30は、選択部28で選択された立体色プロファイルに基づいて、撮影部12による立体被写体18の撮影画像のRGB画像データを測色値(測色画像データ)、例えば、XYZ測色値(XYZ画像データ)に色変換するためのものである。
なお、色変換部30によって色変換して得られた変換測色値は、標準表色系のXYZ測色値(XYZ画像データ)に限定されず、測色値であれば、如何なる測色値であっても良く、例えば、La測色値、Lu測色値等であっても良い。
画像出力部32は、色変換部30で色変換された立体被写体18の測色画像、例えばXYZ測色画像を出力するためのものである。
本発明の第1の実施の形態に係る色変換装置、及びこれを用いるカメラシステムは、基本的に以上のように構成される。
なお、上記第1の実施の形態においては、立体リファレンス20や、実物の人間の歯等の立体被写体18をデジタルカメラ16で撮影した際に、撮影画像に鏡面光沢成分が多く含まれている場合、鏡面光沢成分が含まれる鏡面光沢領域は、高輝度領域、又は高明度領域となるため、これらの高輝度又は高明度領域を含む撮画像の画像データを用いて、色変換装置14で色変換等を含む種々の解析を行うと、立体リファレンス20や、立体被写体18の色予測の精度が低下する恐れがある。
このような場合には、立体リファレンス20として、様々な傾斜角度を持つ曲面からなる立体物や、様々な傾斜角度を持つ複数の平面を持つ多面体等の立体物を用い、立体リファレンス20の撮影画像の輝度分布(明度分布)に基づいて、撮影画像中の鏡面光沢領域が除かれる解析領域を予め設定しておき、立体リファレンス20や、立体被写体18の撮画像の解析を予め設定された解析領域で色変換等を含む種々の解析を行うことにより、色予測の精度を低下させず、色予測を高精度に維持することが好ましい。
このような立体リファレンス20を用いた解析領域の設定は、以下のような設定フローで行うのが好ましい。
まず、事前の準備として、立体リファレンス20の曲率及び/又は傾斜角を予め計測する。この時、図11(A)及び(B)に示す卵型の立体リファレンス20aの場合には、曲面の曲率、又は曲面を離散的に見た時の面の傾斜角を計測するのが好ましい。一方、図11(C)に示す多面体の立体リファレンス20bの場合には、各面の傾斜角を計測するのが好ましい。
次に、撮影条件に近い条件で色々な角度から撮影した立体リファレンス20の反射光分布(輝度分布)を計測する。
上述したように、立体リファレンス20、光源22及びデジタルカメラ16の光学的な幾何学的配置において、立体リファレンス20が、光源22からの出射光を直接デジタルカメラ16に入射させるように反射する反射面となる傾斜面を有する時、例えば、多面体が当該傾斜面となる平面又は曲面を少なくとも有する時の立体リファレンス20の傾斜面の傾斜角を0°とすると、図12に示すように、立体リファレンス20の傾斜角が0°の傾斜面における反射光強度が最も高く、傾斜角が大きくなるほど反射光強度は低下する。
このため、次いで、これらの計測結果、即ち、立体リファレンス20の曲率及び/又は傾斜角の計測結果、及び立体リファレンス20の反射光分布の計測結果から、反射光強度が高くなり過ぎない、曲率及び/又は傾斜角の特定の範囲を解析範囲として設定し、データベース24に登録・格納しておく。もちろん、立体リファレンス20に対する立体色プロファイルの作成に際しては、解析範囲の撮影画像データのみが用いられるのが好ましい。こうして、作成された立体色プロファイルがデータベース24に格納される。
なお、例えば、図12に示すような、歯等の立体被写体18に対する立体リファレンス20の場合には、解析範囲として設定される傾斜角の範囲は、−180°〜−5°及び5°〜180°であるのが好ましく、より好ましくは−180°〜−10°及び10°〜180°とするのが良い。
次に、本撮影において、撮像した歯等の立体被写体18の画像の反射光分布(輝度分布)を取得する。例えば、図13(A)に示すように、立体被写体18において、2つの領域18a及び18bが鏡面光沢の発生している箇所であり、残りの領域は、鏡面反射は発生していないものとする。
次に、取得された撮影画像の反射光分布と、データベース24に登録された曲率及び/又は傾斜角の特定の範囲と反射光分布との関係とを照合し、解析範囲に予め指定した、曲率及び/又は傾斜角の部分のみを解析領域として設定する。即ち、図13(B)に示す立体被写体18の撮影画像48において、立体被写体18の2つの鏡面光沢領域18a及び18bに対応する領域48a及び48bは、解析範囲から除かれ、斜線の領域48cのみが解析領域として設定される。
なお、こうして設定された立体被写体18の撮影画像の解析領域内のRGB画像データのみが、色変換部30において用いられる。その結果、色予測を高精度に行うことができる。
なお、本発明においては、曲率及び/又は傾斜角の特定の範囲を解析範囲として設定しているが、本発明はこれに限定されず、予め、上述の立体リファレンス20の反射光分布(輝度)の計測結果から、この反射光分布の特定閾値(輝度)を超える部分を鏡面光沢成分として設定して、データベース24に登録しておき、本撮影において得られた歯等の立体被写体18の画像の反射光分布から、立体被写体18の領域であって、かつ、特定閾値(輝度)以下の特定の領域を解析対象となる解析領域としても良い。
図1に示すカメラシステム10は、撮影時の照明条件(照明幾何学条件、照明光質条件)に応じた立体リファレンス20の撮影画像のRGB画像データと立体リファレンス20の基準測色値との変換関係を規定する立体色プロファイルを用いて、立体被写体18の撮影画像の測色画像に変換して出力するものであるが、本発明はこれに限定されず、RGB画像データと測色値との変換関係を規定する平面色プロファイルと、近似色立体リファレンスの基準測色値と近似色立体リファレンスの撮影時の照明条件(照明幾何学条件、照明光質条件)との変換関係を規定する立体色補正プロファイルを用いて、立体被写体18を撮影部12で撮影して得られた撮影画像の測色画像に変換して出力するカメラシステムであっても良い。
図5は、本発明の第2の実施の形態に係る色変換装置を用いるカメラシステムの構成の一例を模式的に示すブロック図である。図6は、図5に示すカメラシステムの撮影部及び撮影対象の立体被写体並びに平面色票及び基準色立体物の一例を模式的に示す模式図である。
図5に示すカメラシステム50は、図1に示すカメラシステム10と、立体リファレンス20の代わりに、平面色票60及び近似色立体リファレンス62を用いる点、データベース24、選択部28及び色変換部30の代わりに、それぞれデータベース54、選択部56及び色変換部58を用いる点で異なる以外は、同様の構成を有するものであるので、同一の構成要素には同一の番号を付し、その詳細な説明は省略する。
図5に示すように、カメラシステム50は、立体被写体18を撮影して3色の画像データを取得する撮影部12と、撮影部12で取得された画像データを測色値に色変換する色変換装置52とを有する。
図6に示すように、撮影部12は、デジタルカメラ16と、デジタルカメラ16による撮影の際に立体被写体18や、平面色票60及び基準色立体物である1つ以上の、好ましくは複数の近似色(又は類似色)立体リファレンス62等の被写体に照明光を照射する撮影光源22とを備える。
図5に示すように、色変換装置52は、予め基準測色値が付与された、1以上の近似色立体リファレンス62に対して、撮影部12による複数の照明条件に応じてそれぞれ求められた測色値が関連付けられた複数の立体色補正プロファイル、及び、予め基準測色値が付与された複数の平面色票60を撮影部12のデジタルカメラ16で撮影して得られたRGB画像データと平面色票60の基準測色値とから算出された変換関係を表す1つの平面色プロファイルを格納するデータベース(DB)54と、撮影部12による撮影時に立体被写体18を照明する照明条件を判断する条件判断部26と、データベース24から立体被写体18の撮影時の照明条件に基づいて対応する立体色補正プロファイルを選択する選択部56と、データベース54に格納された1つの平面色プロファイル、及び選択部28で選択された立体色補正プロファイルに基づいて、撮影部12による立体被写体18の撮影画像のRGB画像データを測色値、例えば、XYZ測色値に色変換する色変換部58と、色変換部58で色変換された立体被写体18の測色画像、例えばXYZ測色画像を出力する画像出力部32とを有する。
図6に示す平面色票60は、図2に示す立体リファレンス20と同様に基準測色値(平面基準色)が付与された複数の色、好ましくは異なる一次独立な3色以上の色、図示例では、同様に8色の色を持つ平面色票である。平面色票60は、基準測色値が付与された複数の色を持つ平面色票であれば、特に制限的では無く、従来公知の平面色票を用いることができるが、その中の1色は、撮影対象の立体被写体18と類似の色(近似色)であるのが好ましく、また、予め付与する基準測色値(平面基準色)は、立体被写体18に適した色種を選択するとさらに良い。
また、近似色立体リファレンス(以下、単に立体リファレンスという)62は、複数個あっても、基準測色値が付与された色が、撮影対象の立体被写体18と類似の色(近似色)である点を除けば、図2に示す立体リファレンス20と同様であるので、その詳細な説明は省略する。
なお、本実施形態においては、立体リファレンス62は、立体被写体18と共に撮影される。
色変換装置52は、RGB画像データと測色値との変換関係を規定する平面色票60と、立体リファレンス62の基準測色値と立体リファレンス62の撮影時の照明条件(照明幾何学条件、照明光質条件)との変換関係を規定する立体色補正プロファイルを用いて、立体被写体18を撮影画像の測色画像に変換して出力する色変換装置である。
色変換装置52のデータベース54は、複数の立体色補正プロファイルを格納するものであるが、図示例では、RGB画像データと基準測色値とから算出された変換関係を表す1つの平面色プロファイルをも格納している。このように、複数の立体色補正プロファイル、及び1つの平面色プロファイルは、同一のデータベース54に格納されるのが好ましい。
しかしながら、この平面色プロファイルは、1つであり、データベース54に格納されることに限定されず、いずれのメモリに記憶されるものであっても良いが、後述する色変換部58において用いられるものであるので、色変換部58内のメモリに記憶されるのも好ましい。
本実施形態においては、立体色補正プロファイルが立体リファレンス62を用いて、照明条件(照明幾何学条件、照明光質条件)、例えば、その照明角度(測定角度)等に応じて、前述の第1の実施の形態と同様に作成されている。
なお、立体色補正プロファイルは、立体被写体18と類似色の立体リファレンス62から得られるものであり、類似色である点で異なる以外は同様のプロファイルとなる。複数の照明条件(照明幾何学条件、照明光質条件)に応じて求められる立体色補正プロファイルの数、即ち1組の立体色補正プロファイルの数は、図2に示す立体リファレンス20における数と同様にするのが良い。しかしながら、準備すべき立体リファレンス62の数は、図示例では3個であり、図2に示す立体リファレンス20の数8個に比べて少なくすることができるので、データベース54に格納される立体色補正プロファイルの組数は、当然少なくでき、立体色補正プロファイルの全体数も、少なくすることができる。
選択部56は、条件判断部26で判断されて得られた立体被写体18の撮影時の照明条件、例えば、照明幾何学条件及び照明光質条件等に基づいて、その照明条件に該当する立体色補正プロファイルをデータベース54から選択するためのものである。
例えば、上述の表及び表に示すプロファイルP1〜P24が、照明条件の管理項目の組み合わせ(照明角度θ、照明距離a、フラッシュのオン/オフ)に応じた立体色補正プロファイルであるとすると、これらの立体色補正プロファイルP1〜P24は、データベース54に格納される。この場合には、選択部56は、条件判断部26で判断された照明条件の管理項目の組み合わせ(照明角度θ、照明距離a、フラッシュのオン/オフ)に該当する立体色プロファイルを選択する。例えば、照明条件が、室内Aの室内灯が電球(白熱灯)であり、照明角度θが0°であり、フラッシュオフであり、照明距離aが15cmである場合には、データベース54内の表から該当する立体色プロファイルP19を選択することになると言える。
なお、照明幾何学条件や照明光質条件等の照明条件に該当する適切な立体色補正プロファイルがない場合は、立体色プロファイルの場合と同様に、近い照明条件の複数の立体色補正プロファイルから、例えば、類似の複数の照明条件、好ましくは前後の照明条件に対応する複数の立体色補正プロファイルから補間してもよい。
例えば、上述の表及び表に示す場合のように、距離20cmに相当するものが無い場合には、15cmに該当するものと30cmに該当するものとから補間して近似の立体色補正プロファイルを作成することができる。
色変換部58は、データベース54に格納されている1つの平面色プロファイル、及び選択部56で選択された立体色補正プロファイルに基づいて、撮影部12による立体被写体18の撮影画像のRGB画像データを測色値(測色画像データ)、例えば、XYZ測色値(XYZ画像データ)に色変換するためのものである。
ここで、色変換部58は、平面色プロファイル、及び立体色補正プロファイルに基づく色変換を以下の2つの方式によって行うことができる。
図7(A)に示す色変換部58aは、平面色プロファイルに基づいて、撮影部12による立体被写体18の撮影画像のRGB画像データを測色値(測色画像データ)に平面色変換を行う平面色変換部64と、平面色変換部64で平面色変換が行われた撮影画像の測色値(XYZ測色画像データ)に対して、選択部56で選択された立体色補正プロファイルに基づいて、立体色補正を行う立体色補正部66とを有する。即ち、この色変換部58aでは、先に、平面色変換部64で平面色票60に基づく平面色プロファイルを用いて立体被写体18の撮影画像のRGB画像データを測色変換した後に、立体色補正部66で立体被写体18への照明条件に応じた立体色補正プロファイルを用いて、測色値(測色画像データ)に、立体画像としての色補正を行って、精度よく色変換された測色値(測色画像データ)を得るものである。
一方、図7(B)に示す色変換部58bは、予め作成されている平面色プロファイル及び選択部56で選択された立体色補正プロファイルから、図1に示す第1実施形態のカメラシステム10で用いるものと同様な立体色プロファイルを作成する立体色プロファイル作成部68と、立体色プロファイル作成部68で作成された立体色プロファイルに基づいて、撮影部12による立体被写体18の撮影画像のRGB画像データを測色値(測色画像データ)に立体色変換を行う立体色変換部70とを有する。即ち、この色変換部58bでは、先に、立体色プロファイル作成部68で、平面色票60に基づく平面色プロファイルと選択部56で選択された立体色補正プロファイルとから立体色プロファイルを作成した後に、図1に示す第1実施形態のカメラシステム10と同様に、立体色変換部70で、撮影部12による立体被写体18の撮影画像のRGB画像データを一気に測色値(測色画像データ)に色変換するものである。したがって、立体色変換部70は、図1に示す色変換部30と全く同様な構成を有する。
本発明の第2の実施の形態に係る色変換装置、及びこれを用いるカメラシステムは、基本的に以上のように構成される。
なお、上述した図1及び図5に示すカメラシステム10及び50は、立体リファレンス20又は62として、人間の歯と類似の、半透明性、光散乱性及び乳白色の色味の少なくとも1つ、好ましくは、全部を備えている立体色リファレンス(基準色立体物)を用いる場合には、人間の歯を立体被写体18とする歯科カメラシステムとして用いることができる。
また、立体リファレンス20又は62として、人間の皮膚や肌と類似の、半透明性又は不透明性、光散乱性、及び乳白色又は肌色の色味の少なくとも1つ、好ましくは、全部を備えている立体色リファレンス(基準色立体物)を用いる場合には、このカメラシステム10及び50に対して、人間の顔等を所定の被写体距離に固定する冶具を設けることにより、人間の皮膚や肌を立体被写体18とする肌計測(診断)カメラシステムとして用いることができる。なお、肌計測カメラシステムにおいて立体色リファレンスとして人工皮膚や人工乳房を用いることもできる。
さらに、立体リファレンス20又は62として、人間の食道内壁等のような人間の体腔内壁と類似の、半透明性又は不透明性、光散乱性、及び色味を備えている立体色リファレンス(基準色立体物)を用いる場合には、このカメラシステム10及び50の撮影部12を、照明ライトガイドを備える内視鏡撮影部に適用することにより、人間の体腔内壁を立体被写体18とする内視鏡カメラシステムとして用いることができる。
ところで、本発明のカメラシステム10及び50で対象とする立体被写体18は、上述したように、全体としての立体構造の他に、表面にテクスチャと呼ばれる微小な立体構造を持つものが多い。例えば、人間の皮膚や肌の毛穴やしわは、皮膚(肌)表面から凹んだ立体構造であり、凹みのエッジ部分は、表面とは異なる被写体角度を持っている。
したがって、表面のテクスチャの特徴により検出される毛穴やしわ等の微小な立体構造の凹みのエッジ部分に相当する角度の立体色プロファイルを適用することで、細部の微小な立体構造に対しても精度の良い色再現が可能である。こうして、立体被写体18の細部の凹凸部分の色再現性を上げ、凹凸感を得ることもできる。
このような細部の微小な立体構造に対して適用される立体色プロファイルは、全体としての立体構造に対応する立体リファレンス20や62を所定の照明条件でデジタルカメラ16によって撮影して予め求められた、全体としての立体構造に対して適用される立体色プロファイルであっても良いし、この立体色プロファイルに基づいて微小な立体構造に対応するように修正された立体色プロファイルであっても良いが、全体としての立体構造に対して適用される立体色プロファイルと異なり、微小な立体構造に対応する立体リファレンス20や62を所定の照明条件でデジタルカメラ16によって撮影して予め求められた微小な立体構造専用の立体色プロファイルであるのが好ましい。
なお、本発明においては、立体被写体18の細部の凹凸感を適切に再現するために、微小な立体構造である凹凸部分を含む立体被写体18の一部のみを対象として本発明の色変換を行っても良いが、立体被写体18の全体としての立体構造を対象として本発明の色変換を行うと共に、その一部の凹凸部分の微小な立体構造をも対象として本発明の色変換を行うのが好ましい。
また、図1及び図5に示すカメラシステム10及び50においては、撮影部12で撮影された立体被写体18の撮影画像データを、好ましくは、鏡面光沢領域を除いた解析領域内の画像データのみを、選択部28又は56で選択された立体色プロファイルに基づいて、色変換部30で測色値に変換して、測色画像(例えば、XYZ画像データ)として画像出力部32に出力しているが、本発明はこれに限定されず、測色画像に加え、立体被写体18の光沢感を求め、所定の指標(例えば、数値)として出力するようにしても良い。
図8及び図9は、それぞれ本発明の第3及び第4の実施の形態に係る色変換装置を用いるカメラシステムの構成の一例を模式的に示すブロック図である。
図8に示すカメラシステム10aは、図1に示すカメラシステム10と、色変換部30と画像出力部32との間に、光沢判断部72を有している点を除いて、同様の構成を有するものであり、図9に示すカメラシステム50aは、図5に示すカメラシステム50と、色変換部58と画像出力部32との間に、光沢判断部72を有している点を除いて、同様の構成を有するものであるので、同一の構成要素には同一の番号を付し、その詳細な説明は省略する。
図8に示すように、カメラシステム10aは、立体被写体18を撮影して3色の画像データを取得する撮影部12と、撮影部12で取得された画像データを測色値に色変換する色変換装置14aとを有する。
同図に示す色変換装置14aは、データベース(DB)24と、条件判断部26と、選択部28と、色変換部30と、光沢判断部72と、画像出力部32とを有する。
ここで、図8に示すカメラシステム10aの撮影部12と、色変換装置14aのデータベース(DB)24、条件判断部26、選択部28、及び色変換部30とは、図1に示すカメラシステム10の撮影部12と、色変換装置14のデータベース(DB)24、条件判断部26、選択部28、及び色変換部30と、全く同一であるので、その説明は省略する。
図9に示すように、カメラシステム50aは、立体被写体18を撮影して3色の画像データを取得する撮影部12と、撮影部12で取得された画像データを測色値に色変換する色変換装置52aとを有する。
同図に示す色変換装置52aは、データベース(DB)54と、条件判断部26と、選択部56と、色変換部58と、光沢判断部72と、画像出力部32とを有する。
ここで、図9に示すカメラシステム50aの撮影部12と、色変換装置52aのデータベース(DB)54、条件判断部26、選択部56、及び色変換部58とは、図5に示すカメラシステム50の撮影部12と、色変換装置52のデータベース(DB)54、条件判断部26、選択部56、及び色変換部58と、全く同一であるので、その説明は省略する。
図8及び図9に示す光沢判断部72は、それぞれ色変換部30及び58で色変換された立体被写体18の測色画像、例えばXYZ測色画像の測色画像データを受け取り、測色画像データに基づいて立体被写体18の光沢感を求めるものである。
画像出力部32は、こうして光沢判断部72で得られた光沢感を、色変換部30又は58で得られた測色画像(XYZ測色画像)と共に出力する。
光沢判断部72で求められる、立体被写体18の光沢感を決定付ける大きな要素、即ち光沢要素は、2つある。1つ目の光沢要素は、被写体の反射率、即ち明度そのものと、2つ目の光沢要素は、周囲環境から写り込んだ写像、例えば光源の写像の鮮明度である。
1つ目の明度は、XYZ測色画像の測色画像データ(XYZ)から得ることができる。即ち、輝度Y値、又は測色画像データ(XYZ)から計算されるL値で、明るさ(明度)を判断することができる。
2つ目の写像鮮明度は、立体被写体18に写像された光源像の輪郭の鮮明性(鮮明度)から判断することができる。輪郭がシャープであれば光沢感が高く、輪郭がぼけていれば光沢感が低いと判断することができる。例えば、簡単な例では、図10(A)及び(B)に示すように、立体被写体18の輝度(Y値)画像を、所定の第1輝度(Y1)以上の光源写像領域74と、第1輝度(Y1)より小さい所定の第2輝度(Y2)以下の光源が写像されていない非写像領域76と、第1輝度(Y1)より小さく第2輝度(Y2)より大きい輝度(Y1>Y>Y2)の中間値のぼけ領域78との3つに3値化した時に、中間値のぼけ領域78の大きさ(領域幅)が狭ければ(小さければ)光沢感が高く、広ければ(大きければ)光沢感が低いと判断される。
なお、光源像が写像される位置は、立体被写体18の主要部分から外れていることが必要である。撮影上の制約で、光源像が写像される位置を立体被写体18の主要部分から外すことが困難である場合には、測色画像とは別に光源を写像可能な撮影を行うのが良い。
また、光沢感は、予め立体被写体18に対して、明度、例えば、Y値やL値の最大値及び写像鮮明度の最大値(中間値のぼけ領域78の領域幅の最低値)を求めておき、これらの明度の最大値及び写像鮮明度の最大値の組み合わせに対して、撮影された立体被写体18の明度(Y値、L値)と写像鮮明度(中間値のぼけ領域78の領域幅)との組み合わせで表すことができる。もちろん、両者の組み合わせを1つの数値として指標化して、数値化された指標として求めても良い。
本発明は、図1に示すカメラシステム10の色変換装置14の処理の流れを色変換方法として実施することができる。
即ち、本発明の第1の実施形態の色変換方法は、予め、基準測色値がそれぞれ付与された、複数の基準色立体物をそれぞれ撮影して得られた画像データと、これに対応する基準測色値とからそれぞれ算出された複数の変換関係が、基準色立体物の撮影における照明幾何学条件を含む複数の照明条件にそれぞれ関連付けられた、複数の立体色プロファイルを格納するデータベースを作成しておき、立体被写体を撮影して画像データを取得し、データベースに格納された複数の立体色プロファイルの中から、立体被写体の撮影時の照明条件に基づいて、この照明条件に対応する立体色プロファイルを選択し、選択された立体色プロファイルに基づいて、撮影された立体被写体の撮影画像の画像データから測色値への色変換を行うことにより、実施することができる。
また、図1に示すカメラシステム10の色変換装置14で行われる上記以外の処理についても、全て色変換方法として実施することができる。
さらに、本発明は、図8に示すカメラシステム10aの色変換装置14aの全ての処理の流れも色変換方法として実施することができる。
本発明は、図5に示すカメラシステム50の色変換装置52の処理の流れを色変換方法として実施することができる。
即ち、本発明の第2の実施形態の色変換方法は、予め、基準測色値が付与された、立体被写体の類似色の1色以上の基準色立体物に対して、撮影時における照明幾何学条件を含む複数の照明条件が関連付けられた複数の立体色補正プロファイルを格納するデータベースを作成しておき、立体被写体を撮影して画像データを取得し、立体被写体の撮影時の照明条件に基づいて、データベースに格納された複数の立体色補正プロファイルの中から、対応する立体色補正プロファイルを選択し、予め基準測色値が付与された複数の平面色票を撮影して得られた画像データと、基準測色値とから算出された変換関係、及び選択された立体色補正プロファイルに基づいて、撮影された立体被写体の撮影画像の画像データから測色値への色変換を行うことにより、実施することができる。
また、図5に示すカメラシステム50の色変換装置52で行われる上記以外の処理についても、全て色変換方法として実施することができる。
さらに、本発明は、図9に示すカメラシステム50aの色変換装置52aの全ての処理の流れも色変換方法として実施することができる。
なお、上述の各色変換方法は、色変換プログラムを実行することによってコンピュータ上で処理することができる。
例えば、本発明の色変換プログラムは、上述した各色変換方法の各ステップをコンピュータ、具体的にはそのCPUに行わせる手順を有するものである。これらの手順からなるプログラムは、1つまたは複数のプログラムモジュールとして構成されていても良い。
これらのコンピュータが実行する手順からなる色変換プログラムは、コンピュータまたはサーバのメモリ(記憶装置)内に記憶されるものであっても良いし、記録媒体に記憶されるものであっても良く、実行時に、当該コンピュータ(CPU)または他のコンピュータによって、メモリまたは記録媒体から読み出されて実行されるものである。したがって、本発明は、上記色変換方法をコンピュータに実行させるための色変換プログラムを記憶したコンピュータに読み取り可能なメモリもしくは記録媒体であっても良い。
以上、本発明に係るカメラシステム、歯科カメラシステム、肌計測(診断)カメラシステム、色変換装置、色変換方法、色変換プログラム、及び記憶媒体について詳細に説明したが、本発明は、以上の実施形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において、各種の改良や変更を行ってもよい。
10、10a、50、50a カメラシステム
12 撮影部
14、14a、52、52a 色変換装置
16 デジタルカメラ
18、18a、18b 立体被写体
20、62 立体リファレンス(基準色立体物)
22 撮影光源(光源)
24、54 データベース(DB)
26、26a、26b、26c、26d 条件判断部
28、56 選択部
30、58、58a、58b 色変換部
32 画像出力部
34 タグ情報取得部
36 画像解析部
38 指定情報入力部
40 条件リスト参照部
42 条件リストデータベース(DB)
44 情報取得部
46 条件取得部
60 平面色票
64 平面色変換部
66 立体色補正部
68 立体色プロファイル作成部
70 立体色変換部
72 光沢判断部

Claims (26)

  1. 立体被写体を撮影して画像データを取得する撮影部と、
    予め、基準測色値がそれぞれ付与された、複数の基準色立体物を、前記撮影部によってそれぞれ撮影して得られた画像データと、これに対応する前記基準測色値とからそれぞれ算出された複数の変換関係が、前記基準色立体物の撮影における照明幾何学条件を含む複数の照明条件にそれぞれ関連付けられた、複数の立体色プロファイルを格納するデータベースと、
    このデータベースに格納された前記複数の立体色プロファイルの中から、前記立体被写体の撮影時の前記照明条件に基づいて、この照明条件に対応する立体色プロファイルを選択する選択部と、
    この選択部によって選択された前記立体色プロファイルに基づいて、前記撮影部によって撮影された前記立体被写体の撮影画像の前記画像データから測色値への色変換を行う色変換部を有することを特徴とするカメラシステム。
  2. 前記複数の基準色立体物は、3色以上の基準色立体物であり、
    前記複数の立体色プロファイルは、前記3色以上の基準色立体物のそれぞれに対して、前記複数の照明条件に応じてそれぞれ作成されている請求項1に記載のカメラシステム。
  3. 立体被写体を撮影して画像データを取得する撮影部と、
    予め、基準測色値が付与された、前記立体被写体の類似色の1色以上の基準色立体物に対して、前記撮影部による撮影時における照明幾何学条件を含む複数の照明条件が関連付けられた複数の立体色補正プロファイルを格納するデータベースと、
    前記立体被写体の撮影時の前記照明条件に基づいて、前記データベースに格納された前記複数の立体色補正プロファイルの中から、対応する立体色補正プロファイルを選択する選択部と、
    予め基準測色値が付与された複数の平面色票を撮影して得られた画像データと、前記基準測色値とから算出された変換関係、及び前記選択部によって選択された前記立体色補正プロファイルに基づいて、前記撮影部によって撮影された前記立体被写体の撮影画像の前記画像データから測色値への色変換を行う色変換部を有することを特徴とするカメラシステム。
  4. 前記1色以上の基準色立体物は、前記立体被写体の前記類似色の1色の基準色立体物であり、
    前記複数の立体色補正プロファイルは、前記1色の基準色立体物に対して、前記複数の照明条件に応じてそれぞれ作成されており、
    前記複数の平面色票は、3色以上の平面色票である請求項3に記載のカメラシステム。
  5. 前記変換関係は、平面色プロファイルであり、
    前記色変換部は、前記撮影画像の前記画像データを、前記平面色プロファイルを用いて前記撮影画像の中間測色値に色変換すると共に、色変換された前記撮影画像の中間測色値を、選択された前記立体色補正プロファイルを用いて色補正して前記撮影画像の前記測色値を作成する請求項3又は4に記載のカメラシステム。
  6. 前記変換関係は、平面色プロファイルであり、
    前記色変換部は、前記平面色プロファイルと選択された前記立体色補正プロファイルとを用いて立体色プロファイルを作成し、作成された前記立体色プロファイルに基づいて、前記立体被写体の撮影画像の前記画像データから前記撮影画像の前記測色値への色変換を行う請求項3又は4に記載のカメラシステム。
  7. 前記基準色立体物は、前記立体被写体と同一又は類似の、曲面、立体形状、表面の凹凸形状及び層構造、並びに、傾きの異なる複数の平面又は曲面からなる多面体の少なくとも1つを持ち、前記立体被写体の類似物質の立体物からなる請求項1〜6のいずれか1項に記載のカメラシステム。
  8. 前記基準色立体物には、前記立体被写体と類似の、半透明性、不透明性、光散乱性、乳白色及び/又は肌色の色味の少なくとも1つを備える基準色立体物が含まれる請求項1〜7のいずれか1項に記載のカメラシステム。
  9. 前記撮影部は、デジタルカメラを備え、
    前記照明幾何学条件は、光源、前記デジタルカメラ、及び前記立体被写体又は前記基準色立体物の3者の幾何学的位置情報を含む請求項1〜8のいずれか1項に記載のカメラシステム。
  10. 前記基準色立体物は、傾きの異なる複数の平面又は曲面からなる多面体であり、
    前記多面体の反射輝度の高い平面又は曲面に基づいて前記光源の配置角度情報を解析し、前記照明幾何学条件として設定する請求項9に記載のカメラシステム。
  11. 前記多面体は、前記デジタルカメラ及び前記光源との間の光学的な幾何学配置において、光源からの出射光を直接前記デジタルカメラに入射させるように反射する反射面となる平面又は曲面を少なくとも有する請求項10に記載のカメラシステム。
  12. 前記照明幾何学条件は、前記光源による前記立体被写体又は前記基準色立体物の照明角度及び照明距離の少なくとも1つである請求項9〜11のいずれか1項に記載のカメラシステム。
  13. さらに、前記立体被写体の前記撮影時の前記照明条件を判断する条件判断部を有し、
    前記選択部は、前記条件判断部によって判断された前記照明条件に基づいて、前記データベースから、前記照明条件に対応する立体色プロファイル又は立体色補正プロファイルを選択する請求項1〜12のいずれか1項に記載のカメラシステム。
  14. 前記照明条件は、前記照明幾何学条件に加え、さらに、前記撮影時の照明光の照明光質条件を含み、
    前記条件判断部は、前記照明幾何学条件及び前記照明光質条件を判断する請求項13に記載のカメラシステム。
  15. 前記条件判断部は、前記撮影部から前記立体被写体の撮影時の付帯情報を取得する付帯情報取得部、前記立体被写体の前記撮影画像の画像解析を行う画像解析部、及び予め設定された判断条件組み合せリストを備える条件リスト参照部の少なくとも1つを有し、前記付帯情報取得部が取得した前記付帯情報、前記画像解析部の解析結果、及び前記条件リスト参照部のリストの中の選択結果の少なくとも1つから、前記照明条件を判断する請求項13又は14に記載のカメラシステム。
  16. さらに、前記色変換部で色変換された前記立体被写体の撮影画像の測色値に基づいて前記立体被写体の光沢感を判断する光沢判断部を有する請求項1〜15のいずれか1項に記載のカメラシステム。
  17. 前記光沢判断部は、前記立体被写体の撮影画像の測色値から求められる明度及び前記立体被写体に写像された光源像の鮮明度に基づいて光沢感を求める請求項16に記載のカメラシステム。
  18. さらに、前記色変換部で色変換された前記立体被写体の撮影画像の測色値に基づいて前記立体被写体の光沢感を判断する光沢判断部を有する請求項1〜15のいずれか1項に記載のカメラシステム。
  19. 前記基準色立体物は、傾きの異なる複数の平面又は曲面からなる多面体であり、
    前記データベースは、更に、前記多面体の前記平面の傾斜角及び/又は曲面の曲率の計測結果及び前記撮影部によって前記立体被写体の撮影条件又はこれに類似の撮影条件での撮影された前記多面体の反射光強度(輝度)の計測結果から設定された特定の前記平面の傾斜角及び/又は前記曲面の曲率を解析範囲として格納しておくものであり、
    前記撮影部によって撮影された前記立体被写体の前記撮影画像から得られた反射光分布を前記データベースに格納されている前記解析範囲内に予め指定された前記平面の傾斜角及び/又は前記曲面の曲率を持つ部分のみを解析領域として設定し、
    前記色変換部は、前記立体被写体の前記撮影画像の前記解析領域内の前記画像データを用いて色変換を行う請求項1〜18のいずれか1項に記載のカメラシステム。
  20. 請求項1〜19のいずれか1項に記載のカメラシステムを有し、
    前記立体被写体は、人間の歯であり、
    前記基準色立体物は、前記人間の歯と類似の、半透明性、光散乱性及び乳白色の色味を備えていることを特徴とする歯科カメラシステム。
  21. 請求項1〜19のいずれか1項に記載のカメラシステムを有し、
    前記立体被写体は、人間の皮膚であり、
    前記基準色立体物は、前記人間の皮膚と類似の、半透明性又は不透明性、光散乱性、及び乳白色又は肌色の色味の少なくとも1つを備えていることを特徴とする肌計測カメラシステム。
  22. 予め、基準測色値がそれぞれ付与された、複数の基準色立体物を、それぞれ撮影して得られた画像データと、これに対応する前記基準測色値とからそれぞれ算出された複数の変換関係が、前記基準色立体物の撮影における照明幾何学条件を含む複数の照明条件にそれぞれ関連付けられた、複数の立体色プロファイルを格納するデータベースと、
    このデータベースに格納された前記複数の立体色プロファイルの中から、立体被写体の撮影時の前記照明条件に基づいて、この照明条件に対応する立体色プロファイルを選択する選択部と、
    この選択部によって選択された前記立体色プロファイルに基づいて、撮影された前記立体被写体の撮影画像の前記画像データから測色値への色変換を行う色変換部を有することを特徴とする色変換装置。
  23. 予め、基準測色値が付与された、立体被写体の類似色の1色以上の基準色立体物に対して、撮影時における照明幾何学条件を含む複数の照明条件が関連付けられた複数の立体色補正プロファイルを格納するデータベースと、
    前記立体被写体の撮影時の前記照明条件に基づいて、前記データベースに格納された前記複数の立体色補正プロファイルの中から、対応する立体色補正プロファイルを選択する選択部と、
    予め基準測色値が付与された複数の平面色票を撮影して得られた画像データと、前記基準測色値とから算出された変換関係、及び前記選択部によって選択された前記立体色補正プロファイルに基づいて、撮影された前記立体被写体の撮影画像の前記画像データから測色値への色変換を行う色変換部を有することを特徴とする色変換装置。
  24. 撮影部、選択部、及び色変換部を有するカメラシステムが、予め、基準測色値がそれぞれ付与された、複数の基準色立体物をそれぞれ撮影して得られた画像データと、これに対応する前記基準測色値とからそれぞれ算出された複数の変換関係が、前記基準色立体物の撮影における照明幾何学条件を含む複数の照明条件にそれぞれ関連付けられた、複数の立体色プロファイルを格納するデータベースを作成しておき、
    前記撮影部が、立体被写体を撮影して画像データを取得し、
    前記選択部が、前記データベースに格納された前記複数の立体色プロファイルの中から、前記立体被写体の撮影時の前記照明条件に基づいて、この照明条件に対応する立体色プロファイルを選択し、
    前記色変換部が、選択された前記立体色プロファイルに基づいて、撮影された前記立体被写体の撮影画像の前記画像データから測色値への色変換を行うことを特徴とする色変換方法。
  25. 撮影部、選択部、及び色変換部を有するカメラシステムが、予め、基準測色値が付与された、立体被写体の類似色の1色以上の基準色立体物に対して、撮影時における照明幾何学条件を含む複数の照明条件が関連付けられた複数の立体色補正プロファイルを格納するデータベースを作成しておき、
    前記撮影部が、前記立体被写体を撮影して画像データを取得し、
    前記選択部が、前記立体被写体の撮影時の前記照明条件に基づいて、前記データベースに格納された前記複数の立体色補正プロファイルの中から、対応する立体色補正プロファイルを選択し、
    前記色変換部が、予め基準測色値が付与された複数の平面色票を撮影して得られた画像データと、前記基準測色値とから算出された変換関係、及び選択された前記立体色補正プロファイルに基づいて、撮影された前記立体被写体の撮影画像の前記画像データから測色値への色変換を行うことを特徴とする色変換方法。
  26. コンピュータに、請求項24又は25に記載の色変換方法の各ステップを手順として実行させるための色変換プログラム。
JP2013232192A 2012-11-09 2013-11-08 カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム Active JP6254826B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2013232192A JP6254826B2 (ja) 2012-11-09 2013-11-08 カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
JP2012247895 2012-11-09
JP2012247895 2012-11-09
JP2013158950 2013-07-31
JP2013158950 2013-07-31
JP2013232192A JP6254826B2 (ja) 2012-11-09 2013-11-08 カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム

Publications (3)

Publication Number Publication Date
JP2015046142A JP2015046142A (ja) 2015-03-12
JP2015046142A5 JP2015046142A5 (ja) 2016-11-04
JP6254826B2 true JP6254826B2 (ja) 2017-12-27

Family

ID=50684736

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2013232192A Active JP6254826B2 (ja) 2012-11-09 2013-11-08 カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム

Country Status (6)

Country Link
US (1) US9787965B2 (ja)
EP (1) EP2919185A4 (ja)
JP (1) JP6254826B2 (ja)
KR (1) KR101660323B1 (ja)
CN (1) CN104823213B (ja)
WO (1) WO2014073642A1 (ja)

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10893814B2 (en) 2015-10-06 2021-01-19 Koninklijke Philips N.V. System and method for obtaining vital sign related information of a living being
WO2017060342A1 (en) * 2015-10-06 2017-04-13 Koninklijke Philips N.V. Device, system and method for obtaining vital sign related information of a living being
ES2950501T3 (es) * 2016-04-22 2023-10-10 Fitskin Inc Sistemas para el análisis de la piel mediante dispositivos electrónicos
US10664965B2 (en) * 2016-10-31 2020-05-26 Graftek Imaging Inc. Digital color assessment
FI20175247A (fi) 2017-03-17 2018-09-18 Planmeca Oy Hammashoitokoneen operaatiovalaisin
EP3384830A1 (en) * 2017-04-05 2018-10-10 Koninklijke Philips N.V. Skin gloss measurement which is sensor angle rotation independent
EP3384829A1 (en) 2017-04-05 2018-10-10 Koninklijke Philips N.V. Skin gloss measurement for quantitative estimation of skin gloss
EP3668077B1 (en) * 2017-08-09 2023-08-02 FUJIFILM Corporation Image processing system, server device, image processing method, and image processing program
JP2019153931A (ja) * 2018-03-02 2019-09-12 株式会社リコー 測定装置、該測定装置における測色換算用パラメータの設定方法、該測定装置によって検査された工業製品
JP2019185730A (ja) * 2018-03-30 2019-10-24 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
JP7289308B2 (ja) 2018-09-06 2023-06-09 株式会社 資生堂 画像解析装置、画像解析方法およびプログラム
WO2020050296A1 (ja) 2018-09-06 2020-03-12 株式会社資生堂 画像解析装置、画像解析方法およびプログラム
KR102508788B1 (ko) * 2018-10-05 2023-03-10 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 입체적인 이미지의 쌍들을 수정하는 방법 및 장치
EP3685796B1 (en) * 2019-01-23 2024-04-17 Sirona Dental Systems GmbH Computer implemented method for customized coloration of dental restorations, device thereof, and dental restoration
JP7321738B2 (ja) * 2019-03-29 2023-08-07 キヤノン株式会社 画像処理装置、画像処理方法及びプログラム
CN110478075A (zh) * 2019-07-02 2019-11-22 北京大学口腔医学院 一种前牙美学色彩的虚拟预测与显示方法
WO2021106192A1 (ja) * 2019-11-29 2021-06-03 日本電気株式会社 肌色チャート及びその製造方法
WO2021111736A1 (ja) * 2019-12-06 2021-06-10 パナソニックIpマネジメント株式会社 撮影方法および撮影装置
US11557056B2 (en) 2019-12-06 2023-01-17 Canon Kabushiki Kaisha Image-capturing control apparatus, image-capturing control method, and storage medium for evaluating appearance of object
KR102499875B1 (ko) * 2020-02-05 2023-02-27 김현삼 인공치아의 색재현장치 및 이를 이용한 인공치아의 색재현방법
EP4046594A1 (de) * 2021-02-18 2022-08-24 Ivoclar Vivadent AG Verfahren zur festlegung einer zahnfarbe
CN113057583A (zh) * 2021-03-09 2021-07-02 上海中医药大学 舌象图像颜色校正方法
CN113096072B (zh) * 2021-03-18 2022-08-30 武汉纺织大学 一种色织纱线色彩体系构建方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2588656B1 (fr) 1985-10-16 1990-02-09 Bertin & Cie Appareil de spectro-colorimetrie a fibres optiques
JPH04367658A (ja) 1991-06-14 1992-12-18 Olympus Optical Co Ltd 歯のシェードガイド及びこれを用いた歯科用補綴物の色彩調整方法
JP3713321B2 (ja) * 1995-12-19 2005-11-09 オリンパス株式会社 カラー画像記録再生システム及び画像カラー画像記録再生方法
JP4076248B2 (ja) * 1997-09-09 2008-04-16 オリンパス株式会社 色再現装置
JP2002529122A (ja) * 1998-11-03 2002-09-10 シェード アナライジング テクノロジーズ インコーポレイテッド 歯のシェードを解析するシステムならびに方法
DE1207386T1 (de) * 2000-11-20 2003-05-28 Dow Global Technologies, Inc. Verfahren zum Charakterisieren des Aussehens eines Gegenstandes, zum Vorhersagen des Aussehens eines Gegenstandes und zum Herstellen eines Gegenstandes mit vorbestimmtem Aussehen, das optional auf Grundlage eines Referenzobjektes bestimmt wurde
US6977650B2 (en) * 2001-04-24 2005-12-20 E. I. Dupont De Nemours And Company Process for generating a computer image of a coated three-dimensional object
CN1672021A (zh) 2002-07-26 2005-09-21 奥林巴斯株式会社 图像处理系统
JP2005117612A (ja) * 2003-09-18 2005-04-28 Fuji Photo Film Co Ltd 画像処理方法および装置
JP2005122706A (ja) * 2003-09-25 2005-05-12 Fuji Photo Film Co Ltd 形状診断装置、形状診断方法、及びプログラム
JP2005181038A (ja) * 2003-12-18 2005-07-07 Olympus Corp 反射特性測定装置とそれを用いた高色再現デザインシステム及び反射特性測定方法
JP2005201693A (ja) * 2004-01-13 2005-07-28 Olympus Corp 色票処理装置、色票処理方法及び色票処理プログラム
WO2005124302A1 (ja) * 2004-06-17 2005-12-29 Digital Fashion Ltd. 画像処理プログラム、画像処理装置、及び画像処理方法
US7319529B2 (en) * 2004-06-17 2008-01-15 Cadent Ltd Method and apparatus for colour imaging a three-dimensional structure
JP3989521B2 (ja) * 2005-12-19 2007-10-10 オリンパス株式会社 画像合成装置およびその方法並びにプログラム
JP2008302076A (ja) * 2007-06-08 2008-12-18 Olympus Corp 歯科用色見本および歯科用色見本ユニット
FR2975804B1 (fr) * 2011-05-27 2022-06-17 Lvmh Rech Procede de caracterisation du teint de la peau ou des phaneres

Also Published As

Publication number Publication date
US20150245009A1 (en) 2015-08-27
KR101660323B1 (ko) 2016-09-29
EP2919185A1 (en) 2015-09-16
CN104823213A (zh) 2015-08-05
WO2014073642A1 (ja) 2014-05-15
CN104823213B (zh) 2018-06-05
US9787965B2 (en) 2017-10-10
JP2015046142A (ja) 2015-03-12
EP2919185A4 (en) 2016-07-13
KR20150068423A (ko) 2015-06-19

Similar Documents

Publication Publication Date Title
JP6254826B2 (ja) カメラシステム、これに用いられる色変換装置及び方法並びに色変換プログラム
US7064830B2 (en) Dental color imaging system
JP6045130B2 (ja) 歯色調マッピングのための方法
US7454046B2 (en) Method and system for analyzing skin conditions using digital images
JP6039008B2 (ja) 着色評価装置及び着色評価方法
Caglar et al. Could digital imaging be an alternative for digital colorimeters?
JP2012020130A (ja) 歯色調マッピング
JP2015046142A5 (ja)
Sohaib et al. Colour quality of facial prostheses in additive manufacturing
KR20080070070A (ko) 치과용 측색 장치
JP2007047045A (ja) 画像処理装置及び方法並びにプログラム
US11094085B2 (en) System comprising a color selection aid and a method for determining tooth colors
JP2006254309A (ja) 撮影システム
JP2006285763A (ja) 被写体についての陰影のない画像を生成する方法および装置、並びにそれに用いる白色板
JP2007190371A (ja) 歯科用測色装置、システム、方法、およびプログラム
Beneducci et al. Dental shade matching assisted by computer vision techniques
JP2014087641A (ja) 肌の状態の評価方法
CN107661087B (zh) 用于感光物体如生物组织的成像的医学成像装置及方法
JP2006081654A (ja) 画像生成方法およびその装置
JP2006030014A (ja) 色推定システム及び色推定方法
WO2019244254A1 (ja) 画像処理装置、画像処理装置の作動方法、及び画像処理装置の作動プログラム
CN109819150B (zh) 一种多通道图像采集装置以及采集多通道图像的方法
Vasudev et al. Effects of smartphone sensor characteristics on dermatoscopic images: a simulation study
He Accurate colour reproduction of human face using 3D printing technology
ILLUMINATE INCLUDE AN INTRA-ORA

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160915

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20160915

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20170818

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20170829

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171025

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20171114

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20171201

R150 Certificate of patent or registration of utility model

Ref document number: 6254826

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250