JP5119921B2 - 画像処理装置、画像処理システム及び画像処理プログラム - Google Patents

画像処理装置、画像処理システム及び画像処理プログラム Download PDF

Info

Publication number
JP5119921B2
JP5119921B2 JP2007525939A JP2007525939A JP5119921B2 JP 5119921 B2 JP5119921 B2 JP 5119921B2 JP 2007525939 A JP2007525939 A JP 2007525939A JP 2007525939 A JP2007525939 A JP 2007525939A JP 5119921 B2 JP5119921 B2 JP 5119921B2
Authority
JP
Japan
Prior art keywords
data
image processing
image
color
white balance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2007525939A
Other languages
English (en)
Other versions
JPWO2007010749A1 (ja
Inventor
伸一郎 鬼頭
吉田　　幸生
博哲 洪
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Konica Minolta Inc
Original Assignee
Konica Minolta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Konica Minolta Inc filed Critical Konica Minolta Inc
Priority to JP2007525939A priority Critical patent/JP5119921B2/ja
Publication of JPWO2007010749A1 publication Critical patent/JPWO2007010749A1/ja
Application granted granted Critical
Publication of JP5119921B2 publication Critical patent/JP5119921B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/643—Hue control means, e.g. flesh tone control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01J—MEASUREMENT OF INTENSITY, VELOCITY, SPECTRAL CONTENT, POLARISATION, PHASE OR PULSE CHARACTERISTICS OF INFRARED, VISIBLE OR ULTRAVIOLET LIGHT; COLORIMETRY; RADIATION PYROMETRY
    • G01J3/00—Spectrometry; Spectrophotometry; Monochromators; Measuring colours
    • G01J3/46—Measurement of colour; Colour measuring devices, e.g. colorimeters
    • G01J3/50—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors
    • G01J3/508—Measurement of colour; Colour measuring devices, e.g. colorimeters using electric radiation detectors measuring the colour of teeth
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G01N21/27—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands using photo-electric detection ; circuits for computing concentration
    • G01N21/274—Calibration, base line adjustment, drift correction
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/90—Determination of colour characteristics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/6027—Correction or control of colour gradation or colour contrast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/46—Colour picture communication systems
    • H04N1/56—Processing of colour picture signals
    • H04N1/60—Colour correction or control
    • H04N1/62—Retouching, i.e. modification of isolated colours only or in isolated picture areas only
    • H04N1/628—Memory colours, e.g. skin or sky
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
    • H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/73—Colour balance circuits, e.g. white balance circuits or colour temperature control
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01N—INVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00—Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/17—Systems in which incident light is modified in accordance with the properties of the material investigated
    • G01N21/25—Colour; Spectral properties, i.e. comparison of effect of material on the light at two or more different wavelengths or wavelength bands
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30004—Biomedical image processing
    • G06T2207/30036—Dental; Teeth
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30196—Human being; Person
    • G06T2207/30201—Face

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Spectroscopy & Molecular Physics (AREA)
  • Theoretical Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Biochemistry (AREA)
  • Mathematical Physics (AREA)
  • Immunology (AREA)
  • Pathology (AREA)
  • Image Processing (AREA)
  • Measuring And Recording Apparatus For Diagnosis (AREA)
  • Color Image Communication Systems (AREA)
  • Dental Tools And Instruments Or Auxiliary Dental Instruments (AREA)

Description

本発明は画像処理装置、画像処理システム及び画像処理プログラムに関し、特に医療診断などの目的で撮影した人体などの画像データの画像処理を行う画像処理装置、画像処理システム及び画像処理プログラムに関する。
従来から、医療診断や美容診断などの診断目的で解析を行う人体などの画像データの画像処理を行うシステムとして、照明などの周辺環境の変化に左右されないよう、被写体の皮膚の色などを画面上に正確に再現するための補正を行う画像処理システムが知られている。
例えば、特許文献１には、被写体の胸に基準白色板を取り付けて撮影を行い、その基準白色板を色基準として色補正をする色補正手段を備えた医療診断システムが開示されている。
また、特許文献２には、患者の近くに基準色見本部材を設置して撮影を行い、基準色見本画像と基準色見本部材との色ずれが判断基準値を超えたときはその色ずれを補正する画像処理を行うことによって、患者の皮膚の色などを画面上に精度よく表示させる表示色自動調整装置を備えた医療用遠隔診断システムが開示されている。
また、特許文献３には、各画像入出力装置の色特性を決定する際に、被写体の患部や皮膚の色合いに近い色が多く入ったチャートを用いることにより、被写体の色合いをより高精度に再現する医療用画像処理システムが開示されている。
また、特許文献４には、被写体の画像データの色などを、較正情報として保存された色などに近似するように調整することにより、様々な光の状態において、身体外部の状態の正確な画像を表示することを可能とする画像取得の較正方法が開示されている。
特開平１０−１６５３７５号 特開平１１−１９０５０号 特開２００１−２５８０４４号 特開２００３−２２００３６号
しかし、特許文献１〜特許文献４に記載のいずれの発明も、被写体の皮膚の色などを画面上に正確に再現するために、基準白色板やチャートなどの部材を別途設置する必要があった。また、被写体の患部や皮膚の色合いに近い色が多く入ったチャートを用いる場合などは、被写体ごとに複数種類のチャートを準備する必要があった。このため、画像処理システムの製造工程が煩雑化すると共に、製造コストがかかるという問題があった。
本発明は上述した点に鑑み、被写体の皮膚の色などを周辺環境の変化の影響がないよう画面上に正確に再現し、解析用データともするための画像処理を簡易に行うことを可能とする画像処理装置、画像処理システム及び画像処理プログラムを提供することを目的とする。
上記課題を解決するため、本発明の画像処理装置は、生体を被写体として撮影した画像データから生体の白色領域における色彩データを取得する生体色彩情報取得部と、前記生体色彩情報取得部により取得される前記色彩データに基づいて前記撮影した画像データのホワイトバランス調整を行うデータ処理部と、を備え、前記生体の白色領域は、歯領域であることを特徴としている。
本発明の画像処理システムは、本発明の画像処理装置と、当該画像処理装置とネットワークを介して通信自在に接続され生体を被写体として撮影する画像入力装置と、を備えることを特徴としている。
本発明の画像処理プログラムは、生体を被写体として撮影した画像データから生体の白色領域における色彩データを取得する生体色彩情報取得ステップと、取得される前記色彩データに基づいて前記撮影した画像データのホワイトバランス調整を行うホワイトバランス調整ステップと、をコンピュータに実行させ、前記生体の白色領域は、歯領域であることを特徴としている。
本発明によれば、生体の白色領域の画像データを用いることにより、簡易にホワイトバランス調整用の色彩データを取得することが可能となる。このため、基準白色板やチャートなどの部材を別途設置する必要がない。
本発明の実施形態に係る画像処理システムの機能的構成を示すブロック図である。 本発明の実施形態に係る生体色彩情報取得部における歯領域の抽出処理の例を示す図である。 本発明の実施形態に係る画像データの画像輝度を示すグラフである。 本発明の実施形態に係る画像データの画像値比を示すグラフである。 本発明の実施形態に係る画像データの色彩データを示すグラフである。 本発明の実施形態に係る画像データの色彩データを示すグラフである。 本発明の実施形態に係る初期登録処理を示すフローチャートである。 本発明の実施形態に係るホワイトバランス調整処理を示すフローチャートである。
符号の説明
１ 画像処理システム
２ 画像入力装置
３ 画像処理装置
４ 外部装置
５ 制御部
６ メモリ部
７ Ｉ／Ｏ部
８ ユーザインターフェイス部
９ 生体色彩情報取得部
１０ データ処理部
１１ データ管理・保持部
１２ 外部通信部
１３ 画像表示部
１４ 照明装置
以下、本発明の実施形態について図面を参照して説明する。
（システム構成）
図１は、本発明の実施形態に係る画像処理システム１のブロック構成図である。本実施形態に係る画像処理システム１は、例えば、自宅で日常的に顔色を測定して健康チェックを行う場合に適用可能である。この場合、一形態として、本画像処理システムを洗面所に設置し、被写体に照明光を当て、ハーフミラーから構成される洗面鏡の裏側から被写体を撮影する。そして、得られた画像をシステムの特性（照明光の特性含む）を考慮して補正し、精度良い顔色の測定を行う。他にも、病気診断や美容診断などに適用可能である。
図１に示すように、画像処理システム１は、被写体の画像を取得する画像入力装置２、被写体に照明光を照射する照明装置１４、取得した画像データの画像処理を行う画像処理装置３及び一つ以上の外部装置４が互いに通信可能なネットワークを介して接続されることにより構成されている。
外部装置４はパソコンなどであり、何らかのコンサルティングや診断が受けられる場所に設置されていることが望ましい。例えば、本実施形態に係る画像入力装置２で健康に関するデータを得る場合は、外部装置４を病院や健康管理施設などの公共施設に設置しておくことが考えられる。また、美容に関するデータの場合は、外部装置４をコスメティック関係の店や施設・病院などに設置しておくことが考えられる。また、外部装置４をコンサルティング情報が得られるインターネットサイトや、コンサルタントや医師、店員などの携帯端末として構成してもよい。
画像入力装置２は、ＣＣＤやＣＭＯＳなどの撮像素子により静止画又は動画を取得することができる１つ又は複数のカメラによって構成されている。例えば、デジタルカメラ、ビデオカメラ、その他携帯電話などに付属のカメラモジュールなどを用いることができる。
照明装置１４は、色再現性の高い昼白色や白色等の照明光を照射する蛍光灯等の光源から構成されている。複数の種類の光源を設けて選択的に使用することも可能である。この場合、出荷時に初期に用いる光源を設定しておく。
画像処理装置３は、制御部５、メモリ部６、Ｉ／Ｏ部７、ユーザインターフェイス部８、生体色彩情報取得部９、データ処理部１０、データ管理・保持部１１、外部通信部１２及び画像表示部１３を備えている。
制御部５は、画像処理装置３の各構成部分を駆動制御するようになっている。本実施形態の画像処理装置３は動画像も扱うため、制御部５はできる限り高速動作・制御が可能なチップにより構成することが望ましい。
メモリ部６は、本発明の画像処理プログラムを記憶するＲＯＭ、データ処理部１０において必要なデータをデータ管理・保持部１１などから転送して一時的に蓄えるＲＡＭ、などから構成されている。
Ｉ／Ｏ部７は、画像入力装置２からの画像データを入力したり、画像処理装置３の各種データを外部装置４に出力したりする。他にも、ＣＦカード、ＳＤカード、ＵＳＢメモリカードなどの可搬型デバイスを扱う機器を接続し、これらの機器から画像データを入力することも可能である。
ユーザインターフェイス部８は、ユーザが各種入力を行う入力部、ユーザに画像処理装置３の状態や各種入力要求を表示する表示部を有している。例えば、画像表示部１３と一体にしたタッチパネルとして構成することができる。また、スピーカー、マイクを設け音声によりコミュニケートできるようにしたり、撮像装置を設け身振りやジェスチャ（手話など高度なコミュニケート手段も含む）によりコミュニケートできるようにしたりしてもよい。
また、ユーザインターフェイス部８において、ユーザが撮影画像のうち歯領域を矩形ポインタなどで囲んで指定する手段や、ユーザが歯付近を指定すると指定位置を中心として所定の大きさの矩形を表示することにより歯領域を指定する手段などを設けることもできる。
生体色彩情報取得部９は、画像入力装置２、Ｉ／Ｏ部７又はデータ管理・保持部１１から入力された画像データから、画像処理の基準データとなる被写体の「白色領域」における色彩データを取得するようになっている。本実施形態では、所定の照明光の条件下における被写体の歯領域の平均画像データから一意に算出できる色彩データを「照明光パラメータ」として取得するようになっている。歯は通常白いことから、ホワイトバランスの調整用の色彩データとして適している。
すなわち、まず本実施形態の生体色彩情報取得部９は、図２に示すように、人物の顔が中心的に撮影された画像データを用いて、顔領域の画像データを抽出し、口腔部の画像データを抽出した上で、口腔内の歯領域の画像データを抽出するようになっている。
ここで、撮影画像における各領域の抽出方法としては、公知の抽出方法を用いることができる。例えば、口腔内の歯領域を抽出するにあたっては、図３に示すように、口腔部の画像データから輝度の高い領域を歯領域として抽出してもよい。また、陰影に影響を受けずに歯領域を抽出するには、図４に示すように、Ｒ／Ｇ又はＢ／Ｇを指標とし、１付近を閾値として閾値内部の領域を抽出してもよい。また、口腔部の画像データから算出した三刺激値データ（ＸＹＺ）や均等色値データ（Ｌ＊ｕ＊ｖ＊）などの色彩データの分布から歯領域を抽出することもできる。例えば、図５に示すように、ｕ＊，ｖ＊を指標として、０付近を閾値として閾値内部の領域を抽出すると共に、図６に示すように、Ｌ＊を指標とし、所定の閾値以上の領域を抽出して、図５における所定の閾値内部の領域と、図６における所定の閾値以上の領域との双方を満たす領域を歯領域のデータとすることができる。なお、閾値はユーザインターフェイス部８で入力するかデータ管理・保持部１１で管理しておくことができる。また、画像データの色彩データへの変換はその他の公知な方法によって行うことが可能であり、特許文献１、特許文献３又は特開２００４−１４８９４４号記載の方法などを使用することができる。
また、照明光パラメータは公知の方法によって算出することができる。例えば、画像入力装置２を３チャンネル（ＲＧＢ）として、歯領域の平均画像データを（ＲｔＧｔＢｔ）とすると、色空間をｓＲＧＢと仮定してｓＲＧＢの規格（ＩＥＣ ６１９６６−２−１）で定義された変換式（Encoding transformation）により三刺激値データ（ＸｔＹｔＺｔ）を算出する方法や、画像処理システムのシステムマトリクスや処理工程を考慮して三刺激値やその他の色彩データに変換する方法などが考えられる。
このように、生体色彩情報取得部９において歯領域の画像データを抽出し、その照明光パラメータを取得することによって、被写体の付近に基準白色板やチャートなどの部材を別途設置することなく、所定の照明光下における「白色領域」の色彩データを画像処理の基準データとすることが可能となっている。
また、照明光の経時変化を考慮してデータ管理・保持部１１が保持する照明光パラメータの有効期限を設定し、有効期限ごとに照明光パラメータを取得するように構成することも可能である。
なお、被写体の「白色領域」における色彩データを取得するにあたり、基準とする照明光や歯の色についての規定はなく、例えば、洗面所や居間の蛍光灯下など、画像処理システム１の使用頻度が最も高いと思われる照明条件を基準とすることや、国際標準的な照明下（Ｄ６５，Ｄ５０など）を基準とすることも可能である。また、過去の画像データ又は色彩データから基準とするのに適当なデータをユーザインターフェイス部８で選択できるようにしてもよい。
図１に戻り、データ処理部１０は、画像入力装置２で撮影した被写体の各部位の画像データやＩ／Ｏ部７から入力された画像データに対して、生体色彩情報取得部９で取得した歯領域の画像データの照明光パラメータ、すなわち所定の照明光下における「白色領域」の色彩データを基準として画像処理を行うようになっている。本実施形態では、画像処理としてホワイトバランス調整を行うようになっており、「白色領域」の色彩データを基準として、画像データに反映される照明光の色成分を簡易かつ正確に把握することにより、より精度の高いホワイトバランス調整を行うことができるようになっている。
すなわち、データ処理部１０は、生体色彩情報取得部９において取得した照明光パラメータに基づいて補正パラメータを算出し、入力された画像データに対して補正パラメータを用いた演算を行うことにより、ホワイトバランス調整を行うようになっている。なお、算出された補正パラメータ及び画像処理後の画像データはＩ／Ｏ部７又はデータ管理・保持部１１に出力されるようになっている。
ここで、「補正パラメータ」とは、照明光パラメータ及び基準データに基づいて所定の演算によって求められるパラメータをいう。基準データは、例えば、本画像システムに最初に個人情報を登録する際に顔を撮影して得られた画像データから取得された照明光パラメータである。補正パラメータは、例えば、基準とする色彩データの三刺激値（ＸｂＹｂＺｂ）と照明光パラメータとの比（ＸｂＹｔ／ＸｔＹｂ，１，ＺｂＹｔ／ＺｔＹｂ）をとって補正パラメータとすることができる。また、画像補正方法に応じてその他の補正パラメータを算出することも可能である。
また、補正パラメータを用いたホワイトバランス調整としては、公知の方法を用いることができる。例えば、取得した画像データの色空間がｓＲＧＢであると仮定して、画像データ（ＲｐＧｐＢｐ）をｓＲＧＢの規格（ＩＥＣ ６１９６６−２−１）で定義された変換式から三刺激値（ＸｐＹｐＺｐ）に変換して、所定の補正パラメータを乗算した画像データ（Ｘｐ＊ＸｂＹｔ／ＸｔＹｂ，Ｙｐ，Ｚｐ＊ＺｂＹｔ／ＺｔＹｂ）を求めた上で、その画像データを再びｓＲＧＢに変換することが可能である。なお、彩度の高い部分で色ずれが起きる可能性もあるので、それを抑止できる他の画像処理を行ってもよい。
また、画像データが入力されるごとに補正パラメータを算出してホワイトバランス調整を行ってもよく、また、データ管理・保持部１１に保持された過去の補正パラメータを用いてホワイトバランス調整を行ってもよい。その際、データ管理・保持部１１に保持された最新の補正パラメータを選択して適用することが可能である。
また、原則として画像が入力されるごとに補正パラメータを算出して画像処理を行い、撮影画像が歯の画像を含まない場合や、生体色彩情報取得部９において歯領域の色彩データが取得できなかった場合は、データ管理・保持部１１に保持された補正パラメータを適用することも考えられる。
また、データ管理・保持部１１が保持する照明光パラメータ及び補正パラメータの有効期限に基づき、これらの有効期限内である場合は、データ管理・保持部１１に保持された補正パラメータを適用して画像処理を行うことも考えられる。これにより、画像処理が簡単化して処理時間を短縮することができる。
更に、最も好適な処理として、生体色彩情報取得部９において取得された照明光パラメータと前回使用した補正パラメータを算出した際の照明光パラメータとを比較して、その差が所定の閾値以下である場合は、前回使用した補正パラメータを用いて画像処理を行うことが考えられる。これにより、データ処理部は毎回補正パラメータを算出する必要がなく、画像処理の効率を高めることが可能となる。
データ管理・保持部１１は、外部から入力された画像データ、画像処理装置３による画像処理が行われた画像データ又は画像処理途中のテンポラリデータなどを管理して保持するようになっている。
すなわち、データ管理・保持部１１は、外部から入力された画像データや、外部から入力された画像データから抽出した顔データ、顔データから抽出した口腔部の画像データ及び口腔部の画像データから抽出した歯領域の画像データを管理して保持するようになっている。
また、データ管理・保持部１１は、生体色彩情報取得部９において取得した照明光パラメータ、データ処理部１０において算出した補正パラメータ及び画像処理後の画像データを日時と共に時系列的に管理して保持するようになっている。
更に、データ管理・保持部１１は、照明光パラメータの差の閾値、補正パラメータの有効期限の設定値、歯領域抽出の閾値その他の画像処理に必要なパラメータの設定値や、各種照明光や基準の色彩データを管理して保持するようになっている。これにより、照明光パラメータの差が所定の閾値以上である場合に制御部５に指示信号を出力することや、補正パラメータの更新時期を自動的に判断して制御部５に指示信号を出力することが可能となり、データ管理・保持部１１において保持する補正パラメータを更新することができるようになっている。
また、データ管理・保持部１１は、顔領域の画像データ、歯領域の画像データ、照明光パラメータ又は補正パラメータなどの情報を被写体や装置使用者などの個人情報と関連付けて管理・保持している。これにより、複数人が同じ装置を使用する場合の混乱を回避することも可能である。例えば、撮影した被写体の画像データに対して、データ管理・保持部１１に保持された顔領域の画像データを用いて個人認証を行い、認証された個人の照明光パラメータなどを抽出することができる。
外部通信部１２は、有線又は無線の通信手段により外部装置４と情報通信ができるように構成されている。なお、本実施形態の画像処理装置３は画像情報を扱うため、できる限り高速伝送できる通信形態であることが望ましい。
画像表示部１３は、ＣＲＴ，液晶，有機ＥＬ，プラズマ又は投影方式などのディスプレイから構成され、データ処理部１０で画像処理中の画像データ又はデータ管理・保持部１１で保持された画像処理後の画像データなどを表示するほか、画像処理システム１の各構成部分の状態に関する情報や、外部装置４から与えられた情報などを表示するようになっている。なお、タッチパネルとするなどユーザインターフェイス部８と機能を兼ねる構成とすることも可能である。
（画像処理フロー）
次に、上述の画像処理システム１を使用した本発明の画像処理方法について、以下に説明する。
＜初期登録処理＞
初めて使用するユーザに対して登録を行う処理である。図７に、当該処理に係るフローを示す。この処理は、例えば、ユーザが、ユーザインターフェイス部８により初期登録を選択入力することにより開始される。
まず、制御部５は、ユーザインターフェイス部８にユーザの個人情報（氏名、生年月日、性別）、生活様態に関するアンケート、等の入力要求を表示させる。これに応答して、ユーザにより、個人情報等が入力される（ステップＳ１１）。
次に、制御部５は、画像入力装置２により撮影を行う。このとき、例えば、ユーザインターフェイス部８に「歯を見せて下さい」等の表示を行っておく。これにより、ユーザの歯領域の画像が含まれた顔画像データが得られる。また、撮影の際には、制御部５は、照明装置１４を制御しユーザに照明光が照射しておく（ステップＳ１２）。
次に、制御部５は、得られた顔画像データを個人情報に対応付けてデータ管理・保持部１１に格納する（ステップＳ１３）。
次に、制御部５は、生体色彩情報取得部９に、データ管理・保持部１１に格納された顔画像データから、歯領域の色彩データを抽出させる。具体的には、歯領域の画像をｓＲＧＢ画像とみなし、ｓＲＧＢの規格式（ＩＥＣ６１９６６−２−１）を用いて、歯領域の画像データから三刺激値データを抽出させる（ステップＳ１４）。
次に、制御部５は、抽出された歯領域の色彩データを基準データとして個人情報に対応付けてデータ管理・保持部１１に格納する（ステップＳ１５）。
上記では、顔画像の撮影の際に歯領域の画像も同時に取得したが、顔画像の撮影とは別に歯領域の画像の撮影を行ってもよい。
初期登録処理の実行は、ユーザが初期登録を選択入力する以外にも、まず顔画像の撮影を行い、撮影した顔画像と一致する顔画像がデータ管理・保持部１１に格納されていない場合に行うようにすることもできる。
また、初期登録処理の実行は、初めて使用する時だけでなく、定期的に（例えば、１年毎）行い、歯領域の基準データ等の登録データの更新を行うことが好ましい。例えば、ユーザインターフェイス部８に、「個人データの更新をお願いします。」等のメッセージを表示させる。これに応答して、ユーザが了承し、更新の指示を行うことで初期登録処理が実行される。
上記では、歯領域の基準データである三刺激値データとしては、個人毎に抽出し登録したものを用いたが、人間の平均的な歯の三刺激値データを用いることも可能である。人間の平均的な歯の三刺激値データは、公開されている歯の分光反射率等のデータベースを用いて算出する。この三刺激値データの算出にあたって用いる照明光の分光特性データとしては、Ｄ６５光源、Ｄ５０光源、演色性の高い光源等の分光特性データの中から適宜選択する。歯は年齢に応じて白色が変化するので、例えば、１０代、２０代等年代毎に三刺激値データを用意することが好ましい。
＜ホワイトバランス調整処理＞
図８は、本実施形態に係るホワイトバランス調整処理のフロー図である。なお、既に、ユーザインターフェイス部８を介して、登録されているユーザ候補の中から特定のユーザが選択されているものとする。
ユーザが画像処理システム１の使用を開始すると、Ｉ／Ｏ部７又はデータ管理・保持部１１から生体色彩情報取得部９に所定の照明光の条件下で人物の顔が中心的に撮影された画像データが入力される（ステップＳ２１）。
続いて、生体色彩情報取得部９は、人物の顔が中心的に撮影された画像データから顔領域の画像データを抽出し（ステップＳ２２）、口腔部の画像データを抽出した上で（ステップＳ２３）、口腔内の歯領域の画像データを抽出する（ステップＳ２４）。このうち、顔領域の画像データ及び歯領域の画像データは、データ管理・保持部１１に出力され、個人情報に対応付けて格納される。
次に、生体色彩情報取得部９は、歯領域の画像データの平均画像データ（ＲｔＧｔＢｔ）を算出した上で（ステップＳ２５）、ｓＲＧＢの規格で定義された変換式により三刺激値データ（ＸｔＹｔＺｔ）を算出するなどして画像データを色彩データに変換し、この所定の照明光の条件下における歯領域の平均画像データから一意に算出できる色彩データを照明光パラメータとしてデータ管理・保持部１１に出力する（ステップＳ２６）。データ管理・保持部１１に出力された照明光パラメータは個人情報に対応付けて格納される。
次に、データ処理部１０は、生体色彩情報取得部９において算出された照明光パラメータと前回使用した補正パラメータが算出された際の照明光パラメータを比較して、その色差が所定の閾値以下であるか否かを判断する（ステップＳ２７）。
そして、色差が所定の閾値以下であった場合は、前回使用した補正パラメータを使用して画像処理を行う（ステップＳ２８）。
一方、色差が所定の閾値以上であった場合は、生体色彩情報取得部９において新たに取得した照明光パラメータ及び初期登録処理で登録されている基準データに基づいて補正パラメータを算出する（ステップＳ２９）。なお、算出した補正パラメータはＩ／Ｏ部７又はデータ管理・保持部１１に出力され、個人情報に対応付けて格納される。
なお、ステップＳ２７，Ｓ２８は省略することも可能である。また、撮影画像が歯の画像を含まない場合や歯領域の色彩データを取得できなかった場合又は照明光パラメータ及び補正パラメータの有効期限内である場合は、データ管理・保持部１１に保持された補正パラメータを適用することなども可能である。
続いて、データ処理部１０は、入力された画像データ全体に対して補正パラメータを用いた演算を行うことにより、画像データのホワイトバランス調整を行う（ステップＳ３０）。こうして画像処理が行われた画像データはＩ／Ｏ部７又はデータ管理・保持部１１に出力され、個人情報に対応付けて格納される（ステップＳ３１）。
以上より、本実施形態の画像処理方法、画像処理装置３及び画像処理システム１によれば、生体の白色領域である歯の画像データを抽出することにより、照明光の色成分がそのまま反映された色彩データ、すなわち照明光パラメータを取得することができる。これにより、被写体の色成分と照明光の色成分との分離が容易となり、画像データに与える照明光の影響を考慮してホワイトバランス調整を精度よく行うことが可能となる。
また、データ管理・保持部１１に時系列的に保持された照明光パラメータ又は補正パラメータを適宜参照して画像処理を行うことが可能となる。すなわち、照明光パラメータに変化がない場合は前回使用した補正パラメータをそのまま使用することから、データ処理部１０は毎回補正パラメータを算出する必要がなく、画像処理の効率を高めることが可能となる。
なお、本実施形態では画像処理システム１が画像入力装置２及び画像処理装置３を備える構成としているが、画像入力装置２に画像処理装置３の機能を含めた構成とすることも可能である。
また、画像処理システム１が設置される周辺環境の情報を取得するための周辺環境情報取得部を設けて、この周辺環境情報取得部において被写体の歯領域の色彩データを直接計測する構成としてもよい。この場合は、画像入力装置２において取得した画像データから抽出した色彩データではなく、周辺環境情報取得部で計測した色彩データを画像処理に用いる。また、この場合は、画像入力装置２及び画像処理装置３が一体となった構成とすることが望ましい。
また、本実施形態では被写体を人として歯領域を抽出する構成としたが、本発明は犬、猫、馬、兎など人以外の生物を被写体とする場合にも適用することができる。この場合は本実施形態と同様に生物の歯領域の画像データを抽出するか、胴や足の白色領域などの画像データを抽出して画像処理を行うことができる。
また、本実施形態では照明環境の変化に応じて画像処理を行う方法を示したが、人物や人物の顔などを主要被写体とした場合に、その主要被写体以外の背景における被写体の形状や色の変化率に応じて補正パラメータを更新するタイミングを決定する構成としてもよい。その場合は、過去に画像処理された背景の被写体の画像データを参照することが必要となる。
以上詳細に説明したように、本発明の画像処理方法、画像処理装置及び画像処理システムによれば、基準白色板やチャートなどの部材を別途設置することなく、周辺環境の変化を画像データに影響させないための画像処理を簡易に行うことが可能となる。
また、時系列的に保持された照明光パラメータ又は補正パラメータを適宜参照して画像処理を行うことが可能となり、画像処理の効率を高めることができる。

Claims (9)

  1. 生体を被写体として撮影した画像データから生体の白色領域における色彩データを取得する生体色彩情報取得部と、
    前記生体色彩情報取得部により取得される前記色彩データに基づいて前記撮影した画像データのホワイトバランス調整を行うデータ処理部と、
    を備え、
    前記生体の白色領域は、歯領域であることを特徴とする画像処理装置。
  2. 前記生体の白色領域における基準データを予め保持するデータ管理保持部を備え、
    前記データ処理部は、前記色彩データ及び前記基準データから補正パラメータを算出し、当該補正パラメータに基づいて前記撮影した画像データのホワイトバランス調整を行うことを特徴とする請求の範囲第１項に記載の画像処理装置。
  3. 前記データ管理保持部は、前記色彩データ及び前記補正パラメータを時系列的に保持することを特徴とする請求の範囲第２項に記載の画像処理装置。
  4. 前記データ処理部は、前記色彩データと前回使用した前記補正パラメータに対応するものとして前記データ管理保持部が保持する前記色彩データとを比較して、その差が所定の閾値以下である場合は、前回使用した前記補正パラメータによって前記ホワイトバランスの調整を行うことを特徴とする請求の範囲第３項に記載の画像処理装置。
  5. 請求の範囲第１項〜第４項のいずれか一項に記載の画像処理装置と、
    前記画像処理装置とネットワークを介して通信自在に接続され生体を被写体として撮影する画像入力装置と、
    を備えることを特徴とする画像処理システム。
  6. 生体を被写体として撮影した画像データから生体の白色領域における色彩データを取得する生体色彩情報取得ステップと、
    取得される前記色彩データに基づいて前記撮影した画像データのホワイトバランス調整を行うホワイトバランス調整ステップと、
    をコンピュータに実行させ、
    前記生体の白色領域は、歯領域であることを特徴とする画像処理プログラム。
  7. 前記生体の白色領域における基準データを予め保持する基準データ保持ステップをコンピュータに実行させ、
    前記ホワイトバランス調整ステップは、前記色彩データ及び前記基準データから補正パラメータを算出し、当該補正パラメータに基づいて前記撮影した画像データのホワイトバランス調整を行うことを特徴とする請求の範囲第６項に記載の画像処理プログラム。
  8. 前記色彩データ及び前記補正パラメータを時系列的に記憶させるデータ記憶ステップをコンピュータに実行させることを特徴とする請求の範囲第７項に記載の画像処理プログラム。
  9. 前記ホワイトバランス調整ステップは、前記色彩データと前回使用した前記補正パラメータに対応するものとして前記データ記憶ステップにおいて記憶された前記色彩データとを比較して、その差が所定の閾値以下である場合は、前回使用した前記補正パラメータによって前記ホワイトバランスの調整を行うことを特徴とする請求の範囲第８項に記載の画像処理プログラム。
JP2007525939A 2005-07-19 2006-07-06 画像処理装置、画像処理システム及び画像処理プログラム Expired - Fee Related JP5119921B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2007525939A JP5119921B2 (ja) 2005-07-19 2006-07-06 画像処理装置、画像処理システム及び画像処理プログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2005208484 2005-07-19
JP2005208484 2005-07-19
JP2007525939A JP5119921B2 (ja) 2005-07-19 2006-07-06 画像処理装置、画像処理システム及び画像処理プログラム
PCT/JP2006/313461 WO2007010749A1 (ja) 2005-07-19 2006-07-06 画像処理装置、画像処理システム及び画像処理プログラム

Publications (2)

Publication Number Publication Date
JPWO2007010749A1 JPWO2007010749A1 (ja) 2009-01-29
JP5119921B2 true JP5119921B2 (ja) 2013-01-16

Family

ID=37668631

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2007525939A Expired - Fee Related JP5119921B2 (ja) 2005-07-19 2006-07-06 画像処理装置、画像処理システム及び画像処理プログラム

Country Status (4)

Country Link
US (1) US20090092297A1 (ja)
EP (1) EP1905350A4 (ja)
JP (1) JP5119921B2 (ja)
WO (1) WO2007010749A1 (ja)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2003252253A1 (en) * 2002-07-26 2004-02-16 Olympus Optical Co., Ltd. Image processing system
CN1672021A (zh) * 2002-07-26 2005-09-21 奥林巴斯株式会社 图像处理系统
EP1707928A4 (en) * 2004-01-23 2011-03-09 Olympus Corp IMAGE PROCESSING SYSTEM AND CAMERA
WO2007010749A1 (ja) * 2005-07-19 2007-01-25 Konica Minolta Holdings, Inc. 画像処理装置、画像処理システム及び画像処理プログラム
US8270666B2 (en) 2008-02-12 2012-09-18 Certusview Technologies, Llc Searchable electronic records of underground facility locate marking operations
US8672225B2 (en) 2012-01-31 2014-03-18 Ncr Corporation Convertible barcode reader
CA2707246C (en) 2009-07-07 2015-12-29 Certusview Technologies, Llc Automatic assessment of a productivity and/or a competence of a locate technician with respect to a locate and marking operation
US8532342B2 (en) * 2008-02-12 2013-09-10 Certusview Technologies, Llc Electronic manifest of underground facility locate marks
JP2009231879A (ja) * 2008-03-19 2009-10-08 Seiko Epson Corp 画像処理装置および画像処理方法
US8428351B2 (en) 2008-12-24 2013-04-23 Brother Kogyo Kabushiki Kaisha Image processing device
JP2010154009A (ja) * 2008-12-24 2010-07-08 Brother Ind Ltd 画像処理装置と画像処理プログラム
JP4930503B2 (ja) * 2008-12-25 2012-05-16 ブラザー工業株式会社 画像処理装置と画像処理プログラム
US8902251B2 (en) 2009-02-10 2014-12-02 Certusview Technologies, Llc Methods, apparatus and systems for generating limited access files for searchable electronic records of underground facility locate and/or marking operations
US8572193B2 (en) 2009-02-10 2013-10-29 Certusview Technologies, Llc Methods, apparatus, and systems for providing an enhanced positive response in underground facility locate and marking operations
US8977558B2 (en) 2010-08-11 2015-03-10 Certusview Technologies, Llc Methods, apparatus and systems for facilitating generation and assessment of engineering plans
WO2012056362A1 (en) * 2010-10-25 2012-05-03 Koninklijke Philips Electronics N.V. System for the segmentation of a medical image
US8532354B2 (en) * 2010-11-29 2013-09-10 Alexander Sienkiewicz Method for providing visual simulation of teeth whitening
TWI435704B (zh) * 2011-03-15 2014-05-01 Crystalvue Medical Corp 口腔光學診斷裝置及其運作方法
JP5647046B2 (ja) * 2011-03-18 2014-12-24 株式会社モリタ製作所 医療用診療装置
JP2013164796A (ja) * 2012-02-13 2013-08-22 Ricoh Co Ltd 画像処理装置、画像処理方法およびプログラム
CN104468578B (zh) * 2014-12-10 2017-12-26 怀效宁 一种无线通讯的优先通讯系统和通讯方法
JP6351410B2 (ja) * 2014-07-11 2018-07-04 キヤノン株式会社 画像処理装置、撮像装置、画像処理装置の制御方法、画像処理装置の制御プログラム及び記憶媒体
CN105426815A (zh) * 2015-10-29 2016-03-23 北京汉王智远科技有限公司 活体检测方法及装置
DE102016001513B4 (de) * 2016-02-10 2024-02-29 Schölly Fiberoptic GmbH Korrekturverfahren, Bildaufnahmeverfahren und Bildaufnahmevorrichtung zum verbesserten Weißabgleich bei der Aufnahme eines Bildes bei wechselnden Lichtverhältnissen
WO2017151366A2 (en) * 2016-03-04 2017-09-08 3M Innovative Properties Company Device for measuring color difference, system, and recording medium
CN107277479B (zh) * 2017-07-10 2020-06-05 Oppo广东移动通信有限公司 白平衡处理方法和装置
KR102397396B1 (ko) * 2017-09-13 2022-05-12 삼성전자주식회사 자동 화이트 밸런스를 위한 이미지 처리 방법 및 장치
DE102019003567A1 (de) * 2018-06-12 2019-12-12 Canon Kabushiki Kaisha Bildverarbeitungsvorrichtung, Bildverarbeitungsverfahren, und Programm
US11151753B2 (en) * 2018-09-28 2021-10-19 Align Technology, Inc. Generic framework for blurring of colors for teeth in generated images using height map
NL2022657B1 (en) * 2019-02-28 2020-09-04 Gratitude Holding B V Method and device for providing ingredient data for a prosthesis
DK180755B1 (en) 2019-10-04 2022-02-24 Adent Aps Method for assessing oral health using a mobile device
CN110796642A (zh) * 2019-10-09 2020-02-14 陈浩能 水果品质程度确定方法及相关产品
WO2023149027A1 (ja) * 2022-02-04 2023-08-10 株式会社オンラインドクター.com 情報処理装置、情報処理装置の制御方法、およびコンピュータプログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10165375A (ja) * 1996-12-13 1998-06-23 Minolta Co Ltd 診断システム
WO2004002166A1 (en) * 2002-06-25 2003-12-31 Koninklijke Philips Electronics N.V. Method and system for white balancing images using facial color as a reference signal
EP1905350A1 (en) * 2005-07-19 2008-04-02 Konica Minolta Holdings, Inc. Image processor, image processing system and image processing program

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH09168095A (ja) * 1995-12-15 1997-06-24 Sharp Corp 色修正方法およびカラー画像処理装置
WO2001082154A1 (fr) * 2000-04-21 2001-11-01 Shiseido Company, Ltd. Appareil pour donner des conseils de maquillage
US20040208363A1 (en) * 2003-04-21 2004-10-21 Berge Thomas G. White balancing an image

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10165375A (ja) * 1996-12-13 1998-06-23 Minolta Co Ltd 診断システム
WO2004002166A1 (en) * 2002-06-25 2003-12-31 Koninklijke Philips Electronics N.V. Method and system for white balancing images using facial color as a reference signal
JP2005531189A (ja) * 2002-06-25 2005-10-13 コーニンクレッカ　フィリップス　エレクトロニクス　エヌ　ヴィ 画像のホワイトバランスを顔の色を基準信号として用いて行う方法及びシステム
EP1905350A1 (en) * 2005-07-19 2008-04-02 Konica Minolta Holdings, Inc. Image processor, image processing system and image processing program
US20090092297A1 (en) * 2005-07-19 2009-04-09 Konica Minolta Holdings, Inc. Image processing apparatus, image processing system and image processing program

Also Published As

Publication number Publication date
WO2007010749A1 (ja) 2007-01-25
JPWO2007010749A1 (ja) 2009-01-29
US20090092297A1 (en) 2009-04-09
EP1905350A4 (en) 2012-03-07
EP1905350A1 (en) 2008-04-02

Similar Documents

Publication Publication Date Title
JP5119921B2 (ja) 画像処理装置、画像処理システム及び画像処理プログラム
US8655068B1 (en) Color correction system
JPWO2006064635A1 (ja) 診断システム
JP2007125151A (ja) 診断システム及び診断装置
KR101630426B1 (ko) 개인용 건강 정보를 취득하기 위한 장치 및 그 방법
JPH05223642A (ja) 測色方法及びその装置
JP2009104547A (ja) 画像処理装置、画像処理システムおよび画像処理プログラム
KR20080070070A (ko) 치과용 측색 장치
WO2016067892A1 (ja) 健康度出力装置、健康度出力システムおよびプログラム
JP2001299448A (ja) メーキャップカウンセリング装置
US11145274B2 (en) Color difference adjustment image data generation method, color difference adjustment image display method, color difference adjustment image data generating device, and color difference adjustment image display system
JP5374231B2 (ja) 撮像装置
JP2010214055A (ja) 歯色の時系列表示装置及びその方法
JP6319980B2 (ja) 歯牙測色方法、歯牙測色装置、及び歯牙測色プログラム
WO2020133776A1 (zh) 一种基于电视机的健康状况检测方法、系统及电视机
US9560968B2 (en) Remote monitoring framework
WO2021256459A1 (ja) 画像表示システム、及び画像表示方法
JP6981561B1 (ja) カラーチャート
KR20070035339A (ko) 생체분석모듈 및 이를 구비한 이동통신 단말기 및 이를이용한 생체정보 제공 방법
WO2019168372A1 (ko) 의료 영상 처리 장치 및 그 동작 방법
KR102382360B1 (ko) 치아의 쉐이드 측정 장치 및 그 방법
CN109935293A (zh) 一种医用诊断终端及医用诊断方法
WO2021182129A1 (ja) 遠隔医療システム、遠隔医療方法、情報処理装置、及び、プログラム
JP2009105844A (ja) 画像処理装置、画像処理システムおよび画像処理プログラム
CN118115404A (zh) 一种基于机器学习的牙齿图像颜色校正方法、装置及介质

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090702

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20110224

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120410

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120607

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120703

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120830

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120925

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121008

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151102

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees