JP6774004B2

JP6774004B2 - 変化度合い導出装置、変化度合い導出方法及びプログラム

Info

Publication number: JP6774004B2
Application number: JP2016095127A
Authority: JP
Inventors: 小勝　斉; 斉小勝; 慎司笹原; 松野下　純一; 純一松野下; 荻野　賢; 賢荻野
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2016-05-11
Filing date: 2016-05-11
Publication date: 2020-10-21
Anticipated expiration: 2036-05-11
Also published as: JP2017203675A

Description

本発明は、変化度合い導出装置、変化度合い導出方法及びプログラムに関する。

特許文献１は、色の数値が既知の色既知面を有する色既知体を準備する準備過程と、建物における劣化判定の対象となる外装材と前記色既知体の色既知面とを一緒にカラーのデジタル撮影手段で撮影する撮影過程と、この撮影されたデジタルデータの画像の色を、この画像における前記色既知面の画像の色を用いて色補正し、補正後の色を数値化する色補正過程と、この色補正された外装材の色の数値と定められた色の数値との差である、少なくとも明度差の数値を含む色差を求めてこの色差から汚れの程度の判定を行う汚れ判定過程と、この汚れ判定過程で判定された汚れの程度を用いて前記外装材の劣化を判定する劣化判定過程とを含む、外装材の劣化判定方法を開示する。

特開２０１４−１９６９２６号公報

本発明は、対象物と色既知体とをともに撮影しなくても、対象物の変化度合いを知ることができる変化度合い導出装置、変化度合い導出方法及びプログラムを提供することを目的としている。

請求項１に係る本発明は、無彩色を含む画像を有した対象物の画像データを受け付ける受付手段と、前記前記対象物の基準となる基準画像データについての機器非依存色空間における第一の色座標値と、前記画像データの無彩色部分について前記機器非依存色空間における第二の色座標値と、に基づいて、前記画像データの無彩色部分以外の前記機器非依存色空間における色座標値を第三の色座標値に補正する補正手段と、を有する変化度合い導出装置である。

請求項２に係る本発明は、前記第三の色座標値から、前記基準画像データと前記画像データとの変化度合いを取得する劣化度合い取得手段をさらに有する請求項１記載の変化度合い導出装置である。

請求項３に係る本発明は、前記取得手段は、前記第三の色座標値を等色空間の色座標値に変換して変化度合いを取得する請求項２記載の変化度合い導出装置である。

請求項４に係る本発明は、前記機器非依存色空間は、三刺激値であることを特徴とする請求項１乃至３いずれか記載の変化度合い導出装置である。

請求項５に係る本発明は、前記受付手段により受け付けられた基準画像データ及び無彩色画像データをサンプリングするサンプリング手段をさらに含み、前記補正手段は、前記サンプリング手段によりサンプリングした画像データに基づいて補正する請求項１乃至４いずれか記載の変化度合い導出装置である。

請求項６に係る本発明は、無彩色を含む画像を有した対象物の画像データを受け付ける工程と、前記前記対象物の基準となる基準画像データについての機器非依存色空間における第一の色座標値と、前記画像データの無彩色部分について前記機器非依存色空間における第二の色座標値と、に基づいて、前記画像データの無彩色部分以外の前記機器非依存色空間における色座標値を第三の色座標値に補正する工程と、を有する変化度合い導出方法である。

請求項７に係る本発明は、無彩色を含む画像を有した対象物の画像データを受け付けるステップと、前記前記対象物の基準となる基準画像データについての機器非依存色空間における第一の色座標値と、前記画像データの無彩色部分について前記機器非依存色空間における第二の色座標値と、に基づいて、前記画像データの無彩色部分以外の前記機器非依存色空間における色座標値を第三の色座標値に補正するステップと、をコンピュータに実行させるためのプログラムである。

請求項１に係る本発明によれば、対象物と色既知体とをともに撮影しなくても、対象物の変化度合いを知ることができる変化度合い導出装置を提供することができる。

請求項２に係る本発明によれば、請求項１に係る本発明の効果に加えて、対象物の画像が基準画像からどれくらい変化したのか、その変化度合いを取得することができる。

請求項３に係る本発明によれば、請求項２に係る本発明の効果に加えて、等色空間に変換しない場合と比較して、容易に変化度合いを算出することができる。

請求項４に係る本発明によれば、請求項１乃至３いずれかに係る本発明の効果に加えて、等比性や加法性のある三刺激値を利用して、変換を行うことができる。

請求項５に係る本発明によれば、請求項１乃至４いずれか記載の本発明の効果に加えて、サンプリングをしない場合と比較して、後の計算を容易にすることができる。

請求項６に係る本発明によれば、対象物が直接測色することができない場所にある場合でも対象物の劣化測定をすることができる劣化測定方法を提供することができる。

請求項７に係る本発明によれば、対象物が直接測色することができない場所にある場合でも対象物の劣化測定をすることができるプログラムを提供することができる。

本発明の実施形態に係る劣化測定システムを示す構成図である。本発明の実施形態に係る劣化測定装置のハードウエアを示すブロック図である。本発明の実施形態に係る劣化測定装置の新品時における処理フローを示すフローチャートである。本発明の実施形態に係る劣化測定装置の経年時の処理フローを示すフローチャートである。

次に、本発明の実施形態について図面を参照して詳細に説明する。

図１は、本発明の実施形態に係る変化度合い導出を示す構成図である。以下、対象物の劣化を測定するものとして説明し、変化度合い導出を「劣化測定」と置き換えて説明する。

劣化測定をすべき対象物１０は、例えば看板であり、高所に設置される等、直接測定するのが困難な場所に設置されている。この対象物１０は、半透明体から構成され、例えば白部分１２、赤部分１４、緑部分１６及び青部分１７を有している。また、対象物１０は、白色ＬＥＤ等の光源が内部に配置され、この光源から発する光が対象物１０を透過するようになっている。

撮影装置１８は、デジタルカメラ、スマートフォン、タブレット等であり、対象物１０を撮影する。

例えばパーソナルコンピュータである劣化測定装置２０は、撮影装置１８で撮影された対象物１０を撮影した画像データを受け付け、この画像データを処理するようになっている。

図２は、劣化測定装置２０を示すブロック図である。
劣化測定装置２０は、ＣＰＵ２２、メモリ２４、入力インターフェイス２６及び出力インターフェイス２８を有し、これらが制御バス３０を介して接続されている。

ＣＰＵ２２は、メモリ２４に格納された制御プログラムに基づいて予め定められた処理を実行する。入力インターフェイス２６には、入力装置３２が接続されている。入力装置３２としては、前述した撮影装置１８に直接接続して入力するコネクタであったり、通信を用いて無線入力したりするものが含まれる。また、出力インターフェイス２８には出力装置３４が接続されている。この出力装置３４は、ディスプレイやプリンタであり、処理されたデータ等の結果が出力される。

次に劣化想定装置２０による対象物１０の劣化測定方法について説明する。
撮影装置１８により対象物１０を撮影すると、対象物１０の画像はＲＧＢ画像データとして取り込まれる。ＲＧＢ画像データは、撮影光源や撮影条件の影響を受け、新品時に対象物１０を撮影した画像と経年時に対象物１０を撮影した画像と比べても劣化測定は困難である。

一方、無彩色（この実施形態においては白）は、汚れ等は生じるものの、分光的なバランスは崩れないと仮定することができる。例えば黄ばみ等は生じないものとする。

このため、この実施形態においては、新品時と経年時で特定色を比較する場合に、無彩色を基準に特定色の画像データを補正するようにしている。

また、撮影装置１８には、画像が飛んだり、潰れたりしないように、適切な露光量となるように、自動露出調整（ＡＥ）機能がある。さらに電球、蛍光灯、自然光等の色温度の違う照明条件でも白を白く撮影するためオートホワイトバランス（ＡＷＢ）機能がある。このＡＷＢは、撮影した画像のＲＧＢの比を変えてしまう操作となる。このため、この実施形態においては、ＡＥは機能させた方が良いが、ＡＷＢは機能させないようにＯＦＦとする。

図３は、劣化測定装置２０の新品時における処理フローを示すフローチャートである。
まずステップＳ１０において、撮影装置１８で撮影した新品時の対象物１０及びその周辺の画像データを受け付ける。

次のステップＳ１２においては、対象物１０である看板を抽出する。例えば夜に撮影した場合は、対象物１２は、周辺とは輝度が異なるので、輝度が高い部分を抽出すれば良い。昼の撮影の場合は単純な輝度差での領域抽出は適さない。対象物である看板はほぼ中心部に撮影されること、画像中で看板が大面積を占めること、看板のデザインは色数が限られることが多いし、構図的にも単純であることが多いことから、領域の抽出はさほど困難ではない。たとえば、看板に使われている色の中で最も大きい面積を占める色に着目して、画像全体の色のヒストグラムの頻度の高い画素が対応すると仮定する。該当する画素が画像の中心部に集中していれば、看板をサンプリングしたことになる。次に頻度の高い画素が、看板を構成する色で有るかどうか調べ、順次これを繰り返すことにより、看板を構成する色が抽出できる。さらに、看板の形は既知であるので、いわゆるパータンマッチングを使う方法も考えられる。パターンは看板の外枠などにすればよく、その際には、画像の正規化を行う必要がある。２値化モノクロ画像にすること、撮影画像に対して台形補正を行うこと、看板の大きさに関しては大きさの違う複数のパターンを順次適用し、最もマッチングしたものを採用すればよい。看板の位置は大体でよいので、マッチングは縮小した画像で行うのが効率的である。

次のステップＳ１４においては、ステップＳ１２で抽出した看板画像から白部分１２、赤部分１４、緑部分１６及び青部分１７のＲ，Ｇ，Ｂ成分をサンプリングする。サンプリングは、例えば、それぞれの色の複数画素の平均値をとって一つのＲ，Ｇ，Ｂ値とし、後の計算を単純化する。

次のステップＳ１６においては、白部分１２、赤部分１４、緑部分１６及び青部分１７それぞれのＲＧＢ画像データをｓＲＧＢとみなして三刺激値ＸＹＺに変換する。三刺激値ＸＹＺへの返還は次の式（１）を用いる。なお、デジタルカメラ等の撮像機器の色空間はｓＲＧＢであることが多いが、ＡｄｏｂｅＲＧＢであるもの、あるいは機器依存のＲａｗＲＧＢを現像ソフトにより所望の機器非依存のＲＧＢ色空間に変換するものもあり、その場合はそれぞれの定義式に従い、三刺激値ＸＹＺに変換すればよい。

光源の白色点は例えばＤ６５が用いられる。
Ｄ６５の行列及び逆行列は次の式（２）及び式（３）の通りである。

白部分１２の三刺激値ＸＹＺをＸｗ_new,Ｙｗ_new,Ｚｗ_newと称し、白以外の特定色（赤、緑、青）の三刺激値をＸi_new,Ｙi_new,Ｚi_newと称する。

次のステップＳ１８においては、ステップＳ１６で変換したＸｗ_new,Ｙｗ_new,Ｚｗ_new及びＸi_new,Ｙi_new,Ｚi_newを前述したメモリ２４に記憶させて処理を終了する。

図４は、劣化測定装置２０の経年時における処理フローを示すフローチャートである。
まずステップＳ２０において、撮影装置１８で撮影した経年時の対象物１０及びその周辺の画像データを受け付ける。

次のステップＳ２２においては、前述したステップＳ１２と同様に対象物１０である看板を抽出する。

次のステップＳ２４においては、前述したステップＳ１４と同様にサンプリングする。

次のステップＳ２６においては、白部分１２、赤部分１４、緑部分１６及び青部分１７それぞれのＲＧＢ画像データをｓＲＧＢとみなして三刺激値ＸＹＺに変換する。三刺激値ＸＹＺへの返還は、新品時と同様に、前述した式（１）を用いる。
白部分１２の三刺激値ＸＹＺをＸｗ_old,Ｙｗ_old,Ｚｗ_oldと称し、白以外の部分の三刺激値をＸi_old,Ｙi_old,Ｚi_oldと称する。

なお、本実施形態においては、ＲＧＢ色空間から等比性や加法性のある三刺激値ＸＹＺを利用して、変換を行っている。
加法性とは、物体Aの反射光（発光体A）の三刺激値（X_A,Y_A,Z_A）と物体Bの反射光（発光体B）の（X_B,Y_B,Z_B）とすると、X=X_A+Y_Bが成り立つことを意味する。また、等比性とは、日が一定であればxy色度は変わらない、つまり、三刺激値X:Y:Zが同じなら、同じ色度であるということを意味する。
これらの特徴を利用できるため、結果的には、変化度合いの算出が容易になる。

次のステップＳ２８においては、メモリ２４に記憶させておいた新品時の三刺激値Ｘｗ_new,Ｙｗ_new,Ｚｗ_new及びＸi_new,Ｙi_new,Ｚi_newを読み出す。

次のステップＳ３０においては、規格係数Ｘω、Ｙω、Ｚωを算出する。規格係数Ｘω、Ｙω、Ｚωは次の式（４）を用いる。

即ち、規格係数は、新品時の三刺激値Ｘｗ_new,Ｙｗ_new,Ｚｗ_newと経年時の三刺激値Ｘｗ_old,Ｙｗ_old,Ｚｗ_oldとの比であって、白を基準として特定色を補正するための係数である。

次のステップ３２においては、ステップＳ２６で算出した規格係数Ｘω、Ｙω、Ｚωを用いて特定色の三刺激値Ｘi_old,Ｙi_old,Ｚi_oldを次の式（５）に従って補正し、補正した三刺激値Ｘi_old´，Ｙi_old´,Ｚi_old´を得る。

次のステップＳ３４においては、新品時の三刺激値をＸi_old,Ｙi_old,Ｚi_oldと補正した経年時の三刺激値Ｘi_old´，Ｙi_old´,Ｚi_old´を等色空間の画像データＬ^*ａ^*ｂ^*に変換する。三刺激値ＸＹＺからＬ^*ａ^*ｂ^*への変換は次の式（６）により行う。

次のステップＳ３６においては、劣化度合いを算出する。即ち、補正した経年時のＬ^*ａ^*ｂ^*をＬ^* _t，ａ^* _t，ｂ^* _tとし、新品時のＬ^*ａ^*ｂ^*をＬ^* ₀，ａ^* ₀，ｂ^* ₀とすれば、両者の色差ΔＥを次の式（７）を用いて演算する。

なお、この実施例においては、式（６）で示すように、ユークリッド距離で色差ΔＥを求めるようにしているが、例えばΔＥ００等を用いるようにしても良い。

そして、次のステップＳ３６において、劣化度合いを出力装置３４に出力して処理を終了する。劣化度合いは、ステップＳ４６で算出したデータをそのまま出力しても良いが、劣化度合いが閾値を超えた場合に修復すべき旨を表示したり、劣化レベル、例えばレベル１、レベル２等として出力するようにしても良い。

なお、上記実施形態においては、劣化測定装置２０をパーソナルコンピュータから構成したが、本発明は、これに限定されるものでは無い。例えば撮影装置１８に劣化測定装置２０の機能の全部又は一部を持たせても良い。

また、上記実施形態においては、撮影装置１８で撮影したＲＧＢ画像データを三刺激値ＸＹＺに変換しているが、三刺激値ＸＹＺに限らず、測色値（機器非依存な色空間座標）であれば良く、例えばＬ^*ａ^*ｂ^*、Ｌ^*ｕ^*ｖ^*であっても良い。
さらに、上記実施形態においては、白を基準として特定色を補正するようにしたが、白に限定されるものではなく、無彩色を基準とすれば良い。

１０：対象物
１８：撮影装置
２０：劣化測定装置

Claims

劣化前及び劣化後において、無彩色及び無彩色以外の特定色を含む画像を有した対象物の画像データを受け付ける受付手段と、
前記受付手段により受け付けられた劣化前の前記画像データの無彩色部分から取得した機器非依存色空間における第一の色座標値と、前記受付手段により受け付けられた劣化後の前記画像データの無彩色部分から取得した前記機器非依存色空間における第二の色座標値と、に基づいて、前記受付手段により受け付けられた劣化後の前記画像データの特定色から取得した前記機器非依存色空間における色座標値を第三の色座標値に補正する補正手段と、
を有する変化度合い導出装置。
前記第三の色座標値から、劣化前の前記画像データと劣化後の前記画像データとの変化度合いを取得する劣化度合い取得手段をさらに有する請求項１記載の変化度合い導出装置。
前記劣化度合い取得手段は、前記第三の色座標値を等色空間の色座標値に変換して変化度合いを取得する請求項２記載の変化度合い導出装置。
前記機器非依存色空間は、三刺激値であることを特徴とする請求項１乃至３いずれか記載の変化度合い導出装置。
前記受付手段により受け付けられた画像データをサンプリングするサンプリング手段をさらに含み、前記補正手段は、前記サンプリング手段によりサンプリングした画像データに基づいて補正する請求項１乃至４いずれか記載の変化度合い導出装置。
劣化前及び劣化後において、無彩色及び無彩色以外の特定色を含む画像を有した対象物の画像データを受け付ける工程と、
劣化前の前記画像データの無彩色部分から取得した機器非依存色空間における第一の色座標値と、劣化後の前記画像データの無彩色部分から取得した前記機器非依存色空間における第二の色座標値と、に基づいて、劣化後の前記画像データの特定色から取得した前記機器非依存色空間における色座標値を第三の色座標値に補正する工程と、
を有する変化度合い導出方法。
劣化前及び劣化後において、無彩色及び無彩色以外の特定色を含む画像を有した対象物の画像データを受け付けるステップと、
劣化前の前記画像データの無彩色部分から取得した機器非依存色空間における第一の色座標値と、劣化後の前記画像データの無彩色部分から取得した前記機器非依存色空間における第二の色座標値と、に基づいて、劣化後の前記画像データの特定色から取得した前記機器非依存色空間における色座標値を第三の色座標値に補正するステップと、
をコンピュータに実行させるためのプログラム。