JP6738553B2

JP6738553B2 - 変化度合い導出装置、変化度合い導出システム、変化度合い導出方法及びプログラム

Info

Publication number: JP6738553B2
Application number: JP2016092706A
Authority: JP
Inventors: 慎司笹原; 小勝　斉; 斉小勝; 松野下　純一; 純一松野下; 荻野　賢; 賢荻野
Original assignee: Fuji Xerox Co Ltd; Fujifilm Business Innovation Corp
Current assignee: Fujifilm Business Innovation Corp
Priority date: 2016-05-02
Filing date: 2016-05-02
Publication date: 2020-08-12
Anticipated expiration: 2036-05-02
Also published as: US20170318196A1; JP2017201249A; US10096128B2

Description

本発明は、変化度合い導出装置、変化度合い導出システム、変化度合い導出方法、これに用いる色既知体及びプログラムに関する。

特許文献１は、色の数値が既知の色既知面を有する色既知体を準備する準備過程と、建物における劣化判定の対象となる外装材と前記色既知体の色既知面とを一緒にカラーのデジタル撮影手段で撮影する撮影過程と、この撮影されたデジタルデータの画像の色を、この画像における前記色既知面の画像の色を用いて色補正し、補正後の色を数値化する色補正過程と、この色補正された外装材の色の数値と定められた色の数値との差である、少なくとも明度差の数値を含む色差を求めてこの色差から汚れの程度の判定を行う汚れ判定過程と、この汚れ判定過程で判定された汚れの程度を用いて前記外装材の劣化を判定する劣化判定過程とを含む、外装材の劣化判定方法を開示する。

特開２０１４−１９６９２６号公報

本発明は、対象物と色既知体とを互いの距離を離して撮影する場合、色既知体の焦点のずれを検知することができる変化度合い導出装置、変化度合い導出システム、変化度合い導出方法、これに用いる色既知体及びプログラムを提供することを目的としている。

請求項１に係る本発明は、色の数値が既知である複数の色見本及び検知用画像を有する色既知体と共に対象物に焦点を合わせて撮影する画像を受け付ける受付手段を有し、前記対象物に焦点を合わせた場合、前記色既知体の検知用画像に基づいて前記色見本の焦点のずれを検知する変化度合い導出装置である。

請求項２に係る本発明は、色の数値が既知である複数の色見本及び検知用画像を有する色既知体と、前記色既知体と共に対象物に焦点を合わせて撮影する撮影装置と、を有し、前記撮影装置は、前記対象物に焦点を合わせた場合、前記色既知体の検知用画像に基づいて前記色見本の焦点のずれを検知する検知手段を有する変化度合い導出システムある。

請求項３に係る本発明は、前記撮影装置により撮影された画像に含まれる色見本から装置非依存の色空間における数値に変換する変換規則を生成する変換規則生成手段と、前記変換規則生成手段により生成された変換規則に従って前記受付手段により受け付けられた画像に含まれる対象物の色を装置非依存の色空間における数値に変換する変換手段と、を有する処理装置をさらに有する請求項２記載の変化度合い導出システムである。

請求項４に係る本発明は、色の数値が既知である複数の色見本及び検知用画像を有する色既知体と共に対象物に焦点を合わせて撮影する画像を受け付ける工程と、受け付けられた検知用画像に基づいて前記色見本の焦点のずれを検知する工程と、を有する変化度合い導出方法である。

請求項５に係る本発明は、色の数値が既知である複数の色見本を有し、前記複数の色見本と共に対象物を撮影し、撮影した画像を受け付け、受け付けられた画像に含まれる色見本から機器非依存の色空間における数値に変換する変換規則を生成し、生成された変換規則に従って対象物の色を機器非依存の色空間における数値に変換する変化度合い導出方法に用いられる色既知体であって、前記対象物に焦点を合わせた場合に前記色見本の焦点のずれを検知するための検知用画像を含む色既知体である。

請求項６に係る本発明は、前記検知用画像は明暗差がある画像が連続して形成されている請求項５記載の色既知体である。

請求項７に係る本発明は、前記検知用画像は色見本を兼ねている請求項５記載の色既知体

請求項８に係る本発明は、色の数値が既知である複数の色見本及び検知用画像を有する色既知体と共に対象物に焦点を合わせて撮影する画像を受け付けるステップと、受け付けられた検知用画像に基づいて前記色見本の焦点のずれを検知するステップと、を有するコンピュータに実行させるためのプログラムである。

請求項１に係る本発明によれば、対象物と色既知体とを互いの距離を離して撮影する場合、色既知体の焦点のずれを検知することができる変化度合い導出装置を提供することができる。

請求項２に係る本発明によれば、対象物と色既知体とを互いの距離を離して撮影する場合、色既知体の焦点のずれを検知することができる変化度合い導出システムを提供することができる。

請求項３に係る本発明によれば、請求項２に係る本発明の効果に加えて、対象物が直接測色することができない場所にある場合でも対象物の変化度合いをすることができる。

請求項４に係る本発明によれば、対象物と色既知体とを互いの距離を離して撮影する場合、色既知体の焦点のずれを検知することができる変化度合い導出方法を提供することができる。

請求項５に係る本発明によれば、対象物と色既知体とを互いの距離を離して撮影する場合、色既知体の焦点のずれを検知することができる色既知体を提供することができる。

請求項６に係る本発明によれば、請求項５に係る本発明の効果に加えて、明暗が無い検知用画像と比較して、容易に色既知体の焦点のずれを検知することができる。

請求項７に係る本発明によれば、請求項５に係る本発明の効果に加えて、検知用画像を色見本と別に形成する必要を無くすことができる。

請求項８に係る本発明によれば、対象物と色既知体とを互いの距離を離して撮影する場合、色既知体の焦点のずれを検知することができるプログラムを提供することができる。

本発明の実施形態に係る劣化測定システムを示す構成図である。本発明の実施形態において、撮影装置で撮影しようとする画面を示す画面図である。本発明の実施形態に用いた撮影装置を示す断面図である。本発明の実施形態に用いた撮影装置のハードウエアを示すブロック図である。本発明の実施形態に用いた撮影装置の動作フローを示すフローチャートである。本発明の実施形態における検知用画像の第一例を示し、（ａ）は画像図、（ｂ）はコントラストを示す線図である。発明の実施形態における検知用画像の第二例を示すが画像図である。発明の実施形態における検知用画像の第三例を示すが画像図である。発明の実施形態における検知用画像の第四例を示すが画像図である。本発明の実施形態に用いた処理装置のハードウエアを示すブロック図である。本発明の実施形態に用いた処理装置の処理フローを示すフローチャートである。

次に、本発明の実施形態について図面を参照して詳細に説明する。

図１は、本発明の実施形態に係る変化度合い導出を示す構成図である。以下、対象物の劣化を測定するものとして説明し、変化度合い導出を「劣化測定」と置き換えて説明する。
劣化測定をすべき対象物１０は、例えば看板であり、高所に設置される等、直接測定するのが困難な場所に設置されている。この対象物１０は、半透明体から構成され、例えば白部分１２、赤部分１４、緑部分１６及び青部分１７を有している。また、対象物１０は、白色ＬＥＤ等の光源が内部に配置され、この光源から発する光が対象物１０を透過するようになっている。

撮影装置１８は、例えばデジタルカメラである。撮影装置１８としてはスマートフォン、タブレット等であっても良い。

処理装置２０は、例えばパーソナルコンピュータであり、撮影装置１８で撮影された対象物１０を撮影した画像データを受け付け、この画像データを処理するようになっている。

色既知体２２は、対象物１０から離れた場所に設置されている。対象物１０に色既知体２２を張り付ける等が困難だからである。この色既知体２２は、図２に示すように、対象物１０と共に撮影装置１８により撮影される。

色既知体２２には、複数の色見本２４が形成されている。この色見本２４は、この実施形態においては、Ｒ（レッド）、Ｇ（グリーン）、Ｂ（ブルー）であるが、他にＣ（サイアン）、Ｍ（マゼンタ）、Ｙ（イエロー）、Ｗ（ホワイト）、Ｂｋ（ブラック）の１００％ベタ及びそれらの中間色が含まれれても良い。

また、色既知体２２には、後述する検知用画像２６が形成されている。

図３は、撮影装置１８を示す断面図である。
撮影装置１８は筐体２８を有する。この筐体２８は、筒状のレンズ配置部３０と、方形状の本体部３２とから構成されている。レンズ配置部３０には、複数のレンズから構成されたレンズ群３４が配置されている。また、本体部３２には、レンズ群３４から入った光を受ける画像センサ３６が配置されている。この画像センサ３６の前側いはシャッタ３８が設けられ、このシャッタ３８を駆動することにより画像センサ３６に受ける光の露光が調整される。

また、シャッタ３８の前方には第一のハーフミラー４０と第二のハーフミラー４２とが配置されている。第一のハーフミラー４０は、画像センサ３６への光とプリズム４４への光に分ける。第二のハーフミラー４２は、画像センサ３６への光とＡＦ（自動合焦）センサ４６とに分ける。

プリズム４４は、第一のハーフミラー４０で分けられた光をＡＥ（自動露出）センサ４８とファインダ５０へと供給するようになっている。また、ファインダ５０の下部には、例えば液晶式の表示部５２が設けられている。

図３は、撮影装置１８の制御部分を示すブロック図である。
撮影装置１８は、制御部５４を有する。制御部５４は、ＣＰＵ５６、メモリ５８、入力インターフェイス６０及び出力インターフェイス６２を有し、これらが制御バス６４を介して接続されている。

ＣＰＵ５６は、メモリ５８に格納された制御プログラムに基づいて予め定められた制御を実行する。入力インターフェイス６０には、前述した画像センサ３６、ＡＦセンサ４６及びＡＥセンサ４８が接続され、これらからの画像データが入力される。出力インターフェイス６２には、表示部５２、シャッタ駆動部６６及びレンズ駆動部６８が接続されている。表示部５２は、画像センサ３６で受光した画像が表示される。シャッタ駆動部６６は、戦術したＡＥセンサ４８からの画像データに基づいてシャッタ速度や絞りが制御されるようにシャッタ３８を制御する。また、レンズ駆動部６８は、前述したＡＦセンサ４８からの画像データに基づいて焦点を合わせるようにレンズ群３４のオートフォーカスレンズを駆動する。

図４は、撮影装置１８の動作フローを示すフローチャートである。
まずステップＳ１０において、対象物１０に焦点を合わせた画像を受け付ける。即ち、対象物１０に向けると、ＡＦセンサ４６が作動して対象物１０に焦点が合わせられる。ここで、図２に示すように、色既知体２２も併せて表示部５２に表示される。

次のステップＳ１２においては、検知用画像２６を抽出する。検知用画像２６は、図６（ａ）に示すように、明暗の差が大きい画像、例えば黒と白とが帯状に連続して形成されたものである。

次のステップＳ１４においては、色既知体２２の焦点ずれを検知する。例えば検知用画像２６に焦点があっている場合は、図６（ｂ）に示すように、コントラストが大きい画像として捕らえられるが、対象物１０に焦点を合わせると、色検知体２２は、対象物１０とは距離が離れているので、焦点ずれが生じ、コントラストが小さくなる。

なお、検知用画像２６は、図７に示すように、同心円のパターンとして形成しても良い。この場合も同様に、白黒の同心円のコントラストから焦点ずれを検知する。

また、検知用画像２６は、図８に示すように、色見本２４を兼ねていても良い。この場合は、色見本２４のエッジのなまり具合や色見本２４間の白地部の色付きから焦点ずれを検知する。

また、検知用画像２６は、図９に示すように、放射状のパターンとしても良い。この場合は、図９の点線で示すように、楔の埋まり具合で焦点ずれを連続的に判断する。

そして、次のステップＳ１６においては、ステップＳ１４で検知した焦点ずれが許容範囲であるか否かを判定する。判定は、例えば焦点ずれ量が予め定められた閾値と比較することにより行う。

ステップＳ１６において、焦点ずれが許容範囲であると判定された場合は、ステップＳ１８に進み、表示部６４に許容範囲である旨の表示をし、焦点ずれが許容範囲では無い、即ち、許容範囲を超えていると判定された場合は、ステップＳ２０に進み、表示部６４に許容範囲を超えている旨の表示をし、処理を終了する。
なお、この実施形態においては、ステップＳ１６において、焦点ずれが許容範囲であるか否かを判定しているが、表示部５２に表示された検知用画像２６を使用者が見て判定しても良い。

このようにして焦点ずれが許容範囲であると判定された場合は、対象物１０を色既知体２２と共に撮影し、撮影された画像データが処理装置２０に送られる。

図１０は、処理装置２０を示すブロック図である。
処理装置２０はデータ処理部７０を有する。このデータ処理部７０は、ＣＰＵ７２、メモリ７４、入力インターフェイス７６及び出力インターフェイス７８を有し、これらが制御バス８０を介して接続されている。

ＣＰＵ７２は、メモリ７４に格納された制御プログラムに基づいて予め定められた処理を実行する。入力インターフェイス７６には、入力装置８２が接続されている。入力装置８２としては、前述した撮影装置１８に直接接続して入力するコネクタであったり、通信を用いて無線入力したりするものが含まれる。また、出力インターフェイス７８には出力装置８４が接続されている。この出力装置８４は、ディスプレイやプリンタであり、処理されたデータ等の結果が出力される。

図１１は、処理装置２０の処理フローを示すフローチャートである。
まずステップＳ３０において、撮影装置１８で撮影した対象物１０及び色既知体２２のＲＧＢ画像データを受け付ける。
なお、採用する色既知体２２の画像データは、同一色の色見本２４内の中心に近い領域のＲＧＢそれぞれの平均値とする。

次のステップＳ３２においては、マトリックス演算を行う。即ち、ステップＳ３０で受け付けた色見本２４のＲＧＢ画像データを説明変数とし、予め測色してメモリ７４に記憶されている色見本２４の測色値Ｌ^*ａ^*ｂ^*（以下、Ｌａｂという）を目的変数として重回帰によりマトリックスを求める。

例えば次の式（１）で示すように、重回帰に行列を求め、画像データＲＧＢを測色値Ｌａｂに変換する。

具体的には次の式（２）を用いる。

次のステップＳ３４においては、ステップＳ３２で求めた式に、撮影装置１８で撮影した対象物１２の画像（例えば赤部分１４）のＲＧＢデータを代入し、対象物の予想される測色値Ｌ_tａ_tｂ_tを得る。
なお、この実施形態においては、式（１）で示すように、２次式による重回帰を行っているが、２次式でなくても良いし、色変換方式として、一般的なカラーマネージメントシステムで使われている３次元テーブル方式であっても良い。また、重回帰でなく学習によるニューラルネットワークでも良い。即ち、教師データ（説明変数、目的変数のデータ）を用いて色変換を形成できる方式であればどのような方式であっても良い。

次のステップ３６においては、対象物が新品の場合の測色値Ｌ₀ａ₀b₀とステップＳ１４で求めた測色値Ｌ_tａ_tｂ_tとの色差ΔＥを演算する。新品の場合の測色値Ｌ₀ａ₀b₀は新品時に実際に測色した値を用いる。

色差ΔＥの演算にはは例えば次の式（３）を用いる。

なお、この実施例においては、式（２）で示すように、ユークリッド距離で色差ΔＥを求めるようにしているが、例えばΔＥ００等を用いるようにしても良い。

そして、次のステップＳ３８において、測定結果を出力装置８４に出力して処理を終了する。測定結果は、ステップＳ３６で演算したΔＥをそのまま出力しても良いが、ΔＥが予め定められた閾値を超えた場合に修復すべき旨を表示したり、劣化レベル、例えばレベル１、レベル２等として出力するようにしても良い。

なお、上記実施形態においては、処理装置２０をパーソナルコンピュータから構成したが、本発明は、これに限定されるものでは無い。例えば撮影装置１８に処理装置２０の機能の全部又は一部を持たせても良い。

１０：対象物
１８：撮影装置
２０：劣化測定装置
２４：色見本
２６：検知用画像

Claims

色の数値が既知である複数の色見本及び検知用画像を有する色既知体と、焦点を合わせた対象物と、を共に撮影した画像を受け付ける受付手段を有し、
前記色既知体の検知用画像に基づいて前記色見本の焦点のずれを検知する
変化度合い導出装置。
色の数値が既知である複数の色見本及び検知用画像を有する色既知体と、
前記色既知体と共に対象物に焦点を合わせて撮影する撮影装置と、を有し、
前記撮影装置は、前記対象物に焦点を合わせた場合、前記色既知体の検知用画像に基づいて前記色見本の焦点のずれを検知する検知手段を有する
変化度合い導出システム。
前記撮影装置により撮影された画像に含まれる色見本から装置非依存の色空間における数値に変換する変換規則を生成する変換規則生成手段と、
前記変換規則生成手段により生成された変換規則に従って前記撮影装置により撮影された画像に含まれる対象物の色を装置非依存の色空間における数値に変換する変換手段と、
を有する処理装置をさらに有する請求項２記載の変化度合い導出システム。
色の数値が既知である複数の色見本及び検知用画像を有する色既知体と、焦点を合わせた対象物と、を共に撮影した画像を受け付ける工程と、
受け付けられた検知用画像に基づいて前記色見本の焦点のずれを検知する工程と、
を有する
変化度合い導出方法。
前記検知用画像は明暗差がある画像が連続して形成されている請求項１記載の変化度合い導出装置。
前記検知用画像は色見本を兼ねている請求項１記載の変化度合い導出装置。
色の数値が既知である複数の色見本及び検知用画像を有する色既知体と、焦点を合わせた対象物と、を共に撮影した画像を受け付けるステップと、
受け付けられた検知用画像に基づいて前記色見本の焦点のずれを検知するステップと、
を有する
コンピュータに実行させるためのプログラム。