JP7514259B2 - カメラ部品が損傷しているかどうかを判定するためのシステムおよび方法 - Google Patents
カメラ部品が損傷しているかどうかを判定するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP7514259B2 JP7514259B2 JP2021569478A JP2021569478A JP7514259B2 JP 7514259 B2 JP7514259 B2 JP 7514259B2 JP 2021569478 A JP2021569478 A JP 2021569478A JP 2021569478 A JP2021569478 A JP 2021569478A JP 7514259 B2 JP7514259 B2 JP 7514259B2
- Authority
- JP
- Japan
- Prior art keywords
- camera
- image
- light source
- damaged
- region
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 112
- 238000004422 calculation algorithm Methods 0.000 claims description 29
- 238000010801 machine learning Methods 0.000 claims description 28
- 230000003287 optical effect Effects 0.000 claims description 25
- 238000004458 analytical method Methods 0.000 claims description 22
- 239000011159 matrix material Substances 0.000 claims description 18
- 238000004891 communication Methods 0.000 claims description 10
- 230000000694 effects Effects 0.000 claims description 10
- 230000002950 deficient Effects 0.000 claims description 9
- 238000012549 training Methods 0.000 claims description 9
- 239000013598 vector Substances 0.000 claims description 8
- 230000001681 protective effect Effects 0.000 claims description 7
- 239000000835 fiber Substances 0.000 claims description 6
- 238000013528 artificial neural network Methods 0.000 claims description 5
- 230000007935 neutral effect Effects 0.000 claims description 5
- 238000013135 deep learning Methods 0.000 claims description 4
- 230000008569 process Effects 0.000 claims description 3
- 238000007619 statistical method Methods 0.000 claims description 3
- 208000024891 symptom Diseases 0.000 claims description 3
- 230000008878 coupling Effects 0.000 claims description 2
- 238000010168 coupling process Methods 0.000 claims description 2
- 238000005859 coupling reaction Methods 0.000 claims description 2
- 230000006870 function Effects 0.000 claims description 2
- 238000003384 imaging method Methods 0.000 claims 3
- 238000012360 testing method Methods 0.000 description 58
- 230000007547 defect Effects 0.000 description 15
- 239000000758 substrate Substances 0.000 description 13
- 230000007847 structural defect Effects 0.000 description 6
- 238000013459 approach Methods 0.000 description 5
- 239000003550 marker Substances 0.000 description 5
- 229920006395 saturated elastomer Polymers 0.000 description 5
- 238000010586 diagram Methods 0.000 description 4
- 238000004088 simulation Methods 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 3
- 238000009826 distribution Methods 0.000 description 3
- 239000013307 optical fiber Substances 0.000 description 3
- 230000008439 repair process Effects 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 238000003745 diagnosis Methods 0.000 description 2
- 239000007787 solid Substances 0.000 description 2
- 238000011179 visual inspection Methods 0.000 description 2
- 241000226585 Antennaria plantaginifolia Species 0.000 description 1
- 241000282412 Homo Species 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000001514 detection method Methods 0.000 description 1
- 229910003460 diamond Inorganic materials 0.000 description 1
- 239000010432 diamond Substances 0.000 description 1
- 239000000428 dust Substances 0.000 description 1
- 238000010191 image analysis Methods 0.000 description 1
- 230000001939 inductive effect Effects 0.000 description 1
- 238000007689 inspection Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000007637 random forest analysis Methods 0.000 description 1
- 238000009877 rendering Methods 0.000 description 1
- 238000012732 spatial analysis Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Description
本発明は、レンズまたはウィンドウなどのカメラ部品が損傷しているかどうかを判定するシステムおよびコンピュータ実施方法に関する。
カメラレンズは完全に機能していて欠陥がなければ、光を比較的均一に反射または通過させる。しかしながら、カメラレンズが損傷している場合(例えば、傷がある場合)、カメラレンズを通過する光が何らかの形で歪んだり相殺されたりし、このことが、結果として生じる画像の品質に影響を与える。
また、キャプチャ画像を撮影されたものとは異なるものにしてしまう可能性のある光学的効果が幾つか知られている。例えば、ほとんどのレンズには少なくとも若干の口径食があり、これは写真の隅が写真の中央よりも光度が低くなることを意味する。しかしながら、一般的に、このエラーによって生じる隅と中央の間の光度差は1露出値(EV)未満なので、光度差は通常は目立たない。その他のよく知られた一般的なレンズエラーとしては、樽型歪曲やピンクッション型歪曲があり、これらの歪曲もキャプチャ画像を変えてしまうが、これらのエラーもやはり一般的には、カメラで撮られた写真で強くは見えない。このように、これらの種類の光学的効果は、結果的に得られる写真に影響を与え得るが、一般的には、レンズの欠陥による歪みを隠すことはない。
一般に、カメラレンズの表面欠陥や構造的欠陥は、写真に結果的に生じる影響が僅か過ぎて気付かないことが多いため、既存のソリューションでは確実に検出することができない。重度に損傷しているレンズであっても、結果として生じる写真は、肉眼で許容可能なレベルを超えていることがある。
モバイルデバイスの内蔵カメラモジュールを診断する現行の方法は、ユーザーがカメラを使って任意の写真を撮り、その写真を目視で点検することを促す。この方法は、診断システムでの自動化が難しく、レンズの表面欠陥や構造的欠陥を確実に検出するために使用することはできない。
ユーザーがレンズ自体を見たとしても、表面欠陥や構造的欠陥は肉眼では見えないかもしれない。
米国特許出願公開第2018/0089822号には、モバイルデバイスのカメラやディスプレイの欠陥を診断するためのシステムが開示されており、デバイスディスプレイが、一連のミラーを使用してカメラに向けられた光源として配置されている。しかしながら、ディスプレイや一部のミラーの欠陥も撮られた写真の品質に影響を与える可能性があるため、この方法を使用してカメラ部品を個別に診断することはできない。さらに、この方法では、複数のミラーを備え、ディスプレイとカメラの正確な位置合わせを必要とする複雑な試験治具を使用する必要がある。
したがって、本発明の目的は、上記の問題に対処することを目的とした、カメラ部品が損傷しているかどうかを判定するシステムおよび方法を提供することである。
おおまかに言って、本開示は、カメラのカメラ部品が損傷している(すなわち、欠陥がある)かまたは損傷していない(すなわち、傷がない)かを判定するためのシステムおよびコンピュータ実施方法を提案する。
本発明の第1の態様は、カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
1以上の損傷指標に関する情報を取得し、
光源からの光がカメラ部品に入射したときに撮られた少なくとも1枚の画像をカメラから取得し、
画像を1以上の領域に分割し、
各領域を解析して、各領域が1以上の損傷指標のうち少なくとも1つを含んでいるかどうかを判定し、
上記解析に基づいて、カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたことを示す表示を提供する、
方法を提供する。
1以上の損傷指標に関する情報を取得し、
光源からの光がカメラ部品に入射したときに撮られた少なくとも1枚の画像をカメラから取得し、
画像を1以上の領域に分割し、
各領域を解析して、各領域が1以上の損傷指標のうち少なくとも1つを含んでいるかどうかを判定し、
上記解析に基づいて、カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたことを示す表示を提供する、
方法を提供する。
従って、本発明の実施形態は、カメラと光源との間のレンズまたは他の透明な層などのカメラ部品の表面欠陥または構造的欠陥の自動診断を可能にする方法を提供する。有利には、本方法を、モバイルデバイスのカメラ部品を検査するための診断システムに採用してもよい。例えば、デジタルカメラのレンズの割れや傷、またはレンズの位置ずれは、例えば、カメラ部品に入射したときの光源からの光の内部反射の結果として撮られた、画像内のアーチファクトに基づいて検出することができる。注目すべきは、レンズ(または他のカメラ部品)を診断中のカメラを使用して画像が撮られることである。さらに、本方法では、複数のミラーを含み、カメラの正確な位置合わせを必要とする複雑な試験治具を使用する必要がない。
光源からの光は、カメラ部品に直接(すなわち、ミラーなどの中間光学部品に遭遇することなく)入射してもよい。
幾つかの実施形態では、1以上の損傷指標に関する情報は、1以上の損傷指標が画像内の対応する形状の欠如に対応するような、光源の既知形状を具備し、画像は、光源から結果として生じる撮像形状を具備し、各領域を解析するステップは、撮像形状が、カメラ部品が損傷していない場合および/またはカメラ部品が損傷している場合に予想通りのものかどうかを、光源の既知形状に基づいて判定する。
別の表現をすれば、カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
カメラから、既知形状を有する光源の少なくとも1枚の画像であって、光源から結果として生じる撮像形状を具備する画像を取得し、
画像を解析し、
撮像形状が、カメラ部品が損傷していない場合および/またはカメラ部品が損傷している場合に予想通りのものかどうかを判定し、
カメラ部品が損傷していると判定されたかまたは損傷していないと判定されたかを示す表示を提供する、
方法が提供される。
カメラから、既知形状を有する光源の少なくとも1枚の画像であって、光源から結果として生じる撮像形状を具備する画像を取得し、
画像を解析し、
撮像形状が、カメラ部品が損傷していない場合および/またはカメラ部品が損傷している場合に予想通りのものかどうかを判定し、
カメラ部品が損傷していると判定されたかまたは損傷していないと判定されたかを示す表示を提供する、
方法が提供される。
このように、本発明の諸実施形態は、既知形状を有する光源を撮った写真のアーチファクトに基づいて、レンズの割れや傷、またはカメラのレンズの位置ずれなどの欠陥を検出することができる方法を提供する。幾つかの実施形態では、光源は、カメラで観察されるような本質的に半球状または円形の光の領域を生じさせる発光ダイオード(LED)であってもよい。
画像を解析するステップは、撮像形状と既知形状とをデジタル的に比較してもよい。
画像を解析するステップは、訓練された機械学習アルゴリズムを使用して、撮像された形状を、損傷したカメラ部品から結果的に生じたものか、または損傷していないカメラ部品から結果的に生じたものかものかに分類してもよい。
機械学習アルゴリズムは、ニューラルネットワークを含んでもよい。
機械学習アルゴリズムは、深層学習アルゴリズムを含んでもよい。
本方法は、
撮像された形状から情報を抽出し、
抽出された情報を1以上の所定の確率ベクトルと比較し、撮像された形状が損傷していると分類されるべきかまたは損傷していないと分類されるべきかを確定し、
撮像された形状が正確に分類される確率を算出してもよい。
撮像された形状から情報を抽出し、
抽出された情報を1以上の所定の確率ベクトルと比較し、撮像された形状が損傷していると分類されるべきかまたは損傷していないと分類されるべきかを確定し、
撮像された形状が正確に分類される確率を算出してもよい。
本方法は、さらに、損傷しているカメラ部品および損傷していないカメラ部品からの撮像された形状の複数の例を提供することによって、機械学習アルゴリズムを訓練してもよい。
訓練中に、機械学習アルゴリズムは、
複数例から情報を抽出する処理と、
抽出された情報を情報行列に変換する処理と、
情報行列を結合行列に操作する処理と、
結合行列を使用して各分類ついて確率ベクトルを確定する処理と、
を行ってもよい。
複数例から情報を抽出する処理と、
抽出された情報を情報行列に変換する処理と、
情報行列を結合行列に操作する処理と、
結合行列を使用して各分類ついて確率ベクトルを確定する処理と、
を行ってもよい。
画像を解析するステップは、空間数学を使用して、撮像形状と既知形状を比較してもよい。
本方法は、撮像形状の上に既知形状の輪郭を生成し、輪郭内に収まる、撮像形状からの明画素の割合を算出してもよい。
撮像形状の上に既知形状の輪郭を生成するステップは、画像内の最も明るい領域の中心を検出し、中心の周りに既知形状の輪郭を描き、最も明るい領域が輪郭を超えて広がっているかどうかを検査するか、または最も明るい領域が輪郭まで広がっていないかどうかを検査して最も明るい領域が少なくとも1つの方向において輪郭まで広がるように輪郭のサイズを調整してもよい。
輪郭内に収まる、撮像形状からの明画素の割合を算出するステップは、撮像形状の最大光度を判定し、最大光度の所定の閾値内の光度を有する輪郭内の明画素の数を判定し、明画素の数を輪郭内の画素の総数で割ってもよい。
幾つかの実施形態では、所定の閾値は、ユーザーによって決められるか、または機械学習アルゴリズムによって決められてもよい。所定の閾値は最大光度の90%であってもよい。
一実施形態に係れば、輪郭内に収まる撮像形状からの明画素の割合が90%未満である場合に、カメラ部品は損傷していると判定されてもよい。
既知形状は、円形または本質的に円形もしくは楕円形の領域であってもよい。
損傷しているカメラ部品からの画像は、さらに、欠陥がある部品から結果的に生じたものかまたは破壊されている部品から結果的に生じたものかに分類されてもよい。
欠陥がある部品は、さらに、傷あり、凹みあり、位置ずれあり、歪みあり、または不透明であるとして分類されてもよい。
カメラ部品は、カメラレンズ、ウィンドウ、または透明なフロントエレメントもしくは透明な保護カバーであってもよい。
本発明の第2の態様は、第1の態様の方法を実行するためにプロセッサによって動作可能なプログラミング命令を含む非一時的なコンピュータ可読媒体を提供する。
本発明の第3の態様は、カメラのカメラ部品が損傷しているかどうかを判定するためのシステムであって
カメラに関連付けられたプロセッサ、またはカメラと通信しているときの診断プロセッサによって動作可能な、請求項19に記載の非一時的コンピュータ可読媒体と、
既知形状を有する少なくとも1つの光源と、
を具備するシステムを提供する。
カメラに関連付けられたプロセッサ、またはカメラと通信しているときの診断プロセッサによって動作可能な、請求項19に記載の非一時的コンピュータ可読媒体と、
既知形状を有する少なくとも1つの光源と、
を具備するシステムを提供する。
システムは、さらに、光源の方が光度がかなり高くなるような無彩色の背景を具備してもよい。一実施形態に係れば、光源は背景よりも少なくとも10倍、光度が高い。
背景はその上に、カメラが画像を撮るときに焦点を合わせるための、対比用の焦点機能を具備してもよい。
システムは、さらに、光源の画像を撮るためのカメラを位置決めするように構成されたホルダーおよび/またはロボットアームを具備してもよい。
カメラは、モバイルデバイスに設けられてもよい。
システムは、さらに、診断プロセッサと、カメラと通信するための通信手段とを具備してもよい。
システムは、カメラの視野内に設けられた、それぞれが既知形状を有する複数の光源と、画像を撮るときに複数の光源のうちの1つだけが作動するように個々の光源をそれぞれオンオフするように構成されたコントローラーとを具備してもよい。
画像が撮られるときに、本発明の第1の態様の幾つかの実施形態では、光源はカメラの視野内に存在しており、他の諸実施形態では、光源は視野の近傍に存在している。
本方法は、さらに、画像を撮ってもよい。
1以上の損傷指標は、1以上のアーチファクト、パターン、コントラスト変化、飽和範囲、ぼけた領域、色効果、光筋、またはその他の症状を含んでもよい。
各領域を解析するステップは、統計解析を使用して、1つ以上の損傷指標のうち少なくとも1つが存在するかどうかを判定してもよい。
各領域を解析するステップは、各領域について光学パラメータを算出し、各光学パラメータが1つ以上の損傷指標のうちの少なくとも1つを示すかどうかを判定してもよい。
光学的パラメータは、色、波長、光度、強度、輝度、またはコントラストのうちの1つ以上を含んでもよい。
本方法は、各領域について平均光学パラメータを算出し、各平均光学パラメータが1つ以上の損傷指標のうちの少なくとも1つを示すかどうかを判定してもよい。
本方法は、光学的パラメータが所定の範囲内にある、各領域内の画素総数の割合を判定してもよい。
所定の範囲は、予想される光学パラメータの90%以上であってもよい。
各領域を解析するステップは、訓練された機械学習アルゴリズムを使用して、各領域を、1つ以上の損傷指標のいずれも具備していないか、または1つ以上の損傷指標のうちの少なくとも1つを具備していると分類してもよい。
機械学習アルゴリズムは、ニューラルネットワークまたは深層学習アルゴリズムを含んでもよい。
本方法は、各領域から情報を抽出し、
抽出された情報を1以上の所定の確率ベクトルと比較し、領域が1以上の損傷指標のいずれも具備していないと分類されるべきか、または1以上の損傷指標のうちの少なくとも1つを具備していると分類されるべきかを確定し、領域が正確に分類される確率を算出してもよい。
抽出された情報を1以上の所定の確率ベクトルと比較し、領域が1以上の損傷指標のいずれも具備していないと分類されるべきか、または1以上の損傷指標のうちの少なくとも1つを具備していると分類されるべきかを確定し、領域が正確に分類される確率を算出してもよい。
本方法は、さらに、損傷しているカメラ部品および損傷していないカメラ部品からの画像の複数例を提供することによって機械学習アルゴリズムを訓練してもよい。
訓練中に、機械学習アルゴリズムは、複数例から情報を抽出する処理と、抽出された情報を情報行列に変換する処理と、情報行列を結合行列に操作する処理と、結合行列を使用して各分類ついて確率ベクトルを確定する処理と、を行ってもよい。
本方法は、さらに、画像内の最大強度の領域と、最大強度の予め決められた範囲内の強度を有する全ての隣接領域とに対応する最も明るい範囲を判定することと、最も明るい範囲を、各領域を解析するステップから除外することとによって、画像内の光源を無効にしてもよい。
画像は無彩色の背景を具備してもよい。
本方法は、単一画像の全ての領域と比較した、1つ以上の損傷指標のうちの少なくとも1つを含むと判定された領域の割合を算出し、割合が少なくとも1%、2%、5%、または10%である場合に、カメラ部品が損傷していると分類してもよい。
本方法は、さらに、損傷しているカメラ部品を、欠陥があるかまたは破壊されていると分類してもよい。
本方法は、さらに、欠陥のある部品を、傷あり、凹みあり、位置ずれあり、歪みあり、または不透明であると分類してもよい。
カメラ部品は、カメラレンズ、ウィンドウ、または透明なフロントエレメントもしくは透明な保護カバーであってもよい。
本発明の第4の態様は、上記に記載したいずれかの方法を実行するために、プロセッサによって動作可能なプログラミング命令を含む非一時的なコンピュータ可読媒体を提供する。
本発明の第5の態様は、カメラのカメラ部品が損傷しているかどうかを判定するためのシステムであって、カメラに関連付けられたプロセッサ、またはカメラと通信しているときの診断プロセッサによって動作可能な、第4の態様に記載の非一時的コンピュータ可読媒体を具備するシステムを提供する。
システムは、さらに、カメラ部品に入射する光を提供するように配置された光源を具備してもよい。
システムは、光源から光をカメラ部品に向けるように配置された光学ファイバーケーブルを具備してもよい。
光源はカメラの視野の外側に配置されてもよい。
異なる画像を異なる照明角度で撮ることができるように光源および/またはカメラは移動可能であってもよい。
光源は白色光源であってもよい。一実施形態に係れば、異なる画像を異なる照明条件で撮ることができるように、光源の色または波長は調整可能であってもよい。
システムは、画像を撮るときに光源を作動させるように構成されたコントローラーを具備してもよい。
システムは、さらに、カメラが画像を撮るときに焦点を合わせるための焦点機能を具備してもよい。
システムは、さらに、画像を撮るためのカメラを位置決めするように構成されたホルダーおよび/またはロボットアームを具備してもよい。
カメラはモバイルデバイスに設けられてもよい。
システムは、さらに、診断プロセッサと、カメラと通信するための通信手段とを具備してもよい。
カメラ部品に光を提供するために複数の光源が配置されてもよく、画像を撮るときに複数の光源の1つ以上が作動するようにコントローラーが個々の光源をオンオフするように構成されてもよい。一実施形態に係れば、複数の光源のそれぞれまたは幾つかの色または波長は、複数の光源の残りまたは幾つかと異なっていてもよい。
本発明の第6の態様は、カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
1以上の損傷指標に関する情報を取得するステップと、
光源からの光がカメラ部品に入射したときに撮られた少なくとも1枚の画像をカメラから取得するステップと、
画像を1以上の領域に分割するステップと、
各領域を解析して、各領域が1以上の損傷指標のうち少なくとも1つを含んでいるかどうかを判定するステップと、
上記解析に基づいて、カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供するステップと、
を行う、および/または、
カメラから、既知形状を有する光源の少なくとも1枚の画像であって、光源から結果として生じる撮像形状を具備する画像を取得するステップと、
画像を解析するステップと、
撮像形状が、カメラ部品が損傷していない場合および/またはカメラ部品が損傷している場合に予想通りのものかどうかを判定するステップと、
カメラ部品が損傷していると判定されたかまたは損傷していないと判定されたかを示す表示を提供するステップと、
を行う方法を提供する。
1以上の損傷指標に関する情報を取得するステップと、
光源からの光がカメラ部品に入射したときに撮られた少なくとも1枚の画像をカメラから取得するステップと、
画像を1以上の領域に分割するステップと、
各領域を解析して、各領域が1以上の損傷指標のうち少なくとも1つを含んでいるかどうかを判定するステップと、
上記解析に基づいて、カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供するステップと、
を行う、および/または、
カメラから、既知形状を有する光源の少なくとも1枚の画像であって、光源から結果として生じる撮像形状を具備する画像を取得するステップと、
画像を解析するステップと、
撮像形状が、カメラ部品が損傷していない場合および/またはカメラ部品が損傷している場合に予想通りのものかどうかを判定するステップと、
カメラ部品が損傷していると判定されたかまたは損傷していないと判定されたかを示す表示を提供するステップと、
を行う方法を提供する。
本発明の第7の態様は、本発明の第6の態様に記載の方法を実行するためにプロセッサによって動作可能なプログラミング命令を含む非一時的なコンピュータ可読媒体を提供する。
本発明の第8の態様は、カメラのカメラ部品が損傷しているかどうかを判定するためのシステムであって、カメラに関連付けられたプロセッサ、またはカメラと通信しているときの診断プロセッサによって動作可能な、本発明の第7の態様に記載の非一時的コンピュータ可読媒体を具備するシステムを提供する。
第1から第5の態様のいずれかに関連して上記に記載したいずれかの特徴を、本発明の第6から第8の態様のいずれかと組み合わせてもよい。
請求項の主題は、開示された主題を実施するためにコンピュータを制御するソフトウェア、ファームウェア、ハードウェア、またはこれらの任意の組み合わせを作るための標準的なプログラミングおよび/またはエンジニアリング技術を使用して、方法、装置、または製造品として実施してもよい。
例えば、請求項の主題は、任意のコンピュータ可読記憶デバイスまたは記憶媒体からアクセス可能なコンピュータプログラムを包含する、コンピュータ実行可能プログラムが埋め込まれたコンピュータ可読媒体として実施してもよい。例えば、コンピュータ可読媒体は、磁気記憶デバイス(例えば、ハードディスク、フロッピーディスク、磁気ストリップ…)、光学ディスク(例えば、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)…)、スマートカード、およびフラッシュメモリーデバイス(例えば、カード、スティック、キードライブ…)を含むことができるが、これらに限定されるものではない。
例えば、請求項の主題は、任意のコンピュータ可読記憶デバイスまたは記憶媒体からアクセス可能なコンピュータプログラムを包含する、コンピュータ実行可能プログラムが埋め込まれたコンピュータ可読媒体として実施してもよい。例えば、コンピュータ可読媒体は、磁気記憶デバイス(例えば、ハードディスク、フロッピーディスク、磁気ストリップ…)、光学ディスク(例えば、コンパクトディスク(CD)、デジタル多用途ディスク(DVD)…)、スマートカード、およびフラッシュメモリーデバイス(例えば、カード、スティック、キードライブ…)を含むことができるが、これらに限定されるものではない。
次に、以下の図面を参照して、本発明の非限定的な実施形態を例としてのみ記載する。
本発明の諸実施形態は、全体として、幾何学的参照付けによるカメラレンズの傷の自動診断に関する。
カメラのレンズやウィンドウなどの平坦で透明な表面の表面欠陥や構造的欠陥は、本発明の諸実施形態を使用して、光源から診断対象であるカメラ部品を介してカメラに光が伝わるように既知形状の光源(例えば、円形の発光ダイオード(LED))の写真を撮ることによって診断できる。LEDなどの小さな光源は、撮られた写真の中で円形の発光領域のように見えるはずであり、特に、LEDが写真の中で唯一の高輝度源である場合にはそうである。しかしながら、カメラ部品が変形していたり、損傷していたり、または破損していると、LED光源は、写真の中で、そのような発光する円形としては現れず、異なる/歪んだ形状として現れる。したがって、本発明の諸実施形態は、この現象を巧みに利用して、カメラ部品が損傷しているか否かを判定するシステムおよび方法を提供する。
図1は、本発明の一実施形態に係る、カメラ104のカメラ部品102(例えば、レンズ、ウィンドウ、または透明なフロントエレメント)が損傷しているかどうかを判定するためのシステム100を示す。システム100は、ホルダー112に取り付けられ、カメラ部品102が損傷しているかどうかを判定するためのコンピュータ実施方法を実行するように構成された診断プロセッサ114と通信している試験対象デバイス106(これは、この場合はモバイルデバイスだが、他の諸実施形態では専用カメラまたはカメラを含む他のデバイスであってもよい)を備えている。システム100は、試験対象デバイス106(これは、この場合はモバイルデバイスだが、他の諸実施形態では専用カメラまたはカメラを含む他のデバイスであってもよい)を備えており、試験対象デバイスは、ホルダー112に取り付けられ、カメラ部品102が損傷しているかどうかを判定するためのコンピュータ実施方法を実行するように構成された診断プロセッサ114と通信している。コンピュータ実施方法については、以下でより詳細に記載する。しかしながら、コンピュータ実施方法を非一時的なコンピュータ可読媒体にエンコードして、診断プロセッサ114が方法を実行するか、または試験対象デバイス106内のプロセッサが方法を実行するかのいずれかであるようにしてもよいことに留意すべきである。例えば、コンピュータ実施方法を実行するための命令は、別個の診断プロセッサ114が必要とならないように、試験対象デバイス106のメモリにダウンロードされてもよい。このように、本発明の諸実施形態は、診断ハードウェア(すなわち、診断プロセッサ114の形態)と、コンピュータ実施方法を実行するように構成された診断ソフトウェアとの両方に関する。
幾つかの実施形態では、システム100は、画像を撮るために、試験対象デバイス106をホルダー112内に位置決めするか、または試験対象デバイス106を直接保持するかのいずれかを行うように構成されたロボットアーム(図示せず)を含んでもよい。他の諸実施形態では、ユーザーは、ホルダー112を必要とすることなく、試験対象デバイス106を保持してもよい。
システム100は、既知形状を有する少なくとも1つの光源も具備する。この実施形態では、光源は、カメラ104から見たときに円形輝度領域108を生じさせるように構成された円形のLEDである。LEDは、図2により詳細に示すように、基板110に取り付けられている。しかしながら、幾つかの実施形態では、基板110は必要ではない。
図2に示すように、基板110は4つのLED204を備え、各LEDが黒マーカー「X」202で形成された空間に設けられてダイヤモンドパターンを形成している。図示しないが、基板110は、均一な色と輝度との無彩色の鈍いグレー背景200を備えていることによって、いわゆる「グレーカード」を形成している。グレー背景200は、個々のLED204の撮像形状が明確に識別できるように、試験対象デバイス106によって撮られた画像内でLED204(作動時)が唯一の輝度源であることを確実にするために役立つ。幾つかの実施形態では、LED204は、グレー背景200の少なくとも10倍、少なくとも100倍、または少なくとも1000倍、光度が高くてもよい。幾つかの実施形態では、LED204の光度は調整可能であってもよい。さらに、背景200の色は、比較的均一でLED204よりも光度が低い限り、灰色である必要はない。
黒マーカー「X」202は、カメラ104が画像を撮るときに焦点を合わせるための、基板110上の対比用の焦点機能を構成する。他の諸実施形態では、異なる焦点機能を設けてもよい。
本実施形態では、4つのLED204を単純なブレッド基板に取り付け、画像を撮るときに4つの光源のうちの1つだけが作動するように個々の各LED204をオンオフするように構成されたマイクロコントローラー(図示せず)によって駆動した。例えば、1つのLED204を3秒間オンにして1秒間オフにした後、次のLED204を3秒間オンにして1秒間オフにするなどし、これを電源のスイッチをオフにするまで続けた。他の諸実施形態では、異なる数の光源を採用してもよく、および/または、異なる制御シーケンスを使用してもよい。
図3は、本発明の一実施形態に係る、カメラ104のカメラ部品102が損傷しているかどうかを判定するためのコンピュータ実施方法300(上記を参照)のステップを示す。上記に説明したように、方法300は、図1の試験対象デバイス106または診断プロセッサ114によって行われてもよい。
方法300は、既知形状108を有する光源204の少なくとも1枚の画像であって、光源204から結果的に生じた撮像形状を含む画像を、カメラ104から取得する第1のステップ302と、画像を解析する第2のステップ304とを含む。第3のステップ306は、撮像形状が、カメラ部品102が損傷していない場合および/またはカメラ部品102が損傷している場合に予想通りのものかどうかを判定することを含む。第4のステップ308では、方法300は、カメラ部品102が損傷している判定されたかまたは損傷していないと判定されたかを示す表示を行う。特定の実施形態の詳細については、以下でより詳しく記載する。
動作時において、試験対象デバイス106のカメラ部品102における一部の表面欠陥、構造的欠陥、取付不良または位置ずれなどの欠陥は、以下のプロセスによって識別することができる。図1のシステム100の配置は、既知形状の光源(すなわち、基板110上で、黒マーカー「X」202を備えるグレー背景200内に埋め込まれているか、またはグレー背景200の正面に位置づけられている、円形LED204)を設け、試験対象デバイス106(検査される内蔵デジタルカメラ104のカメラ部品102を含む)を光源204および基板110がカメラの視野に入るように配置することによって行われる。理想的には、基板110は、カメラ部品102の前面に実質的に平行で、カメラ104の光軸に直交する平面に方向付けられる。
試験対象デバイス106は、オペレーターによってまたはロボットアームによってホルダー112内に置かれてもよく、ホルダー112自体またはクランプやファスナーなどの1以上の機械部品によって適切な位置に固定されてもよい。
次に、試験対象デバイス106は、図3の方法300を実行するように構成された診断ソフトウェアに接続される。これは、試験対象デバイス106がそのメモリに診断ソフトウェアをダウンロードすること、または(有線接続または無線接続のいずれかによって)試験対象デバイス106を診断プロセッサ114に接続することを伴ってもよい。試験対象デバイス106を診断プロセッサ114に接続するステップは、試験対象デバイス106がホルダー112に置かれると、診断プロセッサ114が試験対象デバイス106の存在を自動的に検出するように、自動的に行われてもよい。別の一実施形態に係れば、このステップは、オペレーターが、例えばUSBケーブルを使用して必要な接続を行ったり、および/または、診断プロセッサ114または試験対象デバイス106に接続されたユーザーインタフェースから接続を開始するように、手動で行われてもよい。
同様に、診断ソフトウェアと試験対象デバイス106のカメラ104との間で接続が行われる。この接続は、診断ソフトウェアが試験対象デバイス106がカメラ104を含んでいるかどうかを自動的に検出し、次いで、試験対象デバイス106のオペレーティングシステム(OS)に組み込まれたインターフェースを使用してカメラ104に接続するように、自動的に行われてもよい。
診断ソフトウェアは次にカメラ104を操作して、光源204の写真を1枚以上撮ってもよい。これは、カメラ104が黒マーカー「X」202に焦点を合わせ、光源204を含む画像をキャプチャすることを伴う。幾つかの実施形態では、必要な写真は、診断ソフトウェアによって自動的に撮られてもよいが、他の諸実施形態では、診断ソフトウェアが、試験対象デバイス106や診断プロセッサ114へのユーザーインタフェースを介して、必要な写真を撮るようにオペレーターを案内してもよい。したがって、既知形状108を有する光源204の少なくとも1枚の画像をカメラ104から取得するステップ302は、診断ソフトウェアがカメラ104を使用して画像を直接撮ることによっても、試験対象デバイス106がカメラ104によって撮られた画像を診断ソフトウェアまたは診断プロセッサ114に転送することによっても、満たすことができる。
次に、画像が解析される。これは、試験対象デバイス106内の診断ソフトウェアによって行われるか、または画像を解析のために診断プロセッサ114に転送することによって行われてもよい。いずれの場合も、撮像形状が解析され、カメラ部品102が損傷していない場合および/またはカメラ部品102が損傷している場合に予想通りのものかどうかが判定される。言い換えれば、診断ソフトウェアは、円形LED204の画像が、本質的に円形か、または歪んでレンダリングされているかを検査する。もちろん、他の諸実施形態では、異なる既知形状の光源が採用されてもよく(例えば、楕円形、三角形、正方形、長方形など)、解析では、レンダリングされた画像がそのような形状に対して予想通りのものかどうかが検査される。解析は、以下に更に詳細に説明するように、例えば、空間数学や機械学習を使用して行ってもよい。
最後に、カメラ部品102が損傷していると判定されたかまたは損傷していないと判定されたかを示す表示が提供される。この表示つまり診断判断は、特にカメラ部品102が損傷していると判定された場合には、可聴アラートおよび/または可視アラートの形態をとってもよい。
幾つかの実施形態では、診断判断は、オペレーターに表示されてもよく、単純な総合等級、詳細度が低い等級、詳細度が高い等級、または等級付けに影響を与えるパラメータの完全なレポートを含んでもよい。例えば、カメラ部品102は、傷なし、傷あり、破壊されている、凹みあり、位置ずれあり、歪みあり、または不透明であるとして分類されてもよい。これらの結果を、試験対象デバイス106の画面に示してもよいし、診断プロセッサ114のユーザーインタフェースを介して示してもよいし、診断ソフトウェアが提供する別のレポートに示してもよい。
画像の解析結果または画像自体は、オペレーターからの助力つまり入力を受けて、または診断ソフトウェアによって自動的に、試験対象デバイス106から(例えば、診断プロセッサ114が設けられている)リモートサーバに転送されてもよい。
参考までに、図4Aは、本発明の一実施形態に係る、損傷していないカメラ部品102(傷がないレンズ)を使用してキャプチャされた、図2の基板110および1つのLED204光源の画像を示す。このように、LED204からの撮像形状400aは、本質的に円形であることがわかる。
図4Bは、本発明の一実施形態に係る、損傷しているカメラ部品102(傷があるレンズ)を使用してキャプチャされた、図2の基板110および同じLED204光源の画像を示す。このように、LED204からの撮像形状400bは円形ではなく、むしろ細長いことがわかる。
以下の例は、本発明の諸実施形態に係る、上記の画像を自動的に解析してカメラ部品102が損傷しているかまたは損傷していないかを判定することができる方法を詳述する。
例
傷がないレンズ、傷があるレンズ、および破壊されているレンズからの円形LED204の潜在的なキャプチャ画像を示す幾つか画像を、グラフィック作成ソフトウェアを使用して生成した。このように、図5A、図5Bおよび図5Cは、損傷していないカメラ部品102の場合にキャプチャされた光源画像500a,500bおよび500cの各々の例を示す。これらの画像500a,500b,500cの各々は、本質的に円形である。この例の目的のために、図5A、図5Bおよび図5Cに示す種類の画像を232枚生成した。これらの画像は全て丸みを帯びた形状を備えているが、全て僅かに異なっている。
図6A、図6Bおよび図6Cは、傷があるカメラ部品102の場合にキャプチャされた光源画像600a,600bおよび600cの各々の例を示す。これらの画像600a,600bおよび600cの各々は、何らかの形で引き伸ばされたり変形されたりした円形形状を有している。この例の目的のために、図6A、図6Bおよび図6Cに示す種類の画像を35枚生成した。これらの画像は全て、異なる形で引き伸ばされたり変形されたりした円形形状を具備している。
図7A、図7Bおよび図7Cは、破壊されているカメラ部品102の場合にキャプチャされた光源画像700a,700bおよび700cの例を示す。これらの画像700a,700bおよび700cの各々は、非常にひどく変形して破損した形状を有している。この例の目的のために、図7A、図7Bおよび図7Cに示す種類の画像を6枚生成した。これらの画像は全て、ひどく変形して破損した形状を備えている。
上記の画像の使用については、異なる解析技術について以下に記載する。
空間数学的アプローチ
試験対象デバイス106のカメラ部品102を通して撮られた写真を解析するステップは、例えば、円形の光源(例えば、LED204)を方程式で近似する数学的な算出法を使用して行われてもよい。カメラ部品102を通して撮られた写真から抽出されたパラメータで方程式を解くことによって得られる結果を、既知の基準値と比較してもよい。基準値との一致は、カメラ部品102(例えば、レンズ)が傷なしであることを示す一方、基準値からの逸脱は、カメラ部品102(例えば、レンズ)が故障していることを示す。
より具体的には、空間数学的アプローチを使用して写真を解析するステップは、以下のステップを備えていてもよい。
1)キャプチャ画像の中で最も明るい領域の中心を検出する。
2)上記中心に(数学的)マーカーを置く(例えば、中心画素のxおよびy座標を記録する)。
3)上記中心画素の周りにリングを描き、明るい領域がリングを超えて少なくとも一方向に広がっているかどうかを検査する。
4)明るい領域がリングの境界からはみ出さなくなるまで、リングのサイズを大きくする。
5)リング内側の非常に明るい画素の割合を算出する(例えば、最大光度の少なくとも90%の明るさの光度を有する画素など、予め決められた値よりも大きい光度を有する画素の割合)。試験対象デバイス106が傷なしであれば、その割合は100%に近いはずである。試験対象デバイス106が損傷している場合、その割合ははるかに低くなるはずである。
6)レンズが損傷しているか否かを決定するためのルールを適用する。例えば、リング内の明画素の割合が90%未満であれば、レンズは傷があると見なされてもよく、リング内の明画素の割合が40%未満であれば、レンズは破壊されていると見なされてもよい。
1)キャプチャ画像の中で最も明るい領域の中心を検出する。
2)上記中心に(数学的)マーカーを置く(例えば、中心画素のxおよびy座標を記録する)。
3)上記中心画素の周りにリングを描き、明るい領域がリングを超えて少なくとも一方向に広がっているかどうかを検査する。
4)明るい領域がリングの境界からはみ出さなくなるまで、リングのサイズを大きくする。
5)リング内側の非常に明るい画素の割合を算出する(例えば、最大光度の少なくとも90%の明るさの光度を有する画素など、予め決められた値よりも大きい光度を有する画素の割合)。試験対象デバイス106が傷なしであれば、その割合は100%に近いはずである。試験対象デバイス106が損傷している場合、その割合ははるかに低くなるはずである。
6)レンズが損傷しているか否かを決定するためのルールを適用する。例えば、リング内の明画素の割合が90%未満であれば、レンズは傷があると見なされてもよく、リング内の明画素の割合が40%未満であれば、レンズは破壊されていると見なされてもよい。
図8Aは、本発明の一実施形態に係る、損傷していないカメラ部品102の場合にキャプチャされた光源画像800aの幾何学的解析を模式的に表したものを示す。図8Aでは、図5Aのキャプチャ画像は実線の輪郭800aで示されている。このキャプチャ画像800aは、LED204から予想される形状108を示す、完全な円形の破線で囲まれている。キャプチャ画像800a内の画素量と破線108内の画素量を比較すると、およそ5%の差しかない。したがって、破線108の内側の領域のほぼ100%が、キャプチャ画像800aの明画素によって占められている。これは、決められた許容範囲内であり、したがって、キャプチャ画像800aは、傷がないカメラ部品102からのものであると判定される。
図8Bは、本発明の一実施形態に係る、傷があるカメラ部品102の場合にキャプチャされた光源画像800bの幾何学的解析を模式的に表したものを示す。この場合、図6Cのキャプチャ画像は上記と同じように処理され、実線の輪郭800bで示されているが、この輪郭は非円形であり、傷があるレンズから結果的に生じたものである。このキャプチャ画像800bは、LED204から予想される形状108を示す、完全な円形である破線で囲まれている。キャプチャ画像800b内の画素量と破線108内の画素量を比較すると、約50%の差がある。こうして、予め設定されたルールに従って、この例のカメラ部品102を傷があると判定することができる。
現実のケースでは、実線800aおよび800b内の画素は、予め決められた値よりも大きい光度(例えば、最大光度の少なくとも90%の明るさ)を有するキャプチャ画像で観察される、明画素であろう。
要約すると、このアプローチでは、予想される形状の内側の画素のうち、明画素の比を測定するだけでよい。言い換えれば、以下の式が適用される。
測定値=明るい領域の画素数/予想される領域の画素数
測定値=明るい領域の画素数/予想される領域の画素数
機械学習的アプローチ
他の諸実施形態では、試験対象デバイス106のカメラ部品102を通して撮られた写真を解析するステップは、例えば、コンピュータビジョンを介した機械学習によって行われてもよい。この場合、アルゴリズムに、画像内の欠陥を識別するために十分な写真セットを教え、これは次に、カメラ部品102の欠陥を等級付けする際に使用される。上記に説明したように、この解析は、例えば、試験対象デバイス106上で実行される診断ソフトウェアによっても、リモートサーバまたは診断プロセッサ114によっても行うことができる。
機械学習アルゴリズムは、例えば、ニューラルネットワークまたは深層学習アルゴリズムを含んでもよい。ニューラルネットワークの場合、アルゴリズムがある程度の効率で類似のピクチャーを分類できるようになる前に、最初に、図5Aから図7Cに関連して上記に記載したようなピクチャーの例を使用してアルゴリズムに教える。
一般に、機械学習アルゴリズムの使用は、以下を含んでもよい。
1.訓練用ピクチャーに含まれる情報を情報行列に変換する。
2.情報行列を結合行列に操作する。
3.結合行列を使用して確率ベクトルを形成する。
4.キャプチャ画像からの情報と確率ベクトルとを比較する。
5.キャプチャ画像を、確率情報が付随する結果クラスに分類する。
1.訓練用ピクチャーに含まれる情報を情報行列に変換する。
2.情報行列を結合行列に操作する。
3.結合行列を使用して確率ベクトルを形成する。
4.キャプチャ画像からの情報と確率ベクトルとを比較する。
5.キャプチャ画像を、確率情報が付随する結果クラスに分類する。
機械学習アプローチの例を教えるために、図5Aから図7Cに関連して上記に記載した訓練用ピクチャーの70%をランダムに選択したものを訓練材料として使用し、次に残りの30%のピクチャーをキャプチャ画像の例として使用して、本方法の分類効率を試験した。
図9は、キャプチャ画像が、カメラレンズの形態の、傷がないカメラ部品204、傷があるカメラ部品204、および破壊されているカメラ部品204を使用して取得されたものとして分類された機械学習解析の結果に対する混同行列を示す。
見てわかるように、全ての「傷がない」レンズは正確に分類された。「傷がある」レンズの分類は、この試験ケースではやや信頼性が低く、11枚のうち4枚が「傷がない」と不正確に分類された。このケースでは、破壊されているピクチャーはサンプル内に1枚しかなく、これは正確に分類された。
このケースで使用した分類器は、既知の「ランダムフォレスト分類器」である。全体として、分類は95.12%の精度であり、現実世界でのユースケースにおいても同様の数値を予想することができる。
一般的な方法
本発明の諸態様は、全体として、レンズ系(対物)などのカメラ部品の内部反射を引き起こして、内部反射の均一性を検査する諸方法に関する。したがって、画像の被写体には実際の重要性はなく、むしろ、画像の背景はできるだけ単調で均一にして、反射のイメージを強調するようにすべきである。このような反射を傷がないレンズ系と損傷しているレンズ系の両方で観察することによって、反射の違いを識別し、損傷しているレンズ系と傷がないレンズ系とを判定することが可能になる。十分なサンプルが取得されれば、この決定を適切なアルゴリズムによって自動化してもよい。
従って、本発明の諸態様は、高品質の光源および任意選択で光学ファイバーを使用することによって、スマートフォンのレンズなどのカメラ部品を診断する新規な方法を提供する。どんなレンズの欠陥が引き起こすエラーでも、統計空間解析または機械学習を使用して検出することができる。
図10は、本発明の諸実施形態に係る、カメラ104のカメラ部品102が損傷しているかどうかを判定するためのコンピュータ実施方法1000のステップを示す。上記に説明した方法と同様に、この方法1000は、試験対象デバイス106または診断プロセッサ114によって行われてもよい。
方法1000は、1以上の損傷指標に関する情報を取得する第1のステップ1002と、光源からの光がカメラ部品に入射したときに撮られた少なくとも1枚の画像をカメラから取得する第2のステップ1004とを含む。第3のステップ1006は、画像を1以上の領域に分割することを要し、第4のステップ1008は、各領域を解析して、各領域が1以上の損傷指標のうち少なくとも1つを含んでいるかどうかを判定することを含む。第5のステップ1010は、上記解析に基づいて、カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供することを含む。
以下に記載する特定の実施形態では、カメラ部品は光源からの光に直接晒されるが、光源の形状は既知である必要はない。したがって、本技術は、既知の光源が利用できない場合に使用することができる。しかしながら、幾つかの実施形態では、本技術を、既知の光源を使用した上記の技術と併用して、撮像された光源が予想される形状であっても他のアーチファクトを識別できるようにしてもよい。
図11A、図11Bおよび図11Cに示す実施形態では、光源1100は、カメラの視野(FOV)(すなわち、カメラ内のセンサーまたは検出器のFOV)内に設けられる。しかしながら、他の諸実施形態では、光源は、カメラのFOVの外側(すなわち、センサーまたは検出器のFOVの外側)にありながらも、以下で更に説明するように、試験中のカメラ部品に光を直接提供するように配置されてもよい。幾つかの実施形態では、オペレーターは、光源をFOVに含めるか否かを選択してもよい。
理想的には、光源1100は、異なる波長を含む(すなわち、色効果をより容易に識別できるように、できるだけ自然光/白色光に近い)。光源1100は、周囲光よりも明るくすべきであり(例えば、少なくとも10倍、光度が高い)、太陽またはLEDもしくは光学ファイバーケーブルなどの明るい光の他の光源でもよい。
図11Aに示すように、第1のステップでは、ピクチャーの背景が好ましくは実質的に均一な色になるように、試験中のカメラでピクチャー/画像が撮られる。加えて、上記のように、例えば「X」などのカメラ用の焦点機能が均一な背景上に印刷されていてもよい。この実施形態では、画像内に1つの非常に明るい小光源1100もある。カメラ部品が損傷している場合(図11Aの通り)、画像は1以上の損傷指標1102も示すが、この指標は、光筋、色(すなわち、虹)効果、ぼけなどの形態であってよい。
図11Bに示すように、第2のステップでは、画像を複数の領域に分割するが、この場合、これらの領域は小さな正方形1104である。他の諸実施形態では、画像は、正方形または他の形状を使用した1以上の領域に分割されてもよい。その後、各領域について光学パラメータが判定される。この実施形態では、各正方形1104についてRGB平均色値が判定される。他の諸実施形態では、各領域の強度が判定されてもよい。
図11Cに示すように、第3のステップでは、画像内の最大のおよび/または最も明るい連続した領域が判定され、この領域がFOV内に存在する場合、さらなる解析から無視するために、光源を画像からマスクアウトする。このケースでは、画像内の光源1100をマスクアウトするために円が使用されているが、光源をマスクするために任意の形状を使用することができる。
図示されていない第4のステップでは、統計解析方法および/または機械学習技術が採用されて、領域1104の各々を「予想通り」または「予想外」のいずれかに分類する。言い換えれば、各領域1104は、少なくとも1つの損傷指標1102を備えているかどうかを判定するために解析される。損傷指標は、パターン、アーチファクト、色エラー(すなわち虹効果)、飽和(すなわち焼き付き)領域、または損傷しているカメラ部品を通して撮られた画像に現れる可能性のある他の症状(例えば、画素間の急激なコントラスト変化つまり「ぼけ」)の形態をとってもよい。例えば、領域の平均強度、光度、色または波長などの光学パラメータを判定し、基準値または閾値と比較して、領域が少なくとも1つの損傷指標1102を備えているかどうかを判定してもよい。幾つかの実施形態では、領域が1以上の損傷指標1102を備えているかどうかを判定するために、1以上の光学パラメータが取得されてもよい。したがって、1以上の損傷指標1102に関する情報を得るために(すなわち、参照用の値の正常なまたは予想される範囲を確立するために)、較正手順またはセットアップ手順を採用してもよい。
幾つかの実施形態では、そのような損傷指標が存在するかどうかを識別し、それによって、カメラ部品が損傷しているかまたは損傷していないかを判定することを機械学習アルゴリズムに教えるために、潜在的な損傷指標の大きなデータセットが提供されるであろう。
光源の外側の領域1104の全てが予想通りである(すなわち、損傷指標を1つも含まない)場合、カメラが完全に機能しているという信号がオペレーターに通信される。しかしながら、領域1104のうちの1つ以上が予想通りでない(すなわち、損傷指標を含んでいる)場合、カメラが損傷しているという信号がオペレーターに通信される。
カメラが損傷していない(すなわち、機能している)と分類された場合、人の介在を必要とせずにプロセスを終了することができる。
カメラが損傷している(例えば、破損している)と分類された場合、オペレーターは、カメラが本来の機能を果たしていないことを確認することができる。
本発明のそのような実施形態の利点は、ほとんどの場合(例えば、試験されたカメラの90%から95%の場合)、カメラが傷なしかまたは破損しているかを評価するために人間の介在が必要ないことである。カメラが破損している稀なケースでは、オペレーターはカメラに破損しているとラベル付けし、修理に送るか(修理に価値があると思われる場合、すなわち、デバイスが比較的新しく高価なモデルである場合)、または価格を下げることができる(カメラが安すぎて修理が意味をなさない場合)。
上記に記載した最初の実施形態と比較して、この実施形態はより広範囲のエラーを検出することができる。例えば、レンズアレイ内の埃やセンサー内の汚れは、この方法を使用して自動的に検出できるアーチファクトを作り出すはずである。
これまで、スマートフォンのカメラレンズ診断システムのほとんどは、人間による目視点検に頼っていた。この実施形態は、その目視点検を容易にすることができるか、もしくは上記に記載したように画像のアーチファクトが現れたことを検出するアルゴリズムを使用して、点検を完全に自動化することができる。
本発明の幾つかの態様では、完璧なレンズはないので、この方法は確率算出の練習と見なすことできる。つまり、許容可能な欠陥確率に閾値を設定してもよい。よって、カメラ部品が損傷しているかまたは損傷していないと分類されたことを示す表示を提供するステップは、損傷指標に関して取得された情報と比較した場合のカメラ部品の欠陥の確率を、例えば、観察された損傷指標の数に基づいて、算出することを含んでもよい。情報は、観察された損傷指標の数に基づく欠陥確率分布を具備してもよい。さらに、確率分布は、損傷指標の種類に固有のものであってもよく、その場合には、複数の確率分布が取得されてもよい。幾つかの実施形態では、この種の確率算出を、機械学習アルゴリズムを採用することによって実行して、損傷指標に関するより多くの情報が蓄積されるにつれて推定値がより正確になるようにしてもよい。
図12は、本発明の諸実施形態に係る、一連のモバイルデバイス1204のカメラ1202を試験するための試験セットアップ1200の模式図である。試験セットアップ1200は高品質の光源1206を具備しており、この光源は、レンズシステム1208を通過して、各モバイルデバイス1204の各カメラ1202に光を向けるように配置された複数の光学ファイバー1210の中に入る。
図13は、光源1206から光学ファイバー1210によって伝えられた光を使用して試験中の単一のモバイルデバイス1204のカメラ1202の側面図である。一般的に、光は試験中のカメラ部品(例えば、レンズ)の中心に向かってまっすぐに向けられてもよいが、幾つかの実施形態では、光は他の角度から来てもよいし、または、どんな画像アーチファクトでも捕らえるのを助けるために、光は(例えば、光源またはカメラを移動することによって)幾つかの角度からカメラ部品に向けられてもよい。
図14は、光学ファイバー1210光源を使用して試験中の、傷があるレンズ1202の拡大模式図である。光がレンズ1202内の傷1212などのエラーに遭遇すると、光は一般にアーチファクト1214つまり損傷指標を作り出すが、これは、作り出された画像内のプリズム効果または輝点もしくはストリークの形態をとることがあり、これらがFOV内に存在する場合は、明らかに、撮像された光源に対応する輝度領域の外側にある。こうして、システムが図10の方法に係り損傷指標の存在を検出して、カメラが損傷しているかまたは損傷していないかを判定できるようにする。
上記に記載したような比較的単純なセットアップであっても、高品質の光源を備えていれば、高品質の光源を備えていない場合には気付きにくいレンズエラーをオペレーターが発見するのに役立つことができる。幾つかの実施形態では、そのようなレンズエラーの検出は、出来る限りロボットアームと人工知能システムを使用して、半自動的に行われてもよい。これによって、完全に手動で行うカメラの光学試験よりも速くなり、必要な作業量もより少なくなる。
図15A、図15B、図15C、図15D、図15Eおよび図15Fは、本発明の諸実施形態に係る別の試験セットアップを使用して撮られた画像を示す。図15Aでは、非常に損傷しているレンズを有するカメラによって、穴1502の開いた箱1500の画像が周囲光の中で撮られている。しかしながら、エラーは全く見えない。
図15Bは、損傷していないレンズを有するカメラによって撮られた、明るい光源1504が正面にある箱1500の画像を示す。この画像は、光源1504からの光の明るく、実質的円形の領域1506を示している。
図15Cは、損傷している(傷がある)レンズを有するカメラによって撮られた、明るい光源1504が正面にある箱1500の画像を示す。この画像は、レンズが損傷しているという事実を示す損傷指標として識別できる、非円形の明るい領域1508と光筋1510とを示している。
図15Dは、より損傷しているレンズを有するカメラによって撮られた、明るい光源1504が正面にある箱1500の画像を示す。この画像もまた、レンズが損傷しているという事実を示す損傷指標として識別できる、非円形の明るい領域1508と、より強い光筋1510(そのうちの幾つかは虹色効果を示している)とを示している。
図15Eは、非常に損傷しているレンズを含む図15Dに使用されたのと同じカメラで撮られた、明るい光源1512が正面にある箱1500の画像を示す。この画像もまた、レンズが損傷しているという事実を示す損傷指標として識別できる、非円形の明るい領域1508と強い光筋1510(そのうちの幾つかは虹色効果を示している)とを示している。
図15Fは、非常に損傷しているレンズを含む図15Dおよび図15Eに使用されたのと同じカメラによって撮られた、より小さい光源1514が正面にある箱1500の画像を示す。この画像もまた、レンズが損傷しているという事実を示す損傷指標として識別できる、非円形の明るい領域1508および強い光筋1510(そのうちの幾つかは虹色効果を示す)を示している。
なお、非常に損傷しているレンズであっても、肉眼でカメラを見て損傷に気づくことはほとんど不可能であることに留意されたい。したがって、本発明の諸実施形態に係り記載した諸方法は、損傷しているカメラ部品を容易に識別するための有用で信頼性の高いツールを提供する。
図16Aおよび図16Bは、損傷していないレンズおよび損傷しているレンズのそれぞれの場合の光線追跡シミュレーション1600の結果を示す。このシミュレーションでは、レンズの3Dモデルを光線追跡ソフトウェアと組み合わせて利用し、傷がない場合と損傷している場合との両方でレンズがどのように作用するかをシミュレーションした。この例では、非常に小さな1つの光源と、試験中のレンズと、レンズの背後の壁とを備えるシーンをシミュレーションした。光源からの光子は、外部からレンズを照射し、レンズの中を進む。シミュレーションされた画像の各画素について、画像が完成したと見なされる前に100,000個のサンプルが採取された。
シミュレーションでは、レンズの背後の壁は、レンズの影になっている円形の領域を除いて、真っ白に焼けた。その領域には光源の像が見え、更に幾つかの迷子光子を見ることができる。
図16Aに示すように、レンズが傷なしである場合、光子はほとんどレンズの背後の1つの輝点1602に集中する。
しかしながら、レンズが損傷している(すなわち、画像センサーに最も近いレンズのジオメトリが変わった)場合、輝点1604の形状が変わり、迷子光子もより多くなった。現実の世界では、これらの光子は画像内の色エラーを引き起こすであろう。
図3において記載した方法で輝点の形状が変わることを検出できるが、図10に関連して記載した方法は、明るい領域の形状を著しく変化させる可能性がないような色エラーおよびその他の類似の欠陥を検出するにはより優れている。
さらに、図3に関連して上記に記載した諸実施形態と比較して、本実施形態は、既知の光源を使用することに依存しない。それどころか、光源がキャプチャ画像内にある場合、光源を除外つまりマスクアウトすることが有利な場合がある。
加えて、画像が撮られるシーンは既知である必要はなく、ある条件、例えば、試験中のカメラ部品に光源から光が伝わるように光源がシーンまたはその周辺にある必要性を満たすだけでよい。
図17A、図17B、図17C、図17Dおよび図17Eは、本発明の諸実施形態に係る、カメラのカメラ部品が損傷しているかどうかを判定するために構成された装置を模式的に示す。
図17Aは、無彩色の背景カード1700を示しており、小さな明るい光源1702が背景1700の正面に設けられている。幾つかの実施形態では、光源1702は、カメラ部品に入る光が部品内のいかなるエラーによっても影響を受ける可能性がより高くなるように、一連の画像が撮られる間、背景1700の正面の任意の方向(例えば、水平、垂直、または斜め)に移動されてもよい。これは、レンズの欠陥により、ある角度(つまり、レンズの欠陥部分を介して反射された光がカメラのセンサーに当たるとき)でしかアーチファクトが発生しない可能性があるからである。追加としてまたは代替として、カメラ部品(またはカメラ部品が設けられるデバイス)は、同じ理由で、光源1702に対して移動されてもよい。
図17Bおよび図17Cは、光源1702が、スマートフォン1706のカメラ部品1704の視野(FOV)1708内において、背景1700の正面に設けられている試験セットアップを示す。この場合、スマートフォン1706は、スマートフォンホルダー1710に設けられており、このホルダーは、本発明に係る解析のために光源1702を含む画像を撮るために、スマートフォン1706を3つの運動度(すなわち、垂直と水平と垂直軸周り)の周りに移動させるように配置されている。
図17Dは、光源1702が背景1700の正面に設けられているが、スマートフォン1706のカメラ部品1704の視野(FOV)1708の外側にある、別の試験セットアップを示している。上記のように、スマートフォン1706は、スマートフォンホルダー1710に設けられており、このホルダーは、スマートフォン1706を3つの運動度の周りに移動させるように配置されている。
図17Eは、図17Dのセットアップを使用して試験中の、損傷しているレンズカメラ部品1704の近接図である。このように、光源1702はFOV1708の外側にあるが、光源1702からの光が依然としてスマートフォン1706のカメラ部品1704に入射していることが明らかである。光源1702からの光がカメラ部品1704の欠陥つまりエラー1712に遭遇すると、光の少なくとも一部が、カメラ内の画像センサー1714に向けられ得る。したがって、画像は、損傷しているカメラ部品を示すアーチファクトつまり損傷指標を含むことになる。
幾つかの実施形態では、レンズ内のエラー1712は、元の光源1702の歪んだレンダリング、および/または、光筋もしくは色エラーにつながり得る。
図18A、図18B、図18C、図18D、図18E、図18F、図18Gおよび図18Hは、カメラのカメラ部品が損傷しているかどうかを判定するために本発明の諸実施形態において損傷指標として識別することができる様々な異なるアーチファクトを示す。
図18Aは、光源1800、光筋1802、および不鮮明な光のスミアリングつまりぼけの領域1804を含む画像を示す。図18Bは、図18Aの画像を白黒線画で表現したものであり、光源1800、光筋1802、および不鮮明な光のスミアリングつまりぼけの領域1804の位置を示す。
図18Cは、光源が視野の外側にある状態で撮られたが、それでも光筋1802を示す画像である。図18Dは、図18Cの画像を白黒線画で表現したものであり、光筋1802の位置を示す。
図18Eは、光源が視野の外側にある状態で撮られたが、光筋1802および明るい(飽和した)領域1806を示す画像である。図18Fは、図18Eの画像を白黒線画で表現したものであり、光筋1802および明るい(飽和した)領域1806の位置を示す。
図18Gは、光源が視野の上端にある状態で撮られた画像であり、異なる種類の光筋1802および明るい(飽和した)領域1806を示す画像である。図18Hは、図18Gの画像を白黒線画で表現したものであり、光筋1802と明るい(飽和した)領域1806の位置を示す。
図19は、太陽がカメラの視野の外側にある状態で撮られた画像例だが、ぼけた光ストリーム1900の形態をしたアーチファクトが画像内に存在し、カメラ部品の損傷を示している画像の画像例である。
本発明の諸実施形態では、上述の各図の画像を解析して損傷指標を識別し、それによってカメラ部品が損傷しているかまたは損傷していないかを判定できることが理解されるであろう。
上述の記載では例示的な実施形態を記載したが、特許請求の範囲によって定義される本発明の範囲内で、諸実施形態の多くの変形を行うことができることが、当業者には理解されるであろう。さらに、1以上の実施形態の特徴を、1以上の他の実施形態の特徴と混合し調和させてもよい。
Claims (46)
- カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
前記カメラ部品は、カメラレンズ、ウィンドウ、または透明なフロントエレメントもしくは透明な保護カバーであり、
1以上の損傷指標を参照するための情報を取得するステップと、
光源からの光が前記カメラ部品に入射したときに撮られた少なくとも1枚の画像を前記カメラから取得するステップと、
前記画像を複数の領域に分割するステップと、
各領域を解析して、前記各領域が前記1以上の損傷指標のうち少なくとも1つを含んでいるかどうかを判定するステップと、
該解析に基づいて、前記カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供するステップと、
を行い、
前記1以上の損傷指標を参照するための情報は、前記1以上の損傷指標が前記画像内の対応する形状の欠如に対応するような、前記光源の既知形状を具備し、
前記画像は、前記光源から結果として生じる撮像形状を具備し、
前記各領域を解析する前記ステップは、前記撮像形状が、前記カメラ部品が損傷していない場合および/または前記カメラ部品が損傷している場合に予想通りのものかどうかを、前記光源の前記既知形状に基づいて判定し、
前記各領域を解析する前記ステップは、空間数学を使用して、前記撮像形状と前記既知形状を比較し、
前記各領域を解析する前記ステップは、前記撮像形状の上に前記既知形状の輪郭を生成するステップと、前記輪郭内に収まる、前記撮像形状からの明画素の割合を算出するステップとを備える、
方法。 - 前記各領域を解析する前記ステップは、前記撮像形状と前記既知形状とをデジタル的に比較する、請求項1に記載の方法。
- 前記撮像形状の上に前記既知形状の輪郭を生成する前記ステップは、
前記画像内の最も明るい領域の中心を検出し、
前記中心の周りに前記既知形状の前記輪郭を描き、
前記最も明るい領域が前記輪郭を超えて広がっているかどうかを検査するか、または前記最も明るい領域が前記輪郭まで広がっていないかどうかを検査して前記最も明るい領域が少なくとも1つの方向において前記輪郭まで広がるように前記輪郭のサイズを調整する、請求項1に記載の方法。 - 前記輪郭内に収まる、前記撮像形状からの明画素の割合を算出する前記ステップは、前記撮像形状の最大光度を判定し、前記最大光度の所定の閾値内の光度を有する前記輪郭内の明画素の数を判定し、該明画素の数を前記輪郭内の画素の総数で割る、請求項1から3のいずれか1項に記載の方法。
- 前記所定の閾値は前記最大光度の90%である、請求項4に記載の方法。
- 前記輪郭内に収まる前記撮像形状からの明画素の前記割合が90%未満である場合に、前記カメラ部品は損傷していると判定される、請求項1から5のいずれか1項に記載の方法。
- 前記既知形状は、円形または本質的に円形もしくは楕円形の領域である、請求項1から6のいずれか1項に記載の方法。
- 前記画像が撮られるときに、前記光源は前記カメラの視野内に存在しているか、または前記光源は前記視野の近傍に存在している、請求項1から7のいずれか1項に記載の方法。
- さらに前記画像を撮る、請求項1から8のいずれか1項に記載の方法。
- 前記1以上の損傷指標は、1以上のアーチファクト、パターン、コントラスト変化、飽和範囲、ぼけた領域、色効果、光筋、またはその他の症状を含む、請求項1から9のいずれか1項に記載の方法。
- 前記各領域を解析する前記ステップは、統計解析を使用して、前記1つ以上の損傷指標のうち少なくとも1つが存在するかどうかを判定する、請求項1から10のいずれか1項に記載の方法。
- 前記各領域を解析する前記ステップは、前記各領域について光学パラメータを算出し、各光学パラメータが前記1つ以上の損傷指標のうちの少なくとも1つを示すかどうかを判定する、請求項1から11のいずれか1項に記載の方法。
- 前記光学的パラメータは、色、波長、光度、強度、またはコントラストのうちの1つ以上を含む、請求項12に記載の方法。
- 前記各領域について平均光学パラメータを算出し、各平均光学パラメータが前記1つ以上の損傷指標のうちの少なくとも1つを示すかどうかを判定する、請求項12または13に記載の方法。
- カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
前記カメラ部品は、カメラレンズ、ウィンドウ、または透明なフロントエレメントもしくは透明な保護カバーであり、
1以上の損傷指標を参照するための情報を取得するステップと、
光源からの光が前記カメラ部品に入射したときに撮られた少なくとも1枚の画像を前記カメラから取得するステップと、
前記画像を複数の領域に分割するステップと、
各領域を解析して、前記各領域が前記1以上の損傷指標のうち少なくとも1つを含んでいるかどうかを判定するステップと、
該解析に基づいて、前記カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供するステップと、
を行い、
前記各領域を解析する前記ステップは、前記各領域について光学パラメータを算出し、各光学パラメータが前記1つ以上の損傷指標のうちの少なくとも1つを示すかどうかを判定し、
前記光学的パラメータが所定の範囲内にある、前記各領域内の画素総数の割合を判定する、
方法。 - 前記所定の範囲は、予想される光学パラメータの90%以上である、請求項15に記載の方法。
- カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
前記カメラ部品は、カメラレンズ、ウィンドウ、または透明なフロントエレメントもしくは透明な保護カバーであり、
1以上の損傷指標を参照するための情報を取得するステップと、
光源からの光が前記カメラ部品に入射したときに撮られた少なくとも1枚の画像を前記カメラから取得するステップと、
前記画像を複数の領域に分割するステップと、
各領域を解析して、前記各領域が前記1以上の損傷指標のうち少なくとも1つを含んでいるかどうかを判定するステップと、
該解析に基づいて、前記カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供するステップと、
を行い、
前記画像内の最大強度の領域と、前記最大強度の予め決められた範囲内の強度を有する全ての隣接領域と、に対応する最も明るい範囲を判定することと、
前記最も明るい範囲を、前記各領域を解析する前記ステップから除外することと、
によって、さらに前記画像内の光源を無効にする、
方法。 - 前記各領域を解析する前記ステップは、訓練された機械学習アルゴリズムを使用して、前記各領域を、前記1つ以上の損傷指標のいずれも具備していないか、または前記1つ以上の損傷指標のうちの少なくとも1つを具備していると分類する、請求項1から17のいずれか1項に記載の方法。
- 前記各領域を解析する前記ステップは、訓練された機械学習アルゴリズムを使用して、前記各領域を、損傷している前記カメラ部品から結果的に生じたものか、または損傷していない前記カメラ部品から結果的に生じたものかを分類する、請求項1から18のいずれか1項に記載の方法。
- 前記機械学習アルゴリズムはニューラルネットワークを含む、請求項18または19に記載の方法。
- 前記機械学習アルゴリズムは深層学習アルゴリズムを含む、請求項18または19に記載の方法。
- 前記各領域から情報を抽出し、
前記抽出された情報を1以上の所定の確率ベクトルと比較し、前記領域が、前記1以上の損傷指標のいずれも具備していないと分類されるべきか、または前記1以上の損傷指標のうちの少なくとも1つを具備していると分類されるべきかを確定し、
前記領域が正確に分類される確率を算出する、
請求項18から20のいずれか1項に記載の方法。 - さらに、損傷している前記カメラ部品および損傷していない前記カメラ部品からの画像の複数例を提供することによって前記機械学習アルゴリズムを訓練する、請求項18から21のいずれか1項に記載の方法。
- 訓練中に、前記機械学習アルゴリズムは、
前記複数例から情報を抽出する処理と、
前記抽出された情報を情報行列に変換する処理と、
前記情報行列を結合行列に操作する処理と、
前記結合行列を使用して各分類ついて確率ベクトルを確定する処理と、
を行う、請求項23に記載の方法。 - 前記画像は無彩色の背景を含む、請求項1から24のいずれか1項に記載の方法。
- カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
前記カメラ部品は、カメラレンズ、ウィンドウ、または透明なフロントエレメントもしくは透明な保護カバーであり、
1以上の損傷指標を参照するための情報を取得するステップと、
光源からの光が前記カメラ部品に入射したときに撮られた少なくとも1枚の画像を前記カメラから取得するステップと、
前記画像を複数の領域に分割するステップと、
各領域を解析して、前記各領域が前記1以上の損傷指標のうち少なくとも1つを含んでいるかどうかを判定するステップと、
該解析に基づいて、前記カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供するステップと、
を行い、
単一画像の全ての領域と比較した、前記1つ以上の損傷指標のうちの少なくとも1つを含むと判定された前記領域の割合を算出し、前記割合が少なくとも1%、2%、5%、または10%である場合に、前記カメラ部品が損傷していると分類する、
方法。 - 損傷している前記カメラ部品からの画像は、さらに、欠陥がある部品または破壊されている部品から結果として生じるものとして分類される、上記請求項1から26のいずれか1項に記載の方法。
- 前記欠陥がある部品は、さらに、傷あり、凹みあり、位置ずれあり、歪みあり、または不透明であるとして分類される、請求項27に記載の方法。
- 請求項1から28のいずれか1項に記載の方法を実行するために、プロセッサによって動作可能なプログラミング命令を含む非一時的なコンピュータ可読媒体。
- 前記カメラの前記カメラ部品が損傷しているかどうかを判定するためのシステムであって、
前記カメラに関連付けられたプロセッサ、または前記カメラと通信しているときの診断プロセッサによって動作可能な、請求項29に記載の前記非一時的コンピュータ可読媒体を具備するシステム。 - さらに、前記カメラ部品に入射する光を提供するように配置された光源を具備する、請求項30に記載のシステム。
- 前記光源から光を前記カメラ部品に向けるように配置された光学ファイバーケーブルを具備する、請求項30に記載のシステム。
- 前記光源は既知形状を有する、請求項31または32に記載のシステム。
- 前記光源は前記カメラの視野の外側に配置されている、請求項31から33のいずれか1項に記載のシステム。
- 異なる画像を異なる照明角度で撮ることができるように前記光源および/または前記カメラは移動可能である、請求項30から34のいずれか1項に記載のシステム。
- 前記光源は白色光源である、請求項30から35のいずれか1項に記載のシステム。
- 画像を撮るときに該光源を作動させるように構成されたコントローラーを具備する、請求項30から36のいずれか1項に記載のシステム。
- さらに、前記光源の方が少なくとも10倍、光度が高くなるような無彩色の背景を具備する、請求項30から37のいずれか1項に記載のシステム。
- さらに、前記カメラが前記画像を撮るときに焦点を合わせるための焦点機能を具備する、請求項30から38のいずれか1項に記載のシステム。
- さらに、前記画像を撮るための前記カメラを位置決めするように構成されたホルダーおよび/またはロボットアームを具備する、請求項30から39のいずれか1項に記載のシステム。
- 前記カメラはモバイルデバイスに設けられている、請求項30から40のいずれか1項に記載のシステム。
- さらに、前記診断プロセッサと、前記カメラと通信するための通信手段とを具備する、請求項30から41のいずれか1項に記載のシステム。
- 前記カメラ部品に光を提供するために複数の光源が配置され、画像を撮るときに前記複数の光源の1つ以上が作動するようにコントローラーが個々の光源をオンオフするように構成されている、請求項30から42のいずれか1項に記載のシステム。
- カメラのカメラ部品が損傷しているかどうかを判定するためのコンピュータ実施方法であって、
前記カメラ部品は、カメラレンズ、ウィンドウ、または透明なフロントエレメントもしくは透明な保護カバーであり、
1以上の損傷指標を参照するための情報を取得するステップと、
光源からの光が前記カメラ部品に入射したときに撮られた少なくとも1枚の画像を前記カメラから取得するステップと、
前記画像を複数の領域に分割するステップと、
各領域を解析して、前記各領域が前記1以上の損傷指標のうち少なくとも1つを含んでいるかどうかを判定するステップと、
該解析に基づいて、前記カメラ部品が損傷していると分類されたかまたは損傷していないと分類されたかを示す表示を提供するステップと、
を行う、および、
前記カメラから、既知形状を有する光源の少なくとも1枚の画像であって、前記光源から結果として生じる撮像形状を具備する画像を取得するステップと、
前記画像を解析するステップと、
前記撮像形状が、前記カメラ部品が損傷していない場合および/または前記カメラ部品が損傷している場合に予想通りのものかどうかを判定するステップと、
前記カメラ部品が損傷していると判定されたかまたは損傷していないと判定されたかを示す表示を提供するステップと、
を行い、
前記1以上の損傷指標を参照するための情報は、前記1以上の損傷指標が前記画像内の対応する形状の欠如に対応するような、前記光源の既知形状を具備し、
前記画像は、前記光源から結果として生じる撮像形状を具備し、
前記各領域を解析する前記ステップは、前記撮像形状が、前記カメラ部品が損傷していない場合および/または前記カメラ部品が損傷している場合に予想通りのものかどうかを、前記光源の前記既知形状に基づいて判定し、
前記各領域を解析する前記ステップは、空間数学を使用して、前記撮像形状と前記既知形状を比較し、
前記各領域を解析する前記ステップは、前記撮像形状の上に前記既知形状の輪郭を生成するステップと、前記輪郭内に収まる、前記撮像形状からの明画素の割合を算出するステップとを備える、
方法。 - 請求項44に記載の方法を実行するためにプロセッサによって動作可能なプログラミング命令を含む非一時的なコンピュータ可読媒体。
- 前記カメラの前記カメラ部品が損傷しているかどうかを判定するためのシステムであって、
前記カメラに関連付けられたプロセッサ、または前記カメラと通信しているときの診断プロセッサによって動作可能な、請求項45に記載の前記非一時的コンピュータ可読媒体を具備するシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
GBGB1907221.4A GB201907221D0 (en) | 2019-05-22 | 2019-05-22 | A system and method for determining whether a camera component is damaged |
GB1907221.4 | 2019-05-22 | ||
PCT/EP2020/061199 WO2020233930A1 (en) | 2019-05-22 | 2020-04-22 | A system and method for determining whether a camera component is damaged |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2022533848A JP2022533848A (ja) | 2022-07-26 |
JP7514259B2 true JP7514259B2 (ja) | 2024-07-10 |
Family
ID=
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001215170A (ja) | 2000-02-03 | 2001-08-10 | Fuji Photo Film Co Ltd | レンズ表面の検査方法 |
JP2002300455A (ja) | 2001-03-30 | 2002-10-11 | Canon Inc | カメラシステム |
US20030193604A1 (en) | 2002-04-11 | 2003-10-16 | Robins Mark Nelson | Camera lens contamination detection and indication system and method |
JP2004317377A (ja) | 2003-04-17 | 2004-11-11 | Nikon Corp | レンズ交換式デジタルカメラの異物検出治具、カメラ本体および異物検出システム |
JP2005201679A (ja) | 2004-01-13 | 2005-07-28 | Sony Ericsson Mobilecommunications Japan Inc | カメラ装置 |
JP2008164461A (ja) | 2006-12-28 | 2008-07-17 | Kochi Univ Of Technology | 薄板状部品の検査方法と検査装置 |
US20080273117A1 (en) | 2007-05-04 | 2008-11-06 | Sony Ericsson Mobile Communications Ab | Digital camera device and method for controlling the operation thereof |
JP2015534734A (ja) | 2012-06-28 | 2015-12-03 | ペリカン イメージング コーポレイション | 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法 |
US20180089822A1 (en) | 2016-09-15 | 2018-03-29 | Pervacio Inc. | Automated diagnostics for device display and camera |
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001215170A (ja) | 2000-02-03 | 2001-08-10 | Fuji Photo Film Co Ltd | レンズ表面の検査方法 |
JP2002300455A (ja) | 2001-03-30 | 2002-10-11 | Canon Inc | カメラシステム |
US20030193604A1 (en) | 2002-04-11 | 2003-10-16 | Robins Mark Nelson | Camera lens contamination detection and indication system and method |
JP2004317377A (ja) | 2003-04-17 | 2004-11-11 | Nikon Corp | レンズ交換式デジタルカメラの異物検出治具、カメラ本体および異物検出システム |
JP2005201679A (ja) | 2004-01-13 | 2005-07-28 | Sony Ericsson Mobilecommunications Japan Inc | カメラ装置 |
JP2008164461A (ja) | 2006-12-28 | 2008-07-17 | Kochi Univ Of Technology | 薄板状部品の検査方法と検査装置 |
US20080273117A1 (en) | 2007-05-04 | 2008-11-06 | Sony Ericsson Mobile Communications Ab | Digital camera device and method for controlling the operation thereof |
JP2015534734A (ja) | 2012-06-28 | 2015-12-03 | ペリカン イメージング コーポレイション | 欠陥のあるカメラアレイ、光学アレイ、およびセンサを検出するためのシステムおよび方法 |
US20180089822A1 (en) | 2016-09-15 | 2018-03-29 | Pervacio Inc. | Automated diagnostics for device display and camera |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN108445007B (zh) | 一种基于图像融合的检测方法及其检测装置 | |
US20220222855A1 (en) | System and method for determining whether a camera component is damaged | |
JP6945245B2 (ja) | 外観検査装置 | |
CN108683907A (zh) | 光学模组像素缺陷检测方法、装置及设备 | |
JP4150390B2 (ja) | 外観検査方法及び外観検査装置 | |
CN110658198A (zh) | 光学检测方法、光学检测装置及光学检测系统 | |
JP6519265B2 (ja) | 画像処理方法 | |
CN108090890B (zh) | 检查装置以及检查方法 | |
TWI495867B (zh) | Application of repeated exposure to multiple exposure image blending detection method | |
CN211179500U (zh) | 多光源光学检测系统 | |
JP4279833B2 (ja) | 外観検査方法及び外観検査装置 | |
CN114577805A (zh) | 一种MiniLED背光面板缺陷检测方法及装置 | |
CN111879789A (zh) | 金属表面缺陷检测方法及系统 | |
JP7514259B2 (ja) | カメラ部品が損傷しているかどうかを判定するためのシステムおよび方法 | |
JP6647903B2 (ja) | 画像検査装置、画像検査プログラム及びコンピュータで読み取り可能な記録媒体並びに記録した機器 | |
CN110274911B (zh) | 图像处理系统、图像处理装置、存储介质 | |
JP4146678B2 (ja) | 画像検査方法および装置 | |
CN112730449B (zh) | 自动对焦液晶模组微观三维立体检测光学方法 | |
JP7362324B2 (ja) | 画像表示装置の検査方法、製造方法及び検査装置 | |
CN114219758A (zh) | 缺陷检测方法、系统、电子设备和计算机可读存储介质 | |
JP4967132B2 (ja) | 対象物表面の欠陥検査方法 | |
JP2006145228A (ja) | ムラ欠陥検出方法及び装置 | |
JP2008111705A (ja) | 欠陥検出方法、欠陥検出プログラムおよび検査装置 | |
JP2016045142A (ja) | 架橋ゴムのクラックの評価方法 | |
JP2020079720A (ja) | 検査装置及び検査方法 |