JP6465818B2 - 粒子径を求める方法及び装置 - Google Patents

粒子径を求める方法及び装置 Download PDF

Info

Publication number
JP6465818B2
JP6465818B2 JP2015560376A JP2015560376A JP6465818B2 JP 6465818 B2 JP6465818 B2 JP 6465818B2 JP 2015560376 A JP2015560376 A JP 2015560376A JP 2015560376 A JP2015560376 A JP 2015560376A JP 6465818 B2 JP6465818 B2 JP 6465818B2
Authority
JP
Japan
Prior art keywords
image
particle size
particles
parameters
distortion
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015560376A
Other languages
English (en)
Other versions
JP2016511834A (ja
Inventor
デイ、ニール・エム
ドン、ジン
Original Assignee
デイ、ニール・エム
ドン、ジン
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by デイ、ニール・エム, ドン、ジン filed Critical デイ、ニール・エム
Publication of JP2016511834A publication Critical patent/JP2016511834A/ja
Application granted granted Critical
Publication of JP6465818B2 publication Critical patent/JP6465818B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/02Investigating particle size or size distribution
    • G01N15/0205Investigating particle size or size distribution by optical means, e.g. by light scattering, diffraction, holography or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N15/00Investigating characteristics of particles; Investigating permeability, pore-volume, or surface-area of porous materials
    • G01N15/10Investigating individual particles
    • G01N15/14Electro-optical investigation, e.g. flow cytometers
    • G01N15/1468Electro-optical investigation, e.g. flow cytometers with spatial resolution of the texture or inner structure of the particle
    • G06T5/80
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • G06T7/62Analysis of geometric attributes of area, perimeter, diameter or volume
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/02Food
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection
    • G06T2207/30128Food products
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30204Marker
    • G06T2207/30208Marker matrix

Description

関連出願の相互参照
本願は、米国特許出願第14/194,154号(2014年2月28日出願)及び米国仮出願第61/770,743号(2013年2月28日出願)を基礎とする優先権の利益を主張する。これらの出願は、引用を以って本明細書の一部となす。
本発明は、粒度分布を求める方法及び装置に関する。
小粒子の粒度分布を測定する方法は種々存在し、これらの測定法には、篩の使用、沈降法、レーザ回折法、動的光散乱法、顕微鏡の使用が含まれる。篩の使用は、粒子の分離と、篩の様々なメッシュサイズに基づく粒度分布の測定とを含む。沈降法は、沈降速度計を用いた測定であり、粘性媒質を沈降する粒子の速度を測定し、その後、粒子の沈降速度を粒子径に関連付ける。レーザ回折法及び動的光散乱法は、粒子にレーザ光を照射する。レーザ回折法では、粒子からの散乱光の回折パターンに基づいて粒度分布を求め、動的光散乱法では、溶液中の粒子からの散乱光の強度の変化に基づいて粒度分布を求める。顕微鏡の使用により、粒子径を直接測定することもできる。
"A flexible new technique for camera calibration," IEEE Transaction on pattern Analysis and Machine Intelligence, 22(11): 1330-1334, 2000
上記方法の問題点は、これらの測定法が、長い時間と労力を要し、専門的かつ高価な器具、例えば、レーザ、適切な顕微鏡、またはその両方を必要とすることである。各方法はまた、通常、上記器具を正確に使用するために訓練された人材も必要とする。このように種々様々なものが必要とされるが故に、これらの方法は産業用途及び実験用途に限定されている。普通の環境(例えば平均的な家庭内)で個人がもっと簡単に使用できるような、小粒子の粒度分布測定法があれば望ましいであろう。
一態様では、本発明は、コンピュータにより実現される粒子径を求める方法に関連する。本方法は、同一のレンズを用いてキャプチャ(取得)された少なくとも1つの粒子及びキャリブレーション(校正)マークの画像を取得するステップと、粒子及びキャリブレーションマークの両方に同一の補正係数を適用して画像の歪み効果を補正することにより補正画像を生成するステップと、補正画像を用いて粒子径を求めるステップとを含む。
別の態様では、本発明は、コンピュータにより実現されるコーヒー粉砕物のために所望の粒子径を達成する方法に関連する。本方法は、同一のレンズを用いてキャプチャされたキャリブレーションマークを有する表面上に分散されたコーヒー粉砕物の画像を取得するステップと、コーヒー粉砕物及びキャリブレーションマークの両方に同一の補正係数を適用して画像の歪み効果を補正することにより補正画像を生成するステップと、補正画像を用いてコーヒー粉砕物の粒子径範囲を求めるステップとを含む。
さらに別の態様では、本発明は、粒子径を求めるための命令が格納されているコンピュータ読み取り可能な媒体に関連する。上記命令は、同一のレンズを用いてキャプチャされた少なくとも1つの粒子及びキャリブレーションマークの画像を取得すると、粒子及びキャリブレーションマークの両方に同一の補正係数を適用して画像の歪み効果を補正することにより補正画像を生成する命令と、補正画像を用いて粒子径を求める命令とを含む。
さらに別の態様では、本発明は、粒子径を求めるための命令が格納されているコンピュータ読み取り可能な媒体に関連する。上記命令は、レンズを用いて少なくとも1つの粒子の画像を取得する命令と、画像の粒子の測定値を得る命令と、レンズに関連するレンズ歪み(レンズディストーション)パラメータ及び射影歪みパラメータを決定する命令と、レンズ歪みパラメータ及び射影歪みパラメータを用いて粒子の測定値を修正することによって粒子径を求める命令とを含む。
粒子径を求める装置の一実施形態である。 開示されている方法とともに用いることができるキャリブレーションパターンの一例である。 キャリブレーションパターンの寸法例を、粒子径及びピクセル寸法と関連付けて示す。 キャリブレーションパターン上のサンプル粒子の画像の一例を示す。 本明細書に記載の粒子径を求める方法の一実施形態のフローチャートである。 画像におけるレンズ歪み及び射影歪みを補正する方法のフローチャートである。
小粒子の画像を用いて当該小粒子の粒度分布を求める方法を開示する。本方法は、小粒子及びキャリブレーションパターンを含む画像(例えばビットマップ)を生成するかまたは別な方法で得るステップを含む(キャリブレーションパターンの寸法は既知である)。例えば、任意の従来のカメラを用いて、キャリブレーションパターン上またはその周辺に配置された小粒子を撮影することによって画像を生成することができる。粒子径が小さい場合には(例えば10−6インチ(0.0254μm)程度)、カメラレンズによって生じた歪みを相殺するために補正がなされる。
開示されている方法の一実施形態では、寸法が既知のマークを含むキャリブレーションパターンを用いて粒子径を求める。キャリブレーションパターン及び粒子の両方に同一の歪みが適用されることになるという仮定の下、キャリブレーションパターン及び粒子を一緒に撮影する。寸法が既知のキャリブレーションパターンを用いて、歪み効果を除去し画像を歪み効果のない補正画像に変換するための変換行列が生成される。変換行列は、その後、補正画像から粒度分布を求めるために適用される。
有利なことには、ビットマップを記録するためにどんなカメラ(または、ビットマップを生成することができる他のデバイス)を用いてもよく、専用の撮影装置や記録装置は必要ない。さらに、キャリブレーションパターン及び粒子が一緒に単一画像に記録されるので、歪みを補正するため及び正確な粒子径を得るために、カメラ、レンズ及び他の画像パラメータを知っている必要はない。粒子及びキャリブレーションパターンを一緒に1つの画像にキャプチャすることによって、測定画像を記録する前に歪みを補正するための一連のパラメータを得るべく追加の別のキャリブレーション画像を記録する必要がなくなる。開示されている方法においては、粒子径を正確に求めるために必要な情報は、単一画像に埋め込まれている。
図1は、本明細書に開示されている粒子径を求める手法を実現するために用いることができる装置100の一実施形態を示している。図のように、装置100には、キャリブレーションパターン120上に位置する粒子112の画像をキャプチャするように配置されたカメラ110が含まれる。図のように、カメラ110がキャプチャした画像はメモリ150に記憶され、直接接続によって、またはネットワークを介してのいずれかでプロセッサ140に伝達される。一実施形態では、カメラ110は、スマートフォン、タブレット、ラップトップパソコンなどのモバイル機器の一部であり得る。「カメラ」は、本明細書においては、1若しくは複数のレンズを用いて物理的な物体の電子画像(例えばビットマップ)を生成することができる任意の撮影装置を意味するものとする。
カメラ110を保持するためにスタンド(図示せず)を用いてもよいが、スタンドは必須ではなく、カメラ110を人が保持してもよい。キャリブレーションパターン120からカメラ110までの距離は、既知である必要も具体的に設定されている必要もないが、キャリブレーションマーク及び粒子の適切なピクセルカバレッジによりキャリブレーションパターン120及び粒子を区別することができる範囲内に収まっているものとする。アップル社製のiPhone(登録商標)を用いる場合には、上記距離は例えば約10インチ(25.4cm)であり得る。
図2は、キャリブレーションパターン120の実施形態の一例を示している。キャリブレーションパターン120は、背景121と、複数のキャリブレーションマーク122とを含む。図2に示したキャリブレーションパターン120の例では、キャリブレーションマーク122は、どれも同じ寸法x及びyを有する四角形の輪郭であり、実質的に一定の太さの線で描画され、一定の間隔wをあけて縦列及び横列の方向に繰り返されている。キャリブレーションマーク122の寸法は(例えば、物理的パターンを測定することによって)分かる。キャリブレーションマーク122は、所望の粒子径範囲において正確な測定を可能にする補正画像を生成するのに十分な情報を提供する任意の寸法のものであってよい。
キャリブレーションパターン120は、背景121の主たる色または陰の部分が、被測定粒子の色及びキャリブレーションマーク122の色に対して高コントラストを有する場合に最も有用である。キャリブレーションマーク122の色を、被測定粒子の色と異なる色にすることも有用である。例えば、粒子が褐色または黒色である場合には、背景121は白色にして、キャリブレーションパターン122は青色の色相を有するようにしてもよい。一般的に、キャリブレーションパターン120には任意の材料を用いてよく、キャリブレーションパターン120の表面が粒子の物質に対して不浸透性を持つようにすればキャリブレーションパターン120は粒子によって傷付けられないので有用であろう。一例では、キャリブレーションパターン120は1枚の紙に印刷されたパターンであり、その上に粒子がまばらに置かれる。ユーザは、キャリブレーションパターン120のデジタル画像を入手して、自宅で印刷することができる。
本明細書に開示されている手法を用いて測定することができる最小の粒子径は、複数の因子によって決まり、そのうちの1つは、最小測定可能物体のピクセルカバレッジとキャリブレーションマークのピクセルカバレッジの比率である。また、統計データを集めるべく、1若しくは複数のキャリブレーションマーク及び十分なサンプル粒子をキャプチャするのに十分なカメラ解像度も必要である。現在市販されているiPhone(登録商標)の一部であるカメラを用いれば、1×10−6インチ(0.0254μm)ほどの大きさしかない粒子径を求めることが可能になるであろう。一実施形態では、キャリブレーションマーク122の寸法は、カメラのデジタル解像度及び測定する最小粒子の粒子径によって決まる。例えば図3に示すように、3264ピクセル×2448ピクセルの解像度を有するカメラの場合、直径25×10−6インチ(0.0635μm)の粒子を測定するためには2ピクセル×2ピクセルの正方形310が必要であり、1辺400ピクセル(すなわち16万画素)のキャリブレーションパターン322が用いられる。図1に示した装置においては、そのようなキャリブレーションパターン120は1インチ(2.54cm)四方のキャリブレーションパターン222を含む。
図2に示した四角形の繰り返し以外の他のパターンをキャリブレーションパターン122に用いてもよい。しかし、数学的にモデル化し易い規則的なパターン(例えば直交線を含む)をキャリブレーションパターン122に用いることによって、記録された画像の処理を簡素化することができる。さらに、図2に示したように、キャリブレーションマーク122は、粒子径を測定する粒子の色に対して高コントラストを有する色を最大限活用する。例えば、「チェスボード」パターンなどのパターンは、複数の四角形のうちの半分が暗色であるために効率的に機能せず、粒子が暗色である場合には、暗色領域上に位置する粒子が多すぎて、粒子と該粒子の下の表面との間にそれほどのコントラスト(明暗差)が存在しないであろう。
図4は、キャリブレーションパターン120上の粒子112の一例を示している。測定を行うために、被測定粒子のサンプルがキャリブレーションパターン120上にランダムに配置される(例えば、まばらに置かれる)。キャリブレーションマーク122を被測定粒子112の補色にすることが望ましいであろう。例えば、粒子112が青色であれば、キャリブレーションマーク122を赤色にすることができる。
画像から粒度分布を求める方法について、図5及び図6に関連して説明する。
図5は、粒子径を求める方法の一実施形態を示している。キャリブレーションパターン120上に被測定粒子を分布させた後、キャリブレーションパターン120上の粒子のデジタル画像を、カメラ110を用いてキャプチャする(例えば、ビットマップを記録する)(ステップS510)。画像生成は、例えば、画像の鮮明さ/精細度を向上させるための画像処理手法(ノイズ低減及び/または二値化及び/またはフィルタリングを含むが、これらに限定されるものではない)を適用することによって物体認識を容易にするための画像の前処理を含み得る。任意の適切なノイズ低減法を用いることができる。
ステップS510においては、2次元または3次元画像をキャプチャまたは生成するための任意の手法を用いることができ、そのような手法には、写真撮影、超音波、X線、またはレーダを利用するものが含まれる。本発明は、ビットマップをキャプチャする特定の方法に限定されるものではない。
ステップS520では、キャリブレーションパターン120の画像を補正して歪みを除去する。粒子径を求めるためにイメージングを用いることの問題の1つは、記録された画像における様々な歪みが、粒子径を求める際の誤差の原因となることである。これらの歪みは、例えば10−6インチ(0.0254μm)の粒子径範囲内で小粒子の正確な測定を行おうとするときには特に有害である。そのような歪みは、レンズ形状またはレンズアライメントの不完全性の結果として生じ得る。そのせいで、例えば、画像において直線が非直線としてキャプチャされ得る。歪みは、射影歪みの結果としても生じ得る。これは、撮影される物体の中心に対してカメラの光軸が垂直でないときに生じ、この歪みによって画像において互いに平行な線が非平行になる。粒子径はキャリブレーションマーク122の寸法を用いて求められるので、キャリブレーションマーク122の画像中の歪みが、粒子径を求める際の誤差を生じさせることになる可能性が高い。よって、粒子径を求める前に、キャリブレーションマーク122の歪みを補正する。ステップS520の最後に、歪みのないキャリブレーションマーク122と、粒子の原画像(未補正画像)とを含む「補正画像」が生成される。
ステップS520で歪みを除去するための1つの手法では、画像からキャリブレーションマーク122を抽出する。この抽出には領域フィルタリング手法を用いることができる。例えば、キャリブレーションマーク122が青色である場合、青色の色相範囲におけるパターンを抽出するための色領域を用いる手法を用いることができる(キャリブレーションパターン120の背景121は、キャリブレーションマーク122とは異なる色である)。結果は、画像の青色部分から輪郭を抽出することによって作られるキャリブレーションマークオブジェクトアレイである。キャリブレーションマークオブジェクトアレイは、例えば正射写真図(オルソフォト)などで、画像をマッピングするのに有用な均等スケールを生成するために用いられる。この均等スケールの生成はオルソ変換であり、一度生成すればキャリブレーションパターン120が同じであるかぎりは繰り返し使用することができる。
ステップS530では、キャリブレーションパターン120の補正画像を用いて粒子径を求める。この処理は、領域フィルタリングを用いた補正画像からの粒子の抽出を含む。例えば、領域フィルタリングは、褐色/黒色の色範囲内にあることが分かっている粒子を抽出するための色領域を用いて実現することができる。処理された画像から粒子の輪郭を抽出することによって、粒子オブジェクトアレイが生成される。その後、粒子オブジェクトアレイの各要素を測定することにより、粒子の寸法、例えば、各粒子の大きさ(直径)、面積及び真円度を求めることができる。これらの測定値から、測定された粒子の粒度分布が得られる。粒子径を測定する際に、キャリブレーションパターンは寸法の基準となる。
上記したように、(画像中のものとは対照的に)物理的世界におけるキャリブレーションマーク122の寸法は既知である。任意であるが、補正画像中のキャリブレーションマークを測定し、キャリブレーションパターン120における既知のサイズのキャリブレーションマーク122との不一致を計算することによって、ステップS520で用いたキャリブレーションマーク歪み補正の精度をクロスチェックすることができる。
ステップS540では、粒子オブジェクトアレイの測定値が特性化される。粒子径分布ヒストグラム、面積分布ヒストグラム、体積分布ヒストグラム、最小、最大及び標準偏差、並びに分布ピーク分析を用いて、粒子の粒子径及び形状を特徴付ける一連のパラメータを決定することができる。「一連の」パラメータは、本明細書においては、少なくとも1つのパラメータを意味するものとする。
場合によっては、粒子径を求めることは、所望の粒子径が得られるように粒子を処理する(例えば粉砕する)ことを目的としてなされ得る。その場合は、利用可能な目標粒子のプロファイルが存在し得る。該プロファイルは、ステップS540で用いられる一連のパラメータに関して定義することができる。測定されたパラメータ(ステップS540の結果)と目標粒子のプロファイルとの比較に基づいて、両者を近づけるためにどのような措置を講じる必要があるかを判定することができる。この判定は、人によって、またはプロセッサによって自動的に行うことができる。判定が自動的になされる場合、プロセッサは、さらなる粉砕が測定値を目標プロファイルに近づけることを(例えば、視覚的に、かつ/または音声によって)操作者に知らせることができる。
上記した粒子径を求める方法は、コーヒーを作る際、特にコーヒー豆を粉砕する際に適用可能である。コーヒー飲料の味はいくつかのパラメータの影響を受けることが知られており、そのうちの1つは、コーヒー粉砕物の細かさまたは粗さである。特定の風味のコーヒーを入れたいと望むユーザは、自身のコーヒーメーカにおいて特定の設定値を用いた場合に自身が望む風味を作り出すことが分かっているコーヒー粉砕物の目標プロファイルを得ることができる。そのような場合、ユーザは、キャリブレーションパターン120上にコーヒー粉砕物をまばらに置き、上記の方法を用いて、自身のグラインドを特徴付ける一連のパラメータを取得し、その後、当該パラメータを目標プロファイルと比較することができる。例えば、自身のグラインドに関する測定値分布が0.035インチ(889μm)に集中し、目標プロファイルが0.0475インチ(1206.5μm)であることが一連のパラメータによって示されたとすれば、ユーザは、コーヒー豆を細挽きしすぎたこと及びより粗い調整から再び始める必要があることを知ることになるであろう。
ここで、図5の歪み補正ステップS520、特に、歪みのある原画像を歪みのない補正画像に変換するための変換行列の生成についてさらに詳細に説明する。キャリブレーションパターンの実際の位置は、物理的な現実世界のキャリブレーションパターンから分かる。よって、2つの位置(すなわち、実際の位置及び画像中の位置)の比較を用いて、撮影されたキャリブレーションパターンを変換して実際のキャリブレーションパターンに戻す変換行列(または任意の他のスカラー)を決定することができる。このキャリブレーションパターンのための変換行列は、画像を現実世界の測定値に変換する方法及びその逆を示している。変換行列を一連のピクセル全域で外挿し、それを画像全体または画像の選択された部分のいずれかに適用することができ、該画像においては、さらに色領域抽出法を用いて、粒子だけが示される(ステップS530で得られる)。画像に変換行列を適用した後、低歪な(かつ、恐らくは実質的に射影歪みまたは幾何学的歪みがない)部分的に補正された画像が得られる。この手法は、各キャリブレーションマーク122のための補正係数を生成することにより、歪みを補正する。
図6は、別の歪み補正法600を示している。経験的に生成された変換行列を用いる第1の手法と異なり、この第2の手法は、画像のレンズ歪み及び射影歪みの補正を含む。上記したキャリブレーションマークオブジェクトアレイと、ステップS610及びS620でキャリブレーションマークオブジェクトアレイによって参照される画像の領域とを用いて、歪み係数が得られる。例えば、"A flexible new technique for camera calibration," IEEE Transaction on pattern Analysis and Machine Intelligence, 22(11): 1330-1334, 2000(非特許文献1、引用を以って本明細書の一部となす)に記載されているZ.Zhangのキャリブレーション方法に記載されている方法を用いることができる。非特許文献1に記載されている方法は、チェスボードパターンを用いて複数のキャリブレーションパラメータを求め、それらをその後の写真撮影に用いることができる。しかし、本発明では、上記したような画像から抽出されたキャリブレーションパターン120を用いる。得られるキャリブレーション結果には、レンズ歪みパラメータがk及びkとして含まれることになる。
Zhangが提唱した手法は、カメラを用いて、数個(少なくとも2つ)の異なる方向から平面パターンを観察する。このパターンをレーザプリンタで印刷し、「ほどよい」平面(例えば硬い本の表紙)に貼り付けることができる。カメラまたは平面パターンのいずれかを動かすことができ、どのように動いたかを詳細に知る必要はない。Zhangの提唱した手法は、3次元(単なる暗黙情報)ではなく2次元の距離情報が用いられるので、写真測量キャリブレーションとセルフキャリブレーションとの間に位置する。コンピュータシミュレーション及び実データの両方を用いて、Zhangの提唱した手法をテストした。本明細書に記載の手法は、3次元コンピュータビジョンを実験室環境から現実世界へ前進させる。
単一平面を観察することによって、カメラの内部パラメータに対する制約が得られる。2次元点は、m=[u,v]で表される。3次元点は、M=[X,Y,Z]で表される。符号は、最後の要素として1を加えることによって拡張ベクトルを表す。すなわち、
Figure 0006465818
及び
Figure 0006465818
である。一般的なピンホールによってカメラをモデル化する。3次元点Mとその画像投影mとの関係は、
Figure 0006465818
によって与えられる。ここで、sは任意のスケール係数であり、(R,t)は、カメラモデルの外部パラメータ行列と呼ばれ、回転行列と平行移動(並進)行列を合わせた行列であって、世界座標系をカメラ座標系と関連付け、Aは、カメラモデルの内部パラメータ行列と呼ばれ、
Figure 0006465818
によって与えられる。ここで、(u,v)は主点の座標であり、α及びβは画像のu軸及びv軸におけるスケール係数であり、γは2つの画像軸の歪度を説明するパラメータである。A−Tは、(A−1または(A−1を略記したものである。
モデル平面は、世界座標系のZ=0上に存在すると仮定することができる。回転行列Rのi番目の列ベクトルをrで表す。式(1)から、
Figure 0006465818
が得られる。ここでも符号Mを用いてモデル平面上の点を表しているが、Zは0に等しいので、M=[X,Y]である。同様にして、M=[X,Y,1]である。したがって、モデル点M及びその画像mは、ホモグラフィHによって次のように関連付けられる。
Figure 0006465818
明らかであるように、3×3行列Hは、スケール係数を除いて定義される。
モデル平面の或る画像を所与として、ホモグラフィを推定することができる。ホモグラフィを
Figure 0006465818
で表すと、式(2)から、
Figure 0006465818
が得られる。ここで、λは任意のスカラーである。r及びrが正規直交するという知識を利用すると、内部パラメータに関する以下の制約条件が成り立つ。
Figure 0006465818
Figure 0006465818
このように、1つのホモグラフィを所与として、2つの基本的な制約式が立てられる。ホモグラフィは8自由度を有するので、6つの外部パラメータ(回転が3つ、平行移動が3つ)が存在し、内部パラメータに関する2つの制約が得られる。パラメータA−T−1は、実際に絶対円錐曲線の画像を表す。次に、幾何学的な解釈を与える。
本明細書では、モデル平面は次式によりカメラ座標系で表される。
Figure 0006465818
ここで、無限遠点に関してはw=0であり、それ以外ではw=1である。この平面は、或る線において無限遠平面と交差し、
Figure 0006465818
及び
Figure 0006465818
が当該線上の2つの特定の点であることは容易に分かる。線上のいかなる点もこれら2つの点の線形結合であり、すなわち、
Figure 0006465818
である。ここで、上記の線と絶対円錐曲線の交点を計算してみよう。定義上は、点x(円点)はx =0、すなわち、
Figure 0006465818
を満たすことが分かっている。解はb=±aiであり、ここでi=−1である。すなわち、2つの交点は、
Figure 0006465818
である。これらは画像平面に投影され、スケール係数を除いて、
Figure 0006465818
によって与えられる。点
Figure 0006465818
は、A−T−1によって表される絶対円錐曲線の画像上に存在する。これにより
Figure 0006465818
が得られる。実数部及び虚数部の両方を0にすることで、式(3)及び(4)が得られる。
ここからは、カメラキャリブレーション問題を効果的に解決する方法に関する詳細を説明する。最初に解析解、次に最尤基準に基づく非線形最適化手法を示す。最後に、レンズ歪みを考慮して、解析解及び非線形解の両方を求める。
次式(5)を考えてみよう。
Figure 0006465818
Bは対称であり、6次元ベクトル
Figure 0006465818
によって定義されることに留意されたい。
Hのi番目の列ベクトルをhi=[hi1,hi2,hi3とすると、
Figure 0006465818
となり、ここで
Figure 0006465818
である。したがって、或るホモグラフィを所与として得られる2つの基本的な制約(3)及び(4)は、次式(8)に示すように、bについての2つの同次方程式に書き直すことができる。
Figure 0006465818
上式(8)のような方程式をn個積み重ねることによってモデル平面のn個の画像が観察された場合、結果は、
Figure 0006465818
で表すことができる。ここで、Vは2n×6行列である。n≧3である場合には、通常、スケール係数を除いて定義される一意解bが得られる。n=2である場合には、スキューレス制約γ=0、すなわち、[0,1,0,0,0,0]b=0を与え、追加の方程式として式(9)に加えることができる。n=1である場合には、(例えば画像中心における)u及びvが既知でありかつγ=0であると仮定して、2つのカメラ内部パラメータ、例えばα及びβを解くことができる。式(9)の解は、最小固有値に関連付けられたVVの固有ベクトル(等価には、最小特異値に関連付けられたVの右特異ベクトル)として公知である。
bが推定されたら、カメラ内部パラメータ行列Aの値を求めることができる。Aが分かれば、各画像についての外部パラメータを求めることができる。例えば、式(2)を用いて、以下の式が得られる。
Figure 0006465818
ここで、
Figure 0006465818
である。データにノイズが存在するため、そのようにして求められた行列R=[r1,r2,r3]は回転行列の特性を満たしていない。
モデル平面のn個の画像及びモデル平面上のm個の点が存在すると仮定する。画像の点は、独立同一分布に従うノイズを含んでいるとも仮定する。次の関数
Figure 0006465818
を最小化することによって、最尤推定値を得ることができる。ここで、
Figure 0006465818
は式(2)に従う画像iにおける点Mの投影である。回転行列Rは、回転軸に対して平行でありかつその大きさは回転角度に等しいようなrで示される3次元パラメータのベクトルによってパラメータ化される。R及びrは、ロドリゲスの公式によって関連付けられる。値(10)の最小化は非線形最小化問題であり、レーベンバーグ・マーカート・アルゴリズムを用いて解くことができる。該アルゴリズムは、上記した手法を用いて得られるA,{R,t|i=1...n}の初期推測値を用いる。
上記の解法は、カメラのレンズ歪みを考慮していない。しかし、デスクトップカメラは通常、特に半径方向のレンズ歪みが顕著である。ここで、半径方向歪みの最初の2項について検討する。歪み関数は、半径方向成分、特に最初の項が支配的であるようである。
理想的な(歪みのない)ピクセル画像座標を(u,v)とし、対応する実際の観察された画像座標を
Figure 0006465818
とする。理想的な点は、ピンホールモデルに従うモデル点の投影である。同様に、(x,y)及び
Figure 0006465818
はそれぞれ理想的な(歪みのない)正規化画像座標及び現実の(歪みのある)正規化画像座標である。
Figure 0006465818
Figure 0006465818
ここで、k及びkは半径方向の歪み係数である。半径方向歪みの中心は、主点と同じである。
Figure 0006465818
Figure 0006465818
から。
交互方式による半径方向歪みの推定。半径方向歪みが小さいと予想されるとき、単に歪みを無視することによって、上記の手法を用いて適度にうまく他の5つの内部パラメータを推定することが期待される。このとき、1つの方策は、他のパラメータを推定し終わった後にk及びkを推定することであり、それによって理想的なピクセル座標(u,v)が得られる。その後、式(11)及び(12)から、各画像における各点のための2つの方程式が得られる。
Figure 0006465818
n個の画像中のm個の点を所与として、全ての方程式を積み重ねることで全部で2mn個の方程式を得ることができ、これは行列形式ではDk=dで表され、このときk=[k,kである。線形最小二乗解は、
Figure 0006465818
によって与えられる。k及びkが推定されたら、式(11)及び(12)に代えて、
Figure 0006465818
を用いて式(10)を解けば、他のパラメータの推定値を精密化することができる。これら2つの手順は、収束するまで交互に行うことができる。
上記の交互方式の手法は収束が遅いであろう。式(10)の自然な拡張は、次の関数を最小化することによって、一連のパラメータ全部を推定することである。
Figure 0006465818
ここで、
Figure 0006465818
は、式(2)に従う画像iにおける点Mの投影であり、式(11)及び(12)に従う歪みがそれに続く。これは非線形最小化問題であり、レーベンバーグ・マーカート・アルゴリズムを用いて解かれる。この場合もやはり、既に開示したように、回転行列が3次元ベクトルrによってパラメータ化される。上記の手法を用いてA及び{R,t|i=1...n}の初期推測値を求めることができる。k及びkの初期推測値は、上記の半径方向歪みの解により、または単に0にセットすることによって求めることができる。
ステップS630では、レンズ歪みパラメータk及びkを次に原画像605に用いて、レンズ歪みが補正された画像615を得る。あるいは、画像を用いる代わりに、粒子の形状を表わす粒子オブジェクトアレイを補正することもできる。レンズ歪みパラメータk及びkは、下式(15)及び(16)を用いて画像のレンズ歪みを補正するために用いられる。
レンズに起因する歪みがない場合の画像中の正確な位置を(xcorrect,ycorrect)で表わす。このとき、
Figure 0006465818
Figure 0006465818
である。ここで、
Figure 0006465818
であり、u及びvは主点(すなわち、カメラの光軸と画像平面の交点)である。
このとき、レンズ歪みの補正は、記録されたビットマップに対して逆歪みを与えて歪ませることによって行うことができる。補正画像における各ピクセルについては、それぞれ対応する位置が、上式(15)及び(16)を用いて歪みのある画像上にマッピングされる。以下で『画像の幾何学変換』と題するセクションにおいて、カメラの内部パラメータ(例えば、焦点、レンズ、主点、歪み係数)及び外部パラメータ(回転及び平行移動行列)による2次元画像座標及び3次元世界座標の関連付けについて説明する。出力画像(補正されたビットマップ)における各整数ピクセル座標について、入力画像(記録されたビットマップ)まで遡り、対応するフロート座標を見つけ出し、周囲の整数ピクセルを用いてフロート座標を補間する。この処理では、バイリニア補間を用いることができる。
要約すれば、本明細書において提示されているレンズ歪み補正手順は以下の通りであり、その一部にはZhangの手法が組み込まれている。
1)或るパターンを印刷し、それを平面に貼り付ける;
2)モデル平面の数個の画像を、平面またはカメラのいずれかを動かすことによって方向を変えて撮影する;
3)画像中の特徴点を検出する;
4)上記で与えられた閉形式解を用いて、5つの内部パラメータ及び全ての外部パラメータを推定する;
5)線形最小二乗式(13)を解くことによって、半径方向の歪み係数を推定する;
6)値(14)を最小化することによって全てのパラメータを精密化する;この時点で、k及びkは割り当てられた値を有する;
7)式(15)及び(16)並びにレンズ歪みのある画像の幅及び高さを用いて、レンズ歪みのない画像の幅及び高さを求める。スカラーを用いて、両画像を同じ幅に維持し、それに応じて高さをスケーリングする;
8)レンズ歪みのない画像における各ピクセルについて、レンズ歪みのある画像におけるその対応する位置を式(15)及び(16)を用いて求め、歪みのある画像において近傍のシェパード補間を適用することによって、補正画像のための色情報を入手する。
ステップS640では、矩形キャリブレーションマークの四隅の点を用いて射影歪みの補正を行い、それによって以下のプロセスを用いてホモグラフィHを解くことができる。
世界座標において或る点
Figure 0006465818
を有すると仮定する。これは同次座標では
Figure 0006465818
の如く表される。
同様に、画像座標における対応する点は
Figure 0006465818
であり、これは同次座標では
Figure 0006465818
の如く表される。
これら2つの点の関係は、次式で表すことができる。
Figure 0006465818
ここで、
Figure 0006465818
は、これから解こうとするホモグラフィである。
行列の乗算を用いて方程式の両辺を展開すると、
Figure 0006465818
が得られる。3つ目の式を最初の2つの式に代入すると、この2つ1組の点から、2つの方程式が得られる。
Figure 0006465818
Hの未知数は8なので、Hを解くには4組の点が必要である。8つの方程式を行列の形式で表すと、次のようになる。
Figure 0006465818
したがって、投影歪みが生じた各画像について、この画像における4つの点を選ぶと、これら4つの点の世界座標が与えられれば、Hを解くことができる。
上式の「k」は、レンズ係数k1,k2とは異なる、2次元座標の同次表現のためのスカラーである。複数のキャリブレーションマーク122の4つの点(例えば、形状が矩形である場合には四隅)を用いて、歪みの不均一性を相殺することができる。図6に示したように、この手法における射影歪みを補正するための開始点は、原画像ではなく、レンズ歪み効果が除去された補正画像である。ホモグラフィHは、レンズ歪みが補正された画像において特定された一連のキャリブレーションマークから4つの点を用いて求められ、その後、ホモグラフィHを補正画像に適用することによって、レンズ歪み及び射影歪みの両方が補正されたビットマップ625(補正済みの、すなわち本当の大きさのビットマップ)が求められる。
射影歪みは、通常、カメラの光軸が物体の中心に対して垂直でないときに生じる。格子状パターンを有する背景上でキャプチャされた粒子の画像を用い、シーン中の複数対(例えば5対)の直交線を用いて、射影歪みを補正するためのホモグラフィを求めることができる。この補正を行うことにより、多くの場合、物理的世界における平行線は画像においても平行をなし、物理的世界における直交線は画像中でも直交し、物理的世界における正方形は画像中でアスペクト比1を有し、かつ/または物理的世界における円は画像中で円形になる。
既に詳述した射影歪み補正処理を要約すると、当該処理は以下のステップを含む。
1)寸法が既知の直交線を含む或るキャリブレーションパターンを取得し、当該キャリブレーションパターン上に粒子を分散させ、同一のレンズを用いて画像をキャプチャするステップと、
2)画像上の複数対(例えば5対)の直交線を選択するステップと、
3)投影歪みのある画像と投影歪みのない画像間のホモグラフィHを解くステップと、
4)ホモグラフィH並びに投影歪みのある画像の幅及び高さを用いて、投影歪みのない画像の幅及び高さを求め、スカラーを用いて、両画像を同じ幅に維持し、それに応じて高さをスケーリングするステップと、
5)投影歪みのない画像における各ピクセルについて、投影歪みのある画像中の対応する位置を見つけることによって、補正画像のための色情報を入手するステップ。
レンズ歪み補正及び投影歪み補正は、別々にテストして段階的に行うことができるので、シェパード補間は一度だけ行えばよい。
図5及び図6に示した方法は、処理装置において実現することができる。図1に関連して説明したように、カメラ110が画像をキャプチャしたら、カメラ110に直接接続されたプロセッサを用いて画像のデータ処理を行うことができ、あるいは別体をなすプロセッサに画像データを送信してもよい。
画像の幾何学変換
このセクションでは、粒子の画像の補正及び処理に用いることができるいくつかの既知の画像変換関数について説明する。より具体的には、このセクションで述べる関数は、2次元画像の様々な幾何学変換を行う。つまり、画像の内容は変更せずにピクセルグリッドを変形し、この変形したグリッドを出力画像にマッピングする。実際には、サンプリングによるアーチファクトを回避するため、出力画像から入力画像へ逆の順序でマッピングが行われる。すなわち、出力画像の各ピクセル(x,y)について、これらの関数は、入力画像中の対応する「ドナー」ピクセルの座標を計算し、当該ピクセル値をコピーする。
Figure 0006465818
順写像(順方向マッピング)が〈g,g〉:src→dstとして記述される場合、後述する関数は最初に対応する逆写像(逆方向マッピング)〈f,f〉:dst→srcを求めてから上式を用いる。
幾何学変換の実際の実装では、最も汎用的なRemapから、最も単純かつ高速なResizeまで、上式を用いて2つの主な問題を解く必要がある。
・存在しないピクセルの外挿。フィルタリング関数と同様に、或る(x,y)に対して、f(x,y)またはf(x,y)のいずれか一方または両方が画像の外側にはみ出してしまうことがある。この場合、何らかの外挿法を用いる必要がある。OpenCVでは、フィルタリング関数の場合と同じ外挿法の選択が提供されている。さらに、Border_Transparent法も提供されている。これは、出力画像中の対応するピクセルが全く変更されないことを意味する。
・ピクセル値の内挿。通常、f(x,y)及びf(x,y)は浮動小数点数である。このことは、〈f,f〉が、アフィン変換、透視変換、または半径方向のレンズ歪み補正などであり得ることを意味する。よって、部分座標上に存在するピクセル値を取得する必要がある。最も単純なケースでは、座標を最も近い整数値の座標に丸め、その対応するピクセル値を用いることができる。これは、最近傍補間(ニアレストネイバ補間)と呼ばれる。しかし、より洗練された補間法を用いれば、より良好な結果を得ることができる。この場合、求めたピクセル(f(x,y),f(x,y))の近傍に対して多項式関数をフィッティングし、(f(x,y),f(x,y))における多項式の値を、補間されたピクセル値と見なす。OpenCVでは、複数の補間法の中から選択することができる。そのうちのいくつかを以下に説明する。
GetRotationMatrix2D
この関数は、2次元回転のアフィン行列を求める。この処理に用いられるパラメータは次の通りである。
center−入力画像中にある回転中心座標。
angle−度単位で表される回転角度。正の値は反時計回転を意味する(座標原点は、左上隅にあると仮定する)。
scale−均等スケール係数
map_matrix−アフィン変換,2×3補間浮動小数点の出力行列。
この関数は、次の行列を求める。
Figure 0006465818
ここで、
Figure 0006465818
である。この変換は、回転中心を自身にマッピングする。それが目的でない場合は、シフト調整を行う必要がある。
GetAffineTransform
この関数は、3組の対応点からアフィン変換を求める。この処理に用いられるパラメータは次の通りである。
src−入力画像中の三角形の頂点の座標
dst−出力画像中の対応する三角形の頂点の座標
mapMatrix−2×3の出力行列へのポインタ
この関数は、アフィン変換の2×3行列を求める:
Figure 0006465818
ここで、
Figure 0006465818
である。
GetPerspectiveTransform
この関数は、4組の対応点から透視変換を求める。この処理に用いられるパラメータは次の通りである。
src−入力画像中の四角形の頂点の座標
dst−出力画像中の対応する四角形の頂点の座標
mapMatrix−3×3の出力行列[A/b]へのポインタ
この関数は、透視変換の行列を求める:
Figure 0006465818
ここで、
Figure 0006465818
である。
GetQuadrangleSubPix
この処理は、画像から四角形領域のピクセル値をサブピクセル精度で取得する。この処理に用いられるパラメータは次の通りである。
src−入力画像,
dst−抽出された四角形
mapMatrix−2×3の変換行列[A/b]
この関数は、srcからピクセル値をサブピクセル精度で抽出し、それらをdstに格納する:
Figure 0006465818
ここで、
Figure 0006465818
であり、かつ
Figure 0006465818
である。
非整数座標におけるピクセル値は、バイリニア補間を用いて取得される。画像境界の外側に存在する領域のピクセル値が必要である場合は、当該ピクセル値を取得するために複製境界モードを用いる。マルチチャンネル画像の各チャンネルは、それぞれ独立して処理される。
GetRectSubPix
この関数は、画像から矩形領域のピクセル値をサブピクセル精度で取得する。
src−入力画像
Dst−抽出された矩形
Center−補間浮動小数点で表された、入力画像中の抽出された矩形領域の中心座標。中心は、必ず画像中になければならない。
この関数は、srcからピクセルを抽出する:
Figure 0006465818
ここで、非整数座標におけるピクセル値は、バイリニア補間を用いて取得される。マルチチャンネル画像の各チャンネルは、それぞれ独立して処理される。矩形領域の中心は必ず画像中になければならないが、矩形領域の一部は画像境界の外側にはみ出してもよい。その場合は、画像境界を越えた領域のピクセル値を取得するために、複製境界モードが用いられる。
LogPolar
この関数は、画像を対数極座標空間にリマッピングする。
・src−入力画像
・dst−出力画像
・center−変換中心;この場所で出力の精度が最大となる
・M−スケーリングパラメータの大きさ。
・flags−補間法と、以下の任意選択のフラグとの組合せ
・CV_WARP_FILL_OUTLIERSは、出力画像の全ピクセルを埋める。対応するピクセルが入力画像における外れ値であるピクセルは、値として0がセットされる。
・CV_WARP_INVERSE_MAP 以下の説明を参照。
この関数は、次の変換を用いて入力画像を変換する。
・順変換(CV_WARP_INVERSE_MAPがセットされていない):
Figure 0006465818
・逆変換(CV_WARP_INVERSE_MAPがセットされている):
Figure 0006465818
ここで、
Figure 0006465818
である。
この関数は、人間の「中心」視覚を模倣したものであり、物体追跡などのための、高速なスケーリング及び回転に不変なテンプレートマッチングに用いることができる。この関数は、インプレースモードでの処理は不可能である。
Remap
この関数は、画像に対して一般的幾何学変換を適用する。
src−入力画像,
dst−出力画像,
mapx−x座標マップ
mapy−y座標マップ
flags−補間法(resize()を参照)。INTER_AREA法は、この関数ではサポートされていない。
fillval−外れ値を埋めるために用いられる値
この関数は、指定されたマップを用いて入力画像を以下のように変換する。
Figure 0006465818
非整数座標を有するピクセル値は、利用可能な補間法のうちの1つを用いて求められる。map及びmapは、それぞれ個別の浮動小数点型マップmap及びmapとしてコード化されるか、あるいは(x,y)のインタリーブされた浮動小数点型マップmapまたはConvertMaps関数を用いて作成された固定小数点型マップとしてコード化され得る。マップが浮動小数点表現から固定小数点表現に変換されるとすれば、その理由は、リマッピング演算が大幅に高速化される(約2倍)からである。変換された場合、mapは(cvFloor(x),cvFloor(y))というペアを含み、mapは補間係数テーブルのインデックスを含む。この関数は、インプレースモードでの処理は不可能である。
Resize
この関数は、画像のサイズ変更を行う。
src−入力画像
dst−出力画像;サイズdsize(0でない場合)またはsrc.size()、fx及びfyから計算されたサイズを有する;dstの型はsrcと同じである。
interpolation−補間法:
・INTER_NN−最近傍補間
・INTER_LINEAR−バイリニア補間(デフォルトで用いられる)
・INTER_AREA−ピクセル領域同士の関係を利用したリサンプリング。画像デシメーション法としては、モアレのない結果が得られるので好ましいであろう。しかし、画像を拡大する場合は、INTER_NN法と同様である。
・INTER_CUBIC−近傍4×4ピクセルを利用するバイキュービック補間
・INTER_LANCZOS4−近傍8×8ピクセルを利用するランツォシュ補間
画像を縮小するためには、通常はINTER_AREA補間を用いるのが最良であると思われるが、画像を拡大するためには、INTER_CUBIC(低速)またはINTER_LINEAR(より高速だが、それでも許容範囲であると思われる)を用いるのが最良であると思われる。
WarpAffine
この関数は、画像のアフィン変換を行う。
src−入力画像
dst−出力画像
mapMatrix−2×3の変換行列
flags−補間法と、任意選択のフラグとの組合せ
-CV_WARP_FILL_OUTLIERSは、出力画像の全ピクセルを埋める;対応するピクセルが入力画像における外れ値であるピクセルは、値としてfillvalがセットされる。
-CV_WARP_INVERSE_MAPは、行列が出力画像から入力画像への逆変換であることを表しており、したがって、この行列を直接ピクセル補間に用いることができる。このフラグが指定されていない場合は、この関数が、mapMatrixの逆変換を求める。
Fillval−外れ値を埋めるために用いられる値
フラグWARP_INVERSE_MAPがセットされているとき、WarpAffine関数は、指定された行列を用いて入力画像を変換する。
Figure 0006465818
そうでない場合は、先ずInvertAffineTransformでアフィン変換の逆変換を求め、次にそれをMの代わりに上式に代入する。この関数は、インプレースモードでの処理は不可能である。
Figure 0006465818
この関数は、GetQuadrangleSubPixに類似しているが、両者は完全に同じではない。WarpAffineは、入力画像及び出力画像が同じデータ型を有することを要求し、より大きなオーバヘッドを有し(よって、小さな画像にそれほど適していない)、かつ出力画像の一部を変更しないままにしておくことができる。一方で、GetQuadrangleSubPixは、8ビットの画像から補間浮動小数点バッファへ四角形を抽出することができ、より小さなオーバヘッドを有し、かつ常に出力画像内容全体を変更する。この関数は、インプレースモードでの処理は不可能である。
WarpPerspective
この関数は、画像の透視変換を行う。この関数に有用なパラメータには、次のものが含まれる。
Src−入力画像
Dst−出力画像
mapMatrix−3×3の変換行列
flags−補間法と、以下の任意選択のフラグとの組合せ
・CV_WARP_FILL_OUTLIERSは、出力画像の全ピクセルを埋める;対応するピクセルが入力画像における外れ値であるピクセルは、値としてfillvalがセットされる。
・CV_WARP_INVERSE_MAPは、行列が出力画像から入力画像への逆変換であることを表しており、したがって、この行列を直接ピクセル補間に用いることができる。このフラグが指定されていない場合は、この関数が、mapMatrixの逆変換を求める。
fillval−外れ値を埋めるために用いられる値
この関数は、指定された行列を用いて入力画像を変換する。
Figure 0006465818
この関数は、インプレースモードでの処理は不可能であることに留意されたい。
本発明の実施形態について方法または手法の観点から説明してきたが、本発明は、種々の方法の実施形態を実施するためのコンピュータ読み取り可能な命令が格納されている非一時的なコンピュータ読み取り可能な媒体を含む製品をも含むことを理解されたい。コンピュータ読み取り可能な媒体は、例えば、コンピュータ読み取り可能なコードを格納するための、半導体、磁気、光磁気、光、または他の形態のコンピュータ読み取り可能な媒体を含み得る。さらに、本発明は、本明細書に開示されている本発明の種々の実施形態を実行するための装置をも含み得る。そのような装置は、実施形態に関連する演算を行うための専用の回路及び/またはプログラム可能な回路を含み得る。
上記装置の例には、適切にプログラミングされた汎用コンピュータ及び/または専用コンピュータデバイスが含まれ、本発明の実施形態に関連する様々な演算に適しているコンピュータ/コンピュータデバイスと専用/プログラム可能なハードウェア回路(電気回路、機械回路、及び/または光回路など)の組合せも含まれ得る。

Claims (18)

  1. コンピュータにより実現される、粉砕によって生成される粒子の所望の粒子径を達成する方法であって、
    レンズと背景面とを有する装置を準備するステップと、
    同一の前記レンズを用いてキャプチャされた、前記背景面上に配置された少なくとも1つの粒子及びキャリブレーションマークの画像を取得するステップと、
    前記粒子及び前記キャリブレーションマークの両方に同一の補正係数を適用して前記画像の歪み効果を補正することにより補正画像を生成するステップと、
    前記補正画像を用いて決定される一組のパラメータによって前記粒子の粒子径及び形状を特徴付けるステップであって、前記一組のパラメータは、前記複数の粒子の粒子径分布、面積分布、及び体積分布のなかの1以上を含む、該ステップと、
    前記一組のパラメータを、目標粒子のプロファイルと比較して両者の近似性を判定するステップと、
    前記判定された前記近似性に基づき、前記一組のパラメータと前記目標粒子のプロファイルとを近づけるためにどのような粉砕処理を行う必要があるかを決定するステップとを含むことを特徴とする方法。
  2. 前記一組のパラメータが、前記複数の粒子の粒子径分布を含むことを特徴とする請求項1に記載の方法。
  3. 前記粒子径分布は、目標粒子径プロファイルと比較されることを特徴とする請求項2に記載の方法。
  4. 前記キャリブレーションマークが、互いに直角をなす方向に延在する直線を含むことを特徴とする請求項1に記載の方法。
  5. 前記画像が、前記キャリブレーションマークに対してランダムに配置された複数の粒子を含むことを特徴とする請求項1に記載の方法。
  6. 前記画像が、ビットマップであることを特徴とする請求項1に記載の方法。
  7. 前記粒子径を求める前記ステップが、
    前記画像において、前記粒子を含む前記画像の第1の部分を、前記キャリブレーションマークを含む前記画像の第2の部分から分離するステップを含むことを特徴とする請求項1に記載の方法。
  8. 前記分離するステップが、色領域抽出法を用いるステップを含むことを特徴とする請求項7に記載の方法。
  9. 前記画像の歪み効果を補正する前記ステップが、
    前記キャリブレーションマークの既知の実際の寸法を、前記画像から得られた前記キャリブレーションマークの寸法と比較するステップと、
    前記比較に基づいて補正係数を生成するステップと、
    前記画像における前記粒子の測定値を得るステップと、
    前記補正係数を用いて前記粒子の前記測定値を修正するステップとを含むことを特徴とする請求項1に記載の方法。
  10. 前記画像の歪み効果を補正する前記ステップが、
    レンズ歪みまたは射影歪みのうちの少なくとも一方を補正するステップを含むことを特徴とする請求項1に記載の方法。
  11. コンピュータにより実現されるコーヒー粉砕物のために所望の粒子径を達成する方法であって、
    レンズと背景面とを有する装置を準備するステップと、
    同一の前記レンズを用いてキャプチャされた、前記背景面上に配置されたキャリブレーションマークを有する表面上に分散されたコーヒー粉砕物の画像を取得するステップと、
    前記コーヒー粉砕物及び前記キャリブレーションマークの両方に同一の補正係数を適用して前記画像の歪み効果を補正することにより補正画像を生成するステップと、
    前記補正画像を用いて決定される一組のパラメータによって前記コーヒー粉砕物の粒子径及び形状を特徴付けるステップであって、前記一組のパラメータは、前記複数の粒子の粒子径分布、面積分布、及び体積分布のなかの1以上を含む、該ステップと、
    前記一組のパラメータを、目標粒子のプロファイルと比較して両者の近似性を判定するステップと、
    前記判定された前記近似性に基づき、前記一組のパラメータと前記目標粒子のプロファイルとを近づけるためにどのような粉砕処理を行う必要があるかを決定するステップとを含むことを特徴とする方法。
  12. 前記画像が、ビットマップであることを特徴とする請求項11に記載の方法。
  13. 前記粒子径を求める前記ステップが、
    前記画像を、前記コーヒー粉砕物を含む第1の部分、及び前記キャリブレーションマークを含む第2の部分に分離するステップと、
    前記キャリブレーションマークの実測値を前記画像の前記第2の部分中の前記キャリブレーションマークと比較することによって、前記キャリブレーションマークのための補正係数を計算するステップと、
    前記キャリブレーションマークのための前記補正係数を前記画像の前記第1の部分に適用して、前記コーヒー粉砕物のために補正された粒子径を得るステップとを含むことを特徴とする請求項11に記載の方法。
  14. 前記粒子径を求める前記ステップが、
    前記画像のレンズ歪みを補正するステップと、
    前記画像の射影歪みを補正するステップとを含むことを特徴とする請求項11に記載の方法。
  15. 粉砕によって生成される粒子の所望の粒子径を達成するための命令が格納されているコンピュータ読み取り可能な媒体であって、
    前記命令が、
    レンズと背景面とを有する装置において、同一の前記レンズを用いてキャプチャされた、前記背景面上に配置された少なくとも1つの粒子及びキャリブレーションマークの画像を取得する命令と、
    前記粒子及び前記キャリブレーションマークの両方に同一の補正係数を適用して前記画像の歪み効果を補正することにより補正画像を生成する命令と、
    前記補正画像を用いて決定される一組のパラメータによって前記粒子の粒子径及び形状を特徴付ける命令であって、前記一組のパラメータは、前記複数の粒子の粒子径分布、面積分布、及び体積分布のなかの1以上を含む、該命令と、
    前記一組のパラメータを、目標粒子のプロファイルと比較して両者の近似性を判定する命令と、
    前記判定された前記近似性に基づき、前記一組のパラメータと前記目標粒子のプロファイルとを近づけるためにどのような種類の粉砕処理を行う必要があるか否かを決定する命令とを含むことを特徴とするコンピュータ読み取り可能な媒体。
  16. 前記画像がビットマップであることを特徴とする請求項15に記載のコンピュータ読み取り可能な媒体。
  17. 前記一組のパラメータが、前記複数の粒子の粒子径分布を含み、
    前記特徴付ける前記命令が、
    前記画像を、前記粒子を含む第1の部分、及び前記キャリブレーションマークを含む第2の部分に分離する命令と、
    前記キャリブレーションマークの実測値を前記画像の前記第2の部分中の前記キャリブレーションマークと比較することによって、前記キャリブレーションマークのための補正係数を計算する命令と、
    前記キャリブレーションマークのための前記補正係数を前記画像の前記第1の部分に適用して、前記粒子のための補正された粒子径を得る命令とを含むことを特徴とする請求項15に記載のコンピュータ読み取り可能な媒体。
  18. 前記粒子径を求める前記命令が、
    前記画像のレンズ歪みを補正する命令と、
    前記画像の射影歪みを補正する命令とを含むことを特徴とする請求項15に記載のコンピュータ読み取り可能な媒体。
JP2015560376A 2013-02-28 2014-02-28 粒子径を求める方法及び装置 Active JP6465818B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201361770743P 2013-02-28 2013-02-28
US61/770,743 2013-02-28
PCT/US2014/019618 WO2014134552A1 (en) 2013-02-28 2014-02-28 Method and apparatus for particle size determination
US14/194,154 US9863861B2 (en) 2013-02-28 2014-02-28 Method and apparatus for particle size determination
US14/194,154 2014-02-28

Publications (2)

Publication Number Publication Date
JP2016511834A JP2016511834A (ja) 2016-04-21
JP6465818B2 true JP6465818B2 (ja) 2019-02-06

Family

ID=51388203

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015560376A Active JP6465818B2 (ja) 2013-02-28 2014-02-28 粒子径を求める方法及び装置

Country Status (11)

Country Link
US (1) US9863861B2 (ja)
EP (1) EP2962084A1 (ja)
JP (1) JP6465818B2 (ja)
KR (1) KR102054250B1 (ja)
CN (1) CN105247342B (ja)
AU (1) AU2014224054B2 (ja)
BR (1) BR112015020944B1 (ja)
CA (1) CA2903010C (ja)
HK (1) HK1218780A1 (ja)
NZ (1) NZ712230A (ja)
WO (1) WO2014134552A1 (ja)

Families Citing this family (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140002662A1 (en) * 2012-06-22 2014-01-02 E. Neil Lewis Particle characterization
JP6449226B2 (ja) * 2013-03-11 2019-01-09 デイ、ニール・エム コーヒーの風味を再現する方法及び装置
US9940004B2 (en) * 2013-03-15 2018-04-10 Gregory Mayworm Methods and systems for predicting and evaluating coffee characteristics
SE537987C2 (sv) * 2014-04-07 2016-01-12 Cgrain Ab Avbildningssystem för granulärt material med homogen bakgrund
AU2015314341A1 (en) 2014-09-11 2017-04-27 Koninklijke Philips N.V. Method for controlling a process of roasting coffee beans and device for use in a process for roasting coffee beans
AU2015261613A1 (en) * 2014-12-18 2016-07-07 Gruppo Cimbali S.P.A. Method of analysing ground coffee
CN104794303B (zh) * 2015-04-30 2017-10-03 合肥工业大学 平面双材料圆环界面应力奇异性特征值的分析方法
CN105092452B (zh) * 2015-07-14 2017-11-07 同济大学 一种机制砂球体类似度的检测方法
AU2015101098A6 (en) * 2015-08-10 2016-03-10 Wisetech Global Limited Volumetric estimation methods, devices, & systems
AU2017204494B2 (en) * 2016-09-01 2019-06-13 Casio Computer Co., Ltd. Diagnosis assisting device, image processing method in diagnosis assisting device, and non-transitory storage medium having stored therein program
CN106596357A (zh) * 2016-11-28 2017-04-26 江苏大学 一种柴油机颗粒物形貌的表征方法
CN106645197B (zh) * 2016-12-29 2024-01-30 中国工程物理研究院激光聚变研究中心 检测精密光学元件表面颗粒物的在线检测系统及应用方法
CN107121363A (zh) * 2017-03-22 2017-09-01 华南理工大学 一种结晶工艺过程颗粒尺寸分布预测的方法
WO2019116337A1 (en) * 2017-12-15 2019-06-20 Politecnico Di Milano Opto-magnetic sensor device and molecular recognition system
DE102018205399B4 (de) * 2018-04-10 2021-03-18 Continental Automotive Gmbh Korrekturverfahren und Vorrichtung zur Korrektur von Bilddaten
WO2019229767A1 (en) * 2018-05-28 2019-12-05 Shukla Ashiesh A food grain profiling system
CN109452941B (zh) * 2018-11-23 2021-04-23 中国科学院自动化研究所 基于图片正畸与边界提取的肢体周径测量方法及系统
JP7269864B2 (ja) * 2019-10-21 2023-05-09 株式会社アマダ ワーク撮影画像処理装置及びワーク撮影画像処理方法
CN114430842A (zh) 2020-01-19 2022-05-03 乌迪森斯公司 使用图案化床单进行测量校准
USD937007S1 (en) 2020-07-30 2021-11-30 Udisense Inc. Bedsheet
CN113270172B (zh) * 2021-03-31 2024-02-09 正雅齿科科技(上海)有限公司 一种头颅侧位片中轮廓线的构建方法及系统
CN113109240B (zh) * 2021-04-08 2022-09-09 国家粮食和物资储备局标准质量中心 一种计算机实施的粮食不完善粒测定方法和系统
CN113820255A (zh) * 2021-09-01 2021-12-21 自然资源部第三海洋研究所 一种卵石三维粒径的测算方法以及装置
KR102646209B1 (ko) * 2022-03-28 2024-03-11 강원대학교산학협력단 이미지 분석 기반 조립질 혼합 토사 입자의 형상 특성 분석 장치 및 방법
CN116330516B (zh) * 2023-05-29 2023-08-29 乳山市东方硅胶有限公司 一种硅胶颗粒生产设备颗粒大小控制系统
US11925297B1 (en) * 2023-08-16 2024-03-12 Starbucks Corporation Calibration tool for a coffee grinder

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0623983B2 (ja) * 1985-04-30 1994-03-30 富士通株式会社 歪補正装置
JPS62182638A (ja) * 1986-02-06 1987-08-11 Babcock Hitachi Kk 輸送管中の微粉体の粒径測定装置
JP2000241120A (ja) 1999-02-23 2000-09-08 Fanuc Ltd 計測装置
US20010041073A1 (en) * 2000-02-03 2001-11-15 Noam Sorek Active aid for a handheld camera
JP2001245133A (ja) * 2000-02-29 2001-09-07 Konica Corp 画像読取装置及び画像形成装置
JP3429280B2 (ja) * 2000-09-05 2003-07-22 理化学研究所 画像のレンズ歪みの補正方法
US7106885B2 (en) * 2000-09-08 2006-09-12 Carecord Technologies, Inc. Method and apparatus for subject physical position and security determination
JP4068867B2 (ja) * 2002-03-19 2008-03-26 株式会社神戸製鋼所 ペレット粒径制御方法
JP2005189179A (ja) * 2003-12-26 2005-07-14 Jfe Steel Kk 粉粒体の粒度計測方法
JP2006078234A (ja) * 2004-09-07 2006-03-23 Kyoto Univ 砂礫測定装置及び測定方法
US7253743B2 (en) * 2005-02-07 2007-08-07 Cisco Technology, Inc. Techniques for identifying when to change an air filter
US20070058881A1 (en) 2005-09-12 2007-03-15 Nishimura Ken A Image capture using a fiducial reference pattern
JP5296967B2 (ja) * 2006-04-25 2013-09-25 パナソニック株式会社 3次元形状計測装置
EP2322911A1 (de) * 2009-11-13 2011-05-18 Bühler AG Vorrichtung zum Bestimmen von Partikelgrössen
DE102009056503A1 (de) * 2009-12-02 2011-06-09 Haver & Boecker Ohg Partikelmessgerät, insbesondere zur Analyse von Korngrößen feiner und feinster Schüttgüter
US9348111B2 (en) * 2010-08-24 2016-05-24 Apple Inc. Automatic detection of lens deviations

Also Published As

Publication number Publication date
CA2903010C (en) 2020-01-07
JP2016511834A (ja) 2016-04-21
US9863861B2 (en) 2018-01-09
KR20150121208A (ko) 2015-10-28
NZ712230A (en) 2018-06-29
AU2014224054B2 (en) 2017-11-23
WO2014134552A1 (en) 2014-09-04
BR112015020944B1 (pt) 2020-12-08
CN105247342B (zh) 2018-02-23
CA2903010A1 (en) 2014-09-04
EP2962084A1 (en) 2016-01-06
CN105247342A (zh) 2016-01-13
BR112015020944A2 (pt) 2017-08-22
US20140241590A1 (en) 2014-08-28
KR102054250B1 (ko) 2019-12-10
HK1218780A1 (zh) 2017-03-10
AU2014224054A1 (en) 2015-10-01

Similar Documents

Publication Publication Date Title
JP6465818B2 (ja) 粒子径を求める方法及び装置
JP4468442B2 (ja) イメージングシステム性能測定
EP3346699B1 (en) Projection device, projection method and projection program
US20150381965A1 (en) Systems and methods for depth map extraction using a hybrid algorithm
US20130259403A1 (en) Flexible easy-to-use system and method of automatically inserting a photorealistic view of a two or three dimensional object into an image using a cd,dvd or blu-ray disc
JP6302219B2 (ja) Mtf測定装置およびmtf測定プログラム
KR20140109439A (ko) 잡음에 강한 영상 정합 방법 및 시스템
TW201342304A (zh) 用於超廣角透鏡圖像的自我調整透視修正的方法和系統
Xie et al. Single depth image super resolution and denoising via coupled dictionary learning with local constraints and shock filtering
KR20120138633A (ko) 영상 처리 방법, 영상 처리 장치 및 스캐너
CN107680140B (zh) 一种基于Kinect相机的深度图像高分辨率重构方法
CN108648222B (zh) 结构光深度数据空间分辨率的提升方法及装置
JP2009135921A (ja) 画像投影装置及び画像投影方法
JP2015219679A (ja) 画像処理システム、情報処理装置、プログラム
US10475229B2 (en) Information processing apparatus and information processing method
Mirzaalian Dastjerdi et al. Measuring surface area of skin lesions with 2D and 3D algorithms
US8633926B2 (en) Mesoscopic geometry modulation
WO2023226218A1 (zh) 轴对称光学成像并行仿真方法及装置
JP2011155412A (ja) 投影システムおよび投影システムにおける歪み修正方法
WO2016098323A1 (ja) 情報処理装置、情報処理方法、及び、記録媒体
JP6249759B2 (ja) 画像処理方法、画像処理プログラムおよび画像処理装置
JP4554231B2 (ja) 歪みパラメータの生成方法及び映像発生方法並びに歪みパラメータ生成装置及び映像発生装置
TWI462027B (zh) 圖像處理裝置及圖像處理方法
JP2004165944A (ja) 投影情報補正方法、投影情報補正装置、プログラム、および記録媒体
JP2014203162A (ja) 傾斜角推定装置、mtf測定装置、傾斜角推定プログラム及びmtf測定プログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170130

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171122

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180109

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180409

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20180608

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180704

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20181218

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190108

R150 Certificate of patent or registration of utility model

Ref document number: 6465818

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250