JP5705750B2 - カット石を撮像する方法およびシステム - Google Patents

カット石を撮像する方法およびシステム Download PDF

Info

Publication number
JP5705750B2
JP5705750B2 JP2011553602A JP2011553602A JP5705750B2 JP 5705750 B2 JP5705750 B2 JP 5705750B2 JP 2011553602 A JP2011553602 A JP 2011553602A JP 2011553602 A JP2011553602 A JP 2011553602A JP 5705750 B2 JP5705750 B2 JP 5705750B2
Authority
JP
Japan
Prior art keywords
cut stone
image
cut
stone
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011553602A
Other languages
English (en)
Other versions
JP2012520115A5 (ja
JP2012520115A (ja
Inventor
シャイ シュニッツァー,
シャイ シュニッツァー,
ヤニフ ベン−ハガイ,
ヤニフ ベン−ハガイ,
Original Assignee
サリン カラー テクノロジーズ リミテッド
サリン カラー テクノロジーズ リミテッド
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by サリン カラー テクノロジーズ リミテッド, サリン カラー テクノロジーズ リミテッド filed Critical サリン カラー テクノロジーズ リミテッド
Publication of JP2012520115A publication Critical patent/JP2012520115A/ja
Publication of JP2012520115A5 publication Critical patent/JP2012520115A5/ja
Application granted granted Critical
Publication of JP5705750B2 publication Critical patent/JP5705750B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N33/00Investigating or analysing materials by specific methods not covered by groups G01N1/00 - G01N31/00
    • G01N33/389Precious stones; Pearls
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N21/00Investigating or analysing materials by the use of optical means, i.e. using sub-millimetre waves, infrared, visible or ultraviolet light
    • G01N21/84Systems specially adapted for particular applications
    • G01N21/87Investigating jewels
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/0002Inspection of images, e.g. flaw detection
    • G06T7/0004Industrial image inspection
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/60Analysis of geometric attributes
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • G06T7/73Determining position or orientation of objects or cameras using feature-based methods
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/56Cameras or camera modules comprising electronic image sensors; Control thereof provided with illuminating means
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/62Control of parameters via user interfaces
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30108Industrial image inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Biochemistry (AREA)
  • Pathology (AREA)
  • Immunology (AREA)
  • General Health & Medical Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Food Science & Technology (AREA)
  • Medicinal Chemistry (AREA)
  • Quality & Reliability (AREA)
  • Geometry (AREA)
  • Computer Graphics (AREA)
  • Human Computer Interaction (AREA)
  • Investigating Materials By The Use Of Optical Means Adapted For Particular Applications (AREA)
  • Adornments (AREA)
  • Length Measuring Devices By Optical Means (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Description

関連出願
この出願は、2009年3月11日に出願した米国仮特許出願第61/202537からの優先権を主張する。上記文献の全ての内容は、本明細書中に完全に述べられているかのように参考として組み入れられる。
技術分野
本発明は、その一部の実施形態では、撮像に関し、さらに詳しくは、カット石を撮像する方法およびシステムに関するが、それのみに限定されない。
ダイヤモンドのようなカット石はしばしば、人間の目に対する石の視覚的外観に基づいて分析される。そういうものとして、カット石の視覚的外観はダイヤモンドの品質の主要な指標である。したがって、ダイヤモンドの品質は実質的に人間の視知覚に基づくので、ダイヤモンド分析は判断の行使、意見の形成、および目視による比較に基づいて微妙な差異を区別する能力を必要とする。
ダイヤモンド分析に関しては、ダイヤモンド分析の基礎は、米国宝石学会(GIA)によって定義された分析の方法である、4つのC(カラー、クラリティ、カット、およびカラット重量)の分析を含む。4つのCのうちの2つ、カラーおよびクラリティは、スケールまたは連続体に沿って評価される。無色ないし淡黄色のダイヤモンドの場合、分析は一般的にGIA DないしZスケールと呼ばれるものに沿って行なわれる。無色から黄色の範囲のGIA DないしZカラースケールは、GIAのマスタダイヤモンドの創生以来それに合わせて較正されてきた国際標準である。
通常、ダイヤモンド品質分析は、内包物および構造欠陥のような特徴に対してダイヤモンドを目視で検査する、訓練された個人のチームによって実行される。この時間集約的プロセスは各個人による多くの検査、測定、および点検を含む。プロセスは品質管理をも含み、かつ被検査物の品質に影響を及ぼすおそれのある処理、フィリング、または他の欠陥を識別するように種々の非破壊試験を含むことができる。
過去数年間に、カット石撮像を含む方法が開発された。例えば2004年4月30日に出願された米国特許第7461017号は、宝石物品の特徴に関する情報証明書を顧客に提供するシステムおよび方法を記載している。該システムは、第1宝石物品の第1特徴に関するユーザ入力情報を受け取るように構成されたユーザインタフェースを有する端末と、第1宝石物品の少なくとも一部分に関する画像情報を得ることのできるカメラ装置と、少なくとも一時的に端末およびカメラ装置に結合され、第1証明書を印字することのできる印刷装置とを含み、第1証明書が、ユーザ入力情報に基づく情報の第1部分と、画像情報に基づく情報の第2部分とを含み、かつ端末、カメラ装置、および印刷装置が第1宝石物品の局所販売地点に近接している。
ダイヤモンド評価プロセスを改善または容易化するために、他の方法およびシステムが開発されてきた。例えば2003年6月9日に出願された米国特許第7136154号は、ダイヤモンドのカットを格付けするために使用される貴石格付けシステムを記載しており、該システムでは、特定のカットおよび特徴を測定し、結果は理論的に完璧なカットからのずれに基づいて予め定められたスコアと比較されてスコアを与えられ、かつ該システムでは、ずれのスコアを合計し、次いで初期の満点のスコアから減算して、カットの品質の普遍的に比較可能な指標を提供する。
本発明の一部の実施形態では、カット石を撮像する方法を提供する。該方法は、a)カット石のオリエンテーション(向き付け)を識別するステップと、b)オリエンテーションに従ってカット石のボリュメトリックモデルを形成するステップと、c)カット石を中心とする複数の観察角度からカット石の複数の画像を取得するステップと、d)ボリュメトリックモデルを使用して複数の画像からカット石を表わす複数のセグメントをクロッピングするステップと、e)複数のセグメントからカット石のボリュメトリック画像を生成するステップとを含む。
任意選択的に、該方法はさらに、複数の観察角度のいずれからでもカット石の撮像を可能にするように、ボリュメトリック画像を提示するステップを含む。
任意選択的に、複数のセグメントは第1配置のカット石を表わし、該方法はさらに、カット石を第2位置に再配置するステップと、b)〜d)を繰り返して、第2配置のカット石を表わす複数の追加セグメントを形成するステップを含み、生成ステップは、複数のセグメントと複数の追加セグメントとをマージしてボリュメトリック画像を生成するステップを含む。
さらに任意選択的に、生成ステップは、複数のセグメントと複数の追加セグメントとを相関させるステップを含む。
任意選択的に、識別ステップは、カット石を中心とする複数の視点からカット石の複数の較正画像を取得するステップと、複数の較正画像の解析に従ってオリエンテーションを推定するステップとを含む。
任意選択的に、形成ステップは、カット石を中心とする複数の視点からカット石の複数のモデリング画像を取得するステップと、複数のモデリング画像の解析に従ってボリュメトリックモデルを形成するステップとを含む。
さらに任意選択的に、識別ステップは、オリエンテーションに従って走査経路を計算するステップと、少なくとも1つの画像センサを操作して、走査経路に従って複数のモデリング画像を取得するステップとを含む。
任意選択的に、取得ステップは、少なくとも1つの画像センサを操作して、ボリュメトリックモデルおよびオリエンテーションの少なくとも一方に従って複数の画像を取得することによって実行される。
任意選択的に、取得ステップは、カット石を中心とする仮想球体の表面上の複数の観察角度から複数の画像を取得することを含む。
任意選択的に、該方法はさらに、複数の反射要素から拡散される光をカット石に照射するステップを含む。
本発明の一部の実施形態では、カット石を撮像するシステムを提供する。該システムは、カット石を装着するためのホルダと、少なくとも1つの画像センサと、少なくとも1つの画像センサを操作して、カット石を中心とする複数の観察角度からカット石の複数の画像を取得させる画像センサアクチュエータと、複数の画像を解析してカット石のボリュメトリックモデルを計算し、かつボリュメトリックモデルに従って1グループの複数の画像からカット石を表わす複数のセグメントをクロッピングする画像取得モジュールと、複数のセグメントからカット石のボリュメトリック画像を再構成する再構成モジュールと、ボリュメトリック画像を出力して、複数の観察角度のいずれからでもカット石の撮像を可能にする出力ユニットとを備える。
任意選択的に、画像取得モジュールは複数の画像を解析してカット石のオリエンテーションを計算して走査パターンを計算し、該システムはさらに、ボリュメトリックモデルを計算するときに走査パターンに従ってホルダおよび画像センサアクチュエータにカット石および画像センサをそれぞれ回転させるように命令するコントローラを含む。
さらに任意選択的に、該システムはさらに、ホルダおよび画像センサアクチュエータにカット石および画像センサをそれぞれ回転させて複数の観察角度からグループを取得するように命令するコントローラを含む。
任意選択的に、観察角度はカット石を中心とする仮想球体の表面上にある。
任意選択的に、ホルダは第1回転軸を中心にカット石を回転させるように設定され、画像センサアクチュエータは第2回転軸を中心に画像センサを回転させるように構成され、第1および第2回転軸は互いに直角を成し、回転は、少なくとも画像センサを複数の観察角度の間で操作するように実行される。
任意選択的に、該システムは、各画像が背景要素を背景にしてカット石を表わすように操作するように設定された背景要素を備える。
任意選択的に、該システムは、カット石に照光する照明設備と、カット石と少なくとも1つの画像センサとの間に配置される大きさおよび形状の光拡散器とを備え、光拡散器は、少なくとも1つの画像センサが複数の観察角度から複数の画像を取得することを可能にするために、少なくとも1つのスリットを有する。
任意選択的に、該システムは、少なくとも1つの画像センサの露光を高めるために光拡散器内に配置された少なくとも1つの照光源を備える。
任意選択的に、該システムは、カット石をホルダ上に維持するための真空圧発生器を備える。
任意選択的に、該システムは、複数の観察角度からカット石を照光するように、少なくとも画像センサにより操作されるように設定された照光源を備える。
本発明の一部の実施形態では、カット石を撮像する方法を提供する。該方法は、a)第1部分を中心とする複数の観察角度から撮影した複数の画像からカット石の第1部分の第1部分ボリュメトリック画像を生成するステップと、b)第2部分を中心とする複数の追加観察角度から撮影した複数の追加画像からカット石の第2部分の第2部分ボリュメトリック画像を生成するステップと、c)第1および第2部分ボリュメトリック画像をマージしてカット石のボリュメトリック画像を生成するステップと、d)ボリュメトリック画像を出力するステップとを含む。
別途定義されない限り、本明細書で使用されるすべての技術的用語および/または科学的用語は、本発明が属する技術分野の当業者によって一般に理解されるのと同じ意味を有する。本明細書に記載される方法および材料と類似または同等である方法および材料を本発明の実施または試験において使用することができるが、例示的な方法および/または材料が下記に記載される。矛盾する場合には、定義を含めて、本特許明細書が優先する。加えて、材料、方法および実施例は例示にすぎず、限定であることは意図されない。
本発明の実施形態の方法および/またはシステムを実行することは、選択されたタスクを、手動操作で、自動的にまたはそれらを組み合わせて実行または完了することを含んでいる。さらに、本発明の装置、方法および/またはシステムの実施形態の実際の機器や装置によって、いくつもの選択されたステップを、ハードウェア、ソフトウェア、またはファームウェア、あるいはオペレーティングシステムを用いるそれらの組合せによって実行できる。
例えば、本発明の実施形態による選択されたタスクを実行するためのハードウェアは、チップまたは回路として実施されることができる。ソフトウェアとして、本発明の実施形態により選択されたタスクは、コンピュータが適切なオペレーティングシステムを使って実行する複数のソフトウェアの命令のようなソフトウェアとして実施されることができる。本発明の例示的な実施形態において、本明細書に記載される方法および/またはシステムの例示的な実施形態による1つ以上のタスクは、データプロセッサ、例えば複数の命令を実行する計算プラットフォームで実行される。任意選択的に、データプロセッサは、命令および/またはデータを格納するための揮発性メモリ、および/または、命令および/またはデータを格納するための不揮発性記憶装置(例えば、磁気ハードディスク、および/または取り外し可能な記録媒体)を含む。任意選択的に、ネットワーク接続もさらに提供される。ディスプレイおよび/またはユーザ入力装置(例えば、キーボードまたはマウス)も、任意選択的にさらに提供される。
本明細書では本発明のいくつかの実施形態を単に例示し添付の図面を参照して説明する。特に詳細に図面を参照して、示されている詳細が例示として本発明の実施形態を例示考察することだけを目的としていることを強調するものである。この点について、図面について行う説明によって、本発明の実施形態を実施する方法は当業者には明らかになるであろう。
図1は、本発明の一部の実施形態に係る、カット石のボリュメトリック画像を生成するためのカット石撮像システムの略図である。
図2は、本発明の一部の実施形態に係る、カット石が装着されたホルダの回転軸に平行な面内でカット石を中心に画像センサを操作するように設定された画像センサアクチュエータの略図である。
図3は、本書で使用する用語を示すための例示的カット石の例示的略図である。
図4は、本発明の一部の実施形態に係る、ホルダ上のカット石に照光するために使用される1組のランプを有する照明設備の略図である。
図5は、本発明の一部の実施形態に係る、カット石を撮像する方法のフローチャートである。
図6Aは、本発明の一部の実施形態に係る、ある配置の例示的カット石を支持する例示的ホルダの略図である。図6Bは、本発明の一部の実施形態に係る、別の配置の例示的カット石を支持する例示的ホルダの略図である。
図7は、本発明の一部の実施形態に係る、座標系に対するカット石のオリエンテーションの計算のフローチャートである。
図8は、本発明の一部の実施形態に係る、例示的座標系に対するホルダ上のカット石の略図である。
図9は、本発明の一部の実施形態に係る、複数の円周画像に基づいてボリュメトリックモデルを生成する方法のフローチャートである。
図10は、本発明の一部の実施形態に係る、カット石の外頂角の略図である。
図11は、本発明の一部の実施形態に係る、カット石を表わすセグメントを識別しかつクロッピングするクロッピングプロセスのフローチャートである。
図12は、本発明の一部の実施形態に係る、カット石の回転モデルから得たカット石セグメントの平坦化画像である。
図13は、本発明の一部の実施形態に係る、カット石セグメントのバイナリマスクである。
図14は、カット石のボリュメトリック画像から得たマージ相関セグメントを含む画像である。
図15は、本発明の一部の実施形態に係る、例示的マージマスク勾配を示す。
図16は、本発明の一部の実施形態に係る、例示的マージボリュメトリック画像から得た例示的画像を示す。
本発明は、その一部の実施形態では、撮像に関し、さらに詳しくは、カット石を撮像する方法およびシステムに関するが、それのみに限定されない。
本発明の一部の実施形態では、ダイヤモンドのようなカット石のボリュメトリック画像を自動的にまたは半自動的に生成する方法およびシステムであって、観察者が撮像されるカット石を複数の異なる観察角度から観察することを可能にする方法およびシステムを提供する。例えば、ボリュメトリック画像は、約1°の間隔で約5°から180°の間のカット石を貫通する異なる平面内で、約60°から約360°の間の可能な観察角度からの、例えば144°からのカット石を表わす。
該システムは、カット石を装着するためのホルダ、任意選択的に回転ホルダと、1つ以上の画像センサアクチュエータに取り付けられた1つ以上の画像センサとを含む。画像センサアクチュエータは、カット石を中心とする複数の観察角度からカット石の複数の画像を取得するように画像センサを操作する。任意選択的に、画像センサおよびホルダは直交する回転軸を有する。該システムはさらに、複数の画像を解析してカット石のボリュメトリックモデルを計算し、かつボリュメトリックモデルに従って1群の画像からカット石を表わす複数のセグメントをクロッピングする、画像取得モジュールを含む。該システムはさらに、複数のセグメントからカット石のボリュメトリック画像を再構成する再構成モジュールと、複数の観察角度のいずれからでもカット石の撮像が可能となるようにボリュメトリック画像を出力する出力ユニットとを含む。
本発明の一部の実施形態では、カット石を撮像する方法を提供する。該方法は、例えばカット石を中心とする複数の周点から撮影した1組の較正画像を解析することによって、カット石のオリエンテーションを識別するステップを含む。次いで、オリエンテーションを使用して、例えばオリエンテーションに従って計算された走査経路に沿って取得した複数のモデリング画像を取得することによって、カット石のボリュメトリックモデルが形成される。ここで、カット石を中心とする複数の観察角度から、例えばカット石を包囲する仮想球体上の複数の観察角度から、カット石の画像が取得される。ここで、カット石を表わすセグメントは、ボリュメトリックモデルを使用する画像からクロッピングされる。このプロセスは、複数のセグメントからカット石のボリュメトリック画像を生成することを可能にする。
本発明の一部の実施形態では、部分ボリュメトリック画像を使用してカット石を撮像する方法を提供する。該方法は、第1部分を中心とする複数の観察角度から撮影された複数の画像から生成されるカット石の第1部分の第1部分ボリュメトリック画像、および第2部分を中心とする複数の追加観察角度から撮影された複数の追加画像から生成されるカット石の第2部分の第2部分ボリュメトリック画像に基づく。これらの画像は任意選択的に、上で概説し以下で説明するシステムを用いて撮影される。これは、第1および第2部分ボリュメトリック画像をマージしてカット石のボリュメトリック画像を生成すること、およびボリュメトリック画像を例えばディスプレイ用に出力することを可能にする。
本発明の少なくとも1つの実施形態を詳しく説明する前に、本発明は、その適用において、下記の説明に示されるか、および/または図面および/または実施例において例示される構成要素および/または方法の組み立ておよび構成の細部に必ずしも限定されないことを理解しなければならない。本発明は他の実施形態が可能であり、または様々な方法で実施または実行されることが可能である。
ここで図1を参照すると、それは、本発明の一部の実施形態に係る、カット石のボリュメトリック画像を生成するカット石撮像システム100の略図である。本書で使用する場合、ボリュメトリック画像とは、カット石の多次元表現、例えば3次元表現をもたらすデータセットを意味する。ボリュメトリック画像は、各々が異なる観察角度からのカット石を表わす1組の複数の画像、および/または複数の画像に基づいて生成された3D要素とすることができる。
本書で使用する場合、カット石99とは、カットされかつ任意選択的に研磨された、ダイヤモンド、貴石等のような鉱物片を意味する。カットは、例えば、ラウンド・ブリリアント・カット、ミックスカット、ローズカット、および/またはステップカットとすることができる。カットは、次の規格すなわちaccredited gem appraisers(AGA)、アメリカン・スタンダード、プラクティカル・ファイン・カット、スカンジナビアンスタンダード、ユーリッツブリリアント、アイディアルブリリアント、およびパーカーブリリアントで定義されている通りである。この規格を参照によって本書に援用する。
カット石撮像システム100は、カット石99を装着するためのホルダ101、任意選択的に回転ホルダと、簡潔のために本書で画像センサ102と呼ぶカメラのような、カット石99の画像を取得する1つ以上の画像センサ102とを含む。画像センサ102は、ホルダを中心とする複数の視点からカット石99の画像を取得するように該センサを操作する画像センサアクチュエータ103に接続される。任意選択的に、画像センサアクチュエータ103は、ステップモータのようなモータによって作動するレバーである。任意選択的に、画像センサアクチュエータ103は、回転中に画像センサのレンズがカット石から約10センチメートルの距離に位置するように、画像センサ102を支持する。任意選択的に、図2に示す通り、画像センサアクチュエータ103は、ホルダ101の回転軸と平行な面内でカット石99を中心に画像センサ102を操作するように設定される。そのような実施形態では、画像センサ102がそれを中心に回転する回転軸は、カット石99がそれを中心に回転する回転軸に対し直角である。この回転軸は画像センサをほぼ石の中心の正面に維持する。これらの回転軸は、カット石99を中心とする仮想球体の表面上にどの点からでもカット石99を撮像することを可能にする。ホルダによって隠蔽されたセグメントを撮像するために、カット石99は、例えば以下で説明しかつ図6Aおよび6Bに示す通り、2つの対向配置で撮像される。画像センサは、電荷結合素子(CCD)ベースのセンサ、相補型金属酸化膜半導体(CMOS)ベースのセンサ、および/またはカット石の画像を取得するための任意の他のセンサとすることができる。任意選択的に、画像センサ102は3メガピクセルMPセンサ以上である。任意選択的に、画像センサ102は交換可能なレンズを有する。そのようなやり方で、種々のレンズ、例えばマクロレンズ16mm、25mm、30mm、および/または50mmをカット石99の大きさに基づいて選択し、使用することができる。任意選択的に、画像センサ102は、任意選択的に貴石から画像センサ102の距離に従って決定される制御可能な焦点を有する。距離は手動で設定され、以下で生成されるボリュメトリックモデルから抽出され、かつ/またはレーザベースの距離検出器のような距離検出器を使用して推定することができる。任意選択的に、例えばテーブルを撮像するために、同一領域に対し種々の焦点深度が使用される。焦点は、画像センサ102のレンズの内側の焦点モータによって、画像センサの位置を変更し、かつ/または走査中に例えばホルダ101内の昇降要素を用いて貴石を上昇させて変更することができる。任意選択的に、画像センサ102は顕微鏡画像センサを含み、微細な内包物検出のために画像を取得することを可能にする。
図3は、本書で使用する用語を表わすための例示的カット石99の例示的略図である。ガードル81、パビリオン83、クラウン84、アッパーテーブル85、およびキューレット82がそれぞれの番号で描かれている。任意選択的に、画像センサ101は、それが撮像する領域の方向に向けられた照光源を含む。任意選択的に、画像センサ102は、反射を低減するために半透ミラー(half transferable mirror)および/または白色反射体の背後に配置される。任意選択的に、画像センサ102のレンズには白色反射体が設けられる。
カット石撮像システム100はさらに、パーソナルコンピュータ、ラップトップ、マイクロプロセッサ、および/またはデジタル信号処理(DSP)のようなコンピューティングユニット105、ならびに画像センサアクチュエータ103を制御するコントローラ104を含む。コンピューティングユニット105は任意選択的に、画像センサ102を操作しかつ/またはホルダ101を回転させるための動き走査パターンを計算する画像取得モジュール106と、複数の視点から画像センサ102によって撮影された複数のカット石画像をマージすることによって、カット石99のボリュメトリック画像を再構成する再構成モジュール107とをホスティングし、カット石99および/または画像センサ102は操作される。ボリュメトリック画像はカット石を中心とする複数の視点から撮影された複数の画像に基づくので、観察者は全ての可能な角度からカット石の画像を受信することが可能になる。下でさらに説明する通り、ボリュメトリック画像は推定値を持つ画素を含まず、したがってカット石99の真性かつ信頼できる表現を提供する。下で生成されるボリュメトリック画像はカット石99の画像のみに基づくものであり、したがって所定のモデル、推定輪郭線のような外部データ源を使用する必要が無い。そういうものとして、ボリュメトリック画像はカット石を正確に評価するために使用することができる。
任意選択的に、システム100は、カット石99が撮影される間、それに照光する照明設備を含む。これにより、カット石99の輝度を高めながら、カット石99の内包物を明瞭に示す画像を取得することが可能になる。任意選択的に、自然かつ均質な光を提供するために、小型の蛍光ランプおよび/またはLEDが使用される。
光の均質性は、輝度差を生じることなくまたは実質的に生じることなく、ボリュメトリック画像を形成するように、カット石99を包囲する仮想球体上の異なる視点から撮影した画像のマージを可能にする。例えば照明セットは、ガードル81より下のパビリオンコノイド(パビリオン conoid)およびガードル81より上の切頭クラウンコノイド(truncated クラウンconoid)の両方を、それらの撮像中に、同様に照光することを可能にする。例えば、ここで図4を参照すると、それは、本発明の一部の実施形態に係る、ホルダ101上のカット石99を照光するために使用される1組のランプ131の略図である。例えば、ランプ131の組は、箱の中に配置された6個のLP28Wクール白色光電球を含む。
任意選択的に、画像センサ102によって取得される画像に背景を提供するために、背景要素がホルダ101上に配置される。そのようなやり方で、任意選択的に黒の背景要素がホルダと共に回転し、カット石99が撮像プロセス中に画像センサ102と背景要素との間に位置することを確実にする。
図4に示す通り、回転ホルダ101は、白色の表面で被覆された内壁を有する、35×35×35cmの箱のような、箱の中心に配置される。任意選択的に、照明設備は光拡散器、例えば直径15cmの白色無光沢半球状または略半球状要素を含む。半球状要素の配置は、その内部空間がホルダ101およびカット石99の方向を向くように、かつカット石99が半球状要素の中心の手前に、例えば上縁から5センチメートル(cm)下に配置されるように、行なわれる。任意選択的に、約2cm幅の垂直スロットは半球状要素の正面側に形成される。任意選択的に、カット石99と半球状要素との間の距離は約110mmである。この垂直スロットは、例えば画像センサ102をその光軸が垂直スロットを通過するように回転させることによって、カット石99を撮像することを可能にする。垂直スロットは任意選択的に電球の先端より高いので、直接光は半球体内に侵入しない。
照明設備は、箱および/または光拡散器の壁のような反射要素から拡散される光をカット石99に照光させることを可能にする。そのような実施形態では、均質で軟らかい照明を得るために、光は任意選択的に複数回、例えば2回拡散する。例えば、第1の拡散は外箱132によるものであり、そこで光は内壁から均等に拡散され、第2の拡散は半球体によるものであり、そこで光はカット石99に向かって集束する。複数回の拡散はカット石99の内部の明瞭な照光を誘発する。そのような照光はカット石99のファセットのきらめきを高め、カット石99の表面、例えばアッパーテーブル85からの直接反射の影響を打ち消す。ダイヤモンドのようなカット石99の内部空間からのロアーファセットの明瞭な視認も達成される。
任意選択的に、3×3個の大型白色LEDの配列のような1つ以上の照光源が、カット石99をスリットに対して正面位置から照光するように、半球体の内側に配置される。任意選択的に、各照光源は、LEDの鮮明な縁部をぼやかすために、粗研磨されたアクリル系ガラス箔で被覆されたLEDを含む。使用時に、走査プロセス中に、石とその周囲との間の強いコントラストを達成し、画像がカット石の輪郭を捕獲するように、照光源は画像センサ102を過剰露光させるべく通電される。
また図5をも参照すると、それは、本発明の一部の実施形態に係る、カット石を撮像する方法200のフローチャートである。
最初に、201に示す通り、カット石99は、101のような第1配置で回転ホルダ101上に装着される。例えば、カット石99は図6Aに示すように、または図6Bに示すように配置される。これらの図は、ホルダ101におけるカット石99の第1および第2配置をそれぞれ示す。第1および第2配置は反対の配置である。例えば、カット石99がブリリアント・カット・ダイヤモンドである場合、第1配置はテーブル側を上にしたカット石99の配置であり、第2配置はパビリオン側を上にしたカット石99の配置である。任意選択的にホルダ101は、キューレット82が下を向きかつカット石99の中心軸がカット石99を保持するホルダ101の基部に対し直角になるようにカット石99を保持する、任意選択的に環状の支持要素71を含む。ホルダは、カット石99を走査プロセスの間安定して装着することを可能にする。任意選択的に、支持要素71は着脱自在かつ交換可能である。そのような実施形態では、1組の複数の支持要素から、カット石99の形状および/または大きさに従って支持要素が選択される。そのようなやり方で、特定の石のカットは、例えば円形、楕円形等の調整された支持体を有することができる。
任意選択的に、例えばホルダが回転している間、ホルダ101上にカット石99を維持するために、真空圧発生器が使用される。真空圧発生器は任意選択的に、カット石99上に真空アタッチメント圧力を生成するための管を含む。管は、その先端が支持要素71に対面するように、ホルダ101に沿って配置される。管は任意選択的に、モータの中空シャフトに連結される、ガラスまたはアクリルガラス製の白色ストローである。管は、走査プロセス中に、カット石99に真空圧を加えることを可能にする。この圧力はカット石99を所定の位置に保持する。任意選択的に、カット石99の表面に適合するように、任意選択的にシリコン製のアダプタが管の先端に取り付けられる。石が上向きのときは、石のキューレットがアダプタによって覆われる。石が下向きに配置されるときは、石のテーブルがアダプタ上に配置される。
202に示す通り、現在の配置におけるカット石のオリエンテーションが検出される。ここで図7を参照すると、それは、本発明の一部の実施形態に係る、座標系に対するカット石99のオリエンテーション計算のフローチャートである。簡潔を期すため、上述の通り例示的カット石、ブリリアントカットのダイヤモンドの画像である図3をも参照する。
最初に、300に示す通り、カット石を中心とする複数の視点からカット石99を示す1組の複数の較正画像が取得され、かつ提示される。任意選択的に、本書で較正画像と呼ぶこれらの画像は、円周画像センサ102の光軸がダイヤモンド99のガードルに対し略直角であるときに撮影された画像である。任意選択的に、較正画像はダイヤモンド99の周りで撮影される。例えば、カット石99の中心軸の周りで0°から259°の間の異なる角度から各々撮影した360枚の画像を取得することができる。任意選択的に、異なる画像の観察角度間の水平角差は約1°から約6°の間、例えば2.5°である。明確を期すため、観察角度とは、カット石99内および/または上の1点を起点とし、任意選択的にカット石99の中心を起点とする軸の角度を意味する。該角度は、水平線に対するもの、および/またはカット石99を貫通する平面、任意選択的にカット石99の中心を貫通する平面に対するものとすることができる。ここで、カット石99のオリエンテーションが較正画像に従って計算される。
ブロック301〜304は較正画像毎に繰り返される。301に示す通り、ガードルの左右のエッジ401、402が求められる。任意選択的に、較正画像は高域通過フィルタを用いて処理される。次いで、2つのサブ画像が予め取得された較正画像における予め識別された左右のエッジ401、402の座標の周りをクロッピングされ、そこで最初に左右のエッジは、任意選択的に水平線に対して最も高い点から貴石99の輪郭に従うことによって識別される。クロッピングされた各画像は、凸包アルゴリズムを用いて充填される。これは、その中の左または右のエッジ401、402を任意選択的にキューレット82の位置に従って識別されるダイヤモンドの中心から最も遠い5つの水平画素の平均としてマーキングすることを可能にする。
302に示す通り、403に示す左右のエッジ401間の距離が計算される。この距離を本書ではガードル線長と呼ぶことがある。303に示す通り、ガードル404の幅が計算される。この幅を本書ではガードル幅と呼ぶことがある。304に示す通り、左右のエッジ401を結ぶ線と、カット石99の配置によってパビリオン83またはクラウン84との間の角度405が計算される。
各較正画像302〜304について収集したデータは複数のベクトルに保存される。各画像における左右のエッジ間の距離はベクトルに記録され、各画像におけるガードル402の幅はガードル幅ベクトルに記録され、各画像における左右のエッジを結ぶ線とパビリオン/クラウンとの間の角度は、勾配ベクトルまたは角度ベクトルに記録される。任意選択的に、座標は、ガードル402を中心とする円周画像センサ102の座標に対して決定される。これらのベクトルは、カット石99の周囲のマッピングを提供し、カット石99のオリエンテーションの計算を可能にする。
カット石99は、3次元空間に割り当てられた座標系に関連して向き付けられる。305に示す通り、座標系の水平面に対するカット石99の傾きは、例えば平均ガードル線と水平面との間の平均角度を計算することによって推定される。ここで、306に示す通り、ベクトルに従ってカット石99の法線ベクトルが計算される。これは、307に示す通り、本書でファイ(Φ)と呼ぶ、法線ベクトルの水平面上の射影と座標系のX軸との間の角度、および308に示す通り、本書でシータ(Θ)と呼ぶ、法線ベクトルと座標系のZ軸との間の角度を計算することを可能にする。任意選択的に、ファイおよびシータは、傾きの影響が打ち消された後で計算される。明確を期すために、本発明の一部の実施形態に係る、例示的座標系に対するホルダ101上のカット石99の略図である図8に、例示的座標系ファイ(Φ)およびシータ(Θ)を示す。
ここで、309に示す通り、傾き、シータ、およびファイは、カット石99のオリエンテーションを計算するために使用される。シータは全ての画像における左右のエッジ間の角度によって生成される正弦の振幅であり、ファイは、ガードルと水平軸との間の角度が最大になる(シータと等しい)石の回転角であることに留意されたい。
ここで再び図5を参照する。カット石99のオリエンテーションが計算された後、現在の配置のカット石のボリュメトリックモデルが203に示す通り評価される。
ここで図9を参照すると、それは、本発明の一部の実施形態に係る、複数の円周画像に基づいてボリュメトリックモデルを生成する方法のフローチャートである。
最初に、501に示す通り、202で推定されたオリエンテーションに従って走査経路が計算される。任意選択的に、動き走査経路は傾きの影響、および上述の通り各較正画像に対し計算されるシータ歪みを取り消すことによって計算される。
これは、502に示す通り、画像センサの光軸がカット石99のガードルに対し略直角となるように、画像センサ102を動き走査経路に沿って操作することを可能にする。画像センサ102が動き走査経路に沿って操作される間、本書でモデリング画像と呼ぶ第2組の画像が取得される。これらの画像からのセグメントをマージして、下でさらに説明する通り、カット石99のボリュメトリックモデルが再構成される。使用時に、画像センサアクチュエータ103は任意選択的に、画像センサ102が動き走査経路全体に沿ってガードルに対面するように、水平線に対する画像センサ102の仰角および/または角度を変更する。任意選択的に、同一円周視点から撮影された較正画像に従って計算されたシータに従って、円周視点の動きの振幅が計算される。そのような実施形態では、取得された画像におけるカット石99は取得された画像で傾斜しているが、ガードルは直線状である。
各画像について以下のことが実行される。最初に、503に示す通り、外頂角が抽出される。明確を期すために、ここで、カット石99の外頂角の略図である図10をも参照する。任意選択的に、外頂角は、カット石99が第1および第2配置のときに画像センサ102のビュービジョン(view vision)に従って画定される角度である。例えば外頂角は、それより下では上向きのテーブル面が撮像されるときにカット石99のテーブル部分が明瞭に観察できない、本書でMinCropと呼ばれる頂角、およびそれより上では上向きのパビリオン面が撮像されるときにキューレットが明瞭に観察できない、本書でMaxCropと呼ばれる頂角を含む。これらの角度は、ダイヤモンドのパビリオン側を完全に示す画像と、ダイヤモンドのテーブル側を完全に示す画像との間のマージを可能にする。外頂角は任意選択的に、左右のエッジの外頂角を含む。パビリオンおよびテーブルはカット石99の配置および/または面を説明するためのものであるが、異なるカットを持つカット石もシステム100および方法200を用いて撮像することができることに注目されたい。そのような実施形態では、パビリオンは下面を指し、テーブルは上面を指す。
504に示す通り、カット石99の動きの関数は、カット石99の回転運動の中心および傾き角の計算を可能にする。ここで、XXに示す通り、モデリング画像におけるカット石を表わす部分をセグメント化またはスライシングされる。例えば画像は、推定される回転運動の中心の周りでクロッピングされる。次いで画像は、例えば高域通過フィルタを使用して、かつ/または特定の閾値に従って、フィルタリングされる。これは、モデリング画像に表れるカット石スライスの境界を識別することを可能にする。
506に示す通り、カット石スライスは、カット石99の推定角度に従って位置合わせされる。
507に示す通り、全てのモデリング画像からのカット石スライスはここで、例えば対向角度の2つのスライス画像間の平均直径に従っては位置することができる。本書で使用する場合、対向セグメントとは、対向セグメントが(画像センサ102からの距離を除いて)鏡像化されるように、2つの対向する視点からのカット石99を表わす画像である。画像は、動き走査経路に沿った画像センサ102に対するカット石99の回転に従って、座標系のZ軸の周りに配置される。
これは、508に示す通り、カット石の全スライスから現在の配置で撮像されたカット石99のボリュメトリック部分のボリュメトリックモデルの作成を可能にする。任意選択的に、ボリュメトリックモデルは凸包アルゴリズムを用いて充填される。
任意選択的に、カット石セグメント99の大きさは、そこから180度離れた対向カット石セグメント99を使用し、かつ両方のカット石セグメントの平均直径をスケーリングすることによって、補正することができる。
任意選択的に、エッジフィルタおよび/または「画像閉」形態学的方法を介する線密度の識別を使用して、クロッピングを洗練する。
任意選択的に、光軸がカット石99の中心軸上にあるかそれと平行であるときに撮影されたカット石99の画像は、ボリュメトリックモデルを作成するために、かつ/またはセグメントをレベリングするために使用される。
ここで再び図5を参照する。ここで、204に示す通り、カット石99を包囲する仮想球体の表面に沿って複数の視点から、1組のカット石画像が取得される。任意選択的に、異なる画像の観察角度間の水平角および/または頂角の差は、約1°から約4°の間、例えば、1°の水平角差および3.6°の頂角差である。
任意選択的に、カット石画像は、ガードルを介して通過する平面に対して約−40°から約90°の間で撮影される。任意選択的に、画像センサは、それがX軸に沿った回転運動の中心の正弦挙動と、XampがXの運動振幅でありかつYampがY軸の運動振幅である場合にsine(verAng)*Xampおよびcosine(verAng)*Yampの重畳とを有するように計算された走査パターンで操作される。
画像は、カット石99の表面に対する画像センサ102の観察角度を変更するように、ホルダ101および画像センサアクチュエータ103を回転することによって取得される。各画像において、画像センサ102の光軸は、カット石99の表面上の別の点位置に向けられる。これは、現在の配置のカット石99のボリュメトリックモデルに基づいてボリュメトリック画像を作成することを可能にする。クロッピングプロセスは、カット石99を示す画像のセグメントをホルダ101および背景から分離させる。
上述の通り、カット石99は例えば手動でホルダに配置される。さらに、画像センサ102の走査パターンは、例えば上述の通り、カット石99のオリエンテーションに従って変動することがある。そういうものとして、カット石99と画像センサ102との間の距離は、事前に固定および/または知ることができる。このずれは、ホルダ101および/または画像センサの回転中に、回転軸の推定中心に従って是正することができる。任意選択的に、是正は、回転円を180°回った位置にある対向スライス直径によるセグメントの直径の比率に従って、セグメントのサイズを正規化することによって行なわれる。この対向スライス直径は反対側から石の輪郭を描くが、同時に同様の輪郭を有する。
ここで、205に示す通り、現在の配置のカット石のカット石画像は、203で作成されたそれぞれのボリュメトリックモデルに従ってクロッピングされる。
ここで図11を参照すると、それは、本発明の一部の実施形態に係る、現在の配置のカット石99を示すセグメントを識別し、かつカット石画像でクロッピングする、クロッピングプロセスのフローチャート600である。このプロセスはカット石画像の各々に保持される。
最初に、603に示す通り、画像は推定される角度に従って位置合わせされる。位置合わせは任意選択的に、複数の画像を取得するために使用される走査パターンに従って実行される。
ここで、604に示す通り、セグメント用のバイナリマスクがボリュメトリックモデルから作成される。ボリュメトリックモデルは、現在のカット石画像に示された視点の水平角および頂角と一致するように回転される。任意選択的に、ボリュメトリックモデルの原点位置は、頂角=0°となるように設定される。マスクの作成にモデルを使用するために、モデルはそれが現在の画像に適合するように水平方向および垂直方向に回転される。3D回転モデルは、例えば図12に示す通り、2D画像に適合するように平坦化される。平坦化モデルは次いで凸包され、充填される。その結果、カット石99のバイナリマスクが得られ、それは、図13に示す通り、背景およびホルダ101を表わすセグメントを除去することを可能にする。
605に示す通り、マスクはセグメントをクロッピングするために使用される。任意選択的に、セグメントにバイナリマスクを乗算することによって新しい画像が形成される。任意選択的に、セグメントの背景に(1−マスク)を乗算することによって人工背景が形成される。このプロセスの出力は、背景またはホルダ101無しの現在の配置のカット石99を表わす画像である。ここで、全てのカット石画像がクロッピングされた後、異なる角度からの現在の配置のカット石99の複数のカット石セグメントを受け取る。任意選択的に、これらのカット石セグメントは合成され、その現在の配置のカット石99の部分ボリュメトリック画像が生成される。例えば、部分ボリュメトリック画像は、図6Aに示す通り、テーブルを上に向けた配置のカット石99を表わすか、あるいは図6Bに示す通り、パビリオンを上に向けた配置のカット石99を表わすことができる。
任意選択的に、カット石99の特性は、カット石99を背景から分離するために、例えばマスクを生成するために使用される。任意選択的に、石の特性は、システム100に接続されたキーボードのようなマン・マシン・インタフェース(MMI)を使用して手動で提供され、かつ/または例えば取得した画像および/またはホルダに接続されたスケールの画像処理を使用して、自動的に提供される。特性は石から反射する推定光、光反射強度、サイズの色、および/またはそのサイズとすることができる。これは、マスクを作成するために使用されるフィルタおよび/またはエッジ検出プロセスを洗練させることを可能にする。
ここで、206に示す通り、カット石99は、現在の配置が例えばテーブルを上に向けた配置からパビリオンを上に向けた配置に、またはその逆に変更されるように、上下を逆転される。カット石99が今は別の配置になった現在の配置に着くと、ブロック202〜205が繰り返される。これは、各々カット石99の部分ボリュメトリック画像として配置される2組のカット石セグメントの作成を可能にする。第1組は第1配置のカット石99を複数の観察角度から示し、第2組は第2配置のカット石99を複数の観察角度から示す。第1および第2配置は任意選択的に、パビリオンが上の配置およびテーブルが上の配置である。
ここで、207に示す通り、第1および第2配置のカット石のカット石セグメントは次に相関される。そのようなやり方で、本書でテーブルボリュメトリック画像と呼ばれる、テーブルが上の配置のカット石を示す部分ボリュメトリック画像における特定のカット石セグメントの水平角および頂角は、本書でパビリオンボリュメトリック画像と呼ばれる、パビリオン位置のカット石を示す部分ボリュメトリック画像から得た、同様の水平角および頂角を有するそれぞれのカット石画像と相関される。
任意選択的に、相関は多段階プロセスで実行される。任意選択的に、パビリオンボリュメトリック画像のために作成されたボリュメトリックモデル、およびテーブルボリュメトリック画像のために作成されたボリュメトリックモデルが使用される。簡潔を期すために、これらのモデルを本書では、パビリオン・ボリュメトリック・モデルおよびテーブル・ボリュメトリック・モデルと呼ぶ。
相関の全ての段階において、パビリオン・ボリュメトリック・モデルは固定水平角だけ回転され、かつテーブル・ボリュメトリック・モデルと統合される。この回転は、2つのモデルの統合ボリュームの作成を可能にする。統合されたボリュームが最小であり、かつ2つのモデルが一致する場合に相関が達成される。最初に、テーブルおよびパビリオン・ボリュメトリック・モデルから共通の部分が識別され、かつ任意選択的に抽出される。ここで、パビリオン・ボリュメトリック・モデルは、テーブル・ボリュメトリック・モデルの形状に適合するように方向転換される。次いで、パビリオン・ボリュメトリック・モデルは、デルタ水平角回転される。テーブル・ボリュメトリック・モデルを回転後のパビリオン・ボリュメトリック・モデルと統合する。任意選択的に、テーブルおよびパビリオン・ボリュメトリック・モデルは各々、3D点マトリクスとして表わされる。これらのマトリクスは、例えばテーブル・ボリュメトリック・モデルの3D点マトリクスを回転後のパビリオン・ボリュメトリック・モデルの3D点マトリクスに付加することによって、互いに付加される。任意選択的に、統合されたモデルのボリュームは任意の相関毎に計算され、選択される相関は最小限の統合ボリュームを有する相関である。
加えて、または代替的に、パビリオンボリュメトリック画像のセグメントとテーブルボリュメトリック画像スライス画像のセグメントとの間の任意の相関の領域表面は相関を検出するために使用される。この相関のためのデータ源は、例えば上述の通り作成されたパビリオンおよびテーブルボリュメトリック画像の両方のカット石セグメントの組を含む。
ここで、パビリオンボリュメトリック画像のセグメントの組の第1のセグメントは、テーブルボリュメトリック画像のセグメントの組の最後のセグメントと相関するようにシフトされ、シーケンシャルセグメントが第1のセグメントになる。このシフト中に、テーブルボリュメトリック画像のセグメントはシフトされない。ここで、パビリオンボリュメトリック画像の各セグメントは、対応するテーブルボリュメトリック画像のそれぞれのセグメントと統合され、統合表面が計算される。全ての統合表面の総和が計算され、このプロセスの結果は2つのボリュメトリック画像の統合ボリュームを表わす。このプロセスは、n個のカット石セグメントを有する組に対しn回繰り返される。2つのボリュメトリック画像が一致することを示す、統合ボリュームが最小限であるときに、相関が達成される。
加えて、または代替的に、左右のエッジ間の距離、ガードルの幅、および左右のエッジ401を結ぶ線とパビリオンまたはクラウン直径との間の角度が、相関を検出するために使用される。この相関のためのデータは距離、幅、および/または上で計算された角度ベクトルである。
最初に、パビリオンボリュメトリック画像のセグメントの距離ベクトルと、テーブルボリュメトリック画像のセグメントの距離ベクトルとの間の最善および次善の相関点が求められる。幅および角度ベクトルは、2つのうちのどちらが実相関およびそれらの厳密な位置を示しているかを決定するために使用することができる。これは相関を定義し、相関点に従ってカット石セグメントの回転を可能にする。任意選択的に、相関はオペレータによる視覚的指標によって補正される。任意選択的に、オペレータはおおよその領域を指摘し、正確な位置はこの領域の最善の相関によって決定される。任意選択的に、底部および/または上部画像は、底部の適切なピクチャを求めるために画像レジストレーション技術を用いて求められる。
ここで、208に示す通り、部分ボリュメトリック画像をマージして、カット石99の完全なボリュメトリック画像が形成される。カット石99のボリュメトリック画像は、例えば図14に示す通り、複数のマージされた相関セグメントを含む。このプロセス中に、部分的かつ相補的画像が合成されて、部分ボリュメトリック画像の一方だけでは画像化されない部分を含む、カット石99の単一の完全な画像になる。上述の通り、カット石99の幾つかの部分は走査中にカバーされる。例えばカット石99の先端は、図3に示す通りホルダ101内に配置される。パビリオンおよびテーブルボリュメトリック画像の両方からのセグメントを使用することによって、カット石99の全表面が完全にカバーされる。最初に、各画素のマージ比率を定義するための範囲[0,1]の値を含むマージマスクが作成される。各画素の値はマージの割合を定義し、値1の画素は、画素が1つの組、例えば上部の組から得られることを示し、0は、画素が別の組、例えば下部の組から得られることを示す。
これは、部分ボリュメトリック画像の1つからボリュメトリック画像を生成し、かつマージマスクに従って、もう1つの部分ボリュメトリック画像からの画素を追加および/または置換することを可能にする。任意選択的に、マージマスクは次のように作成される。
最初に、マージマスクを「0」で開始することによって、マージ・マスク・スケルトンが作成される。マージ・マスク・スケルトンの寸法は、クロッピングされた画像に従って設定される。次いで、ボリュメトリックモデルの1つで画定されたガードル線からガードル表面が抽出される。ガードル表面はマスクにマーク表示される。ここで、ガードル表面とマスクの上部境界との間の空間に「1」が充填される。領域の画素は上部設定画像のみから取り出される。マージ領域の底部はパビリオンモデルに配置される。この段階点は段階を表わしており、結果に現われないはずである。ガードル線はガードル線からカット石99段階点の領域に複製される一方、勾配画像を持つためにその値は1から0に減衰される。段階点より下では、マスクは零になったままであり、この領域はパビリオン画像のみから得られる。例えば図15を参照されたい。
パビリオンボリュメトリック画像のセグメントはマージマスクによって1画素ずつ乗算され、テーブルボリュメトリック画像のセグメントは1−(マージマスク)によって乗算される。2つの乗算の結果は1画素ずつ合計され、マージされた画像がもたらされる。図16は、マージされたボリュメトリック画像から得られた画像を示す。
ここで、209に示す通り、ボリュメトリック画像を観察者に提示することができ、カット石セグメントを表わす画像が撮影された複数の観察角度のいずれからでも観察者がカット石99を観察することが可能になる。これは、マウスまたはタッチスクリーンのようなポインティング装置を使用してカット石99を回転させ、1つの観察角度から別の観察角度に表示を切り替えることを可能にする。カット石99は、パーソナルコンピュータ、タブレット、携帯電話、スマートフォン、ラップトップ等のような任意のクライアントの端末に表示することができる。
回転命令は、現在ユーザに表示されているボリュメトリック画像のマージセグメントの変更に変換される。ボリュメトリック画像は、独立したファイル、各々が異なるマージセグメントを表わす1組の複数のファイル等として提示することができる。
本発明の一部の実施形態では、システム100は、カット石99の他の側面を自動的に検討するために使用される。例えば、色、蛍光発光、および/またはカットを公知の方法に従って評価するために、画像処理モジュールを追加することができる。任意選択的に、対称性を評価するために、石の形状の周波数拡散を使用し、石を様々な角度でそれに当てはめることによって、プロポーション評価が行なわれる。任意選択的に、重量を評価するために秤が使用される。
本発明の一部の実施形態では、システム100は、カット石99を認証するために使用される。例えば熱伝導率検査、および/または視覚的ボリューム識別および/または秤量による比重検査を行なうことができる。熱伝導率検査は、当業界で公知の適応型センサを用いて行なうことができる。
本発明の一部の実施形態では、システム100は、カット石99を識別するためにも使用される。上述の通りボリュメトリック画像は、複数の観察角度からの貴石99を表わし、したがってそれについて、例えばクラリティおよび/または正確なカットおよび/またはその不純物などの独特なビジュアルデータを含む。この独特のデータを分析して、カット石99を識別することができる。例えば、その派生物のボリュメトリック画像を識別されたボリュメトリック画像および/またはその派生物と照合することができる。識別プロセスは、重量のような他の特性識別と組み合わせることができる。
本出願から成熟する特許の存続期間の期間中には、多くの関連するシステムおよび方法が開発されることが予想され、画像処理、モジュール、画像センサ、光源、およびコンピューティングユニットの用語の範囲は、すべてのそのような新しい技術を先験的に包含することが意図される。
本明細書中で使用される用語「約」は、±10%を示す。
用語「含む/備える(comprises、comprising、includes、including)」、「有する(having)」、およびそれらの同根語は、「含むが、それらに限定されない(including but not limited to)」ことを意味する。この用語は、「からなる(consisting of)」および「から本質的になる(consisting essentially of)」を包含する。
表現「から本質的になる」は、さらなる成分および/または工程が、特許請求される組成物または方法の基本的かつ新規な特徴を実質的に変化させない場合にだけ、組成物または方法がさらなる成分および/または工程を含み得ることを意味する。
本明細書中で使用される場合、単数形態(「a」、「an」および「the」)は、文脈がそうでないことを明確に示さない限り、複数の参照物を包含する。例えば、用語「化合物(a compound)」または用語「少なくとも1つの化合物」は、その混合物を含めて、複数の化合物を包含し得る。
用語「例示的」は、本明細書では「例(example,instance又はillustration)として作用する」ことを意味するために使用される。「例示的」として記載されたいかなる実施形態も必ずしも他の実施形態に対して好ましいもしくは有利なものとして解釈されたりかつ/または他の実施形態からの特徴の組み入れを除外するものではない。
用語「任意選択的」は、本明細書では、「一部の実施形態に与えられるが、他の実施形態には与えられない」ことを意味するために使用される。本発明のいかなる特定の実施形態も対立しない限り複数の「任意選択的」な特徴を含むことができる。
本開示を通して、本発明の様々な態様が範囲形式で提示され得る。範囲形式での記載は単に便宜上および簡潔化のためであり、本発明の範囲に対する柔軟性のない限定として解釈すべきでないことを理解しなければならない。従って、範囲の記載は、具体的に開示された可能なすべての部分範囲、ならびに、その範囲に含まれる個々の数値を有すると見なさなければならない。例えば、1〜6などの範囲の記載は、具体的に開示された部分範囲(例えば、1〜3、1〜4、1〜5、2〜4、2〜6、3〜6など)、ならびに、その範囲に含まれる個々の数値(例えば、1、2、3、4、5および6)を有すると見なさなければならない。このことは、範囲の広さにかかわらず、適用される。
数値範囲が本明細書中で示される場合には常に、示された範囲に含まれる任意の言及された数字(分数または整数)を含むことが意味される。第1の示された数字および第2の示された数字「の範囲である/の間の範囲」という表現、および、第1の示された数字「から」第2の示された数「まで及ぶ/までの範囲」という表現は、交換可能に使用され、第1の示された数字と、第2の示された数字と、その間のすべての分数および整数とを含むことが意味される。
明確にするため別個の実施形態の文脈で説明されている本発明の特定の特徴が、単一の実施形態に組み合わせて提供されることもできることは分かるであろう。逆に、簡潔にするため単一の実施形態で説明されている本発明の各種の特徴は別個にまたは適切なサブコンビネーションで、あるいは本発明の他の記載される実施形態において好適なように提供することもできる。種々の実施形態の文脈において記載される特定の特徴は、その実施形態がそれらの要素なしに動作不能である場合を除いては、それらの実施形態の不可欠な特徴であると見なされるべきではない。
本発明はその特定の実施態様によって説明してきたが、多くの別法、変更および変形があることは当業者には明らかであることは明白である。従って、本発明は、本願の請求項の精神と広い範囲の中に入るこのような別法、変更および変形すべてを包含するものである。
本明細書で挙げた刊行物、特許および特許出願はすべて、個々の刊行物、特許および特許出願が各々あたかも具体的にかつ個々に引用提示されているのと同程度に、全体を本明細書に援用するものである。さらに、本願で引用または確認したことは本発明の先行技術として利用できるという自白とみなすべきではない。節の見出しが使用されている程度まで、それらは必ずしも限定であると解釈されるべきではない。

Claims (5)

  1. カット石を撮像する方法であって、
    a)前記カット石に対する第1の複数の視点から複数の第1画像を取得するステップと、
    b)前記第1画像を処理することによって取得されたデータを使用して走査パターンを計算するステップと、
    c)前記走査パターンに従って前記カット石のホルダと少なくとも1つの画像センサのうちの少なくとも1つを操作し、少なくとも前記画像センサによって、前記カット石を中心とする複数の観察方向にそれらの間の水平角および頂角の差を与える第2の複数の視点から前記カット石の複数の第2画像を取得するステップと、
    )前記複数の第2画像から複数のセグメントをクロッピングするステップと、
    e)前記複数のセグメントから前記カット石のボリュメトリック画像であって観察者が前記観察方向から撮像された前記カット石を観察することを可能にするボリュメトリック画像を生成するステップと
    を含む方法。
  2. カット石を撮像するシステムであって、
    カット石を装着するためのホルダと、
    第1に、第1の複数の視点からカット石の部分の複数の第1画像を得、第2に、互いの間に水平角および頂角の差を持つ観察方向を与える、カット石を中心とする第2の複数の視点から前記カット石の部分の第2の複数の画像を取得するために走査パターンに従って前記ホルダに対して操作されるように構成された少なくとも1つの画像センサと
    前記複数の第1画像を解析して前記第1画像を処理することによって得られたデータに基づいて前記走査パターンを計算し、かつ前記複数の第2画像から複数のセグメントをクロッピングするように構成された画像取得モジュールと、
    前記複数のセグメントから前記カット石のボリュメトリック画像を再構成する再構成モジュールと、
    前記ボリュメトリック画像を出力して、観察者が前記観察方向から撮像された前記カット石を観察することを可能にする出力ユニットと
    を備えるシステム。
  3. カット石を撮像する方法であって、
    a)請求項1に記載の方法によってカット石の第1部分に対する複数の第1の観察方向から撮影した複数の画像を使用して前記カット石の第1部分の第1部分ボリュメトリック画像を生成するステップと、
    b)請求項1に記載の方法によってカット石の第2部分に対する複数の第2の観察方向から撮影した複数の追加画像から前記カット石の第2部分の第2部分ボリュメトリック画像を生成するステップと、
    c)前記第1および第2部分ボリュメトリック画像をマージして前記カット石のボリュメトリック画像を生成するステップと、
    d)前記ボリュメトリック画像を出力するステップと
    を含み、
    前記カット石の第1部分は、そのテーブルおよびガードルを含み、前記カット石の第2部分は、そのパビリオンおよびガードルを含み、
    前記ボリュメトリック画像は、観察者が前記第1および第2観察方向から撮像されたカット石の第1および第2部分を観察することを可能にする、方法。
  4. 前記データは、予め決められた座標系に対してカット石の向き付けを示す、請求項1に記載の方法。
  5. 前記データは、カット石のボリュメトリック画像である、請求項1に記載の方法。
JP2011553602A 2009-03-11 2010-03-11 カット石を撮像する方法およびシステム Expired - Fee Related JP5705750B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US20253709P 2009-03-11 2009-03-11
US61/202,537 2009-03-11
PCT/IL2010/000211 WO2010103526A1 (en) 2009-03-11 2010-03-11 Methods and systems of imaging cut stones

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2015034719A Division JP5989161B2 (ja) 2009-03-11 2015-02-25 カット石を撮像する方法およびシステム

Publications (3)

Publication Number Publication Date
JP2012520115A JP2012520115A (ja) 2012-09-06
JP2012520115A5 JP2012520115A5 (ja) 2013-04-25
JP5705750B2 true JP5705750B2 (ja) 2015-04-22

Family

ID=42270201

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2011553602A Expired - Fee Related JP5705750B2 (ja) 2009-03-11 2010-03-11 カット石を撮像する方法およびシステム
JP2015034719A Expired - Fee Related JP5989161B2 (ja) 2009-03-11 2015-02-25 カット石を撮像する方法およびシステム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2015034719A Expired - Fee Related JP5989161B2 (ja) 2009-03-11 2015-02-25 カット石を撮像する方法およびシステム

Country Status (11)

Country Link
US (2) US9151717B2 (ja)
EP (1) EP2406617A1 (ja)
JP (2) JP5705750B2 (ja)
CN (2) CN102422147B (ja)
AP (2) AP3454A (ja)
AU (1) AU2010222274C1 (ja)
BR (1) BRPI1006718A2 (ja)
IL (1) IL245801B (ja)
SG (2) SG174304A1 (ja)
WO (1) WO2010103526A1 (ja)
ZA (1) ZA201107405B (ja)

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2406617A1 (en) 2009-03-11 2012-01-18 Dsee Imaging Ltd. Methods and systems of imaging cut stones
US9075015B2 (en) * 2012-06-04 2015-07-07 Frederick W. Shapiro Universal tool for automated gem and mineral identification and measurement
US9832453B2 (en) 2012-12-02 2017-11-28 Segoma Ltd. Devices and methods for generating a 3D imaging dataset of an object
IL304063A (en) * 2012-12-20 2023-08-01 Sarine Tech Ltd Method and system for three-dimensional modeling of gemstones
US20210390330A1 (en) * 2012-12-20 2021-12-16 Sarine Technologies Ltd. System and method for determining the traceability of gemstones based on gemstone modeling
SG10201609555YA (en) * 2013-08-12 2017-01-27 Caratell Pte Ltd Method and system for certification and verification of gemstones
CN103472064B (zh) * 2013-10-12 2015-11-18 梧州学院 一种圆明亮琢型宝石切工鉴定的方法
CN103488849A (zh) * 2013-10-12 2014-01-01 梧州学院 利用图像处理技术还原圆明亮琢型宝石原始设计的方法
US9457949B1 (en) 2013-10-18 2016-10-04 William S. Hathaway, III Personalized identification system for deceased bodies
WO2016092553A1 (en) * 2014-12-11 2016-06-16 Shirtal Diacam Ltd System and method for generating 360° interactive view of an object
US10107757B2 (en) 2015-03-30 2018-10-23 Gemological Institute Of America Inc. (Gia) Apparatus and method for fluorescence grading of gemstones
US9678018B2 (en) * 2015-03-30 2017-06-13 Gemological Institute Of America Inc. (Gia) Apparatus and method for assessing optical quality of gemstones
WO2016185472A1 (en) 2015-05-21 2016-11-24 Sarine Color Technologies Ltd. System and method of unique identifying a gemstone
US10302639B2 (en) 2015-12-18 2019-05-28 Ricoh Company, Ltd. Thermal transfer medium for testing device, testing device and method for producing same, and testing kit
CA3058554A1 (en) * 2017-03-29 2018-10-04 Engemma Oy Gemological object recognition
EP3388822B1 (en) 2017-04-14 2023-09-27 Inexto Sa Method for computing a unique identifier for a gemstone having facets
US10552950B2 (en) * 2017-05-25 2020-02-04 International Business Machines Corporation Mapping and encoding gemological features
JP6997593B2 (ja) * 2017-11-06 2022-01-17 大塚電子株式会社 光学特性測定方法および光学特性測定システム
CN108195802B (zh) * 2017-11-21 2020-09-15 广州标旗电子科技有限公司 一种钻石发光成像检测方法
CN107845145B (zh) * 2017-11-29 2020-12-01 电子科技大学 一种电子显微场景下的三维重构系统及方法
WO2019129251A1 (en) * 2017-12-29 2019-07-04 Goldway Technology Limited Colour grading process and system for diamonds
WO2019185993A1 (en) * 2018-03-28 2019-10-03 Engemma Oy Extended focal plane imaging by using a gemstone manipulator
WO2019185974A1 (en) * 2018-03-28 2019-10-03 Engemma Oy Holder arrangement for gemological object recognition system
WO2020016874A1 (en) 2018-07-15 2020-01-23 Sarine Technologies Ltd System and method for evaluating and determining color in gemstones
US11815465B2 (en) 2019-03-08 2023-11-14 Gemological Institute Of America, Inc. (Gia) Portable high-resolution gem imaging system
GB2582934B (en) * 2019-04-09 2021-11-17 Peng cheng lai Turntable and light box for ring photography
GB2584876A (en) * 2019-06-19 2020-12-23 Jubilee Diamond Instr S Pte Ltd Gemstone testing apparatus
WO2021018174A1 (en) * 2019-07-29 2021-02-04 Goldway Technology Limited A process and system for colour grading for diamonds
GB2590947B (en) 2020-01-08 2023-12-20 Opsydia Ltd Methods and devices for determining a location associated with a gemstone
CN111707666B (zh) * 2020-05-11 2024-02-23 武汉恒宇科教仪器设备研发有限公司 一种钻石腰线观测仪及观测方法
US11874231B1 (en) * 2023-06-21 2024-01-16 Chow Sang Sang Jewellery Company Limited System and method for gemstone identification

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ZA813689B (en) * 1980-06-04 1982-07-28 Gersan Ets Centering and working gemstones
EP0041391B1 (en) * 1980-06-04 1985-10-02 Gersan Establishment Method and system for examining a gem stone
JPH0831128B2 (ja) * 1989-04-25 1996-03-27 テルモ株式会社 画像処理装置
US5615005A (en) * 1995-01-23 1997-03-25 Ugts, Inc. Gemstone evaluation system
JP3824116B2 (ja) * 1998-01-29 2006-09-20 日本電信電話株式会社 顕微鏡画像遠隔制御システム
JPH11255511A (ja) * 1998-03-12 1999-09-21 Hiroichi Ishida ダイヤモンドの鑑定方法
IL126809A (en) * 1998-10-29 2001-08-26 Sarin Technologies Ltd Apparatus and method of examining the shape of gemstones
IL134664A0 (en) * 1999-10-29 2001-04-30 Diamond And Jewelry 4 U Ltd System for trade in precious gemstones
US7065242B2 (en) 2000-03-28 2006-06-20 Viewpoint Corporation System and method of three-dimensional image capture and modeling
US20020048396A1 (en) * 2000-09-20 2002-04-25 Bewley Wilbur C. Apparatus and method for three-dimensional scanning of a subject, fabrication of a natural color model therefrom, and the model produced thereby
JP3620715B2 (ja) * 2001-01-25 2005-02-16 セイコーエプソン株式会社 ディジタルカメラ及び画像ファイル方法
AT410602B (de) * 2001-12-12 2003-06-25 Swarovski & Co Verfahren zur vermessung der oberfläche eines geschliffenen schmucksteines
US20030223054A1 (en) * 2002-05-29 2003-12-04 Natural Crystal Information Systems Method and apparatus for identifying gemstones
AU2003237459A1 (en) 2002-06-07 2003-12-22 William R. Bray Diamond cut scoring system and method
IL151968A0 (en) * 2002-09-27 2003-04-10 Dialit Ltd Three dimensional gemstone imaging system and method
US7420657B2 (en) * 2003-12-22 2008-09-02 American Gem Society Methods, apparatus, and systems for evaluating gemstones
US20050187831A1 (en) * 2004-02-25 2005-08-25 Mark Gershburg Gem item report method and system
US7461017B2 (en) 2004-04-30 2008-12-02 Yeko Sr Steven K System and method for enabling jewelry certification at local jeweler sites
US20060066877A1 (en) * 2004-09-30 2006-03-30 Daniel Benzano Capture and display of image of three-dimensional object
US7800741B2 (en) * 2005-08-22 2010-09-21 Galatea Ltd. Method for evaluation of a gemstone
EP2289361A1 (en) * 2005-12-06 2011-03-02 California Institute of Technology Enhancing the optical characteristics of a gemstone
EP2140251B1 (en) * 2007-04-03 2014-03-19 Opal Producers Australia Limited Apparatus and methods for assessment, evaluation and grading of gemstones
EP2406617A1 (en) 2009-03-11 2012-01-18 Dsee Imaging Ltd. Methods and systems of imaging cut stones

Also Published As

Publication number Publication date
AP3454A (en) 2015-10-31
CN102422147A (zh) 2012-04-18
IL245801B (en) 2018-03-29
AU2010222274B2 (en) 2014-04-24
SG10201503708VA (en) 2015-06-29
US20160027166A1 (en) 2016-01-28
US9151717B2 (en) 2015-10-06
AP2011005915A0 (en) 2011-10-31
CN105510340A (zh) 2016-04-20
AP2015008589A0 (en) 2015-07-31
CN105510340B (zh) 2018-08-24
WO2010103526A1 (en) 2010-09-16
US20120007971A1 (en) 2012-01-12
AU2010222274A1 (en) 2011-11-03
ZA201107405B (en) 2012-12-27
EP2406617A1 (en) 2012-01-18
IL245801A0 (en) 2016-06-30
JP5989161B2 (ja) 2016-09-07
AU2010222274C1 (en) 2014-11-06
US9519961B2 (en) 2016-12-13
JP2012520115A (ja) 2012-09-06
CN102422147B (zh) 2016-01-20
BRPI1006718A2 (pt) 2016-04-26
JP2015143691A (ja) 2015-08-06
SG174304A1 (en) 2011-10-28

Similar Documents

Publication Publication Date Title
JP5989161B2 (ja) カット石を撮像する方法およびシステム
US10890439B2 (en) Generation of one or more edges of luminosity to form three-dimensional models of objects
US20200387736A1 (en) System for accurate 3d modeling of gemstones
JP6087406B2 (ja) 原石スパークル解析
US9292966B2 (en) Method and system for improved optical modeling of gemstones
US11164670B2 (en) Methods and apparatus for identifying skin features of interest
JP6799821B2 (ja) 画像生成装置、画像生成方法及びプログラム
JP2018082416A (ja) 画像生成装置、画像生成方法及びプログラム
US20240114982A1 (en) Diamond bow tie qualification system
JP6941350B2 (ja) 三次元形状推定システム、三次元形状推定装置、三次元形状推定方法及びプログラム
TW202338747A (zh) 寶石之表面分析

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130304

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130304

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140325

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20140623

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20140630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140925

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150206

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150225

R150 Certificate of patent or registration of utility model

Ref document number: 5705750

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees