JP5800903B2

JP5800903B2 - 光学的アセットの識別及び位置追跡

Info

Publication number: JP5800903B2
Application number: JP2013523173A
Authority: JP
Inventors: ケネスジー．オーウェンズ，; ジェームズオニールウィックライン，; スティーヴアンソニーヴィラ，
Original assignee: Boeing Co
Current assignee: Boeing Co
Priority date: 2010-08-05
Filing date: 2011-07-01
Publication date: 2015-10-28
Anticipated expiration: 2031-07-01
Also published as: AU2011286387A1; EP2601572A4; EP2601572A2; JP2013539102A; WO2012018470A2; CN103080897A; US20120033850A1; WO2012018470A3

Description

本発明の分野は、概してアセットの可視性に関し、具体的には、光学的アセットの識別及び位置追跡に関する。

特定の修理及び交換のサプライチェーンにおいては、アセットの可視性が不完全であることが依然として問題である。特定のエンティティは、アセットの追跡及び可視性を含むサプライチェーンの管理における補助となる製品とサービスを提供している。しかしながら、アセットの追跡と可視性は、予備部品循環追跡に関するカテゴリにおいて依然として問題である。

一例として、航空機の一組のコンポーネントは、アセット、すなわち部品がサービスから取り除かれて新規の部品又は修理済みの部品と交換される予備部品循環として分類される。修理済みアセットは、航空会社又は整備工場のサプライビン、航空機の元の供給業者、又はアセットの元の供給業者から得られる。取り除かれたアセットは、供給業者又は他の施設に戻されてオーバーホールされるか又は修理される。取り除かれたアセットは、供給業者（又は他の施設）によって修理された後、別の顧客（例えば航空会社）に配送されて使用されることもある。加えて、種々の航空会社顧客が、スペア部品として保守に使用できるように、これらの部品（新規又は修理済み）の一又は複数をサプライビンに格納することがある。

供給業者が予備部品循環アセットを所有しており、そのようなアセットが、使用時まで顧客の敷地に備蓄される場合に、幾つかの契約書が作成される。他の予備部品循環アセットは、個々の予備部品循環アセットの寿命を通して所有権が供給業者に属するようにリースされる。したがって、特定のエンティティは、サプライチェーン全体のこれらの予備部品循環アセットの可視性及び追跡を維持すること、適切なロジスティクスの動き及び備蓄レベルが維持されることを保証すること、並びに顧客が様々な運用に必要なアセットを有することを確実にすることに責任を持つ。

現在、予備部品循環アセットがサービスのために取り除かれると、通常、航空会社がアセットの除去を報告するまで、数日間にわたって可視性が失われる。時として、アセット除去の通知は手書きの報告書によって受け取られる。その結果、予備部品循環アセットの位置が不明である、失われる、或いは間違われる期間が生じる。予備部品循環アセットの供給業者は、時として、契約により、予備部品循環アセットを規定のレベルに維持する義務を有する。取り除かれた予備部品循環アセットが契約による義務期間の枠外にある場合、交換予備部品循環アセットが発注されて購入される。最初に取り除かれた予備部品循環アセットが最終的に回復したとき、又はシステムが予備部品循環アセットの位置に追いたとき、問題は、アセットが顧客の敷地に余分に備蓄されるということになる。このような在庫過剰は、不当な納期管理費用及び備蓄コストのために供給業者の経費を増大させる。

既存の予備部品循環アセットのソリューションには、予備部品循環アセットに部品番号を手作業でエッチングすること、予備部品循環アセットにバーコードをタグ付けすること、予備部品循環アセットに無線周波数識別（ＲＦＩＤ）をタグ付けすること、又は別の自動識別技術（ＡＩＴ）を用いてアセットにタグ付けすることが含まれている。エッチング及び／又はタグ付けは、倉庫及びサプライチェーン全体にわたるアセットの追跡を目的としている。最悪の場合には、特定の予備部品循環アセットはどのような方式の部品識別も持たない。このような予備部品循環アセットは、バッチ単位で回収されて、後で供給業者に報告するために顧客データベースのようなデータベースに入力される手書きの報告書に基づいて追跡されることがある。

既存の予備部品循環アセットソリューションの欠点は、それぞれの予備部品循環アセットが、アセットが適切にタグ付けされてタグが機能することを保証するために追加処理及びリソースを必要とすることにより、追加費用が生じることとである。特定の予備部品循環アセットの場合、タグの接着に関して複雑性が増す。タグび接着は、部品の性能及び飛行価値に影響を与えない。このようなタグは、予備部品循環アセットが使用に戻される前に除去されやすく、部品の取扱手順に追加コスト及び品質処理を不可する。

既存のソリューションの基本技術は限界も有している。バーコードは、例えば流体及び光源への暴露といった様々な環境要因により時間の経過と共に薄くなることがある。ＲＦＩＤタグは、典型的に、金属環境又は液体含有量が大きい環境において機能しない。特定の予備部品循環アセットは、バーコード及びＲＦＩＤタグのような二次元単位の識別マーキングを許さない物理形状を有している。

サプライチェーン内部において予備部品循環アセットの位置を追跡するために、一部の顧客はアセットの状況（取り除かれている、ビンにある、ドックにある、など）を手書きする。このような情報はバッチ単位で供給業者に提供されるので、提供に遅延が生じ、すなわち供給業者は、修理すべき予備部品循環アセットがどこにあるか、又は交換予備部品循環アセットがサプライチェーンのどこに位置するかを、正確に且つ実時間で把握することができない。

一態様では、プラットフォームに関連付けられるアセットの管理方法が提供される。この方法は、プラットフォームに関連付けられるアセットの光画像を受けとることと、光学的識別プログラムを使用して、アセットの光画像をアセット画像のライブラリに含まれるアセットの画像と比較することによりアセットを識別することと、識別されたアセットに位置を割り当てることと、アセットの識別及び位置に基づいて、アセットインベントリ及びプラットフォーム構造のうちの一つ以上を含むデータベースを更新することとを含む。

別の態様では、一又は複数のプラットフォームに関連付けられる循環アセットの識別及び位置追跡のためのシステムが提供される。このシステムは、循環アセットの光画像を表わすデータを生成する画像取得装置と、複数の循環アセットの三次元図面を表わすデータを有するデータベースと、循環アセットの光画像を表わすデータを複数の循環アセットの一つの三次元図面を表わすデータに関連付けることにより画像が取得された循環アセットを識別するようにプログラムされた少なくとも一つの処理装置とを含む。

また別の態様では、循環アセットの識別方法が提供される。この方法は、アセットの光画像を取得することと、取得した光画像を表わすデータとしてこの光画像をコンピュータメモリに格納することと、光学的識別プログラムを使用して、取得した光画像を表わすデータをアセット画像のライブラリを表わすデータと比較することによりアセットを識別することとを含む。

上述のフィーチャ、機能及び利点は、種々の実施形態において独立に実現することが可能であるか、さらに別の実施形態において組み合わせることが可能である。これらの実施形態について、以下の説明及び添付図面を参照してさらに詳細に説明する。

図１は航空機の製造及び保守方法のフロー図である。図３は航空機のブロック図である。図３はデータ処理システムの図である。図４は、画像に基づく循環アセットの追跡に使用される例示的なコンピュータネットワークの図である。図５は、第１の内部位置から第２の内部位置へアセットを追跡する際に使用される例示的なコンピュータネットワークの図である。図６は、一つの位置から第三者の位置へアセットを追跡する際に使用される例示的なコンピュータネットワークの図である。図７は、アセットの光学的識別及び追跡プロセスを示すフロー図である。

本明細書に記載される実施形態は、特定の循環アセット又は部品を、センサとしてデジタルカメラ又は他の画像取得装置を使用して自動的に識別するための、ソフトウェアアプリケーションを含む方法とシステムに関する。特定のアセットの画像を表わすデータは、カメラにより生成されると、既知のアセットの組の中で、特定のアセットを他のアセットと区別するために利用される。具体的には、光学的識別ソフトウェアを使用してアセットを識別し、取得した画像を表わすデータを、以前から格納されていた画像を表わすデータの組と比較することにより、取得された画像を解析する。このような比較、解析、及びそれに続くアセット識別に基づいて、種々のシステム構成及び他のデータベースを更新することができる。例として、プラットフォーム（例えば、航空機）の構成データベース、在庫管理データベース、及び資材管理システムを挙げることができる。これらはすべて、一又は複数のアセットの位置変更を示すデータを含むように更新される。

記載される実施形態では、アセット自体の画像データが部品識別に使用される。上述したような、他のすべての部品追跡方法は、アセットの追跡を可能にするフィーチャを加えるために何らかの方法でアセットを修正することに依存している。記載される実施形態は、撮像及び画像認識技術を資材の位置追跡に使用する点で異なっている。具体的には、モデルに基づくアルゴリズムを使用して、例えば、航空宇宙プラットフォームに出入りを繰り返す航空宇宙アセットの固有のフィーチャを識別する。本発明の実施形態は、このアセット識別能を使用して、プラットフォームに関連付けられた三次元構成データ（特定の部品が取り除かれて、代わりに特定の部品が取り付けられたこと）、並びに識別されたアセットの在庫管理データ（プラットフォームから取り除かれた部品の更新済み位置情報及び代わりにプラットフォームに取り付けられた部品の更新済み位置情報）をほぼ実時間で更新する。

このようなシステム（本明細書では資材管理システムと呼ぶことがある）は、アセットの特定のインスタンスが供給システム内に位置する場合は、アセット（部品）の識別と、このようなアセットの除去及び交換の位置とに関するデータを含んでおり、また最低限の手作業を含む各プラットフォームの現在のアセット構成に関するデータを含んでいる。

本明細書に記載されるシステム及び方法は、識別のためにアセットに識別フィーチャを加えることを必要としない。そうではなく、アセットに固有の物理的フィーチャを識別に利用することにより、アセット自体の設計フィーチャが識別に使用されるので、アセットの帰属先であるエンティティに関係なく、又はアセットを製造したエンティティに関係なく、アセットを識別できるソリューションが提供される。実際には、ある会社がアセットにＲＦＩＤをタグ付けし、別の会社がバーコードをタグ付けし、また別の会社がアセットにタグ付けを行わない場合、本明細書に記載される資材管理システム及びその関連実施形態は、元々意図された自動識別技術（ＡＩＴ）方法を使用せずに、これらのアセットのすべてを識別することができる。

ここで図面を詳細に参照する。本発明の実施形態は、図１に示す航空機の製造及び保守方法１００、及び図２に示す航空機２００に照らして説明することができる。製造前の段階では、航空機の製造及び保守方法１００は、航空機２００の仕様及び設計１０２及び材料の調達１０４を含みうる。

製造段階では、航空機２００の、コンポーネント及びサブアセンブリの製造１０６と、システムインテグレーション１０８とが行われる。その後、航空機２００は、認可及び納品１１０を経て運航１１２される。顧客により運航される間に、航空機２００は定期的な整備及び保守１１４（改造、再構成、改修なども含みうる）を受ける。

航空機の製造及び保守方法１００の各プロセスは、システムインテグレーター、第三者、及び／又はオペレーター（例えば顧客）によって実施又は実行されうる。本明細書の目的のために、システムインテグレーターは、限定しないが、任意の数の航空機製造者、及び主要システムの下請業者を含むことができ、第三者は、例えば、限定しないが、任意の数のベンダー、下請業者、及び供給業者を含むことができ、オペレーターは、航空会社、リース会社、軍事団体、サービス機関などでありうる。

図２に示されるように、航空機の製造及び保守方法１００によって製造された航空機２００は、複数のシステム２０４及び内装２０６を有する機体２０２を含みうる。システム２０４の例は、推進システム２０８、電気システム２１０、油圧システム２１２、及び環境システム２１４のうちの一又は複数を含む。この例には任意の数の他のシステムが含まれてもよい。航空宇宙産業の例を示したが、本発明の原理は、自動車産業などの他の産業にも適用しうる。

本明細書で具現化した装置及び方法は、航空機の製造及び保守方法１００の一又は複数の段階で使用可能である。例えば、限定しないが、コンポーネント及びサブアセンブリの製造１０６に対応するコンポーネント又はサブアセンブリは、航空機２００の運航中に製造されるコンポーネント又はサブアセンブリと同様の方法で作製又は製造されうる。

また、一又は複数の装置の実施形態、方法の実施形態、又はこれらの組み合わせは、例えば、限定しないが、航空機２００の組立てを実質的に効率化するか、又は航空機２００のコストを削減することにより、コンポーネント及びサブアセンブリの製造１０６及びシステムインテグレーション１０８の段階で利用することができる。同様に、装置の実施形態、方法の実施形態、又はこれらの組み合わせのうちの一又は複数は、航空機２００の運行中に、例えば、整備及び保守１１４に限定されずに利用することができ、システムインテグレーション１０８及び／又は整備及び保守１１４の段階で、部品が互いに結合されているか及び／又は一致しているかを判断するために、利用することができる。

上述した種々の有利な実施形態の説明は、例示及び説明を目的とするものであり、完全な説明であること、又はこれらの実施形態を開示された形態に限定することを意図していない。各実施形態は異なる利点を提供しており、当業者には、多数の修正例及び変形例が明らかであろう。選択された一又は複数の実施形態は、実施形態の原理、実際の用途を最もよく説明するため、及び他の当業者に対し、様々な実施形態の開示内容と、考慮される特定の用途に適した様々な修正との理解を促すために選択及び記述されている。

次に図３を参照する。図３は、例示的な一実施形態によるデータ処理システムを示している。この実施例では、データ処理システム３００は通信ファブリック３０２を含み、この通信ファブリックはプロセッサユニット３０４、メモリ３０６、固定記憶域３０８、通信ユニット３１０、入出力（Ｉ／Ｏ）ユニット３１２、及びディスプレイ３１４の間の通信を行う。

プロセッサユニット３０４は、メモリ３０６にローディングされるソフトウェアに対する命令を実行するように働く。プロセッサユニット３０４は、特定の実装態様に応じて、一又は複数のプロセッサの組か、或いはマルチプロセッサコアとすることができる。さらに、プロセッサユニット３０４は、単一のチップ上に主要プロセッサと共に二次プロセッサが存在する一又は複数の異種プロセッサシステムを使用して実施してもよい。別の実施例として、プロセッサユニット３０４は、同種のプロセッサを複数個含む対称型マルチプロセッサシステムである。

メモリ３０６及び固定記憶域３０８は記憶装置の例である。記憶装置は、一時的及び／又は永続的に情報を保存することが可能な任意のハードウェア部分である。このような実施例では、メモリ３０６は、例えば、限定しないが、ランダムアクセスメモリ又は他の好適な揮発性又は不揮発性の記憶装置であってもよい。固定記憶域３０８は、特定の実装態様に応じて様々な形態をとることができる。例えば、限定しないが、固定記憶域３０８は一又は複数のコンポーネント又はデバイスを含みうる。例えば、固定記憶域３０８は、ハードドライブ、フラッシュメモリ、書換え形光ディスク、書換え可能磁気テープ、又はそれらの何らかの組み合わせである。固定記憶域３０８によって使用される媒体は、取り外し可能なものでもよい。例えば、限定しないが、取り外し可能なハードドライブは固定記憶域３０８に使用することができる。

このような実施例では、通信ユニット３１０は、他のデータ処理システム又はデバイスとの通信を行う。このような実施例では、通信ユニット３１０はネットワークインターフェースカードである。通信ユニット３１０は、物理的通信リンク及び無線の通信リンクの一方又は両方を使用することによって通信することができる。

入出力ユニット３１２により、データ処理システム３００に接続可能な他のデバイスによるデータの入力及び出力が可能になる。例えば、限定しないが、入出力ユニット３１２はキーボード及びマウスによるユーザー入力のための接続を提供しうる。さらに、入出力ユニット３１２は、プリンタに出力を送ることができる。ディスプレイ３１４は、ユーザに対して情報を表示する機構を提供する。

オペレーティングシステム及びアプリケーション又はプログラムのための命令は、固定記憶域３０８に位置している。これらの命令は、メモリ３０６にローディングされてプロセッサユニット３０４によって実行される。メモリ３０６のようなメモリに位置させることができるコンピュータで実施可能な命令を使用して、プロセッサユニット３０４により様々な実施形態のプロセスを実行することができる。このような命令はプログラムコード、コンピュータで使用可能なプログラムコード、又はコンピュータで読込可能なプログラムコードと呼ばれ、プロセッサユニット３０４に含まれる１つのプロセッサによって読み取られて実行される。異なる実施形態のプログラムコードは、メモリ３０６又は固定記憶域３０８など、物理的な又は有形の、様々なコンピュータで読込可能な媒体上に具現化することができる。

プログラムコード３１６は、選択的に取り外し可能なコンピュータで読込可能な媒体３１８上に機能的な形態で位置し、データ処理システム３００にローディング又は転送されて、プロセッサユニット３０４によって実行される。プログラムコード３１６及びコンピュータで読込可能な媒体３１８は、このような実施例ではコンピュータプログラム製品３２０を形成する。一実施例では、コンピュータで読込可能な媒体３１８は、例えば、記憶装置（例えば、固定記憶域３０８の一部であるハードドライブ）上への転送のために、ドライブ又は固定記憶域３０８の一部である他のデバイスに挿入又は配置される光ディスク又は磁気ディスクのような有形の形態をとることができる。有形の形態では、コンピュータで読込可能な媒体３１８は、データ処理システム３００に接続されている固定記憶域（例えば、ハードドライブ、サムドライブ、又はフラッシュメモリ）の形態もとりうる。コンピュータで読込可能な媒体３１８の有形形態は、コンピュータで記録可能な記憶媒体とも呼ばれる。場合によっては、コンピュータで読込可能な媒体３１８は取り外し可能でなくともよい。

別の態様では、プログラムコード３１６は、通信ユニット３１０との通信リンク及び／又は入出力ユニット３１２との接続によって、コンピュータで読込可能な媒体３１８からデータ処理システム３００に転送することができる。このような実施例では、通信リンク及び／又は接続は物理的なものでもよく、無線でもよい。コンピュータで読込可能な媒体は、通信リンク又はプログラムコードを含む無線送信といった非有形の媒体の形態をとることもできる。

幾つかの例示的な実施形態では、プログラムコード３１６は、データ処理システム３００内で使用するため、他のデバイス又はデータ処理システムから、ネットワークを介して固定記憶域３０８へダウンロードすることができる。例えば、サーバデータ処理システムのコンピュータで読込可能な記憶媒体に格納されたプログラムコードは、ネットワークを介してサーバからデータ処理システム３００にダウンロードすることができる。プログラムコード３１６を提供するデータ処理システムは、サーバコンピュータ、クライアントコンピュータ、又はグラムコード３１６を格納及び転送することができる他の何らかのデバイスであってもよい。

データ処理システム３００に例示されている種々のコンポーネントは、種々の実施形態を実施できる方式をアーキテクチャ的に制限するものではない。異なる例示的実施形態が、データ処理システム３００について示されているコンポーネントに追加的又は代替的なコンポーネントを含むデータ処理システムにおいて実施されうる。図３に示す他のコンポーネントは、図示の実施例から変更することができる。

一実施例では、データ処理システム３００の記憶装置は、データを格納できる任意のハードウェア装置である。メモリ３０６、固定記憶域３０８、及びコンピュータで読込可能な媒体３１８は、有形形態の記憶装置の例である。

別の実施例では、バスシステムは、通信ファブリック３０２を実施するために使用することができ、システムバス又は入出力バスといった一又は複数のバスから構成することができる。言うまでもなく、バスシステムは、バスシステムに取り付けられた種々のコンポーネント又はデバイスの間でのデータ伝送を行う任意の適切な種類のアーキテクチャを使用して実施することができる。加えて、通信ユニットは、モデム又はネットワークアダプタといったデータの送受信に使用される一又は複数のデバイスを含むことができる。さらに、メモリは、例えば、限定しないが、通信ファブリック３０２中に存在しうるインターフェース及びメモリコントローラハブにみられるような、メモリ３０６又はキャッシュであってもよい。

上述のデータ処理システム３００は、処理システムの一実施例である。このようなデータ処理システムは、サーバとして動作させることができる。複数のこのようなデータ処理システムが、サーバとして構成されて、ネットワークを形成するように相互接続されてもよい。このようなネットワークを使用することで、ネットワークを構成する個々のコンピュータシステム（サーバ）間で情報を共有することができる。図４はこのようなネットワークの一実施例である。具体的には、図４は、アセットの光画像の取得とそれに続く識別に利用可能な光画像の取得及び識別ネットワーク４００を示している。

光画像取得及び識別ネットワーク４００は、循環部品４０４の画像を取得するように動作可能で、さらにはその画像を表わすデータを格納するようにプログラムされた画像取得装置４０２を含む。画像取得装置４０２は、例えば有線又は無線のネットワーク接続により、アセットの画像を表わすデータをサーバ４１０に供給する。サーバ４１０は、本明細書においてさらに説明するように、画像が取得された部品の識別に有用な技術的文献の三次元データベースを含みうる。例えば、サーバ４１０は、循環部品４０４の画像を表わすデータを、三次元データベース内の、複数の循環アセットを表わすデータと比較するようにプログラムされている。サーバ４１０は、循環部品４０４を取り除いたプラットフォームの三次元構成データを含むサーバ４２０に通信可能に連結されている。循環部品４０４がプラットフォームから取り除かれたことを学習すると、サーバ４１０による画像データと三次元データベースデータとのマッチングにより、サーバ４２０は構成データベースを更新して、画像が取得されたアセットがもはやプラットフォーム内には存在しないことを示す。循環部品４０４の交換アセットがプラットフォームに取り付けられると、同様のプロセスが行われる。

サーバ４３０は少なくともサーバ４２０に通信可能に連結されている。サーバ４３０は、画像が取得されたアセットに関連付けられた在庫管理データを含み、種々のプラットフォームに関連付けられる種々の循環部品の位置を示すデータを維持する。本明細書において示されるように、循環部品４０４は、任意の数の顧客の任意の数のプラットフォームにまたがる利用例を有しており、このような循環部品の位置を維持することは有効な運用を行うために重要である。図４に示すように、サーバ４３０は、本明細書の他の部分に記載するように動作する少なくとも資材管理システム４４０に通信可能にも連結されている。

画像取得装置４０２は、例えば、ハンドヘルドリーダのカメラ、又は従来のコンピュータ（形態式又は固定式）にインターフェース接続されたカメラである。どちらの構成であっても、アセット４０４が配布されると、画像取得装置４０２はこの部品の写真を撮り（画像を取得し）、部品の画像を表すデータと、サーバ４１０上の技術文献データベース内に格納された三次元部品画像を表わすデータとを比較する部品識別アルゴリズムを実行する。このような画像比較により、種々の部品図面を表わすデータとの比較に基づいてアセットが識別され、資材管理システム４４０に対して、在庫からアセットが取り除かれたことが通知される。一実施形態では、このアセットに関連付けられた部品番号情報が利用可能であり、オペレータが多数の同一のアセットのうちのどれが在庫から取り除かれたのかを入力することができる場合、部品番号情報がドロップダウンソフトウェアメニューに入力される。別の実施形態では、アセット４０４は、アルファベットによる識別を有する永久的名札を含むことができる。名札の画像を含む取得画像を、部品識別アルゴリズムが呼び出した光学的文字認識（ＯＣＲ）プログラムに使用することにより、部品４０４を識別することができる。

画像取得装置４０２の種々の実施形態の例について以下に説明する。例えば、特定の無線周波数識別ハンドヘルドリーダは、ＲＦＩＤ及びバーコードをを読み取ると共に、撮像能及び無線能を提供することができる。このようなポータブルリーダは基本的に小型のポータブルコンピュータであるので、一実施形態では、ポータブルリーダは、上述のような画像マッチングアプリケーションを実行するようにプログラムされる。代替え的な一実施形態では、例えば、航空会社の整備用ラップトップに小型の安価なカメラがはめ込まれて、画像マッチングアプリケーションを実行するようにプログラムされる。また別の代替え的実施形態では、固定式のデスクトップコンピュータは近くに装着されるカメラとを組み合わせられて、画像マッチングアプリケーションを実行するようにプログラムされる。当業者であれば、各実施形態が利用されうるアプリケーションを認識するであろう。例えば、一実施形態では、固定式コンピュータを利用することにより、アセットの正確な位置データを供給するために、アセットが倉庫の中間地点を通過するときにアセットを撮像することができる。

アセット画像が取得された位置は重要である。一実施形態では、位置は、ハンドヘルド及びその他のポータブル処理装置を含む多くのデバイスで利用可能なＧＰＳ参照能に基づいて外挿される。このような一実施形態では、ＧＰＳデータは、追跡されているアセットの画像を取得したコンピュータに手入力されるか、或いは、画像取得装置がＧＰＳ参照能を有する場合は、このようなデバイスが自動的にＧＰＳデータ（例えば、アセットの物理的位置）を資材管理システムに入力するようにプログラムされる。画像取得装置が固定式である場合、ＧＰＳデータを、画像取得装置に関連付けられたコンピュータのメモリに格納し、取得されたアセット画像を表わすデータに自動的に関連付けることができる。このような実施形態では、位置（ＧＰＳ）データは識別データと共に転送される。

ポータブル撮像装置に関して、航空会社の整備員が、損傷が疑われるか又は整備が予定されているアセットを取り除いて、交換用アセットを航空機に取り付ける場合を考える。取り除かれたアセットは取り外した時点で撮像される。交換アセットは、在庫から取り出された時点で撮像される。アセット種類の識別時、取り除かれたアセットに部品番号情報が利用可能である場合には、例えば、ドロップダウンメニューにより、部品番号情報がポータブルコンピューティング装置に入力される。

航空会社が無線技術を備えていることにより、画像取得装置４０２が、例えば無線通信によりサーバ４１０と通信可能である場合、アセットの除去及び交換情報（アセット画像を表わすデータ、アセットの識別情報、及びアセットの位置情報）がほぼ実時間でサーバ４１０にアップロードされる。加えて、航空機の構成は、ネットワーク通信を介して、サーバ４２０において、交換アセットに関連付けられた情報で更新される。アセット在庫管理に関連する情報も、サーバ４３０に供給される。この場合も、このようなデータは、遠隔画像取得及び識別装置４０２を用いることにより、モデム４１２によって表される無線インターフェースを介してサーバ４１０にアップロード可能である。無線インターフェースが利用可能でない場合、整備が完了してポータブルコンピュータ／画像取得装置がドッキングされてサーバ４１０と有線により通信可能となったとき、航空機の構成を更新することができる。

引き続き図４を参照すると、一実施形態では、アセットの画像が取得された後、画像データは、ネットワーク又はインターネット接続を介し、サーバ４１０に関連付けられた処理装置上で実行される識別アルゴリズムを使用して、例えばサーバ４１０に格納されている三次元技術文献データベースに含まれる三次元画像と比較及びマッチングされる。具体的には、且つ一実施形態では、取得された画像と、サーバ４１０又は他の記憶領域内部の技術文献データベースとの両方に含まれるアセットの固有のフィーチャを識別するために、モデルに基づくアルゴリズムが利用される。部品が識別されると、プラットフォーム（例えば、航空機）の三次元構成が、新規の部品情報（アセットの部品番号及びシリアル番号の一又は複数）で更新されて、構成データサーバ４２０内に格納される。次いで、取り除かれたアセットの「修理中」のデータ、及び交換アセットに関連付けられたデータが、在庫管理機能（例えば、サーバ４３０）及び資材管理システム（例えば、サーバ４４０）に転送されて、それらに対応するデータベースが更新される。別々のサーバとして説明及び図示したが、サーバ４１０、４２０、４３０、及び資材管理システム４４０は、四つ未満のマシンからなる種々の構成に組み合わせてもよい。

資材管理システム４４０データベースを更新することにより、資材管理システム４４０は、顧客の航空会社の備蓄インベントリにおいて交換アセットが一つ減ったことを認知することができる。資材管理システム４４０が備蓄交換アセットを発注するように動作することで、従来の資材管理システムを用いることで生じるターンアラウンドタイムを短縮することも考えられるであろう。図４に示すように、航空会社の顧客データのセキュリティを守るために、図４のシステム４００には、ネットワーク４００内に戦略的に配置された一又は複数のファイヤウォール４５０を組み込むことができる。別の構成では、サーバ間のデータ転送に適切な暗号化技術が使用される。

光学的アセット識別及び追跡により、資材管理システムは、取り除かれたアセット（循環部品４０４）を追跡することができる。このようなアセットは、倉庫及びロジスティックスシステムにおいて以降「修理中」のアセットと呼ばれる。一実施例では、倉庫及びロジスティックスシステムは航空会社などの顧客に帰属する。これについては図５のアセット追跡システム５００によりさらに説明する。

先述のように、取り除かれた循環アセット４０４は、利用されているプラットフォームから除去される時に撮像されて識別される。このプロセスの完了後、循環アセット（このとき「修理中」であるアセット）４０４は、任意の数の倉庫の指定中間地点（図５の５０２及び５０４）を通過して、最終的にアセット供給業者又は第三者のアセット修理工場に発送されるためにコンテナ５１０に入れられる。図４に関して記載したアセット識別プロセスと同様に、アセット識別及びアセット位置データは、モデム５２０及び５２２によって表されるネットワーク又はインターネットを介して在庫管理サーバ４３０と資材管理システム４４０とに転送される。

一実施形態では、「修理中」のアセットがコンテナ５１０内に箱詰めされたら、取得したアセット画像に包装ラベルを関連付ける。知られているように、包装ラベルには、バーコード、無線周波数識別タグ、又はその他の自動識別技術（ＡＩＴ）を含めることができる。上記の図面に関して記載した撮像技術は、アセット追跡システム６００を示す図６で後述するアセット追跡技術と互換性があり、且つ図６の追跡技術から独立している。

箱詰めされた修理アセットは、例えば顧客の受け渡し場所６１０及び税関６２０を通り、最終的に最終目的地（例えば、アセット４０４が最終的にコンテナ５１０から取り出される供給業者の受け渡し場所６３０）に到着するまで、既存のロジスティックス追跡方法を用いて供給業者又は修理工場まで追跡される。途中の各地点において、アセット４０４に関連付けられた包装ラベルは例えばスキャンされ、包装ラベルに関連付けられたアセットに関するデータが資材管理システム４４０に送られる。このようなデータは、モデム６２０、６２２、６２４によって示されるネットワーク又はインターネットインターフェースを介して送信され、資材管理システム４４０は少なくとも一つのファイアウォール６３０によって保護されている。

アセット４０４が、例えば供給業者の受け渡し場所６３０においてそのコンテナ５１０から取り出されるとき、アセットとその関連書類とが互いに対応していることを確認するために、循環アセット４０４は再び撮像される。修理済みアセットを最終的にはプラットフォーム上に再配置するために在庫に戻すときには、上述のプロセスに類似のプロセスが使用される。

システム４００、５００、及び６００を検討して分かるように、本明細書に記載の実施形態は、アセットに添加されるＲＦＩＤ又はバーコードのような自動識別技術（ＡＩＴ）を追加する必要なく、アセットの位置を自動的に識別及び追跡することができる。ここに記載するように、実施形態を使用して、アセット自体の固有の視覚的フィーチャのみに基づいてアセットが識別される。

図７は、上記のシステム構成を用いた予備部品循環（例えば、アセット）追跡プロセスをさらに示すフロー図である。最終用途であるプラットフォームからアセットを取り除く（例えば、航空機から循環アセットを取り除く）という観点から記載されているが、フロー図７００に示されるアセット追跡イベントの、全部ではないとしても大部分は、アセットの画像を取得することができるサプライチェーンのいずれの場所においても同じである。

ここでフロー図７００を詳細に参照する。プラットフォームから取り除かれるとき、アセットの画像が取得される７０２。次いで、取得した画像のフィーチャを、三次元アセットデータベースに格納されているアセットのフィーチャ（例えば、技術文献に見出されるもの）と比較することにより、アセットが識別される７０４。特定のアセットの部品番号が利用可能であるか又はアセット上にマークされているかどうかが決定される７０６。部品番号が利用できない場合、例えばアセットの供給業者に連絡することにより、循環部品リスト又は必要な番号リストを参照して部品番号を調べる７０８。

特定のアセットの部品番号が利用できるか又は実際のアセット上にマークされている場合、例えば、光学的アセット識別及び追跡アプリケーションのドロップダウンメニュー又は他のユーザインターフェースから特定のアセットの部品番号を選択することにより、この番号が記録される７１０。

部品位置データ入力が自動化されている場合７２０、現在のアセット位置はアセットに関連付けられて、最終的に三次元構成データベース及び在庫管理データベースのうちの一つ以上に記憶される。部品位置データ入力が自動化されていない場合７２２、現在のアセット位置は手入力された後でアセットに関連付けられる。画像取得装置の通信能に基づいて、例えば、画像取得装置が無線通信能を有する場合７３０、位置と特定のアセットの部品番号との関連付けを含む三次元構成情報が、上述のように一又は複数のサーバにアップロードされる７３２。無線通信能が利用できない場合は、取得装置が、例えばドッキングステーションにドッキングされるとき７３４にアップロードが行われ、その後ドッキングステーションにおいて、位置と特定のアセットの部品番号との関連付けを含む三次元構成情報が、上述のように一又は複数のサーバにアップロードされる。

先述の説明から分かるように、光学的識別アルゴリズムを利用して、特定のアセット画像が正確なアセット部品番号に関連付けられ、ユーザによって規定された二次元又は三次元のターゲットに基づいて追跡シナリオが生成される。特定のアセットの外観に関する光学的識別アルゴリズムを訓練するために、一実施形態では、アセットのワイヤーフレームメッシュ表現がローディングされ、次いで、カメラが供給したアセットの画像にユーザによって合わせられる。次いで、ソフトウェアは、画像を取得して、それをワイヤーフレームに貼付することにより、将来部品を識別するために使用される「キーフレーム」を生成する。

カメラの視野内においてアセットを正確に識別するために、システムは、到来する映像の各フレーム内の「特徴点」を検索し、検索アルゴリズムを用いて任意のキーフレームに対応する正確な位置及びパターンを検索する。キーフレームに対応する位置において十分な数の特徴点が見つかると、一致宣言が行われる。

航空機に関係するサービスに従事する会社、整備修理機関、又は航空会社はいずれも、記載の実施形態を用いることにより恩恵を受けるであろう。航空宇宙産業の観点から説明したが、このようなシステム及び方法は、プラットフォーム内部で利用するために固有の特定アセットを追跡するあらゆる事業において、航空宇宙産業以外でも受け入れ可能であると考えられる。余分な部品の初期費用、在庫管理費、及び備蓄費用を含む在庫過剰のコストが回避される。

本明細書に記載の実施形態を航空宇宙の分野において使用することは、予備部品循環アセットの可視性を保証し、航空機地上滞留（ＡＯＧ）時間を短縮する助けとなり、顧客である航空会社の貴重な時間とお金を節約する。紛失したアセットを探して従業員が時間を無駄にすることがないので、有意な時間とリソースが節約される。加えて、在庫会計の精度が上がることにより、不要な購入、配送及びサプライチェーンコストが減少する。

本明細書では、ベストモードを含む様々な実施形態を開示する実施例を使用しているため、当業者は任意の機器やシステムの作製ならびに使用、及び組込まれた任意の方法の実施を含め、これらの実施形態を実行することができる。特許可能な範囲は、特許請求の範囲によって定義されており、当業者であれば想起する他の実施例も含みうる。このような他の実施例は、それらが特許請求の範囲の文字言語から逸脱しない構造要素を有する場合、あるいは、それらが特許請求の範囲の文字言語との有意でない相違を有する等価な構造要素を含んでいる場合は、特許請求の範囲に含まれる。
また、本願は以下に記載する態様を含む。
（態様１）
プラットフォームに関連付けられるアセットの管理方法であって、
プラットフォームに関連付けられるアセットの光画像を受け取ることと、
光学的識別プログラムを使用して、前記アセットの光画像を、アセットの画像のライブラリ内のアセットの画像と比較することにより、アセットを識別することと、
識別されたアセットに位置を割り当てることと、
前記アセットの識別と位置とに基づいて、アセットインベントリ及びプラットフォーム構成の一つ以上を含むデータベースを更新することと
を含む方法。
（態様２）
アセットが、同種の複数のアセットのうちの一つであり、前記方法が、同種の複数のアセットのうちの特定のアセットを示す指標を含むデータをユーザインターフェースに入力することにより、アセットを識別することをさらに含む、態様１に記載の方法。
（態様３）
特定のアセットを示す指標の入力が、シリアル番号及び部品番号のうちの少なくとも一つを含む、態様２に記載の方法。
（態様４）
アセットの光画像をアセット画像のライブラリ内のアセットの画像と比較することが、モデルに基づくアルゴリズムを使用してアセットの固有のフィーチャを識別することを含む、態様１に記載の方法。
（態様６）
識別されたアセットに位置を割り当てることが、
アセットの画像を取得した装置内部におけるＧＰＳ参照から、識別されたアセットの位置を外挿すること、
アセットの画像を取得したデバイスに関連付けられたユーザインターフェースに位置を手入力すること、及び
固定位置にある撮像デバイスから受け取った画像について、識別されたアセットの位置をデータベースに自動入力すること
のうちの少なくとも一つを含む、態様１に記載の方法。
（態様７）
前記受け取ること、前記比較すること、及び前記割り当てることを、アセットに関連付けられた複数の位置で行うことにより、アセットの正確な位置データを維持する、態様１に記載の方法。
（態様８）
前記複数の位置には、倉庫内の中間地点、アセット修理工場、アセットのサプライビン、及びアセットのペイロード配置プラットフォームのうちの少なくとも一つが含まれる、態様７に記載の方法。
（態様９）
アセットの位置データを使用して、少なくとも一つの交換アセットの発注を開始することをさらに含む、態様１に記載の方法。
（態様１０）
アセットの位置データを、位置と位置との間でのアセットの配送に使用される自動化情報技術と相関させることをさらに含む、態様１に記載の方法。
（態様１１）
一又は複数のプラットフォームに関連付けられる循環アセットの識別及び位置追跡のためのシステムであって、
循環アセットの光画像を表わすデータを生成する画像取得装置と、
複数の循環アセットの三次元図面を表わすデータを含むデータベースと、
前記循環アセットの光画像を表わすデータを、前記複数の循環アセットのうちの一つの三次元図面を表わすデータと関連付けることにより、画像が取得された循環アセットを識別するようにプログラムされた少なくとも一つの処理装置と
を備えるシステム。
（態様１２）
前記少なくとも一つの処理装置が、前記循環アセットの光画像を表わすデータに位置を関連付けるようにプログラムされている、態様１１に記載のシステム。
（態様１３）
前記画像取得装置及び前記少なくとも一つの処理装置のうちの少なくとも一つが、ＧＰＳ参照能を有しており、前記少なくとも一つの処理装置がＧＰＳ位置を前記循環アセットの光画像を表わすデータに関連付けるようにプログラムされている、態様１１に記載のシステム。
（態様１４）
前記少なくとも一つの処理装置に通信可能に連結されたユーザインターフェースをさらに備えており、前記システムが、同種の複数のアセットの組について、前記ユーザインターフェースを介して前記同種の複数のアセットの組のうちの特定のアセットを表わす指標を含むデータを入力することができる、態様１１に記載のシステム。
（態様１５）
循環アセットの光画像を表わすデータに、複数の循環アセットのうちの一つの三次元図面を表わすデータを関連付けるために、前記処理装置が、モデルに基づくアルゴリズムを使用して、循環アセットの光画像を表わすデータ及び複数の循環アセットの三次元図面を表わすデータに含まれる固有のフィーチャを識別するようにプログラムされている、態様１１に記載のシステム。
（態様１６）
循環アセットの識別方法であって、
アセットの光画像を取得することと、
前記光画像を、取得された光画像を表わすデータとしてコンピュータメモリに格納することと、
光学的認識プログラムを使用して、前記取得された光画像を表わすデータを、アセット画像のライブラリを表わすデータと比較することにより、アセットを識別することと
を含む方法。
（態様１７）
前記比較することによりアセット種類が識別され、前記方法は、識別された種類のうちの特定のアセットを表わす指標を含むデータをユーザインターフェースに入力することをさらに含む、態様１６に記載の方法。
（態様１８）
前記取得された光画像を表わすデータを、アセット画像のライブラリを表わすデータと比較することが、前記取得された光画像を表わすデータを、三次元図面を表わすデータと比較することを含む、態様１６に記載の方法。

Claims

プラットフォームに関連付けられるアセットの管理方法であって、
処理装置が、プラットフォームに関連付けられるアセットの光画像を受け取り、
前記処理装置が、光学的識別プログラムを使用して、前記アセットの光画像を、データベース（４１０、４２０）が有するアセット画像ライブラリ内のアセットの画像と比較することにより、前記アセットを識別し、
前記処理装置が、前記処理装置内部におけるＧＰＳ参照から、前記識別されたアセットの位置を推定することにより、前記識別されたアセットに位置を割り当て、
サーバが、前記処理装置から転送される前記アセットの識別と位置とに基づいて、アセットインベントリ及びプラットフォーム構成の一つ以上を含むデータベース（４３０、４４０）を更新することを含む方法。
前記アセットが、同種の複数のアセットのうちの一つであり、前記方法が、
ユーザインターフェースが、同種の複数のアセットのうちの特定のアセットを示す指標を含むデータを受け取り、前記特定のアセットを示す指標を含むデータが、シリアル番号及び部品番号のうちの少なくとも一つを含み、
前記処理装置が、モデルに基づくアルゴリズムを使用して前記アセットの固有のフィーチャを識別することをさらに含む、請求項１に記載の方法。
前記識別されたアセットに位置を割り当てることが、
固定位置にある撮像デバイスから受け取った画像について、前記識別されたアセットの位置をデータベース（４３０、４４０）に自動入力することを含む、請求項１または２に記載の方法。
前記処理装置が、前記アセットに関連付けられた複数の位置に配置されることにより、前記アセットの正確な位置データを維持し、
前記複数の位置には、倉庫内の中間地点（５０２、５０４）、アセット修理工場、アセットのサプライビン、及びアセットの配置プラットフォームのうちの少なくとも一つが含まれる、請求項１から３の何れか一項に記載の方法。
資材管理システムが、アセットの位置データを使用して、少なくとも一つの交換アセットの発注を開始し、
前記処理装置が、アセットの位置データを、位置と位置との間での前記アセットの配送に使用される自動化情報技術と相関させることをさらに含み、
前記処理装置が前記比較することが、アセットの種類の識別を提供し、
前記処理装置が、前記取得された光画像を表わすデータを、アセット画像のライブラリを表わすデータと比較することが、前記取得された光画像を表わすデータを、三次元図面を表わすデータと比較することを含む、請求項１から４のいずれか一項に記載された方法。
前記処理装置が、前記アセットの光画像を取得し、
前記処理装置が、前記光画像を、取得された光画像を表わすデータとしてコンピュータメモリに格納することをさらに含み、
前記アセットは、循環アセットである、請求項１から５のいずれか一項に記載された方法。
一又は複数のプラットフォームに関連付けられる循環アセットの識別及び位置追跡のためのシステムであって、
循環アセットの光画像を表わすデータを生成する画像取得装置を含む、少なくとも一つの処理装置と、
複数の循環アセットの三次元図面を表わすデータを含むデータベース（４１０、４２０）と、を備え、
前記少なくとも一つの処理装置が、循環アセットの光画像を表わす前記データを、前記複数の循環アセットのうちの一つの三次元図面を表わすデータと関連付けることにより、画像が取得された前記循環アセットを識別するようにプログラムされていて、
前記少なくとも一つの処理装置が、ＧＰＳ参照能を有しており、ＧＰＳ位置を前記循環アセットの光画像を表わすデータに関連付けるようにプログラムされている、
システム。
前記少なくとも一つの処理装置に通信可能に連結されたユーザインターフェースをさらに備えており、前記システムが、同種の複数のアセットの組について、前記ユーザインターフェースを介して前記同種の複数のアセットの組のうちの特定のアセットを表わす指標を含むデータを入力することができる、請求項７に記載のシステム。
循環アセットの光画像を表わすデータに、前記複数の循環アセットのうちの一つの三次元図面を表わすデータを関連付けるために、前記処理装置が、モデルに基づくアルゴリズムを使用して、循環アセットの光画像を表わす前記データ及び前記複数の循環アセットの三次元図面を表わす前記データに含まれる固有のフィーチャを識別するようにプログラムされている、請求項７に記載のシステム。