JP5364188B2 - Non-line-of-sight reverse engineering for structural and system changes - Google Patents

Non-line-of-sight reverse engineering for structural and system changes Download PDF

Info

Publication number
JP5364188B2
JP5364188B2 JP2012185423A JP2012185423A JP5364188B2 JP 5364188 B2 JP5364188 B2 JP 5364188B2 JP 2012185423 A JP2012185423 A JP 2012185423A JP 2012185423 A JP2012185423 A JP 2012185423A JP 5364188 B2 JP5364188 B2 JP 5364188B2
Authority
JP
Japan
Prior art keywords
data
aircraft
computing
panorama
hidden
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012185423A
Other languages
English (en)
Other versions
JP2013030170A (ja
Inventor
ジョージサン,ゲアリー・イー
サファイ,モルテッツァ
エドワーズ,ウィリアム・ティ
Original Assignee
ザ・ボーイング・カンパニーThe Boeing Company
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US11/352,118 priority Critical
Priority to US11/352,118 priority patent/US7649976B2/en
Application filed by ザ・ボーイング・カンパニーThe Boeing Company filed Critical ザ・ボーイング・カンパニーThe Boeing Company
Publication of JP2013030170A publication Critical patent/JP2013030170A/ja
Application granted granted Critical
Publication of JP5364188B2 publication Critical patent/JP5364188B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01NINVESTIGATING OR ANALYSING MATERIALS BY DETERMINING THEIR CHEMICAL OR PHYSICAL PROPERTIES
    • G01N23/00Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00
    • G01N23/20Investigating or analysing materials by the use of wave or particle radiation, e.g. X-rays or neutrons, not covered by groups G01N3/00 – G01N17/00, G01N21/00 or G01N22/00 by using diffraction of the radiation by the materials, e.g. for investigating crystal structure; by using scattering of the radiation by the materials, e.g. for investigating non-crystalline materials; by using reflection of the radiation by the materials
    • G01N23/203Measuring back scattering

Description

発明の背景
この発明は、構造および/またはシステムの変更の設計の前段階として構造および/またはシステムの物理的寸法および構成を測定することに関し、特に、X線後方散乱技術を利用して隠れた物体を分析することによって構造および/またはシステムの物理的寸法および構成を測定することに関する。
BACKGROUND OF THE INVENTION This invention relates to measuring the physical dimensions and configuration of structures and / or systems as a preliminary step in the design of structural and / or system changes, and in particular hidden using X-ray backscatter technology. It relates to measuring the physical dimensions and configuration of structures and / or systems by analyzing objects.

構造および/またはシステム、特に軍用機および民間機の変更の巨大市場が存在する。変更設計者が直面する最大の課題は、航空機などの所与の構造および/またはシステムの幾何学的構成がはっきり分からないことである。しばしば、レガシーデータ(図面、計画、設備据付)は製品の現在の構成を測定するには不十分であるため、構造および/またはシステムに配置される新たなシステムを再設計するためには多大な費用がかかる。   There is a huge market for changing structures and / or systems, especially military and civilian aircraft. The biggest challenge faced by change designers is that the geometry of a given structure and / or system, such as an aircraft, is unclear. Often, legacy data (drawings, plans, equipment installations) is not sufficient to measure the current configuration of the product and is therefore a great deal to redesign a new system that is placed in the structure and / or system. It costs money.

航空機を変更するために構成を測定する従来の方法は、デジタル写真、パノラマカメラ、およびラインオブサイトリバースエンジニアリング(line of sight reverse engineering)技術を用いることであった。これらの方法は、航空機へのアクセスが限られている
ために問題を限定的にしか解決できていない。変更のための時間枠は比較的短い。現在、設計者は、構造および/またはシステムを部分的に分解できるのを待ってからでないと、隠れた物体の幾何学的構成のラインオブサイトリバースエンジニアリング測定/確認を行うことができない。
The traditional method of measuring configuration to change aircraft has been to use digital photography, panoramic cameras, and line of sight reverse engineering techniques. These methods can only solve the problem limitedly due to limited access to the aircraft. The time frame for change is relatively short. Currently, the designer must wait for the structure and / or system to be partially disassembled before performing line-of-sight reverse engineering measurements / verifications of hidden object geometry.

このため、構造および/またはシステム内の隠れた物体の幾何学的規定データを収集する必要性は高い。非ラインオブサイトリバースエンジニアリング(non line of sight reverse engineering)方法を用いると、航空機の解体(interred)後に生じる現在のエン
ジニアリングリードタイムを大幅に減少させることができる。したがって、必要とされているのは、変更を設計する前に構造の一部を取外す必要のない、変更を設計する際に使用するための構造および/またはシステムの幾何学的構成を測定するための方法およびシステムである。
Thus, there is a high need to collect geometrically defined data for structures and / or hidden objects in the system. The use of non-line of sight reverse engineering methods can greatly reduce the current engineering lead time that occurs after the aircraft is deconstructed. Therefore, what is needed is to measure the structure and / or system geometry for use in designing a change without having to remove a portion of the structure before designing the change. Method and system.

本発明の要約
この発明の1つの局面においては、構造および/またはシステム内の隠れた物体を分析することによって構造および/またはシステムの変更の設計の前段階として構造および/またはシステムの物理的寸法および構成を測定する方法が提供される。この方法は、変更の準備のために変更の前に構造および/またはシステムにアクセスするステップと、X線後方散乱ユニットを用いて構造および/またはシステムを走査するステップと、X線後方散乱ユニットからデータを収集し、そのデータを組合せて2D、2Dパノラマおよび/または3Dデータセットに再構築するステップと、データセットから、隠れた物体の表面および構造を生成するステップと、隠れた物体の表面および構造を構造および/またはシステムの既存の座標系に結び付けて3Dモデルを作成するステップとを含む。
SUMMARY OF THE INVENTION In one aspect of the invention, the physical dimensions of a structure and / or system as a preliminary step in the design of structural and / or system changes by analyzing hidden objects in the structure and / or system. And a method for measuring configuration is provided. The method includes the steps of accessing the structure and / or system prior to the change in preparation for the change, scanning the structure and / or system with the X-ray backscatter unit, and from the X-ray backscatter unit. Collecting data and combining the data into a 2D, 2D panorama and / or 3D dataset, generating hidden object surfaces and structures from the data set, hidden object surfaces and Linking the structure to the structure and / or an existing coordinate system of the system to create a 3D model.

この発明の他の局面においては、変更のために構造および/またはシステム内の隠れた物体を分析するための検査システムが提供される。このシステムは、隠れた物体についてのデータを収集するためのX線後方散乱システムと、データを組合せて2D、2Dパノラマおよび/または3Dデータセットに再構築し、データセットから表面および構造を生成するための計算システムと、構造の物体および/またはシステムの表面を表示するための、計算システムに接続されるディスプレイとを含む。   In another aspect of the invention, an inspection system is provided for analyzing hidden objects in the structure and / or system for modification. This system combines an X-ray backscatter system to collect data about hidden objects and reconstructs the data into 2D, 2D panoramic and / or 3D datasets to generate surfaces and structures from the dataset And a display connected to the computing system for displaying structural objects and / or surfaces of the system.

本発明の性質を早く理解できるようにこの簡単な要約を提供した。添付の図面と関連した本発明の好ましい実施例の以下の詳細な説明を参照することによって、本発明のより完全な理解が得られ得る。   This brief summary has been provided so that the nature of the invention may be understood quickly. A more complete understanding of the present invention may be obtained by reference to the following detailed description of the preferred embodiment of the invention in connection with the accompanying drawings.

この発明の上記の特徴および他の特徴を、好ましい実施例の図面を参照して説明する。図面では、同一のコンポーネントは同一の参照番号を有する。例示される実施例は例示のためであり、本発明を限定するためではない。   The above and other features of the present invention will be described with reference to the drawings of a preferred embodiment. In the drawings, identical components have identical reference numerals. The illustrated embodiments are illustrative and not limiting of the invention.

好ましい実施例の詳細な説明
以下の詳細な説明は、本発明を実行するのに最善であると現在考えられるモードについてのものである。本発明の範囲は添付の請求項によって最もよく定義されるため、本説明は限定的に解釈されるべきではなく、単に本発明の一般原理を例示するためになされる。
Detailed Description of the Preferred Embodiments The following detailed description is for the mode currently considered best to carry out the present invention. Since the scope of the invention is best defined by the appended claims, this description should not be construed as limiting, but merely as exemplifications of the general principles of the invention.

この発明に従って、構造および/またはシステムの隠れた物体を分析することによって非ラインオブサイトリバースエンジニアリングを用いて構造および/またはシステムの物理的寸法および構成を測定する方法が提供される。この発明の方法は航空機を用いて実現されるが、当業者であれば、本明細書中で説明される原理および教示内容が、発電所、処理工場、精製所、ならびに自動車、船、ヘリコプター、および列車を含むがこれらに限定されない輸送システムなどの、隠れた物体を有するさまざまな構造および/またはシステムに適用され得ることを認識するであろう。   In accordance with the present invention, a method is provided for measuring the physical dimensions and configuration of a structure and / or system using non-line-of-sight reverse engineering by analyzing hidden objects of the structure and / or system. Although the method of the present invention is implemented using an aircraft, those skilled in the art will understand that the principles and teachings described herein can be found in power plants, processing plants, refineries, and automobiles, ships, helicopters, It will be appreciated that it can be applied to a variety of structures and / or systems with hidden objects, including but not limited to transportation systems.

図1を参照して、構造および/またはシステム102の隠れた物体を分析することによって非ラインオブサイトリバースエンジニアリングを用いて構造および/またはシステム102の物理的寸法および構成を測定する方法を用いるシステム100のブロック図が示される。システム100は従来のX線後方散乱技術を利用して、航空機などの構造および/またはシステム102の隠れた物体の2D、2Dパノラマおよび3D幾何学的情報を捕捉し、表示する。構造および/またはシステム102は、従来のX線後方散乱ユニットを用いて検査される。   Referring to FIG. 1, a system using a method of measuring physical dimensions and configuration of a structure and / or system 102 using non-line-of-sight reverse engineering by analyzing hidden objects of the structure and / or system 102 A block diagram of 100 is shown. System 100 utilizes conventional X-ray backscatter techniques to capture and display 2D, 2D panorama and 3D geometric information of structures such as aircraft and / or hidden objects of system 102. The structure and / or system 102 is inspected using a conventional X-ray backscatter unit.

X線後方散乱ユニットはX線を電子的に発生し、検査中の物体および/またはシステムから散乱したX線光子からデータ104を捕捉することによって物体および/またはシステムを調べ、医療用X線と同様の特徴的な影状の画像を生成する。技師はX線後方散乱ユニットを用いて、変更が予定されている航空機の内部を走査する。走査は、航空機の壁の後ろの隠れた物体を「見る」改良されたX線後方散乱機器を用いて航空機の内側または外側のいずれかからなされる。X線後方散乱機器は、構造および/またはシステムの内部、たとえば構造および/またはシステム内の設置通路を移動可能なように改良される。さらに、機器は、複数の画像を撮影して2D、2Dパノラマおよび/または3Dモデルを捕捉し得、かつ飛行機内の座席または他の物体を回避できるように1つよりも多くの位置を有し得るように改良される。(走査が内側からの場合、透過ビームは外板を貫通する必要がないため、X線エネルギはより低くてもよい。)正確な寸法および奥行き情報を補完するために、X線発射の領域内に既知の寸法および/または奥行きの基点が配置され得る。収集データを2D、2Dパノラマおよび/または3Dデータセットに再構築するためのパラメータとして、現行の構造および/またはシステム規定情報が用いられ得る。   The x-ray backscatter unit electronically generates x-rays and examines the object and / or system by capturing data 104 from x-ray photons scattered from the object and / or system under examination, A similar characteristic shadow image is generated. The technician uses an X-ray backscatter unit to scan the interior of the aircraft that is scheduled to be changed. Scans are made from either inside or outside the aircraft using an improved x-ray backscatter instrument that "sees" the hidden objects behind the aircraft walls. The x-ray backscatter instrument is modified to be movable within the structure and / or system, eg, an installation path within the structure and / or system. In addition, the device can take multiple images to capture 2D, 2D panoramas and / or 3D models, and has more than one position so that seats or other objects in the plane can be avoided. Improved to get. (If the scan is from the inside, the transmitted beam does not need to penetrate the skin, so the x-ray energy may be lower.) To complement accurate dimensional and depth information, within the region of the x-ray emission Can be placed with a known dimension and / or depth base. The current structure and / or system definition information may be used as parameters for reconstructing the collected data into 2D, 2D panorama and / or 3D datasets.

X線後方散乱ユニット(または「システム」)は、X線源が航空機の内側からX線を出射するように、航空機の内側に通路を敷設し、通路上にこのシステムを据えることによって利用され得る。X線のいくらかは後方散乱することになり、検出器は散乱したX線を捕らえ、パネルを外すことなく航空機の内部の画像を生成する。代替的に、航空機が十分に大きい場合は、X線後方散乱検査システムをバンなどの乗物内に配置し、乗物を航空機に直接乗り入れてもよい。   An X-ray backscatter unit (or “system”) can be utilized by laying a passage inside the aircraft and placing the system on the passage so that the X-ray source emits X-rays from the inside of the aircraft. . Some of the x-rays will be backscattered, and the detector will capture the scattered x-rays and produce an image of the interior of the aircraft without removing the panel. Alternatively, if the aircraft is sufficiently large, an x-ray backscatter inspection system may be placed in a vehicle such as a van and the vehicle may be boarded directly into the aircraft.

データ104は、航空機に沿った少なくとも1つの位置から、および航空機に対する少なくとも1つの向きから取られる。次にデータは、従来の2Dソフトウェア108を有する計算システム106に送られ、2Dソフトウェア108は、重ね合わせアルゴリズムを利用して航空機の物体の表面の投影2D画像を発生する。1つの代替肢では、従来の2Dソフトウェア108からの2D画像104が、従来の2Dパノラマ画像作成ソフトウェア108cを用いてともに繋ぎ合わされて、球形の没入型画像を作成する。代替的に、3D前処理ソフトウェア108aが、収集データ104と、3D点データを、隠れた物体を規定する3D表面にデジタル的に再構築する従来の3Dソフトウェア108bとから、構造および/またはシステムの3Dデータ点集合を構築する。最後に、発生されたデータはデータベース112に格納され、データ収集者が閲覧するため、モニタまたは液晶ディスプレイなどの表示装置110上に表示される。   Data 104 is taken from at least one location along the aircraft and from at least one orientation relative to the aircraft. The data is then sent to a computing system 106 having conventional 2D software 108, which uses a superposition algorithm to generate a projected 2D image of the surface of the aircraft object. In one alternative, 2D images 104 from conventional 2D software 108 are stitched together using conventional 2D panoramic image creation software 108c to create a spherical immersive image. Alternatively, 3D pre-processing software 108a may be configured and / or system-wide from the collected data 104 and conventional 3D software 108b that digitally reconstructs 3D point data onto a 3D surface defining a hidden object Build a 3D data point set. Finally, the generated data is stored in the database 112 and displayed on a display device 110 such as a monitor or liquid crystal display for viewing by the data collector.

典型的に、すべての物体および/またはシステムの相対的場所とともに航空機自体のケーブル布線、配線、配管および構造が表示される。散乱したX線からのエネルギ情報を用いて、材料種類(すなわちアルミニウム対プラスチック管)および場合によってはシステム内容(すなわち送水線対空気)さえも区別することもできる。   Typically, the aircraft's own cabling, wiring, piping and structure are displayed along with the relative locations of all objects and / or systems. Energy information from scattered x-rays can be used to distinguish between material types (ie aluminum vs. plastic tubes) and possibly even system contents (ie waterlines vs. air).

図2は、この発明の好ましい実施例において利用される典型的な計算システム106(ホストコンピュータまたはシステムとも称され得る)のブロック図を示す。計算システム106は、システムバス204Bに接続される中央処理装置(「CPU」)(またはマイクロプロセッサ)202を含む。ランダムアクセスメインメモリ(「RAM」)204がシステムバス204Bに結合され、CPU202に、発生された画像を格納するためのメモリ記憶装置206Aへのアクセスを与える。プログラム命令を実行する際、CPU202はそれらのプロセスステップをRAM204に格納し、RAM204から出た格納プロセスステップを実行する。 FIG. 2 shows a block diagram of an exemplary computing system 106 (which may also be referred to as a host computer or system) utilized in the preferred embodiment of the present invention. The computing system 106 includes a central processing unit (“CPU”) (or microprocessor) 202 that is connected to the system bus 204B. Random access main memory ("RAM") 204 is coupled to system bus 204B and provides CPU 202 access to memory storage 206A for storing generated images. When executing the program instructions, the CPU 202 stores these process steps in the RAM 204 and executes the storage process steps output from the RAM 204.

ホストシステム106は、ネットワークインターフェイス206を介して(およびネットワーク接続(図示せず)を通して)コンピュータネットワーク(図示せず)に接続する。1つのそのようなネットワークはインターネットであり、これは、ホストシステム106がアプリケーション、コード、文書および他の電子情報をダウンロードすることを可能にする。   Host system 106 connects to a computer network (not shown) via network interface 206 (and through a network connection (not shown)). One such network is the Internet, which allows the host system 106 to download applications, code, documents, and other electronic information.

起動命令シーケンスまたは基本入出力オペレーティングシステム(BIOS)シーケンスなどの不変命令シーケンスを格納するために、読出専用メモリ(「ROM」)208が設けられる。   A read only memory (“ROM”) 208 is provided for storing invariant instruction sequences, such as start-up instruction sequences or basic input / output operating system (BIOS) sequences.

入出力(「I/O」)装置インターフェイス204Aは、ホストシステム106が、たとえばキーボード、ポインティングデバイス(「マウス」)、モニタ、プリンタ、モデムなどのさまざまな入出力装置に接続することを可能にする。I/O装置インターフェイス204Aは簡略化のため単一のブロックとして示されているが、異なる種類のI/O装置とインターフェイス接続するための複数のインターフェイスを含み得る。
The input / output (“I / O”) device interface 204A allows the host system 106 to connect to various input / output devices such as a keyboard, pointing device (“mouse”), monitor, printer, modem, and the like. . I / O device interface 204A is shown as a single block for simplicity, but may include multiple interfaces for interfacing with different types of I / O devices.

本発明は図2に示される計算システム106のアーキテクチャに限定されないことに注目すべきである。応用/業務環境の種類に基づいて、計算システム106のコンポーネントはより多くても少なくてもよい。たとえば、計算システム106はセットトップボックス、ラップトップ型コンピュータ、ノートブック型コンピュータ、デスクトップシステムまたは他の種類のシステムであってもよい。   It should be noted that the present invention is not limited to the architecture of the computing system 106 shown in FIG. Depending on the type of application / business environment, the computing system 106 may have more or fewer components. For example, the computing system 106 may be a set-top box, laptop computer, notebook computer, desktop system, or other type of system.

図3を参照して、この発明の好ましい実施例に従った、航空機の隠れた物体を分析することによって非ラインオブサイトリバースエンジニアリングを用いて航空機の物理的寸法および構成を測定するステップを図示するフローチャートが示される。この方法は、X線後方散乱撮像される航空機へのアクセスが提供されるステップS300で始まる。ステップS302において、X線後方散乱ユニットを用いて航空機の壁および天井が走査される。典型的に、データ収集には1から5日間だけアクセスするだけでよい。データ収集の完了後、予定された変更まで航空機は運用に戻される。ステップS304においてデータが収集される。ステップS305における1つの代替肢では、従来の2Dソフトウェア108からの2D画像104が、PanoweaverおよびIpixなどの従来の2Dパノラマ画像作成ソフトウェア108cを用いてともに繋ぎ合わされて、球形の没入型画像を作成し得る。代替的に、ステップS306において、計算システム106内の3Dソフトウェア108aを用いて、収集データ104から構造および/またはシステムの3Dデータ点集合が構築される。   Referring to FIG. 3, the steps of measuring aircraft physical dimensions and configuration using non-line-of-sight reverse engineering by analyzing aircraft hidden objects according to a preferred embodiment of the present invention are illustrated. A flowchart is shown. The method begins at step S300 where access to an aircraft to be x-rayed backscattered is provided. In step S302, the walls and ceiling of the aircraft are scanned using the X-ray backscatter unit. Typically, data collection only needs to be accessed for 1 to 5 days. After data collection is complete, the aircraft will be put back into operation until the scheduled change. Data is collected in step S304. In one alternative in step S305, the 2D image 104 from the conventional 2D software 108 is stitched together using conventional 2D panoramic image creation software 108c such as Panoweaver and Ipix to create a spherical immersive image. obtain. Alternatively, in step S306, a 3D data point set of the structure and / or system is constructed from the collected data 104 using the 3D software 108a in the computing system 106.

次に、ステップS308において、たとえばInnovmetric PolyworksまたはRaindrop Geomagicなどの従来の3Dソフトウェア108bが、3D点データを、隠れた物体を規定する3D表面にデジタル的に再構築する。最後に、ステップS310において、3D表面が構造および/またはシステム基準座標系に変換される。発生された3D表面は次に、それらを他のモデルと組合せて複雑な構造および/またはシステムの3DのCADモデルを形成することによって、従来のエンジニアリングデータのように用いられ得る。設計技術者は隠れた構造の3Dモデルを用いて、ハードウェアおよびシステムの工程(routing)お
よび設置を計画する。いったん航空機が変更できるようになると、費用のかかる再設計を必要とせずに、壁および遮音/断熱材(insulation)が航空機から取外され、ハードウェアが最初に設計されたように設置される。モデルは、いずれかの将来の変更用にデータベースに保存される。
Next, in step S308, conventional 3D software 108b, such as, for example, Innovmetric Polyworks or Raindrop Geomagic, digitally reconstructs the 3D point data on the 3D surface defining the hidden object. Finally, in step S310, the 3D surface is converted to a structure and / or system reference coordinate system. The generated 3D surfaces can then be used like conventional engineering data by combining them with other models to form 3D CAD models of complex structures and / or systems. Design engineers use 3D models of hidden structures to plan hardware and system routing and installation. Once the aircraft can be modified, the walls and sound insulation / insulation are removed from the aircraft and installed as originally designed, without requiring costly redesign. The model is saved in the database for any future changes.

再構築後方散乱X線によって生成される3D画像はさまざまな方法で生成可能であり、これらの方法は、(1)いくつかの既知の向きから来る散乱したX線を収集するようにコリメータを向けること、(2)特定の方向から来るX線を登録するようにのみ平行化された複数の検出器を用いること、(3)フライングスポット検出器、(4)2D走査システム(AS&E z-backscatterシステムなど)をグレードアップして、光源および扇形コリメータが異なる方向に向いた状態で航空機の長さに沿って走査すること、ならびに(5)光源および扇形コリメータの向きを変化させつつ航空機に複数回照射すること(making multiple passes of the aircraft)を含むが、これらに限定されない。   The 3D images generated by the reconstructed backscattered X-rays can be generated in a variety of ways, these methods (1) direct the collimator to collect scattered X-rays coming from several known orientations (2) using multiple detectors parallelized only to register X-rays coming from a specific direction, (3) flying spot detector, (4) 2D scanning system (AS & E z-backscatter system) Etc.) to scan along the length of the aircraft with the light source and fan collimator pointing in different directions, and (5) irradiating the aircraft multiple times while changing the orientation of the light source and fan collimator Including but not limited to making multiple passes of the aircraft.

この発明を特定の実施例を参照して説明したが、これらの実施例は例示的なものに過ぎず限定的なものではない。この開示および以下の請求項に鑑みて、この発明の多くの他の適用例および実施例が明らかになるであろう。   Although the invention has been described with reference to particular embodiments, these embodiments are illustrative only and not limiting. Many other applications and embodiments of the invention will be apparent in light of this disclosure and the following claims.

この発明の1つの局面に従った、構造および/またはシステムの隠れた物体を分析することによって非ラインオブサイトリバースエンジニアリングを用いて構造および/またはシステムの物理的寸法および構成を測定する方法を用いるシステムの最上位のブロック図である。In accordance with one aspect of the present invention, a method of measuring physical dimensions and configuration of a structure and / or system using non-line-of-sight reverse engineering by analyzing hidden objects of the structure and / or system is used. It is a top level block diagram of the system. この発明の1つの局面において利用される典型的な計算システムの内部アーキテクチャのブロック図である。1 is a block diagram of the internal architecture of a typical computing system utilized in one aspect of the invention. この発明の1つの局面に従った、構造および/またはシステムの隠れた物体を分析することによって非ラインオブサイトリバースエンジニアリングを用いて構造および/またはシステムの物理的寸法および構成を測定するステップを図示するフローチャートの図である。Figure 3 illustrates measuring physical dimensions and configuration of a structure and / or system using non-line-of-sight reverse engineering by analyzing hidden objects of the structure and / or system according to one aspect of the present invention. FIG.

Claims (15)

  1. 構造またはシステムの物理的寸法および構成を決定する方法であって、
    (i)X線後方散乱ユニット前記構造またはシステムを走査するステップと、
    (ii)前記構造またはシステムによって散乱されたX線フォトンからデータを収集するステップと、
    (iii)前記収集されたデータを2D、2Dパノラマまたは3Dデータセットに組み合わせて再構築するステップと、
    (iv)前記データセットから、隠れた物体の3D表現を生成するステップと、
    (v)前記隠れた物体の前記3D表現を構造またはシステムの参照座標系にマッピングするステップと、
    (vi)前記参照座標系にマッピングされた前記3D表現をモデルと組み合わせ、前記走査された構造またはシステムの3DCADモデルを成するステップと
    (vii)前記構造またはシステムにおける工程とハードウェア設置を計画することにより前記3DCADモデルを用いて前記構造またはシステムの修正を設計するステップとを有する方法。
    A method for determining the physical dimensions and configuration of a structure or system comprising:
    a step of scanning said structure or system (i) X-ray backscatter unit,
    (ii) collecting data from x-ray photons scattered by the structure or system ;
    (iii) reconstructing the collected data in combination with a 2D, 2D panorama or 3D dataset;
    (iv) generating a 3D representation of a hidden object from the data set;
    (v) mapping the 3D representation of the hidden object to a structure or system reference coordinate system;
    (vi) a step of the reference coordinates mapped the 3D model and combined representation to the system, the shape formed the 3D CAD models of the scanned structure or system,
    (vii) designing a modification of the structure or system using the 3D CAD model by planning a process and hardware installation in the structure or system .
  2. 前記構造またはシステムは、航空機、自動車、建物、船、ヘリコプター、発射台、発電所、オイルリグまたは精油所である、請求項1に記載の方法。 The method of claim 1, wherein the structure or system is an aircraft, automobile, building, ship, helicopter, launch pad, power plant, oil rig or refinery .
  3. 修正に先立って、前記構造またはシステムにアクセスするステップをさらに有し、前記構造またはシステムが修正に利用可能になるに先だって該修正が十分に設計される、請求項1に記載の方法。 The method of claim 1, further comprising accessing the structure or system prior to modification, wherein the modification is fully designed prior to the structure or system being available for modification .
  4. 前記データセットは、2D、2Dパノラマまたは3D幾何学的情報データである、請求項1に記載の方法。 The method of claim 1, wherein the data set is 2D, 2D panorama or 3D geometric information data.
  5. 前記構造またはシステムは内側から走査される、請求項1に記載の方法。 The method of claim 1, wherein the structure or system is scanned from the inside.
  6. 前記構造またはシステムは外側から走査される、請求項1に記載の方法。 The method of claim 1, wherein the structure or system is scanned from the outside.
  7. 前記データは、前記構造またはシステムに沿った少なくとも1つの位置から取られる、請求項1に記載の方法。 The method of claim 1, wherein the data is taken from at least one location along the structure or system.
  8. 前記データは、前記構造またはシステムに対する少なくとも1つの向きから取られる、請求項1に記載の方法。 The method of claim 1, wherein the data is taken from at least one orientation relative to the structure or system.
  9. 正確な寸法および奥行き情報を補完するために、前記構造またはシステム内に既知の寸法または奥行きの基点が任意で配置される、請求項1に記載の方法。 The method of claim 1, wherein a known dimension or depth origin is optionally placed in the structure or system to complement accurate dimension and depth information.
  10. 変更のために構造またはシステム内の隠れた物体を分析するための検査システムであって、
    (i)前記構造またはシステムを走査し(ii)前記構造またはシステム内の隠れた物体についてのデータを収集するためのX線後方散乱システムと、
    (iii)前記データを2D、2Dパノラマまたは3Dデータセットに組み合わせて構築し、(iv)前記データセットから、隠れた物体の3D表現を生成し、(v)前記隠れた物体の前記3D表現を構造またはシステムの参照座標系にマッピングし、(vi)前記参照座標系にマッピングされた前記3D表現をモデルと組み合わせ、前記走査された構造またはシステムの3DCADモデルを形成し、(vii)前記構造またはシステムにおける工程とハードウェア設置を計画することにより前記3DCADモデルを用いて前記構造またはシステムの修正を設計するための計算システムと、
    備える、システム。
    An inspection system for analyzing hidden objects in a structure or system for modification,
    (i) an x-ray backscatter system for scanning the structure or system and (ii) collecting data about hidden objects in the structure or system ;
    (iii) combining and reconstructing the data into a 2D, 2D panorama or 3D data set ; (iv) generating a 3D representation of a hidden object from the data set ; and (v) the 3D representation of the hidden object. (Vi) combining the 3D representation mapped to the reference coordinate system with a model to form a 3D CAD model of the scanned structure or system; and (vii) the structure Or a computing system for designing modifications of the structure or system using the 3D CAD model by planning processes and hardware installations in the system;
    A system comprising:
  11. 前記X線後方散乱ユニットによって収集された前記データは、2D、2Dパノラマおよび3D幾何学的情報である、請求項10に記載のシステム。 The system of claim 10 , wherein the data collected by the X-ray backscatter unit is 2D, 2D panorama and 3D geometric information.
  12. 前記構造またはシステムの既存の図面が、収集された前記データセットから2D、2Dパノラマまたは3Dモデルを作成するためのパラメータとして用いられる、請求項11に記載のシステム。 The system of claim 11 , wherein an existing drawing of the structure or system is used as a parameter to create a 2D, 2D panorama or 3D model from the collected data set.
  13. 収集された前記データを将来の使用のために格納するための、前記計算システムに接続されるデータベースをさらに備える、請求項12に記載のシステム。 The system of claim 12 , further comprising a database connected to the computing system for storing the collected data for future use.
  14. 正確な寸法および奥行き情報を補完するために、前記構造またはシステム内に既知の寸法および奥行きの基点が置される、請求項10に記載のシステム。 To complement the exact dimensions and depth information, the base point of known dimensions and depth to the structure or system is placed, the system according to claim 10.
  15. 前記計算システムに接続された、前記構造またはシステムの隠れた物体の表現を表示させるためのディスプレイをさらに備える、請求項10に記載のシステム。The system of claim 10, further comprising a display connected to the computing system for displaying a representation of a hidden object of the structure or system.
JP2012185423A 2006-02-10 2012-08-24 Non-line-of-sight reverse engineering for structural and system changes Active JP5364188B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US11/352,118 2006-02-10
US11/352,118 US7649976B2 (en) 2006-02-10 2006-02-10 System and method for determining dimensions of structures/systems for designing modifications to the structures/systems

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2008554372 Division 2007-02-09

Publications (2)

Publication Number Publication Date
JP2013030170A JP2013030170A (ja) 2013-02-07
JP5364188B2 true JP5364188B2 (ja) 2013-12-11

Family

ID=38222320

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2008554372A Active JP5113767B2 (ja) 2006-02-10 2007-02-09 Non-line-of-sight reverse engineering for structural and system changes
JP2012185423A Active JP5364188B2 (ja) 2006-02-10 2012-08-24 Non-line-of-sight reverse engineering for structural and system changes

Family Applications Before (1)

Application Number Title Priority Date Filing Date
JP2008554372A Active JP5113767B2 (ja) 2006-02-10 2007-02-09 Non-line-of-sight reverse engineering for structural and system changes

Country Status (4)

Country Link
US (1) US7649976B2 (ja)
EP (1) EP1982165B1 (ja)
JP (2) JP5113767B2 (ja)
WO (1) WO2007095085A1 (ja)

Families Citing this family (53)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW247359B (en) 1993-08-30 1995-05-11 Hitachi Seisakusyo Kk Liquid crystal display and liquid crystal driver
US8275091B2 (en) 2002-07-23 2012-09-25 Rapiscan Systems, Inc. Compact mobile cargo scanning system
US7963695B2 (en) 2002-07-23 2011-06-21 Rapiscan Systems, Inc. Rotatable boom cargo scanning system
US6928141B2 (en) 2003-06-20 2005-08-09 Rapiscan, Inc. Relocatable X-ray imaging system and method for inspecting commercial vehicles and cargo containers
US7637733B2 (en) 2004-12-02 2009-12-29 Graham Packaging Company, L.P. Method and apparatus for reforming a portion of a plastic container to include a three-dimensional feature or transferable element
US7471764B2 (en) 2005-04-15 2008-12-30 Rapiscan Security Products, Inc. X-ray imaging system having improved weather resistance
US7508910B2 (en) * 2006-05-04 2009-03-24 The Boeing Company System and methods for x-ray backscatter reverse engineering of structures
US7529343B2 (en) * 2006-05-04 2009-05-05 The Boeing Company System and method for improved field of view X-ray imaging using a non-stationary anode
US7526064B2 (en) 2006-05-05 2009-04-28 Rapiscan Security Products, Inc. Multiple pass cargo inspection system
US7599471B2 (en) * 2007-10-24 2009-10-06 The Boeing Company Method and apparatus for rotating an anode in an x-ray system
GB0803641D0 (en) 2008-02-28 2008-04-02 Rapiscan Security Products Inc Scanning systems
GB0809109D0 (en) * 2008-05-20 2008-06-25 Rapiscan Security Products Inc Scanner systems
GB0809107D0 (en) * 2008-05-20 2008-06-25 Rapiscan Security Products Inc Scannign systems
GB0809110D0 (en) 2008-05-20 2008-06-25 Rapiscan Security Products Inc Gantry scanner systems
US20090295796A1 (en) * 2008-05-29 2009-12-03 Brown Clayton D Method of updating a model
GB0810638D0 (en) 2008-06-11 2008-07-16 Rapiscan Security Products Inc Photomultiplier and detection systems
US8963094B2 (en) 2008-06-11 2015-02-24 Rapiscan Systems, Inc. Composite gamma-neutron detection system
US9310323B2 (en) 2009-05-16 2016-04-12 Rapiscan Systems, Inc. Systems and methods for high-Z threat alarm resolution
EP3614131A1 (en) 2009-10-29 2020-02-26 Rapiscan Systems, Inc. Mobile aircraft inspection system
US8213571B2 (en) * 2010-03-29 2012-07-03 The Boeing Company Small diameter X-ray tube
CN103380057B (zh) 2010-09-29 2016-10-05 航空机器股份有限公司 飞机的无损检测的创新系统和方法
CN102467756B (zh) 2010-10-29 2015-11-25 国际商业机器公司 用于三维场景的透视方法及装置
US8503610B1 (en) 2010-11-23 2013-08-06 The Boeing Company X-ray inspection tool
US8396187B2 (en) 2010-12-10 2013-03-12 The Boeing Company X-ray inspection tool
EP2673660B1 (en) 2011-02-08 2017-08-30 Rapiscan Systems, Inc. Covert surveillance using multi-modality sensing
US9218933B2 (en) 2011-06-09 2015-12-22 Rapidscan Systems, Inc. Low-dose radiographic imaging system
US9151721B2 (en) 2011-06-20 2015-10-06 The Boeing Company Integrated backscatter X-ray system
US8761338B2 (en) 2011-06-20 2014-06-24 The Boeing Company Integrated backscatter X-ray system
EP2753920B1 (en) 2011-09-07 2018-04-04 Rapiscan Systems, Inc. X-ray inspection system that integrates manifest data with imaging/detection processing
US8588262B1 (en) 2011-09-07 2013-11-19 The Boeing Company Quantum dot detection
US8855268B1 (en) 2011-11-01 2014-10-07 The Boeing Company System for inspecting objects underwater
CN102622478A (zh) * 2012-03-02 2012-08-01 浙江大学 一种基于语义信息的复杂零件逆向工程cad建模方法
US9709514B2 (en) 2012-04-02 2017-07-18 The Boeing Company X-ray backscatter system and method for detecting discrepancies in items
US8879688B2 (en) 2012-05-22 2014-11-04 The Boeing Company Reconfigurable detector system
US9506879B2 (en) 2012-06-19 2016-11-29 The Boeing Company Method and system for non-destructively evaluating a hidden workpiece
US8873711B2 (en) 2012-06-19 2014-10-28 The Boeing Company Method and system for visualizing effects of corrosion
GB2523942B (en) 2013-01-31 2018-07-04 Rapiscan Systems Inc Portable security inspection system
JP2016525218A (ja) 2013-07-23 2016-08-22 ラピスカン システムズ、インコーポレイテッド Method to improve processing speed for analyte testing
US9557427B2 (en) 2014-01-08 2017-01-31 Rapiscan Systems, Inc. Thin gap chamber neutron detectors
US9305344B2 (en) 2014-04-22 2016-04-05 The Boeing Company Method for improving linear feature detectability in digital images
US9398676B2 (en) 2014-05-05 2016-07-19 The Boeing Company System and method for quantifying X-ray backscatter system performance
US9851312B2 (en) 2014-05-07 2017-12-26 The Boeing Company Backscatter inspection systems, and related methods
US10228487B2 (en) 2014-06-30 2019-03-12 American Science And Engineering, Inc. Rapidly relocatable modular cargo container scanner
US9658173B2 (en) 2014-07-30 2017-05-23 The Boeing Company Portable x-ray backscattering imaging system including a radioactive source
US9739727B2 (en) 2015-01-21 2017-08-22 The Boeing Company Systems and methods for aligning an aperture
US9689813B2 (en) 2015-02-27 2017-06-27 The Boeing Company Detecting gaps between fasteners and openings
AU2016321171B2 (en) 2015-09-08 2019-08-15 American Science And Engineering, Inc. Backscatter imaging for precision agriculture
US10345479B2 (en) 2015-09-16 2019-07-09 Rapiscan Systems, Inc. Portable X-ray scanner
US9760986B2 (en) * 2015-11-11 2017-09-12 General Electric Company Method and system for automated shaped cooling hole measurement
US10317349B2 (en) 2015-11-30 2019-06-11 The Boeing Company X-ray scatter systems and methods for detecting structural variations
US10302807B2 (en) 2016-02-22 2019-05-28 Rapiscan Systems, Inc. Systems and methods for detecting threats and contraband in cargo
WO2018144630A1 (en) 2017-01-31 2018-08-09 Rapiscan Systems, Inc. High-power x-ray sources and methods of operation
CN107796304B (zh) * 2017-09-07 2019-12-03 中铁二院工程集团有限责任公司 一种三维激光全景的铁路线路调绘方法

Family Cites Families (51)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB1579341A (en) * 1976-04-28 1980-11-19 Emi Ltd X-ray generating tubes
DE3142349A1 (de) 1981-10-26 1983-05-05 Siemens Ag X-RAY DIAGNOSTIC DEVICE FOR EXAMINING SEVERAL LAYERS OF A RECORDING OBJECT
US4577337A (en) * 1984-05-21 1986-03-18 Southwest Research Institute X-Ray fluorescence testing of laminate structures
US5243665A (en) * 1990-03-07 1993-09-07 Fmc Corporation Component surface distortion evaluation apparatus and method
US5181234B1 (en) * 1990-08-06 2000-01-04 Rapiscan Security Products Inc X-ray backscatter detection system
JPH04309187A (en) * 1991-04-08 1992-10-30 Japan Small Corp Mapping method for stereoscopic model
JPH04353792A (en) * 1991-05-31 1992-12-08 Toshiba Corp Scattered ray imaging device and scattered ray detector used for it
US5438605A (en) * 1992-01-06 1995-08-01 Picker International, Inc. Ring tube x-ray source with active vacuum pumping
US5729620A (en) * 1993-09-29 1998-03-17 Wang; Shih-Ping Computer-aided diagnosis system and method
US5764683B1 (en) * 1996-02-12 2000-11-21 American Science & Eng Inc Mobile x-ray inspection system for large objects
JP3241266B2 (ja) * 1996-06-03 2001-12-25 本田技研工業株式会社 3次元cadシステム
US5763886A (en) * 1996-08-07 1998-06-09 Northrop Grumman Corporation Two-dimensional imaging backscatter probe
JPH10185842A (ja) * 1996-12-20 1998-07-14 Toshiba Fa Syst Eng Kk X線検査装置
JP2905473B1 (ja) * 1998-03-02 1999-06-14 川崎重工業株式会社 Ni基一方向凝固合金の製造方法
US6094472A (en) * 1998-04-14 2000-07-25 Rapiscan Security Products, Inc. X-ray backscatter imaging system including moving body tracking assembly
US6320933B1 (en) 1998-11-30 2001-11-20 American Science And Engineering, Inc. Multiple scatter system for threat identification
US6282260B1 (en) * 1998-12-14 2001-08-28 American Science & Engineering, Inc. Unilateral hand-held x-ray inspection apparatus
WO2000037928A2 (en) 1998-12-22 2000-06-29 American Science And Engineering, Inc. Unilateral hand-held x-ray inspection apparatus
WO2000038117A1 (en) * 1998-12-23 2000-06-29 Washington State University Research Foundation Method and system for a virtual assembly design environment
US6370222B1 (en) * 1999-02-17 2002-04-09 Ccvs, Llc Container contents verification
US6546072B1 (en) * 1999-07-30 2003-04-08 American Science And Engineering, Inc. Transmission enhanced scatter imaging
DE19959617A1 (de) * 1999-12-10 2001-06-21 Volkswagen Ag Konstruktionssystem und Verfahren zum Konstruieren oder Entwerfen neuer Bauteile
US6888640B2 (en) * 2000-02-04 2005-05-03 Mario J. Spina Body spatial dimension mapper
US6378387B1 (en) * 2000-08-25 2002-04-30 Aerobotics, Inc. Non-destructive inspection, testing and evaluation system for intact aircraft and components and method therefore
US7069192B1 (en) * 2000-08-25 2006-06-27 Hewlett-Packard Company CAD system
US6373917B1 (en) * 2000-08-30 2002-04-16 Agilent Technologies, Inc. Z-axis elimination in an X-ray laminography system using image magnification for Z plane adjustment
US6614872B2 (en) 2001-01-26 2003-09-02 General Electric Company Method and apparatus for localized digital radiographic inspection
US7280990B2 (en) * 2001-08-07 2007-10-09 Ugs Corp. Method and system for designing and modeling a product in a knowledge based engineering environment
US6636581B2 (en) * 2001-08-31 2003-10-21 Michael R. Sorenson Inspection system and method
GB2380622B (en) * 2001-10-05 2003-09-03 Minebea Co Ltd A motor control circuit
US6618465B2 (en) * 2001-11-12 2003-09-09 General Electric Company X-ray shielding system and shielded digital radiographic inspection system and method
JP2003196326A (ja) * 2001-12-26 2003-07-11 Toyota Motor Corp 形状モデル作成装置及び方法
US7024272B2 (en) * 2002-04-26 2006-04-04 Delphi Technologies, Inc. Virtual design, inspect and grind optimization process
US6560315B1 (en) * 2002-05-10 2003-05-06 Ge Medical Systems Global Technology Company, Llc Thin rotating plate target for X-ray tube
JP2003345840A (ja) * 2002-05-24 2003-12-05 Honda Motor Co Ltd 三次元モデル作成方法
JP2003345839A (ja) * 2002-05-24 2003-12-05 Honda Motor Co Ltd 三次元モデル作成方法及びシステム
JP4007857B2 (ja) * 2002-05-30 2007-11-14 本田技研工業株式会社 三次元ソリッドモデルによる機能品質検査方法
JP2004045247A (ja) * 2002-07-12 2004-02-12 Toshiba Corp X線画像検査装置
US6757353B2 (en) * 2002-08-28 2004-06-29 Acushnet Company Golf ball inspection using metal markers
US7099434B2 (en) * 2002-11-06 2006-08-29 American Science And Engineering, Inc. X-ray backscatter mobile inspection van
US6735279B1 (en) * 2003-01-21 2004-05-11 University Of Florida Snapshot backscatter radiography system and protocol
US6950719B2 (en) * 2003-01-31 2005-09-27 Delphi Technologies, Inc. Horizontally structured manufacturing process modeling: across file feature operability
US7086028B1 (en) * 2003-04-09 2006-08-01 Autodesk, Inc. Simplified generation of design change information on a drawing in a computer aided design (CAD) environment
WO2005009206A2 (en) 2003-06-25 2005-02-03 Besson Guy M Dynamic multi-spectral imaging system
AT429028T (de) * 2003-07-18 2009-05-15 Koninkl Philips Electronics Nv CYLINDRICAL X-RAYS FOR COMPUTER TOMOGRAPHY IMAGING
US7103434B2 (en) * 2003-10-14 2006-09-05 Chernyak Alex H PLM-supportive CAD-CAM tool for interoperative electrical and mechanical design for hardware electrical systems
US6950495B2 (en) * 2003-12-01 2005-09-27 The Boeing Company Backscatter imaging using Hadamard transform masking
US7224772B2 (en) * 2004-07-20 2007-05-29 University Of Florida Research Foundation, Inc. Radiography by selective detection of scatter field velocity components
JP2006040053A (ja) * 2004-07-28 2006-02-09 Taisei Corp Image processing method and program
US7203276B2 (en) * 2004-08-27 2007-04-10 University Of New Brunswick X-ray scatter image reconstruction by balancing of discrepancies between detector responses, and apparatus therefor
WO2007129249A2 (en) 2006-05-08 2007-11-15 Philips Intellectual Property & Standards Gmbh Rotating anode x-ray tube with a saddle shaped anode

Also Published As

Publication number Publication date
JP2009526326A (ja) 2009-07-16
JP5113767B2 (ja) 2013-01-09
US7649976B2 (en) 2010-01-19
EP1982165A1 (en) 2008-10-22
US20070189454A1 (en) 2007-08-16
JP2013030170A (ja) 2013-02-07
EP1982165B1 (en) 2017-09-13
WO2007095085A1 (en) 2007-08-23

Similar Documents

Publication Publication Date Title
Van Aarle et al. Fast and flexible X-ray tomography using the ASTRA toolbox
Ashiotis et al. The fast azimuthal integration Python library: pyFAI
US9251622B2 (en) System and method for calculating multi-resolution dynamic ambient occlusion
US9786070B2 (en) CT system for security check and method thereof
Pandolfi et al. Xi-cam: a versatile interface for data visualization and analysis
Newcombe et al. Live dense reconstruction with a single moving camera
Delaney et al. Globally convergent edge-preserving regularized reconstruction: an application to limited-angle tomography
Arayici Towards building information modelling for existing structures
CN1316943C (zh) 使用先验知识的小型对象的层析重构
Barnabè et al. Two-dimensional kinematics of SLACS lenses–III. Mass structure and dynamics of early-type lens galaxies beyond z≃ 0.1
US7099435B2 (en) Highly constrained tomography for automated inspection of area arrays
ES2395079T3 (es) Método y aparato para tratamiento de imágenes tridimensionales en el dominio de Fourier
Lawrence et al. Transform-based backprojection for volume reconstruction of large format electron microscope tilt series
US7139000B2 (en) Method, system and computer product for displaying axial images
US5864598A (en) Methods and apparatus for scanning an object in a computed tomography system
JP5111638B2 (ja) Apparatus and method for dividing a parametric curve into smaller subpatches
US7215731B1 (en) Fast backprojection/reprojection with hexagonal segmentation of image
US7251307B2 (en) Fan-beam and cone-beam image reconstruction using filtered backprojection of differentiated projection data
CN104995690B (zh) 多能量x射线显微镜数据采集及图像重建系统及方法
US5095521A (en) Method for the computing and imaging of views of an object
JP4828422B2 (ja) Adaptive direct volume rendering method and system
US7050615B2 (en) Temporal image comparison method
US7319737B2 (en) Laminographic system for 3D imaging and inspection
US8582856B2 (en) Image processing apparatus, image processing method, and program
Schott et al. A directional occlusion shading model for interactive direct volume rendering

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130730

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130813

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130906

R150 Certificate of patent or registration of utility model

Ref document number: 5364188

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250