JP3635539B2 - キャリブレーションパターンユニット - Google Patents

キャリブレーションパターンユニット Download PDF

Info

Publication number
JP3635539B2
JP3635539B2 JP2002251634A JP2002251634A JP3635539B2 JP 3635539 B2 JP3635539 B2 JP 3635539B2 JP 2002251634 A JP2002251634 A JP 2002251634A JP 2002251634 A JP2002251634 A JP 2002251634A JP 3635539 B2 JP3635539 B2 JP 3635539B2
Authority
JP
Japan
Prior art keywords
imaging
calibration pattern
calibration
unit
unit according
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2002251634A
Other languages
English (en)
Other versions
JP2004093216A (ja
Inventor
和彦 荒井
明生 小坂
貴史 三由
和彦 ▲高▼橋
秀和 岩城
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2002251634A priority Critical patent/JP3635539B2/ja
Priority to EP03018745A priority patent/EP1394501B1/en
Priority to DE60316645T priority patent/DE60316645T2/de
Priority to US10/650,590 priority patent/US7286698B2/en
Publication of JP2004093216A publication Critical patent/JP2004093216A/ja
Application granted granted Critical
Publication of JP3635539B2 publication Critical patent/JP3635539B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01BMEASURING LENGTH, THICKNESS OR SIMILAR LINEAR DIMENSIONS; MEASURING ANGLES; MEASURING AREAS; MEASURING IRREGULARITIES OF SURFACES OR CONTOURS
    • G01B11/00Measuring arrangements characterised by the use of optical techniques
    • G01B11/24Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures
    • G01B11/25Measuring arrangements characterised by the use of optical techniques for measuring contours or curvatures by projecting a pattern, e.g. one or more lines, moiré fringes on the object
    • G01B11/2504Calibration devices
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration

Description

【0001】
【発明の属する技術分野】
本発明は、撮像系の補正情報を取得するために用いられるキャリブレーションパターンユニットに関する。
【0002】
【従来の技術】
撮像系の補正情報を取得するために用いられるキャリブレーションパターンは、従来より各種提案されている。
【0003】
例えば、平板上に既知幾何学パターンを記載したキャリブレーションパターンを用い、このパターンと撮像系との相対距離を変化させることによって、撮像系の補正情報を取得する技術が提案されている(例えば、特許文献1参照)。
【0004】
また、コーナーキューブ構造の各面に同様に既知幾何学パターンを記載することによってキャリブレーションパターンを構成し、撮像系の補正情報を取得する技術も提案されている(例えば、特許文献2参照)。
【0005】
【特許文献1】
特開平11−166818号公報
【0006】
【特許文献2】
特開2001−82941号公報
【0007】
【発明が解決しようとする課題】
ところで、このようなキャリブレーションパターンを撮像することによって撮像系の補正情報を良好に取得するためには、上記キャリブレーションパターンを適切な位置姿勢から撮像し、その後の補正情報取得処理にふさわしい画像を取得することが必要である。キャリブレーションパターンを含むキャリブレーションシステム構成を大型、複雑にすれば、このような目的にかなうキャリブレーションパターン装置系を構成することは可能であるが、携行、保管、移動などに優れたキャリブレーションパターンを構成することが困難になる。
【0008】
例えば、上記特許文献1に開示されているような平板移動式の従来技術においては、撮像系とキャリブレーションパターンとの位置関係は適切な関係に規定されるが、装置構成が煩雑で、キャリブレーションパターン装置を撮像現場に持ち出し、頻繁にキャリブレーションすることが容易ではない。また、比較的構成が簡便な上記特許文献2に開示されているようなコーナーキューブ方式に於ては、撮像系とキャリブレーションパターンとの相対位置姿勢は固定されていないので、特にキャリブレーション撮像に対する初心者はいかなるキャリブレーションパターン撮像が結果的に良好なキャリブレーションデータ取得につながるかの保証が無く、その結果、キャリブレーションデータ取得が不良に終わり、再度キャリブレーションデータ取得を必要とする場合が発生する。
【0009】
一般に、キャリブレーションパターンを用いた撮像系の補正情報の取得及びその取得した補正情報に基づく撮像系の補正を含むキャリブレーション工程は、当該撮像系を組み込んだ製品を製造する工場に於いて実施される。しかしながら、その製品で撮像する撮像対象の寸法や撮像環境等に応じて、当該製品を使用するユーザがその撮像現場でキャリブレーションを実施しなければならないこともある。また、予めユーザが所有している汎用の撮像系を利用する場合や、当該製品専用ではあっても当該製品が組み立て式のもので、撮像現場で組み立ててはじめて当該製品が使用可能な状態となるような場合にも、ユーザがその撮像現場でキャリブレーションを実施しなければならない。
【0010】
従って、キャリブレーションパターンを有するキャリブレーションパターンユニットとして、最適なキャリブレーションデータを取得するという観点で撮り誤りが無く、且つ、携行や梱包、保管に便利な形態を持つものが望まれている。
【0011】
本発明は、上記の点に鑑みてなされたもので、最適なキャリブレーションデータを取得するという観点で撮り誤りが無く、且つ、携行、梱包、保管に便利なキャリブレーションパターンユニットを提供することを目的とする。
【0012】
【課題を解決するための手段】
上記の目的を達成するために、請求項1に記載の発明によるキャリブレーションパターンユニットは、撮像手段で撮像することによって上記撮像手段の撮像系の補正情報を取得するためのキャリブレーションパターンユニットであって、
三次元的に配置された複数の平面上または一つ以上の曲面上に所定のパターンが形成されたキャリブレーションパターンと、
上記キャリブレーションパターンを撮像する際に、上記キャリブレーションパターンに対して上記撮像系が予め設定した位置または姿勢となるようにする手段と、
を有することを特徴とする。
即ち、請求項1に記載の発明のキャリブレーションパターンユニットによれば、精度良くキャリブレーションするために適切なキャリブレーションパターン撮像アングル、撮像倍率を容易に実現できる。
【0013】
また、請求項2に記載の発明によるキャリブレーションパターンユニットは、請求項1に記載の発明によるキャリブレーションパターンユニットにおいて、上記撮像系が予め設定した位置または姿勢となるようにする手段は、上記キャリブレーションパターンと上記撮像手段の相対位置及び姿勢を固定する相対位置姿勢固定部であることを特徴とする。
即ち、請求項に記載の発明のキャリブレーションパターンユニットによれば、精度良くキャリブレーションするために適切なキャリブレーションパターン撮像アングル、撮像倍率を容易に実現できる。
【0014】
また、請求項に記載の発明によるキャリブレーションパターンユニットは、請求項1に記載の発明によるキャリブレーションパターンユニットにおいて、上記撮像系が予め設定した位置または姿勢となるようにする手段は、上記キャリブレーションパターンを撮像する際に上記撮像系が所定の位置または姿勢となるように指示する手段であることを特徴とする。
【0015】
即ち、請求項に記載の発明のキャリブレーションパターンユニットによれば、キャリブレーションパターン撮像に最も良好な撮像位置及び姿勢を指示することができる。
【0016】
また、請求項に記載の発明によるキャリブレーションパターンユニットは、請求項に記載の発明によるキャリブレーションパターンユニットにおいて、上記キャリブレーションパターンを撮像する際に上記撮像系が所定の位置または姿勢となるように指示する手段は、当該キャリブレーションパターンの一部分であることを特徴とする。
【0017】
即ち、請求項に記載の発明のキャリブレーションパターンユニットによれば、ファインダ等で確認することにより、キャリブレーションパターン撮像のための概略の撮像アングルが規定でき、キャリブレーションを容易に且つ精度良く実現するためのガイダンスを与えることができる。
【0018】
また、請求項に記載の発明によるキャリブレーションパターンユニットは、請求項4に記載の発明によるキャリブレーションパターンユニットにおいて、上記キャリブレーションパターンは、球または楕円または概正多面体またはそれらの何れかの一部で構成された面上に形成されることを特徴とする。
【0019】
即ち、請求項に記載の発明のキャリブレーションパターンユニットによれば、撮像方向に依存しにくいキャリブレーションパターンを、正多面体を利用することにより簡易に提供でき、撮像方向によって、キャリブレーション精度のバラツキが少ない。そのため、キャリブレーション撮像をするに際して、撮像方向は気にせず、撮像像倍率のみ注意が傾けられ、その結果簡単にキャリブレーション撮像が精度良く実現できる。
【0020】
なお、概正多面体形状とは、球、楕円球、及び正4面体、正6面体、正12面体、正20面体等などの正多面体を指し、その一部とは例えば球であればお椀状を示す。また、概正多面体形状を複数組み合わせた形状も含まれる。この場合、概正多面体形状は全て同一種類であっても、異なる種類の概正多面体形状を組み合わせても構わない。同一種類の概正多面体形状であっても、面の大きさが異なる概正多面体形状が組み合わせられていても構わない。
【0021】
正多面体形状の一部である場合には、キャリブレーションパターンの記載面は、該キャリブレーションパターンユニットの内面、外面のどちらでも構わない。
【0022】
また、請求項に記載の発明によるキャリブレーションパターンユニットは、請求項4に記載の発明によるキャリブレーションパターンユニットにおいて、上記キャリブレーションパターンの一部分は、撮像すべき領域を指示する撮像領域指示部であることを特徴とする。
【0023】
即ち、請求項に記載の発明のキャリブレーションパターンユニットによれば、ファインダ等で撮像画角フレームを確認することにより、キャリブレーションパターン撮像のための概略の撮像アングルが規定でき、キャリブレーションを容易に且つ精度良く実現するためのガイダンスを与えることができる。
【0024】
また、請求項に記載の発明によるキャリブレーションパターンユニットは、請求項に記載の発明によるキャリブレーションパターンユニットにおいて、
上記撮像手段は、複数の視点からの撮像対象の撮像を可能とする複数の撮像系を有し、
上記撮像領域指示部は、上記複数の撮像系の内の一つの撮像系にのみ対応するものであることを特徴とする。
【0025】
即ち、請求項に記載の発明のキャリブレーションパターンユニットによれば、複数の撮像系をキャリブレーションする際に、一つの撮像系から見たガイダンスに集中して良好なキャリブレーションパターン撮像が可能になる。
【0026】
また、請求項に記載の発明によるキャリブレーションパターンユニットは、請求項に記載の発明によるキャリブレーションパターンユニットにおいて、
上記撮像手段は、複数の視点からの撮像対象の撮像を可能とする複数の撮像系を有し、
上記撮像領域指示部は、上記複数の撮像系に対応するものであることを特徴とする。
即ち、請求項8に記載の発明のキャリブレーションパターンユニットによれば、複数のそれぞれの撮像系に対して指示されたガイダンスの撮像指示条件を満足することによって、より精度の高い、キャリブレーションを実現可能なキャリブレーションパターン撮像が可能になる。
【0027】
また、請求項9に記載の発明によるキャリブレーションパターンユニットは、請求項6に記載の発明によるキャリブレーションパターンユニットにおいて、上記撮像領域指示部は、上記キャリブレーションパターンに記載されていることを特徴とする。
即ち、請求項に記載の発明のキャリブレーションパターンユニットによれば、撮像系で撮像する際に、キャリブレーションパターンに記載された撮像指示部が撮像系のファインダいっぱいになるように撮像系とキャリブレーションパターンとの位置姿勢を調整し撮像することによって、理想的なキャリブレーションパターンの撮像が可能になる。
【0028】
また、請求項10に記載の発明によるキャリブレーションパターンユニットは、請求項6に記載の発明によるキャリブレーションパターンユニットにおいて、上記キャリブレーションパターンの一部分は、上記キャリレーションパターンに対する上記撮像手段の姿勢を指示する撮像姿勢指示部であることを特徴とする。
【0029】
即ち、請求項10に記載の発明のキャリブレーションパターンユニットによれば、キャリブレーションパターンを撮像するための適切な撮像方向が指示されるので、操作者は残る撮像像倍率のみに注力してキャリブレーションパターン撮像を実現できるようになる。
【0030】
また、請求項11に記載の発明によるキャリブレーションパターンユニットは、請求項10に記載の発明によるキャリブレーションパターンユニットにおいて、
上記撮像手段は、複数の視点からの撮像対象の撮像を可能とする複数の撮像系を有し、
上記撮像姿勢指示部は、上記複数の撮像系の内の一つの撮像系にのみ対応するものであることを特徴とする。
【0031】
即ち、請求項11に記載の発明のキャリブレーションパターンユニットによれば、複数の撮像系をキャリブレーションする際に、一つの撮像系から見たガイダンスに集中して良好なキャリブレーションパターン撮像が可能になる。
【0032】
また、請求項12に記載の発明によるキャリブレーションパターンユニットは、請求項10に記載の発明によるキャリブレーションパターンユニットにおいて、
上記撮像手段は、複数の視点からの撮像対象の撮像を可能とする複数の撮像系を有し、
上記撮像姿勢指示部は、上記複数の撮像系に対応するものであることを特徴とする。
【0033】
即ち、請求項12に記載の発明のキャリブレーションパターンユニットによれば、複数のそれぞれの撮像系に対して指示されたガイダンスの撮像指示条件を満足することによって、より精度の高い、キャリブレーションを実現可能なキャリブレーションパターン撮像が可能になる。
【0034】
また、請求項13に記載の発明によるキャリブレーションパターンユニットは、請求項10に記載の発明によるキャリブレーションパターンユニットにおいて、上記撮像姿勢指示部は、上記撮像手段がキャリブレーションのための撮像を行う際の上記撮像手段の光軸の方向に伸びた棒状の指示部材であることを特徴とする。
【0035】
即ち、請求項13に記載の発明のキャリブレーションパターンユニットによれば、棒状の撮像指示部を撮像手段のファインダで観察しながら、撮像指示部がほぼ点として観察可能なように注意を払い、且つ撮像されるキャリブレーションパターンが画角に適切に収まるように撮像することによって、光軸周りの回転方向成分を除いた適切撮像方向でキャリブレーションパターンを撮像することが可能になる。
【0036】
【発明の実施の形態】
本発明のキャリブレーションパターンユニットの各実施の形態を詳しく説明する前に、まず、それらキャリブレーションパターンユニットが有するキャリブレーションパターン上に記載される所定のパターンである既知幾何学パターンの例を説明する。なお、この既知幾何学パターンの例は、全ての実施の形態で共通なものである。
【0037】
即ち、図1の(A)に示すように、複数の黒丸大1、黒丸小2、面交差線3、及び外郭境界線4でなる既知幾何学パターンが、3枚の平板状のキャリブレーションパターン記載部に記載されて、キャリブレーションパターン5が構成されている。
【0038】
既知幾何学パターンを構成するこれら黒丸大1、黒丸小2、面交差線3、及び外郭境界線4、即ちパターン構成物が、一定の等間隔に、一定のルールを持って記載されているが、これらの間隔、ルールはキャリブレーションのアルゴリズム、必要とする撮像系補正情報などに依存して、任意に選定可能であり、本発明では制限を与えない。例えば、黒丸は十字マークでも、白黒で構成される二重丸でも構わないし、黒丸の大小で区別する代わりに色情報で区別しても構わないし、面交差線3及び外郭境界線4が破線であっても構わない。また、領域も特に規定しない。また、キャリブレーションパターン記載部は曲面でも3以外の複数平面の組合せなどでも良い。
【0039】
以降の各実施の形態の説明において参照される図においては、実際には上記の説明で行ったような既知幾何学パターンがキャリブレーションパターン記載部に記載されているものではあるが、図面の簡略のため、そのような既知幾何学パターンが記載されている面の場所のみを必要に応じて網掛を付して示すものとする。この網掛面をパターン記載面とする。
【0040】
そして、このような既知幾何学パターンが記載されたキャリブレーションパターン全体を、以降の各実施の形態の説明で共通にキャリブレーションパターン5、5−1、5−2、等で表記するものとする。更に、図1の(A)に示す例では、キャリブレーションパターン5は、コーナーキューブ形状を有しているが、以降に説明する各実施の形態に於ける形状を限定するものではない。また、図1の(A)に示す例では、コーナーキューブ形状の内壁面に対して既知幾何学パターンが記載されているが、これは撮像のアングルに応じて外壁面に記載されていても構わない。
【0041】
また、本発明でキャリブレーションを行う撮像系としては、フィルムカメラ、デジタルカメラ、ビデオカメラ、顕微鏡内視鏡、多眼ステレオカメラ、パターン投影カメラ、スリットスキャンカメラなど様々な撮像系を意味し、その形態は制限を与えない。
【0042】
以下、本発明の実施の形態を図面を参照して説明する。
【0043】
[第1の実施の形態]
図1の(B)は、本発明の第1の実施の形態に係るキャリブレーションパターンユニットを示す斜視図である。
【0044】
本実施の形態に係るキャリブレーションパターンユニットに於いては、撮像系6は、相対位置姿勢固定部7によって、キャリブレーションパターン5−1に対する位置及び姿勢が拘束されている。ここで、上記相対位置姿勢固定部7は、上記キャリブレーションパターン5−1に完全に固定されていても良いし、ネジ等で脱着可能に取り付けられていても構わない。また、雲台などの調整機構を更に備え、位置姿勢の微調整や、複数種の撮像系の装着に対応可能になっていても構わない。結果的にネジなどの固定治具で、一旦規定した位置、姿勢が保持されればどのような調整自由度を有していても構わない。
【0045】
図1の(C)は、このような構成のキャリブレーションユニットに於いて、上記撮像系6の図示しないファインダで上記キャリブレーションパターン5−1を観察した様子を示す図であり、同図のような画像8が得られる。
【0046】
良好なキャリブレーションパターン撮像は、キャリブレーション意図や、キャリブレーションパターンの形状、撮像環境などの状況に依存する。通常は良好にキャリブレーションが行えるための境界線の位置、観察される点のサイズ、境界線の観察される方向、パターン記載面が撮像される領域サイズなどに関して最適な値が存在する。これは、結果的に撮像系6でキャリブレーションパターン5−1を撮像するときの像倍率や撮像アングル、つまりはキャリブレーションパターン5と撮像系6の位置、姿勢の拘束条件であって、この条件を満足するように相対位置姿勢固定部7の機構が設定されている。そのため、キャリブレーションパターン5−1に設置された相対位置姿勢固定部7に撮像系6を設置しさえすれば、操作者は調整に毎回煩わされること無く良好なキャリブレーションパターン撮像が可能となる。
【0047】
[第2の実施の形態]
次に、本発明の第2の実施の形態を説明する。
【0048】
図2の(A)は、本第2の実施の形態に係るキャリブレーションパターンユニットを示す図である。
【0049】
本実施の形態に係るキャリブレーションパターンユニットは、図示しない撮像系によって図示しない円筒状の実対象物体を良好に撮像するためのキャリブレーションパターンを撮像を行うために使用するものであり、その実対象物体とほぼ同形状、同サイズを有するキャリブレーションパターン5−2を有している。即ち、キャリブレーションパターン5−2の幅(W)、高さ(H)及び奥行き(D)と撮像系の撮像する対象物のそれらとの比が、おおよそ1.0であるようにしている。
【0050】
そして、実際に実対象物体を撮像するときの撮像倍率、アングル条件と同等の条件で、上記キャリブレーションパターン5−2を撮像する。
【0051】
即ち、例えば実対象物体の3次元再構成を目的とする場合には、このような概同形状を有するキャリブレーションパターンを利用しキャリブレーション撮像を行うことによって、最低限補正すべき画像空間に対応する3次元空間上の既知点座標情報を取得できるので、キャリブレーション演算の負荷を低減できるのと同時に、ノイズを含み易い不用点を排除した精度の高いキャリブレーションデータ取得が可能となる。
【0052】
図2の(B)は、本発明の第2の実施の形態に係るキャリブレーションパターンユニットの変形例を示す図である。
【0053】
即ち、この変形例のキャリブレーションパターンユニットは、人物の顔の3次元再構成を目的とした撮像に合わせて、人物の平均顔形状を元にしたお面形状を有するキャリブレーションパターン5−3を有するものである。
【0054】
これも上記第2の実施の形態と同様に、実際の人物を撮像する像倍率、撮像アングルなど同等の撮像条件にてキャリブレーション撮像を行うことによって、人物顔の3次元再構成に最も良好なキャリブレーションパターン撮像を行うものである。
【0055】
[第3の実施の形態]
次に、本発明の第3の実施の形態を説明する。
【0056】
図2の(C)は、本第3の実施の形態に係るキャリブレーションパターンユニットを示す斜視図である。
【0057】
本実施の形態に係るキャリブレーションパターンユニットは、お椀状つまり、概球面の一部の表面にキャリブレーションパターン5−4が記載されたものである。
【0058】
この場合、図示のように表面のほぼ中心に対して点対称なパターンが記載されているので、キャリブレーションを行いたい撮像系の画角のほぼ中心部でこのキャリブレーションパターン5−4を撮像するように努めれば、撮像の方向にはほとんど依存せず、いつも均等なキャリブレーションパターン撮像が良好に行えることになる。
【0059】
また、図2の(D)及び(E)はそれぞれ本発明の第3の実施の形態に係るキャリブレーションパターンユニットの変形例を示す図である。ここで、図2の(D)に示す第1の変形例は、正12面体の各面に既知幾何学パターンが記載されたキャリブレーションパターン5−5を備えたキャリブレーションパターンユニットであり、図2の(E)に示す第2の変形例は、正20面体の各面に既知幾何学パターンが記載されたキャリブレーションパターン5−6を備えたキャリブレーションパターンユニットである。
【0060】
これらの変形例でも、上記第3の実施の形態と同様に、キャリブレーションパターンの撮像方向に依存せずほぼ均質なキャリブレーションパターンの観察が可能であり、幾何学的に構成容易なキャリブレーションパターンが構成可能となっている。
【0061】
以上の第3の実施の形態、第3の実施の形態の第1の変形例及び第2の変形例で示されるように、本実施の形態は様々な変形が可能で、利用可能な多面体はその他正4面体や正6面体、楕円球、そしてこれらの一部分、同種の正多面体を複数組み合わせたもの、異なる種類の正多面体を複数組み合わせたもの、外壁面ではなく、内壁面にパターンを記載したものがあり、その形態を制限するものではない。
【0062】
[第4の実施の形態]
次に、本発明の第4の実施の形態を説明する。
【0063】
図3の(A)は、本第4の実施の形態に係るキャリブレーションパターンユニットを示す図である。
【0064】
図1の(A)のようなコーナーキューブ型のキャリブレーションパターン5を良好に撮像した場合、図1の(C)に示したようになるが、この場合の画角に含まれる領域の境界を図示すると、図3の(A)に示すような境界線9となる。従って、本第4の実施の形態に係るキャリブレーションパターンユニットでは、キャリブレーションパターン5−7上に実際に撮像指示部として境界線9を記載しておく。
【0065】
而して、撮像系で撮像する際に、この撮像指示部(境界線9)が撮像系の図示せぬファインダいっぱいになるように撮像系とキャリブレーションパターン5−7との位置姿勢を調整し撮像することによって、理想的なキャリブレーションパターンの撮像が可能となる。
【0066】
本第4の実施の形態は様々な変形が可能であり、例えば、図3の(B)に示す第1の変形例では、キャリブレーションパターン5−8が記載されている領域自体を撮像指示部にしたものである。このような構成とした場合には、撮像すべき領域に最低限必要なパターン記載で済まされる。
【0067】
また、第2の変形例は、図3の(C)に示すように、キャリブレーションパターン5−9の境界がキャリブレーションパターンユニットの構造の境界であり、撮像指示部となっているキャリブレーションパターンユニットである。このような構成とすることにより、必要最低限の大きさを持ったキャリブレーションパターンユニットが構成可能となり、運搬や保管上優れたキャリブレーションパターンユニットを提供できる。
【0068】
図3の(D)は、第3の変形例を示す図である。即ち、キャリブレーションパターン5−9の内と外を色分けすることによって撮像指示部にしたもので、認識性の高い撮像指示部を提供可能とする。
【0069】
第4の変形例は、図3の(E)に示すように、境界線9の一部、例えば境界線の各コーナー部に所謂「トンボ」9−1乃至9−6をキャリブレーションパターン5−10上に記載することで撮像指示部としたキャリブレーションパターンユニットである。このようなキャリブレーションパターンユニットでは、最小限の領域に認識容易に撮像指示部を記載することが可能となる。
【0070】
以上の様に撮像指示部の形態は様々考えられ、その形態を制限するものではない。
【0071】
[第5の実施の形態]
次に、本発明の第5の実施の形態を説明する。
【0072】
図4の(A)は、本第5の実施の形態に係るキャリブレーションパターンユニットを示す斜視図である。
【0073】
即ち、本実施の形態では、コーナーキューブ形状の内壁面に記載されたキャリブレーションパターン5−10のコーナー部分に、棒状の撮像指示部10を設置したキャリブレーションパターンユニットとしている。この撮像指示部10は、図示しない撮像系の光軸を指示しているもので、予め設定した方向の撮像指示部10と撮像系の光軸を一致させることによって、キャリブレーションパターン5−10を光軸周りにはほぼ均等なパターン分布として撮像できるように、キャリブレーションパターン5−10に対して設置されている。
【0074】
操作者は、上記棒状の撮像指示部10を撮像系の図示せぬファインダで観察しながら、撮像指示部がほぼ点として観察可能なように注意を払い、且つ撮像されるキャリブレーションパターン5−10が画角に適切に収まるように撮像することによって、光軸周りの回転方向成分を除いた適切撮像方向でキャリブレーションパターンを撮像することが可能になる。
【0075】
図4の(B)を用いて、本発明の第5の実施の形態の第1の変形例を説明する。この図は、図4の(A)で示したようなコーナーキューブ状のキャリブレーションパターン5−10を構成する一面を取り出して図示したものである。
【0076】
即ち、この一面は、二枚の板状キャリブレーションパターン5−11−A及び、5−11−Bより構成される。そして、上記キャリブレーションパターン5−11−Aの少なくとも一部には穴5−11−A−1が開けられており、これらの穴5−11−A−1を通じて所定の撮像位置11から観察したときに観察可能なキャリブレーションパターン5−11−B上の位置に、黒の楕円形状5−11−B−1が記載されている。
【0077】
このような構成をコーナーキューブ状のキャリブレーションパターン記載面全てに対して行い、結果的に所定の撮像位置11から撮像したときに全体として黒楕円パターンが最も良好に撮像されるように図示せぬ撮像系の位置姿勢を調整しながらキャリブレーションパターンを撮像することによって、キャリブレーションパターン撮像に最も良好な撮像位置及び姿勢を指示するようになっている。
【0078】
[第6の実施の形態]
次に、本発明の第6の実施の形態を、図5の(A)乃至(D)を用いて説明する。
【0079】
本実施の形態は、図5の(A)に示すような撮像部を持ったキャリブレーション装置で使用されるキャリブレーションパターンユニットを提供するものである。即ち、この撮像部に於いては、4枚の平板状ミラー12−1、12−2、12−3、12−4から構成されるステレオ光学系が撮像系13に対して所定位置に置かれている。ここで、ステレオ光学系と撮像系13との位置姿勢関係は、図示しない拘束部材によって固定されている。
【0080】
本状態で上記ステレオ光学系を経て、例えば図5の(C)に示すようなキャリブレーションパターンを撮像すると、上記撮像系13の図示しないファインダによって上記キャリブレーションパターンは図5の(B)に示すように観察される。なお、図5の(B)に於いて、参照番号8−1は上記平板状ミラー12−1及び12−2を経て上記撮像系13に結像した画像を、同様に参照番号8−2は上記平板状ミラー12−4及び12−3を経て上記撮像系13に結像した画像をそれぞれ示している。即ち、上記平板状ミラー12−1乃至12−4の大きさ、配置位置、そして図示しない拘束部材による不要撮像領域の排除によって、上記のようなステレオ光学系無しに撮像系13によって撮像する場合にファインダで観察可能な最大撮像領域14に対して、その内部に上記ステレオ光学系を通じて撮像された画像8−1及び8−2が存在するように、キャリブレーション装置の撮像部が構成されている。
【0081】
そして、図5の(C)に示すキャリブレーションパターン上の仮想的な枠線15−1及び15−2は、上記撮像画像8−1及び8−2がキャリブレーションパターン撮像上最も良好な位置として観察された場合のファインダ上の各外枠部が、実際のキャリブレーションパターン上のどの部分の領域に当るかをそれぞれ図示したものである。逆に言うと、枠線15−1、15−2が実際に、キャリブレーションパターン上に撮像指示部として記載されていて、ファインダ上の画像8−1、8−2のそれぞれに境界一杯に撮像されるように操作者がキャリブレーションパターンを撮像できれば、結果的に最も良好なキャリブレーションパターン撮像が可能となる。
【0082】
従って、本第6の実施の形態に係るキャリブレーションパターンユニットでは、図5の(D)に示すように、枠線15−1側のみの境界線が撮像指示部として記載さたキャリブレーションパターン5−12を備えるものとして構成している。即ち、枠線15−1、15−2の重なった領域しかステレオ撮像は行えないので、少なくともその重なった領域だけを確保していれば良く、どちらか片方のみあれば機能的には十分であるので、本実施の形態では枠線15−1側のみの境界線を撮像指示部としているものである。
【0083】
このように、上記ステレオ光学系を経て撮像される異なる光路を経た画像の内どちらか一方のみの画像に注目して正しいキャリブレーションパターン撮像アングルを設定できるようにしている。
【0084】
図6の(A)は、本発明の第6の実施の形態の第1の変形例を示す図である。本第1の変形例に於いては、そもそも撮像しない境界(枠線15−1)の外側には、パターンを記載しないことにより、撮像指示部とした例である。これにより、無駄なパターン記載領域を少なくすることが可能になる。
【0085】
更に、本第6の実施の形態の第2の変形例として、図6の(B)では、境界(枠線15−1)の外部はそもそも撮像しないので、キャリブレーションパターンユニットの構造自体がこの境界となるよう構成したものである。これによって、キャリブレーションパターンサイズとしては必要最低限のサイズの物となり、携帯、保管性の優れたキャリブレーションパターンユニットが提供可能となる。
【0086】
本第6の実施の形態の第3の変形例は、図6の(C)に示すように、境界(枠線15−1)の内部と外部の下地の色を異ならせ撮像指示部としたキャリブレーションパターンを有するキャリブレーションパターンユニットである。これによって、撮像アングル調整の視認性が高まる。
【0087】
図6の(D)は、本第6の実施の形態の第4の変形例を示す図であり、図示しない境界(枠線15−1)の各コーナー部15−1’に、所謂「トンボ」の形態で撮像指示部を記載したキャリブレーションパターンを有するキャリブレーションパターンユニットである。この第4の変形例によれば、キャリブレーションパターン本来のパターンに対する情報劣化の影響を最も低くしてガイダンス機能を付与できる。
【0088】
なお、上記第6の実施の形態及びその第1乃至第4の変形例では、上記ステレオ光学系によって二分され撮像された一方の画像のみに対して撮像指示部を設けた例を示したが、これらに対して両方の画像に対して撮像指示部を設けることも可能である。上記第6の実施の形態、第6の実施の形態の第1の変形例乃至第4にそれぞれに対応する両方の画像に対する撮像指示部を設けた例をそれぞれ図7の(A)乃至図7の(E)に示す。また、第4の変形例については、図7の(E)に代えて、図7の(F)に示すようにしても良い。
【0089】
このように両者の画像に対応する撮像指示部を設けることによって、ステレオ光学系の光学系に対する設置などに、より精度を要する場合などは有効にキャリブレーションパターン撮像が可能になる。
【0090】
その他の作用は、前述した第6の実施の形態、第6の実施の形態の第1の変形例及至第4の変形例と同等であるため説明は省略する。
【0091】
【発明の効果】
以上詳述したように、本発明によれば、最適なキャリブレーションデータを取得するという観点で撮り誤りが無く、且つ、携行や梱包、保管に便利な形態を持ったキャリブレーションパターンユニットを提供することができる。
【図面の簡単な説明】
【図1】(A)はキャリブレーションパターンを説明するための図、(B)は本発明の第1の実施の形態に係るキャリブレーションパターンユニットを示す斜視図であり、(C)は第1の実施の形態に係るキャリブレーションユニットのキャリブレーションパターンを撮像系のファインダで観察した様子を示す図である。
【図2】(A)は本第2の実施の形態に係るキャリブレーションパターンユニットを示す図、(B)は本発明の第2の実施の形態に係るキャリブレーションパターンユニットの変形例を示す図、(C)は本発明の第3の実施の形態に係るキャリブレーションパターンユニットを示す斜視図、(D)は第3の実施の形態に係るキャリブレーションパターンユニットの第1の変形例を示す図であり、(E)は第3の実施の形態に係るキャリブレーションパターンユニットの第2の変形例を示す図である。
【図3】(A)は本発明の第4の実施の形態に係るキャリブレーションパターンユニットを示す図、(B)は第4の実施の形態に係るキャリブレーションパターンユニットの第1の変形例を示す図、(C)は第4の実施の形態に係るキャリブレーションパターンユニットの第2の変形例を示す図、(D)は第4の実施の形態に係るキャリブレーションパターンユニットの第3の変形例を示す図であり、(E)は第4の実施の形態に係るキャリブレーションパターンユニットの第4の変形例を示す図である。
【図4】(A)は本発明の第5の実施の形態に係るキャリブレーションパターンユニットを示す斜視図であり、(B)は第5の実施の形態に係るキャリブレーションパターンユニットの変形例を示す図である。
【図5】(A)は本発明の第6の実施の形態に係るキャリブレーションパターンユニットの適用されるキャリブレーション装置の撮像部の構成を示す図、(B)は(A)の構成の撮像部における撮像系のファインダによって観察されるキャリブレーションパターンの画像を示す図、(C)はキャリブレーションパターンユニット上の(B)に示す画像に対応する部分を説明するための図であり、(D)は第6の実施の形態に係るキャリブレーションパターンユニットを示す図である。
【図6】(A)は第6の実施の形態に係るキャリブレーションパターンユニットの第1の変形例を示す図、(B)は第6の実施の形態に係るキャリブレーションパターンユニットの第2の変形例を示す図、(C)は第6の実施の形態に係るキャリブレーションパターンユニットの第3の変形例を示す図であり、(D)は第6の実施の形態に係るキャリブレーションパターンユニットの第4の変形例を示す図である。
【図7】図5の(B)に示す観察されるキャリブレーションパターンの画像の両者に対応する撮像指示部を設けた場合を説明するための図で、(A)はその場合の図5の(D)に対応する図、(B)はその場合の図6の(A)に対応する図、(C)はその場合の図6の(B)に対応する図、(D)はその場合の図6の(C)に対応する図であり、(E)及び(F)はそれぞれその場合の図6の(D)に対応する図である。
【符号の説明】
1 黒丸大
2 黒丸小
3 面交差線
4 外郭境界線
5、5−1〜5−10、5−11−A、5−11−B、5−12 キャリブレーションパターン
5−11−A−1 穴
5−11−B−1 楕円形状
6 撮像系
7 相対位置姿勢固定部
8、8−1、8−2 画像
9 境界線
9−1〜9−6 トンボ
10 撮像指示部
11 撮像位置
12−1〜12−4 平板状ミラー
13 撮像系
14 最大撮像領域
15−1、15−2 枠線
15−1’ コーナー部

Claims (13)

  1. 撮像手段で撮像することによって前記撮像手段の撮像系の補正情報を取得するためのキャリブレーションパターンユニットであって、
    三次元的に配置された複数の平面上または一つ以上の曲面上に所定のパターンが形成されたキャリブレーションパターンと、
    前記キャリブレーションパターンを撮像する際に、前記キャリブレーションパターンに対して前記撮像系が予め設定した位置または姿勢となるようにする手段と、
    を有することを特徴とするキャリブレーションパターンユニット。
  2. 前記撮像系が予め設定した位置または姿勢となるようにする手段は、前記キャリブレーションパターンと前記撮像手段の相対位置及び姿勢を固定する相対位置姿勢固定部であることを特徴とする請求項1に記載のキャリブレーションパターンユニット。
  3. 前記撮像系が予め設定した位置または姿勢となるようにする手段は、前記キャリブレーションパターンを撮像する際に前記撮像系が所定の位置または姿勢となるように指示する手段であることを特徴とする請求項に記載のキャリブレーションパターンユニット。
  4. 前記キャリブレーションパターンを撮像する際に前記撮像系が所定の位置または姿勢となるように指示する手段は、当該キャリブレーションパターンの一部分であることを特徴とする請求項3に記載のキャリブレーションパターンユニット。
  5. 前記キャリブレーションパターンは、球または楕円または概正多面体またはそれらの何れかの一部で構成された面上に形成されることを特徴とする請求項4に記載のキャリブレーションパターンユニット。
  6. 前記キャリブレーションパターンの一部分は、撮像すべき領域を指示する撮像領域指示部であることを特徴とする請求項4に記載のキャリブレーションパターンユニッ卜。
  7. 前記撮像手段は、複数の視点からの撮像対象の撮像を可能とする複数の撮像系を有し、
    前記撮像領域指示部は、前記複数の撮像系の内の一つの撮像系にのみ対応するものであることを特徴とする請求項に記載のキャリブレーションパターンユニット。
  8. 前記撮像手段は、複数の視点からの撮像対象の撮像を可能とする複数の撮像系を有し、
    前記撮像領域指示部は、前記複数の撮像系に対応するものであることを特徴とする請求項6に記載のキャリブレーションパターンユニット。
  9. 前記撮像領域指示部は、前記キャリブレーションパターンに記載されていることを特徴とする請求項6に記載のキャリブレーションパターンユニット。
  10. 前記キャリブレーションパターンの一部分は、前記キャリブレーションパターンに対する前記撮像手段の姿勢を指示する撮像姿勢指示部であることを特徴とする請求項6に記載のキャリブレーションパターンユニット。
  11. 前記撮像手段は、複数の視点からの撮像対象の撮像を可能とする複数の撮像系を有し、
    前記撮像姿勢指示部は、前記複数の撮像系の内の一つの撮像系にのみ対応するものであることを特徴とする請求項10に記載のキャリブレーションパターンユニット。
  12. 前記撮像手段は、複数の視点からの撮像対象の撮像を可能とする複数の撮像系を有し、
    前記撮像姿勢指示部は、前記複数の撮像系に対応するものであることを特徴とする請求項10に記載のキャリブレーションパターンユニット。
  13. 前記撮像姿勢指示部は、前記撮像手段がキャリブレーションのための撮像を行う際の前記撮像手段の光軸の方向に伸びた棒状の指示部材であることを特徴とする請求項10に記載のキャリブレーションパターンユニット。
JP2002251634A 2002-08-29 2002-08-29 キャリブレーションパターンユニット Expired - Lifetime JP3635539B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2002251634A JP3635539B2 (ja) 2002-08-29 2002-08-29 キャリブレーションパターンユニット
EP03018745A EP1394501B1 (en) 2002-08-29 2003-08-26 Calibration pattern unit
DE60316645T DE60316645T2 (de) 2002-08-29 2003-08-26 Kalibrierungsmustereinheit
US10/650,590 US7286698B2 (en) 2002-08-29 2003-08-28 Calibration pattern unit

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002251634A JP3635539B2 (ja) 2002-08-29 2002-08-29 キャリブレーションパターンユニット

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2004322690A Division JP3782816B2 (ja) 2004-11-05 2004-11-05 キャリブレーションパターンユニット

Publications (2)

Publication Number Publication Date
JP2004093216A JP2004093216A (ja) 2004-03-25
JP3635539B2 true JP3635539B2 (ja) 2005-04-06

Family

ID=31492613

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002251634A Expired - Lifetime JP3635539B2 (ja) 2002-08-29 2002-08-29 キャリブレーションパターンユニット

Country Status (4)

Country Link
US (1) US7286698B2 (ja)
EP (1) EP1394501B1 (ja)
JP (1) JP3635539B2 (ja)
DE (1) DE60316645T2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3635539B2 (ja) * 2002-08-29 2005-04-06 オリンパス株式会社 キャリブレーションパターンユニット
DE102004021893B4 (de) * 2004-05-04 2009-06-04 Daimler Ag Verfahren zum Einmessen einer robotergeführten optischen Messanordnung
US20120032946A1 (en) * 2010-08-04 2012-02-09 Wei-Chung Wang New calibration procedures for three-dimensional digital image correlation
DE102010039246A1 (de) * 2010-08-12 2012-02-16 Robert Bosch Gmbh Verfahren zum Kalibrieren eines Messsystems und Vorrichtung zum Durchführen des Verfahrens
US20120242839A1 (en) * 2011-03-25 2012-09-27 Tk Holdings Inc. Image sensor calibration system and method
WO2012130484A1 (de) * 2011-03-29 2012-10-04 Robert Bosch Gmbh System und verfahren zum kalibrieren eines referenzsystems zur fahrzeugvermessung
DE102011078631A1 (de) * 2011-07-05 2013-01-10 Robert Bosch Gmbh Anordnung und Verfahren zum Bestimmen einer Abbildungsabweichung einer Kamera
US10445898B2 (en) * 2016-02-05 2019-10-15 Sony Corporation System and method for camera calibration by use of rotatable three-dimensional calibration object
CN110506297B (zh) * 2017-04-17 2023-08-11 康耐视公司 高精确度校准系统和方法
US10089753B1 (en) * 2017-07-05 2018-10-02 Almotive Kft. Method, system and computer-readable medium for camera calibration
US10650584B2 (en) 2018-03-30 2020-05-12 Konica Minolta Laboratory U.S.A., Inc. Three-dimensional modeling scanner
DE102018125422B4 (de) * 2018-10-15 2020-12-24 Karl Storz Se & Co. Kg Verfahren zum Prüfen oder Kalibrieren einer Stereo-Bilderfassungsvorrichtung
DE102018222796A1 (de) * 2018-12-21 2020-06-25 Conti Temic Microelectronic Gmbh Aufbau und Vermessung des Aufbaus zur Kalibrierung einer Kamera
US10488185B1 (en) * 2019-03-14 2019-11-26 The Boeing Company Methods and systems for characterizing a surface of a structural component

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05256627A (ja) * 1992-03-11 1993-10-05 Takaoka Electric Mfg Co Ltd 画像センサ調整装置
JP3869876B2 (ja) 1995-12-19 2007-01-17 キヤノン株式会社 画像計測方法及び画像計測装置
JPH11166818A (ja) 1997-12-04 1999-06-22 Suzuki Motor Corp 三次元形状計測装置の校正方法及び校正装置
US6341016B1 (en) * 1999-08-06 2002-01-22 Michael Malione Method and apparatus for measuring three-dimensional shape of object
JP2001082941A (ja) * 1999-09-16 2001-03-30 Gen Tec:Kk キャリブレーション用3次元パターン
AU2001249647A1 (en) * 2000-03-30 2001-10-15 The Board Of Trustees Of The Leland Standford Junior University Apparatus and method for calibrating an endoscope
GB0023681D0 (en) * 2000-09-27 2000-11-08 Canon Kk Image processing apparatus
US7062861B2 (en) * 2001-06-28 2006-06-20 Snap-On Incorporated Self-calibrating position determination system and user interface
JP4877891B2 (ja) 2001-08-03 2012-02-15 株式会社トプコン 校正用被写体
FR2835603B1 (fr) * 2002-02-01 2004-11-12 Holo 3 Procede et dispositif de mesure optique du deplacement et/ou de la deformation d'un objet dans au moins une direction
US6917702B2 (en) * 2002-04-24 2005-07-12 Mitsubishi Electric Research Labs, Inc. Calibration of multiple cameras for a turntable-based 3D scanner
JP3635540B2 (ja) * 2002-08-29 2005-04-06 オリンパス株式会社 キャリブレーションパターンユニット
JP3635539B2 (ja) * 2002-08-29 2005-04-06 オリンパス株式会社 キャリブレーションパターンユニット

Also Published As

Publication number Publication date
US20040042649A1 (en) 2004-03-04
EP1394501B1 (en) 2007-10-03
DE60316645T2 (de) 2008-01-31
DE60316645D1 (de) 2007-11-15
JP2004093216A (ja) 2004-03-25
EP1394501A2 (en) 2004-03-03
US7286698B2 (en) 2007-10-23
EP1394501A3 (en) 2006-01-25

Similar Documents

Publication Publication Date Title
JP3635539B2 (ja) キャリブレーションパターンユニット
CN110447220B (zh) 校准装置、校准方法、光学装置、摄影装置以及投影装置
Bakstein et al. Panoramic mosaicing with a 180/spl deg/field of view lens
JP6764533B2 (ja) キャリブレーション装置、キャリブレーション用チャート、チャートパターン生成装置、およびキャリブレーション方法
CA2695909C (en) Panoramic projection device, and method implemented by this device
JP5676092B2 (ja) パノラマ画像生成方法及びパノラマ画像生成プログラム
JP4661829B2 (ja) 画像データ変換装置、及びこれを備えたカメラ装置
US20050148854A1 (en) Diagnosis supporting device
JP2011139368A (ja) 撮像装置の制御装置および制御方法
JP3827912B2 (ja) 全方向ステレオ画像撮影装置及びステレオ画像撮影装置
KR101912396B1 (ko) 가상 카메라 기반의 임의 시점 영상 생성 장치 및 방법
JP5070435B1 (ja) 3次元相対座標計測装置およびその方法
JPH09231373A (ja) 三次元位置計測装置
WO2014208230A1 (ja) 座標算出装置及び方法、並びに画像処理装置及び方法
JP2006262030A (ja) 画角調整装置、カメラシステムおよび画角調整方法
CN114630611A (zh) 使用实时图像处理在视频引导临床手术期间改变视向的系统和方法
JP4960941B2 (ja) 放送用バーチャルスタジオのズームレンズ搭載カメラのカメラキャリブレーション装置、その方法およびそのプログラム
KR100982171B1 (ko) 안면 영상 촬영장치
JP2005244861A (ja) 撮像装置及び撮像系パラメータ校正方法
JP2006121750A (ja) キャリブレーションパターンユニット
JP3782816B2 (ja) キャリブレーションパターンユニット
JP5487946B2 (ja) カメラ画像の補正方法およびカメラ装置および座標変換パラメータ決定装置
JP2005283616A (ja) 撮像装置
JP2007033087A (ja) キャリブレーション装置及び方法
JP3594225B2 (ja) 広視野カメラ装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20040823

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20040907

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20041105

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20041207

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20041221

R151 Written notification of patent or utility model registration

Ref document number: 3635539

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080114

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090114

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100114

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110114

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120114

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130114

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140114

Year of fee payment: 9

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term
S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371