JP4415539B2 - 画像読取装置 - Google Patents

画像読取装置 Download PDF

Info

Publication number
JP4415539B2
JP4415539B2 JP2002337681A JP2002337681A JP4415539B2 JP 4415539 B2 JP4415539 B2 JP 4415539B2 JP 2002337681 A JP2002337681 A JP 2002337681A JP 2002337681 A JP2002337681 A JP 2002337681A JP 4415539 B2 JP4415539 B2 JP 4415539B2
Authority
JP
Japan
Prior art keywords
center
image
camera
optical system
optical
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002337681A
Other languages
English (en)
Other versions
JP2004171344A (ja
Inventor
貴之 畑瀬
誠之 荒瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Corp
Panasonic Holdings Corp
Original Assignee
Panasonic Corp
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Corp, Matsushita Electric Industrial Co Ltd filed Critical Panasonic Corp
Priority to JP2002337681A priority Critical patent/JP4415539B2/ja
Publication of JP2004171344A publication Critical patent/JP2004171344A/ja
Application granted granted Critical
Publication of JP4415539B2 publication Critical patent/JP4415539B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Image Input (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Facsimile Scanning Arrangements (AREA)
  • Supply And Installment Of Electrical Components (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、撮像対象の画像を読み取る画像読取装置に関するものである。
【0002】
【従来の技術】
基板に電子部品を実装する電子部品実装装置では、基板や電子部品の位置認識を行うための画像読取装置を備えており、電子部品を基板の実装点へ搭載する実装動作においては、この位置認識結果に基づいて位置合わせが行われる。このような画像読取装置として、カメラの受光面に光学画像を結像させる光学系にズーム機構を備えたものが知られている(例えば特許文献1参照)。ズーム機構によってズーム比を変更することにより、カメラの受光面には大きさの異なる画像が結像され、撮像目的に応じた画像を取得することができる。
【0003】
【特許文献1】
特開2001−304809号公報
【0004】
【発明が解決しようとする課題】
このようなズーム機構を備えた画像読取装置においては、カメラの受光面と光学系の中心との位置ずれに起因して、次のような不都合が生じていた。以下、図7を参照して説明する。図7は従来の画像読取装置のカメラに設定された読み取り範囲と表示画面の説明図である。図7(a)において、1は画像読取装置のカメラの受光面を示しており、受光面1には読み取り範囲2が設定されている。ここで読み取り範囲2はカーソルラインの交点が受光面1の中心1a、すなわち光学座標系の原点と一致するように位置が設定されている。読み取り範囲2には、観察対象の像が、受光面1の中心1aに光学倍率nで結像されている。
【0005】
このとき、光学系の光軸位置を示す光学系の中心4は、受光面1の中心1aとは一致しておらず位置ずれ状態にある。この状態で、読み取り範囲2の画像データを読み取り、モニタの画面5に映像として表示させると、観察対象3を光学倍率nで結像させた像3a(n)は、光学系中心4に関係なくの画面5の中心5aに映像3b(n)として表示される。
【0006】
図7(b)は、上述のように光学系の中心が受光面1の中心1aと位置ずれした状態で、光学倍率をn倍からn×m倍に変更した場合の像を示している。この光学倍率の拡大に伴って、受光面上に結像される光学画像においては光学系の中心位置と観察対象との位置ずれも拡大されることから、観察対象3を光学倍率n×mで結像させた像3a(n×m)は受光面1の中心1aと一致せず、したがって画面5に表示される映像3b(n×m)も同様に画面5の中心5aからずれる結果となる。
【0007】
すなわち、同一の観察対象の画像を読み取る場合においても、光学倍率を変更すると、カメラの受光面に結像される光学画像のカメラ中心に対する相対位置は光学倍率によって異なり、光学倍率変更前にカメラ中心に位置していた映像が、光学倍率変更後にはカメラ中心から外れるという不都合を生じる。この不都合を避けるためには、カメラ中心と光学系の中心とを完全に一致させる機械的な光軸合わせを行う必要があるが、従来よりこの光軸合わ作業は熟練者のみが実行可能な複雑な作業であることから、この調整作業を行うことなく前述の不具合を解消する方策が望まれていた。
【0008】
そこで本発明は、光学倍率変更による画像の位置ずれを防止することができる画像読取装置を提供することを目的とする。
【0009】
【課題を解決するための手段】
請求項1記載の画像読取装置は、複数の画素で構成された受光面を有し任意の画素から選択的に画像データを出力可能なカメラと、前記受光面に撮像対象物の光学画像を結像させる光学系と、この光学系の光学倍率を変更するズーム機構と、前記カメラに対して読み取り範囲の中心であるカメラ中心を指示することにより当該読み取り範囲に対応した画素を選択させ、選択された画素から出力された画像データを読み取って表示手段の画面に表示させる画像処理部と、前記読み取り範囲の中心であるカメラ中心を示す図形を前記画面に表示させるカメラ中心表示手段とを備え、前記画像処理部は前記画面上における光学系の光軸の位置を検出する光学系中心位置検出手段と、前記光学系中心位置検出手段によって検出された光軸の位置を記憶する記憶部を有し、この光学系中心位置記憶部に記憶した光軸の位置を前記カメラ中心として指示する。
【0011】
請求項記載の画像読取装置は、請求項1記載の画像読取装置であって、前記画像処理部に受光面における光学系の光軸の位置を検出する光学系中心位置検出手段を備え、この光軸の位置を前記光学系中心位置記憶部に記憶する。
【0012】
本発明によれば、カメラに対して読み取り範囲を指示することにより選択された画素から画像データを出力させ、出力された画像データを読み取って表示モニタの画面に表示させる画像処理部と、カメラ中心を示す図形を画面に表示させるカメラ中心表示手段とを備え、画像処理部によって画面上において光学系の光軸とカメラ中心が一致するように読み取り範囲を指示することにより、光学倍率変更による画像の位置ずれを防止することができる。
【0013】
【発明の実施の形態】
次に本発明の実施の形態を図面を参照して説明する。図1は本発明の一実施の形態の画像読取装置の構成を示すブロック図、図2は本発明の一実施の形態の画像読取装置の処理機構を示す機能ブロック図、図3は本発明の一実施の形態の画像読取装置における画像読取り・映像表示機能の説明図、図4は本発明の一実施の形態の画像読取装置による読み取り範囲調整処理のフロー図、図5は本発明の一実施の形態の画像読取装置の受光面を示す図、図6は本発明の一実施の形態の画像読取装置の受光面を示す図、図7は本発明の一実施の形態の画像読取装置のカメラに設定された読み取り範囲と表示画面の説明図である。
【0014】
まず図1を参照して、画像読取装置の構成を説明する。図1において、画像読取装置10は、テーブル機構11の上方に撮像部14を配置した構成となっており、テーブル機構11には基準マークなどの観察対象13が設けられた基板12が載置される。テーブル機構11はテーブル機構駆動部20によって制御され、テーブル機構11を駆動することにより、基板12を撮像部14に対して相対的に水平移動させることができる。
【0015】
撮像部14はCMOS型の受光素子16を備えた任意読みとり型のカメラ15と、レンズ18aを備えた光学系18とを組み合わせた構成となっており、光学系18はズーム機構19を備えている。ズーム機構制御部21によってズーム機構19を制御することにより、光学系18の光学倍率が変更され、受光素子16に結像される光学画像の倍率を変更することができる。
【0016】
カメラ15によって読み取られた観察対象13の画像データは画像処理部22に送られ、ここで画像処理されることによって、表示部23に設けられた表示用の画面に表示される。画像処理部22は制御機能を有しており、カメラ15の画像読み取り動作を制御するための指令を出力するとともに、ズーム機構制御部21に対して光学倍率変更指令を出力する。操作・入力部24はキーボードやマウスなどの入力手段であり、画像処理部22に対してデータや操作コマンドの入力を行う。
【0017】
次に図2、図3を参照して、画像読取装置の処理機能を説明する。カメラ15の受光素子16は、複数の画素16bで構成された受光面16aを有しており、カメラ制御部26によって画素選択部25を制御することにより、任意の画素16bから画素信号が出力される。図3に示すように、受光素子16の受光面16aには、読み取り範囲17が設定されている。読み取り範囲17は、画素から表示用の画像データが出力される範囲を示しており、読み取り範囲17内の画素から出力された画素信号が、画像データとして画像処理部22の第2の表示メモリ27に格納される。
【0018】
受光面16aには、読み取り範囲17の中心を示すカメラ中心16cが設定される。ここでカメラ中心16cは、必ずしも受光面16aの中心を意味するものではなく、表示部23のモニタ23aに表示されたカーソルライン23bなどの目印によって特定される画面上の1点(画面中心)に対応する画素がカメラ中心の画素として特定される。
【0019】
画像読み取り時においては、図3に示すように基板12に形成された基準マークなどの観察対象13の画像をカメラ15によって取り込むが、このときモニタ23aに表示された観察対象13の映像13aがカーソルライン23bの交点に一致するように、テーブル機構11によって基板12を移動させて、観察対象13の水平位置を調整する。
【0020】
このとき、光学系18の光軸aの位置は必ずしもカメラ中心16cに完全に一致しているとは限らず、図3に示すように光軸aとカメラ中心16cとが位置ずれしている場合がある。この場合には、上述のようにモニタ23aにおいて映像13aがカーソルライン23bの交点に一致していても、光学系18の中心である光軸aは観察対象13とは一致していない。
【0021】
このように光学系18の中心と観察対象13とが位置ずれした状態で、光学系18の光学倍率を変更すると、モニタ23aにおける映像13aのカーソルライン23bに対する位置が、光学倍率によって変動するという不都合が生じる。この不都合を解消するため、本実施の形態に示す画像読取装置では、画像処理部22を以下のような構成としている。
【0022】
画像処理部22の構成および機能を説明する。画像処理部22は、記憶内容の異なる第1の表示メモリ29、第2の表示メモリ27、画像メモリ28の3つのメモリを備えている。第1の表示メモリ29には、クロス形状のカーソルラインを表示するための図形データが格納される。このデータは操作・入力部24によって入力され、表示処理部30が第1の表示メモリ29から図形データを読み取り、表示のためのデータ処理することにより、図3に示すようにカーソルライン23bが表示部23のモニタ23aに表示される。
【0023】
第2の表示メモリ27にはカメラ15の受光素子16から出力された画素信号が表示用の画像データとして書き込まれ、表示処理部30が第2の表示メモリ27から画像データを読み取り、表示のためのデータ処理することにより、表示部23に表示される。このとき、表示処理部30は第2の表示メモリ27から読み取られた画像データと、第1の表示メモリ29から読み取られた図形データを合成して表示部23に表示する。
【0024】
これにより、表示部23のモニタ23aには、カメラ15で読み取られた画像にカーソルラインが組み合わされた画面が表示される。この画面表示において、カーソルラインの交点は受光面16aに設定されるカメラ中心に一致するように表示される。上記構成において、第1の表示メモリ29、表示処理部30は、カメラ中心表示手段となっている。
【0025】
画像メモリ28には、受光素子16から出力された画素信号が画像認識用の画像データとして書き込まれる。書き込まれた画像データは画像認識部32に読み込まれ、ここで光学系中心位置検出処理33および認識処理34の2種類の処理の対象となる。認識処理34は、観察対象13の検出や位置認識など、画像読み取り目的に応じた認識処理を示しており、光学系中心位置検出処理33は、光学系18の中心位置、すなわち図3に示す光学系18の光軸aの受光面16aにおける位置を検出する処理を示している。画像処理部22の光学系中心位置検出処理33は、受光面における光学系の光軸の位置を検出する光学系中心位置検出手段となっている。
【0026】
検出された光学系の中心位置すなわち光軸は、光学系中心位置記憶部31に記憶され、さらにカメラ制御部26によって読み出される。カメラ制御部26が画素選択部25を制御して画素選択動作を行う際に、読み出された光学系の中心位置に読み取り範囲17の中心が一致するように画素選択を行うことにより、後述するように、光学系18の光軸aが受光面16aの中心カメラ中心16cと一致せずに位置ずれを生じている場合においても、表示部23に表示された画面上では、画像の読み取り範囲の中心と、モニタ23aの画面の中心とを常に一致させることができる。
【0027】
次に、画像の読み取り範囲の中心と画面の中心とを一致させることを目的として行われる読み取り範囲調整処理について、図4のフローに沿って、図5,図6を参照して説明する。図4において、まず、初期設定を行う(ST1)。ここでは、光学倍率をnに設定し、カメラ中心16cを光学座標系上の原点(X、Y)、すなわち受光面16aの中心座標を仮の中心位置として設定する。
【0028】
次に、観察対象13を認識して、その像の受光面16aにおける位置(Xn、Yn)を求める(ST2)。なお、予めモニタ23aの中心に、観察対象13の映像13a(n)を一致させておけば、すなわち観察対象13を光学倍率nで結像させた像13a(n)がカメラ中心16cに結像されるように観察対象13の位置を調整しておけば、観察対象13の受光面16aにおける位置は(X、Y)となるので、このステップは省略してもよい。図5(a)に示す例では、予め予めモニタ23aの中心に観察対象13の映像を一致させた結果、像13a(n)がカメラ中心16cに一致した状態を示している。
【0029】
次に、光学倍率をn×mに変更する(ST3)。次いで観察対象13を認識して、その像の受光面16aにおける位置(Xn×m、Yn×m)を求める(ST2)。そして、(Xn、Yn)、(Xn×m、Yn×m)より、光学系18の中心位置(Xc、Yc)を計算する。すなわち、中心位置C(Xc、Yc)と観察対象13の像の受光面16aにおける位置との間の距離は、光学倍率に比例していることから、異なる2つの光学倍率で観察対象13を認識して、その像の受光面16aにおける位置が求められたならば、中心位置C(Xc、Yc)を計算によって求めることができる。
【0030】
図5(a)に示す例では、(Xn、Yn)は(X、Y)に等しいことから、(Xc、Yc)は、(Xn×m、Yn×m)のみを用いて、
Xc=Xn×m/(m−1)
Yc=Yn×m/(m−1)
と表すことができる。
【0031】
次に、求められた光学系18の中心位置は適正か否かの判定を行う(ST6)。ここで、求められた中心位置Cが受光面16aの中心座標(X、Y)から大きく位置ずれしており、中心位置は不適正であると判定されたならば、異常メッセージを表示する(ST7)。そして、求められた中心位置Cが受光面16aの中心座標(X、Y)の近傍にあり、中心位置は適正であると判定されたならば、光学系18の中心位置(Xc、Yc)を光学系中心位置記憶部31に記憶し、これにより、読み取り範囲調整処理は終了する。
【0032】
この後、カメラ制御部26による読み取り範囲17の設定に際しては、図5(b)に示すように、記憶された中心位置Cに読み取り範囲17の中心が一致するように、カメラ制御部26により受光面16aにおける取り込み範囲17の設定位置を移動させる。すなわち、読み取り範囲17の指示は、受光面16aにおける読み取り範囲17の中心位置を指示して行われ、前述の光学系中心位置検出手段によって検出されて光学系中心位置記憶部31に記憶された光軸aの位置を、読み取り範囲17の中心位置として指示する。これにより、読み取り範囲17の中心に設定されたカメラ中心16cは光学系18の中心位置Cに一致し、読み取り範囲調整前の状態において中心位置(光軸)Cから外れていた像13a(n)は、中心位置Cに正確に重ねて表示することが可能となる。
【0033】
図6は、このように読み取り範囲調整処理を実行した後に、観察対象13の画像を異なる2通りの光学倍率(n、n×m)の設定で受光面16aに結像させ、読み取り範囲17で読み取った画像データをモニタ23aに表示させた例を示している。図6(a)は、モニタ23aを観察しながらテーブル機構11によって基板12の位置を調整し、観察対象13を光学倍率nで表示させた映像13b(n)を、モニタ23aのカーソルライン23bの交点に一致させた状態を示している。
【0034】
このとき、前述の読み取り範囲調整処理において、カメラ中心16cは光学系18の中心位置Cに一致するように読み取り範囲17の位置が設定されていることから、像13a(n)はカーソルライン32bで示されるカメラ中心に一致させることで、受光面16aにおいて中心位置Cと一致した位置に結像される。したがって、図8(b)に示すように、光学倍率をn×mに変更した状態においても同様に、観察対象13を光学倍率n×mで結像させた像13a(n×m)は受光面16aにおいて中心位置Cと一致した位置に結像され、したがってモニタ23aの表示画面においては、観察対象13を光学倍率n×mで表示させた映像13b(n×m)は、カメラ中心からずれることなくカーソルライン23bの交点の位置に表示される。
【0035】
このように、本実施の形態に示す画像読取装置によれば、同一の観察対象の画像を読み取る場合において、光学倍率変更前にカメラ中心に位置していた画像が、光学倍率変更後にはカメラ中心から外れるという不都合が生じることがない。したがって、従来この不都合を避けるために必要とされたカメラ中心と光学系の中心とを機械的な調整によって一致させる光軸合わせを行うこと無く、画像読み取りを行うことができる。
【0036】
【発明の効果】
本発明によれば、カメラに対して読み取り範囲を指示することにより選択された画素から画像データを出力させ、出力された画像データを読み取って表示モニタの画面に表示させる画像処理部と、カメラ中すなわち読み取り範囲の中心を示す図形を画面に表示させるカメラ中心表示手段とを備え、画像処理部によって画面上において光学系の光軸とカメラ中心が一致するように読み取り範囲を指示するようにしたので、光学倍率変更によって映像の位置がずれる不具合を防止することができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態の画像読取装置の構成を示すブロック図
【図2】本発明の一実施の形態の画像読取装置の処理機構を示す機能ブロック図
【図3】本発明の一実施の形態の画像読取装置における画像読取り・映像表示機能の説明図
【図4】本発明の一実施の形態の画像読取装置による読み取り範囲調整処理のフロー図
【図5】本発明の一実施の形態の画像読取装置の受光面を示す図
【図6】本発明の一実施の形態の画像読取装置のカメラに設定された読み取り範囲と表示画面の説明図
【図7】従来の画像読取装置のカメラに設定された読み取り範囲と表示画面の説明図
【符号の説明】
10 画像読取装置
13 観察対象
14 撮像部
15 カメラ
16 受光素子
17 読み取り範囲
18 光学系
19 ズーム機構
22 画像処理部
23 表示部
25 画素選択部
31 光学系中心位置記憶部
32 画像認識部

Claims (1)

  1. 複数の画素で構成された受光面を有し任意の画素から選択的に画像データを出力可能なカメラと、前記受光面に撮像対象物の光学画像を結像させる光学系と、この光学系の光学倍率を変更するズーム機構と、前記カメラに対して読み取り範囲の中心であるカメラ中心を指示することにより当該読み取り範囲に対応した画素を選択させ、選択された画素から出力された画像データを読み取って表示手段の画面に表示させる画像処理部と、前記読み取り範囲の中心であるカメラ中心を示す図形を前記画面に表示させるカメラ中心表示手段とを備え、前記画像処理部は前記画面上における光学系の光軸の位置を検出する光学系中心位置検出手段と、前記光学系中心位置検出手段によって検出された光軸の位置を記憶する記憶部を有し、この光学系中心位置記憶部に記憶した光軸の位置を前記カメラ中心として指示することを特徴とする画像読取装置。
JP2002337681A 2002-11-21 2002-11-21 画像読取装置 Expired - Fee Related JP4415539B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2002337681A JP4415539B2 (ja) 2002-11-21 2002-11-21 画像読取装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2002337681A JP4415539B2 (ja) 2002-11-21 2002-11-21 画像読取装置

Publications (2)

Publication Number Publication Date
JP2004171344A JP2004171344A (ja) 2004-06-17
JP4415539B2 true JP4415539B2 (ja) 2010-02-17

Family

ID=32701118

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002337681A Expired - Fee Related JP4415539B2 (ja) 2002-11-21 2002-11-21 画像読取装置

Country Status (1)

Country Link
JP (1) JP4415539B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101341632B1 (ko) 2008-11-05 2013-12-16 삼성테크윈 주식회사 줌 카메라의 광축 오차 보상 시스템, 그 보상 방법
KR101864787B1 (ko) * 2017-09-12 2018-06-05 한화시스템 주식회사 열상 카메라의 열영상 평가 방법

Also Published As

Publication number Publication date
JP2004171344A (ja) 2004-06-17

Similar Documents

Publication Publication Date Title
CN107026973B (zh) 图像处理装置、图像处理方法与摄影辅助器材
US8581996B2 (en) Imaging device
US8073206B2 (en) Face feature collator, face feature collating method, and program
KR101270893B1 (ko) 화상 처리 장치, 화상 처리 방법, 그 프로그램 및 그프로그램을 기록한 기록 매체와 촬상 장치
US5627586A (en) Moving body detection device of camera
JP4770493B2 (ja) 遠隔指示システム及び遠隔指示方法
US8451335B2 (en) Imaging device
US20080309799A1 (en) Image pickup apparatus and image pickup method
CN102037719A (zh) 摄影设备,便携式信息处理终端,摄影设备的监视器显示方法,以及程序
JP5096301B2 (ja) 撮像装置
US20110019066A1 (en) Af frame auto-tracking system
KR20050001336A (ko) 화상 처리 시스템, 프로젝터, 정보 기억 매체 및 화상처리 방법
KR20040067924A (ko) 화상 처리 시스템, 프로젝터 및 화상 처리 방법
JP2006236195A (ja) プレゼンテーション制御装置
JP4565909B2 (ja) カメラ
JP4415539B2 (ja) 画像読取装置
JP2007272117A (ja) 顕微鏡、顕微鏡の制御方法、及び顕微鏡の制御プログラム
JP2007318555A (ja) 拡大観察装置および拡大観察方法
JP2002215321A (ja) 指示画像制御装置
JP2007094661A (ja) プレゼンテーション制御装置およびプレゼンテーションシステム
JP2005005920A (ja) 書画カメラ及びその動作制御方法
JP2016065875A (ja) 画像処理装置及び画像処理方法
JP2002312766A (ja) 半田付け状態検査装置
JP2000059762A (ja) カメラ制御装置、方法及びコンピュータ読み取り可能な記憶媒体
JP2010130309A (ja) 撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20051101

RD01 Notification of change of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7421

Effective date: 20051213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081014

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090120

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090309

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090716

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20091104

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20091117

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121204

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131204

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees