JP3784653B2 - 赤外線映像装置 - Google Patents

赤外線映像装置 Download PDF

Info

Publication number
JP3784653B2
JP3784653B2 JP2001051642A JP2001051642A JP3784653B2 JP 3784653 B2 JP3784653 B2 JP 3784653B2 JP 2001051642 A JP2001051642 A JP 2001051642A JP 2001051642 A JP2001051642 A JP 2001051642A JP 3784653 B2 JP3784653 B2 JP 3784653B2
Authority
JP
Japan
Prior art keywords
thermal image
signal
real
frame
frame memory
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP2001051642A
Other languages
English (en)
Other versions
JP2002262284A (ja
Inventor
繁生 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Avionics Co Ltd
Original Assignee
Nippon Avionics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Avionics Co Ltd filed Critical Nippon Avionics Co Ltd
Priority to JP2001051642A priority Critical patent/JP3784653B2/ja
Publication of JP2002262284A publication Critical patent/JP2002262284A/ja
Application granted granted Critical
Publication of JP3784653B2 publication Critical patent/JP3784653B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Landscapes

  • Photometry And Measurement Of Optical Pulse Characteristics (AREA)
  • Radiation Pyrometers (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Closed-Circuit Television Systems (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、高速フレームレートの赤外線映像装置に用いるリアルタイムレコーダの記録再生に係り、特に再生画像をスキャン変換してテレビ同期にて表示あるいは外部装置へ転送する時に記録画像を間引くことなく再生する技術に関するものである。
【0002】
【従来の技術】
物体は、その温度にしたがって赤外線を放射しており、温度と放射赤外線量は一定の関係にある。この関係を利用して対象物の各部から放射される赤外線を検知し、対象物の温度分布を可視像として構成する赤外線映像装置が公知である。
【0003】
この赤外線映像装置は、赤外線センサから取り込まれた画像データを、データ補正、ノイズ除去等の処理を施してフレームメモリに記録し、このフレームメモリに記録された熱画像データに表示用の加工を施し、最終的にはテレビ同期の画像データとして表示部に出力するものである。
上述のように、通常この赤外線映像装置は1フレーム分の熱画像しか記録できないが、対象物の温度変化をリアルタイムに記録する記録手段としてリアルタイムレコーダと称する記憶装置を備えた赤外線映像装置も用いられている。
【0004】
図3に、このリアルタイムレコーダを備えた赤外線映像装置の要部ブロック図を示し、図3を用いてこの赤外線映像装置の動作を説明する。
対象物の放射する赤外線エネルギは赤外線センサ1で検知され、ここで熱画像データが形成され、このデータがデータ補正処理部2に送られ、所定の補正処理が施される。この補正処理後の熱画像データがフレームメモリ3とリアルタイムレコーダ6に送られる。このフレームメモリ3およびリアルタイムレコーダ6はともに半導体メモリにより構成されている。リアルタイムレコーダ6は赤外線センサ1からのタイミング信号をもとにセンサタイミングコントロール部7からのフレーム同期信号等をもとにリアルタイムレコーダコントロール部8でリアルタイムレコーダ6を制御するために必要な信号を生成し、リアルタイムレコーダ6に前記補正後の熱画像データを記録し、またリアルタイムレコーダ6から熱画像データを再生する。
【0005】
フレームメモリ3は内部に3つのバンクを持ち、書き込みと読み出しでアクセスするバンクを切り換えながら熱画像データのフレームデータを入出力する。この時、書き込みは赤外線センサ1のタイミングで実行され、読み出しはテレビの同期系のタイミングで実行されることによりスキャン変換が実現される。スキャン変換を実行するのはテレビ同期系の表示器に熱画像を表示し、肉眼で確認できるようにするためである。このスキャン変換を制御するのがスキャン変換コントロール部9で書き込み時にはリアルタイムレコーダコントロール部8からの信号でフレームメモリ3に熱画像データを書き込み、読み出し時にはTVタイミング発生部10からの制御信号により書き込まれた熱画像データがフレームメモリ3から読み出される。こうしてスキャン変換により読み出された熱画像データは表示処理部4で所定の処理を施されて図示しない表示部に表示される。また、図示しないパソコン等のデータ処理装置に外部インターフェース部5を介して出力される。
【0006】
このように、リアルタイムレコーダ6は赤外線センサ1から出力される熱画像データを構成要素である半導体メモリへ動画像として記録し、また既に記録されている熱画像データを再生するものである。この機能により、対象物の高速な温度変化を観測する場合であっても必要とする熱画像データをもれなく記録することができる。更に、この記録熱画像データは外部インターフェイス部5を通じてパソコン等に出力することで、詳細なデータ解析や観測データの管理作業を使用者の都合のよいときに行える利点がある。
【0007】
前述したように、リアルタイムレコーダ6は、赤外線センサ1のタイミングで書き込み、読み出しが行われ、フレームメモリ3に一旦記録され、ここでテレビの同期系にスキャン変換され、表示部に表示される。従って、赤外線センサ1のフレームレートが120分の1秒とテレビのフレームレートである30分の1秒よりも速い場合は、フレームメモリ3でのスキャン変換処理の関係上赤外線センサ1からのフレームデータに間引きが生じリアルタイムレコーダ6から再生されたすべてのフレーム熱画像データが表示部には表示されないという現象が発生する。スキャン変換の出力レートより入力レートの方が速いからである。
【0008】
表示部に表示された熱画像を人間が観測する場合はこのような間引きは特に問題とはならないが、外部インターフェイス5を介してパソコンなどにデータ転送して熱画像解析するというような使用方法では、スキャン変換後のすべてのフレームの再生データをもれなく出力しなければならない。肉眼では間引きによるフレームの欠落が判別できないが、パソコン等はすべてのフレームデータを連続入力可能だからである。
【0009】
【発明が解決しようとする課題】
このように、現状のリアルタイムレコーダを備えた赤外線映像装置は、テレビレートへのスキャン変換後の熱画像データを外部インターフェイスを介してパソコン等に出力する場合間引きが行われ、すべての熱画像データを詳細なデータ解析等に用いることができないという欠点があった。この欠点を解決するためには、リアルタイムレコーダをテレビのフレームレート以下のレートでスロー再生して間引きによるフレームデータの欠落をなくすことが考えられるが、この方法には非同期のスキャン変換タイミングにより同一フレームデータが連続して出力されてしまうという欠点があった。
本発明は、上記課題を解決するために、リアルタイムレコーダをテレビの同期系に同期した再生動作を可能とし、再生動作とスキャン変換動作を同期させることでフレームデータの欠落なくスキャン変換可能な再生動作を可能とするリアルタイムレコーダを備えた赤外線映像装置を提供することを目的とする。
【0010】
【課題を解決するための手段】
本発明になる赤外線映像装置は、対象物の放射する赤外線エネルギを検出して熱画像データを生成するテレビ同期タイミングより高速のタイミングで動作する赤外線センサと、この赤外線センサの同期タイミング系の信号に応じてこの熱画像が書き込まれ、テレビ同期タイミング系の信号に応じて書き込まれた熱画像を読み出すことでスキャン変換するフレームメモリと、スキャン変換された熱画像を表示する表示部とともにデータ処理するパソコン等にデータ転送する外部インターフェイスとを備えた赤外線映像装置において、前記熱画像データを記録し、再生するものであって、その記録は前記赤外線センサのタイミングで実行され、記録済みの熱画像データの再生はテレビ垂直同期信号をトリガ信号とし、このトリガ信号をもとに前記赤外線センサのタイミングで実行され、再生された熱画像データは前記フレームメモリに送出するリアルタイムレコーダを備えたことを特徴とするものである。
【0011】
本発明によれば、記録済みの熱画像データの再生はテレビ垂直同期信号をトリガ信号とし、このトリガ信号をもとに前記赤外線センサのタイミングで実行するようにしたので、このタイミングで熱画像データが1フレーム分リアルタイムレコーダから再生された後、2つめのテレビ垂直同期信号が入力されるまで再生を停止する。再生された熱画像データは前記赤外線センサのタイミングでフレームメモリの1つのバンクに書き込まれ、テレビ同期タイミング系の信号でフレームメモリのこのバンクから読み出される。この読み出しはテレビ同期タイミング系のフレームレートで実行される。このフレームメモリの読み出し終了までには2つめのテレビ垂直同期信号がトリガとなり、リアルタイムレコーダから熱画像が1フレーム分再生され、前記フレームメモリの別のバンクに書き込まれる。前記バンクからの読み出しが終了するとこの別のバンクから熱画像を読み出す。こうしてリアルタイムレコーダをテレビの同期タイミング系に同期した再生動作を可能とし、再生動作とスキャン変換動作を同期させることとしたのでフレームデータの欠落なくスキャン変換可能な再生動作が可能となる。
【0012】
【発明の実施の形態】
以下本発明について、図を用いて詳しく説明する。
図1は本発明の一実施の形態であるリアルタイムレコーダを備えた赤外線映像装置のうちで本発明の動作を説明する上での要部ブロック図、図2は同じく本発明の動作を説明するタイミングチャート図である。
【0013】
図1において、従来のリアルタイムレコーダを備えた赤外線映像装置と同じ構成のものは同じ符号を付し、その説明を省略する。
図1において、81は従来のリアルタイムメモリコントロール部8のうちの一部である読み出しを制御するリアルタイムレコーダリードコントロール部、91および92、93は従来のスキャン変換コントロール部9の内部であり、それぞれフレームメモリの書き込みを制御するフレームメモリライトコントロール部、フレームメモリリードコントロール部、この両者からの信号を書き込み読み出しに応じて所要の信号を出力するセレクタ、100はセンサ系のタイミング信号をテレビ系のクロックに、テレビ系の信号をセンサ系のクロックに同期させてそれぞれ他の系統制御系に信号を送出するリアルタイムレコーダ/フレームメモリクロック同期処理部である。ここで、センサ系のフレームレートは1/120秒であり、テレビ系のフレームレートは1/30秒であり、センサ系の同期信号とテレビ系の同期信号は互いに非同期である。
【0014】
図2において(a)は同期化TV垂直同期信号、(b)はセンサフレーム同期信号、(c)は再生フレーム番号、(d)はフレームスタート信号、(e)はリアルタイムレコーダ再生データイネーブル信号、(f)はフレームメモリライトフレーム番号、(g)はフレームメモリリードフレーム番号、(h)はTV垂直同期信号、(i)はフィールド信号、(j)は同期化フレームスタート信号である。ここで(a)〜(f)までの信号は、センサタイミング系での動作であり、(g)から(j)までの信号はTVタイミング系での動作である。
【0015】
次に、信号の入出力状況について各ブロックの働きとともに説明する。
図示しない別途設けた設定部からのリアルタイムレコーダの再生モードを指定するモード指定信号201とリアルタイムレコーダに記憶されている熱画像を何フレーム再生するか、その再生するフレーム数を指定するフレーム数指定信号202がリアルタイムレコーダリードコントロール部81に入力される。
また、図示しない赤外線センサからのセンサ系同期信号203がセンサタイミングコントロール部7に供給され、センサフレーム同期信号204を含むセンサ同期信号205が生成され、リアルタイムレコーダリードコントロール部81とフレームメモリライトコントロール部91に供給される。
【0016】
リアルタイムレコーダリードコントロール部81ではこれらの信号を受けて、リアルタイムレコーダ6のリードに必要なリアルタイムレコーダ制御信号206を生成し、リアルタイムレコーダ6に供給する。リアルタイムレコーダ6は半導体メモリの集合体で構成しているので、リアルタイムレコーダ制御信号206としては、通常のメモリの読み出しに必要なアドレス信号やリード信号などからなる。また、リアルタイムレコーダ6のリードを開始するとその先頭フレームを示す信号であるフレームスタート信号210を生成し、リアルタイムレコーダ/フレームメモリクロック同期処理部100に出力し、リードしているときのデータがフレームメモリ3へ書き込むべきデータであることを示すリアルタイムレコーダ再生データイネーブル信号211を生成し、フレームメモリライトコントロール部91へ出力する。
【0017】
また、再生モードに応じて再生のトリガ信号として用いられる同期化TV垂直同期信号207が入力される。同期化TV垂直同期信号207は、TVタイミング発生部10で生成されたTV同期信号208のうちTV垂直同期信号209をリアルタイムレコーダ/フレームメモリクロック同期処理部100でセンサ系のクロックと同期化することにより生成される。
【0018】
フレーメモリライトコントロール部91はセンサ同期信号205とリアルタイムレコーダ再生データイネーブル信号211とフレームメモリリードコントロール部92で生成される3つのバンクからなるフレームメモリ3のどのバンクを読み出し中であるかを示す信号であるメモリリードバンク信号212をもとにフレームメモリ3の書き込みに必要なフレームメモリライト制御信号213を生成してセレクタ93に出力し、この信号はフレームメモリ3が書き込み時にはフレームメモリ3に出力される。また同時にフレームメモリ3のどのバンクまで書き込みが終了したバンクであるかを示すメモリライトバンク信号214を生成してフレームメモリリードコントロール部92へ出力する。
【0019】
フレーメモリリードコントロール部92はTV同期信号208とフレームメモリ3のどのバンクまで書き込みが終了したかを示す信号であるメモリライトバンク信号214をもとにフレームメモリ3の読み出しに必要なフレームメモリリード制御信号215を生成してセレクタ93に出力し、この信号はフレームメモリ3が読み出し時にはフレームメモリ3に出力される。
【0020】
次に、このように構成されたリアルタイムレコーダの再生動作について説明する。なお、リアルタイムレコーダ6への記録動作については特に説明しないが、熱画像データが記録されているものとする。
再生フレーム数指定信号202で再生するフレーム数を設定し、モード指定信号201により、リアルタイムレコーダの再生モードをTV同期モードとする。こうすることにより、RTメモリリードコントロール部81に入力されている同期化TV垂直同期信号202が有効となり、この信号に同期してリアルタイムレコーダの再生動作が実行可能となる。また、この時同時に、リアルタイムレコーダ再生データイネーブル信号211は無効とされる。
【0021】
同期化TV垂直同期信号202が入力されると、次に入力されるセンサフレーム同期信号204を待って1フレーム分再生される(図2(1))。センサフレーム同期信号204を待って再生されるのはリアルタイムレコーダの再生動作はセンサ系のタイミングで実行されるからである。このときフレームスタート信号210がセンサフレームの1フレーム分有効となって再生フレームの先頭フレームであることを示す。また、同時にリアルタイムレコーダ再生データイネーブル信号211が有効となり、この信号がフレームメモリライトコントロール部91に送出される。ここで、リアルタイムレコーダ6の再生はTV同期モードであるから、次の同期化TV垂直同期信号207が入力されるまで再生は停止される(図2(2))。再生の開始は後述するように、2つ後の同期化TV垂直同期信号207が入力されてからである。これはフレームメモリ3の読み出しがTV同期のフレーム単位で実行されるからである。
【0022】
こうして、リアルタイムレコーダ6から1フレーム分の熱画像データが読み出されると、このデータはフレームメモリ3に送出される。
フレームメモリライトコントロール部91はリアルタイムレコーダ再生イネーブル信号211が入力されるとフレームメモリ3に書き込むべきデータが存在することを認識し、フレームメモリライト制御信号213がセレクタ93を介してフレームメモリ3に送出され、1フレーム分の熱画像データがフレームメモリ3の書き込み可能なバンクにに書き込まれる。この書き込み可能なバンクは前述したようにメモリリードバンク信号212と前回書き込んだバンクとから読み出していないバンクを書き換えないように決定される。
【0023】
こうして、フレームメモリ3に書き込まれた熱画像は次のようにしてTV同期で読み出される。
フレームメモリ3のどれかのバンクに熱画像の書き込みが終了すると次のTV垂直同期信号209のタイミングで読み出しが可能となり、フレームメモリリード制御信号215がセレクタ93を介してフレームメモリ3に送出され、メモリライトバンク信号214で指定されるバンクから熱画像データを読み出す(図2(3))。このときフレームメモリリード制御信号215はTV垂直同期信号209をもとに生成されているので、読み出しの1フレーム分の熱画像としては、両フィールド共同じ熱画像データが読み出される。またこの時、読み出した熱画像データが最初に再生された熱画像データのフレームであることを示すために、フレームスタート信号210をTV垂直同期信号に同期させた同期化フレームスタート信号217を生成する。これは、図示しないが、熱画像を外部の処理装置に転送した時の先頭の熱画像データであることを示す目的で生成される。こうして1フレーム分の熱画像データの読み出しが完了する。
【0024】
続いてリアルタイムレコーダ6からの次のフレームの熱画像データの読み出しについて説明する。
前述したように、リアルタイムレコーダ6は同期化TV垂直同期信号207を受けて再生のトリガとする。従って、同期化垂直同期信号207が入力される度に1フレーム分の熱画像の再生を実行するのであるが、実際は前述したようにフレームメモリ3からの読み出しはTV同期のフレーム単位で実行されるため、すぐ後の同期化垂直同期信号207では再生動作が開始されず、次の同期化垂直同期信号207を受けて、前述したようにセンサフレーム同期信号204を待って熱画像の再生が可能となる(図2(4))。続いて前述したような手順でリアルタイムレコーダ6から熱画像の再生が行われ、その熱画像データがフレームメモリ3に書き込まれ、書き込み終了後フレームメモリ3から読み出される。この動作が最初に指定されたフレーム数分継続され、所定の読み出しが完了する。
【0025】
このようにTV垂直同期信号209に同期してリアルタイムレコーダ6を再生することとしたので、スキャン変換を行うフレームメモリ3から読み出しが完了するまで次のフレームの熱画像データを再生しないので間引きの生じないリアルタイムレコーダの再生動作が可能となる。
【0026】
【発明の効果】
以上説明したように、本発明によれば、リアルタイムレコーダをテレビの同期タイミング系に同期した再生動作を可能とし、再生動作とスキャン変換動作を同期させることとしたのでフレームデータの欠落なくスキャン変換可能なリアルタイムレコーダの再生動作が可能となるから外部へ熱画像データをフレームの欠落なく転送することが可能となる。従って、リアルタイムレコーダに記録された高速現象をもれなくパソコン等のデータ処理装置に転送できるので、詳細なデータ解析や観測データの管理に好適な赤外線映像装置を提供することができる。
【図面の簡単な説明】
【図1】本発明の一実施の形態である赤外線映像装置のうちで本発明の動作を説明する上での要部ブロック図である。
【図2】本発明の動作を説明するタイミングチャート図である。
【図3】従来のリアルタイムレコーダを備えた赤外線映像装置の要部ブロック図である。
【符号の説明】
1 赤外線センサ
2 データ補正処理部
3 フレームメモリ
4 表示処理部
5 外部インターフェース部
6 リアルタイムレコーダ
7 センサタイミングコントロール部
8 リアルタイムレコーダコントロール部
9 スキャン変換コントロール部
10 TVタイミング発生部
81 リアルタイムレコーダリードコントロール部
91 フレームメモリライトコントロール部
92 フレームメモリリードコントロール部
93 セレクタ
100 リアルタイムレコーダ/フレームメモリクロック同期処理部

Claims (1)

  1. 対象物の放射する赤外線エネルギを検出して熱画像データを生成するテレビ同期タイミングより高速のタイミングで動作する赤外線センサと、この赤外線センサの同期タイミング系の信号に応じてこの熱画像が書き込まれ、テレビ同期タイミング系の信号に応じて書き込まれた熱画像を読み出すことでスキャン変換するフレームメモリと、スキャン変換された熱画像を表示する表示部とともにデータ処理するパソコン等にデータ転送する外部インターフェイスとを備えた赤外線映像装置において、
    前記熱画像データを記録し、再生するものであって、その記録は前記赤外線センサのタイミングで実行され、記録済みの熱画像データの再生はテレビ垂直同期信号をトリガ信号とし、このトリガ信号をもとに前記赤外線センサのタイミングで実行され、再生された熱画像データは前記フレームメモリに送出するリアルタイムレコーダを備えたことを特徴とする赤外線映像装置。
JP2001051642A 2001-02-27 2001-02-27 赤外線映像装置 Expired - Lifetime JP3784653B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001051642A JP3784653B2 (ja) 2001-02-27 2001-02-27 赤外線映像装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001051642A JP3784653B2 (ja) 2001-02-27 2001-02-27 赤外線映像装置

Publications (2)

Publication Number Publication Date
JP2002262284A JP2002262284A (ja) 2002-09-13
JP3784653B2 true JP3784653B2 (ja) 2006-06-14

Family

ID=18912389

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001051642A Expired - Lifetime JP3784653B2 (ja) 2001-02-27 2001-02-27 赤外線映像装置

Country Status (1)

Country Link
JP (1) JP3784653B2 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014044202A1 (zh) * 2012-09-21 2014-03-27 Wang Hao 红外信息显示控制装置和红外信息显示控制方法
WO2014044201A1 (zh) * 2012-09-21 2014-03-27 Wang Hao 热成像信息记录装置和热成像信息记录方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014044202A1 (zh) * 2012-09-21 2014-03-27 Wang Hao 红外信息显示控制装置和红外信息显示控制方法
WO2014044201A1 (zh) * 2012-09-21 2014-03-27 Wang Hao 热成像信息记录装置和热成像信息记录方法

Also Published As

Publication number Publication date
JP2002262284A (ja) 2002-09-13

Similar Documents

Publication Publication Date Title
WO2019177095A1 (ja) 表示装置、マルチディスプレイシステム
US5438376A (en) Image processing apparatus and image reception apparatus using the same
JP3784653B2 (ja) 赤外線映像装置
US4736256A (en) Method for recording and for confirming the recording of images in an image filing apparatus
JPH06319104A (ja) 画像信号入出力装置
US7773123B2 (en) Image pickup apparatus and control unit therefor
JP2007324663A (ja) ビデオカメラ
JP4604487B2 (ja) プロジェクタ、プロジェクタ制御方法、及びプログラム
US6317160B1 (en) Frame conversion for asynchronous input image signals
JPH06162736A (ja) 画像記録再生装置
JP2005195661A (ja) プロジェクタ、プロジェクタ制御方法、及びプログラム
JP2596551B2 (ja) 音声付静止画再生装置
JP2003319259A (ja) 映像効果制御装置及び映像効果制御方法
JP3095078B2 (ja) 信号記録システム
JP3292102B2 (ja) 医用ビデオ画像処理装置
JPH01246973A (ja) 磁気記録再生装置
JP2526542B2 (ja) 情報処理装置
JP2006019804A (ja) 映像編集装置
JP2005195662A (ja) プロジェクタ、プロジェクタ制御方法、及びプログラム
JPH09284697A (ja) 電子機器及び記録媒体の記録内容表示方法
JP2004104738A (ja) 静止画像データ記録及び再生ディスク装置
JPH04336786A (ja) 信号処理装置
JPH04119781A (ja) 編集装置
JPH11168691A (ja) 映像蓄積表示装置
JPH01270858A (ja) 超音波診断画像の記録再生方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040315

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060306

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060314

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060315

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

Ref document number: 3784653

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090324

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100324

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110324

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110324

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120324

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120324

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130324

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130324

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140324

Year of fee payment: 8

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term