JP5226676B2 - データ記録再生装置 - Google Patents

データ記録再生装置 Download PDF

Info

Publication number
JP5226676B2
JP5226676B2 JP2009515269A JP2009515269A JP5226676B2 JP 5226676 B2 JP5226676 B2 JP 5226676B2 JP 2009515269 A JP2009515269 A JP 2009515269A JP 2009515269 A JP2009515269 A JP 2009515269A JP 5226676 B2 JP5226676 B2 JP 5226676B2
Authority
JP
Japan
Prior art keywords
data
frame
file
unit
frame data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009515269A
Other languages
English (en)
Other versions
JPWO2008143315A1 (ja
Inventor
良美 小野
正直 小島
学 長尾
昌一 土橋
勇治 石川
直理 礒本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Avionics Co Ltd
Original Assignee
Nippon Avionics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Avionics Co Ltd filed Critical Nippon Avionics Co Ltd
Priority to JP2009515269A priority Critical patent/JP5226676B2/ja
Publication of JPWO2008143315A1 publication Critical patent/JPWO2008143315A1/ja
Application granted granted Critical
Publication of JP5226676B2 publication Critical patent/JP5226676B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories

Description

本発明は、データ記録再生装置に関し、特に赤外線カメラ、動画像カメラ、そして各種センサのそれぞれの出力信号或はデータを時系列に同時に記録し、記録されたそれぞれの時系列の出力信号或はデータを同じ時間軸で再生することができるデータ記録再生装置に関する。
発熱する被測定対象物を、遠方から非接触で撮影することで、被測定対象物の熱(温度)画像を得る、赤外線サーモグラフィ装置(以下、「赤外線カメラ」と略称する。)は周知である。
赤外線カメラは、様々な測定対象物の温度分布を熱画像として捉え、時系列でその変化を見ることができるので、様々な分野で幅広く利用されている。
なお、本発明に関係すると思われる先行技術文献として特許文献1を提示する。
特開2004−132905号公報
特に測定対象物の変化を時系列に多角的に捉えたい場合に、赤外線カメラにより測定対象物の熱画像を得るだけでなく、測定対象物そのものに様々なセンサを貼付し、測定対象物の物理的変化、或は化学的変化を同時に計測したい場合がある。
従来は、これらセンサから得られる計測値と赤外線カメラから得られる熱画像データはそれぞれ別個独立した記録再生装置で記録され、再生されていたので、それらの計測値と熱画像データの相関性を目視確認することが極めて困難であった。
また、赤外線カメラは複数のメーカから発売されており、それらはコマンド体系が独自であり、互換性がない場合が多い。したがって、複数の種類の赤外線カメラを所持している時、従来ではそれら赤外線カメラのコマンド体系をサポートする記録再生装置を個別に用意しなければならなかった。
本発明はかかる点に鑑みてなされたものであり、赤外線カメラや動画像カメラと各種センサの出力信号或はデータを時系列に同時に記録し、記録されたそれぞれの出力信号或はデータの時系列の再生を同じ時間軸で実現すると共に、複数種類の赤外線カメラにも対応できる、データ記録再生装置を実現することを目的とする。
上記課題を解決するために、本発明のデータ記録再生装置は、アナログ信号をデジタル変換するA/D変換器と、A/D変換器にサンプリングクロックを供給するサンプリングクロック生成器と、サンプリングクロック以上の周波数の高分解能クロックを発生する高分解能クロック生成器とを備える。更に、サンプリングクロックを累積加算して経過時間を出力する累積カウンタと、高分解能クロックを計数して計数値を出力しサンプリングクロックでリセットされるオフセットカウンタと、累積カウンタの出力データとオフセットカウンタの出力データを加算する加算器とを備え、外部に接続されるサンプリングクロックより低いフレームレートのデータを発生するフレームデータ発生源から来るフレームデータの到着時間を、サンプリングクロックを基準にして、フレームタイミングとして出力するフレーム時間生成部とを備える。更に、A/D変換器のデジタルデータ出力をセンサデータファイルとして、フレームデータをフレームデータファイルとして、フレームタイミングをフレームタイミングファイルとして、不揮発性ストレージにそれぞれ記録するファイルシステムとを備える。
デジタルで記録する複数のデータのうち、最もサンプリングクロックが高いサンプリングクロックに基づき、他のサンプリングレートの遅いデータが来るタイミングのオフセット時間を計測して、サンプリングクロックに基づく相対時間をファイルとして記録する。この相対時間が記録されたファイルに基づいてデータを再生することで、記録時のデータ入来タイミングを正確に再現することができる。
本発明によれば、赤外線カメラや動画像カメラと各種センサの出力信号或はデータを時系列に同時に記録し、記録されたそれぞれの出力信号或はデータの時系列の再生を同じ時間軸で実現すると共に、複数種類の赤外線カメラにも対応できる、データ記録再生装置を実現することができる。
本発明の実施形態例である、データ記録再生装置の概略を示す機能ブロック図である。 データ記録部の機能ブロック図である。 フレームタイミングファイルのデータ形式の一例を示す図である。 データ再生部の機能ブロック図である。 再生タイミング調整部の内部ブロック図である。 表示部に表示される表示画面の一例を示す概略図である。 赤外線画像記録制御部の機能ブロック図である。 機種判別手順テーブル及び機種別コマンドテーブルの一例を示す図である。 機種判別部が実行する赤外線カメラの機種判別の手順を示すフローチャートである。 赤外線カメラの機種を判別した後の、データ記録再生装置の全体的な動作の流れを示すフローチャートである。 コマンド変換・送出処理の流れを示すフローチャートである。 熱画像データファイルのデータ形式を説明する図である。 データコンバートの流れの一例を示すフローチャートである。 データコンバートの流れの一例を示すフローチャートである。
以下、本発明の実施の形態を、図1〜図14を参照して説明する。
図1は、本発明の実施形態例である、データ記録再生装置の概略を示す機能ブロック図である。
データ記録再生装置102には、測定対象物の物理的変化或は化学的変化等を計測する複数のセンサ103と、測定対象物の熱画像を撮影する赤外線カメラ104、そして必要に応じてCCDカメラ105等の一般的な動画像撮影装置が信号出力源として接続される。データ記録部106はこれらの信号出力源、すなわち
・センサ103からは計測値を、
・赤外線カメラ104からは熱画像データを、
・CCDカメラ105からは動画像データ
を取り込み、ハードディスク装置等の不揮発性ストレージ107へリアルタイムに記録する。
操作部112を操作すると、制御部111がデータ記録部106を制御することにより、データ記録部106は不揮発性ストレージ107へ各種データの記録を同時に開始する。不揮発性ストレージ107には、各センサ103やカメラ毎に、個別のデータファイル108が作成される。
データ記録部113には、複数の種類の赤外線カメラを取り扱うために、赤外線画像記録制御部113が内蔵されている。
データ再生部109は不揮発性ストレージ107内の各センサやカメラ毎のデータ等が保管されているデータファイル108を読み込み、データ記録部106で記録した時と同じ時間の流れ(時間軸)それぞれのデータファイル108の同期再生を行う。つまり、センサ103で得た計測値とカメラで撮影した熱画像或は動画像の時系列での変化を、再現する。
データ再生部109によるデータファイル108の再生結果は、液晶ディスプレイである表示部110に表示される。
制御部111はタッチパネルよりなる操作部112から発される操作情報に基づいて、データ記録部106、不揮発性ストレージ107、データ再生部109をそれぞれ制御する。
データ記録再生装置102のハードウェア構成は、周知のCPU、ROM、RAM、ハードディスク装置の他、タッチパネルよりなるキーボード、そして液晶ディスプレイがバスに接続されている。上記の構成要素の他に、各種センサ103のアナログ信号を受け入れるための、A/D変換器を内包するインターフェースボードと、赤外線カメラ104やCCDカメラ105が接続されるUSBインターフェース、LANインターフェース、IEEE1394インターフェースも含む。
データ記録再生装置102のハードウェアは、ディスプレイ一体型パソコンに各種インターフェースボードを追加することにより実現できる。
OSは一般的なパソコン用OSを用いる。一例としてはWindows(登録商標)である。OSはファイルシステムを備えているので、不揮発性ストレージ107に構成されるファイルシステム(後述)は、OSによってもたらされる機能である。
データ記録再生装置102は、以上に記した構成のハードウェアに、パソコン用OSをインストールした後、更にデータ記録再生装置102として稼動するためのアプリケーションプログラムがインストールされている。
図2はデータ記録部106の機能ブロック図である。
センサ103のアナログ出力信号は図示しないインターフェースボードに導かれ、それぞれインターフェースボード上のアンプ202で増幅された後、インターフェースボード上に設けられているA/D変換器203に入力される。A/D変換器203はサンプリングクロック生成器204が生成するサンプリングクロックに基づいて、アナログの入力信号をデジタルデータに変換する。そして、サンプリングクロック生成器204が生成するサンプリングクロック毎に不揮発性ストレージ107上に設けられるセンサデータファイル205にデータを記録する。
ここで、サンプリングクロック生成器204が生成するサンプリングクロックは例えば10msec程度の周期(100Hz)である。
一方、赤外線カメラ104が出力する熱画像データは、一画面分のデータがフレームバッファ206に蓄積された後、熱画像データファイル207に記録される。熱画像データとは、画像データに似ているものの、熱画像データを構成する一つ一つのピクセルが赤外線の強度を表すデータであり、熱画像データはそれらの集合体である。熱画像データはそのデータ量が膨大である等の理由で、例えば毎秒5フレーム単位(5fps(frame per second))の周期で記録される。
CCDカメラ105が出力する動画像データは、一画面分のデータがフレームバッファ208に蓄積された後、動画像ファイル209に記録される。動画像ファイル209は例えば周知のAVIフォーマットであり、CCDカメラ105が出力するデータの転送速度等に応じて、任意のフレームレート(周期)が選択できる。例えば30fpsである。
以上に記したように、サンプリングクロック生成器204が生成するサンプリングクロックの周期と、赤外線カメラ104のフレームレートと、CCDカメラ105のフレームレートはそれぞれ全く異なる。これらのデータを時系列に同時に記録した後、記録時のタイミングを狂わせることなく同期再生するために、最も高い周波数、つまり最も分解能が高いクロックである、センサ103のサンプリングクロック生成器204のサンプリングクロックを基準として、
・赤外線カメラ104が出力する熱画像データの各フレームの出力タイミングと、
・CCDカメラ105が出力する動画像データの各フレームの出力タイミングと
をそれぞれ計測し、それらの計測結果をファイルに記録する。このタイミングを計測するための機能ブロックが、累積カウンタ210と計時用クロック生成器211とオフセットカウンタ212及び214と加算器213及び215である。そして、計測結果を記録するファイルがフレームタイミングファイル216である。
累積カウンタ210は、サンプリングクロック生成器204が生成するサンプリングクロックのパルスを累積加算する。累積カウンタ210が示す累積加算結果としての数値とサンプリングクロック生成器204が生成するサンプリングクロックの周期を掛け算すれば、そのままデータ記録部106のデータ記録開始からの経過時間になる。
オフセットカウンタ212は計時用クロック生成器211が生成する計時用クロックを計数し、サンプリングクロック生成器204が生成するサンプリングクロックでリセットされ、フレームバッファ206から来るフレームタイミング(後述)の計数値を出力する。高分解能クロックとも言える計時用クロックはサンプリングクロック生成器204が生成するサンプリングクロックよりも高い周波数が設定される。ここでは、例えば1msecの周期に相当する周波数(1kHz)に設定される。
つまり、オフセットカウンタ212からはサンプリングクロック生成器204が生成するサンプリングクロックが来たタイミングからフレームバッファ206に1フレーム分のデータの格納を完了した時までの経過時間を、計時用クロック生成器211で計測した結果、すなわちオフセット時間を出力する。
累積カウンタ210から得られる経過時間データとオフセットカウンタ212から得られるオフセット時間は、加算器213で加算され、当該フレームデータがデータ記録部106のデータ記録開始からフレームバッファ206への格納が完了した時までの経過時間が得られる。これを当該フレームの到着時間とする。
累積カウンタ210、オフセットカウンタ212、そして加算器213は、フレームバッファ206から得られるフレームデータの到着時間を、サンプリングクロック生成器204が生成するサンプリングクロックを基準に計時し、当該フレームデータのフレームタイミングとして出力する、フレーム時間生成部ともいえる。
オフセットカウンタ214は、オフセットカウンタ212と同様に、計時用クロック生成器211が生成する計時用クロックを計数し、サンプリングクロック生成器204が生成するサンプリングクロックでリセットされ、フレームバッファ206から来るフレームタイミング(後述)の計数値を出力する。
つまり、オフセットカウンタ214からはサンプリングクロック生成器204が生成するサンプリングクロックが来たタイミングからフレームバッファ208に1フレーム分のデータの格納を完了した時までの経過時間を、計時用クロック生成器211で計測した結果、すなわちオフセット時間を出力する。
累積カウンタ210から得られる経過時間データとオフセットカウンタ214から得られるオフセット時間は、加算器215で加算され、当該フレームデータがデータ記録部106のデータ記録開始からフレームバッファ206への格納が完了した時までの経過時間、すなわち当該フレームの到着時間が得られる。
累積カウンタ210、オフセットカウンタ214、そして加算器215も、フレームバッファ208から得られるフレームデータの到着時間を、サンプリングクロック生成器204が生成するサンプリングクロックを基準に計時し、当該フレームデータのフレームタイミングとして出力する、フレーム時間生成部ともいえる。
赤外線カメラ104及びCCDカメラ105は、フレーム単位のデータを発生するので、フレームデータ発生源とも言える。
熱画像データファイル207と動画像ファイル209は、フレーム単位のデータが記録されるので、フレームデータファイルとも言える。
データ記録部106では、一つのフレームデータ発生源に対し、フレームバッファとオフセットカウンタと加算器が設けられ、上述のようにフレームデータの到着時間(フレームタイミング)を、サンプリングクロック生成器204が生成するサンプリングクロックを基準に計時する。図2では、フレームデータ発生源として赤外線カメラ104とCCDカメラ105の二つがデータ記録部106に接続されているので、フレームバッファ、オフセットカウンタそして加算器の組が二つずつ設けられている。もしも、フレームデータ発生源が一つだけ接続される場合は、フレームバッファ、オフセットカウンタそして加算器の組は一つだけになる。接続されるフレームデータ発生源の数が増えれば、前述の組の数もそれに連れて増やす必要がある。
累積カウンタ210と計時用クロック生成器211はそれぞれ一つずつ設けられているが、オフセットカウンタと加算器はフレームバッファ毎、つまり赤外線カメラ104或はCCDカメラ105毎に設けられている。
以上に示した、センサデータファイル205、熱画像データファイル207、動画像ファイル209、フレームタイミングファイル216は、OSが提供するファイルシステム217を通じて、不揮発性ストレージ107内に作成され、データが逐一記録される。
図3はフレームタイミングファイル216のデータ形式の一例を示す図である。
フレームタイミングファイル216はプレーンテキストファイルであり、データは改行コードで区切られる。
一行目には熱画像データファイル207のファイル名が記録される。ファイル名を示すために、当該行には行末に「:」(コロン)が付される。
二行目以降は、熱画像データのフレーム毎の到着時間が、一行ずつ百分の一秒単位で記録されている。
熱画像データのフレーム毎の到着時間を示すデータの終端行には、空行、つまり改行コードのみの行が設けられる。この改行コードのみの行を挟んで、次に動画像ファイル209のファイル名が来る。
次の行以降は、動画像データのフレーム毎の到着時間が、一行ずつ百分の一秒単位で記録されている。
図4はデータ再生部109の機能ブロック図である。
不揮発性ストレージ107に格納されているセンサデータファイル205は、ファイルシステム217を通じて描画処理部402によって読み出される。読み出しのタイミングは再生クロック生成器408によって決定される。
不揮発性ストレージ107に格納されている熱画像データファイル207は、ファイルシステム217を通じて一フレーム分のデータ毎にフレームバッファ206に読み出される。読み出しのタイミングは再生タイミング調整部403によって調整される。フレームバッファ206から取り出される熱画像データは、熱画像描画部404によって赤外線の強度を示す各ピクセル毎に色や白黒の濃淡のデータに変換される。
同様に、不揮発性ストレージ107に格納されている動画像ファイル209も、ファイルシステム217を通じて一フレーム分のデータ毎にフレームバッファ208に読み出される。読み出しのタイミングは再生タイミング調整部403によって調整される。フレームバッファ208から取り出される動画像データは、動画像描画部405によって描画処理される。
再生タイミング調整部403は、フレームタイミングファイル216に記録されている各フレームデータのフレームタイミングを読み出して、読み出した各フレームデータのフレームタイミングに基づき、再生クロック生成器408と計時用クロック生成器211を用いて、フレームバッファ206及び208に対して各フレームデータの読み出しのタイミングパルスを与える。
画面合成処理部406は、描画処理部402と熱画像描画部404と動画像描画部405から得られた動画像データを受けて、LCDディスプレイよりなる表示部110にこれらの動画像を同時に表示する合成処理を行う。なお、一画面に複数の動画像を表示するレイアウト情報は、予め不揮発性ストレージ107に格納している配置定義ファイル407に記憶されている。
図5は再生タイミング調整部403の内部ブロック図である。図5中、タイミング生成部506と507は、全く同じ構成であるので、ここではタイミング生成部506のみ説明し、タイミング生成部507については説明を割愛する。
読み出し制御部502は、フレームタイミングファイル216から、一フレーム毎のフレームタイミングデータを取り出す。
比較器503は、加算器213の出力と読み出し制御部502から得られたフレームタイミングデータとを比較して、加算器213の出力がフレームタイミングデータの値と等しくなった時に論理値「真」を出力する。この比較器503から出力される、論理値「真」の出力は、読み出し制御部502に与えられ、次のフレームタイミングデータを読み出すトリガとなる。
一方、再生クロック生成器408が生成する再生クロックは、累積カウンタ210とオフセットカウンタ212にそれぞれ与えられる。オフセットカウンタ212は、計時用クロック生成器211からの計時用クロックを計数するカウンタであるが、再生クロック生成器408が生成する再生クロックでリセットされる。
累積カウンタ210から得られる経過時間データとオフセットカウンタ212から得られるオフセット時間は、加算器213で加算される。つまり、加算器213は、再生クロック生成器408が生成する再生クロックを基準とする、計時用クロック生成器211の分解能での時間情報を出力する。したがって、比較器503は、この時間情報をフレームタイミングファイル216から得られたフレームを出力するフレームタイミングデータの値と比較して、値が一致したら再生のためのトリガパルスを出力するのである。
以上に示したように、本実施形態のデータ記録再生装置102は、全くデータの出力タイミングが異なる複数のデータを同時に時系列に記録し、記録されたそれぞれのデータを同じ時間軸で再生することができる。そして、その再生タイミングは計時用クロック生成器211の分解能にて保証される。
タイミング生成部506は、熱画像データファイル207を読み出すフレームバッファ206に再生タイミングパルスを与える。
また、タイミング生成部507は、動画像ファイル209を読み出すフレームバッファ208に再生タイミングパルスを与える。
このように、熱画像データファイルや動画像ファイルの数(記録時に接続されるカメラの数=チャンネル数)が増える毎に、対応するタイミング生成部が設けられる。
図6は、表示部110に表示される表示画面の一例を示す概略図である。
表示領域603aは、センサ103aから得られて記録された計測値の、時間軸上の変化を示す領域である。曲線604aはセンサ103aから得られて記録された計測値のレベルを示す。
同様に、表示領域603bは、センサ103bから得られて記録された計測値の、時間軸上の変化を示す領域である。曲線604bはセンサ103bから得られて記録された計測値のレベルを示す。
また同様に、表示領域603cは、センサ103cから得られて記録された計測値の、時間軸上の変化を示す領域である。曲線604cはセンサ103cから得られて記録された計測値のレベルを示す。
そして、表示領域603dは、センサ103a、センサ103b及びセンサ103cから得られて記録された計測値に、所定の演算処理を施した結果を時間軸上で示す領域である。曲線604dは演算結果の時間軸上の変化を示す。演算処理としては、例えば加減算、乗除算等の四則演算の他に、微分、積分等の演算処理等が挙げられる。このような演算処理は、画面合成処理部406にて行われる。
表示領域603a、603b、603c及び603dは縦に一列に並んでいる。
一方、カーソル607はこれら表示領域603a、603b、603c及び603d上を、再生する時間に応じて位置が左から右に移動する。カーソル607の描画は、描画処理部402が再生クロック生成器408からの再生クロックを受けることによって行われる。
動画像表示領域605は、CCDカメラ105から得られて記録された動画像データを示す領域である。
熱画像表示領域606は、赤外線カメラ106から得られて記録された熱画像データを示す領域である。
一つの表示画面602の中に、各種の計測値の時間軸上の変化を示す領域603と、動画像を表示する動画像表示領域605と熱画像を表示する熱画像表示領域606が同時に表示され、更にカーソル607が領域603の再生時点を指し示している。
このように画面を構成することにより、動画像表示領域605に表示される動画像、或は熱画像表示領域606に表示される熱画像に見出される変化と、表示領域603a乃至603dの曲線604a乃至604dに見出される変化の相関の有無を、目視で確認することができる。
図7は、データ記録部106に備わっている、赤外線画像記録制御部の機能ブロック図である。赤外線画像記録制御部113は、図2の赤外線カメラ104とフレームバッファ206との間、及びフレームバッファ206とファイルシステム217との間に設けられて、赤外線カメラ104における異機種接続機能を実現する。
入力インターフェース702としては、図7に示す通り、USB、LAN、そしてIEEE1394が設けられている。接続検出部703は、これら入力インターフェース702に赤外線カメラが接続されたことを検出する。
機種判別部704は、機種判別手順テーブル705に記述されている機種判別手順に則って、入力インターフェース702に接続された赤外線カメラの機種を特定する。この例では、二つの種類の赤外線カメラ104a及び104bがあるものとする。
コマンド変換部706は、機種判別部704から得られた赤外線カメラの機種情報に基づき、機種別コマンドテーブル707から当該機種に応じたコマンド体系を選択する。そして、制御部111から受け取る赤外線カメラを操作するための各種命令を当該赤外線カメラに適合するコマンドに変換して、赤外線カメラへ送信する。
データ形式変換部708は、機種判別部704から得られた赤外線カメラの機種情報に基づき、赤外線カメラから受信して作成された「生の熱画像データファイル」(以下「生ファイル709」)を、適合するコンバータ710によって変換済みファイル711に変換する。
図8(a)及び(b)は、機種判別手順テーブル705及び機種別コマンドテーブル707の一例である。
図8(a)に示す、機種判別手順テーブル705の「機種名」フィールドには、赤外線カメラの機種名を示す文字列が格納される。
「送信コマンド」フィールドには、赤外線カメラの機種を特定するために用いるコマンド文字列が格納される。
「リザルトコード」フィールドには、赤外線カメラが「送信コマンド」フィールドに格納されているコマンド文字列を受信した時、それが正しい場合に、赤外線カメラが返答する文字列が格納される。
「コンバータファイル名」フィールドには、赤外線カメラから得られる生ファイル709を変換済みファイル711に返還するためのコンバータの実行ファイル名が格納される。
図8(b)に示す、機種別コマンドテーブル707の「機種名」フィールドは、機種判別手順テーブル705のそれと同じである。
「操作コマンド」フィールドは、接続される赤外線カメラをどのような状態にしたいのかを記す内部コマンドの文字列が、機種別毎に複数記録されている。
「送信コマンド」フィールドは、接続される赤外線カメラに対して送信するコマンドの文字列が、機種別毎に複数記録されている。
「リザルトコード」フィールドは、正常実行時に赤外線カメラから返送されるリザルトコード文字列である。
図9は、機種判別部704が実行する赤外線カメラの機種判別の手順を示すフローチャートである。
処理を開始すると(ステップS901)、図示しないカウンタ変数iを1に初期化する(ステップS902)。
これ以降はループ処理である。最初に、機種判別手順テーブル705のi番目のレコードに記録されている、機種判別手順を実行する(ステップS903)。そしてその直後、図示しないタイマを起動する(ステップS904)。そして、赤外線カメラからリザルトコードが来たか否かを(ステップS905)、タイムアウトになるまで(ステップS906のY)、繰り返し確認する。
リザルトコードが来たら(ステップS905のY)、そのリザルトコードが機種判別手順テーブル705のi番目のレコードの「リザルトコード」フィールドに記録されているものと同じものであるか否かを確認する(ステップS907)。このステップS907で、リザルトコードの文字列が一致したら(ステップS907のY)、機種判別手順テーブル705のi番目のレコードの「機種名」フィールドに記録されている赤外線カメラの機種名を、制御部111、コマンド変換部706及びデータ形式変換部708に設定して(ステップS908)、処理を終了する(ステップS909)。
ステップS905のNの時点から、リザルトコードを待っていても来ないでタイムアウトになってしまった場合(ステップS906のY)、またはリザルトコードが一致しなかった場合(ステップS907のN)には、現在接続されている赤外線カメラが、機種判別手順テーブル705のi番目のレコードに記録されている機種ではないことを示している。したがって、次の機種判別手順を実行するために、カウンタ変数iをインクリメントする(ステップS910)。次に、ここで注目する、機種判別手順テーブル705のi番目のレコードの「送信コマンド」フィールドに記録されている送信コマンド文字列を見る。そして、この「送信コマンド」が、直前のレコードの「送信コマンド」と異なる文字列であるか否かを判断する(ステップS911)。つまり、直前の機種判別用送信コマンドと現在実行しようとする送信コマンドが異なるものであるか否かを確認するのである。
もし、送信コマンドが同じ文字列であれば、以前のレコードで送信した送信コマンドで得ているリザルトコードが、機種判別手順テーブル705の現在(i番目)のレコードに記録されている「リザルトコード」フィールドに記録されているものと一致しているかもしれない。そこで、同じ送信コマンドを再送信せずに、リザルトコードの一致だけを確認する(ステップS911のNからS907)。
送信コマンドが一致していない場合は(ステップS911のY)、次に機種判別手順テーブル705の終端に到達したか否かを判断する(ステップS912)。終端に到達していないならば(ステップS912のN)、ステップS903に戻り、再び機種判別手順を実行する。ステップS912で、終端に到達したと判断された場合は、機種判別手順テーブル705に記録されている全ての機種判別手順を実行したにもかかわらず、赤外線カメラの機種を特定することができなかったことになる。そこで、表示部110にエラー表示を行い(ステップS913)、処理を終了する(ステップS909)。
図10は、赤外線カメラの機種を判別した後の、データ記録再生装置102の全体的な動作の流れを示すフローチャートである。このフローチャートは、赤外線カメラの制御動作とデータ変換処理とを示すものである。
処理を開始すると(ステップS1001)、操作部112はユーザからの操作を待つ(ステップS1002)。操作部112がユーザから操作を受けると、制御部111はその操作が録画コマンド(「REC」)であるか否かを確かめる(ステップS1003)。録画コマンドであれば(ステップS1003のY)、制御部111は録画フラグを上げて(ステップS1004)、現在接続している赤外線カメラに適合したコマンドに変換して送出し(ステップS1005)、処理を終了する(ステップS1006)。なお、このフローチャートの処理は、操作部112からコマンドの入力があった時に実行されるので、実質的に無限ループとなっている。
ステップS1003で録画コマンドでないと判明したら(ステップS1003のN)、制御部111は次にコマンドが停止コマンドであるか否かを判断する(ステップS1007)。このステップS1007で、停止コマンドであると判定された場合は(ステップS1007のY)、次に制御部111は録画フラグが上がっているか否かを確認する(ステップS1008)。ここで、録画フラグが上がっていなければ(ステップS1008のN)、ステップS1005と同様に、コマンド変換及び送出処理を行って(ステップS1009)、処理を終了する(ステップS1006)。
なお、ステップS1007で停止コマンドでないと判定された場合も(ステップS1007のN)、コマンド変換及び送出処理を行って(ステップS1009)、処理を終了する(ステップS1006)。
ステップS1008で録画フラグが上がっている場合(ステップS1008のY)は、現時点で録画を停止する処理を行う必要がある。したがって、制御部111は録画フラグを下ろし(ステップS1010)、コマンド変換・送出処理を行い(ステップS1011)、そして得られた生ファイル709を変換済みファイル711に変換するための、データコンバート処理を行う(ステップS1012)。そして、一連の処理を終了する(ステップS1006)。
図11は、コマンド変換・送出処理の流れを示すフローチャートである。
処理を開始すると(ステップS1101)、先ず機種別コマンドテーブル707に従って、該当機種名の操作コマンドに対応する送信コマンドを送出する(ステップS1102)。次に、当該送信コマンドがリザルトコードを必要とするものなのかを判断する(ステップS1103)。機種別コマンドテーブル707の「リザルトコード」フィールドが空であれば、リザルトコードは不要である(ステップS1103のN)ので、この時点で処理は終了する(ステップS1104)。
リザルトコードを必要とするコマンドである場合は(ステップS1103のY)、先ずタイマを起動する(ステップS1105)。リザルトコードが所定時間以内に来たか否か(ステップS1106)を、タイムアウトになるまで(ステップS1107のY)繰り返し確認する。
所定時間以内にリザルトコードが来たのであれば(ステップS1106のY)、受信したリザルトコードが機種別コマンドテーブル707の「リザルトコード」フィールドに記録されているものと同じものであるか否かを判断する(ステップS1108)。もし一致していれば(ステップS1108のY)、正常終了となる(ステップS1104)。
所定時間を経過してもリザルトコードが来なかった場合(ステップS1107のY)、またはリザルトコードが一致しなかった場合(ステップS1108のN)は、いずれの場合も異常状態であるので、表示部110にエラー表示を行い(ステップS1109)、処理を終了する(ステップS1104)。
図12(a)、(b)及び(c)は、熱画像データファイル207のデータ形式を説明する図である。
図12(a)に示す変換済みファイル711は、データ記録再生装置101が内部で取り扱うデータの形式(データフォーマット)を示す。この変換済みファイル711は、ヘッダ711aと本体711bで構成されている。ヘッダ711aには機種名、補正データ情報、本体部分のデータ長、記録開始日時が記録されている。本体711bには熱画像データを構成する各ピクセルのデータが1バイトずつ記録されている。
なお、補正データ情報とは、赤外線カメラがどの温度範囲で対象物の熱画像を撮影したのかを示す情報である。熱画像データを構成する一つのピクセルが表現できるデータの分解能を最大限有効に使うために、この補正データ情報が必要になる。
図12(b)に示す生ファイル1202は、赤外線カメラ104aが出力するデータの形式(データフォーマット)を示す。この生ファイル1202は、ヘッダ1202aと本体1202bとフッタ1202cで構成されている。また、ヘッダ1202aには機種名、補正データ情報、本体部分のデータ長(本体1202bのデータ長)が記録されている。そしてフッタ1202cには収録開始日時と収録終了日時が記録されている。
図12(c)に示す生ファイル1203は、赤外線カメラ104bが出力するデータの形式を示す。この生ファイル1203は、ヘッダ1203aと本体1203bで構成されている。また、ヘッダ1203aには記録開始日時、補正データ情報、本体部分の列データ長が記録されている。
この生ファイル1203の特徴的な点は、本体部分の各ピクセルを表すデータの記録順が、変換済みファイル711のそれとは逆である。つまり、生ファイル1203から変換済みファイル711の形式に変換するには、本体1203bからデータを列データ長毎に読み出した後、データの格納順を逆にする並べ替え処理を行う必要がある。
図13と図14は、データ形式変換部708によって実行されるデータコンバート処理の一例を示す図である。
図13は、データコンバートの流れの一例を示すフローチャートである。図12(b)の生ファイル1202から変換済みファイル711へ変換する処理を想定している。
処理を開始すると(ステップS1301)、先ずヘッダを取り出して所定の情報を読み出す(ステップS1302)。このヘッダから本体のデータサイズを取得した(ステップS1303)後、カウンタを初期化する(ステップS1304)。
次に、本体から1バイトのデータを読み込み、変換処理を行う(ステップS1305)。次に、カウンタの値と本体のデータサイズとを比較して、本体の終端に至ったか否かを判断する(ステップS1306)。このステップS1306で、未だ本体の終端に至っていないと判定された場合は(ステップS1306のN)、カウンタをインクリメントして(ステップS1307)、次のデータを読み込み、変換処理を続ける。
そして、ステップS1306で、本体の終端に到達したと判定された場合(ステップS1306のY)、つまりカウンタの値が本体のデータサイズと等しくなった場合には、本体のデータ変換処理を完遂したこととなるので、次にフッタを読み込み、所定のデータを取り出して(ステップS1308)、一連の処理を終了する(ステップS1309)。
図14は、データコンバートの別の流れの一例を示すフローチャートである。図12(c)の生ファイル1203から変換済みファイル711へ変換する処理を想定している。
処理を開始すると(ステップS1401)、先ずヘッダを取り出して所定の情報を読み出す(ステップS1402)。このヘッダから本体のデータサイズと列データ長を取得した(ステップS1403)後、カウンタを初期化する(ステップS1404)。
次に、本体から列データ長に基づいて一列分のデータを読み込み、変換処理を行う(ステップS1405)。次に、カウンタの値と本体のデータサイズとを比較して、本体の終端に至ったか否かを判断する(ステップS1406)。このステップS1406で、未だ本体の終端に至っていないと判定された場合は(ステップS1406のN)、カウンタを列データ長でインクリメントして(ステップS1407)、次の列データを読み込み、変換処理を続ける。
そして、ステップS1406で、本体の終端に到達したと判定された場合(S1406のY)、つまりカウンタの値が本体のデータサイズと等しくなった場合は、本体のデータ変換処理を完遂したこととなる。この場合、この生データにはフッタがないので、この時点で一連の処理を終了したこととされる(ステップS1408)。
本実施形態は、以下のような応用例が可能である。
(1)サンプリングクロック生成器204が生成するサンプリングクロックの周期が短い場合は、計時用クロック生成器211が生成する計時用クロックを設けなくてもよい。この場合は、オフセットカウンタ212及び214、そして加算器213及び215は不要になり、フレームバッファ206から来るフレームタイミングを累積カウンタ210の値で出力するためのラッチ回路を、加算器213及び215の代わりに設けることとなる。
或は、計時用クロック生成器211が生成する計時用クロックの周波数が、サンプリングクロック生成器204が生成するサンプリングクロックの周波数と等しくてもよい。
(2)データ再生部109の再生クロック生成器408が出力する再生クロックの周波数は、可変にすることができる。周波数を高くすればデータ再生速度が早くなり、周波数を低くすればデータ再生速度が遅くなる。
また、フレームタイミングファイル216に記録されているフレームタイミングデータを逆順に読み出すことができるように、再生タイミング調整部403を構成することにより、データの逆方向再生もできるようになる。
以上、本発明の実施形態例としてのデータ記録再生装置について詳細に説明した。上述したように、
デジタルで記録する複数の計測値のうち、最も周期が短いサンプリングクロックに基づき、他の周期が長いデータが来るタイミングのオフセット時間を計測して、サンプリングクロックに基づくフレームタイミングをファイルとして記録した。このフレームタイミングが記録されたファイルに基づいてデータを再生することで、記録時のフレームタイミングを正確に再現することができるようになる。
また、コマンド体系の異なる複数の赤外線カメラを共通に利用できるよう、カメラの機種を識別する機能と、検出した機種に対応してコマンドを変換するテーブルを用意した。更に、複数のカメラから得られる異なるフォーマットのデータを共通の単一のデータフォーマットに変換する機能も用意した。これらの機能を備えることで、異機種の赤外線カメラについて特に意識することなく接続し、利用が可能になる。
以上、本発明の実施形態例について説明したが、本発明は上記実施形態例に限定されるものではなく、特許請求の範囲に記載した本発明の要旨を逸脱しない限りにおいて、他の変形例、応用例を含む。
引用符号の説明
102…データ記録再生装置、103…センサ、104…赤外線カメラ、105…CCDカメラ、106…データ記録部、107…不揮発性ストレージ、108…データファイル、109…データ再生部、110…表示部、111…制御部、112…操作部、113…赤外線画像記録制御部、202…アンプ、203…A/D変換器、204…サンプリングクロック生成器、205…センサデータファイル、206…フレームバッファ、207…熱画像データファイル、208…フレームバッファ、209…動画像ファイル、210…累積カウンタ、211…計時用クロック生成器、212、214…オフセットカウンタ、213、215…加算器、216…フレームタイミングファイル、217…ファイルシステム、402…描画処理部、403…再生タイミング調整部、404…熱画像描画部、405…動画像描画部、406…画面合成処理部、407…配置定義ファイル、408…再生クロック生成器、502、504…読み出し制御部、503、505…比較器、603a、603b、603c、603d…表示領域、604a、604b、604c、604d…曲線、607…カーソル、605…動画像表示領域、606…熱画像表示領域、702…入力インターフェース、703…接続検出部、704…機種判別部、705…機種判別手順テーブル、706…コマンド変換部、707…機種別コマンドテーブル、708…データ形式変換部、709…生ファイル、710…コンバータ、711…変換済みファイル、1202、1203…生ファイル

Claims (4)

  1. アナログ信号をデジタル変換するA/D変換器と、
    前記A/D変換器にサンプリングクロックを供給するサンプリングクロック生成器と、
    前記サンプリングクロック以上の周波数の高分解能クロックを発生する高分解能クロック生成器と、
    前記サンプリングクロックを累積加算して経過時間を出力する累積カウンタと、前記高分解能クロックを計数して計数値を出力し前記サンプリングクロックでリセットされるオフセットカウンタと、前記累積カウンタの出力データと前記オフセットカウンタの出力データを加算する加算器とを備え、外部に接続される前記サンプリングクロックより低いフレームレートのデータを発生するフレームデータ発生源から来るフレームデータの到着時間を、前記サンプリングクロックを基準にして、フレームタイミングとして出力するフレーム時間生成部と、
    前記A/D変換器のデジタルデータ出力をセンサデータファイルとして、前記フレームデータをフレームデータファイルとして、前記フレームタイミングをフレームタイミングファイルとして、不揮発性ストレージにそれぞれ記録するファイルシステムと
    を備えるデータ記録再生装置。
  2. 更に、
    前記センサデータファイルに記録されているデータを再生用クロックに基づいて描画処理を行う第一描画処理部と、
    前記フレームタイミングファイルに記録されているフレームタイミングを読み込み、前記再生用クロックを用いて前記フレームデータファイル内の前記フレームデータの再生タイミングパルスを生成する再生タイミング調整部と、
    前記再生タイミングパルスに基づいて前記フレームデータの描画処理を行う第二描画処理部と、
    前記第一描画処理部及び前記第二描画処理部のそれぞれの出力画像を合成する画面合成処理部と、
    前記画面合成処理部にて合成された合成出力画像を表示する表示部と、
    を備える請求項1記載のデータ記録再生装置。
  3. 更に、
    第一のフレームデータ発生源と第二のフレームデータ発生源の種別を識別するための機種判別手順が記憶されている機種判別手順テーブルと、
    前記機種判別手順テーブルに記憶されている前記機種判別手順を一つ以上実行して、接続されているフレームデータ発生源が前記第一のフレームデータ発生源であるか或は前記第二のフレームデータ発生源であるかを判別する機種判別部と、
    前記接続されているフレームデータ発生源を操作するための命令を送出する制御部と、
    前記第一のフレームデータ発生源と前記第二のフレームデータ発生源のコマンドと前記制御部が発する命令とが対応付いて記憶されている機種別コマンドテーブルと、
    前記命令を前記機種判別部の判別結果に基づいて前記機種別コマンドテーブルのレコードを選択して前記接続されているフレームデータ発生源に適合するコマンドに変換して前記接続されているフレームデータ発生源に前記コマンドを送信するコマンド変換部と
    を備える請求項記載のデータ記録再生装置。
  4. 更に、
    前記機種判別部の判別結果に基づいて複数存在するコンバータの一を選択して実行し、前記接続されているフレームデータ発生源が生成した前記フレームデータファイルを別形式のファイルに変換するデータ形式変換部と
    を備える請求項記載のデータ記録再生装置。
JP2009515269A 2007-05-22 2008-05-22 データ記録再生装置 Expired - Fee Related JP5226676B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009515269A JP5226676B2 (ja) 2007-05-22 2008-05-22 データ記録再生装置

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
JP2007135723 2007-05-22
JP2007135723 2007-05-22
JP2007283963 2007-10-31
JP2007283963 2007-10-31
JP2009515269A JP5226676B2 (ja) 2007-05-22 2008-05-22 データ記録再生装置
PCT/JP2008/059422 WO2008143315A1 (ja) 2007-05-22 2008-05-22 データ記録再生装置

Publications (2)

Publication Number Publication Date
JPWO2008143315A1 JPWO2008143315A1 (ja) 2010-08-12
JP5226676B2 true JP5226676B2 (ja) 2013-07-03

Family

ID=40032008

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009515269A Expired - Fee Related JP5226676B2 (ja) 2007-05-22 2008-05-22 データ記録再生装置

Country Status (2)

Country Link
JP (1) JP5226676B2 (ja)
WO (1) WO2008143315A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8610147B2 (en) 1996-07-29 2013-12-17 Nichia Corporation Light emitting device and display comprising a plurality of light emitting components on mount

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012140715A1 (ja) * 2011-04-11 2012-10-18 東芝三菱電機産業システム株式会社 データ同期再生装置、データ同期再生方法およびデータ同期制御プログラム
JP5820055B2 (ja) * 2012-03-12 2015-11-24 東芝三菱電機産業システム株式会社 データ同期再生装置、データ同期再生方法およびデータ同期制御プログラム
US20180324385A1 (en) * 2016-01-22 2018-11-08 Mitsubishi Electric Corporation Storage device, control device, display device, and storage method
JP6763622B1 (ja) * 2019-10-30 2020-09-30 株式会社ネットビジョン 同期データ結合装置及び同期データ分離装置及び保存装置及び再生装置並びにコンピュータプログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1164046A (ja) * 1997-08-22 1999-03-05 Ando Electric Co Ltd 信号記録再生装置
JP2001036606A (ja) * 1999-07-23 2001-02-09 Kaga Micro Art Kk 携帯電話装置用の外部接続装置
JP2003259269A (ja) * 2002-03-06 2003-09-12 Digimo:Kk 同期方法及び映像処理装置
JP2004282788A (ja) * 2002-11-29 2004-10-07 Freebit Co Ltd インターネット接続システム

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003032627A (ja) * 2001-07-19 2003-01-31 National Institute Of Advanced Industrial & Technology 動画とセンサー信号との高分解能同時記録方法
JP2003329490A (ja) * 2002-05-10 2003-11-19 Sangyo Gijutsu Center:Kk 映像・測定データ同期表示装置
JP2006180212A (ja) * 2004-12-22 2006-07-06 Mitsubishi Electric Plant Engineering Corp 計測データ・画像データ記録装置およびこれを用いた遠隔監視システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH1164046A (ja) * 1997-08-22 1999-03-05 Ando Electric Co Ltd 信号記録再生装置
JP2001036606A (ja) * 1999-07-23 2001-02-09 Kaga Micro Art Kk 携帯電話装置用の外部接続装置
JP2003259269A (ja) * 2002-03-06 2003-09-12 Digimo:Kk 同期方法及び映像処理装置
JP2004282788A (ja) * 2002-11-29 2004-10-07 Freebit Co Ltd インターネット接続システム

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8610147B2 (en) 1996-07-29 2013-12-17 Nichia Corporation Light emitting device and display comprising a plurality of light emitting components on mount
US8679866B2 (en) 1996-07-29 2014-03-25 Nichia Corporation Light emitting device and display
US8685762B2 (en) 1996-07-29 2014-04-01 Nichia Corporation Light emitting device and display
US8754428B2 (en) 1996-07-29 2014-06-17 Nichia Corporation Light emitting device and display

Also Published As

Publication number Publication date
JPWO2008143315A1 (ja) 2010-08-12
WO2008143315A1 (ja) 2008-11-27

Similar Documents

Publication Publication Date Title
CN106657814B (zh) 一种视频录制方法及移动终端
JP3862502B2 (ja) デジタル画像撮像装置のための方法及びシステム
JP5226676B2 (ja) データ記録再生装置
JP5328255B2 (ja) 波形観測装置及び波形観測システム
JP6529267B2 (ja) 情報処理装置及びその制御方法、プログラム、並びに記憶媒体
JP2002218368A (ja) 画像処理装置
CN104580888A (zh) 一种图像处理方法及终端
JP2008010979A (ja) カメラ装置
WO2009069914A2 (en) X-ray photographing apparatus for receiving and editing x-ray image
JP6602080B2 (ja) 撮影システム及びその制御方法、コンピュータプログラム
JP2009189443A (ja) データ表示装置、データ表示プログラム、コンピュータ読取可能な記録媒体、およびデータ表示方法
US20060165354A1 (en) Digital video recording apparatus
CN101330572A (zh) 控制数字图像处理装置的方法和数字图像处理装置
US11049527B2 (en) Selecting a recording mode based on available storage space
CN102547253A (zh) 图像处理设备、图像处理系统、图像处理方法和程序
JP6632360B2 (ja) 情報処理装置
JP6314465B2 (ja) 情報処理装置、画像処理システム、情報処理装置におけるデータ表示方法及びプログラム
JP5470688B2 (ja) 撮影装置及びそのプログラム並びに画像表示装置。
JP2020057845A (ja) 編集装置、その制御方法、及びプログラム
JP6572107B2 (ja) 画像処理装置及び画像処理方法
JP7420886B2 (ja) 画像処理装置および方法
JP2019101783A (ja) 情報処理装置及び方法
JP2004312295A (ja) 画像データ蓄積システム
WO2023281955A1 (ja) 通信装置、撮像装置、制御方法およびプログラム
JPH0730792A (ja) 電子スチルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110513

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20121116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121218

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130204

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130226

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130314

R150 Certificate of patent or registration of utility model

Ref document number: 5226676

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160322

Year of fee payment: 3

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

S533 Written request for registration of change of name

Free format text: JAPANESE INTERMEDIATE CODE: R313533

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

LAPS Cancellation because of no payment of annual fees