JP4116732B2 - 送信装置および受信装置 - Google Patents

送信装置および受信装置 Download PDF

Info

Publication number
JP4116732B2
JP4116732B2 JP09050599A JP9050599A JP4116732B2 JP 4116732 B2 JP4116732 B2 JP 4116732B2 JP 09050599 A JP09050599 A JP 09050599A JP 9050599 A JP9050599 A JP 9050599A JP 4116732 B2 JP4116732 B2 JP 4116732B2
Authority
JP
Japan
Prior art keywords
transmission
reception
wireless
code
packet
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP09050599A
Other languages
English (en)
Other versions
JP2000286892A (ja
Inventor
学 藤田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP09050599A priority Critical patent/JP4116732B2/ja
Publication of JP2000286892A publication Critical patent/JP2000286892A/ja
Application granted granted Critical
Publication of JP4116732B2 publication Critical patent/JP4116732B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • YGENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02DCLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D30/00Reducing energy consumption in communication networks
    • Y02D30/70Reducing energy consumption in communication networks in wireless communication networks

Landscapes

  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Small-Scale Networks (AREA)
  • Communication Control (AREA)
  • Mobile Radio Communication Systems (AREA)

Description

【0001】
【発明の属する技術分野】
この発明は、非同期でフレーム伝送が行なわれる通信手順で動画を伝送する無線通信方式に用いる送信装置および受信装置に関するものである。
【0002】
【従来の技術】
従来のデータ伝送方式として、例えば2.4GHz帯を利用した無線LANがある。この2.4GHz帯無線LANのデータリンク層プロトコルは、IEEE802.11で規格化されている。この無線LANでは、TCP/IPプロトコルのIPパケットをデータリンク層で無線用フレームに変換して、無線伝送路を通じて送受信するようになっている。つまり、ネットワーク層プロトコルであるIPパケットを、データリンク層が提供するフレーム伝送サービスを利用して送り届けるようにしている。また、無線用フレームの送受信開始のタイミングは非同期で、任意の時間に伝送が開始されるようになっている。つまり、無線用フレームの伝送に先立って、その都度プリアンブル信号を伝送することでビット同期を確立し、その後、無線用フレームの先頭を示す符号であるSFD(Start Frame Delimiter)を認識することでフレーム同期を確立し、これにより受信側においてはSFDを検出した以降のバイトを受信データとして上位層に引き継ぐようにしている。
【0003】
また、他のデータ伝送方式として、JPEG圧縮を毎秒30画面連続的に行なって動画を圧縮し、各画面の圧縮データの始端および終端にそれぞれSOI符号およびEOI符号を付してパケット伝送するモーションJPEGによる伝送方式も知られている。
【0004】
【発明が解決しようとする課題】
ところで、上述したIEEE802.11に代表されるような無線伝送方式で、モーションJPEGによる圧縮データパケットを単に伝送しようとすると、無線用フレームの伝送に先立つプリアンブル信号によってビット同期を確立した後、無線用フレームの先頭を示す符号であるSFDによってフレーム同期を確立することになるため、圧縮データパケットを受信するまでに時間を要し、動画の連続性が損なわれることが懸念される。
【0005】
この発明は、かかる点に鑑みてなされたもので、パケット交換網におけるデータリンク層プロトコルが非同期のフレーム伝送方式であっても、モーションJPEGによる圧縮データパケットを動画の連続性を損なうことなく伝送できる送信装置および受信装置を提供することを目的とするものである。
【0006】
【課題を解決するための手段】
上記目的を達成するため、請求項1に記載の送信装置の発明は、モーションJPEGによる圧縮データパケットを、無線伝送フレームフォーマットとして無線送信する送信装置において、
モーションJPEGによる圧縮データパケットを、そのパケット開始符号およびパケット終了符号を検出して無線伝送フレームに変換する送信データフォーマット変換手段と、
前記無線伝送フレームを無線送信する無線送信手段と、
前記データフォーマット変換手段によるパケット開始符号およびパケット終了符号の検出に基づいて前記無線送信手段をオン・オフ制御する送信オン・オフ制御手段とを有し、
前記送信データフォーマット変換手段は、モーションJPEGによる順次の圧縮データパケット間の時間間隔を計測する送信インターバル計時手段を有し、該インターバル計時手段で計測した時間間隔に基づいて、モーションJPEGによる圧縮データパケットを、それぞれ誤り訂正符号を有する複数のブロックからなる無線伝送フレームに変換するよう構成されていることを特徴とするものである。
【0007】
請求項2に記載の発明は、モーションJPEGによる順次の圧縮データパケット間の時間間隔に基づいて、それぞれ誤り訂正符号を有する複数のブロックからなる無線伝送フレームに変換されて送信されるモーションJPEGによる圧縮データパケットを、当該圧縮データパケットのパケット開始符号によりフレーム同期を確立して受信する受信装置であって、
前記無線伝送フレームを受信する無線受信手段と、
該無線受信手段での受信データを、モーションJPEGによる圧縮データパケットのパケット開始符号によりフレーム同期を確立して前記圧縮データパケットに変換する受信データフォーマット変換手段とを有し、
該受信データフォーマット変換手段は、順次の圧縮データパケット間の時間間隔を計測する受信インターバル計時手段を有し、該インターバル計時手段で計測した時間間隔に基づいて、受信データを誤り訂正するよう構成されていることを特徴とするものである。
【0014】
【発明の実施の形態】
以下、図面を参照して、この発明の実施の形態について説明する。
図1は、この発明とともに開発した無線通信方式の第1参考例を示すブロック図である。この無線通信方式は、送信装置107からモーションJPEGによる圧縮データパケットを無線伝送フレームで無線伝送路123から送出し、その無線送出された無線伝送フレームを、受信装置108において圧縮データパケットのパケット開始符号であるSOI符号によりフレーム同期を確立して受信するようにして、送信装置107から圧縮データパケットを非同期でフレーム伝送して、受信装置108において最終的にモーションJPEGによる圧縮データパケットを得るものである。
【0015】
送信装置107には、画像圧縮回路101と、送信データフォーマット変換手段および送信オン・オフ制御手段を構成する送信制御回路102と、無線送信手段としての無線送信装置103とを設け、画像圧縮回路101と送信制御回路102とを画像送信信号線119および画像送信クロック線120で接続し、送信制御回路102と無線送信装置103とを無線送信信号線121、無線送信クロック線122およびTXPE線142で接続する。
【0016】
送信制御回路102には、画像送信レジスタ109、無線送信レジスタ110、画像送信シフトレジスタ111、無線送信シフトレジスタ112、画像送信制御回路113、無線送信制御回路114、送信RAM115、送信ROM116、送信I/Oポート117および送信CPU118とを設ける。画像送信レジスタ109、無線送信レジスタ110、画像送信シフトレジスタ111、送信RAM115、送信ROM116、送信I/Oポート117および送信CPU118は、送信バス138に接続する。送信バス138は、アドレスバスおよびデータバスをもって構成し、さらにこの送信バス138には図示しない調停用回路を接続する。
【0017】
また、画像送信シフトレジスタ111には、画像送信レジスタ109、画像送信制御回路113、画像送信クロック線120および画像送信信号線119を接続し、画像送信制御回路113には、画像送信クロック線120および送信CPU118を接続する。さらに、無線送信シフトレジスタ112には、無線送信レジスタ110、無線送信制御回路114、無線送信クロック線122および無線送信信号線121を接続し、無線送信制御回路114には、無線送信クロック線122および送信CPU118を接続する。また、送信I/Oポート117には、TXPE線142を接続する。
【0018】
一方、受信装置108には、画像伸長回路106と、受信データフォーマット変換手段および受信オン・オフ制御手段を構成する受信制御回路105と、無線受信手段としての無線受信装置104とを設け、画像伸長回路106と受信制御装置105とを画像受信信号線134および画像受信クロック線135で接続し、受信制御回路105と無線受信装置104とを無線受信信号線136、無線受信クロック線137およびRXPE線143で接続する。
【0019】
受信制御回路105には、画像受信レジスタ124、無線受信レジスタ125、画像受信シフトレジスタ126、無線受信シフトレジスタ127、画像受信制御回路128、無線受信制御回路129、受信RAM130、受信ROM131、受信I/Oポート132および受信CPU133を設ける。画像受信レジスタ124、無線受信レジスタ125、受信RAM130、受信ROM131、受信I/Oポート132および受信CPU133は、受信バス139に接続する。受信バス139は、アドレスバスおよびデータバスをもって構成し、さらにこの受信バス139には図示しない調停用回路を接続する。
【0020】
また、画像受信シフトレジスタ126には、画像受信レジスタ124、画像受信制御回路128、画像受信クロック線135および画像受信信号線134を接続し、画像受信制御回路128には画像受信クロック線135および受信CPU133を接続する。さらに、無線受信シフトレジスタ127には、無線受信レジスタ125、無線受信制御回路129、無線受信クロック線137および無線受信信号線136を接続し、無線受信制御回路129には無線受信クロック線137および受信CPU133を接続する。また、受信I/Oポート132には、RXPE線143を接続する。
【0021】
この無線通信方式では、図2(a)に示すモーションJPEGで圧縮された圧縮データパケットを、同様のフォーマットからなる図2(b)に示す無線伝送フレームフォーマットで通信する。このため、送信装置107では、画像圧縮回路101からのモーションJPEGで圧縮された圧縮データパケットを送信制御回路102に供給し、該送信制御回路102において圧縮データパケットのSOI符号およびEOI符号を検出して無線伝送フレームを作成し、この作成した無線伝送フレームを、SOI符号およびEOI符号の検出に基づいて無線送信装置103をオン・オフ制御して無線伝送路123に送出する。
【0022】
また、受信装置108では、無線受信装置104での受信データを受信制御回路105に供給し、ここでSOI符号を検出することによりフレーム同期を確立して受信データをモーションJPEGによる圧縮データパケットに変換して画像伸長回路106に供給すると共に、EOI符号の検出に基づいて無線受信装置104をオン・オフ制御制御する。
【0023】
図3は、この場合の送信装置107の概略動作を示すフローチャートである。先ず、送信制御回路102が画像圧縮回路101からのデータの受信を開始したら(ステップS301)、その受信データがSOI符号か否かを判断し(ステップS302)、SOI符号の場合にはTXPE線142をONにして(ステップS303)、無線送信装置103からプリアンブル信号を送信する(ステップS304)。その後、送信制御回路102で作成した無線伝送フレームのデータの送信を開始し(ステップS305)、EOI符号の送信が終了したら(ステップS306)、TXPE線142をOFF(ステップS307)にして送信を停止し、ステップS301に戻って上記の動作を繰り返す。
【0024】
図4は、同じく、受信装置108の概略動作を示すフローチャートである。先ず、RXPE線143をONにして(ステップS401)、無線受信装置104での受信を開始する(ステップS402)。その後、無線受信装置104がプリアンブル信号を受信したらビット同期を確立して(ステップS403)、データの受信を開始し(ステップS404)、その受信データがSOI符号か否かを判断する(ステップS405)。受信データがSOI符号の場合には、そのSOI符号の検出によりフレーム同期を確立してデータ受信を継続し(ステップS406)、EOI符号を受信したら(ステップS407)、RXPE線143をOFF(ステップS408)にして受信を停止し、ステップS401に戻って上記の動作を繰り返す。
【0025】
以下、この無線通信方式の詳細な動作について、図5〜図12に示すフローチャートを参照しながら説明する。なお、図5〜図8のフローチャートに示す動作を実行するプログラムは送信ROM116に格納し、図9〜図12のフローチャートに示す動作を実行するプログラムは受信ROM131に格納しておく。
【0026】
先ず、送信装置107の動作を説明する。画像送信制御回路113は、画像送信クロック線120にクロック信号を出力する。画像圧縮回路101は、クロック信号に同期して画像送信信号線119にモーションJPEGによる画像圧縮データパケットをビット列として出力し、そのビット列は画像送信シフトレジスタ111に順次格納される。画像送信制御回路113は、自らが出力するクロック数をカウントし、16ビットカウント毎に画像送信シフトレジスタ111に転送指示信号を送ると共に、送信CPU118に割り込み信号を出力する。画像送信制御回路113から転送指示信号を受けた画像送信シフトレジスタ111は、蓄えていた16ビット分のデータを画像送信レジスタ109にパラレル伝送する。この画像送信レジスタ109に格納されたデータは、送信ROM116に格納されたプログラムに従って送信CPU118で処理される。
【0027】
この送信CPU118による処理を、図5に示すフローチャートを参照しながら説明する。先ず、画像送信レジスタ109に格納されている16ビットデータをCPU内部の32ビットレジスタの上位16ビットに転送する(ステップS501)。さらに、次の16ビットデータをCPU内部の32ビットレジスタの下位16ビットに転送する(ステップS502)。ステップS501およびステップS502の処理は、画像送信制御回路113から送信CPU118への割り込み信号(16ビットカウント毎に発生)を契機として起動される。割り込み信号を受信するまでは、ステップS501およびステップS502の処理の直前でプログラムは待機状態となるが、図5では待機処理のフローは省略している。
【0028】
モーションJPEGの一画面の圧縮データパケットのスタートを示すSOI符号は、16進表示でFFD8のビットパターンが使用されているので、ステップS503およびステップS504で、32ビットレジスタ内の上位16ビットとFFD8との排他的論理和(XOR)を実行して上位16ビットがFFD8に一致するかをチェックし、一致した場合には図6の処理に移行する。これに対し、一致しない場合には、ステップS505で32ビットデータを左に1ビットシフトして、ステップS506で上位16ビットがFFD8であるかをチェックし、一致した場合には図7の処理に移行し、一致しない場合には、以後、左1ビットシフトとパターンマッチングとを15回繰り返し、最後の左1ビットシフト(ステップS507)とパターンマッチング(ステップS508)で上位16ビットがFFD8と一致した場合には図8の処理に移行し、一致しない場合にはステップS502に戻る。
【0029】
図7は左に1ビットシフトした結果、パターンの一致を検出した後の処理であり、図8は左に16ビットシフトして一致した場合の後の処理を示している。2ビットシフトから15ビットシフトによってパターンが一致した場合の後の処理は、図7に示す処理において、ステップS703およびステップS705でのシフト量が変わるだけで、例えば2ビットシフトの場合には、ステップS703でのシフト量が14ビットとなり、ステップS705でのシフト量が2ビットとなるだけであるので、フローチャートの図示は省略している。
【0030】
次に、図6の処理について、図1を参照して説明する。図6の処理は、ビットシフトを行なわずにFFD8が検出された場合の後の処理で、先ず、ステップS601でI/O命令を実行して、図1の送信I/Oポート117に接続されているTXPE線142をONにする。無線送信装置103は、TXPE線142がONになったことを検出して、無線伝送路123にビット同期に必要なプリアンブル信号を送出すると共に、無線送信クロック線122にクロック信号を出力する。次に、ステップS602で、32ビットレジスタの上位16ビットを無線送信レジスタ110に転送する。
【0031】
この無線送信レジスタ110に格納された16ビットデータは、無線送信シフトレジスタ112にパラレル転送され、無線送信クロック線122からのクロック信号に同期して、1ビットずつ無線送信信号線121に出力される。無線送信制御回路114は、クロック信号をカウントして、16クロック毎に無線送信シフトレジスタ112に無線送信レジスタ110からデータを読み込むように指示を与えると共に、送信CPU118に向けて割り込み信号を発生する。
【0032】
次に、32ビットレジスタの下位16ビットを上位16ビットに移し(ステップS603)、空いた下位16ビットに画像送信レジスタ109から次の16ビットのデータを読み込む(ステップS604)。この読み込みのタイミングは、画像送信制御回路113から送信CPU118に送られる割り込み信号に同期させる。その後、無線送信制御回路114から送信CPU118に向けて送られる、無線送信レジスタ110が空であることを示す割り込み信号が到着していることを確認して、32ビットレジスタの上位16ビットのデータを無線送信レジスタ110に転送する(ステップS605)。
【0033】
さらに、無線送信レジスタ110に転送したデータが、1画面の終了を示すEOI符号(16進表示でFFD9)であるかをステップS606およびステップS607でチェックして、FFD9であればTXPE線142をOFFにし(ステップS608)、無線送信装置103を非活性状態にしてスタートに戻る。これら一連の制御により、送信CPU118の内部では16ビット単位で断続的にデータを処理しているにも拘わらず、無線送信信号線121にはシリアルデータが連続的に出力されることになる。
【0034】
次に、図7および図8に示すフローチャートについて説明する。図7に示すフローチャートでは、図6のステップS603の代わりにステップS703が行なわれ、さらにステップS705が挿入されている。ステップS703およびステップS705はシフト処理であり、そのシフト量はSOI符号(16進表示でFFD8)が32ビットレジスタ上で何ビットシフト後にパターン一致したかによって決定されるもので、図7では1ビットシフト後にSOI符号が検出されたシフト量となっている。
【0035】
また、図8は、16ビットシフト後にSOI符号(16進表示でFFD8)が検出された場合を示している。この場合は、図6のステップS603が不要になり、また図6のステップS605では上位16ビットを転送するのに対して、図8のステップS804では、下位16ビットを転送している。
【0036】
次に、受信装置108の動作を説明する。無線受信装置104は、無線伝送路123からプリアンブル信号を受信してクロック信号を再生し、そのクロック信号を無線受信クロック線137に出力する。この時、無線受信装置104を活性化するためのRXPE線143は、予めONになっている。
【0037】
無線受信装置104は、無線受信信号線136に受信したビット列を出力し、そのビット列は無線受信シフトレジスタ127にクロック信号に同期して順次格納される。クロック信号は、上述したように無線受信装置104で受信したプリアンブル信号に基づいて再生された信号で、無線受信クロック線137を介して無線受信制御回路129および無線受信シフトレジスタ127に供給される。無線受信制御回路129は、クロック信号をカウントし、16カウント毎に無線受信シフトレジスタ127にデータ転送指示信号を供給すると共に、受信CPU133に割り込み信号を出力する。データ転送指示信号を受けた無線受信シフトレジスタ127は、内部のデータを無線受信レジスタ125にパラレル転送する。この無線受信レジスタ125に格納されたデータは、受信ROM131に格納されたプログラムに従って受信CPU133で処理される。
【0038】
以下、受信CPU133による処理を、図9に示すフローチャートに従って説明する。先ず、無線受信レジスタ125に格納されている16ビットデータをCPU内部の32ビットレジスタの上位16ビットに転送する(ステップS901)。さらに、次の16ビットデータをCPU内部の32ビットレジスタの下位16ビットに転送する(ステップS902)。ステップS901およびステップS902の処理は、画像受信制御回路127から16ビットカウント毎に受信CPU133に出力される割り込み信号を契機として起動される。割り込み信号を受信するまでは、ステップS901およびステップS902の処理の直前でプログラムは待機状態となるが、図9では待機処理のフローは省略している。
【0039】
ステップS903およびステップS904で、32ビットレジスタ内の上位16ビットがFFD8に一致するかをチェックして、一致した場合には図10の処理に移行する。これに対し、一致しない場合には、ステップS905で32ビットデータを左に1ビットシフトして、ステップS906で上位16ビットがFFD8であるかをチェックし、一致した場合には図11の処理に移行し、一致しない場合には、以後、左1ビットシフトとパターンマッチングとを15回繰り返し、最後の左1ビットシフト(ステップS907)とパターンマッチング(ステップS908)で上位16ビットがFFD8と一致した場合には図12の処理に移行し、一致しない場合にはステップS902に戻る。
【0040】
図11は左に1ビットシフトした結果、パターンの一致を検出した後の処理であり、図12は左に16ビットシフトして一致した場合の後の処理を示している。2ビットシフトから15ビットシフトによってパターンが一致した場合の後の処理は、図11に示す処理において、ステップS1102およびステップS1104でのシフト量が変わるだけで、例えば2ビットシフトの場合には、ステップS1102でのシフト量が14ビットとなり、ステップS1104でのシフト量が2ビットとなるだけであるので、フローチャートの図示は省略している。
【0041】
次に、図10の処理について、図1を参照して説明する。図10の処理は、ビットシフトを行なわずにFFD8が検出された場合の後の処理で、先ず、ステップS1001で32ビットレジスタの上位16ビットを画像受信レジスタ124に転送する。この画像受信レジスタ124に格納された16ビットデータは、画像受信シフトレジスタ126にパラレル転送され、画像受信クロック線135からのクロック信号に同期して、1ビットずつ画像受信信号線134に出力される。なお、画像受信クロック信号は、画像受信制御回路128で生成される。画像受信制御回路128は、クロック信号をカウントして、16クロック毎に画像受信シフトレジスタ126に画像受信レジスタ124からデータを読み込むように指示を与えると共に、受信CPU133に向けて割り込み信号を発生する。
【0042】
次に、32ビットレジスタの下位16ビットを上位16ビットに移し(ステップS1002)、空いた下位16ビットに無線受信レジスタ125から次の16ビットのデータを読み込む(ステップS1003)。この読み込みのタイミングは、無線受信制御回路129から受信CPU133に送られる割り込み信号に同期させる。その後、画像受信制御回路128から受信CPU133に向けて送られる割り込み信号が到着していることを確認して、32ビットレジスタの上位16ビットのデータを画像受信レジスタ124に転送する(ステップS1004)。ここで、割り込み信号は画像受信レジスタ124が空になって、次のデータを読み込める状態になったことを示している。
【0043】
さらに、画像受信レジスタ124に転送したデータが、1画面の終了を示すEOI符号(16進表示でFFD9)であるかをステップS1005およびステップS1006でチェックして、FFD9であればRXPE線143をOFFにし(ステップS1007)、無線受信装置104を一時的に非活性状態にし、その後、再びRXPE線143をON(ステップS1008)にしてスタートに戻る。これら一連の制御により、受信CPU133の内部では16ビット単位で断続的にデータを処理しているにも拘わらず、画像受信信号線134にはシリアルデータが連続的に出力されることになる。
【0044】
次に、図11および図12に示すフローチャートについて説明する。図11に示すフローチャートでは、図10のステップS1002の代わりにステップS1102が行なわれ、さらにステップS1104が挿入されている。ステップS1102およびステップS1104はシフト処理であり、そのシフト量はSOI符号(16進表示でFFD8)が32ビットレジスタ上で何ビットシフト後にパターン一致したかによって決定されるもので、図11では1ビットシフト後にSOI符号が検出されたシフト量となっている。
【0045】
また、図12は、16ビットシフト後にSOI符号(16進表示でFFD8)が検出された場合を示している。この場合は、図10のステップS1002が不要になり、また図10のステップS1004では上位16ビットを転送するのに対して、図12のステップS1203では、下位16ビットを転送している。
【0046】
以上の一連の動作によって、送信装置107において、画像圧縮回路101から出力される図2(a)に示したモーションJPEGによる圧縮データパケットを、送信制御回路102および無線送信装置103を介して、図2(b)に示した無線伝送フレームで無線伝送路123に送出し、その送出された無線伝送フレームのデータを、受信装置108において、無線受信装置104で受信して受信制御回路105においてSOI符号によりフレーム同期を確立して処理することにより、最終的にモーションJPEGによる圧縮データパケットとして画像伸長回路106に入力することができる。
【0047】
このように、図1に示した無線通信方式では、送信装置107においては、送信制御回路102を構成する送信データフォーマット変換手段を、上位層シリアル−パラレル伝送変換手段と、下位層パラレル−シリアル伝送変換手段と、符号検出手段とを有して構成し、上位層シリアル−パラレル伝送変換手段によって取り込まれたワードデータまたはバイトデータから、符号検出手段により上位層パケット開始符号を検出して、送信オン・オフ制御手段により無線送信装置103をキャリア信号を送出する活性化状態として、シフト処理を施したワードデータまたはバイトデータを、上位層パケット終了符号を検出するまで下位層パラレル−シリアル伝送変換手段を経て無線送信装置103に入力して伝送を続け、上位層パケット終了符号伝送終了後に送信オン・オフ制御手段により無線送信装置103を非活性化状態としている。
【0048】
ここで、上位層シリアル−パラレル伝送変換手段は、画像送信制御回路113、画像送信シフトレジスタ111および画像送信レジスタ109を含み、下位層パラレル−シリアル伝送変換手段は、無線送信制御回路114、無線送信シフトレジスタ112および無線送信レジスタ110を含んでいる。符号検出手段は、送信CPU118内の演算回路が該当するが、CPUを使用せずに比較演算回路を利用することもできる。上位層パケット開始符号はSOI符号が該当し、上位層パケット終了符号はEOI符号が該当する。さらに、送信オン・オフ制御手段は、送信CPU118および送信I/Oポート117を含んでいる。
【0049】
また、受信装置108においては、受信制御回路105を構成する受信データフォーマット変換手段を、下位層シリアル−パラレル伝送変換手段と、上位層パラレル−シリアル伝送変換手段と、符号検出手段とを有して構成し、下位層シリアル−パラレル伝送変換手段によって取り込まれたワードデータまたはバイトデータから、符号検出手段により上位層パケット開始符号を検出して、上位層パケット開始符号検出以降のワードデータまたはバイトデータを、上位層パケット終了符号を検出するまで上位層パラレル−シリアル伝送変換手段に伝送し続け、上位層パケット終了符号受信後に受信オン・オフ制御手段により無線受信装置104を初期化して、ビット同期用のビット列を受信可能な状態としている。
【0050】
ここで、下位層シリアル−パラレル伝送変換手段は、無線受信制御回路129、無線受信シフトレジスタ127および無線受信レジスタ125を含み、上位層パラレル−シリアル伝送変換手段は、画像受信制御回路128、画像受信シフトレジスタ126および画像受信レジスタ124を含んでいる。符号検出手段は、受信CPU133内の演算回路が該当するが、送信装置107の場合と同様にCPUを使用せずに比較演算回路を利用することもできる。さらに、無線受信装置オン・オフ制御手段は、受信CPU133および受信I/Oポート132を含んでいる。
【0051】
以上のように、第1参考例によれば、モーションJPEGの圧縮データパケットを、それに挿入されているSOI符号およびEOI符号を用いて無線伝送フレームで送信し、受信側ではSOI符号によりフレーム同期を確立して受信するようにしたので、データリンク層プロトコルが非同期のフレーム伝送方式であっても、モーションJPEGの圧縮データパケットを動画の連続性を損なうことなく伝送することができる。
【0052】
図13は、この発明とともに開発した無線通信方式の第2参考例を示すブロック図である。この無線通信方式は、図1に示した構成において、送信装置107の送信制御回路102に、送信バス138に接続して誤り訂正符号付加手段としての誤り訂正符号計算回路141を設けると共に、受信装置108の受信制御回路105に、受信バス139に接続して誤り訂正手段としての誤り訂正回路140を設けて、図2(a)に示したモーションJPEGで圧縮された圧縮データパケットを、図14に示すように、一定のデータブロック毎に区切り、各データブロックの終端に誤り訂正符号(ECC)を付加した無線伝送フレームフォーマットで通信するようにしたものである。
【0053】
図15は、この場合の送信装置107の概略動作を示すフローチャートである。先ず、送信制御回路102が画像圧縮回路101からのデータの受信を開始したら(ステップS1501)、その受信データがSOI符号か否かを判断し(ステップS1502)、SOI符号の場合にはTXPE線142をONにして(ステップS1503)、無線送信装置103からプリアンブル信号を送信する(ステップS1504)。次に、送信制御回路102において受信したデータを、誤り訂正符号計算回路141に入力してブロック単位に誤り訂正符号を付加し(ステップS1505)、この誤り訂正符号計算回路141から出力されるデータの送信を開始する(ステップS1506)。その後、EOI符号の送信を検出したら(ステップS1507)、そのブロックの最後の誤り訂正符号を送信して(ステップS1508)、TXPE線142をOFFにし(ステップS1509)、ステップS1501に戻って上記の動作を繰り返す。
【0054】
図16は、同じく、受信装置108の概略動作を示すフローチャートである。先ず、RXPE線143をONにして(ステップS1601)、無線受信装置104での受信を開始する(ステップS1602)。その後、無線受信装置104がプリアンブル信号を受信したらビット同期を確立して(ステップS1603)、データの受信を開始し(ステップS1604)、その受信データを誤り訂正回路140に供給して誤り訂正処理を行ない(ステップS1605)、この誤り訂正回路140から出力される受信データを受け取って(ステップS1606)、SOI符号か否かを判断する(ステップS1607)。受信データがSOI符号の場合には、これによりフレーム同期を確立してデータ受信を継続し(ステップS1608)、その受信データを誤り訂正回路140に供給して誤り訂正処理を行ない(ステップS1609)、その訂正された受信データを受け取って(ステップS1610)、EOI符号か否かを判断する(ステップS1611)。EOI符号を受信したら、RXPE線143をOFF(ステップS1612)にして受信を停止し、ステップS1601に戻って上記の動作を繰り返す。
【0055】
以下、この第2参考例の無線通信方式の要部の詳細な動作について、図17および図18に示すフローチャートを参照しながら説明する。
【0056】
図17は、送信装置107の動作を示すフローチャートで、図5に示したフローチャートを置き換えたものである。すなわち、この参考例では、SOI符号を含むそれ以降に受信した16ビットデータを順次誤り訂正符号計算回路141に入力し、200バイト単位でリードソロモン符号を計算して、200バイトのデータと20バイトのリードソロモン符号を出力する。送信CPU118では、誤り訂正符号計算回路141からの出力開始信号を検出し(ステップS1706)、出力開始信号が検出されたらステップS1707を実行して、読み込んだデータを無線送信装置103に伝送する。また、ステップS1708でFFD9符号を検出した後は、誤り訂正符号計算回路141からのデータ出力が終了するまで、無線送信装置103へのデータ伝送を続ける(ステップS1709,S1710)。その他の送信装置107の動作は、第1参考例と同様である。
【0057】
図18は、受信装置108の動作を示すフローチャートで、図10に示したフローチャートを置き換えたものである。受信装置108では、誤り訂正回路140において220バイトのデータが入力されて、ビット誤り訂正後の200バイトのデータが出力される。誤り訂正回路140からの訂正データの出力が始まると、受信CPU133に出力開始信号が送られ、SOI符号受信を含むそれ以降の受信データが誤り訂正回路140に転送される。ステップS1805で誤り訂正回路140からのデータ出力開始が検出されたら、ステップS1806を実行して、読み込んだデータを画像伸長回路106に伝送する。また、ステップS1807でFFD9符号を検出した後は、誤り訂正回路140からのデータ出力が終了するまで、画像伸長回路106へのデータ伝送を続ける(ステップS1809,S1810)。その他の受信装置108の動作は、第1参考例と同様である。
【0058】
以上の一連の動作によって、送信装置107において、画像圧縮回路101から出力される図2(a)に示したモーションJPEGによる圧縮データパケットを、送信制御回路102および無線送信装置103を介して、図14に示した一定バイトのブロック毎に誤り訂正符号を付加した無線伝送フレームで無線伝送路123に送出し、その送出された無線伝送フレームのデータを、受信装置108において、無線受信装置104で受信して受信制御回路105でSOI符号によりフレーム同期を確立して誤り訂正処理を行なうことにより、最終的にモーションJPEGによる圧縮データパケットとして画像伸長回路106に入力することができる。
【0059】
すなわち、従来、MPEG2を利用した放送システムでは、誤り制御としてTSパケット単位に誤り訂正符号を付加してビット誤りを訂正するようにしているが、モーションJPEGを利用した場合には、圧縮データに提示タイミング情報が付加されていないために、一画面を分割して伝送すると円滑な動画が表示されなくなる。しかし、第1参考例で説明したように、モーションJPEGの圧縮データパケットを、それに挿入されているSOI符号およびEOI符号を用いて無線伝送フレームで伝送すれば、データリンク層プロトコルが非同期のフレーム伝送方式であっても、SOI符号によりフレーム同期を確立することで、圧縮データパケットを動画の連続性を損なうことなく伝送することができるので、分割伝送が不可能なデータであっても、無線伝送フレームを一定ブロック長毎に誤り訂正符号を付加して伝送することができ、通信品質を向上することができる。
【0060】
ところで、モーションJPEGでは、高周波成分を有するシーンと、低周波成分を有するシーンとでは、圧縮データパケットのデータ長が異なることから、パケット間隔(時間)が変動し、その時間が無線伝送路のアイドル時間となって、無線伝送能力が低下することが懸念される。
【0061】
そこで、この発明の一実施の形態では、図13に示す構成において、さらにインターバル計時手段および誤り訂正符号ブロック長変更手段を設け、インターバル計時手段によって上位層パケット終了符号受信から上位層パケット開始符号受信までのインターバルを測定し、その測定したインターバル時間に応じて、インターバルが長いときはブロック長を短くし、インターバルが短いときはブロック長を長くして誤り訂正符号を付加する。ここで、インターバル計時手段は、送信CPU118および受信CPU133をもって構成し、誤り訂正符号ブロック長変更手段は、誤り訂正符号計算回路141と送信CPU118および誤り訂正回路140と受信CPU133をもって構成する。
【0062】
以下、この実施の形態の要部の詳細な動作について、図13、図19、図20および図21を参照して説明する。
【0063】
図19は、送信装置107の動作を示すフローチャートである。先ず、ステップS1901で直前の圧縮データパケットのEOI符号の検出に同期してインターバル計時手段でのカウント値nを初期化して、次に伝送する圧縮データパケットのSOI符号(FFD8)が発見されるまでの時間を計測する。この計測時間に対応するカウント値nは、図13の送信RAM115内に保持される。ここでは、ステップS1905での最初のパターンマッチングでFFD8が検出された場合を例として説明する。
【0064】
ステップS1906では、送信ROM116のデータ領域に保持されている図20に示すカウント値−ブロック長対応テーブルにアクセスして、カウント値nに対応するブロック長を読み出す。例えば、カウント値nが1000以下ならばブロック長は200バイトとなり、1001以上2000以下ならブロック長は190バイトとなる。
【0065】
ステップS1909では、取得したブロック長を誤り訂正符号計算回路141に入力し、設定されたブロック長の内、20バイトが誤り訂正符号となるように計算が行われる(図17のステップS1701以降の処理と同じ)。つまり、ブロック長が200バイトの場合には、180バイトのデータに対して20バイトの誤り訂正符号が計算される。図19のB"からC"までの処理は、ステップS1905以後のパターンマッチングでFFD8が検出された場合の処理で、シフト処理の部分が異なるのみであるので、図では省略している。
【0066】
図21は、受信装置108の動作を示すフローチャートである。先ず、ステップS2101で直前の無線伝送フレームのEOI符号の検出に同期してインターバル計時手段でのカウント値nを初期化して、次に受信される無線伝送フレームのSOI符号(FFD8)が発見されるまでの時間を計測する。この計測時間に対応するカウント値nは、図13の受信RAM130内に保持される。ここでは、ステップS2105での最初のパターンマッチングでFFD8が検出された場合を例として説明する。
【0067】
ステップS2106では、受信ROM131のデータ領域に保持されている図20に示したカウント値−ブロック長対応テーブルにアクセスして、カウント値nに対応するブロック長を読み出し、ステップS2109では、取得したブロック長を誤り訂正回路140に入力して、設定されたブロック長の内、20バイトが誤り訂正符号として誤り訂正の計算が行われる(図18のステップS1801以降の処理と同じ)。なお、図21のE"からF"までの処理は、ステップS2105以後のパターンマッチングでFFD8が検出された場合の処理で、シフト処理の部分が異なるのみであるので、図では省略している。
【0068】
以上の一連の動作によって、送信装置107において、画像圧縮回路101から出力される図2(a)に示したモーションJPEGによる圧縮データパケットを、パケット間隔に応じてブロック数、すなわち誤り訂正符号の数が変化する無線伝送フレームで無線伝送路123に送出し、その送出された無線伝送フレームのデータを、受信装置108において、最終的にモーションJPEGによる圧縮データパケットとして画像伸長回路106に入力することができる。
【0069】
このように、この実施の形態では、直前の圧縮データパケットのEOI符号受信から、次の圧縮データパケットのSOI符号受信までのインターバルを測定し、その測定したインターバル時間に応じて、インターバルが長いときはブロック長を短くし、インターバルが短いときはブロック長を長くして誤り訂正符号を付加するようにしたので、圧縮データパケットのパケット間隔がシーンによって異なっても、順次の無線伝送フレームの間隔をほぼ一定にすることができ、したがって無線伝送能力を低下させることなく、より信頼性の高い無線通信を行なうことができる。
【0070】
なお、上記の実施の形態では、インターバル時間に応じてブロック長を設定するにあたり、誤り訂正符号長を20バイトと一定にして、データ長を可変としたが、逆に、データ長を一定にして、誤り訂正符号長を可変とすることもできる。
【0071】
さらに、この発明とともに開発した無線通信方式の第3参考例では、第1参考例あるいは第2参考例において、受信装置108側で上記実施の形態で説明したと同様にして、圧縮データパケットのパケット間隔の時間を検出し、その時間に応じてRXPE線143をONするタイミングを制御する。
【0072】
図22は、この第3参考例による受信装置108での要部の動作を説明するフローチャートである。すなわち、ステップS2201でRXPE線143をOFFにして無線受信装置104を非活性状態としたら、ステップS2202で待機時間を計測する計時手段のカウント値kを0に初期化する。ここで、ステップS2201は、例えば図10のステップS1007あるいは図18のステップS1810に対応する。また、待機時間の計時手段は、受信CPU133をもって構成する。
【0073】
その後、受信ROM131のデータ領域に保持されている図23に示すカウント値n−待機時間m対応テーブルにアクセスして、上記実施の形態で説明したインターバル時間のカウント値nに対応する待機時間mを読み出し、その待機時間mを設定値に代入する(ステップS2203)。次に、待機時間のカウント値kと待機時間設定値mとを比較して(ステップS2204)、一致すればRXPE線143をONにして無線受信装置104を活性化し(ステップS2206)、一致しなければステップS2205でカウント値kをインクリメントしてステップS2204に戻る。
【0074】
以上の一連の動作によって、受信装置108において、例えば図2(b)に示したRXPEオフからRXPEオンまでの待機時間を、圧縮データパケットの間隔に応じて、間隔が長いときは長く、間隔が短いときは短くすることができるので、無線受信装置104に無駄な電力が供給されるのを有効に防止でき、省電力化を図ることができる。
【0075】
【発明の効果】
以上のように、この発明によれば、データリンク層プロトコルが非同期のフレーム伝送方式で、モーションJPEGによる圧縮データパケットを動画の連続性を損なうことなく伝送することができる。また、圧縮データパケットを複数ブロックに分割して誤り訂正符号を付加して伝送することができ、これにより通信品質を向上することができる。しかも、本発明では、圧縮データパケットの時間間隔に応じて誤り訂正の符号化率を変更するようにしているので、無線伝送能力を低下させることなく、より信頼性の高い無線通信を行なうことができる。
【図面の簡単な説明】
【図1】 この発明とともに開発した無線通信方式の第1参考例を示すブロック図である。
【図2】 モーションJPEGで圧縮された圧縮データパケットフォーマットと、第1参考例での無線伝送フレームフォーマットとを説明するための図である。
【図3】 第1参考例での送信装置の概略動作を示すフローチャートである。
【図4】 同じく、受信装置の概略動作を示すフローチャートである。
【図5】 同じく、送信装置の詳細な動作を示すフローチャートである。
【図6】 同じく、送信装置の詳細な動作を示すフローチャートである。
【図7】 同じく、送信装置の詳細な動作を示すフローチャートである。
【図8】 同じく、送信装置の詳細な動作を示すフローチャートである。
【図9】 同じく、受信装置の詳細な動作を示すフローチャートである。
【図10】 同じく、受信装置の詳細な動作を示すフローチャートである。
【図11】 同じく、受信装置の詳細な動作を示すフローチャートである。
【図12】 同じく、受信装置の詳細な動作を示すフローチャートである。
【図13】 この発明とともに開発した無線通信方式の第2参考例を示すブロック図である。
【図14】 第2参考例での無線伝送フレームフォーマットを説明するための図である。
【図15】 第2参考例での送信装置の概略動作を示すフローチャートである。
【図16】 同じく、受信装置の概略動作を示すフローチャートである。
【図17】 同じく、送信装置の要部の詳細な動作を示すフローチャートである。
【図18】 同じく、受信装置の要部の詳細な動作を示すフローチャートである。
【図19】 この発明の一実施の形態に係る送信装置の要部の詳細な動作を示すフローチャートである。
【図20】 この発明の一実施の形態での圧縮データパケット間隔と誤り訂正ブロック長との対応テーブルを示す図である。
【図21】 この発明の一実施の形態に係る受信装置の要部の詳細な動作を示すフローチャートである。
【図22】 この発明とともに開発した無線通信方式の第3参考例での受信装置の要部の動作を示すフローチャートである。
【図23】 第3参考例での圧縮データパケット間隔と無線受信装置の待機時間との対応テーブルを示す図である。
【符号の説明】
107 送信装置
108 受信装置
123 無線伝送路
101 画像圧縮回路
102 送信制御回路
103 無線送信装置
119 画像送信信号線
120 画像送信クロック線
121 無線送信信号線
122 無線送信クロック線
142 TXPE線
109 画像送信レジスタ
110 無線送信レジスタ
111 画像送信シフトレジスタ
112 無線送信シフトレジスタ
113 画像送信制御回路
114 無線送信制御回路
115 送信RAM
116 送信ROM
117 送信I/Oポート
118 送信CPU
138 送信バス
120 画像送信クロック線
106 画像伸長回路
105 受信制御回路
104 無線受信装置
134 画像受信信号線
135 画像受信クロック線
136 無線受信信号線
137 無線受信クロック線
143 RXPE線
124 画像受信レジスタ
125 無線受信レジスタ
126 画像受信シフトレジスタ
127 無線受信シフトレジスタ
128 画像受信制御回路
129 無線受信制御回路
130 受信RAM
131 受信ROM
132 受信I/Oポート
133 受信CPU
139 受信バス

Claims (2)

  1. モーションJPEGによる圧縮データパケットを、無線伝送フレームフォーマットとして無線送信する送信装置において、
    モーションJPEGによる圧縮データパケットを、そのパケット開始符号およびパケット終了符号を検出して無線伝送フレームに変換する送信データフォーマット変換手段と、
    前記無線伝送フレームを無線送信する無線送信手段と、
    前記データフォーマット変換手段によるパケット開始符号およびパケット終了符号の検出に基づいて前記無線送信手段をオン・オフ制御する送信オン・オフ制御手段とを有し、
    前記送信データフォーマット変換手段は、モーションJPEGによる順次の圧縮データパケット間の時間間隔を計測する送信インターバル計時手段を有し、該インターバル計時手段で計測した時間間隔に基づいて、モーションJPEGによる圧縮データパケットを、それぞれ誤り訂正符号を有する複数のブロックからなる無線伝送フレームに変換するよう構成されていることを特徴とする送信装置。
  2. モーションJPEGによる順次の圧縮データパケット間の時間間隔に基づいて、それぞれ誤り訂正符号を有する複数のブロックからなる無線伝送フレームに変換されて送信されるモーションJPEGによる圧縮データパケットを、当該圧縮データパケットのパケット開始符号によりフレーム同期を確立して受信する受信装置であって、
    前記無線伝送フレームを受信する無線受信手段と、
    該無線受信手段での受信データを、モーションJPEGによる圧縮データパケットのパケット開始符号によりフレーム同期を確立して前記圧縮データパケットに変換する受信データフォーマット変換手段とを有し、
    該受信データフォーマット変換手段は、順次の圧縮データパケット間の時間間隔を計測する受信インターバル計時手段を有し、該インターバル計時手段で計測した時間間隔に基づいて、受信データを誤り訂正するよう構成されていることを特徴とする受信装置。
JP09050599A 1999-03-31 1999-03-31 送信装置および受信装置 Expired - Fee Related JP4116732B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP09050599A JP4116732B2 (ja) 1999-03-31 1999-03-31 送信装置および受信装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP09050599A JP4116732B2 (ja) 1999-03-31 1999-03-31 送信装置および受信装置

Publications (2)

Publication Number Publication Date
JP2000286892A JP2000286892A (ja) 2000-10-13
JP4116732B2 true JP4116732B2 (ja) 2008-07-09

Family

ID=14000368

Family Applications (1)

Application Number Title Priority Date Filing Date
JP09050599A Expired - Fee Related JP4116732B2 (ja) 1999-03-31 1999-03-31 送信装置および受信装置

Country Status (1)

Country Link
JP (1) JP4116732B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4503987B2 (ja) * 2003-11-12 2010-07-14 オリンパス株式会社 カプセル型内視鏡
KR101139444B1 (ko) 2003-12-06 2012-04-30 엘지전자 주식회사 서버시스템
JP4631743B2 (ja) 2006-02-27 2011-02-16 ソニー株式会社 半導体装置
JP5261895B2 (ja) * 2006-07-27 2013-08-14 株式会社ニコン 外部装置およびカメラ
WO2008144929A1 (en) * 2007-06-01 2008-12-04 Research In Motion Limited Method and apparatus for communicating compression state information for interactive compression
WO2013154024A1 (ja) * 2012-04-13 2013-10-17 ソニー株式会社 情報処理装置および方法、並びに、プログラム

Also Published As

Publication number Publication date
JP2000286892A (ja) 2000-10-13

Similar Documents

Publication Publication Date Title
CN102932676B (zh) 基于音视频同步的自适应带宽传输和播放方法
EP0828394A2 (en) A device and method for converting data transfer rate in communication of digital audio/video data
JP4116732B2 (ja) 送信装置および受信装置
US6385319B1 (en) Encoding circuit and method of detecting block code boundary and establishing synchronization between scrambler and descrambler
JPH0535624A (ja) データ転送方法ならびにデータ送信装置および復元装置
US6982994B2 (en) Synchronization correction circuit
JPH1146294A (ja) 画像通信方法及び画像通信装置
US11825233B2 (en) Data transmission system and data transmission method
CN116017385A (zh) 电能表检定方法及系统
JPH06237248A (ja) ディジタル通信方法
KR100402566B1 (ko) 멀티미디어 통신 장치 및 통신 방법
JP5979522B1 (ja) 親機および通信方法
CN109995963A (zh) 一种无线同步时码方法
JP2010193045A (ja) 無線データ伝送方法及び無線データ送受信装置
JP2569493B2 (ja) パケツト通信における転送ゆらぎ吸収処理方式
JPH0834480B2 (ja) パケット転送方式
JP2003018585A (ja) 画像伝送システムおよび画像送信装置および画像受信装置
JP6763735B2 (ja) デジタル無線システム
JPS59228445A (ja) デ−タ伝送方式
US7869422B2 (en) Receiving data comprising synchronization information
JP2000078366A (ja) 画像形成装置、画像形成システム及び画像制御信号生成方法
JPS63290034A (ja) デ−タ伝送方式
JPS645497B2 (ja)
JP2009282675A (ja) 画像データ転送装置
JP2001057596A (ja) 無線テレメータ装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060213

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20060808

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20071025

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20071030

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071227

RD03 Notification of appointment of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7423

Effective date: 20071227

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20080415

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080418

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110425

Year of fee payment: 3

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071227

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120425

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130425

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140425

Year of fee payment: 6

LAPS Cancellation because of no payment of annual fees