JP3800058B2 - Gateway device - Google Patents

Gateway device Download PDF

Info

Publication number
JP3800058B2
JP3800058B2 JP2001308152A JP2001308152A JP3800058B2 JP 3800058 B2 JP3800058 B2 JP 3800058B2 JP 2001308152 A JP2001308152 A JP 2001308152A JP 2001308152 A JP2001308152 A JP 2001308152A JP 3800058 B2 JP3800058 B2 JP 3800058B2
Authority
JP
Japan
Prior art keywords
network
address
control request
response
received
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2001308152A
Other languages
Japanese (ja)
Other versions
JP2003115857A (en
Inventor
善道 工藤
真愉子 田中
賢彦 野添
千代 大野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Priority to JP2001308152A priority Critical patent/JP3800058B2/en
Publication of JP2003115857A publication Critical patent/JP2003115857A/en
Application granted granted Critical
Publication of JP3800058B2 publication Critical patent/JP3800058B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は2種類の異なるネットワークを接続して互いの間でデータのやり取りを可能にするゲートウェイ装置に関するものであり、特にPC等の情報機器により構築される情報系のネットワークとデジタルAV機器により構成されるAV系のネットワークとを結合して情報機器からAV機器を制御するのに適したゲートウェイ装置に関する。
【0002】
【従来の技術】
情報家電装置の発展とインターネット利用の普及により、一般家庭の中にもネットワークを構築することが行われるようになってきている。
家庭でのネットワークの一形態は、個々の家族毎のPCあるいはデスクトップPCとノートPC等、複数のPCによるインターネットアクセスの共有やプリンタ等の共有を目的とした情報系のネットワークであり、その代表的なものには100BASE−TX等ツイストペア線によるイーサネットLANやIEEE802.11b規格による無線LANが有り、ネットワーク上のプロトコルはインターネット等のコンピュータネットワークで広く利用されているTCP/IPが一般的に使われている。以下こうしたTCP/IPを用いる情報系ネットワークのことをIPネットワークと呼ぶ。
【0003】
その一方でTV、VTR等に代表されるAV装置のデジタル化が進み、デジタル衛星放送受信機及びこれを内蔵したTVや、デジタル記録方式のVTRやビデオカメラ、ハードディスクを記録媒体に用いたハードディスク(以下HD)レコーダやDVD−RAM等の光ディスクを用いた記録装置等が登場している。これらのデジタルAV装置では伝送や蓄積における信号品質の劣化が起き難いというデジタル方式の特性を活かすため、各装置間の接続にIEEE1394規格による高速シリアルインターフェース(以下1394IF)を採用したものが増えている。1394IFは元々はPCの周辺層装置向けのバスとして設計されたものであるが、最大400Mbpsのデータ転送速度とAV装置で扱われる映像音声のデータを途切れることなく伝送するのに適したアイソクロナス転送モードを備えており、ケーブルの抜き差しを検出して装置IDを自動的に割り当てるので使用者の操作を軽減できるなどの利点をもつことから、デジタルAV装置の標準インターフェースとして着目されて来た。このため、デジタルAV装置に広く採用されているMPEG2−TS(Transport Stream)を伝送するためのプロトコルとデータ形式やAV装置を制御するためのコマンド送受信プロトコルがIEC61883規格として定められており、各AV装置、例えばVTRやチューナ毎の制御コマンド仕様もAV/C(Audio Video Control)コマンドとして普及団体である1394TA(Trade Association)により定められている。
【0004】
かかるAV/Cコマンドは1394IFに特化したものであり、前記したIPネットワークに接続されるPCなどによりデジタルAV装置を操作するためには、PCに1394IFを搭載する方法によるか、もしくはIPネットワークと1394IFの双方に接続されるゲートウェイ装置を介して、デジタルAV装置に操作要求を伝える方法を用いる必要が有る。
特開2000−224207号公報や特開2001−202317号公報にはこうしたゲートウェイ装置を用いて1394IFに接続されているデジタルAV装置などをIPネットワーク上のコントローラにより制御する方法が記載されている。
【0005】
【発明が解決しようとする課題】
上述した従来の技術によればコントローラから操作しようとする場合には、コントローラからゲートウェイ装置に制御要求を送り、ゲートウェイ装置はこの制御要求を1394IFによって接続されているAV装置などに対する制御要求に変換して送信することによって該AV装置の動作を制御する。従ってゲートウェイ装置は1394IFにより接続されるAV装置などの制御仕様に合わせて、必要となる制御要求の変換方法に従う変換手段を予め組み込んでおく必要があった。このためゲートウェイ装置が制御仕様に関する情報を持たないAV装置などはIPネットワーク上のコントローラからは操作することができないという問題が有った。
【0006】
本発明の目的は、IPネットワークと1394IFの双方に接続するゲートウェイを介してIPネットワーク上のコントローラから1394IFで接続されるAV装置を制御する際に、ゲートウェイが制御対象となるAV装置の制御仕様に合わせた制御要求の変換手段を組み込んでおく必要のないゲートウェイ装置の構成方法を提供することにある。
【0007】
【課題を解決するための手段】
上記目的達成のため、本発明ではIPネットワークと1394IFの双方に接続するゲートウェイ装置において、1394IFに接続されている装置を特定するためのIPアドレスと1394IFのノードIDを対応付けるための変換テーブルを設け、IPネットワーク上のコントローラから該IPアドレスに宛てて発行された制御要求をゲートウェイで受信し、該変換テーブルに従ってIPアドレスをノードIDに変換し制御コマンドのデータ部分をそのまま制御対象となる1394IF上の装置に転送することによって、コントローラからの制御を行う。
【0008】
【発明の実施の形態】
本発明の実施の形態の一例を図1により説明する。図1は本発明の一実施例によるゲートウェイ装置を用いた家庭内のネットワークのシステム構成を示したものである。同図においてデジタルTV101は本発明におけるゲートウェイ装置であり、1394IFによるデジタルAV装置のネットワークとイーサネット及び無線LANによるIPネットワークとを結合している。
【0009】
1394IFによるネットワークにはVTR102、HD(ハードディスク)レコーダ103、ビデオカメラ104が接続され、イーサネットを用いたLANにはルータ111とPC112とが接続され、さらにルータ111に設けられた無線LANIF114により無線LANIF113を持つ携帯情報端末113に接続されている。ルータ111は家庭内のネットワークと広域ネットワークとをつなぐルータ機能とADSLモデムあるいはケーブルモデム等の広域ネットワークアクセス機能とを備えており、インターネットサービスプロバイダ201を経由してインターネット200に接続される。
なおゲートウェイ111はルータとモデムを一体としたものである必要はなく、これらが別々の装置として設けられていても構わない。インターネット200にはインターネットアクセス機能を持つ携帯電話端末203が接続され、これによって宅外から家庭内のIPネットワークに接続することができる。
【0010】
図2は本発明の一実施例によるデジタルTV101の詳細な構成の一例を示したブロック図である。全体の制御を行うCPU301よりシステムバス302を介してチューナ303、デコーダ304、グラフィクス処理部305、メモリ307、1394IF部308、ネットワークIF部309、リモコンIF310とそれぞれ接続されている。アンテナより受信された信号はチューナ302で番組が選択され、デコーダ304において映像信号に復元され,グラフィクス処理部305を経て表示部306へと送られる。表示部306はCRTや液晶パネルなどのモニタディスプレイであり、デコーダ304で復元された映像を画面上に映し出す。なお表示部306は必ずしもデジタルTV101と一体化していなくてもよく、外付けのモニタディスプレイとしても構わない。
【0011】
1394IF308はVTR120などのAV装置と1394IFを介して接続されるものであり、CPU301からの指令により各AV装置に制御コマンドを送信したり各装置の動作状態を受信したりする。また各AV装置から送られる映像音声データを受信してこれをデコーダ303へと送り、映像信号が復元されて表示部306に表示される。また、チューナ302から出力される映像音声データを記録するために1394IFに送り出す。ネットワークIF309はIPネットワークから送られてきた制御データを受け取り、あるいは応答データを送り出す。
リモコンIF310は赤外線リモコン311から送られるユーザの操作を表すコードを受け取って、これをCPU301に送りデジタルTV101の動作制御もしくは1394IFにつながれているAV装置の制御を行うために必要な制御データの発生など必要な処理をCPU301において行う。
【0012】
図3は本発明の一実施例によるデジタルTV101のCPU301で動作するソフトウェアの構成を示したものである。デジタルTV機能アプリケーション401は放送の受信など受信機本来の持つ機能を制御するものである。ユーザからの操作入力をリモコンドライバ411から受け取り、操作画面をグラフィクスドライバ412を使って表示させる。
ネットワーク装置操作アプリケーションは1394IF上に接続された他のAV装置を制御するものであり、リモコンドライバ411およびグラフィクスドライバ410を用いてユーザインターフェースを実現し、1394IFによるネットワークに接続されている装置を制御するためのコマンドであるAV/Cコマンドデータを生成してFCP(Function Control Protocol)パケット処理部405にこれを渡し、1394ドライバ409を介してネットワーク上のAV装置に対してAV/Cコマンドを発行して操作を実行する。
【0013】
ネットワークドライバ408はIPネットワークから受信したデータをTCP/IP処理部407に渡して送信先のIPアドレスとポート番号を調べ、AV装置に対する制御要求である場合にはデータ変換処理部404にこれを送って制御要求のデータ部分を取り出し、これをFCPパケット処理部405に渡して、1394ドライバ409を経てAV/Cコマンドとして1394IF上に送出する。逆に1394IFからAV/Cコマンドに対する応答であるAV/Cレスポンスを受信した場合には、FCPパケット処理部405にこれを渡し、その応答がネットワーク装置操作アプリケーション402から発行されたコマンドに対する応答であるのか、IPネットワークから受信した制御要求を変換した結果に対する応答なのかを判別し、その結果に応じてネットワーク装置操作アプリケーション402もしくはデータ変換処理部404に送り、データ変換処理部404に送られたデータは更にTCP/IP処理部407に送られIPネットワーク上のデータとしてネットワークドライバ408よりIPネットワーク上に送り出される。
【0014】
装置検出部406は1394IFに新たな装置が接続されるかもしくは接続されていた装置が取り外されると、これをネットワーク装置操作アプリケーション402およびアドレス管理部403に通知する。アドレス管理部403は内部にIPアドレスと1394IFのノードIDおよびノード固有IDの対応関係を示すアドレス管理テーブルを保持しており、該アドレス管理テーブルはTCP/IP処理部407において受信したデータが1394IFで接続されているAV装置の制御要求であるか否かの判定、およびデータ変換部404においてデータの送信元もしくは宛先のIPアドレスと1394IFのノードアドレスの変換を行うために参照される。
【0015】
図4は本発明の一実施例によるアドレス管理部403の保持するアドレス管理テーブルのデータ内容の一例を示したものである。アドレス管理テーブルは1394IFに接続されている装置1台1台に関してIPアドレス501、ノード固有ID504、ノードID505の対応関係を示している。図4のアドレス管理テーブルの場合IPアドレスとしてIPv6を用いた場合の例を示しており、128bitのIPアドレス501は64bitのサブネットプレフィクス502および64bitのインターフェースID503とに分けられる。
ノード固有ID504は1394IFに対応した装置1台1台に製造時に割り当てられる唯一の識別番号であり、上位24bitの製造者IDと下位40bitの装置IDによって構成される。ノードID505は装置1台1台に動的に割り当てられる識別番号である。
【0016】
1394IFによるネットワーク上に新たに装置が追加されたり削除されたりすると、バスリセットが発生して各装置に伝えられ、各装置にノードIDが自動的に割り当てられる。装置検出部406はバスリセットが発生すると1394IFによるネットワーク上の装置1台1台のノード固有IDを調べ、ノードIDとノード固有IDの対応をアドレス管理部に伝え、アドレス管理テーブルを作成する。ノード固有IDの調査結果、新規の装置が追加されている場合にはその装置のIPアドレス値のうちインターフェースID部分にはノード固有IDの値を元にしてその上位7bit目をローカルに使用されるIDであることを示す1に変えた値を書き込み、IPネットワーク上にはこのインターフェースIDを有する新たな装置が追加された場合と同様にしてIPアドレスの割当処理を実行し、ルータから与えられるサブネットプレフィクス値をアドレス管理テーブルに書き込む。
【0017】
このようにして、IPネットワーク上にはあたかも新しい装置が追加されたように見せて、IPネットワーク上のコントローラから1394IF上の装置に対して割り当てられたIPアドレスを使ってアクセスすることが可能となる。IPネットワーク上の装置から1394IFで接続されている装置へのアクセスを示すためには適当なポート番号を定めてこのポート番号に宛てられたデータをデータ変換部404で処理するようにする。
【0018】
図5は1394IFを介して送受信されるAV/Cコマンドのパケット形式を示したものである。AV/Cコマンドは1394TA(Trade Association)により仕様が定められており、IEC61883規格で規定されているFCP(Function Control Protocol)のプロトコルとパケット形式に従い、1394IFのAsychronousパケットとしてコントローラからターゲット装置に発行される。
AV/Cコマンドのパケットはパケットヘッダ部601とコマンド/レスポンスデータ部602から成る。パケットヘッダ部はIEEE1394規格に規定されるAsynchronousブロック書き込みパケットの形式に従い、宛先ノードID603、トランザクションの要求と応答の一致を識別するトランザクションラベル604、リトライ状態を示すリトライコード605、データの書込み読出し等の区別を示すトランザクションコード606、パケットの優先度を示すプライオリティ607、送信ノードID608、受信ノードの宛先アドレスを示す受信アドレスオフセット609、データ長610、拡張トランザクションコード611、エラーチェック用CRC612から構成される。
【0019】
また、コマンド/レスポンスデータ602はコマンドコードの種別を示すCTSコード613、制御コマンド/状態読出しコマンド/レスポンスなどの種別を示すコマンドタイプ614、TVやVTR、チューナ等AV装置としての種別を示すサブユニットタイプ615、装置内のサブユニットの識別のためのサブユニットID616、コマンドの種別を示すオペコード617、コマンドのパラメータであるオペランド[1]〜[n]618、619、620、ゼロパディング部621、CRC622から構成される。
【0020】
図6はIPネットワーク上のコントローラからゲートウェイ装置の1394IF上に接続されているAV装置に向けて送り出される制御要求のパケット形式を示したものである。制御要求はTCPパケットをデータとして持つIPv6データグラムであり、IPv6ヘッダ部701、TCPヘッダ部702、コマンド/レスポンスデータ602から成る。IPv6ヘッダ701は、IPのバージョン703、優先順位を示すトラフィッククラス704、パケットの取り扱いを区分するフローラベル705、データの大きさを示すペイロード長706、後ろにくるヘッダの種類を示す次ヘッダ707、ホップの制限数を示すホップリミット708、送信元アドレス709、宛先アドレス710から構成される。
【0021】
TCPヘッダ702は送信元のポート番号711、宛先のポート番号712、TCPパケットの順番を示すシーケンス番号713、次に受信されるパケットを示す受信確認シーケンス番号714、TCPデータ部の先頭を示すデータオフセット715、予約フィールド716、TCP通信の制御情報を格納する制御ビット717、フロー制御のためのウィンドウサイズ718、エラーチェック用チェックサム719、緊急に使われるデータの位置を示す緊急ポインタ720、TCP通信のオプションの種類を示すオプション720から構成される。コマンド/レスポンスデータは前記したAV/Cコマンドの内容と同一である。
【0022】
図7はIPネットワーク上のコントローラとゲートウェイ及びターゲットであるAV装置の間のコマンドとレスポンスの送受信シーケンスを示している。先ずコントローラによって操作しようとするAV装置のIPアドレスに向けて図6に示す形式の制御コマンドが発行されるとゲートウェイにおいて受信され、図4に示すアドレス管理テーブルの検索が行われる。
アドレス管理テーブルのIPアドレス欄501に合致するアドレスが存在する場合には対応するノードIDに宛てて、制御コマンドのコマンドデータ部をそのまま用いたAV/Cコマンドとして発行され、操作対象であるAV装置(ターゲット)にコマンドが送られる。その際にデータ変換部404ではコマンドの発行元のIPアドレスと宛先であるノードIDを発行中のコマンドとしてリストに記録しておく。
【0023】
コマンドを受信したAV装置はコマンドに対応する動作を実行し、その結果をAV/CレスポンスとしてゲートウェイのノードIDを指定して送信する。ゲートウェイでは受信したAV/Cレスポンスの送信ノードIDとトランザクションラベルを調べて自分自身が発行したコマンドに対するレスポンスであるか、あるいはIPネットワーク経由で受け取った制御要求に対するレスポンスであるのかを判別し、IP経由で受け取った制御要求に対するレスポンスの場合には、データ変換部404において記録されている制御要求発行元のIPアドレスを調べ、該IPアドレスに対して受信したAV/Cレスポンスのデータ部をそのままの形式でデータとして持つ制御応答を発行し、記録しておいたIPアドレスとノードIDの組を発行中のコマンドリストより削除する。
AV/Cコマンドの仕様ではターゲットがコマンドを受信してからレスポンスを発行するまでの期間が100m秒以内と定められている。しかしながら例えばVTRのテープ操作のように動作完了迄に所要時間が長くかかるコマンドの実行の場合には、100m秒以内に一旦中間(INTERIM)レスポンスを発行し、実際の動作完了後に最終レスポンスを発行することが定められている。
【0024】
図8はこうした中間レスポンスの発行を行う場合のコマンドとレスポンスの送受信シーケンスを示している。この場合にもIPアドレスとノードIDの変換とコマンド/レスポンスデータの転送方法は上記の場合と同様である。ただし中間レスポンスをゲートウェイにおいて受信してこれをコントローラに転送する際にはデータ変換部で記録している発行処理中のコマンドリストからは削除せずにおき、最終のレスポンスの転送時まで保持しておく。
【0025】
図9はIPネットワーク上の2台のコントローラから相前後して同じターゲットに制御要求が発行された場合のシーケンスを示したものである。初めにコントローラAよりターゲットに対して制御コマンドが発行され、ゲートウェイにおいてIPアドレスとノードIDの変換とパケットの転送処理が行われる。次にコントローラBから同じターゲットに対して制御コマンドが発行され、先に発行されたコントローラAからの制御コマンドが実行完了前であった場合には、ゲートウェイにおいて記録されている発行中のコマンドリストを参照することにより該ターゲットがコマンド処理中であることが判定できるので、コントローラBからの制御要求をターゲットに対するAV/Cコマンドとして発行せずに、コントローラBに対してはターゲットが処理中であることを示すビジーレスポンスを返信する。このようにして同一のターゲットに対して同時に2つ以上のコマンドを転送することがないため、ターゲットからのレスポンスの返信先のコントローラが識別できなくなるのを防ぐことができる。
【0026】
以上説明したように、本発明の実施の形態であるゲートウェイ装置によれば、IPネットワークに接続されたコントローラによって、1394IFで接続されているAV装置をゲートウェイを介して制御することができる。この際にゲートウェイは制御コマンドの宛先をIPアドレスから1394IFのノードIDに変換して、コマンド及びレスポンスのデータはそのままの形式で転送するので、ゲートウェイ自身がターゲットであるAV装置の制御仕様についての情報を備えている必要が無い。従ってゲートウェイ自身の持つ情報によってコントローラから操作できるAV装置が限定されることがなく、また将来新たなコマンドによる制御仕様が定義されるようなAV装置に対しても、コントローラ側の操作アプリケーションを対応するだけでゲートウェイを経由する操作が可能である。また制御対象となるAV装置はIPネットワークからの操作を意識することなく、1394IFによる制御コマンドの受信に対応さえしていればよい。
【0027】
なお、以上の例ではIPネットワークとしてIPv6を用いた場合について説明した。本発明はIPv4によるIPネットワークであってもその本質に影響を受けるものではない。また図6においてコントローラの発行する制御要求はTCPパケットを用いているが、本発明はこれに限定されるものではなく、例えばUDPパケットを用いても実施可能である。
【0028】
【発明の効果】
本発明によれば、IPネットワークと1394IFの双方に接続するゲートウェイを介してIPネットワーク上のコントローラから1394IFで接続されるAV装置を制御する際に、ゲートウェイが制御対象となるAV装置の制御仕様に合わせた制御要求の変換手段を予め組み込んでおく必要がなく、AV/Cをサポートする任意のAV装置をコントローラから制御することができる。
【図面の簡単な説明】
【図1】 本発明の一実施例による家庭内ネットワークの構成図である。
【図2】 本発明の一実施例によるゲートウェイ装置であるデジタルTVの構成を示すブロック図である。
【図3】 本発明の一実施例によるゲートウェイ装置であるデジタルTVのソフトウェア構成を示すブロック図である。
【図4】 本発明の一実施例によるゲートウェイ装置の備えるアドレス変換テーブルの構成を示す図である。
【図5】 AV/Cコマンド及びレスポンスのデータ形式を示す図である。
【図6】 IPネットワーク上の制御コマンド及びレスポンスのデータ形式を示す図である。
【図7】 コントローラとゲートウェイとターゲット間のコマンド送受信順序を示すシーケンス図である。
【図8】 コントローラとゲートウェイとターゲット間で中間応答を伴うコマンド送受信順序を示すシーケンス図である。
【図9】 2台のコントローラとゲートウェイとターゲット間でのコマンド送受信順序を示すシーケンス図である。
【符号の説明】
101…デジタルTV(ゲートウェイ装置)
112…PC(コントローラ)
113…形態情報端末(コントローラ)
203…形態電話端末(コントローラ)
403…アドレス管理部
404…データ変換部
405…FCPパケット処理部
406…装置検出部
407…TCP/IP処理部
408…ネットワークドライバ
409…1394ドライバ
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a gateway device that connects two different types of networks and enables data to be exchanged between them. In particular, the present invention comprises an information network constructed by an information device such as a PC and a digital AV device. The present invention relates to a gateway apparatus suitable for controlling an AV device from an information device by combining with an AV system network.
[0002]
[Prior art]
With the development of information home appliances and the widespread use of the Internet, it has become possible to construct a network in ordinary households.
One form of network at home is an information network that aims to share Internet access and printers, etc. by multiple PCs, such as PCs for individual families or desktop PCs and notebook PCs. Among them, there are Ethernet LANs using twisted pair lines such as 100BASE-TX and wireless LANs based on the IEEE802.11b standard, and TCP / IP widely used in computer networks such as the Internet is generally used as a protocol on the network. Yes. Hereinafter, such an information network using TCP / IP is called an IP network.
[0003]
On the other hand, the digitalization of AV devices represented by TVs, VTRs, etc. has progressed, and digital satellite broadcast receivers and TVs incorporating the same, digital recording VTRs, video cameras, and hard disks that use hard disks as recording media ( Recording devices using optical disks such as HD) recorders and DVD-RAMs have appeared. In order to take advantage of the characteristics of the digital system that signal quality deterioration during transmission and storage hardly occurs in these digital AV devices, an increasing number of devices adopting a high-speed serial interface (hereinafter referred to as 1394 IF) based on the IEEE 1394 standard for connection between the devices. . 1394IF was originally designed as a bus for PC peripheral layer devices, but it is an isochronous transfer mode suitable for transmitting video and audio data handled by AV devices without interruption, with a data transfer rate of up to 400 Mbps. Has been attracting attention as a standard interface for digital AV devices, because it has the advantage of reducing the user's operation by automatically assigning device IDs by detecting cable insertion and removal. For this reason, a protocol for transmitting MPEG2-TS (Transport Stream) widely used in digital AV devices, a data format, and a command transmission / reception protocol for controlling AV devices are defined as IEC61883 standards. Control command specifications for each device, for example, VTR and tuner, are also defined by 1394TA (Trade Association), which is a dissemination group, as an AV / C (Audio Video Control) command.
[0004]
Such AV / C commands are specific to 1394IF, and in order to operate a digital AV device by a PC connected to the above-described IP network, the method of mounting the 1394IF on the PC or the IP network It is necessary to use a method of transmitting an operation request to the digital AV apparatus via a gateway apparatus connected to both 1394 IFs.
Japanese Patent Application Laid-Open No. 2000-224207 and Japanese Patent Application Laid-Open No. 2001-202317 describe a method of controlling a digital AV device or the like connected to the 1394 IF using a controller on an IP network using such a gateway device.
[0005]
[Problems to be solved by the invention]
According to the above-described conventional technique, when an operation is to be performed from the controller, a control request is sent from the controller to the gateway device, and the gateway device converts the control request into a control request for an AV device or the like connected by the 1394 IF. To control the operation of the AV apparatus. Therefore, it is necessary for the gateway device to incorporate in advance conversion means in accordance with the required control request conversion method in accordance with the control specifications of the AV device connected by the 1394 IF. For this reason, there is a problem that an AV device or the like in which the gateway device does not have information on control specifications cannot be operated from a controller on the IP network.
[0006]
The object of the present invention is to control the AV device to be controlled by the gateway when controlling the AV device connected by the 1394 IF from the controller on the IP network via the gateway connected to both the IP network and the 1394 IF. It is an object of the present invention to provide a gateway apparatus configuration method that does not need to incorporate a combined control request conversion means.
[0007]
[Means for Solving the Problems]
In order to achieve the above object, the present invention provides a conversion table for associating an IP address for specifying a device connected to the 1394 IF with a node ID of the 1394 IF in the gateway device connected to both the IP network and the 1394 IF. A device on the 1394 IF that receives a control request issued from the controller on the IP network to the IP address at the gateway, converts the IP address into a node ID according to the conversion table, and directly controls the data part of the control command. The control from the controller is performed by transferring to
[0008]
DETAILED DESCRIPTION OF THE INVENTION
An example of an embodiment of the present invention will be described with reference to FIG. FIG. 1 shows a system configuration of a home network using a gateway device according to an embodiment of the present invention. In the figure, a digital TV 101 is a gateway device in the present invention, and connects a network of digital AV devices based on 1394 IF and an IP network based on Ethernet and wireless LAN.
[0009]
A VTR 102, an HD (hard disk) recorder 103, and a video camera 104 are connected to a network based on 1394 IF, a router 111 and a PC 112 are connected to a LAN using Ethernet, and a wireless LAN IF 114 provided in the router 111 is connected to a wireless LAN IF 113. It is connected to the portable information terminal 113 that it has. The router 111 has a router function for connecting a home network and a wide area network and a wide area network access function such as an ADSL modem or a cable modem, and is connected to the Internet 200 via the Internet service provider 201.
Note that the gateway 111 does not have to be an integrated router and modem, and these may be provided as separate devices. A mobile phone terminal 203 having an Internet access function is connected to the Internet 200, so that it is possible to connect to an IP network in the home from outside the home.
[0010]
FIG. 2 is a block diagram showing an example of a detailed configuration of the digital TV 101 according to an embodiment of the present invention. A CPU 301 that performs overall control is connected to a tuner 303, a decoder 304, a graphics processing unit 305, a memory 307, a 1394 IF unit 308, a network IF unit 309, and a remote control IF 310 via a system bus 302. A program received from the antenna is selected by the tuner 302, restored to a video signal by the decoder 304, and sent to the display unit 306 via the graphics processing unit 305. A display unit 306 is a monitor display such as a CRT or a liquid crystal panel, and displays the video restored by the decoder 304 on the screen. Note that the display unit 306 is not necessarily integrated with the digital TV 101, and may be an external monitor display.
[0011]
The 1394 IF 308 is connected to an AV apparatus such as the VTR 120 via the 1394 IF, and transmits a control command to each AV apparatus or receives an operation state of each apparatus according to a command from the CPU 301. Also, video / audio data sent from each AV device is received and sent to the decoder 303, and the video signal is restored and displayed on the display unit 306. Also, the video / audio data output from the tuner 302 is sent to the 1394 IF for recording. The network IF 309 receives control data sent from the IP network or sends response data.
The remote control IF 310 receives a code representing a user operation sent from the infrared remote control 311 and sends it to the CPU 301 to generate control data necessary to control the operation of the digital TV 101 or the AV device connected to the 1394 IF. Necessary processing is performed in the CPU 301.
[0012]
FIG. 3 shows the configuration of software operating on the CPU 301 of the digital TV 101 according to an embodiment of the present invention. The digital TV function application 401 controls functions inherent to the receiver, such as broadcast reception. An operation input from the user is received from the remote control driver 411 and an operation screen is displayed using the graphics driver 412.
The network device operation application controls other AV devices connected on the 1394 IF, implements a user interface using the remote control driver 411 and the graphics driver 410, and controls the devices connected to the network by the 1394 IF. AV / C command data, which is a command for the communication, is passed to the FCP (Function Control Protocol) packet processing unit 405, and the AV / C command is issued to the AV device on the network via the 1394 driver 409. Execute the operation.
[0013]
The network driver 408 passes the data received from the IP network to the TCP / IP processing unit 407, checks the IP address and port number of the transmission destination, and sends this to the data conversion processing unit 404 if it is a control request for the AV device. The data portion of the control request is taken out, transferred to the FCP packet processing unit 405, and sent to the 1394 IF as an AV / C command via the 1394 driver 409. Conversely, when an AV / C response, which is a response to the AV / C command, is received from the 1394 IF, it is passed to the FCP packet processing unit 405, and the response is a response to the command issued from the network device operation application 402. Or a response to the result of converting the control request received from the IP network, the data sent to the network device operation application 402 or the data conversion processing unit 404 according to the result, and the data sent to the data conversion processing unit 404 Is further sent to the TCP / IP processing unit 407 and sent as data on the IP network from the network driver 408 to the IP network.
[0014]
When a new device is connected to the 1394 IF or a device that has been connected is removed, the device detection unit 406 notifies the network device operation application 402 and the address management unit 403 of this. The address management unit 403 internally holds an address management table indicating a correspondence relationship between the IP address, the node ID of the 1394 IF, and the node unique ID. The data received by the TCP / IP processing unit 407 is 1394 IF. It is referred to in order to determine whether or not the request is a control request for the connected AV apparatus, and to convert the data transmission source or destination IP address and the 1394 IF node address in the data conversion unit 404.
[0015]
FIG. 4 shows an example of the data contents of the address management table held by the address management unit 403 according to the embodiment of the present invention. The address management table shows the correspondence between the IP address 501, the node unique ID 504, and the node ID 505 for each device connected to the 1394 IF. 4 shows an example in which IPv6 is used as the IP address. The 128-bit IP address 501 is divided into a 64-bit subnet prefix 502 and a 64-bit interface ID 503.
The node unique ID 504 is a unique identification number assigned to each device corresponding to the 1394 IF at the time of manufacture, and is composed of a manufacturer ID of upper 24 bits and a device ID of lower 40 bits. The node ID 505 is an identification number dynamically assigned to each device.
[0016]
When a new device is added to or deleted from the 1394 IF network, a bus reset is generated and transmitted to each device, and a node ID is automatically assigned to each device. When a bus reset occurs, the device detection unit 406 checks the node unique ID of each device on the network using the 1394 IF, notifies the correspondence between the node ID and the node unique ID to the address management unit, and creates an address management table. As a result of checking the node unique ID, when a new device is added, the upper 7 bits are used locally in the interface ID portion of the IP address value of the device based on the value of the node unique ID. A value changed to 1 indicating the ID is written, IP address assignment processing is executed in the same manner as when a new device having this interface ID is added on the IP network, and the subnet given from the router Write the prefix value to the address management table.
[0017]
In this way, it appears as if a new device has been added on the IP network, and the controller on the IP network can access the device on the 1394 IF using the assigned IP address. . In order to indicate access from a device on the IP network to a device connected by 1394 IF, an appropriate port number is determined, and data addressed to this port number is processed by the data conversion unit 404.
[0018]
FIG. 5 shows a packet format of an AV / C command transmitted / received via the 1394 IF. The AV / C command is specified by 1394TA (Trade Association), and is issued from the controller to the target device as an 1394IF Asynchronous packet according to the FCP (Function Control Protocol) protocol and packet format defined in the IEC61883 standard. The
An AV / C command packet includes a packet header portion 601 and a command / response data portion 602. The packet header portion follows the format of an Asynchronous block write packet defined in the IEEE 1394 standard, and includes a destination node ID 603, a transaction label 604 for identifying a match between a transaction request and a response, a retry code 605 indicating a retry state, data writing / reading, etc. It consists of a transaction code 606 indicating distinction, a priority 607 indicating packet priority, a transmission node ID 608, a reception address offset 609 indicating a destination address of the reception node, a data length 610, an extended transaction code 611, and an error check CRC 612.
[0019]
The command / response data 602 includes a CTS code 613 that indicates the type of command code, a command type 614 that indicates the type of control command / status read command / response, and a subunit type that indicates the type of the AV device such as a TV, VTR, or tuner. 615, a subunit ID 616 for identifying a subunit in the apparatus, an operation code 617 indicating a command type, operands [1] to [n] 618, 619, 620 which are command parameters, a zero padding unit 621, and a CRC 622 Composed.
[0020]
FIG. 6 shows a packet format of a control request sent from the controller on the IP network to the AV device connected to the 1394 IF of the gateway device. The control request is an IPv6 datagram having a TCP packet as data, and includes an IPv6 header portion 701, a TCP header portion 702, and command / response data 602. The IPv6 header 701 includes an IP version 703, a traffic class 704 indicating priority, a flow label 705 for distinguishing packet handling, a payload length 706 indicating data size, and a next header 707 indicating the type of header that follows. It consists of a hop limit 708 indicating the hop limit number, a source address 709, and a destination address 710.
[0021]
The TCP header 702 includes a source port number 711, a destination port number 712, a sequence number 713 indicating the order of TCP packets, a reception confirmation sequence number 714 indicating the next packet to be received, and a data offset indicating the head of the TCP data portion. 715, reserved field 716, control bit 717 for storing TCP communication control information, window size 718 for flow control, error check checksum 719, urgent pointer 720 indicating the position of urgently used data, TCP communication It comprises an option 720 indicating the type of option. The command / response data is the same as the content of the AV / C command described above.
[0022]
FIG. 7 shows a command and response transmission / reception sequence between the controller on the IP network, the gateway, and the target AV device. First, when a control command in the format shown in FIG. 6 is issued toward the IP address of the AV apparatus to be operated by the controller, the control command is received at the gateway, and the address management table shown in FIG. 4 is searched.
If there is an address that matches the IP address column 501 of the address management table, it is issued as an AV / C command using the command data part of the control command as it is to the corresponding node ID, and the AV device that is the operation target A command is sent to (target). At this time, the data conversion unit 404 records the IP address of the command issuing source and the node ID as the destination as a command being issued in the list.
[0023]
The AV device that has received the command executes an operation corresponding to the command, and transmits the result as an AV / C response specifying the node ID of the gateway. The gateway examines the transmission node ID and transaction label of the received AV / C response to determine whether it is a response to a command issued by itself or a response to a control request received via the IP network, and passes through the IP. In the case of a response to the control request received in step S3, the IP address of the control request issuance source recorded in the data conversion unit 404 is checked, and the data part of the AV / C response received for the IP address is used as it is. A control response as data is issued and the recorded IP address and node ID pair is deleted from the command list being issued.
In the specification of the AV / C command, a period from when the target receives a command until it issues a response is determined to be within 100 milliseconds. However, when executing a command that takes a long time to complete the operation, such as a VTR tape operation, an intermediate (INTERIM) response is issued once within 100 milliseconds, and a final response is issued after the actual operation is completed. It is stipulated.
[0024]
FIG. 8 shows a command / response transmission / reception sequence when issuing such an intermediate response. In this case, the IP address / node ID conversion and command / response data transfer method are the same as those described above. However, when the intermediate response is received at the gateway and transferred to the controller, it is not deleted from the command list being issued recorded in the data converter, and is held until the final response is transferred. deep.
[0025]
FIG. 9 shows a sequence in the case where a control request is issued to the same target from two controllers on the IP network. First, a control command is issued from the controller A to the target, and the IP address and node ID are converted and the packet is transferred at the gateway. Next, when a control command is issued from the controller B to the same target, and the previously issued control command from the controller A is before completion of execution, a command list being issued recorded in the gateway is displayed. Since it can be determined by reference that the target is processing a command, the target is being processed for controller B without issuing a control request from controller B as an AV / C command to the target. Returns a busy response indicating. In this way, since two or more commands are not transferred to the same target at the same time, it is possible to prevent the controller to which a response from the target is returned from becoming unidentifiable.
[0026]
As described above, according to the gateway device according to the embodiment of the present invention, the AV device connected by the 1394 IF can be controlled via the gateway by the controller connected to the IP network. At this time, the gateway converts the destination of the control command from the IP address to the node ID of 1394 IF, and the command and response data are transferred in the same format, so the information about the control specifications of the AV device to which the gateway itself is the target. It is not necessary to have. Therefore, the AV device that can be operated from the controller is not limited by the information of the gateway itself, and the controller side operation application is also supported for an AV device for which a control specification by a new command is defined in the future. It is possible to operate via a gateway. Further, the AV device to be controlled need only support reception of control commands by the 1394 IF without being aware of operations from the IP network.
[0027]
In the above example, the case where IPv6 is used as the IP network has been described. The present invention is not affected by the nature of an IP network based on IPv4. In FIG. 6, the control request issued by the controller uses a TCP packet. However, the present invention is not limited to this, and can be implemented using a UDP packet, for example.
[0028]
【The invention's effect】
According to the present invention, when the AV device connected by the 1394 IF is controlled from the controller on the IP network via the gateway connected to both the IP network and the 1394 IF, the control specification of the AV device to be controlled by the gateway is set. It is not necessary to incorporate a combined control request conversion unit in advance, and any AV device that supports AV / C can be controlled from the controller.
[Brief description of the drawings]
FIG. 1 is a configuration diagram of a home network according to an embodiment of the present invention.
FIG. 2 is a block diagram showing a configuration of a digital TV which is a gateway device according to an embodiment of the present invention.
FIG. 3 is a block diagram showing a software configuration of a digital TV which is a gateway device according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating a configuration of an address conversion table provided in a gateway device according to an embodiment of the present invention.
FIG. 5 is a diagram illustrating a data format of AV / C commands and responses.
FIG. 6 is a diagram showing a data format of control commands and responses on the IP network.
FIG. 7 is a sequence diagram illustrating a command transmission / reception order among a controller, a gateway, and a target.
FIG. 8 is a sequence diagram showing a command transmission / reception order accompanied by an intermediate response among a controller, a gateway, and a target.
FIG. 9 is a sequence diagram illustrating a command transmission / reception order between two controllers, a gateway, and a target.
[Explanation of symbols]
101 ... Digital TV (gateway device)
112 ... PC (controller)
113 ... Form information terminal (controller)
203 ... form telephone terminal (controller)
403 ... Address management unit 404 ... Data conversion unit 405 ... FCP packet processing unit 406 ... Device detection unit 407 ... TCP / IP processing unit 408 ... Network driver 409 ... 1394 driver

Claims (6)

互いに異なるアドレス体系を有する第1のネットワークと第2のネットワークとを結合して互いの間でのデータ交換を実現するゲートウェイ装置において、
第1のネットワークの形式によるネットワークアドレスと第2のネットワークの形式によるネットワークアドレスとの間の対応を示すアドレス管理テーブルを備えるアドレス管理手段と、
前記第1のネットワークアドレスにより宛て先指定された制御要求の宛先アドレスを該アドレス管理テーブルに従って前記第2のネットワークのアドレスに変換するとともに、該制御要求の発行元のネットワークアドレスと該制御要求が該第2のネットワークアドレスに対して発行中であることとを記録し、該第2のネットワークアドレスより制御要求に対する実行結果を示す応答を受信した際には該記録に基いて該応答の前記第1のネットワーク上での宛先を前記制御要求の発行元のネットワークアドレスに変換して該記録を削除する変換手段と、
該変換手段で変換された前記第2のネットワークアドレスに宛てて、前記制御要求のデータ部を変更することなく前記第2のネットワークに送出し、前記第2のネットワークより受信した前記制御要求に対する応答のデータ部を前記第1のネットワークに送出するために取り出す第2のネットワーク向け送受信データ処理部と、
前記第1のネットワークより受信した制御要求を前記アドレス管理テーブルを参照して前記第2のネットワークに接続されている装置宛ての制御要求であることを判定して前記変換手段に渡し、前記データ処理部で取り出された前記制御要求に対する応答に前記変換手段で変換された該応答の宛先に従って前記制御要求の発行元に返送する第1のネットワーク向け送受信データ処理部とを備えたことを特徴とするゲートウェイ装置。
In a gateway device that realizes data exchange between each other by combining a first network and a second network having different address systems,
An address management means comprising an address management table indicating a correspondence between a network address in the first network format and a network address in the second network format;
The control request destination address specified by the first network address is converted into the second network address according to the address management table, and the control request issuer network address and the control request are When the response indicating the execution result for the control request is received from the second network address, it is recorded that it is being issued to the second network address. Conversion means for converting the destination on the network to the network address of the issuer of the control request and deleting the record;
A response to the control request received from the second network, sent to the second network without changing the data portion of the control request addressed to the second network address converted by the conversion means A data transmission / reception data processing unit for a second network that is taken out for transmission to the first network;
The control request received from the first network is referred to the address management table to determine that it is a control request addressed to a device connected to the second network, and is passed to the conversion means for the data processing. A transmission / reception data processing unit for the first network that returns the response to the control request extracted by the conversion unit to the source of the control request according to the destination of the response converted by the conversion unit. Gateway device.
前記第1のネットワークはIPアドレスによってアドレスを指定するIPネットワークであり、前記第2のネットワークはIEEE1394インターフェースによって接続される装置によって構成されるネットワークであることを特徴とする請求項1記載のゲートウェイ装置。  2. The gateway apparatus according to claim 1, wherein the first network is an IP network that specifies an address by an IP address, and the second network is a network configured by apparatuses connected by an IEEE1394 interface. . 前記第2のネットワークに装置が追加もしくは削除されたときに、前記アドレス管理テーブルに項目を追加もしくは削除し、新規に装置が追加された場合には前記第1のネットワークにおけるネットワークアドレスを新規に取得して、該アドレスに対するアクセス要求を受け取って該新規に追加された装置へのアクセス要求に変換して第2のネットワークに送り出すことを特徴とする請求項1記載のゲートウェイ装置。  When a device is added to or deleted from the second network, an entry is added to or deleted from the address management table, and when a new device is added, a new network address in the first network is acquired. The gateway apparatus according to claim 1, wherein an access request for the address is received, converted into an access request for the newly added apparatus, and sent to the second network. 前記第2のネットワーク上に送出する制御要求と、受信する応答はIEEE1394上に規定されるAV/Cコマンド及びレスポンスであることを特徴とする請求項1記載のゲートウェイ装置。  2. The gateway apparatus according to claim 1, wherein the control request transmitted on the second network and the received response are AV / C commands and responses defined on IEEE1394. 前記変換手段において制御要求発行中と記録されている前記第2のネットワーク上の装置に対し、前記第1のネットワーク上のコントローラより別の制御要求を受信した場合には、該別の制御要求を受け付けられないことを示す応答を該コントローラに返信することを特徴とする請求項1記載のゲートウェイ装置。  When another control request is received from the controller on the first network for the device on the second network recorded as issuing the control request in the conversion means, the other control request is sent 2. The gateway apparatus according to claim 1, wherein a response indicating that it cannot be received is returned to the controller. 前記第2のネットワーク上に送出した制御要求に対する中間応答を受信した場合には、前記変換手段において記録されている制御要求発行中であることを示す情報を削除せずに、中間応答を前記第1のネットワーク上に送出し、前記制御要求に対する最終応答を受信した場合には、前記変換手段において記録されている制御要求発行中であることを示す情報を削除することを特徴とする請求項1記載のゲートウェイ装置。  When an intermediate response to the control request sent on the second network is received, the intermediate response is sent to the first response without deleting the information indicating that the control request is being issued recorded in the conversion means. 2. The information indicating that the control request is being issued, which is recorded in the conversion means, is deleted when a final response to the control request is received after being sent out on the network of claim 1. The gateway device described.
JP2001308152A 2001-10-04 2001-10-04 Gateway device Expired - Fee Related JP3800058B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2001308152A JP3800058B2 (en) 2001-10-04 2001-10-04 Gateway device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2001308152A JP3800058B2 (en) 2001-10-04 2001-10-04 Gateway device

Publications (2)

Publication Number Publication Date
JP2003115857A JP2003115857A (en) 2003-04-18
JP3800058B2 true JP3800058B2 (en) 2006-07-19

Family

ID=19127500

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2001308152A Expired - Fee Related JP3800058B2 (en) 2001-10-04 2001-10-04 Gateway device

Country Status (1)

Country Link
JP (1) JP3800058B2 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2009217190B2 (en) * 2008-02-20 2013-09-19 D-Box Technologies Inc. Transporting vibro-kinetic signals in a digital cinema environment

Also Published As

Publication number Publication date
JP2003115857A (en) 2003-04-18

Similar Documents

Publication Publication Date Title
US7209484B2 (en) Gateway apparatus, address administration method, and audio-video apparatus having gateway function
US6237049B1 (en) Method and system for defining and discovering proxy functionality on a distributed audio video network
US7072991B2 (en) Audio visual system having a serial bus for identifying devices connected to the external terminals of an amplifier in the system
US6964006B2 (en) Network error display apparatus and error detection display method
KR19990072917A (en) Data communication system, data communication method, data communication apparatus, and digital interface
US7702842B2 (en) Relay device, relay method, and information recording medium
US20010028655A1 (en) Communication control method and communication control apparatus
US7130315B1 (en) Method of and apparatus for utilizing extended AV/C command and response frames including transaction label and common result/error code
JP3862371B2 (en) Electronic device and control method
KR19990006761A (en) Data transmitter, data receiver, data transmitter and data transmission method
EP1232442A1 (en) A multi-protocol media storage device implementing protocols optimized for storing and retrieving both asynchronous and isochronous data
JP2002051055A (en) Communication control method, communication system and communication unit
JP3800058B2 (en) Gateway device
EP1130851A2 (en) A method for controlling a communication of stream data
EP1130860A2 (en) Information processing apparatus and method and medium
JP4320955B2 (en) Information processing method, information processing system, and information processing apparatus
EP1061692A2 (en) Controlling device, communication system and controlling method
JP2002057683A (en) Control equipment and control method
JP4419539B2 (en) Electronic device and communication control method
KR100763716B1 (en) Information control method, information processor, and information control system
JP2003032311A (en) Control method, transmission system and transmitter
JP2006324869A (en) Communication processing method and communication equipment for network system
EP1098475A1 (en) Network connection recognition method, network system and network connection terminal device
JP2000358051A (en) Method and device for data transmission
EP1098494A1 (en) Communication method, communication system and electronic device

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040216

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20051201

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20051206

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060202

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20060404

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20060417

R151 Written notification of patent or utility model registration

Ref document number: 3800058

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100512

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110512

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120512

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130512

Year of fee payment: 7

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313111

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees