JPH11331309A - データ転送システム - Google Patents

データ転送システム

Info

Publication number
JPH11331309A
JPH11331309A JP10127302A JP12730298A JPH11331309A JP H11331309 A JPH11331309 A JP H11331309A JP 10127302 A JP10127302 A JP 10127302A JP 12730298 A JP12730298 A JP 12730298A JP H11331309 A JPH11331309 A JP H11331309A
Authority
JP
Japan
Prior art keywords
data
hard disk
control means
network
data transfer
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP10127302A
Other languages
English (en)
Inventor
Masahiko Oka
正彦 岡
Tetsuo Mikazuki
哲郎 三日月
Junichi Shimada
純一 嶋田
Masato Nakamura
正人 中村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nippon Telegraph and Telephone Corp
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to JP10127302A priority Critical patent/JPH11331309A/ja
Publication of JPH11331309A publication Critical patent/JPH11331309A/ja
Pending legal-status Critical Current

Links

Landscapes

  • Computer And Data Communications (AREA)
  • Communication Control (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

(57)【要約】 【課題】 ネットワークを介して接続された2つのデー
タ処理装置のハードディスク内のデータ転送をオーバヘ
ッドなく高速処理すること。 【解決手段】 2つのデータ処理装置4,5内のHDD
41,51の論理構成を同一とし、各データ処理装置
4,5内の共通の内部バス42,52に接続されたネッ
トワーク制御手段43,53及びハードディスク制御手
段44,54のいずれか一方をバスマスタとし、HDD
41,51を構成する論理ブロックをデータ転送の単位
として、一方のデータ処理装置4内のハードディスク4
1の全データを他方のデータ処理装置5内のハードディ
スク51に一括して転送する。

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】本発明は、ネットワークを介
して接続された2つのデータ処理装置間におけるデータ
転送システムに関するものである。
【0002】
【従来の技術】従来、ネットワークを介して接続された
2つのデータ処理装置間におけるデータ転送は、転送す
べきデータがテキストファイル等の小容量のデータファ
イルが主体であったため、例えば伝送速度が10Mbp
s程度のイーサネットに代表されるような低速なネット
ワークであっても、データ転送速度の向上に対する要求
はそれほど大きくはなかった。
【0003】しかし、近年、インターネットの普及等に
代表されるネットワーク需要の増大や、マルチメディア
の発展による画像ファイル等の大容量ファイルの転送機
会の増加に従って、より速いネットワークの実現に対す
る要求が大きくなってきている。
【0004】特にマルチメディアの進展に伴い、ビデオ
・オンデマンドシステム、コンピュータグラフィックス
システム等で扱う画像ファイルは数十MB〜数GB以上
の大容量にもなってきており、例えばサーバ/クライア
ント型のシステム構成では、このような大容量のデータ
ファイルを扱うことによるサーバの各クライアントによ
る占有時間が長くなり、従来の低速なネットワークシス
テムでは操作性等の作業環境が劣悪にならざるを得なか
った。
【0005】このようなネットワークシステム全体のパ
フォーマンスを改善するために、個々の構成要素である
データ処理装置の高速化やネットワークの高速化が図ら
れている。例えば、CPUの高速化、内部バスの高速
化、高速なハードディスクの適用、あるいはRAID
(Redundant Arrays of Inde
pendent)技術の適用、また、高速なネットワー
クであるATM等の適用等である。
【0006】これらは個々にはそれなりの効果がある
が、例えば伝送速度が100Mbps以上のギガビット
イーサネット(登録商標)やATM等の高速ネットワー
クを使用した場合であっても、プロトコルオーバヘッド
等により、物理層の伝送速度の向上ほどには実効的なデ
ータ転送速度の向上は実現できず、また、ネットワーク
から高速にデータが転送されてきても、送信側、受信側
のデータ処理装置内におけるデータ処理のオーバヘッド
が大きく、全体の実効速度が上がらない等、システム全
体での性能向上は不充分であった。
【0007】図1は従来のデータ転送システムの一例を
示すもので、図中、1,2はデータ処理装置、3はデー
タ処理装置1,2間を接続するネットワークである。ま
た、各データ処理装置1,2はそれぞれ、大容量データ
を格納するハードディスク(HDD)11,21と、内
部バス12,22と、CPU13,23と、メインメモ
リ14,24と、内部バス12,22及びCPU13,
23を接続するブリッジ15,25と、内部バス12,
22に接続されたネットワーク制御手段16,26と、
HDD11,21を内部バス12,22に接続するハー
ドディスク制御手段17,27とを備えている。なお、
データ転送に関係ない部分は省略した。
【0008】前記構成において、従来、データ転送はデ
ータ処理装置1,2のオペレーティングシステム(O
S)の管理下にあるファイルシステムをベースとして行
われ、送られるデータはファイルを単位として扱われて
いた。一般に、データファイルのサイズはネットワーク
プロトコルで扱われるデータのサイズより大きいため、
データファイルは細分化され、必要なネットワーク情報
が付加された形でネットワーク3上に送出される。
【0009】図2は図1の従来のデータ転送システムに
おける受信側のデータ処理装置、例えば2でのデータの
流れを模式的に示すものである。ネットワーク3から受
信したデータは、ネットワーク制御手段26を通してC
PU23による処理のためにメインメモリ24に格納さ
れる(パス1)。CPU23はこのデータに対してプロ
トコル情報を削除する処理を行うとともに、細分化され
たファイルを再構築し、ファイル管理機能に基づきHD
D制御手段27を通してHDD21に格納する(パス
2)。なお、送信側のデータ処理装置では、この逆の手
順の動作が行われる。
【0010】このように、従来は、データをファイルイ
メージで転送しているため、ファイル管理に関するCP
U処理が入るとともに、ネットワークを通すためのプロ
トコル処理を行うために時間的なオーバヘッドが大きな
ものとなっていた。
【0011】
【発明が解決しようとする課題】上述した従来のデータ
転送システムでは、数GB以上の大容量のデータファイ
ルを転送する場合でも、小容量データファイルを転送す
る場合と同一の装置構成、転送方法を適用するため、転
送プロトコルのオーバヘッドやデータ処理装置内部での
データ処理のオーバヘッドにより、非常に時間がかかっ
てしまうという欠点があった。
【0012】本発明の目的は、これらの欠点を克服する
ため、特に大容量のデータファイルを扱う分野におい
て、データ転送に関わるデータ処理のオーバヘッドを低
減することにより、データ転送の高速化を実現すること
にある。
【0013】
【課題を解決するための手段】本発明では、上述の目的
を達成するため、それぞれハードディスクを有する2つ
のデータ処理装置がハードディスク内のデータをネット
ワークを介して転送するデータ転送システムにおいて、
各データ処理装置内のハードディスクの論理構成を同一
とし、各データ処理装置内の共通の内部バスに接続され
たネットワーク制御手段及びハードディスク制御手段を
用いて、一方のデータ処理装置内のハードディスクの全
データを他方のデータ処理装置内のハードディスクに一
括して転送することを特徴とする。
【0014】また、ネットワーク制御手段またはハード
ディスク制御手段の少なくとも一方は内部バスに対する
バスマスタ機能を有し、ネットワーク制御手段とハード
ディスク制御手段との間でデータを直接転送することを
特徴とする。
【0015】また、ハードディスクを構成する論理ブロ
ックをデータ転送の単位とすることを特徴とする。
【0016】また、ネットワーク制御手段は、ハードデ
ィスクの論理ブロックを単位とするデータに対してネッ
トワーク層でのプロトコル処理を行う機能を有すること
を特徴とする。
【0017】また、ハードディスク制御手段は、ネット
ワーク制御手段より受信したデータに対し、論理ブロッ
ク単位毎に論理ブロックアドレスを生成してハードディ
スクに書き込む機能を有することを特徴とする。
【0018】このように、データ転送はハードディスク
の全データを一括して行うこととし、データを送信する
側においては、ハードディスク内のデータを論理ブロッ
クを単位とする1かたまりのデータとして順番にネット
ワーク制御手段に送り、ネットワーク制御手段におい
て、ネットワーク層レベルでの情報を付加するパケット
化を行った後、ネットワークに送出する。一方、受信す
る側においては、受信したデータパケットに対して、ネ
ットワーク制御手段がパケットを分解して論理ブロック
を単位とするデータを取り出し、内部バスを通してハー
ドディスク制御手段に直接、転送する。ハードディスク
制御手段は転送されてきたデータに対し、論理ブロック
単位毎に論理ブロックアドレスを生成し、ハードディス
クに格納することとする。これによって、データ転送に
おける転送単位毎に生じる転送処理のオーバヘッドを削
減することが可能になる。
【0019】
【発明の実施の形態】以下、図面を用いて本発明を詳細
に説明する。
【0020】図3は本発明のデータ転送システムの実施
の形態の一例を示すもので、図中、3はネットワーク、
4,5はデータ処理装置である。また、各データ処理装
置4,5はそれぞれ、ハードディスク(HDD)41,
51と、内部バス42,52と、ネットワーク制御手段
43,53と、ハードディスク制御手段44,54とを
備えている。なお、データ転送に関係ない部分は省略し
た。
【0021】ハードディスク(HDD)41,51は、
大容量データを格納するものであり、互いに同一の論理
構成を有する。
【0022】ネットワーク制御手段43,53は、HD
D41,51の論理ブロックを単位とするデータに対し
てネットワーク層でのプロトコル処理を行う機能、具体
的には汎用ネットワークをルーティングするのに必要
な、IPアドレス、パケット番号等のネットワーク層に
関わる情報を、データ転送を開始する前にアプリケーシ
ョン等から得て、それらの情報を元にデータパケット化
を行うプロトコル処理部43a,53aを有する。
【0023】ハードディスク制御手段44,54は、そ
れぞれネットワーク制御手段43,53より受信したデ
ータに対し、論理ブロック単位毎に論理ブロックアドレ
スを生成してHDD41,51に書き込む機能、具体的
には、受信した論理ブロックを単位とするデータを、図
示しないカウンタで順次カウントすることにより論理ブ
ロックアドレスを生成し、この論理ブロックアドレスに
従ってHDDに直接的にデータを格納するアドレス生成
・データ書き込み部44a,54aを有する。
【0024】また、ネットワーク制御手段43とハード
ディスク制御手段44は共通の内部バス42に接続さ
れ、そのうちの少なくとも一方がバスマスタ機能を有
し、CPUを介在することなく、直接、データ転送が可
能となっている。また、ネットワーク制御手段53とハ
ードディスク制御手段54も共通の内部バス52に接続
され、そのうちの少なくとも一方がバスマスタ機能を有
し、CPUを介在することなく、直接、データ転送が可
能となっている。
【0025】前記構成において、送信側のデータ処理装
置、例えば4から受信側のデータ処理装置、ここでは5
へデータを転送する場合について説明する。
【0026】本発明のデータ転送では、HDD41,5
1の論理ブロックをデータ転送の単位とし、HDD41
に格納されている全データを一括してHDD51へ転送
することを特徴とする。まず、データ送信において、H
DD41に格納されているデータは論理ブロックを単位
とする1かたまりのデータ毎に、ハードディスク制御手
段44より内部バス41を通して直接、ネットワーク制
御手段43に送られる。
【0027】ネットワーク制御手段43では、プロトコ
ル処理部43aにおいて論理ブロックを単位とするデー
タに対し、ネットワーク層に関わる情報を付加し、ネッ
トワーク用のデータパケットとして生成した後、ネット
ワーク3に送信する。なお、ネットワークのリンク設定
等はデータ転送前に確立しておけば良く、ネットワーク
を通じてのデータ転送にはネットワーク層の情報付与で
良いため、上位層でのデータ処理は本発明によるデータ
転送には関わらない。
【0028】一方、受信側データ処理装置5では、順
次、送信されてくるデータパケットをネットワーク制御
手段53が受信し、プロトコル処理部53aにおいて前
記ネットワーク層に関わる情報を取り除いた後、内部バ
ス52に送出する。
【0029】ハードディスク制御手段54では、順次送
られてくる論理ブロックを単位とするデータを、アドレ
ス生成・データ書き込み部54aにおいてカウントして
論理ブロックアドレスを生成し、この論理ブロックアド
レスにより直接、HDD51にデータを格納する。な
お、転送するデータが論理ブロックアドレスの一定倍数
である場合には、事前にこの一定倍数の情報を設定して
おき、これによってデータを分割し、各々に対して論理
ブロックアドレスを生成することにより、同様にHDD
にデータを格納することが可能になる。
【0030】以上説明したように、本発明によるデータ
処理システムにおいては、ハードディスクの全データを
一括して転送すること、転送データサイズをハードディ
スクでのデータ管理に関わる論理ブロックを単位とする
こと、論理ブロックデータをカウントすることにより論
理ブロックアドレスを設定すること、送信側及び受信側
のデータ処理装置において、ハードディスク制御手段と
ネットワーク制御手段との間でバスマスタ機能により直
接データを転送すること、ネットワーク制御手段でネッ
トワーク層レベルのパケット処理を行うこと等により、
データ転送に関わるデータ処理のオーバヘッドを低減で
き、高速なデータ転送が可能になる。
【0031】なお、図3の例では受信側のデータ処理装
置は1つであるが、1つの送信側のデータ処理装置より
複数の受信側のデータ処理装置に対して順にデータを送
ることも可能であり、また、例えばマルチキャストのよ
うに同時に複数の受信側のデータ処理装置に対してデー
タを送出することも可能であり、特にサーバ/クライア
ント型のデータ配信サービスのような一定の大量のデー
タを複数箇所に送出する場合にはその効果が大きい。
【0032】なお、ネットワーク制御手段43,53及
びハードディスク制御手段44,54としては、機能ボ
ードの形で用いられることが多いが、例えばマザーボー
ド等にオンボードで実装されていても機能的に満足すれ
ば実装形態は問わない。
【0033】
【発明の効果】以上説明したように、本発明によれば、
画像データのような大容量のデータを扱うデータ転送シ
ステムにおいて、ハードディスクの全データを一括して
転送することで、データ処理のオーバヘッドを低減し、
データ転送の高速化を実現できる。特に、サーバ/クラ
イアント構成のような大容量のデータを複数のデータ処
理装置に対して配信するサービス等に大きな効果があ
る。
【図面の簡単な説明】
【図1】従来のデータ転送システムの一例を示す構成図
【図2】従来のデータ転送システムにおける受信側のデ
ータ処理装置でのデータの流れを示す説明図
【図3】本発明のデータ転送システムの実施の形態の一
例を示す構成図
【符号の説明】
3:ネットワーク、4,5:データ処理装置、41,5
1:HDD、42,52:内部バス、43,53:ネッ
トワーク制御手段、43a,53a:プロトコル処理
部、44,54:ハードディスク制御手段、44a,5
4a:アドレス生成・データ書き込み部。
───────────────────────────────────────────────────── フロントページの続き (72)発明者 中村 正人 東京都新宿区西新宿3丁目19番2号 日本 電信電話株式会社内

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 それぞれハードディスクを有する2つの
    データ処理装置がハードディスク内のデータをネットワ
    ークを介して転送するデータ転送システムにおいて、 各データ処理装置内のハードディスクの論理構成を同一
    とし、 各データ処理装置内の共通の内部バスに接続されたネッ
    トワーク制御手段及びハードディスク制御手段を用い
    て、一方のデータ処理装置内のハードディスクの全デー
    タを他方のデータ処理装置内のハードディスクに一括し
    て転送することを特徴とするデータ転送システム。
  2. 【請求項2】 ネットワーク制御手段またはハードディ
    スク制御手段の少なくとも一方は内部バスに対するバス
    マスタ機能を有し、ネットワーク制御手段とハードディ
    スク制御手段との間でデータを直接転送することを特徴
    とする請求項1記載のデータ転送システム。
  3. 【請求項3】 ハードディスクを構成する論理ブロック
    をデータ転送の単位とすることを特徴とする請求項1ま
    たは2記載のデータ転送システム。
  4. 【請求項4】 ネットワーク制御手段は、ハードディス
    クの論理ブロックを単位とするデータに対してネットワ
    ーク層でのプロトコル処理を行う機能を有することを特
    徴とする請求項3記載のデータ転送システム。
  5. 【請求項5】 ハードディスク制御手段は、ネットワー
    ク制御手段より受信したデータに対し、論理ブロック単
    位毎に論理ブロックアドレスを生成してハードディスク
    に書き込む機能を有することを特徴とする請求項3記載
    のデータ転送システム。
JP10127302A 1998-05-11 1998-05-11 データ転送システム Pending JPH11331309A (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP10127302A JPH11331309A (ja) 1998-05-11 1998-05-11 データ転送システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP10127302A JPH11331309A (ja) 1998-05-11 1998-05-11 データ転送システム

Publications (1)

Publication Number Publication Date
JPH11331309A true JPH11331309A (ja) 1999-11-30

Family

ID=14956602

Family Applications (1)

Application Number Title Priority Date Filing Date
JP10127302A Pending JPH11331309A (ja) 1998-05-11 1998-05-11 データ転送システム

Country Status (1)

Country Link
JP (1) JPH11331309A (ja)

Similar Documents

Publication Publication Date Title
US5974496A (en) System for transferring diverse data objects between a mass storage device and a network via an internal bus on a network card
US7177912B1 (en) SCSI transport protocol via TCP/IP using existing network hardware and software
EP1581875B1 (en) Using direct memory access for performing database operations between two or more machines
JP3369821B2 (ja) 複数のクライアントにデータを配布するシステム
US8010707B2 (en) System and method for network interfacing
US9813283B2 (en) Efficient data transfer between servers and remote peripherals
US9021142B2 (en) Reflecting bandwidth and priority in network attached storage I/O
US20080168190A1 (en) Input/Output Tracing in a Protocol Offload System
US20010049740A1 (en) Method and system for providing multimedia information on demand over wide area networks
US20080010647A1 (en) Network storage device
US20030131068A1 (en) Distributed storage system, storage device and method of copying data
CN106598752B (zh) 远程零拷贝方法
WO2004077211A2 (en) Method and apparatus for increasing file server performance by offloading data path processing
CN104821887A (zh) 通过使用具有不同延迟的存储器来进行分组处理的设备和方法
WO2021073546A1 (zh) 数据访问方法、装置和第一计算设备
CN101257457A (zh) 网络处理器复制报文的方法和网络处理器
US20030154246A1 (en) Server for storing files
US20090304016A1 (en) Method and system for efficiently using buffer space
US20090240793A1 (en) Memory Buffer Management Method and System Having Multiple Receive Ring Buffers
US9137167B2 (en) Host ethernet adapter frame forwarding
KR100723879B1 (ko) TOE를 이용한 iSCSI 타겟 시스템 상의 하드웨어가속 장치 및 그 장치를 이용한 읽기/쓰기 명령 수행방법
CN114265664B (zh) 边缘应用部署方法、装置、设备及存储介质
JPH11331309A (ja) データ転送システム
US7840643B2 (en) System and method for movement of non-aligned data in network buffer model
EP1858230A1 (en) Network storage device with separated control and storage data interfaces