JP6390196B2 - Storage system, storage method, and program - Google Patents

Storage system, storage method, and program Download PDF

Info

Publication number
JP6390196B2
JP6390196B2 JP2014126358A JP2014126358A JP6390196B2 JP 6390196 B2 JP6390196 B2 JP 6390196B2 JP 2014126358 A JP2014126358 A JP 2014126358A JP 2014126358 A JP2014126358 A JP 2014126358A JP 6390196 B2 JP6390196 B2 JP 6390196B2
Authority
JP
Japan
Prior art keywords
data
storage
storage means
meta information
stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014126358A
Other languages
Japanese (ja)
Other versions
JP2016005238A (en
Inventor
賀洋 長谷部
賀洋 長谷部
山川 聡
聡 山川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2014126358A priority Critical patent/JP6390196B2/en
Publication of JP2016005238A publication Critical patent/JP2016005238A/en
Application granted granted Critical
Publication of JP6390196B2 publication Critical patent/JP6390196B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、ストレージシステム、ストレージ方法、および、プログラムに関し、特に、ストリームデータを蓄積するストレージシステム、ストレージ方法、および、プログラムに関する。   The present invention relates to a storage system, a storage method, and a program, and more particularly to a storage system, a storage method, and a program for accumulating stream data.

大容量のデータを格納するとともに、データが必要とされた際には必要な分だけデータを提供するストレージシステムが知られている。かかるストレージシステムに対して、切れ目がないデータから成るストリームデータを格納する場合、ストリームデータの特性に合わせて、活用または蓄積し易いデータの単位を定義し、そのデータ単位にストリームデータを分割した後、データの蓄積が行われる。   Storage systems are known that store large amounts of data and provide data as much as needed when the data is needed. When storing stream data consisting of unbroken data in such a storage system, after defining the unit of data that is easy to use or store according to the characteristics of the stream data, and dividing the stream data into the data unit Data accumulation is performed.

ストリームデータとして、例えば、ある地点を撮影し続けた高精細な映像データ、または、連続撮影した高精細な画像データ群を考えた場合、これらのデータを活用する際、映像データまたは画像データ群の一部にフォーカスする動作が行われる。すなわち、映像データや画像データ上に定義した座標軸を用いて(例えば、緯度、経度を座標軸として定義するなど)データの一部分を切り出す動作が行われる。また、これらのデータを蓄積する場合、映像データであれば、撮影したデータの時間軸方向に対してある一定時間ごとにデータを分割してデータの蓄積が行われる。一方、画像データであれば、撮影画像を単位としてデータの蓄積が行われる。   As stream data, for example, when considering high-definition video data continuously captured at a certain point or high-definition image data group continuously captured, when using these data, the video data or image data group An operation to focus on a part is performed. In other words, an operation of cutting out a part of data using coordinate axes defined on video data or image data (for example, defining latitude and longitude as coordinate axes) is performed. Further, when storing these data, if it is video data, the data is stored by dividing the data every certain time with respect to the time axis direction of the captured data. On the other hand, in the case of image data, data is stored in units of captured images.

上述のようなデータの蓄積ないし活用環境において、数年から数十年単位の長期間に亘って連続して撮影したデータを保存し続けると、データの総容量がテラバイトからペタバイトのオーダーになることがある。このような場合、データの保存先となるストレージシステムは、蓄積メディアのバイト単価を考慮すると、磁気テープドライブや安価で大容量なハードディスクによって構成されることになる。特に、撮影した映像データまたは高精細画像データを、撮影の時間軸に沿って連続して読み出す場合、磁気テープドライブやハードディスクからの読み出しは、読み出すストリームデータを頭出しした後、メディア上に連続して書き込まれたデータを読むことになる。したがって、データを高速に読み出すことが可能となる。   In the data storage or utilization environment as described above, if you continue to store data that has been shot continuously over a long period of several years to several decades, the total capacity of the data will be on the order of terabytes to petabytes. There is. In such a case, the storage system serving as a data storage destination is configured by a magnetic tape drive or an inexpensive and large-capacity hard disk in consideration of the unit price of storage media. In particular, when reading captured video data or high-definition image data continuously along the shooting time axis, reading from a magnetic tape drive or hard disk continues on the media after cueing the stream data to be read. Read the written data. Therefore, data can be read at high speed.

また、上記のようなストリームデータを活用する際、データ本体以外に管理しなければならないデータとして、例えば、撮影した緯度、経度といった地理的な座標軸に基づく位置情報、時間情報、撮影主体の識別子(ID:Identifier)等のデータの関連情報(以下、「メタデータ」という。)が存在する。メタデータは、ストリームデータを活用する際、どの部分のデータを読み出して活用するのかを特定するために必要とされる。例えば、上述のデータストレージシステムに保存されたストリームデータの頭出しの際に先頭となるデータを特定する場合や、時間軸方向にどれだけのデータを読み出すかといったデータの読み出し範囲を決定する際に、メタデータが必要とされる。   Further, when utilizing the stream data as described above, as data that must be managed in addition to the data body, for example, position information based on a geographical coordinate axis such as latitude and longitude of shooting, time information, an identifier of the subject of shooting ( Data related information (hereinafter referred to as “metadata”) such as ID (Identifier) exists. The metadata is required to specify which part of data is read out and used when using the stream data. For example, when specifying the head data when cueing stream data stored in the above-mentioned data storage system, or when determining the data reading range such as how much data is read in the time axis direction , Metadata is needed.

関連技術として、特許文献1には、データの利用頻度に見合う性能を有する装置にデータを格納する(例えば、頻繁に利用されるデータに対して高性能の記憶装置を提供し、稀にしか使用されないデータに対して低性能の記憶装置を提供する)技術が記載されている。   As a related technique, Patent Document 1 stores data in a device having a performance suitable for the frequency of use of data (for example, a high-performance storage device is provided for frequently used data and is rarely used). Technology that provides a low-performance storage device for unprocessed data.

また、特許文献2には、センタ配信サーバに登録されているコンテンツの少なくとも一部について、各々、先頭部分を予めキャッシュ用ストレージに格納し、コンテンツデータを短い時間のファイルに時間帯毎に分割する技術が記載されている。   In Patent Document 2, at least a part of the content registered in the center distribution server is stored in advance in the cache storage, and the content data is divided into short time files for each time zone. The technology is described.

さらに、特許文献3には、地図データの管理方法として、所定の領域で区切った図形データを領域ごとに分割してファイル管理し、抽出指定範囲が与えられると、当該範囲に属しているファイルを検索して地図データを出力する方法が記載されている。   Further, in Patent Document 3, as a map data management method, graphic data divided by a predetermined area is divided into areas for file management. When an extraction designation range is given, files belonging to the range are displayed. A method for searching and outputting map data is described.

また、特許文献4には、物件の測量を支援する装置であって、現在位置の情報を取得し、取得した現在位置の情報に基づいて、現在位置が事前に設定された位置範囲内にあるか否かを判断し、現在位置が当該位置範囲内にあると判断されたときにのみ、現在位置の情報を蓄積する装置が記載されている。   Further, Patent Document 4 is an apparatus that supports surveying of a property, acquires current position information, and based on the acquired current position information, the current position is within a preset position range. A device that stores information on the current position only when it is determined whether or not the current position is within the position range is described.

特表2014−500542号公報Special table 2014-500542 gazette 特開2013−089977号公報JP2013-089977A 特開2004−287931号公報JP 2004-287931 A 特開2002−243505号公報JP 2002-243505 A

以下の分析は、本発明者によってなされたものである。   The following analysis was made by the present inventors.

前述のストリームデータの蓄積や、データの活用に伴うデータの読み出しの際、ストリームデータ読み出し単位は、ストリームデータ蓄積時に分割したデータ単位となる。例えば、ある地点を撮影し続けた映像データの場合、時間方向に分割したデータ単位が読み出しの単位となる。一方、連続撮影した画像データの場合、撮影データ単位がデータの読み出し単位となる。   When the stream data is stored or the data is read along with the use of the data, the stream data reading unit is a data unit divided when the stream data is stored. For example, in the case of video data in which a certain point is continuously photographed, a data unit divided in the time direction is a reading unit. On the other hand, in the case of image data taken continuously, the photographing data unit is a data reading unit.

しかし、データの活用時に必要とされるデータが、ある地点における一部の領域のデータのみであった場合、不必要な部分のデータも含めて、データを一旦ストレージシステムから読み出し、必要な部分のみを抽出するといった余分な処理が発生するという問題がある。このような余分な処理は、データ活用に伴うデータの処理時間を増大させるというデメリットがある。   However, if the data required when using the data is only data in a part of the area at a certain point, the data including the unnecessary part data is once read from the storage system, and only the necessary part is read. There is a problem in that extra processing such as extraction of. Such extra processing has a demerit of increasing the data processing time associated with data utilization.

かかる問題に対応するため、予めストリームデータの蓄積単位をより細粒度にすることが考えられる。例えば、上記の撮影データの場合において、撮影したデータの位置座標軸に応じてデータを複数に分割して保存することにより、データの読み出し単位の粒度を細かくすることで、データの読み出し要求に応じて必要なデータのみを読み出すことが可能となる。   In order to deal with such a problem, it can be considered that the storage unit of stream data is made finer in advance. For example, in the case of the above-described shooting data, by dividing the data into a plurality of data according to the position coordinate axis of the shooting data and saving the data, the granularity of the data reading unit is reduced, so that the data reading request is met. Only necessary data can be read out.

しかし、数年から数十年単位の長期間におよぶ撮影データを保存し続けた場合、データを細粒度で蓄積することにより、データを管理するためのメタデータの量も増大する。したがって、データ読み出し効率を優先すると、ストレージへの使用容量の効率が低下するという問題がある。また、メタデータの量が増大することにより、必要なデータがどこに格納されているかを特定するためのメタデータの探索処理も複雑となるため、処理時間の低下を招くおそれもある。なお、特許文献1ないし4に記載された技術によると、これらの問題を解決することは困難である。   However, when photographing data for a long period of several years to several tens of years is continuously stored, the amount of metadata for managing the data increases by accumulating the data with fine granularity. Therefore, when priority is given to data read efficiency, there is a problem that the efficiency of the capacity used for storage decreases. Further, the increase in the amount of metadata complicates the metadata search process for specifying where the necessary data is stored, which may lead to a reduction in processing time. According to the techniques described in Patent Documents 1 to 4, it is difficult to solve these problems.

そこで、メタデータの増大を防ぎつつ、蓄積されたストリームデータの中から要求されたデータを迅速に読み出すことができるようにすることが課題となる。本発明の目的は、かかる課題解決に寄与するストレージシステム、ストレージ方法、および、プログラムを提供することにある。   Therefore, it becomes a problem to be able to quickly read out requested data from the accumulated stream data while preventing an increase in metadata. An object of the present invention is to provide a storage system, a storage method, and a program that contribute to solving such problems.

本発明の第1の態様に係るストレージシステムは、映像データまたは画像データであるストリームデータを相対的に粗い粒度の複数の第1のデータに分割して第1のストレージ手段に蓄積するとともに、分割後の複数の第1のデータのそれぞれを識別する第1のメタ情報を保持する第1の蓄積手段と、前記ストリームデータに含まれる一部のデータを、前記映像データ又は前記画像データ上に定義した座標軸上の座標に応じて、相対的に細かい粒度の複数の第2のデータに分割して第2のストレージ手段に蓄積するとともに、分割後の複数の第2のデータのそれぞれを識別する第2のメタ情報を保持する第2の蓄積手段と、を備えている。 The storage system according to the first aspect of the present invention, stream data is video data or image data, as well as stored in the first storage means is divided into a plurality of first data relatively coarse granularity, First storage means for holding first meta information for identifying each of the plurality of first data after division, and a part of the data included in the stream data on the video data or the image data In accordance with the coordinates on the defined coordinate axis, it is divided into a plurality of second data of relatively fine granularity and accumulated in the second storage means, and each of the plurality of second data after division is identified. Second storage means for storing second meta information.

本発明の第2の態様に係るストレージ方法は、コンピュータが、映像データまたは画像データであるストリームデータを相対的に粗い粒度の複数の第1のデータに分割して第1のストレージ手段に蓄積するとともに、分割後の複数の第1のデータのそれぞれを識別する第1のメタ情報を保持するステップと、前記ストリームデータに含まれる一部のデータを、前記映像データ又は前記画像データ上に定義した座標軸上の座標に応じて、相対的に細かい粒度の複数の第2のデータに分割して第2のストレージ手段に蓄積するとともに、分割後の複数の第2のデータのそれぞれを識別する第2のメタ情報を保持するステップと、を含む。 In the storage method according to the second aspect of the present invention, the computer divides the stream data, which is video data or image data, into a plurality of first data having a relatively coarse granularity and accumulates the first data in the first storage means. And holding a first meta information for identifying each of the plurality of first data after division , and defining some data included in the stream data on the video data or the image data In accordance with the coordinates on the coordinate axis, a plurality of second data with relatively fine granularity is divided and accumulated in the second storage means, and each of the plurality of second data after division is identified. Holding the second meta information.

本発明の第3の態様に係るプログラムは、映像データまたは画像データであるストリームデータを相対的に粗い粒度の複数の第1のデータに分割して第1のストレージ手段に蓄積するとともに、分割後の複数の第1のデータのそれぞれを識別する第1のメタ情報を保持する処理と、前記ストリームデータに含まれる一部のデータを、前記映像データ又は前記画像データ上に定義した座標軸上の座標に応じて、相対的に細かい粒度の複数の第2のデータに分割して第2のストレージ手段に蓄積するとともに、分割後の複数の第2のデータのそれぞれを識別する第2のメタ情報を保持する処理と、をコンピュータに実行させる。なお、プログラムは、非一時的なコンピュータ可読記録媒体(non-transitory computer-readable storage medium)に記録されたプログラム製品として提供することもできる。 The program according to the third aspect of the present invention divides stream data, which is video data or image data, into a plurality of first data having a relatively coarse granularity and accumulates the first data in the first storage means. A process of holding first meta information for identifying each of the plurality of first data after and a part of the data included in the stream data on the coordinate axis defined on the video data or the image data The second meta information for dividing each of the plurality of second data after division into a plurality of second data having a relatively fine granularity and accumulating in the second storage means according to the coordinates And a process for holding the computer. The program can also be provided as a program product recorded on a non-transitory computer-readable storage medium.

本発明に係るストレージシステム、ストレージ方法、および、プログラムによると、メタデータの増大を防ぎつつ、蓄積されたストリームデータの中から要求されたデータを迅速に読み出すことが可能となる。   According to the storage system, storage method, and program of the present invention, requested data can be quickly read out from accumulated stream data while preventing an increase in metadata.

一実施形態に係るストレージシステムの構成を例示するブロック図である。It is a block diagram which illustrates the composition of the storage system concerning one embodiment. 第1の実施形態に係るストレージシステムの構成を例示するブロック図である。1 is a block diagram illustrating a configuration of a storage system according to a first embodiment. 第1の実施形態に係るストレージシステムにおけるエリアキャッシュ管理部の構成を例示するブロック図である。2 is a block diagram illustrating a configuration of an area cache management unit in the storage system according to the first embodiment. FIG. 第1の実施形態に係るストレージシステムにおけるアーカイブ保存手段の構成を例示するブロック図である。It is a block diagram which illustrates the composition of the archive preservation means in the storage system concerning a 1st embodiment. ストリームデータのフォーマットを例示する図である。It is a figure which illustrates the format of stream data. キャッシュデータのフォーマットとエリアキャッシュ管理部が保持するメタ情報の内容を例示する図である。It is a figure which illustrates the format of the format of cache data, and the content of the meta information which an area cache management part hold | maintains. アーカイブデータのフォーマットとアーカイブ保存手段が保持するメタ情報の内容を例示する図である。It is a figure which illustrates the format of archive data, and the content of the meta information which an archive preservation | save means holds.

はじめに、一実施形態の概要について説明する。なお、この概要に付記する図面参照符号は、専ら理解を助けるための例示であり、本発明を図示の態様に限定することを意図するものではない。   First, an outline of one embodiment will be described. Note that the reference numerals of the drawings attached to this summary are merely examples for facilitating understanding, and are not intended to limit the present invention to the illustrated embodiment.

図1は、一実施形態に係るストレージシステムの構成を例示するブロック図である。図2は、後述の実施形態に係るストレージシステムの構成を例示するブロック図である。図1を参照すると、ストレージシステムは、ストリームデータを相対的に粗い粒度の複数の第1のデータに分割して第1のストレージ手段14(例えば、図2のアーカイブストレージ106)に蓄積するとともに、分割後の複数の第1のデータのそれぞれを識別する第1のメタ情報を保持する第1の蓄積手段12(例えば、図2のアーカイブ保存手段104)と、ストリームデータに含まれる一部のデータを相対的に細かい粒度の複数の第2のデータに分割して第2のストレージ手段18(例えば、図2のキャッシュ105)に蓄積するとともに、分割後の複数の第2のデータのそれぞれを識別する第2のメタ情報を保持する第2の蓄積手段16(例えば、図2のエリアキャッシュ管理部102)と、を備えている。   FIG. 1 is a block diagram illustrating the configuration of a storage system according to an embodiment. FIG. 2 is a block diagram illustrating the configuration of a storage system according to an embodiment described later. Referring to FIG. 1, the storage system divides the stream data into a plurality of first data having a relatively coarse granularity and accumulates the first data in the first storage means 14 (for example, the archive storage 106 in FIG. 2). First storage means 12 (for example, archive storage means 104 in FIG. 2) that holds first meta information for identifying each of the plurality of first data after division, and some data included in the stream data Is divided into a plurality of second data of relatively fine granularity and stored in the second storage means 18 (for example, the cache 105 in FIG. 2), and each of the plurality of second data after the division is identified. And second storage means 16 (for example, the area cache management unit 102 in FIG. 2) that holds the second meta information.

ここで、上記ストリームデータは、映像データまたは画像データであり、上記一部のデータは、前記映像データまたは画像データが表す画面に含まれる一部の領域のデータであってもよい。このとき、第1の蓄積手段12は、映像データまたは画像データを取得または撮影した時刻に応じて、映像データまたは画像データを複数の第1のデータに分割してもよい。   Here, the stream data may be video data or image data, and the partial data may be partial area data included in a screen represented by the video data or image data. At this time, the first storage unit 12 may divide the video data or the image data into a plurality of first data according to the time when the video data or the image data is acquired or photographed.

また、上記一部のデータは、映像データまたは画像データのうちの、映像データまたは画像データを取得または撮影した時刻が所定の期間内に含まれるデータであり、第2の蓄積手段16は、上記一部の領域のデータを座標に応じて複数の第2のデータに分割し、分割後の複数の第2のデータのそれぞれの座標を第2のメタ情報として保持してもよい。   The part of the data is data in which the time at which the video data or the image data is acquired or photographed is included in a predetermined period of the video data or the image data. Data of a part of the area may be divided into a plurality of second data according to the coordinates, and the coordinates of the plurality of second data after the division may be held as the second meta information.

さらに、上記一部のデータは、ストリームデータのうちの相対的に利用頻度が高いデータ、または、予め指定されたデータであってもよい。   Further, the partial data may be data that is relatively frequently used in the stream data or data that is designated in advance.

また、第2の蓄積手段16は、受け付けた検索要求に含まれる時刻および座標に対応するデータが第2のストレージ手段18に蓄積されているか否かを、第2のメタ情報を参照して判定してもよい。さらに、第2の蓄積手段16は、受け付けた検索要求に含まれる時刻および座標に対応するデータが第2のストレージ手段18に蓄積されている場合、第2のストレージ手段18から該データを読み出し、それ以外の場合、該データが第1のストレージ手段14に蓄積されているかどうかを判定するように第1の蓄積手段12に指示するようにしてもよい。   Further, the second storage means 16 determines whether or not data corresponding to the time and coordinates included in the received search request is stored in the second storage means 18 with reference to the second meta information. May be. Furthermore, when the data corresponding to the time and coordinates included in the received search request is stored in the second storage unit 18, the second storage unit 16 reads the data from the second storage unit 18, In other cases, the first storage unit 12 may be instructed to determine whether or not the data is stored in the first storage unit 14.

かかるストレージシステムによると、メタデータの増大を防ぎつつ、蓄積されたストリームデータの中から要求されたデータを迅速に読み出すことが可能となる。なぜなら、ストリームデータに含まれる一部のデータについてのみ、相対的に細かい粒度の複数の第2のデータに分割して第2のストレージ手段18に蓄積し、分割後の複数の第2のデータのそれぞれを識別する第2のメタ情報を保持するようにしたことで、ストリームデータの全体を細かい粒度のデータに分割した場合と比較してメタデータの増大を防ぐことができ、かつ、利用頻度の高いデータを上記一部のデータとすることで、蓄積されたストリームデータの中から所望のデータを迅速に読み出すことができるからである。   According to such a storage system, it is possible to quickly read out requested data from the accumulated stream data while preventing an increase in metadata. This is because only a part of the data included in the stream data is divided into a plurality of second data with relatively fine granularity and accumulated in the second storage means 18, and the plurality of second data after division is stored. By maintaining the second meta information for identifying each, it is possible to prevent an increase in metadata as compared with the case where the entire stream data is divided into fine granularity data, and the usage frequency This is because by setting high data as the partial data, desired data can be quickly read out from the accumulated stream data.

上記ストレージシステムは、さらに、ストリームデータを取得または撮影した際に、時間方向にのみ分割して蓄積する(例えば、ある地点を撮影した映像や画像データの場合、撮影時の映像や画像を位置座標軸で分割することなく蓄積する)アーカイブストレージと、所定の期間内に取得または撮影したストリームデータのみを、位置座標軸で区切ったデータとして細粒度に分割して蓄積するI/O向けストレージの2種類のストレージを連動させて動作させるストレージシステムとして実現することもできる。   The storage system further divides and accumulates only in the time direction when stream data is acquired or shot (for example, in the case of video or image data shot at a certain point, the video or image at the time of shooting is taken as a position coordinate axis. Two types of archive storage and I / O storage that stores only stream data acquired or captured within a predetermined period as data separated by the position coordinate axis. It can also be realized as a storage system that operates in conjunction with storage.

かかるストレージシステムにおいては、アーカイブストレージには、取得または撮影したすべてのストリームデータが格納され、一方、I/O向けストレージには、ストリームデータの一部のデータが格納される。また、かかるストレージシステムにおいて、I/O向けストレージは、ストリームデータの一部のデータを位置座標軸で分割した細粒度データとして蓄積している。ただし、I/O向けストレージは、データの位置座標や時間範囲をデータの読み出し要求命令として受けることにより、指定された前記範囲に該当する細粒度データを複数組み合わせてデータの要求元に返送するようにしてもよい。   In such a storage system, the archive storage stores all acquired or photographed stream data, while the I / O storage stores a part of the stream data. In such a storage system, the I / O storage stores a part of the stream data as fine-grained data divided by the position coordinate axis. However, the I / O storage receives a data position coordinate or a time range as a data read request command, and returns a combination of a plurality of fine-grained data corresponding to the specified range to the data request source. It may be.

このように、アーカイブストレージとI/O向けストレージを連動させたストレージシステムとすることで、ストリームデータの蓄積におけるデータ数、メタデータ数、および、これらの容量を削減しつつ、ある時間範囲のデータに関しては、要求されたストリームデータの一部を効率よく読み出すことが可能となる。例えば、ストリームデータの要求形態として、より最新のストリームデータの要求確率が高い場合、最新のデータをI/O向けストレージへ優先的に蓄積することにより、要求の大多数をI/O向けストレージに蓄積されたデータで応答し、ストリームデータの読み出し効率を上げることが可能となる。   In this way, by using a storage system that links archive storage and I / O storage, the number of data in the accumulation of stream data, the number of metadata, and the capacity of these data can be reduced, while data in a certain time range is reduced. As for, part of the requested stream data can be efficiently read out. For example, when the request probability of the latest stream data is high as a request form of stream data, the most recent request is accumulated in the I / O storage preferentially, so that the majority of requests are stored in the I / O storage. It is possible to respond with the accumulated data and increase the reading efficiency of the stream data.

ストリームデータに対するアクセスの際、ストリーム全体を先頭から検索し、必要な情報が見つかるまで逐次処理を行うと、必要なデータにアクセスするまで長い時間を要するという問題がある。一方、データを細分化し、細分化したデータに対するメタ情報を付与する方法によると、ストリームデータの増加に伴い、メタ情報の容量が増大し、検索速度の低下を招くおそれがある。しかしながら、上述のストレージシステムのように、利用頻度が高い(例えば、最近の)データを高速な媒体にストアし、かつ、データの細分化を図り、アクセス頻度が低いデータに対しては元のストリームデータの状態でアーカイブストレージに蓄積(ストア)することで、効率的なストリームデータ管理手段を提供することが可能となる。   When accessing the stream data, if the entire stream is searched from the top and the sequential processing is performed until the necessary information is found, there is a problem that it takes a long time to access the necessary data. On the other hand, according to the method of subdividing data and adding meta information to the subdivided data, the capacity of the meta information increases with an increase in stream data, which may cause a decrease in search speed. However, as in the storage system described above, data that is frequently used (for example, recent) is stored in a high-speed medium, and data is segmented. Accumulation (store) in the archive storage in the data state makes it possible to provide an efficient stream data management means.

<実施形態1>
次に、図面を参照しながら、第1の実施形態に係るストレージシステムについて詳細に説明する。図2は、本実施形態に係るストレージシステムの構成を例示するブロック図である。
<Embodiment 1>
Next, the storage system according to the first embodiment will be described in detail with reference to the drawings. FIG. 2 is a block diagram illustrating the configuration of the storage system according to this embodiment.

図2を参照すると、ストレージシステムは、データ受信部101、エリアキャッシュ管理部102、検索要求受付部103、アーカイブ保存手段104、および、キャッシュ105を備えている。また、ストレージシステムは、外部に設けられたアーカイブストレージ106とデータのやり取りが可能なように接続されている。なお、ストレージシステムは、アーカイブストレージ106を含んで構成されていてもよい。   Referring to FIG. 2, the storage system includes a data reception unit 101, an area cache management unit 102, a search request reception unit 103, an archive storage unit 104, and a cache 105. The storage system is connected so that data can be exchanged with the archive storage 106 provided outside. Note that the storage system may be configured to include the archive storage 106.

データ受信部101は、外部から入力されたストリームデータを受信する。データ受信部101は、受信したストリームデータをエリアキャッシュ管理部102に転送する。   The data receiving unit 101 receives stream data input from the outside. The data receiving unit 101 transfers the received stream data to the area cache management unit 102.

エリアキャッシュ管理部102は、ストリームデータがエリアキャッシュ管理部102に設定されている座標の範囲であるかどうかを判定する。設定されている座標の範囲である場合、エリアキャッシュ管理部102は、エリアキャッシュ管理部102に接続されているキャッシュ105にストリームデータを格納する。   The area cache management unit 102 determines whether the stream data is in the coordinate range set in the area cache management unit 102. If it is within the set coordinate range, the area cache management unit 102 stores the stream data in the cache 105 connected to the area cache management unit 102.

キャッシュ105は、高速な記憶媒体である。キャッシュ105は、例えば、DRAM(Dynamic Random Access Memory)、SSD(Solid State Drive)などのフラッシュメモリ、HDD(Hard Disk Drive)などで構成される。   The cache 105 is a high-speed storage medium. The cache 105 includes, for example, a flash memory such as a DRAM (Dynamic Random Access Memory) and an SSD (Solid State Drive), an HDD (Hard Disk Drive), and the like.

エリアキャッシュ管理部102は、キャッシュ105に格納する際、キャッシュ105の空き領域がなければ、古いデータから削除を行い、新たな領域を確保した上でストリームデータをキャッシュ105に格納する。また、エリアキャッシュ管理部102に対しては、キャッシュを行う座標が設定される。設定方法として、手動で特定領域の設定を行うか、または、頻度が高い領域の座標を設定するなどの方法を用いることができる。なお、キャッシュ105の容量が許す限り、複数の座標を設定することができる。エリアキャッシュ管理部102は、それぞれの座標に対して上位からのストリームデータの内容をチェックする。また、エリアキャッシュ管理部102に座標が設定されているか否かに依らず、エリアキャッシュ管理部102は、受信したストリームデータをアーカイブ保存手段104に転送する。   When the area cache management unit 102 stores in the cache 105, if there is no free area in the cache 105, the area cache management unit 102 deletes the old data, secures a new area, and stores the stream data in the cache 105. Further, coordinates for performing caching are set for the area cache management unit 102. As a setting method, a method of manually setting a specific area or setting coordinates of a high-frequency area can be used. A plurality of coordinates can be set as long as the capacity of the cache 105 allows. The area cache management unit 102 checks the contents of the stream data from the upper level for each coordinate. Regardless of whether coordinates are set in the area cache management unit 102, the area cache management unit 102 transfers the received stream data to the archive storage unit 104.

アーカイブ保存手段104は、受け取ったストリームデータをアーカイブデータとしてアーカイブストレージ106に格納する。   The archive storage unit 104 stores the received stream data as archive data in the archive storage 106.

検索要求受付部103は、ホストコンピュータ(非図示)からのデータ検索の要求(リクエスト)を受信する。検索要求は、データ取り出しの座標と時間を含み、それぞれ一定の範囲での検索を可能とする。検索要求は、座標として、例えば、映像または地図平面上のX軸とY軸の範囲でのパラメータを持つ。また、検索要求は、時間として、年日時秒などの情報を持ち、開始時間と終了時間で指定するか、開始時間からの経過で示すなどの方法で指定してもよい。   The search request receiving unit 103 receives a data search request (request) from a host computer (not shown). The search request includes the coordinates and time of data retrieval, and enables a search within a certain range. The search request has, for example, parameters in the range of the X axis and Y axis on the video or map plane as coordinates. In addition, the search request may have information such as year, date, second, etc. as the time, and may be specified by a start time and an end time, or may be specified by a method such as an indication from the start time.

検索要求受付部103は、ホストコンピュータからの検索要求に対して、検索要求で指定された座標範囲と時間範囲をエリアキャッシュ管理部102に送信する。エリアキャッシュ管理部102は、管理されている複数のキャッシュの内容の検索を行い、該当するデータがキャッシュ105に存在する場合、データを検索要求受付部103に送信する。検索要求受付部103は、データをホストコンピュータに送信し、検索を終了する。   In response to the search request from the host computer, the search request receiving unit 103 transmits the coordinate range and time range specified in the search request to the area cache management unit 102. The area cache management unit 102 searches the contents of a plurality of managed caches, and when the corresponding data exists in the cache 105, transmits the data to the search request reception unit 103. The search request receiving unit 103 transmits data to the host computer, and ends the search.

一方、エリアキャッシュ管理部102は、該当するデータがキャッシュ105に存在しない場合、該当するデータの属するストリームデータを取得するため、アーカイブ保存手段104に当該検索要求を送信する。アーカイブ保存手段104は、受信した検索要求で示される座標、時間範囲に該当するストリームデータを読み込み、検索範囲に該当するデータを抜き出した後、エリアキャッシュ管理部102に送信する。エリアキャッシュ管理部102は、該データを検索要求受付部103に送信する。検索要求受付部103は、ホストコンピュータにデータを転送し、処理を完了する。   On the other hand, if the corresponding data does not exist in the cache 105, the area cache management unit 102 transmits the search request to the archive storage unit 104 in order to acquire stream data to which the corresponding data belongs. The archive storage unit 104 reads stream data corresponding to the coordinates and time range indicated by the received search request, extracts data corresponding to the search range, and transmits the data to the area cache management unit 102. The area cache management unit 102 transmits the data to the search request receiving unit 103. The search request receiving unit 103 transfers data to the host computer and completes the process.

ストリームデータを保存するアーカイブストレージ106として、低速、かつ、バイト当たりのコストが低い記憶媒体を用いることができる。前述のように、アーカイブストレージ106として、テープ、光ディスク、または、高密度なハードディスクなどを用いることができる。   As the archive storage 106 for storing the stream data, a storage medium having a low speed and a low cost per byte can be used. As described above, as the archive storage 106, a tape, an optical disk, a high-density hard disk, or the like can be used.

図3は、図2に示したエリアキャッシュ管理部102の構成を例示するブロック図である。図3を参照すると、エリアキャッシュ管理部102は、メタ情報管理部201、メタ情報202、および、キャッシュデータ制御部203を備えている。メタ情報管理部201は、図2の検索要求受付部103からの検索リクエストを受信し、メタ情報202に該当する座標、時間範囲のデータの有無を検索するようにキャッシュデータ制御部203に指示する。   FIG. 3 is a block diagram illustrating the configuration of the area cache management unit 102 shown in FIG. Referring to FIG. 3, the area cache management unit 102 includes a meta information management unit 201, meta information 202, and a cache data control unit 203. The meta information management unit 201 receives the search request from the search request receiving unit 103 in FIG. 2 and instructs the cache data control unit 203 to search for the presence of data in the coordinates and time range corresponding to the meta information 202. .

メタ情報202は、一例として、図6のメタ情報506のフォーマットを有する。メタ情報506は、取得した時間毎、または、一定の時間間隔を1つのデータとしてマージしたデータ単位に対して定義される。図6においては、キャッシュデータ501は、データ単位1〜nに分割されている。メタ情報506は細分化されたデータへのポインタ508を持ち、ある時間のデータをキャッシュから直ぐに取り出せる構造を有している。具体的には、ストリームデータ全体503の領域からキャッシュすべき領域505を切り出し、それぞれの区分(ここでは、G、H、K、Lに相当)毎のポインタをメタ情報506上のポインタ508としてそれぞれ持つ。   As an example, the meta information 202 has the format of the meta information 506 in FIG. The meta information 506 is defined for each data unit obtained by merging each acquired time or a fixed time interval as one data. In FIG. 6, the cache data 501 is divided into data units 1 to n. The meta information 506 has a pointer 508 to the subdivided data, and has a structure in which data for a certain time can be taken out from the cache immediately. Specifically, an area 505 to be cached is cut out from the area of the entire stream data 503, and pointers for respective sections (here, corresponding to G, H, K, and L) are used as pointers 508 on the meta information 506, respectively. Have.

図4は、図2に示したアーカイブ保存手段104の構成を例示するブロック図である。図4を参照すると、アーカイブ保存手段104は、メタ情報管理部301、メタ情報302、および、アーカイブデータ制御部303を備えている。   FIG. 4 is a block diagram illustrating the configuration of the archive storage unit 104 shown in FIG. Referring to FIG. 4, the archive storage unit 104 includes a meta information management unit 301, meta information 302, and an archive data control unit 303.

メタ情報管理部301は、エリアキャッシュ管理部102から転送されたストリームデータを、アーカイブデータとしてアーカイブストレージ106に格納するようにアーカイブデータ制御部303に指示する。また、メタ情報管理部301は、エリアキャッシュ管理部102から受信した検索要求で示される座標、時間範囲に該当するストリームデータをアーカイブストレージ106から読み込み、検索範囲に該当するデータを抜き出すようにアーカイブデータ制御部303に指示し、取得したデータをエリアキャッシュ管理部102に送信する。   The meta information management unit 301 instructs the archive data control unit 303 to store the stream data transferred from the area cache management unit 102 in the archive storage 106 as archive data. Further, the meta information management unit 301 reads the stream data corresponding to the coordinates and time range indicated by the search request received from the area cache management unit 102 from the archive storage 106 and extracts the archive data so as to extract the data corresponding to the search range. The control unit 303 is instructed to transmit the acquired data to the area cache management unit 102.

メタ情報302は、一例として、図7に示したメタ情報603のような構造を持つ。メタ情報603は、アーカイブを行うストリーム毎に座標と時刻の範囲を持つ。また、メタ情報603のエントリは、それぞれ、ストリームデータへのポインタを持ち、座標範囲または時間範囲で検索を行い、必要なデータが見つかった場合、該当するストリームデータへのアクセスを容易にする。   The meta information 302 has a structure like the meta information 603 shown in FIG. 7 as an example. The meta information 603 has a range of coordinates and time for each stream to be archived. Each entry of the meta information 603 has a pointer to the stream data, and searches in the coordinate range or the time range. When necessary data is found, the entry of the corresponding stream data is facilitated.

以下、図面を参照しつつ、本実施形態に係るストレージシステムの動作について説明する。   Hereinafter, the operation of the storage system according to the present embodiment will be described with reference to the drawings.

図5は、外部から入力されるストリームデータ401を例示する。映像や画像のストリーム毎にストリームデータ401が定義される。ストリームデータ401は、ある瞬間の映像、または、ある時間の範囲のデータで構成される。映像の範囲は座標で示され、データはそれぞれX座標、Y座標で指定することが可能である。ストリームデータ401自体は1つの大きな固まりであり、ポインタやインデックスなどの途中のデータにアクセスするための情報を持たない。したがって、ストリームデータ中のデータにアクセスするには、時間軸で古いデータから順次デコードを行いながらアクセスを行い、所望のデータまでデータをデコードする必要がある。したがって、ストリームデータの一部のデータにアクセスするには、他の形式のデータにアクセスする場合と比較して長い時間を要する。   FIG. 5 illustrates stream data 401 input from the outside. Stream data 401 is defined for each video or image stream. The stream data 401 is composed of video at a certain moment or data in a certain time range. The range of the video is indicated by coordinates, and the data can be designated by X and Y coordinates, respectively. The stream data 401 itself is one large chunk and does not have information for accessing intermediate data such as a pointer or an index. Therefore, in order to access the data in the stream data, it is necessary to access the data while sequentially decoding from the old data on the time axis to decode the data up to the desired data. Therefore, it takes a long time to access a part of the stream data as compared to accessing other types of data.

データ受信部101は、外部から入力されたストリームデータを受信する。データ受信部101は、受信したストリームデータをエリアキャッシュ管理部102に転送する。エリアキャッシュ管理部102は、ストリームデータがエリアキャッシュ管理部102で設定されている座標の範囲であるか否かを判定する。   The data receiving unit 101 receives stream data input from the outside. The data receiving unit 101 transfers the received stream data to the area cache management unit 102. The area cache management unit 102 determines whether or not the stream data is in the coordinate range set by the area cache management unit 102.

図6は、図2のキャッシュ105が保持するキャッシュデータ501と、図3のメタ情報202の構成を例示する。例えば、入力されたストリームデータを503のような座標の範囲とし、キャッシュとして取り込むデータはG、H、K、Lに該当するデータとする。このとき、エリアキャッシュ管理部102は、ストリームデータ中からG、H、K、Lのデータを取り出し、キャッシュデータ501の先頭データ502の前に新たなデータ格納領域を作成する。同様に、エリアキャッシュ管理部102は、メタ情報506の先頭507の前に新たなメタ情報の領域を作成し、前述のキャッシュ領域へのポインタを508上にそれぞれ記録する。さらに、エリアキャッシュ管理部102は、領域509に取得したデータの時間情報を記録し、キャッシュデータの更新を終了する。   FIG. 6 illustrates the configuration of the cache data 501 held by the cache 105 in FIG. 2 and the meta information 202 in FIG. For example, the input stream data is set to a coordinate range such as 503, and the data to be captured as cache is data corresponding to G, H, K, and L. At this time, the area cache management unit 102 extracts G, H, K, and L data from the stream data, and creates a new data storage area before the head data 502 of the cache data 501. Similarly, the area cache management unit 102 creates a new meta information area before the top 507 of the meta information 506, and records a pointer to the above-described cache area on the area 508, respectively. Furthermore, the area cache management unit 102 records the time information of the acquired data in the area 509, and finishes updating the cache data.

これと平行して、ストレージシステムは、ストリームデータのアーカイブストレージ106への記録も行う。図2のエリアキャッシュ管理部102は、アーカイブデータをアーカイブ保存手段104に送信する。アーカイブデータは、図5のストリームデータ401をそのまま記録したものである。図4に示したアーカイブ保存手段104のメタ情報管理部301は、メタ情報302として、図7に示したメタ情報603を持つ。例えば、前述のキャッシュデータに登録されたX座標、Y座標がA〜Pで示されるストリームデータはX座標の範囲が20〜40に相当し、Y座標が30〜50に相当するとした場合、ストリーム2が当該ストリームデータに相当する。   In parallel with this, the storage system also records the stream data in the archive storage 106. The area cache management unit 102 in FIG. 2 transmits the archive data to the archive storage unit 104. The archive data is obtained by recording the stream data 401 in FIG. 5 as it is. The meta information management unit 301 of the archive storage unit 104 illustrated in FIG. 4 has the meta information 603 illustrated in FIG. For example, when the X coordinate and Y coordinate registered in the cache data described above are stream data indicated by A to P, the X coordinate range corresponds to 20 to 40, and the Y coordinate corresponds to 30 to 50. 2 corresponds to the stream data.

メタ情報管理部301は、アーカイブストレージ106上のストリーム2の領域に新たなデータの格納領域を作成する。また、メタ情報管理部301は、メタ情報603のストリーム2の時間情報を今回の新たな情報に更新する。さらに、メタ情報管理部301は、先ほど追加で確保したデータ領域にデータを追記するようにアーカイブデータ制御部303に指示し、アーカイブを完了する。アーカイブデータのアーカイブストレージ106への追記は、キャッシュ105上に蓄積するか否かに関係なく行われる。   The meta information management unit 301 creates a new data storage area in the stream 2 area on the archive storage 106. In addition, the meta information management unit 301 updates the time information of the stream 2 of the meta information 603 to the new information this time. Further, the meta information management unit 301 instructs the archive data control unit 303 to add data to the data area that has been additionally secured, and completes archiving. The appending of the archive data to the archive storage 106 is performed regardless of whether or not the archive data is accumulated on the cache 105.

なお、メタ情報管理部201は、キャッシュ105にデータを登録する際に、新たなデータ格納領域が確保できない場合、図6のキャッシュデータ501の古いものから削除する。図6に示した例では、メタ情報管理部201は、キャッシュデータ501のうちの一番古い領域nのデータを削除するとともに、メタ情報506におけるnに相当する領域を削除する。   Note that when registering data in the cache 105, the meta information management unit 201 deletes the oldest cache data 501 in FIG. 6 if a new data storage area cannot be secured. In the example illustrated in FIG. 6, the meta information management unit 201 deletes the data of the oldest area n in the cache data 501 and deletes the area corresponding to n in the meta information 506.

検索要求受付部103は、ホストコンピュータからのデータ検索の要求(リクエスト)を受信する。検索要求は、データ取り出しの座標と時間を含み、それぞれ一定の範囲での検索を可能とする。検索要求は、座標として、例えば、映像または地図平面上のX軸とY軸の範囲でのパラメータを持つ。また、検索要求は、時間として、年日時秒などの情報を持ち、開始時間と終了時間で指定するか、開始時間からの経過で示すなどの方法で指定してもよい。検索要求受付部103は、ホストコンピュータからの検索要求に対して、検索要求で指定された座標範囲と時間範囲をエリアキャッシュ管理部102に送信する。   The search request receiving unit 103 receives a data search request from the host computer. The search request includes the coordinates and time of data retrieval, and enables a search within a certain range. The search request has, for example, parameters in the range of the X axis and Y axis on the video or map plane as coordinates. In addition, the search request may have information such as year, date, second, etc. as the time, and may be specified by a start time and an end time, or may be specified by a method such as an indication from the start time. In response to the search request from the host computer, the search request receiving unit 103 transmits the coordinate range and time range specified in the search request to the area cache management unit 102.

エリアキャッシュ管理部102は、管理されている複数のキャッシュの内容の検索を行う。ここでは、一例として、検索の内容を「X座標が30〜35、Y座標が35〜40、時間の範囲が2012年4月15日13:00〜14:00」とする。検索要求受付部103は、かかる検索要求を受信すると、エリアキャッシュ管理部102に検索情報を転送する。   The area cache management unit 102 searches the contents of a plurality of managed caches. Here, as an example, it is assumed that the content of the search is “X coordinate is 30 to 35, Y coordinate is 35 to 40, and time range is April 15, 2012 13: 00 to 14:00”. When receiving the search request, the search request receiving unit 103 transfers the search information to the area cache management unit 102.

図3のメタ情報管理部201は、メタ情報202上に該当する範囲のデータが存在するか否か検索する。ここでは、一例として、図6に示すようなキャッシュデータ501とメタ情報506であるとする。X座標が30〜35、Y座標が35〜40のデータはKに該当する。また、Kのデータのうち、時間の範囲が上記の条件に該当するデータとしてデータ1と2が存在する。メタ情報管理部201は、メタ情報506の1と2の領域のポインタを参照し、キャッシュ105に格納されているキャッシュデータ501の1と2のデータ中からKの情報を取り出し、検索要求受付部103に転送する。検索要求受付部103は、転送されたデータをホストコンピュータに返し、処理を完了する。   The meta information management unit 201 in FIG. 3 searches whether there is data in the corresponding range on the meta information 202. Here, as an example, it is assumed that the cache data 501 and the meta information 506 as shown in FIG. Data having an X coordinate of 30 to 35 and a Y coordinate of 35 to 40 corresponds to K. Among the K data, data 1 and 2 exist as data whose time range satisfies the above-described conditions. The meta information management unit 201 refers to the pointers of the areas 1 and 2 of the meta information 506, extracts the K information from the data 1 and 2 of the cache data 501 stored in the cache 105, and retrieves the search request. 103. The search request receiving unit 103 returns the transferred data to the host computer and completes the process.

次に、検索要求受付部103がホストコンピュータから「X座標が20〜25、Y座標が30〜35、時間の範囲が2012年4月15日11:00のデータ」の検索要求を受け付けた場合を考える。かかる検索要求は、図6におけるMの領域に対する要求であることが分かる。メタ情報506上には、Mに対するエントリは存在しない。そこで、メタ情報管理部201は、検索要求をアーカイブ保存手段104に転送する。   Next, when the search request accepting unit 103 accepts a search request from the host computer with “data having an X coordinate of 20 to 25, a Y coordinate of 30 to 35, and a time range of April 15, 2012 11:00”. think of. It can be seen that this search request is a request for the area M in FIG. There is no entry for M on the meta information 506. Therefore, the meta information management unit 201 transfers the search request to the archive storage unit 104.

アーカイブ保存手段104のメタ情報管理部301は、当該検索要求のアーカイブデータがアーカイブストレージ106にないかどうか調べるため、メタ情報302を検索する。ここでは、メタ情報302は、図7に示すメタ情報603の形式を持つものとする。メタ情報管理部301は、X座標が20〜25、Y座標が30〜35、2012年4月15日11:00のデータを持つストリームがないかどうか検索する。ここでは、ストリーム2が一致する。そこで、メタ情報検索部301は、メタ情報302に基づいて、アーカイブストレージ106に格納されているストリーム2のアーカイブデータの中から前述のデータに該当するデータがないか全検索を行うようにアーカイブデータ制御部303に指示する。メタ情報管理部301は、検索結果を検索要求受付部103に返し、一連の検索処理を完了する。   The meta information management unit 301 of the archive storage unit 104 searches the meta information 302 in order to check whether the archive data of the search request exists in the archive storage 106. Here, it is assumed that the meta information 302 has the format of the meta information 603 shown in FIG. The meta information management unit 301 searches for a stream having data having an X coordinate of 20 to 25, a Y coordinate of 30 to 35, and April 15, 2012 11:00. Here, stream 2 matches. Therefore, the meta information search unit 301 performs archive search based on the meta information 302 so as to perform a full search for the data corresponding to the above-described data from the archive data of the stream 2 stored in the archive storage 106. The control unit 303 is instructed. The meta information management unit 301 returns the search result to the search request receiving unit 103 and completes a series of search processing.

上記構成を備えた本実施形態のストレージシステムによると、利用頻度が高いストリームデータは細粒度に管理することが可能となり、ホストコンピュータからのアクセスを、メタ情報を開始ポインタとして処理することが可能となる。また、必要最小限の小粒度データに対するアクセスで済むため、ストリームデータの読み出し効率を上げることが可能となる。さらに、アクセス頻度が低いデータはアーカイブのみ保存し、かつ、大きなデータ単位で管理することができるため、メタ情報を大幅に増加させることなくアクセス性能を改善することが可能となる。   According to the storage system of the present embodiment having the above configuration, stream data that is frequently used can be managed with fine granularity, and access from a host computer can be processed using meta information as a start pointer. Become. In addition, since it is only necessary to access the minimum necessary granularity data, it is possible to increase the efficiency of reading stream data. Furthermore, since data with low access frequency can be stored only in archives and managed in large data units, access performance can be improved without significantly increasing meta information.

なお、本発明において、下記の形態が可能である。
[形態1]
上記第1の態様に係るストレージシステムのとおりである。
[形態2]
前記ストリームデータは、映像データまたは画像データであり、
前記一部のデータは、前記映像データまたは画像データが表す画面に含まれる一部の領域のデータである、
形態1に記載のストレージシステム。
[形態3]
前記第1の蓄積手段は、前記映像データまたは画像データを取得または撮影した時刻に応じて、前記映像データまたは画像データを複数の第1のデータに分割する、
形態2に記載のストレージシステム。
[形態4]
前記一部のデータは、前記映像データまたは画像データのうちの、前記映像データまたは画像データを取得または撮影した時刻が所定の期間内に含まれるデータであり、
前記第2の蓄積手段は、前記一部の領域のデータを座標に応じて複数の第2のデータに分割し、分割後の複数の第2のデータのそれぞれの座標を前記第2のメタ情報として保持する、
形態2または3に記載のストレージシステム。
[形態5]
前記一部のデータは、前記ストリームデータのうちの相対的に利用頻度が高いデータ、または、予め指定されたデータである、
形態1ないし4のいずれか一に記載のストレージシステム。
[形態6]
前記第2の蓄積手段は、受け付けた検索要求に含まれる時刻および座標に対応するデータが前記第2のストレージ手段に蓄積されているか否かを、前記第2のメタ情報を参照して判定する、
形態1ないし5のいずれか一に記載のストレージシステム。
[形態7]
前記第2の蓄積手段は、受け付けた検索要求に含まれる時刻および座標に対応するデータが前記第2のストレージ手段に蓄積されている場合、前記第2のストレージ手段から該データを読み出し、それ以外の場合、該データが前記第1のストレージ手段に蓄積されているかどうかを判定するように前記第1の蓄積手段に指示する、
形態6に記載のストレージシステム。
[形態8]
上記第2の態様に係るストレージ方法のとおりである。
[形態9]
前記ストリームデータは、映像データまたは画像データであり、
前記一部のデータは、前記映像データまたは画像データが表す画面に含まれる一部の領域のデータである、
形態8に記載のストレージ方法。
[形態10]
前記コンピュータは、前記映像データまたは画像データを取得または撮影した時刻に応じて、前記映像データまたは画像データを複数の第1のデータに分割する、
形態9に記載のストレージ方法。
[形態11]
前記一部のデータは、前記映像データまたは画像データのうちの、前記映像データまたは画像データを取得または撮影した時刻が所定の期間内に含まれるデータであり、
前記コンピュータは、前記一部の領域のデータを座標に応じて複数の第2のデータに分割し、分割後の複数の第2のデータのそれぞれの座標を前記第2のメタ情報として保持する、
形態9または10に記載のストレージ方法。
[形態12]
前記一部のデータは、前記ストリームデータのうちの相対的に利用頻度が高いデータ、または、予め指定されたデータである、
形態8ないし11のいずれか一に記載のストレージ方法。
[形態13]
前記コンピュータが、受け付けた検索要求に含まれる時刻および座標に対応するデータが前記第2のストレージ手段に蓄積されているか否かを、前記第2のメタ情報を参照して判定するステップを含む、
形態8ないし12のいずれか一に記載のストレージ方法。
[形態14]
前記コンピュータが、受け付けた検索要求に含まれる時刻および座標に対応するデータが前記第2のストレージ手段に蓄積されている場合、前記第2のストレージ手段から該データを読み出すステップと、
それ以外の場合、該データが前記第1のストレージ手段に蓄積されているかどうかを判定するステップと、を含む、
形態13に記載のストレージ方法。
[形態15]
上記第3の態様に係るプログラムのとおりである。
[形態16]
前記ストリームデータは、映像データまたは画像データであり、
前記一部のデータは、前記映像データまたは画像データが表す画面に含まれる一部の領域のデータである、
形態15に記載のプログラム。
[形態17]
前記映像データまたは画像データを取得または撮影した時刻に応じて、前記映像データまたは画像データを複数の第1のデータに分割する処理を、前記コンピュータに実行させる、
形態16に記載のプログラム。
[形態18]
前記一部のデータは、前記映像データまたは画像データのうちの、前記映像データまたは画像データを取得または撮影した時刻が所定の期間内に含まれるデータであり、
前記一部の領域のデータを座標に応じて複数の第2のデータに分割し、分割後の複数の第2のデータのそれぞれの座標を前記第2のメタ情報として保持する処理を、前記コンピュータに実行させる、
形態16または17に記載のプログラム。
[形態19]
前記一部のデータは、前記ストリームデータのうちの相対的に利用頻度が高いデータ、または、予め指定されたデータである、
形態15ないし18のいずれか一に記載のプログラム。
[形態20]
受け付けた検索要求に含まれる時刻および座標に対応するデータが前記第2のストレージ手段に蓄積されているか否かを、前記第2のメタ情報を参照して判定する処理を、前記コンピュータに実行させる、
形態15ないし19のいずれか一に記載のプログラム。
[形態21]
受け付けた検索要求に含まれる時刻および座標に対応するデータが前記第2のストレージ手段に蓄積されている場合、前記第2のストレージ手段から該データを読み出す処理と、
それ以外の場合、該データが前記第1のストレージ手段に蓄積されているかどうかを判定する処理と、を前記コンピュータに実行させる、
形態20に記載のプログラム。
In the present invention, the following modes are possible.
[Form 1]
The storage system according to the first aspect is as described above.
[Form 2]
The stream data is video data or image data,
The partial data is data of a partial area included in a screen represented by the video data or image data.
The storage system according to aspect 1.
[Form 3]
The first storage means divides the video data or image data into a plurality of first data according to the time when the video data or image data was acquired or shot.
The storage system according to mode 2.
[Form 4]
The partial data is data in which the time at which the video data or image data is acquired or photographed is included in a predetermined period of the video data or image data,
The second storage means divides the data of the partial area into a plurality of second data according to coordinates, and sets the coordinates of the plurality of second data after the division as the second meta information. Hold as,
The storage system according to mode 2 or 3.
[Form 5]
The partial data is data having a relatively high usage frequency among the stream data, or data designated in advance.
The storage system according to any one of forms 1 to 4.
[Form 6]
The second storage means determines whether or not data corresponding to the time and coordinates included in the received search request is stored in the second storage means with reference to the second meta information. ,
The storage system according to any one of forms 1 to 5.
[Form 7]
The second storage means reads the data from the second storage means when the data corresponding to the time and coordinates included in the received search request is stored in the second storage means, and otherwise In the case of instructing the first storage means to determine whether the data is stored in the first storage means;
The storage system according to mode 6.
[Form 8]
The storage method according to the second aspect is as described above.
[Form 9]
The stream data is video data or image data,
The partial data is data of a partial area included in a screen represented by the video data or image data.
The storage method according to embodiment 8.
[Mode 10]
The computer divides the video data or image data into a plurality of first data according to the time when the video data or image data was acquired or shot.
The storage method according to embodiment 9.
[Form 11]
The partial data is data in which the time at which the video data or image data is acquired or photographed is included in a predetermined period of the video data or image data,
The computer divides the data of the partial area into a plurality of second data according to coordinates, and holds the coordinates of the plurality of second data after division as the second meta information.
The storage method according to Form 9 or 10.
[Form 12]
The partial data is data having a relatively high usage frequency among the stream data, or data designated in advance.
The storage method according to any one of forms 8 to 11.
[Form 13]
The computer determines whether or not data corresponding to the time and coordinates included in the received search request is stored in the second storage means with reference to the second meta information;
The storage method according to any one of forms 8 to 12.
[Form 14]
When the computer stores data corresponding to the time and coordinates included in the received search request in the second storage means, reading the data from the second storage means;
Otherwise, determining whether the data is stored in the first storage means,
The storage method according to mode 13.
[Form 15]
The program according to the third aspect is as described above.
[Form 16]
The stream data is video data or image data,
The partial data is data of a partial area included in a screen represented by the video data or image data.
The program according to form 15.
[Form 17]
Causing the computer to execute a process of dividing the video data or image data into a plurality of first data according to the time at which the video data or image data was acquired or shot.
The program according to mode 16.
[Form 18]
The partial data is data in which the time at which the video data or image data is acquired or photographed is included in a predetermined period of the video data or image data,
A process of dividing the data of the partial area into a plurality of second data according to coordinates and holding the coordinates of the plurality of second data after division as the second meta information; To run,
The program according to Form 16 or 17.
[Form 19]
The partial data is data having a relatively high usage frequency among the stream data, or data designated in advance.
The program according to any one of forms 15 to 18.
[Form 20]
Causing the computer to execute a process of determining whether data corresponding to the time and coordinates included in the received search request is stored in the second storage unit with reference to the second meta information ,
The program according to any one of forms 15 to 19.
[Form 21]
When data corresponding to the time and coordinates included in the accepted search request is stored in the second storage means, a process of reading the data from the second storage means;
Otherwise, causing the computer to execute a process of determining whether the data is stored in the first storage means.
The program according to form 20.

なお、本発明の全開示(請求の範囲を含む)の枠内において、さらにその基本的技術思想に基づいて、実施形態の変更・調整が可能である。また、本発明の全開示の枠内において種々の開示要素(各請求項の各要素、各実施形態の各要素、各図面の各要素等を含む)の多様な組み合わせ、ないし、選択が可能である。すなわち、本発明は、請求の範囲を含む全開示、技術的思想にしたがって当業者であればなし得るであろう各種変形、修正を含むことは勿論である。特に、本書に記載した数値範囲については、当該範囲内に含まれる任意の数値ないし小範囲が、別段の記載のない場合でも具体的に記載されているものと解釈されるべきである。   It should be noted that, within the scope of the entire disclosure (including claims) of the present invention, the embodiments can be changed and adjusted based on the basic technical concept. Further, various combinations or selections of various disclosed elements (including each element of each claim, each element of each embodiment, each element of each drawing, etc.) are possible within the framework of the entire disclosure of the present invention. is there. That is, the present invention of course includes various variations and modifications that could be made by those skilled in the art according to the entire disclosure including the claims and the technical idea. In particular, with respect to the numerical ranges described in this document, any numerical value or small range included in the range should be construed as being specifically described even if there is no specific description.

10 ストレージシステム
12 第1の蓄積手段
14 第1のストレージ手段
16 第2の蓄積手段
18 第2のストレージ手段
101 データ受信部
102 エリアキャッシュ管理部
103 検索要求受付部
104 アーカイブ保存手段
105 キャッシュ
106 アーカイブストレージ
201、301 メタ情報管理部
202、302 メタ情報
203 キャッシュデータ制御部
303 アーカイブデータ制御部
401 ストリームデータ
402 ストリームデータを構成するデータ
403 画面内の領域
501 キャッシュデータ
502 先頭データ
503 画面
504 画面内の領域
505 画面
506 メタ情報
507 メタ情報の先頭
508 ポインタ
509 領域
601 アーカイブデータ
602 ストリーム
603 メタ情報
604 ストリーム2に対するメタ情報
10 storage system 12 first storage unit 14 first storage unit 16 second storage unit 18 second storage unit 101 data receiving unit 102 area cache management unit 103 search request reception unit 104 archive storage unit 105 cache 106 archive storage 201, 301 Meta information management unit 202, 302 Meta information 203 Cache data control unit 303 Archive data control unit 401 Stream data 402 Data constituting stream data 403 Area in screen 501 Cache data 502 First data 503 Screen 504 Area in screen 505 Screen 506 Meta information 507 Meta information head 508 Pointer 509 Area 601 Archive data 602 Stream 603 Meta information 604 Meta information for stream 2

Claims (10)

映像データまたは画像データであるストリームデータを相対的に粗い粒度の複数の第1のデータに分割して第1のストレージ手段に蓄積するとともに、分割後の複数の第1のデータのそれぞれを識別する第1のメタ情報を保持する第1の蓄積手段と、
前記ストリームデータに含まれる一部のデータを、前記映像データ又は前記画像データ上に定義した座標軸上の座標に応じて、相対的に細かい粒度の複数の第2のデータに分割して第2のストレージ手段に蓄積するとともに、分割後の複数の第2のデータのそれぞれを識別する第2のメタ情報を保持する第2の蓄積手段と、を備える、
ことを特徴とするストレージシステム。
The stream data is video data or image data, as well as stored in the first storage means is divided into a plurality of first data relatively coarse granularity, identifying each of the plurality of first data after the division First storage means for holding first meta information to be
A part of the data included in the stream data is divided into a plurality of second data with a relatively fine granularity according to the coordinates on the coordinate axis defined on the video data or the image data . A second accumulating unit that accumulates in the storage unit and holds second meta information for identifying each of the plurality of second data after division.
A storage system characterized by that.
記一部のデータは、前記映像データまたは画像データが表す画面に含まれる一部の領域のデータである、
請求項1に記載のストレージシステム。
Before Symbol some data is data of a portion of a region included in the screen of the image data or image data is represented,
The storage system according to claim 1.
前記第1の蓄積手段は、前記映像データまたは画像データを取得または撮影した時刻に応じて、前記映像データまたは画像データを複数の第1のデータに分割する、
請求項2に記載のストレージシステム。
The first storage means divides the video data or image data into a plurality of first data according to the time when the video data or image data was acquired or shot.
The storage system according to claim 2.
前記一部のデータは、前記映像データまたは画像データのうちの、前記映像データまたは画像データを取得または撮影した時刻が所定の期間内に含まれるデータであり、
前記第2の蓄積手段は、前記一部の領域のデータを前記座標に応じて複数の第2のデータに分割し、分割後の複数の第2のデータのそれぞれの座標を前記第2のメタ情報として保持する、
請求項2または3に記載のストレージシステム。
The partial data is data in which the time at which the video data or image data is acquired or photographed is included in a predetermined period of the video data or image data,
Said second storage means, the data in the partial region is divided into a plurality of second data according to the coordinates, each of the coordinates second meta plurality of second data after the division Keep it as information,
The storage system according to claim 2 or 3.
前記一部のデータは、前記ストリームデータのうちの相対的に利用頻度が高いデータ、または、予め指定されたデータである、
請求項1ないし4のいずれか1項に記載のストレージシステム。
The partial data is data having a relatively high usage frequency among the stream data, or data designated in advance.
The storage system according to any one of claims 1 to 4.
前記第2の蓄積手段は、受け付けた検索要求に含まれる時刻および座標に対応するデータが前記第2のストレージ手段に蓄積されているか否かを、前記第2のメタ情報を参照して判定する、
請求項1ないし5のいずれか1項に記載のストレージシステム。
The second storage means determines whether or not data corresponding to the time and coordinates included in the received search request is stored in the second storage means with reference to the second meta information. ,
The storage system according to any one of claims 1 to 5.
前記第2の蓄積手段は、受け付けた検索要求に含まれる時刻および座標に対応するデータが前記第2のストレージ手段に蓄積されている場合、前記第2のストレージ手段から該データを読み出し、それ以外の場合、該データが前記第1のストレージ手段に蓄積されているかどうかを判定するように前記第1の蓄積手段に指示する、
請求項6に記載のストレージシステム。
The second storage means reads the data from the second storage means when the data corresponding to the time and coordinates included in the received search request is stored in the second storage means, and otherwise In the case of instructing the first storage means to determine whether the data is stored in the first storage means;
The storage system according to claim 6.
コンピュータが、映像データまたは画像データであるストリームデータを相対的に粗い粒度の複数の第1のデータに分割して第1のストレージ手段に蓄積するとともに、分割後の複数の第1のデータのそれぞれを識別する第1のメタ情報を保持するステップと、
前記ストリームデータに含まれる一部のデータを、前記映像データ又は前記画像データ上に定義した座標軸上の座標に応じて、相対的に細かい粒度の複数の第2のデータに分割して第2のストレージ手段に蓄積するとともに、分割後の複数の第2のデータのそれぞれを識別する第2のメタ情報を保持するステップと、を含む、
ことを特徴とするストレージ方法。
The computer divides the stream data, which is video data or image data, into a plurality of first data having a relatively coarse granularity and accumulates the first data in the first storage means. Holding first meta information identifying each;
A part of the data included in the stream data is divided into a plurality of second data with a relatively fine granularity according to the coordinates on the coordinate axis defined on the video data or the image data . Storing in the storage means and holding second meta information for identifying each of the plurality of second data after division,
A storage method characterized by the above.
記一部のデータは、前記映像データまたは画像データが表す画面に含まれる一部の領域のデータである、
請求項8に記載のストレージ方法。
Before Symbol some data is data of a portion of a region included in the screen of the image data or image data is represented,
The storage method according to claim 8.
映像データまたは画像データであるストリームデータを相対的に粗い粒度の複数の第1のデータに分割して第1のストレージ手段に蓄積するとともに、分割後の複数の第1のデータのそれぞれを識別する第1のメタ情報を保持する処理と、
前記ストリームデータに含まれる一部のデータを、前記映像データ又は前記画像データ上に定義した座標軸上の座標に応じて、相対的に細かい粒度の複数の第2のデータに分割して第2のストレージ手段に蓄積するとともに、分割後の複数の第2のデータのそれぞれを識別する第2のメタ情報を保持する処理と、をコンピュータに実行させる、
ことを特徴とするプログラム。
The stream data, which is video data or image data, is divided into a plurality of first data with relatively coarse granularity and accumulated in the first storage means, and each of the plurality of first data after division is identified. Processing to hold the first meta information;
A part of the data included in the stream data is divided into a plurality of second data with a relatively fine granularity according to the coordinates on the coordinate axis defined on the video data or the image data . Storing in the storage means and holding the second meta information for identifying each of the plurality of second pieces of data after the division, and causing the computer to execute.
A program characterized by that.
JP2014126358A 2014-06-19 2014-06-19 Storage system, storage method, and program Active JP6390196B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014126358A JP6390196B2 (en) 2014-06-19 2014-06-19 Storage system, storage method, and program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2014126358A JP6390196B2 (en) 2014-06-19 2014-06-19 Storage system, storage method, and program

Publications (2)

Publication Number Publication Date
JP2016005238A JP2016005238A (en) 2016-01-12
JP6390196B2 true JP6390196B2 (en) 2018-09-19

Family

ID=55224199

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014126358A Active JP6390196B2 (en) 2014-06-19 2014-06-19 Storage system, storage method, and program

Country Status (1)

Country Link
JP (1) JP6390196B2 (en)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11120908B2 (en) 2018-09-20 2021-09-14 Abiomed, Inc. Data storage and retrieval system for non-contiguous medical device operational data
JP7185133B2 (en) * 2018-11-21 2022-12-07 富士通株式会社 Information processing device, information processing program and analysis method

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4017804B2 (en) * 2000-02-18 2007-12-05 富士フイルム株式会社 Image photographing apparatus, image processing apparatus, and image management method
JP2002329191A (en) * 2001-05-07 2002-11-15 Sharp Corp Method for processing information and electronic album system provided with the method
JP2007079866A (en) * 2005-09-13 2007-03-29 Fujifilm Corp Image classification apparatus, image classification method, image classification program, and image pickup device
JP5342888B2 (en) * 2009-01-30 2013-11-13 株式会社日立製作所 File server and file management method

Also Published As

Publication number Publication date
JP2016005238A (en) 2016-01-12

Similar Documents

Publication Publication Date Title
US20210152638A1 (en) Data processing method, apparatus, and system
US9355112B1 (en) Optimizing compression based on data activity
US9430156B1 (en) Method to increase random I/O performance with low memory overheads
US8239621B2 (en) Distributed data storage system, data distribution method, and apparatus and program to be used for the same
CN107870973B (en) File storage system capable of accelerating simultaneous playback of multiple paths of monitoring
US7574435B2 (en) Hierarchical storage management of metadata
KR101422557B1 (en) Predictive data-loader
US9389965B1 (en) System and method for improving performance of backup storage system with future access prediction
US9348517B2 (en) Using a migration threshold and a candidate list for cache management of sequential write storage
CN106951375B (en) Method and device for deleting snapshot volume in storage system
CN103917962A (en) Reading files stored on a storage system
US9195611B2 (en) Efficiently updating and deleting data in a data storage system
US9727479B1 (en) Compressing portions of a buffer cache using an LRU queue
KR20130108298A (en) Card-based management of discardable files
US9367256B2 (en) Storage system having defragmentation processing function
CN103999058A (en) Tape drive system server
US10884926B2 (en) Method and system for distributed storage using client-side global persistent cache
KR20150122533A (en) Method for generating secondary index and apparatus for storing secondary index
CN104092670A (en) Method for utilizing network cache server to process files and device for processing cache files
US9189408B1 (en) System and method of offline annotation of future accesses for improving performance of backup storage system
CN105068761B (en) A kind of video interception storage method and system convenient for retrieval
US20170351608A1 (en) Host device
JP6390196B2 (en) Storage system, storage method, and program
US20160004715A1 (en) Minimizing Metadata Representation In A Compressed Storage System
US20190056878A1 (en) Storage control apparatus and computer-readable recording medium storing program therefor

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20170509

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20180213

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180313

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180514

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180724

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180806

R150 Certificate of patent or registration of utility model

Ref document number: 6390196

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150