KR101785577B1 - 영상 데이터 처리 장치 - Google Patents

영상 데이터 처리 장치 Download PDF

Info

Publication number
KR101785577B1
KR101785577B1 KR1020160024636A KR20160024636A KR101785577B1 KR 101785577 B1 KR101785577 B1 KR 101785577B1 KR 1020160024636 A KR1020160024636 A KR 1020160024636A KR 20160024636 A KR20160024636 A KR 20160024636A KR 101785577 B1 KR101785577 B1 KR 101785577B1
Authority
KR
South Korea
Prior art keywords
file
video
packet
data
created
Prior art date
Application number
KR1020160024636A
Other languages
English (en)
Other versions
KR20160115710A (ko
Inventor
도모노리 히로세
Original Assignee
후지쯔 가부시끼가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 후지쯔 가부시끼가이샤 filed Critical 후지쯔 가부시끼가이샤
Publication of KR20160115710A publication Critical patent/KR20160115710A/ko
Application granted granted Critical
Publication of KR101785577B1 publication Critical patent/KR101785577B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/24—Monitoring of processes or resources, e.g. monitoring of server load, available bandwidth, upstream requests
    • H04N21/2407—Monitoring of transmitted content, e.g. distribution time, number of downloads
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/30—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording
    • G11B27/3027—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on the same track as the main recording used signal is digitally coded
    • G11B27/3036—Time code signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/2187—Live feed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
    • H04N21/23113—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion involving housekeeping operations for stored content, e.g. prioritizing content for deletion because of storage space restrictions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/23406—Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving management of server-side video buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/235—Processing of additional data, e.g. scrambling of additional data or processing content descriptors
    • H04N21/2353—Processing of additional data, e.g. scrambling of additional data or processing content descriptors specifically adapted to content descriptors, e.g. coding, compressing or processing of metadata
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/23605—Creation or processing of packetized elementary streams [PES]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2362—Generation or processing of Service Information [SI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/239—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests
    • H04N21/2393—Interfacing the upstream path of the transmission network, e.g. prioritizing client content requests involving handling client requests
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/8547—Content authoring involving timestamps for synchronizing content

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Library & Information Science (AREA)
  • Databases & Information Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Detection And Prevention Of Errors In Transmission (AREA)

Abstract

전송 중인 패킷 손실에 의한 영상 데이터의 품질 저하를 억제한다. 영상원으로부터 수신된 영상 패킷을 포함하는 파일을 작성하는 파일 작성부와, 작성된 파일에 포함되는 각 영상 패킷의, 시퀀스 번호와 해당 파일에 있어서의 위치를 나타내는 오프셋 위치 정보를 포함하는 인덱스 파일을 작성하는 인덱스 작성부와, 작성된 파일의 인덱스 파일과, 해당 작성된 파일에 포함되는 영상 패킷의 경로와는 다른 경로에 의해 영상원으로부터 수신된 영상 패킷을 포함하는 다른 파일의 인덱스 파일에 기초하여, 작성된 영상 패킷이 결손되어 있는 경우에 해당 영상 패킷의 결손을 보완하는 보완 데이터를 작성하는 보완 데이터 작성부를 구비하는 영상 데이터 처리 장치이다.

Description

영상 데이터 처리 장치{VIDEO DATA PROCESSING APPARATUS}
본 발명은, 영상 데이터를 축적하는 영상 데이터 처리 장치, 영상 데이터 처리 시스템, 영상 데이터 처리 방법 및 영상 데이터 처리 프로그램을 기록하는 기록 매체에 관한 것이다.
예를 들어, 텔레비전국은, 소위, 날씨 카메라 등의 정점 관측 카메라를 각지에 설치하고 있다. 각 정점 관측 카메라의 영상은, 스트리밍 배신에 의해 데이터 센터에 송신되고, 데이터 센터 내에 축적된다. 예를 들어, 지진, 해일, 분화 등의 자연 재해의 발생 시나, 사건 수사 시 등에는, 데이터 센터 내에 축적된 정점 관측 카메라의 영상 데이터로부터, 지정한 시각의 영상 데이터가 판독되는 VOD(비디오 온 디맨드) 배신이 행해진다. 정점 관측 카메라의 영상 데이터는, 시스템의 용장 구성에 의해 복수의 기억 장치에 보유됨으로써, 신뢰성이 확보되는 경우가 많다.
도 1은 영상 데이터 축적 시스템의 일례를 나타내는 도면이다. 영상 데이터 축적 시스템(100)은 데이터 센터 내에서 용장 구성을 취하고, 다른 기억 장치에 영상 데이터가 보유되는 예이다. 영상 데이터 축적 시스템(100)은, 인터넷을 통하여 접속되는 데이터 센터(61), 인코더(50)를 포함한다. 인코더(50)는, 예를 들어, 정점 관측 카메라이다. 인코더(50)는, 예를 들어, 영상 데이터를 MPEG(Moving Picture Experts Group)을 사용하여 인코딩하고, RTP(Real-time Transport Protocol)를 사용해서, 데이터 센터(61)에 연속적으로 송신한다. RTP는 음성이나 영상을 실시간으로 전송하기 위한 프로토콜이다. 소정의 송신원으로부터 소정의 수신처에 스트리밍 배신되는 데이터의 흐름을 스트림이라고 한다.
데이터 센터(61)는, 예를 들어, 텔레비전국이 갖는 데이터 센터이다. 데이터 센터(61)는 중계 서버(70)와, 축적 서버 A, 축적 서버 B, 파일 서버 A, 파일 서버 B를 포함한다. 또한, 축적 서버 A, B를 구별하지 않는 경우에는, 축적 서버(1)라고 표기한다. 파일 서버 A, B를 구별하지 않는 경우에는, 파일 서버(2)라고 표기한다. 축적 서버 A 및 축적 서버 B는, 각각 다른 거점에 설치된 서버이다. 파일 서버(2)는 축적 서버 A, 축적 서버 B에서 공통의 것이 사용되어도 되고, 각각 다른 것이 사용되어도 된다.
도 1에 도시되는 영상 데이터 축적 시스템(100)에서는, 인코더(50)로부터 데이터 센터(61)까지의 경로는 하나이며, 영상 데이터는, 해당 하나의 경로를 경유해서 전송된다. 데이터 센터(61) 내에서, 영상 데이터는 중계 서버(70)에 의해 복제되고, 축적 서버 A와 축적 서버 B의 각각으로 전송된다. 축적 서버 A 및 축적 서버 B는, 각각, 영상 데이터를 파일화하여 파일 서버 A, 파일 서버 B에 축적한다. 축적 서버 A, 축적 서버 B가 수신한 영상 데이터의 파일은, 도 1 중, 각각, 파일 A, 파일 B로서 도시된다.
도 2는 영상 데이터 축적 시스템의 일례를 나타내는 도면이다. 영상 데이터 축적 시스템(200)은, 인코더로부터 데이터 센터까지의 경로와 축적 서버를 용장화하는 구성이다.
영상 데이터 축적 시스템(200)은, 인터넷을 통하여 접속되는 데이터 센터(62), 인코더(50)를 포함한다. 데이터 센터(62)는 축적 서버 A, 축적 서버 B를 포함한다. 축적 서버 A, 축적 서버 B는, 각각 다른 위치에 설치되어 있다.
영상 데이터 축적 시스템(200)에서는, 인코더(50)는 축적 서버 A, 축적 서버 B의 각각에 대해 다른 경로를 갖고 있고, 각각의 경로에 동일한 영상 데이터를 송신한다. 축적 서버 A, 축적 서버 B는, 각각 수신한 영상 데이터를 파일 A, 파일 B로서 파일 서버 A, 파일 서버 B에 축적한다.
일본 특허 공표 제2009-534928호 공보 일본 특허 공개 제2006-5942호 공보
그러나, 도 1 및 도 2에 도시되는 영상 데이터 축적 시스템 내의 용장 구성에는, 이하와 같은 문제가 있다. 도 3은 영상 데이터 축적 시스템 내의 용장 구성의 문제점의 일례를 나타내는 도면이다. 도 3에서는 데이터 센터(61) 및 데이터 센터(62) 내의 축적 서버 A, 축적 서버 B, 파일 서버 A 내의 파일 A, 파일 서버 B 내의 파일 B가 추출되어 도시되어 있다.
영상 데이터의 전송에 사용되는 RTP는 UDP(User Datagram Protocol)를 트랜스포트층의 프로토콜로서 사용하고, UDP는 도달 보증이 없는 프로토콜이다. 그로 인해, 영상 데이터의 RTP 패킷은 전송 도중의 패킷 손실에 의해 결락될 가능성이 있다. 패킷 손실은 영상 품질을 저하시키는 한 요인이 된다.
따라서, 파일 A, 파일 B에 포함되는 영상 데이터는, 전송 도중에서의 패킷 손실의 영향에 의해, 인코더(50)가 송출한 오리지날의 영상 데이터와 동일하다고는 할 수 없다. 또한, 파일 A와 파일 B에서는 영상 데이터의 경로가 다르므로, 패킷 손실에 의해 결손되는 패킷이 다를 가능성도 있고, 파일 A와 파일 B는 동일하다고는 할 수 없다.
도 3에 도시되는 예에서는, 파일 A에서는, RTP 패킷 #3, #4가 결손되어 있다. 파일 B에서는, RTP 패킷 #2, #5가 결손되어 있다. 즉, 파일 A, 파일 B 모두, 인코더(50)가 송출한 오리지널 영상 데이터와는 다르다. 또한, 파일 A와 파일 B는, 서로 다르다.
인코더(50)로부터는 인코딩된 영상 데이터가 송출되므로, 파일 A, 파일 B에는 인코딩된 데이터가 포함된다. 파일 A, 파일 B의 영상 품질의 판정 시에는, 인코딩된 데이터가 디코딩되므로, 축적 데이터에 가해지는 처리 부하가 커질 우려가 있다. 따라서, 파일 A, 파일 B 중 어느 파일이 보다 품질이 좋은 영상 데이터인지를 판별하는 것은 곤란하다. 그로 인해, 예를 들어, 파일 B의 쪽이 결손 패킷이 적은 영상 품질이 좋은 파일인 경우에도, 사전 설정에 의해, 파일 A가 판독되는 경우가 있다.
본 발명은, 영상 데이터의 전송 도중의 패킷 손실에 의한 영상 데이터의 품질 저하를 억제하는 것을 목적으로 한다.
1개의 형태에서는, 영상 데이터 처리 장치는, 영상원으로부터 수신된 영상 패킷을 포함하는 파일을 작성하는 파일 작성부와, 작성된 파일에 포함되는 각 영상 패킷의, 시퀀스 번호와 해당 파일에 있어서의 위치를 나타내는 오프셋 위치 정보를 포함하는 인덱스 파일을 작성하는 인덱스 작성부와, 작성된 파일의 인덱스 파일과, 해당 작성된 파일에 포함되는 영상 패킷의 경로와는 다른 경로에 의해 해당 영상원으로부터 수신된 영상 패킷을 포함하는 다른 파일의 인덱스 파일에 기초하여, 작성된 파일의 영상 패킷이 결손되어 있는 경우에 해당 영상 패킷의 결손을 보완하는 보완 데이터를 작성하는 보완 데이터 작성부를 구비한다.
1개의 측면으로서, 영상 데이터의 전송 도중의 패킷 손실에 의한 영상 데이터의 품질 저하를 억제할 수 있다.
도 1은 영상 데이터 축적 시스템의 일례를 나타내는 도면이다.
도 2는 영상 데이터 축적 시스템의 일례를 나타내는 도면이다.
도 3은 영상 데이터 축적 시스템 내의 용장 구성의 문제점의 일례를 나타내는 도면이다.
도 4는 축적 서버의 하드웨어 구성의 일례를 나타내는 도면이다.
도 5는 축적 서버의 기능 구성의 일례를 나타내는 도면이다.
도 6은 영상 데이터를 전송하는 RTP 패킷의 구성을 도시하는 도면이다.
도 7은 축적부의 영상 파일의 작성 처리의 일례를 나타내는 도면이다.
도 8은 인덱스 파일의 구성의 일례를 나타내는 도면이다.
도 9는 보완 처리부, 배신 처리부의 처리의 일례를 나타내는 도면이다.
도 10은 축적 서버의 축적부의 처리 흐름도의 일례이다.
도 11은 축적 서버의 중간 처리부의 처리 흐름도의 일례이다.
도 12는 축적 서버의 보완 처리부의 처리 흐름도의 일례이다.
도 13a는 축적 서버의 배신 처리부의 처리 흐름도의 일례이다.
도 13b는 축적 서버의 배신 처리부의 처리 흐름도의 일례이다.
도 14는 축적 서버의 삭제 처리부의 처리 흐름도의 일례이다.
이하, 도면에 기초하여, 본 발명의 실시 형태를 설명한다. 이하의 실시 형태의 구성은 예시이며, 본 발명은 실시 형태의 구성에 한정되지 않는다.
<제1 실시 형태>
영상 데이터 축적 시스템의 시스템 구성은, 예를 들어, 도 1 또는 도 2에 도시되는 영상 데이터 축적 시스템 중 어느 것이어도 된다. 제1 실시 형태에서는, 도 2에 도시되는 영상 데이터 축적 시스템(200)을 상정한다. 인코더(50)는, 예를 들어, 정점 관측 카메라이며, 항상 가동하고 있는 것으로 한다. 또한, 인코더(50)는 축적 서버 A, B에 대해, 스트리밍 배신을 행하고 있는 것으로 한다. 제1 실시 형태에 있어서, 스트리밍 배신이란, 정점 관측 카메라 등이 촬영한 영상 데이터를 인코더(50)가 인코딩하고, 인코딩된 데이터가 인코더(50)의 하드 디스크 등에 전송된 시점에서 해당 인코드된 데이터의 송신을 행하는 것을 나타낸다.
예를 들어, 축적 서버 A, B는, 각각, 단일의 인코더(50)로부터 스트리밍 배신에 의해 다른 경로에 의해 수신된 영상 패킷을 포함하는 파일 A, B를 작성한다. 영상 패킷에는, 시퀀스 번호가 인코더(50)에 의해 부여되어 있다. 축적 서버 A, B는, 각각, 파일 A, B에 대해, 파일 A, B에 포함되는 영상 패킷의 시퀀스 번호와 파일 A, B 내에서의 선두로부터의 위치를 나타내는 오프셋 위치 정보를 포함하는 인덱스 파일을 작성한다.
축적 서버 A, B는, 각각, 파일 A, B의 인덱스 파일에 기초하여, 시퀀스 번호가 불연속으로 되는 개소로부터 파일 A, B 내의 결손된 영상 패킷을 특정한다. 결손된 영상 패킷을, 이후, 간단히, 결손 패킷이라고 칭한다. 축적 서버 A, B는, 각각, 파일 A, B 내의 결손 패킷의 오프셋 위치 정보를 파일 B, A의 인덱스 파일로부터 취득하고, 취득한 오프셋 위치 정보에 해당하는 영상 패킷을 파일 B, A로부터 취득한다.
축적 서버 A, B는, 각각, 파일 B, A로부터 취득한 결손 패킷에 대응하는 영상 패킷에 의해, 파일 A, B의 보완 파일 A-1, B-1을 작성한다.
이에 의해, 파일 A, 파일 B 중 어느 것이 판독된 경우에도, 결손 패킷은 보완 파일 A-1, B-1로부터 판독됨으로써, 인코더(50)로부터 송출된 오리지날의 영상 데이터를 재현할 수 있다.
제1 실시 형태에서는, 인코더(50)는 MPEG를 사용해서 영상 데이터를 인코딩하는 것으로 한다. 또한, 인코더(50)는 RTP를 사용해서, 영상 데이터를 송신하는 것으로 한다.
인코더(50)는 「영상원」의 일례이다. 축적 서버 A, B는, 「영상 데이터 처리 장치」의 일례이다. 영상 데이터 축적 시스템(100, 200)은, 각각, 「영상 데이터 처리 시스템」의 일례이다.
<장치 구성>
도 4는 축적 서버(1)의 하드웨어 구성의 일례를 나타내는 도면이다. 축적 서버(1)는, 예를 들어, 전용 또는 범용의 컴퓨터이다. 축적 서버(1)는 CPU(Central Processing Unit)(101), 주기억 장치(102), 보조 기억 장치(103), 네트워크 인터페이스(104)를 구비한다. 또한, 이들은 버스(105)에 의해 서로 전기적으로 접속되어 있다.
보조 기억 장치(103)는, 다양한 프로그램이나, 각 프로그램의 실행 시에 CPU(101)가 사용하는 데이터를 저장한다. 보조 기억 장치(103)는, 예를 들어, 하드디스크 드라이브(Hard Disk Drive) 등의 불휘발성의 메모리이다. 보조 기억 장치(103)는, 예를 들어, 오퍼레이팅 시스템(OS), 영상 데이터 처리 프로그램(103P), 그 밖의 다양한 어플리케이션 프로그램을 보유한다. 영상 데이터 처리 프로그램(103P)은 파일 내의 결손 패킷을 다른 파일로부터 취득하고, 보완 데이터를 작성하기 위한 프로그램이다.
주기억 장치(102)는 CPU(101)에, 보조 기억 장치(103)에 저장되어 있는 프로그램을 로드하는 기억 영역 및 작업 영역을 제공하거나, 버퍼로서 사용되거나 한다. 주기억 장치(102)는, 예를 들어, RAM(Random Access Memory)과 같은 반도체 메모리를 포함한다.
CPU(101)는 보조 기억 장치(103)에 보유된 OS나 다양한 어플리케이션 프로그램을 주기억 장치(102)에 로드해서 실행함으로써, 다양한 처리를 실행한다. CPU(101)는, 1개에 한정되지 않고, 복수 구비되어도 된다.
네트워크 인터페이스(104)는, 네트워크와의 신호의 입출력을 행하는 인터페이스이다. 네트워크 인터페이스(104)는, 유선의 네트워크와 접속하는 인터페이스, 무선의 네트워크와 접속하는 인터페이스를 포함한다. 네트워크 인터페이스(104)는, 유선의 네트워크와 접속하는 경우에는, 예를 들어, 광신호 회로, NIC(Network Interface Card) 등이다. 네트워크 인터페이스(104)는 무선의 네트워크와 접속하는 경우에는, 위성 신호의 수신 회로 등이다. 네트워크 인터페이스(104)에 의해 수신된 데이터 등은, CPU(101)에 출력된다.
또한, 도 4에 도시되는 축적 서버(1)의 하드웨어 구성은 일례이며, 상기에 한정되지 않고, 실시 형태에 따라서 적절히 구성 요소의 생략이나 치환, 추가가 가능하다. 예를 들어, 축적 서버(1)는 가반 기록 매체 구동 장치를 구비하고, 가반 기록 매체에 기록된 프로그램을 실행해도 된다. 가반 기록 매체는, 예를 들어, SD 카드, mini SD 카드, micro SD 카드, USB(Universal Serial Bus) 플래시 메모리, CD(Compact Disc), DVD(Digital Versatile Disc), Blu-ray(등록 상표) Disc, 또는 플래시 메모리 카드와 같은 기록 매체이다.
도 5는 축적 서버(1)의 기능 구성의 일례를 나타내는 도면이다. 축적 서버(1)는 기능 구성으로서, 축적부(11), 중간 처리부(12), 보완 처리부(13), 배신 처리부(14), 삭제 처리부(15)를 구비한다. 축적부(11), 중간 처리부(12), 보완 처리부(13), 배신 처리부(14), 삭제 처리부(15)는, CPU(101)가 영상 데이터 처리 프로그램(103P)을 실행함으로써 달성되는 기능 구성이다.
축적 서버(1)는 파일 서버(2)와 접속하고 있다. 파일 서버(2)는, 예를 들어, NAS(Network Attached Storage), CIFS(Common Internet File System) 등의 파일 공유 프로토콜을 실행하는 서버이다.
축적부(11)는 인코더(50)로부터 계속적으로 RTP 패킷을 수신한다. 축적부(11)는 수신한 영상 데이터를, 예를 들어, 영상 데이터에 부여된 타임 스탬프에 기초하여, 소정의 기준 시각으로부터 소정 시간 길이 단위로 구획하여, 구획된 해당 소정 시간 길이에 포함되는 영상 데이터를 1개의 영상 파일로 한다. 소정 시간 길이는, 예를 들어, 30분 내지 1일 동안에 데이터 센터(62)의 관리자가 임의로 설정 가능하다. 영상 파일은, 최대로 해당 소정의 시간대의 시간 길이분의 데이터양이 된다. 영상 파일은 파일 서버(2)에 저장된다. 축적부(11)는 「파일 작성부」의 일례이다.
축적부(11)는 영상 파일에 대해 해시 계산을 행하고, 해시 데이터를 작성한다. 해시 계산은, 예를 들어, SHA1(Secure Hash Algorithm 1), MD5(Message Digest Algorithm 5) 등이며, 어느 하나에 한정되지 않는다. 축적부(11)는 해시 데이터를 대응하는 영상 파일과 결부시켜 파일 서버(2)에 저장한다. 축적부(11)는 「해시 데이터 작성부」의 일례이다.
축적부(11)는 영상 파일에 대해 인덱스 파일을 작성한다. 인덱스 파일의 상세는, 후술된다. 축적부(11)는 인덱스 파일을 대응하는 영상 파일과 결부시켜 파일 서버(2)에 저장한다. 축적부(11)는 「인덱스 작성부」의 일례이다.
중간 처리부(12)는 파일 서버(2)로부터 대상의 영상 파일의 해시 데이터를 취득한다. 또한, 중간 처리부(12)는 대상의 영상 파일의 용장 데이터인 다른 장치에 의해 작성된 영상 파일의 해시 데이터를 해당의 파일 서버(2)로부터 취득한다. 예를 들어, 도 2의 축적 서버 A의 중간 처리부(12)는 파일 서버 A로부터 파일 A의 해시 데이터와, 파일 서버 B로부터 축적 서버 B에 의해 작성된 파일 B의 해시 데이터를 취득한다.
중간 처리부(12)는 취득한 2개의 해시 데이터를 비교한다. 예를 들어, 도 2의 파일 A와 파일 B가, 모두 패킷의 결손이 없는 경우에는, 파일 A와 파일 B의 해시 데이터는 일치한다. 그러나, 도 2의 파일 A와 파일 B에 포함되는 영상 패킷의 전송 도중에 패킷 손실이 발생한 경우에는, 파일 A와 파일 B는 일치하지 않으므로, 파일 A와 파일 B의 해시 데이터도 일치하지 않는다.
따라서, 중간 처리부(12)는 취득한 2개의 해시 데이터가 일치하지 않는 경우에는, 자장치가 작성한 영상 파일 내에 패킷의 결락 가능성이 있는 것을 판정하고, 보완 처리부(13)를 호출한다. 취득한 2개의 해시 데이터가 일치하는 경우에는, 중간 처리부(12)는 자장치가 작성한 영상 파일 내에 패킷의 결락은 없는 것을 판정하고, 보완 처리부(13)를 호출하지 않는다. 중간 처리부(12)는 「비교부」의 일례이다.
또한, 도 2의 파일 A와 파일 B에 포함되는 영상 패킷의 전송 도중에 손실된 패킷이 일치하여, 파일 A의 해시 데이터와 파일 B의 해시 데이터가 일치하는 경우가 발생할 가능성이 있다. 파일 A와 파일 B에 포함되는 영상 패킷의 전송 도중에 손실된 패킷이 일치하고 있는 경우에는, 한쪽의 파일의 결손 패킷을 다른 쪽의 파일로부터 보완하는 것 자체가 불가능하다. 또한, 파일 A와 파일 B에 포함되는 영상 패킷의 전송 도중에 손실된 패킷은 다르지만, 파일 A의 해시 데이터와 파일 B의 해시 데이터가 일치하는 경우도 발생할 가능성이 있다. 이와 같은 경우가 발생할 가능성은 매우 낮으므로, 제1 실시 형태에서는, 고려되지 않는 것으로 한다.
보완 처리부(13)는 중간 처리부(12)에 호출된 경우에, 자장치가 작성한 영상 파일의 인덱스 파일과 다른 장치에 의해 작성된 영상 파일의 인덱스 파일에 기초하여, 자장치가 작성한 영상 파일의 결손 패킷의 보완 파일을 작성한다. 구체적으로는, 보완 처리부(13)는 자장치가 작성한 영상 파일의 결손 패킷에 상당하는 영상 패킷을 다른 장치가 작성한 영상 파일로부터 취득한다. 보완 처리부(13)는 취득한 영상 패킷으로부터, 대응하는 영상 파일과는 다른 파일인 보완 파일을 작성한다. 보완 처리부(13)는, 대응하는 영상 파일에 보완 파일을 결부시켜, 해당 보완 파일을 파일 서버(2)에 저장한다. 보완 처리부(13)는 「보완 데이터 작성부」의 일례이다.
배신 처리부(14)는 영상 파일에 대한 배신 요구를 수신하면, 배신 요구에 의해 지정된 시각에 해당하는 영상 패킷의 영상 파일에 있어서의 위치를 인덱스 파일로부터 특정하고, 특정한 영상 패킷으로부터 배신을 개시한다. 배신 처리부(14)는 영상 파일 중에서 결손 패킷에 상당하는 영상 패킷은, 대응하는 보완 파일로부터 판독한다. 배신 처리부(14)는 「배신부」의 일례이다.
삭제 처리부(15)는 자장치가 작성한 영상 파일과, 해당 영상 파일의 용장 데이터인 다른 장치가 작성한 영상 파일 중, 영상 품질이 떨어진 쪽의 영상 파일, 인덱스 파일, 해시 데이터, 보완 파일을 삭제한다. 단, 삭제 처리부(15)는 축적 서버 A, B 중, 마스터로 설정된 1대의 축적 서버에 구비되어 있고, 마스터 이외의 축적 서버에는 구비되지 않는다. 제1 실시 형태에서는, 영상 품질의 우열은 결손 패킷이 연속하는 횟수로 판정된다. 삭제 처리부(15)는 「삭제부」의 일례이다.
파일 서버(2)의 하드웨어 구성은 축적 서버(1)의 하드웨어 구성과 거의 마찬가지이며, CPU, 주기억 장치, 보조 기억 장치, 네트워크 인터페이스를 포함한다. 파일 서버(2)는 축적 서버(1)로부터의 요구에 따라서, 파일 등의 데이터의 판독, 기입을 행한다.
파일 서버(2)는 축적 서버(1)와 동일한 거점에 설치되어 있어도 되고, 다른 거점에 설치되어 있어도 된다. 데이터 센터(62)에는 복수의 파일 서버(2)가 설치되어 있고, 축적 서버(1)가 어느 파일 서버(2)를 이용하는지는, 미리 관리자에 의해 설정되어 있다.
제1 실시 형태에서는, 파일 서버(2)의 보조 기억 장치에는 영상 파일, 인덱스 파일, 해시 데이터, 보완 파일이 축적 서버(1)에 의해 저장되고, 세트로 보유된다. 영상 파일, 인덱스 파일, 해시 데이터, 보완 파일은, 제1 실시 형태에서는, 공통의 파일명을 가짐으로써 결부된다. 파일명은, 예를 들어, 영상 파일이 1시간의 시간 길이로, 각 시간대 단위로 작성되는 경우에는, 영상이 녹화된 일자와 시간대를 나타내도록 부여된다. 또한, 영상 파일, 인덱스 파일, 해시 데이터, 보완 파일은, 각각, 다른 확장자를 갖고, 해당 확장자에 의해 어느 파일인지를 판별 가능하게 되어 있다.
단, 영상 파일, 인덱스 파일, 해시 데이터, 보완 파일의 결부 방법은 이에 한정되지 않는다. 또한, 파일명의 부여 방법도, 이에 한정되지 않는다.
도 6은 영상 데이터를 전송하는 RTP 패킷의 구성을 도시하는 도면이다. RTP 패킷의 페이로드부에는, 복수의 TS(TranSport) 패킷이 저장된다. TS 패킷은, 예를 들어, 정점 카메라로부터 입력된 영상 데이터가, 인코더(50)에 의해 MPEG를 사용해서 인코딩되어 작성되는 패킷이다. TS 패킷은 「영상 패킷」의 일례이다.
TS 패킷의 사이즈는, 예를 들어, MPEG-2의 경우에는, 188바이트이다. 또한, TS 패킷에 타임 스탬프가 부여되는 경우에는, TS 패킷의 사이즈는 192바이트가 되고, TTS(Timestamped TS) 패킷이라고 칭해진다. TTS 패킷의 타임 스탬프는, 인코더(50)에 의해 해당 TTS 패킷이 작성된 시각을 나타낸다. 제1 실시 형태에서는, 인코더(50)에 의해 타임 스탬프가 부여되는 TTS 패킷이 사용되는 것으로 한다. 이후, TS 패킷과 TTS 패킷은, 특별히 구별하지 않고, TS 패킷이라고 칭한다. TS 패킷과 TTS 패킷이 구별되어 취급되는 경우에는, TTS 패킷과 구별해서 표기한다.
IP 패킷의 MTU(Maximum Transmission Unit)는 1500바이트이므로, 1개의 RTP 패킷에는, 이론상, 최대 7개까지 TTS 패킷을 저장할 수 있다. 또한, RTP 패킷에 저장되는 TTS 패킷의 상한 개수는, 관리자가 임의로 설정 가능하다.
타임 스탬프는 TS 패킷의 선두에 부여되어 있다. TS 패킷의 헤더에 포함되는 정보 중 하나로, 시퀀스 번호가 있다. TS 패킷의 시퀀스 번호는, MPEG-2에서는 4바이트의 순회 카운터에 의해 나타난다. 순회 카운터는 값이 1씩 증가하고, 최대값 16(0x1111)이 되면, 값이 0(0x0000)으로 복귀된다.
영상 데이터의 전송 도중에 1개의 RTP 패킷이 손실되면, 해당 RTP 패킷에 저장되어 있는 복수의 TS 패킷도 손실된다. 1개의 RTP 패킷에 6개의 TS 패킷이 포함되는 경우에는, 1개의 RTP 패킷이 손실되면 6개의 TS 패킷이 손실된다. 그로 인해, 영상 파일 내의 해당 결손 패킷의 전후의 TS 패킷의 시퀀스 번호는, 예를 들어, 0에서 7로, 6개의 숫자를 스킵한 상태로 된다. 이와 같이, 시퀀스 번호의 불연속성에 의해, 패킷 손실을 검출할 수 있다.
도 7은 축적부(11)의 영상 파일의 작성 처리의 일례를 나타내는 도면이다. 축적부(11)는 파일 출력 버퍼(11M)를 포함한다. 파일 출력 버퍼(11M)의 사이즈는, 소정 시간 길이분의 TS 패킷을 저장할 수 있는 사이즈이다. 예를 들어, 파일 출력 버퍼(11M)의 사이즈는, 30초분의 TS 패킷을 저장할 수 있는 사이즈이다.
축적부(11)는 RTP 패킷을 수신하면, RTP 패킷의 페이로드부에 저장되는 TS 패킷을 시퀀스 번호순으로 파일 출력 버퍼(11M)에 저장한다. 파일 출력 버퍼(11M)가 가득차게 되면, 축적부(11)는 파일 출력 버퍼(11M)에 저장되어 있는 TS 패킷을, 파일 서버(2) 내의 최신의 영상 파일의 말미에 시퀀스 번호순으로 추가한다. 최신의 영상 파일의 사이즈가 최대 시간의 길이에 도달하면, 축적부(11)는, 새롭게 영상 파일을 작성하고, 이후는, 새롭게 작성된 영상 파일이 최신의 영상 파일로서 취급된다.
도 8은 인덱스 파일의 구성의 일례를 나타내는 도면이다. 인덱스 파일에는 축적 정보와, TS 정보가 포함된다.
축적 정보는 인덱스 파일에 대응하는 영상 파일 전체의 정보이다. 축적 정보에는, 예를 들어, 인덱스 파일에 대응하는 영상 파일에 포함되는 TS 패킷의 수와, 해당 영상 파일의 사이즈가 포함된다. 축적 정보에 포함되는 파일의 사이즈는 바이트 단위이다.
TS 정보는 인덱스 파일에 대응하는 영상 파일에 포함되는 TS 패킷에 관한 정보이다. TS 정보는 1개의 TS 패킷에 대해 1개 작성된다. 즉, TS 정보는 인덱스 파일 내에, 대응하는 영상 파일에 포함되는 TS 패킷의 수분(數分) 존재한다. TS 정보에는, 예를 들어, TS 시간, 시퀀스 번호, 오프셋, 타임 스탬프가 포함된다.
TS 정보에 포함되는 TS 시간은, TS 패킷의, 인덱스 파일에 대응하는 영상 파일의 선두를 기점으로 하는 재생 개시 시간이다. TS 시간은, 예를 들어, 밀리초 단위이다.
TS 정보에 포함되는 시퀀스 번호는, TS 패킷의 헤더 내에 포함되는 시퀀스 번호의 값이다. TS 정보에 포함되는 오프셋은, 인덱스 파일에 대응하는 영상 파일의 선두로부터 해당 TS 패킷까지의 바이트수이다.
TS 정보에 포함되는 타임 스탬프는, TS 패킷의 선두에 부여되어 있는 타임 스탬프의 값이다. 인코더(50)와 축적 서버(1)에서 클럭의 주파수가 다른 경우에는, 타임 스탬프의 값은 축적 서버(1)의 클럭 주파수 단위로 변환된다.
인덱스 파일은 파일 서버(2) 내의 영상 파일에의 TS 패킷의 기입 시에, 축적부(11)에 의해 작성 및 갱신된다.
도 9는 보완 처리부(13), 배신 처리부(14)의 처리의 일례를 나타내는 도면이다. 도 9에서는, 도 2의 축적 서버 A가, 파일 B를 사용해서 파일 A의 결손 패킷을 보완하는 경우의 예가 나타난다. 도 9에서는 TS 패킷의 시퀀스 번호는, 편의적으로, #1, #2, …과 같이 표기되어 있다.
보완 처리부(13)는 파일 A의 인덱스 파일 내의 TS 패킷의 시퀀스 번호의 불연속에 의해, 결손 패킷을 특정한다. 도 9에 도시되는 파일 A에서는, TS 패킷 #2의 다음이 TS 패킷 #5가 되고, 시퀀스 번호가 불연속이다. 이에 의해, TS 패킷 #3, #4의 결손이 특정된다.
보완 처리부(13)는 파일 B의 인덱스 파일을 참조하고, 파일 A의 결손 패킷인 TS 패킷 #3, #4가 파일 B에 있는지를 판정한다. 도 9에 도시되는 예에서는, 파일 B에는 TS 패킷 #3, #4가 존재한다. 보완 처리부(13)는 파일 B의 인덱스 파일로부터 TS 패킷 #23, #4의 오프셋을 취득하고, 파일 B 내의 해당 오프셋이 나타내는 위치로부터 TS 패킷 #3, #4를 취득한다.
보완 처리부(13)는 파일 B로부터 취득한 TS 패킷 #3, #4를 보완 파일에 추가한다. 또한, 보완 처리부(13)는 처리 버퍼를 갖고 있고, 파일 A의 결손 패킷의 보완을 위해 파일 B로부터 취득한 TS 패킷을 처리 버퍼에 저장한다. 보완 처리부(13)는 처리 버퍼가 가득차게 된 경우, 또는, 대상의 영상 파일의 보완 처리가 종료된 경우에, 처리 버퍼 내의 TS 패킷을 보완 파일에 저장한다.
배신 처리부(14)는, 파일 A를 배신하는 경우에는, 파일 A 내의 배신 요구의 지정 시각의 TS 패킷으로부터 판독을 개시한다. 예를 들어, 배신 처리부(14)는 TS 패킷 #1로부터 판독 개시한 경우, 인덱스 파일을 참조하고, 다음에 판독하는 TS 패킷 #2가 파일 A 내에 있는 것을 검출하고, TS 패킷 #2를 파일 A로부터 판독한다. 다음에, 배신 처리부(14)는 인덱스 파일을 참조하고, 다음에 판독하는 TS 패킷 #3이 파일 A 내에 없는 것을 검출하고, TS 패킷 #3을 보완 파일로부터 판독한다. TS 패킷 #4도 마찬가지로, 보완 파일로부터 판독된다.
파일 B로부터 취득한 패킷을 파일 A의 결손 패킷의 위치에 삽입함으로써, 파일 A의 보완을 행하는 경우에는, 파일 A를 재기입하는 처리가 되므로, 축적 서버 A의 처리 부하가 커질 우려가 있다. 영상 파일과는 별도로 보완 파일이 작성됨으로써, 결손 패킷의 판독처를 보완 파일로 변경함으로써 파일 A의 보완을 행할 수 있어, 파일 A를 재기입하는 처리보다도 축적 서버(1)에 관한 부하를 적게 할 수 있다.
<처리의 흐름>
도 10은 축적 서버(1)의 축적부(11)의 처리 흐름도의 일례이다. 도 10에 도시되는 처리는, 예를 들어, 축적부(11)가 RTP 패킷을 수신하면 개시된다.
OP1에서는, 축적부(11)는 수신 RTP 패킷에 포함되는 TS 패킷과, 직전의 RTP 패킷에 포함되는 TS 패킷과의 시퀀스 번호에 기초하여, RTP 패킷의 손실이 있는지 여부를 판정한다. RTP 패킷의 손실이 검출된 경우에는(OP1:"예"), 처리가 OP2로 진행한다. RTP 패킷의 손실이 검출되지 않은 경우에는(OP1:"아니오"), 처리가 OP3으로 진행한다.
OP2에서는, 축적부(11)는 RTP 패킷의 손실이 검출되었으므로, 에러 정정을 행한다. 또한, 제1 실시 형태에서는, 인코더(50)는 소정의 오류 정정 부호 방식을 사용해서 데이터 송신을 행하고 있고, 축적부(11)는 해당 소정의 오류 정정 부호 방식에 따라서, 결손 패킷의 복원을 행하는 것이 가능하다. 오류 정정 부호 방식은, 특정한 것에 한정되지 않고, 공지의 방식 중 어느 것이어도 된다. 또한, 예를 들어, 패킷 손실이 다발하는 경우에는, OP2에 있어서의 에러 정정에 있어서, 결손 패킷이 복원되지 않는 경우도 있다. 다음에 처리가 OP3으로 진행한다.
OP3에서는, 축적부(11)는 수신한 RTP 패킷으로부터 TS 패킷을 추출하여, 파일 출력 버퍼(11M)에 추가한다. OP2의 에러 정정에 의해 결손 패킷이 복원되어 있는 경우에는, 축적부(11)는 복원된 RTP 패킷으로부터 추출되는 TS 패킷도 파일 출력 버퍼(11M)에 추가한다. 다음에 처리가 OP4로 진행한다.
OP4에서는, 축적부(11)는 파일 출력 버퍼(11M)에 공간이 있는지 여부를 판정한다. 예를 들어, 파일 출력 버퍼(11M)의 공간 용량에 임계값을 설정하고, 파일 출력 버퍼(11M)의 공간 용량이 해당 임계값 미만인 경우에, 축적부(11)는 파일 출력 버퍼(11M)에 공간이 없는 것을 판정한다. 파일 출력 버퍼(11M)의 공간 용량의 임계값은, 예를 들어, 3000바이트 이상의 값으로 설정된다. IP 패킷의 최대 길이가 1500바이트인 것과, 수신 패킷 외에 OP2의 에러 정정에 의해 복원되는 패킷도 파일 출력 버퍼(11M)에 추가되는 경우가 있기 때문이다. 단, 파일 출력 버퍼(11M)의 공간 용량의 임계값은, 관리자가 임의로 설정 가능하고, 한정되지 않는다.
파일 출력 버퍼(11M)에 공간이 있는 경우에는(OP4:"예"), 도 10에 도시되는 처리가 종료된다. 파일 출력 버퍼(11M)에 공간이 없는 경우에는(OP4:"아니오"), 처리가 OP5로 진행한다.
OP5에서는, 축적부(11)는 파일 출력 버퍼(11M)에 저장되어 있는 TS 패킷을 파일 서버(2) 내의 최신의 영상 파일에 추가한다. 예를 들어, 최신의 영상 파일의 사이즈가 소정의 시간의 길이가 되는 경우에는, 축적부(11)는 새롭게 영상 파일을 작성한다. 다음에 처리가 OP6으로 진행한다.
OP6에서는, 축적부(11)는 OP5에 있어서 TS 패킷을 추가한 영상 파일의 해시 데이터를 작성한다. 기존의 영상 파일에 대해서는, 해당 영상 파일에 대응하는 해시 데이터의 덮어쓰기 처리가 된다. 새롭게 작성된 영상 파일에 대해서는, 해시 데이터의 작성 처리가 된다. 다음에 처리가 OP7로 진행한다.
OP7에서는, 축적부(11)는 OP5에 있어서 TS 패킷을 추가한 영상 파일의 인덱스 파일을 작성한다. 기존의 영상 파일에 대해서는, 해당 영상 파일에 추가한 TS 패킷의 TS 정보를 해당 영상 파일에 대응하는 인덱스 파일에 추가하는 처리가 된다. 새롭게 작성된 영상 파일에 대해서는, 인덱스 파일의 작성 처리가 된다. 그 후, 도 10에 도시되는 처리가 종료된다.
또한, 도 10에 도시되는 처리는 일례이며, 적절히, 처리의 실행순의 변경이나, 처리의 추가, 삭제 등도 가능하다. 예를 들어, OP6과 OP7의 처리의 실행순은 반대이어도 된다. 또한, 인코더(50)가 오류 정정 부호 처리를 행하지 않고 데이터 송신하는 경우에는, OP1, OP2의 처리는 실행되지 않아도 된다.
도 11은 축적 서버(1)의 중간 처리부(12)의 처리 흐름도의 일례이다. 도 11에 도시되는 흐름도는, 소정의 주기로 최신의 영상 파일에 대해 실행되어도 되고, 소정의 이벤트의 발생 시에 실행되어도 된다. 도 11의 흐름도가 주기적으로 실행되는 경우의 실행 주기는, 영상 파일의 상한 시간의 길이보다도 작은 값이 된다. 또한, 도 11의 흐름도의 실행 계기가 되는 소정의 이벤트는, 예를 들어, 영상 파일이 상한 시간의 길이가 되고, 다음의 새로운 영상 파일이 작성되는 것이다.
OP11에서는, 중간 처리부(12)는 비교 대상의 해시 데이터를 각각 대응하는 파일 서버(2)로부터 읽어들인다. 예를 들어, 도 2의 시스템에 있어서, 축적 서버 A 및 축적 서버 B의 양쪽 모두, 파일 A, B에 대응하는 해시 데이터를 읽어들인다. 다음에 처리가 OP12로 진행한다.
OP12에서는, 중간 처리부(12)는 비교 대상의 해시 데이터가 일치하는지 여부를 판정한다. 비교 대상의 해시 데이터가 일치하는 경우에는(OP12:"예"), 도 11에 도시되는 처리가 종료된다. 비교 대상의 해시 데이터가 일치하지 않는 경우에는(OP12:"아니오"), 처리가 OP13으로 진행한다.
OP13에서는, 중간 처리부(12)는 비교 대상의 해시 데이터가 일치하지 않으므로, 자장치를 관리하고 있는 쪽의 영상 데이터에 대해, 보완 처리를 행하는 것을 판정하고, 보완 처리부(13)를 호출한다. 그 후, 도 11에 도시되는 처리가 종료된다.
도 12는 축적 서버(1)의 보완 처리부(13)의 처리 흐름도의 일례이다. 도 12에 나타내어지는 흐름도는, 보완 처리부(13)가 중간 처리부(12)에 의해 호출되면 개시된다. 또한, 도 12에 나타내어지는 흐름도는, 설명의 편의상, 도 2의 축적 서버 A를 주체로 상정하고 있다.
OP21에서는, 보완 처리부(13)는 비교 대상의 인덱스 파일을 읽어들인다. 축적 서버 A의 보완 처리부(13)는 파일 A, B의 인덱스 파일을 읽어들인다. 다음에 처리가 OP22로 진행한다.
OP22 내지 OP28의 처리는, 축적 서버(1)의 관리 대상의 영상 파일, 즉, 축적 서버 A의 관리 대상인 파일 A에 포함되는 TS 패킷의 수분 반복 실행된다.
OP22에서는, 보완 처리부(13)는 파일 A의 인덱스 파일을 참조하고, 처리 대상의 TS 패킷의 시퀀스 번호가 파일 A 내의 직전의 TS 패킷의 시퀀스 번호로부터 연속되는 값인지 여부를 판정한다. 처리 대상의 TS 패킷의 시퀀스 번호가 파일 A 내의 직전의 TS 패킷의 시퀀스 번호로부터 연속되는 값인 경우에는(OP22:"아니오"), 패킷의 결손은 검출되지 않고, 파일 A 내의 다음의 TS 패킷에 대해, OP22로부터 처리가 개시된다.
처리 대상의 TS 패킷의 시퀀스 번호가 파일 A 내의 직전의 TS 패킷의 시퀀스 번호로부터 연속되지 않는 값인 경우에는(OP22:"예"), 패킷의 결손이 검출되고, 처리가 OP23으로 진행한다.
OP23에서는, 보완 처리부(13)는 파일 A 내의 처리 대상의 TS 패킷의 시퀀스 번호와 파일 A 내의 직전의 TS 패킷의 시퀀스 번호 사이의, 결손되어 있는 시퀀스 번호를 특정한다. 결손되어 있는 시퀀스 번호를, 이후, 결손 시퀀스 번호라고 칭한다. 또한, 전송 중의 패킷 손실의 경우에는, RTP 패킷이 손실되므로, 복수의 TS 패킷이 손실된다. 그로 인해, OP23에서는, 손실된 RTP 패킷에 포함되는 TS 패킷의 수분의 시퀀스 번호가 결손 시퀀스 번호로서 특정된다. 다음에 처리가 OP24로 진행한다.
OP24에서는, 보완 처리부(13)는 파일 A의 결손 시퀀스 번호가 파일 B의 인덱스 파일 중에 있는지 여부를 판정한다. 파일 A의 결손 시퀀스 번호가 파일 B의 인덱스 파일 중에 있는 경우에는(OP24:"예"), 처리가 OP25로 진행한다. 파일 A의 결손 시퀀스 번호가 파일 B의 인덱스 파일 중에 없는 경우에는(OP24:"아니오"), OP23에서 특정된 파일 A의 결손 시퀀스 번호의 영상 패킷을 파일 B로부터 보완할 수 없으므로, 파일 A 내의 다음의 TS 패킷에 대해 OP22에 처리가 진행된다.
OP25에서는, 보완 처리부(13)는 파일 B로부터 OP23에서 특정한 파일 A의 결손 시퀀스 번호에 해당하는 TS 패킷을 취득한다. 파일 B 내의 결손 시퀀스 번호에 해당하는 TS 패킷의 위치는, 파일 B의 인덱스 파일의 해당 TS 정보 내의 오프셋으로부터 취득된다. 다음에 처리가 OP26으로 진행한다.
OP26에서는, 보완 처리부(13)는 처리 버퍼에 OP25에서 취득한 TS 패킷을 추가한다. 다음에 처리가 OP27로 진행한다.
OP27에서는, 보완 처리부(13)는 처리 버퍼에 공간이 있는지 여부를 판정한다. 예를 들어, 처리 버퍼의 공간 용량에 임계값을 설정하고, 처리 버퍼의 공간 용량이 해당 임계값 미만인 경우에, 보완 처리부(13)는 처리 버퍼에 공간이 없는 것을 판정한다. 처리 버퍼에 공간이 있는 경우에는(OP27:"예"), 파일 A 내의 다음의 TS 패킷에 대해 OP22로 처리가 진행된다. 처리 버퍼에 공간이 없는 경우에는(OP27:"아니오"), 처리가 OP28로 진행한다.
OP28에서는, 보완 처리부(13)는 파일 서버 A 내의 파일 A의 보완 파일에 처리 버퍼에 저장되어 있는 TS 패킷을 추가한다. 그 후, 파일 A 내의 다음의 TS 패킷에 대해 OP22로 처리가 진행된다.
도 13a, 도 13b는 축적 서버(1)의 배신 처리부(14)의 처리 흐름도의 일례이다. 도 13a에 도시되는 흐름도는 축적 서버(1)가 재생 개시 시각의 지정을 포함하는 배신 요구를 수신하면 개시된다. 배신 요구에 포함되는 지정된 재생 개시 시각을, 이후, 지정 시각이라고 칭한다.
OP31에서는, 배신 처리부(14)는 배신 대상의 영상 파일에 대응하는 인덱스 파일을 읽어들인다. 또한, 영상 파일에 포함되는 영상 데이터의 적어도 기록 개시의 시각 정보는 메타 데이터로서 보유되어 있고, 지정 시각과 해당 영상 데이터의 기록 개시의 시각 정보로부터 배신 대상의 영상 파일을 특정 가능하다. 다음에 처리가 OP32로 진행한다.
OP32에서는, 배신 처리부(14)는 배신 대상의 영상 파일에 대응하는 인덱스 파일 내의 TS 시간에 기초하여, 지정 시각에 대응하는 해당 영상 파일의 읽어들이기 위치를 특정한다. TS 시간은 TS 패킷의 영상 파일의 선두로부터의 재생 개시 시간을 나타낸다. 배신 처리부(14)는 지정 시각과 영상 파일의 개시 시각과의 차분의 시간의 길이와 인덱스 파일 내의 TS 시간의 값이 합치 또는 거의 합치하는 TS 패킷의 오프셋을 읽어들이기 위치로서 특정한다. 다음에 처리가 OP33으로 진행한다.
OP33에서는, 배신 처리부(14)는 OP32에서 특정한 영상 파일의 읽어들이기 위치에 지정 시각의 데이터가 있는지 여부를 판정한다. 이 판정은 영상 파일의 인덱스 파일 내의 TS 패킷의 타임 스탬프에 기초해서 행해진다. 영상 파일 내에 지정 시각의 타임 스탬프를 갖는 TS 패킷이 있는 경우에는(OP33:"예"), 배신 처리부(14)는 해당 TS 패킷을 취득하고, 처리가 OP36으로 진행한다. 영상 파일 내에 지정 시각의 타임 스탬프를 갖는 TS 패킷이 없는 경우에는(OP33:"아니오"), 처리가 OP34로 진행한다.
OP34에서는, 배신 처리부(14)는 영상 파일 내에 지정 시각의 타임 스탬프를 갖는 TS 패킷이 없으므로, 해당 영상 파일에 대응하는 보완 파일을 참조하고, 보완 파일 내에 지정 시각의 타임 스탬프를 갖는 TS 패킷이 있는지 여부를 판정한다. 보완 파일 내에 지정 시각의 타임 스탬프를 갖는 TS 패킷이 있는 경우에는(OP34:"예"), 배신 처리부(14)는 보완 파일로부터 해당의 TS 패킷을 취득하고, 처리가 OP36으로 진행한다. 보완 파일 내에 지정 시각의 타임 스탬프를 갖는 TS 패킷이 없는 경우에는(OP34:"아니오"), 처리가 OP35로 진행한다.
OP35에서는, 배신 처리부(14)는 영상 파일 내에 지정 시각의 다음의 시각에 해당하는 TS 패킷이 있는지 여부를 판정한다. 영상 파일 내에 지정 시각의 다음의 시각에 해당하는 TS 패킷이 없는 경우에는(OP35:"아니오"), 처리가 OP34로 복귀되고, 배신 처리부(14)는 보완 파일을 참조한다. 영상 파일 내에 지정 시각의 다음의 시각에 해당하는 TS 패킷이 있는 경우에는(OP35:"예"), 배신 처리부(14)는 해당 TS 패킷을 취득하고, 처리가 OP36으로 진행한다.
OP36에서는, 배신 처리부(14)는 취득한 TS 패킷을 송신 버퍼에 출력한다. 송신 버퍼는 주기억 장치(102)에 작성되는 FIFO(First In First Out) 큐이다. 다음에 처리가 OP37로 진행한다.
OP37 내지 OP39는, OP36에 있어서 송신 버퍼에 출력된 TS 패킷의 다음의 시퀀스 번호를 갖는 TS 패킷 이후의 TS 패킷에 대해서 반복 실행되는 처리이다.
OP37에서는, 배신 처리부(14)는 영상 파일 내에 해당 시퀀스 번호의 데이터가 있는지 여부를 판정한다. 이 판정은 영상 파일 내의 TS 패킷의 헤더 내의 시퀀스 번호에 기초해서 행해진다. 영상 파일 내에 해당 시퀀스 번호의 TS 패킷이 있는 경우에는(OP37:"예"), 배신 처리부(14)는 해당 TS 패킷을 취득하고, 처리가 OP39로 진행한다. 영상 파일 내에 해당 시퀀스 번호의 TS 패킷이 없는 경우에는(OP37:"아니오"), 처리가 OP38로 진행한다.
OP38에서는, 배신 처리부(14)는 영상 파일 내에 해당 시퀀스 번호의 TS 패킷이 없으므로, 해당 영상 파일에 대응하는 보완 파일을 참조하고, 해당 시퀀스 번호의 TS 패킷이 있는지 여부를 판정한다. 보완 파일 내에 해당 시퀀스 번호의 TS 패킷이 있는 경우에는(OP38:"예"), 배신 처리부(14)는 보완 파일로부터 해당의 TS 패킷을 취득하고, 처리가 OP39로 진행한다. 보완 파일 내에 해당 시퀀스 번호의 TS 패킷이 없는 경우에는(OP38:"아니오"), 처리가 OP37로 진행하고, 해당 시퀀스 번호의 다음의 시퀀스 번호의 TS 패킷에 대해서 처리가 행해진다.
OP39에서는, 배신 처리부(14)는 취득한 TS 패킷을 송신 버퍼에 출력한다. 처리가 OP37로 진행하고, 해당 시퀀스 번호의 다음의 시퀀스 번호의 TS 패킷에 대해서 처리가 행해진다. OP37 내지 OP39의 처리는 배신 요구원으로부터 배신 정지 요구를 수신할 때까지 반복 실행된다.
도 13a, 도 13b의 처리는 송신 버퍼에 TS 패킷을 출력하는 처리이다. 배신 처리부(14)는 송신 버퍼로부터 TS 패킷을 판독하고, 배신 요구원에 송신하는 처리도 행한다. 송신 버퍼로부터 TS 패킷을 판독하고, 배신 요구원에 송신하는 처리에서는, 배신 처리부(14)는 인덱스 파일의 타임 스탬프에 기초하여, 데이터 송출 타이밍을 맞춰, TS 패킷을 순서대로 송신한다.
도 14는 축적 서버(1)의 삭제 처리부(15)의 처리 흐름도의 일례이다. 도 14에 도시되는 처리는, 예를 들어, 소정의 주기로 실행된다. 소정의 주기는, 예를 들어, 1시간에 1회, 하루에 1회 등이며, 관리자에 의해 임의로 설정된다. 또한, 도 14에 도시되는 처리는 마스터로 설정되어 있는 축적 서버(1)에 의해 실행되는 처리이다. 도 14에서는, 설명의 편의상, 도 2의 파일 A, 파일 B를 삭제 대상으로 하여 설명한다. 또한, 삭제 대상이 되는 것은, 도 14의 처리의 실행 개시 시점에서, 용장 파일이 존재하는 영상 파일이다. 단, 상한 시간의 길이에 도달하고 있지 않은 최신의 파일에 대해서는, 삭제 대상으로부터 삭제되는 것으로 한다.
OP41에서는, 삭제 처리부(15)는 삭제 대상의 파일 A, 파일 B의 인덱스 파일을 읽어들인다. 다음에 처리가 OP42로 진행한다.
OP42에서는, 삭제 처리부(15)는 파일 A, 파일 B 각각에 대해, 각각의 인덱스 파일의 시퀀스 번호로부터, 결손 패킷수를 산출한다. 다음에 처리가 OP43으로 진행한다.
OP43에서는, 삭제 처리부(15)는 파일 A와 파일 B에서 결손 패킷수가 일치하고 있는지 여부를 판정한다. 파일 A와 파일 B에서 결손 패킷수가 일치하는 경우에는(OP43:"예"), 처리가 OP46으로 진행한다. 파일 A와 파일 B에서 결손 패킷수가 다른 경우에는(OP43:"아니오"), 처리가 OP44로 진행한다.
OP44, OP45는 파일 A와 파일 B에서 결손 패킷수가 다른 경우의 처리이다. OP44에서는, 삭제 처리부(15)는 파일 A, 파일 B 각각에 대해, TS 패킷이 연속해서 결손되어 있는 횟수를 산출한다. 다음에 처리가 OP45로 진행한다.
OP45에서는, 삭제 처리부(15)는 TS 패킷이 연속해서 결손되어 있는 횟수가 많은 쪽의 영상 파일과 해당 영상 파일의 보완 파일을 삭제 대상으로서 마크한다. 제1 실시 형태에서는, TS 패킷이 연속해서 결손되어 있는 횟수가 많을수록, 영상 품질이 떨어진다고 간주되기 때문이다. 즉, 삭제 처리부(15)는 영상 품질이 좋은 쪽의 파일을 남긴다. 다음에, 처리가 OP47로 진행한다.
OP46은 파일 A와 파일 B에서 결손 패킷수가 일치하고 있으므로, 마스터인 자장치가 관리하는 영상 파일과 해당 영상 파일의 보완 파일을 삭제 대상으로서 마크한다. 다음에 처리가 OP47로 진행한다.
OP47에서는, 삭제 처리부(15)는 디스크 사용률을 확인하고, 파일을 저장하는 파일 서버(2)에의 액세스 대기의 큐인 액세스 큐의 사이즈가 소정의 임계값 이하로 된 경우에, 마크한 파일을 삭제한다. 그 후, 도 14에 도시되는 처리가 종료된다.
<제1 실시 형태의 작용 효과>
제1 실시 형태에서는, 예를 들어, 축적 서버 A는 파일 A 내의 결손 패킷을, 파일 A의 용장 파일인 파일 B로부터 취득하고, 파일 A의 보완 파일을 작성한다. 축적 서버 B도 마찬가지로, 파일 B 내의 결손 패킷을 파일 A로부터 취득하고, 파일 B의 보완 파일을 작성한다. 이에 의해, 파일 A, 파일 B도, 보다 결손 패킷이 적고, 보다 영상 품질이 좋은 데이터가 되고, 전송 도중의 패킷 손실의 영향을 저감할 수 있다. 이에 의해, 영상 데이터에 대한 신뢰성을 향상시킬 수 있다.
또한, 축적 서버(1)는 영상 파일의 결손 패킷의 개소에 다른 영상 파일로부터 취득한 결손 패킷에 대응하는 영상 패킷을 삽입하는 것이 아니라, 영상 파일과는 별도로 보완 파일을 작성한다. 이에 의해, 축적 서버(1)에 관한 처리 부하의 증가를 억제할 수 있다.
제1 실시 형태에서는, 보완 처리부(13)는 영상 파일의 해시 데이터가, 용장 파일인 다른 영상 파일의 해시 데이터와 일치하지 않는 경우에, 호출되고, 동작을 개시한다. 이에 의해, 양쪽 파일의 해시 데이터가 일치하는 경우에는 보완 처리부(13)는 동작하지 않으므로, 보완 처리부(13)의 가동을 보다 적게 억제할 수 있어, 축적 서버(1)에 관한 처리 부하를 적게 억제할 수 있다.
또한, 제1 실시 형태에서는, 마스터로 설정된 축적 서버(1)가, 용장하는 영상 파일을 삭제함으로써, 영상 파일의 기억에 사용되는 기억 용량을 삭감할 수 있다.
또한, 제1 실시 형태에서는, 마스터로 설정된 축적 서버(1)는 디스크 사용률의 액세스 큐의 사이즈가 임계값 이하인 경우에, 용장 파일을 삭제하므로, 파일 삭제에 의한 다른 처리에의 영향을 억제할 수 있다.
<기타>
제1 실시 형태에서는, 인코더(50)는 MPEG에 의해 영상 데이터를 인코딩하지만, 이에 한정되지 않고, MPEG 대신에, H265, H264 등의 TS 패킷을 사용하는 동화상 압축 규격을 사용해도 된다.
제1 실시 형태에서는, TS 패킷 단위로, 결손 패킷의 보완이 행해지지만, 이에 한정되지 않고, RTP 패킷 단위로 결손 패킷의 보완이 행해져도 된다. RTP 단위로 결손 패킷의 보완이 행해지는 경우에는, 인덱스 파일은 TS 패킷에 관한 정보인 TS 정보 대신에, RTP 패킷에 관한 RTP 정보를 포함한다. RTP 정보는 TS 정보와 마찬가지로, 영상 파일의 선두로부터의 재생 개시 시간, 시퀀스 번호, 오프셋 위치 정보, 타임 스탬프 등을 포함한다. 이 경우에는, RTP 패킷은 「영상 패킷」의 일례가 된다.
제1 실시 형태에서는, 축적 서버 A, 축적 서버 B의 2대로 용장 구성을 취하는 시스템에 대해 설명되었지만, 제1 실시 형태에서 설명된 기술은, 3대 이상의 축적 서버에 의해 용장 구성을 취하는 시스템에도 적용 가능하다. 제1 실시 형태에서 설명된 기술이, 3대 이상의 축적 서버에 의해 용장 구성을 취하는 시스템에 적용되는 경우에는, 이하와 같이 된다.
도 11에 도시되는 중간 처리부(12)의 처리에서는, 비교 대상의 해시 데이터가 3개 이상이 된다. 도 11의 OP12에서는, 3개 이상의 비교 대상의 해시 데이터 중, 1개라도 일치하지 않는 해시 데이터가 있는 경우에는, 보완 처리부(13)가 호출된다.
또한, 도 12의 보완 처리부(13)의 처리는, 예를 들어, 축적 서버 A, B, C가 있고, 각각, 파일 A, B, C를 관리하는 경우를 상정하면, 이하와 같이 된다. 축적 서버 A는, 파일 A의 결손 패킷이, 파일 B, 파일 C에 존재하는지 여부를 판정한다. 파일 A의 결손 패킷이, 파일 B, 파일 C의 양쪽에 존재하는 경우에는, 패킷이 연속해서 결손되는 횟수가 적은 쪽으로부터 결손 패킷에 대응하는 TS 패킷을 취득한다. 파일 A의 결손 패킷이, 파일 B, 파일 C 중 어느 한쪽에 존재하는 경우에는, 파일 A의 결손 패킷을 갖는 파일로부터 결손 패킷에 대응하는 TS 패킷을 취득한다.
또는, 축적 서버 A는, 파일 A와 파일 B, 파일 A와 파일 C의 각각의 조합에 대해, 도 12의 처리를 순서대로 행해도 된다. 예를 들어, 1회째의 도 12의 처리 실행에 의해, 축적 서버 A는 파일 A의 결손 패킷을 파일 B로부터 취득하고, 2회째의 도 12의 처리 실행에 의해, 축적 서버 A는 파일 B로부터 취득되지 않았던 파일 A의 결손 패킷을 파일 C로부터 취득한다.
제1 실시 형태에서는, 축적 서버(1)가, 축적부(11), 중간 처리부(12), 보완 처리부(13), 배신 처리부(14), 삭제 처리부(15)의 처리를 행한다. 단, 이에 한정되지 않고, 축적부(11), 중간 처리부(12), 보완 처리부(13), 배신 처리부(14), 삭제 처리부(15)의 처리는, 각각 다른 서버에 의해 실행되어도 된다. 즉, 영상 데이터 축적 시스템은, 축적부(11), 중간 처리부(12), 보완 처리부(13), 배신 처리부(14), 삭제 처리부(15)에 각각 대응하는, 축적 서버, 중간 처리 서버, 보완 처리 서버, 배신 서버, 삭제 처리 서버를 포함하는 구성이어도 된다.
<기록 매체>
컴퓨터 그 밖의 기계, 장치(이하, 컴퓨터 등)에 상기 어느 한쪽의 기능을 실현시키는 프로그램을 컴퓨터 등이 판독 가능한 기록 매체에 기록할 수 있다. 컴퓨터 등에, 이 기록 매체의 프로그램을 읽어들이게 하여 실행시킴으로써, 그 기능을 제공시킬 수 있다.
여기서, 컴퓨터 등이 판독 가능한 기록 매체란, 데이터나 프로그램 등의 정보를 전기적, 자기적, 광학적, 기계적 또는 화학적 작용에 의해 축적하고, 컴퓨터 등으로부터 판독할 수 있는 비일시적인 기록 매체를 말한다. 이와 같은 기록 매체 중 컴퓨터 등으로부터 제거 가능한 것으로서는, 예를 들어, 플렉시블 디스크, 광자기 디스크, CD-ROM, CD-R/W, DVD, 블루레이 디스크, DAT, 8㎜ 테이프, 플래시 메모리 등의 메모리 카드 등이 있다. 또한, 컴퓨터 등에 고정된 기록 매체로서 하드 디스크, ROM(리드 온리 메모리) 등이 있다. 또한, SSD(Solid State Drive)는 컴퓨터 등으로부터 제거 가능한 기록 매체로서도, 컴퓨터 등에 고정된 기록 매체로서도 이용 가능하다.
이상의 제1 실시 형태에 관한 것이고, 또한 이하의 부기를 개시한다.
(부기 1)
영상원으로부터 수신된 영상 패킷을 포함하는 파일을 작성하는 파일 작성부와,
상기 작성된 파일에 포함되는 각 영상 패킷의, 시퀀스 번호와 해당 파일에 있어서의 위치를 나타내는 오프셋 위치 정보를 포함하는 인덱스 파일을 작성하는 인덱스 작성부와,
상기 작성된 파일의 인덱스 파일과, 해당 작성된 파일에 포함되는 영상 패킷의 경로와는 다른 경로에 의해 상기 영상원으로부터 수신된 영상 패킷을 포함하는 다른 파일의 인덱스 파일에 기초하여, 상기 작성된 파일의 영상 패킷이 결손되어 있는 경우에 해당 영상 패킷의 결손을 보완하는 보완 데이터를 작성하는 보완 데이터 작성부
를 구비하는 영상 데이터 처리 장치.
(부기 2)
상기 작성된 파일에 기초하는 해시 데이터를 작성하는 해시 데이터 작성부와,
상기 작성된 파일과 상기 다른 파일과의 해시 데이터를 비교하는 비교부를 더 구비하고,
상기 보완 데이터 작성부는, 상기 해시 데이터가 일치하지 않는 경우에, 상기 보완 데이터의 작성을 행하는,
부기 1에 기재된 영상 데이터 처리 장치.
(부기 3)
상기 보완 데이터 작성부는, 상기 보완 데이터를, 상기 작성된 파일과는 다른 파일로서 보유하는,
부기 1 또는 2에 기재된 영상 데이터 처리 장치.
(부기 4)
상기 작성된 파일로부터 영상 패킷을 판독하고, 상기 작성된 파일의 결손되어 있는 영상 패킷을 상기 보완 데이터로부터 판독하여, 판독한 영상 패킷을 소정의 수신처에 송신하는 배신부,
를 더 구비하는 부기 1 내지 3 중 어느 하나에 기재된 영상 데이터 처리 장치.
(부기 5)
상기 영상 패킷은 작성된 시각의 타임 스탬프를 갖고,
상기 인덱스 작성부는, 각 영상 패킷의 타임 스탬프도 포함하는 상기 인덱스 파일을 작성하고,
상기 배신부는, 상기 인덱스 파일에 기초하여, 상기 작성된 파일 내의 배신 요구에 의해 지정된 시각에 해당하는 영상 패킷의 위치를 특정하고, 특정한 위치의 영상 패킷으로부터 송신을 행하는,
부기 4에 기재된 영상 데이터 처리 장치.
(부기 6)
상기 작성된 파일과 상기 다른 파일 중, 영상 품질이 떨어진 쪽의 파일을 삭제하는 삭제부,
를 더 구비하는 부기 1 내지 5 중 어느 하나에 기재된 영상 데이터 처리 장치.
(부기 7)
상기 삭제부는, 상기 인덱스 파일로부터, 상기 작성된 파일과 상기 다른 파일과의 각각의 영상 패킷이 연속해서 결손되어 있는 횟수를 산출하고, 상기 영상 패킷이 연속해서 결손되어 있는 횟수가 많은 쪽을, 영상 품질이 떨어지는 쪽으로 하여, 삭제하는,
부기 6에 기재된 영상 데이터 처리 장치.
(부기 8)
상기 영상 패킷은, UDP를 사용해서 송신되는,
부기 1 내지 7 중 어느 하나에 기재된 영상 데이터 처리 장치.
(부기 9)
상기 영상 패킷은, 소정의 영상 압축 또는 신장 방식에 의해, 영상원에 의해 취득된 영상 데이터가 인코딩되어 작성된 것인,
부기 1 내지 8 중 어느 하나에 기재된 영상 데이터 처리 장치.
(부기 10)
영상원으로부터 수신된 영상 패킷을 포함하는 파일을 작성하는 파일 작성부와,
상기 작성된 파일에 포함되는 각 영상 패킷의, 시퀀스 번호와 해당 파일에 있어서의 위치를 나타내는 오프셋 위치 정보를 포함하는 인덱스 파일을 작성하는 인덱스 작성부와,
상기 작성된 파일의 인덱스 파일과, 해당 작성된 파일에 포함되는 영상 패킷의 경로와는 다른 경로에 의해 상기 영상원으로부터 수신된 영상 패킷을 포함하는 다른 파일의 인덱스 파일에 기초하여, 상기 작성된 파일의 영상 패킷이 결손되어 있는 경우에 해당 영상 패킷의 결손을 보완하는 보완 데이터를 작성하는 보완 데이터 작성부
를 구비하는 영상 데이터 처리 시스템.
(부기 11)
컴퓨터가,
영상원으로부터 수신된 영상 패킷을 포함하는 파일을 작성하고,
상기 작성된 파일에 포함되는 각 영상 패킷의, 시퀀스 번호와 해당 파일에 있어서의 위치를 나타내는 오프셋 위치 정보를 포함하는 인덱스 파일을 작성하고,
상기 작성된 파일의 인덱스 파일과, 해당 작성된 파일에 포함되는 영상 패킷의 경로와는 다른 경로에 의해 상기 영상원으로부터 수신된 영상 패킷을 포함하는 다른 파일의 인덱스 파일에 기초하여, 상기 작성된 파일의 영상 패킷이 결손되어 있는 경우에 해당 영상 패킷의 결손을 보완하는 보완 데이터를 작성하는,
영상 데이터 처리 방법.
(부기 12)
컴퓨터가,
영상원으로부터 수신된 영상 패킷을 포함하는 파일을 작성하고,
상기 작성된 파일에 포함되는 각 영상 패킷의, 시퀀스 번호와 해당 파일에 있어서의 위치를 나타내는 오프셋 위치 정보를 포함하는 인덱스 파일을 작성하고,
상기 작성된 파일의 인덱스 파일과, 해당 작성된 파일에 포함되는 영상 패킷의 경로와는 다른 경로에 의해 상기 영상원으로부터 수신된 영상 패킷을 포함하는 다른 파일의 인덱스 파일에 기초하여, 상기 작성된 파일의 영상 패킷이 결손되어 있는 경우에 해당 영상 패킷의 결손을 보완하는 보완 데이터를 작성하기 위한 영상 데이터 처리 프로그램을 기록하는 기록 매체.
1 : 축적 서버
2 : 파일 서버
11 : 축적부
11M : 파일 출력 버퍼
12 : 중간 처리부
13 : 보완 처리부
14 : 배신 처리부
15 : 삭제 처리부
50 : 인코더
61, 62 : 데이터 센터
100, 200 : 영상 데이터 축적 시스템
101 : CPU
102 : 주기억 장치
103 : 보조 기억 장치

Claims (10)

  1. 영상원으로부터 수신된 영상 패킷을 포함하는 파일을 작성하는 파일 작성부와,
    상기 작성된 파일에 포함되는 각 영상 패킷의, 시퀀스 번호와 상기 파일에 있어서의 위치를 나타내는 오프셋 위치 정보를 포함하는 인덱스 파일을 작성하는 인덱스 작성부와,
    상기 작성된 파일의 인덱스 파일과, 상기 작성된 파일에 포함되는 영상 패킷의 경로와는 다른 경로에 의해 상기 영상원으로부터 수신된 영상 패킷을 포함하는 다른 파일의 인덱스 파일에 기초하여, 상기 작성된 파일 내의 영상 패킷의 결손 패킷의 시퀀스 번호를 특정하고, 상기 다른 파일로부터 상기 결손 패킷의 시퀀스 번호에 합치하는 시퀀스 번호의 패킷을, 상기 영상 패킷의 결손을 보완하는 보완 데이터로서 취득하는 보완 데이터 작성부
    를 구비하는 영상 데이터 처리 장치.
  2. 제1항에 있어서,
    상기 작성된 파일에 기초하는 해시 데이터를 작성하는 해시 데이터 작성부와,
    상기 작성된 파일의 해시 데이터와 상기 다른 파일의 해시 데이터를 비교하는 비교부를 더 구비하고,
    상기 보완 데이터 작성부는, 상기 해시 데이터가 일치하지 않는 경우에, 상기 보완 데이터의 작성을 행하는 영상 데이터 처리 장치.
  3. 제1항에 있어서,
    상기 보완 데이터 작성부는, 상기 보완 데이터를, 상기 작성된 파일과는 다른 파일로서 보유하는 영상 데이터 처리 장치.
  4. 제1항에 있어서,
    상기 작성된 파일로부터 영상 패킷을 판독하고, 상기 작성된 파일의 결손되어 있는 영상 패킷을 상기 보완 데이터로부터 판독하여, 판독한 영상 패킷을 소정의 수신처에 송신하는 배신부를 더 구비하는 영상 데이터 처리 장치.
  5. 제4항에 있어서,
    상기 영상 패킷은 작성된 시각의 타임 스탬프를 갖고,
    상기 인덱스 작성부는, 각 영상 패킷의 타임 스탬프도 포함하는 상기 인덱스 파일을 작성하고,
    상기 배신부는, 상기 인덱스 파일에 기초하여, 상기 작성된 파일 내의 배신 요구에 의해 지정된 시각에 해당하는 영상 패킷의 위치를 특정하고, 특정한 위치의 영상 패킷으로부터 송신을 행하는 영상 데이터 처리 장치.
  6. 제1항에 있어서,
    상기 작성된 파일과 상기 다른 파일 중, 영상 품질이 떨어진 쪽의 파일을 삭제하는 삭제부를 더 구비하는 영상 데이터 처리 장치.
  7. 영상원으로부터 수신된 영상 패킷을 포함하는 파일을 작성하는 파일 작성부와,
    상기 작성된 파일에 포함되는 각 영상 패킷의, 시퀀스 번호와 상기 파일에 있어서의 위치를 나타내는 오프셋 위치 정보를 포함하는 인덱스 파일을 작성하는 인덱스 작성부와,
    상기 작성된 파일의 인덱스 파일과, 상기 작성된 파일에 포함되는 영상 패킷의 경로와는 다른 경로에 의해 상기 영상원으로부터 수신된 영상 패킷을 포함하는 다른 파일의 인덱스 파일에 기초하여, 상기 작성된 영상 패킷이 결손되어 있는 경우에 상기 영상 패킷의 결손을 보완하는 보완 데이터를 작성하는 보완 데이터 작성부와,
    상기 작성된 파일과 상기 다른 파일 중, 상기 인덱스 파일로부터, 상기 작성된 파일과 상기 다른 파일과의 각각의 영상 패킷이 연속해서 결손되어 있는 횟수를 산출하고, 상기 영상 패킷이 연속해서 결손되어 있는 횟수가 많은 쪽을, 영상 품질이 떨어지는 쪽으로 하여 삭제하는 삭제부
    를 구비하는 영상 데이터 처리 장치.
  8. 영상원으로부터 수신된 영상 패킷을 포함하는 파일을 작성하는 파일 작성부와,
    상기 작성된 파일에 포함되는 각 영상 패킷의, 시퀀스 번호와 상기 파일에 있어서의 위치를 나타내는 오프셋 위치 정보를 포함하는 인덱스 파일을 작성하는 인덱스 작성부와,
    상기 작성된 파일의 인덱스 파일과, 상기 작성된 파일에 포함되는 영상 패킷의 경로와는 다른 경로에 의해 상기 영상원으로부터 수신된 영상 패킷을 포함하는 다른 파일의 인덱스 파일에 기초하여, 상기 작성된 파일 내의 영상 패킷의 결손 패킷의 시퀀스 번호를 특정하고, 상기 다른 파일로부터 상기 결손 패킷의 시퀀스 번호에 합치하는 시퀀스 번호의 패킷을, 상기 영상 패킷의 결손을 보완하는 보완 데이터로서 취득하는 보완 데이터 작성부
    를 구비하는 영상 데이터 처리 시스템.
  9. 컴퓨터가,
    영상원으로부터 수신된 영상 패킷을 포함하는 파일을 작성하고,
    상기 작성된 파일에 포함되는 각 영상 패킷의, 시퀀스 번호와 상기 파일에 있어서의 위치를 나타내는 오프셋 위치 정보를 포함하는 인덱스 파일을 작성하고,
    상기 작성된 파일의 인덱스 파일과, 상기 작성된 파일에 포함되는 영상 패킷의 경로와는 다른 경로에 의해 상기 영상원으로부터 수신된 영상 패킷을 포함하는 다른 파일의 인덱스 파일에 기초하여, 상기 작성된 파일 내의 영상 패킷의 결손 패킷의 시퀀스 번호를 특정하고, 상기 다른 파일로부터 상기 결손 패킷의 시퀀스 번호에 합치하는 시퀀스 번호의 패킷을, 상기 영상 패킷의 결손을 보완하는 보완 데이터로서 취득하는,
    영상 데이터 처리 방법.
  10. 컴퓨터에,
    영상원으로부터 수신된 영상 패킷을 포함하는 파일을 작성시키고,
    상기 작성된 파일에 포함되는 각 영상 패킷의, 시퀀스 번호와 상기 파일에 있어서의 위치를 나타내는 오프셋 위치 정보를 포함하는 인덱스 파일을 작성시키고,
    상기 작성된 파일의 인덱스 파일과, 상기 작성된 파일에 포함되는 영상 패킷의 경로와는 다른 경로에 의해 상기 영상원으로부터 수신된 영상 패킷을 포함하는 다른 파일의 인덱스 파일에 기초하여, 상기 작성된 파일 내의 영상 패킷의 결손 패킷의 시퀀스 번호를 특정하고, 상기 다른 파일로부터 상기 결손 패킷의 시퀀스 번호에 합치하는 시퀀스 번호의 패킷을, 상기 영상 패킷의 결손을 보완하는 보완 데이터로서 취득하기 위한 영상 데이터 처리 프로그램을 기록하는 기록 매체.
KR1020160024636A 2015-03-27 2016-02-29 영상 데이터 처리 장치 KR101785577B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2015-066658 2015-03-27
JP2015066658A JP6443173B2 (ja) 2015-03-27 2015-03-27 映像データ処理装置、映像データ処理システム、映像データ処理方法、及び、映像データ処理プログラム

Publications (2)

Publication Number Publication Date
KR20160115710A KR20160115710A (ko) 2016-10-06
KR101785577B1 true KR101785577B1 (ko) 2017-10-16

Family

ID=56975949

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160024636A KR101785577B1 (ko) 2015-03-27 2016-02-29 영상 데이터 처리 장치

Country Status (3)

Country Link
US (1) US9819979B2 (ko)
JP (1) JP6443173B2 (ko)
KR (1) KR101785577B1 (ko)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6919261B2 (ja) * 2017-03-24 2021-08-18 ヤマハ株式会社 音データ処理装置、音データ処理方法及びプログラム
JP6796024B2 (ja) * 2017-05-19 2020-12-02 ミネベアミツミ株式会社 ワイヤレス電力伝送システム、およびワイヤレス電力伝送システムの通信方法
CN111566627B (zh) * 2017-11-09 2023-07-21 日本电信电话株式会社 信息蓄积装置、数据处理系统及记录介质
JP7202818B2 (ja) * 2018-09-07 2023-01-12 三菱電機株式会社 データ収集装置
US10909122B2 (en) * 2018-11-09 2021-02-02 International Business Machines Corporation Using modified blockchain concepts to guarantee no tuple loss and/or no tuple corruption
CN113439436A (zh) * 2019-02-16 2021-09-24 三星电子株式会社 用于控制视频接收的方法和设备
CN110572691B (zh) * 2019-08-01 2022-05-20 浙江大华技术股份有限公司 视频读取方法、装置、设备和存储介质
CN110602452B (zh) * 2019-09-05 2020-12-25 杭州米络星科技(集团)有限公司 一种保障全球udp音视频流远距离实时传输流畅的方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006005942A (ja) * 2004-06-18 2006-01-05 Avaya Technology Corp インターネット・プロトコル電話の高速な障害検出および復旧
US20100031086A1 (en) * 2008-07-31 2010-02-04 Andrew Charles Leppard Repair of a corrupt data segment used by a de-duplication engine
US20100118722A1 (en) * 2008-11-12 2010-05-13 Chalet Technology System And Method For Providing Data Streaming And Timing Information With Missing Package Recovery

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000333104A (ja) * 1999-05-20 2000-11-30 Toshiba Corp 映像蓄積方法、映像配信システムおよび記憶媒体
JP2001312434A (ja) * 2000-04-28 2001-11-09 Nippon Telegr & Teleph Corp <Ntt> 情報配信システム
WO2007123904A1 (en) 2006-04-18 2007-11-01 Interdigital Technology Corporation Method and apparatus for implementing h-arq in a mimo wireless communication system
JP2008153916A (ja) * 2006-12-18 2008-07-03 Matsushita Electric Ind Co Ltd デジタル放送送受信装置及び方法
US8990663B2 (en) * 2006-12-21 2015-03-24 Thomson Licensing Method to support forward error correction for real-time audio and video data over internet protocol networks
JP2009064237A (ja) * 2007-09-06 2009-03-26 Sony Corp デジタルシネマ処理装置、ファイル検証方法及びプログラム
WO2009044487A1 (ja) * 2007-10-05 2009-04-09 Panasonic Corporation 無線通信端末及び無線通信システム
JP5235800B2 (ja) * 2009-06-24 2013-07-10 日本電信電話株式会社 Ｉｐストリーム送受信システム、ｉｐストリーム送受信方法、ｉｐストリーム送受信プログラムおよびそのプログラムを記録した記録媒体
JP2012095053A (ja) * 2010-10-26 2012-05-17 Toshiba Corp ストリーム伝送システム、送信装置、受信装置、ストリーム伝送方法及びプログラム
DK2823616T3 (da) * 2012-03-06 2021-01-11 Appear Tv As Fremgangsmåde, enhed og system til pakketransmission over ip-netværk
US20150365454A1 (en) * 2014-06-17 2015-12-17 Qualcomm Incorporated Media processing services on an access node

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006005942A (ja) * 2004-06-18 2006-01-05 Avaya Technology Corp インターネット・プロトコル電話の高速な障害検出および復旧
US20100031086A1 (en) * 2008-07-31 2010-02-04 Andrew Charles Leppard Repair of a corrupt data segment used by a de-duplication engine
US20100118722A1 (en) * 2008-11-12 2010-05-13 Chalet Technology System And Method For Providing Data Streaming And Timing Information With Missing Package Recovery

Also Published As

Publication number Publication date
JP6443173B2 (ja) 2018-12-26
JP2016187122A (ja) 2016-10-27
KR20160115710A (ko) 2016-10-06
US9819979B2 (en) 2017-11-14
US20160286254A1 (en) 2016-09-29

Similar Documents

Publication Publication Date Title
KR101785577B1 (ko) 영상 데이터 처리 장치
JP7036962B2 (ja) 再生方法および再生装置
EP2721814B1 (en) Method and apparatus for transmitting/receiving media contents in multimedia system
US5838678A (en) Method and device for preprocessing streams of encoded data to facilitate decoding streams back-to back
JP2023090754A (ja) 再生方法および再生装置
EP1102493A1 (en) Video data formatting and storage
EP3057261B1 (en) Transmission method, reception method, transmission device, and reception device
JP5369599B2 (ja) 映像符号化装置、映像符号化方法
KR20170065568A (ko) 샘플 메타데이터와 미디어 샘플들의 결합
JP7293433B2 (ja) 送信方法、受信方法、送信装置及び受信装置
JP7307237B2 (ja) 受信方法、送信方法、受信装置及び送信装置
US11457286B2 (en) Video distribution apparatus, distribution method, and recording medium
US9473732B2 (en) Self correcting record pipeline
KR102222543B1 (ko) 영상 데이터의 동기 재생을 위한 영상 데이터 인코딩 방법 및 장치
JP5939884B2 (ja) 誤り訂正符号化装置
JP3880438B2 (ja) 画像通信装置
US10652608B2 (en) Receiving apparatus and method, and transmitting apparatus and method
JP2006352784A (ja) 伝送方法、受信装置及びコンピュータプログラム
CA2535457C (en) Method and system for re-multiplexing of content-modified mpeg-2 transport streams using pcr interpolation
JP2022064531A (ja) 送信装置および受信装置
JP2023161219A (ja) 送信装置、受信装置及びそれらのプログラム
CN115883855A (zh) 播放数据处理方法、装置、计算机设备和存储介质
JP2023076538A (ja) 送信方法、受信方法、送信装置及び受信装置

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right