KR101795350B1 - 데이터 처리 장치 및 데이터 처리 방법 및 기록 매체에 저장된 데이터 처리 프로그램 - Google Patents

데이터 처리 장치 및 데이터 처리 방법 및 기록 매체에 저장된 데이터 처리 프로그램 Download PDF

Info

Publication number
KR101795350B1
KR101795350B1 KR1020177023196A KR20177023196A KR101795350B1 KR 101795350 B1 KR101795350 B1 KR 101795350B1 KR 1020177023196 A KR1020177023196 A KR 1020177023196A KR 20177023196 A KR20177023196 A KR 20177023196A KR 101795350 B1 KR101795350 B1 KR 101795350B1
Authority
KR
South Korea
Prior art keywords
frame data
time
read
reception
data
Prior art date
Application number
KR1020177023196A
Other languages
English (en)
Other versions
KR20170102025A (ko
Inventor
다카히로 히라마츠
Original Assignee
미쓰비시덴키 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 미쓰비시덴키 가부시키가이샤 filed Critical 미쓰비시덴키 가부시키가이샤
Publication of KR20170102025A publication Critical patent/KR20170102025A/ko
Application granted granted Critical
Publication of KR101795350B1 publication Critical patent/KR101795350B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/65—Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4344—Remultiplexing of multiplex streams, e.g. by modifying time stamps or remapping the packet identifiers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44008—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving operations for analysing video streams, e.g. detecting features or characteristics in the video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/63—Control signaling related to video distribution between client, server and network components; Network processes for video distribution between server and clients or between remote clients, e.g. transmitting basic layer and enhancement layers over different transmission paths, setting up a peer-to-peer communication via Internet between remote STB's; Communication protocols; Addressing
    • H04N21/643—Communication protocols
    • H04N21/6437—Real-time Transport Protocol [RTP]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

수신부(301)는, 타임 스탬프가 설정되어 있는 복수의 I 프레임 데이터와 복수의 P 프레임 데이터를 수신한다. 시각 취득부(302)는, 각 I 프레임 데이터의 수신 시각을 취득한다. 영상 기억부(303)는, 복수의 I 프레임 데이터와 복수의 P 프레임 데이터를 기억한다. 시각 계산부(304)는, I 프레임 데이터의 영상 기억부(303)로부터의 판독 시각을 판독 대상의 I 프레임 데이터의 수신 시각과 판독 대상의 I 프레임 데이터에 선행하는 I 프레임 데이터인 선행 I 프레임 데이터의 수신 시각과 선행 I 프레임 데이터의 판독 시각에 근거하여 계산하고, P 프레임 데이터의 영상 기억부(303)로부터의 판독 시각을 판독 대상의 P 프레임 데이터의 타임 스탬프에 근거하여 계산한다. 데이터 판독부(305)는, 판독 대상의 I 프레임 데이터와 판독 대상의 P 프레임 데이터를 시각 계산부(304)에 의해 계산된 시각에 판독한다.

Description

데이터 처리 장치 및 데이터 처리 방법 및 기록 매체에 저장된 데이터 처리 프로그램
본 발명은, 영상 데이터의 판독 시각을 제어하는 기술에 관한 것이다.
감시 카메라가, RFC(Request for Comments) 3550으로 정의되는 RTP(Real-time Transport Protocol) 프로토콜을 이용하여 영상 데이터를 레코더에 송신하는 경우를 상정한다.
이 경우에, 레코더에서는, RTCP(Real-time Transport Control Protocol) 패킷의 SR(Sender Report)을 이용하여, RTP 헤더에 포함되는 타임 스탬프와, 감시 카메라가 갖는 NTP(Network Time Protocol) 타임 스탬프를 동기시키는 것이 행해진다.
상기의 방식으로 영상 데이터를 송신하는 감시 카메라가 시각 백업용의 전지를 갖지 않는 경우는, 감시 카메라는 전원 절단시에 올바른 시각을 유지할 수 없다.
이 때문에, 감시 카메라는 전원 절단이 있었을 경우에는, 전원 투입 후에 NTP 프로토콜 등을 이용하여 외부로부터 시각을 취득하게 된다.
그렇지만, 감시 카메라가 시각을 취득할 수 있을 때까지 소정의 시간을 요한다.
감시 카메라가 외부로부터 시각을 취득할 수 있을 때까지의 사이에도 감시 카메라가 촬상을 행하고, 촬상된 영상 데이터를 레코더에 송신하는 경우는, 시각을 취득할 때까지의 사이에, RTCP의 SR에 의해 RTP 타임 스탬프에 대응되는 NTP 타임 스탬프는 잘못된 값이 된다.
이 때문에, 레코더는, 잘못된 NTP 타임 스탬프로 영상 데이터를 기록하게 되고, 영상 데이터를 재전달할 때 등에 잘못된 타이밍에 영상 데이터를 재전달하게 된다.
이 문제를 회피하기 위해서는, RTCP를 이용하지 않고, 레코더에서 각 프레임의 영상 데이터의 수신 시각을 기록하여 두고, 기록한 수신 시각을 영상 데이터를 재전달할 때의 타이밍 정보로서 이용하는 것도 생각할 수 있다.
그러나, H.264와 같은 예측 부호화 방식에서는 I(Intra-coded) 프레임 데이터의 사이즈가 다른 종류의 프레임 데이터의 사이즈보다 크다.
이 때문에, 감시 카메라와 레코더 사이의 대역 등의 요인에 의해, I 프레임 데이터의 송신은 다른 종류의 프레임 데이터의 송신보다 시간이 걸린다.
이 결과, I 프레임 데이터의 직전의 프레임 데이터와 I 프레임 데이터의 사이의 수신 간격 및 I 프레임 데이터와 I 프레임 데이터의 직후의 프레임 데이터의 사이의 수신 간격이 촬상시의 프레임 간격보다 길어져, I 프레임 데이터 및 I 프레임 데이터에 후속하는 프레임 데이터에 어긋남이 생기는 경우가 있다.
이 어긋남은, I 프레임 데이터의 수신마다 가산되어 간다.
그리고, 프레임 데이터의 수신 시각에 따라서 예컨대 재전달을 위해 프레임 데이터를 판독하면, I 프레임 데이터가 나타날 때마다, 판독 타이밍이 촬상 타이밍과 어긋나 간다.
특허 문헌 1에는, RTP에 의해 MPEG2-TS(Motion Picture Experts Group 2 Transport Stream)와 같이 엄밀한 클록 동기를 행할 필요가 있는 데이터를 송신하는 경우에, PLL(Phase Locked Loop)을 이용하여 클록 재생하는 기술이 기재되어 있다.
(선행 기술 문헌)
(특허 문헌)
(특허 문헌 1) 일본 특허 공개 2009-239375호 공보
상술한 바와 같이, 레코더에서의 프레임 데이터의 수신 시각에 따라서 프레임 데이터를 판독하는 방식에서는, I 프레임 데이터의 사이즈가 다른 종류의 프레임 데이터의 사이즈보다 큰 경우에, I 프레임 데이터가 나타날 때마다, 판독 타이밍이 촬상 타이밍과 어긋나 간다고 하는 과제가 있다.
또한, 특허 문헌 1의 기술에서는, PLL이라고 하는 특별한 하드웨어가 필요하다.
본 발명은, 상기와 같은 과제를 해결하는 것을 주된 목적으로 하고 있고, I 프레임 데이터의 사이즈가 다른 종류의 프레임 데이터의 사이즈보다 큰 경우에도, 특별한 하드웨어를 이용하는 일 없이, 각 프레임의 프레임 데이터의 판독 시각을 촬상 시각에 동기시키는 것을 주된 목적으로 한다.
본 발명과 관련되는 데이터 처리 장치는, 각각 타임 스탬프가 설정되어 있는 복수의 I(Intra-coded) 프레임 데이터와 복수의 P(Predicted) 프레임 데이터를 수신하는 수신부와, 상기 수신부에 의한 각 I 프레임 데이터의 수신 시각을 취득하는 시각 취득부와, 상기 수신부에 의해 수신된 상기 복수의 I 프레임 데이터와 상기 복수의 P 프레임 데이터를 기억하는 영상 기억부와, I 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을 판독 대상의 I 프레임 데이터의 수신 시각과 상기 판독 대상의 I 프레임 데이터에 선행하는 I 프레임 데이터인 선행 I 프레임 데이터의 수신 시각과 상기 선행 I 프레임 데이터의 판독 시각에 근거하여 계산하고, P 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을 판독 대상의 P 프레임 데이터의 타임 스탬프에 근거하여 계산하는 시각 계산부와, 상기 판독 대상의 I 프레임 데이터와 상기 판독 대상의 P 프레임 데이터를 각각 상기 시각 계산부에 의해 계산된 시각에 상기 영상 기억부로부터 판독하는 데이터 판독부를 갖는다.
본 발명에서는, I 프레임 데이터의 판독 시각을, 판독 대상의 I 프레임 데이터의 수신 시각과 선행 I 프레임 데이터의 수신 시각과 선행 I 프레임 데이터의 판독 시각에 근거하여 계산하기 때문에, I 프레임 데이터의 수신 시각에 있어서의 어긋남을 조정할 수 있다.
이 때문에, 본 발명에 의하면, I 프레임 데이터의 사이즈가 다른 종류의 프레임 데이터의 사이즈보다 큰 경우에도, 특별한 하드웨어를 이용하는 일 없이, 각 프레임의 프레임 데이터의 판독 시각을 촬상 시각에 동기시킬 수 있다.
도 1은 실시의 형태 1과 관련되는 시스템 구성의 예를 나타내는 도면.
도 2는 실시의 형태 1과 관련되는 데이터 처리 장치의 동작의 예를 나타내는 플로차트 도면.
도 3은 실시의 형태 1과 관련되는 데이터 처리 장치의 동작의 예를 나타내는 플로차트 도면.
도 4는 실시의 형태 1과 관련되는 수신 시각과 판독 시각의 예를 나타내는 도면.
도 5는 실시의 형태 1과 관련되는 데이터 처리 장치의 하드웨어 구성의 예를 나타내는 도면.
실시의 형태 1.
***구성의 설명***
도 1은 본 실시의 형태와 관련되는 시스템 구성의 예를 나타낸다.
도 1에 있어서, 감시 카메라(1)는 촬상 대상물(예컨대, 감시 대상 에리어)을 촬상하고, 촬상 대상물의 영상 데이터를 송신한다.
네트워크(2)는, 영상 데이터의 송신에 이용되는 네트워크이고, LAN(Local Area Network), 인터넷 등이다.
데이터 처리 장치(3)는, 감시 카메라(1)로부터의 영상 데이터를 수신하고, 수신한 영상 데이터를 기록한다.
데이터 처리 장치(3)는, 예컨대 감시 레코더이다.
또, 도 1에서는, 1개의 감시 카메라(1)만을 나타내고 있지만, 감시 카메라(1)는 복수 있더라도 좋다.
감시 카메라(1)로부터의 영상 데이터에는, 복수의 I(Intra-coded) 프레임 데이터와 복수의 B(Bi-directional Predicted) 프레임 데이터와 복수의 P(Predicted) 프레임 데이터가 포함되어 있다.
전술한 바와 같이, I 프레임 데이터는, B 프레임 데이터 및 P 프레임 데이터보다 사이즈가 크다.
이 때문에, I 프레임 데이터의 송신은 B 프레임 데이터 및 P 프레임 데이터의 송신보다 시간이 걸린다.
또한, 후술하는 바와 같이, 각 프레임 데이터에는 타임 스탬프가 설정되어 있다.
감시 카메라(1)에 있어서, 촬상부(101)는 촬상 대상물을 촬상한다.
부호화부(102)는, 촬상부(101)가 촬상한 영상을 부호화한다.
시각 부여부(103)는, 부호화부(102)의 부호화에 의해 얻어진 데이터(프레임 데이터)에 타임 스탬프를 부여한다.
송신부(104)는, 네트워크(2)를 통해서 프레임 데이터(복수의 I 프레임 데이터, 복수의 B 프레임 데이터, 복수의 P 프레임 데이터)를 데이터 처리 장치(3)에 송신한다.
데이터 처리 장치(3)에 있어서, 수신부(301)는, 감시 카메라(1)로부터 송신된 프레임 데이터(복수의 I 프레임 데이터, 복수의 B 프레임 데이터, 복수의 P 프레임 데이터)를 수신한다.
시각 취득부(302)는, 수신부(301)가 I 프레임 데이터를 수신한 수신 시각을 취득한다.
영상 기억부(303)는, 수신부(301)에 의해 수신된 복수의 I 프레임 데이터와 복수의 B 프레임 데이터와 복수의 P 프레임 데이터를 기억하는 기억 영역이다.
또한, 영상 기억부(303)는, 시각 취득부(302)에 의해 취득된 I 프레임 데이터의 수신 시각도 기억한다.
시각 계산부(304)는, 후술하는 데이터 판독부(305)가 각 프레임 데이터를 영상 기억부(303)로부터 판독하는 판독 시각을 계산한다.
시각 계산부(304)는, I 프레임 데이터의 영상 기억부(303)로부터의 판독 시각을 판독 대상의 I 프레임 데이터의 수신 시각과 판독 대상의 I 프레임 데이터에 선행하는 I 프레임 데이터인 선행 I 프레임 데이터의 수신 시각과 선행 I 프레임 데이터의 판독 시각에 근거하여 계산한다.
예컨대, 시각 계산부(304)는, I 프레임 데이터의 영상 기억부(303)로부터의 판독 시각을, 판독 대상의 I 프레임 데이터의 수신 시각과 판독 대상의 I 프레임 데이터의 직전의 I 프레임 데이터인 직전 I 프레임 데이터의 수신 시각의 차분과, 직전 I 프레임 데이터의 판독 시각에 근거하여 계산한다.
또한, 시각 계산부(304)는, B 프레임 데이터의 영상 기억부(303)로부터의 판독 시각을 판독 대상의 B 프레임 데이터의 타임 스탬프에 근거하여 계산한다.
예컨대, 시각 계산부(304)는, B 프레임 데이터의 영상 기억부(303)로부터의 판독 시각을, 판독 대상의 B 프레임 데이터의 타임 스탬프와 판독 대상의 B 프레임 데이터의 직전의 프레임 데이터인 직전 프레임 데이터의 타임 스탬프의 차분과, 직전 프레임 데이터의 판독 시각에 근거하여 계산한다.
또한, 시각 계산부(304)는, P 프레임 데이터의 영상 기억부(303)로부터의 판독 시각을 판독 대상의 P 프레임 데이터의 타임 스탬프에 근거하여 계산한다.
예컨대, 시각 계산부(304)는, P 프레임 데이터의 영상 기억부(303)로부터의 판독 시각을, 판독 대상의 P 프레임 데이터의 타임 스탬프와 판독 대상의 P 프레임 데이터의 직전의 프레임 데이터인 직전 프레임 데이터의 타임 스탬프의 차분과, 직전 프레임 데이터의 판독 시각에 근거하여 계산한다.
데이터 판독부(305)는, 판독 대상의 I 프레임 데이터와 판독 대상의 B 프레임 데이터와 판독 대상의 P 프레임 데이터를 각각 시각 계산부(304)에 의해 계산된 시각에 영상 기억부(303)로부터 판독한다.
데이터 판독부(305)는, 판독한 각 프레임 데이터로부터 감시 카메라(1)에서 촬상된 영상을 재생한다.
또는, 데이터 판독부(305)는, 판독한 각 프레임 데이터를 외부 장치에 재전달한다.
***동작의 설명***
다음으로, 본 실시의 형태의 동작의 예를 설명한다.
우선은, 감시 카메라(1)의 동작의 예를 설명한다.
감시 카메라(1)에 있어서, 촬상부(101)는 촬상 대상물을 촬상한다.
부호화부(102)는, 촬상부(101)가 촬상한 영상을 부호화한다.
송신부(104)가 부호화부(102)의 부호화에 의해 얻어진 프레임 데이터를 RTP 패킷으로 송신할 때에, 시각 부여부(103)가 타임 스탬프를 RTP 헤더에 삽입한다.
타임 스탬프의 주파수를 90000㎐로 하면, 매초 30프레임의 영상이면 1프레임에 대하여 타임 스탬프의 값이 3000씩 증가한다.
송신부(104)는, 타임 스탬프가 RTP 헤더에 설정된 RTP 패킷을 네트워크(2)를 통해서 데이터 처리 장치(3)에 송신한다.
다음으로, 도 2 및 도 3을 참조하여, 데이터 처리 장치(3)의 동작의 예를 설명한다.
도 2는 데이터 처리 장치(3)의 수신 처리, 시각 취득 처리 및 영상 기억 처리를 나타낸다.
도 3은 데이터 처리 장치(3)의 시각 계산 처리 및 데이터 판독 처리를 나타낸다.
도 2 및 도 3에 나타내는 순서는, 데이터 처리 방법 및 데이터 처리 프로그램의 처리 순서에 상당한다.
도 2에 있어서, 데이터 처리 장치(3)의 수신부(301)는, 감시 카메라(1)의 송신부(104)로부터 송신된 RTP 패킷을 수신한다(S101)(수신 처리).
전술한 바와 같이, RTP 패킷에는, 프레임 데이터와 타임 스탬프가 포함된다.
다음으로, 시각 취득부(302)는, 수신부(301)가 I 프레임 데이터를 수신한 수신 시각을 취득한다(S102)(시각 취득 처리).
1개의 I 프레임 데이터가 복수의 RTP 패킷에 분할되어 송신되는 경우는, 시각 취득부(302)는, 복수의 RTP 패킷 중 선두의 RTP 패킷의 수신 시각을 취득한다.
다시 말해, 시각 취득부(302)는, 수신부(301)가 각 I 프레임 데이터의 수신을 개시한 시각을 각 I 프레임 데이터의 수신 시각으로서 취득한다.
여기서는, 시각 취득부(302)는 I 프레임 데이터의 수신 시각만을 취득하지만, 시각 취득부(302)는 B 프레임 데이터의 수신 시각 및 P 프레임 데이터의 수신 시각을 취득하더라도 좋다.
영상 기억부(303)는, 수신부(301)에 의해 수신된 각 프레임 데이터와 타임 스탬프를 기억한다(S103)(영상 기억 처리).
또한, 영상 기억부(303)는, I 프레임 데이터에 대응하여, 시각 취득부(302)에 의해 취득된 수신 시각을 기억한다.
RTP 패킷의 수신 후 또는 RTP 패킷의 수신과 병행하여 데이터 처리 장치(3)의 유저로부터 프레임 데이터의 판독이 지시된 경우(도 3의 S201에서 예)에, 시각 계산부(304)는, 판독 대상의 프레임 데이터의 판독 시각을 계산한다(S202)(시각 계산 처리).
판독 시각의 계산 방법의 상세는 후술하지만, 전술한 바와 같이, I 프레임 데이터의 판독 시각의 계산 방법과, B 프레임 데이터의 판독 시각의 계산 방법 및 P 프레임 데이터의 판독 시각의 계산 방법은 상이하다.
데이터 판독부(305)는, 판독 대상의 I 프레임 데이터와 판독 대상의 B 프레임 데이터와 판독 대상의 P 프레임 데이터를 각각 시각 계산부(304)에 의해 계산된 시각에 영상 기억부(303)로부터 판독한다(S203)(데이터 판독 처리).
또, 도 3에서는, S202의 뒤에 S203이 실시되도록 되어 있지만, S202와 S203이 병행하여 실시되더라도 좋다.
다음으로, 도 4를 참조하여, S202의 판독 시각의 계산 방법의 상세를 설명한다.
도 4에서는, 왼쪽으로부터 오른쪽으로 시각이 진행되는 모습을 나타내고 있다.
또, 도 4의 (a)가 수신 시각을 나타내고, 도 4의 (b)가 판독 시각을 나타내고 있다.
시각 Tr0으로부터 시각 Tr6은, 0번째로부터 6번째의 프레임 데이터를 수신한 시각을 나타내고 있다.
0번째의 프레임 데이터와 5번째의 프레임 데이터는 I 프레임 데이터이다.
1번째의 프레임 데이터로부터 4번째의 프레임 데이터 및 6번째의 프레임 데이터는 P 프레임 데이터 또는 B 프레임 데이터이다.
시각 Ts0으로부터 시각 Ts6은, 0번째로부터 6번째의 프레임 데이터의 판독 시각을 나타내고 있다.
또한, 값 Δts는 일정치이고, 전후의 프레임 데이터에서의 타임 스탬프의 차분치 3000과 같고, 이것은 1/30초와 같다.
데이터 처리 장치(3)의 유저에 의해 0번째의 프레임 데이터로부터의 판독이 지시된 경우를 상정한다.
시각 Ts0은, 유저로부터 프레임 데이터의 판독이 지시된 시각이다.
시각 계산부(304)는, 시각 Ts0을 0번째의 프레임 데이터의 판독 시각으로 지정하고, 데이터 판독부(305)는 시각 Ts0에서 0번째의 프레임 데이터를 영상 기억부(303)로부터 판독한다.
시각 계산부(304)는, 1번째의 프레임 데이터의 판독 시각 Ts1을, Ts1=Ts0+Δts에 의해 계산한다.
다시 말해, 시각 계산부(304)는, 수신 시각 Tr1을 참조하지 않고, 직전 프레임 데이터인 0번째의 프레임 데이터의 판독 시각 Ts0에 타임 스탬프의 차분 Δts를 가산하여 판독 시각 Ts1을 산출한다.
마찬가지로, 시각 계산부(304)는, 2번째의 프레임 데이터의 판독 시각 Ts2, 3번째의 프레임 데이터의 판독 시각 Ts3, 4번째의 프레임 데이터의 판독 시각 Ts4를 이하에 의해 산출한다.
Ts2=Ts1+Δts
Ts3=Ts2+Δts
Ts4=Ts3+Δts
다음으로, 5번째의 프레임 데이터는 I 프레임 데이터이기 때문에, 시각 계산부(304)는, 5번째의 프레임 데이터의 판독 시각 Ts5를, Ts5=Ts0+Tr5-Tr0에 의해 계산한다.
다시 말해, 시각 계산부(304)는, 판독 시각 Ts4를 참조하지 않고, 5번째의 프레임 데이터의 직전의 I 프레임 데이터인 0번째의 프레임 데이터의 수신 시각 Tr0과 5번째의 프레임 데이터의 수신 시각 Tr5의 차분을, 판독 시각 Ts0에 가산하여 판독 시각 Ts5를 산출한다.
다음으로, 시각 계산부(304)는, 6번째의 프레임 데이터의 판독 시각 Ts6을, Ts6=Ts5+Δts에 의해 계산한다.
다시 말해, 시각 계산부(304)는, 수신 시각 Tr6을 참조하지 않고, 직전 프레임 데이터인 5번째의 프레임 데이터의 판독 시각 Ts5에 타임 스탬프의 차분 Δts를 가산하여 판독 시각 Ts6을 산출한다.
도 4에는 도시하고 있지 않지만, 7번째로부터 9번째의 프레임 데이터가 B 프레임 데이터 또는 P 프레임 데이터이고, 10번째의 프레임 데이터가 I 프레임 데이터인 경우는, 시각 계산부(304)는, 10번째의 프레임의 판독 시각 Ts10을, Ts10=Ts5+Tr10-Tr5에 의해 계산한다.
다시 말해, 시각 계산부(304)는, 판독 시각 Ts9를 참조하지 않고, 10번째의 프레임 데이터의 직전의 I 프레임 데이터인 5번째의 프레임 데이터의 수신 시각 Tr5와 10번째의 프레임 데이터의 수신 시각 Tr10의 차분을, 판독 시각 Ts5에 가산하여 판독 시각 Ts10을 산출한다.
또, 7번째로부터 9번째의 프레임 데이터의 판독 시각의 계산 방법은, 1번째로부터 4번째의 프레임 데이터의 판독 시각의 계산 방법과 동일하다.
이상에서는, 시각 계산부(304)는, I 프레임 데이터의 판독 시각을, 직전의 I 프레임 데이터의 판독 시각을 기준으로 하여 계산하고 있다.
그러나, 시각 계산부(304)는, 판독 대상의 I 프레임 데이터에 선행하는 I 프레임 데이터이면, 직전의 I 프레임 데이터가 아닌 I 프레임 데이터의 판독 시각을 기준으로 하여 판독 대상의 I 프레임 데이터의 판독 시각을 계산하더라도 좋다.
예컨대, 0번째의 프레임 데이터로부터 5프레임 전의 I 프레임 데이터의 판독 시각이 계산이 끝난 상태이면, 시각 계산부(304)는, 0번째의 프레임 데이터로부터 5프레임 전의 I 프레임 데이터의 판독 시각을 기준으로 하여 5번째의 프레임 데이터의 판독 시각 Ts5를 계산하더라도 좋다.
여기서는, 0번째의 프레임 데이터로부터 5프레임 전의 I 프레임 데이터의 수신 시각을 Trm5, 0번째의 프레임 데이터로부터 5프레임 전의 I 프레임 데이터의 판독 시각을 Tsm5로 한다.
이 경우에, 5번째의 프레임 데이터의 판독 시각 Ts5를, Ts5=Tsm5+Trm5-Tr5에 의해 계산하더라도 좋다.
또한, 이상에서는, 시각 계산부(304)는, 판독 시각 Ts5를, Ts5=Ts0+Tr5-Tr0에 의해 계산했지만, 그 결과로서 Ts5-Ts4가 Δts로부터 크게 상이한 값을 취하는 경우가 있다.
이와 같은 경우에, 과거의 I 프레임 데이터의 수신 간격도 이용하여 I 프레임 데이터의 판독 시각을 보정하더라도 좋다.
예컨대, 0번째의 프레임 데이터로부터 5프레임 전의 I 프레임 데이터의 수신 시각을 Trm5, 0번째의 프레임 데이터로부터 10프레임 전의 I 프레임 데이터의 수신 시각을 Trm10으로 한다.
시각 계산부(304)는, 예컨대, Ts5=Ts0+(Tr5-Tr0)×0.5+(Tr0-Trm5)×0.3+(Trm5-Trm10)×0.2에 의해 판독 시각 Ts5를 계산하더라도 좋다.
이와 같이, 시각 계산부(304)는, I 프레임 데이터의 영상 기억부(303)로부터의 판독 시각을, 판독 대상의 I 프레임 데이터의 수신 시각과 판독 대상의 I 프레임 데이터의 직전의 I 프레임 데이터인 직전 I 프레임 데이터의 수신 시각의 차분과, 직전 I 프레임 데이터에 선행하는 복수의 I 프레임 데이터 사이의 수신 시각의 차분과, 직전 I 프레임 데이터의 판독 시각에 근거하여 계산하도록 하더라도 좋다.
또한, 시각 계산부(304)는, 위의 식에서 이용한 파라미터(0.5, 0.3, 0.2)를 변경하더라도 좋고, 위의 식과는 상이한 계산식으로 판독 시각 Ts5를 계산하더라도 좋다.
또한, 이상에서는, 데이터 처리 장치(3)는, I 프레임 데이터와 B 프레임 데이터와 P 프레임 데이터를 감시 카메라(1)로부터 수신하는 것으로 했지만, 본 실시의 형태는, 데이터 처리 장치(3)는, I 프레임 데이터와 B 프레임 데이터만을 감시 카메라(1)로부터 수신하는 경우에도 적용 가능하다.
***효과의 설명***
본 실시의 형태에 의하면, 데이터 처리 장치(3)는, 감시 카메라(1)가 서력 연월일을 포함하는 절대 시각을 유지하고 있지 않더라도, 각 프레임의 프레임 데이터를 촬상 타이밍과 동기하여 판독할 수 있다.
또한, 감시 카메라(1)에 탑재된 도시하지 않는 시각 클록원과 데이터 처리 장치(3)에 탑재된 도시하지 않는 시각 클록원의 속도에 차이가 있는 경우에도, 파탄 없이 영상 데이터의 재생 또는 영상 데이터의 재전달을 행할 수 있다.
실시의 형태 2.
실시의 형태 1에서는, P 프레임 데이터의 판독 시각의 계산 방법은, B 프레임 데이터의 판독 시각의 계산 방법과 동일하다.
본 실시의 형태에서는, P 프레임 데이터의 판독 시각을 실시의 형태 1에서 나타낸 I 프레임 데이터의 판독 시각의 계산 방법에 따라서 계산한다.
본 실시의 형태에 있어서도, 시스템 구성의 예는 도 1에 나타내는 대로이다.
또한, 데이터 처리 장치(3)의 동작도 도 2 및 도 3에 나타내는 대로이다.
단, 본 실시의 형태에서는, 시각 취득부(302)는, 도 2의 S102에 있어서, 수신부(301)가 I 프레임 데이터를 수신한 수신 시각을 취득하고, 또한, 수신부(301)가 P 프레임 데이터를 수신한 수신 시각을 취득한다.
1개의 P 프레임 데이터가 복수의 RTP 패킷에 분할되어 송신되는 경우는, 시각 취득부(302)는, 복수의 RTP 패킷 중 선두의 RTP 패킷의 수신 시각을 취득한다.
다시 말해, 시각 취득부(302)는, 수신부(301)가 각 P 프레임 데이터의 수신을 개시한 시각을 각 P 프레임 데이터의 수신 시각으로서 취득한다.
또한, 영상 기억부(303)는, 도 2의 S103에 있어서, P 프레임 데이터의 수신 시각도 기억한다.
또한, 시각 계산부(304)는, 도 3의 S202에 있어서, P 프레임 데이터의 판독 시각을 실시의 형태 1에서 나타낸 I 프레임 데이터의 판독 시각의 계산 방법에 따라서 계산한다.
보다 구체적으로는, 시각 계산부(304)는, P 프레임 데이터의 판독 시각을 판독 대상의 P 프레임 데이터의 수신 시각과 판독 대상의 P 프레임 데이터에 선행하는 I 프레임 데이터 또는 P 프레임 데이터인 선행 I/P 프레임 데이터의 수신 시각과 선행 I/P 프레임 데이터의 판독 시각에 근거하여 계산한다.
또한, 실시의 형태 1에서는, 시각 계산부(304)는, I 프레임 데이터의 판독 시각은, 선행하는 I 프레임 데이터의 판독 시각에 근거하여 계산했지만, 본 실시의 형태에서는, 시각 계산부(304)는, I 프레임 데이터의 판독 시각을, 선행하는 P 프레임 데이터의 판독 시각에 근거하여 계산하는 경우가 있다.
이하에서는, 도 4를 참조하여, 본 실시의 형태에 있어서의 I 프레임 데이터의 판독 시각의 계산 방법 및 P 프레임 데이터의 판독 시각의 계산 방법을 설명한다.
본 실시의 형태에서는, 도 4의 0번째의 프레임 데이터가 I 프레임 데이터이고, 5번째의 프레임 데이터가 P 프레임 데이터인 경우를 상정한다.
또한 1번째로부터 4번째의 프레임 데이터, 6번째의 프레임 데이터는, 모두 B 프레임 데이터이다.
시각 계산부(304)는, 0번째로부터 4번째의 프레임 데이터의 판독 시각을, 실시의 형태 1과 마찬가지의 방법으로 계산한다.
또한, 시각 계산부(304)는, 5번째의 프레임 데이터(P 프레임 데이터)의 판독 시각 Ts5를, 실시의 형태 1과 마찬가지로, Ts5=Ts0+Tr5-Tr0에 의해 계산한다.
다시 말해, 시각 계산부(304)는, 판독 시각 Ts4를 참조하지 않고, 5번째의 프레임 데이터의 직전의 I 프레임 데이터인 0번째의 프레임 데이터의 수신 시각 Tr0과 5번째의 프레임 데이터의 수신 시각 Tr5의 차분을, 판독 시각 Ts0에 가산하여 판독 시각 Ts5를 산출한다.
다음으로, 시각 계산부(304)는, 6번째의 프레임 데이터의 판독 시각 Ts6을, 실시의 형태 1과 마찬가지의 방법으로 계산한다.
도 4에는 도시하고 있지 않지만, 7번째로부터 9번째의 프레임 데이터가 B 프레임 데이터 또는 P 프레임 데이터이고, 10번째의 프레임 데이터가 I 프레임 데이터인 경우는, 시각 계산부(304)는, 10번째의 프레임의 판독 시각 Ts10을, Ts10=Ts5+Tr10-Tr5에 의해 계산한다.
다시 말해, 시각 계산부(304)는, 판독 시각 Ts9를 참조하지 않고, 10번째의 프레임 데이터의 직전의 P 프레임 데이터인 5번째의 프레임 데이터의 수신 시각 Tr5와 10번째의 프레임 데이터의 수신 시각 Tr10의 차분을, 판독 시각 Ts5에 가산하여 판독 시각 Ts10을 산출한다.
또, 7번째로부터 9번째의 프레임 데이터의 판독 시각의 계산 방법은, 실시의 형태 1과 동일하다.
이상에서는, 시각 계산부(304)는, I 프레임 데이터(또는 P 프레임 데이터)의 판독 시각을, 직전의 I 프레임 데이터(또는 P 프레임 데이터)의 판독 시각을 기준으로 하여 계산하고 있다.
그러나, 시각 계산부(304)는, 판독 대상의 I 프레임 데이터(또는 P 프레임 데이터)에 선행하는 I 프레임 데이터(또는 P 프레임 데이터)이면, 직전의 I 프레임 데이터(또는 P 프레임 데이터)가 아닌 I 프레임 데이터(또는 P 프레임 데이터)의 판독 시각을 기준으로 하여 판독 대상의 I 프레임 데이터(또는 P 프레임 데이터)의 판독 시각을 계산하더라도 좋다.
예컨대, 0번째의 프레임 데이터로부터 5프레임 전의 I 프레임 데이터(또는 P 프레임 데이터)의 판독 시각이 계산이 끝난 상태이면, 시각 계산부(304)는, 0번째의 프레임 데이터로부터 5프레임 전의 I 프레임 데이터(또는 P 프레임 데이터)의 판독 시각을 기준으로 하여 5번째의 프레임 데이터의 판독 시각 Ts5를 계산하더라도 좋다.
여기서는, 0번째의 프레임 데이터로부터 5프레임 전의 I 프레임 데이터(또는 P 프레임 데이터)의 수신 시각을 Trm5, 0번째의 프레임 데이터로부터 5프레임 전의 I 프레임 데이터(또는 P 프레임 데이터)의 판독 시각을 Tsm5로 한다.
이 경우에, 5번째의 프레임 데이터의 판독 시각 Ts5를, Ts5=Tsm5+Trm5-Tr5에 의해 계산하더라도 좋다.
또한, 시각 계산부(304)는, 실시의 형태 1에 나타낸 다른 계산 방법에 의해, I 프레임 데이터(또는 P 프레임 데이터)의 판독 시각을 계산하더라도 좋다.
본 실시의 형태에서는, 0번째의 프레임 데이터로부터 5프레임 전의 P 프레임 데이터의 수신 시각을 Trm5, 0번째의 프레임 데이터로부터 10프레임 전의 I 프레임 데이터의 수신 시각을 Trm10으로 한다.
시각 계산부(304)는, 예컨대, Ts5=Ts0+(Tr5-Tr0)×0.5+(Tr0-Trm5)×0.3+(Trm5-Trm10)×0.2에 의해, 5번째의 프레임 데이터인 P 프레임 데이터(또는 I 프레임 데이터)의 판독 시각 Ts5를 계산하더라도 좋다.
이와 같이, 시각 계산부(304)는, I 프레임 데이터(또는 P 프레임 데이터)의 영상 기억부(303)로부터의 판독 시각을, 판독 대상의 I 프레임 데이터(또는 P 프레임 데이터)의 수신 시각과 판독 대상의 I 프레임 데이터(또는 P 프레임 데이터)의 직전의 I 프레임 데이터 또는 P 프레임 데이터인 직전 I/P 프레임 데이터의 수신 시각의 차분과, 직전 I/P 프레임 데이터에 선행하는 복수의 I 프레임 데이터 사이의 수신 시각의 차분, 직전 I/P 프레임 데이터에 선행하는 복수의 P 프레임 데이터 사이의 수신 시각의 차분 및 직전 I/P 프레임 데이터에 선행하는 I 프레임 데이터와 P 프레임 데이터 사이의 수신 시각의 차분 중 어느 하나와, 직전 I/P 프레임 데이터의 판독 시각에 근거하여 계산하도록 하더라도 좋다.
다시 말해, 전술한 예에 있어서, 0번째의 프레임 데이터로부터 5프레임 전의 프레임 데이터가 I 프레임 데이터이고, 0번째의 프레임 데이터로부터 10프레임 전의 프레임 데이터가 I 프레임 데이터이면, 시각 계산부(304)는, 이들 2개의 I 프레임 데이터 사이의 수신 시각의 차분을 이용한다.
또한, 0번째의 프레임 데이터로부터 5프레임 전의 프레임 데이터가 P 프레임 데이터이고, 0번째의 프레임 데이터로부터 10프레임 전의 프레임 데이터가 P 프레임 데이터이면, 시각 계산부(304)는, 이들 2개의 P 프레임 데이터 사이의 수신 시각의 차분을 이용한다.
또한, 0번째의 프레임 데이터로부터 5프레임 전의 프레임 데이터가 I 프레임 데이터(또는 P 프레임 데이터)이고, 0번째의 프레임 데이터로부터 10프레임 전의 프레임 데이터가 P 프레임 데이터(또는 I 프레임 데이터)이면, 시각 계산부(304)는, 이들 I 프레임 데이터와 P 프레임 데이터 사이의 수신 시각의 차분을 이용한다.
또한, 시각 계산부(304)는, 위의 식에서 이용한 파라미터(0.5, 0.3, 0.2)를 변경하더라도 좋고, 위의 식과는 상이한 계산식으로 판독 시각 Ts5를 계산하더라도 좋다.
이상, 본 실시의 형태에 의하면, P 프레임 데이터의 사이즈가 B 프레임 데이터의 사이즈보다 대폭 큰 경우에도, 특별한 하드웨어를 이용하는 일 없이, 각 프레임의 프레임 데이터의 판독 시각을 촬상 시각에 동기시킬 수 있다.
이상, 본 발명의 실시의 형태에 대하여 설명했지만, 본 발명은, 이들 실시의 형태로 한정되는 것이 아니고, 필요에 따라서 여러 가지의 변경이 가능하다.
마지막으로, 데이터 처리 장치(3)의 하드웨어 구성의 예를 도 5를 참조하여 설명한다.
데이터 처리 장치(3)는 컴퓨터이다.
데이터 처리 장치(3)는, 프로세서(901), 보조 기억 장치(902), 메모리(903), 통신 장치(904), 입력 인터페이스(905), 디스플레이 인터페이스(906)라고 하는 하드웨어를 구비한다.
프로세서(901)는, 신호선(910)을 통해서 다른 하드웨어와 접속되고, 이들 다른 하드웨어를 제어한다.
입력 인터페이스(905)는, 입력 장치(907)에 접속되어 있다.
디스플레이 인터페이스(906)는, 디스플레이(908)에 접속되어 있다.
프로세서(901)는, 프로세싱을 행하는 IC(Integrated Circuit)이다.
프로세서(901)는, 예컨대, CPU(Central Processing Unit), DSP(Digital Signal Processor), GPU(Graphics Processing Unit)이다.
보조 기억 장치(902)는, 예컨대, ROM(Read Only Memory), 플래시 메모리, HDD(Hard Disk Drive)이다.
메모리(903)는, 예컨대, RAM(Random Access Memory)이다.
도 1에 나타내는 영상 기억부(303)는, 메모리(903) 또는 보조 기억 장치(902)에 의해 실현된다.
통신 장치(904)는, 데이터를 수신하는 리시버(9041) 및 데이터를 송신하는 트랜스미터(9042)를 포함한다.
통신 장치(904)는, 예컨대, 통신 칩 또는 NIC(Network Interface Card)이다.
입력 인터페이스(905)는, 입력 장치(907)의 케이블(911)이 접속되는 포트이다.
입력 인터페이스(905)는, 예컨대, USB(Universal Serial Bus) 단자이다.
디스플레이 인터페이스(906)는, 디스플레이(908)의 케이블(912)이 접속되는 포트이다.
디스플레이 인터페이스(906)는, 예컨대, USB 단자 또는 HDMI(등록상표)(High Definition Multimedia Interface) 단자이다.
입력 장치(907)는, 예컨대, 마우스, 키보드 또는 터치 패널이다.
디스플레이(908)는, 예컨대, LCD(Liquid Crystal Display)이다.
보조 기억 장치(902)에는, 도 1에 나타내는 수신부(301), 시각 취득부(302), 시각 계산부(304), 데이터 판독부(305)(이하, 수신부(301), 시각 취득부(302), 시각 계산부(304), 데이터 판독부(305)를 합해서 「부」라고 표기한다)의 기능을 실현하는 프로그램이 기억되어 있다.
이 프로그램은, 메모리(903)에 로드되어, 프로세서(901)에 의해 판독되고, 프로세서(901)에 의해 실행된다.
또한, 보조 기억 장치(902)에는, OS(Operating System)도 기억되어 있다.
그리고, OS의 적어도 일부가 메모리(903)에 로드되고, 프로세서(901)는 OS를 실행하면서, 「부」의 기능을 실현하는 프로그램을 실행한다.
도 5에서는, 1개의 프로세서(901)가 도시되어 있지만, 데이터 처리 장치(3)가 복수의 프로세서(901)를 구비하고 있더라도 좋다.
그리고, 복수의 프로세서(901)가 「부」의 기능을 실현하는 프로그램을 연계하여 실행하더라도 좋다.
또한, 「부」의 처리의 결과를 나타내는 정보나 데이터나 신호치나 변수치가, 메모리(903), 보조 기억 장치(902), 또는, 프로세서(901) 내의 레지스터 또는 캐시 메모리에 기억된다.
「부」를 「서킷트리」로 제공하더라도 좋다.
또한, 「부」를 「회로」 또는 「공정」 또는 「순서」 또는 「처리」로 바꿔 읽더라도 좋다.
「회로」 및 「서킷트리」는, 프로세서(901)뿐만이 아니라, 로직 IC 또는 GA(Gate Array) 또는 ASIC(Application Specific Integrated Circuit) 또는 FPGA(Field-Programmable Gate Array)라고 하는 다른 종류의 처리 회로도 포함하는 개념이다.
1 : 감시 카메라
2 : 네트워크
3 : 데이터 처리 장치
101 : 촬상부
102 : 부호화부
103 : 시각 부여부
104 : 송신부
301 : 수신부
302 : 시각 취득부
303 : 영상 기억부
304 : 시각 계산부
305 : 데이터 판독부

Claims (14)

  1. 각각에 타임 스탬프가 설정되어 있는 복수의 I(Intra-coded) 프레임 데이터와 복수의 P(Predicted) 프레임 데이터를 수신하는 수신부와,
    상기 수신부에 의한 각 I 프레임 데이터의 수신 시각을 취득하는 시각 취득부와,
    상기 수신부에 의해 수신된 상기 복수의 I 프레임 데이터와 상기 복수의 P 프레임 데이터를 기억하는 영상 기억부와,
    I 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을 판독 대상의 I 프레임 데이터의 수신 시각과 상기 판독 대상의 I 프레임 데이터에 선행하는 I 프레임 데이터인 선행 I 프레임 데이터의 수신 시각과 상기 선행 I 프레임 데이터의 판독 시각에 근거하여 계산하고, P 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을 판독 대상의 P 프레임 데이터의 타임 스탬프에 근거하여 계산하는 시각 계산부와,
    상기 판독 대상의 I 프레임 데이터와 상기 판독 대상의 P 프레임 데이터를 각각 상기 시각 계산부에 의해 계산된 시각에 상기 영상 기억부로부터 판독하는 데이터 판독부
    를 갖는 데이터 처리 장치.

  2. 제 1 항에 있어서,
    상기 수신부는, 각각에 타임 스탬프가 설정되어 있는 복수의 I 프레임 데이터와 복수의 P 프레임 데이터와 복수의 B(Bi-directional Predicted) 프레임 데이터를 수신하고,
    상기 영상 기억부는, 상기 수신부에 의해 수신된 상기 복수의 I 프레임 데이터와 상기 복수의 P 프레임 데이터와 상기 복수의 B 프레임 데이터를 기억하고,
    상기 시각 계산부는, B 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을 판독 대상의 B 프레임 데이터의 타임 스탬프에 근거하여 계산하고,
    상기 데이터 판독부는, 상기 판독 대상의 I 프레임 데이터와 상기 판독 대상의 P 프레임 데이터와 상기 판독 대상의 B 프레임 데이터를 각각 상기 시각 계산부에 의해 계산된 시각에 상기 영상 기억부로부터 판독하는
    데이터 처리 장치.
  3. 제 1 항에 있어서,
    상기 수신부는, 각각에 타임 스탬프가 설정되어 있는 복수의 I 프레임 데이터와 복수의 P 프레임 데이터와 복수의 B(Bi-directional Predicted) 프레임 데이터를 수신하고,
    상기 시각 취득부는, 상기 수신부에 의한 각 I 프레임 데이터의 수신 시각과 각 B 프레임 데이터의 수신 시각을 취득하고,
    상기 영상 기억부는, 상기 수신부에 의해 수신된 상기 복수의 I 프레임 데이터와 상기 복수의 P 프레임 데이터와 상기 복수의 B 프레임 데이터를 기억하고,
    상기 시각 계산부는,
    I 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을 판독 대상의 I 프레임 데이터의 수신 시각과 상기 판독 대상의 I 프레임 데이터에 선행하는 I 프레임 데이터 또는 P 프레임 데이터인 선행 I/P 프레임 데이터의 수신 시각과 상기 선행 I/P 프레임 데이터의 판독 시각에 근거하여 계산하고,
    B 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을 판독 대상의 B 프레임 데이터의 타임 스탬프에 근거하여 계산하고,
    P 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을 판독 대상의 P 프레임 데이터의 수신 시각과 상기 판독 대상의 P 프레임 데이터에 선행하는 I 프레임 데이터 또는 P 프레임 데이터인 선행 I/P 프레임 데이터의 수신 시각과 상기 선행 I/P 프레임 데이터의 판독 시각에 근거하여 계산하고,
    상기 데이터 판독부는, 상기 판독 대상의 I 프레임 데이터와 상기 판독 대상의 P 프레임 데이터와 상기 판독 대상의 B 프레임 데이터를 각각 상기 시각 계산부에 의해 계산된 시각에 상기 영상 기억부로부터 판독하는
    데이터 처리 장치.

  4. 제 1 항에 있어서,
    상기 시각 취득부는, 상기 수신부가 각 I 프레임 데이터의 수신을 개시한 시각을 각 I 프레임 데이터의 수신 시각으로서 취득하는 데이터 처리 장치.
  5. 제 3 항에 있어서,
    상기 시각 취득부는, 상기 수신부가 각 I 프레임 데이터의 수신을 개시한 시각을 각 I 프레임 데이터의 수신 시각으로서 취득하고, 상기 수신부가 각 P 프레임 데이터의 수신을 개시한 시각을 각 P 프레임 데이터의 수신 시각으로서 취득하는 데이터 처리 장치.
  6. 제 1 항에 있어서,
    상기 시각 계산부는, 상기 판독 대상의 I 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을, 상기 판독 대상의 I 프레임 데이터의 수신 시각과 상기 판독 대상의 I 프레임 데이터의 직전의 I 프레임 데이터인 직전 I 프레임 데이터의 수신 시각의 차분과, 상기 직전 I 프레임 데이터의 판독 시각에 근거하여 계산하는 데이터 처리 장치.
  7. 제 1 항에 있어서,
    상기 시각 계산부는, 상기 판독 대상의 I 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을, 상기 판독 대상의 I 프레임 데이터의 수신 시각과 상기 판독 대상의 I 프레임 데이터의 직전의 I 프레임 데이터인 직전 I 프레임 데이터의 수신 시각의 차분과, 상기 직전 I 프레임 데이터에 선행하는 복수의 I 프레임 데이터 사이의 수신 시각의 차분과, 상기 직전 I 프레임 데이터의 판독 시각에 근거하여 계산하는 데이터 처리 장치.
  8. 제 1 항에 있어서,
    상기 시각 계산부는, 상기 판독 대상의 P 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을, 상기 판독 대상의 P 프레임 데이터의 타임 스탬프와 상기 판독 대상의 P 프레임 데이터의 직전의 프레임 데이터인 직전 프레임 데이터의 타임 스탬프의 차분과, 상기 직전 프레임 데이터의 판독 시각에 근거하여 계산하는 데이터 처리 장치.
  9. 제 2 항에 있어서,
    상기 시각 계산부는, 상기 판독 대상의 B 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을, 상기 판독 대상의 B 프레임 데이터의 타임 스탬프와 상기 판독 대상의 B 프레임 데이터의 직전의 프레임 데이터인 직전 프레임 데이터의 타임 스탬프의 차분과, 상기 직전 프레임 데이터의 판독 시각에 근거하여 계산하는 데이터 처리 장치.
  10. 제 3 항에 있어서,
    상기 시각 계산부는,
    상기 판독 대상의 I 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을, 상기 판독 대상의 I 프레임 데이터의 수신 시각과 상기 판독 대상의 I 프레임 데이터의 직전의 I 프레임 데이터 또는 P 프레임 데이터인 직전 I/P 프레임 데이터의 수신 시각의 차분과, 상기 직전 I/P 프레임 데이터의 판독 시각에 근거하여 계산하고,
    상기 판독 대상의 P 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을, 상기 판독 대상의 P 프레임 데이터의 수신 시각과 상기 판독 대상의 P 프레임 데이터의 직전의 I 프레임 데이터 또는 P 프레임 데이터인 직전 I/P 프레임 데이터의 수신 시각의 차분과, 상기 직전 I/P 프레임 데이터의 판독 시각에 근거하여 계산하는
    데이터 처리 장치.
  11. 제 3 항에 있어서,
    상기 시각 계산부는,
    상기 판독 대상의 I 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을, 상기 판독 대상의 I 프레임 데이터의 수신 시각과 상기 판독 대상의 I 프레임 데이터의 직전의 I 프레임 데이터 또는 P 프레임 데이터인 직전 I/P 프레임 데이터의 수신 시각의 차분과, 상기 직전 I/P 프레임 데이터에 선행하는 복수의 I 프레임 데이터 사이의 수신 시각의 차분, 상기 직전 I/P 프레임 데이터에 선행하는 복수의 P 프레임 데이터 사이의 수신 시각의 차분 및 상기 직전 I/P 프레임 데이터에 선행하는 I 프레임 데이터와 P 프레임 데이터 사이의 수신 시각의 차분 중 어느 하나와, 상기 직전 I/P 프레임 데이터의 판독 시각에 근거하여 계산하고,
    상기 판독 대상의 P 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을, 상기 판독 대상의 P 프레임 데이터의 수신 시각과 상기 판독 대상의 P 프레임 데이터의 직전의 I 프레임 데이터 또는 P 프레임 데이터인 직전 I/P 프레임 데이터의 수신 시각의 차분과, 상기 직전 I/P 프레임 데이터에 선행하는 복수의 I 프레임 데이터 사이의 수신 시각의 차분, 상기 직전 I/P 프레임 데이터에 선행하는 복수의 P 프레임 데이터 사이의 수신 시각의 차분 및 상기 직전 I/P 프레임 데이터에 선행하는 I 프레임 데이터와 P 프레임 데이터 사이의 수신 시각의 차분 중 어느 하나와, 상기 직전 I/P 프레임 데이터의 판독 시각에 근거하여 계산하는
    데이터 처리 장치.
  12. 제 3 항에 있어서,
    상기 시각 계산부는, 상기 판독 대상의 B 프레임 데이터의 상기 영상 기억부로부터의 판독 시각을, 상기 판독 대상의 B 프레임 데이터의 타임 스탬프와 상기 판독 대상의 B 프레임 데이터의 직전의 프레임 데이터인 직전 프레임 데이터의 타임 스탬프의 차분과, 상기 직전 프레임 데이터의 판독 시각에 근거하여 계산하는 데이터 처리 장치.
  13. 컴퓨터가, 각각에 타임 스탬프가 설정되어 있는 복수의 I(Intra-coded) 프레임 데이터와 복수의 P(Predicted) 프레임 데이터를 수신하고,
    상기 컴퓨터가, 각 I 프레임 데이터의 수신 시각을 취득하고,
    상기 컴퓨터가, 수신된 상기 복수의 I 프레임 데이터와 상기 복수의 P 프레임 데이터를 기억 영역에 저장하고,
    상기 컴퓨터가, I 프레임 데이터의 상기 기억 영역으로부터의 판독 시각을 판독 대상의 I 프레임 데이터의 수신 시각과 상기 판독 대상의 I 프레임 데이터에 선행하는 I 프레임 데이터인 선행 I 프레임 데이터의 수신 시각과 상기 선행 I 프레임 데이터의 판독 시각에 근거하여 계산하고, P 프레임 데이터의 상기 기억 영역으로부터의 판독 시각을 판독 대상의 P 프레임 데이터의 타임 스탬프에 근거하여 계산하고,
    상기 컴퓨터가, 상기 판독 대상의 I 프레임 데이터와 상기 판독 대상의 P 프레임 데이터를 각각 계산된 시각에 상기 기억 영역으로부터 판독하는
    데이터 처리 방법.
  14. 각각에 타임 스탬프가 설정되어 있는 복수의 I(Intra-coded) 프레임 데이터와 복수의 P(Predicted) 프레임 데이터를 수신하는 수신 처리와,
    상기 수신 처리에 의한 각 I 프레임 데이터의 수신 시각을 취득하는 시각 취득 처리와,
    상기 수신 처리에 의해 수신된 상기 복수의 I 프레임 데이터와 상기 복수의 P 프레임 데이터를 기억 영역에 저장하는 영상 기억 처리와,
    I 프레임 데이터의 상기 기억 영역으로부터의 판독 시각을 판독 대상의 I 프레임 데이터의 수신 시각과 상기 판독 대상의 I 프레임 데이터에 선행하는 I 프레임 데이터인 선행 I 프레임 데이터의 수신 시각과 상기 선행 I 프레임 데이터의 판독 시각에 근거하여 계산하고, P 프레임 데이터의 상기 기억 영역으로부터의 판독 시각을 판독 대상의 P 프레임 데이터의 타임 스탬프에 근거하여 계산하는 시각 계산 처리와,
    상기 판독 대상의 I 프레임 데이터와 상기 판독 대상의 P 프레임 데이터를 각각 상기 시각 계산 처리에 의해 계산된 시각에 상기 기억 영역으로부터 판독하는 데이터 판독 처리
    를 컴퓨터에 실행시키는 기록 매체에 저장된 데이터 처리 프로그램.
KR1020177023196A 2015-03-05 2015-03-05 데이터 처리 장치 및 데이터 처리 방법 및 기록 매체에 저장된 데이터 처리 프로그램 KR101795350B1 (ko)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/056556 WO2016139808A1 (ja) 2015-03-05 2015-03-05 データ処理装置及びデータ処理方法及びデータ処理プログラム

Publications (2)

Publication Number Publication Date
KR20170102025A KR20170102025A (ko) 2017-09-06
KR101795350B1 true KR101795350B1 (ko) 2017-11-07

Family

ID=56848808

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020177023196A KR101795350B1 (ko) 2015-03-05 2015-03-05 데이터 처리 장치 및 데이터 처리 방법 및 기록 매체에 저장된 데이터 처리 프로그램

Country Status (5)

Country Link
US (1) US20180359303A1 (ko)
JP (1) JP6279146B2 (ko)
KR (1) KR101795350B1 (ko)
CN (1) CN107251564B (ko)
WO (1) WO2016139808A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7208530B2 (ja) * 2019-05-31 2023-01-19 日本電信電話株式会社 同期制御装置、同期制御方法及び同期制御プログラム
CN112929702B (zh) * 2021-04-01 2021-08-24 北京百家视联科技有限公司 一种数据流发送方法、装置、电子设备和存储介质
CN113259717B (zh) * 2021-07-15 2021-09-14 腾讯科技（深圳）有限公司 视频流的处理方法、装置、设备及计算机可读存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003249922A (ja) 2002-02-26 2003-09-05 Sony Corp データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
JP2009212877A (ja) 2008-03-05 2009-09-17 Nec Corp Ｔｓ受信装置及びそれに用いるタイミング再生方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3552249B2 (ja) * 1993-07-09 2004-08-11 ソニー株式会社 画像および音声信号処理方法とその装置
JP4612171B2 (ja) * 2000-10-27 2011-01-12 株式会社東芝 動画像復号再生モジュールと再生時刻管理プログラムとマルチメディア情報受信装置
JP5598155B2 (ja) * 2010-08-12 2014-10-01 ソニー株式会社 情報処理装置および方法、並びに送受信システム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003249922A (ja) 2002-02-26 2003-09-05 Sony Corp データ受信装置、および受信データ処理方法、並びにコンピュータ・プログラム
JP2009212877A (ja) 2008-03-05 2009-09-17 Nec Corp Ｔｓ受信装置及びそれに用いるタイミング再生方法

Also Published As

Publication number Publication date
CN107251564B (zh) 2018-08-28
JPWO2016139808A1 (ja) 2017-06-01
KR20170102025A (ko) 2017-09-06
US20180359303A1 (en) 2018-12-13
JP6279146B2 (ja) 2018-02-14
WO2016139808A1 (ja) 2016-09-09
CN107251564A (zh) 2017-10-13

Similar Documents

Publication Publication Date Title
US9723193B2 (en) Transmitting device, receiving system, communication system, transmission method, reception method, and program
US8750078B2 (en) Slave device, time synchronization method in slave device, master device, and electronic equipment system
KR101795350B1 (ko) 데이터 처리 장치 및 데이터 처리 방법 및 기록 매체에 저장된 데이터 처리 프로그램
WO2018228352A1 (zh) 一种同步曝光方法、装置及终端设备
WO2018120557A1 (zh) 一种音视频同步处理的方法和装置、存储介质
US10721008B2 (en) Transmitting system, multiplexing apparatus, and leap second correction method
US10051158B2 (en) Control apparatus for image pickup apparatus
BR102013017036A2 (pt) Aparelho de codificação de vídeo, aparelho de decodificação de vídeo, método de codificação de vídeo e método de decodificação de vídeo
CN109699199A (zh) 一种报文处理的方法和网络设备
EP2713620A2 (en) Video encoding apparatus, video decoding apparatus, video encoding method, and video decoding method
JP2006217326A (ja) ネットワークカメラシステムおよびカメラ装置並びに画像同期方法
JP2022517587A (ja) オーディオストリーム及びビデオストリーム同期切替方法及び装置
US7817765B2 (en) Digital transmission apparatus and methods
JP6038046B2 (ja) パケット通信ネットワークを介して伝送されるコンテンツをストリーミングするためのクロックリカバリ機構
Yang et al. Time Stamp Synchronization in Video Systems
JP6813933B2 (ja) 映像音声伝送システム、伝送方法、送信装置及び受信装置
US20120327302A1 (en) Device for receiving of high-definition video signal with low-latency transmission over an asynchronous packet network
KR101917224B1 (ko) 영상데이터 전송장치
US9912427B2 (en) Reception apparatus and system
US9258540B2 (en) Imaging apparatus
JP5928277B2 (ja) タイムコード同期装置、及びタイムコード同期方法
JP5367771B2 (ja) 映像伝送システム
US20130141596A1 (en) Transmitter, transmission method, and program
JP2001078195A (ja) システムエンコード装置
JP2010219638A (ja) データ転送装置及び撮像装置

Legal Events

Date Code Title Description
A201 Request for examination
A302 Request for accelerated examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant