WO2005074274A1 - 画像表示方法及び画像表示装置並びに画像表示プログラム - Google Patents

画像表示方法及び画像表示装置並びに画像表示プログラム Download PDF

Info

Publication number
WO2005074274A1
WO2005074274A1 PCT/JP2005/001113 JP2005001113W WO2005074274A1 WO 2005074274 A1 WO2005074274 A1 WO 2005074274A1 JP 2005001113 W JP2005001113 W JP 2005001113W WO 2005074274 A1 WO2005074274 A1 WO 2005074274A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
image data
alarm
time
recording
Prior art date
Application number
PCT/JP2005/001113
Other languages
English (en)
French (fr)
Inventor
Seiichi Hirai
Shinya Ogura
Takashi Mito
Shigeyuki Murata
Original Assignee
Hitachi Kokusai Electric Inc.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc. filed Critical Hitachi Kokusai Electric Inc.
Priority to GB0614541A priority Critical patent/GB2427521B/en
Priority to US10/587,454 priority patent/US8015586B2/en
Publication of WO2005074274A1 publication Critical patent/WO2005074274A1/ja

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10Digital recording or reproducing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/92Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/93Regeneration of the television signal or of selected parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • Image display method image display device, and image display program
  • the present invention relates to an image reproducing method, and more particularly to an image reproducing method for effectively reproducing, for example, image data recorded in various forms.
  • images taken by a camera can be transmitted to a remote computer by a personal computer.
  • a system has been implemented that can display a screen on a client device such as a pile tool.
  • Such a system is used for various purposes, for example, as a monitoring system that monitors an abnormality of an intruder or a management target by using an image (for example, Japanese Patent Application Laid-Open No. 2003-274383). Publication).
  • image data is distributed to a client device by storing image data captured by a camera in a server and distributing the image data from the server to the client device.
  • the quality of image data depends on the time of day or when a specific abnormality occurs, even for the same camera image.
  • the compression rate and frame rate can be changed in some cases.
  • the present invention has been made in view of such conventional circumstances, and provides, for example, an image reproducing method that can effectively reproduce image data recorded in various forms. With the goal.
  • An image reproduction method is an image reproduction method in which a moving image obtained by one imaging device is recorded by a plurality of systems using a plurality of different frame rates, and the recorded moving image is reproduced.
  • the recorded moving image is composed of a plurality of still image data, and according to a time axis that serves as a reference for reproducing the recorded moving image, a moving image of one of the plurality of systems is provided. Is configured to reproduce the still image data.
  • recording in a plurality of systems means, for example, that images obtained by one imaging device are respectively recorded in a plurality of channels of one recording device or different recording devices under different image conditions. And recording based on the situation according to it.
  • video condition refers to, for example, resolution, compression ratio, and the like, in addition to the above-described frame rate.
  • the image reproduction method of the present invention may be arranged such that, when the still image data constituting each of the moving images of at least two of the plurality of systems is image data generated at the same time, It is configured to reproduce the still image data constituting a moving image of a high rate and a system.
  • whether or not the respective times of the generated image data are “same time” is determined by, for example, considering the time of an error generated when time information is added to the image data. May be determined.
  • the moving image of the higher frame rate system may be provided during a period in which the still image data forming the moving image of the higher frame rate continuously exists. Is configured to reproduce the still image data.
  • the image reproducing method of the present invention is characterized in that a moving image obtained by one imaging device is recorded by a plurality of systems at least four times at different frame rates or different compression ratios or different resolutions.
  • An image reproducing method for reproducing a recorded moving image wherein the recorded moving image is composed of a plurality of still image data, and is based on a time axis serving as a reference for reproducing the recorded moving image.
  • the system is configured to reproduce the still image data constituting a moving image of any one of the plurality of systems.
  • the image reproducing method of the present invention may be arranged such that, when the still image data constituting each of the moving images of at least two of the plurality of systems is image data generated at the same time, The still image data constituting a moving image of a system with a high rate, a low compression rate, or the high resolution system is reproduced.
  • the image reproducing method of the present invention may be arranged such that the still image data constituting the moving image of the high frame rate system or the low compression rate or high resolution system is continuously present.
  • the still image data constituting the moving image of the system having the high frame rate or the system having the low compression ratio or the high resolution is reproduced.
  • image data recorded in various forms can be effectively reproduced.
  • FIG. 1 shows an embodiment of the overall configuration of an image storage and distribution system to which an image reproducing method according to the present invention is applied.
  • the image storage / delivery system shown in the present embodiment includes an image storage / delivery server 1 provided with a randomly accessible recording device (hereinafter, referred to as a disk device) 3 for storing image (sometimes including audio) data. And a plurality of Web cameras 5 (5-1-5-n) connected to the image storage / delivery server 1 via the network 4 and a plurality of client terminals 6 (6-1-6-m). .
  • the image data of one Web camera 5 is recorded in a plurality of channels (two channels in this embodiment) according to the recording mode and recorded.
  • 5-1-1-5_n has a plurality of unique channel numbers.
  • 5-1 is for channel 1 (chl) and channel 2 (ch2),-- ⁇
  • 5-n is for channel p-1 (chp-1) and channel p (chp ) Web camera.
  • the image data of each frame of the video captured by the Web camera 5-1-5-n is compressed by an image compression method such as JPEG, for example, and transmitted to the image storage / delivery server 1 in an IP packet format.
  • the compressed image data is variable-length data having a different data amount for each frame.
  • the image storage / delivery server 1 extracts compressed image data (hereinafter, simply referred to as image data) from each packet received via the network from the Web camera 5-1--5_n, and stores the channel in the disk device 3 in advance. Store it in another storage area 30 (30-1—30-p).
  • the images of one Web camera 5 are stored in each storage area 30 in chronological order.
  • a frame number is assigned to each image data for each frame for control.
  • the image storage / delivery system it is possible to use a device in which functions such as the image storage / delivery server 1 and the disk device 3 are integrated.
  • Each client terminal 6 requests the image storage / delivery server 1 to distribute image data by designating a channel number and a frame number.
  • the image storage / delivery server 1 delivers the image data of the designated channel number / frame number read from the disk device 3 to the requesting client terminal 6 in the form of an IP packet.
  • each client terminal 6 transmits the image recorded on the disk device 3 Data can be reproduced.
  • the image reproduction method of the present invention is applied when the client terminal 6 makes a distribution request of image data to the image storage / delivery server 1 and reproduces the image data on the monitor of the client terminal 6.
  • Schedule recording refers to recording of image data from the Web camera 5 according to a time table set in advance by the user.
  • Manual recording means that a user who performs image monitoring on the monitor of the client terminal 6 records image data from the Web camera 5 at an arbitrary timing by GUI operation of the client terminal 6 (such as pressing a recording button). is there.
  • the alarm recording is to record image data from the Web camera 5 by inputting an alarm signal to the Web camera 5 (input of a contact point from an external sensor, detection of an intruder by image recognition processing, etc.).
  • a recording mode other than these three recording modes may be used.
  • the scheduled recording and the manual recording are referred to as normal recording
  • the storage area 30 of the disk device 3 where the recording is performed by the normal recording is referred to as a normal channel (normal ch).
  • the storage area 30 of the disk device 3 where the recording is performed by the alarm recording is referred to as an alarm channel (alarm ch).
  • FIG. 2 is a diagram for explaining recorded contents of the disk device according to one embodiment of the present invention.
  • the case where only the frame rate of the image data to be recorded differs between the normal recording and the alarm recording will be described as an example, but the compression ratio and resolution of the image are further changed.
  • the recording contents of each recording mode can be arbitrarily set according to the actual system setting.
  • the alarm recording can record the image data at a higher frame rate, a lower compression ratio, and a higher resolution than the normal recording.
  • FIG. 3 is a diagram for explaining a recording operation on a disk device according to one embodiment of the present invention.
  • the Web camera 5 when the image data of the Web camera 5 is recorded in the storage areas 30-1 (chl) and 30-2 (ch2) of the disk device 3 by normal recording and alarm recording, the Web camera 5
  • the configuration of the image storage / delivery server 1 will be described. Here, for simplicity, description will be made using one Web camera 5-1 of the Web camera 5.
  • the Web camera 5-1 includes a photographing unit 50, an encoder unit 51, a transmission video memory 52, a transmission video memory (ring buffer) 53, and a network interface (IZF) 54.
  • the image storage / delivery server 1 includes a network interface (I / F) 10, a reception video memory 11
  • the web camera 5-1 and the image storage / delivery server 1 are connected via the network I / Fs 54 and 10, and the image storage / delivery server 1 and the disk device 3 are connected via the disk I / F12. I have.
  • the imaging unit 50 of the Web camera 5-1 captures an image of a predetermined visual field range.
  • the captured video signal is input to the encoder unit 51 at a frame rate of 30 fps, for example, at a time interval of 30 frames per second.
  • the encoder 51 compresses and encodes the video signal in, for example, the JPEG format or the like to generate image data.
  • the image data encoded by the encoder unit 51 is input to the transmission video memory 52 at 30 fps, for example, and is temporarily stored in the transmission video memory 52.
  • the transmission video memory 52 discards the image data stored so far and stores the new image data.
  • the CPU (not shown) of the image storage / delivery server 1 follows the normal recording rate (frame rate) set in advance in the data memory (not shown) in the image storage / delivery server 1. , A request to distribute image data is sent to Web camera 5-1.
  • the web camera 5-1 When the web camera 5-1 receives a request for distribution of image data, it transmits the request at that time.
  • the image data of one frame stored in the video memory 52 is transmitted to the image storage / delivery server 1.
  • the image storage / delivery server 1 uses a user such as the client terminal 6-1, etc., to set the recording start force and to request the Web camera 5-1 to distribute image data until the end of recording. repeat.
  • the image storage / delivery server 1 temporarily stores the received image data in the reception video memory 11_1, and then stores the image data in the disk device 3 used as a normal channel of the Web camera 5-1 via the disk IZF12. Record in area 30-1 (c hi).
  • image data output from the Web camera 5 may be intermittent and may be a moving image that is continuous in time series or another format.
  • the image data encoded by the encoder unit 51 is input to the transmission video memory 53 at an alarm recording rate (frame rate) preset in a data memory (not shown) in the Web camera 5-1. Then, it is temporarily stored in the transmission video memory 53.
  • the transmission video memory 53 is different from the configuration of the transmission video memory 52 in that it has a configuration capable of holding image data of a plurality of frames, for example, 100 frames. This is because, as described above, in the alarm recording, it is necessary to record the image data (blur alarm image) for a predetermined period before the alarm occurs.
  • the web camera 5-1 When an external sensor (not shown) connected to the web camera 5-1 is activated and an alarm signal is input to the web camera 5-1, the web camera 5-1 sends an alarm signal to the image storage / delivery server 1. Alarm notification is sent.
  • the CPU of the image storage / delivery server 1 that has received the alarm occurrence notification starts alarm recording.
  • the CPU of the image storage / delivery server 1 specifies a time that is a predetermined time before the alarm occurrence time, and Send a request to distribute image data to camera 5-1.
  • the web camera 5-1 transmits the image data from the specified time stored in the transmission video memory 53 to the image storage / delivery server 1.
  • the image storage / delivery server 1 temporarily stores the received image data in the reception video memory 11-2, and then stores the image data via the disk I / F 12 in the disk used as the alarm channel of the Web camera 5-1. It is stored in the storage area 30_2 (ch2) of the device 3.
  • the transmission of the image data from the Web camera 5-1 to the image storage / delivery server 1 continues until the generated alarm ends. That is, when the operation of the external sensor stops and the Web camera 5-1 sends an alarm end notification to the image storage / delivery server 1, the CPU of the image storage / delivery server 1 that has received the alarm end notification sends the image Stop requesting data distribution.
  • the image data stored in the transmission video memory 53 is the CPU (not shown) of the Web camera 5-1 which is read from the encoder unit 51 in accordance with the alarm recording rate and stored in the transmission video memory 53. . Therefore, unlike normal recording, in the case of alarm recording, the CPU of the image storage / delivery server 1 does not control the frame rate when requesting distribution of image data to the web camera 5-1. A distribution request is made based on all the image data in the transmission video memory 53 during the time period from the occurrence to the end of the alarm (including the pre-alarm image).
  • a mode in which the distribution request of the image data is stopped after a predetermined period set in advance from the time when the distribution server 1 receives the alarm occurrence notification (post-alarm recording) may be used.
  • the image data recorded in the storage area 30 of the disk device 3 includes, for example, time information (hereinafter, referred to as a time stamp) of the frame, a frame number indicating a shooting order in each channel, Frame rate information (normal recording rate or alarm recording rate) and the like are added as additional information.
  • time information hereinafter, referred to as a time stamp
  • Frame rate information normal recording rate or alarm recording rate
  • the time stamp is obtained by generating image data by the encoder unit 51 of the web camera 5.
  • the time is generated using the time when the image storage / delivery server 1 receives the image data from the Web camera 5 and the like.
  • the time stamp may be calculated by the following method.
  • the reception time of the image data is used as the time stamp of the image data.
  • the case of alarm recording there is a predetermined period during which the image data is held in the transmission video memory 53.
  • the difference between the time when the web camera 5 distributes the image data from the network IZF 54 and the time when the encoder unit 51 generates the image data is calculated, and the calculated difference is calculated based on the image data in the image storage and distribution server 1. Subtract from the reception time. Therefore, in the case of alarm recording, the subtraction value is used as the time stamp of the image data.
  • the normal recording rate is set by the image storage / delivery server 1, and the alarm recording rate is set by the Web camera 5.
  • the setting destination of these information is the actual system. It can be arbitrarily selected according to the configuration.
  • a configuration in which a memory for temporarily storing image data for a plurality of frames, such as the transmission video memory 53 in FIG. 3, is provided on the Web camera 5 side is not used.
  • the alarm recording rate only needs to be set by the image recognition server 1.
  • the image playback method When playing back the image data of the specified Web camera 5 recorded on the disk device 3 to the monitor of the client terminal 6, the image playback method includes "normal channel only playback”, “alarm channel only playback”, and “seamless channel playback”. Playback (details will be described later) ”. For example, an operation screen of a GUI for selecting one of these image reproduction methods is displayed on a display screen of a monitor of the client terminal 6, and the user presses a button of an input device such as a mouse, and the user can select an image reproduction method. You can select the image playback method.
  • these three image reproducing methods will be described in detail.
  • FIG. 4 is a diagram for explaining the operation of “reproduce only normal ch”.
  • the horizontal direction indicates the time direction, and the recording period of each channel is represented by a rectangle. Also, in FIG. The portion indicated by the thick arrow is reproduced. The same applies to FIGS. 5 and 6 described later.
  • the data is recorded in a predetermined normal channel, for example, the storage area 30-1 of the disk device 3 (the normal channel of the web camera 5-1). Only the image data is read out in chronological order and reproduced on the monitor of the client terminal 6.
  • FIG. 5 is a diagram for explaining the operation of “play only alarm ch”. As shown in FIG. 5, when “play only the alarm ch” is performed, the image recorded on the predetermined alarm ch (for example, the storage area 30-2 of the disk device 3 (the alarm ch of the web camera 5-1)) Only the data is read out in chronological order and reproduced on the monitor of the client terminal 6.
  • the predetermined alarm ch for example, the storage area 30-2 of the disk device 3 (the alarm ch of the web camera 5-1)
  • the reproduction is skipped during the period in which no image data exists, and the reproduction of the video is continued in the period in which the next image data exists.
  • the client terminal 6 requests the image storage / distribution server 1 to distribute image data in the order of frame numbers, thereby realizing the image reproduction method shown in FIGS. 4 and 5.
  • FIG. 6 is a diagram for explaining the operation of “seamless playback” according to one embodiment of the present invention.
  • “seamless playback” means, as shown in FIG. 6, when video is played back in chronological order, if image data exists in the alarm ch at a certain time, the image data of the normal ch The image data of the alarm ch is reproduced regardless of the presence or absence of the alarm ch. Image reproduction method. When there is no image data in both channels, the reproduction of the image data may be continued by skipping to the next time when the image data exists in either channel.
  • the reason for giving priority to the reproduction of the image data of the alarm ch is that, for the section where the image data exists in both the alarm ch and the normal ch as shown in Fig. 6, the image is reproduced at a high frame rate. This is because the content can be confirmed in more detail than the method of reproducing the image data of the alarm ch on which the data is recorded.
  • the frame rate since the frame rate, the resolution and the compression ratio of the image when performing the alarm recording and the normal recording can be arbitrarily set, which channel is used at the same time. If image data exists in any of the channels, it is possible to arbitrarily set which channel of the image data to give priority to reproduction in accordance with the actual system setting.
  • the reproduction reference time means, for example, a time axis serving as a reproduction reference.
  • FIG. 7 is a flowchart illustrating a basic operation of the image reproduction processing (seamless reproduction) 700 according to an embodiment of the present invention.
  • the current system time (current time) is stored as a control time in a data memory (not shown) of the client terminal 1 (step 701).
  • the current time stamp of the image data displayed on the monitor of the client terminal 6 is stored in the data memory as the reproduction reference time (step 702). Since the process of step 702 is a process for setting the reproduction start time of the image data, the time stamp of the image data currently displayed on the monitor of the client terminal 6 as described above is set as the reproduction start time and
  • various embodiments may be used as another embodiment, such as allowing the user of the client terminal 6 to specify the reproduction start time.
  • Step 703 it is determined whether or not the client terminal 6 is currently acquiring the image data of the alarm ch or the normal ch of the disk device 3 via the image accumulation / delivery server 1 (Ste 703).
  • step 709 which will be described later, the client terminal 6 makes a distribution request of predetermined image data to the image storage / delivery server 1. However, until the client terminal 6 finishes acquiring the image data, the process proceeds to the next step 704. Does not branch (determined to be Yes in step 703). If the client terminal 6 is not currently acquiring image data, the processing branches to the next step 704 (No is determined in step 703).
  • the client terminal 6 communicates the control time stored in the data memory with the current system. A difference from the time is calculated, and the calculated time is stored in the data memory as a “delay time” (step 704). After obtaining the delay time, the client terminal 6 stores the current system time in the data memory as a new control time, and updates the control time. Therefore, this delay time is the time required from the completion of the processing of step 704 in FIG. 7 to the return to the processing of step 704 again.
  • the client terminal 6 adds the delay time calculated in step 704 to the reproduction reference time stored in the data memory, and updates the reproduction reference time (step 705).
  • the client terminal 6 updates the reproduction timing of the image data at the client terminal 6 to the actual elapsed time by the processing of step 705 for updating the reproduction reference time using the delay time and the processing of step 708 described later. Can be matched.
  • the client terminal 6 acquires the reproduction image memory for the alarm ch, the reproduction image memory for the normal ch, and the frame number and time stamp of the image with the latest acquisition (step 706).
  • FIG. 8 is a diagram showing a configuration example of a reproduced image memory included in the client terminal 6.
  • the playback image memory includes a playback image memory 81 for a normal channel and a playback image memory 82 for an alarm channel.
  • Each of the memories 81 and 82 has an area for temporarily storing at least two frames of image data, one frame of the previously obtained image storage area and one frame of the latest obtained image storage area.
  • the client terminal 6 updates the reproduced image memory in step 709 described later, so that the image data obtained immediately before is stored in the previously obtained image storage area.
  • the time stamp of the latest acquired image in the reproduced image memory 82 for the alarm ch acquired in step 706 and the time stamp of the latest acquired image in the reproduced image memory 81 for the normal ch are respectively used as the reproduction reference. Compare with the time (step 707). At least one of the time stamps of the latest acquired image of the alarm ch and the normal ch is before the reproduction reference time ( If it indicates a time that is earlier than the reproduction reference time, the process branches to step 708. On the other hand, if the time stamps of both the latest acquired images indicate times after the reproduction reference time (time later than the reproduction reference time), the process branches to step 711.
  • step 707 the client terminal 6 should obtain the next ch of the channel for which it is determined in step 707 that the latest acquired image has a time stamp before the reproduction reference time.
  • the frame number of the image data is calculated (step 708). If it is determined that the timestamp of the latest acquired image is before the playback reference time for both the alarm ch and the normal ch, the client terminal 6 acquires the next acquired image for both chs. The frame number of the image data to be calculated is calculated.
  • the calculation of the frame number is performed using the delay time obtained in step 704, for example.
  • the next image data to be acquired is The image data of the next frame of the latest acquired image data held by the terminal 6 is used (that is, the frame number of the image data to be acquired next is a number obtained by adding 1 to the frame number acquired in step 706).
  • the image data to be acquired next is the image data three frames after the latest acquired image data currently held by the client terminal 6 (that is, the image data to be acquired next). Is the number obtained by adding 3 to the frame number obtained in step 706).
  • the frame number is incremented by 1 at 33 msec intervals. If the delay time obtained in step 704 is 100 msec, the delay time (100 msec) is divided by the frame interval (33 msec), and the quotient 3, which is the latest value currently held by the client terminal 6, is obtained. It is added to the frame number of the acquired image data.
  • This frame number is the frame number of the image data for which the client terminal 6 makes a distribution request to the image storage / delivery server 1 next.
  • the frame rate information for calculating the frame number includes, for example, the latest acquisition of the reproduction image memory. Frame rate information held by the image data as additional information can be used.
  • the client terminal 6 requests the image storage / delivery server 1 to deliver the image data of the frame number calculated in step 708 (step 709).
  • the client terminal 6 requests the distribution of the image data of the alarm ch. If the latest acquired image data determined to be before the reproduction reference time is that of a normal channel, in this step 709, the client terminal 6 makes a distribution request of the image data of the alarm channel.
  • the client terminal 6 applies the frame calculated in step 708 to both the alarm ch and the normal ch. Requests the distribution of the image data of the number.
  • the client terminal 6 updates the reproduction image memory for the channel for which the distribution request is made. For example, when the client terminal 6 requests distribution of new image data of the alarm channel in step 709, the image stored in the latest acquired image storage area of the reproduction image memory 82 for the alarm channel before that is requested. The data is stored in the previously obtained image storage area. Then, the image data for which the client terminal 6 has made a new distribution request in step 709 is received from the image accumulation / delivery server 1, and then stored in the latest acquired image storage area of the reproduction image memory 82 for the alarm ch. .
  • the client terminal 6 selects image data to be reproduced on the monitor from the reproduced image memories 81 and 82, and outputs the image data to the monitor (Step 710).
  • step 710 the reproduction image selection processing of step 710 is described as one processing (step) in the flowchart shown in FIG. 7, for example, a processing in which image data is drawn on a monitor.
  • the reproduction image selection processing may be executed independently.
  • step 707 when it is determined in step 707 that the time stamp of the latest acquired image of any channel of the client terminal 6 is after the reproduction reference time, the client terminal 6 A time indicating the oldest (past) time of the latest acquired images in the reproduced image memories 81 and 82 for the alarm ch and the normal ch without performing a distribution request of image data (processing in step 708 etc.).
  • the stamp is stored in the data memory as the skip determination time (step 711).
  • the client terminal 6 determines whether or not the difference between the skip determination time set in step 711 and the reproduction reference time is 3 seconds or more (step 712). If the difference is 3 seconds or more, the process branches to step 713. If the difference is not 3 seconds or more, the process of step 713 is not performed, and the process branches to step 714.
  • step 712 the client terminal 6 stores the skip determination time in the data memory as a new reproduction reference time (step 713).
  • the above three seconds is an example of a reference value for determining whether to skip the reproduction reference time for a predetermined period based on the difference between the reproduction reference time and the time stamp of the image data to be reproduced next.
  • the reference value may be arbitrarily set according to the actual setting status of the system.
  • the client terminal 6 can reproduce the image data by skipping a time zone in which no image data exists on the channel of the disk device 3.
  • the client terminal 6 stores the current system time as a new control time in the data memory, and updates the control time. .
  • the client terminal 6 determines whether or not the user of the client terminal 6 has issued an instruction to stop reproduction of image data. If the reproduction stop instruction has been issued, the image reproduction processing ends. If the reproduction stop instruction has not been issued, the processing branches to step 703 (step 714).
  • step 710 shown in FIG. 7 will be described in detail with reference to FIG. 7
  • the client terminal 6 sets the time stamp of the previously acquired image in the playback image memory 81 for the normal channel and the time stamp of the previously acquired image in the playback image memory 82 for the alarm channel. Is compared with (step 901).
  • step 902. if it is determined that the time stamp of the previously acquired image in the reproduced image memory 82 for the alarm channel is newer, the process branches to step 902. Similarly, Tr If it is determined that the time stamp of the previously acquired image in the reproduction image memory 82 for the normal channel and the time stamp of the previously acquired image in the reproduction image memory 81 for the normal ch are at the same time, the process also proceeds to step 902. Branch to On the other hand, as a result of the comparison, when it is determined that the time stamp of the previously obtained image in the reproduction image memory 81 for the normal channel is newer, the process branches to step 903.
  • step 901 the client terminal 6 reads the previously acquired image from the replay image memory 82 for the alarm ch, outputs the image to the monitor, and reproduces the image data (step 902).
  • the time stamp of the image data stored in the previously obtained image storage area of the reproduction image memories 81 and 82 when performing step 710 is older than the reproduction reference time, Since the time is set to be the same, the image data with the newer time stamp among the previously acquired images of the alarm ch and the normal ch is image data at a time closer to the reproduction reference time.
  • the processing is also performed in step.
  • the reason for branching to 902 is that, as described above with reference to FIG. 6, when image data at the same time exists in the alarm ch and the normal ch, the image data of the alarm ch is reproduced. This is because it was configured as follows.
  • step 901 the client terminal 6 calculates the difference between the time stamps of the latest acquired image in the reproduction image memory 82 for the alarm ch and the previously acquired image (step 903).
  • the client terminal 6 reads out the frame rate information given as the additional information to the previously acquired image in the reproduction image memory 82 for the alarm ch, and calculates the alarm continuation determination value (step 904). For example, if the frame rate information added to the previously obtained image in the reproduction image memory 82 for the alarm channel is 15 fps, the frame interval is calculated as 66 msec. The client terminal 6 sets, as the alarm continuation determination value, a value of 86 msec, for example, which has a margin value of 20 msec.
  • the client terminal 6 compares the difference calculated in step 903 with the alarm continuation determination value calculated in step 904 (step 905). As a result of comparison, the difference If not, the process branches to step 902. The reason is that by comparing the alarm continuation determination value calculated based on the frame rate information with the difference calculated in step 903, the previously acquired image storage area of the reproduction image memory 82 for the alarm ch of the client terminal 6 at present. This is because it is possible to determine whether or not the image data held in the alarm data of the disk device 3 is the image data during the period of being continuously recorded at the predetermined frame rate on the alarm ch of the disk device 3.
  • the client terminal 6 determines whether the stored image data is image data during a period in which one alarm recording started by an alarm generated from a certain time is continued, or Check whether the image data is the image data at the point where the alarm recording started by the alarm that occurred at a certain time and another alarm recording started by an alarm that occurred at another time after that. to decide. As a result, during the period in which the alarm recording of 1 is continued, the reproduction of the image data of the alarm channel is prioritized without reproducing the image data of the normal channel.
  • step 901 determines that the previously acquired image of the normal ch is image data at a time closer to the reproduction reference time than the previously acquired image of the alarm ch, even if it is determined that one alarm recording If it is the period during which the alarm is continued, the process branches to step 902, and the previously acquired image of the alarm ch is reproduced.
  • step 905 if the result of the comparison in step 905 is that the time stamp difference is larger than the alarm continuation value, the process branches to step 906.
  • step 905 the client terminal 6 reads the previously obtained image from the reproduction image memory 81 for the normal channel, outputs the image to the monitor, and reproduces the image data (step 906).
  • FIG. 10A is a diagram for explaining an example of the recorded contents of the normal channel and the alarm channel of the disk device 3.
  • the image data of one Web camera 5 is recorded at 4 fps in the normal channel
  • the image data of the Web camera 5 is recorded at 18 fps in the alarm channel.
  • the alarm ch indicates the case where two alarm recordings of frame numbers 1 to 7 and frame numbers 8 to 12 have been performed.
  • the time indicated by the position on the left side of the square figure indicating each image data is the time stamp of the image data.
  • the values of 4 fps and 18 fps are used for convenience of explanation, and as described above, the normal recording rate and the alarm recording rate can be arbitrarily set according to the actual system setting situation. It is possible.
  • the normal recording rate or alarm recording rate will be a multiple of 33 msec, such as 30 fps, 15 fps, 10 fps, 6 fps, It is preferable to set 5 fps, 3 fps, 2 fps, lfps, and the like.
  • FIGS. 11A and 11D show a case where the recording contents of the normal ch and the alarm ch of the disk device 3 are shown in FIG. 10A, and the client terminal 6 performs the image reproduction processing shown in FIGS. 7 and 9. This shows the recorded contents of the reproduced image memory 81 for the ch and the reproduced image memory 82 for the alarm ch and the image data to be reproduced.
  • FIG. 11A The case where the playback reference time is at the position tl is shown in FIG. 11A, the case where the playback reference time is at the position t2 is shown in FIG. 11B, the case where the playback reference time is at the position t3 is shown in FIG. 11C, and the playback reference time is shown in FIG.
  • FIG. 11D The case at the position of t4 is shown in FIG. 11D.
  • FIGS. 11A to 11D show a state immediately after the reproduction image selection processing in step 710 in FIG. 7 is performed.
  • step 707 of FIG. 7 the time stamps of the latest acquired images (frame number 2 in FIG. 10A) of the alarm ch and the normal ch at that time coincide with the playback reference time tl. Branch.
  • step 708 it is assumed that the frame number 3 is calculated as the next image data to be acquired for both the alarm ch and the normal ch.
  • step 709 the client terminal 6 requests the image accumulation / delivery server 1 to distribute the image data of the frame number 3 of the alarm ch and the normal ch.
  • the client terminal 6 updates the reproduced image memories 81 and 82 and stores the image data of the frame number 2 in the previously obtained image storage area.
  • Latest acquired image storage area In step 709, a distribution request is made in step 709, and the image data of frame number 3 currently being acquired via the image storage / delivery server 1 is stored.
  • step 710 since the time stamps of the previously acquired image (frame number 2 in FIG. 10A in both cases) of the alarm ch and the normal ch at that time coincide, Yes is determined in step 901 in FIG. Is determined.
  • step 902 the previously acquired image (frame number 2 in FIG. 1 OA) of the alarm ch is selected and output to the monitor.
  • step 707 of FIG. 7 the time stamp of the latest acquired image (frame number 3 in FIG. 10A) of the alarm ch at that time coincides with the reproduction reference time t2, so the processing branches to step 708.
  • step 708 the frame number 4 is calculated as the image data of the next alarm ch to be acquired.
  • step 709 the client terminal 6 requests the image accumulation / delivery server 1 to distribute the image data of the frame number 4 of the alarm ch, and updates the reproduction image memory 82 as shown in FIG. 11B. Then, the image data of frame number 3 is stored in the previously obtained image storage area. In the latest acquired image storage area, a distribution request is made in step 709, and the image data of the frame number 4 currently being acquired via the image accumulation / delivery server 1 is stored.
  • the time stamp of the previous acquired image (frame number 3 in FIG. 10A) of the alarm ch at that time is the previously acquired image of the normal ch (frame number 2 in FIG. 10A). Since the time stamp is newer than the time stamp, the determination is Yes in step 901 in FIG.
  • step 902 the previously acquired image (frame number 3 in FIG. 1 OA) of the alarm ch is selected and output to the monitor.
  • step 707 of FIG. 7 the time stamp of the latest acquired image (frame number 3 in FIG. 10A) of the normal channel at that time coincides with the reproduction reference time t3, and the process branches to step 708.
  • step 708 the frame number 4 is calculated as the image data of the next normal channel to be acquired.
  • step 709 the client terminal 6 requests the image storage / delivery server 1 to deliver the image data of the frame number 4 of the normal channel, and updates the playback image memory 81 as shown in FIG.
  • the image data of 3 is stored in the previously obtained image storage area.
  • a distribution request is made in step 709, and the image data of the frame number 4 currently acquired via the image accumulation / delivery server 1 is stored.
  • the time stamp of the previously acquired image (frame number 3 in FIG. 10A) of the normal channel at that time is the previously acquired image of the alarm channel (frame number 6 in FIG. 10A). Since the time stamp is newer than the time stamp, the process proceeds to step 901 in FIG. At time t3, since the alarm recording of 1 consisting of frame numbers 17 is still in progress, in step 905 after steps 903 and 904, the timestamp of the latest acquired image and the previously acquired image of the alarm channel is set. The difference between the stamps is smaller than the alarm continuation determination value. Therefore, it is determined as No in step 905.
  • step 902 the previously acquired image (frame number 6 in FIG. 10A) of the alarm ch is selected and output to the monitor.
  • step 707 in FIG. 7 the time stamp of the latest acquired image (frame number 4 in FIG. 1 OA) of the normal channel at that time coincides with the reproduction reference time t4, so the processing branches to step 708.
  • step 708 the frame number 5 is calculated as the image data of the next normal channel to be acquired.
  • step 709 the client terminal 6 requests the image storage / delivery server 1 to deliver the image data of the frame number 5 of the normal channel, and updates the playback image memory 81 as shown in FIG.
  • the image data of 4 is stored in the previously obtained image storage area.
  • a distribution request is made in step 709, and the image data of the frame number 5 currently acquired via the image accumulation / delivery server 1 is stored.
  • the playback image selection processing of step 710 the time stamp of the previously acquired image (frame number 4 in FIG. 10A) of the normal ch at that time is the previously acquired image of the alarm ch (frame number 7 in FIG. 10A). Since the time stamp is newer than the time stamp, the process proceeds to step 901 in FIG.
  • step 905 After steps 903 and 904, the time stamp of the latest acquired image of the alarm ch and the time stamp of the previously acquired image Is larger than the alarm continuation determination value. Therefore, in step 905, the determination is Yes, and in step 906, the previously acquired image (frame number 4 in FIG. 1 OA) of the normal channel is selected and output to the monitor.
  • FIG. 10B shows that the client terminal 6 performs the image reproduction processing shown in FIGS. 7 and 9 when the recorded contents of the normal channel and the alarm channel of the disk device 3 are as shown in FIG. 10A.
  • FIG. 7 is a diagram for describing performed reproduction of image data.
  • the reproduction of the image data of the alarm channel has priority.
  • the image data of the frame number 2 of the normal ch and the alarm ch have the same time stamp, the image data of the frame number 2 of the alarm ch is reproduced, and the image data of the frame number 2 of the normal ch is reproduced. No regeneration takes place.
  • the image data of the frame numbers 3 and 6 of the normal ch is not reproduced. .
  • FIG. 10C shows a case where the recorded contents of the normal ch and the alarm ch of the disk device 3 are as shown in FIG. 10A, and the client terminal 6 performs the image reproduction processing shown in FIG. 7 and FIG.
  • FIG. 11 is a diagram for describing image data reproduced when another image reproduction process with a part thereof changed is performed.
  • step 903 905 shown in FIG. 9 the processing of steps 903 905 shown in FIG. 9 is not performed. If the determination in step 901 is No, the process branches to step 906. In other words, since the process of giving priority to the reproduction of the image data of the alarm ch is not performed during the alarm recording, the reproduction of the image data is performed in chronological order regardless of the alarm ch and the normal ch. Therefore, as shown in Fig. 10C, the image data of frame numbers 3 and 6 of the normal channel The data is also reproduced. Also in FIG. 10C, the image data of the frame number 2 of the normal channel having the same time stamp as the image data of the frame number 2 of the alarm channel is not reproduced.
  • the content of the alarm recording as shown in FIG. May be generated so that the client terminal 6 refers to the table stored in the image storage / delivery server 1 when performing seamless playback.
  • the time zone in which the image data is recorded in advance on the alarm ch of the disk device 3 (alarm recording start time-alarm recording end time) and the frame of the image data in that time zone The number (alarm recording start frame number-alarm recording end frame number) can be grasped. Therefore, seamless reproduction in the client terminal 6 can be realized by an algorithm in which image data is reproduced by normal recording during a time period when there is no image data by alarm recording.
  • processing such as processing performed by comparing the time stamps of the image data of the alarm ch and the normal ch, such as the processing of step 901 in FIG. There is no need to do this every time playback is performed.
  • step 705 of FIG. 705 When performing forward playback, for example, when performing double-speed playback such as 1/2 ⁇ speed playback, 2 ⁇ speed playback, or 4 ⁇ speed playback, in step 705 of FIG. Then, the result obtained by multiplying the delay time calculated in step 704 by a double speed coefficient (for example, 2 for double speed) may be added to update the reproduction reference time.
  • a double speed coefficient for example, 2 for double speed
  • the time stamp of the image data of the normal channel and the alarm channel has an offset amount (for example, the frame of the normal channel)
  • the normal recording rate and the alarm recording rate are set to a predetermined frame rate. In this way, it is also possible to use a configuration in which the above-mentioned displacement does not occur.
  • the image data of the alarm ch is preferentially reproduced, so that the image data of the high frame rate is reproduced.
  • image data with different frame rates, compression ratios, resolutions, etc. are recorded in each channel, for example, image data with a low compression ratio, image data with a high resolution, etc. are preferentially reproduced. It is also possible to use various embodiments.
  • an alarm ch and a normal ch are configured in different storage areas of one disk device.
  • an alarm ch and a normal ch are respectively provided. It is also possible to use a mode in which the disk devices are configured to be different from each other.
  • FIG. 12 is a diagram for explaining an example of a process when recording image data by normal recording and alarm recording for one channel.
  • the image storage / delivery server 1 records the video of the web camera 5 at the specified frame rate.
  • the image storage / delivery server 1 obtains the video from the web camera 5 at a time tl which is a predetermined time before the time t2, and records the video. Start recording.
  • the video from time tl is recorded in order to also record the pre-alarm image.
  • This video was buffered in the alarm video buffer of the web camera (for example, the buffer corresponding to the transmission video memory 53 in FIG. 3), and the image storage / delivery server 1 stores the video in the already recorded tl
  • the image of t2 is overwritten, and the image of t23 is also recorded in the time difference.
  • FIG. 13 is a diagram for explaining an example of a process for resolving the recording loss shown in FIG.
  • the video at time t1 to t3 is recorded during the period from time t2 to time 3, that is, the recording interval is shorter than usual, and high-speed recording is performed.
  • high-speed recording for example, (1) it is not known when the alarm that has occurred will end, so the period during which the alarm recording continues in 1 cannot be predicted in advance, and the appropriate amount of reduction in the recording interval is calculated. There is a problem that can not be.
  • Such a problem can be avoided by determining the minimum value of the alarm recording duration, but it will limit the system construction. Also, for example, there is a problem that (2) the processing load of the image storage / delivery server 1 becomes larger than usual during high-speed recording. That is, it is necessary to incorporate a load increase for high-speed recording as a margin into the recording performance of the image storage / delivery server 1. In addition, the occurrence of alarms may occur asynchronously from multiple Web cameras 5, that is, a large number of alarms may be generated at the same time. It is necessary to calculate the performance specifications of server 1, which is not a good idea in terms of performance specifications. Therefore, it is better to record at the normal recording interval (Fig. 12) while maintaining the time difference, rather than performing high-speed recording (Fig. 13) during the time difference recording section. There is also a method of continuing normal recording and alarm recording while keeping the time difference in lch at all times. For example, there is a problem that the cost of the system is increased.
  • the recording is performed by dividing the channels into the normal recording and the alarm recording, and therefore, for example, the above described with reference to FIG. 12 and FIG. Can be solved.
  • the video of the same time zone is redundantly recorded in, for example, two channels of a normal channel and an alarm channel, a power that requires an extra recording capacity compared to the configurations in FIGS.
  • normal recording is often performed at a low frame rate (for example, lfps), problems that occur in the method described with reference to FIGS. This is not a big problem compared to.
  • the image data by the normal recording and the alarm recording are made to coexist on the same channel. Hateful. Therefore, for example, one channel stores the video of one Web camera in chronological order, and stores the video of one Web camera into two channels, such as a normal channel and an alarm channel. Then, the structure of the recording system can be simplified. It is also possible to use a configuration in which the video of one Web camera is divided and stored in three or more channels.
  • the image playback method (seamless playback) of the present invention allows two types of recorded videos generated from one camera to be displayed on a single playback screen in one video stream. Playback to the user as a system.
  • the configuration of the image reproducing method according to the present invention is not necessarily limited to the one described above, and various configurations may be used.
  • the present invention can be provided as, for example, a method or method for executing the processing according to the present invention, or a program for realizing such a method or method. It is also possible to provide the present invention as various devices and systems.
  • the application field of the present invention is not necessarily limited to the above-described fields, and the present invention can be applied to various fields. .
  • the force described by taking an example of a video generated by a camera of a surveillance system as an example.
  • the application field of the present invention is not limited to this. For example, it is possible to handle images related to movies and television programs.
  • Examples of various processes performed in the image reproduction method and the like according to the present invention include, for example, For example, a configuration in which the processor is controlled by executing a control program stored in a ROM (Read Only Memory) may be used based on hardware resources including a processor and a memory. For example, each functional means for executing the processing may be configured as an independent hardware circuit.
  • a configuration in which the processor is controlled by executing a control program stored in a ROM (Read Only Memory) may be used based on hardware resources including a processor and a memory.
  • each functional means for executing the processing may be configured as an independent hardware circuit.
  • the present invention can also be understood as a computer-readable recording medium such as a floppy (registered trademark) disk or a CD (Compact Disc) _ROM storing the above-mentioned control program, or the program itself.
  • a computer-readable recording medium such as a floppy (registered trademark) disk or a CD (Compact Disc) _ROM storing the above-mentioned control program, or the program itself.
  • the present invention can be used, for example, as a method or a method for executing the processing according to the present invention, or as a program for realizing such a method or method. It can also be used as various devices and systems such as devices. Brief Description of Drawings
  • FIG. 1 is a diagram showing an overall configuration of an image storage / delivery system according to an embodiment of the present invention.
  • FIG. 2 is a diagram for explaining recorded contents of a disk device according to one embodiment of the present invention.
  • FIG. 3 is a diagram for explaining a recording operation on a disk device according to one embodiment of the present invention.
  • FIG. 4 is a diagram for explaining image reproduction processing according to one embodiment of the present invention.
  • FIG. 5 is a diagram for explaining image reproduction processing according to one embodiment of the present invention.
  • FIG. 6 is a diagram for explaining image reproduction processing according to one embodiment of the present invention.
  • FIG. 7 is a flowchart for explaining an image reproduction process according to an embodiment of the present invention.
  • Garden 8 A diagram showing a configuration of a memory area according to an embodiment of the present invention.
  • FIG. 9 is a flowchart for explaining image reproduction processing according to an embodiment of the present invention.
  • FIG. 10A is a diagram for explaining an example of recorded contents and reproduced contents according to one embodiment of the present invention.
  • FIG. 10B is a diagram for explaining an example of recorded contents and reproduced contents according to one embodiment of the present invention.
  • FIG. 10C is a diagram for explaining an example of recorded contents and reproduced contents according to one embodiment of the present invention.
  • FIG. 11A is a diagram for explaining an example of recorded contents and reproduced contents according to one embodiment of the present invention.
  • FIG. 11B is a diagram for explaining an example of recorded contents and reproduced contents according to one embodiment of the present invention.
  • FIG. 11C is a diagram for explaining an example of recorded contents and reproduced contents according to one embodiment of the present invention.
  • FIG. 11D is a diagram for explaining an example of recorded contents and reproduced contents according to one embodiment of the present invention.
  • FIG. 12 is a diagram for explaining an example of processing when recording is performed in a different recording mode for one channel according to an embodiment of the present invention.
  • FIG. 13 is a diagram for explaining an example of a process when recording is performed in a different recording mode for one channel according to an embodiment of the present invention.
  • FIG. 14 is a diagram showing an example of a table for managing recorded contents according to one embodiment of the present invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Television Signal Processing For Recording (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Abstract

 記録装置に多様な形態で記録されている画像データを効果的に再生する画像再生機能を提供する。1つの撮像装置により得られる動画像を異なるフレームレートにより複数系統で記録し、該記録された動画像を再生する場合において、前記記録された動画像は、複数の静止画像データから構成されており、前記記録された動画像の再生の基準となる時間軸に従って、前記複数系統のうちのいずれか1つの系統の動画像を構成する前記静止画像データを再生するようにする。

Description

明 細 書
画像表示方法及び画像表示装置並びに画像表示プログラム
参照による取り込み
[0001] 本出願は、 2004年 1月 29日に出願された日本特許出願第 2004—022106号の 優先権を主張し、その内容を参照することにより本出願に取り込む。
技術分野
[0002] 本発明は、画像再生方法に関し、特に、例えば、多様な形態で記録されている画 像データを効果的に再生する画像再生方法に関する。
背景技術
[0003] ネットワーク通信の普及により、カメラで撮影された画像(動画像、静止画像、静止 画像が時系列に連続した間欠的な準動画像等)を、遠隔地のユーザがパーソナルコ ンピュータゃモパイルツール等のクライアント装置で画面表示させることができるシス テムが実施されている。
[0004] このようなシステムは、種々な用途に利用されており、例えば、画像により、侵入者 や管理対象物の異常を監視する監視システムとして利用されている (例えば、特開 2 003— 274383号公報)。
発明の開示
発明が解決しょうとする課題
[0005] ところで、クライアント装置への画像データの配信は、カメラで撮影した画像データ をサーバに蓄積し、当該サーバからクライアント装置へ配信する形態が一般的である
。しかし、上記のようなシステムの普及に伴レ、、今後、ユーザの利便性向上のために 、サーバへ蓄積する画像データの記録形態が多様化することが想定される。例えば
、ネットワークの通信負荷やサーバの記憶容量等を考慮し、同一のカメラの映像であ つても、時間帯や、特定の異常が発生した場合等に応じて、画像データの品質 (解像 度、圧縮率、フレームレート(fps : frame per second)等)が変えられる場合もあり える。
し力しながら、従来のシステムは、多用な形態で記録されている画像データを効果 的に再生するには十分なシステムではなかった。
[0006] 本発明は、このような従来の事情に鑑み為されたもので、例えば、多用な形態で記 録されている画像データを効果的に再生することができる画像再生方法を提供する ことを目的とする。
課題を解決するための手段
[0007] 本発明の画像再生方法は、 1つの撮像装置により得られる動画像を複数の異なる フレームレートを用いて複数系統で記録し、該記録された動画像を再生する画像再 生方法であって、前記記録された動画像は複数の静止画像データから構成され、前 記記録された動画像を再生する基準となる時間軸に従い、前記複数系統のうちのい ずれか 1つの系統の動画像を構成する前記静止画像データを再生するように構成さ れる。
[0008] ここで、「複数系統で記録」とは、例えば、 1つの撮像装置により得られた映像を異 なる映像条件により 1つの記録装置の複数チャネル或いは異なる記録装置にそれぞ れ記録することや、それに準じた状況による記録すること等をいう。
ここで、「映像条件」とは、例えば、上記したフレームレートの他、解像度や、圧縮率 等のことをいう。
[0009] なお、本明細書では、「画像」という語を用いて説明を行うが、例えば、「映像」といつ た語についても、同様な用語であり、本発明に包含される。
[0010] また、本明細書では、「再生」という語を用いて説明を行うが、例えば、「表示」や「閲 覧」といった語についても、同様な用語であり、本発明に包含される。
また、本明細書では、「記録」や「記憶」という語を用いて説明を行うが、例えば、「レ コード」や「録画」といった語についても、同様な用語であり、本発明に包含される。
[0011] また、本発明の画像再生方法は、前記複数系統のうち少なくとも 2つの系統の各動 画像を構成する前記静止画像データがそれぞれ同時刻に生成された画像データで ある場合は、前記フレームレートの高レ、系統の動画像を構成する前記静止画像デー タを再生するように構成される。
[0012] ここで、前記生成された画像データのそれぞれの時刻が「同時刻」であるか否かは 、例えば、画像データに時刻情報を付与する際に発生する誤差分の時間等を考慮し て判断されても良い。
[0013] また、本発明の画像再生方法は、前記フレームレートの高い系統の動画像を構成 する前記静止画像データが連続して存在する期間においては、前記フレームレート の高い方の系統の動画像を構成する前記静止画像データを再生するように構成さ れる。
[0014] また、本発明の画像再生方法は、 1つの撮像装置により得られる動画像を異なるフ レームレート或いは異なる圧縮率或いは異なる解像度の少なくともいずれ力 4つによ り複数系統で記録し、該記録された動画像を再生する画像再生方法であって、前記 記録された動画像は複数の静止画像データから構成され、前記記録された動画像を 再生する基準となる時間軸に従レ、、前記複数系統のうちのいずれか 1つの系統の動 画像を構成する前記静止画像データを再生するように構成される。
[0015] また、本発明の画像再生方法は、前記複数系統のうち少なくとも 2つの系統の各動 画像を構成する前記静止画像データがそれぞれ同時刻に生成された画像データで ある場合は、前記フレームレートの高レ、或いは前記圧縮率の低レ、或いは前記解像度 の高い系統の動画像を構成する前記静止画像データを再生するように構成される。
[0016] また、本発明の画像再生方法は、前記フレームレートの高い系統或いは前記圧縮 率の低い或いは前記解像度の高い系統の動画像を構成する前記静止画像データ が連続して存在する期間においては、前記フレームレートの高い系統或いは前記圧 縮率の低い或いは前記解像度の高い系統の動画像を構成する前記静止画像デー タを再生するように構成される。
発明の効果
[0017] 以上説明したように、本発明に係る画像再生方法によると、例えば、多用な形態で 記録されている画像データを効果的に再生することができる。
発明を実施するための最良の形態
[0018] 本発明に係る一実施例を図面を参照して説明する。
以下、本発明の実施例について、図面を参照して説明する。
[0019] 図 1は、本発明による画像再生方法が適用される画像蓄積配信システムの全体構 成の一実施例を示す。 本実施例に示した画像蓄積配信システムは、画像 (音声を含む場合もある)データ を蓄積するためのランダムアクセス可能な記録装置 (以下、ディスク装置と言う) 3を備 えた画像蓄積配信サーバ 1と、ネットワーク 4を介して上記画像蓄積配信サーバ 1に 接続された複数の Webカメラ 5 (5—1 5— n)と、複数のクライアント端末 6 (6-1-6- m)と、力 なる。
本実施例の画像蓄積配信システムにおいては、 1つの Webカメラ 5の画像データを 、記録モードに応じて複数のチャネル (本実施例では 2つのチャネル)に分けて記録 する構成としているため、 Webカメラ 5—1— 5_nは、それぞれ固有のチャネル番号を 複数有している。例えば、 5—1はチャネル 1 (chl)用、及び、チャネル 2 (ch2)用、 - - ■■■■、 5— nはチャネル p— 1 (chp— 1)用、及び、チャネル p (chp)の Webカメラとする。 ここで、 n、 m、 pは自然数であり、 n=m=pである必要はなぐその組み合わせは任 意に選択できる。
[0020] Webカメラ 5-1— 5-nによる撮影映像の各フレームの画像データは、例えば、 JPE G等の画像圧縮方式で圧縮され、 IPパケット形式で画像蓄積配信サーバ 1に送信さ れる。この場合、圧縮された画像データは、フレーム毎にデータ量の異なる可変長デ ータとなる。画像蓄積配信サーバ 1は、 Webカメラ 5—1— 5_n力らネットワークを介し て受信した各パケットから圧縮画像データ (以下、単に画像データと言う)を抽出し、 ディスク装置 3に予め確保されたチャネル別の記憶領域 30 (30-1— 30-p)に記憶 する。
したがって、各記憶領域 30には 1台の Webカメラ 5の画像が時系列に格納されるこ ととなる。また、記録の際、各画像データには制御のためにフレーム毎にフレーム番 号が割り振られる。なお、上記画像蓄積配信システムにおいては、画像蓄積配信サ ーバ 1とディスク装置 3等の機能が一体化された装置を用レ、ることも可能である。
[0021] 各クライアント端末 6は、画像蓄積配信サーバ 1に対して、チャネル番号とフレーム 番号とを指定して画像データの配信を要求する。画像蓄積配信サーバ 1は、クライア ント端末からの要求に応じて、ディスク装置 3から読み出した指定チャネル番号/フ レーム番号の画像データを IPパケット形式で要求元のクライアント端末 6に配信サー ビスする。これにより、各クライアント端末 6は、ディスク装置 3に記録されている画像 データの再生を行うことができる。
本発明の画像再生方法は、クライアント端末 6が画像蓄積配信サーバ 1に対して画 像データの配信要求を行い、クライアント端末 6のモニタに画像データを再生する際 に適用される。
[0022] ここで、上記画像蓄積配信システムに実装されている記録モードとしては、そのトリ ガ要因の違いから、スケジュール録画、手動録画、アラーム録画の 3種類がある。 スケジュール録画とは、あらかじめユーザにより設定されたタイムテーブルに従って Webカメラ 5から画像データの記録を行うものである。手動録画とは、クライアント端末 6のモニタにて画像監視を行っているユーザがクライアント端末 6の GUI操作 (録画ボ タン押下等)により任意のタイミングで Webカメラ 5から画像データの記録を行うもので ある。アラーム録画とは、 Webカメラ 5へのアラーム信号の入力 (外部センサからの接 点入力、または画像認識処理による侵入者検知等)により Webカメラ 5から画像デー タの記録を行うものである。
なお、これら 3つの記録モード以外の記録モードが用いられてもよレ、。また、以下で は、スケジュール録画と手動録画とを通常録画と称し、通常録画により記録が行われ るディスク装置 3の記憶領域 30のことを通常チャネル (通常 ch)と称する。また、ァラ ーム録画により記録が行われるディスク装置 3の記憶領域 30のことをアラームチヤネ ノレ(アラーム ch)と称する。
[0023] 図 2は、本発明の一実施例に係るディスク装置の記録内容を説明するための図で ある。
図 2に示すように、ディスク装置 3の記録容量の物理的な制約等から、通常録画を 行う場合には低フレームレートで通常 chへ画像データの記録を行レ、、アラーム録画 を行う場合にはアラームが発生した時のみ高フレームレートでアラーム chへ画像デ ータの記録を行うような態様が用いられる。なお、図 2のアラーム chに示したように、ァ ラーム録画にっレ、ては、アラーム発生から時系列を遡ってアラーム発生時刻前の所 定時間の画像 (プリアラーム画像)の記録も行うようにしてレ、る。
なお、ここでは、通常録画とアラーム録画とでは、記録される画像データのフレーム レートのみが異なる場合を例に説明するが、更に画像の圧縮率や解像度を変える等 、各記録モードの記録内容を実際のシステムの設定状況に応じて任意に設定するこ とが可能である。別の実施例として、アラーム録画は、通常録画に比べて、高フレー ムレート、低圧縮率、高解像度で画像データの記録を行うようにすることが可能である
[0024] 図 3は、本発明の一実施例に係るディスク装置への記録動作を説明するための図 である。
図 3を用いて、 Webカメラ 5の画像データを通常録画、及び、アラーム録画によりデ イスク装置 3の記憶領域 30—1 (chl)、 30-2 (ch2)に記録する際の、 Webカメラ 5及 び画像蓄積配信サーバ 1の構成を説明する。なお、ここでは、簡単化のため、 Web力 メラ 5のうちの 1台の Webカメラ 5—1を用いて説明を行う。
[0025] Webカメラ 5— 1は、撮影部 50、エンコーダ部 51、送信映像メモリ 52、送信映像メモ リ(リングバッファ) 53、ネットワークインタフェース(IZF) 54から構成されてレ、る。
[0026] 画像蓄積配信サーバ 1は、ネットワークインタフェース(I/F) 10、受信映像メモリ 11
(11—1一 11—2)、ディスクインタフェース(I/F) 12から構成されている。ここで、 We bカメラ 5-1と画像蓄積配信サーバ 1とはネットワーク I/F54、 10を介して接続され、 画像蓄積配信サーバ 1とディスク装置 3とはディスク I/F12を介して接続されている。
[0027] Webカメラ 5— 1の撮影部 50は、所定の視野範囲を撮像する。撮像された映像信号 は、例えば、 30fpsというフレームレート、即ち、 1秒間に 30フレームという時間間隔で エンコーダ部 51に入力される。エンコーダ部 51は、映像信号を、例えば、 JPEG形式 等で圧縮符号化し、画像データを生成する。
[0028] エンコーダ部 51で符号ィ匕された画像データは、例えば、 30fpsで送信映像メモリ 5 2に入力され、送信映像メモリ 52において一時的に記憶される。送信映像メモリ 52は 、エンコーダ部 51より新たな 1フレームの画像データが入力されると、それまで記憶し ていた画像データを破棄し、新たな画像データを記憶する。画像蓄積配信サーバ 1 の CPU (不図示)は、通常録画を行う際は、予め画像蓄積配信サーバ 1内のデータメ モリ(不図示)に設定されている通常録画用レート(フレームレート)に従レ、、 Webカメ ラ 5— 1に対して画像データの配信要求を送信する。
Webカメラ 5— 1は、画像データの配信要求を受信すると、その時点において送信 映像メモリ 52に記憶されている 1フレームの画像データを画像蓄積配信サーバ 1へ 送信する。通常録画の場合、画像蓄積配信サーバ 1は、クライアント端末 6— 1等のュ 一ザにより、設定された録画開始力 録画終了に至るまで、 Webカメラ 5-1に対して 画像データの配信要求を繰り返す。画像蓄積配信サーバ 1は、受信した画像データ を受信映像メモリ 11_1に一時的に記憶し、その後、画像データをディスク IZF12を 介して Webカメラ 5—1の通常 chとして使用されるディスク装置 3の記憶領域 30—1 (c hi)に記録する。
なお、本実施例では、要求がある毎に画像データが 1フレームずつ、ネットワーク 4 を介して配信される方法を採用しているが、別の実施例として、要求がある毎に画像 データが複数フレーム分 (あるいは 1ファイル分)配信される方法を採用してもよい。 また、本実施例では、 Webカメラ 5から出力される画像データは間欠的であると共に 時系列に連続した動画像である力 他の形式が用いられてもよい。
また、本実施例のように、画像蓄積配信サーバ 1側からのアクセス(配信要求)を受 けて、 Webカメラ 5が画像データの配信を行う pull型のシステム構成の他、別の実施 例として、サーバ 1側からのアクセスなしに、例えば、所定のタイミングで Webカメラ 5 が画像データの配信を行う push型のシステム構成が用いられても良い。
また、エンコーダ部 51で符号化された画像データは、予め Webカメラ 5-1内のデ 一タメモリ(不図示)に設定されているアラーム録画用レート(フレームレート)で、送信 映像メモリ 53に入力され、送信映像メモリ 53に一時的に記憶される。送信映像メモリ 53は、送信映像メモリ 52の構成とは異なり、例えば、 100フレーム分といった複数フ レームの画像データを保持できるような構成となっている。これは、上述した通り、ァラ ーム録画においては、アラームが発生する前の所定期間における画像データ(ブリア ラーム画像)の記録を行う必要があるためである。
Webカメラ 5—1に接続されてレ、る外部センサ(不図示)が作動し Webカメラ 5—1に 対してアラーム信号が入力されると、 Webカメラ 5— 1から画像蓄積配信サーバ 1に対 してアラーム発生通知が送信される。アラーム発生通知を受信した画像蓄積配信サ ーバ 1の CPUは、アラーム録画を開始する。アラーム録画を行う際は、画像蓄積配信 サーバ 1の CPUは、アラーム発生時刻から所定時間だけ前の時刻を指定して Web カメラ 5-1に対して画像データの配信要求を送信する。 Webカメラ 5-1は、送信映像 メモリ 53内に記憶されている当該指定時刻からの画像データを画像蓄積配信サー バ 1へ送信する。
画像蓄積配信サーバ 1は、受信した画像データを受信映像メモリ 11 - 2に一時的に 記憶し、その後、画像データをディスク I/F12を介して Webカメラ 5— 1のアラーム ch として使用されるディスク装置 3の記憶領域 30_2 (ch2)に記憶する。
[0030] なお、 Webカメラ 5—1から画像蓄積配信サーバ 1への画像データの送信は、発生し たアラームが終了するまで継続する。すなわち、外部センサの作動が停止し Webカメ ラ 5— 1から画像蓄積配信サーバ 1に対してアラーム終了通知が送信されると、アラー ム終了通知を受信した画像蓄積配信サーバ 1の CPUは、画像データの配信要求を 停止する。
ここで、送信映像メモリ 53に記憶されている画像データは、 Webカメラ 5—1の CPU (不図示)がアラーム録画用レートに従いエンコーダ部 51より読み出して送信映像メ モリ 53に記憶したものである。そのため、通常録画の場合とは異なり、アラーム録画 の場合は、画像蓄積配信サーバ 1の CPUは Webカメラ 5—1に対して画像データの 配信要求を行う際にフレームレートに関する制御は行わず、アラーム発生からアラー ム終了まで(プリアラーム画像も含む)の時間帯における送信映像メモリ 53内の画像 データすべてにっレ、て配信要求を行う。 なお、上述したように、画像蓄積配信サーバ 1に対してアラーム終了通知が送信さ れることによって画像データの配信要求が停止されるという態様の他、別の実施例と して、例えば、画像蓄積配信サーバ 1がアラーム発生通知を受信した時点から予め 設定された所定期間後に画像データの配信要求が停止される(ポストアラーム録画) といった態様が用いられてもよい。
[0031] ここで、ディスク装置 3の記憶領域 30に記録される画像データには、例えば、当該 フレームの時刻情報(以下、タイムスタンプと称する。)、各 chにおける撮影順序を示 すフレーム番号、フレームレート情報(通常録画用レート或いはアラーム録画用レート )等が付加情報として付されてレ、る。
ここで、タイムスタンプは、 Webカメラ 5のエンコーダ部 51により画像データが生成さ れる時刻や、画像蓄積配信サーバ 1が Webカメラ 5より画像データを受信した時刻等 を用いて生成される。例えば、画像蓄積配信サーバ 1が Webカメラ 5より画像データ を受信した時刻を用いてタイムスタンプを生成する場合については、以下の手法でタ ィムスタンプを算出しても良レ、。
一例として、通常録画の場合は、画像データの受信時刻を当該画像データのタイ ムスタンプとする。一方、アラーム録画の場合は、送信映像メモリ 53に画像データが 保持される所定期間がある。係る場合、一例として、 Webカメラ 5がネットワーク IZF5 4から画像データを配信する時刻とエンコーダ部 51が画像データを生成した時刻と の差分を求め、求めた差分を画像蓄積配信サーバ 1における画像データの受信時 刻から減算する。従って、アラーム録画の場合は、当該減算値を当該画像データの タイムスタンプとする。
[0032] なお、本実施例では、通常録画用レートは画像蓄積配信サーバ 1によって設定さ れ、アラーム録画用レートは Webカメラ 5によって設定されている力 これらの情報の 設定先は実際のシステムの構成に応じて任意に選定することが可能である。
例えば、図 3の送信映像メモリ 53のような複数フレーム分の画像データを一時的に 保持するようなメモリを Webカメラ 5側に設けるような構成が用いられる場合ではなぐ 画像蓄積配信サーノく1側に設けるような構成が用いられる場合であれば、アラーム録 画用レートも画像認識サーバ 1によって設定されていればよい。
[0033] 次に、本発明の画像再生方法について説明する。
ディスク装置 3に記録されている所定の Webカメラ 5の画像データをクライアント端 末 6のモニタに再生する際の画像再生方法としては、「通常 chのみ再生」、「アラーム chのみ再生」、「シームレス再生(詳しくは、後述する)」の 3つの画像再生方法が存 在する。例えば、クライアント端末 6のモニタの表示画面上にこれらの画像再生方法 のいずれかを選択するための GUIの操作画面が表示され、ユーザはマウス等の入 力機器のボタンを押下することで、いずれかの画像再生方法を選択できる。以下、こ れら 3つの画像再生方法について詳細に説明する。
[0034] 図 4は、「通常 chのみ再生」の動作を説明するための図である。図 4において、水平 方向は時間方向を表し、各 chの録画期間が長方形で表されている。また、図 4中の 太線の矢印で示される部分が再生される。なお、後述する図 5、図 6についても同様 である。ここで、図 4に示す通り、「通常 chのみ再生」を行う場合は、所定の通常 ch、 例えば、ディスク装置 3の記憶領域 30-1 (Webカメラ 5-1の通常 ch)に記録されてい る画像データのみが時系列順に読み出されてクライアント端末 6のモニタに再生され る。
[0035] 図 5は、「アラーム chのみ再生」の動作を説明するための図である。図 5に示す通り 、「アラーム chのみ再生」を行う場合は、所定のアラーム ch (例えば、ディスク装置 3の 記憶領域 30—2 (Webカメラ 5—1のアラーム ch) )に記録されている画像データのみ が時系列順に読み出されてクライアント端末 6のモニタに再生される。
なお、図 5の点線の矢印で示したように、画像データが存在しない期間については 再生がスキップされ、次の画像データが存在する期間についての映像の再生が続け られる。 Webカメラ 5により生成された画像データがディスク装置 3の記憶領域 30に 記録される際に、各画像データに対して撮影順序を示すフレーム番号が付されるよう な構成を用いる場合は、クライアント端末 6は画像蓄積配信サーバ 1に対してフレー ム番号順に画像データの配信要求を行うことで、図 4、及び、図 5で示した画像再生 方法を実現することが可能である。
[0036] 図 6は、本発明の一実施例に係る「シームレス再生」の動作を説明するための図で ある。ここで、 「シームレス再生」とは、図 6に示すように、時系列に沿って映像の再生 を行う際、ある時刻において、アラーム chに画像データが存在する場合には、通常 c hの画像データの有無に関わらずアラーム chの画像データを再生し、アラーム chに 画像データが存在せず通常 chにのみ画像データが存在する場合には、通常 chの 画像データを再生するといつたアルゴリズムによって実施される画像再生方法のこと をいう。両 chとも画像データが存在しない場合には、次にどちらかの chに画像データ が存在する時刻までスキップして画像データの再生を続けても良い。
ここで、アラーム chの画像データの再生を優先する理由は、図 6に示したようなァラ ーム chと通常 chとのどちらも画像データが存在する区間については、高フレームレ ートで画像データが記録されているアラーム chの画像データを再生した方力 より詳 細に内容の確認を行うことができるためである。 なお、本実施例のシステムは、アラーム録画、及び、通常録画を行う際のフレームレ ート、画像の解像度や圧縮率などは任意に設定することができるため、同時刻にどち らの chにも画像データが存在する場合に、どの chの画像データの再生を優先するか は、実際のシステムの設定状況に応じて任意に設定することが可能である。なお、後 述するように各時刻において各 chに画像データが存在するかの判定は、画像データ の再生開始時に生成する再生基準時刻と、各 chから取出した画像データに付与さ れたタイムスタンプとの比較により行ってもよい。ここで、再生基準時刻とは、例えば、 再生の基準となる時間軸を意味する。
[0037] 図 7は本発明の一実施例に係る画像再生処理(シームレス再生) 700の基本的な 動作を説明するフローチャートである。
図 7を用いて、クライアント端末 6が実行する画像再生処理 (シームレス再生)の流 れの一例を説明する。
[0038] 画像再生処理 700では、まず、現在のシステム時刻(現在時刻)が制御時刻として 、クライアント端末 1が備えるデータメモリ(不図示)に記憶される (ステップ 701)。 次に、現在のクライアント端末 6のモニタに表示してレ、る画像データのタイムスタン プが再生基準時刻としてデータメモリに記憶される(ステップ 702)。このステップ 702 の処理は、画像データの再生開始時刻を設定するための処理であるため、上述した ような現在のクライアント端末 6のモニタに表示されている画像データのタイムスタン プを再生開始時刻とする態様の他、別の実施例として、クライアント端末 6のユーザに 再生開始時刻を指定させる等、種々な態様を用いても良い。
[0039] 次に、クライアント端末 6が現在、画像蓄積配信サーバ 1を介してディスク装置 3のァ ラーム ch或いは通常 chの画像データを取得している最中であるか否かが判定される (ステップ 703)。後述するステップ 709において、クライアント端末 6は画像蓄積配信 サーバ 1に対して所定の画像データの配信要求を行うが、クライアント端末 6がその 画像データの取得を終えるまでは、処理は次のステップ 704へは分岐しなレ、(ステツ プ 703で Yesと判定される)。クライアント端末 6が現在、画像データの取得中ではな い場合は、処理は次のステップ 704へ分岐する(ステップ 703で Noと判定される)。
[0040] 次に、クライアント端末 6は、データメモリに記憶されている制御時刻と現在のシステ ム時刻との差分を算出し、算出された時間を「ディレイ時間」としてデータメモリに記憶 する(ステップ 704)。なお、クライアント端末 6は、ディレイ時間を求めた後、現在のシ ステム時刻を新たな制御時刻としてデータメモリに記憶し、制御時刻の更新を行う。 従って、このディレイ時間とは、図 7のステップ 704の処理を終えてから、再度ステップ 704の処理に戻ってくるまでに要する時間である。
[0041] 次に、クライアント端末 6は、データメモリに記憶されている再生基準時刻にステップ 704で算出したディレイ時間を加算し、再生基準時刻の更新を行う(ステップ 705)。 クライアント端末 6は、ディレイ時間を用いて再生基準時刻を更新するこのステップ 70 5の処理と、後述するステップ 708の処理とにより、クライアント端末 6における画像デ ータの再生タイミングを実際の時間経過に合わせることができる。
[0042] 次に、クライアント端末 6は、アラーム ch用の再生画像メモリと、通常 ch用の再生画 像メモリと、力も最新取得画像のフレーム番号及びタイムスタンプを取得する(ステツ プ 706)。
ここで、再生画像メモリについて説明する。図 8は、クライアント端末 6が備える再生 画像メモリの一構成例を示す図である。再生画像メモリは、通常 ch用の再生画像メモ リ 81と、アラーム ch用の再生画像メモリ 82とからなる。それぞれのメモリ 81 , 82は、前 回取得画像記憶領域の 1フレーム分と、最新取得画像記憶領域の 1フレーム分という 少なくとも 2フレーム分の画像データを一時的に保持する領域を有している。図 7に 示す画像再生処理を行う際、画像蓄積配信サーバ 1を介してディスク装置 3のアラー ム chに記録されている画像データを受信したクライアント端末 6は、当該画像データ をアラーム ch用の再生画像メモリ 82の最新取得画像記憶領域に記憶する。通常 ch についても同様である。
なお、クライアント端末 6は、後述するステップ 709において、再生画像メモリの更新 を行うため、 1つ前に取得した画像データは、前回取得画像記憶領域に記憶される。
[0043] 次に、ステップ 706で取得したアラーム ch用の再生画像メモリ 82の最新取得画像 のタイムスタンプと、通常 ch用の再生画像メモリ 81の最新取得画像のタイムスタンプ とのそれぞれを、再生基準時刻と比較する(ステップ 707)。アラーム ch或いは通常 c hの最新取得画像のタイムスタンプの少なくともいずれか一方が再生基準時刻以前( 再生基準時刻より古い時刻)の時刻を示している場合は、処理はステップ 708に分岐 する。一方、どちらの最新取得画像のタイムスタンプも再生基準時刻以後(再生基準 時刻より新しい時刻)の時刻を示している場合は、処理はステップ 711に分岐する。
[0044] ステップ 707で Yesと判定された場合、ステップ 707において最新取得画像が再生 基準時刻以前のタイムスタンプを有していると判定された chについて、クライアント端 末 6は、次に取得すべき画像データのフレーム番号を算出する(ステップ 708)。なお 、アラーム chと通常 chのどちらの chについても最新取得画像のタイムスタンプが再 生基準時刻以前であると判定される場合には、クライアント端末 6は、両方の chにつ いて、次に取得すべき画像データのフレーム番号の算出を行う。
[0045] ここで、フレーム番号の算出は、例えば、ステップ 704で得られたディレイ時間を用 いて行われる。
ディスク装置 3の各 chに記録されている画像データがそれぞれ時系列順にフレー ム番号が付されているような構成において、ディレイ時間が小さい場合には、次に取 得する画像データは、現在、クライアント端末 6が保持している最新取得画像データ の次フレームの画像データとする(即ち、次に取得する画像データのフレーム番号は 、ステップ 706で取得したフレーム番号に 1をカ卩えた番号とする)。一方、ディレイ時間 が大きい場合には、次に取得する画像データは、現在、クライアント端末 6が保持し ている最新取得画像データの 3フレーム後の画像データとする(即ち、次に取得する 画像データのフレーム番号は、ステップ 706で取得したフレーム番号に 3を加えた番 号とする)。
より具体的には、例えば、ディスク装置 3のある chに記録されている画像データが 3 Ofpsである場合、 33msec間隔でフレーム番号が 1増える。ステップ 704で得られた ディレイ時間が 100msecである場合には、ディレイ時間(100msec)をフレーム間隔 (33msec)で割り、その商である 3という値が、現在、クライアント端末 6が保持してい る最新取得画像データのフレーム番号に加えられる。このフレーム番号は、次にクラ イアント端末 6が画像蓄積配信サーバ 1に対して配信要求を行う画像データのフレー ム番号とする。ここで、上記のように、フレーム番号の算出のためのフレームレート情 報(上記の例ではフレーム間隔 33msec)には、例えば、再生画像メモリの最新取得 画像データが付加情報として保持しているフレームレート情報を用いることができる。
[0046] 次に、クライアント端末 6は画像蓄積配信サーバ 1に対して、ステップ 708で算出し たフレーム番号の画像データの配信要求を行う(ステップ 709)。
ここで、ステップ 707で再生基準時刻以前と判定された最新取得画像データがァラ ーム chのものであれば、このステップ 709ではクライアント端末 6はアラーム chの画像 データの配信要求を行う。再生基準時刻以前と判定された最新取得画像データが通 常 chのものであれば、このステップ 709ではクライアント端末 6はアラーム chの画像 データの配信要求を行うことになる。
また、再生基準時刻以前と判定された最新取得画像データがその両者である場合 には、このステップ 709ではクライアント端末 6はアラーム ch及び通常 chの両方に対 して、それぞれステップ 708で算出したフレーム番号の画像データの配信要求を行う 。なお、クライアント端末 6は、画像蓄積配信サーバ 1に対して新たな画像データの配 信要求を行う際、当該配信要求を行う chについて再生画像メモリの更新を行う。例え ば、クライアント端末 6がステップ 709でアラーム chの新たな画像データの配信要求 を行う場合には、その前にアラーム ch用の再生画像メモリ 82の最新取得画像記憶領 域に記憶されていた画像データが前回取得画像記憶領域に記憶される。そして、ク ライアント端末 6がステップ 709で新たに配信要求を行った画像データは、画像蓄積 配信サーバ 1より受信した後、アラーム ch用の再生画像メモリ 82の最新取得画像記 憶領域に記憶される。
[0047] 次に、クライアント端末 6は、再生画像メモリ 81、 82からモニタに再生する画像デー タを選択し、当該画像データをモニタに出力する(ステップ 710)。
なお、ステップ 710の詳細については、図 9を用いて後述する。また、本実施例に おいては、ステップ 710の再生画像選択処理が図 7に示したフローチャートの中の 1 つの処理 (ステップ)として記載されている力 例えば、画像データがモニタに描画さ れる処理に要する時間を考慮して、再生画像選択処理が独立に実行されるようにし てもよい。
[0048] 次に、ステップ 707でクライアント端末 6のいずれの chの最新取得画像のタイムスタ ンプも再生基準時刻より以後であると判定された場合、クライアント端末 6は、新たな 画像データの配信要求等(ステップ 708等の処理)を行わず、アラーム ch用及び通 常 ch用の再生画像メモリ 81、 82の最新取得画像の内で古い (過去の)方の時刻を 示すタイムスタンプをスキップ判定時刻としてデータメモリに記憶する(ステップ 711)
[0049] 次に、クライアント端末 6は、ステップ 711で設定したスキップ判定時刻と再生基準 時刻との差分が 3秒以上あるかないかを判定する (ステップ 712)。差分が 3秒以上あ る場合には、処理はステップ 713に分岐し、差分が 3秒以上ない場合には、ステップ 713の処理は行わず、処理はステップ 714に分岐する。
[0050] ステップ 712で Yesと判定された場合、クライアント端末 6は、スキップ判定時刻を新 たな再生基準時刻としてデータメモリに記憶する (ステップ 713)。
なお、上記 3秒は、再生基準時刻と、次に再生されるべき画像データのタイムスタン プとの差分から再生基準時刻を所定期間だけスキップさせるか否かを見定める基準 値の一例である。当該基準値は、実際のシステムの設定状況に応じて任意に設定さ れればよい。この基準値を適切な値に設定することで、例えば、クライアント端末 6は 、ディスク装置 3の chに画像データが存在しない時間帯をスキップして画像データの 再生を行うことができる。なお、クライアント端末 6は、スキップ判定時刻を用いて再生 基準時刻を更新した後、現在のシステム時刻を新たな制御時刻としてデータメモリに 記憶し、制御時刻の更新を行うようにしてもょレ、。
[0051] 次に、クライアント端末 6は、クライアント端末 6のユーザより画像データの再生停止 指示があつたか否かを判定する。再生停止指示があった場合には画像再生処理が 終了し、再生停止指示がない場合には処理はステップ 703に分岐する(ステップ 714
[0052] ここで、図 7に示したステップ 710の処理の一例を図 9を用いて詳細に説明する。
再生画像選択処理 (ステップ 710)では、まず、クライアント端末 6は、通常 ch用の 再生画像メモリ 81の前回取得画像のタイムスタンプと、アラーム ch用の再生画像メモ リ 82の前回取得画像のタイムスタンプとの比較を行う(ステップ 901)。
比較の結果、アラーム ch用の再生画像メモリ 82の前回取得画像のタイムスタンプ の方が新しいと判定される場合は、処理はステップ 902に分岐する。同様に、アラー ム ch用の再生画像メモリ 82の前回取得画像のタイムスタンプと、通常 ch用の再生画 像メモリ 81の前回取得画像のタイムスタンプとが同時刻であると判定される場合も、 処理はステップ 902に分岐する。一方、比較の結果、通常 ch用の再生画像メモリ 81 の前回取得画像のタイムスタンプの方が新しいと判定される場合は、処理はステップ 903に分岐する。
[0053] ステップ 901で Yesと判定された場合は、クライアント端末 6は、アラーム ch用の再 生画像メモリ 82より前回取得画像を読み出し、モニタへ出力し画像データの再生を 行う(ステップ 902)。本実施例では、ステップ 710を行う際に再生画像メモリ 81、 82 の前回取得画像記憶領域に記憶されてレ、る画像データのタイムスタンプは、再生基 準時刻よりも古レ、 (過去の)時刻となるように構成されるため、アラーム chと通常 chの 前回取得画像の内、タイムスタンプが新しい方の画像データは、再生基準時刻により 近い時刻の画像データということになる。
また、アラーム ch用の再生画像メモリ 82の前回取得画像のタイムスタンプと、通常 c h用の再生画像メモリ 81の前回取得画像のタイムスタンプとが同時刻であると判定さ れる場合にも処理がステップ 902に分岐するようにした理由は、図 6を用いて上述し たように、アラーム chと通常 chとに同時刻の画像データが存在する場合には、アラー ム chの画像データの再生を行うように構成したためである。
[0054] ステップ 901で Noと判定された場合は、クライアント端末 6は、アラーム ch用の再生 画像メモリ 82の最新取得画像と前回取得画像とのタイムスタンプの差分を算出する( ステップ 903)。
次に、クライアント端末 6は、アラーム ch用の再生画像メモリ 82の前回取得画像に 付加情報として与えられているフレームレート情報を読み出し、アラーム継続判定値 を算出する (ステップ 904)。例えば、アラーム ch用の再生画像メモリ 82の前回取得 画像に付加されていたフレームレート情報が 15fpsであった場合、フレーム間隔は 6 6msecと算出される。クライアント端末 6は、その値に、例えば 20msecという余裕値 をカロえた 86msecという値をアラーム継続判定値として設定する。
[0055] 次に、クライアント端末 6は、ステップ 903で算出した差分と、ステップ 904で算出し たアラーム継続判定値とを比較する(ステップ 905)。比較の結果、差分がアラーム継 続値以下の場合、処理はステップ 902へ分岐する。その理由は、フレームレート情報 に基づき算出したアラーム継続判定値とステップ 903で算出した差分とを比較するこ とで、現在クライアント端末 6のアラーム ch用の再生画像メモリ 82の前回取得画像記 憶領域に保持されてレ、る画像データが、ディスク装置 3のアラーム chに所定のフレー ムレートで連続して記録されている期間の画像データであるか否かが判断できるため である。
つまり、クライアント端末 6は、上記保持されている画像データが、ある時刻から発生 したアラームにより開始した 1のアラーム録画が継続している期間における画像デー タであるか、若しくは、上記保持されている画像データが、ある時刻に発生したアラー ムにより開始した 1のアラーム録画と、その後の別の時刻に発生したアラームにより開 始した他のアラーム録画との境い目となる地点の画像データであるかを判断する。そ の結果、 1のアラーム録画が継続している期間は、途中で通常 chの画像データの再 生は行わず、アラーム chの画像データの再生を優先するようにする。
従って、例え、ステップ 901において、通常 chの前回取得画像の方がアラーム ch の前回取得画像よりも再生基準時刻により近い時刻の画像データであると判定され る場合であっても、 1のアラーム録画が継続している期間である場合には処理はステ ップ 902に分岐し、アラーム chの前回取得画像が再生される。
なお、図 9で示した処理の具体例については、図 10A及び図 11A— 11Dを用いて 後述する。一方、ステップ 905による比較の結果、タイムスタンプの差分がアラーム継 続値よりも大きレ、場合は、処理はステップ 906へ分岐する。
[0056] ステップ 905で Yesと判定された場合、クライアント端末 6は、通常 ch用の再生画像 メモリ 81より前回取得画像を読み出し、モニタへ出力し画像データの再生を行う(ス テツプ 906)。
次に、図 10A、図 10B、図 10C、図 11A一 11Dを用レヽて上記図 7、図 9を用レヽて説 明した画像再生処理の具体例について説明する。
[0057] 図 10Aは、ディスク装置 3の通常 ch及びアラーム chの記録内容の一例を説明する ための図である。図 10Aにおいては、通常 chには 1の Webカメラ 5の画像データが 4f psで記録されており、アラーム chには当該 Webカメラ 5の画像データが 18fpsで記録 されている。なお、アラーム chは、フレーム番号 1一 7、及び、フレーム番号 8— 12の 計 2回のアラーム録画が行われた場合を示してレ、る。
また、図 10Aにおいては、各画像データを示した正方形の図形の左辺の位置が示 す時刻が、当該画像データが有するタイムスタンプとする。ここで、 4fps、 18fpsという 値は、説明の便宜上用いた値であって、上述した通り、通常録画用レートやアラーム 録画用レートは、実際のシステムの設定状況に応じて任意に設定することが可能で ある。例えば、 30fps (33msec間隔)で画像データの取得を行うカメラを用いた場合 には、通常録画用レート、又は、アラーム録画用レートとしては、 33msecの倍数とな る 30fps、 15fps、 10fps、 6fps、 5fps、 3fps、 2fps、 lfps等を設定するのが好適で ある。
[0058] 図 11A 11Dは、ディスク装置 3の通常 ch及びアラーム chの記録内容が図 10Aに 示した場合において、クライアント端末 6が図 7、図 9で示した画像再生処理を行った 場合の通常 ch用の再生画像メモリ 81と、アラーム ch用の再生画像メモリ 82と、の記 録内容及び再生される画像データを示したものである。
なお、再生基準時刻が tlの位置にある場合を図 1 1A、再生基準時刻が t2の位置 にある場合を図 11B、再生基準時刻が t3の位置にある場合を図 11C、再生基準時 刻が t4の位置にある場合を図 11Dにそれぞれ示している。なお、図 11A— 11Dは、 図 7のステップ 710の再生画像選択処理が行われた直後の状態を表わすものである
[0059] まず、再生基準時刻が tlの位置にある場合について説明する。図 7のステップ 707 では、その時点におけるアラーム chと通常 chの最新取得画像(図 10Aでは共にフレ ーム番号 2)のタイムスタンプは、再生基準時刻 tlと一致するため、処理はステップ 7 08に分岐する。なお、ステップ 708では、アラーム chと通常 ch共に次に取得すべき 画像データとしてフレーム番号 3が算出されるものとする。
次に、ステップ 709では、クライアント端末 6は画像蓄積配信サーバ 1に対してァラ ーム ch、通常 chのフレーム番号 3の画像データの配信要求を行う。次に、クライアン ト端末 6は、図 11Aに示す通り、再生画像メモリ 81、 82を更新し、それぞれフレーム 番号 2の画像データを前回取得画像記憶領域に記憶する。最新取得画像記憶領域 には、ステップ 709において配信要求を行レ、、現在、画像蓄積配信サーバ 1を介して 取得中であるフレーム番号 3の画像データがそれぞれ記憶されることになる。
次に、ステップ 710の再生画像選択処理では、その時点におけるアラーム chと通常 chの前回取得画像(図 10Aでは共にフレーム番号 2)のタイムスタンプは一致するた め、図 9のステップ 901において Yesと判定される。
ステップ 902ではアラーム chの前回取得画像(図 1 OAではフレーム番号 2)が選択 され、モニタに出力される。
[0060] 次に、再生基準時刻が t2の位置にある場合について説明する。
図 7のステップ 707では、その時点におけるアラーム chの最新取得画像(図 10Aで はフレーム番号 3)のタイムスタンプは、再生基準時刻 t2と一致するため、処理はステ ップ 708に分岐する。なお、ステップ 708では、次に取得すべきアラーム chの画像デ ータとしてフレーム番号 4が算出されるものとする。
次に、ステップ 709では、クライアント端末 6は画像蓄積配信サーバ 1に対してァラ ーム chのフレーム番号 4の画像データの配信要求を行い、図 11Bに示す通り、再生 画像メモリ 82を更新し、フレーム番号 3の画像データを前回取得画像記憶領域に記 憶する。最新取得画像記憶領域には、ステップ 709において配信要求を行い、現在 、画像蓄積配信サーバ 1を介して取得中であるフレーム番号 4の画像データが記憶さ れることになる。
次に、ステップ 710の再生画像選択処理では、その時点におけるアラーム chの前 回取得画像(図 10Aではフレーム番号 3)のタイムスタンプの方が通常 chの前回取得 画像(図 10Aではフレーム番号 2)のタイムスタンプより新しいため、図 9のステップ 90 1におレ、て Yesと判定される。
ステップ 902ではアラーム chの前回取得画像(図 1 OAではフレーム番号 3)が選択 され、モニタに出力される。
[0061] 次に、再生基準時刻が t3の位置にある場合について説明する。図 7のステップ 707 では、その時点における通常 chの最新取得画像(図 10Aではフレーム番号 3)のタイ ムスタンプは、再生基準時刻 t3と一致するため、処理はステップ 708に分岐する。ス テツプ 708では、次に取得すべき通常 chの画像データとしてフレーム番号 4が算出さ れるものとする。
次に、ステップ 709では、クライアント端末 6は画像蓄積配信サーバ 1に対して通常 chのフレーム番号 4の画像データの配信要求を行い、図 11Cに示す通り、再生画像 メモリ 81を更新し、フレーム番号 3の画像データを前回取得画像記憶領域に記憶す る。最新取得画像記憶領域には、ステップ 709において配信要求を行レ、、現在、画 像蓄積配信サーバ 1を介して取得中であるフレーム番号 4の画像データが記憶され ることになる。
次に、ステップ 710の再生画像選択処理では、その時点における通常 chの前回取 得画像(図 10Aではフレーム番号 3)のタイムスタンプの方がアラーム chの前回取得 画像(図 10Aではフレーム番号 6)のタイムスタンプより新しいため、図 9のステップ 90 1におレ、て Noと半 IJ定され、処理はステップ 903に分岐する。 t3の時点では、フレーム 番号 1一 7よりなる 1のアラーム録画が継続している状態であるため、ステップ 903、 9 04の後のステップ 905では、アラーム chの最新取得画像と前回取得画像のタイムス タンプの差分はアラーム継続判定値より小さくなる。よって、ステップ 905では Noと判 定される。
ステップ 902によりアラーム chの前回取得画像(図 10Aではフレーム番号 6)が選 択され、モニタに出力される。
次に、再生基準時刻が t4の位置にある場合について説明する。
図 7のステップ 707では、その時点における通常 chの最新取得画像(図 1 OAでは フレーム番号 4)のタイムスタンプは、再生基準時刻 t4と一致するため、処理はステツ プ 708に分岐する。なお、ステップ 708では、次に取得すべき通常 chの画像データと してフレーム番号 5が算出されるものとする。
次に、ステップ 709では、クライアント端末 6は画像蓄積配信サーバ 1に対して通常 chのフレーム番号 5の画像データの配信要求を行い、図 11Dに示す通り、再生画像 メモリ 81を更新し、フレーム番号 4の画像データを前回取得画像記憶領域に記憶す る。最新取得画像記憶領域には、ステップ 709において配信要求を行レ、、現在、画 像蓄積配信サーバ 1を介して取得中であるフレーム番号 5の画像データが記憶され ることになる。 次に、ステップ 710の再生画像選択処理では、その時点における通常 chの前回取 得画像(図 10Aではフレーム番号 4)のタイムスタンプの方がアラーム chの前回取得 画像(図 10Aではフレーム番号 7)のタイムスタンプより新しいため、図 9のステップ 90 1におレ、て Noと半 IJ定され、処理はステップ 903に分岐する。
t4の時点では、フレーム番号 1一 7よりなる 1のアラーム録画は終了している状態で あるため、ステップ 903、 904の後のステップ 905では、アラーム chの最新取得画像 と前回取得画像のタイムスタンプの差分はアラーム継続判定値より大きくなる。よって 、ステップ 905では Yesと判定され、ステップ 906により通常 chの前回取得画像(図 1 OAではフレーム番号 4)が選択され、モニタに出力される。
[0063] 図 10Bは、ディスク装置 3の通常 ch及びアラーム chの記録内容が図 10Aに示した ような内容である場合において、クライアント端末 6が図 7、図 9で示した画像再生処 理を行った画像データの再生について説明するための図である。
図 10Bに示すように、同じ時刻に通常 ch、アラーム ch共に画像データが存在する 場合は、アラーム chの画像データの再生が優先される。例えば、通常 ch及びアラー ム chのフレーム番号 2の画像データはそれぞれ同じタイムスタンプを有するため、ァ ラーム chのフレーム番号 2の画像データの再生が行われ、通常 chのフレーム番号 2 の画像データの再生は行われない。また、アラーム録画が継続している期間(即ち、 アラーム chの画像データが所定のフレームレートで連続して存在する期間)は、通常 chのフレーム番号 3、 6の画像データの再生は行われない。
[0064] 図 10Cは、ディスク装置 3の通常 ch及びアラーム chの記録内容が図 10Aに示した ような内容である場合において、クライアント端末 6が図 7、図 9で示した画像再生処 理の一部を変更した他の画像再生処理を行った場合に再生される画像データにつ いて説明するための図である。
図 10Cにおいては、図 9で示したステップ 903 905の処理は行われない。ステツ プ 901で Noと判定された場合は、処理はステップ 906に分岐するようにした。つまり、 アラーム録画が継続している期間はアラーム chの画像データの再生を優先するとい う処理を行わないため、画像データの再生はアラーム ch、通常 chに関わらず時系列 順に行われる。従って、図 10Cに示す通り、通常 chのフレーム番号 3、 6の画像デー タの再生も行われる。なお、図 10Cにおいても、アラーム chのフレーム番号 2の画像 データと同じタイムスタンプを有する通常 chのフレーム番号 2の画像データについて は再生されない。
[0065] なお、本発明の画像再生方法の他の実現手段として、ディスク装置 3にアラーム録 画を行う際に、 Webカメラ 5毎に図 14に示すようなアラーム録画の内容を管理するた めのテーブルを生成するようにして、クライアント端末 6がシームレス再生を行う際に 画像蓄積配信サーバ 1内に記憶されている当該テーブル参照するようにしてもよい。 このようなテーブルを参照することで、予めディスク装置 3のアラーム chに画像デー タが記録されている時間帯(アラーム録画開始時刻一アラーム録画終了時刻)や、そ の時間帯における画像データのフレーム番号 (アラーム録画開始フレーム番号ーァ ラーム録画終了フレーム番号)が把握できる。よって、アラーム録画による画像データ が存在しない時間帯においては通常録画による画像データの再生を行うといったァ ルゴリズムにより、クライアント端末 6におけるシームレス再生が実現可能である。 このようなアルゴリズムを用いた場合であれば、図 9のステップ 901の処理のように、 アラーム chと通常 chの画像データのタイムスタンプを比較するといつた処理等を、 1 フレーム分の画像データを再生する度に毎回行う必要はなくなる。
[0066] また、上記の実施形態では、画像データを順方向に再生する場合を例に説明した 、再生基準時刻にディレイ時間を加算するのか減算するのか等といった処理の違 いはあるものの、逆方向(新しい時刻から古い時刻へ)の再生についても、同様の処 理によりシームレス再生を実現することが可能である。
[0067] また、順方向に再生する際に、例えば、 1/2倍速再生や、 2倍速再生や、 4倍速再 生といった倍速再生を行う場合には、図 7のステップ 705において、再生基準時刻に ステップ 704で算出したディレイ時間に倍速係数 (例えば、 2倍速であれば 2)を乗算 した結果を加算し、再生基準時刻の更新を行う構成にすればよい。
[0068] また、上記の例では、図 10Aに示すように、通常 chと、アラーム chの画像データの タイムスタンプにずれ量が発生する場合を例に説明したが(例えば、通常 chのフレー ム番号 3の画像データと、アラーム chのフレーム番号 6の画像データ等)、別の実施 例として、通常録画用レートとアラーム録画用レートを所定のフレームレートに設定す るようにして、上述したずれ量が発生しないような構成を用いることも可能である。
[0069] また、上記の実施例では、アラーム chの画像データを優先して再生することで、高 フレームレートの画像データが再生されるような態様としてレ、たが、別の実施例として 、各 chにフレームレート、圧縮率、解像度等が異なる画像データが記録されているよ うな場合には、例えば、低圧縮率の画像データや、高解像度の画像データ等が優先 して再生されるような態様を用いることも可能である。
[0070] また、上記の実施例では、 1つのディスク装置の異なる記憶領域にアラーム chと通 常 chとを構成する態様としていた力 別の実施例として、アラーム chと通常 chとをそ れぞれ異なるディスク装置に構成するような態様を用いることも可能である。
[0071] 以下で、本発明に関する技術の背景を示す。なお、ここで記載する事項は、必ずし も全てが従来の技術であるとは限定しない。
上記の例では、 1の Webカメラ 5に対して通常録画とアラーム録画を行う場合は、そ れぞれ通常 chとアラーム chという異なる chを用いて画像データの記録を行う構成とし ていたが、以下では、通常録画とアラーム録画を行う場合に 1つの chに対して画像デ ータの記録を行う構成について、図 12、図 13を用いて説明する。
[0072] 図 12は、通常録画とアラーム録画による画像データの記録を 1つの chに対して行う 場合の処理の一例を説明するための図である。
図 12に示すように、時刻 tO— 12の期間においては、画像蓄積配信サーバ 1は Web カメラ 5の映像を指定のフレームレートで録画する。時刻 t2において外部センサから のアラーム信号の入力によりアラームの発生が検知されると、画像蓄積配信サーバ 1 は時刻 t2より一定時間前の時刻 tlからの映像を Webカメラ 5から取得して映像の記 録を開始する。
ここで、時刻 tlからの映像を記録するのは、プリアラーム画像も記録するためである 。この映像は Webカメラのアラーム映像用バッファ(例えば、図 3の送信映像メモリ 53 に相当するもの)にバッファリングされていたものであって、画像蓄積配信サーバ 1は これを既に記録済みの tl一 t2の映像に上書きされ、更に t2 3の映像を時差記録 (通常録画と異なり、時系列を遡ってアラーム発生時刻前の映像(即ちプリアラーム 画像)の記録も行うため、ここでは時差記録と称する)をすることになる。 なお、ここでは時刻 t3において外部センサからのアラーム信号の入力の継続が完 了し、アラームの終了が検知されるものとする。従って、時刻 tl一 t3の Webカメラ 5の 映像に対するアラーム録画が終了するのは、時刻 t4 = t3 + (t2— tl)である。つまり、 画像蓄積配信サーバ 1は、アラーム録画として、時刻 t2— 14の期間に時刻 tl一 t3の 映像を記録する。そして、時刻 t4以降、画像蓄積配信サーバ 1は通常録画による映 像の記録を再開する。
[0073] ここで、図 12に示した処理を行うと、時刻 t3 4が未録画区間(記録欠損)になつ てしまうという問題がある。図 13は、図 12に示した記録欠損を解決するための処理の 一例を説明するための図である。図 13に示す処理では、時刻 t2— 3の期間に時刻 t 1一 t3の映像を記録する、すなわち記録間隔を通常より短くして、高速に録画を実施 する。しかし、この高速録画には、例えば、(1)発生したアラームがいつ終了するかは わからないため、 1のアラーム録画が継続する期間は事前には予測がつかず適切な 記録間隔の短縮量が算出できない、という問題がある。このような問題はアラーム録 画継続期間の最低値を決めることで回避することが可能であるが、システム構築上の 制約につながる。また、例えば、(2)高速録画中は、画像蓄積配信サーバ 1の処理 負荷が通常より大きくなる、といった問題がある。すなわち、画像蓄積配信サーバ 1の 録画性能に高速録画のための負荷増分をマージンとして織り込んでおく必要が生じ る。さらに、アラームの発生は複数台の Webカメラ 5から非同期に入ってくる、すなわ ち同時に多数のアラームが発生する可能性があるので、それぞれに対して負荷増分 のマージンを加算して画像蓄積配信サーバ 1の性能仕様を算定しなくてはならず、 性能仕様上得策ではない。従って、時差録画区間における録画は、高速録画(図 13 )をするより、その時差を守ったまま通常の記録間隔での録画(図 12)を行うほうがよ レ、。 lchで常時、時差を守って通常録画及びアラーム録画を続ける方法もある力 突 然の電源断等による映像の損失等が考えられ、 UPS (Uninterruptible Power S upply)を設置する等の対策が必要になり、例えば、システムの高コスト化という問題 も発生する。
[0074] これに対して本発明の実施例に関わる構成では、通常録画とアラーム録画とで ch を分けて記録を行うようにしたため、例えば、図 12及び図 13を用いて説明した上記 のような問題を解決することができる。なお、同じ時間帯の映像が、例えば、通常 chと アラーム chの 2chに冗長に録画されるため、図 12及び図 13の構成に比べると余計 な記録容量を必要となる力 例えば、通常録画とアラーム録画による画像データの記 録を同時に実施する場合は、通常録画は低フレームレート(例えば、 lfps等)で実施 することが多いので、図 12及び図 13を用いて説明した方式において発生する問題 に比べると、大きな問題とはならない。
[0075] また、アラーム録画は時系列を遡ってアラーム発生時刻前の映像(プリアラーム画 像)の記録を行う必要があるため、通常録画とアラーム録画による画像データを同一 ch上には共存させにくい。従って、例えば、 1つの chには 1つの Webカメラの映像を 時系列に格納し、かつ、通常 chとアラーム chといったように 1つの Webカメラの映像 を 2つの chに分けて格納するような構成とすると、記録システムの構成を簡略化する こと力 Sできる。なお、 1つの Webカメラの映像を 3つ以上の chに分けて格納するような 構成を用いることも可能である。
[0076] また、上述したように、本発明の画像再生方法(シームレス再生)は、例えば、 1つの カメラから生成した 2種類の録画映像を、 1つの再生画面であた力も 1つの映像ストリ ームとしてユーザに対して再生を行うことができる。
[0077] ここで、本発明に係る画像再生方法の構成としては、必ずしも以上に示したものに 限られず、種々な構成が用いられてもよい。
なお、本発明は、例えば本発明に係る処理を実行する方法或いは方式や、このよう な方法や方式を実現するためのプログラムなどとして提供することも可能であり、また 、例えば画像再生装置などの種々な装置やシステムとして提供することも可能である また、本発明の適用分野としては、必ずしも以上に示したものに限られず、本発明 は、種々な分野に適用することが可能なものである。例えば、上記の実施形態にお いては、監視システムのカメラによって発生した映像を例に説明を行った力 本発明 の適用分野としては、これに限られるものではなレ、。例えば、映画やテレビ番組に関 する映像を取り扱うといったことも可能である。
[0078] また、本発明に係る画像再生方法などにおいて行われる各種の処理としては、例え ばプロセッサやメモリ等を備えたハードウェア資源にぉレ、てプロセッサが ROM (Rea d Only Memory)に格納された制御プログラムを実行することにより制御される構 成が用いられてもよぐまた、例えば当該処理を実行するための各機能手段が独立し たハードウェア回路として構成されてもよい。
[0079] また、本発明は上記の制御プログラムを格納したフロッピー(登録商標)ディスクや C D (Compact Disc)_ROM等のコンピュータにより読み取り可能な記録媒体や当 該プログラム(自体)として把握することもでき、当該制御プログラムを当該記録媒体 力 コンピュータに入力してプロセッサに実行させることにより、本発明に係る処理を 遂行させることができる。
[0080] 上記記載は実施例についてなされたが、本発明はそれに限らず、本発明の精神と 添付の請求の範囲の範囲内で種々の変更および修正をすることができることは当業 者には明らかである。
産業上の利用可能性
[0081] 本発明は、例えば本発明に係る処理を実行する方法或いは方式や、このような方 法や方式を実現するためのプログラムなどとして利用することも可能であり、また、例 えば画像再生装置などの種々な装置やシステムとして利用することも可能である。 図面の簡単な説明
[0082] [図 1]本発明の一実施例に係る画像蓄積配信システムの全体構成を示す図である。
[図 2]本発明の一実施例に係るディスク装置の記録内容を説明するための図である。
[図 3]本発明の一実施例に係るディスク装置への記録動作を説明するための図であ る。
[図 4]本発明の一実施例に係る画像再生処理を説明するための図である。
[図 5]本発明の一実施例に係る画像再生処理を説明するための図である。
[図 6]本発明の一実施例に係る画像再生処理を説明するための図である。
[図 7]本発明の一実施例に係る画像再生処理を説明するためのフローチャートである 園 8]本発明の一実施例に係るメモリ領域の構成を示す図である。
[図 9]本発明の一実施例に係る画像再生処理を説明するためのフロ [図 10A]本発明の一実施例に係る記録内容や再生内容の一例を説明するための図 である。
[図 10B]本発明の一実施例に係る記録内容や再生内容の一例を説明するための図 である。
[図 10C]本発明の一実施例に係る記録内容や再生内容の一例を説明するための図 である。
[図 11A]本発明の一実施例に係る記録内容及び再生内容の一例を説明するための 図である。
[図 11B]本発明の一実施例に係る記録内容及び再生内容の一例を説明するための 図である。
[図 11C]本発明の一実施例に係る記録内容及び再生内容の一例を説明するための 図である。
[図 11D]本発明の一実施例に係る記録内容及び再生内容の一例を説明するための 図である。
[図 12]本発明の一実施例に係る 1つの chに対して異なる記録モードによる記録を行 う場合の処理の一例を説明するための図である。
[図 13]本発明の一実施例に係る 1つの chに対して異なる記録モードによる記録を行 う場合の処理の一例を説明するための図である。
[図 14]本発明の一実施例に係る記録内容を管理するためのテーブルの一例を示す 図である。
符号の説明
1 画像蓄積配信サーバ
3 ディスク装置
4 ネットワーク
5 Webカメラ
6 クライアント端末
30 記憶領域

Claims

請求の範囲
[1] 1つの撮像装置により得られる複数の静止画像から構成される動画像を異なる画質 により複数系統で記録装置に記録し、該記録装置に記録された動画像を表示する画 像表示方法であって、
前記記録装置から前記動画像を構成する静止画像を取得する画像取得ステップと 前記取得された静止画像を表示する画像表示ステップとを備え、
前記複数系統のうちの画質が高い系統の動画像を構成する前記静止画像を優先 して表示することを特徴とする画像表示方法。
[2] 請求項 1に記載の画像表示方法において、
前記静止画像は時刻情報を有しており、
前記画像取得ステップは、前記時刻情報と、再生基準時刻に基づいて前記記録装 置から取得する前記動画像を構成する静止画像を選択する、
ことを特徴とする画像表示方法。
[3] 請求項 1に記載の画像再生方法において、
前記画像表示ステップは、前記画質が高い系統の動画像を構成する前記静止画 像が連続して存在する期間においては、前記画質が高い系統の動画像を構成する 前記静止画像を表示することを特徴とする画像表示方法。
[4] 請求項 1に記載の画像表示方法において、
前記画質とは、少なくともフレームレート又は圧縮率又は解像度のいずれ力、 1つの ことであり、
前記画質が高いとは、少なくともフレームレートが高いこと又は圧縮率が低いこと又 は解像度が高レ、ことのレ、ずれか 1つのことである、
ことを特徴とする画像表示方法。
[5] 1つの撮像装置により得られる複数の静止画像から構成される動画像を異なる画質 により複数系統で記録装置に記録し、該記録装置に記録された動画像を表示する画 像表示装置であって、
前記記録装置から前記動画像を構成する静止画像を取得する画像取得手段と、 前記取得された静止画像を表示する画像表示手段とを備え、
前記複数系統のうちの画質が高い系統の動画像を構成する前記静止画像を優先 して表示することを特徴とする画像表示装置。
[6] 請求項 5に記載の画像表示装置において、
前記静止画像は時刻情報を有しており、
前記画像取得手段は、前記時刻情報と、再生基準時刻に基づいて前記記録装置 から取得する前記動画像を構成する静止画像を選択する、
ことを特徴とする画像表示装置。
[7] 請求項 5に記載の画像再生装置において、
前記画像表示手段は、前記画質が高い系統の動画像を構成する前記静止画像が 連続して存在する期間においては、前記画質が高い系統の動画像を構成する前記 静止画像を表示することを特徴とする画像表示装置。
[8] 請求項 5に記載の画像表示装置において、
前記画質とは、少なくともフレームレート又は圧縮率又は解像度のいずれ力 1つの ことであり、
前記画質が高いとは、少なくともフレームレートが高いこと又は圧縮率が低いこと又 は解像度が高レ、ことのレ、ずれか 1つのことである、
ことを特徴とする画像表示装置。
[9] 1つの撮像装置により得られる複数の静止画像から構成される動画像を異なる画質 により複数系統で記録装置に記録し、該記録装置に記録された動画像を表示する画 像表示装置を構成するコンピュータに実行させるプログラムであって、
前記記録装置から前記動画像を構成する静止画像を取得する画像取得機能と、 前記取得された静止画像を表示する画像表示機能とを有し、
前記複数系統のうちの画質が高い系統の動画像を構成する前記静止画像を優先 して表示することを前記コンピュータにより実現することを特徴とするプログラム。
[10] 請求項 9に記載のプログラムにおいて、
前記静止画像は時刻情報を有しており、
前記画像取得機能は、前記時刻情報と、再生基準時刻に基づいて前記記録装置 から取得する前記動画像を構成する静止画像を選択する、
ことを特徴とするプログラム。
[11] 請求項 9に記載のプログラムにおいて、
前記画像表示機能は、前記画質が高レ、系統の動画像を構成する前記静止画像が 連続して存在する期間においては、前記画質が高い系統の動画像を構成する前記 静止画像を表示することを特徴とするプログラム。
[12] 請求項 9に記載のプログラムにおいて、
前記画質とは、少なくともフレームレート又は圧縮率又は解像度のいずれ力、 1つの ことであり、
前記画質が高いとは、少なくともフレームレートが高いこと又は圧縮率が低いこと又 は解像度が高レ、ことのレ、ずれか 1つのことである、
ことを特徴とするプログラム。
PCT/JP2005/001113 2004-01-29 2005-01-27 画像表示方法及び画像表示装置並びに画像表示プログラム WO2005074274A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
GB0614541A GB2427521B (en) 2004-01-29 2005-01-27 Image display method,image display device,and image display program
US10/587,454 US8015586B2 (en) 2004-01-29 2005-01-27 Image display method, image display device, and image display program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2004022106A JP4315827B2 (ja) 2004-01-29 2004-01-29 画像表示方法及び画像表示装置並びに画像表示プログラム
JP2004-022106 2004-01-29

Publications (1)

Publication Number Publication Date
WO2005074274A1 true WO2005074274A1 (ja) 2005-08-11

Family

ID=34823819

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2005/001113 WO2005074274A1 (ja) 2004-01-29 2005-01-27 画像表示方法及び画像表示装置並びに画像表示プログラム

Country Status (4)

Country Link
US (1) US8015586B2 (ja)
JP (1) JP4315827B2 (ja)
GB (1) GB2427521B (ja)
WO (1) WO2005074274A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9508388B2 (en) 2013-09-11 2016-11-29 Axis Ab Method and apparatus for processing motion video
JP2018113618A (ja) * 2017-01-12 2018-07-19 三菱電機インフォメーションシステムズ株式会社 映像ストリーム処理装置、映像ストリーム処理プログラムおよび映像監視システム

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
FR2883692A1 (fr) * 2005-03-25 2006-09-29 Thomson Licensing Sa Procede d'envoi de commande a un serveur de flux de donnees numeriques et appareil implementant le procede
JP4796367B2 (ja) * 2005-09-28 2011-10-19 株式会社フェイス 動画配信システム
US7570250B2 (en) * 2006-05-04 2009-08-04 Yi-Ming Tseng Control device including a ball that stores data
WO2009158365A2 (en) * 2008-06-27 2009-12-30 Honeywell International Inc. Systems and methods for managing video data
US8444292B2 (en) * 2008-10-24 2013-05-21 Ilumisys, Inc. End cap substitute for LED-based tube replacement light
US8675066B2 (en) * 2009-10-02 2014-03-18 Alarm.Com Incorporated Image surveillance and reporting technology
US8937658B2 (en) 2009-10-15 2015-01-20 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US20110169631A1 (en) * 2010-01-11 2011-07-14 Ming-Hwa Sheu Real-time alarm system
JP5574719B2 (ja) * 2010-01-15 2014-08-20 キヤノン株式会社 表示装置、表示方法及びプログラム
JP5827813B2 (ja) * 2011-03-29 2015-12-02 セコム株式会社 監視装置、画像監視システムおよびプログラム
US20130084053A1 (en) * 2011-10-04 2013-04-04 Utc Fire & Security Corporation System to merge multiple recorded video timelines
US8902740B2 (en) 2011-11-10 2014-12-02 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US9396634B2 (en) 2011-11-10 2016-07-19 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US8692665B2 (en) 2011-11-10 2014-04-08 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US9379915B2 (en) 2011-11-10 2016-06-28 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US9066275B2 (en) * 2012-12-27 2015-06-23 Cellco Partnership Method and system to improve device pinging
JP6128329B2 (ja) * 2013-03-21 2017-05-17 パナソニックIpマネジメント株式会社 映像記録装置およびカメラデコーダ
US9565462B1 (en) * 2013-04-26 2017-02-07 SportXast, LLC System, apparatus and method for creating, storing and transmitting sensory data triggered by an event
US20150124109A1 (en) * 2013-11-05 2015-05-07 Arben Kryeziu Apparatus and method for hosting a live camera at a given geographical location
US9224213B2 (en) * 2013-12-31 2015-12-29 Facebook, Inc. Systems and methods for context based image compression
US9489387B2 (en) 2014-01-15 2016-11-08 Avigilon Corporation Storage management of data streamed from a video source device
US10373453B2 (en) 2015-09-15 2019-08-06 At&T Intellectual Property I, L.P. Methods, systems, and products for security services
US10565840B2 (en) 2015-11-12 2020-02-18 At&T Intellectual Property I, L.P. Alarm reporting
FR3073653B1 (fr) * 2017-11-14 2021-04-09 Asweshare Dispositifs et procedes de partage et d'affichage d'image

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001339686A (ja) * 2000-05-29 2001-12-07 Toa Corp 映像データ記録装置
JP2003153196A (ja) * 2001-11-14 2003-05-23 Sanyo Electric Co Ltd 監視記録再生装置
JP2003319378A (ja) * 2002-04-26 2003-11-07 Hitachi Kokusai Electric Inc 監視カメラシステムおよび映像信号の伝送方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6618074B1 (en) * 1997-08-01 2003-09-09 Wells Fargo Alarm Systems, Inc. Central alarm computer for video security system
JP3729660B2 (ja) * 1998-09-04 2005-12-21 松下電器産業株式会社 ネットワークカメラ監視システム
JP3917363B2 (ja) * 2000-12-12 2007-05-23 株式会社東芝 画像復号化装置及び画像復号化方法
JP4188615B2 (ja) 2002-03-18 2008-11-26 株式会社日立国際電気 映像配信サーバおよび映像配信システム
JP4000029B2 (ja) * 2002-08-29 2007-10-31 三洋電機株式会社 データ送信装置
JP3880495B2 (ja) * 2002-09-25 2007-02-14 キヤノン株式会社 撮像装置の制御方法及び画像配信装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001339686A (ja) * 2000-05-29 2001-12-07 Toa Corp 映像データ記録装置
JP2003153196A (ja) * 2001-11-14 2003-05-23 Sanyo Electric Co Ltd 監視記録再生装置
JP2003319378A (ja) * 2002-04-26 2003-11-07 Hitachi Kokusai Electric Inc 監視カメラシステムおよび映像信号の伝送方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9508388B2 (en) 2013-09-11 2016-11-29 Axis Ab Method and apparatus for processing motion video
JP2018113618A (ja) * 2017-01-12 2018-07-19 三菱電機インフォメーションシステムズ株式会社 映像ストリーム処理装置、映像ストリーム処理プログラムおよび映像監視システム

Also Published As

Publication number Publication date
GB2427521A (en) 2006-12-27
JP2005217791A (ja) 2005-08-11
GB2427521B (en) 2009-05-20
GB0614541D0 (en) 2006-08-30
US8015586B2 (en) 2011-09-06
JP4315827B2 (ja) 2009-08-19
US20070124782A1 (en) 2007-05-31

Similar Documents

Publication Publication Date Title
WO2005074274A1 (ja) 画像表示方法及び画像表示装置並びに画像表示プログラム
US7421727B2 (en) Motion detecting system, motion detecting method, motion detecting apparatus, and program for implementing the method
US6487564B1 (en) Multimedia playing apparatus utilizing synchronization of scenario-defined processing time points with playing of finite-time monomedia item
US20020089587A1 (en) Intelligent buffering and reporting in a multiple camera data streaming video system
US9564172B2 (en) Video replay systems and methods
KR102010513B1 (ko) 레코딩된 비디오를 재생하기 위한 방법 및 장치
JP4312804B2 (ja) 記録内容表示プログラム及び記録内容表示装置
JP4270623B2 (ja) 時系列データ蓄積配信システム
WO2005086009A1 (ja) メディア配信装置及びメディア受信装置
WO2017203790A1 (ja) 動画分割装置及び監視方法
EP1579683A2 (en) More user friendly time-shift buffer
US20040205825A1 (en) Video distribution method and video distribution system
US20090297130A1 (en) Recording/reproducing method and apparatus
US20030053792A1 (en) Management of digital memory during playback of moving images
JP2002077820A (ja) 蓄積再生装置およびデジタル放送送信装置
EP1777959A1 (en) System and method for capturing audio/video material
JP4373229B2 (ja) 映像閲覧方法及び映像閲覧システム
JP2007189558A (ja) 映像表示システム及び映像蓄積配信装置
JP3279186B2 (ja) 動画像データの再生制御方式
JP4828354B2 (ja) 複数チャンネル画像転送装置
KR20020011908A (ko) 화상 처리 장치 및 화상 처리 방법 및 기록 매체
JPH0923405A (ja) 動画圧縮装置
JP2005176164A (ja) 映像蓄積配信装置および映像配信システム
JP2000059734A (ja) マルチメディアインタラクティブシステム
JP2002094962A (ja) 映像データ送受信システム、映像データ送受信方法および記録媒体

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
WWE Wipo information: entry into national phase

Ref document number: 0614541.1

Country of ref document: GB

Ref document number: 0614541

Country of ref document: GB

WWE Wipo information: entry into national phase

Ref document number: 2007124782

Country of ref document: US

Ref document number: 10587454

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

WWW Wipo information: withdrawn in national office

Country of ref document: DE

122 Ep: pct application non-entry in european phase
WWP Wipo information: published in national office

Ref document number: 10587454

Country of ref document: US