WO2009098763A1 - 映像処理装置、映像処理方法及び映像処理プログラム - Google Patents

映像処理装置、映像処理方法及び映像処理プログラム Download PDF

Info

Publication number
WO2009098763A1
WO2009098763A1 PCT/JP2008/051951 JP2008051951W WO2009098763A1 WO 2009098763 A1 WO2009098763 A1 WO 2009098763A1 JP 2008051951 W JP2008051951 W JP 2008051951W WO 2009098763 A1 WO2009098763 A1 WO 2009098763A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
data
unit
frame
imaging
Prior art date
Application number
PCT/JP2008/051951
Other languages
English (en)
French (fr)
Inventor
Jun Kawai
Katsutoshi Yano
Hiroshi Yamada
Original Assignee
Fujitsu Limited
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Limited filed Critical Fujitsu Limited
Priority to PCT/JP2008/051951 priority Critical patent/WO2009098763A1/ja
Publication of WO2009098763A1 publication Critical patent/WO2009098763A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/24—Systems for the transmission of television signals using pulse code modulation

Definitions

  • the present invention relates to a video processing device, a video processing method, and a video processing program for processing a plurality of video data obtained by a plurality of imaging devices.
  • a video processing apparatus for displaying a plurality of videos captured by a plurality of cameras on a single display. For example, in a car (vehicle), when a plurality of cameras for obtaining a blind spot image from a driver are installed, and images captured by the plurality of cameras are displayed in real time on a display provided in the car, Such a video processing apparatus is used.
  • the conventional multi-camera system and the video monitoring apparatus require a buffer for temporarily recording frames of a plurality of videos received from the imaging apparatus. As the number of imaging devices increases, the buffer area also increases.
  • FIG. 16 is a functional block diagram showing a schematic configuration of a video processing device used in a conventional multi-camera system or video monitoring device.
  • the cameras C01 to C04 are connected to the video processing device 80 via the network 84.
  • the video processing device 80 includes a network IF unit 81 and a video processing unit 82.
  • the network IF unit 81 receives video data of four videos captured by the cameras C01 to C04 via the network 84.
  • the network IF unit 81 includes a transfer buffer 83a for temporarily recording frames of video data of the cameras C01 to C04.
  • the network IF unit 81 synchronizes these four frames with a predetermined synchronization signal and passes through the video IFs 1 to 4 respectively. Forward to.
  • the video processing unit 82 combines the four frames to generate one frame, and sequentially outputs the combined frames as display video data.
  • FIG. 17 is a diagram illustrating a display example of video based on display video data output from the video processing unit 82.
  • the video processing unit 82 includes a frame buffer 83b for recording four frames.
  • the frame buffer requires, for example, three surfaces: a buffer for recording a frame received from the network IF unit 81, a buffer for recording a processing target frame, and a buffer for recording a display frame obtained by combining four frames.
  • frame buffers corresponding to the number of cameras C01 to C04 are required.
  • Such a recording area of the frame buffer is preferably as small as possible from the viewpoint of processing efficiency and resource saving. That is, in the video processing apparatus, there is a problem of efficiently processing video by reducing the buffer area as much as possible.
  • an object of the present invention is to reduce the recording area of a buffer used in video processing and to enable quick and efficient processing of a plurality of videos.
  • a video processing system includes a plurality of imaging devices, a video processing device capable of transferring data to and from the plurality of imaging devices via a network, and a display device that displays video processed by the video processing device. Including a video processing system.
  • the imaging apparatus includes an imaging synchronization control unit that performs synchronous control so that the plurality of imaging apparatuses capture images at the same frame timing, and a state in which the data of a frame captured by the imaging apparatus according to the synchronization control can be recognized in line units. And a video output interface unit for transmitting via the network.
  • the video processing device is capable of recognizing data of each frame captured by the plurality of imaging devices at the same frame timing in line units, a network connection unit that receives the data via the network, a buffer that records data, The line unit data of each frame captured by the plurality of imaging devices at the same timing is recorded in the buffer, respectively, and the line unit data of each frame recorded in the buffer by the recovery unit is sequentially
  • a combining unit that reads and generates an image obtained by combining the lines of each frame in the horizontal direction, and a video processing unit that outputs the image combined by the combining unit to the display device.
  • the video processing device is connectable to a plurality of imaging devices via a network and can be connected to a display device, and processes the video received from the plurality of imaging devices to the display device.
  • a video processing apparatus for outputting wherein the data of each frame captured by the plurality of imaging apparatuses at the same frame timing is recognizable in units of lines, and the network connection unit that receives the data via the network and records the data
  • a buffer a restoration unit that records line-unit data of each frame captured by the plurality of imaging devices at the same timing in the buffer, and the plurality of imaging devices that are recorded in the buffer by the restoration unit.
  • Each line of each frame is sequentially read out, and each line of each frame is read horizontally.
  • a coupling unit for generating a combined image.
  • the network connection unit receives data of each frame captured at the same timing in the plurality of imaging devices in a state where the data can be recognized in line units.
  • the restoration unit records data in units of lines of each frame received by the network connection unit in a buffer.
  • the buffer is in a state where data of corresponding lines of each frame imaged at the same timing by a plurality of imaging devices is recorded. Therefore, the combining unit can sequentially read the data of the lines of each frame recorded in the buffer by the restoring unit and generate a video combined in the horizontal direction.
  • the network connection unit, the restoration unit, and the coupling unit can sequentially perform processing for each line unit of data, so that a buffer for restoration and coupling can be reduced. For example, the processing can be performed more quickly than the processing for each frame, and the capacity of the buffer for temporarily recording data can be reduced.
  • combined video data in which each line of each frame captured at the same timing is connected in the horizontal direction (line direction) is output. That is, a plurality of images taken by a plurality of imaging devices are output as one image combined in the horizontal direction in line units. Therefore, when video processing is performed on such data, it is possible to sequentially process data of one video in which a plurality of videos are combined in the horizontal direction for each line. Thereby, for example, it is possible to efficiently execute a process of displaying a video obtained by combining a plurality of videos.
  • the restoration unit and the coupling unit can be sequentially processed for each line. Further, the combined video output from the video processing device can be processed for each line. That is, a plurality of videos can be processed quickly and efficiently in the video processing apparatus and the apparatus that performs video processing using the video output from the video processing apparatus.
  • the recording area of a buffer used in video processing is reduced, and a plurality of videos can be processed quickly and efficiently.
  • FIG. 1 is a functional block diagram showing the configuration of a video processing apparatus according to the first embodiment.
  • the figure which shows an example of the image which combined four images Functional block diagram showing the configuration of the camera C1
  • Functional block diagram showing the configuration of the network IF unit in the second embodiment The figure which shows notionally a mode that the compressed video data for 1 line are transferred simultaneously.
  • the figure which shows notionally how a joint part carries out joint picture data Functional block diagram showing the configuration of the network IF unit 2a in the third embodiment
  • Functional block diagram showing a schematic configuration of a conventional video processing apparatus The figure which shows the example of a display of the image
  • the video processing apparatus further includes a synchronization control unit that performs frame timing synchronization control of the plurality of imaging devices by transmitting a frame timing synchronization control signal to the plurality of imaging devices. You may prepare.
  • the network connection unit includes a predetermined data amount of encoded data that can be recognized in line units of each frame captured by the plurality of imaging devices at the same frame timing via the network.
  • the packet is packetized every time, and the restoration unit extracts the data of each frame captured by each of the plurality of imaging devices at the same timing from the packet, thereby encoding each frame.
  • the packet decomposing unit that restores data in line units, and the line unit encoded data of each frame captured at the same timing in the plurality of imaging devices restored in the packet decomposing unit are decoded in line units.
  • the corresponding of each frame obtained can be configured to include a decoder to be recorded in the buffer.
  • the restoration unit encodes each frame captured at the same timing in the plurality of imaging devices even when the data of each frame obtained by the plurality of imaging devices is encoded and received in a packetized state. Can be restored in line units, and the data of the corresponding lines in each frame can be recorded in the buffer at substantially the same timing.
  • the buffer includes a line buffer for the restoration unit to write data in units of lines of the frames, and the combining unit sets each line of each frame in the horizontal direction.
  • a line buffer for reading out line-by-line data of each frame when combining can be employed.
  • the recording area used as a buffer can be minimized.
  • the video processing apparatus further includes a video processing unit that generates display video data based on the video generated by the combining unit and outputs the display video data to the display device.
  • a video processing unit that generates display video data based on the video generated by the combining unit and outputs the display video data to the display device.
  • the combined information including information about the imaging device that captured the combined frames is generated, and the image processing unit adds information related to the combined imaging device.
  • the display video data can be generated by determining an output video pattern based on the extracted video image, and extracting and combining necessary portions from the combined video data so as to match the determined output video pattern.
  • the video processing unit Since the video processing unit generates display video data based on the video generated by the combining unit, it becomes possible to sequentially process data of one video in which a plurality of videos are combined in the horizontal direction for each line. . As a result, it is possible to efficiently execute processing for displaying a video obtained by combining a plurality of videos. Further, the video processing unit can control the output video pattern according to the imaging device that captured the video.
  • the network connection unit is configured to transmit each of the video output interface units included in the plurality of imaging devices using the isochronous transfer function via the network.
  • a mode in which frame data is received may be employed.
  • the network connection unit can more reliably receive data of a plurality of videos captured by the plurality of imaging devices at the same frame timing.
  • the combining unit includes a pixel clock frequency of the data of each frame received by the network connection unit multiplied by the number of the plurality of imaging devices or more pixels. It can be set as the aspect which outputs the image
  • the frame frequency of the output video can be kept equal to or higher than the frame frequency of each frame received by the network connection unit.
  • An imaging control device is an imaging control device that connects an imaging device to a network to which a video processing device and another imaging device are connected, and a synchronization control signal of frame timing is
  • An imaging synchronization control unit that controls the imaging device to perform imaging at the same frame timing as the other imaging device by transmitting and receiving to and from the other imaging device or the video processing device; and the imaging synchronization
  • a video output interface unit configured to output a video captured by the control unit at the same frame timing as that of the other imaging device to the video processing device via a network in a state where the video can be recognized in units of lines; .
  • the video output interface unit outputs video frames captured at the same frame timing as other imaging devices under the control of the imaging synchronization control unit to the video processing device via the network in a recognizable state in line units. Therefore, the video processing apparatus can recognize the data of the frame imaged at the same frame timing as other imaging apparatuses connected to the network in units of lines.
  • the video processing device recognizes data of each frame captured at the same frame timing by the multiple imaging devices in line units. can do. Therefore, it is possible to sequentially process video captured at the same frame timing by a plurality of imaging devices for each line in video network transfer processing and video processing in other devices such as a video treatment device connected to the network. become. By sequentially processing each line in this way, for example, it is possible to perform a quick process as compared with the case of processing for each frame, and the capacity of a buffer for temporarily recording data can be reduced.
  • the imaging synchronization control unit receives a frame timing synchronization control signal from the video processing device, and controls the imaging timing of the imaging device based on the synchronization control signal. It can be set as the mode to do.
  • the video output interface unit encodes video data captured by the imaging device at the same frame timing as other imaging devices into data that can be recognized in line units.
  • a packet generation unit that packetizes encoded data that can be recognized in line units for each predetermined amount of data.
  • the frame data captured by the imaging device is transmitted in the form of packetized encoded data that can be recognized in units of lines, so that the data can be efficiently transferred over the network in a state that can be recognized in units of lines. Is done.
  • the video output interface unit may further include a line buffer for temporarily recording data encoded by the encoder in line units. With this configuration, the recording area used by the buffer can be minimized.
  • a video processing program is a video processing program that can be connected to a plurality of imaging devices via a network and that causes a computer that can be connected to a display device to execute the processing.
  • the computer is caused to execute a combining process to be generated and output.
  • a video processing method is a video processing method that is executed by a video processing apparatus that can be connected to a plurality of imaging devices via a network and that can be connected to a display device.
  • a video processing apparatus that can be connected to a plurality of imaging devices via a network and that can be connected to a display device.
  • Receiving the data of each frame captured at the same frame timing via the network in a state where the data can be recognized in line units, and the line unit data of each frame captured at the same timing in the plurality of imaging devices And a combining step for sequentially reading out data in units of lines of the frames recorded in the buffer by the restoring step and generating an image in which the lines of the frames are combined in the horizontal direction.
  • a video processing program is a video processing program for causing a computer capable of controlling a plurality of imaging devices connected to a network to execute processing, and the plurality of imaging devices capture images at the same frame timing.
  • Imaging synchronization control processing for synchronous control, video interface output processing for outputting data of each frame captured by the plurality of imaging devices at the same frame timing to a network in a state where the data can be recognized in line units, and via the network ,
  • a process of receiving data of each frame captured by the plurality of imaging devices at the same frame timing in a recognizable state in units of lines, and a line unit of each of the frames captured at the same timing by the plurality of imaging devices A restoration process that records the data in the buffer,
  • a combination process for sequentially reading line-unit data of each frame recorded in the buffer by the recording / reconstructing process to generate an image in which the lines of each frame are combined in the horizontal direction, and an image generated by the combination process Based on this, display video data is generated, and video processing to be output to the display device is
  • a video processing method is a video processing method executed by a plurality of imaging devices and a video processing device that can transfer data to and from the imaging devices via a network and can be connected to a display device.
  • a synchronization control step for performing synchronization control so that each of the plurality of imaging devices captures images at the same frame timing as the other imaging devices, and data of each frame captured by each of the plurality of imaging devices at the same frame timing.
  • a communication step of transmitting to the video processing device via the network in a state that can be recognized in line units, and data of each frame captured by the video processing device at the same timing in the plurality of imaging devices in line units A restoring step for recording in the buffer, and before the recording in the buffer by the restoring step It includes a combining step for sequentially reading out data in units of lines of each frame and combining the lines of each frame in the horizontal direction, and a video processing step for outputting the video generated in the combining step to the display device. .
  • FIG. 1 is a functional block diagram showing the configuration of the video processing apparatus according to the present embodiment.
  • the video processing apparatus 1 shown in FIG. 1 is connected to four cameras C1 to C4 and a display device 9.
  • the video processing device 1 receives data of four videos captured by the four cameras C1 to C4, generates one video data obtained by combining the four videos, and outputs the data to the display device 9 as display video data.
  • FIG. 2 is a diagram illustrating an example of an image obtained by combining four images displayed on the display device 9.
  • Each of the four cameras C1 to C4 shown in FIG. 1 captures an image at a synchronously controlled frame timing.
  • the four video data captured by the cameras C1 to C4 are transmitted to the video processing device 1 via the network 4.
  • the four video data transmitted to the video processing device 1 are transmitted in a recognizable state for each video line.
  • line refers to each scanning line in a predetermined direction on one screen imaged by the imaging device. For example, when one captured image is represented by vertical M ⁇ N horizontal pixels, N pixels for one horizontal row form one line. Further, in the video signal obtained by imaging, for example, a line break is represented by a horizontal synchronization signal.
  • video data examples include video data in which data indicating a line delimiter such as a horizontal sync signal is inserted, or encoding so that the code amount is a predetermined amount for each line.
  • Video data and the like examples of video data that can be recognized on a line-by-line basis.
  • a line delimiter such as a horizontal sync signal
  • Video data and the like examples of video data that can be recognized on a line-by-line basis.
  • Video data examples include video data in which data indicating a line delimiter such as a horizontal sync signal is inserted, or encoding so that the code amount is a predetermined amount for each line.
  • Video data and the like as an example, a case will be described in which the data of four videos captured by the cameras C1 to C4 is video data compressed so that each line has a predetermined code amount.
  • Such compression is made possible by encoding using a smart codec (SmartCODEC (registered trademark of Fujitsu Limited)), for example.
  • the cameras C1 to C4 in the present embodiment encode a video signal obtained by imaging into data that can be recognized in line units using a smart codec and transfer the encoded data to the video processing device 1.
  • the cameras C1 to C4 transfer the images captured at the synchronously controlled frame timing so that the transmission periods of the frames are matched in the cameras C1 to C4.
  • the video processing apparatus 1 can receive four frames (frames synchronized with each other) simultaneously captured by the cameras C1 to C4 at the same timing.
  • the data transfer from the cameras C1 to C4 to the video processing apparatus 1 is preferably isochronous transfer (isochronous transfer). This makes it possible to more reliably synchronize the transfer timings of a plurality of video frames.
  • An example of a communication method that enables isochronous transfer is a communication method defined in IEEE 1394. The detailed configuration of the cameras C1 to C4 will be described later.
  • the video processing device 1 includes a network IF unit 2 and a video processing unit 3.
  • the network IF unit 2 includes a network connection unit 21, a restoration unit 5, a coupling unit 6, and a line buffer 7.
  • the video processing unit 3 includes a frame buffer.
  • the network connection unit 21 receives, via the network 4, data of four videos captured at the same frame timing by the cameras C1 to C4 in a state where the data can be recognized in line units.
  • the restoration unit 5 receives data of four videos captured at the same frame timing by the cameras C1 to C4, and sequentially restores each of the four videos in units of lines and temporarily records them in the line buffer. At this time, the restoration unit 5 sequentially restores the four lines corresponding to each other in the four frames captured at the same timing by the cameras C1 to C4 so as to be restored at the same timing. Thereby, the line data of four lines corresponding to each other in the four frames imaged at the same timing is recorded in the line buffer.
  • the top line in each of the four frames is recorded in the line buffer at approximately the same time, and then the second line in each of the four frames is similarly recorded in the line buffer at approximately the same time. After that, the data is sequentially recorded in the line buffer until the third line, the fourth line, and the bottom line of the frame are reached.
  • the combining unit 6 reads line data of four lines corresponding to each other in the four frames recorded at the same timing and recorded in the line buffer, combines these, and transfers them as combined video data to the video processing unit 3. . Accordingly, the corresponding four lines in the four frames are horizontally combined and transferred to the video processing unit 3 as one line of one video. This process is repeated for each line of each frame of the four videos.
  • the video processing unit 3 generates display video data based on the combined video data obtained by combining the four corresponding lines of the four frames captured at the same time, and outputs the display video data to the display device 9. At this time, the video processing unit 3 temporarily records the combined video data received from the combining unit 6 in a frame buffer, reads out the data in units of lines, and generates display video data.
  • the frame buffer 8 has one plane (one frame area).
  • the display video data for one frame is generated and then output in units of frames, two frame buffers 8 are required.
  • the network IF unit 2 and the video processing unit 3 of the video processing device 1 shown in FIG. 1 have a configuration capable of sequentially performing processing in units of lines, so that rapid processing is possible.
  • the buffer capacity for temporarily recording data can be reduced.
  • the lines of the four videos are horizontally combined and transferred as one video line. Therefore, data transfer from the coupling unit 6 of the network IF unit 2 to the video processing unit 3 can be performed by one data bus. That is, a plurality of data buses for transferring each of the four videos are not necessary, and the wiring in the video processing apparatus 1 can be reduced.
  • the video processing apparatus 1 can be configured by a chip such as a 1394 controller LSI, for example.
  • the video processing apparatus 1 may be composed of one chip or a plurality of chips.
  • FIG. 3 is a functional block diagram showing the configuration of the camera C1.
  • the cameras C2 to C4 can have the same configuration.
  • 3 includes a lens unit 11, an imaging unit 12, a video data generation unit 13, a video output interface unit 14 (hereinafter referred to as a video output IF unit), and an imaging synchronization control unit 19 (hereinafter simply referred to as a synchronization control unit).
  • the video output IF unit 14 includes a line unit encoder (hereinafter simply referred to as an encoder) 15, a packet generation unit 16, a packet buffer 17, and a network connection unit 18.
  • the light imaged by the lens unit 11 is converted into a video signal by the imaging unit 12.
  • the video data generation unit 13 receives the video signal from the imaging unit 12 and performs A / D conversion and other various conversions to generate video data.
  • Encoder 15 compresses video data and encodes it into recognizable data in line units.
  • prediction coding such as JPEG-LS (lossless JPEG) can be used in addition to the smart codec.
  • the encoder 15 temporarily records encoded video data (hereinafter referred to as compressed video data) in a line buffer in units of lines.
  • the packet generator 16 sequentially reads the compressed video data from the line buffer, generates a packet, and records it in the packet buffer 17.
  • the network connection unit 18 sequentially reads out the packets recorded in the packet buffer 17 and transmits them to the video processing apparatus 1 via the network 4.
  • FIG. 4 is a diagram illustrating a configuration example of a packet generated by the packet generation unit 16.
  • the packet shown in FIG. 4 includes a packet header, a data header, compressed video data, and a packet footer.
  • the compressed video data includes, for example, compressed video data encoded for two lines.
  • the packet shown in FIG. 4 includes compressed video data of one line of one frame of video of the camera C1 and compressed video data of the second line.
  • the packet configuration is not limited to the above example.
  • the synchronization control unit 19 performs synchronization control so that the frame timing of the imaging unit 12 is the same as the frame timing of the imaging units of the other cameras C2 to C4.
  • the synchronization control unit 19 exchanges synchronization control information (for example, a frame timing signal) with another camera via the network connection unit 18 and controls the imaging operation of the imaging unit 12 based on the synchronization control information.
  • synchronization control can be performed.
  • the data transfer rate between the video data generation unit 13 and the video output IF unit 14 and the data transfer rate from the video output IF unit 14 to the network 4 are controlled to be synchronized with a predetermined pixel clock. Is done.
  • This predetermined pixel clock in the camera C1 (same for C2 to C4) is referred to as an original video pixel clock.
  • one of the four cameras C1 to C4 serves as a master and transmits a frame timing signal to the other three cameras. Also good.
  • another device on the network (for example, the video processing device 1) may transmit a frame timing signal to the four cameras C1 to C4.
  • FIG. 5 is a functional block diagram showing a detailed configuration of the network IF unit 2 shown in FIG.
  • the network IF unit 2 includes a restoration unit 5, a coupling unit 6, a network connection unit 21, a video output IF unit 22, an original video pixel clock reproduction unit 23, an output pixel clock generation unit 24, and a packet buffer 25.
  • the restoration unit 5 includes a packet decomposition unit 51 and a line unit decoder 52 (hereinafter simply referred to as a decoder 52).
  • the original video pixel clock reproduction unit 23 receives the original video pixel clock signal from the cameras C1 to C4 via the network connection unit 21, and notifies the packet decomposition unit 51 and the decoder 52 of the original video pixel clock signal.
  • the packet decomposing unit 51 and the decoder 52 adjust the data transfer rate based on the synchronization signal.
  • the output pixel clock generation unit 24 receives the original video pixel clock signal from the original video pixel clock reproduction unit 23 and outputs the pixel clock (output pixel) of the combined video data output from the combining unit 6 via the video output IF. (Referred to as a clock).
  • the output pixel clock generation unit 24 can set the frequency of the original video pixel clock multiplied by the number of videos (here, 4) as the frequency of the output pixel clock.
  • the output pixel clock generation unit 24 notifies the combining unit 6 and the video output IF unit 22 of the output pixel clock.
  • the network connection unit 21 receives packets sent by isochronous transfer from the four cameras C1 to C4, and records them in the packet buffer of the packet decomposition unit 51.
  • the cameras C1 to C4 capture images at frame timings synchronized with each other, and transfer packets with the same original video pixel clock. Therefore, a packet including compressed video data of each line of four frames captured at the same timing in each of the cameras C1 to C4 reaches the network connection unit 21 at substantially the same timing. Therefore, a packet including compressed video data of each line of four frames that have been imaged and transferred at the same timing is recorded in the packet buffer.
  • the packet decomposing unit 51 reads the compressed video data of each line of the four frames captured at the same timing from the packet recorded in the packet buffer for each line in order from the top line in the frame to the decoder 52. Forward.
  • the packet decomposing unit 51 divides the compressed video data for one line of each of the four frames by a minute amount and performs time division. read out. Thereby, the compressed video data for one line of each of the four frames can be transferred to the decoder 52 almost simultaneously.
  • FIG. 6 is a diagram conceptually showing how compressed video data for one line of four frames is transferred in a time-sharing manner.
  • the horizontal axis represents time t
  • the vertical axis represents which of the video images of the cameras C1 to C4 is compressed video data.
  • compressed video data in the first line of the video frame of the camera C 1 is read from the packet buffer by ⁇ t and transferred to the decoder 52.
  • the compressed video data in the first line of the video frame of the camera C2 is read by ⁇ t and transferred to the decoder 52.
  • the compressed video data of the first line of the video frames of the cameras C3 and C4 is read by ⁇ t and transferred to the decoder 52. Note that the length of the compressed data read during ⁇ t is not necessarily constant.
  • the compressed video data of the first line of each video frame of the cameras C1 to C4 is decoded by the decoder 52. Complete the transfer.
  • the compressed video data of the second line is read and transferred to the decoder 52.
  • the compressed video data of each line of the four frames is read out and transferred in a time-division manner in a minute time, so that the transfer of the compressed data of the line of each frame to the decoder 52 is completed almost simultaneously.
  • the decoder 52 receives the compressed video data of four frames that are time-divided, sequentially decodes them, and records them in the line buffer 7.
  • the line buffer 7 is provided with two recording areas each for storing data for one line of video of each of the four cameras C1 to C4.
  • the decoder 52 completes the decoding of the compressed video data of one line of the video of each of the cameras C1 to C4 almost simultaneously and records it in the line buffer 7. As a result, the data of the lines corresponding to each other in the frames captured at the same timing by the cameras C1 to C4 are simultaneously recorded in the line buffer 7.
  • the decoder 52 sequentially performs multi-video time-division decoding for each video line, so that the lines of the synchronization frames of the four cameras C1 to C4 are recorded in the line buffer 7 in the same period. Generate a state.
  • the transfer rate from the packet buffer 25 to the decoder 52 shown in FIG. 6 is adjusted so that the pixel clock becomes the number obtained by multiplying the original video pixel clock by the number of videos (here, 4). Thereby, the frame frequency at the time of imaging can be maintained.
  • the data transfer shown in FIG. 6 is an example, and the present invention is not limited to this.
  • the combining unit 6 sequentially reads out data for one line of four frames simultaneously captured by the cameras C1 to C4 from the line buffer 7, combines them in the horizontal direction, and performs video processing via the video output IF unit 22. Output to part 3. That is, combined video data representing a video obtained by horizontally combining video lines of the cameras C1 to C4 is generated. As a result, the line data of four frames are combined and output as combined video data of one line of one video.
  • the combining unit 6 can combine only valid pixel data except for the blank section when combining the data of the lines of the frames.
  • FIG. 7 is a diagram conceptually showing how the line data of the four videos read from the line buffer 7 by the combining unit 6 are combined and transferred.
  • the horizontal axis in FIG. 7 represents time t.
  • the transfer speed of the combined video data read out from the line buffer 7 and transferred after being combined is such that the frequency of the pixel clock is equal to the original video pixel clock multiplied by the number of videos (here, 4). Adjusted to
  • FIG. 8 is a diagram illustrating an example of an image represented by combined video data for one frame.
  • the frames simultaneously captured by the cameras C1 to C4 are combined horizontally to form one frame F1.
  • a region indicated by oblique lines around the frame F1 is a blank section.
  • the combination unit 6 and the video output IF unit 22 output combined video data so as to be synchronized with the output pixel clock notified from the output pixel clock generation unit 24.
  • the output pixel clock is obtained by multiplying the original video pixel clock by the number of videos (4).
  • the frequency of the frame of the combined video data (the combined frame shown in FIG. 8) is kept substantially the same as the frame frequency at the time of imaging.
  • the output pixel clock is not limited to the number obtained by multiplying the original video pixel clock by the number of videos (4).
  • the output pixel clock generation unit 24 can set a number smaller than the number obtained by multiplying the original video pixel clock by the number of videos (4) as the output pixel clock. An example in which it is preferable to set the output pixel clock in this way will be described below.
  • one frame of video data received by the video processing apparatus 1 from the cameras C1 to C4 includes pixels in the blank section B around the frame F10 in addition to the effective pixels in the frame F10. May be.
  • the time required to transfer one frame (M pixels) with the original video pixel clock a is T1.
  • the combining unit 6 can combine one frame with four frames as shown in FIG. 9B. (4 ⁇ M pixels) is transferred over T1.
  • FIG. 9B when the combining unit 6 connects only the effective pixels of four frames in the horizontal direction, a long blank section is generated on the right side of the frame.
  • the output pixel clock b is faster than the clock necessary for transferring effective pixels, and waste occurs.
  • the output pixel clock b can be obtained by the following equation (1).
  • m is the number of effective lines of one video
  • n is the number of blank lines
  • p is the number of effective pixels in the effective line
  • q is the number of blank pixels in the effective line
  • f is the frame rate.
  • the above formula (1) is an example in which the number of blank pixels attached to the left and right of four combined images is the same as the number of blank pixels attached to the left and right of one image.
  • the detailed configuration example of the network IF unit 2 has been described above, but the configuration of the network IF unit 2 is not limited to the above example.
  • data is transferred between the packet decomposing unit 51, the decoder 52, and the combining unit 6 through one data bus.
  • data buses as many data buses as the number of cameras C1 to C4 (four in this case) connected to the packet decomposing unit 51, the decoder 52, and the combining unit 6 are provided, and video of each camera C1 to C4 is provided. You may make it the structure which processes in parallel.
  • FIG. 10 is a functional block diagram showing the configuration of the network IF unit 2a in the present embodiment. 10, the same functional blocks as those in FIG. 5 are given the same numbers.
  • the packet decomposition unit 51a includes packet buffers 25a to 25d for recording the packets of the cameras C1 to C4. That is, the packet decomposing unit 51a has a 4-source compatible packet buffer. A packet from the camera C1 is recorded in the packet buffer 25a, a packet from the camera C2 is recorded in the packet buffer 25b, a packet from the camera C3 is recorded in the packet buffer 25c, and a packet from the camera C1 is recorded in the packet buffer 25d.
  • the packet decomposing unit 51a reads compressed video data for one line in each frame imaged at the same timing by the four cameras C1 to C4 from the packet buffers 25a to 25b, and simultaneously transfers them to the decoders 52a to 52d, respectively. To do.
  • the packet decomposing unit 51 a can transfer four lines of compressed video data in synchronization with the original video pixel clock signal from the original video pixel clock reproduction unit 23.
  • the data transfer speed to the decoders 52a to 52d is the same as the original video pixel clock. Therefore, the decoders 52a to 52d read the compressed video data with the original video pixel clock.
  • FIG. 11A is a diagram conceptually illustrating a state in which compressed video data for one line of a synchronization frame of each of the four cameras C1 to C4 is simultaneously transferred.
  • the horizontal axis represents time t
  • the vertical axis represents which compressed video data of the cameras C1 to C4.
  • the compressed video data of the camera C1 is transferred to the decoder 52a
  • the compressed video data of the camera C2 is transferred to the decoder 52b
  • the compressed video data of the camera C3 is transferred to the decoder 52c
  • the compressed video data of the camera C4 is transferred to the decoder 52d.
  • the decoders 52a to 52d decode the received compressed video data and record them in the line buffers 7a to 7d for each line.
  • the line buffers 7a to 7d are composed of two surfaces (double): a line buffer for storing compressed video data transferred from the packet decomposing unit 51a and a line buffer for storing decoded data. . Therefore, the decoded data for one line at the same position in each of the frames captured at the same timing by the four cameras C1 to C4 is recorded on one surface of the line buffers 7a to 7d.
  • FIG. 11B is a diagram conceptually showing how the decoders 52a to 52d transfer one line of compressed video data.
  • the horizontal axis represents time t.
  • the decoders 52a to 52d sequentially send one line of data, so that one line of data of each of the images of the cameras C1 to C4 reaches the combining unit 6 in order.
  • the transfer speed of the data read from the line buffers 7a to 7d and transferred respectively is such that the frequency of the pixel clock is equal to the number obtained by multiplying the original video pixel clock by the number of videos (here, 4). Adjusted.
  • the combining unit 6 combines the line data transferred from each of the decoders 52a to 52d and outputs the combined data to the video output IF. That is, the combining unit 6 generates and outputs combined video data obtained by horizontally combining the lines of the images of the cameras C1 to C4.
  • FIG. 11C is a diagram conceptually illustrating a state where the combining unit 6 performs combined video data.
  • the horizontal axis represents time t. In this way, the transfer speed of the combined video data output from the combining unit 6 is adjusted so that the frequency of the pixel clock becomes the number obtained by multiplying the original video pixel clock by the number of videos (here, 4).
  • the four decoders 52a to 52d decode the videos of the four cameras C1 to C4 in parallel, so that the line buffers 7a to 7d receive the frames captured at the same timing. Corresponding line data will be recorded. Therefore, it is possible to output combined video data obtained by combining the images of the four cameras C1 to C4 for each line. Further, since the packet decomposing unit 51a, the decoders 52a to 52d, and the combining unit 6 can proceed sequentially for each line, rapid processing becomes possible. Also, the area required for the line buffers 7a to 7d is only two lines.
  • FIG. 12 is a functional block diagram showing the configuration of the network IF unit 2a in the present embodiment.
  • the same functional blocks as those in FIG. 12 are identical functional blocks as those in FIG.
  • the 12 further includes a camera synchronization control unit 26.
  • the camera synchronization control unit 26 transmits inter-camera frame timing synchronization control information (for example, a frame timing signal) to the cameras C1 to C4.
  • inter-camera frame timing synchronization control information for example, a frame timing signal
  • the packet decomposing unit 51b further has a function of notifying the combining unit 6b of information (connected camera information) regarding the cameras C1 to C4 connected to the network IF unit 2a.
  • the packet decomposing unit 51b may obtain the connected camera information from the camera synchronization control unit 26, or may obtain the connected camera information from data recorded in advance in the video processing device 1.
  • the decoder 52e further has a function of notifying information (video attribute information) regarding video attributes of the cameras C1 to C4 to the combining unit 6b.
  • the video attribute information includes, for example, video resolutions of the cameras C1 to C4.
  • the decoder 52e can obtain video attribute information from the video data of each of the cameras C1 to C4.
  • the combining unit 6b generates video combining information based on the connected camera information and the video attribute information, and outputs the video combining information to the video processing unit 3b.
  • the video combination information is information indicating conditions, attributes, and the like when combining the images of the cameras C1 to C4 and displaying them as one video.
  • the video combination information includes, for example, the number of combined videos, the generated clock frequency, the position of each video in the combined video, and the like.
  • the video attribute information is used in the video processing unit 3b when, for example, display video data is generated based on the combined video data output from the combining unit 6b.
  • the video combined information is output to the video processing unit 3b separately from the combined video data, but the combining unit 6b superimposes the video combined information on the blanking interval of the combined video data. You may transfer to the image
  • FIG. 13 is a functional block diagram showing the configuration of the video processing unit 3b of the present embodiment.
  • the video processing unit 3 b includes a processing determination unit 31, a processing pattern information storage unit 32, a video input IF unit 33, a processing unit 34, a video output IF unit 35, and the frame buffer 8.
  • the video input IF unit 33 receives the combined video data output from the network IF unit 2b and records it in the frame buffer 8. It passes to the processing unit 34.
  • the processing unit 34 reads the combined video data recorded in the frame buffer 8 and performs video processing to generate display video data. At this time, the processing unit 34 and the processing determination unit 31 are notified of information regarding the content of the video processing, and the video processing is executed based on this information.
  • the processing unit 34 passes the generated display video data to the video output IF unit 35, the video output IF unit 35 outputs the display video data to the display device 9.
  • the process determination unit 31 determines the content of the video process using the video combination information output from the combination unit 6b and the data of the processing pattern information storage unit 32.
  • the processing pattern information storage unit 32 records several video processing patterns in advance, and the processing determination unit 31 determines whether the processing unit 34 uses the video processing patterns recorded in advance based on the video combination information.
  • the video processing can be determined by selecting a video processing pattern to be executed.
  • the processing pattern information storage unit 32 includes, for example, layout information indicating the arrangement of each video in the display image and the display target portion of each video, the number of videos to be combined, and the camera that captured the original video It is recorded in advance in association with information such as the type of information.
  • the process determination unit 31 receives, for example, the number of videos to be combined (original video before combining) and the identifier of the camera that captured the original video as the video combining information.
  • the process determination unit 31 searches the layout information in the process pattern information storage unit 32 for the video combination information that matches the number of original videos and the camera identifier. As a result of the search, layout information found is passed to the processing unit 34.
  • the pattern information storage unit 32 is searched to extract the layout information.
  • the processing unit 34 processes the combined video data according to the layout information. As a result, it is possible to generate display image data of a video in which the display target areas A1 to A4 of the videos of the cameras C1 to C4 shown in FIG. 14A are arranged as shown in FIG. 14B.
  • the above-described processing by the video processing unit 3b is, for example, an in-vehicle system that combines a plurality of cameras and displays them on a single display screen in a vehicle provided with a plurality of cameras that capture a driver's blind spot video. Can be used. Note that the processing of the video processing unit 3b is not limited to the above example. Further, the configuration of the video processing unit 3b is not limited to the configuration shown in FIG.
  • FIG. 15 is a diagram illustrating a modification of the configuration of the video processing unit.
  • 15 includes a video processing control unit 36, a video input IF unit 33, a line processing unit 34a, a frame processing unit 34b, a video output IF unit 35, a reference line buffer 37, and a frame buffer 8.
  • the video processing unit 3c can be implemented as, for example, a GDP (Graphics Display Controller) provided in a computer including a main CPU such as a car navigation system.
  • the video processing control unit 36 exchanges video input control information with the main CPU of the car navigation system via the host IF.
  • the video processing control unit 36 is based on video input control information from the main CPU, video combining information from the combining unit 6b, and the like, and a video input IF unit 33, a line processing unit 34a, a frame processing unit 34b, and a video output IF unit. 35 is controlled.
  • the line processing unit 34a executes, for example, a process that can be processed in units of lines, such as luminance / contrast conversion and (horizontal inversion).
  • the frame processing unit 34b refers to the entire frame or executes processing that needs to temporarily store frame data before output.
  • the processing executed by the frame processing unit 34b includes, for example, rotation, up / down (left / right) inversion, curved surface conversion, enlargement / reduction, partial cutout, display position change, object recognition, and the like. With this configuration, the same function as that of the video processing unit 3b shown in FIG. 13 can be realized.
  • the application target of the present invention is not limited to an in-vehicle system.
  • the present invention is applied to a surveillance camera system, a 3D motion capture system (capturing a person etc. from a plurality of directions and analyzing the motion), a broadcast station video monitoring system, and the like. can do.

Abstract

　映像処理装置（１）は、撮像装置（Ｃ１～Ｃ４）が同じフレームタイミングで撮像した複数の映像のデータを、各映像の各フレームのライン単位に認識可能な状態で受信するネットワーク接続部（２１）と、撮像装置（Ｃ１～Ｃ４）において同じタイミングでそれぞれ撮像された各フレームをライン単位にバッファ（７）に記録する復元部（５）と、バッファ（７）に記録された各フレームのラインのデータを順次読み出して水平方向に結合した映像を生成する結合部（６）とを備える。これにより、映像処理において使用されるバッファの記録領域を少なくし、複数の映像の迅速かつ効率的な処理が可能になる。

Description

映像処理装置、映像処理方法及び映像処理プログラム
　本発明は、複数の撮像装置によって得られる複数の映像のデータを処理する映像処理装置、映像処理方法及び映像処理プログラムに関する。
　従来から、複数のカメラで撮像される複数の映像を、１つのディスプレイにまとめて表示するための映像処理装置が開発され使用されている。例えば、自動車（車両）において、運転手から死角の映像を得るためのカメラが複数設置され、自動車内に設けられたディスプレイに複数のカメラで撮像される映像がリアルタイムで表示される場合には、このような映像処理装置が用いられる。
　複数の撮像装置の撮像フレームを同期させる仕組みを備えたマルチカメラシステムがすでにいくつか提案されている（例えば、特許文献１及び２参照）。また、遠方の複数の撮像カメラの映像を、１回線の映像回線を介して、モニタテレビで映し出すことができる映像監視装置も提案されている（例えば、特許文献３参照）。
　上記従来のマルチカメラシステムや映像監視装置では、撮像装置から受信した複数の映像それぞれのフレームを一時的に記録しておくバッファが必要となる。撮像装置の数が増えると、バッファの領域も増えることになる。
　図１６は、従来のマルチカメラシステムや映像監視装置で用いられる映像処理装置の概略構成を示す機能ブロック図である。図１６に示す例では、カメラＣ０１～Ｃ０４がネットワーク８４を介して、映像処理装置８０と接続されている。映像処理装置８０は、ネットワークＩＦ部８１及び映像処理部８２を備える。
　ネットワークＩＦ部８１は、カメラＣ０１～Ｃ０４それぞれで撮像された４つの映像の映像データを、ネットワーク８４を介して受信する。ネットワークＩＦ部８１は、カメラＣ０１～Ｃ０４それぞれの映像データのフレームを一時的に記録するための転送バッファ８３ａを備える。ネットワークＩＦ部８１は、転送バッファ８３ａにカメラＣ０１～Ｃ０４の映像データのフレームが貯まると、この４つのフレームを、所定の同期信号に同期させて映像ＩＦ１～４それぞれを介して、映像処理部８２へ転送する。
　映像処理部８２は、４つのフレームを結合して１つのフレームを生成し、結合されたフレームを表示映像データとして順次出力する。図１７は、映像処理部８２から出力される表示映像データによる映像の表示例を示す図である。図１６に示す構成において、映像処理部８２では、４つのフレームを記録するためのフレームバッファ８３ｂを備える。フレームバッファは、例えば、ネットワークＩＦ部８１から受信したフレームを記録するバッファ、処理対象フレームを記録するためのバッファ、及び４つのフレームを結合した表示フレームを記録するバッファの３面が必要になる。
特開２００５－２８６４５３号公報 特開２００６－２９５８５４号公報 特開平８－１３０７２９号公報
　このように、映像処理装置８０においては、カメラＣ０１～Ｃ０４の数に応じたフレームバッファが必要になる。このようなフレームバッファの記録領域は、なるべく小さい方が処理効率や省リソースの観点から好ましい。すなわち、映像処理装置においては、バッファの領域をなるべく少なくし、効率よく映像処理をすることが課題となっている。
　ゆえに、本発明は、映像処理において使用されるバッファの記録領域を少なくし、複数の映像の迅速かつ効率的な処理を可能にすることを目的とする。
　本発明にかかる映像処理システムは、複数の撮像装置と、当該複数の撮像装置とネットワーク経由でデータ転送が可能な映像処理装置と、当該映像処理装置で処理された映像を表示する表示装置とを含む映像処理システムである。
　前記撮像装置は、前記複数の撮像装置が同じフレームタイミングで撮像するように同期制御する撮像同期制御部と、前記撮像装置が前記同期制御に従って撮像したフレームのデータをライン単位で認識可能な状態で、前記ネットワーク経由で送信する映像出力インタフェース部とを備える。
　前記映像処理装置は、前記複数の撮像装置が同じフレームタイミングで撮像した各フレームのデータをライン単位で認識可能な状態で、前記ネットワーク経由で受信するネットワーク接続部と、データを記録するバッファと、前記複数の撮像装置が同じタイミングで撮像した前記各フレームのライン単位のデータを、それぞれ前記バッファに記録する復元部と、前記復元部により前記バッファに記録された各フレームのライン単位のデータを順次読み出して各フレームの各ラインを水平方向に結合した映像を生成する結合部と、前記結合部により結合された映像を前記表示装置に対して出力する映像処理部とを備える。
　本発明にかかる映像処理装置は、複数の撮像装置にネットワーク経由で接続可能であり、かつ表示装置に接続可能であり、前記複数の撮像装置から受信した映像を処理して前記表示装置に対して出力する映像処理装置であって、前記複数の撮像装置が同じフレームタイミングで撮像した各フレームのデータをライン単位で認識可能な状態で、前記ネットワーク経由で受信するネットワーク接続部と、データを記録するバッファと、前記複数の撮像装置が同じタイミングで撮像した前記各フレームのライン単位のデータを、それぞれ前記バッファに記録する復元部と、前記復元部により前記バッファに記録された前記複数の撮像装置でそれぞれ撮像された各フレームのライン単位のデータを順次読み出して各フレームの各ラインを水平方向に結合した映像を生成する結合部とを備える。
　上記映像処理装置において、ネットワーク接続部が、複数の撮像装置において同じタイミングでそれぞれ撮像された各フレームのデータをライン単位で認識可能な状態で受信する。度に、復元部は、ネットワーク接続部が受信した各フレームのライン単位のデータをバッファに記録する。これにより、バッファには、複数の撮像装置で同じタイミングで撮像された各フレームの対応するラインのデータが記録された状態となる。そのため、結合部は、復元部によりバッファに記録された各フレームのラインのデータを順次読み出して水平方向に結合した映像を生成することができる。このように、ネットワーク接続部、復元部および結合部は、ライン単位のデータ毎に順次処理を行うことができるので、復元・結合時のバッファが少なくて済む。例えば、フレームごとに処理する場合に比べて迅速な処理が可能になり、データを一時的に記録しておくバッファの容量も少なくてすむ。
　また、同じタイミングでそれぞれ撮像された各フレームの各ラインを水平方向（ラインの方向）に連結した結合映像データが出力される。すなわち、複数の撮像装置でされた複数の映像が、ライン単位で水平方向に結合された１つの映像として出力される。そのため、このようなデータに映像処理を施す場合、複数の映像が水平方向に結合された１つの映像のデータをラインごとに順次処理することが可能になる。これにより、例えば、複数の映像を結合した映像を表示する処理を効率よく実行することが可能になる。
　このように、復元部及び結合部は、ラインごとに順次処理することが可能な構成となっている。また、映像処理装置から出力される結合された映像もラインごとに処理することが可能な構成になっている。すなわち、映像処理装置及び映像処理装置から出力される映像を用いて映像処理を行う装置において、複数の映像を迅速かつ効率的に処理することが可能になる。
　本発明によれば、映像処理において使用されるバッファの記録領域を少なくし、複数の映像の迅速かつ効率的な処理が可能になる。
第１の実施形態に係る映像処理装置の構成を示す機能ブロック図 ４つの映像を結合した映像の一例を示す図 カメラＣ１の構成を示す機能ブロック図 パケット生成部１６が生成するパケットの構成例を示す図 ネットワークＩＦ部２の詳細な構成を示す機能ブロック図 圧縮映像データが時分割して転送される様子を概念的に示す図 ４つの映像のラインデータが結合されて転送される様子を概念的に表した図 １フレーム分の結合映像データで表される画像の一例を示す図 カメラから受信する映像のデータの１フレームの例を示す図 ４つのフレームの有効画素のみを水平方向に連結したフレームの例を示す図 第２の実施形態におけるネットワークＩＦ部の構成を示す機能ブロック図 １ライン分の圧縮映像データが同時に転送される様子を概念的に示す図 デコーダ５２ａ～５２ｄそれぞれが、１ライン分の圧縮映像データを転送する様子を概念的に示す図 結合部が結合映像データをする様子を概念的に示す図 第３の実施形態におけるネットワークＩＦ部２ａの構成を示す機能ブロック図 第３の実施形態における映像処理部３ｂの構成を示す機能ブロック図 各カメラＣ１～Ｃ４の映像のそれぞれの表示対象領域の例を示す図 表示画像の例を示す図 映像処理部の構成の変形例を示す図 従来の映像処理装置の概略構成を示す機能ブロック図 従来の表示映像データによる映像の表示例を示す図
　本発明の実施形態にかかる映像処理装置は、前記複数の撮像装置に対して、フレームタイミングの同期制御信号を送信することにより、複数の撮像装置のフレームタイミングの同期制御を行う同期制御部をさらに備えてもよい。
　本発明の実施形態にかかる映像処理装置において、前記ネットワーク接続部は、前記ネットワーク経由で、複数の撮像装置が同じフレームタイミングで撮像した各フレームのライン単位で認識可能なエンコードデータが所定のデータ量毎にパケット化されたパケットを受信し、前記復元部は、前記パケットから、複数の撮像装置において同じタイミングでそれぞれ撮像された各フレームのライン単位のデータを抽出することにより、前記各フレームのエンコードデータをライン単位で復元するパケット分解部と、前記パケット分解部で復元された複数の撮像装置において同じタイミングでそれぞれ撮像された各フレームのライン単位のエンコードデータをライン単位でデコードし、当該デコードにより得られる、前記各フレームの対応するラインのデータを、前記バッファに記録するデコーダとを含む構成とすることができる。
　これにより、復元部は、複数の撮像装置で得られた各フレームのデータがエンコードされ、さらにパケット化された状態で受け取った場合にも、複数の撮像装置において同じタイミングでそれぞれ撮像された各フレームをライン単位に復元し、各フレームの対応するラインのデータを略同じタイミングでバッファに記録することができる。
　本発明の実施形態にかかる映像処理装置は、前記バッファとして、前記復元部が前記各フレームのライン単位のデータを書き込むためのラインバッファと、前記結合部が、各フレームの各ラインを水平方向に結合する際に、各フレームのライン単位のデータを読み出すためのラインバッファとを備える態様とすることができる。
　上記構成のラインバッファを備えることにより、バッファとして使用する記録領域を最小限に留めることができる。
　本発明の実施形態にかかる映像処理装置は、前記結合部が生成した映像を基に表示映像データを生成し、表示装置へ出力する映像処理部をさらに備え、前記結合部は、更に、前記各フレームの各ラインを水平方向に結合した映像を生成する際に、結合した各フレームを撮像した撮像装置に関する情報を含む結合情報を生成し、前記映像処理部は、前記結合した撮像装置に関する情報に基づいて出力映像パターンを決定し、決定した出力映像パターンに適合するように結合映像データから必要部分を抽出して組み合わせることにより前記表示映像データを生成する態様とすることができる。
　映像処理部は、前記結合部が生成した映像を基に表示映像データを生成するため、複数の映像が水平方向に結合された１つの映像のデータをラインごとに順次処理することが可能になる。その結果、複数の映像を結合した映像を表示する処理を効率よく実行することが可能になる。また、映像処理部は、映像を撮像した撮像装置に応じて出力映像パターンを制御することができる。
　本発明の実施形態にかかる映像処理装置において、前記ネットワーク接続部は、前記複数の撮像装置がそれぞれ備える映像出力インタフェース部から、前記ネットワーク経由で、等時性転送機能を用いて送信された前記各フレームのデータを受信する態様とすることができる。
　これにより、ネットワーク接続部は、複数の撮像装置が同じフレームタイミングで撮像した複数の映像のデータをより確実に受け取ることができる。
　本発明の実施形態にかかる映像処理装置において、前記結合部は、前記ネットワーク接続部が受け取った前記各フレームのデータの画素クロック周波数に前記複数の撮像装置の数をかけた数またはそれ以上の画素クロック周波数で生成した映像を出力する態様とすることができる。
　これにより、出力される映像のフレーム周波数を、ネットワーク接続部が受け取った各フレームのフレーム周波数と同じか、またはそれ以上に保つことができる。
　本発明の実施形態にかかる撮像制御装置は、撮像装置を、映像処理装置および他の撮像装置が接続されたネットワークに撮像装置を接続する撮像制御装置であって、フレームタイミングの同期制御信号を、前記他の撮像装置または前記映像処理装置との間で送受信することにより、前記撮像装置が、前記他の撮像装置と同じフレームタイミングで撮像を行うように制御する撮像同期制御部と、前記撮像同期制御部によって前記他の撮像装置と同じフレームタイミングで撮像された映像を、各フレームのライン単位で認識可能な状態にして、ネットワーク経由で前記映像処理装置に対して出力する映像出力インタフェース部を備える。
　映像出力インタフェース部は、撮像同期制御部の制御により他の撮像装置と同じフレームタイミングで撮像された映像のフレームを、ライン単位に認識可能な状態で、ネットワーク経由で映像処理装置へ出力する。そのため、映像処理装置は、ネットワークに接続された他の撮像装置と同じフレームタイミングで撮像されたフレームのデータをライン単位で認識することができる。複数の撮像装置が、このような撮像制御装置を介してネットワークに接続されると、映像処理装置において、複数の撮像装置で同じフレームタイミングでそれぞれ撮像された各フレームのデータを、ライン単位で認識することができる。そのため、映像のネットワーク転送処理およびネットワークに接続された映像処置装置等の他の装置における映像処理おいて、複数の撮像装置で同じフレームタイミングで撮像された映像をラインごとに順次処理することが可能になる。このようにラインごとに順次処理することにより、例えば、フレームごとに処理する場合に比べて迅速な処理が可能になり、データを一時的に記録しておくバッファの容量も少なくてすむ。
　本発明の実施形態にかかる撮像制御装置において、前記撮像同期制御部は、前記映像処理装置から、フレームタイミングの同期制御信号を受信し、当該同期制御信号に基づいて前記撮像装置の撮像タイミングを制御する態様とすることができる。
　本発明の実施形態にかかる撮像制御装置において、前記映像出力インタフェース部は、前記撮像装置が他の撮像装置と同じフレームタイミングで撮像した映像のデータを、ライン単位で認識可能なデータにエンコードするエンコーダと、ライン単位で認識可能なエンコードデータを所定のデータ量毎にパケット化するパケット生成部をさらに備える態様とすることができる。
　上記構成により、撮像装置が撮像したフレームのデータは、ライン単位で認識可能なエンコードデータがパケット化された状態で送信されるので、ライン単位で認識可能な状態で、かつ効率よくネットワーク上を転送される。
　本発明の実施形態にかかる撮像制御装置において、前記映像出力インタフェース部は、前記エンコーダによりエンコードされたデータを、ライン単位で一時的に記録するラインバッファをさらに備える構成とすることができる。この構成によりバッファが使用する記録領域を最小限に留めることができる。
　本発明の実施形態にかかる映像処理プログラムは、複数の撮像装置にネットワーク経由で接続可能であり、かつ表示装置に接続可能なコンピュータに処理を実行させる映像処理プログラムであって、前記複数の撮像装置が同じフレームタイミングで撮像した各フレームのデータを、当該各フレームのライン単位に認識可能な状態で、前記ネットワーク経由で受信する処理と、前記複数の撮像装置において同じタイミングでそれぞれ撮像された前記各フレームのライン単位のデータをバッファに記録する復元処理と、前記復元処理により前記バッファに記録された前記各フレームのライン単位のデータを順次読み出して各フレームの各ラインを水平方向に結合した映像を生成し出力する結合処理とをコンピュータに実行させる。
　本発明の実施形態にかかる映像処理方法は、複数の撮像装置にネットワーク経由で接続可能であり、かつ表示装置に接続可能な映像処理装置が実行する映像処理方法であって、前記複数の撮像装置が同じフレームタイミングで撮像した各フレームのデータをライン単位に認識可能な状態で前記ネットワーク経由で受信するステップと、前記複数の撮像装置において同じタイミングでそれぞれ撮像された前記各フレームのライン単位のデータをバッファに記録する復元ステップと、前記復元ステップにより前記バッファに記録された前記各フレームのライン単位のデータを順次読み出して各フレームの各ラインを水平方向に結合した映像を生成する結合ステップとを含む。
　本発明の実施形態にかかる映像処理プログラムは、ネットワークに接続された複数の撮像装置を制御可能なコンピュータに処理を実行させる映像処理プログラムであって、前記複数の撮像装置が同じフレームタイミングで撮像するように同期制御する撮像同期制御処理と、前記複数の撮像装置が同じフレームタイミングで撮像した各フレームのデータをライン単位に認識可能な状態でネットワークへ出力する映像インタフェース出力処理と、前記ネットワーク経由で、前記複数の撮像装置が同じフレームタイミングで撮像した各フレームのデータをライン単位に認識可能な状態で受信する処理と、前記複数の撮像装置において同じタイミングでそれぞれ撮像された前記各フレームのライン単位のデータを、バッファに記録する復元処理と、前記復元処理により前記バッファに記録された前記各フレームのライン単位のデータを順次読み出して各フレームの各ラインを水平方向に結合した映像を生成する結合処理と、前記結合処理で生成された映像を基に表示映像データを生成し、前記表示装置へ出力する映像処理とをコンピュータに実行させる。
　本発明の実施形態にかかる映像処理方法は、複数の撮像装置と、当該撮像装置とネットワーク経由でデータ転送が可能であり、表示装置に接続可能な映像処理装置とが実行する映像処理方法であって、前記複数の撮像装置それぞれが、他の撮像装置と同じフレームタイミングで撮像するように同期制御する同期制御ステップと、前記複数の撮像装置それぞれが、同じフレームタイミングで撮像した各フレームのデータをライン単位に認識可能な状態で、前記ネットワーク経由で前記映像処理装置に送信する通信ステップと、前記映像処理装置が、前記複数の撮像装置において同じタイミングでそれぞれ撮像された各フレームのデータをライン単位にバッファに記録する復元ステップと、前記復元ステップにより前記バッファに記録された前記各フレームのライン単位のデータを順次読み出して各フレームの各ラインを水平方向に結合した映像を生成する結合ステップと、前記結合ステップで生成された映像前記表示装置へ出力する映像処理ステップとを含む。
　［第１の実施形態］
　図１は、本実施形態に係る映像処理装置の構成を示す機能ブロック図である。図１に示す映像処理装置１は、４台のカメラＣ１～Ｃ４及び表示装置９に接続されている。映像処理装置１は、４台のカメラＣ１～Ｃ４で撮像された４つの映像のデータを受け取り、４つの映像を結合した１つの映像のデータを生成し、表示映像データとして表示装置９へ出力する。図２は、表示装置９に表示される４つの映像を結合した映像の一例を示す図である。
　図１に示す４台のカメラＣ１～Ｃ４それぞれは、同期制御されたフレームタイミングで映像を撮像する。カメラＣ１～Ｃ４それぞれで撮像された４つの映像のデータは、ネットワーク４を介して映像処理装置１へ送信される。ここで、映像処理装置１へ送信される４つの映像のデータは、各映像のライン単位に認識可能な状態で送信される。
　ここで、「ライン」とは、撮像装置が撮像した１つの画面における所定方向の走査線の各々を指す。例えば、撮像された１つの画面が縦Ｍ×横Ｎの画素で表される場合、横１列分のＮ個の画素が１つのラインとなる。また、撮像によって得られる映像信号においては、例えば、水平同期信号によりラインの区切りが表される。
　ライン単位に認識可能な状態の映像のデータの例として、水平同期信号のようなラインの区切りを示すデータが挿入された映像データや、ラインごとに符号量が所定の量になるようにエンコードされた映像データ等が挙げられる。本実施形態では、一例として、カメラＣ１～Ｃ４それぞれで撮像された４つの映像のデータが、各ラインが所定の符号量となるように圧縮された映像データである場合について説明する。このような圧縮は、例えば、スマートコーデック（ＳｍａｒｔＣＯＤＥＣ（富士通株式会社の登録商標））を用いたエンコードにより可能になる。
　すなわち、本実施形態におけるカメラＣ１～Ｃ４は、撮像により得られた映像信号を、スマートコーデックを用いてライン単位に認識可能なデータにエンコードして映像処理装置１へ転送する。また、カメラＣ１～Ｃ４は、同期制御されたフレームタイミングで撮像された映像を、カメラＣ１～Ｃ４においてフレームの送信周期を一致させて転送する。これにより、映像処理装置１は、カメラＣ１～Ｃ４によって同時に撮像された４つのフレーム（互いに同期するフレーム）を、同じタイミングで受信することができる。
　なお、カメラＣ１～Ｃ４から映像処理装置１へのデータ転送は、等時性転送（アイソクロナス転送：ｉｓｏｃｈｒｏｎｏｕｓ転送）であることが好ましい。これにより、複数の映像のフレームの転送タイミングの同期を、より確実に取ることができる。等時性転送を可能にする通信方式の例としては、ＩＥＥ１３９４に規定された通信方式が挙げられる。なお、カメラＣ１～Ｃ４の詳細な構成については後述する。
　映像処理装置１は、ネットワークＩＦ部２と映像処理部３を備える。ネットワークＩＦ部２は、ネットワーク接続部２１、復元部５、結合部６及びラインバッファ７を含む。映像処理部３はフレームバッファを含む。
　ネットワーク接続部２１は、ネットワーク４を介して、カメラＣ１～Ｃ４によって同じフレームタイミングで撮像された４つの映像のデータを、ライン単位に認識可能な状態で受信する。
　復元部５は、カメラＣ１～Ｃ４によって同じフレームタイミングで撮像された４つの映像のデータを受け取り、４つの映像それぞれをライン単位で順次復元してラインバッファに一時記録する。このとき、復元部５は、カメラＣ１～Ｃ４で同じタイミングで撮像された４つのフレームにおいて互いに対応する４つのラインが同じタイミングで復元されるように順次復元する。これにより、ラインバッファには、同じタイミングで撮像された４つのフレームにおいて互いに対応する４つのラインのラインデータが記録される。
　例えば、まず、４つのフレームそれぞれにおける一番上のラインが、略同じ時期にラインバッファに記録され、その後に前記４つのフレームそれぞれにおける２番上のラインが同様に略同じ時期にラインバッファに記録され、その後に３番目のライン、４番目のラインと、フレームの一番下のラインに到達するまで、順次ラインバッファに記録される。
　結合部６は、ラインバッファに記録された、同じタイミングで撮像された４つのフレームにおいて互いに対応する４つのラインのラインデータを読み出し、これらを結合して結合映像データとして映像処理部３へ転送する。これにより、４つのフレームにおける対応する４つラインが水平結合されて１つの映像の１ラインとして映像処理部３へ転送される。この処理が、４つの映像それぞれの各フレームの各ラインについて繰り返される。
　映像処理部３では、同時に撮像された４つのフレームの対応する４つのラインが結合された結合映像データを基に、表示映像データを生成し、表示装置９へ出力する。その際、映像処理部３は、結合部６から受け取った結合映像データをフレームバッファに一時記録しておき、ライン単位で読み出して処理を行うことで表示映像データを生成する。
　なお、映像処理部３がライン単位で生成した表示映像データを順次出力する場合（すなわち、ライン単位の映像処理と出力を並列にする場合）は、フレームバッファ８は１面（１フレーム分の領域）でよい。これに対して、１フレーム分の表示映像データを生成してから、フレーム単位で出力する場合は、フレームバッファ８は２面必要となる。
　このように、図１に示す映像処理装置１のネットワークＩＦ部２及び映像処理部３では、ライン単位で順次処理を行うことが可能な構成になっているため、迅速な処理が可能であり、データを一時的に記録しておくバッファの容量も少なくてすむ。
　また、ネットワークＩＦ部２の結合部６から映像処理部３へは、４つの映像それぞれのラインが水平結合されて１つの映像のラインとして転送される。そのため、ネットワークＩＦ部２の結合部６から映像処理部３へのデータ転送は、１本のデータバスにより行うことができる。すなわち、４つの映像をそれぞれ転送する複数のデータバスが不要になり、映像処理装置１における配線が少なくてすむ。
　映像処理装置１は、例えば、１３９４コントローラＬＳＩ等のようなチップで構成することができる。映像処理装置１は、１チップで構成されていてもよいし、複数のチップで構成されていてもよい。
　（カメラの詳細な構成）
　図３は、カメラＣ１の構成を示す機能ブロック図である。なお、カメラＣ２～Ｃ４も同様の構成とすることができる。図３に示すカメラＣ１は、レンズ部１１、撮像部１２、映像データ生成部１３、映像出力インタフェース部１４（以下、映像出力ＩＦ部と称する）及び撮像同期制御部１９（以下、単に同期制御部１９と称する）を備える。映像出力ＩＦ部１４は、ライン単位エンコーダ（以下、単にエンコーダと称する）１５、パケット生成部１６、パケットバッファ１７及びネットワーク接続部１８を備える。
　カメラＣ１において、レンズ部１１によって結像された光は、撮像部１２によって映像信号にされる。映像データ生成部１３は、撮像部１２から映像信号を受け取ってＡ／Ｄ変換その他種々の変換を行って映像データを生成する。
　エンコーダ１５は、映像データを圧縮し、ライン単位に認識可能なデータにエンコードする。このエンコードには、例えば、スマートコーデックの他、ＪＰＥＧ－ＬＳ（ロスレスＪＰＥＧ）等の予測符号化を用いることができる。
　エンコーダ１５は、エンコードした映像データ（以下、圧縮映像データを称する）を、ライン単位でラインバッファに一時記録する。パケット生成部１６は、ラインバッファから順次圧縮映像データを読み出してパケットを生成しパケットバッファ１７に記録する。ネットワーク接続部１８は、パケットバッファ１７に記録されたパケットを順次読み出して、ネットワーク４を介して映像処理装置１へ送信する。
　図４は、パケット生成部１６が生成するパケットの構成例を示す図である。図４に示すパケットは、パケットヘッダ、データヘッダ、圧縮映像データ及びパケットフッタで構成されている。圧縮映像データには、例えば、２ライン分のエンコードされた圧縮映像データで構成される。図４に示すパケットには、カメラＣ１の映像の１つのフレームの１本面のラインの圧縮映像データと、２本目のラインの圧縮映像データが含まれている。なお、パケットの構成は上記例に限られない。
　同期制御部１９は、撮像部１２のフレームタイミングが、他のカメラＣ２～Ｃ４の撮像部のフレームタイミングと同じになるように、同期制御する。同期制御部１９は、例えば、ネットワーク接続部１８を介して、他のカメラと同期制御情報（例えば、フレームタイミング信号）をやり取りし、この同期制御情報に基づいて撮像部１２の撮像動作を制御することによって、同期制御を行うことができる。
　また、カメラＣ１において、映像データ生成部１３及び映像出力ＩＦ部１４の間のデータ転送速度と、映像出力ＩＦ部１４からネットワーク４へのデータ転送速度は、所定の画素クロックに同期するように制御される。カメラＣ１（Ｃ２～Ｃ４も同様）におけるこの所定の画素クロックを元映像画素クロックと称する。
　なお、カメラＣ１～Ｃ４のフレームタイミングの同期制御方法として、例えば、４台のカメラＣ１～Ｃ４のうち１台がマスタとなって、フレームタイミング信号を他の３台のカメラに送信する構成にしてもよい。また、ネットワーク上の他の装置（例えば、映像処理装置１）が４台のカメラＣ１～Ｃ４に対してフレームタイミング信号を送信する構成であってもよい。
　（ネットワークＩＦ部２の詳細な構成）
　図５は、図１に示したネットワークＩＦ部２の詳細な構成を示す機能ブロック図である。図５に示すように、ネットワークＩＦ部２は、復元部５、結合部６、ネットワーク接続部２１、映像出力ＩＦ部２２、元映像画素クロック再生部２３、出力画素クロック生成部２４、パケットバッファ２５及びラインバッファ７を備える。復元部５は、パケット分解部５１とライン単位デコーダ５２（以下、単にデコーダ５２と称する）を含む。
　元映像画素クロック再生部２３は、ネットワーク接続部２１を介して、カメラＣ１～Ｃ４から元映像画素クロックの信号を受信し、パケット分解部５１及びデコーダ５２に元映像画素クロックの信号を通知する。パケット分解部５１及びデコーダ５２は、この同期信号に基づいて、データ転送速度を調整する。
　また、出力画素クロック生成部２４は、元映像画素クロック再生部２３から元映像画素クロックの信号を受信し、結合部６から映像出力ＩＦを介して出力される結合映像データの画素クロック（出力画素クロックと称する）の信号を生成する。一例として、出力画素クロック生成部２４は、元映像画素クロックの周波数に映像の数（ここでは４）をかけた数を出力画素クロックの周波数とすることができる。出力画素クロック生成部２４は、結合部６及び映像出力ＩＦ部２２に出力画素クロックを通知する。
　ネットワーク接続部２１は、４つのカメラＣ１～Ｃ４から等時性転送により送られてくるパケットを受信し、パケット分解部５１のパケットバッファに記録する。ここでは、カメラＣ１～Ｃ４は、互いに同期するフレームタイミングで撮像を行い、同じ元映像画素クロックでパケットを転送する。そのため、カメラＣ１～Ｃ４それぞれにおいて同じタイミングで撮像された４つのフレームの各ラインの圧縮映像データを含むパケットは、略同じタイミングでネットワーク接続部２１に届く。そのため、パケットバッファには、同じタイミングで撮像され転送されてきた４つのフレームの各ラインの圧縮映像データを含むパケットが記録される。
　パケット分解部５１は、パケットバッファに記録されたパケットから、同じタイミングで撮像された４つのフレームの各ラインの圧縮映像データを、フレーム中一番上のラインから順にラインごとに読み出してデコーダ５２へ転送する。パケット分解部５１は、ライン１本分の圧縮映像データを、４つのフレームそれぞれから読み出す際に、４つのフレームそれぞれのライン１本分の圧縮映像データを微小量ずつ細切れにして、時分割して読み出す。これにより、４つのフレームそれぞれのライン１本分の圧縮映像データを略同時にデコーダ５２へ転送完了することができる。
　図６は、４つのフレームの１ライン分の圧縮映像データが時分割して転送される様子を概念的に示す図である。図６において横軸は時間ｔを表し、縦軸はカメラＣ１～Ｃ４のいずれの映像の圧縮映像データであるかを示す。
　図６に示す例では、時刻ｔ1からｔ2の間において、まず、カメラＣ１の映像のフレームの１本目のライン中の圧縮映像データがΔｔだけパケットバッファから読み出されデコーダ５２に転送される。その後、カメラＣ２の映像のフレームの１本目のライン中の圧縮映像データがΔｔだけ読み出されてデコーダ５２に転送される。その後、同様にカメラＣ３及びカメラＣ４それぞれの映像のフレームの１本目のラインの圧縮映像データがΔｔずつ読み出されてデコーダ５２に渡される。なお、Δｔの間に読み出される圧縮データの長さは必ずしも一定である必要はない。
　この時刻ｔ1からｔ2の間における処理と同様の動作がｎ回繰り返されると、時刻ｔn+1において、カメラＣ１～Ｃ４の映像のフレームそれぞれの１本目のラインの圧縮映像データがデコーダ５２に転送完了する。時刻ｔn+1以降は同様に２本目のラインの圧縮映像データが読み出されデコーダ５２へ転送される。このように、４つのフレームそれぞれのラインの圧縮映像データを微小時間で時分割して順に読み出し、転送することにより、各フレームのラインの圧縮データのデコーダ５２への転送が略同時に完了する。
　デコーダ５２は、時分割された４つのフレームの圧縮映像データを受け取り、順次デコードしてラインバッファ７に記録する。ラインバッファ７には、４つのカメラＣ１～Ｃ４それぞれの映像の１ライン分のデータを格納するための記録領域が２つずつ設けられている。デコーダ５２は、カメラＣ１～Ｃ４それぞれの映像の１ラインの圧縮映像データを略同時にデコード完了し、ラインバッファ７に記録する。これにより、カメラＣ１～Ｃ４それぞれで同じタイミングで撮像されたフレームの互いに対応するラインのデータが、ラインバッファ７に同時に記録される。このようして、デコーダ５２は、マルチ映像時分割デコードを各映像のラインごとに順次行うことによって、ラインバッファ７に、４つのカメラＣ１～Ｃ４それぞれの同期フレームのラインが同じ期間に記録された状態を発生させる。
　図６に示される、パケットバッファ２５からデコーダ５２への転送速度は、画素クロックが、元映像画素クロックに映像の数（ここでは４）をかけた数になるように調整される。これにより、撮像時のフレーム周波数を保つことができる。なお、図６に示すデータ転送は一例であり、これに限られない。
　結合部６は、ラインバッファ７から、カメラＣ１～Ｃ４において同時に撮像された４つのフレームのライン１本分のデータを順次読み出し、水平方向に結合して、映像出力ＩＦ部２２を介して映像処理部３へ出力する。すなわち、各カメラＣ１～Ｃ４の映像のラインを水平に結合した映像を表す結合映像データが生成される。これにより、４つのフレームのラインデータが結合され、１つの映像の１ラインの結合映像データとして出力される。なお、結合部６は、各フレームのラインのデータを結合する際に、ブランク区間を除き、有効画素のデータのみを結合することができる。
　図７は、結合部６によりラインバッファ７から読み出された４つの映像のラインデータが結合されて転送される様子を概念的に表した図である。図７の横軸は時間ｔを表す。ここで、ラインバッファ７から読み出され結合して転送される結合映像データの転送速度は、画素クロックの周波数が、元映像画素クロックに映像の数（ここでは４）をかけた数になるように調整される。
　図７に示す１ライン分の結合映像データが、１つのフレームにおける一番上のラインから一番下のラインまでの全てラインについて出力されると、１フレーム分の結合映像データが出力される。図８は、１フレーム分の結合映像データで表される画像の一例を示す図である。図８に示す例では、カメラＣ１～Ｃ４で同時に撮像されたフレームが水平に結合して１つのフレームＦ１となっている。フレームＦ１の周辺の斜線で示される領域はブランク区間である。
　結合部６及び映像出力ＩＦ部２２は、出力画素クロック生成部２４から通知される出力画素クロックに同期するように、結合映像データを出力する。ここでは、一例として、元映像画素クロックに映像の数（４）をかけた数が出力画素クロックになる。そのため、結合映像データのフレーム（図８に示す結合フレーム）の周波数は、撮像時のフレーム周波数と略同じに保たれる。
　なお、出力画素クロックは、元映像画素クロックに映像の数（４）をかけた数である場合に限られない。例えば、出力画素クロック生成部２４は、元映像画素クロックに映像の数（４）をかけた数より小さい数を出力画素クロックとすることができる。このようなに出力画素クロックを設定した方が好ましい場合の例を以下に説明する。
　例えば、映像処理装置１がカメラＣ１～Ｃ４から受信する映像のデータの１フレームには、図９Ａに示すように、フレームＦ１０の有効画素の他に、フレームＦ１０周辺のブランク区間Ｂの画素も含まれる場合がある。ここで、元映像画素クロックａで１フレーム（Ｍ画素）転送するのにかかる時間をＴ１とする。上記例のように、出力画素クロックｂが元映像画素クロックの４倍（ｂ＝ａ×４）とすると、結合部６は、図９Ｂに示すような、４フレームが結合された１つの結合フレーム（４×Ｍ画素）をＴ１かけて転送することになる。図９Ｂに示すように、結合部６が４つのフレームの有効画素のみを水平方向に連結すると、フレームの右側に長いブランク区間が発生する。これは、出力画素クロックｂが、有効画素の転送に必要なクロックより高速であり、無駄が発生していることになる。このような場合に、出力画素クロックｂを元映像画素クロックの４倍より小さくすることにより（ｂ＜ａ×４）、ブランク区間を短くして有効画素の転送効率を上げることができる。一例として、下記式（１）により、出力画素クロックｂ（Ｈｚ）を求めることができる。
　ｂ＝（ｍ＋ｎ）×（ｐ×４＋ｑ）×ｆ　　　―――――（１）
　上記（１）において、mは１つの映像の有効ライン数、ｎはブランクライン数、ｐは有効ライン中の有効画素数、ｑは有効ライン中のブランク画素数、ｆはフレームレートである。上記式（１）は、４つ結合した映像の左右に付いているブランク画素数を、１つの映像の左右に付いているブランク画素数と同じにする場合の例である。
　以上、ネットワークＩＦ部２の詳細な構成の例について説明したが、ネットワークＩＦ部２の構成は、上記の例に限られない。図５に示した構成では、パケット分解部５１、デコーダ５２及び結合部６の間は、１本のデータバスによりデータが転送されていた。これに対して、例えば、パケット分解部５１、デコーダ５２及び結合部６を接続されるカメラＣ１～Ｃ４の数（ここでは４つ）だけデータバスを設けて、それぞれのカメラＣ１～Ｃ４の映像の処理を並列に行う構成にしてもよい。
　［第２の実施形態］
　本実施形態は、第１の実施形態におけるネットワークＩＦ部２の構成の変形例である。図１０は、本実施形態におけるネットワークＩＦ部２ａの構成を示す機能ブロック図である。図１０において、図５と同じ機能ブロックには同じ番号が付されている。
　図１０に示すネットワークＩＦ部２ａでは、復元部５ａにおいて、パケット分解部５１ａは、カメラＣ１～Ｃ４それぞれのパケットを記録するためのパケットバッファ２５ａ～２５ｄを備える。すなわち、パケット分解部５１ａは、４ソース対応パケットバッファを有する。パケットバッファ２５ａにはカメラＣ１からのパケット、パケットバッファ２５ｂにはカメラＣ２からのパケット、パケットバッファ２５ｃにはカメラＣ３からのパケット、パケットバッファ２５ｄにはカメラＣ１からのパケットがそれぞれ記録される。
　パケット分解部５１ａは、各パケットバッファ２５ａ～２５ｂから、４つのカメラＣ１～Ｃ４で同じタイミングで撮像されたフレームそれぞれにおけるライン１本分の圧縮縮映像データを読み出し、同時にデコーダ５２ａ～５２ｄにそれぞれ転送する。パケット分解部５１ａは、例えば、元映像画素クロック再生部２３からの元映像画素クロックの信号に同期して４つのラインの圧縮映像データを転送することができる。この場合、デコーダ５２ａ～５２ｄへのデータの転送速度は、元映像画素クロックと同じになる。そのため、デコーダ５２ａ～５２ｄは、元映像画素クロックで、圧縮映像データを読み込むことになる。
　図１１Ａは、４つのカメラＣ１～Ｃ４それぞれの同期フレームの１ライン分の圧縮映像データが同時に転送される様子を概念的に示す図である。図１１Ａにおいて横軸は時間ｔを表し、縦軸はカメラＣ１～Ｃ４のいずれの映像の圧縮映像データであるかを示す。
　本例では、カメラＣ１の圧縮映像データがデコーダ５２ａに、カメラＣ２の圧縮映像データがデコーダ５２ｂ、カメラＣ３の圧縮映像データがデコーダ５２ｃに、カメラＣ４の圧縮映像データがデコーダ５２ｄに転送される。デコーダ５２ａ～５２ｄは、受け取った圧縮映像データをデコードして、ラインごとにラインバッファ７ａ～７ｄに記録する。なお、ラインバッファ７ａ～７ｄは、パケット分解部５１ａから転送された圧縮映像データを格納するためのラインバッファと、デコードされたデータを格納するためのラインバッファの２面（ダブル）で構成される。そのため、ラインバッファ７ａ～７ｄの一面には、４つのカメラＣ１～Ｃ４それぞれで同じタイミングで撮像されたフレームそれぞれにおける同じ位置のライン１本分のデコードされたデータが記録された状態となる。
　デコーダ５２ａから、デコーダ５２ｂ、デコーダ５２ｃ、デコーダ５２ｄの順に、それぞれライン１本分のデコードされたデータを転送する。図１１Ｂは、デコーダ５２ａ～５２ｄそれぞれが、１ライン分の圧縮映像データを転送する様子を概念的に示す図である。図１１Ｂにおいて横軸は時間ｔを表す。このように、デコーダ５２ａ～５２ｄが順に、１ライン分のデータを送ることにより、カメラＣ１～Ｃ４の映像それぞれの１ライン分のデータが順に結合部６へ到達する。
　ここで、ラインバッファ７ａ～７ｄから読み出されてそれぞれ転送されるデータの転送速度は、画素クロックの周波数が、元映像画素クロックに映像の数（ここでは４）をかけた数になるように調整される。
　結合部６は、デコーダ５２ａ～５２ｄそれぞれから転送されるラインのデータを結合して映像出力ＩＦへ出力する。すなわち、結合部６は、カメラＣ１～Ｃ４の映像それぞれのラインを水平に結合した結合映像データを生成して出力する。図１１Ｃは、結合部６が結合映像データをする様子を概念的に示す図である。図１１Ｃにおいて横軸は時間ｔを表す。このようにして、結合部６が出力する結合映像データの転送速度は、画素クロックの周波数が、元映像画素クロックに映像の数（ここでは４）をかけた数になるように調整される。
　以上のとおり、本実施形態では、４つのカメラＣ１～Ｃ４の映像を、４つのデコーダ５２ａ～５２ｄが並列にデコード処理することにより、ラインバッファ７ａ～７ｄには、同じタイミングで撮像されたフレームの対応するラインのデータが記録されることになる。そのため、４つのカメラＣ１～Ｃ４の映像をラインごとに結合した結合映像データを出力することが可能なる。また、パケット分解部５１ａ、デコーダ５２ａ～５２ｄ及び結合部６は、ラインごとに順次処理を進めることができるので、迅速な処理が可能になる。また、ラインバッファ７ａ～７ｄに必要な領域もライン２本分で済む。
　［第３の実施形態］
　本実施形態は、第１の実施形態におけるネットワークＩＦ部２及び映像処理部３の変形例である。図１２は、本実施形態におけるネットワークＩＦ部２ａの構成を示す機能ブロック図である。図１２において、図５と同じ機能ブロックには同じ番号が付されている。
　図１２に示すネットワークＩＦ部２ｂは、カメラ同期制御部２６をさらに備える。カメラ同期制御部２６は、カメラＣ１～Ｃ４に対して、カメラ間フレームタイミング同期制御情報（例えば、フレームタイミング信号）を送信する。これにより、カメラＣ１～Ｃ４間でフレームの撮像のタイミングを同期させる。すなわち、ネットワークＩＦ部２ｂには、同期制御ホスト機能が付加されている。　また、パケット分解部５１ｂは、ネットワークＩＦ部２ａに接続されるカメラＣ１～Ｃ４に関する情報（接続カメラ情報）を結合部６ｂに通知する機能をさらに備える。パケット分解部５１ｂは、カメラ同期制御部２６から接続カメラ情報を得てもよいし、映像処理装置１に予め記録されたデータから接続カメラ情報を取得してもよい。
　デコーダ５２ｅは、カメラＣ１～Ｃ４の映像の属性に関する情報（映像属性情報）を結合部６ｂに通知する機能をさらに備える。映像属性情報には、例えば、カメラＣ１～Ｃ４それぞれの映像の解像度等が含まれる。デコーダ５２ｅは、カメラＣ１～Ｃ４それぞれの映像のデータから、映像属性情報を得ることができる。
　結合部６ｂは、接続カメラ情報及び映像属性情報に基づいて、映像結合情報を生成して、映像処理部３ｂへ出力する。映像結合情報は、カメラＣ１～Ｃ４それぞれの映像を結合して１つの映像として表示する際の条件や属性等を表す情報である。映像結合情報には、例えば、結合された映像の数、生成クロック周波数、各映像の結合映像中の位置等が含まれる。映像属性情報は、映像処理部３ｂにおいて、例えば、結合部６ｂが出力した結合映像データを基に表示映像データを生成する際に使われる。
　なお、ここでは、映像結合情報は、結合映像データとは別に映像処理部３ｂへ出力される構成であるが、結合部６ｂは、映像結合情報を、結合映像データのブランキング区間に重畳して映像処理部３ｂへ転送してもよい。
　図１３は、本実施形態の映像処理部３ｂの構成を示す機能ブロック図である。映像処理部３ｂは、処理判定部３１、処理パターン情報蓄積部３２、映像入力ＩＦ部３３、処理部３４、映像出力ＩＦ部３５及びフレームバッファ８を備える。
　映像入力ＩＦ部３３は、ネットワークＩＦ部２ｂから出力された結合映像データを受信しフレームバッファ８に記録する。処理部３４へ渡す。処理部３４は、フレームバッファ８に記録された結合映像データを読み出して、映像処理を施すことにより表示映像データを生成する。この際、処理部３４、処理判定部３１から映像処理の内容に関する情報の通知をうけ、この情報に基づいて映像処理を実行する。処理部３４は、生成した表示映像データを映像出力ＩＦ部３５に渡すと、映像出力ＩＦ部３５が表示装置９へ出力する。
　処理判定部３１は、結合部６ｂから出力された映像結合情報と、処理パターン情報蓄積部３２のデータとを用いて、映像処理の内容を決定する。例えば、処理パターン情報蓄積部３２が、予め映像処理のパターンをいくつか記録しておき、処理判定部３１は、映像結合情報に基づいて、予め記録された映像処理のパターンから、処理部３４が実行する映像処理のパターンを選択することで、映像処理を決定することができる。
　具体的には、処理パターン情報蓄積部３２に、例えば、表示画像中の各映像の配置と各映像の表示対象部分とを示すレイアウト情報が、結合される映像の数、元映像を撮像したカメラの種類等の情報と対応付けられて予め記録される。処理判定部３１は、映像結合情報として、例えば、結合される映像（結合前の元映像）の数、及び元映像を撮像したカメラの識別子を受け取る。処理判定部３１は、処理パターン情報蓄積部３２のレイアウト情報から、映像結合情報と、元映像の数及びカメラの識別子が一致するものを検索する。検索の結果、見つかったレイアウト情報を処理部３４へ渡す。
　ここで、レイアウト情報の一例として、図１４Ａに示すような、各カメラＣ１～Ｃ４の映像のそれぞれの表示対象領域Ａ１～Ａ４と、表示画面における各カメラＣ１～Ｃ４の映像の配置とを表す情報が処理パターン情報蓄積部３２に予め記録されている場合の例を説明する。結合する映像の数＝「４」、カメラの識別子＝「カメラＣ１、Ｃ２、Ｃ３及びＣ４の識別子」が、このレイアウト情報に対応づけられているとする。
　処理判定部３１は、映像結合情報として、元映像の数＝「４」、カメラの識別子＝「カメラＣ１、Ｃ２、Ｃ３及びＣ４の識別子」を含む情報を受け取ると、これらの情報に基づいて処理パターン情報蓄積部３２を検索し、上記レイアウト情報を抽出することになる。
　処理部３４は、このレイアウト情報に従って、結合映像データを処理する。その結果、図１４Ａに示す各カメラＣ１～Ｃ４の映像のそれぞれの表示対象領域Ａ１～Ａ４が、図１４Ｂに示すように配置された映像の表示画像のデータを生成することができる。
　以上の映像処理部３ｂによる処理は、例えば、運転手の死角の映像をとらえる複数のカメラが設けられた車両において、複数のカメラの映像を結合して１つの表示画面に表示するような車載システムにおいて利用することができる。なお、映像処理部３ｂの処理は上記例に限られない。また、映像処理部３ｂの構成も図１３に示す構成に限られない。
　図１５は、映像処理部の構成の変形例を示す図である。図１５に示す映像処理部３ｃは、映像処理制御部３６、映像入力ＩＦ部３３、ライン処理部３４ａ、フレーム処理部３４ｂ、映像出力ＩＦ部３５、参照用ラインバッファ３７、フレームバッファ８を備える。映像処理部３ｃは、例えば、カーナビゲーションシステム等のメインＣＰＵを備えるコンピュータに備えられたＧＤＰ（Ｇｒａｐｈｉｃｓ　Ｄｉｓｐｌａｙ　Ｃｏｎｔｒｏｌｌｅｒ）として実装することができる。この場合、映像処理制御部３６は、カーナビゲーションシステムのメインＣＰＵとホストＩＦを介して映像入力制御情報のやり取りをする。
　映像処理制御部３６は、メインＣＰＵからの映像入力制御情報や、結合部６ｂからの映像結合情報等に基づいて、映像入力ＩＦ部３３、ライン処理部３４ａ、フレーム処理部３４ｂ、映像出力ＩＦ部３５を制御する。
　ライン処理部３４ａは、例えば、輝度/コントラスト変換、（左右反転）など、ライン単位で処理可能な処理をパイプライン実行する。フレーム処理部３４ｂは、フレーム全体を参照したり、出力前にフレームのデータを一旦蓄積する必要がある処理を実行する。フレーム処理部３４ｂが実行する処理は、例えば、回転、上下（左右）反転、曲面変換、拡大/縮小、部分切り出し、表示位置変更、オブジェクト認識等である。この構成により、図１３に示した映像処理部３ｂと同様の機能を実現することができる。
　以上、本発明の実施形態について説明したが、本発明は上記実施形態に限られない。また、本発明の適用対象も車載システムに限られず、例えば、監視カメラシステム、３Ｄモーションキャプチャシステム（複数方向から人間等を撮影してその動きを解析するもの）、放送局映像モニタリングシステム等に適用することができる。

Claims (16)

  1. 　複数の撮像装置と、当該複数の撮像装置とネットワーク経由でデータ転送が可能な映像処理装置と、当該映像処理装置で処理された映像を表示する表示装置とを含む映像処理システムであって、
    　前記撮像装置は、
    　前記複数の撮像装置が同じフレームタイミングで撮像するように同期制御する撮像同期制御部と、
    　前記撮像装置が前記同期制御に従って撮像したフレームのデータをライン単位で認識可能な状態で、前記ネットワーク経由で送信する映像出力インタフェース部とを備え、
    　前記映像処理装置は、
    　前記複数の撮像装置が同じフレームタイミングで撮像した各フレームのデータをライン単位で認識可能な状態で、前記ネットワーク経由で受信するネットワーク接続部と、
    　データを記録するバッファと、
    　前記複数の撮像装置が同じタイミングで撮像した前記各フレームのライン単位のデータを、それぞれ前記バッファに記録する復元部と、
    　前記復元部により前記バッファに記録された各フレームのライン単位のデータを順次読み出して各フレームの各ラインを水平方向に結合した映像を生成する結合部と、
    　前記結合部により結合された映像を前記表示装置に対して出力する映像処理部とを備える、映像処理システム。
  2. 　複数の撮像装置にネットワーク経由で接続可能であり、かつ表示装置に接続可能であり、前記複数の撮像装置から受信した映像を処理して前記表示装置に対して出力する映像処理装置であって、
    　前記複数の撮像装置が同じフレームタイミングで撮像した各フレームのデータをライン単位で認識可能な状態で、前記ネットワーク経由で受信するネットワーク接続部と、
    　データを記録するバッファと、
    　前記複数の撮像装置が同じタイミングで撮像した前記各フレームのライン単位のデータを、それぞれ前記バッファに記録する復元部と、
    　前記復元部により前記バッファに記録された前記複数の撮像装置でそれぞれ撮像された各フレームのライン単位のデータを順次読み出して各フレームの各ラインを水平方向に結合した映像を生成する結合部とを備える映像処理装置。
  3. 　前記複数の撮像装置に対して、フレームタイミングの同期制御信号を送信することにより、複数の撮像装置のフレームタイミングの同期制御を行う同期制御部を、さらに備える請求項２に記載の映像処理装置。
  4. 　前記ネットワーク接続部は、前記ネットワーク経由で、複数の撮像装置が同じフレームタイミングで撮像した各フレームのライン単位で認識可能なエンコードデータが所定のデータ量毎にパケット化されたパケットを受信し、
    　前記復元部は、
    　前記パケットから、複数の撮像装置において同じタイミングでそれぞれ撮像された各フレームのライン単位のデータを抽出することにより、前記各フレームのエンコードデータをライン単位で復元するパケット分解部と、
    　前記パケット分解部で復元された複数の撮像装置において同じタイミングでそれぞれ撮像された各フレームのライン単位のエンコードデータをライン単位でデコードし、当該デコードにより得られる、前記各フレームの対応するラインのデータを、前記バッファに記録するデコーダとを含む、請求項２または３に記載の映像処理装置。
  5. 　前記バッファとして、前記復元部が前記各フレームのライン単位のデータを書き込むためのラインバッファと、前記結合部が、各フレームの各ラインを水平方向に結合する際に、各フレームのライン単位のデータを読み出すためのラインバッファとを備えることを特徴とする、請求項２～４のいずれか１項に記載の映像処理装置。
  6. 　前記結合部が生成した映像を基に表示映像データを生成し、表示装置へ出力する映像処理部をさらに備え、
    　前記結合部は、更に、前記各フレームの各ラインを水平方向に結合した映像を生成する際に、結合した各フレームを撮像した撮像装置に関する情報を含む結合情報を生成し、
    　前記映像処理部は、前記結合した撮像装置に関する情報に基づいて出力映像パターンを決定し、決定した出力映像パターンに適合するように結合映像データから必要部分を抽出して組み合わせることにより前記表示映像データを生成する、請求項２～５のいずれか１項に記載の映像処理装置。
  7. 　前記ネットワーク接続部は、前記複数の撮像装置がそれぞれ備える映像出力インタフェース部から、前記ネットワーク経由で、等時性転送機能を用いて送信された前記各フレームのデータを受信することを特徴とする請求項２～６のいずれか１項に記載の映像処理装置。
  8. 　前記結合部は、前記ネットワーク接続部が受け取った前記各フレームのデータの画素クロック周波数に前記複数の撮像装置の数をかけた数またはそれ以上の画素クロック周波数で生成した映像を出力する、請求項２～７のいずれか1項に記載の映像処理装置。
  9. 　撮像装置を、映像処理装置および他の撮像装置が接続されたネットワークに撮像装置を接続する撮像制御装置であって、
    　フレームタイミングの同期制御信号を、前記他の撮像装置または前記映像処理装置との間で送受信することにより、前記撮像装置が、前記他の撮像装置と同じフレームタイミングで撮像を行うように制御する撮像同期制御部と、
    　前記撮像同期制御部によって前記他の撮像装置と同じフレームタイミングで撮像された映像を、各フレームのライン単位で認識可能な状態にして、ネットワーク経由で前記映像処理装置に対して出力する映像出力インタフェース部を備える撮像制御装置。
  10. 　前記撮像同期制御部は、前記映像処理装置から、フレームタイミングの同期制御信号を受信し、当該同期制御信号に基づいて前記撮像装置の撮像タイミングを制御する、請求項９に記載の撮像制御装置。
  11. 　前記映像出力インタフェース部は、
    　前記撮像装置が他の撮像装置と同じフレームタイミングで撮像した映像のデータを、ライン単位で認識可能なデータにエンコードするエンコーダと、
    　ライン単位で認識可能なエンコードデータを所定のデータ量毎にパケット化するパケット生成部をさらに備える、請求項９に記載の撮像制御装置。
  12. 　前記映像出力インタフェース部は、前記エンコーダによりエンコードされたデータを、ライン単位で一時的に記録するラインバッファをさらに備える、請求項１０に記載の撮像制御装置。
  13. 　複数の撮像装置にネットワーク経由で接続可能であり、かつ表示装置に接続可能なコンピュータに処理を実行させる映像処理プログラムであって、
    　前記複数の撮像装置が同じフレームタイミングで撮像した各フレームのデータを、当該各フレームのライン単位に認識可能な状態で、前記ネットワーク経由で受信する処理と、
    　前記複数の撮像装置において同じタイミングでそれぞれ撮像された前記各フレームのライン単位のデータをバッファに記録する復元処理と、
    　前記復元処理により前記バッファに記録された前記各フレームのライン単位のデータを順次読み出して各フレームの各ラインを水平方向に結合した映像を生成し出力する結合処理とをコンピュータに実行させる映像処理プログラム。
  14. 　複数の撮像装置にネットワーク経由で接続可能であり、かつ表示装置に接続可能な映像処理装置が実行する映像処理方法であって、
    　前記複数の撮像装置が同じフレームタイミングで撮像した各フレームのデータをライン単位に認識可能な状態で前記ネットワーク経由で受信するステップと、
    　前記複数の撮像装置において同じタイミングでそれぞれ撮像された前記各フレームのライン単位のデータをバッファに記録する復元ステップと、
    　前記復元ステップにより前記バッファに記録された前記各フレームのライン単位のデータを順次読み出して各フレームの各ラインを水平方向に結合した映像を生成する結合ステップとを含む映像処理方法。
  15. 　ネットワークに接続された複数の撮像装置を制御可能なコンピュータに処理を実行させる映像処理プログラムであって、
    　前記複数の撮像装置が同じフレームタイミングで撮像するように同期制御する撮像同期制御処理と、
    　前記複数の撮像装置が同じフレームタイミングで撮像した各フレームのデータをライン単位に認識可能な状態でネットワークへ出力する映像インタフェース出力処理と、
    　前記ネットワーク経由で、前記複数の撮像装置が同じフレームタイミングで撮像した各フレームのデータをライン単位に認識可能な状態で受信する処理と、
    　前記複数の撮像装置において同じタイミングでそれぞれ撮像された前記各フレームのライン単位のデータを、バッファに記録する復元処理と、
    　前記復元処理により前記バッファに記録された前記各フレームのライン単位のデータを順次読み出して各フレームの各ラインを水平方向に結合した映像を生成する結合処理と、
    　前記結合処理で生成された映像を基に表示映像データを生成し、前記表示装置へ出力する映像処理とをコンピュータに実行させる、映像処理プログラム。
  16. 　複数の撮像装置と、当該撮像装置とネットワーク経由でデータ転送が可能であり、表示装置に接続可能な映像処理装置とが実行する映像処理方法であって、
    　前記複数の撮像装置それぞれが、他の撮像装置と同じフレームタイミングで撮像するように同期制御する同期制御ステップと、
    　前記複数の撮像装置それぞれが、同じフレームタイミングで撮像した各フレームのデータをライン単位に認識可能な状態で、前記ネットワーク経由で前記映像処理装置に送信する通信ステップと、
    　前記映像処理装置が、
    　前記複数の撮像装置において同じタイミングでそれぞれ撮像された各フレームのデータをライン単位にバッファに記録する復元ステップと、
    　前記復元ステップにより前記バッファに記録された前記各フレームのライン単位のデータを順次読み出して各フレームの各ラインを水平方向に結合した映像を生成する結合ステップと、
    　前記結合ステップで生成された映像前記表示装置へ出力する映像処理ステップとを含む、映像処理方法。
PCT/JP2008/051951 2008-02-06 2008-02-06 映像処理装置、映像処理方法及び映像処理プログラム WO2009098763A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/051951 WO2009098763A1 (ja) 2008-02-06 2008-02-06 映像処理装置、映像処理方法及び映像処理プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2008/051951 WO2009098763A1 (ja) 2008-02-06 2008-02-06 映像処理装置、映像処理方法及び映像処理プログラム

Publications (1)

Publication Number Publication Date
WO2009098763A1 true WO2009098763A1 (ja) 2009-08-13

Family

ID=40951851

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2008/051951 WO2009098763A1 (ja) 2008-02-06 2008-02-06 映像処理装置、映像処理方法及び映像処理プログラム

Country Status (1)

Country Link
WO (1) WO2009098763A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016093117A1 (ja) * 2014-12-08 2016-06-16 株式会社ジャパンディスプレイ 表示システム及び表示装置
JP2018207411A (ja) * 2017-06-08 2018-12-27 パナソニックＩｐマネジメント株式会社 インターホンシステム、インターホン子機、表示端末、制御装置及びプログラム

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08130729A (ja) * 1994-10-31 1996-05-21 Matsushita Electric Works Ltd 映像監視装置
JP2000023033A (ja) * 1998-07-03 2000-01-21 For A Co Ltd 分割マルチ画面表示装置
JP2002027446A (ja) * 2000-07-04 2002-01-25 Matsushita Electric Ind Co Ltd 監視システム
JP2003009143A (ja) * 2001-06-19 2003-01-10 Hitachi Ltd 画像処理装置およびこれを用いた監視システム
JP2003324435A (ja) * 2002-05-02 2003-11-14 Hitachi Ltd データ通信方法
JP2005286453A (ja) * 2004-03-29 2005-10-13 Hitachi Ltd 監視カメラ及び監視システム
JP2006295854A (ja) * 2005-04-15 2006-10-26 Sony Corp マルチカメラシステム、撮像装置およびコントローラ、並びに、撮像制御方法、撮像装置制御方法および撮像方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08130729A (ja) * 1994-10-31 1996-05-21 Matsushita Electric Works Ltd 映像監視装置
JP2000023033A (ja) * 1998-07-03 2000-01-21 For A Co Ltd 分割マルチ画面表示装置
JP2002027446A (ja) * 2000-07-04 2002-01-25 Matsushita Electric Ind Co Ltd 監視システム
JP2003009143A (ja) * 2001-06-19 2003-01-10 Hitachi Ltd 画像処理装置およびこれを用いた監視システム
JP2003324435A (ja) * 2002-05-02 2003-11-14 Hitachi Ltd データ通信方法
JP2005286453A (ja) * 2004-03-29 2005-10-13 Hitachi Ltd 監視カメラ及び監視システム
JP2006295854A (ja) * 2005-04-15 2006-10-26 Sony Corp マルチカメラシステム、撮像装置およびコントローラ、並びに、撮像制御方法、撮像装置制御方法および撮像方法

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016093117A1 (ja) * 2014-12-08 2016-06-16 株式会社ジャパンディスプレイ 表示システム及び表示装置
US10051245B2 (en) 2014-12-08 2018-08-14 Japan Display Inc. Display system and display apparatus
US10313636B2 (en) 2014-12-08 2019-06-04 Japan Display Inc. Display system and display apparatus
JP2018207411A (ja) * 2017-06-08 2018-12-27 パナソニックＩｐマネジメント株式会社 インターホンシステム、インターホン子機、表示端末、制御装置及びプログラム

Similar Documents

Publication Publication Date Title
US8358706B2 (en) Apparatus and system to multiplex data on a plurality of digital frame images into data on one frame and to encode and transmit the data
TWI414183B (zh) Information processing apparatus and method and non-temporary computer-readable recording medium
KR102070924B1 (ko) 영상 기록 시스템
KR20090125236A (ko) 정보 처리 장치 및 방법
KR100741721B1 (ko) 정지영상을 함께 출력하는 보안감시시스템
CN105516542A (zh) 基于硬件编码器的多通道视频同步系统及其同步方法
US20180376181A1 (en) Networked video communication applicable to gigabit ethernet
US8179421B2 (en) Image synthesizing device and method and computer readable medium
WO2009098763A1 (ja) 映像処理装置、映像処理方法及び映像処理プログラム
JP2009010455A (ja) 送信装置、受信装置、およびプログラム
JP5061925B2 (ja) 画像圧縮配信装置、及び画像圧縮配信方法
TWI538519B (zh) 視訊影像之擷取裝置
JP2003037823A (ja) 映像表示処理システム
WO2006064604A1 (ja) 画像処理装置
KR102080927B1 (ko) 스테레오 영상 생성 방법 및 장치
JPH0564172A (ja) 映像通信方式および映像送信装置および映像受信装置
JP2008131264A (ja) 監視カメラ、画像記録表示装置及び監視カメラシステム
JP4151962B2 (ja) テロップ画像送信装置、テロップ画像受信装置、テロップ画像送受信システム、エンコード装置、及びデコード装置
JP2012186685A (ja) 画像認識表示システム及びこれに用いるカメラ
JP5697148B2 (ja) マウススキャナシステム
TWI812003B (zh) 影像預覽方法及預覽系統
JP4519569B2 (ja) 立体ｍｐｅｇ信号同期システム
JP2003230076A (ja) 画像処理装置及び画像表示システム
JP4167730B2 (ja) 動画圧縮伸長装置およびコンピュータシステム
CN114982220A (zh) 控制装置、图像捕获系统和3d模型数据生成方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08710847

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08710847

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: JP