WO2004077821A1 - 映像合成装置 - Google Patents

映像合成装置 Download PDF

Info

Publication number
WO2004077821A1
WO2004077821A1 PCT/JP2004/001990 JP2004001990W WO2004077821A1 WO 2004077821 A1 WO2004077821 A1 WO 2004077821A1 JP 2004001990 W JP2004001990 W JP 2004001990W WO 2004077821 A1 WO2004077821 A1 WO 2004077821A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
trigger
video
sub
screen
Prior art date
Application number
PCT/JP2004/001990
Other languages
English (en)
French (fr)
Inventor
Yoshimasa Honda
Tsutomu Uenoyama
Original Assignee
Matsushita Electric Industrial Co., Ltd.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co., Ltd. filed Critical Matsushita Electric Industrial Co., Ltd.
Priority to US10/514,439 priority Critical patent/US20060033820A1/en
Publication of WO2004077821A1 publication Critical patent/WO2004077821A1/ja

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Definitions

  • the present invention relates to a video combining apparatus for combining a plurality of videos into one screen, and in particular, a system in which a video important for the user is selected for combining, and an important video is visually arranged in the screen.
  • a video important for the user is selected for combining, and an important video is visually arranged in the screen.
  • a video receiving terminal for receiving a plurality of cameras' images at a remote place it is preferable to be a general-purpose display terminal which is inexpensive and has only one display screen, rather than being an expensive dedicated terminal.
  • a surveillance system for reproducing surveillance videos from a plurality of cameras on a video reception terminal having only one display screen there are many systems in which videos of a plurality of cameras are time-divided and sequentially displayed on one screen. Seen. In this system, different images are displayed in sequence on a single screen at fixed time intervals, so there is the problem that the correspondence between the displayed image and the camera being captured is very difficult to see and difficult to see.
  • images are displayed in a time-division manner, important scenes may not be displayed. Therefore, as a monitoring system that combines multiple camera images on one screen and displays multiple images simultaneously, the one shown in Japanese Patent Application Laid-Open No. Hei 4-24059 may be used.
  • FIG. 1 This system is shown in Figure 1.
  • AZD converter connected to multiple (three in this case) surveillance cameras 1-1, 1-12, 1-13 and surveillance cameras 1-1-1: L1-3.
  • Control unit 9 a DZA conversion unit 11, and a motor 13 for displaying an image.
  • the signal processing circuit 7 has a selection circuit 15 for selecting an image signal, and a screen reduction and synthesis circuit 17 for reducing a plurality of images and combining them into one screen.
  • the images of the monitoring cameras 1 1 to 1 3 are output to the memory units 5 1 to 5 3 through the AZD conversion units 3 1 to 3 3.
  • Screen reduction and synthesis circuit 17 reduces and combines all the images into one image, and outputs it to selection circuit 15.
  • the signal processing circuit 7 receives an image selection signal from the control unit 9, the selection circuit 15 selects one of the images of a plurality of surveillance cameras or a reduced composite image according to the image selection signal, and / A converter 1 Output to 1 1
  • the D ZA conversion unit 1 1 outputs the video signal to the monitor 13.
  • a plurality of videos can be displayed on a terminal having only one display screen, and a user can easily grasp the whole image using a plurality of videos. Also, since the user can switch the video, the user can select and view one video.
  • An object of the present invention is to provide an image combining apparatus for combining a plurality of images on one screen, capable of automatically displaying an image important to the user, and a screen on which the important image is easy to view visually
  • An object of the present invention is to provide a video composition apparatus capable of combining and displaying the composition.
  • the video compositing device is a video compositing device that composes a plurality of videos on one screen, and generates a video input unit for inputting the video and a trigger indicating the importance of the video.
  • Image generating means for generating an image to be synthesized from the input image based on the calculated screen configuration and the screen configuration calculating means for calculating the screen configuration according to the trigger generation means for generating, the importance of the generated trigger, and
  • a screen combining means for combining a plurality of images including the created image on one screen.
  • Figure 1 shows an example of a conventional surveillance system
  • FIG. 2 is a block diagram showing the configuration of a video combining apparatus according to an embodiment of the present invention
  • FIG. 3 is a flowchart for explaining the operation of the video synthesizing apparatus according to the present embodiment
  • FIG. 4 is a flowchart showing the contents of the operation example 1 of the screen combining parameter calculation process in FIG. 3;
  • FIG. 5 is an explanatory view showing an outline of screen synthesis by still image synthesis in the operation example 1
  • FIG. 6 is a content in the operation example 2 of the screen synthesis parameter calculation process in FIG. Showing a flowchart
  • FIG. 7 is an explanatory diagram of a cutout area calculation method in the operation example 2.
  • FIG. 8 is an explanatory view showing an outline of screen synthesis by cutout synthesis in the operation example 2;
  • FIG. 9 is a flowchart showing the contents of the operation example 3 of the screen combining parameter calculation process in FIG.
  • Fig. 10 is a flowchart showing the contents of the operation example 3 of the image storage processing in Fig. 3;
  • Fig. 11 is an explanatory diagram showing an outline of screen synthesis by loop synthesis in the operation example 3.
  • FIG. 12 is a flowchart showing the contents of operation example 4 of the screen combining parameter calculation process in FIG.
  • FIG. 13 is a flowchart showing the contents of the operation example 5 of the screen synthesis parameter calculation process in FIG.
  • FIG. 14 is a flowchart showing the contents in Operation Example 6 of the screen combining parameter calculation process in FIG. 3.
  • the gist of the present invention calculates a screen configuration (specifically, a screen combining parameter) using a trigger indicating importance of the image when combining a plurality of images on one screen, and based on the calculation result. It is to perform screen composition. For example, when performing video composition with the video at the trigger occurrence time as a still image (“Still image composition” described later) or when enlarging the video at the trigger occurrence position and performing screen composition ( “) Or, screen synthesis may be performed so that the scenes before and after the trigger occurrence are played back slowly (“ loop synthesis ”described later).
  • control the screen composition parameter according to the size of the trigger. For example, depending on the size of the trigger, control the display time or Control the zoom ratio (for “cut out synthesis”) or control the playback speed-loop interval ⁇ loop count (for “loop synthesis”). Specifically, for example, the larger the trigger, the longer the display time, the larger the magnification, the slower the playback speed, the longer the loop section, or the more the number of loops.
  • the type of screen composition is expressed using the image. For example, the color or shape of the frame of the image display area expresses the type of screen composition.
  • a plurality of images is a representation including the case where a plurality of image data are generated from the output of one camera, in addition to the case where the outputs of a plurality of cameras are output.
  • each image constituting an input video is defined as an input image, and a portion of the input image which is formed on the entire screen is defined as a "main image”, and a partial area of the input image An image that is composed of and that is combined with the main image is defined as a “sub-image”.
  • FIG. 2 is a block diagram showing the configuration of the video combining apparatus according to the embodiment of the present invention.
  • the video compositing apparatus 100 has a function of compositing a plurality of videos on one screen, and a video input unit 102 for inputting images constituting the video for each image, and the importance of the video And a combination trigger calculation unit 1 06 which calculates a combination trigger for calculating a screen combination parameter to be described later by using the trigger from the trigger generation unit 1 0 4;
  • a screen configuration calculation unit 108 that determines the presence or absence of screen compositing using a compositing trigger and calculates a screen configuration (specifically, a screen compositing parameter), a video storage unit 110 that stores video, and an input image ( Sub-image creation to create an image (sub-image) used for compositing with the main image
  • a video signal generating unit 200 for generating a
  • the video signal generation unit 200 is constituted of, for example, a camera and an AZD conversion unit.
  • the number of cameras (and AZD conversion units) is not particularly limited.
  • One or more videos output from the video signal generation unit 200 are supplied to the video input unit 102 in the video combining device 100.
  • the video input unit 102 inputs and processes the video signal output from the video signal generation unit 200 for each video. Specifically, the synchronization signal is detected from the input video signal, and the images constituting the video are output to the screen configuration calculation unit 108 and the video storage unit 110 for each screen. At this time, the video input unit 102 adds an image number which is unique to each image and whose value monotonically increases as time progresses, and outputs it.
  • the trigger generation unit 104 generates a trigger indicating the degree of importance of the image, and outputs the trigger to the combination trigger calculation unit 106.
  • the trigger is transmitted when the image input to the video compositing apparatus 100 includes an image that is determined to be important to the user, and a value indicating the degree of importance ( (Hereinafter referred to as “trigger value”).
  • the trigger generation unit 104 can, for example, when it is assumed that this video compositing apparatus 100 is used for a monitoring system that monitors the presence or absence of an abnormal state.
  • the trigger generation unit 104 can, for example,
  • the motion detection sensor outputs a trigger when it detects an area in which a sudden movement has occurred, such as the appearance of an intruder, in a captured image.
  • a sudden movement such as the appearance of an intruder
  • the motion detection sensor is, for example, an infrared sensor. Therefore, in this case, the trigger is an alarm information indicating that a specific condition such as an abnormality is preset, for example, by a sensor attached to the surveillance camera or a sensor installed near the surveillance camera. is there.
  • the motion recognition sensor outputs a trigger when an object (including a person) having a motion other than a normal motion registered in advance is present in the input video.
  • the larger the abnormal movement the larger the trigger value and the greater the degree of importance.
  • the motion recognition sensor is configured of, for example, a camera.
  • the trigger is, for example, motion detection information indicating the magnitude of the motion of the object obtained by detecting the motion of the object in the video.
  • the image recognition sensor outputs a trigger when there is a pre-registered object in the input video.
  • the higher the recognition result the larger the trigger value and the greater the degree of importance.
  • the image recognition sensor is, for example, an image processing apparatus.
  • the trigger is an image recognition result indicating that a specific object is present in the image obtained by image recognition (for example, by a method such as pattern matching) of the specific object in the image.
  • the trigger generation unit 104 When a scene considered to be important in the input image is captured, the trigger generation unit 104 combines the trigger position information representing the trigger occurrence position in the image with the trigger in addition to the trigger. Output to calculation unit 106.
  • the trigger generation unit 104 is not limited to the motion detection sensor, the motion recognition sensor, and the image recognition sensor described above.
  • it may be a device that accepts a screen compositing request from the user.
  • the trigger is a screen compositing request from the user.
  • the trigger since the criteria judged to be important in the input image vary depending on the application of the system, the trigger is not limited to the one emitted by the sensor or user request, and the trigger occurrence position in the image It may be output from any means, as long as it contains a position) and a value (trigger value) indicating the degree of importance of the image.
  • the trigger sources (the above various sensors, user requirements) may be used alone or in combination.
  • the synthesis trigger calculation unit 106 calculates the synthesis trigger using the trigger from the trigger generation unit 104 and outputs the synthesis trigger to the screen configuration calculation unit 108.
  • the synthesis trigger is a value used to calculate screen synthesis parameters, and is a trigger type indicating the type of importance of the input image and a trigger value indicating the degree of the importance. It is a signal to have.
  • the combination trigger calculation unit 106 selects the trigger type of the combination trigger, for example,
  • Important area means that a specific area of the input video contains an important area
  • the size of the trigger input from the trigger generation unit 104 that is, the trigger value indicates the degree of importance, so the size of the input trigger is used as it is. .
  • the synthesis trigger calculation unit 106 selects the trigger type of the synthesis trigger as 1. If the trigger is based on a motion detection sensor, the image of the time when a suspicious intruder invaded is important, and it is decided to be an “important shot” to prevent it from being missed.
  • the trigger is based on an image recognition sensor, the pre-registered suspicious object-suspicious person etc. is important, and it is decided to be an "important area" to make it easier to view enlarged
  • the trigger is from a motion recognition sensor, the scene where the object with abnormal motion and the person are present is important, so it is decided to be the “important scene”.
  • triggers by various sensors can be converted into trigger types that clearly indicate the meaning of importance in the image. Therefore, according to the trigger type that indicates the importance of the image, it is possible to determine the screen composition parameters so that important scenes can be easily viewed. The determination method will be described in detail later.
  • the combination trigger calculation unit 106 outputs the trigger position information from the trigger generation unit 104 to the screen configuration calculation unit 108 as it is.
  • the screen configuration calculation unit 108 uses the combination trigger (and trigger position information as needed) from the combination trigger calculation unit 106 to determine the presence / absence of the screen combination and calculate the screen configuration. That is, it is determined whether or not to perform screen compositing by using a compositing trigger, and in the case of performing screen compositing, the screen compositing parameters are calculated, and the image storage unit 110, the sub image creation unit 112, the image Output to the information addition unit 1 1 4 and the screen synthesis unit 1 1 6.
  • the input image from the video input unit 102 is output to the screen combining unit 116 regardless of the determination result of the presence or absence of the screen combining.
  • the screen configuration calculation unit 108 receives an image from the video input unit 102, it receives a combination trigger and trigger position information from the combination trigger calculation unit 106, and generates a combination of trigger types. Store the trigger value and trigger position of the trigger in the internal memory (not shown). However, if the synthesis trigger is not output from the synthesis trigger calculation unit 106, the trigger value of the synthesis trigger is stored as zero (0) in the internal memory.
  • one of the screen combining parameters calculated by the screen configuration calculating unit 108 is a combining type.
  • the composition type is a parameter indicating how to compose the screen, for example,
  • Still image composition Compose a still image sub image to a part of the input image
  • the synthesis type is
  • the trigger type of the synthesis trigger is "important shot”, since the important image is included in the time when the trigger is output in the input video, it is decided to be "still image synthesis",
  • the area to which the trigger is output in the input video group includes an important object etc.
  • the remaining parameters of the screen composition parameters differ depending on the composition type.
  • the screen composition parameters calculated by the screen configuration calculation unit 108 are not only the composition type but also the target sub image (image number of the image used for sub image creation). Parameter indicating the) and sub-image display time (parameter indicating the time to combine sub-images and display continuously) (3 total).
  • the screen composition parameters calculated by the screen configuration calculation unit 108 are, in addition to the composition type, for example, extraction center coordinates (center coordinates in input image of image cut out as sub image These are the parameters shown) and the cutout size (the parameters that indicate the size of the image cut out as a sub image) (total of 3).
  • the screen composition parameters calculated by the screen configuration calculation unit 108 are, in addition to the composition type, for example, in the first pattern (hereinafter referred to as “pattern 1”), the composition is Scene center time (parameter indicating the image number of the image located at the center time of the scene to be synthesized) and playback speed (parameter indicating the playback speed of the scene to be repeatedly played back as a sub image) (total of 3), In pattern 2 (hereinafter referred to as “pattern 2”), the synthesized scene center time and loop interval (a parameter indicating the number of images constituting the scene to be repeatedly reproduced as a sub image) (three in total), In the pattern (hereinafter referred to as “pattern 3”), the synthesized scene center time, the number of loops (the number of times the scene is repeatedly played back as a sub image) A parameter indicating the number) and a frame counter (a parameter indicating the number of remaining images to be combined as a sub image) (total 4).
  • pattern 1 the composition is Scene
  • the sub image size (a parameter indicating the composite size of the sub image) is added as a screen composition parameter in each composition type.
  • the video storage unit 110 stores the image output from the video input unit 102 in the internal memory. When storing the video, the video storage unit 1 10 is used to calculate the screen configuration.
  • the internal memory is not rewritten if the number of the target sub-image of the screen combination parameter is different from the image number of the input image. Conversely, if the combination type is “still image combination” and the number of the target sub-image of the combination parameter is the same as the image number of the input image, the internal memory is rewritten using the input image.
  • composition type is other than “no composition”.
  • the video storage unit 110 has an internal memory capable of storing a plurality of images, in particular, if it can correspond to “loop composition” as the composition type.
  • a plurality of images output from the unit 102 can be stored in the internal memory.
  • the internal memory in addition to the memory area for storing a plurality of images, the internal memory has a storage counter indicating the storage position of the image and a readout counter indicating the readout position of the image.
  • the maximum possible value of each counter is the number of images that can be stored in the internal memory. If the value of the counter is updated and exceeds the maximum value, the value of the counter is returned to “1”. That is, the internal memory is structured such that periodic image data can be stored and read out by updating the counter each time the image is stored and read.
  • the sub-image creating unit 112 creates a sub-image using the image output from the video storage unit 110 based on the screen combining parameter output from the screen configuration calculating unit 108.
  • the composition type of the screen configuration parameter is “still image composition”
  • the image to be a target of the sub image output from the video storage unit 110 is reduced to the size of the sub image.
  • the size of the sub image is assumed to be predetermined, and the size of the input image Shall not exceed However, the size of the sub image can be changed according to the content of the image.
  • the sub image is cut out and the size is reduced using the image of the sub image target outputted from the video storage unit 110, and the image information adding unit 114 is selected.
  • Output For example, in the image of the sub-image target, cut out a cutout region (see FIG. 7 described later) defined by the cutout size in the horizontal and vertical directions centering on the cutout center coordinate of the screen synthesis parameter in the image of the sub-image target.
  • the size of the sub-image shall be determined in advance and shall not exceed the size of the input video.
  • the size of the sub image can be changed according to the content of the image.
  • the image information addition unit 114 changes the color of the outer frame of the sub image output from the sub image generation unit 112 in accordance with the synthesis type of the screen synthesis parameter output from the screen configuration calculation unit 108. Do. Specifically, for example, if the composite type is "still image composite", the color of the outer frame of the sub image is changed to red, and if it is "cut out composite", it is changed to blue, "loop composite” In the case of, change to yellow.
  • the color of the outer frame corresponding to the type of composition is not limited to the above example, and it can be represented as long as it can indicate whether the sub image is a still image, a clipped image, or a loop playback image. It may be a natural color.
  • the sub image in which the color of the outer frame indicating the type of composition is added to the outer frame is output to the screen combining unit 116.
  • the shape of the sub image can be changed in addition to the method of changing the color of the outer frame of the sub image. This method will be described in detail later.
  • the screen compositing unit 116 combines the image (main image) output from the screen configuration calculation unit 108 and the sub image output from the image information adding unit 114 into one screen. Synthesize and output the synthesized image (synthesized image) to the video encoding unit 300.
  • the position at which the sub-image is composited with the main image is determined in advance, and the sub-image is superimposed on the position at which the sub-image in the main image is composited to create a composite image.
  • the composition position of the sub-image can be changed according to the characteristics of the input image, and may be any position.
  • the video signal generation unit 200 is configured by one camera and an AZD conversion unit, and only one image is input to the video synthesis apparatus 100 I assume.
  • the description will be made on the assumption that the present video synthesis apparatus 100 is used as a monitoring system for monitoring the presence or absence of an abnormal state.
  • an image at the time when the trigger occurs is regarded as a still image, and this still image is regarded as a sub image in a partial area of the input image.
  • the case of combining that is, the case of performing "still image combining" will be described. Also, in this case, it is assumed that the display time is set longer as the size of the trigger is larger.
  • FIG. 3 is a flowchart for explaining the operation of the video compositing apparatus 100 according to the present embodiment.
  • step S1000 the video input unit 102 performs video input processing for inputting a video signal.
  • the synchronization signal is detected from the video signal input from the video signal generation unit 200, and the images constituting the video are displayed on a screen-by-screen basis for each screen, and the video storage unit 1 1 Output to 0.
  • an image number which is unique to the individual image and whose value monotonously increases with time is added.
  • step S 2 0 0 it is determined whether or not a trigger (including a trigger value representing the degree of importance) has been generated in the trigger generation unit 104. This judgment is for example, this is done depending on whether or not the signal (trigger) from the trigger generation unit 104 is input to the synthesis trigger calculation unit 106.
  • the trigger is issued by a sensor such as a motion detection sensor, a motion recognition sensor, an image recognition sensor, or a user request.
  • step S4000 If a trigger is generated as a result of this determination (S2 0 0 0: YES), the procedure proceeds to step S 3 0 0 0, and if a trigger is not generated (S 2 0 0 0: NO), then Proceed to step S4000.
  • step S 3 0 0 the combining trigger calculation unit 106 performs combining trigger calculation processing of calculating the combining trigger by inputting the trigger.
  • the trigger from the trigger generation unit 104 is used to calculate a combination trigger (including trigger type and trigger value), and output to the screen configuration calculation unit 1008.
  • trigger types for synthesis triggers are, for example, (1) Important shot, (2) Important area, (3) Important sheet Decide one of the Also, for the size of the trigger value of the synthesis trigger, the size of the input trigger is used as it is.
  • the trigger type of the synthesis trigger is
  • the trigger is based on the motion detection sensor, the image of the time when the suspicious intruder invaded is important, and it is determined to be a "important shot” to prevent it from being missed. 2. If the trigger is based on the image recognition sensor , Pre-registered suspicious objects-suspicious people, etc. are important and are set as "important areas" to make them easier to view
  • the trigger is based on a motion recognition sensor, the scene with an object with abnormal motion and a person is important, so it is determined to be an “important scene”.
  • the trigger type is determined to be "important shot” because "still image synthesis” is performed.
  • step S4000 the screen composition calculation unit 10 A screen combining parameter calculation process is performed to calculate parameters. Specifically, it is first determined whether or not to perform screen compositing using the compositing trigger from the synthetic trigger calculation unit 106, and if screen compositing is performed as a result of this determination, the screen compositing parameter is selected.
  • the image data is calculated and output to the image storage unit 1 10, the sub image generation unit 1 12, the image information addition unit 1 1 4, and the screen combination unit 1 1 6.
  • the input image from the video input unit 102 is output to the screen combining unit 1 16 regardless of the determination result of the screen combining.
  • the combining trigger from the combining unit V calculation unit 106 is received, and the trigger type of the combining trigger and the trigger value are stored in the internal memory.
  • the trigger value of the synthesis trigger is stored in the internal memory as zero (0). Then, the judgment of the screen composition is performed depending on whether the trigger value of the composition trigger is zero or not, that is, whether or not the composition trigger has been input. Also, based on the trigger type of the synthesis trigger, determine screen synthesis parameters such as the synthesis type.
  • target sub-image is a parameter indicating the image number of the image used for creating the sub-image as described above
  • sub-image display time is a combination of the sub-image as described above. It is a parameter that indicates the continuous display time.
  • FIG. 4 is a flowchart showing the contents of the operation example 1 of the screen combining parameter calculation process in FIG.
  • step S410 it is determined whether or not the trigger value of the synthesis trigger is zero, that is, the presence or absence of the input of the synthesis trigger. As a result of this determination, if the trigger value of the synthesis trigger is not zero, that is, if there is an input of the synthesis trigger (S 4 1 0 0: NO), the process proceeds to step S 4 1 1 0, and If the radiation value is zero, that is, if there is no synthetic trigger input (S 4 1 0 0: YES), the process proceeds to step S 4 1 4 0.
  • step S410 since the combination trigger has a non-zero trigger value, that is, the combination trigger has been input, the combination type is determined according to a predetermined criterion. For example, as above
  • the combination trigger type is "important shot"
  • the still image synthesis is selected because the important image is included in the input video when the trigger is output.
  • the combination trigger type is "important area”, the area to which the trigger is output in the input video includes an important object, etc., so select “combine combining", and 3.
  • the combination trigger type is "important" In the case of “Scene”, since the important scene is included around the time when the trigger is output in the input video, it is decided to be “loop synthesis”. In this operation example, since the trigger type is “important shot”, the synthetic type is determined to be “still image synthesis”.
  • step S 4 1 2 the target sub image is determined.
  • the target sub-image is determined as the current input image.
  • time-disp (t) display time of sub image at time t
  • MAX_time Setting maximum value of sub image display time
  • (Formula 1) is an example of the calculation method, and is not limited to this.
  • Sub image The method of calculating the display time may be any method as long as the display time increases as the trigger value increases.
  • step S410 since the combination trigger has a zero trigger value, that is, there is no combination trigger input, the screen combination parameter is set to the parameter at the previous calculation.
  • step S 4 150 the continuous display time of the sub image is updated.
  • sub-image display time time— di sp (t) is given by the following (Expression 2),
  • the sub-image display time is updated by subtracting the elapsed time from the time when the previous screen composition parameter was calculated to the present time from the sub-image display time when it was calculated last time.
  • step S 4 160 the combination type is updated. Specifically, if the sub image display time becomes equal to or less than zero as a result of the sub image display time update process in step S 4 150, change the composition type to “no composition” step S 4 1 7 At 0, the three screen composition parameters (composition type, target sub-image, sub-image display time) calculated at step S4 1 00 to step S After being output to the screen combining unit 116, the input image (the input image from the video input unit 102) is output to the screen combining unit 116 while being output to the unit 112, the image information adding unit 114, and the screen combining unit 116.
  • the input image the input image from the video input unit 102
  • the image information adding unit 114 the image information adding unit 114
  • step S5000 the video storage unit 110 performs video storage processing for storing video. Specifically, the image output from the video input unit 102 is stored in the internal memory. At that time, based on the screen combination parameter from the screen configuration calculation unit 108, it is determined whether to rewrite the internal memory. For example, If the compositing type of the screen compositing parameter is "no compositing", the internal memory is rewritten using the input image.
  • the combination type is “still image combination”
  • the internal memory is not rewritten, but the combination type is “ In the case of “still image composition”
  • the number of the target sub-image of the composition parameter is the same as the image number of the input image
  • the internal memory is rewritten using the input image.
  • the image stored in the internal memory is output to the sub image generation unit 112.
  • step S6000 the sub image creation unit 112 performs a sub image creation process to create a sub image to be used for screen combination. Specifically, based on the screen composition parameters output from the screen configuration calculation unit 108, a sub image is created using the image output from the video storage unit 110, and the created sub image is used as an image. Output to information addition section 1 1 4
  • the image to be the target of the sub image output from the video storage unit 110 is reduced to the size of the sub image, and image information addition is performed.
  • the size of the sub-image shall be determined in advance and shall not exceed the size of the input image.
  • the size of the sub image can be changed according to the content of the image.
  • step S7000 the image information adding unit 114 performs an image information adding process of adding the image information of the sub image. Specifically, for example, the color of the outer frame of the sub image output from the sub image generation unit 112 is changed according to the synthesis type of the screen synthesis parameter output from the screen configuration calculation unit 108. The sub image with the outer frame color changed is output to the screen synthesizer 116.
  • the color of the outer frame of the sub image is changed to red.
  • the color of the outer frame is not limited to red, and any color that can indicate that the sub image is a still image It may be
  • step S8000 the screen combining section 116 performs screen combining processing to combine the images into one screen. Specifically, the image (main image) output from the screen configuration calculation unit 108 and the sub image output from the image information addition unit 114 are combined into one screen, and the combined image is displayed. (Composite image) is output to the video encoding unit 300.
  • screen compositing as described above, the position where the sub-image is composited with the main image is determined in advance, and the sub-image is superimposed on the position where the sub-image in the main image is composited to create a composite image.
  • the composite position of the sub video can be changed according to the characteristics of the input video.
  • step S 9 0 0 it is determined whether or not the series of video combining processes in step S 1 0 0 0 to step S 8 0 0 0 is to be ended. This determination is made, for example, based on whether or not a preset time or number of frames has been exceeded, or whether or not the user has issued a termination request. As a result, when the time or frame number set in advance is exceeded, or when the termination request is issued from the user (S 9 0 0 0: YES), the above series of video composition processing is terminated. If not (S 9 0 0 0: NO), return to step S 1 0 0 0.
  • FIG. 5 is an explanatory view showing an outline of screen composition by the above-mentioned “still image composition”.
  • “4 0 1” represents the current input image
  • “4 0 3” represents the target sub-image to be reduced
  • “4 0 5” represents the reduced target sub-image 4 0 3
  • Sub-image “4 0 7” is the sub-image representing the image information (composite type) of sub-image 4 0 5 in the color of the outer frame
  • “4 0 9” is the input image 4 0 1 and after the frame change Is a composite image obtained by superimposing and synthesizing the sub-image 4 0 7 of
  • the color of the outer frame can represent the state of the sub-image (type: “still image composition” in this case).
  • the trigger value indicating the importance of the video is larger, the video at the trigger occurrence time is controlled to be displayed as a still image for a long time, and the image synthesis is performed.
  • the user can view not only the current video but also the video of important time as a still image at the same time even at the receiving terminal with only one screen. It is possible, and moreover, the more important the image is, the longer it can be viewed.
  • the user may judge the content of the sub image by the color of the sub image frame without transmitting and receiving information other than the composite image. it can. That is, in the conventional system, since only a plurality of videos are simply reduced and synthesized, the simply reduced and synthesized images do not include additional information indicating the state of each video and the like. In order to know the additional information of the video, it is necessary to transmit and receive the additional information in addition to the video, and the system becomes complicated. However, in the present invention, the inconvenience can be eliminated.
  • this example shows an example of displaying an input image on the main image and a still image on the sub image
  • the present invention is not limited to this, and a still image is displayed on the main image and input on the sub screen. It is also possible to display an image.
  • step S I 0 0 0 to step S 3 0 0 0 are the same as in the operation example 1, and thus the description thereof is omitted.
  • the trigger generation unit 104 when a scene considered to be important in the input image is captured, as described above, the trigger generation unit 104 generates a trigger (indicating a degree of importance).
  • the trigger position information representing the trigger generation position in the screen is also output to the synthetic trigger calculation unit 106 along with the trigger.
  • the trigger position information input to the combination trigger calculation unit 106 is output to the screen configuration calculation unit 108 along with the combination trigger.
  • the trigger type is determined to be “important area” in the combining trigger calculation process of step S 300 0.
  • step S4000 the screen synthesis parameter calculation process is performed as in the operation example 1.
  • the combination trigger and trigger position information from the combination trigger calculation unit 106 are accepted, and the combination trigger type and trigger value, and Stores the trigger position of the trigger in the internal memory.
  • cut out center coordinates is a parameter indicating the center coordinates in the input image of the image cut out as a sub-image as described above
  • cut-out size is an image cut out as a sub-image as described above It is a parameter indicating the size of the image.
  • FIG. 6 is a flowchart showing the contents of the operation example 2 of the screen combining parameter calculation process in FIG. The process common to the operation example 1 shown in FIG. 4 will only be briefly described.
  • step S4200 as in the operation example 1 (see step S41000 in FIG. 4), whether or not the trigger value of the synthesis trigger is zero, that is, the input of the synthesis trigger Determine the presence or absence of Trigger value of synthesis trigger as a result of this judgment If is not zero, that is, if there is a synthetic trigger input (S 4 2 0 0: NO), go to step S 4 2 1 0, and if the synthetic trigger trigger value is zero, ie, synthetic trigger If there is no input of (S 4 2 0 0: YES), the process proceeds to step S 4 2 4 0.
  • step S 4 2 1 as in the operation example 1 (see step S 4 1 1 0 in FIG. 4), when the trigger value of the synthesis trigger is not zero, that is, when the synthesis trigger is input. Therefore, the composition type is determined according to a predetermined standard. However, in this operation example, the trigger type is "important area" and the area where the trigger is output in the input video includes an important object, so the composite type is determined to be "cut out and composite". Do.
  • step S420 the cutout center coordinates are determined.
  • the cutout center coordinate is determined as the trigger position.
  • MIN-size-h Horizontal setting minimum value of sub image cutout size
  • MIN-size-V Calculated using the set minimum value of the vertical size of the sub image cutout size. As shown in (Eq. 3) and (Eq. 4), the sub-image clipper The smaller the trigger value, the smaller the noise. However, the cutout size shall not exceed the size of the input image.
  • FIG. 7 is an explanatory view of this cutout area calculation method.
  • “5 0 3” is the input image of the sub image target
  • “5 0 5” is the trigger position (here equal to the cutout center coordinates)
  • “5 0 7” is based on the trigger value. It is a cutout area defined by the calculated cutout size.
  • (Formula 3) and (Formula 4) are an example of a calculation method, and it is not limited to this.
  • the method of calculating the cutout size may be any method that reduces the size as the trigger value increases.
  • Step S 4 2 0 0 sets the screen synthesis parameter to the parameter at the previous calculation, since it is when the trigger value of the synthesis trigger is zero, that is, when there is no input of the synthesis trigger.
  • step S 4 250 the three image composition parameters (composition type, cutout center coordinates, cutout size) calculated in step S 4 20 0 to step S 4 2 0 are displayed in the image storage unit 1 1 0,
  • step S 5 00 the image output from the video input unit 1 0 2 is stored in the internal memory as in the operation example 1.
  • the image stored in the internal memory is output to the sub-image creating unit 112 in order to perform “cut-out combining”.
  • step S 6 0 0 as in the operation example 1, based on the screen combining parameters output from the screen configuration calculation unit 1 08, the image output unit 1 1 0 uses the image output from Create an image, and output the created sub-image to the image information addition unit 114.
  • the video storage unit 1 The sub image is cut out and the size is scaled down using the target image of the sub image output from 10, and the result is output to the image information addition unit 114.
  • the sub-image cutout is centered on the cutout center coordinates G (cx, C y) (equal to the trigger position 500) of the screen composition parameter in the input image 503 of the sub-image target. It is carried out by cutting out the cut area 5 0 7 defined by the horizontal and vertical cut sizes cut_s ize_h (t) and cut_size_v (t).
  • the size of the sub-image shall be determined in advance and shall not exceed the size of the input image.
  • the size of the sub image can be changed according to the content of the image.
  • step S 7 0 0 as in the operation example 1, the sub image generation unit 1 1 2 outputs the sub-image generation unit 1 1 2 according to the composition type of the screen composition parameter output from the screen configuration calculation unit 1 08.
  • the color of the outer frame of the image is changed, and the sub-image with the changed color of the outer frame is output to the screen combining section 116.
  • the color of the outer frame of the sub image is changed to blue.
  • the color of the outer frame is not limited to blue, and may be any color as long as it can indicate that the sub-image is a cutout image.
  • step S 8 0 0 0 and step S 9 0 0 0 are the same as in the operation example 1 and thus the description thereof is omitted.
  • FIG. 8 is an explanatory view showing an outline of screen composition by the above-mentioned “cut out composition”.
  • “5 0 1” is the current input image
  • “5 0 3” is the target sub-image to be extracted
  • “5 0 5” is the trigger position in the image where the trigger occurred
  • “5 0 7” is a cut-out area indicating a cut-out area
  • “5 0 9” is a sub-image created by cutting out the size of the target sub-image 5 0 3 and adjusting its size
  • “5 1 1” is a sub-image 5 0
  • “5 1 3 J is a composite image obtained by superposing and synthesizing the input image 5 0 1 and the sub image 5 1 1 after frame change.
  • the input image and the image scaled and reduced around the position where the trigger occurred are displayed at the same time in the combined image 513. be able to.
  • the color of the outer frame can represent the state (type: “extraction combination” in this case) of the sub-image.
  • the cutout size of the area centered on the trigger generation position is reduced and the cutout image synthesis is performed, as the value of the trigger indicating the importance of the video is larger.
  • the user By encoding the synthesized video and displaying it on the receiving terminal through the transmission path, the user not only sees the current video but also cuts out the video of the important position on the receiving terminal with only one screen. 'You can see it at the same time, and the more important the image, the larger the image of the important position.
  • the user should judge the content of the sub image by the color of the sub image outer frame without transmitting and receiving information other than the composite image. Can.
  • the input video is not limited to one case, and it is possible to cut out and combine in multiple cases.
  • steps S 1 0 0 to S 3 0 0 0 are the same as in the operation example 1 and thus the description thereof is omitted. However, in this operation example, since “loop synthesis” is performed, the trigger type is determined to be “important scene” in the synthesis trigger calculation process of step S 300 0.
  • step S4000 as in the operation example 1, the screen composition determination is performed and the screen configuration is calculated using the composition trigger to calculate the screen composition parameters.
  • the screen composition determination is performed and the screen configuration is calculated using the composition trigger to calculate the screen composition parameters.
  • three kinds of synthesis type here, “loop synthesis”
  • synthesis scene center time is a parameter indicating the image number of the image located at the center time of the scene to be combined as described above
  • the “reproduction speed” is repeatedly described as the sub image as described above. This parameter indicates the playback speed of the scene to be played back.
  • FIG. 9 is a flowchart showing the contents of the operation example 3 of the screen combining parameter calculation process in FIG. The process common to the operation example 1 shown in FIG. 4 will only be briefly described.
  • step S4300 as in the operation example 1 (see step S41000 in FIG. 4), whether the trigger value of the synthesis trigger is zero or not, that is, the input of the synthesis trigger Determine the presence or absence of As a result of this determination, if the trigger value of the synthesis trigger is not zero, that is, if there is an input of the synthesis trigger (S 4 3 0 0: NO), the process proceeds to step S 4 3 1 0 and the trigger value of the synthesis trigger If is zero, that is, if there is no synthetic trigger input (S 4 3 0 0: YES), the process proceeds to step S 4 3 4 0. In step S 4 3 1 0, as in the operation example 1 (see step S 4 1 1 0 in FIG.
  • the composition type is determined according to a predetermined standard.
  • the trigger type is “important scene” and the important scene is included in the input video before and after the time the trigger is output. Therefore, the synthesis type is set to “loop synthesis”. .
  • step S4302 the combined scene center time is determined.
  • the synthetic scene center time is determined to be the image number of the current input frame.
  • the playback speed is determined.
  • the sub image playback speed is calculated based on the magnitude of the trigger value.
  • MIN_fps Setting minimum value for sub image playback speed
  • (Formula 5) is an example of the calculation method, and is not limited to this.
  • the method of calculating the reproduction speed may be any method as long as the reproduction speed decreases as the trigger value increases.
  • step S 4 3 4 when the trigger value of the synthesis trigger is zero, that is, when there is no input of the synthesis trigger, the screen synthesis parameter is set to the parameter at the previous calculation.
  • step S 4 3 5 the three screen composition parameters calculated in step S 4 3 0 to step S 4 3 4 0 (composition type, composite scene center time, playback speed Is output to the image storage unit 110, the sub image creation unit 112, the image information addition unit 114, and the screen combining unit 116, and the input image (image input unit 102).
  • the process returns to the main flowchart in FIG.
  • the video storage unit 110 performs video storage processing.
  • the video storage unit 1 10 has an internal memory capable of storing a plurality of images, and the image output from the video input unit 1 0 2 Is stored in its internal memory.
  • This internal memory in addition to a memory area for storing multiple images, has a storage counter that indicates the storage position of the image, and a readout counter that indicates the readout position of the image, and updates the counter each time an image is stored or readout. This makes it possible to store and retrieve periodic image data.
  • FIG. 10 is a flowchart showing the contents of the operation example 3 of the image storage processing in FIG. 3.
  • the memory is initialized. Specifically, the synthesis scene center time of the screen synthesis parameter is compared with the synthesis scene center time inputted last time, and when both are different, the image data in the internal memory and each counter are initialized. . In initialization, the image data in the internal memory is cleared, the value of each counter is reset to “1”, and the current composite scene central time is stored in the internal memory.
  • step S 5 1 it is determined whether the synthesis type is “loop synthesis” or “no synthesis”. As a result of the determination, if the combination type is "loop combination”, the process proceeds to step S51020, and if the combination type is "no combination”, the process proceeds to step S510.
  • step S 5120 it is determined whether the scene storage is complete. As a result of this determination, if the scene storage is completed (S 5 1 2 0: YES), the process immediately proceeds to step S 5 1 5 0, and the scene storage is not completed. If not (S 5 1 20: NO), the process proceeds to step S 5 1 30.
  • center_position A counter value indicating the position where the image of the synthesized scene center time is stored in the internal memory
  • roop_mergin difference in force value from the synthesized scene central time to the last image of the scene to be stored
  • the ratio of the number of images belonging to each of the time before and after the trigger occurrence time is determined in advance. That is, it is assumed that the number of images from the synthesized scene center time to the end of the scene to be stored is determined in advance, and the size of the internal memory is determined by the number of images in the scene to be stored. Therefore, the size of the internal memory determines the number of images of the scene to be reproduced repeatedly, that is, the section of the scene.
  • the image is stored. Specifically, the input image is stored in the internal memory at a position indicated by the storage counter.
  • step S 5 140 the storage capacity is updated. Specifically, update processing is performed by adding one value of storage capacity. However, if the stored counter value exceeds the maximum value, set the counter value to “1”.
  • step S515 the image is read out. Specifically, the image at the read counter position in the internal memory is read out and output to the sub image generation unit 112.
  • step S 51 60 the read counter is updated. Specifically, for example, the following (Expression 7), (Expression 8),
  • count read (t) count read (t-l) + (add (- ⁇ (equation 8)
  • a mod B Remainder when A is divided by B
  • the method of updating the readout counter is determined according to the ratio of the reproduction speed of the sub-image to the reproduction speed of the main image. That is,
  • Equation (7) the slower the sub-image playback speed, the lower the frequency of addition of the readout counter value, and slow playback. Conversely, in (Equation 8), as the sub image playback speed is higher, the addition frequency of the value of the read counter is higher, resulting in high speed playback.
  • the playback speed of the sub-image can be changed by controlling the method of updating the reading power.
  • the process returns to the main flow chart of FIG.
  • the image is stored. Specifically, the input image is stored in the internal memory at a position indicated by the storage counter.
  • step S 5 180 the storage counter is updated. Specifically, update processing is performed by adding 1 to the value of the storage counter. However, the save count If the value of the data exceeds the maximum value, set the value of the counter to "1". When this storage counter updating process is completed, the process returns to the main flowchart of FIG.
  • step S 6 0 0 as in the operation example 1, based on the screen combining parameters output from the screen configuration calculation unit 1 08, the image output unit 1 1 0 uses the image output from Create an image, and output the created sub-image to the image information addition unit 114.
  • step S 7 0 0 the sub image generation unit 1 12 outputs the sub according to the composition type of the screen composition parameter output from the screen configuration calculation unit 1 08.
  • the color of the outer frame of the image is changed, and the sub-image with the changed color of the outer frame is output to the screen combining section 116.
  • the color of the outer frame of the sub image is changed to yellow.
  • the color of the outer frame is not limited to yellow and may be any color as long as it can indicate that the sub image is a loop reproduction image.
  • step S 8 0 0 0 and step S 9 0 0 0 are the same as in the operation example 1, and thus the description thereof is omitted.
  • FIG 11 is an explanatory diagram showing an overview of screen composition by the above-mentioned "loop composition”.
  • the larger the trigger value indicating the importance of the video the lower the playback speed when repeatedly playing back a scene composed of images before and after the trigger occurrence time.
  • the user can not only view the current video, but also importantly at the receiving terminal with only one screen.
  • the scene before and after the time can be viewed simultaneously as a composite screen, and the scene with higher importance can be viewed at a lower playback speed and over a long time.
  • the user should judge the content of the sub image by the color of the sub image outer frame without transmitting or receiving information other than the composite video. Can.
  • the input image is displayed on the main image and the important scene is displayed on the sub image.
  • the present invention is not limited to this.
  • the important scene is displayed on the main image. It is also possible to display the input video on
  • loop synthesis is possible even if there is more than one input video.
  • operation example 4 when performing screen composition as the determination result of screen composition using a composition trigger, the scene is sub-sent so that a scene consisting of an image group before and after the time when the trigger occurs is repeatedly reproduced.
  • the case where the image is synthesized to a partial area of the input image that is, the case where “loop synthesis” is performed will be described.
  • the size of the trigger is The larger the number, the larger the number of images in the scene to be played back repeatedly (pattern 2).
  • steps S 1 0 0 to S 3 0 0 0 ′ are the same as in the operation example 1 and thus the description thereof is omitted. However, in this operation example, since “loop synthesis” is performed, the trigger type is determined to be “important scene” in the synthesis trigger calculation process of step S 300 0.
  • step S4000 similarly to the operation example 1, the screen composition determination is performed and the screen configuration is calculated using the composition trigger to calculate the screen composition parameters.
  • the screen composition determination is performed and the screen configuration is calculated using the composition trigger to calculate the screen composition parameters.
  • 3 of synthetic type here, “loop synthesis”
  • synthesis scene center time is calculated.
  • the combined scene center time is a parameter indicating the image number of the image located at the center time of the scene to be combined as described above
  • the “loop segment” is described as the sub image as described above. It is a parameter that indicates the number of images that make up a scene that is repeatedly played back.
  • FIG. 12 is a flowchart showing the contents of Operation Example 4 of the screen combining parameter calculation process in FIG. The description of the processing common to the operation example 3 shown in FIG. 9 will be omitted.
  • step S 4 3 0 to step S 4 3 2 0 are the same as in the operation example 3, and thus the description thereof is omitted.
  • the loop interval is determined. Specifically, the loop section of the sub image is calculated based on the magnitude of the trigger value.
  • the loop interval of the sub image frame— num (t) is the following (Equation 9), .frame mimi) ⁇ '* MAX fi'm picture ... (Equation 9)
  • MAX one rigger Possible maximum value of trigger value
  • MAX-frame 1 num Maximum value set for the loop section of the sub image
  • (Formula 9) is an example of the calculation method, and is not limited to this.
  • the method of calculating the loop interval may be any method as long as the loop interval becomes larger as the trigger value is larger.
  • step S 4 3 4 0 and step S 4 3 5 0 are the same as in the operation example 3 and thus the description thereof is omitted.
  • the video storage unit 110 performs video storage processing.
  • the video storage unit 110 has an internal memory capable of storing a plurality of images, and stores the image output from the video input unit 102 in the internal memory.
  • This internal memory has a storage unit that indicates the storage position of the image and a readout counter that indicates the readout position of the image.
  • the maximum possible value of each counter is the number of images that can be stored in the internal memory. If the value of the counter is updated and exceeds the maximum value, it returns to “1”. That is, the internal memory has a structure capable of storing and reading out periodic image data by updating the counter each time the image is stored. In this operation example, the number of images that can be stored in the internal memory is controlled to be equal to the value indicated in the loop section of the synthesis parameter.
  • the memory is initialized. Specifically, comparison is made between the synthesis scene center time of the screen synthesis parameters and the synthesis scene center time inputted last time, and if both are different, the image data and each counter in the internal memory can be stored in the internal memory Initialize the number of images. In initialization Clears the image data in the internal memory, resets the value of each counter to "1", and sets the number of images that can be stored in the internal memory in the loop section of the screen composition parameter. In addition, the current composite scene center time is stored in the internal memory.
  • step S 5 1 0 to step S 5 1 5 0 are the same as in the operation example 3 and thus the description thereof is omitted.
  • step S 516 the read counter is updated. Specifically, unlike the operation example 3, for example, the following (Expression 1 0),
  • the maximum number of images stored in the internal memory is changed according to the screen composition parameter. This makes it possible to control the number of images in a scene to be synthesized as a sub-image, that is, the size of a section of the scene. That is, the larger the trigger value is, the larger the size of the section of the scene to be reproduced in the loop is set, so that scenes in long sections before and after the trigger occurrence time can be reproduced.
  • step S 5 1 7 0 and step S 5 1 8 0 are the same as in the operation example 3 and thus the description thereof is omitted.
  • step S 6 0 0 based on the screen combining parameters output from the screen configuration calculation unit 1 08, the image output unit 1 1 0 uses the image output from Create an image, and output the created sub-image to the image information addition unit 114.
  • pattern 2 of “loop synthesis” is performed as in this operation example, the image to be the target of the sub image acquired by the readout counter, which is output from the video storage unit 110, is reduced and Create a sub image.
  • step S 7 0 0 the sub image generation unit 1 12 outputs the sub according to the composition type of the screen composition parameter output from the screen configuration calculation unit 1 08.
  • the color of the outer frame of the image is changed, and the sub-image with the changed color of the outer frame is output to the screen combining section 116.
  • the color of the outer frame of the sub image is changed to yellow as in the operation example 3.
  • the color of the outer frame is not limited to yellow and may be any color as long as it can indicate that the sub image is a loop reproduction image.
  • step S 8 0 0 0 and step S 9 0 0 0 are the same as in the operation example 1 and thus the description thereof is omitted.
  • the larger the trigger value indicating the importance of the image the larger the section of the scene formed by the image group before and after the trigger occurrence time, and the scene is repeated.
  • the user In order to perform image synthesis so as to be played back, by encoding the synthesized video and displaying it on the receiving terminal through the transmission path, the user not only sees the current video but also on the receiving terminal having only one screen.
  • the images before and after the important time can be viewed simultaneously as a composite screen, and the more important the scene is, the larger the section of the scene is, the more images before and after the important time can be seen.
  • the user should judge the content of the sub image by the color of the sub image outer frame without transmitting or receiving information other than the composite video. Can.
  • operation example 5 when performing screen composition as the determination result of screen composition using the composition trigger, the scene is sub-sent so that a scene consisting of an image group before and after the time when the trigger occurs is repeatedly reproduced.
  • the case where the image is synthesized to a partial area of the input image, that is, the case where “loop synthesis” is performed is described.
  • the number of loop playbacks of the scene to be repeatedly played back is set larger as the trigger size is larger (pattern 3).
  • steps S 1 0 0 to S 3 0 0 0 are the same as in the operation example 1 and thus the description thereof is omitted. However, in this operation example, since “loop synthesis” is performed, the trigger type is determined to be “important scene” in the synthesis trigger calculation process of step S 300 0.
  • step S4000 as in the operation example 1, the screen composition determination is performed and the screen configuration is calculated using the composition trigger to calculate the screen composition parameters.
  • the screen composition determination is performed and the screen configuration is calculated using the composition trigger to calculate the screen composition parameters.
  • four kinds of synthesis types here “loop synthesis”
  • synthesis scene center time is a parameter indicating the image number of the image located at the center time of the scene to be combined as described above
  • the “loop count” is repeated as a sub image as described above.
  • the “frame counter” is a parameter indicating the number of remaining images to be combined as a sub image as described above.
  • FIG. 13 is a flowchart showing the contents of the operation example 5 of the screen combining parameter calculation process in FIG. The process common to operation example 3 shown in FIG. 9 The explanation is omitted.
  • step S 4 3 0 to step S 4 3 2 0 are the same as in the operation example 3, and thus the description thereof is omitted.
  • step S 4 3 the number of loops is determined. Specifically, the number of loops of the sub image is calculated based on the magnitude of the trigger value, and the frame counter is set using the loop counter.
  • the number of loops in the sub image loop_num (t) is given by the following (Expression 1 1),
  • MAX_loop_num Maximum number of loops set for sub image
  • (Expression 1 1) is an example of a calculation method, and is not limited to this.
  • the method of calculating the number of loops may be any method as long as the number of loops increases as the trigger value increases.
  • the frame counter is set, but the value of frame counter frame1 count (t) is, for example, the following (Equation 12),
  • frame_count (t) frame counter value at time t
  • loop_num (t) number of loops of the sub image at time t
  • MAX_frame_num Calculated using the number of images that can be stored in the internal memory of the video storage unit 110.
  • step S 4 3 4 5 if the trigger value of the synthesis trigger is zero, Unlike the operation example 3, the synthesis parameter is updated because the synthesis trigger is not input. Specifically, of the previous screen synthesis parameters, update processing of the frame counter and the synthesis method is performed.
  • the frame counter is
  • the frame counter is updated by subtracting its value by one. However, if the value of the frame counter becomes 0 or less by updating the value, the value of the frame counter should be "0".
  • composition type is updated according to the value of the updated frame counter
  • composition type is updated, for example, according to the following rule:
  • the video storage unit 1 10 controls the number of loop playbacks by storing the image in the internal memory and simultaneously outputting the image for loop playback to the sub image creation unit 1 12 according to the type of composition. It becomes possible.
  • step S 4 3 5 the four screen composition parameters (composition type, composition scene center time, loop count, frame counter) calculated in step S 4 3 0 to step S 4 3 4 5 1 1 0, sub-image creation unit 1 12, image information addition unit 1 1 4, and screen combining unit 1 1 6 While outputting an input video (input image from the video input unit 1 0 2) to the screen combining unit After outputting to 1 1 6, return to the main flow chart in Figure 3.
  • composition type composition scene center time
  • loop count, frame counter the four screen composition parameters (composition type, composition scene center time, loop count, frame counter) calculated in step S 4 3 0 to step S 4 3 4 5 1 1 0, sub-image creation unit 1 12, image information addition unit 1 1 4, and screen combining unit 1 1 6 While outputting an input video (input image from the video input unit 1 0 2) to the screen combining unit After outputting to 1 1 6, return to the main flow chart in Figure 3.
  • step S 5 0 0 to step S 9 0 0 0 is the same as that of the operation example 3 Therefore, the explanation is omitted.
  • the larger the trigger value indicating the importance of the video the larger the number of loops that repeatedly reproduce a scene composed of an image group before and after the trigger occurrence time.
  • the synthesized video is encoded and displayed on the receiving terminal through the transmission path, so that the user can not only view the current video, but also at important times at the receiving terminal with only one screen.
  • the images before and after can be viewed simultaneously as a composite screen.
  • the higher the scene importance is, the larger the number of looping of the scene, and the image before and after the critical time can be repeatedly viewed a greater number of times.
  • the user should judge the content of the sub image by the color of the sub image outer frame without transmitting or receiving information other than the composite video. Can.
  • the input image is displayed on the main image and the important scene is displayed on the sub image.
  • the present invention is not limited to this.
  • the important scene is displayed on the main image. It is also possible to display the input video on
  • the operation example 6 is a case where the size of the sub image is changed according to the size of the trigger.
  • an image at the time when the trigger occurs is taken as a still image, and this still image is taken as a sub image.
  • the case of combining on a region, that is, the case of performing “still image combining” will be described.
  • the size of the sub image is set larger as the size of the trigger is larger.
  • changing the sub-image size according to the trigger size can be applied not only to “still image combining” but also to other combining types such as “cut out combining” and “loop combining”. Also, in this case, the explanation will be made focusing on the part where the processing is different from the operation example 1 with reference to FIG.
  • step S 1 00 00 to step S 3 0 0 0 are the same as in the operation example 1 and thus the description thereof is omitted.
  • step S4000 as in the operation example 1, the screen composition determination is performed and the screen configuration is calculated using the composition trigger to calculate the screen composition parameters.
  • the sub image size that is, the combining type (here, “still image combining”)
  • target sub image sub image display time
  • target sub-image is a parameter indicating the image number of the image used for sub-image creation as described above
  • sub-image display time is a combination of sub-images as described above.
  • Sub-image size is a parameter indicating the composite size of the sub-image.
  • FIG. 14 is a flowchart showing the contents of Operation Example 6 of the screen combining parameter calculation process in FIG. 3. The description of the processing common to the operation example 1 shown in FIG. 4 will be omitted.
  • step S 4 1 0 to step S 4 1 3 0 are the same as in the operation example 1 and thus the description thereof is omitted.
  • step S 4 13 5 the sub image size is determined.
  • MAX 1 sizeji Setting maximum value of sub image horizontal size
  • MAX_size_v Setting maximum value of sub image vertical size
  • (Expression 14) and (Expression 15) are an example of the calculation method, and the present invention is not limited to this.
  • the method of calculating the sub-image size may be any method as long as the size increases as the trigger value increases.
  • step S 4 1 4 to step S 4 1 7 0 are the same as in the operation example 1 and thus the description thereof is omitted.
  • step S5000 to step S90000 since the processing of step S5000 to step S90000 is the same as that of the operation example 1, the description thereof will be omitted.
  • step S600 the sub-image target video output from the video storage unit 110 is reduced to the sub-image size output from the screen configuration calculation unit 100. Create a sub image.
  • the sub-image target video output from the video storage unit 110 is reduced to the sub-image size output from the screen configuration calculation unit 100. Create a sub image.
  • the larger the trigger value indicating the importance of the image the larger the sub-image size when combining the image at the trigger occurrence time as a still image, and the image synthesis is performed.
  • the user can view not only the current video but also the image of the important time, even at the receiving terminal with only one screen.
  • the image can be viewed simultaneously as a composite screen, and the higher the degree of importance is, the larger the size of the image, and the image can be viewed in detail in one screen.
  • the user does not transmit or receive any information other than the composite image, and the content of the sub image is outside the sub image. It can be judged by the color of the frame.
  • an example is shown where an input image is displayed on the main image and an important still image is displayed on the sub image.
  • the present invention is not limited to this.
  • An important still image is displayed on the main image. It is also possible to display the input image on the screen.
  • still images can be synthesized not only in the case of one input video, but also in the case of multiple.
  • the operation example 7 is a case where the composition of the screen is calculated using the composition trigger indicating the degree of importance of the image, and the composition information is expressed by the shape of the screen to be composited.
  • the screen configuration calculation unit 108 calculates the screen combining parameters by the method of any of the operation examples 1 to 6, and the processing of the image information addition unit 114 is particularly described below. explain.
  • the image information addition unit 114 changes the shape of the sub image output from the sub image generation unit 112 in accordance with the combination type of the screen combination parameter output from the screen configuration calculation unit 108. For example, if the composite type is "still image composite", change the shape of the sub image to a circle.
  • the shape of the outer frame is not limited to a circle, and may be any shape as long as it can indicate that the sub image is a still image.
  • the image composition is performed because the composition is performed according to the trigger and the control is performed to change the shape of the sub image according to the composition type of the sub image.
  • the sub image shape represents the composition type of the sub image
  • the sub image If the correspondence between the shape of the image and the content of the sub-image is known, the user can determine the sub-image composite type based on the sub-image shape without transmitting and receiving information other than the composite video.
  • the present invention it is possible to automatically display a video important to the user in a video composition apparatus that composites a plurality of videos into one screen, and further, the important video Can be combined and displayed on a screen that is easy to see visually.
  • the present invention has an effect of automatically displaying important images for the user and combining the important images into a visually easy-to-see screen configuration, and combining a plurality of images on one screen. Are useful in video compositing devices.

Abstract

ユーザにとって重要な映像を自動的に表示し、しかも、その重要な映像を視覚的に見やすい画面構成に合成して表示する映像合成装置。本装置において、映像入力部１０２は、映像を構成する画像を１画像ごとに入力し、映像蓄積部１１０は、入力された映像を蓄積する。トリガ発生部１０４は、映像の重要度を示すトリガを発生し、合成トリガ算出部１０６は、そのトリガを用いて、画面合成パラメータを算出するための合成トリガを算出する。画面構成算出部１０８は、合成トリガを用いて画面合成の有無を判定し画面構成（具体的には画面合成パラメータ）を算出する。サブ画像作成部１１２は、画面構成算出結果に基づいて、入力画像(メイン画像）との合成に用いられる画像（サブ画像）を作成し、画像情報付加部１１４は、サブ画像に当該サブ画像の画像情報を付加する。画面合成部１１６は、複数の画像（メイン画像とサブ画像）を１つの画面に合成する。

Description

明 細 書 映像合成装置 技術分野
本発明は、複数の映像を 1つの画面に合成する映像合成装置に関し、特に、 ユーザにとって重要な映像が合成用に選択され、 かつ、 画面内において重要 な映像が視覚的に見やすく配置される方式に関する。 背景技術
近年、 情報通信技術の発達やインフラの整備によって、 たとえば、 遠隔地 に配置されたカメラで撮像された映像を、 '伝送路を通じて受信することによ り、 カメラから離れた場所からも、 その映像を利用して遠隔地の監視または モニタリングを行うことが可能になっている。 また、 複数の映像に対して、 1つの映像受信端末において監視■モニタリングを行うことも可能である。 しかしながら、 複数の映像に対してすベての映像を漏れなく監視するため には、 カメラ映像の数と同じ数の表示画面が必要であり、 映像受信端末が複 雑になるばかりでなく高価なものになってしまう。 また、 複数のカメラの映 像を遠隔地で受信する映像受信端末としては、高価な専用端末であるよりも、 安価で 1つの表示画面しか持たない汎用的な表示端末であることが望ましい。 従来、 複数のカメラからの監視映像を 1つの表示画面しか持たない映像受 信端末に再生させる監視システムとしては、 複数のカメラの映像を時分割し て 1つの画面に順番に表示するものが多くみられる。 このシステムでは、 1 つの画面において一定時間ごとに異なる映像が順番に表示されるため、 表示 された映像と撮像しているカメラとの対応が分かりにくく非常に見づらいと いう問題がある。 また、 映像が時分割表示されるため重要なシーンを表示し 損なう可能性がある。 そこで、 複数のカメラの映像を 1つの画面に合成して同時に複数の映像を 表示する監視システムとして、 特開平 4一 2 8 0 5 9 4号公報に示すものが め ο。
このシステムは、 図 1に示すように、 複数 （ここでは 3つ） の監視カメラ 1— 1、 1一 2、 1一 3と、 監視カメラ 1一 1〜： L一 3に接続された AZD 変換部 3— 1、 3— 2、 3 _ 3と、 画像データを格納するメモリ 5 _ 1、 5 一 2、 5— 3と、 画像信号を処理する信号処理回路 7と、 信号処理回路 7を 制御する制御部 9と、 D ZA変換部 1 1と、 映像を表示するモユタ 1 3とを 有する。 信号処理回路 7は、 画像信号を選択する選択回路 1 5と、 複数の画 像を縮小して 1つの画面に合成する画面縮小合成回路 1 7とを有する。
このシステムにおいて、 各監視カメラ 1一 1〜 1一 3の映像は、 AZD変 換部 3— 1〜 3— 3を経てメモリ部 5— 1〜5— 3に出力される。 画面縮小 合成回路 1 7は、 すべての映像を縮小して 1つの画像に合成し、 選択回路 1 5に出力する。 信号処理回路 7が制御部 9から映像選択信号を受け取ると、 選択回路 1 5は、 映像選択信号に従い、 複数の監視カメラの映像の 1つ、 ま たは縮小合成された映像を選択し、 D /A変換部 1 1に出力する。 D ZA変 換部 1 1は、 映像信号をモニタ 1 3に出力する。
このように、 本システムでは、 複数の映像を表示画面が 1つしかない端末 に表示することができ、 ュ一ザは複数の映像を用いて全体像を容易に把握す ることができる。 また、 ユーザによる映像の切り替えが可能であるため、 ュ 一ザは 1つの映像を選択して見ることができる。
しかしながら、 上記した従来のシステムにおいては、 複数の映像を単純に 同じ大きさで縮小合成するため、 ユーザが見たい映像と見たくない映像とが 同じ大きさで合成され、ユーザにとって重要な映像が見にくくなつてしまう。 また、 ユーザが見たい映像に切り替えて表示する場合には、 ユーザが選択 していない映像中の重要なシーンを表示できないという問題がある。 特に監 視用途では異常時などの重要シーンの表示が可能であることが強く求められ るが、 従来のシステムでは、 重要シーンを見逃さないためには、 異常時など の重要シーンが映っている映像をユーザが自分で選択し表示させる必要があ る。 発明の開示
本発明の目的は、 複数の映像を 1つの画面に合成する映像合成装置におい て、 ユーザにとって重要な映像を自動的に表示することができ、 しかも、 そ の重要な映像を視覚的に見やすい画面構成に合成して表示することができる 映像合成装置を提供することである。
本発明の一形態によれば、 映像合成装置は、 複数の映像を 1つの画面に合 成する映像合成装置であって、 映像を入力する映像入力手段と、 映像の重要 度を示すトリガを生成するトリガ生成手段と、 生成されたトリガの重要度に 応じて画面構成を算出する画面構成算出手段と、 算出された画面構成に基づ いて、 入力された映像から、 合成する画像を作成する画像作成手段と、 作成 された画像を含む複数の画像を 1つの画面に合成する画面合成手段と、 を有 する。 図面の簡単な説明
図 1は、 従来の監視システムの一例を示す図、
図 2は、 本発明の一実施の形態に係る映像合成装置の構成を示すブロック 図、
図 3は、 本実施の形態に係る映像合成装置の動作を説明するためのフロー チヤ一ト、
図 4は、 図 3中の画面合成パラメータ算出処理の、 動作例 1における内容 を示すフローチャート、
図 5は、動作例 1における静止画合成による画面合成の概要を示す説明図、 図 6は、 図 3中の画面合成パラメータ算出処理の、 動作例 2における内容 を示すフローチヤ一ト、
図 7は、 動作例 2における切り出し領域算出方法の説明図、
図 8は、 動作例 2における切り出し合成による画面合成の概要を示す説明 図、
図 9は、 図 3中の画面合成パラメータ算出処理の、 動作例 3における内容 を示すフローチヤ一ト、
図 1 0は、 図 3中の映像蓄積処理の、 動作例 3における内容を示すフロー チヤ一ト、
図 1 1は、 動作例 3におけるループ合成による画面合成の概要を示す説明 図、
図 1 2は、 図 3中の画面合成パラメータ算出処理の、 動作例 4における内 容を示すフローチヤ一ト、
図 1 3は、 図 3中の画面合成パラメータ算出処理の、 動作例 5における内 容を示すフローチヤ一ト、
図 1 4は、 図 3中の画面合成パラメータ算出処理の、 動作例 6における内 容を示すフローチヤ一トである。 発明を実施するための最良の形態
本発明の骨子は、 複数の映像を 1つの画面に合成する際に、 映像の重要度 を示すトリガを用いて画面構成（具体的には画面合成パラメータ）を算出し、 この算出結果に基づいて画面合成を行うことである。 たとえば、 トリガ発生 時刻の映像を静止画として画面合成を行う場合や（後述する「静止画合成」 )、 トリガ発生位置の映像を拡大して画面合成を行う場合や （後述する 「切り出 し合成」）、 または、 トリガ発生前後のシーンがスロー再生されるように画面 合成を行う場合がある （後述する 「ループ合成」）。
また、 その際、 トリガの大きさに応じて画面合成パラメータを制御する。 たとえば、 トリガの大きさに応じて、 表示時間を制御したり （「静止画合成」 の場合）、拡大率を制御したり （「切り出し合成」の場合）、または、再生速度 - ループ区間 ·ループ回数を制御する （「ループ合成」 の場合）。 具体的には、 たとえば、 トリガが大きいほど、 表示時間を長くしたり、 拡大率を大きくし たり、 再生速度を遅く したり、 ループ区間を大きく したり、 または、 ループ 回数を多くする。
また、 その際、 トリガの大きさに応じてトリガ対象の映像の表示サイズを 制御する。たとえば、 トリガが大きいほど、映像の表示サイズを大きくする。 また、 その際、 画像を用いて画面合成の種類を表現する。 たとえば、 画像 の表示領域の枠の色または形状によって、 画面合成の種類を表現する。
なお、 ここで 「複数の映像」 とは、 複数のカメラの出力に基づく場合のほ かに、 1つのカメラの出力から複数の映像データを生成した場合をも含んだ 表現である。
また、 本明細書において、 入力映像を構成する 1つ 1つの画像を入力画像 と定義し、 入力画像において画面全体で構成される部分を 「メイン画像」 と 定義し、 入力画像の一部の領域で構成される画像であってメイン画像と合成 されるものを 「サブ画像」 と定義する。
以下、 本発明の実施の形態について、 図面を参照して詳細に説明する。 図 2は、 本発明の一実施の形態に係る映像合成装置の構成を示すプロック 図である。
この映像合成装置 1 0 0は、 複数の映像を 1つの画面に合成する機能を有 しており、映像を構成する画像を 1画像ごとに入力する映像入力部 1 0 2と、 映像の重要度を示すトリガを発生するトリガ発生部 1 0 4と、 トリガ発生部 1 0 4からのトリガを用いて後述する画面合成パラメータを算出するための 合成トリガを算出する合成トリガ算出部 1 0 6と、 合成トリガを用いて画面 合成の有無を判定し画面構成 （具体的には画面合成パラメータ） を算出する 画面構成算出部 1 0 8と、映像を蓄積する映像蓄積部 1 1 0と、入力画像（メ イン画像） との合成に用いられる画像 （サブ画像） を作成するサブ画像作成 部 1 1 2と、 サブ画像に当該サブ画像の画像情報を付加する画像情報付加部 1 1 4と、 複数の画像 （メイン画像とサブ画像） を 1つの画面に合成する画 面合成部 1 1 6とを有する。 映像合成装置 1 0 0には、 映像信号を発生する 映像信号発生部 2 0 0と、 合成後の映像 （画像） を符号化する映像符号化部 3 0 0とが接続されている。
なお、 映像信号発生部 2 0 0は、 図示しないが、 たとえば、 カメラと AZ D変換部で構成されている。 カメラ （および AZD変換部） の数は、 特に限 定されない。 映像信号発生部 2 0 0から出力される 1つ以上の映像は、 映像 合成装置 1 0 0内の映像入力部 1 0 2に与えられる。
映像入力部 1 0 2は、 映像信号発生部 2 0 0から出力された映像信号を映 像ごとに入力処理する。 具体的には、 入力した映像信号から同期信号を検出 して、 映像を構成する画像を 1画面ごとに画面構成算出部 1 0 8および映像 蓄積部 1 1 0に出力する。 その際、 映像入力部 1 0 2は、 個々の画像に固有 でありかつ時間が進むにつれて値が単調増加する画像番号を各画像に付加し て出力を行う。
トリガ発生部 1 0 4は、 映像の重要度を示すトリガを発生し、 合成トリガ 算出部 1 0 6に出力する。 ここで、 トリガとは、 より厳密には、 映像合成装 置 1 0 0に入力される映像内においてユーザにとって重要と判断される画像 が含まれる場合に発信され、 重要度の度合を示す値 （以下 「トリガ値」 とい う） を含む信号のことである。
具体的には、 たとえば、 異常な状態の有無を監視する監視システムに対し てこの映像合成装置 1 0 0を使用することを想定した場合、 トリガ発生部 1 0 4は、 たとえば、
( 1 ) 動き検出センサ
( 2 ) 動き認識センサ
( 3 ) 画像認識センサ
のうち少なく とも 1つのセンサによって構成されている。 動き検出センサは、被撮像映像内において、たとえば、侵入者の出現など、 突然動きが発生した領域を検出した場合に、 トリガを出力する。 この場合、 動きが大きいほどトリガ値が大きく、 重要度の度合が大きいものとする。 こ の動き検出センサは、 たとえば、 赤外線センサなどで構成されている。 よつ て、 この場合、 トリガは、 たとえば、 監視カメラに付属されたセンサまたは 監視力メラの近傍に設置されたセンサによる、 異常時などのあらかじめ設定 された特定の状態であること示すアラーム情報である。
動き認識センサは、 入力映像内において、 あらかじめ登録された正常な動 き以外の動きを持つ物体 (人物を含む) が存在する場合に、 トリガを出力す る。 この場合、 異常な動きが大きいほどトリガ値が大きく、 重要度の度合が 大きいものとする。 この動き認識センサは、 たとえば、 カメラなどで構成さ れている。 よって、 この場合、 トリガは、 たとえば、 映像中の物体の動きを 検出して得られる、 物体の動きの大きさを表す動き検出情報である。
画像認識センサは、 入力映像内において、 あらかじめ登録された物体が存 在する場合に、 トリガを出力する。 この場合、 認識結果が高いほどトリガ値 が大きく、 重要度の度合が大きいものとする。 この画像認識センサは、 たと えば、 画像処理装置などで構成されている。 よって、 この場合、 トリガは、 映像中における特定の物体の画像認識 （たとえば、 パターンマッチングなど の手法による) により得られる、 特定の物体が映像中に存在することを示す 画像認識結果である。
また、 トリガ発生部 1 0 4は、 入力映像内で重要とされるシーンが撮像さ れている場合、 トリガに加えて、 映像中のトリガ発生位置を表すトリガ位置 の情報を、 トリガと共に合成トリガ算出部 1 0 6に出力する。
なお、 トリガ発生部 1 0 4は、上記した動き検出センサ、動き認識センサ、 画像認識センサに限定されない。 たとえば、 ユーザからの画面合成要求を受 け付ける装置であってもよい。 この場合、 トリガは、 ユーザからの画面合成 要求である。 また、 入力映像内で重要と判断される基準は、 システムの用途によって変 わるため、 トリガは、 センサまたはユーザ要求により発信されるものに限定 されるわけではなく、 映像中のトリガ発生位置 （トリガ位置） および映像の 重要度の度合を示す値 （トリガ値） が含まれていれば、 どのような手段から 出力されるものであってもよい。
また、 トリガの発生源 （上記各種センサ、 ユーザ要求） は、 単独で使用し ても複数組み合わせて使用してもよい。
合成トリガ算出部 1 0 6は、 トリガ発生部 1 0 4からのトリガを用いて合 成トリガを算出し、 画面構成算出部 1 0 8に出力する。 ここで、 合成トリガ とは、 画面合成パラメータを算出するために用いられる値であって入力映像 の重要度の種類を示すトリガ種別とその重要度の度合を示すトリガ値の 2種 類の値を持つ信号のことである。
具体的には、 合成トリガ算出部 1 0 6は、 トリガ発生部 1 0 4から入力し たトリガの種類 (またはシステムの用途) に応じて、 合成トリガのトリガ種 別を、 たとえば、
( 1 ) 重要ショット （入力映像の特定時刻に重要な画像が含まれることを意 味する）
( 2 ) 重要エリア （入力映像の特定領域に重要な領域が含まれることを意味 する）
( 3 ) 重要シーン （入力映像の特定区間に重要なシーンが含まれることを意 味する）
のいずれかに決定する。
また、 合成トリガのトリガ値の大きさについては、 トリガ発生部 1 0 4か ら入力したトリガの大きさ、 つまり、 トリガ値が重要度の度合を示すため、 入力したトリガの大きさをそのまま用いる。
たとえば、 監視システムを想定した場合、 合成トリガ算出部 1 0 6は、 合 成トリガのトリガ種別を、 1 . トリガが動き検出センサによる場合は、 不審な侵入者が侵入した時刻の 画像が重要であり、 見逃すことを防ぐため、 「重要ショット」 に決定し、
2 . トリガが画像認識センサによる場合は、 あらかじめ登録された不審物 - 不審者などが重要であり、拡大して見やすくするため、 「重要エリア」 に決定 し、
3 . トリガが動き認識センサによる場合は、 異常な動きを持つ物体 ·人物が 存在するシーンが重要であるため、 「重要シーン」 に決定する。
この結果、 異常な状態の有無を監視する監視システムにおいては、 各種セ ンサによるトリガを、 映像内の重要性の意味を明確に表したトリガ種別に変 換することができる。 そのため、 映像の重要性を示すトリガ種別に従い、 重 要なシーンが見やすくなるように画面合成パラメータを決定することができ る。 この決定方法については後で詳述する。
また、 合成トリガ算出部 1 0 6は、 トリガ発生部 1 0 4からのトリガ位置 情報をそのまま画面構成算出部 1 0 8に出力する。
画面構成算出部 1 0 8は、 合成トリガ算出部 1 0 6からの合成トリガ （お よび必要に応じてトリガ位置情報） を用いて画面合成の有無を判定し画面構 成を算出する。 すなわち、 合成トリガを用いて、 画面合成を行うか否かを判 定し、 画面合成を行う場合は、 画面合成パラメータを算出し、 映像蓄積部 1 1 0、 サブ画像作成部 1 1 2、 画像情報付加部 1 1 4、 および画面合成部 1 1 6に出力する。 映像入力部 1 0 2からの入力画像は、 画面合成の有無の判 定結果にかかわらず、 画面合成部 1 1 6に出力される。
たとえば、 画面構成算出部 1 0 8は、 映像入力部 1 0 2から画像を入力す ると、 合成トリガ算出部 1 0 6からの合成トリガおよびトリガ位置情報を受 け付け、 合成トリガのトリガ種別と トリガ値、 ならびにトリガのトリガ位置 を内部メモリ （図示しない） に格納する。 ただし、 合成トリガ算出部 1 0 6 から合成トリガが出力されていない場合は、 合成トリガのトリガ値をゼロ ( 0 ) として内部メモリに格納する。 ここで、 画面構成算出部 1 0 8によって算出される画面合成パラメータの 1つは、 合成種別である。 合成種別は、 画面の合成方法を示すパラメータで あり、 たとえば、
( 1 ) 合成なし （入力画像をそのまま出力する）
( 2 ) 静止画合成 （入力画像の一部の領域に静止画のサブ画像を合成する）
( 3 )切り出し合成（入力画像の一部の領域に切り出しサブ画像を合成する）
( 4 ) ループ合成 （入力画像の一部の領域に特定シーンをサブ画像として合 成する）
のいずれかを示すものである。
たとえば、 合成トリガのトリガ値がゼ口以外の場合、 つまり、 合成トリガ を入力した場合は、 合成種別を、
1 . 合成トリガのトリガ種別が 「重要ショット」 の場合は、 入力映像内でト リガが出力された時刻に重要な画像が含まれるため、 「静止画合成」に決定し、
2 . 合成トリガのトリガ種別が 「重要ェリァ」 の場合は、 入力映像內でトリ ガが出力された領域に重要な物体などが含まれるため、 「切り出し合成」に決 定し、
3 . 合成トリガのトリガ種別が 「重要シーン」 の場合は、 入力映像内でトリ ガが出力された時刻前後に重要なシーンが含まれるため、 「ループ合成」に決 定する。
このように合成トリガのトリガ種別によって合成種別を決定することによ り、 監視システムにおいては、 ユーザにとって重要な映像を見やすく合成す ることができる。
画面合成パラメータの残りのパラメータは、 合成種別ごとに異なる。
たとえば、 合成種別が静止画合成の場合、 画面構成算出部 1 0 8で算出さ れる画面合成パラメータは、合成種別のほかに、たとえば、対象サブ画像（サ ブ画像作成に用いられる画像の画像番号を示すパラメータ） およびサブ画像 表示時間 （サブ画像を合成して連続表示する時間を示すパラメータ） である (合計 3つ）。
また、 合成種別が切り出し合成の場合、 画面構成算出部 1 0 8で算出され る画面合成パラメータは、 合成種別のほかに、 たとえば、 切り出し中心座標 (サブ画像として切り出す画像の入力画像における中心座標を示すパラメ一 タ） および切り出しサイズ （サブ画像として切り出す画像の大きさ示すパラ メータ） である （合計 3つ）。
また、 合成種別がループ合成の場合、 画面構成算出部 1 0 8で算出される 画面合成パラメータは、 合成種別のほかに、 たとえば、 第 1のパターン （以 下 「パターン 1」 という） では、 合成シーン中心時刻 (合成するシーンの中 心時刻に位置する画像の画像番号を示すパラメータ） および再生速度 （サブ 画像として繰り返し再生するシーンの再生速度を示すパラメータ）であり (合 計 3つ）、 第 2のパターン (以下 「パターン 2」 という） では、 合成シーン中 心時刻およびループ区間 （サブ画像として繰り返し再生するシーンを構成す る画像の枚数を示すパラメータ) であり (合計 3つ）、 第 3のパターン （以下 「パターン 3」 という） では、 合成シーン中心時刻、 ループ回数 (サブ画像 として繰り返し再生するシーンの繰り返し回数を示すパラメータ）、およびフ レームカウンタ (サブ画像として合成する残りの画像数を示すパラメータ) である （合計 4つ）。
さらに、 トリガ値に応じてサブ画像のサイズを変更する場合は、 画面合成 パラメータとして、 各合成種別において、 サブ画像サイズ (サブ画像の合成 サイズを示すパラメータ） が追加される。
画面合成パラメータの具体的な算出方法については、 合成種別ごとに、 後 で詳細に説明する。
映像蓄積部 1 1 0は、 映像入力部 1 0 2から出力された画像を内部メモリ に格納する。 映像を格納する際、 映像蓄積部 1 1 0は、 画面構成算出部 1 0
8から出力される画面合成パラメータに基づいて、 内部メモリを書き換える か否かを決定する。 たとえば、 画面合成パラメータの合成種別が 「合成なし」 の場合は、 入力 画像を用いて内部メモリの書き換えを行う。
また、 合成種別が 「静止画合成」 の場合において、 画面合成パラメータの 対象サブ画像の番号が入力画像の画像番号と異なる場合は、 内部メモリの書 き換えを行わない。 逆に、 合成種別が 「静止画合成」 の場合において、 合成 パラメータの対象サブ画像の番号が入力画像の画像番号と同一である場合は、 入力画像を用いて内部メモリの書き換えを行う。
また、映像蓄積部 1 1 0は、合成種別が「合成なし」以外の場合、つまり、
「静止画合成」、 「切り出し合成」、 または 「ループ合成」 の場合、 内部メモリ に格納された画像をサブ画像作成部 1 1 2に出力する。
また、 映像蓄積部 1 1 0は、 合成種別として 「ループ合成」 に対応可能な 場合、 特に、 複数の画像を格納可能な内部メモリを有しており、 映像入力部
1 0 2から出力された複数の画像を内部メモリに格納可能である。この場合、 内部メモリは、 複数画像格納用のメモリ領域のほかに、 画像の格納位置を示 す保存カウンタと、 画像の読み出し位置を示す読み出しカウンタを有する。 また、 各カウンタの取り得る最大値は、 内部メモリに格納可能な画像数であ り、 カウンタの値を更新して最大値を超える場合は、 カウンタの値を 「1」 に戻す。 すなわち、 内部メモリは、 画像の保存 ·読み出しごとにカウンタを 更新することにより、 周期的な画像データを格納し読み出すことが可能な構 造になっている。
サブ画像作成部 1 1 2は、 画面構成算出部 1 0 8から出力される画面合成 パラメータに基づいて、 映像蓄積部 1 1 0から出力される画像を用いてサブ 画像を作成する。
具体的には、 たとえば、 画面構成パラメータの合成種別が 「静止画合成」 の場合は、映像蓄積部 1 1 0から出力される、サブ画像の対象となる画像を、 サブ画像のサイズに縮小し、 画像情報付加部 1 1 4に出力する。 ここで、 サ ブ画像のサイズは、 あらかじめ決められているものとし、 入力画像のサイズ を超えないものとする。 ただし、 サブ画像のサイズは、 映像の内容に応じて 変更可能である。
また、 合成種別が 「切り出し合成」 の場合は、 映像蓄積部 1 1 0から出力 されるサブ画像対象の画像を用いてサブ画像の切り出しおよびサイズの縮小 を行い、 画像情報付加部 1 1 4に出力する。 サブ画像の切り出しは、 たとえ ば、 サブ画像対象の画像において画面合成パラメータの切り出し中心座標を 中心とし、 水平，垂直方向の切り出しサイズで定義される切り出し領域 （後 述する図 7参照） を切り出すことによって行われる。 ここでも、 サブ画像の サイズは、 あらかじめ決められているものとし、 入力映像のサイズを超えな いものとする。 ただし、 サブ画像のサイズは、 映像の内容に応じて変更可能 である。
なお、 サプ画像作成処理の具体的な内容については、 合成種別ごとに、 後 で詳細に説明する。
画像情報付加部 1 1 4は、 画面構成算出部 1 0 8から出力される画面合成 パラメータの合成種別に応じて、 サブ画像作成部 1 1 2から出力されるサブ 画像の外枠の色を変更する。 具体的には、 たとえば、 合成種別が 「静止画合 成」 の場合は、 サブ画像の外枠の色を赤色に変更し、 「切り出し合成」 の場合 は、 青色に変更し、 「ループ合成」 の場合は、 黄色に変更する。 ただし、 合成 種別に対応する外枠の色は、 上記の例に限定されるわけではなく、 サブ画像 が静止画、 切り出し画像、 ループ再生画像のいずれであるかを表すことがで きればどのような色であってもよい。 外枠に合成種別を示す外枠の色が付加 されたサブ画像は、 画面合成部 1 1 6に出力される。
なお、 サブ画像の合成種別を表現する方法としては、 サブ画像の外枠の色 を変更する方法以外に、 たとえば、 サブ画像の形状を変更することも可能で ある。 この方法については、 後で詳述する。
画面合成部 1 1 6は、 画面構成算出部 1 0 8から出力される画像 （メイン 画像） と、 画像情報付加部 1 1 4から出力されるサブ画像とを 1つの画面に 合成し、 合成後の画像 （合成画像） を映像符号化部 3 0 0に出力する。 ここ で、 画面合成に当たって、 サブ画像をメイン画像に合成する位置はあらかじ め決められているものとし、 メイン画像中のサブ画像を合成する位置にサブ 画像を重ねて合成画像を作成する。 なお、 サブ画像の合成位置は、 入力映像 の特性に応じて変更できるものとし、 いかなる位置であってもよい。
次いで、 上記構成を有する映像合成装置 1 0 0の動作について、 いくつか の具体的な例を用いて説明する。 以下では、 説明を簡単にするため、 映像信 号発生部 2 0 0は 1組のカメラと AZD変換部で構成されており、 映像合成 装置 1 0 0には 1つの映像のみが入力されるものとする。 また、 必要に応じ て、 たとえば、 異常な状態の有無を監視する監視システムに本映像合成装置 1 0 0を使用した場合を想定して説明を行う。
(動作例 1 )
動作例 1では、 合成トリガを用いた画面合成の判定結果として画面合成を 行うときに、 トリガが発生した時刻の画像を静止画とし、 この静止画をサブ 画像として入力画像の一部の領域に合成する場合、つまり、 「静止画合成」 を 行う場合について説明する。 また、 ここでは、 トリガの大きさが大きいほど 表示時間を長く設定するものとする。
図 3は、 本実施の形態に係る映像合成装置 1 0 0の動作を説明するための フローチヤ一トである。
まず、 ステップ S 1 0 0 0では、 映像入力部 1 0 2で、 映像信号を入力す る映像入力処理を行う。 具体的には、 映像信号発生部 2 0 0から入力した映 像信号から同期信号を検出して、 映像を構成する画像を 1画面ごとに画面構 成算出部 1 0 8および映像蓄積部 1 1 0に出力する。 その際、 映像入力部 1 0 2から出力される各画像には、 個々の画像に固有でありかつ時間が進むに つれて値が単調増加する画像番号を付加する。
そして、ステップ S 2 0 0 0では、 トリガ発生部 1 0 4においてトリガ（重 要度合を表すトリガ値を含む） が発生したか否かを判断する。 この判断は、 たとえば、 合成トリガ算出部 1 0 6にトリガ発生部 1 0 4からの信号 （トリ ガ） が入力されたか否かによってなされる。 たとえば、 監視システムを想定 した場合、 上記のように、 トリガは、 動き検出センサ、 動き認識センサ、 画 像認識センサなどのセンサまたはユーザ要求によつて発信される。 この判断 の結果としてトリガが発生した場合は （S 2 0 0 0 ： Y E S )、 ステップ S 3 0 0 0に進み、 トリガが発生していない場合は （S 2 0 0 0 ： N O ) , ただち にステップ S 4 0 0 0に進む。
ステップ S 3 0 0 0では、 合成トリガ算出部 1 0 6で、 トリガを入力して 合成トリガを算出する合成トリガ算出処理を行う。 具体的には、 トリガ発生 部 1 0 4からのトリガを用いて合成トリガ （トリガ種別と トリガ値を含む） を算出し、 画面構成算出部 1 0 8に出力する。 たとえば、 上記のように、 入 力したトリガの種類 （またはシステムの用途） に応じて、 合成トリガのトリ ガ種別を、 たとえば、 （1 ) 重要ショット、 （2 ) 重要エリア、 （3 ) 重要シー ンのいずれかに決定する。また、合成トリガのトリガ値の大きさについては、 入力したトリガの大きさをそのまま用いる。
たとえば、 監視システムを想定した場合、 上記のように、 合成トリガのト リガ種別は、
1 . トリガが動き検出センサによる場合は、 不審な侵入者が侵入した時刻の 画像が重要であり、 見逃すことを防ぐため、 「重要ショット」 に決定され、 2 . トリガが画像認識センサによる場合は、 あらかじめ登録された不審物 - 不審者などが重要であり、拡大して見やすくするため、 「重要エリア」 に决定 され、
3 . トリガが動き認識センサによる場合は、 異常な動きを持つ物体 ·人物が 存在するシーンが重要であるため、 「重要シーン」 に決定される。
なお、 本動作例では、 「静止画合成」 を行うため、 トリガ種別は 「重要ショ ット」 に決定される。
そして、 ステップ S 4 0 0 0では、 画面構成算出部 1 0 8で、 画面合成の パラメータを算出する画面合成パラメータ算出処理を行う。 具体的には、 合 成トリガ算出部 1 0 6からの合成トリガを用いて、 まず画面合成を行うか否 かを判定し、 この判定結果として画面合成を行う場合は、 画面合成パラメ一 タを算出し、 映像蓄積部 1 1 0、 サブ画像作成部 1 1 2、 画像情報付加部 1 1 4、 および画面合成部 1 1 6に出力する。 一方、 映像入力部 1 0 2からの 入力画像については、 画面合成の判定結果にかかわらず、 画面合成部 1 1 6 に出力する。
たとえば、 上記のように、 映像入力部 1 0 2から画像を入力すると、 合成 ト Vガ算出部 1 0 6からの合成トリガを受け付け、 合成トリガのトリガ種別 と トリガ値を内部メモリに格納する。 ただし、 合成トリガ算出部 1 0 6から 合成トリガが出力されていない場合は、 合成トリガのトリガ値をゼロ ( 0 ) として内部メモリに格納する。 そして、 画面合成の判定を、 合成トリガのト リガ値がゼロか否か、 つまり、 合成トリガの入力があつたか否かによって行 う。 また、 合成トリガのトリガ種別に基づいて、 合成種別などの画面合成パ ラメータを決定する。
なお、本動作例では、 「静止画合成」 を行うため、画面合成パラメータとし て、 合成種別 （ここでは 「静止画合成」）、 対象サブ画像、 サブ画像表示時間 の 3つを算出する。 ここで、 「対象サブ画像」 とは、 上記のように、 サブ画像 作成に用いられる画像の画像番号を示すパラメータであり、 「サブ画像表示 時間」 とは、 上記のように、 サブ画像を合成して連続表示する時間を示すパ ラメータである。
図 4は、 図 3中の画面合成パラメータ算出処理の、 動作例 1における内容 を示すフローチヤ一トである。
まず、 ステップ S 4 1 0 0では、 合成トリガのトリガ値がゼロであるか否 力、 つまり、 合成トリガの入力の有無を判断する。 この判断の結果として合 成トリガのトリガ値がゼロでない場合、 つまり、 合成トリガの入力があった 場合は（S 4 1 0 0 : N O ) , ステップ S 4 1 1 0に進み、 合成トリガのトリ ガ値がゼロである場合、 つまり、 合成トリガの入力がない場合は（S 4 1 0 0 ： Y E S )、 ステップ S 4 1 4 0に進む。
ステップ S 4 1 1 0では、 合成トリガのトリガ値がゼロ以外の場合、 つま り、 合成トリガの入力があった場合であるため、 合成種別を所定の基準に従 つて決定する。 たとえば、 上記のように、
1 . 合成トリガ種別が 「重要ショ ッ ト」 の場合は、 入力映像内でトリガが出 力された時刻に重要な画像が含まれるため、 「静止画合成」 に決定し、
2 . 合成トリガ種別が 「重要エリア」 の場合は、 入力映像内でトリガが出力 された領域に重要な物体などが含まれるため、 「切り出し合成」 に決定し、 3 . 合成トリガ種別が 「重要シーン」 の場合は、 入力映像内でトリガが出力 された時刻前後に重要なシーンが含まれるため、 「ループ合成」 に決定する。 なお、 本動作例では、 トリガ種別が 「重要ショッ ト」 であるため、 合成種 別を 「静止画合成」 に決定する。
そして、 ステップ S 4 1 2 0では、 対象サプ画像を決定する。 ここでは、 対象サブ画像を、 現在の入力画像に決定する。
そして、 ステップ S 4 1 3 0では、 サブ画像表示時間を決定する。 具体的 には、 サブ画像の連続表示時間を、 トリガ値の大きさに基づいて算出する。 たとえば、 サブ画像表示時間 time_di sp (t)は、 次の (式 1 )、 time disp(t) = (り * MAX time … (式 1 )
一 MAX一 Trigger 一
time— disp(t)：時刻 tにおけるサブ画像の表示時間
Trigger(t)：時刻 tにおけるトリガ値
MAX— rigger： トリガ値の取り得る最大値
MAX_time：サブ画像表示時間の設定最大値
を用いて算出される。 （式 1 ) に示すように、 サブ画像の連続表示時間は、 ト リガ値が大きいほど大きくなる。
なお、 （式 1 ) は、 算出方法の一例であり、 これに限定されない。 サブ画像 表示時間の算出方法は、 トリガ値が大きいほど表示時間が大きくなるような 方法であれば、 どのような方法でもよい。
一方、 ステップ S 4 1 4 0では、 合成トリガのトリガ値がゼロの場合、 つ まり、 合成トリガの入力がない場合であるため、 画面合成パラメータを、 前 回算出時のパラメータに設定する。
そして、 ステップ S 4 1 5 0では、 サブ画像の連続表示時間を更新する。 たとえば、 サブ画像表示時間 time— di sp (t)は、 次の （式 2 )、
time diso(T) = time disv(t) - (Τ - f) … 、式 2 )
T：現在の時刻
t：前回画面合成パラメータを算出した時刻
を用いて更新される。すなわち、 （式 2 )に示すように、サブ画像表示時間は、 前回算出時のサブ画像表示時間から、 前回画面合成パラメータを算出した時 刻から現在までの経過時間を引き算することによって更新される。
そして、 ステップ S 4 1 6 0では、 合成種別の更新を行う。 具体的には、 ステップ S 4 1 5 0におけるサブ画像表示時間更新処理の結果として、 サブ 画像表示時間がゼロ以下となった場合は、 合成種別を 「合成なし」 に変更す ステップ S 4 1 7 0では、 ステップ S 4 1 0 0〜ステップ S 4 1 6 0で算 出した 3つの画面合成パラメータ （合成種別、 対象サブ画像、 サブ画像表示 時間） を、 映像蓄積部 1 1 0、 サブ画像作成部 1 1 2、 画像情報付加部 1 1 4、 および画面合成部 1 1 6に出力するとともに、 入力映像 （映像入力部 1 0 2からの入力画像） を画面合成部 1 1 6に出力した後、 図 3のメインフロ 一チヤ一トにリターンする。
そして、 ステップ S 5 0 0 0では、 映像蓄積部 1 1 0で、 映像の蓄積を行 う映像蓄積処理を行う。 具体的には、 映像入力部 1 0 2から出力された画像 を内部メモリに格納する。 その際、 画面構成算出部 1 0 8からの画面合成パ ラメータに基づいて、内部メモリを書き換えるか否かを決定する。たとえば、 画面合成パラメータの合成種別が 「合成なし」 の場合は、 入力画像を用いて 内部メモリの書き換えを行う。 また、 合成種別が 「静止画合成」 の場合にお いて、 画面合成パラメータの対象サブ画像の番号が入力画像の画像番号と異 なる場合は、 内部メモリの書き換えを行わないが、合成種別が 「静止画合成」 の場合において、 合成パラメータの対象サブ画像の番号が入力画像の画像番 号と同一である場合は、 入力画像を用いて内部メモリの書き換えを行う。 本動作例では、 「静止画合成」を行うため、内部メモリに格納された画像は、 サブ画像作成部 1 1 2に出力される。
そして、 ステップ S 6 0 0 0では、 サブ画像作成部 1 1 2で、 画面合成に 用いるサブ画像を作成するサブ画像作成処理を行う。 具体的には、 画面構成 算出部 1 0 8から出力される画面合成パラメータに基づいて、 映像蓄積部 1 1 0から出力される画像を用いてサブ画像を作成し、 作成したサブ画像を画 像情報付加部 1 1 4に出力する。
たとえば、 本動作例のように 「静止画合成」 を行う場合は、 映像蓄積部 1 1 0から出力される、 サブ画像の対象となる画像を、 サブ画像のサイズに縮 小し、 画像情報付加部 1 1 4に出力する。 ここで、 上記のように、 サブ画像 のサイズは、 あらかじめ決められているものとし、 入力画像のサィズを超え ないものとする。 ただし、 サブ画像のサイズは、 映像の内容に応じて変更可 能である。
そして、 ステップ S 7 0 0 0では、 画像情報付加部 1 1 4で、 サブ画像の 映像情報を付加する画像情報付加処理を行う。 具体的には、 たとえば、 画面 構成算出部 1 0 8から出力される画面合成パラメータの合成種別に応じて、 サブ画像作成部 1 1 2から出力されるサブ画像の外枠の色を変更し、 外枠の 色が変更されたサブ画像を画面合成部 1 1 6に出力する。
たとえば、 本動作例のように合成種別が 「静止画合成」 の場合は、 サブ画 像の外枠の色を赤色に変更する。 ただし、 外枠の色は赤色に限定されるわけ ではなく、 サブ画像が静止画であることを表すことができればどのような色 であってもよい。
そして、 ステップ S 8 0 0 0では、 画面合成部 1 1 6で、 画像を 1つの画 面に合成する画面合成処理を行う。 具体的には、 画面構成算出部 1 0 8から 出力される画像 （メイン画像） と、 画像情報付加部 1 1 4から出力されるサ ブ画像とを 1つの画面に合成し、 合成後の画像 （合成画像） を映像符号化部 3 0 0に出力する。 画面合成に当たっては、 上記のように、 サブ画像をメイ ン画像に合成する位置はあらかじめ決められており、 メイン画像中のサブ画 像を合成する位置にサブ画像を重ねて合成画像を作成する。 ただし、 サブ画 像の合成位置は、 入力映像の特性に応じて変更可能である。
そして、 ステップ S 9 0 0 0では、 ステップ S 1 0 0 0〜ステップ S 8 0 ◦ 0の一連の映像合成処理を終了するか否かを判断する。 この判断は、 たと えば、 あらかじめ設定された時間もしくはフレーム数を超えたか否か、 また は、 ユーザから終了要求がなされた否かによつて行われる。 この結果、 あら かじめ設定された時間もしくはフレーム数を超えた場合、 または、 ユーザか ら終了要求がなされた場合は（S 9 0 0 0 ： Y E S )、 上記一連の映像合成処 理を終了し、 そうでない場合は（S 9 0 0 0 ： N O ) , ステップ S 1 0 0 0に 戻る。
図 5は、 上記した 「静止画合成」 による画面合成の概要を示す説明図であ る。
図 5において、 「4 0 1」 は、 現在の入力画像、 「4 0 3」 は、 縮小対象と なる対象サブ画像、 「4 0 5」は、対象サブ画像 4 0 3を縮小して作成したサ ブ画像、 「4 0 7」 は、 サブ画像 4 0 5の画像情報 （合成種別） を外枠の色で 表現したサブ画像、 「4 0 9」は、入力画像 4 0 1と枠変更後のサブ画像 4 0 7とを重ね合わせて合成した合成画像である。
このように、 「静止画合成」 を行う場合は、 図 5に示すように、合成画像 4 0 9内に入力画像と、 トリガが発生した時刻の画像 （縮小画像） とを同時に 表示することができる。 しかも、 サブ画像については、 その外枠の色によつ て、 サブ画像の状態 （種別： ここでは 「静止画合成」） を表すことができる。 このように、 本動作例によれば、 映像の重要度を表すトリガの値が大きい ほど、 トリガ発生時刻の映像を静止画として長い時間表示されるように制御 して画像合成を行うため、 合成された映像を符号化し伝送路を通じて、 受信 端末で表示することにより、 ユーザは 1つの画面しかない受信端末において も、 現在の映像を見るだけでなく、 重要な時刻の映像を静止画として同時に 見ることができ、 しかも、 重要度が高い映像ほど長く見ることができる。 また、 外枠の色とサブ画像の内容との対応が既知である場合は、 ユーザは 合成画像以外の情報を送受信することなく、 サブ画像の内容をサブ画像の枠 の色で判断することができる。 すなわち、 従来のシステムでは、 複数の映像 を単純に縮小合成するだけであるため、 単純に縮小合成された映像には各映 像の状態などを示す付加情報が含まれておらず、 したがって、 各映像の付加 情報を知るためには、 映像以外に付加情報の送受信および表示を行う必要が あり、 システムが複雑となるが、 本発明では、 その不都合を解消することが できる。
なお、 本動作例では、 メイン画像に入力画像、 サブ画像に静止画を表示す る例を示したが、 これに限定されるわけではなく、 メイン画像に静止画を表 示し、 サブ画面に入力画像を表示することも可能である。
また、入力映像は 1つに限らず、複数の場合でも静止画合成は可能である。 (動作例 2 )
動作例 2では、 合成トリガを用いた画面合成の判定結果として画面合成を 行うときに、 画像領域の中でトリガが発生した位置を中心とする領域を切り 出し、 この切り出した領域の画像をサブ画像として入力画像の一部の領域に 合成する場合、つまり、 「切り出し合成」を行う場合について説明する。また、 ここでは、 トリガの大きさが大きいほど切り出しの大きさを小さく設定する ものとする。
なお、 ここでは、 図 3を用いて動作例 1と処理が異なる部分を中心に説明 を行う。
ステップ S I 0 0 0〜ステップ S 3 0 0 0の処理は、 動作例 1と同様であ るため、 その説明を省略する。 ただし、 動作例 1では言及しなかったが、 入 力映像内で重要とされるシーンが撮像されている場合、 上記のように、 トリ ガ発生部 1 0 4からは、 トリガ（重要度合を表すトリガ値を含む）に加えて、 画面中のトリガ発生位置を表すトリガ位置の情報も、 トリガとともに合成ト リガ算出部 1 0 6に出力される。 合成トリガ算出部 1 0 6に入力されたトリ ガ位置情報は、 合成トリガとともに画面構成算出部 1 0 8に出力される。 なお、本動作例では、 「切り出し合成」 を行うため、 ステップ S 3 0 0 0の 合成トリガ算出処理において、 トリガ種別は 「重要エリア」 に決定される。 そして、 ステップ S 4 0 0 0では、 動作例 1と同様に、 画面合成パラメ一 タ算出処理を行う。 ただし、 ここでは、 映像入力部 1 0 2から画像を入力す ると、 合成トリガ算出部 1 0 6からの合成トリガぉよびトリガ位置情報を受 け付け、 合成トリガのトリガ種別と トリガ値、 ならびにトリガのトリガ位置 を内部メモリに格納する。
なお、本動作例では、 「切り出し合成」 を行うため、画面合成パラメータと して、 合成種別 （ここでは 「切り出し合成」）、 切り出し中心座標、 切り出し サイズの 3つを算出する。ここで、 「切り出し中心座標」とは、上記のように、 サブ画像として切り出す画像の入力画像における中心座標を示すパラメータ であり、 「切り出しサイズ」 とは、 上記のように、 サブ画像として切り出す画 像の大きさ示すパラメータである。
図 6は、 図 3中の画面合成パラメータ算出処理の、 動作例 2における内容 を示すフローチャートである。 なお、 図 4に示す動作例 1と共通する処理に ついては簡単に説明するにとどめる。
まず、 ステップ S 4 2 0 0では、 動作例 1と同様に （図 4中のステップ S 4 1 0 0参照）、合成トリガのトリガ値がゼロであるか否か、つまり、合成ト リガの入力の有無を判断する。 この判断の結果として合成トリガのトリガ値 がゼロでない場合、つまり、合成トリガの入力があった場合は（S 4 2 0 0 : N O )、ステップ S 4 2 1 0に進み、合成トリガのトリガ値がゼロである場合、 つまり、 合成トリガの入力がない場合は（S 4 2 0 0 ： Y E S )、 ステップ S 4 2 4 0に進む。
ステップ S 4 2 1 0では、 動作例 1と同様に （図 4中のステップ S 4 1 1 0参照）、合成トリガのトリガ値がゼロ以外の場合、つまり、合成トリガの入 力があった場合であるため、 合成種別を所定の基準に従って決定する。 ただ し、 本動作例では、 トリガ種別が 「重要ェリア」 であり、 入力映像内でトリ ガが出力された領域に重要な物体などが含まれるため、 合成種別を 「切り出 し合成」 に決定する。
そして、 ステップ S 4 2 2 0では、 切り出し中心座標を決定する。 ここで は、 切り出し中心座標をトリガ位置に決定する。
そして、 ステップ S 4 2 3 0では、 切り出しサイズを決定する。 具体的に は、 サブ画像の切り出しサイズをトリガ値の大きさに基づいて算出する。 た とえば、 サブ画像の水平方向の切り出しサイズ cut_s ize— h (t)と垂直方向の 切り出しサイズ cut_size— V (t)は、 それぞれ、 次の （式 3 )、 （式 4 )、 cut size h(t) = MAX一 T''lggei' 疆 size h … （式 3 )
一 Trigger {t) _
. . 、 MAX Trigger · ,十 ハ
cut一 size v(t) = = ~~― "· MIN _ size v ··· (式 4 )
- - Trigger ) ― - cut一 size— h(t)：時刻 tにおけるサブ画像の水平方向の切り出しサイズ c t_size_v(t)：時刻 tにおけるサブ画像の垂直方向の切り出しサイズ
Trigger(t)：時刻 tにおけるトリガ値
MAX— Trigger： トリガ値の取り得る最大値
MIN— size— h：サブ画像切り出しサイズの水平方向の設定最小値
MIN— size— V：サブ画像切り出しサイズの垂直方向の設定最小値 を用いて算出される。 （式 3 )、 （式 4 ) に示すように、サブ画像の切り出しサ ィズは、 トリガ値が大きいほど小さくなる。 ただし、 切り出しサイズは、 入 力画像の大きさを超えないものとする。
図 7は、 この切り出し領域算出方法の説明図である。図 7において、 「5 0 3」 は、 サブ画像対象の入力画像、 「5 0 5」 は、 トリガ位置 （ここでは切り 出し中心座標に等しい）、 「5 0 7」 は、 トリガ値に基づいて算出される切り 出しサイズにより定義される切り出し領域である。
なお、 （式 3 )、 （式 4 ) は、 算出方法の一例であり、 これに限定されない。 切り出しサイズの算出方法は、 トリガ値が大きいほどサイズが小さくなるよ うな方法であれば、 どのような方法でもよい。
—方、 ステップ S 4 2 4 0では、 合成トリガのトリガ値がゼロの場合、 つ まり、 合成トリガの入力がない場合であるため、 画面合成パラメータを、 前 回算出時のパラメータに設定する。
ステップ S 4 2 5 0では、 ステップ S 4 2 0 0〜ステップ S 4 2 4 0で算 出した 3つの画面合成パラメータ （合成種別、 切り出し中心座標、 切り出し サイズ） を、 映像蓄積部 1 1 0、 サブ画像作成部 1 1 2、 画像情報付加部 1 1 4、 および画面合成部 1 1 6に出力するとともに、 入力映像 （映像入力部 1 0 2からの入力画像) を画面合成部 1 1 6に出力した後、 図 3のメインフ ローチャートにリターンする。
そして、 ステップ S 5 0 0 0では、 動作例 1と同様に、 映像入力部 1 0 2 から出力された画像を内部メモリに格納する。 本動作例では、 「切り出し合 成」 を行うため、 内部メモリに格納された画像は、 サブ画像作成部 1 1 2に 出力される。
そして、 ステップ S 6 0 0 0では、 動作例 1と同様に、 画面構成算出部 1 0 8から出力される画面合成パラメータに基づいて、 映像蓄積部 1 1 0から 出力される画像を用いてサブ画像を作成し、 作成したサブ画像を画像情報付 加部 1 1 4に出力する。
ただし、 本動作例のように 「切り出し合成」 を行う場合は、 映像蓄積部 1 1 0から出力される、 サブ画像の対象となる画像を用いて、 サブ画像の切り 出しおよびサイズの拡大 '縮小を行い、 結果を画像情報付加部 1 1 4に出力 する。 サブ画像の切り出しは、 図 7に示すように、 サブ画像対象の入力画像 5 0 3において画面合成パラメータの切り出し中心座標 G (cx，Cy) (トリガ位 置 5 0 5に等しい） を中心と し、 水平 · 垂直方向の切り出しサイズ cut_s ize_h (t) , cut_size_v (t)で定義される切り出し領域 5 0 7を切り出す ことによって行われる。
ここで、 上記のように、 サブ画像のサイズは、 あらかじめ決められている ものとし、 入力画像のサイズを超えないものとする。 ただし、 サブ画像のサ ィズは、 映像の内容に応じて変更可能である。
そして、 ステップ S 7 0 0 0では、 動作例 1と同様に、 画面構成算出部 1 0 8から出力される画面合成パラメータの合成種別に応じて、 サブ画像作成 部 1 1 2から出力されるサプ画像の外枠の色を変更し、 外枠の色が変更され たサブ画像を画面合成部 1 1 6に出力する。
ただし、 本動作例のように合成種別が 「切り出し合成」 の場合は、 サブ画 像の外枠の色を青色に変更する。 もっとも、 外枠の色は青色に限定されるわ けではなく、 サブ画像が切り出し画像であることを表すことができればどの ような色であってもよい。
ステップ S 8 0 0 0およびステツプ S 9 0 0 0の処理は、 動作例 1と同様 であるため、 その説明を省略する。
図 8は、 上記した 「切り出し合成」 による画面合成の概要を示す説明図で ある。
図 8において、 「5 0 1」 は、 現在の入力画像、 「5 0 3」 は、 切り出し対 象となる対象サブ画像、 「 5 0 5」は、トリガが発生した画像中のトリガ位置、 「 5 0 7」 は、切り出す領域を示す切り出し領域、 「 5 0 9」 は、 対象サブ画 像 5 0 3を切り出しかつサイズ調整して作成したサブ画像、 「5 1 1」 は、サ ブ画像 5 0 9の画像情報（合成種別） を外枠の色で表現したサブ画像、 「5 1 3 J は、 入力画像 5 0 1と枠変更後のサブ画像 5 1 1とを重ね合わせて合成 した合成画像である。
このように、 「切り出し合成」 を行う場合は、 図 8に示すように、合成画像 5 1 3内に入力画像と、 トリガが発生した位置を中心として切り出し拡大 · 縮小した画像とを同時に表示することができる。 しかも、 サブ画像について は、 その外枠の色によって、 サブ画像の状態 （種別： ここでは 「切り出し合 成」） を表すことができる。
このように、 本動作例によれば、 映像の重要度を表すトリガの値が大きい ほど、 トリガ発生位置を中心とする領域の切り出しサイズが小さくなるよう に制御して切り出し画像合成を行うため、 合成された映像を符号化し伝送路 を通じて、 受信端末で表示することにより、 ユーザは 1つの画面しかない受 信端末においても、 現在の映像を見るだけでなく、 重要な位置の映像を切り 出し拡大 '縮小して同時に見ることができ、 しかも、 重要度が高い映像ほど 重要な位置の画像を大きく拡大して見ることができる。
また、 外枠の色とサプ画像の内容との対応が既知である場合は、 ユーザは 合成画像以外の情報を送受信することなく、 サブ画像の内容をサブ画像の外 枠の色で判断することができる。
なお、 本動作例では、 メイン画像に入力画像、 サブ画像に切り出し画像を 表示する例を示したが、 これに限定されるわけではなく、 メイン画像に切り 出し画像を表示し、 サブ画面に入力画像を表示することも可能である。
また、 入力映像は 1つの場合に限らず、 複数の場合でも切り出し合成は可 能である。
(動作例 3 )
動作例 3では、 合成トリガを用いた画面合成の判定結果として画面合成を 行うときに、 トリガが発生した時刻を中心とする前後の画像で構成されるシ ーンが繰り返し再生されるように、 そのシーンをサブ画像として入力画像の 一部の領域に合成する場合、つまり、 「ループ合成」 を行う場合について説明 する。 また、 ここでは、 「ループ合成」 において、 トリガの大きさが大きいほ ど、 繰り返し再生するシーンの再生速度を小さく設定するものとする （パタ ーン 1 )。
なお、 ここでは、 図 3を用いて動作例 1と処理が異なる部分を中心に説明 を行う。
ステップ S 1 0 0 0〜ステップ S 3 0 0 0の処理は、 動作例 1と同様であ るため、 その説明を省略する。 ただし、本動作例では、 「ループ合成」 を行う ため、ステップ S 3 0 0 0の合成トリガ算出処理において、 トリガ種別は「重 要シーン」 に決定される。
そして、 ステップ S 4 0 0 0では、 動作例 1と同様に、 合成トリガを用い て画面合成の判定および画面構成の算出を行い画面合成パラメータを算出す る。 ただし、 本動作例では、 「ループ合成」 のパターン 1を行うため、 合成種 別 （ここでは 「ループ合成」）、 合成シーン中心時刻、 再生速度の 3つを算出 する。 ここで、 「合成シーン中心時刻」 は、 上記のように、 合成するシーンの 中心時刻に位置する画像の画像番号を示すパラメータであり、 「再生速度」は、 上記のように、 サブ画像として繰り返し再生するシーンの再生速度を示すパ ラメータである。
図 9は、 図 3中の画面合成パラメータ算出処理の、 動作例 3における内容 を示すフローチャートである。 なお、 図 4に示す動作例 1と共通する処理に ついては簡単に説明するにとどめる。
まず、 ステップ S 4 3 0 0では、 動作例 1と同様に (図 4中のステップ S 4 1 0 0参照）、合成トリガのトリガ値がゼロであるか否か、つまり、合成ト リガの入力の有無を判断する。 この判断の結果として合成トリガのトリガ値 がゼロでない場合、つまり、合成トリガの入力があった場合は（S 4 3 0 0 : N O)、ステップ S 4 3 1 0に進み、合成トリガのトリガ値がゼロである場合、 つまり、 合成トリガの入力がない場合は（S 4 3 0 0 ： Y E S )、 ステップ S 4 3 4 0に進む。 ステップ S 4 3 1 0では、 動作例 1と同様に （図 4中のステップ S 4 1 1 0参照）、合成トリガのトリガ値がゼロ以外の場合、つまり、合成トリガの入 力があった場合であるため、 合成種別を所定の基準に従って決定する。 ただ し、 本動作例では、 トリガ種別が 「重要シーン」 であり、 入力映像内でトリ ガが出力された時刻前後に重要なシーンが含まれるため、 合成種別を 「ルー プ合成」 に決定する。
そして、 ステップ S 4 3 2 0では、 合成シーン中心時刻を決定する。 ここ では、 合成シーン中心時刻を現在の入力フレームの画像番号に決定する。 そして、 ステップ S 4 3 3 0では、 再生速度を決定する。 具体的には、 サ ブ画像の再生速度をトリガ値の大きさに基づいて算出する。 たとえば、 サブ 画像の再生速度 fps (t)は、 次の （式 5 )、 jpsil) = *唐 fpS ... (式 5 )
Trigger it) fps(t)：時刻 tにおけるサブ画像の再生速度
Trigger(t)：時刻 tにおけるトリガ値
MAX_¾igger： トリガ値の取り得る最大値
MIN_fps：サブ画像の再生速度の設定最小値
を用いて算出される。 （式 5 ) に示すように、 サブ画像の再生速度は、 トリガ 値が大きいほど小さくなる。
なお、 （式 5 ) は、 算出方法の一例であり、 これに限定されない。 再生速度 の算出方法は、 トリガ値が大きいほど再生速度が小さくなるような方法であ れば、 どのような方法でもよい。
一方、 ステップ S 4 3 4 0では、 合成トリガのトリガ値がゼロの場合、 つ まり、 合成トリガの入力がない場合であるため、 画面合成パラメータを、 前 回算出時のパラメータに設定する。
ステップ S 4 3 5 0では、 ステップ S 4 3 0 0〜ステップ S 4 3 4 0で算 出した 3つの画面合成パラメータ （合成種別、 合成シーン中心時刻、 再生速 度） を、映像蓄積部 1 1 0、サブ画像作成部 1 1 2、画像情報付加部 1 1 4、 および画面合成部 1 1 6に出力するとともに、 入力映像 （映像入力部 1 0 2 からの入力画像） を画面合成部 1 1 6に出力した後、 図 3のメインフローチ ヤートにリターンする。
そして、 ステップ S 5 0 0 0では、 映像蓄積部 1 1 0で、 映像蓄積処理を 行う。動作例 1では言及しなかったが、映像蓄積部 1 1 0は、上記のように、 複数の画像を格納可能な内部メモリを有しており、 映像入力部 1 0 2から出 力された画像をその内部メモリに格納する。 この内部メモリは、 複数画像格 納用のメモリ領域のほかに、 画像の格納位置を示す保存カウンタと、 画像の 読み出し位置を示す読み出しカウンタを有し、 画像の保存 ·読み出しごとに カウンタを更新することにより、 周期的な画像データを格納し読み出すこと が可能な構造になっている。
図 1 0は、 図 3中の映像蓄積処理の、 動作例 3における内容を示すフロー チヤ一トである。
まず、 ステップ S 5 1 0 0では、 メモリの初期化を行う。 具体的には、 画 面合成パラメータの合成シーン中心時刻と、 前回入力された合成シーン中心 時刻とを比較し、 両者が異なる場合に、 内部メモリ内の画像データと各カウ ンタの初期化を行う。 初期化では、 内部メモリ内の画像データをクリアする とともに、 各カウンタの値を 「1」 にリセットし、 さらに、 現在の合成シー ン中心時刻を内部メモリに保存する。
そして、 ステップ S 5 1 1 0では、 合成種別が 「ループ合成」 力、 「合成な し」かを判定する。 この判定結果として合成種別が「ループ合成」の場合は、 ステップ S 5 1 2 0に進み、 合成種別が 「合成なし」 の場合は、 ステップ S 5 1 7 0に進む。
ステップ S 5 1 2 0では、シーンの格納が完了しているか否かを判断する。 この判断結果としてシーンの格納が完了している場合は（S 5 1 2 0 ： Y E S )、ただちにステップ S 5 1 5 0に進み、シーンの格納が完了していない場 合は（S 5 1 20 ： NO), ステップ S 5 1 30に進む。
ここで、 シーンの格納が完了しているか否かは、 次の （式 6)、
(count write (t) > center position + roop mergin ) ·'· 、式 6)
count— write(t)：時刻 tにおける保存カウンタ値
center_position:合成シーン中央時刻の画像が内部メモリに格納され ている位置を示すカウンタ値
roop_mergin：合成シーン中央時刻から格納すべきシーン最後の画像 までの力ゥンタ値の差
を用いて判定される。 具体的には、 （式 6)の命題が真である場合は、 シーン 格納完了と判定する。
なお、 本動作例では、 格納するシーン内の画像の構成として、 トリガ発生 時刻の以前と以後のそれぞれに属する画像数の割合はあらかじめ決められて いるものとする。 すなわち、 合成シーン中心時刻から格納すべきシーンの最 後までの画像数はあらかじめ決められているものとし、 格納すべきシーン内 の画像数によって内部メモリの大きさが決まる。 従って、 内部メモリの大き さは、 繰り返し再生するシーンの画像数、 つまり、 シーンの区間を決めるも のである。
ステップ S 5 1 30では、 画像の格納を行う。 具体的には、 入力画像を内 部メモリ中の保存カウンタが示す位置に格納する。
そして、 ステップ S 5 140では、 保存力ゥンタの更新を行う。 具体的に は、 保存力ゥンタの値を 1つ加算して更新処理を行う。 ただし、 保存カウン タの値が最大値を超える場合は、 カウンタの値を 「1」 に設定する。
そして、 ステップ S 5 1 50では、 画像の読み出しを行う。 具体的には、 内部メモリの読み出しカウンタ位置の画像を読み出し、 サブ画像作成部 1 1 2に出力する。
そして、 ステップ S 5 1 60では、 読み出しカウンタの更新を行う。 具体 的には、 たとえば、 次の （式 7)、 （式 8)、
Figure imgf000033_0001
count― read(t) - count _ read(t一 1) + 1 if((t mod(- ) =0)
fps(t) (式 7 ) count read (t) = count _ read (t一 1) else
(加く Jw(t))の場合
count read(t) = count read (t -l) + (加 ( - ^ (式 8 )
一 — 加 t：現在の時刻
count一 read(t)：時刻 tにおける読み出しカウンタ値
fps(t)：時刻 tにおけるサブ画像の再生速度
fps： メイン画像の再生速度
A mod B： Aを Bで除算した際の剰余
を用いて、 読み出しカウンタの値を更新する。 ただし、 読み出しカウンタの 値が最大値を超える場合は、 カウンタの値を 「1」 に設定する。
(式 7 )、 （式 8 ) に示すように、 サブ画像の再生速度とメイン画像の再生 速度の比率に応じて、読み出しカウンタの更新方法が決定される。すなわち、
(式 7 ) では、 サブ画像の再生速度が小さいほど、 読み出しカウンタの値の 加算頻度が小さくなり、 スロー再生となる。 逆に、 （式 8 ) では、 サブ画像の 再生速度が大きいほど、 読み出しカウンタの値の加算頻度が大きくなり、 高 速再生となる。
このように、 読み出し力ゥンタの更新方法を制御することによって、 サブ 画像の再生速度を変更することができる。 なお、 この読み出しカウンタ更新 処理が終わると、 図 3のメインフローチヤ一トにリターンする。
一方、 ステップ S 5 1 7 0では、 画像の格納を行う。 具体的には、 入力画 像を内部メモリ中の保存カウンタが示す位置に格納する。
そして、 ステップ S 5 1 8 0では、 保存カウンタの更新を行う。 具体的に は、 保存カウンタの値を 1つ加算して更新処理を行う。 ただし、 保存カウン タの値が最大値を超える場合は、 カウンタの値を 「1」 に設定する。 この保 存カウンタ更新処理が終わると、 図 3のメインフローチャートにリターンす る。
そして、 ステップ S 6 0 0 0では、 動作例 1と同様に、 画面構成算出部 1 0 8から出力される画面合成パラメータに基づいて、 映像蓄積部 1 1 0から 出力される画像を用いてサブ画像を作成し、 作成したサブ画像を画像情報付 加部 1 1 4に出力する。
ただし、 本動作例のように 「ループ合成」 のパターン 1を行う場合は、 映 像蓄積部 1 1 0から出力される、 再生速度に応じて制御された読み出しカウ ンタにより取得した、 サブ画像の対象となる画像を縮小してサブ画像を作成 する。
そして、 ステップ S 7 0 0 0では、 動作例 1と同様に、 画面構成算出部 1 0 8から出力される画面合成パラメータの合成種別に応じて、 サブ画像作成 部 1 1 2から出力されるサブ画像の外枠の色を変更し、 外枠の色が変更され たサブ画像を画面合成部 1 1 6に出力する。
ただし、 本動作例のように合成種別が 「ループ合成」 の場合は、 サブ画像 の外枠の色を黄色に変更する。 もっとも、 外枠の色は黄色に限定されるわけ ではなく、 サブ画像がループ再生画像であることを表すことができればどの ような色であってもよい。
ステップ S 8 0 0 0およびステップ S 9 0 0 0の処理は、 動作例 1と同様 であるため、 その説明を省略する。
図 1 1は、 上記した 「ループ合成」 による画面合成の概要を示す説明図で ある。
図 1 1において、 「6 0 1」は、右下の番号に示す画像番号の入力画像、 「6 0 3」 は、 內部メモリに格納されているシーンの画像、 「6 0 5」 は、 再生速 度に応じて制御された読み出しカウンタにより取得した画像を縮小して作成 したサブ画像、 「6 0 7」は、サブ画像 6 0 5の外枠の色によってサブ画像 6 0 5の種類を表現したサブ画像、 「6 0 9」は、入力画像 6 0 1と枠変更後の サブ画像 6 0 7とを合成した合成画像である。 図 1 1では、 サブ画像ループ 再生の再生速度をメイン画像の再生速度の 1 Z 2とした場合を示しており、 合成画像中のサブ画像はメイン画像よりも画像の更新間隔が長く、 ゆっく り と再生されることになる。
このように、 本動作例によれば、 映像の重要度を表すトリガの値が大きい ほど、 トリガ発生時刻前後の画像で構成されるシーンを繰り返し再生すると きの再生速度が小さくなるように制御して画像合成を行うため、 合成された 映像を符号化し伝送路を通じて、 受信端末で表示することにより、 ユーザは 1つの画面しかない受信端末においても、 現在の映像を見るだけでなく、 重 要な時刻前後のシーンを合成画面として同時に見ることができ、 しかも、 重 要度が高いシーンほど再生速度が小さく、 長い時間をかけて見ることができ る。
また、 外枠の色とサブ画像の内容との対応が既知である場合は、 ユーザは 合成映像以外の情報を送受信することなく、 サブ画像の内容をサブ画像の外 枠の色で判断することができる。
なお、 本動作例では、 メイン画像に入力画像、 サブ画像に重要シーンを表 示する例を示したが、 これに限定されるわけではなく、 メイン画像に重要シ ーンを表示し、 サブ画面に入力映像を表示することも可能である。
また、 入力映像は 1つの場合に限らず、 複数の場合でもループ合成は可能 である。
(動作例 4 )
動作例 4では、 合成トリガを用いた画面合成の判定結果として画面合成を 行うときに、 トリガが発生した時刻前後の画像群で構成されるシーンが繰り 返し再生されるように、 そのシーンをサブ画像として入力画像の一部の領域 に合成する場合、つまり、 「ループ合成」を行う場合について説明する。また、 ここでは、動作例 3の場合と異なり、 「ループ合成」 において、 トリガの大き さが大きいほど、 繰り返し再生するシーン内の画像数を大きく設定するもの とする （パターン 2 )。
なお、 ここでは、 図 3を用いて動作例 1と処理が異なる部分を中心に説明 を行う。
ステップ S 1 0 0 0〜ステップ S 3 0 0 0 'の処理は、 動作例 1 と同様であ るため、 その説明を省略する。 ただし、 本動作例では、 「ループ合成」 を行う ため、ステップ S 3 0 0 0の合成トリガ算出処理において、 トリガ種別は「重 要シーン」 に決定される。
そして、 ステップ S 4 0 0 0では、 動作例 1 と同様に、 合成トリガを用い て画面合成の判定および画面構成の算出を行い画面合成パラメータを算出す る。 ただし、 本動作例では、 「ループ合成」 のパターン 2を行うため、 合成種 別 （ここでは 「ループ合成」）、 合成シーン中心時刻、 ループ区画の 3っを算 出する。 ここで、 「合成シーン中心時刻」 は、 上記のように、 合成するシーン の中心時刻に位置する画像の画像番号を示すパラメータであり、 「ループ区 画」 は、 上記のように、 サブ画像として繰り返し再生するシーンを構成する 画像の枚数を示すパラメータである。
図 1 2は、 図 3中の画面合成パラメータ算出処理の、 動作例 4における内 容を示すフローチャートである。 なお、 図 9に示す動作例 3と共通する処理 については、 その説明を省略する。
ステップ S 4 3 0 0〜ステップ S 4 3 2 0の処理は、 動作例 3と同様であ るため、 その説明を省略する。
そして、 ステップ S 4 3 3 2では、 ループ区間を決定する。 具体的には、 サブ画像のループ区間をトリガ値の大きさに基づいて算出する。 たとえば、 サブ画像のループ区間 frame— num (t)は、 次の （式 9 )、 .frame mimi ) ^ ' *MAX fi'm 画 … （式 9 )
- MAX一 Trigger 一 一 frame num(t)：時刻 tにおけるサブ画像のループ区間 Trigger(t)：時刻 tにおける トリガ値
MAX一 rigger： トリガ値の取り得る最大値
MAX— frame一 num：サブ画像のループ区間の設定最大値
を用いて算出される。 （式 9 ) に示すように、 サブ画像のループ区間は、 トリ ガ値が大きいほど値が大きくなる。
なお、 （式 9 ) は、 算出方法の一例であり、 これに限定されない。 ループ区 間の算出方法は、 トリガ値が大きいほどループ区間が大きくなるような方法 であれば、 どのような方法でもよい。
ステップ S 4 3 4 0およびステツプ S 4 3 5 0の処理は、 動作例 3と同様 であるため、 その説明を省略する。
そして、 ステップ S 5 0 0 0では、 映像蓄積部 1 1 0で、 映像蓄積処理を 行う。 動作例 3で説明したように、 映像蓄積部 1 1 0は、 複数の画像を格納 可能な内部メモリを有しており、 映像入力部 1 0 2から出力された画像をそ の内部メモリに格納する。 この内部メモリは、 画像の格納位置を示す保存力 ゥンタと、 画像の読み出し位置を示す読み出しカウンタを有する。 また、 各 カウンタの取り得る最大値は、 内部メモリに格納可能な画像数であり、 カウ ンタの値を更新して最大値を超える場合は 「1」 に戻る。 すなわち、 内部メ モリは、 画像の保存 '読み出しごとにカウンタを更新することにより、 周期 的な画像データを格納し読み出すことが可能な構造になっている。 なお、 本 動作例では、 内部メモリに格納可能な画像数は、 合成パラメータのループ区 間に示される値に等しくなるように制御が行われる。
ここでは、 図 1 0を用いて動作例 3と処理が異なる部分を中心に説明を行
5。
まず、 ステップ S 5 1 0 0では、 メモリの初期化を行う。 具体的には、 画 面合成パラメータの合成シーン中心時刻と、 前回入力された合成シーン中心 時刻とを比較し、 両者が異なる場合に、 内部メモリ内の画像データおよび各 カウンタならびに内部メモリに格納可能な画像数の初期化を行う。 初期化で は、 内部メモリ内の画像データをクリアし、 各カウンタの値を 「1」 にリセ ットするとともに、 内部メモリに格納可能な画像数を画面合成パラメータの ループ区間に設定する。 また、 現在の合成シーン中心時刻を内部メモリに保 存する。
ステップ S 5 1 1 0〜ステップ S 5 1 5 0の処理は、 動作例 3と同様であ るため、 その説明を省略する。
そして、 ステップ S 5 1 6 0では、 読み出しカウンタの更新を行う。 具体 的には、 動作例 3と異なり、 たとえば、 次の （式 1 0 )、
count read(t)― count readit - 1) + 1 … (式 1 0 )
t：現在の時刻
count一 read(t)：時刻 tにおける読み出しカウンタ '値
を用いて、 読み出しカウンタの値を更新する。 ただし、 読み出しカウンタの 値が最大値を超える場合は、 カウンタの値を 「1」 に設定する。
ここで、 ステップ S 5 1 0 0のメモリ初期化処理では、 内部メモリに格納 される画像の最大数が画面合成パラメータに従って変更される。これにより、 サブ画像として合成するシーン内の画像数、 つまり、 シーンの区間の大きさ を制御することが可能になる。 すなわち、 トリガ値が大きレ、ほど、 ループ再 生するシーンの区間の大きさが大きく設定されるため、 トリガ発生時刻を中 心とする前後の長い区間のシーンを再生することができる。
このように、内部メモリに格納する画像の最大数を制御することによって、 サブ画像として合成するシーンの区間を変更することができる。
ステップ S 5 1 7 0およびステップ S 5 1 8 0の処理は、 動作例 3と同様 であるため、 その説明を省略する。
そして、 ステップ S 6 0 0 0では、 動作例 1と同様に、 画面構成算出部 1 0 8から出力される画面合成パラメータに基づいて、 映像蓄積部 1 1 0から 出力される画像を用いてサブ画像を作成し、 作成したサブ画像を画像情報付 加部 1 1 4に出力する。 ただし、 本動作例のように 「ループ合成」 のパターン 2を行う場合は、 映 像蓄積部 1 1 0から出力される、 読み出しカウンタにより取得した、 サブ画 像の対象となる画像を縮小してサブ画像を作成する。
そして、 ステップ S 7 0 0 0では、 動作例 1と同様に、 画面構成算出部 1 0 8から出力される画面合成パラメータの合成種別に応じて、 サブ画像作成 部 1 1 2から出力されるサブ画像の外枠の色を変更し、 外枠の色が変更され たサブ画像を画面合成部 1 1 6に出力する。
ただし、 本動作例のように合成種別が 「ループ合成」 の場合は、 動作例 3 と同様に、 サブ画像の外枠の色を黄色に変更する。 もっとも、 外枠の色は黄 色に限定されるわけではなく、 サブ画像がループ再生画像であることを表す ことができればどのような色であってもよい。
ステップ S 8 0 0 0およびステツプ S 9 0 0 0の処理は、 動作例 1と同様 であるため、 その説明を省略する。
このように、 本動作例によれば、 映像の重要度を表すトリガの値が大きい ほど、 トリガ発生時刻前後の画像群で構成されるシーンの区間が大きくなる ように制御して、 シーンが繰り返し再生されるように画像合成を行うため、 合成された映像を符号化し伝送路を通じて、受信端末で表示することにより、 ユーザは 1つの画面しかない受信端末においても、 現在の映像を見るだけで なく、 重要な時刻前後の映像を合成画面として同時に見ることができ、 しか も、 重要度が高いシーンほどシーンの区間が大きく、 重要時刻の前後の画像 を多く見ることができる。
また、 外枠の色とサブ画像の内容との対応が既知である場合は、 ユーザは 合成映像以外の情報を送受信することなく、 サブ画像の内容をサブ画像の外 枠の色で判断することができる。
なお、 本動作例では、 メイン画像に入力画像、 サブ画像に重要シーンを表 示する例を示したが、 これに限定されるわけではなく、 メイン画像に重要シ ーンを表示し、 サブ画面に入力映像を表示することも可能である。 また、 入力映像は 1つの場合に限らず、 複数の場合でもループ合成は可能 である。 '
(動作例 5 )
動作例 5では、 合成トリガを用いた画面合成の判定結果として画面合成を 行うときに、 トリガが発生した時刻前後の画像群で構成されるシーンが繰り 返し再生されるように、 そのシーンをサブ画像として入力画像の一部の領域 に合成する場合、つまり、 「ループ合成」を行う場合について説明する。また、 ここでは、 動作例 3や動作例 4と異なり、 トリガの大きさが大きいほど、 繰 り返し再生するシーンのループ再生回数を大きく設定するものとする （パタ ーン 3 )。
なお、 ここでは、 図 3を用いて動作例 1と処理が異なる部分を中心に説明 を行う。
ステップ S 1 0 0 0〜ステップ S 3 0 0 0の処理は、 動作例 1と同様であ るため、 その説明を省略する。 ただし、 本動作例では、 「ループ合成」 を行う ため、ステップ S 3 0 0 0の合成トリガ算出処理において、 トリガ種別は「重 要シーン」 に決定される。
そして、 ステップ S 4 0 0 0では、 動作例 1と同様に、 合成トリガを用い て画面合成の判定および画面構成の算出を行い画面合成パラメータを算出す る。 ただし、 本動作例では、 「ループ合成」 のパターン 3を行うため、 合成種 別 （ここでは 「ループ合成」）、 合成シーン中心時刻、 ループ回数、 フレーム カウンタの 4つを算出する。 ここで、 「合成シーン中心時刻」 は、 上記のよう に、 合成するシーンの中心時刻に位置する画像の画像番号を示すパラメータ であり、 「ループ回数」 は、上記のように、 サブ画像として繰り返し再生する シーンの繰り返し回数を示すパラメータであり、 「フレームカウンタ」は、上 記のように、サブ画像として合成する残りの画像数を示すパラメータである。 図 1 3は、 図 3中の画面合成パラメータ算出処理の、 動作例 5における内 容を示すフローチャートである。 なお、 図 9に示す動作例 3と共通する処理 については、 その説明を省略する。
ステップ S 4 3 0 0〜ステップ S 4 3 2 0の処理は、 動作例 3と同様であ るため、 その説明を省略する。
そして、 ステップ S 4 3 3 4では、 ループ回数を決定する。 具体的には、 サブ画像のループ回数をトリガ値の大きさに基づいて算出し、 ループカウン タを用いてフレームカウンタの設定を行う。
たとえば、 サブ画像のループ回数 loop_num (t)は、 次の （式 1 1 )、
f、- loop mtm(t num ·■· (式 1 1 )
一
Figure imgf000041_0001
一 loop_num(t)：時刻 tにおけるサブ画像のループ回数
Trigger(t)：時刻 tにおけるトリガ値
MAX— Trigger： トリガ値の取り得る最大値
MAX_loop_num：サブ画像のループ回数の設定最大値
を用いて算出される。 （式 1 1 ) に示すように、 サブ画像のループ回数は、 ト リガ値が大きいほど値が大きくなる。
なお、 （式 1 1 ) は、 算出方法の一例であり、 これに限定されない。 ループ 回数の算出方法は、 トリガ値が大きいほどループ回数が大きくなるような方 法であれば、 どのような方法でもよい。
また、 （式 1 1 ) を用いてループ回数を決定した後、 フレームカウンタを設 定するが、 フレームカウンタの値 frame一 count (t)は、 たとえば、 次の (式 1 2 ) ,
frame count(t) = loop nitmi ) *ΜΑλ jrame num · · · 、式 1 2 )
frame_count(t)：時刻 tにおけるフレームカウンタ値
loop_num(t)：時刻 tにおけるサブ画像のループ回数
MAX_frame_num：映像蓄積部 1 1 0の内部メモリに格納可能な画像数 を用いて算出される。
一方、 ステップ S 4 3 4 5では、 合成トリガのトリガ値がゼロの場合、 つ まり、 合成トリガの入力がない場合であるため、 動作例 3と異なり、 合成パ ラメータの更新を行う。 具体的には、 前回の画面合成パラメータのうち、 フ レームカウンタと合成方式の更新処理を行う。
たとえば、 フレームカウンタは、 次の （式 1 3 )、
frame countif) - frame count(t - 1) - 1 ··■ (式 1 3ノ
によって更新される。 （式 1 3 ) に示すように、 フレームカウンタは、 その値 を 1ずつ減算することによって更新される。 ただし、 値の更新によってフレ ームカウンタの値が 0以下になる場合は、 フレームカウンタの値を 「0」 に Pス疋 "る。
次に、 更新されたフレームカウンタの値に応じて合成種別の更新処理を行 うが、 合成種別の更新は、 たとえば、 次のルール、
( 1 ) フレームカウンタが 「0」 の場合は、 合成種別を 「合成なし」 に変更 する、
( 2 ) フレームカウンタが「0」以外の場合は、合成種別の変更は行わない、 に従って行われる。
このように、 画面合成パラメ一タの更新を行うことにより、 フレームカウ ンタで指定された画像分の合成種別を 「ループ合成」 に設定することができ る。 映像蓄積部 1 1 0は、 内部メモリに画像を蓄積し、 同時に合成種別に従 つてサブ画像作成部 1 1 2にループ再生用の画像を出力することにより、 ル ープ再生の回数を制御することが可能になる。
ステップ S 4 3 5 0では、 ステップ S 4 3 0 0〜ステップ S 4 3 4 5で算 出した 4つの画面合成パラメータ （合成種別、 合成シーン中心時刻、 ループ 回数、 フレームカウンタ) を、 映像蓄積部 1 1 0、 サブ画像作成部 1 1 2、 画像情報付加部 1 1 4、 および画面合成部 1 1 6に出力するとともに、 入力 映像（映像入力部 1 0 2からの入力画像）を画面合成部 1 1 6に出力した後、 図 3のメインフローチヤ一トにリターンする。
ステップ S 5 0 0 0〜ステップ S 9 0 0 0の処理は、 動作例 3と同様であ るため、 その説明を省略する。
このように、 本動作例によれば、 映像の重要度を表すトリガの値が大きい ほど、 トリガ発生時刻前後の画像群で構成されるシーンを繰り返し再生する ループ回数が大きくなるように制御して画像合成を行うため、 合成された映 像を符号化し伝送路を通じて、 受信端末で表示することにより、 ユーザは 1 つの画面しかない受信端末においても、 現在の映像を見るだけでなく、 重要 な時刻前後の映像を合成画面として同時に見ることができ、 しかも、 重要度 が高いシーンほどシーンのループ回数が大きく、 重要時刻の前後の画像をよ り多くの回数繰り返して見ることができる。
また、 外枠の色とサブ画像の内容との対応が既知である場合は、 ユーザは 合成映像以外の情報を送受信することなく、 サブ画像の内容をサブ画像の外 枠の色で判断することができる。
なお、 本動作例では、 メイン画像に入力画像、 サブ画像に重要シーンを表 示する例を示したが、 これに限定されるわけではなく、 メイン画像に重要シ ーンを表示し、 サブ画面に入力映像を表示することも可能である。
また、入力映像は 1つに限らず、複数の場合でもループ合成は可能である。 (動作例 6 )
動作例 6は、 トリガの大きさに応じてサブ画像の大きさを変更する場合で ある。 ここでは、 一例として、 合成トリガを用いて画面合成の判定結果とし て画面合成を行うときに、 トリガが発生した時刻の画像を静止画とし、 この 静止画をサブ画像として入力画像の一部の領域に合成する場合、つまり、 「静 止画合成」 を行う場合について説明する。 また、 ここでは、 「静止画合成」 に おいて、 トリガの大きさが大きいほどサブ画像の大きさを大きく設定するも のとする。
なお、 トリガの大きさに応じたサブ画像サイズの変更は、 「静止画合成」の 場合のみならず 「切り出し合成」 や 「ループ合成」 など他の合成種別にも適 用可能である。 また、 ここでは、 図 3を用いて動作例 1と処理が異なる部分を中心に説明 を行う。
ステップ S 1 0 00〜ステップ S 3 0 0 0の処理は、 動作例 1と同様であ るため、 その説明を省略する。
そして、 ステップ S 4 0 0 0では、 動作例 1と同様に、 合成トリガを用い て画面合成の判定および画面構成の算出を行い画面合成パラメータを算出す る。 ただし、本動作例では、 「静止画合成」 の画面合成パラメータに加えてサ ブ画像サイズを、 つまり、 合成種別 （ここでは 「静止画合成」）、 対象サブ画 像、 サブ画像表示時間、 サブ画像サイズの 4つを算出する。 ここで、 「対象サ ブ画像」 は、 上記のように、 サブ画像作成に用いられる画像の画像番号を示 すパラメータであり、 「サブ画像表示時間」 は、 上記のように、 サブ画像を合 成して連続表示する時間を示すパラメータであり、 「サブ画像サイズ」は、サ ブ画像の合成サイズを示すパラメータである。
図 1 4は、 図 3中の画面合成パラメータ算出処理の、 動作例 6における内 容を示すフローチャートである。 なお、 図 4に示す動作例 1と共通する処理 については、 その説明を省略する。
ステップ S 4 1 0 0〜ステップ S 4 1 3 0の処理は、 動作例 1と同様であ るため、 その説明を省略する。
そして、ステップ S 4 1 3 5では、サブ画像サイズを決定する。たとえば、 サブ画像の水平方向サイズ sub_size_h(t)と垂直方向サイズ sub_size_v (t) は、 それぞれ、 次の (式 1 4)、 (式 1 5)、 sub size h t) = iri^er * size h (式 1 4)
― MAX Trigger ― sub一 size一 v(t) = Trigger * MAX size _v (式 1 5)
MAX Trigger sub_size_h(t)：時刻 tにおけるサブ画像の水平方向サイズ
s b_size_v(t)：時刻 tにおけるサブ画像の垂直方向サイズ Trigger(t)：時刻 tにおけるトリガ値
MAX— rigger： トリガ値の取り得る最大値
MAX一 sizeji：サブ画像水平方向サイズの設定最大値
MAX_size_v：サブ画像垂直方向サイズの設定最大値
を用いて算出される。 （式 1 4 )、 （式 1 5 ) に示すように、サブ画像のサイズ は、 トリガ値が大きいほど大きくなる。
なお、 （式 1 4 )、 （式 1 5 ) は、算出方法の一例であり、 これに限定されな い。 サブ画像サイズの算出方法は、 トリガ値が大きいほどサイズが大きくな るような方法であれば、 どのような方法でもよい。
ステップ S 4 1 4 0〜ステップ S 4 1 7 0の処理は、 動作例 1と同様であ るため、 その説明を省略する。
また、 図 3のメインフローチャートにおいて、 ステップ S 5 0 0 0〜ステ ップ S 9 0 0 0の処理は、動作例 1と同様であるため、その説明を省略する。 ただし、 ステップ S 6 0 0 0でサブ画像を作成する場合は、 映像蓄積部 1 1 0から出力されるサブ画像対象映像を画面構成算出部 1 0 8から出力される サブ画像サイズに縮小して、 サブ画像の作成を行う。 このように、 サブ画像 サイズを用いてサブ画像を作成することにより、 トリガ値に応じてサブ画像 の大きさを制御することが可能になる。
このように、 本動作例によれば、 映像の重要度を表すトリガの値が大きい ほど、 トリガ発生時刻の画像を静止画として合成するときのサブ画像サイズ が大きくなるように制御して画像合成を行うため、 合成された映像を符号化 し伝送路を通じて、 受信端末で表示することにより、 ユーザは 1つの画面し かない受信端末においても、 現在の映像を見るだけでなく、 重要な時刻の画 像を合成画面として同時に見ることができ、 しかも、 重要度が高い画像ほど 画像の大きさが大きく、 1画面においてその画像を詳細に見ることができる。 また、 外枠の色とサブ画像の内容との対応が既知である場合は、 ユーザは 合成画像以外の情報を送受信することなく、 サブ画像の内容をサブ画像の外 枠の色で判断することができる。
なお、 本動作例では、 メイン画像に入力画像、 サブ画像に重要な静止画を 表示する例を示したが、 これに限定されるわけではなく、 メイン画像に重要 な静止画を表示し、 サブ画面に入力画像を表示することも可能である。
また、 入力映像は 1つの場合に限らず、 複数の場合でも静止画合成は可能 である。
(動作例 7 )
動作例 7は、映像の重要度を示す合成トリガを用いて画面の構成を算出し、 合成する画面の形状で合成情報を表現する場合である。
なお、 ここでは、 画面構成算出部 1 0 8は動作例 1から動作例 6のいずれ かの方法で画面合成パラメータを算出するものとし、 以下では、 特に画像情 報付加部 1 1 4の処理について説明する。
画像情報付加部 1 1 4は、 画面構成算出部 1 0 8から出力される画面合成 パラメータの合成種別に応じて、 サブ画像作成部 1 1 2から出力されるサブ 画像の形状を変更する。 たとえば、 合成種別が 「静止画合成」 の場合は、 サ ブ画像の形状を円形に変更する。 ただし、 外枠の形状は円形に限定されるわ けではなく、 サプ画像が静止画像であることを表すことができればどのよう な形状でもよい。 また、 合成種別が 「切り出し合成」 の場合は四角形、 「ルー プ合成」 の場合は三角形というように、 サブ画像の形状により合成種別を表 現することが可能である。 この場合、 画像情報付加部 1 1 4は、 合成種別を 示す形状に変更されたサブ画像を画面合成部 1 1 6に出力する。
このように、 本動作例によれば、 トリガに応じて画面の合成を行い、 サブ 画像の合成種別に応じてサブ画像の形状を変更するように制御して画像合成 を行うため、 合成された映像を符号化し伝送路を通じて、 受信端末で表示す ることにより、 ユーザは 1つの画面しかない受信端末においても、 現在の映 像を見るだけでなく、 重要な位置の映像を同時に見ることができる。
また、 サブ画像の形状でサブ画像の合成種別を表現しているため、 サブ画 像の形状とサブ画像の内容との対応が既知である場合は、 ユーザは合成映像 以外の情報を送受信することなく、 サブ画像の合成種別をサブ画像の形状で 判断することができる。
以上説明したように、 本発明によれば、 複数の映像を 1つの画面に合成す る映像合成装置において、 ユーザにとって重要な映像を自動的に表示するこ とができ、 しかも、 その重要な映像を視覚的に見やすい画面構成に合成して 表示することができる。
本明細書は、 2003年 2月 25日出願の特願 2003— 0473 54に 基づく。 この内容はすべてここに含めておく。 産業上の利用可能性
本発明は、 ユーザにとって重要な映像を自動的に表示し、 しかも、 その重 要な映像を視覚的に見やすい画面構成に合成して表示する効果を有し、 複数 の映像を 1つの画面に合成する映像合成装置において有用である。

Claims

請求の範囲
1 . 複数の映像を 1つの画面に合成する映像合成装置であって、
映像を入力する映像入力手段と、
映像の重要度を示すトリガを生成するトリガ生成手段と、
生成されたトリガの重要度に応じて画面構成を算出する画面構成算出手段 と、
算出された画面構成に基づいて、 入力された映像から、 合成する画像を作 成する画像作成手段と、
作成された画像を含む複数の画像を 1つの画面に合成する画面合成手段と を有する映像合成装置。
2 . 前記トリガ生成手段は、
映像内における動きを検出し検出した動きの大きさに応じた信号を出力す る動き検出センサを有し、
前記重要度は、 前記動き検出センサが出力した信号の大きさに応じて算出 されるものである、
請求の範囲 1記載の映像合成装置。
3 . 前記トリガ生成手段は、
映像内における特定の動きを認識し認識した動きの大きさに応じた信号を 出力する動き認識センサを有し、
前記重要度は、 前記動き認識センサが出力した信号の大きさに応じて算出 されるものである、
請求の範囲 1記載の映像合成装置。
4 . 前記トリガ生成手段は、
映像内における特定の物体を画像認識し当該画像認識結果の確度に応じた 信号を出力する画像認識センサを有し、 前記重要度は、 前記画像認識センサが出力した画像認識結果の確度の高さ に応じて算出されるものである、
請求の範囲 1記載の映像合成装置。
5 . 前記トリガ生成手段は、
ユーザからの画面合成要求を、 受け付ける装置を有し、
前記重要度は、 前記ユーザの画面合成要求に応じるものである、 請求の範囲 1記載の映像合成装置。
6 . 前記トリガ生成手段は、
更に、 トリガの生成された時刻を出力し、
前記画面構成算出手段は、
前記トリガ生成時刻の映像を静止画像として別の画像と合成させる画面構 成を算出する、
請求の範囲 1記載の映像合成装置。
7 . 前記画面構成算出手段は、
トリガが生成された時刻の映像を静止画像として表示する際の表示時間を トリガの重要度の大きさに応じて制御する、
請求の範囲 6記載の映像合成装置。
8 . 前記画面構成算出手段は、
前記表示時間をトリガの重要度の大きさが大きいほど大きく設定する、 請求の範囲 7記載の映像合成装置。
9 . 前記トリガ生成手段は、
更に、 前記トリガが生成された位置を出力し、
前記画面構成算出手段は、
前記トリガ生成位置を中心とする領域の画像を切り出して別の画像と合成 させる画面構成を算出する、
請求の範囲 1記載の映像合成装置。
1 0 . 前記画面構成算出手段は、 映像内においてトリガ生成位置を中心とする領域の画像を切り出す際の切 り出しサイズをトリガの重要度大きさに応じて制御する、
請求の範囲 9記載の映像合成装置。
1 1 . 前記画面構成算出手段は、
前記切り出しサイズをトリガの重要度の大きさが大きいほど小さく設定す る、
請求の範囲 1 0記載の映像合成装置。
1 2 . 前記トリガ生成手段は、
更に、 トリガの生成された時刻を出力し、
前記画面構成算出手段は、
前記トリガ生成時刻の前後の画像群で構成されるシーンを繰り返し表示さ せながら別の画像と合成させる画面構成を算出する、
請求の範囲 1記載の映像合成装置。
1 3 . 前記画面構成算出手段は、
映像内においてトリガ生成時刻の前後の画像群で構成されるシーンを繰り 返し表示する際の再生速度をトリガの重要度の大きさに応じて制御する、 請求の範囲 1 2記載の映像合成装置。
1 4 . 前記画面構成算出手段は、
前記再生速度をトリガの重要度の大きさが大きいほど小さく設定する、 請求の範囲 1 3記載の映像合成装置。
1 5 . 前記画面構成算出手段は、
映像内においてトリガ生成時刻の前後の画像群で構成されるシーンを繰り 返し表示する際のシーンを構成する画像枚数をトリガの重要度の大きさに応 じて制御する、
請求の範囲 1 2記載の映像合成装置。
1 6 . 前記画面構成算出手段は、
前記シーンを構成する画像枚数をトリガの重要度の大きさが大きいほど大 きく設定する、
請求の範囲 1 5記載の映像合成装置。
1 7 . 前記画面構成算出手段は、
映像内においてトリガ生成時刻の前後の画像群で構成されるシーンを繰り 返し表示する際の繰り返し回数をトリガの重要度の大きさに応じて制御する 請求の範囲 1 2記載の映像合成装置。
1 8 . 前記画面構成算出手段は、
前記繰り返し回数をトリガの重要度の大きさが大きいほど大きく設定する 請求の範囲 1 7記載の映像合成装置。
1 9 . 前記画面構成算出手段は、
前記画像作成手段によって作成される画像の大きさをトリガの重要度の大 きさに応じて制御する、
請求の範囲 1記載の映像合成装置。
2 0 . 前記画面構成算出手段は、
前記画像作成手段によって作成される画像の大きさをトリガの重要度の大 きさが大きいほど大きく設定する、
請求の範囲 1 9記載の映像合成装置。
2 1 . 前記画像作成手段によって作成された画像に対し、 当該画像の情報 を、 画像の形で付加する画像情報付加手段をさらに有する、
請求の範囲 1記載の映像合成装置。
2 2 . 前記画像情報付加手段は、
前記画像作成手段によって作成された画像の種別を当該画像の枠の色によ つて表現する、
請求の範囲 2 1記載の映像合成装置。
2 3 . 前記画像情報付加手段は、 前記画像作成手段によって作成された画像の種別を当該画像の枠の形状 よって表現する、 請求の範囲 2 1記載の映像合成装置。
PCT/JP2004/001990 2003-02-25 2004-02-20 映像合成装置 WO2004077821A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US10/514,439 US20060033820A1 (en) 2003-02-25 2004-02-20 Image combining apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2003047354A JP2004266376A (ja) 2003-02-25 2003-02-25 映像合成装置
JP2003-047354 2003-02-25

Publications (1)

Publication Number Publication Date
WO2004077821A1 true WO2004077821A1 (ja) 2004-09-10

Family

ID=32923266

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2004/001990 WO2004077821A1 (ja) 2003-02-25 2004-02-20 映像合成装置

Country Status (4)

Country Link
US (1) US20060033820A1 (ja)
JP (1) JP2004266376A (ja)
CN (1) CN1698350A (ja)
WO (1) WO2004077821A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099404A (ja) * 2004-09-29 2006-04-13 Sanyo Electric Co Ltd 画像表示装置

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100771119B1 (ko) 2006-03-06 2007-10-29 엠텍비젼 주식회사 복수의 개별 영상 데이터 합산 방법 및 그 장치
JP5021227B2 (ja) * 2006-03-31 2012-09-05 株式会社日立国際電気 監視映像表示方法
US8254626B2 (en) 2006-12-22 2012-08-28 Fujifilm Corporation Output apparatus, output method and program for outputting a moving image including a synthesized image by superimposing images
TWI451358B (zh) * 2007-02-14 2014-09-01 Photint Venture Group Inc 香蕉編碼解碼器
CN101275831B (zh) * 2007-03-26 2011-06-22 鸿富锦精密工业（深圳）有限公司 图像离线处理系统及方法
JP4459250B2 (ja) * 2007-04-20 2010-04-28 富士通株式会社 送信方法、画像送信システム、送信装置及びプログラム
CN101803385A (zh) * 2007-09-23 2010-08-11 霍尼韦尔国际公司 跨多个关联视频屏动态跟踪闯入者
JP5298930B2 (ja) * 2009-02-23 2013-09-25 カシオ計算機株式会社 動画像を記録する動画処理装置、動画処理方法及び動画処理プログラム
JP5548002B2 (ja) * 2010-03-25 2014-07-16 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
JP5592138B2 (ja) * 2010-03-31 2014-09-17 富士通テン株式会社 画像生成装置、画像表示システム及び画像生成方法
MY177404A (en) * 2011-12-05 2020-09-14 Mimos Berhad Method and system for prioritizing displays of surveillance system
JP5966584B2 (ja) * 2012-05-11 2016-08-10 ソニー株式会社 表示制御装置、表示制御方法およびプログラム
TW201424380A (zh) * 2012-12-07 2014-06-16 Ind Tech Res Inst 影像與訊息編碼系統、編碼方法、解碼系統及解碼方法
CN103871186A (zh) * 2012-12-17 2014-06-18 博立码杰通讯(深圳)有限公司 安防监控系统及相应的报警触发方法
WO2014132816A1 (ja) * 2013-02-27 2014-09-04 ソニー株式会社 画像処理装置および方法、並びにプログラム
JP6119992B2 (ja) * 2013-08-23 2017-04-26 ブラザー工業株式会社 画像処理装置およびコンピュータプログラム
GB2557597B (en) * 2016-12-09 2020-08-26 Canon Kk A surveillance apparatus and a surveillance method for indicating the detection of motion
CN108307120B (zh) * 2018-05-11 2020-07-17 阿里巴巴（中国）有限公司 图像拍摄方法、装置及电子终端
JP7271887B2 (ja) * 2018-09-21 2023-05-12 富士フイルムビジネスイノベーション株式会社 表示制御装置及び表示制御プログラム
CN110825289A (zh) * 2019-10-31 2020-02-21 北京字节跳动网络技术有限公司 操作用户界面的方法、装置、电子设备及存储介质
CN111080741A (zh) * 2019-12-30 2020-04-28 中消云（北京）物联网科技研究院有限公司 合成图片的生成方法
CN111680688B (zh) * 2020-06-10 2023-08-08 创新奇智(成都)科技有限公司 字符识别方法及装置、电子设备、存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10290447A (ja) * 1997-04-16 1998-10-27 Omron Corp 画像出力制御装置、監視用システム、画像出力制御方法および記憶媒体
JP2000069367A (ja) * 1998-08-21 2000-03-03 Toshiba Corp 記録密度可変型ビデオスイッチャ
JP2000295600A (ja) * 1999-04-08 2000-10-20 Toshiba Corp 監視装置
JP2003256836A (ja) * 2001-07-10 2003-09-12 Hewlett Packard Co <Hp> 知的特徴選択およびパンズーム制御
JP2003346463A (ja) * 2002-04-03 2003-12-05 Fuji Xerox Co Ltd ビデオシーケンスの縮小表示
JP2004023373A (ja) * 2002-06-14 2004-01-22 Canon Inc 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3641266A (en) * 1969-12-29 1972-02-08 Hughes Aircraft Co Surveillance and intrusion detecting system
US5237408A (en) * 1991-08-02 1993-08-17 Presearch Incorporated Retrofitting digital video surveillance system
US5625410A (en) * 1993-04-21 1997-04-29 Kinywa Washino Video monitoring and conferencing system
US20040036718A1 (en) * 2002-08-26 2004-02-26 Peter Warren Dynamic data item viewer

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH10290447A (ja) * 1997-04-16 1998-10-27 Omron Corp 画像出力制御装置、監視用システム、画像出力制御方法および記憶媒体
JP2000069367A (ja) * 1998-08-21 2000-03-03 Toshiba Corp 記録密度可変型ビデオスイッチャ
JP2000295600A (ja) * 1999-04-08 2000-10-20 Toshiba Corp 監視装置
JP2003256836A (ja) * 2001-07-10 2003-09-12 Hewlett Packard Co <Hp> 知的特徴選択およびパンズーム制御
JP2003346463A (ja) * 2002-04-03 2003-12-05 Fuji Xerox Co Ltd ビデオシーケンスの縮小表示
JP2004023373A (ja) * 2002-06-14 2004-01-22 Canon Inc 画像処理装置及びその方法、並びにコンピュータプログラム及びコンピュータ可読記憶媒体

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006099404A (ja) * 2004-09-29 2006-04-13 Sanyo Electric Co Ltd 画像表示装置
JP4578197B2 (ja) * 2004-09-29 2010-11-10 三洋電機株式会社 画像表示装置

Also Published As

Publication number Publication date
US20060033820A1 (en) 2006-02-16
CN1698350A (zh) 2005-11-16
JP2004266376A (ja) 2004-09-24

Similar Documents

Publication Publication Date Title
WO2004077821A1 (ja) 映像合成装置
US9734680B2 (en) Monitoring system, monitoring method, computer program, and storage medium
KR101113844B1 (ko) 감시카메라 및 감시카메라의 프라이버시 보호방법
US20090268079A1 (en) Image-capturing apparatus and image-capturing method
JP4167777B2 (ja) 映像表示装置、映像表示方法および映像を表示するためのプログラムを記録した記録媒体
US8704768B2 (en) Image processing apparatus and method
US6456321B1 (en) Surveillance camera apparatus, remote surveillance apparatus and remote surveillance system having the surveillance camera apparatus and the remote surveillance apparatus
US8179442B2 (en) Imaging device and method for performing surveillance by infrared radiation measurement
JP3230858B2 (ja) 動画像の優先度自動選択方法および動画像ダイジェスト自動表示装置
US20020054211A1 (en) Surveillance video camera enhancement system
US20070159530A1 (en) Method and apparatus for controlling output of a surveillance image
US9065986B2 (en) Imaging apparatus and imaging system
JP4722537B2 (ja) 監視装置
JP2004266670A (ja) 撮像装置及び方法、画像情報提供システム並びにプログラム
EP2083562A1 (en) Apparatus and method for controlling color of mask of monitoring camera
US20050117025A1 (en) Image pickup apparatus, image pickup system, and image pickup method
JP5072103B2 (ja) 画角制御装置及び画角制御方法
JPH0918828A (ja) ディジタル画像データの記録装置および方法ならびに再生装置および方法
JP3838149B2 (ja) モニタリングシステムおよび方法、並びにプログラムおよび記録媒体
JP2005328333A (ja) 監視システム
US20040223059A1 (en) Image pickup apparatus, image pickup system, and image pickup method
JPH0744788A (ja) 映像監視方法及びその装置
JP2004088352A (ja) 映像処理装置、映像処理方法、プログラム及び記録媒体、並びに映像処理システム
JP2003125350A (ja) 画像再生装置
GB2324429A (en) Electronic zoom control in a virtual studio

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS KE KG KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IT LU MC NL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

121 Ep: the epo has been informed by wipo that ep was designated in this application
ENP Entry into the national phase

Ref document number: 2006033820

Country of ref document: US

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 10514439

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 20048002675

Country of ref document: CN

WWP Wipo information: published in national office

Ref document number: 10514439

Country of ref document: US

122 Ep: pct application non-entry in european phase