WO2014184956A1 - 映像合成装置および方法 - Google Patents

映像合成装置および方法 Download PDF

Info

Publication number
WO2014184956A1
WO2014184956A1 PCT/JP2013/063819 JP2013063819W WO2014184956A1 WO 2014184956 A1 WO2014184956 A1 WO 2014184956A1 JP 2013063819 W JP2013063819 W JP 2013063819W WO 2014184956 A1 WO2014184956 A1 WO 2014184956A1
Authority
WO
WIPO (PCT)
Prior art keywords
video
timing
unit
graphic
request information
Prior art date
Application number
PCT/JP2013/063819
Other languages
English (en)
French (fr)
Inventor
水口　武尚
武史 三井
英樹 福原
康明 瀧本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to DE112013007092.8T priority Critical patent/DE112013007092B4/de
Priority to JP2015516863A priority patent/JP5881897B2/ja
Priority to CN201380076684.7A priority patent/CN105229722B/zh
Priority to PCT/JP2013/063819 priority patent/WO2014184956A1/ja
Priority to US14/787,442 priority patent/US20160078664A1/en
Publication of WO2014184956A1 publication Critical patent/WO2014184956A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/12—Synchronisation between the display unit and other units, e.g. other display units, video-disc players
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T13/00—Animation
    • G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/60—Editing figures and text; Combining figures or text
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/37—Details of the operation on graphic patterns
    • G09G5/377—Details of the operation on graphic patterns for mixing or overlaying two or more graphic patterns
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G2340/00—Aspects of display data processing
    • G09G2340/12—Overlay of images, i.e. displayed pixel being the result of switching between the corresponding input pixels
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/363—Graphics controllers
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/36—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators characterised by the display of a graphic pattern, e.g. using an all-points-addressable [APA] memory
    • G09G5/39—Control of the bit-mapped memory
    • G09G5/395—Arrangements specially adapted for transferring the contents of the bit-mapped memory to the screen
    • G09G5/397—Arrangements specially adapted for transferring the contents of two or more bit-mapped memories to the screen simultaneously, e.g. for mixing or overlay

Definitions

  • the present invention relates to a video composition apparatus and method for synthesizing and displaying graphic images drawn by a plurality of apparatuses.
  • the image drawn by the device A and the device B drawn By simply compositing the image as it is, the image can be displayed without any problem as expected after the composition.
  • the images drawn by multiple devices are graphic images such as animations
  • the images (videos) after the synthesis will not be as expected and will shift if the timing at the time of synthesis does not match. There was a problem.
  • Patent Documents 1 and 2 as a technique for synthesizing and displaying a video captured from the outside, the video received from the outside is enlarged / reduced and synthesized with a graphic drawn inside (the device itself).
  • a synthesizing apparatus is described in which the synthesizing timing is adjusted in consideration of the time required for enlarging / reducing an image captured from the outside.
  • the present invention has been made to solve the above-described problems, and displays graphic images drawn by a plurality of devices in a synthesized manner in accordance with the timings of animation changes that are continuously sent.
  • An object of the present invention is to provide a video synthesizing apparatus and method thereof.
  • a video synthesizing apparatus that synthesizes and displays graphic images drawn by a plurality of drawing apparatuses
  • the control unit that controls the operation of the video synthesizing apparatus and the plurality of drawing apparatuses include A timing request information generating unit that generates timing request information for designating timing for synthesizing a graphic image to be drawn; a communication unit that transmits the timing request information generated by the timing request information generating unit to the plurality of drawing devices; A video input unit that receives a graphic video drawn by the drawing device transmitted from the plurality of drawing devices, and a video synthesis unit that synthesizes the graphic video received by the video input unit in response to an instruction from the control unit And a display output unit for displaying a graphic video synthesized by the video synthesis unit, and the control unit , When it becomes the same timing as the timing request information transmitted to the plurality of drawing device via the communication unit, characterized in that direct the synthesis of the graphic image relative to the image
  • the images can be combined and displayed in accordance with the timing of the animation change. Can do.
  • FIG. 3 is a block diagram illustrating a configuration of a video composition device, a first drawing device, and a second drawing device in Embodiment 1.
  • FIG. 3 is a flowchart showing operations of a first drawing device (video composition device) and a second drawing device in the first embodiment.
  • 4 is a timing chart showing operation timings of the first drawing device (video composition device) and the second drawing device in the first embodiment.
  • FIG. 10 is a block diagram illustrating a configuration of a video composition device, a first drawing device, and a second drawing device in Embodiment 2.
  • 10 is a flowchart illustrating operations of a first drawing device (video composition device) and a second drawing device according to Embodiment 2.
  • 10 is a timing chart showing operation timings of the first drawing device (video composition device) and the second drawing device in the second embodiment.
  • FIG. 11 is a diagram illustrating an example of a video frame drawn by the second drawing device in the second embodiment. It is a figure which shows another example of the video frame which the 2nd drawing apparatus in Embodiment 2 draws.
  • FIG. 10 is a block diagram illustrating a configuration of a video composition device, a first drawing device, and a second drawing device in a third embodiment.
  • FIG. 10 is a flowchart showing operations of a first drawing device (video composition device) and a second drawing device in Embodiment 3.
  • 12 is a timing chart illustrating operation timings of the first drawing device (video composition device) and the second drawing device according to Embodiment 3.
  • FIG. 10 is a block diagram illustrating a configuration of a video composition device, a first drawing device, and a second drawing device in a fourth embodiment.
  • 14 is a flowchart illustrating operations of the video composition device, the first drawing device, and the second drawing device in the fourth embodiment.
  • 10 is a timing chart illustrating operation timings of the video composition device, the first drawing device, and the second drawing device according to Embodiment 4.
  • FIG. 10 is a diagram showing an overview of a video composition system in a fifth embodiment.
  • FIG. 2 is an explanatory diagram showing an example of a conventional synthesized image when a graphic image drawn by a plurality of devices is synthesized.
  • a synthesized image as shown in FIG. 2A from a graphic image drawn by the device A and a graphic image drawn by the device B
  • the images are continuously obtained from the respective devices A and B.
  • FIGS. 2 (b) and 2 (c) it is sometimes impossible to synchronize with the timing of the change of the animation that is sent, resulting in an image with the composition timing shifted.
  • timing request information is transmitted from the video composition device side to the drawing device that draws the graphic images before composition.
  • the present invention provides a video composition apparatus and method that enables a video composition apparatus to acquire and synthesize a graphic image with a proper timing from each drawing apparatus and to present it.
  • FIG. 3 is a block diagram showing the configuration of the video composition device, the first drawing device, and the second drawing device according to Embodiment 1 of the present invention.
  • the first drawing device the image composition device.
  • the first drawing device (video composition device) 1 includes a control unit 11, a communication unit 12, a drawing unit 13, a video input unit 14, a video composition unit 15, a display output unit (display unit) 16, and an operation unit 17. .
  • the control unit 11 controls the operation of the first drawing device (video composition device) 1, draws a video frame by the first drawing device (video composition device) 1, and receives the video frame from the second drawing device 2.
  • the first drawing device (video composition device) 1 control the composition of the video frames.
  • control unit 11 includes a timing request information generation unit 10.
  • the timing request information generation unit 10 generates timing request information for designating the timing for synthesizing graphic images drawn by a plurality of drawing devices in the control unit 11. Specifically, timing request information indicating timing for switching screen drawing and frame buffer in the second drawing apparatus 2 is generated.
  • the communication unit 12 transmits and receives an operation instruction and a response to the second drawing apparatus 2. That is, at least the timing request information generated by the timing request information generation unit 10 is transmitted to the second drawing device 2.
  • Examples of the implementation method include serial communication, USB, wireless LAN, and Bluetooth (registered trademark).
  • the drawing unit 13 draws a graphic image for display on the screen.
  • the drawing unit 13 manages a plurality (two in FIG. 3) of frame buffers, and draws a graphic image in the frame buffer (memory).
  • the video input unit 14 periodically receives video frames from the second drawing device 2 (graphic images drawn by the drawing device 2 transmitted from the second drawing device 2).
  • Examples of methods for receiving video frames include HDMI (registered trademark / hereinafter, omitted), DVI, composite, RGB, and the like. It has a plurality of frame buffers (memory) for receiving video frames, and the received video frames are recorded in it.
  • the video synthesis unit 15 synthesizes the graphic video drawn by the drawing unit 13 and the video frame (graphic video) received by the video input unit 14.
  • the display output unit 16 outputs the video frame (graphic video) synthesized by the video synthesis unit 15 to a display or the like and displays it.
  • the operation unit 17 receives an operation from the user.
  • the second drawing device 2 includes a control unit 21, a communication unit 22, a drawing unit 23, and a video output unit 24.
  • the control unit 21 controls the operation of the second drawing device 2, draws a graphic image by the second drawing device 2, and a video frame from the second drawing device 2 to the first drawing device (video composition device) 1. Control the transmission of.
  • the communication unit 22 transmits / receives an operation instruction, a response, and the like to / from the first drawing device (video composition device) 1.
  • the drawing unit 23 draws a graphic image to be displayed on the screen.
  • the video output unit 24 periodically transmits video frames from the second drawing device 2. Examples of a method for receiving video include HDMI and composite.
  • FIG. 4 is a flowchart showing operations of the first drawing device (video composition device) and the second drawing device in the first embodiment.
  • FIG. 5 is a timing chart showing operation timings of the first drawing device (video composition device) and the second drawing device in the first embodiment.
  • control unit 11 of the first drawing device (video composition device) 1 receives an event of a user operation from the operation unit 17 (step ST1).
  • a screen change is determined from the accepted event (step ST2), and timing request information for performing the screen change is generated (step ST3).
  • This timing request information indicates a time for performing screen composition, which will be described later, in consideration of a drawing time and a video frame transmission time by the first drawing device (video composition device) 1 and the second drawing device 2.
  • the timing request information is information for generating information indicating at which timing the first drawing device (video composition device) 1 wants to draw, and transmitting the information to the second drawing device 2.
  • any designation may be used as long as the timing can be clearly specified, such as designation by time, designation by elapsed time from the communication start time by the communication unit 12, designation by video frame number, and the like.
  • step ST4 the screen change including the timing request information generated in step ST3 from the control unit 11 of the first drawing device (video composition device) 1 to the control unit 21 of the second drawing device 2 via the communication units 12 and 22 A request is transmitted (step ST4).
  • the control unit 11 of the first drawing device (video composition device) 1 causes the drawing unit 13 to draw the screen in the drawing frame buffer (step ST5).
  • drawing frame buffers there are a plurality of drawing frame buffers, and drawing is performed in one of them. This is a technique commonly called double buffering or triple buffering.
  • double buffering or triple buffering By separately preparing a drawn frame buffer and a drawing frame buffer, the video output for display and the drawing process are parallelized. It is a technique to do.
  • the first drawing device (video composition device) 1 waits until the timing of the timing request information generated in step ST3 (the time in the first embodiment), and then performs the timing adjustment (“timing adjustment X shown in FIG. 5). (Refer to step ST6). That is, when the timing request information is designated by time, the video composition instruction is delayed until the time indicated by the timing request information.
  • the second drawing device 2 draws the screen in the drawing frame buffer by the drawing unit 23 (step ST12).
  • the screen change request received from the first drawing device (video composition device) 1 in step ST11 also includes timing request information generated by the first drawing device (video composition device) 1 in step ST3.
  • the second drawing apparatus 2 waits until a time obtained by subtracting the time required for video frame transmission from the time indicated by the timing request information, and performs timing adjustment (see “timing adjustment Y” shown in FIG. 5) ( After that, the drawing frame buffer to be output by the video output unit 24 is switched (step ST14).
  • the video output unit 24 periodically transmits video frames from the drawing frame buffer to the video input unit 14 of the first drawing device (video composition device) 1 (step ST15).
  • the video input unit 14 of the first drawing device (video synthesis device) 1 receives the video frame from the video output unit 24 of the second drawing device 2 (step ST16), and the received video frame is converted into the video input unit. 14 input frame buffers.
  • control unit 11 of the first drawing device (video composition device) 1 receives the timing request information transmitted to the second drawing device 2 via the communication unit 12 at the timing (time) of the timing request information.
  • the video composition unit 15 is instructed to synthesize a graphic image (step ST17).
  • the video composition unit 15 synthesizes the drawing frame buffer newly drawn by the drawing unit 13 and the input frame buffer received from the second drawing device 2 by the video input unit 14 (step ST18).
  • the synthesized video is output to a display or the like by the display output unit 16 and displayed (step ST19).
  • the timing request information is transmitted together with the screen change request from the first drawing device (video composition device) to the second drawing device, and the first drawing device (video composition device).
  • the graphic images drawn by the plurality of apparatuses can be combined and displayed at the same timing.
  • the timing request information has been described by way of example in which the time at which video composition is started is specified.
  • the video frame number or the like that is periodically transmitted by the video input unit or the video output unit is specified. May be instructed.
  • the timing request information is not the time, but the frame number of the video transmission between the first drawing device (video composition device) and the second drawing device, and the elapsed time from the communication start time by the communication unit. Any other method may be used as long as the timing can be shared between the first drawing device (video composition device) and the second drawing device, such as time.
  • the case where an event is received by a user operation and the screen is changed has been described as an example.
  • a trigger for the screen change a state change event received from another device, a timer, or the like can be used. It may be due to an event.
  • symbol is attached
  • the first drawing device (video composition device) 1 further includes an input video analysis unit 18 at the drawing completion timing on the second drawing device 2 side.
  • the difference is that they are combined.
  • the input video analysis unit 18 analyzes the video frame (graphic video) received by the video input unit 14 from the second drawing device 2 and extracts timing information indicating the timing at which the video frame is drawn.
  • FIG. 7 is a flowchart showing operations of the first drawing device (video composition device) and the second drawing device in the second embodiment.
  • FIG. 8 is a timing chart showing operation timings of the first drawing device (video composition device) and the second drawing device in the second embodiment.
  • steps ST21 to ST22 is the same as that in steps ST1 and ST2 in FIG. Further, the process for generating timing request information for changing the screen (step ST23) is the same as that in step ST3.
  • the timing request information in the second embodiment will be described assuming that it is a video frame number instead of indicating the time of screen composition as in the first embodiment.
  • the timing request information can be generated by identifying the video frame number requesting the screen change.
  • the apparatus 2 transmits a screen change request including a timing information drawing position (details will be described later; see FIGS. 9 and 10) for designating a position for drawing timing information on the video frame (step ST24).
  • the position where the timing information is drawn is selected from an area that is not used for video composition in the video frame drawn by the second drawing device 2.
  • the control unit 11 of the first drawing device (video composition device) 1 causes the drawing unit 13 to draw the screen in the drawing frame buffer (step ST25). Thereafter, the first drawing device (video composition device) 1 waits until a video frame of timing information corresponding to the timing request information is received from the second drawing device 2 (details will be described later).
  • the second drawing device 2 When receiving the screen change request from the first drawing device (video composition device) 1 (step ST31), the second drawing device 2 draws the screen in the drawing frame buffer by the drawing unit 23 (step ST32). Further, the timing information is drawn at the timing information drawing position on the drawing frame buffer (step ST33).
  • timing information drawing method for example, the following may be considered.
  • a two-dimensional code such as a barcode or QR code (registered trademark) that can be easily analyzed is drawn as timing information. This is suitable for video transmission in an analog format such as a composite method.
  • a part of the video frame of the second drawing device 2 is not lost, and it is possible to display all the video frames of the second drawing device 2.
  • the timing information drawing position need not be transferred, and the timing information may be drawn at a fixed position such as the upper right or upper left of the video frame.
  • the second drawing apparatus 2 switches the drawing frame buffer output by the video output unit 24 (step ST34).
  • the video output unit 24 periodically transmits video frames from the drawing frame buffer to the video input unit 14 of the first drawing device (video composition device) 1 (step ST35).
  • the video input unit 14 of the first drawing device (video synthesis device) 1 receives the video frame from the video output unit 24 of the second drawing device 2 (step ST36), and the received video frame is converted into the video input unit. 14 input frame buffers.
  • the input video analysis unit 18 of the first drawing device (video synthesis device) 1 analyzes the video frame (graphic video) received by the video input unit from the second drawing device 2 and transmits it via the communication unit 12.
  • the timing information drawn at the timing information drawing position is acquired (step ST37).
  • the position in the video frame to be analyzed is the timing information drawing position transmitted from the first drawing device (video composition device) 1 to the second drawing device 2. Then, the input video analysis unit 18 passes the timing information obtained by the analysis to the control unit 11.
  • the control unit 11 acquires timing information from the input video analysis unit 18 (step ST38), and compares whether or not the acquired timing information matches the timing request information transmitted to the second drawing device 2 in step ST24. (Step ST39).
  • step ST39 When the acquired timing information matches the timing request information, that is, when the acquired timing information has the same timing as the timing request information (in the case of YES in step ST39), a graphic is displayed to the video composition unit 15. A video composition is instructed (step ST40). On the other hand, when they do not coincide, that is, when the timing is not the same (NO in step ST39), the process waits until a video frame having timing information of the same timing as the timing request information is received.
  • the video synthesis unit 15 synthesizes the drawing frame buffer newly drawn by the drawing unit 13 and the input frame buffer received from the second drawing device 2 by the video input unit 14 (step ST41).
  • the synthesized video is output and displayed on the display or the like by the display output unit 16 (step ST42).
  • drawing in the first drawing device (video composition device) 1 is 60 frames per second and drawing in the second drawing device 2 is 30 frames per second. It is effective in some cases. For example, when the frame number according to the timing request information is 10, even if the first drawing device (video composition device) 1 has already drawn the video frame of frame number 10, the video acquired from the second drawing device 2 When the frame timing information is frame number 8, no compositing instruction is given, and a video frame whose timing information is frame number 10 is acquired and then video compositing is performed and displayed.
  • FIG. 9 is a diagram illustrating an example of a video frame drawn by the second drawing device according to the second embodiment. This figure shows a state in which the timing information 3 is drawn at the timing information drawing position Z designated by the first drawing device (video composition device) 1.
  • FIG. 10 is a diagram illustrating another example of a video frame drawn by the second drawing device according to the second embodiment.
  • the timing information 3 is drawn at the timing information drawing position Z.
  • the timing information 3 is drawn at a fixed position (for example, upper left) of the video frame, and the video that should have been drawn at the fixed position instead. 4 may be drawn at the timing information drawing position Z.
  • the timing information 3 is drawn at the upper left of the video frame, and the video 4 originally at the upper left of the video frame is drawn at the timing information drawing position Z.
  • the timing information may be always analyzed with respect to a fixed position (upper left in FIG. 10).
  • the subsequent processing video composition
  • the timing request information and the timing information drawing position are transmitted together with the screen change request from the first drawing device (video composition device) to the second drawing device, and the second drawing device.
  • the timing information is drawn in the video frame to be transmitted to the first drawing device (video synthesizer) and analyzed by the first drawing device (video synthesizer).
  • the video is synthesized at that timing.
  • the graphic images drawn by the first drawing device (video combining device) and the second drawing device can be combined and displayed at the same timing.
  • the timing information is transmitted in synchronization with the video frame transmission. It has the feature that no special communication path is required. Further, since the notification is made together with the video, the timing can be accurately transmitted.
  • the control unit of the second drawing apparatus can be implemented as a general application such as a PC or a smartphone.
  • symbol is attached
  • the timing information drawing position is transmitted from the first drawing device (video composition device) 1 to the second drawing device 2, but in the third embodiment, the timing information drawing position is set to the second drawing device 2. And is transmitted from the second drawing device 2 to the first drawing device (video composition device) 1.
  • the block diagram (system configuration diagram) shown in FIG. 11 is substantially the same as the block diagram (system configuration diagram) shown in FIG. 6 of the second embodiment, but the control unit 11 of the first drawing device (video composition device) 1.
  • the communication unit 12, the control unit 21 of the second drawing apparatus 2, and the communication unit 22 are different in that the communication direction is bidirectional.
  • FIG. 12 is a flowchart illustrating operations of the first drawing device (video composition device) and the second drawing device according to the third embodiment.
  • FIG. 13 is a timing chart showing operation timings of the first drawing device (video composition device) and the second drawing device in the third embodiment.
  • the difference from the second embodiment is that the timing information drawing position is not included in the screen change request transmitted from the first drawing device (video composition device) 1 to the second drawing device 2 in step ST54. Instead, the timing information drawing position is only transmitted from the second drawing device 2 to the first drawing device (video composition device) 1.
  • steps ST51 to ST54 and ST61 are the same as steps ST21 to ST24 and ST31 in FIG. 7 of the second embodiment, but when the second drawing apparatus 2 receives the screen change request, it determines the timing information drawing position.
  • the first drawing device video composition device 1
  • step ST62 This tells the first drawing device (image composition device) that the second drawing device 2 knows the position not used for the image, and draws and transmits the timing information there.
  • the first drawing device (video composition device) 1 receives this timing information drawing position from the second drawing device 2 (step ST55), and when the timing information is compared, information drawn at that position, The timing request information generated in step ST53 is compared (see step ST70).
  • step ST56 and steps ST63 to ST73 only the position where the timing information is drawn when comparing the timing information in step ST70 is different from that of the second embodiment as described above. Since this is the same as step ST25 and steps ST32 to ST42 in FIG. 7 of the second embodiment, description thereof is omitted. In the third embodiment, the same effect as in the second embodiment can be obtained.
  • FIG. 14 is a block diagram showing the configuration of the video composition device, the first drawing device, and the second drawing device according to Embodiment 4 of the present invention. Note that the same components as those described in the first to third embodiments are denoted by the same reference numerals, and redundant description is omitted.
  • the first drawing device (video composition device) 1 of the second embodiment is divided into a first drawing device 200 and a video composition device 100 which are separate devices
  • the first drawing device (video composition device) 1 may be divided into the first drawing device 200 and the video composition device 100 which are separate devices. Needless to say.
  • the second drawing device 2 is the same as the second drawing device 2 in the first to third embodiments.
  • the first drawing device 200 has the same configuration as the second drawing device 2.
  • the video synthesizing apparatus 100 removes the drawing unit 13 from the first drawing apparatus (video synthesizing apparatus) 1 according to the second embodiment, and the video input unit and the input video analyzing unit are the first drawing apparatus 200 and the second drawing apparatus 2. Different points are provided for each.
  • the video composition device 100 includes a control unit 101, a communication unit 102, a first video input unit 141, a second video input unit 142, a video synthesis unit 105, a display output unit (display unit) 16, An operation unit 17, a first input video analysis unit 181, and a second input video analysis unit 182 are provided.
  • the control unit 101 controls the operation of the video synthesizing device 100 and controls the synthesis of video frames received from the first drawing device 200 and the second drawing device 2. Further, the control unit 11 includes a timing request information generation unit 10.
  • the communication unit 102 transmits and receives an operation instruction and a response to the first drawing apparatus 200 and the second drawing apparatus 2.
  • the first video input unit 141 and the second video input unit 142 periodically receive video frames from the first drawing device 200 and the second drawing device 2, respectively.
  • the first input video analysis unit 181 and the second input video analysis unit 182 analyze the video frames received by the first video input unit 141 and the second video input unit 142, respectively, and detect timing information.
  • the video composition unit 105 synthesizes the video frames of the first video input unit 141 and the second video input unit 142.
  • the display output unit 16 outputs and displays the video frame of the video composition unit 105 to a display or the like.
  • the operation unit 17 receives an operation from the user.
  • FIG. 15 is a flowchart illustrating operations of the video composition device, the first drawing device, and the second drawing device according to the fourth embodiment.
  • FIG. 16 is a timing chart showing operation timings of the video composition device, the first drawing device, and the second drawing device in the fourth embodiment.
  • steps ST81 to ST83 is the same as that in steps ST21 to ST23 in FIG. And it produced
  • the screen change request including the timing request information and the timing information drawing position at which the first drawing device 200 and the second drawing device 2 draw the timing information on the video frame is transmitted (step ST84).
  • the video composition device 100 waits until receiving a video frame of timing information corresponding to the timing request information from the first drawing device 200 and the second drawing device 2 (details will be described later).
  • the drawing unit 203 and the drawing unit 23 draw the screen in the drawing frame buffer (step ST91).
  • ST92A, ST92B Further, the timing information is drawn at the timing information drawing position on the drawing frame buffer (steps ST93A and ST93B).
  • the first drawing device 200 and the second drawing device 2 switch the drawing frame buffers output by the video output unit 204 and the video output unit 24, respectively (steps ST94A and ST94B).
  • the video output unit 204 and the video output unit 24 periodically transmit video frames from the drawing frame buffer to the first video input unit 141 and the second video input unit 142 of the video composition device 100 (steps ST95A and ST95B).
  • the video input unit 141 and the second video input unit 142 of the video composition device 100 respectively receive video frames from the video output unit 204 of the first drawing device and the video output unit 24 of the second drawing device 2 (steps).
  • the received video frame is stored in the input frame buffers of the first video input unit 141 and the second video input unit 142.
  • the first input video analysis unit 181 and the second input video analysis unit 182 of the video composition device 100 analyze the video frames (graphic video) received by the first video input unit 141 and the second video input unit 142, respectively. Then, the timing information drawn at the timing information drawing position transmitted via the communication unit 12 is acquired (steps ST97A and ST97B).
  • the position in the video frame to be analyzed is the timing information drawing position transmitted from the video composition device 100 to the first drawing device 200 and the second drawing device 2. Then, the first input video analysis unit 181 and the second input video analysis unit 182 pass the timing information obtained by the analysis to the control unit 101.
  • the control unit 101 acquires timing information from the first input video analysis unit 181 and the second input video analysis unit 182 (step ST98), and the acquired timing information is obtained from the first drawing device 200 and the second drawing in step ST84. It is compared whether or not it matches the timing request information transmitted to the device 2 (step ST99).
  • step ST99 the video composition unit 105 is instructed to synthesize a graphic image (step ST100).
  • step ST100 the video composition unit 105 is instructed to synthesize a graphic image.
  • the video composition unit 105 synthesizes the input frame buffer received from the first drawing device 200 by the first video input unit 141 and the input frame buffer received from the second drawing device 2 by the second video input unit 142 (Ste ST101).
  • the synthesized video is output to a display or the like by the display output unit 16 and displayed (step ST102).
  • the timing request information and the timing information drawing position are transmitted together with the screen change request from the video composition device to the first drawing device and the second drawing device, and the first drawing device,
  • the video frame corresponding to the request from the video synthesizer is received by drawing timing information in the video frame transmitted from the second drawing device to the video synthesizer and analyzing the timing information by the video synthesizer.
  • the video is synthesized at that timing.
  • a special method for transmitting the timing information in synchronization with the video frame transmission is used. There is a feature that does not require a mechanism.
  • Embodiment 5 FIG.
  • the video composition apparatus has been described as including the display output unit (display unit) 16.
  • the video composition apparatus can be applied to a server of a video composition system, You may make it apply to the application of a video composition system etc. which are installed in personal digital assistants, such as a smart phone, tablet PC, and a cellular phone, and may be made to output to a display device.
  • personal digital assistants such as a smart phone, tablet PC, and a cellular phone
  • FIG. 17 is a diagram showing an outline of a video composition system in Embodiment 5 of the present invention.
  • a display device 300 having only a display function such as display / audio performs video composition processing in cooperation with at least one of a portable information terminal 301 such as a smartphone and a server 302, or a mobile device such as a smartphone.
  • a portable information terminal 301 such as a smartphone and a server 302
  • a mobile device such as a smartphone.
  • At least one of the information terminal 301 and the server 302 can take various forms such as performing a video composition process and causing the display device 300 to display a composite video.
  • the server 302 when the server 302 performs video composition processing and provides the composite video to the user by displaying it on the display device 300, and when the portable information terminal 301 cooperates with the server 302 to perform video composition processing.
  • the synthesized video is displayed on the display device 300 and provided to the user.
  • the server 302 performs video composition processing and displays the recognition result on the display device 300.
  • the display device 300 may directly communicate with the server 302 or the display device 300 may communicate with the server 302 via the portable information terminal 301.
  • the server 302 functions as the video composition device described in the first to fourth embodiments.
  • the display device 300 has only the function and communication function of the display output unit (display unit) 16 for providing the synthesized video synthesized by the server 302 to the user, and the synthesized video synthesized by the server 302 is displayed. Receive and provide to users. Even with this configuration, the same effects as those of the first to fourth embodiments can be obtained.
  • the portable information terminal 301 performs video composition processing in cooperation with the server 302 and the display device 300 provides the composite video to the user.
  • the display device 300 may communicate with the server 302 via the portable information terminal 301, and the application of the portable information terminal 301 performs video composition processing in cooperation with the server 302.
  • the display device 300 basically has only a display function and a communication function, receives a composite video synthesized by cooperation between the portable information terminal 301 and the server 302 and provides it to the user. That is, the composite image obtained by combining the graphic images drawn by the plurality of drawing devices is displayed on the display device 300 by the application of the portable information terminal 301. Even with this configuration, the same effects as those of the first to fourth embodiments can be obtained.
  • the video composition device of the present invention can be applied even when there is a difference in the number of frames in which graphic images drawn by a plurality of devices are continuously sent, and the timing of animation change can be adjusted. Can be combined and displayed.
  • 1st drawing device (video composition device), 2nd drawing device, 3 timing information, 4 drawing information to be displayed at the position where timing information is drawn, 10 timing request information generating unit, 11, 21, 101, 201 control unit, 12, 22, 102, 202 communication unit, 13, 23, 203 drawing unit, 14 video input unit, 15, 105 video composition unit, 16 display output unit (display unit), 17 operation unit, 18 input video Analysis unit, 24, 204 Video output unit, 100 Video composition device, 141 First video input unit, 142 Second video input unit, 181 First input video analysis unit, 182 Second input video analysis unit, 300 Display device, 301 Mobile information terminal, 302 server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Multimedia (AREA)
  • Controls And Circuits For Display Device (AREA)
  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　この発明の映像合成装置によれば、複数の装置が描画するグラフィック映像を合成する場合に、映像合成装置から各描画装置にタイミング要求情報を送信してタイミングをはかるようにしたので、複数の装置が描画するグラフィック映像が連続的に送られてくるフレーム数に違いがあるような場合であっても、アニメーションの変化のタイミングまで合わせて合成して表示させることができる。

Description

映像合成装置および方法
　この発明は、複数の装置が描画するグラフィック映像を合成して表示させる映像合成装置およびその方法に関するものである。
　一般的に、複数の装置が描画した画像を合成して表示させる場合、その画像が静止画である場合には、例えば図１に示すように、装置Ａが描画した画像と装置Ｂが描画した画像とをそのまま合成するだけで、合成後に画像を期待どおり問題なく表示できる。
　しかし、複数の装置が描画する画像がアニメーション等のグラフィック映像である場合には、合成したときのタイミングが合わないと、合成後の画像（映像）が期待したものにはならず、ずれてしまうという問題があった。
　外部から取り込んだ映像を合成して表示させる技術として、例えば、特許文献１，２には、外部から受信した映像を拡大・縮小し、内部（自装置）で描画するグラフィックと合成する際に、外部から取り込んだ映像の拡大・縮小に要する時間を考慮して、合成タイミングを合わせる合成装置が記載されている。
特開２００４－３０２３６１号公報 特許国際公開２００８／１３９７３０号公報
　しかしながら、例えば特許文献１，２のような従来の合成装置では、外部から受信した映像をそのまま内部（自装置）で描画した映像と合成する場合や、複数の外部装置から受信した映像を合成する場合のタイミングのずれについては考慮していないため、それぞれの装置で描画されて連続的に送られてくるアニメーションの変化のタイミングまで合わせて合成することはできないという課題があった。
　この発明は、上記のような課題を解決するためになされたものであり、複数の装置が描画するグラフィック映像を、連続的に送られてくるアニメーションの変化のタイミングまで合わせて合成して表示させることができる映像合成装置およびその方法を提供することを目的とする。
　上記目的を達成するため、この発明は、複数の描画装置が描画するグラフィック映像を合成して表示させる映像合成装置において、前記映像合成装置の動作を制御する制御部と、前記複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成するタイミング要求情報生成部と、前記タイミング要求情報生成部が生成したタイミング要求情報を前記複数の描画装置に送信する通信部と、前記複数の描画装置から送信される当該描画装置が描画したグラフィック映像を受け取る映像入力部と、前記制御部からの指示を受けて、前記映像入力部が受け取ったグラフィック映像を合成する映像合成部と、前記映像合成部が合成したグラフィック映像を表示させる表示出力部とを備え、前記制御部は、前記通信部を介して前記複数の描画装置に送信された前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示することを特徴とする。
　この発明によれば、複数の装置が描画するグラフィック映像が連続的に送られてくるフレーム数に違いがあるような場合であっても、アニメーションの変化のタイミングまで合わせて合成して表示させることができる。
複数の装置が描画する静止画を合成した場合の合成画像の一例を示す説明図である。 複数の装置が描画するグラフィック映像を合成した場合の従来の合成画像の例を示す説明図である。 実施の形態１における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。 実施の形態１における第１描画装置（映像合成装置）および第２描画装置の動作を示すフローチャートである。 実施の形態１における第１描画装置（映像合成装置）および第２描画装置の動作のタイミングを示すタイミングチャートである。 実施の形態２における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。 実施の形態２における第１描画装置（映像合成装置）および第２描画装置の動作を示すフローチャートである。 実施の形態２における第１描画装置（映像合成装置）および第２描画装置の動作のタイミングを示すタイミングチャートである。 実施の形態２における第２描画装置が描画する映像フレームの一例を示す図である。 実施の形態２における第２描画装置が描画する映像フレームの別の例を示す図である。 実施の形態３における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。 実施の形態３における第１描画装置（映像合成装置）および第２描画装置の動作を示すフローチャートである。 実施の形態３における第１描画装置（映像合成装置）および第２描画装置の動作のタイミングを示すタイミングチャートである。 実施の形態４における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。 実施の形態４における映像合成装置、第１描画装置および第２描画装置の動作を示すフローチャートである。 実施の形態４における映像合成装置、第１描画装置および第２描画装置の動作のタイミングを示すタイミングチャートである。 実施の形態５における映像合成システムの概要を示す図である。
　以下、この発明の実施の形態について、図面を参照しながら詳細に説明する。
実施の形態１．
　図２は、複数の装置が描画するグラフィック映像を合成した場合の従来の合成画像の例を示す説明図である。例えば、装置Ａが描画したグラフィック映像と装置Ｂが描画したグラフィック映像から図２（ａ）に示すような合成後の映像を得たい場合に、従来では、それぞれの装置Ａ，Ｂから連続的に送られてくるアニメーションの変化のタイミングまで合わせることができずに、図２（ｂ）や図２（ｃ）に示すように、合成のタイミングがずれた映像になってしまうことがあった。
　そこで、この発明では、複数の描画装置が描画するグラフィック映像を合成して表示させる映像合成装置において、合成前のグラフィック映像を描画する描画装置に対して映像合成装置側からタイミング要求情報を送信し、映像合成装置が各描画装置からタイミングの合ったグラフィック映像を取得して合成して提示することができる映像合成装置および方法を提供する。
　図３は、この発明の実施の形態１における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。なお、この実施の形態１では、第１描画装置＝映像合成装置であるものとする。
　第１描画装置（映像合成装置）１は、制御部１１、通信部１２、描画部１３、映像入力部１４、映像合成部１５、表示出力部（表示部）１６、操作部１７を備えている。
　制御部１１は、第１描画装置（映像合成装置）１の動作を制御するものであり、第１描画装置（映像合成装置）１による映像フレームの描画、第２描画装置２から受信した映像フレームと第１描画装置（映像合成装置）１による映像フレームの合成などを制御する。
　また、制御部１１は、タイミング要求情報生成部１０を備えている。
　このタイミング要求情報生成部１０は、制御部１１において、複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成する。具体的には、第２描画装置２における画面描画やフレームバッファを切り替えるタイミングを示すタイミング要求情報を生成する。
　通信部１２は、動作の指示やその応答などを第２描画装置２と送受信する。すなわち、少なくともタイミング要求情報生成部１０が生成したタイミング要求情報を、第２描画装置２に送信する。実現方式としては、例えば、シリアル通信、ＵＳＢ、無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）などがある。
　描画部１３は、画面に表示するためのグラフィック映像を描画する。この描画部１３は複数（図３においては２つ）のフレームバッファを管理しており、このフレームバッファ（メモリ）にグラフィック映像を描画する。
　映像入力部１４は、第２描画装置２からの映像フレーム（第２描画装置２から送信される当該描画装置２が描画したグラフィック映像）を周期的に受信する。映像フレームを受信する方法には、例えば、ＨＤＭＩ（登録商標／以下、記載を省略）、ＤＶＩ、コンポジット、ＲＧＢなどがある。映像フレームを受信するための複数のフレームバッファ（メモリ）を持ち、これに受信した映像フレームを記録する。
　映像合成部１５は、制御部１１からの指示を受けて、描画部１３で描画したグラフィック映像と映像入力部１４が受け取った映像フレーム（グラフィック映像）を合成する。
　表示出力部１６は、映像合成部１５が合成した映像フレーム（グラフィック映像）を、ディスプレイ等へ出力し、表示する。
　操作部１７は、ユーザからの操作を受け付ける。
　第２描画装置２は、制御部２１、通信部２２、描画部２３、映像出力部２４を備えている。
　制御部２１は、第２描画装置２の動作を制御するものであり、第２描画装置２によるグラフィック映像の描画、第２描画装置２から第１描画装置（映像合成装置）１への映像フレームの送信などを制御する。
　通信部２２は、動作の指示やその応答などを第１描画装置（映像合成装置）１と送受信する。
　描画部２３は、画面に表示するためのグラフィック映像を描画する。
　映像出力部２４は、第２描画装置２からの映像フレームを周期的に送信する。映像を受信する方法には、例えば、ＨＤＭＩ、コンポジットなどがある。
　次に、動作について、図４および図５を参照しながら説明する。
　図４は、実施の形態１における第１描画装置（映像合成装置）および第２描画装置の動作を示すフローチャートである。
　また、図５は、実施の形態１における第１描画装置（映像合成装置）および第２描画装置の動作のタイミングを示すタイミングチャートである。
　まず初めに、第１描画装置（映像合成装置）１の制御部１１は、操作部１７からユーザ操作のイベントを受け付ける（ステップＳＴ１）。次に、その受け付けたイベントから画面変更を判断し（ステップＳＴ２）、その画面変更を行うタイミング要求情報を生成する（ステップＳＴ３）。
　このタイミング要求情報とは、第１描画装置（映像合成装置）１と第２描画装置２による描画時間、映像フレーム伝送時間を考慮し、後述の画面合成を行う時間を示すものである。
　一般的に、第１描画装置（映像合成装置）１が画面を描画するに要する時間と、第２描画装置２が画面を描画し第１描画装置（映像合成装置）１へその画面イメージを伝送するに要する時間は異なるからである。
　すなわち、タイミング要求情報とは、第１描画装置（映像合成装置）１がどのタイミングで描画させたいかという情報を生成して、その情報を第２描画装置２へ送信するためのものであり、例えば、時刻による指定、通信部１２による通信開始時刻からの経過時間による指定、映像フレーム番号による指定など、タイミングを明確に指定できるものであれば、いずれであってもよい。
　次に、第１描画装置（映像合成装置）１の制御部１１から第２描画装置２の制御部２１へ、通信部１２および２２を介して、ステップＳＴ３で生成したタイミング要求情報を含む画面変更要求を送信する（ステップＳＴ４）。
　次に、第１描画装置（映像合成装置）１の制御部１１は、描画部１３に画面を描画フレームバッファへ描画させる（ステップＳＴ５）。ここで、描画フレームバッファは複数あり、そのうちの１つへ描画するものとする。これは、一般的にダブルバッファリングやトリプルバッファリングなどと呼ばれる手法で、描画済みのフレームバッファと、描画中のフレームバッファを別に用意することで、表示のための映像出力と描画処理を並列して行うための手法である。
　その後、第１描画装置（映像合成装置）１は、ステップＳＴ３で生成したタイミング要求情報のタイミング（この実施の形態１では、その時間）まで待って、タイミング調整（図５に示す「タイミング調整Ｘ」参照）を行う（ステップＳＴ６）。すなわち、タイミング要求情報が時刻で指定されていた場合には、そのタイミング要求情報の示す時刻まで、映像合成の指示を遅延させる。
　第２描画装置２は、第１描画装置（映像合成装置）１から画面変更要求を受信すると（ステップＳＴ１１）、描画部２３により画面を描画フレームバッファへ描画する（ステップＳＴ１２）。
　なお、ステップＳＴ１１において第１描画装置（映像合成装置）１から受信する画面変更要求には、第１描画装置（映像合成装置）１がステップＳＴ３で生成したタイミング要求情報も含まれている。
　その後、第２描画装置２は、タイミング要求情報により指示された時刻から、映像フレーム伝送に要する時間を差し引いた時刻まで待って、タイミング調整（図５に示す「タイミング調整Ｙ」参照）を行い（ステップＳＴ１３）、その後、映像出力部２４により出力する描画フレームバッファを切り替える（ステップＳＴ１４）。
　映像出力部２４は、周期的に描画フレームバッファから映像フレームを第１描画装置（映像合成装置）１の映像入力部１４へ伝送する（ステップＳＴ１５）。
　ここで、第１描画装置（映像合成装置）１の映像入力部１４は、第２描画装置２の映像出力部２４から映像フレームを受信し（ステップＳＴ１６）、受信した映像フレームを、映像入力部１４の入力フレームバッファへ格納する。
　そして、第１描画装置（映像合成装置）１の制御部１１は、タイミング要求情報のタイミング（時刻）になると、すなわち、通信部１２を介して第２描画装置２に送信されたタイミング要求情報と同じタイミングになったときに、映像合成部１５に対してグラフィック映像の合成を指示する（ステップＳＴ１７）。
　映像合成部１５は、描画部１３で新たに描画した描画フレームバッファと、映像入力部１４で第２描画装置２から受信した入力フレームバッファを合成する（ステップＳＴ１８）。合成された映像は表示出力部１６により、ディスプレイなどへ出力され、表示される（ステップＳＴ１９）。
　以上のように、この実施の形態１によれば、第１描画装置（映像合成装置）から第２描画装置へ、画面変更要求と共にタイミング要求情報を送信し、第１描画装置（映像合成装置）、第２描画装置ともにそれに合わせて、合成対象となるフレームバッファを切替えるタイミングを合わせることにより、複数の装置がそれぞれ描画したグラフィック映像をタイミングを合わせて合成し、表示することができる。
　この結果、複数の装置が描画するグラフィック映像が連続的に送られてくるフレーム数に違いがあるような場合であっても、アニメーションの変化のタイミングまで合わせて合成して表示させることができる。
　なお、この実施の形態１では、タイミング要求情報として、映像合成を開始する時刻を指定する場合を例として説明したが、映像入力部や映像出力部が周期的に伝送する映像フレーム番号などを指定して指示するようにしてもよい。
　また、前述のとおり、タイミング要求情報は、時刻でなくても、第１描画装置（映像合成装置）と第２描画装置間の映像伝送のフレーム番号や、通信部による通信開始の時刻からの経過時間など、第１描画装置（映像合成装置）と第２描画装置間でタイミングを共有できるものであれば、他の方法であっても構わない。
　なお、この実施の形態１では、ユーザ操作によってイベントを受け付けて画面変更する場合を例に説明したが、画面変更のトリガーとしては、他の機器から受信した状態変更イベントや、タイマーなど、他のイベントによるものとしてもよい。
実施の形態２．
　図６は、この発明の実施の形態２における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。また、この実施の形態２においても、実施の形態１と同様に第１描画装置＝映像合成装置であるものとする。なお、実施の形態１で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。
　以下に示す実施の形態２では、実施の形態１と比べると、第１描画装置（映像合成装置）１が、入力映像解析部１８をさらに備え、第２描画装置２側の描画完了のタイミングに合わせて合成を行う点が異なる。
　入力映像解析部１８は、映像入力部１４が第２描画装置２から受信した映像フレーム（グラフィック映像）を解析し、その映像フレームが描画されたタイミングを示すタイミング情報を抽出する。
　この実施の形態２における動作について、図７および図８を参照しながら説明する。
　図７は、実施の形態２における第１描画装置（映像合成装置）および第２描画装置の動作を示すフローチャートである。
　また、図８は、実施の形態２における第１描画装置（映像合成装置）および第２描画装置の動作のタイミングを示すタイミングチャートである。
　ステップＳＴ２１～ＳＴ２２の処理については、実施の形態１の図４におけるステップＳＴ１～ＳＴ２と同じであるので、説明を省略する。
　また、その後、画面変更を行うタイミング要求情報を生成する（ステップＳＴ２３）処理についても、ステップＳＴ３と同じである。
　ただし、この実施の形態２におけるタイミング要求情報は、実施の形態１のように画面合成を行う時刻を示すものではなく、映像フレーム番号であるものとして説明する。この場合、ステップＳＴ２２において画面変更を判断した結果、画面変更を要求する映像フレーム番号を識別することによりタイミング要求情報を生成することができる。
　そして、第１描画装置（映像合成装置）１の制御部１１から第２描画装置２の制御部２１へ、通信部１２および２２を介して、ステップＳＴ２３で生成したタイミング要求情報とともに、第２描画装置２が映像フレーム上のタイミング情報を描画する位置を指定するタイミング情報描画位置（詳細については後述する。図９、図１０参照）を含む画面変更要求を送信する（ステップＳＴ２４）。
　このタイミング情報を描画する位置は、第２描画装置２が描画した映像フレームにおいて、映像合成で用いられない領域から選択される。
　次に、第１描画装置（映像合成装置）１の制御部１１は、描画部１３に画面を描画フレームバッファへ描画させる（ステップＳＴ２５）。
　その後、第１描画装置（映像合成装置）１は、タイミング要求情報に対応するタイミング情報の映像フレームを第２描画装置２から受信するまで待つ（詳細は後述する）。
　第２描画装置２は、第１描画装置（映像合成装置）１から画面変更要求を受信すると（ステップＳＴ３１）、描画部２３により画面を描画フレームバッファへ描画する（ステップＳＴ３２）。
　さらに、描画フレームバッファ上のタイミング情報描画位置に、タイミング情報を描画する（ステップＳＴ３３）。
　タイミング情報の描画方法としては、例えば次のようなものが考えられる。
（１）バーコードやＱＲコード（登録商標）など、画像解析が容易な２次元コード（図９、図１０参照）をタイミング情報として描画する。これは、コンポジット方式など、アナログ形式で映像を伝送する場合に適している。
（２）文字形式（文字列）でタイミング情報を描画する。これは、人間が解読できるため、デバックなどが容易である。
（３）描画ＩＤ（バイナリ値）をそのままビットマップ画像に変換してタイミング情報として描画する。これは、ＨＤＭＩなど、デジタルで映像フレームを伝送する場合に適しており、特別な変換は不要である。
（４）電子すかしなど、人間の目には見えないように映像フレームにタイミング情報を埋め込む。この場合には、図９や図１０に示すように第２描画装置２の映像フレームの一部が欠けてしまうことがなく、第２描画装置２の映像フレームをすべて表示することも可能である。また、この場合には、タイミング情報描画位置を転送する必要はなく、映像フレームの右上や左上など、固定の位置にタイミング情報を描画してもよい。
　その後、第２描画装置２は、映像出力部２４により出力する描画フレームバッファを切り替える（ステップＳＴ３４）。
　映像出力部２４は、周期的に描画フレームバッファから映像フレームを第１描画装置（映像合成装置）１の映像入力部１４へ伝送する（ステップＳＴ３５）。
　ここで、第１描画装置（映像合成装置）１の映像入力部１４は、第２描画装置２の映像出力部２４から映像フレームを受信し（ステップＳＴ３６）、受信した映像フレームを、映像入力部１４の入力フレームバッファへ格納する。
　次に、第１描画装置（映像合成装置）１の入力映像解析部１８は、映像入力部が第２描画装置２から受信した映像フレーム（グラフィック映像）を解析し、通信部１２を介して送信したタイミング情報描画位置に描画されているタイミング情報を取得する（ステップＳＴ３７）。
　すなわち、解析対象とする映像フレーム内の位置は、第１描画装置（映像合成装置）１から第２描画装置２へ送信したタイミング情報描画位置である。そして、入力映像解析部１８は、解析によって得られたタイミング情報を制御部１１へ渡す。
　制御部１１は、入力映像解析部１８からタイミング情報を取得し（ステップＳＴ３８）、その取得したタイミング情報が、ステップＳＴ２４において第２描画装置２へ送信したタイミング要求情報と一致するか否か比較する（ステップＳＴ３９）。
　そして、取得したタイミング情報がタイミング要求情報と一致した場合、すなわち、取得したタイミング情報がタイミング要求情報と同じタイミングになったとき（ステップＳＴ３９のＹＥＳの場合）に、映像合成部１５に対してグラフィック映像の合成を指示する（ステップＳＴ４０）。一方、一致しない場合、すなわち、同じタイミングではないとき（ステップＳＴ３９のＮＯの場合）には、タイミング要求情報と同じタイミングのタイミング情報を持った映像フレームを受信するまで待つ。
　その後、映像合成部１５は、描画部１３で新たに描画した描画フレームバッファと、映像入力部１４で第２描画装置２から受信した入力フレームバッファを合成する（ステップＳＴ４１）。合成された映像は表示出力部１６により、ディスプレイなどへ出力され、表示される（ステップＳＴ４２）。
　具体的には、例えば、第１描画装置（映像合成装置）１における描画が１秒間に６０フレームで、第２描画装置２における描画が１秒間に３０フレームであるなど、描画速度に差がある場合などに有効である。例えば、タイミング要求情報によるフレーム番号が１０である場合に、第１描画装置（映像合成装置）１では既にフレーム番号１０の映像フレームが描画されていたとしても、第２描画装置２から取得した映像フレームのタイミング情報がフレーム番号８である場合には、合成指示は行わず、タイミング情報がフレーム番号１０である映像フレームを取得してから映像合成を行って表示する。
　図９は、実施の形態２における第２描画装置が描画する映像フレームの一例を示す図である。
　この図は、第１描画装置（映像合成装置）１が指定したタイミング情報描画位置Ｚに、タイミング情報３が描画されている状態を示している。
　また、図１０は、実施の形態２における第２描画装置が描画する映像フレームの別の例を示す図である。
　図９に示す例では、タイミング情報描画位置Ｚにタイミング情報３を描画したが、タイミング情報３を映像フレームの固定位置（例えば左上）に描画し、代わりにその固定位置に描画するはずだった映像４をタイミング情報描画位置Ｚに描画するようにしてもよい。
　ここでは、映像フレームの左上にタイミング情報３を、本来映像フレームの左上にある映像４を、タイミング情報描画位置Ｚに描画している。
　この場合、映像フレーム解析処理では、タイミング情報の解析を常に固定位置（図１０では左上）に対して行うようにすればよい。また、解析処理後、タイミング情報描画位置にある画像領域を、タイミング情報の位置にコピーすることで、以後の処理（映像合成）を同様に行うことができる。
　以上のように、この実施の形態２によれば、第１描画装置（映像合成装置）から第２描画装置へ、画面変更要求と共にタイミング要求情報とタイミング情報描画位置を送信し、第２描画装置から第１描画装置（映像合成装置）へ送信する映像フレーム内にタイミング情報を描画し、それを第１描画装置（映像合成装置）で解析することにより、第１描画装置（映像合成装置）からの要求に対応する映像フレームを受信したことを判断するとそのタイミングで映像を合成する。この構成により、第１描画装置（映像合成装置）と第２描画装置がそれぞれ描画したグラフィック映像を、タイミングを合わせて合成し、表示することができる。
　また、この方法では、第２描画装置側から第１描画装置（映像合成装置）側への映像フレーム上にタイミング情報を描画するため、映像フレーム伝送とタイミングを合わせてタイミング情報を送信するための特別な通信路を必要としないという特長がある。また、映像と合わせて通知するため、タイミングを正確に伝えることができる。
　例えば、第２描画装置の制御部は、ＰＣやスマートフォン等の一般的なアプリケーションとして実装することも可能である。
実施の形態３．
　図１１は、この発明の実施の形態３における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。また、この実施の形態３においても、実施の形態１，２と同様に第１描画装置＝映像合成装置であるものとする。なお、実施の形態１，２で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。また、処理についても、実施の形態２と同様の部分については図示および説明を省略し、実施の形態２と異なる部分についてのみ説明する。
　実施の形態２では、タイミング情報描画位置を、第１描画装置（映像合成装置）１から第２描画装置２へ送信したが、この実施の形態３は、タイミング情報描画位置を第２描画装置２側で決定し、第２描画装置２から第１描画装置（映像合成装置）１へ送信するよう構成したものである。
　図１１に示すブロック図（システム構成図）は、実施の形態２の図６に示すブロック図（システム構成図）とほぼ同じであるが、第１描画装置（映像合成装置）１の制御部１１、通信部１２、第２描画装置２の制御部２１、通信部２２の通信方向が双方向である点が異なる。
　この実施の形態３における動作について、図１２および図１３を参照しながら説明する。
　図１２は、実施の形態３における第１描画装置（映像合成装置）および第２描画装置の動作を示すフローチャートである。
　また、図１３は、実施の形態３における第１描画装置（映像合成装置）および第２描画装置の動作のタイミングを示すタイミングチャートである。
　動作について、実施の形態２と比較した場合の相違点は、ステップＳＴ５４において第１描画装置（映像合成装置）１から第２描画装置２へ送信される画面変更要求にタイミング情報描画位置が含まれず、代わりにタイミング情報描画位置が第２描画装置２から第１描画装置（映像合成装置）１へ送信される点のみである。
　すなわち、ステップＳＴ５１～ＳＴ５４およびＳＴ６１は、実施の形態２の図７におけるステップＳＴ２１～ＳＴ２４およびＳＴ３１と同じであるが、第２描画装置２は、画面変更要求を受信すると、タイミング情報描画位置を決めて第１描画装置（映像合成装置）１へ送信する（ステップＳＴ６２）。
　これは、第２描画装置２側で、映像に使用しない位置がわかるため、そこにタイミング情報を描画して送信することを、第１描画装置（映像合成装置）に伝えるものである。
　第１描画装置（映像合成装置）１は、このタイミング情報描画位置を第２描画装置２から受信して（ステップＳＴ５５）、タイミング情報の比較の際に、その位置に描画されている情報と、ステップＳＴ５３で生成したタイミング要求情報とを比較する（ステップＳＴ７０参照）。
　なお、ステップＳＴ５６、ステップＳＴ６３～ＳＴ７３については、上述のとおりステップＳＴ７０でタイミング情報を比較する際にタイミング情報が描画されている位置が実施の形態２とは異なるのみであり、その他の動作については、実施の形態２の図７におけるステップＳＴ２５およびステップＳＴ３２～ＳＴ４２と同じであるので、説明を省略する。
　この実施の形態３においても、実施の形態２と同様の効果を得ることができる。
実施の形態４．
　図１４は、この発明の実施の形態４における映像合成装置、第１描画装置、第２描画装置の構成を示すブロック図である。なお、実施の形態１～３で説明したものと同様の構成には、同一の符号を付して重複した説明を省略する。
　実施の形態１～３はいずれも、第１描画装置＝映像合成装置であるものとして説明したが、この実施の形態４では、２つの画面描画と、映像合成とを、それぞれ別々の装置で行うように構成する。すなわち、例えば２つの描画装置が接続されているサーバを映像合成装置として使用する場合などに、この実施の形態４を適用することができる。
　なお、この実施の形態４では、実施の形態２の第１描画装置（映像合成装置）１を、別々の装置である第１描画装置２００と映像合成装置１００とに分けた場合を例に説明するが、実施の形態１または３に対応する構成について、第１描画装置（映像合成装置）１を、別々の装置である第１描画装置２００と映像合成装置１００とに分けてもよいことは言うまでもない。
　第２描画装置２は、実施の形態１～３における第２描画装置２と同様である。また、第１描画装置２００は、第２描画装置２と同様の構成である。
　映像合成装置１００は、実施の形態２における第１描画装置（映像合成装置）１から描画部１３を取り除き、かつ、映像入力部と入力映像解析部が第１描画装置２００と第２描画装置２それぞれについて備えられている点が異なる。
　すなわち、この実施の形態４における映像合成装置１００は、制御部１０１、通信部１０２、第１映像入力部１４１、第２映像入力部１４２、映像合成部１０５、表示出力部（表示部）１６、操作部１７、第１入力映像解析部１８１、第２入力映像解析部１８２を備えている。
　制御部１０１は、映像合成装置１００の動作を制御するものであり、第１描画装置２００および第２描画装置２から受信した映像フレームの合成などを制御する。また、制御部１１は、タイミング要求情報生成部１０を備えている。
　通信部１０２は、動作の指示やその応答などを第１描画装置２００および第２描画装置２と送受信する。
　第１映像入力部１４１および第２映像入力部１４２はそれぞれ、第１描画装置２００および第２描画装置２からの映像フレームを周期的に受信する。
　第１入力映像解析部１８１および第２入力映像解析部１８２はそれぞれ、第１映像入力部１４１および第２映像入力部１４２が受信した映像フレームを解析し、タイミング情報を検出する。
　映像合成部１０５は、第１映像入力部１４１および第２映像入力部１４２の映像フレームを合成する。
　表示出力部１６は、映像合成部１０５の映像フレームをディスプレイ等へ出力し、表示する。
　操作部１７は、ユーザからの操作を受け付ける。
　次に、この実施の形態４における動作について、図１５および図１６を参照しながら説明する。
　図１５は、実施の形態４における映像合成装置、第１描画装置および第２描画装置の動作を示すフローチャートである。
　また、図１６は、実施の形態４における映像合成装置、第１描画装置および第２描画装置の動作のタイミングを示すタイミングチャートである。
　ステップＳＴ８１～ＳＴ８３の処理については、実施の形態２の図７におけるステップＳＴ２１～ＳＴ２３と同じであるので、説明を省略する。
　そして、映像合成装置１００の制御部１０１から第１描画装置２００の制御部２０１および第２描画装置２の制御部２１へ、通信部１０２および通信部２０２，２２を介して、ステップＳＴ８３で生成したタイミング要求情報と、第１描画装置２００および第２描画装置２が映像フレーム上のタイミング情報を描画するタイミング情報描画位置を含む画面変更要求を送信する（ステップＳＴ８４）。
　その後、映像合成装置１００は、タイミング要求情報に対応するタイミング情報の映像フレームを第１描画装置２００および第２描画装置２から受信するまで待つ（詳細は後述する）。
　第１描画装置２００および第２描画装置２はそれぞれ、映像合成装置１００から画面変更要求を受信すると（ステップＳＴ９１Ａ，ＳＴ９１Ｂ）、描画部２０３および描画部２３により画面を描画フレームバッファへ描画する（ステップＳＴ９２Ａ，ＳＴ９２Ｂ）。
　さらに、描画フレームバッファ上のタイミング情報描画位置に、タイミング情報を描画する（ステップＳＴ９３Ａ，ＳＴ９３Ｂ）。
　その後、第１描画装置２００および第２描画装置２はそれぞれ、映像出力部２０４および映像出力部２４により出力する描画フレームバッファを切り替える（ステップＳＴ９４Ａ，ＳＴ９４Ｂ）。
　映像出力部２０４および映像出力部２４はそれぞれ、周期的に描画フレームバッファから映像フレームを映像合成装置１００の第１映像入力部１４１および第２映像入力部１４２へ伝送する（ステップＳＴ９５Ａ，ＳＴ９５Ｂ）。
　ここで、映像合成装置１００の映像入力部１４１および第２映像入力部１４２はそれぞれ、第１描画装置の映像出力部２０４および第２描画装置２の映像出力部２４から映像フレームを受信し（ステップＳＴ９６Ａ，ＳＴ９６Ｂ）、受信した映像フレームを、第１映像入力部１４１および第２映像入力部１４２の入力フレームバッファへ格納する。
　次に、映像合成装置１００の第１入力映像解析部１８１および第２入力映像解析部１８２は、第１映像入力部１４１および第２映像入力部１４２が受信した映像フレーム（グラフィック映像）をそれぞれ解析し、通信部１２を介して送信したタイミング情報描画位置に描画されているタイミング情報を取得する（ステップＳＴ９７Ａ，ＳＴ９７Ｂ）。
　すなわち、解析対象とする映像フレーム内の位置は、映像合成装置１００から第１描画装置２００および第２描画装置２へ送信したタイミング情報描画位置である。そして、第１入力映像解析部１８１および第２入力映像解析部１８２は、解析によって得られたタイミング情報を制御部１０１へ渡す。
　制御部１０１は、第１入力映像解析部１８１および第２入力映像解析部１８２からタイミング情報を取得し（ステップＳＴ９８）、その取得したタイミング情報が、ステップＳＴ８４において第１描画装置２００および第２描画装置２へ送信したタイミング要求情報と一致するか否か比較する（ステップＳＴ９９）。
　そして、第１描画装置２００から受信したタイミング情報と第２描画装置２から受信したタイミング情報の両方がタイミング要求情報と一致した場合、すなわち、取得したタイミング情報がタイミング要求情報と同じタイミングになったとき（ステップＳＴ９９のＹＥＳの場合）に、映像合成部１０５に対してグラフィック映像の合成を指示する（ステップＳＴ１００）。一方、一致しない場合、すなわち、同じタイミングではないとき（ステップＳＴ９９のＮＯの場合）には、タイミング要求情報と同じタイミングのタイミング情報を持った映像フレームを受信するまで待つ。
　その後、映像合成部１０５は、第１映像入力部１４１で第１描画装置２００から受信した入力フレームバッファと、第２映像入力部１４２で第２描画装置２から受信した入力フレームバッファを合成する（ステップＳＴ１０１）。合成された映像は表示出力部１６により、ディスプレイなどへ出力され、表示される（ステップＳＴ１０２）。
　以上のように、この実施の形態４によれば、映像合成装置から第１描画装置および第２描画装置へ、画面変更要求と共にタイミング要求情報とタイミング情報描画位置を送信し、第１描画装置および第２描画装置から映像合成装置へ送信する映像フレーム内にタイミング情報を描画し、それを映像合成装置で解析することにより、映像合成装置からの要求に対応する映像フレームを受信したことを判断するとそのタイミングで映像を合成する。この構成により、第１描画装置と第２描画装置がそれぞれ描画したグラフィック映像を、映像合成装置によりタイミングを合わせて合成し、表示することができる。
　また、この方法では、第１描画装置および第２描画装置から映像合成装置側への映像フレーム上にタイミング情報を描画するため、映像フレーム伝送とタイミングを合わせてタイミング情報を送信するための特別な機構を必要としないという特長がある。
実施の形態５．
　以上の実施の形態１～４では、この発明における映像合成装置が、表示出力部（表示部）１６を備えるものとして説明したが、この映像合成装置を、映像合成システムのサーバに適用したり、スマートフォン、タブレットＰＣ、携帯電話等の携帯情報端末等にインストールされる映像合成システムのアプリケーション等にも適用して、表示装置に出力するようにしてもよい。
　図１７は、この発明の実施の形態５における映像合成システムの概要を示す図である。この映像合成システムは、例えばディスプレイ・オーディオ等の表示機能のみを有する表示装置３００が、スマートフォンなどの携帯情報端末３０１およびサーバ３０２の少なくとも一方と連携して映像合成処理を行ったり、スマートフォンなどの携帯情報端末３０１およびサーバ３０２の少なくとも一方が映像合成処理を行い、表示装置３００に合成映像を表示させる等、様々な形態をとることができる。
　この実施の形態５では、サーバ３０２が映像合成処理を行い、その合成映像を表示装置３００に表示させることによりユーザに提供する場合、および、携帯情報端末３０１がサーバ３０２と連携して映像合成処理を行い、その合成映像を表示装置３００に表示させることによりユーザに提供する場合について説明する。
　まず、サーバ３０２が映像合成処理を行い、その認識結果を表示装置３００に表示させる場合について説明する。
　この構成においては、表示装置３００がサーバ３０２と直接通信するか、または、表示装置３００が携帯情報端末３０１を経由してサーバ３０２と通信する場合が考えられる。サーバ３０２は、上記実施の形態１～４で説明した映像合成装置として機能する。
　この場合、表示装置３００は、サーバ３０２により合成された合成映像をユーザに提供するための表示出力部（表示部）１６の機能および通信機能のみを有し、サーバ３０２により合成された合成映像を受信してユーザに提供する。
　このように構成しても、実施の形態１～４と同様の効果を得ることができる。
　また、携帯情報端末３０１がサーバ３０２と連携して映像合成処理を行い、その合成映像を表示装置３００がユーザに提供する場合について説明する。
　この構成においては、表示装置３００が携帯情報端末３０１を経由してサーバ３０２と通信する場合が考えられ、携帯情報端末３０１のアプリケーションが、サーバ３０２と連携して映像合成処理を行う。
　この場合にも、表示装置３００は、基本的に表示機能および通信機能のみを有し、携帯情報端末３０１とサーバ３０２との連携により合成された合成映像を受信してユーザに提供する。
　すなわち、携帯情報端末３０１のアプリケーションにより、複数の描画装置で描画されたグラフィック映像を合成した合成映像を表示装置３００に表示させる。
　このように構成しても、実施の形態１～４と同様の効果を得ることができる。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。
　この発明の映像合成装置は、複数の装置が描画するグラフィック映像が連続的に送られてくるフレーム数に違いがあるような場合であっても適用することができ、アニメーションの変化のタイミングまで合わせて合成して表示させることができる。
　１　第１描画装置（映像合成装置）、２　第２描画装置、３　タイミング情報、４　タイミング情報が描画される位置に表示されるべき描画情報、１０　タイミング要求情報生成部、１１，２１，１０１，２０１　制御部、１２，２２，１０２，２０２　通信部、１３，２３，２０３　描画部、１４　映像入力部、１５，１０５　映像合成部、１６　表示出力部（表示部）、１７　操作部、１８　入力映像解析部、２４，２０４　映像出力部、１００　映像合成装置、１４１　第１映像入力部、１４２　第２映像入力部、１８１　第１入力映像解析部、１８２　第２入力映像解析部、３００　表示装置、３０１　携帯情報端末、３０２　サーバ。

Claims (8)

  1. 　複数の描画装置が描画するグラフィック映像を合成して表示させる映像合成装置において、
    　前記映像合成装置の動作を制御する制御部と、
    　前記複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成するタイミング要求情報生成部と、
    　前記タイミング要求情報生成部が生成したタイミング要求情報を前記複数の描画装置に送信する通信部と、
    　前記複数の描画装置から送信される当該描画装置が描画したグラフィック映像を受け取る映像入力部と、
    　前記制御部からの指示を受けて、前記映像入力部が受け取ったグラフィック映像を合成する映像合成部と、
    　前記映像合成部が合成したグラフィック映像を表示させる表示出力部とを備え、
    　前記制御部は、前記通信部を介して前記複数の描画装置に送信された前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示する
    　ことを特徴とする映像合成装置。
  2. 　前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像を解析し、当該グラフィック映像が描画されたタイミングを示すタイミング情報を抽出する入力映像解析部をさらに備え、
    　前記通信部は、前記タイミング要求情報とともに、前記タイミング情報を描画する位置を指定するタイミング情報描画位置を、前記複数の描画装置に対して送信し、
    　前記入力映像解析部は、前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像から、前記通信部が送信したタイミング情報描画位置に描画されているタイミング情報を取得し、
    　前記制御部は、前記入力映像解析部が取得したタイミング情報が前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示する
    　ことを特徴とする請求項１記載の映像合成装置。
  3. 　前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像を解析し、当該グラフィック映像が描画されたタイミングを示すタイミング情報を抽出する入力映像解析部をさらに備え、
    　前記通信部は、前記複数の描画装置から、前記タイミング情報を描画する位置を指定するタイミング情報描画位置を受信し、
    　前記入力映像解析部は、前記映像入力部が前記複数の描画装置から受け取ったグラフィック映像から、前記通信部が受信したタイミング情報描画位置に描画されているタイミング情報を取得し、
    　前記制御部は、前記入力映像解析部が取得したタイミング情報が前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示する
    　ことを特徴とする請求項１記載の映像合成装置。
  4. 　前記複数の描画装置のうちの１つは、前記映像合成装置の内部に含まれていることを特徴とする請求項１記載の映像合成装置。
  5. 　前記タイミング要求情報は、時刻、前記通信部による通信開始時刻からの経過時間、映像フレーム番号のいずれかであることを特徴とする請求項１記載の映像合成装置。
  6. 　前記グラフィック映像に描画されているタイミング情報は、２次元コード、文字列、バイナリ値、電子すかしのいずれかであることを特徴とする請求項２記載の映像合成装置。
  7. 　複数の描画装置が描画するグラフィック映像を合成して表示装置に表示させる映像合成装置において、
    　前記映像合成装置の動作を制御する制御部と、
    　前記複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成するタイミング要求情報生成部と、
    　前記タイミング要求情報生成部が生成したタイミング要求情報を前記複数の描画装置に送信する通信部と、
    　前記複数の描画装置から送信される当該描画装置が描画したグラフィック映像を受け取る映像入力部と、
    　前記制御部からの指示を受けて、前記映像入力部が受け取ったグラフィック映像を合成する映像合成部とを備え、
    　前記制御部は、前記通信部を介して前記複数の描画装置に送信された前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示する
    　ことを特徴とする映像合成装置。
  8. 　映像合成装置が、複数の描画装置が描画するグラフィック映像を合成して表示装置に表示させる映像合成方法であって、
    　タイミング要求情報生成部が、前記複数の描画装置が描画するグラフィック映像を合成するタイミングを指定するためのタイミング要求情報を生成するステップと、
    　通信部が、前記タイミング要求情報生成部が生成したタイミング要求情報を前記複数の描画装置に送信するステップと、
    　映像入力部が、前記複数の描画装置から送信される当該描画装置が描画したグラフィック映像を受け取るステップと、
    　映像合成部が、前記映像合成装置の動作を制御する制御部からの指示を受けて、前記映像入力部が受け取ったグラフィック映像を合成するステップと、
    　前記制御部が、前記通信部を介して前記複数の描画装置に送信された前記タイミング要求情報と同じタイミングになったときに、前記映像合成部に対して前記グラフィック映像の合成を指示するステップと
    　を備えたことを特徴とする映像合成方法。
PCT/JP2013/063819 2013-05-17 2013-05-17 映像合成装置および方法 WO2014184956A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
DE112013007092.8T DE112013007092B4 (de) 2013-05-17 2013-05-17 Bildsynthetisiervorrichtung und Verfahren
JP2015516863A JP5881897B2 (ja) 2013-05-17 2013-05-17 映像合成装置および方法
CN201380076684.7A CN105229722B (zh) 2013-05-17 2013-05-17 视频合成装置及方法
PCT/JP2013/063819 WO2014184956A1 (ja) 2013-05-17 2013-05-17 映像合成装置および方法
US14/787,442 US20160078664A1 (en) 2013-05-17 2013-05-17 Image synthesizing apparatus and method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/063819 WO2014184956A1 (ja) 2013-05-17 2013-05-17 映像合成装置および方法

Publications (1)

Publication Number Publication Date
WO2014184956A1 true WO2014184956A1 (ja) 2014-11-20

Family

ID=51897961

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/063819 WO2014184956A1 (ja) 2013-05-17 2013-05-17 映像合成装置および方法

Country Status (5)

Country Link
US (1) US20160078664A1 (ja)
JP (1) JP5881897B2 (ja)
CN (1) CN105229722B (ja)
DE (1) DE112013007092B4 (ja)
WO (1) WO2014184956A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101303A1 (zh) * 2015-12-15 2017-06-22 乐视控股（北京）有限公司 一种视频画面的绘制方法及装置

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10078485B2 (en) * 2015-03-13 2018-09-18 Kabushiki Kaisha Toshiba Display apparatus and display system
JP7048256B2 (ja) * 2017-10-27 2022-04-05 古野電気株式会社 船舶情報表示装置及び船舶情報表示方法
KR20220018849A (ko) * 2020-08-07 2022-02-15 삼성전자주식회사 디스플레이장치 및 그 제어방법
KR20220056404A (ko) * 2020-10-28 2022-05-06 삼성전자주식회사 디스플레이장치 및 그 제어방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11133936A (ja) * 1997-10-31 1999-05-21 Mitsubishi Electric Corp 画像合成装置
JP2003299046A (ja) * 2002-04-05 2003-10-17 Nippon Telegr & Teleph Corp <Ntt> 映像伝送装置及び方法並びにプログラム及び記録媒体
JP2003316347A (ja) * 2002-04-25 2003-11-07 Toshiba Corp 情報処理装置の表示制御装置および複数画像データの合成方法
JP2013125141A (ja) * 2011-12-14 2013-06-24 Sony Corp 表示装置、表示方法、送信装置および送信方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3796776B2 (ja) * 1995-09-28 2006-07-12 ソニー株式会社 映像音声再生装置
JP3832895B2 (ja) * 1996-05-28 2006-10-11 キヤノン株式会社 画像合成装置及び画像合成システム
JP2940545B1 (ja) 1998-05-28 1999-08-25 日本電気株式会社 画像変換方法および画像変換装置
JP3090709U (ja) * 2002-06-13 2002-12-26 船井電機株式会社 放送記録装置
JP4161770B2 (ja) 2003-04-01 2008-10-08 ソニー株式会社 データ合成装置およびデータ合成方法
JP5108877B2 (ja) 2007-05-08 2012-12-26 パナソニック株式会社 表示装置
KR100924687B1 (ko) * 2007-12-15 2009-11-03 한국전자통신연구원 올라타기 동작을 이용한 이동 동작 애니메이션 제작 시스템및 방법

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11133936A (ja) * 1997-10-31 1999-05-21 Mitsubishi Electric Corp 画像合成装置
JP2003299046A (ja) * 2002-04-05 2003-10-17 Nippon Telegr & Teleph Corp <Ntt> 映像伝送装置及び方法並びにプログラム及び記録媒体
JP2003316347A (ja) * 2002-04-25 2003-11-07 Toshiba Corp 情報処理装置の表示制御装置および複数画像データの合成方法
JP2013125141A (ja) * 2011-12-14 2013-06-24 Sony Corp 表示装置、表示方法、送信装置および送信方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017101303A1 (zh) * 2015-12-15 2017-06-22 乐视控股（北京）有限公司 一种视频画面的绘制方法及装置

Also Published As

Publication number Publication date
DE112013007092T5 (de) 2016-01-28
DE112013007092B4 (de) 2018-06-14
CN105229722B (zh) 2017-10-10
US20160078664A1 (en) 2016-03-17
JPWO2014184956A1 (ja) 2017-02-23
CN105229722A (zh) 2016-01-06
JP5881897B2 (ja) 2016-03-09

Similar Documents

Publication Publication Date Title
US11222410B2 (en) Image display apparatus
JP5881897B2 (ja) 映像合成装置および方法
CN108510929B (zh) 一种显示装置及其控制方法
US20140285505A1 (en) Image processing apparatus and image display system
US20170344330A1 (en) Multi-display device
US20190037100A1 (en) Image processing device, image processing method, and program
US10868968B2 (en) Display apparatus and control method thereof
US20230209126A1 (en) Display device and operating method therefor
US20140198115A1 (en) Image processing apparatus and control method thereof
JP5408906B2 (ja) 画像処理装置
JP2012212061A (ja) マルチディスプレイ装置
US7509442B2 (en) Informational-signal-processing apparatus, functional block, and method of controlling the functional block
JP6422620B2 (ja) 表示制御装置、表示制御方法及び表示制御プログラム
JP5765963B2 (ja) 画像処理装置および画像処理方法
JP2018007133A (ja) 画像処理装置とその制御方法及びプログラム
JP5890688B2 (ja) 情報処理装置、制御方法及びプログラム
US8279207B2 (en) Information processing apparatus, information processing method, and program
US9118955B2 (en) Stereo image handling device and method
JP2005322233A (ja) 大型のオーバーレイされたカメラ画像を圧縮符号化するためのメモリ効率の良い方法及び装置
JP5669456B2 (ja) 画像表示装置及びその制御方法
JP2007201816A (ja) 映像表示システム及び映像受信装置
US8677407B2 (en) Image display apparatus and method for controlling the same
JP2022028978A (ja) 映像処理装置、表示装置、および映像処理方法
JP2005086822A (ja) ビデオ・データおよびグラフィックス・データ処理用装置
JP2015171041A (ja) 映像表示装置、映像受信装置及び映像送信装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380076684.7

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13884922

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015516863

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14787442

Country of ref document: US

WWE Wipo information: entry into national phase

Ref document number: 112013007092

Country of ref document: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13884922

Country of ref document: EP

Kind code of ref document: A1