WO2022137324A1 - 映像信号を合成する装置、方法及びプログラム - Google Patents

映像信号を合成する装置、方法及びプログラム Download PDF

Info

Publication number
WO2022137324A1
WO2022137324A1 PCT/JP2020/047863 JP2020047863W WO2022137324A1 WO 2022137324 A1 WO2022137324 A1 WO 2022137324A1 JP 2020047863 W JP2020047863 W JP 2020047863W WO 2022137324 A1 WO2022137324 A1 WO 2022137324A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
video
video signals
delay time
synthesizing
Prior art date
Application number
PCT/JP2020/047863
Other languages
English (en)
French (fr)
Inventor
稔久 藤原
央也 小野
達也 福井
智彦 池田
亮太 椎名
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2022570804A priority Critical patent/JPWO2022137324A1/ja
Priority to PCT/JP2020/047863 priority patent/WO2022137324A1/ja
Publication of WO2022137324A1 publication Critical patent/WO2022137324A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
    • G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • G09G5/14—Display of multiple viewports
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information

Definitions

  • the timing of the video signal is not synchronized, and the timing of other video signals to be combined is different. Therefore, the signal is temporarily buffered in a memory or the like before being combined. As a result, there is a delay in the output of the combined screen.
  • the delay related to this composition greatly impairs its feasibility.
  • 120 BPM Beat Per Minute
  • the purpose of this disclosure is to reduce the delay time until the output of the composite video.
  • the device of the present disclosure selects and synthesizes a combination of video signals that minimizes the delay time of the output video from each of the plurality of input video signals in a device that synthesizes and displays a plurality of asynchronous video signals. ..
  • the video compositing apparatus and the video compositing method of the present disclosure are Detects the delay time between input frames that make up multiple video signals that are input asynchronously, Input frames of the plurality of video signals are selected so as to minimize the delay time of the output frame obtained by synthesizing the plurality of video signals. Using the selected input frame, an output frame obtained by synthesizing the plurality of video signals is generated.
  • the video compositing method of the present disclosure is described by a video compositing apparatus. Detects the delay time between input frames that make up multiple video signals that are input asynchronously, Input frames of the plurality of video signals are selected so as to minimize the delay time of the output frame obtained by synthesizing the plurality of video signals. Using the selected input frame, an output frame obtained by synthesizing the plurality of video signals is generated.
  • the program of the present disclosure is a program for realizing a computer as each functional unit provided in the apparatus according to the present disclosure, and is a program for causing the computer to execute each step provided in the method of the apparatus according to the present disclosure. ..
  • This disclosure can shorten the delay time until the output of the composite video.
  • An example of screen information included in a video signal is shown.
  • An example of screen composition is shown.
  • An example of a video composition method related to the present disclosure is shown.
  • An example of the video synthesis method of the present disclosure is shown.
  • An example of the video synthesis method of the present disclosure is shown.
  • a configuration example of the video synthesizer according to this embodiment is shown.
  • An example of the video synthesis method of the present disclosure is shown.
  • An example of the video synthesis method of the present disclosure is shown.
  • FIG. 1 shows an example of screen information included in a video signal.
  • the information on the screen is transmitted by scanning the screen in the horizontal direction for each scanning line 21 and sequentially scanning the lower scanning line 21.
  • This scan includes scanning of overhead information / signals such as the blanking portion 22 and the border portion 23 in addition to the display screen 24.
  • the blanking portion 22 may include information other than video information, such as control information and audio information. (See, for example, Non-Patent Document 1, Chapter 3.)
  • FIG. 2 shows an example of synthesizing video signals.
  • four video signals of inputs 1 to 4 are input to a video synthesizer, and the video synthesizer synthesizes and outputs one video signal.
  • one screen is transmitted using a time that is one-third of the frame rate.
  • the video signal of one screen is transmitted in 1/60 seconds, that is, about 16.7 milliseconds (hereinafter, 60 fps (Frame per Second)).
  • the information on one screen at each time point included in the video signal is called a "frame”, and the information on one screen of each video signal input to the video synthesizer is called an "input frame”, which is synthesized and output from the video synthesizer.
  • the information on one screen is referred to as an "output frame”.
  • the video synthesizer reads all the input frames, then synthesizes them into one output frame, and outputs them, as shown in FIG.
  • the frame time of each input frame is T_f and the synthesis processing time is T_p
  • the output of the output frame is delayed by 2T_f + T_p at the maximum from the input time of the input frame of the first input 1.
  • the present disclosure is a system for inputting a plurality of asynchronous videos and synthesizing those images, and is characterized in that an input frame to be combined is selected so that the delay after composition is the lowest.
  • the conversion function from that input is expressed as f (input1, input2, ).
  • the inputs 1, 2, 3, and 4 are set in the order of the earliest input timing.
  • FIG. 4 shows a first synthetic example of the present disclosure.
  • ⁇ O, k ⁇ f ( ⁇ 1, k ⁇ , ⁇ 2, k ⁇ , ⁇ 3, k ⁇ , ⁇ 4, k ⁇ )
  • k ⁇ and ⁇ 3, k ⁇ are input without a delay time
  • ⁇ 4, k ⁇ has an input delay time of D_in4 as compared with the others.
  • the delay time of the O and k frames is T_f + T_p for the input 4
  • T_f + T_p + D_in4 for the other inputs 1, 2, and 3.
  • the average value of the delays of the four inputs is (Number 1) T_f + T_p + 3D_in4 / 4 (1) Is.
  • FIG. 5 shows a second synthetic example of the present disclosure.
  • k ⁇ f ( ⁇ 1, k + 1 ⁇ , ⁇ 2, k + 1 ⁇ , ⁇ 3, k + 1 ⁇ , ⁇ 4, k ⁇ )
  • T_f-D_in4 after (T_f-D_in4) has elapsed from the input ⁇ 4, k ⁇ .
  • Inputs ⁇ 1, k + 1 ⁇ , ⁇ 2, k + 1 ⁇ , ⁇ 3, k + 1 ⁇ are input, and synthesis processing is performed by T_p immediately after the inputs ⁇ 1, k + 1 ⁇ , ⁇ 2, k + 1 ⁇ , ⁇ 3, k + 1 ⁇ . ..
  • the delay time of O, k frames is T_f + T_p for inputs 1, 2, and 3, and 2T_f + T_p-D_in4 for inputs 4.
  • the average value of the delays of the four inputs is (Number 2) 5T_f / 4 + T_p-D_in4 / 4 (2) Is.
  • the average delay time of the synthesis example of the formula (2) is shorter than that of the synthesis example of the formula (1).
  • the combination of the position (time) of the input frame that is the source of output according to the amount of delay time of the input frame, there is a combination that minimizes the average value, and the combination that minimizes the output is used.
  • the frame it is possible to minimize the delay of synthesis.
  • f ( ⁇ 1, k + 1 ⁇ , ⁇ 2, k ⁇ , ⁇ 3, k ⁇ , ⁇ 4, k ⁇ ) f ( ⁇ 1, k + 1 ⁇ , ⁇ 2, k + 1 ⁇ , ⁇ 3, k ⁇ , ⁇ 4, k ⁇ ) f ( ⁇ 1, k + 1 ⁇ , ⁇ 2, k + 1 ⁇ , ⁇ 3, k + 1 ⁇ , ⁇ 4, k ⁇ )
  • the delay time for each combination is calculated, and the combination of input frames that minimizes the average value of the delay times is selected as the combination of outputs.
  • the combination of input frames is not limited to the combination in which the average value of the delay time is the minimum, and may be the combination in which the maximum value of the delay time is the minimum.
  • an example of synthesizing four video signal input frames is shown, but this can be applied to any N video signal input frames.
  • the k-th and k + 1-th frame numbers are used for easy understanding, but the video signals assumed in the present disclosure are asynchronous, and the frame numbers and the input timings of each frame are used. Is different.
  • FIG. 6 shows a configuration example of the video synthesizer according to the present embodiment.
  • the video compositing device 10 includes a detection unit 101, a crossbar switch 102, an up / down converter 103, a buffer 104, and a pixel compositing unit 105.
  • the figure shows 4 inputs and 1 output, but any number of N inputs and outputs may be used.
  • Reference numeral 101 is a functional unit that detects the input order and the input delay time within the frame time for N input frames.
  • the input delay time of the input 4 shown in FIGS. 4 and 5 detects D_in4.
  • 102 is a crossbar switch, and is a function of sorting and outputting in the order of detection results of the order of input frames from 101.
  • the inputs 1, 2, 3, and 4 shown in FIGS. 4 and 5 are output in the order of k-th and k + 1-th.
  • Reference numeral 103 is an up / down converter that enlarges / reduces the number of pixels to an arbitrary size. For example, the number of pixels of the input 1 is enlarged or reduced so as to match the size of the screen shown in FIG.
  • Reference numeral 104 is a buffer for storing each input frame.
  • the inputs of 103 or 102 can be buffered and output in any order.
  • Reference numeral 105 is a pixel synthesizing unit. The pixel synthesizing unit 105 selects a frame number for the input of the combination that minimizes the delay based on the delay time from 101 in the entire output screen, reads the data from 104, synthesizes them, and generates an output frame. ,Output. As a result, a video in which the four video signals are combined is displayed on the screen as shown in FIG. The 105 may add an arbitrary control signal to the blanking portion 22 of the screen.
  • the device of the present disclosure can also be realized by a computer and a program, and the program can be recorded on a recording medium or provided through a network.
  • the present disclosure is not limited to this, and can be applied to any input.
  • the frame rate of the inputs 1 to 4 that is, the frame time T_f is the same, but the present disclosure is applicable to the inputs 1 to 4 having different frame times T_f.
  • unnecessary input frames may be thinned out as shown in FIG.
  • the unnecessary input frame is, for example, an input frame in which the delay time of the output frame becomes long when the input completion time points T11 and T12 are used as a reference, for example, the k-1st frame.
  • the input completion time may be a timing predicted by using the frame length described at the beginning of the input frame or the like.
  • the delay time of the output frame is short for the output frames O and k based on the input completion time points T11 and T12 .
  • Input frames ( ⁇ 1, k ⁇ , ⁇ 2, k ⁇ , ⁇ 3, k ⁇ , ⁇ 4, k ⁇ ) can be selected. Missing frames can be complemented by using past frames in time. For example, an input frame ( ⁇ 1, k ⁇ , ⁇ 2, k + 1 ⁇ , ⁇ 3, k + 1 ⁇ , ⁇ 4, k + 1 ⁇ ) can be selected for the output frames O and k + 1.
  • the k-th input frame may be used for a plurality of consecutive output frames such as the k-th and k + 1-th, or a plurality of consecutive input frames such as the k-th and k + 1-th may be used as one. It may be used for the kth output frame.
  • the combination of inputs may be optimized for the above-mentioned plurality of output frames. That is, in the above example, the input combination is optimized only for the output frames O and k, but it cannot always be said that the output frames O and k + 1 are optimized. Therefore, for example, optimization can be performed for a plurality of output frames such as output frames O and k and output frames O and k + 1 to minimize delay values such as average and maximum.
  • the delay time until the output after synthesis can be shortened by selecting and synthesizing a combination of input frames so as to minimize the output delay time of the asynchronous video input signal.
  • this disclosure enables collaborative work with strict low delay requirements in a system that synthesizes multiple screens at multiple locations and the like.
  • the effect of the present disclosure is shown in the case of the input frame timing shown in FIGS. 4 and 5.
  • T_f about 16.7 ms
  • the values in the equation (1) before the application of the present disclosure are respectively. 25.4 ms, 25.7 ms, and 27.9 ms, which exceed 25 ms, but the equation (2) after application of this disclosure is 17.9 ms, 17.5 ms, and 17 respectively. .1 millisecond, less than 25 milliseconds.
  • This disclosure can be applied to the information and communication industry that distributes video content and game content, as well as the movie, advertising, and game industries related to video production.
  • Video compositing device 21 Scanning line 22: Blanking part 23: Border part 24: Display screen 101: Detection unit 102: Crossbar switch 103: Up / down converter 104: Buffer 105: Pixel compositing unit

Abstract

本開示は、合成映像の出力までの遅延時間を短縮することを目的とする。　本開示は、映像合成装置が、非同期で入力された複数の映像信号を構成する入力フレーム同士の遅延時間を検出し、前記複数の映像信号を合成した出力フレームの遅延時間が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択し、選択した入力フレームを用いて、前記複数の映像信号を合成した出力フレームを生成する。

Description

映像信号を合成する装置、方法及びプログラム
　複数の映像信号から、画面を１つに合成し、出力する、映像合成システムに関する。
　近年、多くの映像デバイスが利用されている。このような多くの映像デバイスの映像には、多様な画素数（解像度）、フレームレート等が利用されている。この映像デバイスの映像信号は、規格によって、物理的な信号、コントロール信号等に差異があるものの、１画面をそのフレームレート分の１の時間を使って伝送する。
　これらの映像の利用方法には、テレビ会議など、複数のカメラをカメラの数よりも少ないモニタで表示するような形態がある。このような場合、複数の映像を、例えば１つの画面上に分割表示することや、ある映像画面中に、その他の映像画面縮小表示などをしてはめ込むことなどの、画面合成を行う。
　通常、映像信号のタイミングは同期されておらず、合成する他の映像信号のタイミングが異なることから、信号をメモリなどに一時的にバッファリングしてから、合成する。結果として、合成された画面の出力には遅延が発生する。
　遠隔地などでの合奏等をこのような画面合成を行うテレビ会議で行うことを想定すると、この合成に関わる遅延は、その実現性を大きく損なう。例えば、１秒間に１２０拍の曲（以下、１２０ＢＰＭ（Ｂｅａｔ　Ｐｅｒ　Ｍｉｎｕｔｅ））であれば、１拍の時間は、６０／１２０秒＝５００ミリ秒である。仮にこれを、５％の精度で合わせることが必要であるとすると、５００×０．０５＝２５ミリ秒以下にカメラで撮影して表示するまでの遅延を抑える必要がある。
　カメラで撮影して表示するまでには、実際には、合成に関わる処理以外に、カメラでの画像処理時間、モニタでの表示時間、伝送に関わる時間などの、その他の遅延も含む必要がある。結果として、従来技術では、遠隔地で相互に映像を見ながらの合奏等のタイミングが重視される用途での、協調作業は困難であった。
　そこで、低遅延要求が厳しい協調作業に対して、複数拠点などの複数の映像信号を合成するシステムで、非同期の映像信号の入力から、合成された映像信号の出力までの時間を低遅延化するシステムの提供が必要である。
ＶＥＳＡ　ａｎｄ　Ｉｎｄｕｓｔｒｙ　Ｓｔａｎｄａｒｄｓ　ａｎｄ　Ｇｕｉｄｅｌｉｎｅｓ　ｆｏｒ　Ｃｏｍｐｕｔｅｒ　Ｄｉｓｐｌａｙ　Ｍｏｎｉｔｏｒ　Ｔｉｍｉｎｇ　（ＤＭＴ），　Ｖｅｒｓｉｏｎ　１．０，　Ｒｅｖ．　１３，　Ｆｅｂｒｕａｒｙ　８，　２０１３
　本開示は、合成映像の出力までの遅延時間を短縮することを目的とする。
　本開示の装置は、複数の非同期の映像信号を合成して表示する装置において、入力された複数の映像信号の各々から出力映像の遅延時間が最小となる映像信号の組み合わせを選択して合成する。
　本開示の映像合成装置及び映像合成方法は、
　非同期で入力された複数の映像信号を構成する入力フレーム同士の遅延時間を検出し、
　前記複数の映像信号を合成した出力フレームの遅延時間が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択し、
　選択した入力フレームを用いて、前記複数の映像信号を合成した出力フレームを生成する。
　本開示の映像合成方法は、映像合成装置が、
　非同期で入力された複数の映像信号を構成する入力フレーム同士の遅延時間を検出し、
　前記複数の映像信号を合成した出力フレームの遅延時間が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択し、
　選択した入力フレームを用いて、前記複数の映像信号を合成した出力フレームを生成する。
　本開示のプログラムは、本開示に係る装置に備わる各機能部としてコンピュータを実現させるためのプログラムであり、本開示に係る装置が実行する方法に備わる各ステップをコンピュータに実行させるためのプログラムである。
　本開示は、合成映像の出力までの遅延時間を短縮することができる。
映像信号に含まれる画面の情報の一例を示す。 画面の合成例を示す。 本開示に関連する映像合成方法の一例を示す。 本開示の映像合成方法の一例を示す。 本開示の映像合成方法の一例を示す。 本実施形態に係る映像合成装置の構成例を示す。 本開示の映像合成方法の一例を示す。 本開示の映像合成方法の一例を示す。
　以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
　図１に、映像信号に含まれる画面の情報の一例を示す。画面の情報は、画面を横方向に１つの走査線２１毎に走査して、順次下の走査線２１を走査することで伝送される。この走査には、表示画面２４の他、ブランキング部分２２、また、ボーダ部分２３などのオーバヘッド情報／信号の走査を含む。ブランキング部分２２に、制御情報や音声情報など、映像情報以外の情報を含む場合もある。（例えば、非特許文献１、第３章参照。）
　図２に、映像信号の合成例を示す。本開示では、一例として、入力１～４の４つの映像信号が映像合成装置に入力され、映像合成装置が１つの映像信号に合成して出力する例を示す。映像信号では１画面をそのフレームレート分の１の時間を使って伝送する。例えば、１秒間に６０フレームの映像信号であれば、１／６０秒、すなわち約１６．７ミリ秒を掛けて１画面の映像信号を伝送する（以下、６０ｆｐｓ（Ｆｒａｍｅ　ｐｅｒ　Ｓｅｃｏｎｄ））。映像信号に含まれる各時点での１画面の情報を「フレーム」と称し、映像合成装置に入力される各映像信号の１画面の情報を「入力フレーム」、映像合成装置から出力される合成された１画面の情報を「出力フレーム」と称する。
　例えば、図３に示すように、映像合成装置が、全ての入力フレームを読み込んでから、１つの出力フレームに合成し、出力する場合を考える。この場合、各入力フレームのフレーム時間をＴ＿ｆ、合成処理時間をＴ＿ｐとすると、出力フレームの出力は、最初の入力１の入力フレームの入力時点から最大で、２Ｔ＿ｆ＋Ｔ＿ｐ遅れることとなる。
　本開示は、複数の非同期の映像を入力し、それらの画像を合成するシステムであって、合成後の遅延が最も低くなるよう、合成する入力フレームを選択することを特徴とする。
　ｋ番目の出力フレームを｛Ｏ，ｋフレーム｝とすると、その入力からの変換関数をｆ（ｉｎｐｕｔ１，ｉｎｐｕｔ２，…）と表す。また、入力タイミングが早い順に入力１，２，３，４とする。
　（第１の合成例）
　図４に、本開示の第１の合成例を示す。｛Ｏ，ｋ｝＝ｆ（｛１，ｋ｝，｛２，ｋ｝，｛３，ｋ｝，｛４，ｋ｝）の場合、図のように、入力｛１，ｋ｝，｛２，ｋ｝，｛３，ｋ｝は、遅延時間なしに入力され、｛４，ｋ｝は、他に比べて入力遅延時間がＤ＿ｉｎ４である。このとき、Ｏ，ｋフレームの遅延時間は、入力４に対して、Ｔ＿ｆ＋Ｔ＿ｐ、その他の入力１，２，３に対しては、Ｔ＿ｆ＋Ｔ＿ｐ＋Ｄ＿ｉｎ４である。この場合、４つの入力の遅延の平均値は、
（数１）
Ｔ＿ｆ＋Ｔ＿ｐ＋３Ｄ＿ｉｎ４／４　　　（１）
である。
　（第２の合成例）
　図５に、本開示の第２の合成例を示す。｛Ｏ，ｋ｝＝ｆ（｛１，ｋ＋１｝，｛２，ｋ＋１｝，｛３，ｋ＋１｝，｛４，ｋ｝）とした場合、入力｛４，ｋ｝から（Ｔ＿ｆ－Ｄ＿ｉｎ４）経過後に入力｛１，ｋ＋１｝，｛２，ｋ＋１｝，｛３，ｋ＋１｝が入力され、入力｛１，ｋ＋１｝，｛２，ｋ＋１｝，｛３，ｋ＋１｝の直後にＴ＿ｐで合成処理が行われる。この場合、Ｏ，ｋフレームの遅延時間は、入力１，２，３に対しては、Ｔ＿ｆ＋Ｔ＿ｐであり、入力４に対しては、２Ｔ＿ｆ＋Ｔ＿ｐ－Ｄ＿ｉｎ４である。この場合、４つの入力の遅延の平均値は、
（数２）
５Ｔ＿ｆ／４＋Ｔ＿ｐ－Ｄ＿ｉｎ４／４　　　（２）
である。
　ここで、Ｔ＿ｆ＜４Ｄ＿ｉｎ４であれば、式（１）の合成例より式（２）の合成例の方が平均遅延時間が短くなる。このように入力フレームの遅延時間量に応じて、出力の元となる入力フレームの位置（時間）の組み合わせを変えることで、平均値を最小とする組み合わせが存在し、その最小となる組み合わせで出力フレーム構成することで、合成の遅延を最小化することが可能である。
　つまり、（Ｏ，ｋ）に対して
　ｆ（｛１，ｋ｝，｛２，ｋ｝，｛３，ｋ｝，｛４，ｋ｝）
　ｆ（｛１，ｋ＋１｝，｛２，ｋ｝，｛３，ｋ｝，｛４，ｋ｝）
　ｆ（｛１，ｋ＋１｝，｛２，ｋ＋１｝，｛３，ｋ｝，｛４，ｋ｝）
　ｆ（｛１，ｋ＋１｝，｛２，ｋ＋１｝，｛３，ｋ＋１｝，｛４，ｋ｝）
の組み合わせでの遅延時間を計算し、そのうちの遅延時間の平均値が最小となる入力フレームの組み合わせを、出力の組み合わせに選択する。
　入力フレームの組み合わせは、遅延時間の平均値が最小となる組み合わせに限らず、遅延時間の最大値が最小となる組み合わせであってもよい。また、一部の入力フレームに対してのみ低遅延性を要求する等の場合、全入力フレームのうち、一部の入力フレームの遅延時間の平均値が最小となる組み合わせや、一部の入力フレームの遅延時間の最大値が最小となる組み合わせであってもよい。本実施形態では４つの映像信号の入力フレームを合成する例を示したが、これは任意のＮ個の映像信号の入力フレームで適用できる。また、図４及び図５では、理解が容易になるよう、ｋ番目及びｋ＋１番目のフレーム番号を用いたが、本開示で前提とする映像信号は非同期であり、フレーム番号や各フレームの入力タイミングは異なる。
　図６に、本実施形態に係る映像合成装置の構成例を示す。本実施形態に係る映像合成装置１０は、検出部１０１、クロスバスイッチ１０２、アップダウンコンバータ１０３、バッファ１０４、画素合成部１０５を備える。図は４入力１出力であるが、任意の数Ｎの入出力でも構わない。
　１０１は、Ｎ個の入力フレームに対して、フレーム時間内の入力順と入力の遅延時間を検出する機能部である。例えば、図４及び図５に示す入力４の入力遅延時間がＤ＿ｉｎ４を検出する。
　１０２は、クロスバスイッチであり、１０１からの入力フレームの順序の検出結果順に並べ替え出力する機能である。例えば、図４及び図５に示す入力１、２、３、４の順に、かつｋ番目、ｋ＋１番目の順に並べて出力する。
　１０３は画素数を任意の大きさに拡大縮小を行う、アップダウンコンバータである。例えば、入力１の画素数を、図２に示す画面の大きさに整合するよう拡大又は縮小する。
　１０２と１０３は入力（ａ，ｂ，ｃ，ｄ，…）に対して逆に接続しても構わない。すなわち入力ａ，ｂ，ｃ，ｄから１０３で拡大縮小を行い、その後１０２で入力１、２、３、４の順に並べ替え出力しても構わない。
　１０４は、各入力フレームを格納するバッファである。１０３または１０２の入力をバッファリングして、任意の順序で出力することができる。
　１０５は、画素合成部である。画素合成部１０５は、出力の全体画面のうち、１０１からの遅延時間を元に遅延を最小化する組み合わせの入力に対するフレーム番号を選択し、１０４からデータを読み出し、合成して出力フレームを生成し、出力する。これにより、図２に示すような、４つの映像信号が合成された映像が画面に表示される。１０５は、任意のコントロール信号を画面のブランキング部分２２に付加しても構わない。
　本開示の装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
　上述の実施形態では４入力、４分割１画面の例を示したが、本開示はこれに限らず、任意の入力に適用できる。また上述の実施形態では、入力１～４のフレームレートすなわちフレーム時間Ｔ＿ｆが同じ例を示したが、本開示はフレーム時間Ｔ＿ｆが異なる入力１～４に対しても適用可能である。
　例えば、出力フレームよりフレームレートが高い入力１の入力フレームについては、図７に示すように、不要な入力フレームを間引けばよい。不要な入力フレームは、例えば、入力完了時点Ｔ１１及びＴ１２を基準にした場合に、出力フレームの遅延時間が長くなる入力フレーム、例えばｋ－１番目のフレームである。入力完了時点は、入力フレームの先頭などに記載されているフレーム長を用いて予測されたタイミングであってもよい。
　一方、出力フレームよりフレームレートが低い入力１の入力フレームについても、図８に示すように、出力フレームＯ，ｋには、入力完了時点Ｔ１１及びＴ１２を基準に出力フレームの遅延時間が短くなる入力フレーム（｛１，ｋ｝，｛２，ｋ｝，｛３，ｋ｝，｛４，ｋ｝）を選択することができる。不足するフレームは時間的に過去のフレームを利用して補完することができる。例えば、出力フレームＯ，ｋ＋１には、入力フレーム（｛１，ｋ｝，｛２，ｋ＋１｝，｛３，ｋ＋１｝，｛４，ｋ＋１｝）を選択することができる。このように、本開示は、ｋ番目の入力フレームをｋ番目及びｋ＋１番目などの連続する複数の出力フレームに用いてもよいし、ｋ番目及びｋ＋１番目などの連続する複数の入力フレームを１つのｋ番目の出力フレームに用いてもよい。
　また、遅延時間の最小化にあたっては、上記、複数の出力フレームに関して、入力の組み合わせの最適化を行っても良い。つまり、上記の例では、出力フレームＯ，ｋに関してのみ入力の組み合わせが最適化されているが、出力フレームＯ，ｋ＋１については必ずしも最適化されているとは言えない。そこで、例えば、出力フレームＯ，ｋと出力フレームＯ，ｋ＋１などの複数の出力フレームに対して、平均や最大などの遅延値を最小化する最適化を行うことができる。
（本開示の効果）
　本開示は、非同期の映像入力信号を、出力の遅延時間を最小化するように入力フレームの組み合わせを選び、合成することで、合成後の出力までの遅延時間を短縮することができる。これにより、本開示は、複数拠点等の複数画面を合成するシステムで低遅延要求が厳しい協調作業が可能となる。
　例として、本開示の効果を、図４および図５に示した入力フレームタイミングの場合で示す。例えば、６０ｆｐｓ（Ｔ＿ｆ＝約１６．７ミリ秒）、Ｔ＿ｐ＝０とし、また、Ｄ＿ｉｎ４＝０．７Ｔ＿ｆ，０．８Ｔ＿ｆ，０．９Ｔ＿ｆのとき、本開示適用前の式（１）の値はそれぞれ２５．４ミリ秒、２５．７ミリ秒、２７．９ミリ秒となり２５ミリ秒を超過するが、本開示適用後の式（２）はそれぞれ１７．９ミリ秒、１７．５ミリ秒、１７．１ミリ秒となり２５ミリ秒を下回る。このため、本開示は、時間的に連続する入力フレームのうちの適切な入力フレームの組み合わせで出力フレームを生成することで、合奏のような低遅延要求が厳しい協調作業であっても、複数拠点の映像を合成して表示するシステムを提供することができる。
　本開示は、映像コンテンツやゲームコンテンツを配信する情報通信産業のほか、映像制作に関わる映画、広告、ゲーム産業に適用することができる。
１０：映像合成装置
２１：走査線
２２：ブランキング部分
２３：ボーダ部分
２４：表示画面
１０１：検出部
１０２：クロスバスイッチ
１０３：アップダウンコンバータ
１０４：バッファ
１０５：画素合成部

Claims (6)

  1. 　非同期で入力された複数の映像信号を構成する入力フレーム同士の遅延時間を検出し、
    　前記複数の映像信号を合成した出力フレームの遅延時間が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択し、
    　選択した入力フレームを用いて、前記複数の映像信号を合成した出力フレームを生成する、
    　映像合成装置。
  2. 　前記複数の映像信号を合成した出力フレームの遅延時間の平均値を算出し、
    　前記平均値が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択する、
    　請求項１に記載の映像合成装置。
  3. 　前記複数の映像信号を合成した出力フレームの遅延時間の最大値を算出し、
    　前記最大値が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択する、
    　請求項１に記載の映像合成装置。
  4. 　入力フレーム同士の遅延時間を、入力フレームの入力完了時点を基準に検出する、
    　請求項１から３のいずれかに記載の映像合成装置。
  5. 　映像合成装置が、
    　非同期で入力された複数の映像信号を構成する入力フレーム同士の遅延時間を検出し、
    　前記複数の映像信号を合成した出力フレームの遅延時間が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択し、
    　選択した入力フレームを用いて、前記複数の映像信号を合成した出力フレームを生成する、
    　映像合成方法。
  6. 　請求項１から４のいずれかに記載の映像合成装置に備わる各機能部としてコンピュータを実現させるためのプログラム。
PCT/JP2020/047863 2020-12-22 2020-12-22 映像信号を合成する装置、方法及びプログラム WO2022137324A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022570804A JPWO2022137324A1 (ja) 2020-12-22 2020-12-22
PCT/JP2020/047863 WO2022137324A1 (ja) 2020-12-22 2020-12-22 映像信号を合成する装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/047863 WO2022137324A1 (ja) 2020-12-22 2020-12-22 映像信号を合成する装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2022137324A1 true WO2022137324A1 (ja) 2022-06-30

Family

ID=82158593

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/047863 WO2022137324A1 (ja) 2020-12-22 2020-12-22 映像信号を合成する装置、方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2022137324A1 (ja)
WO (1) WO2022137324A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222131A (ja) * 1993-12-10 1995-08-18 Nec Eng Ltd 多地点会議用画面合成システムおよび方法
JP2006180340A (ja) * 2004-12-24 2006-07-06 Nissan Motor Co Ltd 映像信号処理装置とその方法及び車載カメラシステム
JP2008211373A (ja) * 2007-02-23 2008-09-11 Toyota Motor Corp 車両用周辺監視装置及び車両用周辺監視方法
JP2013153340A (ja) * 2012-01-25 2013-08-08 Fujitsu Ltd 映像取得装置及び方法
JP2018041331A (ja) * 2016-09-08 2018-03-15 株式会社ソニー・インタラクティブエンタテインメント 画像処理システム、画像処理方法およびコンピュータプログラム

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07222131A (ja) * 1993-12-10 1995-08-18 Nec Eng Ltd 多地点会議用画面合成システムおよび方法
JP2006180340A (ja) * 2004-12-24 2006-07-06 Nissan Motor Co Ltd 映像信号処理装置とその方法及び車載カメラシステム
JP2008211373A (ja) * 2007-02-23 2008-09-11 Toyota Motor Corp 車両用周辺監視装置及び車両用周辺監視方法
JP2013153340A (ja) * 2012-01-25 2013-08-08 Fujitsu Ltd 映像取得装置及び方法
JP2018041331A (ja) * 2016-09-08 2018-03-15 株式会社ソニー・インタラクティブエンタテインメント 画像処理システム、画像処理方法およびコンピュータプログラム

Also Published As

Publication number Publication date
JPWO2022137324A1 (ja) 2022-06-30

Similar Documents

Publication Publication Date Title
KR100218618B1 (ko) 멀티미디어 디스플레이 시스템 및 데이타 프로세싱 시스템에서 비디오모니터상의 디스플레이를 위해 다수의 데이타 소스를 동기화하는 방법
US6317165B1 (en) System and method for selective capture of video frames
US6061094A (en) Method and apparatus for scaling and reducing flicker with dynamic coefficient weighting
KR920015356A (ko) 전자카메라시스템에 있어서 재생시 화면편집장치
JP2004522365A (ja) 多チャンネル入力の高画質多重画面分割装置及び方法
US8259233B2 (en) System and method for processing a television picture-out-picture
CN111479154B (zh) 音画同步的实现设备、方法及计算机可读存储介质
JP4559976B2 (ja) 映像合成装置、映像合成方法及び映像合成プログラム
US6160590A (en) Video signal processing circuit inhibiting display of distorted images
US7187417B2 (en) Video signal processing apparatus that performs frame rate conversion of a video signal
WO2022137324A1 (ja) 映像信号を合成する装置、方法及びプログラム
WO2022137325A1 (ja) 映像信号を合成する装置、方法及びプログラム
WO2023017577A1 (ja) 映像信号を合成する装置、方法及びプログラム
WO2022137326A1 (ja) 映像音響合成装置、方法及びプログラム
WO2023017578A1 (ja) 映像信号を合成する装置、方法及びプログラム
WO2023013072A1 (ja) 映像信号を合成する装置、方法及びプログラム
JP2005338498A (ja) 表示メモリ装置
JP5077037B2 (ja) 画像処理装置
US20150189127A1 (en) Video processing apparatus
WO2022176109A1 (ja) 映像合成装置及び映像合成方法
JP5207866B2 (ja) 映像信号処理方法、映像信号処理装置
JP7449062B2 (ja) 電子機器およびその制御方法
JPH03114096A (ja) 画像復号化装置
JPH0359696A (ja) 画像信号の合成装置
JPH05173530A (ja) 多入力映像信号表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20966817

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022570804

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20966817

Country of ref document: EP

Kind code of ref document: A1