JP7521604B2 - Apparatus, method and program for synthesizing video signals - Google Patents
Apparatus, method and program for synthesizing video signals Download PDFInfo
- Publication number
- JP7521604B2 JP7521604B2 JP2022570804A JP2022570804A JP7521604B2 JP 7521604 B2 JP7521604 B2 JP 7521604B2 JP 2022570804 A JP2022570804 A JP 2022570804A JP 2022570804 A JP2022570804 A JP 2022570804A JP 7521604 B2 JP7521604 B2 JP 7521604B2
- Authority
- JP
- Japan
- Prior art keywords
- video signals
- input
- frames
- input frames
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000002194 synthesizing effect Effects 0.000 title claims description 11
- 238000000034 method Methods 0.000 title claims description 9
- 230000015572 biosynthetic process Effects 0.000 claims description 23
- 238000003786 synthesis reaction Methods 0.000 claims description 23
- 238000001308 synthesis method Methods 0.000 description 5
- 239000000203 mixture Substances 0.000 description 4
- 230000008569 process Effects 0.000 description 3
- 239000002131 composite material Substances 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000001934 delay Effects 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G3/00—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes
- G09G3/20—Control arrangements or circuits, of interest only in connection with visual indicators other than cathode-ray tubes for presentation of an assembly of a number of characters, e.g. a page, by composing the assembly by combination of individual elements arranged in a matrix no fixed position being assigned to or needed to be assigned to the individual characters or partial characters
-
- G—PHYSICS
- G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
- G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
- G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
- G09G5/14—Display of multiple viewports
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/66—Transforming electric information into light information
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- Computer Hardware Design (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Television Systems (AREA)
Description
複数の映像信号から、画面を1つに合成し、出力する、映像合成システムに関する。 This relates to a video synthesis system that synthesizes multiple video signals into a single screen and outputs it.
近年、多くの映像デバイスが利用されている。このような多くの映像デバイスの映像には、多様な画素数(解像度)、フレームレート等が利用されている。この映像デバイスの映像信号は、規格によって、物理的な信号、コントロール信号等に差異があるものの、1画面をそのフレームレート分の1の時間を使って伝送する。 In recent years, many video devices have come into use. The images produced by these many video devices use a wide variety of pixel counts (resolutions) and frame rates. Although the video signals of these video devices differ in terms of physical signals, control signals, etc. depending on the standard, one screen is transmitted in a time period equal to one half of the frame rate.
これらの映像の利用方法には、テレビ会議など、複数のカメラをカメラの数よりも少ないモニタで表示するような形態がある。このような場合、複数の映像を、例えば1つの画面上に分割表示することや、ある映像画面中に、その他の映像画面縮小表示などをしてはめ込むことなどの、画面合成を行う。 One way to use these images is to display multiple cameras on fewer monitors than the number of cameras, such as in video conferencing. In such cases, multiple images are composited, for example by splitting them onto one screen, or by fitting one image onto another image in a reduced size.
通常、映像信号のタイミングは同期されておらず、合成する他の映像信号のタイミングが異なることから、信号をメモリなどに一時的にバッファリングしてから、合成する。結果として、合成された画面の出力には遅延が発生する。 Normally, the timing of a video signal is not synchronized, and since the timing of other video signals to be mixed is different, the signals are temporarily buffered in memory before being mixed. As a result, there is a delay in the output of the mixed screen.
遠隔地などでの合奏等をこのような画面合成を行うテレビ会議で行うことを想定すると、この合成に関わる遅延は、その実現性を大きく損なう。例えば、1秒間に120拍の曲(以下、120BPM(Beat Per Minute))であれば、1拍の時間は、60/120秒=500ミリ秒である。仮にこれを、5%の精度で合わせることが必要であるとすると、500×0.05=25ミリ秒以下にカメラで撮影して表示するまでの遅延を抑える必要がある。 If we imagine a video conference in which an ensemble playing music in a remote location is held using this type of screen composition, the delay involved in this composition would greatly impair its feasibility. For example, in a song with 120 beats per second (hereafter referred to as 120 BPM (beats per minute)), the duration of one beat is 60/120 seconds = 500 milliseconds. If we need to match this with an accuracy of 5%, then the delay between capturing the image with a camera and displaying it needs to be reduced to 500 x 0.05 = 25 milliseconds or less.
カメラで撮影して表示するまでには、実際には、合成に関わる処理以外に、カメラでの画像処理時間、モニタでの表示時間、伝送に関わる時間などの、その他の遅延も含む必要がある。結果として、従来技術では、遠隔地で相互に映像を見ながらの合奏等のタイミングが重視される用途での、協調作業は困難であった。 In reality, the process from capturing an image with a camera to displaying it requires other delays besides the process related to composition, such as the time it takes to process the image on the camera, the time it takes to display it on the monitor, and the time it takes to transmit it. As a result, with conventional technology, it has been difficult to collaborate in applications where timing is important, such as playing an ensemble while watching each other's videos from remote locations.
そこで、低遅延要求が厳しい協調作業に対して、複数拠点などの複数の映像信号を合成するシステムで、非同期の映像信号の入力から、合成された映像信号の出力までの時間を低遅延化するシステムの提供が必要である。Therefore, for collaborative work that requires strict low latency, it is necessary to provide a system that synthesizes multiple video signals from multiple locations, etc., and that reduces the latency between the input of asynchronous video signals and the output of the synthesized video signal.
本開示は、合成映像の出力までの遅延時間を短縮することを目的とする。 The purpose of this disclosure is to reduce the delay time until the composite image is output.
本開示の装置は、複数の非同期の映像信号を合成して表示する装置において、入力された複数の映像信号の各々から出力映像の遅延時間が最小となる映像信号の組み合わせを選択して合成する。The device disclosed herein is a device that synthesizes and displays multiple asynchronous video signals, and selects and synthesizes a combination of video signals from each of the multiple input video signals that minimizes the delay time of the output video.
本開示の映像合成装置及び映像合成方法は、
非同期で入力された複数の映像信号を構成する入力フレーム同士の遅延時間を検出し、
前記複数の映像信号を合成した出力フレームの遅延時間が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択し、
選択した入力フレームを用いて、前記複数の映像信号を合成した出力フレームを生成する。
The image synthesizing device and image synthesizing method disclosed herein include
Detects the delay between input frames that compose multiple asynchronously input video signals,
selecting input frames of the plurality of video signals so as to minimize a delay time of an output frame obtained by combining the plurality of video signals;
A selected input frame is used to generate an output frame that combines the multiple video signals.
本開示の映像合成方法は、映像合成装置が、
非同期で入力された複数の映像信号を構成する入力フレーム同士の遅延時間を検出し、
前記複数の映像信号を合成した出力フレームの遅延時間が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択し、
選択した入力フレームを用いて、前記複数の映像信号を合成した出力フレームを生成する。
The image compositing method according to the present disclosure includes an image compositing device,
Detects the delay between input frames that compose multiple asynchronously input video signals,
selecting input frames of the plurality of video signals so as to minimize a delay time of an output frame obtained by combining the plurality of video signals;
A selected input frame is used to generate an output frame that combines the multiple video signals.
本開示のプログラムは、本開示に係る装置に備わる各機能部としてコンピュータを実現させるためのプログラムであり、本開示に係る装置が実行する方法に備わる各ステップをコンピュータに実行させるためのプログラムである。The program of the present disclosure is a program for causing a computer to realize each functional unit of the device of the present disclosure, and is a program for causing a computer to execute each step of the method performed by the device of the present disclosure.
本開示は、合成映像の出力までの遅延時間を短縮することができる。 This disclosure can reduce the delay time until the composite image is output.
以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。 Below, the embodiments of the present disclosure will be described in detail with reference to the drawings. Note that the present disclosure is not limited to the embodiments shown below. These implementation examples are merely illustrative, and the present disclosure can be implemented in various forms with various modifications and improvements based on the knowledge of those skilled in the art. Note that components with the same reference numerals in this specification and drawings are considered to be identical to each other.
図1に、映像信号に含まれる画面の情報の一例を示す。画面の情報は、画面を横方向に1つの走査線21毎に走査して、順次下の走査線21を走査することで伝送される。この走査には、表示画面24の他、ブランキング部分22、また、ボーダ部分23などのオーバヘッド情報/信号の走査を含む。ブランキング部分22に、制御情報や音声情報など、映像情報以外の情報を含む場合もある。(例えば、非特許文献1、第3章参照。)
Figure 1 shows an example of screen information contained in a video signal. The screen information is transmitted by scanning the screen horizontally, one
図2に、映像信号の合成例を示す。本開示では、一例として、入力1~4の4つの映像信号が映像合成装置に入力され、映像合成装置が1つの映像信号に合成して出力する例を示す。映像信号では1画面をそのフレームレート分の1の時間を使って伝送する。例えば、1秒間に60フレームの映像信号であれば、1/60秒、すなわち約16.7ミリ秒を掛けて1画面の映像信号を伝送する(以下、60fps(Frame per Second))。映像信号に含まれる各時点での1画面の情報を「フレーム」と称し、映像合成装置に入力される各映像信号の1画面の情報を「入力フレーム」、映像合成装置から出力される合成された1画面の情報を「出力フレーム」と称する。
Figure 2 shows an example of video signal synthesis. In this disclosure, as an example, four video signals,
例えば、図3に示すように、映像合成装置が、全ての入力フレームを読み込んでから、1つの出力フレームに合成し、出力する場合を考える。この場合、各入力フレームのフレーム時間をT_f、合成処理時間をT_pとすると、出力フレームの出力は、最初の入力1の入力フレームの入力時点から最大で、2T_f+T_p遅れることとなる。For example, consider a case where a video synthesizer reads all input frames, synthesizes them into one output frame, and outputs it, as shown in Figure 3. In this case, if the frame time of each input frame is T_f and the synthesis processing time is T_p, the output of the output frame will be delayed by a maximum of 2T_f + T_p from the time of input of the first input frame,
本開示は、複数の非同期の映像を入力し、それらの画像を合成するシステムであって、合成後の遅延が最も低くなるよう、合成する入力フレームを選択することを特徴とする。 The present disclosure relates to a system that inputs multiple asynchronous video images and synthesizes those images, characterized by selecting the input frames to be synthesized so as to minimize the delay after synthesis.
k番目の出力フレームを{O,kフレーム}とすると、その入力からの変換関数をf(input1,input2,…)と表す。また、入力タイミングが早い順に入力1,2,3,4とする。
If the kth output frame is {O, k frame}, the transformation function from the input is expressed as f(input1, input2, ...). Also,
(第1の合成例)
図4に、本開示の第1の合成例を示す。{O,k}=f({1,k},{2,k},{3,k},{4,k})の場合、図のように、入力{1,k},{2,k},{3,k}は、遅延時間なしに入力され、{4,k}は、他に比べて入力遅延時間がD_in4である。このとき、O,kフレームの遅延時間は、入力4に対して、T_f+T_p、その他の入力1,2,3に対しては、T_f+T_p+D_in4である。この場合、4つの入力の遅延の平均値は、
(数1)
T_f+T_p+3D_in4/4 (1)
である。
(First Synthesis Example)
4 shows a first synthesis example of the present disclosure. When {O,k}=f({1,k}, {2,k}, {3,k}, {4,k}), as shown in the figure, inputs {1,k}, {2,k}, {3,k} are input without delay time, and {4,k} has an input delay time D_in4 compared to the others. In this case, the delay time of the O,k frame is T_f+T_p for
(Equation 1)
T_f+T_p+3D_in4/4 (1)
It is.
(第2の合成例)
図5に、本開示の第2の合成例を示す。{O,k}=f({1,k+1},{2,k+1},{3,k+1},{4,k})とした場合、入力{4,k}から(T_f-D_in4)経過後に入力{1,k+1},{2,k+1},{3,k+1}が入力され、入力{1,k+1},{2,k+1},{3,k+1}の直後にT_pで合成処理が行われる。この場合、O,kフレームの遅延時間は、入力1,2,3に対しては、T_f+T_pであり、入力4に対しては、2T_f+T_p-D_in4である。この場合、4つの入力の遅延の平均値は、
(数2)
5T_f/4+T_p-D_in4/4 (2)
である。
(Second Synthesis Example)
FIG. 5 shows a second synthesis example of the present disclosure. In the case where {O,k}=f({1,k+1}, {2,k+1}, {3,k+1}, {4,k}), inputs {1,k+1}, {2,k+1}, {3,k+1} are input after (T_f-D_in4) from input {4,k}, and synthesis processing is performed at T_p immediately after inputs {1,k+1}, {2,k+1}, {3,k+1}. In this case, the delay time of O,k frames is T_f+T_p for
(Equation 2)
5T_f/4+T_p-D_in4/4 (2)
It is.
ここで、T_f<4D_in4であれば、式(1)の合成例より式(2)の合成例の方が平均遅延時間が短くなる。このように入力フレームの遅延時間量に応じて、出力の元となる入力フレームの位置(時間)の組み合わせを変えることで、平均値を最小とする組み合わせが存在し、その最小となる組み合わせで出力フレーム構成することで、合成の遅延を最小化することが可能である。Here, if T_f<4D_in4, the average delay time is shorter in the synthesis example of formula (2) than in the synthesis example of formula (1). In this way, by changing the combination of positions (times) of the input frames that are the source of the output according to the amount of delay time of the input frames, a combination exists that minimizes the average value, and by constructing the output frame with this minimum combination, it is possible to minimize the synthesis delay.
つまり、(O,k)に対して
f({1,k},{2,k},{3,k},{4,k})
f({1,k+1},{2,k},{3,k},{4,k})
f({1,k+1},{2,k+1},{3,k},{4,k})
f({1,k+1},{2,k+1},{3,k+1},{4,k})
の組み合わせでの遅延時間を計算し、そのうちの遅延時間の平均値が最小となる入力フレームの組み合わせを、出力の組み合わせに選択する。
That is, for (O, k), f({1, k}, {2, k}, {3, k}, {4, k})
f({1, k+1}, {2, k}, {3, k}, {4, k})
f ({1, k+1}, {2, k+1}, {3, k}, {4, k})
f ({1, k+1}, {2, k+1}, {3, k+1}, {4, k})
The delay time for each combination is calculated, and the combination of input frames that has the smallest average delay time is selected as the output combination.
入力フレームの組み合わせは、遅延時間の平均値が最小となる組み合わせに限らず、遅延時間の最大値が最小となる組み合わせであってもよい。また、一部の入力フレームに対してのみ低遅延性を要求する等の場合、全入力フレームのうち、一部の入力フレームの遅延時間の平均値が最小となる組み合わせや、一部の入力フレームの遅延時間の最大値が最小となる組み合わせであってもよい。本実施形態では4つの映像信号の入力フレームを合成する例を示したが、これは任意のN個の映像信号の入力フレームで適用できる。また、図4及び図5では、理解が容易になるよう、k番目及びk+1番目のフレーム番号を用いたが、本開示で前提とする映像信号は非同期であり、フレーム番号や各フレームの入力タイミングは異なる。The combination of input frames is not limited to the combination that minimizes the average delay time, but may be the combination that minimizes the maximum delay time. In addition, in cases where low latency is required only for some input frames, the combination may be the combination that minimizes the average delay time of some input frames among all input frames, or the combination that minimizes the maximum delay time of some input frames. In this embodiment, an example of synthesizing input frames of four video signals is shown, but this can be applied to input frames of any N video signals. In addition, in Figures 4 and 5, the kth and k+1th frame numbers are used for ease of understanding, but the video signals assumed in this disclosure are asynchronous, and the frame numbers and input timing of each frame are different.
図6に、本実施形態に係る映像合成装置の構成例を示す。本実施形態に係る映像合成装置10は、検出部101、クロスバスイッチ102、アップダウンコンバータ103、バッファ104、画素合成部105を備える。図は4入力1出力であるが、任意の数Nの入出力でも構わない。
Figure 6 shows an example of the configuration of an image synthesis device according to this embodiment. The
101は、N個の入力フレームに対して、フレーム時間内の入力順と入力の遅延時間を検出する機能部である。例えば、図4及び図5に示す入力4の入力遅延時間がD_in4を検出する。
102は、クロスバスイッチであり、101からの入力フレームの順序の検出結果順に並べ替え出力する機能である。例えば、図4及び図5に示す入力1、2、3、4の順に、かつk番目、k+1番目の順に並べて出力する。
103は画素数を任意の大きさに拡大縮小を行う、アップダウンコンバータである。例えば、入力1の画素数を、図2に示す画面の大きさに整合するよう拡大又は縮小する。
102と103は入力(a,b,c,d,…)に対して逆に接続しても構わない。すなわち入力a,b,c,dから103で拡大縮小を行い、その後102で入力1、2、3、4の順に並べ替え出力しても構わない。
104は、各入力フレームを格納するバッファである。103または102の入力をバッファリングして、任意の順序で出力することができる。
105は、画素合成部である。画素合成部105は、出力の全体画面のうち、101からの遅延時間を元に遅延を最小化する組み合わせの入力に対するフレーム番号を選択し、104からデータを読み出し、合成して出力フレームを生成し、出力する。これにより、図2に示すような、4つの映像信号が合成された映像が画面に表示される。105は、任意のコントロール信号を画面のブランキング部分22に付加しても構わない。
A
An up-
The
A
本開示の装置は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。 The device disclosed herein can also be realized by a computer and a program, and the program can be recorded on a recording medium or provided over a network.
上述の実施形態では4入力、4分割1画面の例を示したが、本開示はこれに限らず、任意の入力に適用できる。また上述の実施形態では、入力1~4のフレームレートすなわちフレーム時間T_fが同じ例を示したが、本開示はフレーム時間T_fが異なる入力1~4に対しても適用可能である。In the above embodiment, an example of four inputs and one screen divided into four has been shown, but the present disclosure is not limited to this and can be applied to any input. In addition, in the above embodiment, an example has been shown in which
例えば、出力フレームよりフレームレートが高い入力1の入力フレームについては、図7に示すように、不要な入力フレームを間引けばよい。不要な入力フレームは、例えば、入力完了時点T11及びT12を基準にした場合に、出力フレームの遅延時間が長くなる入力フレーム、例えばk-1番目のフレームである。入力完了時点は、入力フレームの先頭などに記載されているフレーム長を用いて予測されたタイミングであってもよい。
For example, for input frames of
一方、出力フレームよりフレームレートが低い入力1の入力フレームについても、図8に示すように、出力フレームO,kには、入力完了時点T11及びT12を基準に出力フレームの遅延時間が短くなる入力フレーム({1,k},{2,k},{3,k},{4,k})を選択することができる。不足するフレームは時間的に過去のフレームを利用して補完することができる。例えば、出力フレームO,k+1には、入力フレーム({1,k},{2,k+1},{3,k+1},{4,k+1})を選択することができる。このように、本開示は、k番目の入力フレームをk番目及びk+1番目などの連続する複数の出力フレームに用いてもよいし、k番目及びk+1番目などの連続する複数の入力フレームを1つのk番目の出力フレームに用いてもよい。
On the other hand, as shown in FIG. 8, for the input frame of
また、遅延時間の最小化にあたっては、上記、複数の出力フレームに関して、入力の組み合わせの最適化を行っても良い。つまり、上記の例では、出力フレームO,kに関してのみ入力の組み合わせが最適化されているが、出力フレームO,k+1については必ずしも最適化されているとは言えない。そこで、例えば、出力フレームO,kと出力フレームO,k+1などの複数の出力フレームに対して、平均や最大などの遅延値を最小化する最適化を行うことができる。 In addition, when minimizing the delay time, the input combination may be optimized for the multiple output frames. In other words, in the above example, the input combination is optimized only for output frame O,k, but it cannot necessarily be said to be optimized for output frame O,k+1. Therefore, for multiple output frames such as output frame O,k and output frame O,k+1, optimization can be performed to minimize delay values such as average or maximum.
(本開示の効果)
本開示は、非同期の映像入力信号を、出力の遅延時間を最小化するように入力フレームの組み合わせを選び、合成することで、合成後の出力までの遅延時間を短縮することができる。これにより、本開示は、複数拠点等の複数画面を合成するシステムで低遅延要求が厳しい協調作業が可能となる。
(Effects of the present disclosure)
The present disclosure can reduce the delay time until the output of asynchronous video input signals after synthesis by selecting a combination of input frames that minimizes the output delay time. This enables collaborative work with strict low-latency requirements in a system that synthesizes multiple screens from multiple locations, etc.
例として、本開示の効果を、図4および図5に示した入力フレームタイミングの場合で示す。例えば、60fps(T_f=約16.7ミリ秒)、T_p=0とし、また、D_in4=0.7T_f,0.8T_f,0.9T_fのとき、本開示適用前の式(1)の値はそれぞれ25.4ミリ秒、25.7ミリ秒、27.9ミリ秒となり25ミリ秒を超過するが、本開示適用後の式(2)はそれぞれ17.9ミリ秒、17.5ミリ秒、17.1ミリ秒となり25ミリ秒を下回る。このため、本開示は、時間的に連続する入力フレームのうちの適切な入力フレームの組み合わせで出力フレームを生成することで、合奏のような低遅延要求が厳しい協調作業であっても、複数拠点の映像を合成して表示するシステムを提供することができる。As an example, the effect of the present disclosure will be shown in the case of the input frame timing shown in Figures 4 and 5. For example, when 60 fps (T_f = about 16.7 ms), T_p = 0, and D_in4 = 0.7T_f, 0.8T_f, and 0.9T_f, the values of formula (1) before the application of the present disclosure are 25.4 ms, 25.7 ms, and 27.9 ms, respectively, which exceed 25 ms, while the values of formula (2) after the application of the present disclosure are 17.9 ms, 17.5 ms, and 17.1 ms, respectively, which are below 25 ms. Therefore, the present disclosure can provide a system that generates an output frame by combining appropriate input frames from among input frames that are consecutive in time, and can synthesize and display images from multiple locations even in collaborative work that requires low latency, such as an ensemble.
本開示は、映像コンテンツやゲームコンテンツを配信する情報通信産業のほか、映像制作に関わる映画、広告、ゲーム産業に適用することができる。 This disclosure can be applied to the information and communications industry, which distributes video and game content, as well as the film, advertising, and game industries involved in video production.
10:映像合成装置
21:走査線
22:ブランキング部分
23:ボーダ部分
24:表示画面
101:検出部
102:クロスバスイッチ
103:アップダウンコンバータ
104:バッファ
105:画素合成部
10: Video synthesizer 21: Scanning line 22: Blanking portion 23: Border portion 24: Display screen 101: Detector 102: Crossbar switch 103: Up/down converter 104: Buffer 105: Pixel synthesizer
Claims (8)
前記複数の映像信号の時間的に連続する入力フレームのうち、異なる映像信号の入力フレーム同士で同じ時刻で隣接する入力フレームを用いて前記複数の映像信号を合成した場合の出力フレームの遅延時間を比較し、前記複数の映像信号を合成した出力フレームの遅延時間が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択し、
選択した入力フレームを用いて、前記複数の映像信号を合成した出力フレームを生成する、
映像合成装置。 Detects the delay between input frames that compose multiple asynchronously input video signals,
comparing delay times of an output frame when the multiple video signals are synthesized using adjacent input frames at the same time among the input frames of different video signals that are consecutive in time with each other, and selecting input frames of the multiple video signals so that the delay time of the output frame obtained by synthesizing the multiple video signals is minimized;
generating an output frame by combining the plurality of video signals using the selected input frame;
Image synthesis device.
前記複数の映像信号の時間的に連続する入力フレームのうち、異なる映像信号の入力フレーム同士で同じ時刻で隣接する入力フレームを用いて前記複数の映像信号を合成した場合の出力フレームの遅延時間を、時間的に異なる複数の出力フレームについて算出し、前記複数の出力フレームの遅延時間の平均値又は最大値が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択し、
選択した入力フレームを用いて、前記複数の映像信号を合成した出力フレームを生成する、
映像合成装置。 Detects the delay between input frames that compose multiple asynchronously input video signals,
calculating a delay time of an output frame when the multiple video signals are synthesized using input frames adjacent to each other at the same time among the multiple video signal input frames that are consecutive in time, for multiple output frames that are different in time, and selecting input frames of the multiple video signals such that an average value or a maximum value of the delay times of the multiple output frames is minimized;
generating an output frame by combining the plurality of video signals using the selected input frame;
Image synthesis device.
前記平均値が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択する、
請求項1に記載の映像合成装置。 Calculating an average delay time of an output frame obtained by combining the plurality of video signals;
selecting input frames of the plurality of video signals so that the average value is minimized;
2. The image synthesizing apparatus according to claim 1.
前記最大値が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択する、
請求項1に記載の映像合成装置。 Calculating a maximum delay time of an output frame obtained by combining the plurality of video signals;
selecting input frames of the plurality of video signals such that the maximum value is minimized;
2. The image synthesizing apparatus according to claim 1.
請求項1又は2に記載の映像合成装置。 Detect the delay between input frames based on the input completion time of the input frames.
3. The image synthesizing apparatus according to claim 1 or 2.
非同期で入力された複数の映像信号を構成する入力フレーム同士の遅延時間を検出し、
前記複数の映像信号の時間的に連続する入力フレームのうち、異なる映像信号の入力フレーム同士で同じ時刻で隣接する入力フレームを用いて前記複数の映像信号を合成した場合の出力フレームの遅延時間を比較し、前記複数の映像信号を合成した出力フレームの遅延時間が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択し、
選択した入力フレームを用いて、前記複数の映像信号を合成した出力フレームを生成する、
映像合成方法。 The image synthesizer
Detects the delay between input frames that compose multiple asynchronously input video signals,
comparing delay times of an output frame when the multiple video signals are synthesized using adjacent input frames at the same time among the input frames of different video signals that are consecutive in time with each other, and selecting input frames of the multiple video signals so that the delay time of the output frame obtained by synthesizing the multiple video signals is minimized;
generating an output frame by combining the plurality of video signals using the selected input frame;
Video compositing method.
非同期で入力された複数の映像信号を構成する入力フレーム同士の遅延時間を検出し、
前記複数の映像信号の時間的に連続する入力フレームのうち、異なる映像信号の入力フレーム同士で同じ時刻で隣接する入力フレームを用いて前記複数の映像信号を合成した場合の出力フレームの遅延時間を、時間的に異なる複数の出力フレームについて算出し、前記複数の出力フレームの遅延時間の平均値又は最大値が最小となるように、前記複数の映像信号の入力フレームをそれぞれ選択し、
選択した入力フレームを用いて、前記複数の映像信号を合成した出力フレームを生成する、
映像合成方法。 The image synthesizer
Detects the delay between input frames that compose multiple asynchronously input video signals,
calculating a delay time of an output frame when the multiple video signals are synthesized using input frames adjacent to each other at the same time among the multiple video signal input frames that are consecutive in time, for multiple output frames that are different in time, and selecting input frames of the multiple video signals such that an average value or a maximum value of the delay times of the multiple output frames is minimized;
generating an output frame by combining the plurality of video signals using the selected input frame;
Video compositing method.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2020/047863 WO2022137324A1 (en) | 2020-12-22 | 2020-12-22 | Device for synthesizing video signal, method, and program |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2022137324A1 JPWO2022137324A1 (en) | 2022-06-30 |
JP7521604B2 true JP7521604B2 (en) | 2024-07-24 |
Family
ID=82158593
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2022570804A Active JP7521604B2 (en) | 2020-12-22 | 2020-12-22 | Apparatus, method and program for synthesizing video signals |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP7521604B2 (en) |
WO (1) | WO2022137324A1 (en) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006180340A (en) | 2004-12-24 | 2006-07-06 | Nissan Motor Co Ltd | Video signal processor, its method and on-vehicle camera system |
JP2008211373A (en) | 2007-02-23 | 2008-09-11 | Toyota Motor Corp | Device and method for monitoring surroundings around vehicle |
JP2013153340A (en) | 2012-01-25 | 2013-08-08 | Fujitsu Ltd | Device and method for video acquisition |
JP2018041331A (en) | 2016-09-08 | 2018-03-15 | 株式会社ソニー・インタラクティブエンタテインメント | Image processing system, image processing method and computer program |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3586484B2 (en) * | 1993-12-10 | 2004-11-10 | 日本電気エンジニアリング株式会社 | Screen synthesis system and method for multipoint conference |
-
2020
- 2020-12-22 WO PCT/JP2020/047863 patent/WO2022137324A1/en active Application Filing
- 2020-12-22 JP JP2022570804A patent/JP7521604B2/en active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006180340A (en) | 2004-12-24 | 2006-07-06 | Nissan Motor Co Ltd | Video signal processor, its method and on-vehicle camera system |
JP2008211373A (en) | 2007-02-23 | 2008-09-11 | Toyota Motor Corp | Device and method for monitoring surroundings around vehicle |
JP2013153340A (en) | 2012-01-25 | 2013-08-08 | Fujitsu Ltd | Device and method for video acquisition |
JP2018041331A (en) | 2016-09-08 | 2018-03-15 | 株式会社ソニー・インタラクティブエンタテインメント | Image processing system, image processing method and computer program |
Also Published As
Publication number | Publication date |
---|---|
WO2022137324A1 (en) | 2022-06-30 |
JPWO2022137324A1 (en) | 2022-06-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2656737B2 (en) | Data processing device for processing video information | |
KR100218618B1 (en) | Method and apparatus for synchronizing video and graphics data in a multimedia display system including a shared frame buffer | |
JP4646446B2 (en) | Video signal processing device | |
US8004542B2 (en) | Video composition apparatus, video composition method and video composition program | |
JP4346591B2 (en) | Video processing apparatus, video processing method, and program | |
JP2004522365A (en) | Apparatus and method for high-quality multi-screen division with multi-channel input | |
US8259233B2 (en) | System and method for processing a television picture-out-picture | |
CN111479154B (en) | Equipment and method for realizing sound and picture synchronization and computer readable storage medium | |
JP4559976B2 (en) | Video composition apparatus, video composition method, and video composition program | |
US6552750B1 (en) | Apparatus for improving the presentation of graphics data on a television display | |
US6160590A (en) | Video signal processing circuit inhibiting display of distorted images | |
JP7521604B2 (en) | Apparatus, method and program for synthesizing video signals | |
JP2002351438A (en) | Image monitor system | |
US6008854A (en) | Reduced video signal processing circuit | |
WO2023017577A1 (en) | Apparatus, method, and program for combining video signals | |
WO2022137326A1 (en) | Video and sound synthesis device, method, and program | |
WO2023017578A1 (en) | Device, method, and program for compositing video signals | |
WO2022137325A1 (en) | Device, method, and program for synthesizing video signals | |
WO2023013072A1 (en) | Device, method, and program for combining video signals | |
JP3087635B2 (en) | Image synchronization control display device | |
JP2005338498A (en) | Display memory device | |
JP7480908B2 (en) | Image synthesizing device and image synthesizing method | |
JPH11355683A (en) | Video display device | |
JP6343451B2 (en) | Video playback device, video playback method, and video playback program | |
JP2878400B2 (en) | Multi-window display device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230420 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20231212 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20240207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240314 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20240423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240529 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240611 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240624 |