WO2023013072A1 - 映像信号を合成する装置、方法及びプログラム - Google Patents

映像信号を合成する装置、方法及びプログラム Download PDF

Info

Publication number
WO2023013072A1
WO2023013072A1 PCT/JP2021/029431 JP2021029431W WO2023013072A1 WO 2023013072 A1 WO2023013072 A1 WO 2023013072A1 JP 2021029431 W JP2021029431 W JP 2021029431W WO 2023013072 A1 WO2023013072 A1 WO 2023013072A1
Authority
WO
WIPO (PCT)
Prior art keywords
input
screen
video
sub
output
Prior art date
Application number
PCT/JP2021/029431
Other languages
English (en)
French (fr)
Inventor
稔久 藤原
達也 福井
亮太 椎名
央也 小野
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2023539583A priority Critical patent/JPWO2023013072A1/ja
Priority to PCT/JP2021/029431 priority patent/WO2023013072A1/ja
Publication of WO2023013072A1 publication Critical patent/WO2023013072A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G09—EDUCATION; CRYPTOGRAPHY; DISPLAY; ADVERTISING; SEALS
    • G09G—ARRANGEMENTS OR CIRCUITS FOR CONTROL OF INDICATING DEVICES USING STATIC MEANS TO PRESENT VARIABLE INFORMATION
    • G09G5/00—Control arrangements or circuits for visual indicators common to cathode-ray tube indicators and other visual indicators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information

Definitions

  • This relates to video synthesis technology that synthesizes and outputs a single screen from multiple video input signals.
  • the video signal of this video device transmits one screen using a time equal to the frame rate. For example, in the case of a video signal of 60 frames per second, the video of one screen is transmitted in 1/60 second, that is, approximately 16.8 milliseconds (hereinafter referred to as 60 fps (frame per second)).
  • screen synthesis is performed, for example, by splitting and displaying a plurality of images on one screen, or by embedding other images in a reduced size display in a certain image screen.
  • the timing of video signals is not synchronized, and the timing of other video signals to be synthesized is different, so the signals are temporarily buffered in memory, etc., and then synthesized. As a result, a delay occurs in the output of the composite screen.
  • the delay associated with this synthesis will greatly impair its feasibility.
  • 120 BPM Beat Per Minute
  • the time taken by the camera and displayed must include other delays such as image processing time in the camera, display time on the monitor, and transmission time. .
  • image processing time in the camera In addition to processing related to composition, the time taken by the camera and displayed must include other delays such as image processing time in the camera, display time on the monitor, and transmission time. .
  • transmission time As a result, with the conventional technology, it is difficult to perform cooperative work in applications where timing is important, such as ensemble performances while viewing video images from remote locations.
  • the present disclosure aims to shorten the delay time to the output of a specific video input when inputting a plurality of asynchronous videos and synthesizing those images.
  • the apparatus and methods of the present disclosure comprise: A device for synthesizing a plurality of asynchronously input video signals into a video signal displayed on one screen, The plurality of video signals are synthesized so that the delay of the video signal of the set pivot input among the plurality of video signals is shortened.
  • the program of the present disclosure is a program for realizing a computer as each functional unit provided in the apparatus according to the present disclosure, and is a program for causing the computer to execute each step included in the method executed by the apparatus according to the present disclosure. .
  • FIG. 1 shows a system configuration example of the present disclosure; An example of combining four input frames into one output frame is shown. An example of a sub-screen group is shown. 1 shows an example of a video composition method of the present disclosure; 1 shows an example of a video composition method of the present disclosure; 1 shows a configuration example of a video synthesizer;
  • Fig. 1 shows an example of screen information included in a video signal.
  • Information on the screen is transmitted by scanning the screen in the horizontal direction for each scanning line 21 and sequentially scanning the scanning lines 21 below.
  • This scan includes the display screen 24 as well as overhead information/signals such as blanking portions 22 and border portions 23 .
  • the blanking portion 22 may contain information other than video information, such as control information and audio information.
  • Fig. 2 shows a system configuration example of the present disclosure.
  • four video signals V1 to V4 are input to the video synthesizer 10, and the video synthesizer 10 synthesizes and outputs the video signal displayed on one screen 20.
  • one screen is transmitted using a time equal to that of the frame rate. For example, in the case of a video signal of 60 frames per second, the video signal for one screen is transmitted over 1/60 second, that is, about 16.7 milliseconds (hereinafter referred to as 60 fps (frame per second)).
  • the information of one screen at each time included in the video signal is called a "frame"
  • the information of one screen of each video signal input to the video synthesizer 10 is called an “input frame”
  • the information output from the video synthesizer 10 is called an "input frame”.
  • the synthesized information for one screen is called an "output frame”.
  • Fig. 3 shows an example of inputting four videos with different timings, synthesizing them into one screen, and outputting them.
  • the video synthesizing device 10 reads all input video screens, synthesizes them, and outputs them.
  • the output frame will be delayed by 2T_f+T_p at the maximum from the time of input of the first input frame.
  • the combined video will include a delay of 2 frame times or more, that is, 33.3 milliseconds or more.
  • horizontal screens arranged on the same scanning line among the divided screens are regarded as one group, and the group is called a "sub-screen group".
  • the video synthesizer 10 synthesizes four video signals of inputs 1 to 4, as shown in FIG.
  • the sub-screens D2-1 and D2-2 arranged in the horizontal direction are assumed to be a sub-screen group G2. That is, the data of the output frame is output first from the sub-screen group G1 arranged at the top, and then the sub-screen group G2 is output.
  • an input (hereinafter referred to as "pivot input") that should have the shortest delay from input to output is set.
  • the present disclosure is a system that inputs a plurality of asynchronous videos and synthesizes those images, and optimizes screen layout and output timing centering on this pivot input.
  • data can be sequentially output to output frames without waiting for input frame input completion.
  • the shortest delay from input to output can be achieved when the input completion of the input frame coincides with the output completion of the screen of the subgroup to which the input belongs.
  • the pivot input sub-screen group is selected so that the delay until the pivot input is output is short.
  • the sub-images within the same sub-screen group to which the pivot input is output are arbitrary, but in this disclosure, an example of arranging the pivot input so that the input timing is the latest is shown.
  • sub-screen group membership and input frame order are selected so as to minimize the average delay or maximum delay to the output.
  • the synthesized output is such that the output of the sub-screen group G2 is completed when the input of the input a is completed. do.
  • the sub-screen group G2 is output so as to match the completion of the input of the K+1 frame of the input a.
  • K frames before input b, K frames before input c, and K frames before input d can be selected.
  • the input of the sub-screen group other than the sub-screen group to which the pivot input belongs is in time for the output of the sub-screen group to be output based on the timing at which the output of the sub-screen group G2 to which the pivot input belongs can be output with the minimum delay.
  • K+1 of input a and K frames of input d with the smallest input delay difference can be selected for sub-screen group G2.
  • the inputs to the sub-screen group G1 are the inputs b and c.
  • Input to the sub-screen group G1 can select the K-th frame in FIG.
  • the completion of the input of the K frame of the input c comes after the completion of the output of the sub-screen group G1.
  • the video synthesizing device 10 selects the input c of K-1 frames and outputs the sub-screen group G1.
  • 5 and 6 show an example in which the input a is set as a pivot input and the pivot input is output to the sub-screen group G2, but the present disclosure is not limited to this.
  • sub-screen settings for inputs b, c, and d minimize the average delay and maximum delay for inputs b, c, and d. You may choose any combination that For example, a combination such as minimizing the delay of the input whose delay should be minimized next to the pivot input can also be selected.
  • the sub-screen group that outputs the pivot input is not limited to the sub-screen group G2 displayed at the bottom of the screen, and can be the output of the sub-screen group G1.
  • a selectable group of subscreens for each input containing the pivoted input, including the subscreen that outputs the pivoted input, and a combination that evaluates all of its frames and minimizes the average or maximum delay to output each input. can be the output of
  • the video synthesizer 10 calculates the average delay of all the inputs a to d when the output of the pivot input is set to the sub-screen group G2, and the input a to d when the output of the pivot input is set to the sub-screen group G1. If the average delay of all inputs a to d is smaller when the output of the pivot input is set to the sub-screen group G1, the output of the pivot input is set to the sub-screen group G1. set.
  • FIG. 7 shows a configuration example of the video synthesizing device 10 according to this embodiment.
  • the video synthesizing device 10 according to this embodiment includes a detection unit 101 , a crossbar switch 102 , an up/down converter 103 , a buffer 104 and a pixel synthesizing unit 105 .
  • the figure shows 4 inputs and 1 output, any number N of inputs and outputs may be used. Also, the screen does not have to be equally divided.
  • a functional unit 101 detects the input order within a frame time for N inputs.
  • a crossbar switch 102 has a function of rearranging and outputting the input order from 101 in the order of detection results.
  • An up-down converter 103 scales the number of pixels to an arbitrary size.
  • 102 and 103 may be reversely connected to the inputs (a, b, c, d, . . . ). That is, the inputs a, b, c, and d may be scaled at 103 and then rearranged at 102 in order of input and output.
  • 104 is a buffer. 103 or 102 inputs can be buffered and output in any order.
  • 105 is a pixel synthesizing unit. Pixel data are read out from 104 in the output order of the entire output screen, synthesized and output. The sub-screens to be synthesized and output are as described above. 105 may add an arbitrary control signal to the blanking portion of the screen.
  • the video synthesizing device 10 of the present disclosure can also be realized by a computer and a program, and the program can be recorded on a recording medium or provided through a network.
  • the pivot input can be set arbitrarily. For example, it may be set by an external instruction, or may be set based on information included in the video signal. For example, it may be set based on a flag indicating the priority included in the video signal, or may be set based on the result of image processing.
  • the conductor is determined by image processing, and a video in which the conductor appears large is set as the pivot input.
  • an object such as a person who moves rapidly is determined by image processing, and an image showing the object which moves rapidly is set as a pivot input.
  • the pivot input can be switched at any time. For example, when an object that moves rapidly changes due to image processing, the pivot input is switched to a new object that moves rapidly. This allows the output to be adjusted according to the input whose delay should be the shortest.
  • the present disclosure can shorten the delay time to the combined output for other inputs while minimizing the delay time to the combined output for a particular input. As a result, in a system that synthesizes a plurality of screens at a plurality of sites, etc., cooperative work with strict low-delay requirements, and especially low-delay requirements for specific inputs, becomes possible.
  • (Points of this disclosure) A system that synthesizes and displays images from multiple locations. Synthesis processing up to output for one input in cooperative work such as an ensemble where low delay requirements are strict and conditions such as conductors where low latency requirements are particularly strict. While low delays are most required for the other inputs, low delays in synthesis processing are also required for other inputs.
  • the present disclosure is a system that inputs a plurality of asynchronous videos and synthesizes those images, and arranges the pivot input so that the input timing is the slowest in the same sub-screen group. can shorten the delay time until the output of This makes it possible to perform cooperative work with strict low-delay requirements in a system that synthesizes multiple screens from multiple sites.
  • This disclosure can be applied to the information and communications industry.
  • Video synthesizer 20 Screen 21: Scanning line 22: Blanking portion 23: Border portion 24: Display screen 101: Detector 102: Crossbar switch 103: Up/down converter 104: Buffer 105: Pixel synthesizing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Circuits (AREA)

Abstract

本開示は、複数の非同期の映像を入力し、それらの画像を合成する際、特定の映像入力の出力までの遅延時間を短縮することを目的とする。　本開示は、非同期で入力された複数の映像信号を、１つの画面に表示される映像信号に合成する装置であって、前記複数の映像信号のうちのピボット入力の映像信号の遅延が短くなるように、前記複数の映像信号を合成する、装置である。

Description

映像信号を合成する装置、方法及びプログラム
　複数の映像入力信号から、画面を１つに合成し、出力する、映像合成技術に関する。
　近年、多くの映像デバイスが利用されている。このような多くの映像デバイスの映像には、多様な画素数（解像度）、フレームレート等が利用されている。この映像デバイスの映像信号は、規格によって、物理的な信号、コントロール信号等に差異があるものの、１画面をそのフレームレート分の１の時間を使って伝送する。例えば、１秒間に６０フレームの映像信号であれば、１／６０秒、すなわち約１６．８ミリ秒を掛けて１画面の映像を伝送する（以下、６０ｆｐｓ（Ｆｒａｍｅ　ｐｅｒ　Ｓｅｃｏｎｄ））。
　これらの映像の利用方法には、テレビ会議など、複数のカメラをカメラの数よりも少ないモニタで表示するような形態がある。このよう場合、複数の映像を、例えば１つの画面上に分割表示することや、ある映像画面中に、その他の映像画面縮小表示などをしてはめ込むことなどの、画面合成を行う。
　通常、映像信号のタイミングは同期されておらず、合成する他の映像信号のタイミングが異なることから、信号をメモリなどに一時的にバッファリングしてから、合成する。結果として、合成画面の出力には遅延が発生する。
　遠隔地などでの合奏等をこのような画面合成を行うテレビ会議で行うことを想定すると、この合成に関わる遅延は、その実現性を大きく損なう。例えば、１秒間に１２０拍の曲（以下、１２０ＢＰＭ（Ｂｅａｔ　Ｐｅｒ　Ｍｉｎｕｔｅ））であれば、１拍の時間は、６０／１２０秒＝５００ミリ秒である。仮にこれを、５％の精度で合わせることが必要であるとすると、５００×０．０５＝２５ミリ秒以下にカメラで撮影して表示するまでの遅延を抑える必要がある。
　カメラで撮影して表示するまでには、実際には、合成に関わる処理以外に、カメラでの画像処理時間、モニタでの表示時間、伝送に関わる時間などの、その他の遅延も含む必要がある。結果として、従来技術では、遠隔地で相互に映像を見ながらの合奏等のタイミングが重視される用途での、協調作業は困難である。
　また、指揮者などの、タイミング、テンポやアーティキュレーションの指示者が居る合奏等においては、特にその指示者の映像は低遅延とする必要がある。
　そこで、低遅延要求が厳しい協調作業に対して、複数拠点などの複数画面を合成するシステムで、非同期映像の映像入力から、その合成映像出力までの時間を低遅延化するシステムの提供が必要である。特に、特定の映像入力の合成映像出力までの時間は最も低遅延化するシステムの提供が必要である。
ＶＥＳＡ　ａｎｄ　Ｉｎｄｕｓｔｒｙ　Ｓｔａｎｄａｒｄｓ　ａｎｄ　Ｇｕｉｄｅｌｉｎｅｓ　ｆｏｒ　Ｃｏｍｐｕｔｅｒ　Ｄｉｓｐｌａｙ　Ｍｏｎｉｔｏｒ　Ｔｉｍｉｎｇ　（ＤＭＴ），　Ｖｅｒｓｉｏｎ　１．０，　Ｒｅｖ．　１３，　Ｆｅｂｒｕａｒｙ　８，　２０１３
　本開示は、複数の非同期の映像を入力し、それらの画像を合成する際、特定の映像入力の出力までの遅延時間を短縮することを目的とする。
　本開示の装置及び方法は、
　非同期で入力された複数の映像信号を、１つの画面に表示される映像信号に合成する装置であって、
　前記複数の映像信号のうちの設定されたピボット入力の映像信号の遅延が短くなるように、前記複数の映像信号を合成する。
　本開示のプログラムは、本開示に係る装置に備わる各機能部としてコンピュータを実現させるためのプログラムであり、本開示に係る装置が実行する方法に備わる各ステップをコンピュータに実行させるためのプログラムである。
　本開示によれば、複数の非同期の映像を入力し、それらの画像を合成する際、特定の映像入力の出力までの遅延時間を短縮することができる。
映像信号に含まれる画面の情報の一例を示す。 本開示のシステム構成例を示す。 ４つの入力フレームから１つの出力フレームへの合成例を示す。 サブ画面グループの一例を示す。 本開示の映像合成方法の一例を示す。 本開示の映像合成方法の一例を示す。 映像合成装置の構成例を示す。
　以下、本開示の実施形態について、図面を参照しながら詳細に説明する。なお、本開示は、以下に示す実施形態に限定されるものではない。これらの実施の例は例示に過ぎず、本開示は当業者の知識に基づいて種々の変更、改良を施した形態で実施することができる。なお、本明細書及び図面において符号が同じ構成要素は、相互に同一のものを示すものとする。
　図１に、映像信号に含まれる画面の情報の一例を示す。画面の情報は、画面を横方向に１つの走査線２１毎に走査して、順次下の走査線２１を走査することで伝送される。この走査には、表示画面２４の他、ブランキング部分２２、また、ボーダ部分２３などのオーバヘッド情報／信号を含む。ブランキング部分２２に、制御情報や音声情報など、映像情報以外の情報を含む場合もある。
　図２に、本開示のシステム構成例を示す。本開示では、一例として、４つの映像信号Ｖ１～Ｖ４が映像合成装置１０に入力され、映像合成装置１０が１つの画面２０に表示される映像信号に合成して出力する例を示す。映像信号では１画面をそのフレームレート分の１の時間を使って伝送する。例えば、１秒間に６０フレームの映像信号であれば、１／６０秒、すなわち約１６．７ミリ秒を掛けて１画面の映像信号を伝送する（以下、６０ｆｐｓ（Ｆｒａｍｅ　ｐｅｒ　Ｓｅｃｏｎｄ））。映像信号に含まれる各時点での１画面の情報を「フレーム」と称し、映像合成装置１０に入力される各映像信号の１画面の情報を「入力フレーム」、映像合成装置１０から出力される合成された１画面の情報を「出力フレーム」と称する。
　図３に、４つの異なるタイミングの映像を入力とし、１画面に合成して出力する例を図に示す。映像合成装置１０が、全ての入力映像画面を読み込んでから、合成し、出力する形態の場合を考える。この場合、フレーム時間をＴ＿ｆ、合成処理時間をＴ＿ｐとすると、出力フレームは、最初の入力フレームの入力時点から最大で、２Ｔ＿ｆ＋Ｔ＿ｐ遅れることとなる。例えば、６０ｆｐｓの映像を考えると、２フレーム時間以上、すなわち３３．３ミリ秒以上の遅延が合成後の映像には、含まれる可能性があるということである。
　本開示では、分割した画面のうち同一の走査線上に配置されている横方向の画面を１のグループとし、そのグループを「サブ画面グループ」と称する。例えば、映像合成装置１０が入力１～４の４つの映像信号を合成する場合、図４に示すように、横方向に並んでいるサブ画面Ｄ１－１及びＤ１－２をサブ画面グループＧ１とし、横方向に並んでいるサブ画面Ｄ２－１及びＤ２－２をサブ画面グループＧ２とする。つまり、出力フレームのデータは、上部に配置されているサブ画面グループＧ１から先に出力され、続いてサブ画面グループＧ２が出力される。
　また本開示では、入力から出力までの遅延を最も短くすべき入力（以下、「ピボット入力」と呼ぶ。）を設定する。本開示は、複数の非同期の映像を入力し、それらの画像を合成するシステムであって、このピボット入力を中心として、画面の配置、出力タイミングを最適化する。
　本開示では、入力フレームの入力完了を待つことなく、順次出力フレームへデータを出力することができる。つまり、オーバヘッドを除けば、入力から出力までの遅延を最も短く最も短くできるのは、入力フレームの入力完了と、その入力が帰属するサブグループの画面の出力完了の時刻が揃うときである。
　具体的には、本開示では、ピボット入力が出力されるまでの遅延が短くなるよう、ピボット入力のサブ画面グループを選択する。ピボット入力が出力される同一のサブ画面グループ内でのサブ画像は任意であるが、本開示では、入力タイミングが最も遅いタイミングとなるようピボット入力を配置する例を示す。
　ピボット入力の出力先のサブ画面グループを決定したのち、ピボット入力以外の入力のサブ画面グループを選択する。このとき、この際、ピボット入力以外の入力について、その出力までの平均遅延や、最大遅延を最小化するよう、サブ画面グループの帰属と、入力のフレーム順序を選択する。
　以下、図５及び図６を参照しながら、入力ａがピボット入力の場合で、また合成画面を４分割として、上２つのサブ画面Ｄ１－１及びＤ１－２をサブ画面グループＧ１、下２つのサブ画面Ｄ２－１及びＤ２－２をサブ画面グループＧ２とする例について説明する。
　例えば、ピボット入力である入力ａをサブ画面グループＧ２への出力とし、その出力を最短とすると、処理オーバヘッドを除いた場合、入力ａの入力完了時にサブ画面グループＧ２の出力が完了するよう合成出力する。例えば、入力ａのＫ＋１フレームの入力完了に合うように、サブ画面グループＧ２の出力を行う。
　サブ画面グループＧ２への入力ａ以外の入力ｂ、ｃ及びｄは、入力ａのＫ＋１フレームより早く入力が完了しているものを選ぶ。図５及び図６の例では、入力ｂのＫ以前のフレーム、入力ｃのＫ以前のフレーム、入力ｄのＫ以前のフレームが選択可能である。
　ここで、ピボット入力が属するサブ画面グループ以外のサブ画面グループの入力は、ピボット入力が属するサブ画面グループＧ２の出力を最低遅延で出力できるタイミングを基準として、出力すべきサブ画面グループの出力に間に合う入力および入力フレームを選択する。
　例えば、入力ａのＫ＋１と最も入力遅延差の少ない入力ｄのＫフレームをサブ画面グループＧ２に選択することができる。この場合、サブ画面グループＧ１への入力は、入力ｂ，入力ｃとなる。サブ画面グループＧ１への入力は、図５では、それぞれＫ番目のフレームを選択できる。一方、図６では、入力ｃのＫフレームの入力完了が、サブ画面グループＧ１の出力完了より後になる。このような場合、映像合成装置１０は、Ｋ－１フレームの入力ｃを選択し、サブ画面グループＧ１を出力する。
　図５及び図６では、入力ａをピボット入力に設定し、ピボット入力をサブ画面グループＧ２に出力する場合の例を示したが、本開示はこれに限定されない。入力ａをピボット入力に設定し、ピボット入力をサブ画面グループＧ２に出力する場合における、入力ｂ、ｃ及びｄのサブ画面の設定は、入力ｂ、ｃ及びｄの平均遅延や最大遅延を最小化する組み合わせを選択してもよい。例えば、ピボット入力に次いで遅延を最小化すべき入力の遅延を最小化するなどの組み合わせも選ぶことができる。
　また、ピボット入力を出力するサブ画面グループは、画面の下に表示されるサブ画面グループＧ２に限らず、サブ画面グループＧ１の出力とすることもできる。ピボット入力を出力するサブ画面を含め、ピボット入力を含む各入力の選択可能なサブ画面グループと、そのフレームをすべて評価し、各入力が出力されるまでの平均遅延や最大遅延を最小化する組み合わせの出力とすることができる。
　例えば、映像合成装置１０は、ピボット入力の出力をサブ画面グループＧ２に設定した場合の入力ａ～ｄの全ての平均遅延と、ピボット入力の出力をサブ画面グループＧ１に設定した場合の入力ａ～ｄの全ての平均遅延と、を比較し、ピボット入力の出力をサブ画面グループＧ１に設定した方が入力ａ～ｄの全ての平均遅延が小さい方場合、ピボット入力の出力をサブ画面グループＧ１に設定する。
　図７に、本実施形態に係る映像合成装置１０の構成例を示す。本実施形態に係る映像合成装置１０は、検出部１０１、クロスバスイッチ１０２、アップダウンコンバータ１０３、バッファ１０４、画素合成部１０５を備える。図は４入力１出力であるが、任意の数Ｎの入出力でも構わない。また、画面は等分割でなくても構わない。
　１０１は、Ｎ個の入力に対して、フレーム時間内の入力順を検出する機能部である。
　１０２は、クロスバスイッチであり、１０１からの入力順序の検出結果順に並べ替え出力する機能である。
　１０３は画素数を任意の大きさに拡大縮小を行う、アップダウンコンバータである。
　１０２と１０３は入力（ａ，ｂ，ｃ，ｄ，…）に対して逆に接続しても構わない。すなわち入力ａ，ｂ，ｃ，ｄから１０３で拡大縮小を行い、その後１０２、入力順に並べ替え出力しても構わない。
　１０４は、バッファである。１０３または１０２の入力をバッファリングして、任意の順序で出力することができる。
　１０５は、画素合成部である。出力の全体画面のうち、出力する順に１０４から画素データを読み出し、合成して出力する。この合成及び出力するサブ画面は、前記による。１０５は、任意のコントロール信号を画面のブランキング部に付加しても構わない。
　本開示の映像合成装置１０は、コンピュータとプログラムによっても実現でき、プログラムを記録媒体に記録することも、ネットワークを通して提供することも可能である。
　なお、ピボット入力は、任意に設定可能であり、例えば、外部からの指示によって設定されてもよいし、映像信号に含まれている情報に基づいて設定してもよい。例えば、映像信号に含まれている優先度を示すフラグに基づいて設定してもよいし、画像処理の結果に基づいて設定してもよい。例えば、画像処理によって指揮者を判定し、指揮者が大きく映されている映像をピボット入力に設定する。また、画像処理によって動きの激しい人物などの対象を判定し、動きの激しい対象の映されている映像をピボット入力に設定する。
　ピボット入力は、任意のタイミングで切り替え可能である。例えば、画像処理によって動きの激しい対象が変化した場合は、新たに動きが激しくなった対象にピボット入力を切り替える。これにより、遅延を最も短くすべき入力に合わせて出力を調整することができる。
（本開示の効果）
　本開示は、特定の入力に対しての合成後の出力までの遅延時間を最短化しながら、且つ、他の入力に対しての合成後の出力までの遅延時間を短縮できる。これにより、複数拠点等の複数画面を合成するシステムで低遅延要求が厳しく且つ特に特定の入力に対する低遅延要求がより厳しい協調作業が可能となる。
（本開示のポイント）
　複数拠点の映像を合成して表示するシステムで、合奏のような低遅延要求が厳しい協調作業且つ指揮者のようなその中でも特に低遅延要求が厳しい条件では、１の入力に対する出力までの合成処理の低遅延化を最も必要としつつ、他の入力に対しても合成処理の低遅延化が必要である。
　本開示は、複数の非同期の映像を入力し、それらの画像を合成するシステムであって、同一サブ画面グループ内で、入力タイミングが最も遅いタイミングとなるようピボット入力を配置することで、合成後の出力までの遅延時間を短縮することができる。これにより、複数拠点等の複数画面を合成するシステムで低遅延要求が厳しい協調作業が可能となる。
　本開示は情報通信産業に適用することができる。
１０：映像合成装置
２０：画面
２１：走査線
２２：ブランキング部分
２３：ボーダ部分
２４：表示画面
１０１：検出部
１０２：クロスバスイッチ
１０３：アップダウンコンバータ
１０４：バッファ
１０５：画素合成部

Claims (7)

  1. 　非同期で入力された複数の映像信号を、１つの画面に表示される映像信号に合成する装置であって、
    　前記複数の映像信号のうちの設定されたピボット入力の映像信号の遅延が短くなるように、前記複数の映像信号を合成する、
    　装置。
  2. 　前記ピボット入力の映像信号に合成される前記ピボット入力以外の映像信号は、前記ピボット入力よりも前に入力された映像信号である、
    　請求項１に記載の装置。
  3. 　前記１つの画面の一部を構成するサブ画面グループごとに、前記複数の映像信号に含まれる映像信号を出力し、
    　前記ピボット入力の映像信号を、前記ピボット入力の遅延が短くなるようなサブ画面グループに出力する、
    　請求項１又は２に記載の装置。
  4. 　前記サブ画面グループは、画面の同一の走査線上に配置されているサブ画面の集合である、
    　請求項３に記載の装置。
  5. 　前記複数の映像信号の遅延が最小になるように、前記複数の映像信号の出力されるサブ画面を決定する、
    　請求項１から４のいずれかに記載の装置。
  6. 　非同期で入力された複数の映像信号を、１つの画面に表示される映像信号に合成する方法であって、
    　前記複数の映像信号のうちの設定されたピボット入力の映像信号の遅延が短くなるように、前記複数の映像信号を合成する、
    　方法。
  7. 　請求項１から５のいずれかに記載の装置に備わる各機能部としてコンピュータを実現させるためのプログラム。
PCT/JP2021/029431 2021-08-06 2021-08-06 映像信号を合成する装置、方法及びプログラム WO2023013072A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2023539583A JPWO2023013072A1 (ja) 2021-08-06 2021-08-06
PCT/JP2021/029431 WO2023013072A1 (ja) 2021-08-06 2021-08-06 映像信号を合成する装置、方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/029431 WO2023013072A1 (ja) 2021-08-06 2021-08-06 映像信号を合成する装置、方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2023013072A1 true WO2023013072A1 (ja) 2023-02-09

Family

ID=85154105

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/029431 WO2023013072A1 (ja) 2021-08-06 2021-08-06 映像信号を合成する装置、方法及びプログラム

Country Status (2)

Country Link
JP (1) JPWO2023013072A1 (ja)
WO (1) WO2023013072A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006222942A (ja) * 2005-01-17 2006-08-24 Toshiba Corp 映像合成装置、映像合成方法及び映像合成プログラム
JP2013153340A (ja) * 2012-01-25 2013-08-08 Fujitsu Ltd 映像取得装置及び方法
JP2014239325A (ja) * 2013-06-07 2014-12-18 ソニー株式会社 信号処理装置、信号処理方法、コンピュータプログラム及び映像伝送システム
JP2018041331A (ja) * 2016-09-08 2018-03-15 株式会社ソニー・インタラクティブエンタテインメント 画像処理システム、画像処理方法およびコンピュータプログラム
WO2018051434A1 (ja) * 2016-09-14 2018-03-22 三菱電機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
JP2020042125A (ja) * 2018-09-10 2020-03-19 日本放送協会 リアルタイム編集システム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2006222942A (ja) * 2005-01-17 2006-08-24 Toshiba Corp 映像合成装置、映像合成方法及び映像合成プログラム
JP2013153340A (ja) * 2012-01-25 2013-08-08 Fujitsu Ltd 映像取得装置及び方法
JP2014239325A (ja) * 2013-06-07 2014-12-18 ソニー株式会社 信号処理装置、信号処理方法、コンピュータプログラム及び映像伝送システム
JP2018041331A (ja) * 2016-09-08 2018-03-15 株式会社ソニー・インタラクティブエンタテインメント 画像処理システム、画像処理方法およびコンピュータプログラム
WO2018051434A1 (ja) * 2016-09-14 2018-03-22 三菱電機株式会社 表示制御装置、表示制御方法及び表示制御プログラム
JP2020042125A (ja) * 2018-09-10 2020-03-19 日本放送協会 リアルタイム編集システム

Also Published As

Publication number Publication date
JPWO2023013072A1 (ja) 2023-02-09

Similar Documents

Publication Publication Date Title
CN110999275A (zh) 视频信号无黑屏切换处理方法和装置
US20140267395A1 (en) Low-latency interactive multiviewer interfaces and methods for video broadcast equipment
TW200939763A (en) Image processing system and method for processing divisional TV pictures
JP4559976B2 (ja) 映像合成装置、映像合成方法及び映像合成プログラム
WO2023013072A1 (ja) 映像信号を合成する装置、方法及びプログラム
JP2002351438A (ja) 映像監視システム
JPH0775014A (ja) 映像表示装置、マルチ画面表示システム及び拡大処理回路
WO2023017578A1 (ja) 映像信号を合成する装置、方法及びプログラム
JP4016914B2 (ja) 動画表示制御システム
WO2023017577A1 (ja) 映像信号を合成する装置、方法及びプログラム
WO2022137324A1 (ja) 映像信号を合成する装置、方法及びプログラム
WO2022137325A1 (ja) 映像信号を合成する装置、方法及びプログラム
JP3828010B2 (ja) 画像受信システム
WO2022137326A1 (ja) 映像音響合成装置、方法及びプログラム
JP3199540B2 (ja) 映像表示装置、それを用いた画面表示システムおよびマルチ画面表示システム
JP2009296410A (ja) 高解像度の映像再生装置
JP7480908B2 (ja) 映像合成装置及び映像合成方法
JP2004538741A (ja) 複数セットの多重チャネルデジタル画像を組み合わせる方法及びバスインタフェース技術
JP6351382B2 (ja) 映像処理装置、その制御方法、およびプログラム
CN112019926A (zh) 视频处理装置、方法及系统
JP2006337732A (ja) 会議用画像表示システム
JPH05173530A (ja) 多入力映像信号表示装置
JPH0294974A (ja) 画像表示装置
JPH0259795A (ja) マルチ映像システム
JPH05176229A (ja) 多入力映像信号表示装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21952895

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023539583

Country of ref document: JP

NENP Non-entry into the national phase

Ref country code: DE