WO2022153385A1 - 映像処理装置、映像処理方法、および、映像処理プログラム - Google Patents
映像処理装置、映像処理方法、および、映像処理プログラム Download PDFInfo
- Publication number
- WO2022153385A1 WO2022153385A1 PCT/JP2021/000801 JP2021000801W WO2022153385A1 WO 2022153385 A1 WO2022153385 A1 WO 2022153385A1 JP 2021000801 W JP2021000801 W JP 2021000801W WO 2022153385 A1 WO2022153385 A1 WO 2022153385A1
- Authority
- WO
- WIPO (PCT)
- Prior art keywords
- image
- input
- video
- frame
- images
- Prior art date
Links
- 238000012545 processing Methods 0.000 title claims abstract description 100
- 238000003672 processing method Methods 0.000 title claims description 5
- 239000002131 composite material Substances 0.000 claims description 7
- 238000011156 evaluation Methods 0.000 description 29
- 208000003028 Stuttering Diseases 0.000 description 4
- 238000000605 extraction Methods 0.000 description 4
- 238000000034 method Methods 0.000 description 4
- 230000015572 biosynthetic process Effects 0.000 description 3
- 238000003786 synthesis reaction Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 230000002194 synthesizing effect Effects 0.000 description 2
- 238000012935 Averaging Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/76—Television signal recording
- H04N5/765—Interface circuits between an apparatus for recording and another apparatus
Definitions
- the present invention relates to a video processing apparatus, a video processing method, and a video processing program.
- the input video is treated as a series of continuous frames (still images) and processed one by one.
- the input thread that stores the video input from the serial interface in the frame buffer the main thread that reads the contents of the frame buffer, performs image processing, and writes the processing result to the output frame buffer, and the output frame buffer.
- the output thread that reads out the image and outputs it via the serial interface is roughly divided into three types of thread processing.
- Patent Document 1 describes an image processing technique for extracting a subject.
- the three types of threads may be executed asynchronously. By executing three threads asynchronously, frames can be dropped even if the processing time in the main thread is long, and as a result, sequential processing can be maintained.
- the present invention has been made in view of the above circumstances, and an object of the present invention is to make frame drops randomly generated by image processing inconspicuous and to improve the smoothness of an output image.
- one aspect of the present invention is an image processing device, which comprises an input unit for inputting a plurality of input images of the same image processed in parallel by a plurality of external processing devices. For each input video, the first image of the target frame is compared with the second image of the frame immediately preceding the target frame, and if the first image and the second image are the same, it is determined that the multiple layers of the input video are increased. It includes a unit and a selection unit that selects a first image of any of the input images as an image of a target frame based on a plurality of overlapping of the input images.
- One aspect of the present invention is a video processing method performed by a video processing device, which includes an input step of inputting a plurality of input videos image-processed in parallel by a plurality of external processing devices for the same video, and the input.
- a determination step of comparing the first image of the target frame with the second image of the frame immediately preceding the target frame for each image, and increasing the number of multiple layers of the input image when the first image and the second image are the same.
- the selection step of selecting the first image of any of the input images as the image of the target frame based on the multiple layers of the plurality of input images.
- One aspect of the present invention is a video processing program that causes a computer to function as the video processing device.
- the present invention is an object of making the drop of frames randomly generated by image processing inconspicuous and improving the smoothness of the output image.
- FIG. 1 is a configuration diagram showing a configuration example of the video processing device 1 of the present embodiment.
- a plurality of input images output from the plurality of external processing devices 2 are input to the image processing device 1.
- Each external processing device 2 performs the same image processing (for example, subject extraction, etc.) in parallel for the same video (original video), and outputs the input video after the image processing to the video processing device 1.
- the external processing device 2 is a device that does not have sufficient processing performance, and each frame of the input video cannot always be switched at an ideal timing (for example, 29.97 frames / second, 59.94 frames / second). Frames are dropped randomly. Therefore, when the input video processed by one external processing device 2 is reproduced as it is, the video looks stiff and lacks smoothness to the viewer.
- the video processing device 1 of the present embodiment inputs a plurality of input videos, selects the optimum frame for each frame from these input videos, and outputs the selected frame as the final output video.
- the present embodiment it is possible to reduce the stuttering of the image and improve the smoothness of the image.
- the illustrated video processing device 1 includes an input unit 11, a frame synchronization unit 12, an image acquisition unit 13, an evaluation unit 14, an output unit 18, and an image storage unit 19.
- the input unit 11 inputs a plurality of input images that have been image-processed in parallel by a plurality of external processing devices 2 for the same image.
- the input unit 11 may receive the input video from each external processing device 2 via the network and input the input video.
- the frame synchronization unit 12 time-synchronizes each frame of the input video output from the plurality of external processing devices 2 by a synchronization signal from the inside or the outside.
- the frame synchronization unit 12 may synchronize each frame of a plurality of input videos by using, for example, MMT (MPEG Media Transport).
- the image acquisition unit 13 acquires an image of a target frame (nth frame) to be processed from a plurality of input images, inputs the image to the evaluation unit 14, and stores the image in the image storage unit 19.
- the image storage unit 19 stores the images of each frame of the plurality of input images acquired by the image acquisition unit 13 for a predetermined period of time.
- the evaluation unit 14 compares the first image of the target frame with the second image of the immediately preceding frame one frame before the target frame for each input video, and evaluates whether or not there is a change in these images. When there is no change in these images, the evaluation unit 14 determines that the target frame is an unupdated frame, and increases the number of duplicates of the input video. That is, the multiple multiple indicates the number of times that the same image appears consecutively in each input video, and the large number of multiple multiple means low reliability of the image.
- the illustrated evaluation unit 14 includes a determination unit 15, a selection unit 16, and a synthesis unit 17.
- the determination unit 15 compares the first image of the target frame with the second image of the frame immediately preceding the target frame for each input video, and if the first image and the second image are the same, the weight of the input video Increase multiple. When the first image and the second image are different, the determination unit 15 may reset the multiple layers to a predetermined value (for example, 0). When the first image of the input video having the smallest multiples is the same as the first image of the other input video having the smallest multiples, the determination unit 15 sets the multiple multiples of the input video having the smallest multiples. It may be updated to multiple layers of the input video of.
- the determination unit 15 acquires the second image of the immediately preceding frame from the image storage unit 19.
- the multiple layers of each input video are stored in a memory (not shown) included in the video processing device 1.
- the selection unit 16 selects the first image of any of the input images as the image of the target frame based on the multiple layers of the plurality of input images. In the present embodiment, the selection unit 16 selects the first image of the input video having the smallest multiple layers as the image of the target frame.
- the compositing unit 17 When there are a plurality of input images having the smallest multiples, the compositing unit 17 generates a composite image obtained by synthesizing a plurality of first images of the input images having the smallest multiples. For example, when the selection unit 16 cannot select the image of the target frame using the multiple layers, the composite unit 17 synthesizes a plurality of different first images of the plurality of input videos having the smallest multiple layers, and the combined image is combined. May be used as the image of the target frame.
- the synthesizing method may be, for example, an average image obtained by averaging the pixel values of a plurality of first images.
- the output unit 18 outputs each frame in which the first image selected by the selection unit 16 or the composite image synthesized by the synthesis unit 17 is set as the final output video.
- FIG. 2 is an explanatory diagram showing a specific example of a frame selected by the video processing device 1.
- the original video 3 is input to the external processing devices 2A, 2B, and 2C, and the external processing devices 2A, 2B, and 2C sequentially execute image processing (for example, subject extraction) for each frame of the original video 3. Then, the input images 4A, 4B, and 4C of the processing result are output to the image processing device 1.
- the image (for example, the subject) of the original video 3 is represented by alphabetic characters for convenience.
- Frames are dropped (missing) in the external processing devices 2A, 2B, and 2C.
- the image processing of the external processing devices 2A, 2B, and 2C is delayed, so that the image in the drawing memory provided by the device is not updated, and as a result, the image of the immediately preceding frame is output. It is caused by being done. That is, the images of the same frame are duplicated and repeatedly output, which causes the image to be stuttered.
- a frame drop occurs in the second frame, and the same frame as the first frame is input to the video processing device 1 as the second frame.
- the same frame as the third frame is input to the video processing device 1 as the fourth frame by dropping the frame.
- the same frame as the 4th frame is input to the video processing device 1 as the 5th and 6th frames by dropping the frame.
- This embodiment is a quality improvement method that takes advantage of the fact that frame drops occur randomly.
- the video processing device 1 uses input video processed by a plurality of external processing devices 2A, 2B, and 2C in parallel, and selects an optimum frame of the input video based on a plurality of frames of the respective input video.
- the image processing device 1 selects an image of the first frame of any of the preset input images 4A, 4B, and 4C, and outputs the image as the final output image 5 ( Pattern a).
- the image processing device 1 selects one of the input images 4A, 4B, and 4C images based on the multiple layers, or combines a plurality of images, and the selected or combined image is the final output image. Output as 5.
- the video processing device 1 selects and outputs the input video 4B or 4C image B (pattern c). ).
- the multiple layers of all the input images 4A, 4B, and 4C are the minimum (0)
- the input image 4A is the image B
- the input images 4B and 4C are the images C.
- the video processing device 1 selects and outputs the image C of the input video 4B or 4C by majority vote (pattern d).
- the images D of the input images 4A and 4C having the smallest multiple (0) are the same.
- the image processing device 1 selects and outputs the image D of the input image 4B or 4C (pattern c).
- the images of the input images 4B and 4C with the minimum (0) multiple layers are different.
- the image processing device 1 compares the images of all the input images 4A, 4B, and 4C. Since the image B of the input video 4B is the same as the image B of the input video 4A, the video processing device 1 sets the multiple (0) of the input video 4B having the minimum multiple weight as the larger weight of the input video 4A. Update to a plurality (1) (pattern e). Then, the image processing device 1 selects and outputs the image E of the input image 4C in which the multiple layers remain the minimum (0) (pattern b).
- the image processing device 1 selects and outputs the image E of the input image 4B having the smallest multiple (0) (pattern b).
- the image processing device 1 compares the images of all the input images 4A, 4B, and 4C. Since the images of all the input images 4A, 4B, and 4C are different, the image processing apparatus 1 generates and outputs a composite image of the image G and the image F of the input images 4A and 4B having the minimum multiple (0) multiples (0). Pattern f).
- 3A and 3B are flowcharts showing the operation of the evaluation unit 14 of the video processing device 1.
- the image acquisition unit 13 acquires the first image of the nth frame of the plurality of external processing devices 2, inputs it to the evaluation unit 14, and stores it in the image storage unit 19.
- the evaluation unit 14 determines whether or not the input first image is the first image of the first frame (S11), and in the case of the first image of the first frame (S11: YES), any of the preset images.
- the first image of the input video is selected and output to the output unit 18 (S16: pattern a).
- the evaluation unit 14 repeats the processes of S12 to S15 for the number of input images.
- the evaluation unit 14 compares the first image of the Nth frame (target frame) to be processed with the second image of the N-1th frame (immediately preceding frame) (S12), and combines the first image and the second image. Is determined (S13).
- first image and the second image match means that the contents of these images are the same.
- first image and the second image match it means that a frame has been dropped in the input video.
- the evaluation unit 14 When the first image and the second image are different (S13: NO), the evaluation unit 14 resets the multiple layers of the input video to 0 (predetermined value) (S14). On the other hand, when the first image and the second image match (S13: YES), the evaluation unit 14 adds 1 to the multiples of the input video and increases the multiples (S15). In this way, the evaluation unit 14 compares the first image and the second image, and updates the multiples of each input video.
- the evaluation unit 14 compares a plurality of multiple input images (S21), and when there is one input image having the smallest multiple input images (S22: YES), selects the first image in the Nth frame of the input image. , Output to the output unit 18 (S30: pattern b).
- the evaluation unit 14 compares the first image of the Nth frame of the input images having the smallest multiples (S23). When all the first images to be compared match (S24: YES), the evaluation unit 14 selects the first image of the input video having the smallest multiple layers as the image of the Nth frame, and the output unit 18 Is output to (S31: pattern c).
- the evaluation unit 14 When all the first images to be compared do not match (S24: NO), the evaluation unit 14 counts the number of first images whose contents match (S25), and the first image having the maximum count value is obtained. It is determined whether or not there is one (S26). That is, the evaluation unit 14 determines whether or not the first image can be selected by majority vote.
- the evaluation unit 14 selects the first image with the maximum count value as the Nth frame image and outputs it. Output to unit 18 (S32: pattern d).
- the evaluation unit 14 compares the first images of all the input images (S27). Specifically, the evaluation unit 14 compares each first image of the input video having the smallest multiple and the first image of the other input video having the smallest multiple.
- the evaluation unit 14 sets the multiple multiples of the input video having the smallest multiples to another.
- the input video is updated to multiple layers (S29: pattern e). That is, the evaluation unit 14 corrects the multiples of the input video having the smallest multiples to the larger one. Then, the evaluation unit 14 returns to S21 and performs the subsequent processing.
- the video processing device 1 of the present embodiment described above includes an input unit 11 for inputting a plurality of input images image-processed in parallel by a plurality of external processing devices 2 for the same image, and a target for each of the input images.
- the first image of the frame is compared with the second image of the frame immediately preceding the target frame, and when the first image and the second image are the same, a determination unit 15 that increases the number of layers of the input video and a plurality of determination units 15.
- a selection unit 16 is provided for selecting a first image of any of the input images as an image of a target frame based on the multiple layers of the input image.
- the present embodiment As described above, in the present embodiment, a plurality of input images are used, the optimum frame is selected for each frame from these input images, and the selected frame is output as the final output image.
- the final output video does not show the stuttering of the video, and the subjective quality of the video can be improved. That is, in the present embodiment, it is possible to reduce the stuttering of the image and improve the smoothness of the image.
- FIG. 4 a general-purpose computer system as shown in FIG. 4 can be used.
- the computer system shown is a CPU (Central Processing Unit, processor) 901, a memory 902, a storage 903 (HDD: Hard Disk Drive, SSD: Solid State Drive), a communication device 904, an input device 905, and an output device. 906 and.
- the memory 902 and the storage 903 are storage devices.
- each function of the video processing device 1 is realized by executing the program of the video processing device 1 loaded on the memory 902 by the CPU 901.
- the video processing device 1 may be mounted on one computer, or may be mounted on a plurality of computers. Further, the video processing device 1 may be a virtual machine mounted on a computer.
- the program for the video processing device 1 can be stored in a computer-readable recording medium such as an HDD, SSD, USB (Universal Serial Bus) memory, CD (Compact Disc), DVD (Digital Versatile Disc), or via a network. It can also be delivered.
- the present invention is not limited to the above embodiment, and many modifications can be made within the scope of the gist thereof.
- Video processing device 11 Input unit 12: Frame synchronization unit 13: Image acquisition unit 14: Evaluation unit 15: Judgment unit 16: Selection unit 17: Synthesis unit 18: Output unit 19: Image storage unit 2, 2A, 2B, 2C: External processing device
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Studio Circuits (AREA)
Abstract
映像処理装置１であって、同一映像に対して複数の外部処理装置２により並列で画像処理された複数の入力映像を入力する入力部１１と、前記入力映像毎に、対象フレームの第１画像と、当該対象フレームの直前フレームの第２画像とを比較し、第１画像と第２画像とが同じ場合、当該入力映像の重複数を増加する判定部１５と、複数の前記入力映像の重複数に基づいて、いずれかの入力映像の第１画像を対象フレームの画像として選択する選択部１６と、を備える。
Description
本発明は、映像処理装置、映像処理方法、および、映像処理プログラムに関する。
映像から背景と被写体を分離する被写体抽出などの画像処理では、入力される映像を、一連の連続するフレーム（静止画）として扱い、１枚ずつ処理していく。このとき、シリアルインタフェースから入力される映像をフレームバッファに格納する入力スレッド、フレームバッファの内容を読み取り、画像処理を行い、出力用のフレームバッファに処理結果を書き出すメインスレッド、並びに出力用のフレームバッファの画像を読み出してシリアルインタフェース経由で出力する出力スレッドの、大きく分けて３種類のスレッド処理が実行される。
特許文献１には、被写体抽出を行う画像処理技術が記載されている。
被写体抽出のように、処理する画像の内容によってメインスレッドの処理に必要なステップ数が異なる場合、その処理時間を固定的に設定することは困難である。そのため、前記３種類のスレッドは非同期で実行されることがある。非同期で３つのスレッドを実行させることで、メインスレッドでの処理時間が長くかかる場合でも、フレームをドロップさせることができ、結果的に逐次処理を保つことが可能となる。
しかしながら、フレームのドロップが発生した場合、出力スレッドから出力されるフレームが更新されないため、フレームの連続性が失われ、画面に出力される映像は、その瞬間カクついたような状態になる。このようにして発生するフレームのドロップは、映像の内容に依存し、時間的な規則性はない。そして、フレームのドロップは、出力される映像の円滑さを棄損し、主観品質を著しく低下させることにつながる。
フレームのドロップを回避するためには、パフォーマンスの高いＣＰＵ、および、大容量で帯域の大きいメインメモリを用いるなどのシステムの処理キャパシティを物理的に増強させる方法が考えられる。しかしながら、適切な処理キャパシティを事前に想定するためには、様々な映像でのテストを行う必要があり、作業にコストがかかる問題がある。また、処理キャパシティの物理的な増強には限界があるため、フレームのドロップを回避できない状況も発生する。
本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、画像処理によってランダムに発生するフレームのドロップを目立たなくし、出力映像の滑らかさを向上することにある。
上記目的を達成するため、本発明の一態様は、映像処理装置であって、同一映像に対して複数の外部処理装置により並列で画像処理された複数の入力映像を入力する入力部と、 前記入力映像毎に、対象フレームの第１画像と、当該対象フレームの直前フレームの第２画像とを比較し、第１画像と第２画像とが同じ場合、当該入力映像の重複数を増加する判定部と、複数の前記入力映像の重複数に基づいて、いずれかの入力映像の第１画像を対象フレームの画像として選択する選択部と、を備える。
本発明の一態様は、映像処理装置が行う映像処理方法であって、同一の映像に対して複数の外部処理装置により並列で画像処理された複数の入力映像を入力する入力ステップと、前記入力映像毎に、対象フレームの第１画像と、当該対象フレームの直前フレームの第２画像とを比較し、第１画像と第２画像とが同じ場合、当該入力映像の重複数を増加する判定ステップと、複数の前記入力映像の重複数に基づいて、いずれかの入力映像の第１画像を対象フレームの画像として選択する選択ステップと、を行う。
本発明の一態様は、上記映像処理装置としてコンピュータを機能させる映像処理プログラムである。
本発明によれば、画像処理によってランダムに発生するフレームのドロップを目立たなくし、出力映像の滑らかさを向上することにある。
以下、本発明の実施の形態について、図面を参照して説明する。
図１は、本実施形態の映像処理装置１の構成例を示す構成図である。本実施形態では、映像処理装置１には、複数の外部処理装置２から出力される、複数の入力映像が入力される。
各外部処理装置２は、同一の映像（元映像）に対して、同様の画像処理（例えば、被写体抽出など）を並行して行い、画像処理後の入力映像を映像処理装置１に出力する。外部処理装置２は、処理パフォーマンスが十分出ていない装置であり、入力映像の各フレームを常に理想的なタイミング（例えば、２９．９７フレーム／秒、５９．９４フレーム／秒）で切り替えられず、ランダムにフレームのドロップが発生してしまう。そのため、１つの外部処理装置２で処理された入力映像をそのまま再生すると、視聴者にとって映像がカクつき、滑らかさに欠けた状態に見える。
そこで、本実施形態の映像処理装置１は、複数の入力映像を入力し、これらの入力映像の中からフレーム単位で最適なフレームを選択し、選択したフレームを最終出映像として出力する。これにより、本実施形態では、映像のカクつきを低減し、映像の滑らかさを向上することができる。
図示する映像処理装置１は、入力部１１と、フレーム同期部１２と、画像取得部１３と、評価部１４と、出力部１８と、画像記憶部１９とを備える。
入力部１１は、同一映像に対して複数の外部処理装置２により並列で画像処理された複数の入力映像を入力する。入力部１１は、ネットワークを介して各外部処理装置２から入力映像を受信し、入力してもよい。
フレーム同期部１２は、複数の外部処理装置２から出力される入力映像の各フレームを、内部または外部からの同期信号によって時間同期させる。フレーム同期部１２は、例えばＭＭＴ（MPEG Media Transport）を用いて、複数の入力映像の各フレームを同期させてもよい。
画像取得部１３は、複数の入力映像から、処理対象となる対象フレーム（ｎフレーム目）の画像をそれぞれ取得し、評価部１４に入力するとともに、画像記憶部１９に格納する。画像記憶部１９は、画像取得部１３が取得した、複数の入力映像の各フレームの画像を、所定の期間保存する。
評価部１４は、入力映像毎に、対象フレームの第１画像と、対象フレームの１フレーム前の直前フレームの第２画像とを比較し、これらの画像に変化があるか否かを評価する。これらの画像に変化がない場合、評価部１４は、対象フレームは更新されていないフレームであると判定し、当該入力映像の重複数を増加する。すなわち、重複数は、各入力映像において、同じ画像が連続して出現した回数を示し、重複数の多さは画像の信頼度の低さを意味する。
図示する評価部１４は、判定部１５と、選択部１６と、合成部１７とを備える。
判定部１５は、入力映像毎に、対象フレームの第１画像と、当該対象フレームの直前フレームの第２画像とを比較し、第１画像と第２画像とが同じ場合、当該入力映像の重複数を増加する。判定部１５は、第１画像と第２画像とが異なる場合、重複数を所定値（例えば０）にリセットしてもよい。判定部１５は、重複数が最小の入力映像の第１画像が、重複数が最小より大きい他の入力映像の第１画像と同じ場合、重複数が最小の入力映像の重複数を、前記他の入力映像の重複数に更新してもよい。
なお、判定部１５は、直前フレームの第２の画像を、画像記憶部１９から取得する。各入力映像の重複数は、映像処理装置１が備える図示しないメモリに記憶される。
選択部１６は、複数の入力映像の重複数に基づいて、いずれかの入力映像の第１画像を対象フレームの画像として選択する。本実施形態では、選択部１６は、重複数が最小の入力映像の第１画像を対象フレームの画像として選択する。
合成部１７は、重複数が最小の入力映像が複数存在する場合、重複数が最小の入力映像の複数の第１画像を合成した合成画像を生成する。例えば、選択部１６が重複数を用いて対象フレームの画像を選択できない場合に、合成部１７は、重複数が最小の複数の入力映像の複数の異なる第１画像を合成し、合成した合成画像を対象フレームの画像としてもよい。合成方法は、例えば、複数の第１画像の画素値を平均化した平均画像としてもよい。
出力部１８は、選択部１６が選択した第１画像または合成部１７が合成した合成画像を設定した各フレームを、最終出力映像として出力する。
図２は、映像処理装置１が選択するフレームの具体例を示す説明図である。
図示する例では、３つの外部処理装置２Ａ、２Ｂ、２Ｃが、同一の元映像３について並行して画像処理を行うものとする。具体的には、外部処理装置２Ａ、２Ｂ、２Ｃには元映像３が入力され、外部処理装置２Ａ、２Ｂ、２Ｃは、元映像３の各フレームについて順次、画像処理（例えば被写体抽出）を実行し、処理結果の入力映像４Ａ、４Ｂ、４Ｃを映像処理装置１に出力する。図２では、元映像３の画像（例えば被写体）を便宜上アルファベットの文字で表現している。
外部処理装置２Ａ、２Ｂ、２Ｃでは、フレームのドロップ（欠落）が発生している。画像処理におけるフレームのドロップは、外部処理装置２Ａ、２Ｂ、２Ｃの画像処理が遅延することによって、当該装置が備える描画用のメモリの画像が更新されず、結果的に直前のフレームの画像が出力されることにより生じる。すなわち、同じフレームの画像が重複して繰り返し出力され、これにより映像のカクつきが発生する。
例えば、外部処理装置２Ａの処理結果の入力映像４Ａでは、２フレーム目でフレームのドロップが発生し、１フレーム目と同じフレームが２フレーム目として映像処理装置１に入力される。外部処理装置２Ｂの処理結果の入力映像４Ｂでは、フレームのドロップにより、４フレーム目として３フレーム目と同じフレームが映像処理装置１に入力される。外部処理装置２Ｃの処理結果の入力映像４Ｃでは、フレームのドロップにより、５、６フレーム目として、４フレーム目と同じフレームが映像処理装置１に入力される。
本実施形態は、フレームのドロップがランダムに発生することを逆手にとった品質向上手法である。映像処理装置１は、複数の外部処理装置２Ａ、２Ｂ、２Ｃが並列で画像処理した入力映像を用い、それぞれの入力映像のフレームの重複数に基づいて、最適な入力映像のフレームを選択する。
図２に示す具体例では、１フレーム目では、映像処理装置１は、予め設定したいずれかの入力映像４Ａ、４Ｂ、４Ｃの１フレーム目の画像を選択し、最終出力映像５として出力する（パターンａ）。
２フレーム目以降は、映像処理装置１は、重複数に基づいていずれかの入力映像４Ａ、４Ｂ、４Ｃの画像を選択、または、複数の画像を合成し、選択または合成した画像を最終出力映像５として出力する。
２フレーム目では、重複数が最小（０）の入力映像４Ｂ、４Ｃの画像Ｂは同じであるため、映像処理装置１は、入力映像４Ｂまたは４Ｃの画像Ｂを選択し、出力する（パターンｃ）。
３フレーム目では、全ての入力映像４Ａ、４Ｂ、４Ｃの重複数が最小（０）であり、入力映像４Ａは画像Ｂで、入力映像４Ｂ、４Ｃは画像Ｃである。映像処理装置１は、多数決で入力映像４Ｂまたは４Ｃの画像Ｃを選択し、出力する（パターンｄ）。
４フレーム目では、重複数が最小（０）の入力映像４Ａ、４Ｃの画像Ｄは同じである。映像処理装置１は、入力映像４Ｂまたは４Ｃの画像Ｄを選択し、出力する（パターンｃ）。
５フレーム目では、重複数が最小（０）の入力映像４Ｂ、４Ｃの画像は異なる。映像処理装置１は、全ての入力映像４Ａ、４Ｂ、４Ｃの画像を比較する。入力映像４Ｂの画像Ｂは、入力映像４Ａの画像Ｂと同じであるため、映像処理装置１は、重複数が最小の入力映像４Ｂの重複数（０）を、入力映像４Ａの大きい方の重複数（１）に更新する（パターンｅ）。そして、映像処理装置１は、重複数が最小（０）のままの入力映像４Ｃの画像Ｅを選択し、出力する（パターンｂ）。
６フレーム目では、映像処理装置１は、重複数が最小（０）の入力映像４Ｂの画像Ｅを選択し、出力する（パターンｂ）。
７フレーム目では、重複数が最小（０）の入力映像４Ａ、４Ｂの画像は異なるため、映像処理装置１は、全ての入力映像４Ａ、４Ｂ、４Ｃの画像を比較する。全ての入力映像４Ａ、４Ｂ、４Ｃの画像が異なるため、映像処理装置１は、重複数が最小（０）の入力映像４Ａ、４Ｂの画像Ｇおよび画像Ｆの合成画像を生成し、出力する（パターンｆ）。
図３Ａおよび図３Ｂは、映像処理装置１の評価部１４の動作を示すフローチャートである。
画像取得部１３は、複数の外部処理装置２のｎフレーム目の第１画像を取得し、評価部１４に入力するとともに、画像記憶部１９に格納する。評価部１４は、入力された第１画像が１フレーム目の第１画像か否かを判定し（Ｓ１１）、１フレーム目の第１画像の場合（Ｓ１１：ＹＥＳ）、予め設定したいずれかの入力映像の第１画像を選択し、出力部１８に出力する（Ｓ１６：パターンａ）。
２フレーム目以降の第１画像の場合（Ｓ１１：ＮＯ）、評価部１４は、入力映像の数だけ、Ｓ１２～Ｓ１５の処理を繰り返す。評価部１４は、処理対象のＮフレーム目（対象フレーム）の第１画像と、Ｎ－１フレーム目（直前フレーム）の第２画像とを比較し（Ｓ１２）、第１画像と第２画像とが一致するか否か判定する（Ｓ１３）。
第１画像と第２画像とが一致するとは、これらの画像の内容が同じであることを示す。第１画像と第２画像とが一致する場合は、入力映像においてフレームのドロップが発生したことを意味する。
第１画像と第２画像とが異なる場合（Ｓ１３：ＮＯ）、評価部１４は、当該入力映像の重複数を０（所定値）にリセットする（Ｓ１４）。一方、第１画像と第２画像とが一致する場合（Ｓ１３：ＹＥＳ）、評価部１４は、当該入力映像の重複数に１を加算し、重複数を増加する（Ｓ１５）。このように評価部１４は、第１画像と第２画像とを比較し、各入力映像の重複数を更新する。
評価部１４は、複数の入力映像の重複数を比較し（Ｓ２１）、重複数が最小の入力映像が１つの場合（Ｓ２２：ＹＥＳ）、当該入力映像のＮフレーム目の第１画像を選択し、出力部１８に出力する（Ｓ３０：パターンｂ）。
重複数が最小の入力映像が複数の場合（Ｓ２２：ＮＯ）、評価部１４は、重複数が最小の入力映像のＮフレーム目の第１画像を比較する（Ｓ２３）。比較対象の全ての第１画像が一致する場合（Ｓ２４：ＹＥＳ）、評価部１４は、重複数が最小のいずれかの入力映像の第１画像をＮフレーム目の画像として選択し、出力部１８に出力する（Ｓ３１：パターンｃ）。
比較対象の全ての第１画像が一致しない場合（Ｓ２４：ＮＯ）、評価部１４は、内容が一致する第１画像の数をそれぞれカウントし（Ｓ２５）、カウント値が最大となる第１画像が１つか否かを判定する（Ｓ２６）。すなわち、評価部１４は、多数決で第１画像を選択できるか否かを判定する。
カウント値が最大の第１画像が１つの場合、すなわち多数決で選択できる場合（Ｓ２６：ＹＥＳ）、評価部１４は、カウント値が最大の第１画像を、Ｎフレーム目の画像として選択し、出力部１８に出力する（Ｓ３２：パターンｄ）。
カウント値が最大の第１画像が複数ある場合、すなわち多数決で選択できない場合（Ｓ２６：ＮＯ）、評価部１４は、全ての入力映像の第１画像を比較する（Ｓ２７）。具体的には、評価部１４は、重複数が最小の入力映像の各第１画像と、重複数が最小より大きい他の入力映像の第１画像と、を比較する。
重複数が最小の入力映像の第１画像が、他の入力映像の第１画像と一致する場合（Ｓ２８：ＮＯ）、評価部１４は、重複数が最小の入力映像の重複数を、他の入力映像の重複数に更新する（Ｓ２９：パターンｅ）。すなわち、評価部１４は、重複数が最小の入力映像の重複数を大きい方に修正する。そして、評価部１４は、Ｓ２１に戻り以降の処理を行う。
一方、Ｓ２７で比較した全ての第１画像が異なる場合（Ｓ２８：ＮＯ）、具体的には、重複数が最小の第１画像と一致する他の入力映像の第１画像が存在しない場合、評価部１４は、重複数が最小の異なる複数の第１画像を合成して合成画像を生成する。そして、評価部１４は、合成画像をＮフレーム目の画像として出力部１８に出力する（Ｓ３３：パターンｆ）。
以上説明した本実施形態の映像処理装置１は、同一映像に対して複数の外部処理装置２により並列で画像処理された複数の入力映像を入力する入力部１１と、前記入力映像毎に、対象フレームの第１画像と、当該対象フレームの直前フレームの第２画像とを比較し、第１画像と第２画像とが同じ場合、当該入力映像の重複数を増加する判定部１５と、複数の前記入力映像の重複数に基づいて、いずれかの入力映像の第１画像を対象フレームの画像として選択する選択部１６と、を備える。
このように本実施形態では、複数の入力映像を用いて、これらの入力映像の中からフレーム単位で最適なフレームを選択し、選択したフレームを最終出力映像として出力する。これにより、本実施形態では、１つの入力映像の中でフレームのドロップが発生しても、最終出力映像では、映像のカクつきが目立たず、映像の主観品質を向上することができる。すなわち、本実施形態では、映像のカクつきを低減し、映像の滑らかさを向上することができる。
上記説明した映像処理装置１は、例えば、図４に示すような汎用的なコンピュータシステムを用いることができる。図示するコンピュータシステムは、CPU（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ９０３（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える。メモリ９０２およびストレージ９０３は、記憶装置である。このコンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされた映像処理装置１のプログラムを実行することにより、映像処理装置１の各機能が実現される。
また、映像処理装置１は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、映像処理装置１は、コンピュータに実装される仮想マシンであっても良い。映像処理装置１用のプログラムは、HDD、SSD、USB（Universal Serial Bus）メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
なお、本発明は上記実施形態に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
１ ：映像処理装置
１１：入力部
１２：フレーム同期部
１３：画像取得部
１４：評価部
１５：判定部
１６：選択部
１７：合成部
１８：出力部
１９：画像記憶部
２、２Ａ、２Ｂ、２Ｃ：外部処理装置
１１：入力部
１２：フレーム同期部
１３：画像取得部
１４：評価部
１５：判定部
１６：選択部
１７：合成部
１８：出力部
１９：画像記憶部
２、２Ａ、２Ｂ、２Ｃ：外部処理装置
Claims (7)
- 同一映像に対して複数の外部処理装置により並列で画像処理された複数の入力映像を入力する入力部と、
前記入力映像毎に、対象フレームの第１画像と、当該対象フレームの直前フレームの第２画像とを比較し、第１画像と第２画像とが同じ場合、当該入力映像の重複数を増加する判定部と、
複数の前記入力映像の重複数に基づいて、いずれかの入力映像の第１画像を対象フレームの画像として選択する選択部と、を備える
映像処理装置。 - 前記選択部は、重複数が最小の入力映像の第１画像を対象フレームの画像として選択する
請求項１に記載の映像処理装置。 - 前記判定部は、第１画像と第２画像とが異なる場合、重複数を所定値にリセットする
請求項１または２に記載の映像処理装置。 - 重複数が最小の入力映像が複数存在する場合、前記入力映像の複数の第１画像を合成した合成画像を生成する合成部を、備える
請求項１から３のいずれか１項に記載の映像処理装置。 - 前記判定部は、重複数が最小の入力映像の第１画像が、重複数が最小より大きい他の入力映像の第１画像と同じ場合、重複数が最小の入力映像の重複数を、前記他の入力映像の重複数に更新する
請求項１から４のいずれか１項に記載の映像処理装置。 - 映像処理装置が行う、映像処理方法であって、
同一の映像に対して複数の外部処理装置により並列で画像処理された複数の入力映像を入力する入力ステップと、
前記入力映像毎に、対象フレームの第１画像と、当該対象フレームの直前フレームの第２画像とを比較し、第１画像と第２画像とが同じ場合、当該入力映像の重複数を増加する判定ステップと、
複数の前記入力映像の重複数に基づいて、いずれかの入力映像の第１画像を対象フレームの画像として選択する選択ステップと、を行う
映像処理方法。 - 請求項１から５のいずれか１項に記載の映像処理装置としてコンピュータを機能させる映像処理プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/000801 WO2022153385A1 (ja) | 2021-01-13 | 2021-01-13 | 映像処理装置、映像処理方法、および、映像処理プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| PCT/JP2021/000801 WO2022153385A1 (ja) | 2021-01-13 | 2021-01-13 | 映像処理装置、映像処理方法、および、映像処理プログラム |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| WO2022153385A1 true WO2022153385A1 (ja) | 2022-07-21 |
Family
ID=82446975
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| PCT/JP2021/000801 WO2022153385A1 (ja) | 2021-01-13 | 2021-01-13 | 映像処理装置、映像処理方法、および、映像処理プログラム |
Country Status (1)
| Country | Link |
|---|---|
| WO (1) | WO2022153385A1 (ja) |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011107558A (ja) * | 2009-11-20 | 2011-06-02 | Seiko Epson Corp | 映像処理装置、映像処理方法、コンピュータープログラム |
| JP2020198509A (ja) * | 2019-05-31 | 2020-12-10 | 日本電信電話株式会社 | 同期制御装置、同期制御方法及び同期制御プログラム |
-
2021
- 2021-01-13 WO PCT/JP2021/000801 patent/WO2022153385A1/ja active Application Filing
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2011107558A (ja) * | 2009-11-20 | 2011-06-02 | Seiko Epson Corp | 映像処理装置、映像処理方法、コンピュータープログラム |
| JP2020198509A (ja) * | 2019-05-31 | 2020-12-10 | 日本電信電話株式会社 | 同期制御装置、同期制御方法及び同期制御プログラム |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN108012161B (zh) | 视频直播方法、系统和终端设备 | |
| US8036470B2 (en) | Image processing apparatus, image processing method, and program | |
| KR100518580B1 (ko) | 인버스 텔레시네 변환장치 및 변환방법 | |
| US9794608B2 (en) | Video transmission method and video transmission apparatus | |
| KR20140145584A (ko) | 재생속도 변경이 가능한 실시간 온라인 비디오 재생 방법 및 시스템 | |
| JP2003143554A (ja) | 受信されたマルチメディアデータを保存するバッファの容量を可変できるマルチメディアデータ復元装置及び方法 | |
| WO2022153385A1 (ja) | 映像処理装置、映像処理方法、および、映像処理プログラム | |
| US8885939B2 (en) | Image processing apparatus configured to perform image processing for plural images and control method thereof | |
| JP2018088652A (ja) | 撮像装置、画像処理方法、及び、プログラム | |
| JP6180271B2 (ja) | 映像記録装置及び映像記録方法 | |
| US9456180B2 (en) | Image processing apparatus, communication system, and computer program | |
| US20160211002A1 (en) | Video data file generation method and video data file generation apparatus | |
| KR20090076922A (ko) | 이미지 프레임의 스트림을 위한 프레임 드롭핑 방법 및 장치 | |
| CN115878379A (zh) | 一种数据备份方法、主服务器、备份服务器及存储介质 | |
| US20060280484A1 (en) | Recording/playback apparatus and recording/playback method | |
| US20140184908A1 (en) | Method and apparatus for multimedia stream synchronization | |
| US10853954B1 (en) | Image processing apparatus, image processing method and storage media | |
| WO2020071467A1 (ja) | 映像処理装置、表示装置、および映像処理方法 | |
| KR102191387B1 (ko) | 멀티 스트림 이미지 처리 장치 및 방법 | |
| US9432650B2 (en) | Image display apparatus, image capturing apparatus, and method of controlling image display apparatus | |
| JPH10210464A (ja) | 伝送画像復号装置 | |
| CN111970564A (zh) | Hdr视频显示处理的优化方法及装置、存储介质、终端 | |
| JP6362317B2 (ja) | 映像処理装置、映像処理装置の制御方法 | |
| TWI415476B (zh) | 串流影像輪播方法 | |
| US20130038802A1 (en) | Moving image output apparatus and method |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| 121 | Ep: the epo has been informed by wipo that ep was designated in this application |
Ref document number: 21919281 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: DE |
|
| 122 | Ep: pct application non-entry in european phase |
Ref document number: 21919281 Country of ref document: EP Kind code of ref document: A1 |
|
| NENP | Non-entry into the national phase |
Ref country code: JP |