WO2015133572A1 - 動画処理方法、動画処理装置、及び動画処理プログラム - Google Patents

動画処理方法、動画処理装置、及び動画処理プログラム Download PDF

Info

Publication number
WO2015133572A1
WO2015133572A1 PCT/JP2015/056512 JP2015056512W WO2015133572A1 WO 2015133572 A1 WO2015133572 A1 WO 2015133572A1 JP 2015056512 W JP2015056512 W JP 2015056512W WO 2015133572 A1 WO2015133572 A1 WO 2015133572A1
Authority
WO
WIPO (PCT)
Prior art keywords
advection
moving image
video
input
vector
Prior art date
Application number
PCT/JP2015/056512
Other languages
English (en)
French (fr)
Inventor
耕平 高山
啓 福田
後藤　浩之
Original Assignee
フィールズ株式会社
株式会社デジタル・フロンティア
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by フィールズ株式会社, 株式会社デジタル・フロンティア filed Critical フィールズ株式会社
Priority to JP2016506550A priority Critical patent/JP6302045B2/ja
Publication of WO2015133572A1 publication Critical patent/WO2015133572A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/001—Texturing; Colouring; Generation of texture or colour

Definitions

  • the present invention relates to a moving image processing technique.
  • Non-Patent Document 1 a method of applying a watercolor-like process to a video image has been proposed (see, for example, Non-Patent Document 1).
  • a texture image for giving a touch like a watercolor painting is moved in accordance with a video sequence, and an advection texture flowing in the forward direction and the reverse direction is generated and synthesized.
  • the expansion (distortion) of the image increases as the frame (time) progresses, and the image becomes far from the original texture image. Reduce the growth of.
  • Fig. 1 shows a conventional method for synthesizing advection moving images.
  • the vertical axis represents weight, and the horizontal axis represents time.
  • weights are set so that the first frame contains only the forward video (convection texture) and the last frame contains only the reverse video (convection texture).
  • the forward and reverse weights are set by linear interpolation.
  • an object of the present invention is to realize a natural video expression by suppressing local stretch and blur when visual processing is performed on an input moving image or video.
  • a moving image processing method includes: In the video processing device, obtain the advection vector of the input video, Based on the advection vector, generate two or more types of advection videos that advect in the forward and reverse directions from an image for performing visual processing on the input movie, Detecting an elongation component for each pixel in each of the two or more types of advection videos, A composite advection video is generated by combining the two or more types of advection videos while correcting the elongation component, Combining the synthetic advection video and the input video to generate a video that has undergone visual processing; Including steps.
  • the video processing method is: In the video processing device, obtain the advection vector of the input video, Based on the advection vector, from the image for performing visual processing on the input moving image, a first advancing moving image that flows in the forward direction from the first frame of the processing cycle, and a first flow that flows in the reverse direction from the last frame of the processing cycle.
  • the video processing method is: In the video processing device, calculate the optical flow from the input video, Based on the optical flow, generate two or more types of advancing videos that advect in the forward and reverse directions from an image for performing visual processing on the input movie, Combining the two or more types of advection videos to generate a composite advection movie, Including the step of synthesizing the combined advection video and the input video to generate a video that has undergone visual processing;
  • the optical flow is calculated as follows: Calculating a first advection vector for each pixel for the first pixel on the contour of the object in the input video; For a second pixel inside the contour, interpolate a second advection vector using the first advection vector for each pixel; It is characterized by that.
  • Any of the above-described methods can suppress natural stretching and blurring when a visual process is performed on an input moving image or video, thereby obtaining a natural video expression.
  • FIG. 2A is a flowchart of the moving image processing method of the embodiment, and FIG. 2B is a modification thereof.
  • an advection vector is obtained by generating an optical flow from an input video image (hereinafter referred to as “input moving image”), whereas in FIG. 2B, vector data prepared in advance is used as an advection vector. Steps common to FIG. 2A and FIG. 2B are denoted by the same reference numerals, and the description is shared. In these examples, a “noise image” is used as a processing image for giving an art-like touch to an input moving image.
  • An advection moving image obtained by advancing a noise image along the time axis is referred to as a “noise moving image”.
  • a watercolor-like moving image is created as an example of a moving image that has been processed using a noise moving image.
  • the input moving image may include a landscape moving image or a character.
  • An advection vector represents a motion of an object as a vector in a temporally continuous visual expression (video sequence).
  • video sequence a temporally continuous visual expression
  • an optical flow is derived from the input moving image as shown in FIG. 2A (S12). Details of optical flow derivation will be described later.
  • vector data prepared in advance exists, such as a part of computer graphics
  • the existing moving image data can be used as an advection vector as shown in FIG. 2B (S21).
  • a processing moving image for processing the input moving image is created.
  • a processing image as a basis of the processing moving image is prepared (S13).
  • the input moving image is touched in a watercolor style using the “noise image” shown in FIG. 3, but the type of processing image is not limited.
  • an appropriate noise image can be selected according to an abstract image touch, a pop art style touch, an oil painting touch, a pastel touch, or the like.
  • At least two types of noise moving images are created by moving the selected noise image in the forward direction and the reverse direction based on the advection vector (S14).
  • the forward noise movie is created as follows, for example. First, a noise image is set in the first frame. In the subsequent frame, for each pixel, the reference destination of the pixel of the previous frame is obtained based on the advection vector, and the color of the reference destination pixel is set. Since the coordinates of the reference destination are not always an integer value, the color to be set for the pixel is determined using an appropriate interpolation method. As an interpolation method, for example, a nearest neighbor method, a bilinear method, a bicubic method, or the like can be used. By repeating this operation for all frames, a noise moving image in which the noise image flows in the forward direction is created.
  • an interpolation method for example, a nearest neighbor method, a bilinear method, a bicubic method, or the like can be used.
  • the reverse noise movie is created as follows, for example. Set the noise image in the last frame. Next, the previous frame is obtained in reverse order. By repeating this, a noise moving image in which the noise image flows in the opposite direction is created.
  • the noise video can be created and stored in advance, but a large amount of memory may be required. Therefore, the creation of the noise video may be performed at the stage of synthesizing the noise video described later. In this case, it becomes possible to synthesize a noise video in the forward direction and in the reverse direction without separately creating and storing it, and the required amount of memory is reduced.
  • Synthesis of Processing Movie Noise Movie
  • a forward noise movie and a backward noise movie are synthesized (S15). As described above, when a noise moving image in only one direction is used, the image grows more and more as the frame (time) progresses.
  • ⁇ When composing a noise video, divide the video into multiple cycles. This one period is defined as ⁇ (frame).
  • the value of ⁇ is typically 15 to 60 frames, preferably 25 to 40 frames. Decreasing the value of ⁇ can shorten the calculation time and reduce the elongation. However, if the value of ⁇ is excessively small, the overall movement is reduced and the moving image looks cyclic.
  • the first frame in one cycle is only a noise video in the forward direction
  • the last frame is only a video in the reverse direction.
  • This synthesis method is represented by formula (1).
  • N (t) is a synthesized noise movie
  • t time
  • ⁇ is the number of frames per cycle
  • Nf (t) is a forward noise movie
  • Nr (t) is a backward noise movie.
  • the forward noise movie and the backward noise movie are overlapped with a weight of 0.5 respectively, resulting in a blurred image as compared with the frame near the end of one cycle. .
  • first improvement method it is examined how much the local region of the pixel of interest is extended (or contracted) compared to the local region of the reference source. For example, the elongation is detected as follows. First, let d (t) be the distance between the pixel of interest P0 (t) in the frame t and the pixel Pi (t) included in the local region. Further, the distance between the pixel P0 (0) and the pixel Pi (0) in the original noise image (frame 0) is defined as d (0).
  • the ratio d (t) / d (0) of d (t) to d (0) is an index of elongation. This index is calculated for all other pixels in the local region and an average is obtained. As a result, the extent to which the local region of the pixel P0 (t) of interest is extended (or contracted) is calculated.
  • the forward noise video and the reverse noise video are synthesized.
  • wf (t) and wr (t) are weighting functions that depend only on the time component relating to the forward and backward noise moving images, respectively.
  • wf (t) and wr (t) are weighting functions that depend only on the time component relating to the forward and backward noise moving images, respectively.
  • hf (x, y, t) and hr (x, y, t) are the elongation components (for example, the reciprocal of the elongation) obtained for the forward and backward noise videos, respectively, Depends on both spatial components.
  • ⁇ is a constant representing the contribution ratio of the elongation components hf (x, y, t) and hr (x, y, t).
  • wf (t) and hf (x, y, t) By determining whether the value of ⁇ is 1, less than 1 ( ⁇ ⁇ 1), or greater than 1 ( ⁇ > 1), wf (t) and hf (x, y, t) It is possible to adjust which is emphasized, which of wr (t) and hr (x, y, t) is emphasized. [Hf (x, y, t)] ⁇ and [hr (x, y, t)] ⁇ in equation (2) may be considered as an expansion correction coefficient for correcting the expansion at each pixel. ⁇ is preferably a constant in the range of 1/3 to 3, more preferably a constant in the range of 1/2 to 2.
  • the contrast is adjusted. Specifically, the contrast of the synthesized noise video is brought close to the contrast of the original noise image. First, the average luminance p of the local area of the pixel to be adjusted and the standard deviation ⁇ p are obtained. Let P old be the luminance of the pixel itself to be adjusted.
  • the average ⁇ q and the standard deviation ⁇ q of the brightness of the corresponding local region are also obtained for the pixels of the original image that are referred to by the pixel to be adjusted.
  • the adjusted brightness p new is calculated by, for example, Expression (4).
  • a natural video expression is realized by synthesizing three or more types of noise moving images.
  • FIG. 4 is a diagram showing an example of the third improved method.
  • weights are set by linear interpolation for frames between the start and end of one cycle, but there is no limit to the weighting method.
  • weighting may be performed in consideration of a spatial elongation component.
  • FIG. 5 to 7 are diagrams showing the effects of the synthesis method of the embodiment.
  • 5 is an input moving image image
  • FIG. 6 is a moving image image processed by the method of the embodiment
  • the average value of the luminance distribution of the input moving image in FIG. 5 is 118.76, and the standard deviation is 16.41.
  • the moving image processed in FIG. 6 uses a noise moving image synthesized by the function of Expression (2) by the above-described first improvement method.
  • Each of the forward noise image and the backward noise image is multiplied by the reciprocal of the stretch for each pixel, and the spatial stretch and distortion are corrected.
  • the luminance distribution has an average value of 118.41 and a standard deviation of 15.65. Further, the blur of the image at the intermediate frame is hardly observed.
  • the luminance distribution of the comparative example of FIG. 7 has an average value of 119.92 and a standard deviation of 13.65, and the image is totally blurred.
  • the luminance distribution is biased toward the center, and the difference from the input moving image appears as a blur.
  • Optical flow is a technique for obtaining an advection vector for each pixel between frames before and after a continuous video sequence.
  • the derivation method is not limited, but examples include a gradient method and a block matching method.
  • the gradient method is a method for deriving an advection vector by obtaining gradients in the time axis direction and the space axis direction in the preceding and following frames. This method is high-speed and has high followability to movements such as enlargement, reduction, and rotation.
  • the block matching method is a method for deriving an advection vector by determining to which part of a previous frame a block of a certain size including pixels of the subsequent frame most closely matches. This method is highly adaptable to intense movements and is also resistant to noise. A faster pyramid block matching method may be employed. ⁇ Improved block matching method> The inventors have developed an improved block matching method described below as a method for deriving an optical flow. This method is particularly useful for an input moving image including an object that moves rapidly, such as a character.
  • the optical flow is obtained by the block matching method only for the contour (edge) portion, and the optical flow of the pixels in between is obtained by interpolation. This greatly reduces the amount of calculation and reduces errors.
  • Edge detection may be performed by any method. As a specific method, for example, a Sobel filter is used.
  • Interpolation can be performed by the method shown in FIGS. 8 and 9, for example.
  • FIG. 8 shows the first interpolation method.
  • the object 1 is moving in the input moving image.
  • the optical flow of the pixels on the contour (edge) of the object 1 is calculated by a known block matching method or the like.
  • the optical flow of the pixel P0 inside the object 1 is calculated by interpolation.
  • a pixel Pi that has already been calculated is extracted from pixels existing within a distance r from the target pixel P0.
  • White circle pixels within the area of the radius r and existing in the outline of the object 1 are already calculated pixels.
  • the optical flow (vector) of the extracted pixel Pi is weighted according to the distance from P0 and added. This vector sum is the optical flow of the pixel of interest P0.
  • the weighting is increased as the distance from P0 is decreased.
  • each pixel Pi is multiplied by the reciprocal of the distance from P0.
  • the same interpolation processing is sequentially performed on the pixels inside the object 1. According to this method, the influence of the calculated pixel Pi that is close in position to the pixel of interest P0 is increased, so that a smooth displacement can be obtained as a whole.
  • FIG. 9 shows the second interpolation method.
  • the optical flow has already been calculated by a known block matching method or the like.
  • a search is made for where the edge is in eight directions from the pixel of interest P0.
  • a pixel Pi detected by the search is extracted.
  • the pixel Pi in which the white circle pixel is detected.
  • weighting and addition are performed in the same manner as in the first method to derive a vector sum (optical flow).
  • Interpolation processing is sequentially performed on the pixels inside the object 1. According to this method, it is possible to derive an optical flow with a shorter calculation time.
  • the extraction direction of pixels on the edge is not limited to eight directions, and may be four directions, sixteen directions, thirty-two directions, or the like.
  • the calculation time is reduced to 1/2 to 1/3 in any of the methods of FIGS. 8 and 9 as compared with the case of using the known gradient method or block matching method. It was able to be shortened to the extent. In addition, even when an input moving image including an object such as a character that moves rapidly is processed, a more natural video expression with less error can be realized.
  • optical flow derivation includes the following processing.
  • the processing described below may be used alone or in combination of two or more, or may be used in combination with the above-described improved method for deriving an optical flow.
  • A Abnormal Value Removal by Checking Probability
  • the distance (matching degree) between the block region and the target distance indicated by the obtained advection vector is calculated for each pixel. If this distance is excessively large, it is determined that the calculation result of the advection vector is not correct. In that case, without using the calculation result, the advection vector obtained by interpolation from the advection vector of the surrounding pixels is replaced. This reduces abnormal values (errors).
  • FIG. 10 is a functional block diagram of the moving image processing apparatus 10 according to the embodiment.
  • the image processing apparatus 10 includes an input unit 11, an output unit 12, a synthesis function storage unit 14, a memory 15, and a processor 20.
  • the processor 20 includes an optical flow creation unit 21, a noise movie creation unit 22, a noise movie synthesis unit 23, a movie synthesis unit 25, and a vector data acquisition unit 26.
  • the optical flow creation unit 21 and the vector data acquisition unit 26 constitute an advection vector acquisition unit.
  • the moving image processing apparatus 10 may include a noise image storage unit 13 that stores one or more types of noise images, or may capture a noise image from the outside each time processing is performed.
  • the input unit 11 inputs a moving image to be processed.
  • the input unit 11 inputs a noise image used for processing and existing vector data corresponding to the input moving image depending on the case.
  • the input unit 100 also functions as a user interface that allows the user to select a desired noise image from the noise images stored in the noise image storage unit 13.
  • the function storage unit 14 stores a function expression for noise moving image synthesis represented by Expression (2). Further, a weighting function represented by Expression (3), a luminance adjustment function represented by Expression (4), and a color function of Expression (4) may be stored.
  • the memory 15 includes a memory for storing a program for operating the processor 20 and a memory having a work area used during processing of the processor.
  • the memory 15 may store a computer graphics moving image generated inside the moving image processing apparatus 10 or input from the outside via the input unit 11 and its vector data.
  • the optical flow creation unit 21 calculates an optical flow based on the input moving image. At this time, an optical flow that enables natural video expression is calculated at high speed using the improved block matching method described above.
  • the vector data acquisition unit 26 acquires vector data by acquiring via the input unit 11 or reading from the memory 15 when vector data corresponding to the input moving image already exists.
  • the noise moving image creating unit 22 generates a noise moving image based on the noise image input via the input unit 11 or read from the noise image storage unit 13.
  • An advection vector (calculated optical flow or existing vector data) is applied to the noise image to generate at least two types of noise moving images in the forward direction and the reverse direction along the time axis.
  • three or more types of noise moving images having different directions and phases are generated as shown in FIG.
  • the noise moving image synthesizing unit 23 reads the synthesis function of the expression (2) from the function storage unit 14 and synthesizes two or more types of noise moving images. Since the synthesis function of Expression (2) includes a correction coefficient that compensates for the elongation for each pixel, a synthesized noise moving image with reduced local elongation and blurring is generated.
  • the moving image synthesis unit 25 superimposes the input moving image and the synthesized noise moving image, generates a processed moving image, and outputs the processed moving image from the output unit 12.
  • the output destination of the moving image may be a display unit included in the image processing apparatus 10 or an external projector.
  • the image processing apparatus 10 can also be realized by a general-purpose computer.
  • the moving image processing program is stored in the memory 15, and the processor 20 including the CPU is caused to execute the above-described moving image processing process.
  • the elongation (or distortion) for each pixel is corrected.
  • local blurring is reduced by generating and synthesizing two or more types of noise videos (advection videos) with different phases (forward and reverse directions) and phases along the time axis.
  • a combination of one or more of these features enables more natural video expression when processing an input video image.
  • the added advection movie is a movie that flows forward or backward from any frame between the first frame and the last frame of one cycle.

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Image Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Image Analysis (AREA)

Abstract

　入力される動画または映像に視覚的な処理を施す際に、局所的な伸びやぼやけを抑制して自然な映像表現を実現する。　動画処理方法は、動画処理装置において入力動画の移流ベクトルを取得し、前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を生成し、前記２種類以上の移流動画の各々でピクセルごとの伸び成分を検出し、前記伸び成分を補正しながら前記２種類以上の移流動画を合成して合成移流動画を生成し、前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する。

Description

動画処理方法、動画処理装置、及び動画処理プログラム
　本発明は、動画処理技術に関する。
　近年、多様な映像表現に対するニーズが高まっている。これを可能とするため、従来より種々の画像処理方法が開発されている。例えば、ビデオ画像に水彩画風の処理を施す方法が提案されている（例えば、非特許文献１参照）。この方法では、水彩画風のタッチを与えるためのテクスチャ画像をビデオシーケンスに合わせて動かし、順方向と逆方向に流れていく移流テクスチャを生成し、合成する。一方向のみに流れる移流動画を用いると、フレーム（時間）が進むにつれて画像の伸び（歪み）が大きくなり、元のテクスチャ画像から離れたものになるが、双方向の移流を合成することで画像の伸びを軽減する。
　図１は、従来の移流動画の合成方法を示す。縦軸は重みを表わし、横軸は時間を表わしている。従来法では、１周期（τ）の中で、最初のフレームは順方向の動画（移流テクスチャ）のみ、最後のフレームは逆方向の動画（移流テクスチャ）のみになるように重みを設定し、間のフレームは線形補間により順方向と逆方向の重みを設定する。
Adrien Bousseau et al. "Video Watercolorization using Bidirectional Texture Advection", ACM Transaction on Graphics (Proceedings of SIGGRAPH 2007), Volume 26, Nuimber3, 2007
　従来の動画処理技術では、処理後の動画に局所的な伸びやぼやけが発生し、自然な映像表現が得られないことがある。特に、ｔ＝τ／２付近のフレームでは、２方向の移流画像を同程度の重みで重ね合わせることになり、周期端のフレームと比べて、ぼやけた（オーバーラップした）合成動画となることが多い。
　そこで、本発明は、入力される動画または映像に視覚的な処理を施す際に、局所的な伸びやぼやけを抑制して自然な映像表現を実現することを課題とする。
　上記の課題を実現するために、本発明の第１の側面では、動画処理方法は、
　動画処理装置において、入力動画の移流ベクトルを取得し、
　前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を生成し、
　前記２種類以上の移流動画の各々でピクセルごとの伸び成分を検出し、
　前記伸び成分を補正しながら前記２種類以上の移流動画を合成して合成移流動画を生成し、
　前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する、
ステップを含むことを特徴とする。
　第２の側面では、動画処理方法は、
　動画処理装置において、入力動画の移流ベクトルを取得し、
　前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から、処理周期の最初のフレームから順方向に流れる第１の移流動画と、前記処理周期の最後のフレームから逆方向に流れる第２の移流動画と、前記最初のフレームと前記最後のフレームの間のフレームから前記順方向または前記逆方向に流れる第３の移流動画と、を生成し、
　前記第１の移流動画と、前記第２の移流動画と、前記第３の移流動画を合成して合成移流動画を生成し、
　前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する、
ステップを含むことを特徴とする。
　第３の側面では、動画処理方法は、
　動画処理装置において、入力動画からオプティカルフローを算出し、
　前記オプティカルフローに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を生成し、
　前記２種類以上の移流動画を合成して合成移流動画を生成し、
　前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成するステップを含み、
　前記オプティカルフローの算出は、
　前記入力動画中のオブジェクトの輪郭上にある第１ピクセルについて、ピクセルごとに第１移流ベクトルを計算し、
　前記輪郭の内部にある第２ピクセルについて、ピクセルごとに前記第１移流ベクトルを用いて第２移流ベクトルを補間する、
ことを特徴とする。
　上述した手法のいずれによっても、入力される動画または映像に視覚的な処理を施す際に、局所的な伸びやぼやけが抑制されて自然な映像表現を得ることができる。
従来の移流テクスチャの合成方法を説明する図である。 実施形態の動画処理方法のフローチャートである。 実施形態の動画処理方法の変形例のフローチャートである。 実施形態で用いるノイズ画像の例を示す図である。 実施形態のノイズ動画の合成方法を説明する図である。 実施形態で用いる入力動画の例を示す図である。 図５の入力動画に対して、実施形態の動画処理を施して得られる映像を示す図である。 比較例として、図５の入力動画に対して先行技術文献に記載の処理を施して得られる映像を示す図である。 オプティカルフロー作成における第１の改良ブロックマッチングを説明する図である。 オプティカルフロー作成における第２の改良ブロックマッチングを説明する図である。 実施形態の動画処理装置の機能ブロック図である。
　以下で、図面を参照して本発明の実施形態を説明する。実施形態では、入力される動画に対してアート風のタッチを与える処理を行う。
　図２Ａは、実施形態の動画処理方法のフローチャート、図２Ｂは、その変形例である。図２Ａでは、入力されるビデオ画像（以下、「入力動画」と称する）からオプティカルフローを生成して移流ベクトルを取得するのに対し、図２Ｂではあらかじめ準備されたベクトルデータを移流ベクトルとして用いる。図２Ａと図２Ｂで共通するステップには同じ符号を付して、説明を共通にする。これらの例では、入力動画にアート風のタッチを与える処理用画像として「ノイズ画像」を用いる。ノイズ画像を時間軸に沿って移流させた移流動画を「ノイズ動画」と称する。また、ノイズ動画を用いて加工処理が施された動画の一例として、水彩画風の動画を作成する。
　図２Ａと図２Ｂで共通する処理の流れは以下のようになる。
（１）入力動画の準備（Ｓ１１）
（２）移流ベクトルの取得（オプティカルフローの算出（図２ＡのＳ１２）または既存のベクトルデータの使用（図２ＢのＳ２１））
（３）処理用動画（ノイズ動画）の作成（Ｓ１３及びＳ１４）
（４）処理用動画（ノイズ動画）の合成（Ｓ１５）
（５）加工処理がされた動画の作成（Ｓ１６）
　以下で、各工程について、詳しく説明する。
（１）入力動画の準備
　まず、Ｓ１１で加工処理の対象となる入力動画を準備する。入力動画の種類に制限はない。入力画像は、例えばビデオ撮影された画像であってもよいし、アニメーション動画であってもよい。入力動画は、風景動画を含んでもよいしキャラクターを含んでもよい。
（２）移流ベクトルの取得
　移流ベクトルは、時間的に連続する視覚表現（ビデオシーケンス）の中で物体の動きをベクトルで表したものである。入力動画が例えばユーザによって撮影されたビデオ画像や購入されたアニメーション等である場合、図２Ａに示すように、入力動画からオプティカルフローを導出する（Ｓ１２）。オプティカルフロー導出の詳細については、後述する。入力動画が一部のコンピュータグラフィクス等のように、あらかじめ準備されたベクトルデータが存在する場合は、図２Ｂに示すように既存のベクトルデータを移流ベクトルとして用いることができる（Ｓ２１）。
（３）処理用動画（ノイズ動画）の作成
　次に、移流ベクトルを用いて、入力動画に処理を施すための処理用動画（ノイズ動画）を作成する。まず、処理用動画のもととなる処理用画像を準備する（Ｓ１３）。実施形態では、図３に示す「ノイズ画像」を用いて入力動画に水彩画風のタッチを与えるが、処理用画像の種類に制限はない。例えば、抽象画タッチ、ポップアート風タッチ、油絵タッチ、パステルタッチなどに応じて、適切なノイズ画像を選択することができる。
　選択したノイズ画像を、移流ベクトルに基づいて順方向と逆方向にそれぞれ動かすことにより、少なくとも２種類のノイズ動画を作成する（Ｓ１４）。
　順方向のノイズ動画は、例えば、以下のようにして作成する。まず、最初のフレームにノイズ画像をセットする。引き続くフレームにおいて、ピクセルごとに、移流ベクトルに基づいて前のフレームのピクセルの参照先を求め、参照先のピクセルの色をセットする。参照先の座標は常に整数値になるとは限らないため、適当な補間方法を用いて、ピクセルにセットする色を決定する。補間方法としては、例えば、ニアレストネイバー（nearest neighbor）法、バイリニア（bilinear interpolation）法、バイキュービック（Bicubic）法などを用いることができる。この作業をすべてのフレームについて繰り返すことで、ノイズ画像が順方向に流れていくノイズ動画が作成される。
　逆方向のノイズ動画は、例えば、以下のようにして作成する。最後のフレームにノイズ画像をセットする。次に、その前のフレームを逆順に求めていく。これを繰り返すことにより、ノイズ画像が逆方向に流れていくノイズ動画が作成される。
　ノイズ動画は、あらかじめ作成して保持しておくこともできるが、大量のメモリが必要となり得る。そのため、ノイズ動画の作成は、後述するノイズ動画の合成を行う段階で行ってもよい。この場合、順方向と逆方向のノイズ動画を別途作成、保存することなく合成することが可能となり、必要なメモリ量が低減される。
（４）処理用動画（ノイズ動画）の合成
　次に、順方向のノイズ動画と逆方向のノイズ動画を合成する（Ｓ１５）。上述のように、一方向のみのノイズ動画を用いた場合、フレーム（時間）の進行につれて画像がどんどん伸びていく。順方向のノイズ動画と逆方向のノイズ動画を合成することで、合成後のノイズ動画の伸びを軽減できる。また、動画の途中でオブジェクトが入ってくる、または出ていく場合、一方向のノイズ動画のみでは正しい移流画像を得ることができない。順方向と逆方向のノイズ動画を合成することにより、一方向のみのノイズ動画から生じるエラーを軽減することができる。
　ノイズ動画を合成する場合、動画を複数の周期に分ける。この１周期をτ（frame）とする。τの値は、典型的には１５～６０framesとし、好ましくは２５～４０framesとする。τの値を小さくすると計算時間を短縮し、伸びも軽減できる。しかしながら、τの値を過度に小さくすると、全体的に動きが少なくなり、動画がサイクリックに見えてしまう。
　図１の従来の合成法では、１周期の中で最初のフレームは順方向のノイズ動画のみ、最後のフレームは逆方向の動画のみとなる。フレームが進むにつれ、順方向のノイズ動画の重みは小さくなり、逆方向のノイズ動画の重みが大きくなる。この合成法は、式（１）で表される。
Figure JPOXMLDOC01-appb-M000001
 ここで、Ｎ(t)は合成後のノイズ動画、ｔは時間、τは１周期あたりのフレーム数、Ｎf(t)は順方向のノイズ動画、Ｎr(t)は逆方向のノイズ動画である。ｔ＝τ／２近傍のフレームでは、順方向のノイズ動画と逆方向のノイズ動画は、それぞれ０．５の重みで重ねられ、１周期の端部近傍のフレームと比較してぼやけた画像となる。
　この問題を解決するために、３つの改良されたノイズ動画合成法を提案する。以下で述べる改良法は、それぞれ単独で用いてもよいし、２つ以上を組み合わせて用いてもよい。
（第１の改良法）
　第１の改良法では、着目するピクセルの局所領域が、参照元の局所領域に比べてどのくらい伸びているか（または縮んでいるか）を調べる。伸びの検出は、例えば以下のようにして行う。まず、フレームｔにおける着目ピクセルＰ0(t)と、その局所領域に含まれるピクセルＰi(t)の間の距離をｄ(t)とする。また、もとのノイズ画像（フレーム０）におけるピクセルＰ0(0)とピクセルＰi(0)の間の距離をｄ(0)とする。ｄ(0)に対するｄ(t)の割合d(t)/d(0)が伸びの指標となる。この指標を、局所領域の他のすべてのピクセルについて算出し、平均を求める。これにより、着目するピクセルＰ0(t)の局所領域がどの程度伸びているか（または縮んでいるか）を算出する。
　次に、式（２）に基づいて順方向のノイズ動画と逆方向のノイズ動画を合成する。
Figure JPOXMLDOC01-appb-M000002
 ここで、ｗf(t)とｗr(t)は、それぞれ、順方向と逆方向のノイズ動画に関する時間成分のみに依存する重み関数である。その関数形に制限はないが、例えば式（３）により与えられる。
Figure JPOXMLDOC01-appb-M000003
 　式（２）におけるｈf（x,y,t）とｈr（x,y,t）は、それぞれ、順方向と逆方向のノイズ動画について求めた伸び成分（たとえば伸びの逆数）であり、時間と空間成分の両者に依存する。αは、伸び成分ｈf（x,y,t）とｈr（x,y,t）の寄与率を表わす定数である。αの値を１とするか、１未満（α＜１）とするか、１より大きくするか（α＞１）を決定することにより、ｗf(t)とｈf（x,y,t）のいずれを重視するか、ｗr(t)とｈr（x,y,t）のいずれを重視するかを調整することができる。式（２）の[ｈf(x,y,t)]αと[ｈr(x,y,t)]αは、各ピクセルでの伸びを補正する伸び補正係数を考えてよい。αは、好ましくは１／３から３までの範囲の定数であり、より好ましくは１／２から２の範囲の定数である。
　αの値を調整することで、時間方向への調整と空間方向の調整のいずれを重視するかを選択することができる。時間方向だけではなく、空間方向にも伸びを抑制することができるので、自然な映像表現が実現される。
（第２の改良法）
　第２の改良法では、コントラストの調整を行う。具体的には、合成後のノイズ動画のコントラストを、もとのノイズ画像のコントラストに近づける。まず、調整するピクセルの局所領域の輝度の平均μｐと、標準偏差σｐを求める。調整するピクセル自体の輝度をＰoldとする。また、調整するピクセルが参照している元画像のピクセルにおいても、対応する局所領域の輝度の平均μｑと標準偏差σｑを求める。このとき、調整後の輝度ｐnewは、例えば式（４）で計算される。
Figure JPOXMLDOC01-appb-M000004
 　これにより、調整するピクセルのコントラストが、元画像の対応するピクセルのコントラストと同程度になり、中間フレームでのぼやけ（オーバーラップ感）を軽減することができる。第２の改良法を用いることで自然な映像表現を実現することができる。
（第３の改良法）
　第３の改良法では、３種類以上のノイズ動画を合成することにより、さらに自然な映像表現を実現する。３種類以上のノイズ動画のうちの２種類は、例えば、先に説明した順方向（ｔ＝０から開始）と逆方向（ｔ=τから開始）のノイズ動画を用いることができる。その他の１種類以上のノイズ動画としては、例えば、ｔ＝τ／２から開始する順方向のノイズ画像や、ｔ＝τ／２から開始する逆方向のノイズ画像を用いてもよい。
　図４は、第３の改良法の一例を示す図である。順方向（ｔ＝０から開始）、逆方向（ｔ＝τから開始）、順方向（ｔ＝τ／２から開始）、及び逆方向（ｔ＝τ／２から開始）の４種類の位相の異なるノイズ動画を合成する。図４で、１周期の開始と終了の間のフレームについては線形補間により重みを設定しているが、重み付けの方法に制限はない。例えば、第１の改良法で述べたように、空間の伸び成分を考慮した重み付けを行ってもよい。
　３種類以上のノイズ動画に重み付を行って合成することにより、周期の境界のフレーム（ｔ＝０及びｔ＝τ）が比較的目立ちにくくなる一方で、周期の中間のフレーム（ｔ＝τ／２）のぼやけた感じが軽減される。この方法によると、周期τが比較的短い場合や、オブジェクトの動きが速い場合でも、処置後の動画がサイクリックに見える問題が発生しにくくなる。また、この方法は、伸びの抑制やコントラストを均一にする効果もある。
（５）加工処理された画像の作成
　Ｓ１１で準備した入力動画と、Ｓ１５で生成した合成ノイズ動画を重ね合わせて、加工処理された動画を生成する（Ｓ１６）。この例では、水彩画風の動画を生成する。各ピクセルで、入力動画の色をＣとし、合成ノイズ動画の色をＮとすると、加工処理された動画の色Ｃ’は、例えば式（５）で表わされる。
　　　Ｃ’＝Ｃ［（１－（１－Ｃ）（Ｎ－０．５）］           （５）
　このようにして、入力動画とノイズ画像から、加工処理が施された動画を生成することができる。
　図５～図７は、実施形態の合成方法の効果を示す図である。図５は入力動画の画像、図６は実施形態の方法により加工処理された動画の画像、図７は比較例として先行技術文献の方法により水彩画処理を施した動画の画像である。いずれの画像も動画における中間フレーム（ｔ＝τ／２、τ＝３０）を抽出したものである。
　図５の入力動画の輝度分布は、平均値が118.76であり、標準偏差は16.41である。
　図６の加工処理された動画は、上述した第１の改良法により、式（２）の関数で合成されたノイズ動画を用いている。重み関数として、式（３）の関数を用い、α＝１．０として処理を行っている。順方向のノイズ画像と逆方向のノイズ画像のそれぞれでピクセルごとの伸びの逆数が乗算され、空間方向の伸びや歪が補正されている。その輝度分布は、平均値が118.41、標準偏差が15.65である。また、中間フレームでの画像のぼやけはほとんど観察されない。
　これに対し、図７の比較例の輝度分布は、平均値が119.92、標準偏差は13.65であり、画像が全体的にぼやけている。輝度分布が中央に偏っており、入力動画との差分がぼやけとして表れている。
　加工処理された動画は入力されたオリジナル動画にできるだけ近い輝度分布とコントラストを有することが望ましい。図５～図７から、実施例の手法は入力動画の輝度分布をほぼ維持しながら、コントラスト変化の少ない加工処理を実現することがわかる。
（６）オプティカルフローの導出
　次に、入力画像からオプティカルフローを作成する場合の処理（図２ＡのＳ１２）を説明する。オプティカルフローは、連続するビデオシーケンスの前後のフレーム間でピクセルごとに移流ベクトルを求める手法である。その導出方法に制限はないが、例えば、勾配法やブロックマッチング法が挙げられる。
　勾配法は、前後のフレームでの時間軸方向と空間軸方向の勾配を求めることにより移流ベクトルを導出する手法である。この手法は高速であり、拡大、縮小、回転等の動きへの追随性も高い。
　ブロックマッチング法は、後のフレームのピクセルを含むあるサイズのブロックが、前のフレームのどの部分に一番マッチするのかを求めることにより移流ベクトルを導出する手法である。この方法は、激しい動きに対する順応性が高く、ノイズにも強い。なお、より高速化されたピラミッド型ブロックマッチング法を採用してもよい。
＜改良ブロックマッチング法＞
　発明者らは、オプティカルフローの導出方法として、以下に述べる改良ブロックマッチング法を開発した。この方法は、キャラクターのような動きが激しいオブジェクトを含む入力動画に対して特に有用である。
　改良法では、輪郭（エッジ）部分のみブロックマッチング法でオプティカルフローを求め、間のピクセルのオプティカルフローは補間で求める。これにより、計算量を大幅に低減し、誤差を軽減する。エッジ検出はどのような方法で行ってもよい。具体的な方法として、例えばソーベルフィルタを用いる。
　補間は、例えば、図８及び図９に示す方法で行うことができる。
　図８は第１の補間法を示す。図８において、オブジェクト１は入力動画中で移動している。オブジェクト１の輪郭（エッジ）上にあるピクセルについては、公知のブロックマッチング法等により、そのオプティカルフローが計算されている。オブジェクト１の内部のピクセルＰ0のオプティカルフローを、補間により計算する。
　まず着目するピクセルＰ0から距離ｒの範囲に存在するピクセルの中ですでに計算済のピクセルＰiを抽出する。半径ｒの領域内にあり、かつオブジェクト１の輪郭に存在する白丸のピクセルが、すでに計算済みのピクセルである。次に、抽出されたピクセルＰiのオプティカルフロー（ベクトル）に、Ｐ0との距離に応じた重み付をして足し合わせる。このベクトル和が着目ピクセルＰ0のオプティカルフローとなる。重み付けは、各ピクセルＰiについて、Ｐ0からの距離が小さいほど重みが大きくなるようにする。例えば、各ピクセルＰiにＰ0からの距離の逆数を乗算する。オブジェクト１の内部のピクセルについて、順次同様の補間処理を行う。この方法によると、着目ピクセルＰ0と位置的に近い計算済みピクセルＰiの影響が大きくなるため、全体的にスムーズな変位を得ることが可能となる。
　図９は第２の補間法を示す。図８と同様に、移動するオブジェクト１の輪郭上のピクセルについては、公知のブロックマッチング法等によりオプティカルフローがすでに算出されている。まず、着目するピクセルＰ0から８方向にエッジがどこにあるのかを探索する。その探索により検出されたピクセルＰiを抽出する。図９で、白丸のピクセルが検出されたピクセルＰiである。検出されたピクセルＰiについて、第１の方法と同様の方法で重み付けと足し合わせを行ってベクトル和（オプティカルフロー）を導出する。オブジェクト１の内部のピクセルについて補間処理を順次行う。この方法によると、より短い計算時間でオプティカルフローを導出することが可能となる。なお、エッジ上のピクセルを抽出の方向は８方向に限定されず、４方向、１６方向、３２方向等であってもよい。
　発明者らの実験によると、図８と図９のいずれの方法を用いた場合も、公知の勾配法やブロックマッチング法を用いた場合と比較して、計算時間を１／２～１／３程度に短縮することができた。また、キャラクターのような動きが激しいオブジェクトを含む入力動画に加工処理を施す場合であっても、誤差の少ないより自然な映像表現をすることが可能となった。
　オプティカルフロー導出におけるその他の改良点として、以下の処理が挙げられる。以下で述べる処理は、単独で用いても２つ以上組み合わせてもよく、また、上述したオプティカルフロー導出の改良法と併用してもよい。
（Ａ）確からしさのチェックによる異常値除去
　この処理では、ピクセルごとにブロック領域と、求めた移流ベクトルが示すターゲット距離との距離（マッチ度）を計算する。この距離が過度に大きい場合、その移流ベクトルの算出結果は正しくないと判断される。その場合は、算出結果を用いずに、周囲のピクセルの移流ベクトルから補間して得られる移流ベクトルに置き換える。これにより異常値（エラー）を軽減する。
（Ｂ）正規分布による異常値除去
　この処理では、チェックするピクセルＰ0の周囲に存在するピクセルの移流ベクトルを調べ、それらの平均と標準偏差を求める。求めた平均をμ、標準偏差をσとする。ピクセルＰ0の移流ベクトルの値がμ±σの範囲に収まっていない場合、この値は異常値であるとみなし、μに置き換える。これを、例えばｘ軸方向とｙ軸方向でそれぞれ行う。ピクセルＰ0の動きが周囲のピクセルと同じような動きになるため、異常値（エラー）を軽減できる。この処理はすべてのピクセルで行ってもよいし、一部のピクセルについて行ってもよい。
（Ｃ）フーリエ変換による振動の除去
　オプティカルフローは２フレーム間における移流ベクトルを求める手法であるため、時間軸方向の移流ベクトルの連続性は保障されない。そのため、オプティカルフローの算出結果をそのままノイズ動画の作成に利用すると、時間を進めたときに動きが連続的にならず、振動したように見える現象が発生することがある。
　そこで本手法では、移流ベクトル（オプティカルフロー）に時間軸方向でフーリエ変換を適用し、高周波成分を取り除いた後、逆フーリエ変換により時間領域に戻す。これにより振動を抑え、連続的で滑らかな動きを表現できる。フーリエ変換としてＦＦＴ（Fast Fourier Transform：高速フーリエ変換）を用いると、計算コストを抑えることができる。
（Ｄ）マッチングの改良
　通常のブロックマッチング法では、ブロック領域とターゲット領域の距離（マッチ度）を計算する際に、ＳＳＤ（Sum of Square Difference：輝度値の差の二乗の合計）やＳＡＤ（Sum of Absolute Difference：輝度値の差の絶対値の合計）が用いられる。しかしながら、これらの手法では、画像の明るさが変わった場合にエラーが増大することばある。この問題を解消するために、本手法ではＺＮＣＣ（Zero mean Normalized Cross-Correlation：正規化相互相関）を用いてもよい。これにより、画像の明るさが変わる場合にも対応することができる。
　図１０は、実施形態の動画処理装置１０の機能ブロック図である。画像処理装置１０は入力部１１と、出力部１２と、合成関数記憶部１４と、メモリ１５と、プロセッサ２０を有する。プロセッサ２０は、オプティカルフロー作成部２１と、ノイズ動画作成部２２と、ノイズ動画合成部２３と、動画合成部２５と、ベクトルデータ取得部２６を有する。オプティカルフロー作成部２１とベクトルデータ取得部２６で、移流ベクトル取得部を構成する。動画処理装置１０は、１種類以上のノイズ画像を保存するノイズ画像記憶部１３を有してもよいし、処理の都度、ノイズ画像を外部から取り込んでもよい。
　入力部１１は、処理対象となる動画を入力する。入力部１１は、場合に応じて加工処理に用いるノイズ画像や、入力動画に対応する既存のベクトルデータを入力する。入力部１００は、ノイズ画像記憶部１３に保存されているノイズ画像から所望のノイズ画像をユーザに選択させるユーザインタフェースとしても機能する。
　関数記憶部１４は、式（２）で表されるノイズ動画合成用の関数式を記憶する。また、式（３）で表される重み関数、式（４）で表される輝度調整関数、式（４）の色関数を格納してもよい。
　メモリ１５は、プロセッサ２０を動作させるプログラムを格納するメモリと、プロセッサの処理中に用いられるワークエリアを有するメモリを含む。メモリ１５は、動画処理装置１０の内部で生成された、あるいは入力部１１を介して外部から入力されたコンピュータグラフィクス動画とそのベクトルデータを格納してもよい。
　プロセッサ２０において、オプティカルフロー作成部２１は、入力動画に基づいてオプティカルフローを算出する。このとき、上述した改良ブロックマッチング法を用いて自然な映像表現を可能にするオプティカルフローを高速に算出する。
　ベクトルデータ取得部２６は、入力動画に対応するベクトルデータがすでに存在する場合は、入力部１１を介して取得し、あるいはメモリ１５から読み出すことで、ベクトルデータを取得する。
　ノイズ動画作成部２２は、入力部１１を介して入力される、あるいはノイズ画像記憶部１３から読み出されるノイズ画像にもとにして、ノイズ動画を生成する。ノイズ画像に対して、移流ベクトル（算出されたオプティカルフローまたは既存のベクトルデータ）を適用して時間軸に沿った順方向と逆方向の少なくとも２種類のノイズ動画を生成する。好ましくは、図４のように互いに向きと位相の異なる３種類以上のノイズ動画を生成する。
　ノイズ動画合成部２３は、関数記憶部１４から式（２）の合成関数を読み出して、２種類以上のノイズ動画を合成する。式（２）の合成関数には、ピクセルごとに伸びを補償する補正係数が含まれるため、局所的な伸びやぼやけが低減された合成ノイズ動画が生成される。
　動画合成部２５は、入力動画と合成ノイズ動画を重ね合わせて、加工処理が施された動画を生成し、出力部１２から処理済み動画を出力する。動画の出力先は、画像処理装置１０が有する表示部であってもよいし、外部のプロジェクタであってもよい。
　画像処理装置１０は汎用コンピュータで実現することもできる。その場合、メモリ１５に動画処理プログラムを格納し、ＣＰＵを含むプロセッサ２０に上述した動画処理プロセスを実行させる。
　以上述べたように、実施形態では、入力動画に加工処理を施すための移流動画を合成する際に、ピクセルごとの伸び（または歪み）を補正する。
　また、時間軸に沿って方向（順方向と逆方向）と位相の異なる２種類以上のノイズ動画（移流動画）を生成し合成することで、局所的なぼやけを低減する。
　さらに、入力ビデオ画像からオプティカルフローを生成する場合は、改良されたオプティカルフロー生成プロセスを用いる。
　これらの特徴の一つまたは複数の組み合わせにより、入力ビデオ画像に加工処理を施す際に、より自然な映像表現が可能になる。
　位相の異なる移流動画（ノイズ動画）を追加する場合、追加される移流動画は１周期の最初のフレームと最後のフレームの間の任意のフレームから順方向または逆方向に流れる動画である。たとえば、ｔ＝τ／３とｔ＝τ２／３から順方向または逆方向に流れる移流動画を生成してもよい。
　本出願は、２０１４年３月７日に米国特許商標庁に出願された仮出願番号６１／９４９，６４６号に基づきその優先権を主張するものであり、同仮出願の全内容を参照することにより本願に援用する。
１０　動画処理装置
１１　入力部
１２　出力部
１３　ノイズ画像記憶部
１４　関数記憶部
１５　メモリ
２０　プロセッサ
２１　オプティカルフロー作成部（移流ベクトル取得部）
２２　ノイズ動画作成部（移流動画作成部）
２３　ノイズ動画合成部（移流動画合成部）
２５　動画合成部
２６　ベクトルデータ取得部（移流ベクトル取得部）

Claims (14)

  1. 　動画処理装置において、入力動画の移流ベクトルを取得し、
    　前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を生成し、
    　前記２種類以上の移流動画の各々でピクセルごとの伸び成分を検出し、
    　前記伸び成分を補正しながら前記２種類以上の移流動画を合成して合成移流動画を生成し、
    　前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する、
    ことを特徴とする動画処理方法。
  2. 　前記２種類以上の移流動画は、関数式
    　　 Ｎ(t)＝ｗf(t)[ｈf（x,y,t）]αＮｆ(t)
    　　　　  ＋ｗr(t)[ｈr（x,y,t）]αＮｒ(t)
    に基づいて合成され、ここで、Ｎ(t)は視覚処理が施された動画、Ｎｆ(t)は順方向に移流する第１移流動画、Ｎｒ(t)は逆方向に移流する第２移流動画、ｗf(t)は前記第１移流動画の重み関数、ｗr(t)は前記第２移流動画の重み関数、[ｈf（x,y,t）]αは前記第１移流動画の補正係数、[ｈr（x,y,t）]αは前記第２移流動画の補正係数であることを特徴とする請求項１に記載の動画処理方法。
  3. 　αは、１／３以上、３以下の定数であることを特徴とする請求項２に記載の動画処理方法。
  4. 　動画処理装置において、入力動画の移流ベクトルを取得し、
    　前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から、処理周期の最初のフレームから順方向に流れる第１の移流動画と、前記処理周期の最後のフレームから逆方向に流れる第２の移流動画と、前記最初のフレームと前記最後のフレームの間のフレームから前記順方向または前記逆方向に流れる第３の移流動画と、を生成し、
    　前記第１の移流動画と、前記第２の移流動画と、前記第３の移流動画を合成して合成移流動画を生成し、
    　前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する、
    ことを特徴とする動画処理方法。
  5. 　前記第３の移流動画は、前記処理周期の中間のフレームから前記順方向または前記順方向に流れる移流動画であることを特徴とする請求項４に記載の動画処理方法。
  6. 　動画処理装置において、入力動画からオプティカルフローを算出し、
    　前記オプティカルフローに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を生成し、
    　前記２種類以上の移流動画を合成して合成移流動画を生成し、
    　前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する、
    ステップを含み、
    　前記オプティカルフローの算出は、
    　前記入力動画中のオブジェクトの輪郭上にある第１ピクセルについて、ピクセルごとに第１移流ベクトルを計算し、
    　前記輪郭の内部にある第２ピクセルについて、ピクセルごとに前記第１移流ベクトルを用いて第２移流ベクトルを補間する、
    ことを特徴とする動画処理方法。
  7. 　前記第２ピクセルから一定の距離内に存在する前記第１ピクセルを抽出し、
    　抽出された前記第１ピクセルの前記第１移流ベクトルに前記第２ピクセルからの距離に応じた重み付けをし、
    　前記重み付けがされた前記第１移流ベクトルの和を、前記第２移流ベクトルとして補間する、
    ことを特徴とする請求項６に記載の動画処理方法。
  8. 　前記第２ピクセルから複数方向に延びる線上に位置する前記第１ピクセルを抽出し、
    　抽出された前記第１ピクセルの前記第１移流ベクトルに前記第２ピクセルからの距離に応じた重み付けをし、
    　前記重み付けがされた前記第１移流ベクトルの和を、前記第２移流ベクトルとして補間する、
    ことを特徴とする請求項６に記載の動画処理方法。
  9. 　処理対象となる入力動画を入力する入力部と、
    　前記入力動画の移流ベクトルを取得する移流ベクトル取得部と、
    　前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を作成する移流動画作成部と、
    　前記２種類以上の移流動画の各々でピクセルごとの伸び成分を検出し、前記伸び成分を補正しながら前記２種類以上の移流動画を合成して合成移流動画を生成する移流動画合成部と、
    　前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する動画合成部と、
    を有することを特徴とする動画処理装置。
  10. 　処理対象となる入力動画を入力する入力部と、
    　前記入力動画の移流ベクトルを取得する移流ベクトル取得部と、
    　前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から、処理周期の最初のフレームから順方向に流れる第１の移流動画と、前記処理周期の最後のフレームから逆方向に流れる第２の移流動画と、前記最初のフレームと前記最後のフレームの間のフレームから前記順方向または前記逆方向に流れる第３の移流動画と、を作成する移流動画作成部と、
    　前記第１の移流動画と、前記第２の移流動画と、前記第３の移流動画を合成して合成移流動画を生成する合成移流動画作成部と、
    　前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する動画合成部と、
    を有することを特徴とする動画処理装置。
  11. 　処理対象となる入力動画を入力する入力部と、
    　前記入力動画からオプティカルフローを算出するオプティカルフロー計算部と、
    　前記オプティカルフローに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を作成する移流動画作成部と、
    　前記２種類以上の移流動画を合成して合成移流動画を生成する移流動画合成部と、
    　前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する動画合成部と、
    を有し、前記オプティカルフロー計算部は、
    　前記入力動画中のオブジェクトの輪郭上にある第１ピクセルについて、ピクセルごとに第１移流ベクトルを計算し、
    　前記輪郭の内部にある第２ピクセルについて、ピクセルごとに前記第１移流ベクトルを用いて第２移流ベクトルを補間する、
    ことを特徴とする動画処理装置。
  12. 　コンピュータに、
    　処理対象となる入力動画を入力する手順と、
    　前記入力動画の移流ベクトルを取得する手順と、
    　前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を作成する手順と、
    　前記２種類以上の移流動画の各々でピクセルごとの伸び成分を検出し、前記伸び成分を補正しながら前記２種類以上の移流動画を合成して合成移流動画を生成する手順と、
    　前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する手順と
    を実行させる動画処理プログラム。
  13. 　コンピュータに、
    　処理対象となる入力動画を入力する手順と、
    　前記入力動画の移流ベクトルを取得する手順と、
    　前記移流ベクトルに基づき、前記入力動画に視覚処理を施すための画像から、処理周期の最初のフレームから順方向に流れる第１の移流動画と、前記処理周期の最後のフレームから逆方向に流れる第２の移流動画と、前記最初のフレームと前記最後のフレームの間のフレームから前記順方向または前記逆方向に流れる第３の移流動画とを作成する手順と、
    　前記第１の移流動画と、前記第２の移流動画と、前記第３の移流動画を合成して合成移流動画を生成する手順と、
    　前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する手順と
    を実行させる動画処理プログラム。
  14. 　コンピュータに、
    　処理対象となる入力動画を入力する手順と、
    　前記入力動画からオプティカルフローを算出する手順と、
    　前記オプティカルフローに基づき、前記入力動画に視覚処理を施すための画像から順方向と逆方向に移流する２種類以上の移流動画を作成する手順と、
    　前記２種類以上の移流動画を合成して合成移流動画を生成する手順と、
    　前記合成移流動画と前記入力動画を合成して視覚処理が施された動画を生成する手順と
    を実行させ、
    　前記オプティカルフローを算出する手順は、
    　前記入力動画中のオブジェクトの輪郭上にある第１ピクセルについて、ピクセルごとに第１移流ベクトルを計算し、
    　前記輪郭の内部にある第２ピクセルについて、ピクセルごとに前記第１移流ベクトルを用いて第２移流ベクトルを補間する、
    手順を含むことを特徴とする動画処理プログラム。
PCT/JP2015/056512 2014-03-07 2015-03-05 動画処理方法、動画処理装置、及び動画処理プログラム WO2015133572A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2016506550A JP6302045B2 (ja) 2014-03-07 2015-03-05 動画処理方法、動画処理装置、及び動画処理プログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201461949646P 2014-03-07 2014-03-07
US61/949,646 2014-03-07

Publications (1)

Publication Number Publication Date
WO2015133572A1 true WO2015133572A1 (ja) 2015-09-11

Family

ID=54055372

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/056512 WO2015133572A1 (ja) 2014-03-07 2015-03-05 動画処理方法、動画処理装置、及び動画処理プログラム

Country Status (2)

Country Link
JP (1) JP6302045B2 (ja)
WO (1) WO2015133572A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021018791A (ja) * 2019-07-22 2021-02-15 調 荻野 時系列データの前処理プログラム及び前処理方法
CN115103147A (zh) * 2022-06-24 2022-09-23 马上消费金融股份有限公司 中间帧图像生成方法、模型的训练方法及装置
CN116703785A (zh) * 2023-08-04 2023-09-05 普密特(成都)医疗科技有限公司 一种微创手术镜下模糊图像的处理方法

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2144200A1 (en) * 2008-07-07 2010-01-13 Thomson Licensing Method and device for video processing to obtain watercolor effect
JP2011109280A (ja) * 2009-11-13 2011-06-02 Sony Corp 画像処理装置および画像処理方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP2144200A1 (en) * 2008-07-07 2010-01-13 Thomson Licensing Method and device for video processing to obtain watercolor effect
JP2011109280A (ja) * 2009-11-13 2011-06-02 Sony Corp 画像処理装置および画像処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
MICHITAKA HATA: "Accentuated Pencil Drawing Generation Using Saliency Map and LIC", THE IEICE TRANSACTIONS ON FUNDAMENTALS OF ELECTRONICS, COMMUNICATIONS AND COMPUTER SCIENCES (J95-A, vol. J95-A, no. 7, 1 July 2012 (2012-07-01), JAPANESE, pages 600 - 609, XP035059729 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021018791A (ja) * 2019-07-22 2021-02-15 調 荻野 時系列データの前処理プログラム及び前処理方法
CN115103147A (zh) * 2022-06-24 2022-09-23 马上消费金融股份有限公司 中间帧图像生成方法、模型的训练方法及装置
CN116703785A (zh) * 2023-08-04 2023-09-05 普密特(成都)医疗科技有限公司 一种微创手术镜下模糊图像的处理方法
CN116703785B (zh) * 2023-08-04 2023-10-27 普密特(成都)医疗科技有限公司 一种微创手术镜下模糊图像的处理方法

Also Published As

Publication number Publication date
JP6302045B2 (ja) 2018-03-28
JPWO2015133572A1 (ja) 2017-04-06

Similar Documents

Publication Publication Date Title
JP4480760B2 (ja) 画像データ処理方法および画像処理装置
JP4585456B2 (ja) ボケ変換装置
JP5847228B2 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP7116142B2 (ja) 任意ビューの生成
US8675128B2 (en) Image processing method and system with repetitive pattern detection
CN109191506B (zh) 深度图的处理方法、系统及计算机可读存储介质
JP6302045B2 (ja) 動画処理方法、動画処理装置、及び動画処理プログラム
JP2019169000A (ja) 画像処理装置、画像処理方法、およびプログラム
JP5289540B2 (ja) 画像処理装置、及び画像処理方法
JP2010232710A (ja) 画像処理装置および画像処理方法
JP5490117B2 (ja) 画像処理装置
JP6402301B2 (ja) 視線変換装置、視線変換方法及びプログラム
JP6854629B2 (ja) 画像処理装置、画像処理方法
Atokari et al. Parallax-tolerant 360 live video stitcher
JP6570304B2 (ja) 映像処理装置、映像処理方法およびプログラム
JP2015148965A (ja) 画像処理装置、撮像装置及び画像処理方法
WO2015159778A1 (ja) 画像処理装置、画像処理方法及び画像処理プログラム
JP5659126B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP5085762B2 (ja) 画像処理装置および画像処理方法
JP2014027405A (ja) フレーム補間装置及びプログラム
JP2013109589A (ja) 相関演算装置
JP2011239266A (ja) 画像データ処理装置および画像データ処理方法
JP5701816B2 (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP6902425B2 (ja) カラー情報拡大器およびカラー情報推定器、ならびに、それらのプログラム
JP6661434B2 (ja) 画像処理装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15758189

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016506550

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15758189

Country of ref document: EP

Kind code of ref document: A1