WO2022239186A1 - 映像合成装置、映像合成方法、およびプログラム - Google Patents

映像合成装置、映像合成方法、およびプログラム Download PDF

Info

Publication number
WO2022239186A1
WO2022239186A1 PCT/JP2021/018210 JP2021018210W WO2022239186A1 WO 2022239186 A1 WO2022239186 A1 WO 2022239186A1 JP 2021018210 W JP2021018210 W JP 2021018210W WO 2022239186 A1 WO2022239186 A1 WO 2022239186A1
Authority
WO
WIPO (PCT)
Prior art keywords
signal
video
minute
color signal
emphasized
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/018210
Other languages
English (en)
French (fr)
Inventor
翔一郎 武田
健太 丹羽
信哉 志水
奏 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to PCT/JP2021/018210 priority Critical patent/WO2022239186A1/ja
Priority to US18/558,094 priority patent/US20240221120A1/en
Priority to JP2023520683A priority patent/JP7513206B2/ja
Publication of WO2022239186A1 publication Critical patent/WO2022239186A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/10—Image enhancement or restoration using non-spatial domain filtering
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration using local operators
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/66—Transforming electric information into light information
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/12—Picture reproducers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/64—Circuits for processing colour signals
    • H04N9/646—Circuits for processing colour signals for image enhancement, e.g. vertical detail restoration, cross-colour elimination, contour correction, chrominance trapping filters
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10024—Color image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20048—Transform domain processing
    • G06T2207/20056—Discrete and fast Fourier transform, [DFT, FFT]

Definitions

  • This invention relates to image enhancement technology that emphasizes minute changes in images.
  • Video Magnification is a video enhancement technology that detects only the desired minute changes (color change or motion) from the input video and emphasizes and visualizes the detected minute changes (for example, Non-Patent Documents 1-3 reference).
  • Video Magnification for example, it is possible to input an image of a seemingly motionless human face and synthesize an image that emphasizes the minute undulations of blood vessels and changes in facial color due to pulsation.
  • Video Magnification consists of multi-stage processing consisting of (1) temporal frequency bandpass filtering, (2) weighted enhancement filtering, and (3) addition processing.
  • time-frequency bandpass filtering a time-series signal representing minute changes in an arbitrary time-frequency band is detected from a video signal.
  • an emphasized minute signal is generated by emphasizing only minute components from the obtained time-series signal.
  • the emphasized minute signal is added to the original video signal.
  • Non-Patent Documents 1-3 use multi-step processing as described above, resulting in complexity of the algorithm. Algorithm complexity leads to reduced algorithm readability, implementation difficulty, and increased computational complexity. In addition, since the operation and effects of Video Magnification are difficult to understand, it is difficult for users to predict or interpret the behavior and results of applying the algorithm. Furthermore, the performance of each process itself is also insufficient, and there are also problems such as emphasizing minute changes that are not intended by the user and generating artifacts (noise) during emphasizing.
  • the purpose of this invention is to facilitate the implementation of image enhancement processing that emphasizes minute changes in images, in view of the technical problems described above.
  • a video synthesizing device includes a signal conversion unit for extracting a color signal of a predetermined resolution from an input video, and applying a weighted emphasis time-frequency bandpass filter to the color signal, thereby converting the color signal into A filter processing unit that generates an emphasized minute color signal emphasizing minute color changes contained in the input image, and an image that synthesizes an emphasized image emphasizing minute color changes in the input image using the color signal and the emphasized minute color signals. and a synthesizer.
  • a video synthesizing device includes a signal conversion section for extracting a phase signal corresponding to a desired change in motion from an input video, and a self-addition type weighted enhancement time-frequency bandpass filter for the phase signal.
  • a filter processing unit that generates an emphasized minute phase signal that emphasizes minute phase changes contained in the phase signal, and a minute motion change in the input video is emphasized using the phase signal and the emphasized minute phase signal. and a video synthesizing unit for synthesizing the enhanced video.
  • This invention integrates multiple processes that are performed in multiple stages in the prior art into one filter process. Therefore, according to the present invention, it is possible to easily implement image enhancement processing for emphasizing minute changes in an image.
  • FIG. 1 is a diagram illustrating the functional configuration of the video synthesizing device of the first embodiment.
  • FIG. 2 is a diagram illustrating the processing procedure of the image synthesizing method of the first embodiment.
  • FIG. 3 is a diagram illustrating the functional configuration of the video synthesizing device of the second embodiment.
  • FIG. 4 is a diagram illustrating the processing procedure of the image synthesizing method of the second embodiment.
  • FIG. 5 is a diagram illustrating the functional configuration of a computer.
  • a first embodiment of the present invention is a video synthesizing apparatus and method for detecting a minute color change in an arbitrary time-frequency band in a video and synthesizing a video emphasizing the detected minute color change.
  • the video synthesizer 1 of the first embodiment receives a target video signal and outputs an enhanced video signal that emphasizes minute color changes in the target video signal.
  • the video synthesizing device 1 includes a video input unit 11 , a signal converting unit 12 , a filtering unit 13 , an adding unit 14 and a video synthesizing unit 15 .
  • the video synthesizing method of the first embodiment is realized by the video synthesizing device 1 executing the processing of each step shown in FIG.
  • a video synthesizer for example, has a central processing unit (CPU: Central Processing Unit), a main memory (RAM: Random Access Memory), etc.
  • CPU Central Processing Unit
  • main memory RAM: Random Access Memory
  • a special program is loaded into a public or dedicated computer that is a special It is a device.
  • the video synthesizing device executes each process under the control of, for example, a central processing unit.
  • the data input to the video synthesizer and the data obtained in each process are stored in, for example, a main memory device, and the data stored in the main memory device are read out to the central processing unit as necessary and used for other purposes.
  • used to process At least a part of each processing unit included in the video synthesizer may be configured by hardware such as an integrated circuit.
  • the video synthesizing method executed by the video synthesizing device 1 of the first embodiment will be described below with reference to FIG.
  • a target video signal is input to the video synthesizing device 1 .
  • the target video signal is, for example, a digital video signal such as an RGB signal or a YIQ signal.
  • the target video signal is an RGB signal and is represented by Equation (1).
  • a target video signal I c (x, y, t) input to the video synthesizer 1 is input to the video input unit 11 .
  • step S11 the video input unit 11 selects one or more color signals corresponding to minute color changes to be emphasized from the input target video signal Ic (x, y, t).
  • the selected color signal (hereinafter also referred to as the "target color signal”) is denoted by I g (x, y, t) is represented as
  • I g (x, y, t) is represented as
  • the target color signal should be read as I r (x, y, t).
  • the target color signal should be read as I b (x, y, t).
  • the image input unit 11 outputs the target color signal I g (x, y, t ) to the signal conversion unit 12 and the addition unit 14, and outputs the color signal I r ( x, y, t) and I b (x, y, t) are output to the image synthesizing unit 15 .
  • the signal conversion unit 12 receives the target color signal I g (x, y, t) from the video input unit 11 and converts the target color signal I g (x, y, t) into multi-resolution representation. .
  • it may be converted to a multi-resolution representation called a Gaussian pyramid defined by Equation (2).
  • N represents the number of resolutions
  • n represents the resolution index
  • the signal conversion unit 12 converts the target color signal ⁇ I n g (x, y, t)
  • n 1, . y, t).
  • the signal conversion unit 12 outputs the target color signal I n g (x, y, t) of the selected resolution n to the filter processing unit 13 .
  • step S13 the filter processing unit 13 receives the target color signal I n g (x, y, t) of resolution n from the signal conversion unit 12, and converts the desired color signal I n g (x, y, t) arbitrarily selected by the user as shown in equation (3).
  • weighted enhancement time-frequency bandpass filtering is applied to the target color signal I n g (x, y, t) of resolution n based on the enhancement rate ⁇ R and the time frequency f t ⁇ R of n.
  • B ng (x, y, t) represents an enhanced minute color signal obtained by enhancing only the minute color signal at the time frequency f t with the enhancement rate ⁇ .
  • k ⁇ [-K, K] represents the range for filtering. That is, the window width for filtering is 2K+1. Parameters d, ⁇ , and ⁇ will be described later.
  • the filtering unit 13 outputs the generated enhanced minute color signal B n g (x, y, t) to the adding unit 14 .
  • the processing of the filter processing unit 13 will be described in more detail below.
  • the part that implements the time-frequency bandpass filtering is sLoG(k; ⁇ ).
  • A(d; ⁇ ) is the part that implements the weighted emphasis filtering process. The steps will be described in order below.
  • LoG(k; ⁇ ) is a filter called LoG (Laplacian of Gaussian).
  • the LoG filter is defined in the form of the second derivative of the Gaussian function, as shown in Equation (4).
  • Time-frequency bandpass filtering can be performed by convolving the LoG filter with the color signal.
  • the problem here is how to choose the optimum window width 2K+1 and the parameter ⁇ of LoG(k; ⁇ ).
  • the window width 2K+1 and the parameter ⁇ are not suitable, resulting in poor time-frequency selectivity. Therefore, in the present embodiment, it is considered to set the optimal window width 2K+1 and parameter ⁇ for time-frequency bandpass filtering.
  • the window width is adaptively set as shown in Equation (6).
  • the optimum parameter ⁇ is obtained by solving the optimization problem of Equation (8).
  • the optimal parameter ⁇ determined above allows LoG(k; ⁇ ) to have the maximum frequency response at the time frequency f t .
  • LoG(k; ⁇ ) has the maximum frequency response at the time frequency f t and is normalized to 1, so that when the enhancement factor ⁇ is applied, small color changes are purely multiplied by ⁇ . , making it easier to control the degree of emphasis. Therefore, sLoG(k; ⁇ ) obtained by scaling LoG(k; ⁇ ) is defined as in Equation (10).
  • Equation (3) The role of A(d; ⁇ ) in Equation (3) will be explained. First, A(d; ⁇ ) is defined as Equations (11)-(13).
  • A(d; ⁇ ) weights the enhancement rate ⁇ based on the variation d of the color signal I n c (x, y, t). necessary to emphasize only the subtle color changes.
  • step S14 the adding unit 14 receives the target color signal I g (x, y, t) from the video input unit 11 and the emphasized minute color signal B n g (x, y, t) from the filtering unit 13, Emphasis purpose is to add the signal B g (x, y, t) obtained by up-sampling the enhancement minute color signal B n g (x, y, t) to the original resolution to the target color signal I g (x, y, t) Generate the color signal ⁇ I g (x, y, t). The adder 14 outputs the generated enhancement target color signal ⁇ I g (x, y, t) to the video synthesizer 15 .
  • step S15 the image synthesizing unit 15 receives the emphasized target color signal ⁇ I g (x, y, t) from the adding unit 14, and extracts colors other than the target color signal I g (x, y, t) from the video input unit 11. Take the signals I r (x, y, t), I b (x, y, t) and compute their signals ⁇ I g (x, y, t), I r (x, y, t), I b ( x, y, t) to generate an enhanced video signal ⁇ I c (x, y, t). The video synthesizing unit 15 outputs the generated enhanced video signal ⁇ I c (x, y, t) to the video synthesizing device 1 .
  • a second embodiment of the present invention is a video synthesizing apparatus and method for detecting a minute motion in an arbitrary time-frequency band in a video and synthesizing a video emphasizing the detected minute motion.
  • the video synthesizer 2 of the second embodiment receives a target video signal and outputs an enhanced video signal that emphasizes minute movements in the target video signal.
  • the image synthesizing device 2 includes an image input unit 21 , a signal converting unit 22 , a filtering unit 23 and an image synthesizing unit 24 .
  • the video synthesizing method of the second embodiment is realized by the video synthesizing device 2 executing the processing of each step shown in FIG.
  • a target video signal is input to the video synthesizing device 2 .
  • the target video signal is the YIQ signal and is represented by Equation (14).
  • the target video signal I c (x, y, t) input to the video synthesizer 2 is input to the video input section 21 .
  • step S21 the video input unit 21 selects the luminance signal Iy(x, y, t) from the input target video signal Ic (x, y , t).
  • the video input unit 21 outputs the luminance signal I y (x, y, t) to the signal conversion unit 22, and converts the signal I i (x, y, t) other than the luminance signal I y (x, y, t), It outputs I q (x, y, t) to the image synthesizing section 24 .
  • step S22 the signal conversion unit 22 receives the luminance signal I y (x, y, t) from the video input unit 21, and converts the luminance signal I y (x, y, t) to a plurality of band frequencies ⁇ . Transform to analytic signals in multiple directions ⁇ . This analytic signal is represented by Equation (15).
  • Equation (16) the analytic signal with a certain frequency ⁇ and a certain direction ⁇ is given by Equation (16).
  • R ⁇ , ⁇ y (x, y, t) is the analytic signal
  • a ⁇ , ⁇ y (x, y, t) is the amplitude signal
  • ⁇ ⁇ , ⁇ y (x, y, t) is the phase signal.
  • ⁇ , ⁇ (x, y) is a filter group called CSF (Complex Steerable Filter).
  • CSF Complex Steerable Filter
  • the signal conversion unit 22 converts the analytic signal ⁇ R ⁇ , ⁇ y ( x, y , t)
  • the signal conversion unit 22 outputs the selected phase signals ⁇ ⁇ , ⁇ y (x, y, t) to the filter processing unit 23 and outputs the amplitude signals A ⁇ , ⁇ y (x, y, t) to the video synthesis unit 24 .
  • step S23 the filtering unit 23 receives the phase signal ⁇ ⁇ , ⁇ y (x, y, t) from the signal converting unit 22, and applies a predetermined enhancement arbitrarily selected by the user as shown in equation (17). Apply a self-additive weighted enhancement time-frequency bandpass filtering to the phase signal ⁇ ⁇ , ⁇ y (x, y, t) based on the rate ⁇ R and the time-frequency f t ⁇ R.
  • ⁇ ⁇ , ⁇ y (x, y, t) is the output of the filter processing unit 23, and the signal obtained by enhancing only the minute phase signal at the time frequency f t with the enhancement rate ⁇ is converted to the original phase signal. 4 represents the summed enhanced phase signal.
  • sLoG(k; ⁇ ) in Equation (17) is Equation (10).
  • A(d; ⁇ ) in Equation (17) is defined as in Equations (18) to (20) for phase signals.
  • ⁇ (k) is defined by equation (21).
  • equation (17) can be rewritten as equation (22).
  • the procedure of adding the result of the weighted enhancement filtering process by A(d; ⁇ ) sLoG (k; ⁇ ) to the original phase signal ⁇ , ⁇ y(x, y , t) is performed. It means that they are integrated into one filtering process. This eliminates the need to store the original phase signal ⁇ ⁇ , ⁇ y (x,y,t) in memory, reducing the associated memory usage by a factor of 2, while allowing the phase signal ⁇ Direct conversion from ⁇ , ⁇ y (x, y, t) to the enhanced phase signal ⁇ ⁇ , ⁇ y (x, y, t) becomes possible.
  • step S24 the video synthesizing unit 24 receives the amplitude signal A ⁇ , ⁇ y (x, y, t) from the signal converting unit 22, and the enhanced phase signal ⁇ ⁇ , ⁇ y (x, y, t) from the filtering unit 23. t) and generates an enhanced analytic signal ⁇ R ⁇ , ⁇ y (x, y, t) in which small motions are emphasized according to equations (23)-(24).
  • the video synthesizing unit 24 generates an enhanced luminance signal ⁇ Iy (x, y, t) in which only minute movements are emphasized from the set of enhanced analysis signals ⁇ R ⁇ , ⁇ y (x, y, t). Generate. Then, the image synthesizing unit 24 receives the signals I i (x, y, t) and I q (x, y, t) other than the luminance signal I y (x, y, t) from the image input unit 21 and emphasizes them.
  • the enhanced video signal ⁇ I c By combining the luminance signal ⁇ I y (x, y, t) with the signals I i (x, y, t) and I q (x, y, t), the enhanced video signal ⁇ I c (x, y, t ).
  • the video synthesizing unit 24 outputs the generated enhanced video signal ⁇ I c (x, y, t) to the video synthesizing device 2 .
  • the present invention simplifies the image enhancement processing algorithm for emphasizing minute changes in an image.
  • the multi-stage processing performed in conventional Video Magnification has been integrated into a single filtering process. This made the algorithm more readable and easier to implement.
  • the performance of Video Magnification itself has been improved, and the minute color changes and movements that users expect. It made it possible to emphasize, and reduced the occurrence of artifacts that occur during emphasis.
  • memory usage can be saved at the same time.
  • Computer-readable recording media are, for example, non-temporary recording media such as magnetic recording devices and optical discs.
  • this program will be carried out, for example, by selling, transferring, lending, etc. portable recording media such as DVDs and CD-ROMs on which the program is recorded.
  • the program may be distributed by storing the program in the storage device of the server computer and transferring the program from the server computer to other computers via the network.
  • a computer that executes such a program for example, first stores a program recorded on a portable recording medium or a program transferred from a server computer once in the auxiliary recording unit 1050, which is its own non-temporary storage device. Store. When executing the process, this computer reads the program stored in the auxiliary recording unit 1050, which is its own non-temporary storage device, into the storage unit 1020, which is a temporary storage device, and follows the read program. Execute the process. Also, as another execution form of this program, the computer may read the program directly from a portable recording medium and execute processing according to the program, and the program is transferred from the server computer to this computer. Each time, the processing according to the received program may be executed sequentially.
  • ASP Application Service Provider
  • the above-mentioned processing is executed by a so-called ASP (Application Service Provider) type service, which does not transfer the program from the server computer to this computer, and realizes the processing function only by its execution instruction and result acquisition.
  • ASP Application Service Provider
  • the program in this embodiment includes information that is used for processing by a computer and that conforms to the program (data that is not a direct instruction to the computer but has the property of prescribing the processing of the computer, etc.).
  • the device is configured by executing a predetermined program on a computer, but at least part of these processing contents may be implemented by hardware.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Processing Of Color Television Signals (AREA)
  • Image Processing (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Video Image Reproduction Devices For Color Tv Systems (AREA)

Abstract

映像強調処理の実装を容易にする。映像入力部（１１）は、対象映像信号から色信号を抽出する。信号変換部（１２）は、色信号から所望の色変化に対応する目的色信号を抽出する。フィルタ処理部（１３）は、目的色信号に対して重み付き強調時間周波数バンドパスフィルタを適用することで目的色信号に含まれる所望の色変化を強調した強調微小色信号を生成する。加算部（１４）は、目的色信号に強調微小色信号を加算した強調目的色信号を生成する。映像合成部（１５）は、強調目的色信号と目的色信号以外の色信号とを加算して対象映像信号に含まれる所望の色変化を強調した強調映像を合成する。

Description

映像合成装置、映像合成方法、およびプログラム
　この発明は、映像中の微小な変化を強調する映像強調技術に関する。
　Video Magnificationは、入力映像から目的とする微小な変化（色変化や運動）のみを検出し、検出された微小な変化を強調して可視化する映像強調技術である（例えば、非特許文献１－３参照）。Video Magnificationを応用すれば、例えば、一見動きのない人間の顔の映像を入力とし、脈動による血管の微細な起伏や顔色の変化等を強調した映像を合成することができる。Video Magnificationは、（１）時間周波数バンドパスフィルタ処理、（２）重み付き強調フィルタ処理、および（３）加算処理からなる多段階的な処理で構成される。（１）時間周波数バンドパスフィルタ処理では、任意の時間周波数帯域における微小な変化を表す時系列信号を映像信号から検出する。（２）重み付き強調フィルタ処理では、得られた時系列信号の中から微小な成分のみを強調した強調微小信号を生成する。（３）加算処理では、元の映像信号に強調微小信号を加算する。Video Magnificationは、これらの多段階的な処理を実行することで、入力映像中の微小な変化のみを強調して可視化した映像を得ることができる。
Yichao Zhang, Silvia L. Pintea, and Jan C. van Gemert, "Video Acceleration Magnification," IEEE International Conference on Computer Vision and Pattern Recognition, 2017. Shoichiro Takeda, Kazuki Okami, Dan Mikami, Megumi Isogai, Hideaki Kimata, "Jerk-Aware Video Acceleration Magnification," IEEE International Conference on Computer Vision and Pattern Recognition, 2018. Xiu Wu, Xuezhi Yang, Jing Jin, Zhao Yang, "Amplitude-Based Filtering for Video Magnification in Presence of Large Motion," IEEE International Conference on Computer Vision and Pattern Recognition, 2018.
　しかしながら、非特許文献１－３は、上記のような多段階的な処理を用いているため、アルゴリズムの複雑性を招いている。アルゴリズムの複雑性は、アルゴリズムの可読性の低下や実装の難しさ、および計算量の増加に繋がる。また、Video Magnificationの働きやその効果が難解なものになるため、アルゴリズムを適用した際の挙動やその結果を予測または解釈することがユーザにとって困難となる。さらに、個々の処理自体の性能も不十分であり、ユーザが意図したものとは異なる微小な変化が強調されたり、強調時にアーチファクト（ノイズ）が発生したりするという課題も存在する。
　この発明の目的は、上記のような技術的課題に鑑みて、映像中の微小な変化を強調する映像強調処理の実装を容易にすることである。
　この発明の第一の態様の映像合成装置は、入力映像から所定の解像度の色信号を抽出する信号変換部と、色信号に対して重み付き強調時間周波数バンドパスフィルタを適用することで色信号に含まれる微小な色変化を強調した強調微小色信号を生成するフィルタ処理部と、色信号と強調微小色信号とを用いて入力映像中の微小な色変化を強調した強調映像を合成する映像合成部と、を含む。
　この発明の第二の態様の映像合成装置は、入力映像から所望の運動変化に対応する位相信号を抽出する信号変換部と、位相信号に対して自己加算型重み付き強調時間周波数バンドパスフィルタを適用することで位相信号に含まれる微小な位相変化を強調した強調微小位相信号を生成するフィルタ処理部と、位相信号と強調微小位相信号とを用いて入力映像中の微小な運動変化を強調した強調映像を合成する映像合成部と、を含む。
　この発明は、従来技術で多段階的に行われる複数の処理を１個のフィルタ処理に統合する。したがって、この発明によれば、映像中の微小な変化を強調する映像強調処理の実装を容易にすることができる。
図１は第一実施形態の映像合成装置の機能構成を例示する図である。 図２は第一実施形態の映像合成方法の処理手順を例示する図である。 図３は第二実施形態の映像合成装置の機能構成を例示する図である。 図４は第二実施形態の映像合成方法の処理手順を例示する図である。 図５はコンピュータの機能構成を例示する図である。
　以下、この発明の実施の形態について詳細に説明する。なお、図面中において同じ機能を有する構成部には同じ番号を付し、重複説明を省略する。
　なお、文中で使用する記号「^」等は、本来直後の文字の真上に記載されるべきものであるが、テキスト記法の制限により、当該文字の直前に記載する。数式中においてはこれらの記号は本来の位置、すなわち文字の真上に記述している。
　［第一実施形態］
　この発明の第一実施形態は、映像中の任意の時間周波数帯域における微小な色変化を検出し、検出された微小な色変化を強調した映像を合成する映像合成装置およびその方法である。第一実施形態の映像合成装置１は、図１に示すように、対象映像信号を入力とし、対象映像信号中の微小な色変化を強調した強調映像信号を出力する。映像合成装置１は、映像入力部１１、信号変換部１２、フィルタ処理部１３、加算部１４、および映像合成部１５を備える。この映像合成装置１が図２に示す各ステップの処理を実行することにより、第一実施形態の映像合成方法が実現される。
　映像合成装置は、例えば、中央演算処理装置（CPU: Central Processing Unit）、主記憶装置（RAM: Random Access Memory）などを有する公知又は専用のコンピュータに特別なプログラムが読み込まれて構成された特別な装置である。映像合成装置は、例えば、中央演算処理装置の制御のもとで各処理を実行する。映像合成装置に入力されたデータや各処理で得られたデータは、例えば、主記憶装置に格納され、主記憶装置に格納されたデータは必要に応じて中央演算処理装置へ読み出されて他の処理に利用される。映像合成装置が備える各処理部は、少なくとも一部が集積回路等のハードウェアによって構成されていてもよい。
　以下、図２を参照して、第一実施形態の映像合成装置１が実行する映像合成方法について説明する。
　映像合成装置１には、対象映像信号が入力される。対象映像信号は、例えばＲＧＢ信号やＹＩＱ信号などのデジタル映像信号である。本実施形態では、対象映像信号はＲＧＢ信号であるものとし、式（１）で表されるものとする。
Figure JPOXMLDOC01-appb-M000003
　ここで、(x, y)はピクセル位置、tは時間フレームのインデックスを表す。映像合成装置１に入力された対象映像信号Ic(x, y, t)は、映像入力部１１へ入力される。
　ステップＳ１１において、映像入力部１１は、入力された対象映像信号Ic(x, y, t)から、強調対象とする微小な色変化に対応する１個以上の色信号を選択する。以降の説明では、緑に対応する色信号を選択したものとし（すなわち、c=g）、選択された色信号（以下、「目的色信号」とも呼ぶ）をIg(x, y, t)と表す。赤に対応する色信号を選択する場合には、目的色信号をIr(x, y, t)と読み替えればよい。同様に、青に対応する色信号を選択する場合には、目的色信号をIb(x, y, t)と読み替えればよい。映像入力部１１は、目的色信号Ig(x, y, t)を信号変換部１２および加算部１４へ出力し、目的色信号Ig(x, y, t)以外の色信号Ir(x, y, t), Ib(x, y, t)を映像合成部１５へ出力する。
　ステップＳ１２において、信号変換部１２は、映像入力部１１から目的色信号Ig(x, y, t)を受け取り、その目的色信号Ig(x, y, t)を多重解像度表現に変換する。例えば、式（２）で定義されるガウシアンピラミッドと呼ばれる多重解像度表現に変換すればよい。
Figure JPOXMLDOC01-appb-M000004
　ここで、Nは解像度の数を表し、nは解像度のインデックスを表す。
　信号変換部１２は、多重解像度表現に変換された目的色信号{In g(x, y, t)｜n=1,…,N}から所定の解像度nの色信号In g(x, y, t)を選択する。信号変換部１２は、選択した解像度nの目的色信号In g(x, y, t)をフィルタ処理部１３へ出力する。
　ステップＳ１３において、フィルタ処理部１３は、信号変換部１２から解像度nの目的色信号In g(x, y, t)を受け取り、式（３）に示すように、ユーザが任意に選択した所定の強調率α∈Rおよび時間周波数ft∈Rに基づいて、解像度nの目的色信号In g(x, y, t)に対して重み付き強調時間周波数バンドパスフィルタ処理を適用する。
Figure JPOXMLDOC01-appb-M000005
　ここで、Bn g(x, y, t)は、時間周波数ftにおける微小な色信号のみを強調率αで強調した強調微小色信号を表す。k∈[-K, K]はフィルタ処理を行う範囲を表す。すなわち、フィルタ処理の窓幅は2K+1となる。パラメータd, ε, σについては後述する。フィルタ処理部１３は、生成した強調微小色信号Bn g(x, y, t)を加算部１４へ出力する。
　以下、フィルタ処理部１３の処理について、より詳しく説明する。式（３）において、時間周波数バンドパスフィルタ処理を実現する部分はsLoG(k; σ)である。また、重み付き強調フィルタ処理を実現する部分はA(d; ε)である。以下、順番に説明する。
　≪時間周波数バンドパスフィルタ処理≫
　式（３）におけるsLoG(k; σ)の役割に関して説明する。まず、LoG(k; σ)はLoG（Laplacian of Gaussian）と呼ばれるフィルタである。LoGフィルタは、式（４）のようにガウス関数の二階微分の形で定義される．
Figure JPOXMLDOC01-appb-M000006
　LoGフィルタを色信号に畳み込むことで、時間周波数バンドパスフィルタ処理を行うことができる。ここで、最適な窓幅2K+1とLoG(k; σ)のパラメータσをどのように選べばよいのか、という点が問題になる。非特許文献１，２では、画像マッチング分野で用いられているLoG(k; σ)の窓幅2K+1=fs/4ftとパラメータσ=fs/4(2)1/2ftを採用している。しかしながら、時間周波数バンドパスフィルタ処理という観点では、この窓幅2K+1とパラメータσは相応しくなく、時間周波数選択性が悪いという課題がある。そこで、本実施形態では、時間周波数バンドパスフィルタ処理にとって最適な窓幅2K+1とパラメータσを設定することを考える。
　まず、最適な窓幅2K+1の設定方法に関して説明する。対象映像信号のサンプリング周波数をfsとおくと、時間周波数のトレードオフの関係から、LoG(k; σ)の周波数分解能Δfは式（５）を満たす。
Figure JPOXMLDOC01-appb-M000007
　つまり、窓幅を大きく取ればLoG(k; σ)の周波数分解能が向上することがわかる。しかし、窓幅を大きく取るほど計算コストがかかる。そのため、本発明では式（６）のように窓幅を適応的に設定する。
Figure JPOXMLDOC01-appb-M000008
　その結果、LoG(k; σ)の周波数ビンは、式（７）のように設定される。
Figure JPOXMLDOC01-appb-M000009
　このように構成することにより、直流（DC: Direct Current）成分はf=0に割り当てられ、DC成分以外のf=ftよりも低い周波数帯成分のすべてがf=ft/2に割り当てられる。そのため、DC成分を明確に分離して考えることができるようになり、最低限度の理想的な周波数分解能を得ることができる。
　次に、最適なパラメータσの設定方法を説明する。時間周波数バンドパスフィルタ処理という観点では、LoG(k; σ)は時間周波数ftにおいて最大の周波数応答を持つことが望ましい。したがって、本実施形態では、式（８）の最適化問題を解くことで最適なパラメータσを求める。
Figure JPOXMLDOC01-appb-M000010
　ここで、F2K+1[・](f)は一次元フーリエ変換を表す。式（８）の最適化問題は、式（９）のような閉形式で解くことが可能である。
Figure JPOXMLDOC01-appb-M000011
　上記のように求めた最適なパラメータσにより、LoG(k; σ)は時間周波数ftにおいて最大の周波数応答を持つことができる。
　LoG(k; σ)は、時間周波数ftにおいて最大の周波数応答を持ちつつ、その値を１に正規化することで、強調率αを適用すると微小な色変化は純粋にα倍されるようになり、強調度合いをコントロールしやすくなる。したがって、LoG(k; σ)をスケーリングしたsLoG(k; σ)を式（10）のように定義する。
Figure JPOXMLDOC01-appb-M000012
　≪重み付き強調フィルタ処理≫
　式（３）におけるA(d; ε)の役割に関して説明する。まず、A(d; ε)は式（11）～（13）のように定義される。
Figure JPOXMLDOC01-appb-M000013
　式（11）～（13）に示すとおり、A(d; ε)は、色信号In c(x, y, t)の変動量dに基づいて強調率αを重み付けするものであり、微小な色変化のみを強調するために必要なものである。ここで、(2 ln 2)1/2σa=εは半値半幅を示しており、d=εのとき、強調率はちょうど半分のA(d; ε)=(α-1)/2となるように設計されている。このように構成することで、ユーザが選択する色信号の値εを基準にして、色信号の変動量dがεよりも大きすぎる場合には強調率が０になり、微小な色信号のみを強調することが可能になる。
　最終的に，式（10）～（13）に基づいて式（３）のフィルタ処理を行うことで、時間周波数ftにおける微小な色信号のみを強調率αで強調した強調微小色信号Bn g(x, y, t)を得ることができる。
　ステップＳ１４において、加算部１４は、映像入力部１１から目的色信号Ig(x, y, t)を、フィルタ処理部１３から強調微小色信号Bn g(x, y, t)を受け取り、強調微小色信号Bn g(x, y, t)を元の解像度にアップサンプリングした信号Bg(x, y, t)を目的色信号Ig(x, y, t)に加算した強調目的色信号^Ig(x, y, t)を生成する。加算部１４は、生成した強調目的色信号^Ig(x, y, t)を映像合成部１５へ出力する。
　ステップＳ１５において、映像合成部１５は、加算部１４から強調目的色信号^Ig(x, y, t)を、映像入力部１１から目的色信号Ig(x, y, t)以外の色信号Ir(x, y, t), Ib(x, y, t)を受け取り、それらの信号^Ig(x, y, t), Ir(x, y, t), Ib(x, y, t)を組み合わせることで、強調映像信号^Ic(x, y, t)を生成する。映像合成部１５は、生成した強調映像信号^Ic(x, y, t)を映像合成装置１の出力とする。
　［第二実施形態］
　この発明の第二実施形態は、映像中の任意の時間周波数帯域における微小な運動を検出し、検出された微小な運動を強調した映像を合成する映像合成装置およびその方法である。第二実施形態の映像合成装置２は、図３に示すように、対象映像信号を入力とし、対象映像信号中の微小な運動を強調した強調映像信号を出力する。映像合成装置２は、映像入力部２１、信号変換部２２、フィルタ処理部２３、および映像合成部２４を備える。この映像合成装置２が図４に示す各ステップの処理を実行することにより、第二実施形態の映像合成方法が実現される。
　以下、図４を参照して、第二実施形態の映像合成装置２が実行する映像合成方法について説明する。
　映像合成装置２には、対象映像信号が入力される。本実施形態では、対象映像信号はＹＩＱ信号であるものとし、式（14）で表されるものとする。
Figure JPOXMLDOC01-appb-M000014
　ここで、(x, y)はピクセル位置、tは時間フレームのインデックスを表す。映像合成装置２に入力された対象映像信号Ic(x, y, t)は、映像入力部２１へ入力される。
　ステップＳ２１において、映像入力部２１は、入力された対象映像信号Ic(x, y, t)から、輝度信号Iy(x, y, t)を選択する。映像入力部２１は、輝度信号Iy(x, y, t)を信号変換部２２へ出力し、輝度信号Iy(x, y, t)以外の信号Ii(x, y, t), Iq(x, y, t)を映像合成部２４へ出力する。
　ステップＳ２２において、信号変換部２２は、映像入力部２１から輝度信号Iy(x, y, t)を受け取り、その輝度信号Iy(x, y, t)を複数の帯域周波数ω∈Ωと複数の方向θ∈Θにおける解析信号に変換する。この解析信号は、式（15）で表される。
Figure JPOXMLDOC01-appb-M000015
　ここで、ある周波数ω、ある方向θの解析信号は、式（16）となる。
Figure JPOXMLDOC01-appb-M000016
　ここで、Rω,θ y(x, y, t)は解析信号、Aω,θ y(x, y, t)は振幅信号、φω,θ y(x, y, t)は位相信号を表す。ψω,θ(x, y)はCSF（Complex Steerable Filter）と呼ばれるフィルタ群である。なお、解析信号への変換手法は上記に限定されるものではなく、例えば、リース変換（Riesz Transform）を用いた変換を使用してもよい。
　信号変換部２２は、解析信号{Rω,θ y(x, y, t) | ω∈Ω,θ∈Θ}から映像中の局所的な運動を表す位相信号φω,θ y(x, y, t)を選択する。信号変換部２２は、選択した位相信号φω,θ y(x, y, t)をフィルタ処理部２３へ出力し、振幅信号Aω,θ y(x, y, t)を映像合成部２４へ出力する。
　ステップＳ２３において、フィルタ処理部２３は、信号変換部２２から位相信号φω,θ y(x, y, t)を受け取り、式（17）に示すように、ユーザが任意に選択した所定の強調率α∈Rおよび時間周波数ft∈Rに基づいて、位相信号φω,θ y(x, y, t)に対して自己加算型重み付き強調時間周波数バンドパスフィルタ処理を適用する。
Figure JPOXMLDOC01-appb-M000017
　ここで、^φω,θ y(x, y, t)はフィルタ処理部２３の出力であり、時間周波数ftにおける微小な位相信号のみを強調率αで強調した信号を元の位相信号に加算した強調位相信号を表す。式（17）のsLoG(k; σ)は式（10）である。式（17）のA(d; ε)は、位相信号の場合、式（18）～（20）のように定義される。
Figure JPOXMLDOC01-appb-M000018
　ここで、(2 ln 2)1/2σa=εωはフーリエ変換のシフト定理から導出されるものであり、ユーザが選択する局所的な運動εを周波数ωにおける位相信号εωに変換するものである。このように構成することで、ユーザが選択する局所的な運動εを基準にして、位相信号の変動量dがεωよりも大きすぎる場合には強調率が０になり、微小な位相信号のみを強調することが可能になる。
　また、δ(k)は式（21）で定義される。
Figure JPOXMLDOC01-appb-M000019
　これは、位相信号φω,θ y(x, y, t)をそのまま通過させるものである。結果として、式（17）は式（22）のように書き改めることができる。
Figure JPOXMLDOC01-appb-M000020
　すなわち、δ(k)によって、元の位相信号φω,θ y(x, y, t)にA(d; ε)sLoG(k; σ)による重み付き強調フィルタリング処理の結果を加算する手順を１個のフィルタ処理に統合していることになる。これにより、元の位相信号φω,θ y(x, y, t)をメモリ上に保存する必要性がなくなり、これに関連するメモリ使用量を２分の１に削減しつつ、位相信号φω,θ y(x, y, t)から強調位相信号^φω,θ y(x, y, t)へ直接的に変換することが可能になる。
　ステップＳ２４において、映像合成部２４は、信号変換部２２から振幅信号Aω,θ y(x, y, t)を、フィルタ処理部２３から強調位相信号^φω,θ y(x, y, t)を受け取り、式（23）～（24）により、微小な運動が強調された強調解析信号^Rω,θ y(x, y, t)を生成する。
Figure JPOXMLDOC01-appb-M000021
　次に、映像合成部２４は、強調解析信号^Rω,θ y(x, y, t)の集合から微小な運動のみが強調された強調輝度信号^Iy(x, y, t)を生成する。そして、映像合成部２４は、映像入力部２１から輝度信号Iy(x, y, t)以外の信号Ii(x, y, t), Iq(x, y, t)を受け取り、強調輝度信号^Iy(x, y, t)を信号Ii(x, y, t), Iq(x, y, t)と組み合わせることで、強調映像信号^Ic(x, y, t)を生成する。映像合成部２４は、生成した強調映像信号^Ic(x, y, t)を映像合成装置２の出力とする。
　［発明の効果］
　この発明では、映像中の微小な変化を強調する映像強調処理のアルゴリズムを単純化した。具体的には、従来のVideo Magnificationで実行される多段階的な処理を、単一のフィルタ処理に統合した。これにより、アルゴリズムの可読性を向上し、実装を容易にすることができた。また、単一のフィルタ処理に統合する中で、従来の多段階的な処理に含まれる各処理を見直すことで、Video Magnification自体の性能向上を行い、ユーザが期待する微小な色変化および運動を強調することを可能にし、かつ、強調時に発生するアーチファクトの発生を低減した。さらに、微小な運動を強調する場合には、メモリ使用量の節約も同時に実現した。
　以上、この発明の実施の形態について説明したが、具体的な構成は、これらの実施の形態に限られるものではなく、この発明の趣旨を逸脱しない範囲で適宜設計の変更等があっても、この発明に含まれることはいうまでもない。実施の形態において説明した各種の処理は、記載の順に従って時系列に実行されるのみならず、処理を実行する装置の処理能力あるいは必要に応じて並列的にあるいは個別に実行されてもよい。
　［プログラム、記録媒体］
　上記実施形態で説明した各装置における各種の処理機能をコンピュータによって実現する場合、各装置が有すべき機能の処理内容はプログラムによって記述される。そして、このプログラムを図５に示すコンピュータの記憶部１０２０に読み込ませ、演算処理部１０１０、入力部１０３０、出力部１０４０などに動作させることにより、上記各装置における各種の処理機能がコンピュータ上で実現される。
　この処理内容を記述したプログラムは、コンピュータで読み取り可能な記録媒体に記録しておくことができる。コンピュータで読み取り可能な記録媒体は、例えば、非一時的な記録媒体であり、磁気記録装置、光ディスク等である。
　また、このプログラムの流通は、例えば、そのプログラムを記録したDVD、CD-ROM等の可搬型記録媒体を販売、譲渡、貸与等することによって行う。さらに、このプログラムをサーバコンピュータの記憶装置に格納しておき、ネットワークを介して、サーバコンピュータから他のコンピュータにそのプログラムを転送することにより、このプログラムを流通させる構成としてもよい。
　このようなプログラムを実行するコンピュータは、例えば、まず、可搬型記録媒体に記録されたプログラムもしくはサーバコンピュータから転送されたプログラムを、一旦、自己の非一時的な記憶装置である補助記録部１０５０に格納する。そして、処理の実行時、このコンピュータは、自己の非一時的な記憶装置である補助記録部１０５０に格納されたプログラムを一時的な記憶装置である記憶部１０２０に読み込み、読み込んだプログラムに従った処理を実行する。また、このプログラムの別の実行形態として、コンピュータが可搬型記録媒体から直接プログラムを読み込み、そのプログラムに従った処理を実行することとしてもよく、さらに、このコンピュータにサーバコンピュータからプログラムが転送されるたびに、逐次、受け取ったプログラムに従った処理を実行することとしてもよい。また、サーバコンピュータから、このコンピュータへのプログラムの転送は行わず、その実行指示と結果取得のみによって処理機能を実現する、いわゆるASP（Application Service Provider）型のサービスによって、上述の処理を実行する構成としてもよい。なお、本形態におけるプログラムには、電子計算機による処理の用に供する情報であってプログラムに準ずるもの（コンピュータに対する直接の指令ではないがコンピュータの処理を規定する性質を有するデータ等）を含むものとする。
　また、この形態では、コンピュータ上で所定のプログラムを実行させることにより、本装置を構成することとしたが、これらの処理内容の少なくとも一部をハードウェア的に実現することとしてもよい。

Claims (8)

  1. 　入力映像から所定の解像度の色信号を抽出する信号変換部と、
    　前記色信号に対して重み付き強調時間周波数バンドパスフィルタを適用することで前記色信号に含まれる微小な色変化を強調した強調微小色信号を生成するフィルタ処理部と、
    　前記色信号と前記強調微小色信号とを用いて前記入力映像中の前記微小な色変化を強調した強調映像を合成する映像合成部と、
    　を含む映像合成装置。
  2. 　請求項１に記載の映像合成装置であって、
    　前記重み付き強調時間周波数バンドパスフィルタは、前記色信号の変動量dに基づいて所定の強調率αを重み付けする強調関数Aと、所定の時間周波数ftにおいて周波数応答が最大となるLoGフィルタからなる、
    　映像合成装置。
  3. 　請求項２に記載の映像合成装置であって、
    　前記重み付き強調時間周波数バンドパスフィルタは、2K+1を窓幅とし、k∈[-K, K]とし、εを前記色信号の値とし、σを前記LoGフィルタのパラメータとし、(2 ln 2)1/2σa=εとし、F2K+1[・]を一次元フーリエ変換として、次式で定義される、
    Figure JPOXMLDOC01-appb-M000001
    　映像合成装置。
  4. 　入力映像から所望の運動変化に対応する位相信号を抽出する信号変換部と、
    　前記位相信号に対して自己加算型重み付き強調時間周波数バンドパスフィルタを適用することで前記位相信号に含まれる微小な位相変化を強調した強調微小位相信号を生成するフィルタ処理部と、
    　前記位相信号と前記強調微小位相信号とを用いて前記入力映像中の微小な運動変化を強調した強調映像を合成する映像合成部と、
    　を含む映像合成装置。
  5. 　請求項４に記載の映像合成装置であって、
    　前記自己加算型重み付き強調時間周波数バンドパスフィルタは、2K+1を窓幅とし、k∈[-K, K]とし、εωを周波数ωにおける前記位相信号の値とし、σを前記LoGフィルタのパラメータとし、(2 ln 2)1/2σa=εωとし、F2K+1[・]を一次元フーリエ変換として、次式で定義される、
    Figure JPOXMLDOC01-appb-M000002
    　映像合成装置。
  6. 　信号変換部が、入力映像から所定の解像度の色信号を抽出し、
    　フィルタ処理部が、前記色信号に対して重み付き強調時間周波数バンドパスフィルタを適用することで前記色信号に含まれる微小な色変化を強調した強調微小色信号を生成し、
    　映像合成部が、前記色信号と前記強調微小色信号とを用いて前記入力映像中の前記微小な色変化を強調した強調映像を合成する、
    　映像合成方法。
  7. 　信号変換部が、入力映像から所望の運動変化に対応する位相信号を抽出し、
    　フィルタ処理部が、前記位相信号に対して自己加算型重み付き強調時間周波数バンドパスフィルタを適用することで前記位相信号に含まれる微小な位相変化を強調した強調微小位相信号を生成し、
    　映像合成部が、前記位相信号と前記強調微小位相信号とを用いて前記入力映像中の微小な運動変化を強調した強調映像を合成する、
    　映像合成方法。
  8. 　請求項１から５のいずれかに記載の映像合成装置としてコンピュータを機能させるためのプログラム。
PCT/JP2021/018210 2021-05-13 2021-05-13 映像合成装置、映像合成方法、およびプログラム Ceased WO2022239186A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2021/018210 WO2022239186A1 (ja) 2021-05-13 2021-05-13 映像合成装置、映像合成方法、およびプログラム
US18/558,094 US20240221120A1 (en) 2021-05-13 2021-05-13 Video synthesis apparatus, video synthesis method, and program
JP2023520683A JP7513206B2 (ja) 2021-05-13 2021-05-13 映像合成装置、映像合成方法、およびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2021/018210 WO2022239186A1 (ja) 2021-05-13 2021-05-13 映像合成装置、映像合成方法、およびプログラム

Publications (1)

Publication Number Publication Date
WO2022239186A1 true WO2022239186A1 (ja) 2022-11-17

Family

ID=84028043

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/018210 Ceased WO2022239186A1 (ja) 2021-05-13 2021-05-13 映像合成装置、映像合成方法、およびプログラム

Country Status (3)

Country Link
US (1) US20240221120A1 (ja)
JP (1) JP7513206B2 (ja)
WO (1) WO2022239186A1 (ja)

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9811901B2 (en) * 2012-09-07 2017-11-07 Massachusetts Institute Of Technology Linear-based Eulerian motion modulation
US9805475B2 (en) * 2012-09-07 2017-10-31 Massachusetts Institute Of Technology Eulerian motion modulation
US9756316B2 (en) * 2013-11-04 2017-09-05 Massachusetts Institute Of Technology Joint view expansion and filtering for automultiscopic 3D displays
CN109063763A (zh) * 2018-07-26 2018-12-21 合肥工业大学 基于pca的视频微小变化放大方法

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
HUSSAIN YOSSRA, SHKARA AHMED A.: "Speed up Eulerian Video Motion Magnification", KURDISTAN JOURNAL OF APPLIED RESEARCH, vol. 2, no. 3, 27 August 2017 (2017-08-27), pages 14 - 17, XP093007101, ISSN: 2411-7684, DOI: 10.24017/science.2017.3.14 *
TAKEDA SHOICHIRO; OKAMI KAZUKI; MIKAMI DAN; ISOGAI MEGUMI; KIMATA HIDEAKI: "Jerk-Aware Video Acceleration Magnification", 2018 IEEE/CVF CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION, IEEE, 18 June 2018 (2018-06-18), pages 1769 - 1777, XP033476141, DOI: 10.1109/CVPR.2018.00190 *
TAKEDA, SHOICHIRO ET AL.: "An analysis of video magnification effect on image change perception and gaze region", IEICE TECHNICAL REPORT AUDIO VISUAL AND MULTIMEDIA INFORMATION PROCESSING (AVM, 14 June 2019 (2019-06-14) *
WU XIU, YANG XUEZHI, JIN JING, YANG ZHAO: "Amplitude-Based Filtering for Video Magnification in Presence of Large Motion", SENSORS, vol. 18, no. 7, 17 July 2018 (2018-07-17), pages 2312, XP093007061, DOI: 10.3390/s18072312 *
YICHAO ZHANG; SILVIA L. PINTEA; JAN C. VAN GEMERT: "Video Acceleration Magnification", ARXIV.ORG, CORNELL UNIVERSITY LIBRARY, 201 OLIN LIBRARY CORNELL UNIVERSITY ITHACA, NY 14853, 13 April 2017 (2017-04-13), 201 Olin Library Cornell University Ithaca, NY 14853 , XP080762868, DOI: 10.1109/CVPR.2017.61 *

Also Published As

Publication number Publication date
US20240221120A1 (en) 2024-07-04
JPWO2022239186A1 (ja) 2022-11-17
JP7513206B2 (ja) 2024-07-09

Similar Documents

Publication Publication Date Title
US10491856B2 (en) Video frame interpolation using a convolutional neural network
US9324005B2 (en) Complex-valued phase-based eulerian motion modulation
US9338331B2 (en) Riesz pyramids for fast phase-based video magnification
JP5655108B2 (ja) 周波数アンラッピングによる画像リサンプリング
EP2529353A1 (en) Method and system for generating an output image of increased pixel resolution from an input image
Wei Image super‐resolution reconstruction using the high‐order derivative interpolation associated with fractional filter functions
CN114494022A (zh) 模型训练方法、超分辨率重建方法、装置、设备及介质
CN119314012B (zh) 基于空间频率协同网络的多光谱和高光谱图像融合方法
WO2010140281A1 (ja) 信号処理装置、信号処理装置の制御方法、制御プログラム、および該制御プログラムを記録したコンピュータ読み取り可能な記録媒体
US20060034533A1 (en) System and method for producing a higher resolution still image from video information
JP2008529151A (ja) 複数解像度の画像フィルタリングに関するピラミッド分解
Fahmy et al. Micro‐movement magnification in video signals using complex wavelet analysis
KR20230111885A (ko) 이미지 복원 방법 및 장치
Sidike et al. A fast single-image super-resolution via directional edge-guided regularized extreme learning regression
WO2022239186A1 (ja) 映像合成装置、映像合成方法、およびプログラム
CN119072712A (zh) 图像处理设备及其操作方法
CN113470616A (zh) 语音处理方法和装置以及声码器和声码器的训练方法
JP2019087126A (ja) 画像処理装置、画像処理方法及び画像処理プログラム
KR20150090515A (ko) 고주파수 성분의 위상 변조를 통한 영상 질감 향상 방법 및 그 장치
JP7723363B2 (ja) 虹彩認証装置、虹彩認証システム、虹彩認証方法、及び、記録媒体
Shao et al. Partition-based interpolation for color filter array demosaicking and super-resolution reconstruction
KR20160091222A (ko) 영상 처리 장치 및 영상 처리 방법
CN111667430B (zh) 图像的处理方法、装置、设备以及存储介质
CN117114981A (zh) 超分网络参数调整方法、装置、设备、介质及程序产品
Brown et al. Solid Harmonic Wavelet Bispectrum for Image Analysis

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21941919

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2023520683

Country of ref document: JP

WWE Wipo information: entry into national phase

Ref document number: 18558094

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 21941919

Country of ref document: EP

Kind code of ref document: A1