JP5999454B2 - 画像処理装置および方法、並びにプログラム - Google Patents
画像処理装置および方法、並びにプログラム Download PDFInfo
- Publication number
- JP5999454B2 JP5999454B2 JP2014507772A JP2014507772A JP5999454B2 JP 5999454 B2 JP5999454 B2 JP 5999454B2 JP 2014507772 A JP2014507772 A JP 2014507772A JP 2014507772 A JP2014507772 A JP 2014507772A JP 5999454 B2 JP5999454 B2 JP 5999454B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- moving image
- image
- transition
- frame sequence
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 125
- 238000000034 method Methods 0.000 title description 44
- 230000007704 transition Effects 0.000 claims description 370
- 239000000203 mixture Substances 0.000 claims description 28
- 230000008707 rearrangement Effects 0.000 claims description 23
- 238000002156 mixing Methods 0.000 claims description 20
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000011156 evaluation Methods 0.000 claims description 5
- 238000003672 processing method Methods 0.000 claims description 4
- 230000036961 partial effect Effects 0.000 description 85
- 239000000463 material Substances 0.000 description 39
- 230000008569 process Effects 0.000 description 21
- 230000002441 reversible effect Effects 0.000 description 20
- 238000005516 engineering process Methods 0.000 description 18
- 102100023927 Asparagine synthetase [glutamine-hydrolyzing] Human genes 0.000 description 15
- 101100380329 Homo sapiens ASNS gene Proteins 0.000 description 15
- 239000011159 matrix material Substances 0.000 description 14
- 230000033001 locomotion Effects 0.000 description 8
- 238000007792 addition Methods 0.000 description 7
- 230000014509 gene expression Effects 0.000 description 5
- 101100365087 Arabidopsis thaliana SCRA gene Proteins 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 4
- 230000002829 reductive effect Effects 0.000 description 4
- 102100034542 Acyl-CoA (8-3)-desaturase Human genes 0.000 description 3
- 101100100937 Giardia intestinalis TSP11 gene Proteins 0.000 description 3
- 101000848239 Homo sapiens Acyl-CoA (8-3)-desaturase Proteins 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- 239000000284 extract Substances 0.000 description 3
- 230000010354 integration Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000004519 manufacturing process Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000026058 directional locomotion Effects 0.000 description 1
- 230000008921 facial expression Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 230000008929 regeneration Effects 0.000 description 1
- 238000011069 regeneration method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
- H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/80—2D [Two Dimensional] animation, e.g. using sprites
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/18—Image warping, e.g. rearranging pixels individually
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/222—Studio circuitry; Studio devices; Studio equipment
- H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
- G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Image Analysis (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Studio Circuits (AREA)
- Television Signal Processing For Recording (AREA)
Description
[ループ動画像の生成について]
まず、ビデオテクスチャ技法によるループ動画像の生成について説明する。
それでは、以下において、本技術によるループ動画像の生成について説明していく。
次に、本技術を適用した具体的な実施の形態について説明する。
ところで、画像処理装置11に素材動画像が供給され、ループ動画像の生成が指示されると、画像処理装置11によりループ動画像生成処理が行なわれ、ループ動画像が生成される。以下、図11のフローチャートを参照して、画像処理装置11によるループ動画像生成処理について説明する。
第1の動画像と第2の動画像のうちの一方から他方へと画像が遷移する遷移動画像を生成する画像処理装置であって、
前記第1の動画像を構成するフレームの画像と、前記第2の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第1の動画像と前記第2の動画像のフレームペアを探索するマッチング処理部と、
時系列に並ぶ複数の前記フレームペアを、互いに隣接する前記フレームペアの前記第1の動画像のフレームの時間差および前記第2の動画像のフレームの時間差に基づいて、時間方向に再配置する再配置処理部と、
再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成するブレンド処理部と
を備える画像処理装置。
[2]
時系列に並ぶ複数の前記フレームペアの前記第1の動画像のフレームと前記第2の動画像のフレームは、それぞれ時系列の昇順または降順に並んでいる
[1]に記載の画像処理装置。
[3]
前記再配置処理部は、互いに隣接する前記フレームペアの前記第1の動画像のフレームの時間差と前記第2の動画像のフレームの時間差とを重み付き加算して得られる時間差で、互いに隣接する前記フレームペアが配置されるように、前記再配置を行なう
[2]に記載の画像処理装置。
[4]
前記重み付き加算に用いられる前記第1の動画像のフレームの時間差の重みは、互いに隣接する前記フレームペアの各前記第1の動画像のフレームの重みの平均値とされ、
前記第1の動画像の各フレームの重みは、前記第1の動画像の先頭側にあるフレームほど大きくなるように定められる
[3]に記載の画像処理装置。
[5]
前記マッチング処理部は、所定の前記フレームペアを起点として、前記第1の動画像に対する前記第2の動画像の再生速度を変化させたときに、同時に提示されるべき前記第1の動画像と前記第2の動画像のフレームのペアの前記類似の度合いに基づいて、いくつかの前記再生速度のフレームのペアのうちの何れかを前記所定の前記フレームペアに隣接する前記フレームペアとする
[1]乃至[4]の何れかに記載の画像処理装置。
[6]
前記マッチング処理部は、互いに長さの異なる複数の前記第1の動画像について、時系列に並ぶ複数の前記フレームペアを求め、
前記ブレンド処理部は、前記第1の動画像ごとに求めた複数の前記フレームペアのうち、各フレームについての前記類似の度合いに基づく評価が最も高いものを用いて前記遷移動画像を生成する
[1]乃至[5]の何れかに記載の画像処理装置。
[7]
前記遷移動画像に基づいてループ動画像を生成するループ動画像生成部をさらに備える
[1]乃至[6]の何れかに記載の画像処理装置。
Claims (8)
- 第1の動画像から第2の動画像へと画像が遷移する遷移動画像を生成する画像処理装置であって、
前記第1の動画像を構成するフレームの画像と、前記第2の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第1の動画像と前記第2の動画像のフレームペアを探索するマッチング処理部と、
前記第1の動画像の先頭側にあるフレームほど大きくなる、互いに隣接する前記フレームペアの前記第1の動画像のフレームの時間差の重みを用いて、互いに隣接する前記フレームペアの前記第1の動画像のフレームの時間差と前記第2の動画像のフレームの時間差とを重み付き加算して得られる時間差で、互いに隣接する前記フレームペアが配置されるように、時系列に並ぶ複数の前記フレームペアを時間方向に再配置する再配置処理部と、
再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成するブレンド処理部と
を備える画像処理装置。 - 時系列に並ぶ複数の前記フレームペアの前記第1の動画像のフレームと前記第2の動画像のフレームは、それぞれ時系列の昇順または降順に並んでいる
請求項1に記載の画像処理装置。 - 前記重み付き加算に用いられる前記第1の動画像のフレームの時間差の重みは、互いに隣接する前記フレームペアの各前記第1の動画像のフレームの重みの平均値とされ、
前記第1の動画像の各フレームの重みは、前記第1の動画像の先頭側にあるフレームほど大きくなるように定められる
請求項1に記載の画像処理装置。 - 前記マッチング処理部は、所定の前記フレームペアを起点として、前記第1の動画像に対する前記第2の動画像の再生速度を変化させたときに、同時に提示されるべき前記第1の動画像と前記第2の動画像のフレームのペアの前記類似の度合いに基づいて、いくつかの前記再生速度のフレームのペアのうちの何れかを前記所定の前記フレームペアに隣接する前記フレームペアとする
請求項2に記載の画像処理装置。 - 前記マッチング処理部は、互いに長さの異なる複数の前記第2の動画像について、時系列に並ぶ複数の前記フレームペアを求め、
前記ブレンド処理部は、前記第2の動画像ごとに求めた複数の前記フレームペアのうち、各フレームについての前記類似の度合いに基づく評価が最も高いものを用いて前記遷移動画像を生成する
請求項2に記載の画像処理装置。 - 前記遷移動画像に基づいてループ動画像を生成するループ動画像生成部をさらに備える
請求項2に記載の画像処理装置。 - 第1の動画像から第2の動画像へと画像が遷移する遷移動画像を生成する画像処理方法であって、
前記第1の動画像を構成するフレームの画像と、前記第2の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第1の動画像と前記第2の動画像のフレームペアを探索し、
前記第1の動画像の先頭側にあるフレームほど大きくなる、互いに隣接する前記フレームペアの前記第1の動画像のフレームの時間差の重みを用いて、互いに隣接する前記フレームペアの前記第1の動画像のフレームの時間差と前記第2の動画像のフレームの時間差とを重み付き加算して得られる時間差で、互いに隣接する前記フレームペアが配置されるように、時系列に並ぶ複数の前記フレームペアを時間方向に再配置し、
再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成する
ステップを含む画像処理方法。 - 第1の動画像から第2の動画像へと画像が遷移する遷移動画像を生成する画像処理用のプログラムであって、
前記第1の動画像を構成するフレームの画像と、前記第2の動画像を構成するフレームの画像との類似の度合いに基づいて、画像が類似する前記第1の動画像と前記第2の動画像のフレームペアを探索し、
前記第1の動画像の先頭側にあるフレームほど大きくなる、互いに隣接する前記フレームペアの前記第1の動画像のフレームの時間差の重みを用いて、互いに隣接する前記フレームペアの前記第1の動画像のフレームの時間差と前記第2の動画像のフレームの時間差とを重み付き加算して得られる時間差で、互いに隣接する前記フレームペアが配置されるように、時系列に並ぶ複数の前記フレームペアを時間方向に再配置し、
再配置された前記フレームペアを構成する各フレームの画像をブレンドして前記遷移動画像のフレームの画像とすることで、前記遷移動画像を生成する
ステップを含む処理をコンピュータに実行させるプログラム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012080973 | 2012-03-30 | ||
JP2012080973 | 2012-03-30 | ||
PCT/JP2013/057994 WO2013146508A1 (ja) | 2012-03-30 | 2013-03-21 | 画像処理装置および方法、並びにプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013146508A1 JPWO2013146508A1 (ja) | 2015-12-14 |
JP5999454B2 true JP5999454B2 (ja) | 2016-09-28 |
Family
ID=49259765
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014507772A Expired - Fee Related JP5999454B2 (ja) | 2012-03-30 | 2013-03-21 | 画像処理装置および方法、並びにプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US9344643B2 (ja) |
JP (1) | JP5999454B2 (ja) |
CN (1) | CN104205807B (ja) |
WO (1) | WO2013146508A1 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6157758B2 (ja) * | 2014-12-12 | 2017-07-05 | 三菱電機株式会社 | 情報処理装置及び動画再生方法及び動画再生プログラム |
JP7009997B2 (ja) * | 2015-12-04 | 2022-01-26 | 日本電産株式会社 | 動画生成システムおよび動画表示システム |
JP6411991B2 (ja) * | 2015-12-16 | 2018-10-24 | 日本電信電話株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
JP7246236B2 (ja) * | 2019-04-12 | 2023-03-27 | 株式会社ソニー・インタラクティブエンタテインメント | 画像処理装置および画像表示方法 |
CN111783567B (zh) * | 2020-06-16 | 2023-07-25 | 西安外事学院 | 一种基于极值标识的时间序列分类方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003216975A (ja) * | 2002-01-17 | 2003-07-31 | Sony Corp | 動作情報処理装置及び動作情報処理方法、記憶媒体、並びにコンピュータ・プログラム |
CN101373590B (zh) * | 2004-05-19 | 2014-01-22 | 索尼电脑娱乐公司 | 图像帧处理方法及向各种显示器显示活动图像的设备 |
WO2007129367A1 (ja) | 2006-04-25 | 2007-11-15 | Mitsubishi Denki Kabushiki Kaisha | 画像合成装置および画像合成方法 |
JP5123643B2 (ja) * | 2007-11-12 | 2013-01-23 | ルネサスエレクトロニクス株式会社 | 映像処理装置 |
JP5111088B2 (ja) * | 2007-12-14 | 2012-12-26 | 三洋電機株式会社 | 撮像装置及び画像再生装置 |
JP5510012B2 (ja) * | 2010-04-09 | 2014-06-04 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5553152B2 (ja) * | 2010-04-09 | 2014-07-16 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP2012044407A (ja) * | 2010-08-18 | 2012-03-01 | Sony Corp | 画像処理装置および方法、並びにプログラム |
JP5733565B2 (ja) * | 2011-03-18 | 2015-06-10 | ソニー株式会社 | 画像処理装置および方法、並びにプログラム |
JP5924127B2 (ja) * | 2012-05-24 | 2016-05-25 | カシオ計算機株式会社 | 動画生成装置、動画生成方法、及び、プログラム |
JP5874538B2 (ja) * | 2012-06-01 | 2016-03-02 | カシオ計算機株式会社 | 動画生成装置、動画生成方法、及び、プログラム |
-
2013
- 2013-03-21 CN CN201380016103.0A patent/CN104205807B/zh not_active Expired - Fee Related
- 2013-03-21 WO PCT/JP2013/057994 patent/WO2013146508A1/ja active Application Filing
- 2013-03-21 JP JP2014507772A patent/JP5999454B2/ja not_active Expired - Fee Related
- 2013-03-21 US US14/386,942 patent/US9344643B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US20150304573A1 (en) | 2015-10-22 |
CN104205807B (zh) | 2017-06-06 |
US9344643B2 (en) | 2016-05-17 |
CN104205807A (zh) | 2014-12-10 |
JPWO2013146508A1 (ja) | 2015-12-14 |
WO2013146508A1 (ja) | 2013-10-03 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5999454B2 (ja) | 画像処理装置および方法、並びにプログラム | |
US11587319B2 (en) | Gating model for video analysis | |
JP6264081B2 (ja) | ビデオのセグメントを選択するプログラム、方法、及びシステム、及び、メディアクリップのセグメントを選択するプログラム | |
US9167221B2 (en) | Methods and systems for video retargeting using motion saliency | |
JP6713141B1 (ja) | レイアウト解析方法、読書補助装置、回路及び媒体 | |
US11379519B2 (en) | Query response device and method | |
US8717504B2 (en) | Picture processing apparatus, processing method for use therewith, and program | |
EP2966645B1 (en) | Method, apparatus and computer program product for editing media content | |
JP4930564B2 (ja) | 画像表示装置及び方法並びにプログラム | |
CN110910479B (zh) | 视频处理方法、装置、电子设备及可读存储介质 | |
US20130064473A1 (en) | Image processing apparatus, method and program | |
US10425658B2 (en) | Image block-based matching method and system, and video processing device | |
JP6671673B1 (ja) | レイアウト解析方法、読書補助装置、回路及び媒体 | |
WO2023093851A1 (zh) | 图像裁剪方法、装置及电子设备 | |
JP6917788B2 (ja) | 要約映像生成装置及びプログラム | |
CN113923378A (zh) | 视频处理方法、装置、设备及存储介质 | |
JP2008084021A (ja) | 動画シナリオ生成方法、プログラムおよび装置 | |
CN114885144B (zh) | 基于数据融合的高帧率3d视频生成方法及装置 | |
CN114666656A (zh) | 视频剪辑方法、装置、电子设备及计算机可读介质 | |
KR101969230B1 (ko) | 학습을 이용한 모션 인식 장치 및 방법과 이에 대한 기록 매체 | |
JP2005175839A (ja) | 画像表示装置、画像表示方法、プログラムおよび記憶媒体 | |
CN116112762A (zh) | 一种基于元学习的补充数据下的说话视频生成方法 | |
JP2023003442A (ja) | 手話教材用画像生成装置及びそのプログラム | |
JP5272695B2 (ja) | ワイプ形状生成装置およびワイプ形状生成方法 | |
KR20240024536A (ko) | 다중 합성을 통해 이목구비를 변형하는 방법, 컴퓨터 장치, 및 컴퓨터 프로그램 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160308 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160804 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160817 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 5999454 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |