JP5071900B2 - 画像生成装置およびその方法 - Google Patents
画像生成装置およびその方法 Download PDFInfo
- Publication number
- JP5071900B2 JP5071900B2 JP2008048753A JP2008048753A JP5071900B2 JP 5071900 B2 JP5071900 B2 JP 5071900B2 JP 2008048753 A JP2008048753 A JP 2008048753A JP 2008048753 A JP2008048753 A JP 2008048753A JP 5071900 B2 JP5071900 B2 JP 5071900B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- images
- area
- region
- corresponding points
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
Description
本実施形態では、本願発明の原理を用いてニューラルネットワークを用いて複数画像間のそれぞれの対応点を抽出し、対応点同士を線形補完して任意の場所の中間画像を生成するため、以下まず本願発明の原理について説明する。ここで、本願発明の対応点取得処理が極めて有効であるため、中間画像生成に当たって、線形補間により十分に適切でより実際の動きに近い動画像が得られるが、これに限られることなく本技術分野で知られるいずれの補間処理を採用することもできる。例えば、適当な重み付けなどをして処理を行うことができる。
本実施形態のシステムは、上述のソフトウェアプログラム開発手法を用いたプログラム開発を支援する画像移動算出処理装置である。図2は、本実施形態のシステムの概要を示す図である。本システムでは、画像移動処理装置の制御部201に記憶手段であるデータベース204が接続されており、元の画像データが格納されていて、中間画像が算出されると必要であれば格納される。データベース204には本実施形態の処理を実行するプログラムを格納しておくこともできる。本実施形態では、データベース204は、制御部201の外部に接続されているように示されているが、これに限られることなくコンピュータ201内部のメモリを用いたり、図に示さないネットワークを介して他のデータベースに接続して利用したりすることもできる。
以上、本願発明の原理と本実施形態で用いられるシステムの構成について説明したが、次に具体的に本願発明の原理を適用した処理について2つの画像、最初の画像Aおよび最後の画像Bを例に説明する。本実施例では、画像AおよびBから中間画像を算出して画像Aから始まって画像Bで終了する動画像が生成されることとなる。
図4は、本実施形態の画像移動算出処理の流れを示すフローチャートである。本実施形態ではまず、所与の画像をいずれかの解像度で分割し、ニューラルネットワークによる学習により対応領域を抽出しつつ、解像度を高めていって対応点を抽出する。このため、最初はM×Nの解像度で処理を進めることとし、2つの画像をM×N個の重ならない矩形領域に分割する(S401)。ここで、便宜上分割される領域は矩形としたが、これに限られずいずれの形態の領域にも分割することができる。分割された各領域について、その領域の特徴を示す特徴量を算出する。ここで、特徴量は本技術分野で使用することができるいずれの特徴を表す値を用いることができるが、本実施形態では主に輝度または輝度に対応する性質をあらわすいずれかの値の、その領域内での平均値、最大値、最小値、変極点の値、微分値、二次微分値などの数値のいずれか、あるいはいくつかを組み合わせたものを使用する。
次に各領域をニューラルネットワークのノードに置き換えて、特徴量ベクトルFi,jなどを属性として有するノードとすることにより、これらの自己組織化写像を作成して適切なノードを探索し、その結果をもとにノードを更新する処理を、更新による変位が一定範囲内となるまで繰り返すことにより適切な対応領域を抽出する。
先ず図4のステップS402において、図5に示すようにM×N個に分割した領域に対応するようにM×Nのノードからなる自己組織化写像を作成すると、ノードi,jは特徴量ベクトルFi,jおよび位置ベクトル位置Xi,jおよび位置Yi,jを属性として有することとなる。ここで、まずXi,j=Yi,jを初期状態とする。すなわち、処理を開始する時点では、2つの画像は同一位置を対応点とし、その画像の状態により実際に対応する点に近づけていくのである。すなわち、初期段階では、図5に示すように画像Aに対応する画像B上の点は同じ場所になっているが、本実施形態の処理が行われる結果、画像Aに対応する点は画像B’上に対応付けできるようになる。
次に、画像Bで分割した矩形領域からランダムに処理の対象とする領域を選択する(S404)。実際には、画像B全体としてランダムに選択することにより、対応するノードが選択されそのノードについて後述する処理が実行される。選択された領域について対応点を抽出した後、さらに他の領域を選択して最終的に画像Bの前領域を網羅することになるが、本実施形態ではこの選択はランダムに行われる必要がある。すなわち、本実施形態では領域の選択に規則性を持たせると、領域によっては学習により本来の対応点と異なる点に収束し局所解になる可能性があるため、これを避けるようにランダムに選択する必要があるのである。使用する乱数は完全にランダムである必要はなく擬似乱数でも良く、一定のランダムさを有していれば良い。
もっともらしい対応点に近づけるため、選択されたノードについての特徴量の所定の関数の値が最小となるノードを探索する(S405)。すなわち、特徴量に基づいて2つの画像で関連性がありそうな対応点を探索するため一定の類似度を示す関数を設定しその値が一定の値になるように処理していく。具体的には、本実施形態では類似関数Di,j(DPi,j(b)i,j,DFi,j(b))として、例えば以下のような値を用いる(類似関数Di,jは、類似するほど、すなわち類似度が高いほど低い値をとる関数である)。ここで、DPi,jは、現在の対応点と探索すべきノードとの位置ベクトル間の距離、すなわち幾何空間における距離を示しており、例えばL2ノルム||Pb-Yi,j||とすることができる。また、DFi,jは現在の対応点と探索すべきノードとの特徴量ベクトル間の距離、例えば輝度空間あるいは色空間の距離を示しており、例えば
(II)Di,j= DPi,j(b)*(DFi,j(b))β : βは輝度空間の幾何空間に対する重み
類似関数として(I)または(II)のいずれかを任意に選択することができ、いずれも本願発明の実施に有効に供することができるが、(I)は線形になっているので比較的扱い易く効果も高いことが知られている。
類似関数の値が最小となるよう探索されたノードI,J=arg min Di,j (b)およびその隣接ノードを以下の式に基づき更新する(S406)。
Yi,j(t)= Yi,j(t-1)+αδ(Xi,j(t)- Yi,j(t-1)) (2)
以上の処理により元の複数画像について対応点を定めることができると、この情報に基づいて様々な画像処理が可能となる。本実施形態では、本願発明の種々の応用分野の中で、最も簡易なものとして、特に2枚の画像から画像と画像の間の中間画像の算出を行う。中間画像が得られれば、複数の静止画像として出力することもでき、毎秒一定数のこまを出力して動画を生成することもできる。例えば、上述したように画像Aと画像Bとのそれぞれの対応点が抽出され、それらの対応点同士を結ぶ線上の中間点をプロットすると、中間画像上で画像AおよびBの各対応点に対応する点は両点を結ぶ線分の中間点となる。このような中間点のような中間画像上の点を算出してプロットしていくと中間画像が生成される。中間点を取ると真ん中の画像となるが、対応点間を結ぶ線分の任意の比率となる点をプロットしていくことにより画像AとBとの間の任意の位置における中間画像を得ることができるわけである。
上述の第1実施形態では、本願発明を予め与えられた複数の画像に適用して中間画像や、動画像を生成するものであったが、本実施形態では、インターネットにより接続されたサーバにクライアント装置がアクセスすることにより、サーバ内に有する複数の画像から中間画像を生成してクライアント装置に提供するものである。
202 画面
203 入力部
204 データベース
103 ネットワーク
104 サーバ
301 特徴量抽出部
302 対応点抽出部
303 中間画像抽出部
Claims (8)
- ニューラルネットワークにより2つの画像間の対応点を抽出して画像を生成する方法であって、
前記2つの画像を各々相互に重ならない複数の、M×N個の矩形領域である領域に分割して、当該分割された領域のそれぞれにおける、該領域内の輝度を含む特徴量ベクトルを算出する特徴量算出ステップと、
第1の画像の任意の1つの領域について、位置ベクトル間の距離と前記算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第2の画像の領域を探索する領域探索と、前記任意の1つの領域について探索された領域と、探索前の領域との空間差異により2つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより2つの画像間の対応点を抽出し、さらにM×N個よりも高い解像度で1回以上当該抽出を繰り返して該対応点を抽出する抽出ステップと、
前記抽出された2つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得するステップと
を備えたことを特徴とする方法。 - 前記抽出ステップは、前記M×N個の矩形領域に各々対応して作成されたM×N個のノードからなる自己組織化写像を用いて前記2つの画像間の対応点を抽出することを特徴とする請求項1に記載の方法。
- 前記探索関数は、前記位置ベクトル間の距離と、前記算出された特徴量ベクトル間の距離に特徴量の位置に対する重みを乗算した値とを加算する関数であることを特徴とする請求項1または2に記載の方法。
- 前記抽出ステップは、前記第1の画像の任意の1つの領域をランダムに選択することを特徴とする請求項1ないし3のいずれかに記載の方法。
- 前記マッピング情報生成は、前記探索した第2の画像の領域およびその近傍について、前記第1の画像の対応する領域との距離に学習率定数を乗じた値だけ当該対応する方向に移動させて、第1の画像の領域と対応する第2の画像の領域との関係をマッピング情報として生成することにより実行することを特徴とする請求項1ないし4のいずれかに記載の方法。
- 前記抽出ステップは、前記領域探索およびマッピング情報生成を、前記マッピング生成で移動した移動量が所定の閾値以下になるまで繰り返すことを特徴とする請求項5に記載の方法。
- ニューラルネットワークにより2つの画像間の対応点を抽出して画像を生成する画像生成装置であって、
前記2つの画像を各々相互に重ならない複数の、M×N個の矩形領域である領域に分割して、当該分割された領域のそれぞれにおける、該領域内の輝度を含む特徴量ベクトルを算出する特徴量算出手段と、
第1の画像の任意の1つの領域について、位置ベクトル間の距離と前記算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第2の画像の領域を探索する領域探索と、前記任意の1つの領域について探索された領域と、探索前の領域との空間差異により2つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより2つの画像間の対応点を抽出し、さらにM×N個よりも高い解像度で1回以上当該抽出を繰り返して該対応点を抽出する抽出手段と、
前記抽出された2つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得する手段と
を備えたことを特徴とする画像生成装置。 - コンピュータに、ニューラルネットワークにより2つの画像間の対応点を抽出して画像を生成する方法を実行させるプログラムであって、前記方法は、
前記2つの画像を各々相互に重ならない複数の、M×N個の矩形領域である領域に分割して、当該分割された領域のそれぞれにおける、該領域内の輝度を含む特徴量ベクトルを算出する特徴量算出ステップと、
第1の画像の任意の1つの領域について、位置ベクトル間の距離と前記算出された特徴量ベクトル間の距離とを引数とする探索関数の値が最小となる第2の画像の領域を探索する領域探索と、前記任意の1つの領域について探索された領域と、探索前の領域との空間差異により2つの画像間の対応関係マッピング情報を生成するマッピング情報生成とを複数回繰り返すことにより2つの画像間の対応点を抽出し、さらにM×N個よりも高い解像度で1回以上当該抽出を繰り返して該対応点を抽出する抽出ステップと、
前記抽出された2つの画像間の任意の画像における各々の対応点の移動量を算出することにより中間画像を取得するステップと
を備えたことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008048753A JP5071900B2 (ja) | 2008-02-28 | 2008-02-28 | 画像生成装置およびその方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2008048753A JP5071900B2 (ja) | 2008-02-28 | 2008-02-28 | 画像生成装置およびその方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2009205553A JP2009205553A (ja) | 2009-09-10 |
JP5071900B2 true JP5071900B2 (ja) | 2012-11-14 |
Family
ID=41147717
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2008048753A Expired - Fee Related JP5071900B2 (ja) | 2008-02-28 | 2008-02-28 | 画像生成装置およびその方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5071900B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10115032B2 (en) * | 2015-11-04 | 2018-10-30 | Nec Corporation | Universal correspondence network |
JP6924128B2 (ja) * | 2017-11-24 | 2021-08-25 | Kddi株式会社 | モーフィング画像生成装置及びモーフィング画像生成方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001268431A (ja) * | 2000-01-11 | 2001-09-28 | Fujitsu Ltd | 補正画像生成装置,補正画像生成方法,補正画像生成用プログラム記録媒体および補正画像生成用プログラム |
JP4382744B2 (ja) * | 2005-11-25 | 2009-12-16 | 日本電信電話株式会社 | 画像情報抽出方法及び画像情報検索方法及びプログラム |
JP4740038B2 (ja) * | 2006-05-30 | 2011-08-03 | 富士重工業株式会社 | 画像処理装置 |
-
2008
- 2008-02-28 JP JP2008048753A patent/JP5071900B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2009205553A (ja) | 2009-09-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN110163640B (zh) | 一种在视频中植入广告的方法及计算机设备 | |
US8624901B2 (en) | Apparatus and method for generating facial animation | |
US8154544B1 (en) | User specified contact deformations for computer graphics | |
CN109583509B (zh) | 数据生成方法、装置及电子设备 | |
CN117256019A (zh) | 用于视频动作识别的多分辨率注意力网络 | |
US20230342592A1 (en) | Controlling a neural network through intermediate latent spaces | |
JP2007000205A (ja) | 画像処理装置及び画像処理方法並びに画像処理プログラム | |
JP6448839B1 (ja) | 画像生成装置、画像生成器、画像識別器、画像生成プログラム、及び、画像生成方法 | |
Ahmadi et al. | Context-aware saliency detection for image retargeting using convolutional neural networks | |
JP2020507824A (ja) | 電子装置及びその制御方法 | |
JP7437738B2 (ja) | 機械学習システム、学習用データセット生成システム、及び機械学習プログラム | |
JP2019204476A (ja) | 画像生成装置、画像生成方法及びプログラム | |
US20220285024A1 (en) | Facilitating interpretability of classification model | |
JP2020177495A (ja) | 動画生成装置、動画生成方法、プログラム、記憶媒体 | |
Houdard et al. | Wasserstein generative models for patch-based texture synthesis | |
US20230290132A1 (en) | Object recognition neural network training using multiple data sources | |
JP5071900B2 (ja) | 画像生成装置およびその方法 | |
KR20230028481A (ko) | 공간 인식 조건부 gan들을 이용하는 고해상도 제어가능한 얼굴 노화 | |
CN114762004A (zh) | 数据生成方法、数据生成装置、模型生成方法、模型生成装置及程序 | |
AU2019200269B2 (en) | An interactive user interface and its corresponding engine for improving image completion quality | |
CN114663980A (zh) | 行为识别方法、深度学习模型的训练方法及装置 | |
JP2019220133A (ja) | 画像生成装置、画像生成器、画像識別器、画像生成プログラム、及び、画像生成方法 | |
Lee et al. | CartoonModes: Cartoon stylization of video objects through modal analysis | |
JP7497791B2 (ja) | 画像生成支援装置 | |
US9240062B2 (en) | Node arranging apparatus, node arranging method, and storage medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20110204 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120313 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120323 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120522 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120615 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120803 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120813 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5071900 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150831 Year of fee payment: 3 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |