JP5642583B2 - 画像生成装置および画像生成プログラム - Google Patents

画像生成装置および画像生成プログラム Download PDF

Info

Publication number
JP5642583B2
JP5642583B2 JP2011024333A JP2011024333A JP5642583B2 JP 5642583 B2 JP5642583 B2 JP 5642583B2 JP 2011024333 A JP2011024333 A JP 2011024333A JP 2011024333 A JP2011024333 A JP 2011024333A JP 5642583 B2 JP5642583 B2 JP 5642583B2
Authority
JP
Japan
Prior art keywords
image
source
morphing
value
images
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011024333A
Other languages
English (en)
Other versions
JP2012164152A5 (ja
JP2012164152A (ja
Inventor
強福 趙
強福 趙
政勲 謝
政勲 謝
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
University of Aizu
Original Assignee
University of Aizu
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by University of Aizu filed Critical University of Aizu
Priority to JP2011024333A priority Critical patent/JP5642583B2/ja
Priority to CN2012100108657A priority patent/CN102629370A/zh
Publication of JP2012164152A publication Critical patent/JP2012164152A/ja
Publication of JP2012164152A5 publication Critical patent/JP2012164152A5/ja
Application granted granted Critical
Publication of JP5642583B2 publication Critical patent/JP5642583B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)

Description

本発明は、画像生成装置および画像生成プログラムに関し、より詳細には、3枚以上のソース画像に基づいて全ての画像の部分的特徴を備えたモーフィング画像を生成するための画像生成装置および画像生成プログラムに関する。
従来より、2枚の画像から両方の画像の部分的特徴を備えつつ違和感のない新たな画像を生成する技術としてモーフィング画像生成方法が知られている(例えば、特許文献1参照)。
モーフィング画像を生成するための2枚の画像のうち、一方の画像を第一画像、他方の画像を第二画像とする。モーフィング画像の生成を行う場合には、モーフィング画像に違和感を生じさせないようにするため、第一画像と第二画像とにおいて共通する特徴データを定義する必要がある。この共通する特徴データは、第一画像と第二画像と特徴点や特徴線(これを、特徴ベクトルという)を元に定義する。
例えば第一画像および第二画像が画像である場合において、特徴線を特徴ベクトルとして利用する場合には、それぞれの画像の目のライン、鼻のライン、口の輪郭、眉毛のライン、顔の輪郭等の共通する特徴部分が、画像の特徴ベクトルとして定義できる
このようにして定義された第一画像の特徴ベクトルと第二画像の特徴ベクトルのうち、それぞれ対応する特徴量を抽出して、対応箇所の値をm:1−m(但し、0≦m≦1)の割合で調整した中間特徴量(モーフィング画像の特徴ベクトルに該当する)を算出する。ここで、中間特徴量を算出するために設定されるmの値をモーフィング率と呼ぶ。モーフィング率は、対応する特徴量毎に異なる値であってもよく、また同一の値を用いることも可能である。このように算出した特徴量をまとめて中間特徴ベクトルという。
第一画像を中間特徴ベクトルに基づいて変換した画像(以下、第一画像のワープ画像という)を生成し、また、第二画像を中間特徴ベクトルに基づいて変換した画像(以下、第二画像のワープ画像という)を生成する。このように第一画像のワープ画像と第二画像のワープ画像とを生成することによって、モーフィング処理に用いられる画像の特徴位置を共通にすることが可能となる。
そして、第一画像のワープ画像と第二画像のワープ画像との画素値モーフィング率に応じて調整し、最終的に、調整後の第一画像のワープ画像と第二画像のワープ画像との画素値を足し合わせることによって違和感のないモーフィング画像を合成(生成することが可能となる。
特開2007−219230号公報
このようなモーフィング技術を利用することにより、2枚の画像から、違和感のないモーフィング画像を生成することができる。例えば、2枚の画像が人間の顔画像の場合には、2枚の顔画像のそれぞれの部分的特徴を備えながら、その2枚の顔画像とは異なる顔画像であって、見た目に違和感のない顔画像を生成することが可能となる。
特に、今日では、例えば携帯電話における電話帳設定データに該当者の画像データを記録したり、Twitter(登録商標)においてそのユーザ画像で示したり、ネットワーク上の仮想空間において操作されるアバターに顔画像を付加したりすることが多い。このため、ユーザ自身の画像(例えば、画像)でなく、そのユーザの部分的特徴を備えた他の画像を生成して使用したいというニーズが多く存在する。モーフィング技術を使用することによって、ユーザに類似する他の画像を生成することは、このニーズに合致するものである。
ここで、ユーザの顔画像に基づいてモーフィング画像を生成するためには、ユーザの顔画像だけでなく他人の顔画像(上述した第一画像がユーザの顔画像である場合には、第二画像が他人の顔画像となる。この画像を目標画像という。)が必要となる。しかしながら、昨今の個人情報保護や肖像権保護の強まりなどもあって、目標画像として他人の顔画像をそのまま使用することが困難であった。
さらに、モーフィング画像を生成するための目標画像として、さらに他の2枚の顔画像に基づいて生成されたモーフィング画像を利用することも考えられるが、今日のモーフィング技術では、2枚の画像に基づいてモーフィング画像を生成するため、上述したニーズに対応するような多数の目標画像を生成することが容易ではないという問題があった。
一方で、複数枚の顔画像に基づいてモーフィング画像を生成することができれば、複数の顔画像の組み合わせに応じて異なるモーフィング画像を多数生成することができる。しかしながら、今日のモーフィング技術は、2枚の画像に基づいてモーフィング画像を生成するものであるため、このようなニーズに対応することが困難であった。
また、2枚の顔画像だけでなく、複数(3枚以上)の顔画像に基づいて、各顔画像の部分的特徴を備えた顔画像を生成したいというニーズも存在する。例えば、特定の人間の顔の特徴だけがモーフィング画像に反映されないように、2枚の画像だけでなく、多くの画像を用いて、1枚のモーフィング画像を生成させたいニーズなども存在していた。
本発明は上記課題に鑑みてなされたものであり、複数の画像に基づいてモーフィング画像を生成することが可能な画像生成装置および画像生成プログラムを提供することを課題とする。
上記課題を解決するために、本発明に係る画像生成装置は、3枚以上のソース画像と各ソース画像の特徴ベクトルとに基づいてモーフィング画像を生成する画像生成装置であって、ソース画像の枚数に対応する数だけ用意された設定値を、前記ソース画像のそれぞれに対応づけて割り当てる設定値割当手段と、全ての設定値の和に対する各設定値の割合を求めることにより各ソース画像の貢献度を算出する貢献度算出手段と、各ソース画像の前記特徴ベクトルに対して、各ソース画像の貢献度の値を乗算することにより重み付きベクトルを求め、求められた全てのソース画像の重み付きベクトルを足し合わせることにより、前記モーフィング画像の特徴ベクトルを生成する特徴ベクトル生成手段と、生成された前記モーフィング画像の特徴ベクトルと、前記各ソース画像と、各ソース画像の前記特徴ベクトルとに基づいて、各ソース画像をそれぞれのワープ画像に変形するワープ画像生成手段と、ワープ画像の画素値献度に応じて調整し、調整後の各ワープ画像の画素値を足し合わせてモーフィング画像を生成するモーフィング画像生成手段とを備えることを特徴とする。
また、本発明に係る画像生成プログラムは、3枚以上のソース画像と各ソース画像の特徴ベクトルとに基づいてモーフィング画像を生成する画像生成プログラムであって、コンピュータに、ソース画像の枚数に対応する数だけ用意された設定値を、前記ソース画像のそれぞれに対応づけて割り当てさせる設定値割当機能と、全ての設定値の和に対する各設定値の割合を求めることにより各ソース画像の貢献度を算出させる貢献度算出機能と、各ソース画像の前記特徴ベクトルに対して、各ソース画像の貢献度の値を乗算することにより重み付きベクトルを求め、求められた全てのソース画像の重み付きベクトルを足し合わせることにより、前記モーフィング画像の特徴ベクトルを生成させる特徴ベクトル生成機能と、生成された前記モーフィング画像の特徴ベクトルと、前記各ソース画像と、各ソース画像の前記特徴ベクトルとに基づいて、各ソース画像をそれぞれのワープ画像に変形させるワープ画像生成機能と、ワープ画像の画素値献度に応じて調整し、調整後の各ワープ画像の画素値を足し合わせてモーフィング画像を生成させるモーフィング画像生成機能とを実行させるプログラムであることを特徴とする。
ここで、ソース画像とは、モーフィング画像を生成するために用いられる元の画像を意味する。また、ソース画像の特徴ベクトルとは、ソース画像を構成する特徴的なラインなどをベクトルで示したものを意味する。例えばソース画像が顔画像である場合には、顔の輪郭のライン、鼻のライン、目のラインなどをベクトルによって示したものがその一例として該当する。
また、モーフィング画像の特徴ベクトルとは、モーフィング画像を構成する特徴的なラインなどをベクトルで示したものを意味し、ソース画像の特徴ベクトルを、モーフィング画像の特徴ベクトルに基づいて調整した画像をワープ画像という。
本発明に係る画像生成装置および画像生成プログラムでは、ソース画像のそれぞれに対応づけて割り当てられる設定値の全ての和に対する各設定値の割合を求めることにより貢献度を求めることができる。この貢献度は、モーフィング画像を生成する場合に用いられる各ソース画像毎のモーフィング率として利用することができる。このため、複数のソース画像に基づいてモーフィング画像を生成する場合であっても、複数枚のソース画像におけるそれぞれのモーフィング率を貢献度として算出することが可能となる。
また、ソース画像の特徴ベクトルに対して各ソース画像の貢献度を乗算して重み付きベクトルを求め、全てのソース画像の重み付きベクトルを足しあわせることにより、モーフィング画像の特徴ベクトルを生成することができる。
従って、本発明に係る画像生成装置および画像生成プログラムによれば、複数枚のソース画像とそのソース画像の特徴ベクトルだけを用意すれば、モーフィング画像の生成に必要なモーフィング画像の特徴ベクトルを求めることができる。
このため、求められたモーフィング画像の特徴ベクトルと、各ソース画像と、各ソース画像の特徴ベクトルとに基づいて、各ソース画像をそれぞれのワープ画像に変形し、変形された各ワープ画像の画素値の合成を、貢献度に応じて調整することにより、複数枚のソース画像に基づいてモーフィング画像を生成することが可能となる。
また、上述した画像生成装置は、前記ソース画像の枚数に対応する数の乱数値を生成する乱数値生成手段を備え、前記設定値割当手段が、生成された乱数値を前記設定値として用いて、前記ソース画像のそれぞれに対応づけて割り当てるものであってもよい。
さらに、上述した画像生成プログラムは、前記コンピュータに、前記ソース画像の枚数に対応する数の乱数値を生成させる乱数値生成機能を実行させ、前記設定値割当機能において、生成された乱数値を前記設定値として用いて、前記ソース画像のそれぞれに対応づけて割り当てさせることを特徴とするものであってもよい。
このように、本発明に係る画像生成装置および画像生成プログラムでは、貢献度の算出に用いられる設定値として乱数値を用いることにより、同じソース画像を用いてモーフィング画像を生成する場合であっても、それぞれ異なるモーフィング画像を生成することが可能となる。このため、ソース画像とは異なる画像であって、見た目の違和感のないモーフィング画像を、用意したソース画像の数以上に多く生成することが可能となる。
本発明に係る画像生成装置および画像生成プログラムによれば、複数枚のソース画像とそのソース画像の特徴ベクトルだけを用意すれば、モーフィング画像の生成に必要なモーフィング画像の特徴ベクトルを求めることができる。
このため、求められたモーフィング画像の特徴ベクトルと、各ソース画像と、各ソース画像の特徴ベクトルとに基づいて、各ソース画像をそれぞれのワープ画像に変形し、変形された各ワープ画像の画素値の合成を、貢献度に応じて調整することにより、複数枚のソース画像に基づいてモーフィング画像を生成することが可能となる。
本実施の形態に係る画像生成装置の概略構成を示したブロック図である。 本実施の形態に係る画像生成装置のCPUにおけるモーフィング画像の生成処理を示したフローチャートである。 K枚のソース画像からそれぞれの各ワープ画像を生成し、ワープ画像に基づいてモーフィング画像を生成する処理を説明するための図である。 3枚のソース画像に基づいて生成された複数のモーフィング画像の画像例を示した図である。
以下、本発明に係る画像生成装置の一例を、図面を用いて詳細に説明する。図1は画像生成装置の概略構成を示したブロック図である。
画像生成装置1は、一般的なコンピュータによって構成することが可能となっている。画像生成装置1は、ディスプレイ部3と、データ入力部4と、装置本体部5とを有している。
ディスプレイ部3は、一般的な液晶ディスプレイやCRTディスプレイ(ブラウン管ディスプレイ)が該当し、処理の内容等をユーザに視認可能に表示させる機能を有している。
データ入力部4は、画像生成装置1の処理に必要な情報をユーザが入力するための入力手段である。具体的に、データ入力部4として、複数の画像を読み込みために用いられるスキャナや、ケーブルで接続されたデジタルカメラなどが一例として該当する。スキャナやデジカメを介して取り込まれた画像は、次述するデータ記録部11に記録される。
また、データ入力部4は、画像データの取り込みのみを目的としたものには限定されず、例えば、文字情報を入力するためのキーボード、マウス、タッチペンなどの一般的なユーザ操作手段もデータ入力部4に該当する。
装置本体部5は、データ記録部11と、ROM(Read Only Memory)12と、RAM(Random Access Memory)13と、CPU(Central Processing Unit:設定値割当手段、貢献度算出手段、特徴ベクトル生成手段、ワープ画像生成手段、モーフィング画像生成手段、乱数値生成手段)14とを有している。ROM12は、画像生成装置1の起動時に実行される処理プログラム等が記録される記録手段である。画像生成装置1の起動時等に、CPU14がROM12の処理プログラム等を読み出して実行することによって、起動処理等を行うことが可能となっている。RAM13は、CPU14において行われる処理のワークエリア等として用いられる記録手段である。
データ記録部11は、主としてハードディスクにより構成されている。データ記録部11には、モーフィング画像を生成するために必要とされる画像データやその特徴ベクトルなどが記録されており、さらに、モーフィング画像を生成する過程で生成されるワープ画像や特徴ベクトルなどの情報を記録することが可能となっている。
本実施の形態に係る画像生成装置1では、モーフィング画像を生成するために用いられる画像をソース画像という。このソース画像に基づいて、各ソース画像に対応するワープ画像が生成され、その後に最終的なモーフィング画像が生成されることになる。
また、データ記録部11は、ハードディスクのみに限定されず、フラッシュメモリ等で構成される記録手段(例えば、SSD(Solid State Drive)等)やテープメディアを使用する記録手段(例えば、DAT(Digital Audio Tape))等であってもよい。
なお、データ記録部11に記録される画像は、必ずしもデータ入力部4のスキャナやデジカメによって取り込まれた画像だけには限定されない。例えば、画像生成装置1に対して、図示を省略したネットワークカード(NIC:Network Interface Card)等を設けて、インターネットなどの外部のネットワークを経由して画像を取り込んで、データ記録部11に記録することも可能である。
CPU14は、ROM12に記録される処理プログラムに従って、モーフィング画像の生成に用いられるワープ画像を生成し、生成されたワープ画像に基づいてモーフィング画像を生成する。この処理に用いられる処理プログラムは、本発明に係る画像生成プログラムの一例に該当する。次にCPU14によって、モーフィング画像を生成する処理について説明する。
図2は、ROM12に記録されるプログラムに従ってCPU14がモーフィング画像を生成する処理を示したフローチャートである。本実施の形態に示すモーフィング画像の生成処理では、複数枚(N枚とする)の顔画像(ソース画像)のうち、その一部の顔画像(ソース画像:一部の画像の枚数をK枚とする。但し、K>2の整数を示す)を用いることにより、K枚のソース画像の部分的特徴を備えたモーフィング画像を生成する場合について説明する。従って、データ記録部11には、既にN枚のソース画像とそれぞれのソース画像における特徴ベクトルとが予め記録されているものとする。
また、説明の便宜のため、データ記録部11に記録されているN枚のソース画像をp、p、p、・・・pNとして示し、全てのソース画像の集合をPとして、
として示すものとする。
さらに、ソース画像の集合Pに対応するインデックス情報をI={1,2,・・・,N}とする。さらに、Iの任意の部分集合をJとして
とする。Jは、Iの部分集合であるためIに含まれる集合である。
また、モーフィング画像を生成するためのK枚のソース画像は、pj1,pj2、・・・,pjKで示されるものとし、それぞれのソース画像における特徴ベクトルをfj1,fj2,・・・fjKとして示す。
まず、CPU14は、データ記録部11に記録されるN枚のソース画像の中から、K枚のソース画像を抽出する(ステップS.1)。具体的にCPU14は、N枚のソース画像の集合Pに対応するインデックス情報Iの部分集合であるJを決定して、該当するソース画像を抽出する。この抽出は、データ記録部11に記録されるN枚のソース画像の中から連続するソース画像をK枚抽出するものであってもよく、また、ランダムに抽出するものであってもよい。さらに、ユーザがデータ入力部4を用いて、個別にK枚のソース画像を選択し、選択されたソース画像をCPU14が抽出するものであってもよい。
次に、CPU14は、K枚のソース画像に対応する数(K個)の乱数(r1,r2,・・・rK)を発生する(ステップS.2)。この乱数の値は、次述する貢献度w(モーフィング率)を算出するために用いる設定値に該当するものである。
CPU14では、生成されたK個の乱数をK枚のソース画像のそれぞれに割り当てる処理を行う(ステップS.3)。乱数をソース画像に割り当てるとは、各ソース画像に対して1つずつ、生成された乱数の値を対応づけてデータ記録部11に記録させる処理を意味する。このように各ソース画像に乱数の値を割り当てて、対応する値をデータ記録部11に記録させることにより、この乱数値を用いて生成される貢献度とソース画像との対応を明確にすることが可能となる。
そしてCPU14は、全ての各乱数の値の和を求め、乱数の値の和に対する各乱数の割合を求めることにより、式1に示すようにして貢献度wを求める(ステップS.4)。
この貢献度wは、モーフィング画像の生成に用いられる各ソース画像のそれぞれの貢献の割合(重み付けの割合)を示したものに該当する。この貢献度wは、モーフィング画像を生成するために用いられる各ソース画像のモーフィング率に該当することになる。
次に、CPU14は、求められた貢献度を用いて、モーフィング画像の特徴ベクトルfを算出する(ステップS.5)。
図3は、K枚のソース画像からそれぞれの各ワープ画像を生成し、ワープ画像に基づいてモーフィング画像を生成する処理を説明した図である。図3に示すように、各ソース画像は、異なる画像であるため全く異なる特徴ベクトル(fj1,fj2,・・・fjK)を有している。しかしながら、モーフィング画像を生成する場合には、モーフィング画像に違和感が生じないように、それぞれのソース画像に共通する特徴ベクトルfを求めてワープ画像を生成することになる。従って、図3に示すように、各ワープ画像の特徴ベクトルfは全て同じベクトル要素により構成されている。
なお、式2に示される特徴ベクトルfは、モーフィング画像の特徴ベクトルを示し、特徴ベクトルfjkは、ソース画像pjkの特徴ベクトルを示している。なお、式2におけるwkjkは、各ソース画像における貢献度を対応するソース画像の特徴ベクトルに乗算したベクトルを示しており、本発明に係る重み付きベクトルに該当するものである。
このようにして、乱数によりそれぞれのソース画像における特徴ベクトルの貢献度wを算出することにより、各ソース画像のモーフィング率が決定されることになり、貢献度wに基づいてモーフィング画像の特徴ベクトルfが算出されることになる。
次に、CPU14は、K枚のソース画像(部分集合Jに該当するソース画像pjk)について、ソース画像pjkと、ソース画像pjkの特徴ベクトルfjkと、モーフィング画像の特徴ベクトルfとに基づいて、式3に示すように、それぞれのソース画像を対応するワープ画像pw jkに変形する処理を行う(ステップS.6)。
その後、CPU14は、生成されたK枚のワープ画像pw jkと、それぞれの画像の貢献度wi(モーフィング率)とを用いて、式4に示すようにして、K枚のソース画像に基づくモーフィング画像pを生成する(ステップS.7)。
図4は、3枚のソース画像に基づいて生成された複数のモーフィング画像の画像例を示した図である。図4に示された三角形の頂点に位置する画像が、各ソース画像である。そして、三角形の各辺に沿って示された画像は、辺の両端に位置する2枚のソース画像に基づいて生成されたモーフィング画像である。さらに、三角形の中心に位置する画像が、3枚のソース画像に基づいて生成されたモーフィング画像を示している。このように、2枚のソース画像に基づいて生成されたモーフィング画像はもちろんのこと、3枚のソース画像に基づいて生成されたモーフィング画像も、顔の表情などに違和感がなく、さらにそれぞれのソース画像の部分的特徴を備えた顔画像とすることが可能となる。
さらに、複数枚(例えば3枚以上)のソース画像に基づいて生成されるモーフィング画像は、それぞれの画像のモーフィング率(貢献度w)を変更することにより異なったモーフィング画像を多数生成することが可能となる。このため、予め用意した数枚のソース画像を利用して、用意したソース画像の枚数以上のモーフィング画像を生成することが可能となる。
特に、本実施の形態に係る画像生成装置1では、各ソース画像の貢献度wを乱数によって算出している。このため、同じソース画像を用いてモーフィング画像を生成した場合であっても、各ソース画像の貢献度wが乱数によって異なる値となるため、毎回異なったモーフィング画像を生成することが可能となる。従って、用意されるソース画像の数よりも多くの異なったモーフィング画像を容易に生成することができる。このため、特定の人物の顔画像そのものではない生成された顔画像であって、見た目の違和感がない複数の顔画像を簡単かつ大量に生成することが可能となる。
また、多数のソース画像に基づいて、その全てのソース画像の部分的特徴を備えた1枚のモーフィング画像を生成することも可能である。例えば、多人数の人気アイドルにより構成されるアイドルグループのそれぞれの顔写真を合成することにより、そのアイドルグループにおける標準的な顔写真を擬似的に生成することも可能である。
その他、本実施の形態に係る画像生成装置1を用いることにより、多数の顔画像をソース画像として、各ソース画像の部分的特徴を有するモーフィング画像を生成することが可能であるため、様々な画像分野に利用・応用することが可能となる。
以上、本発明に係る画像生成装置を、画像生成装置1を一例として示し、図面を用いて詳細に説明したが、本発明に係る画像生成装置は上述した実施の形態に記載した内容に限定されるものではない。いわゆる当業者であれば、特許請求の範囲に記載された範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、それらについても当然に本発明の技術的範囲に属するものと了解される。
例えば、実施の形態に係る画像生成装置1では、CPU14が、各ソース画像に対応づけて乱数を発生させて貢献度wを算出したが、貢献度wを算出するために各ソース画像に割り当てる値(設定値)は、必ずしも乱数には限定されない。
例えば、CPU14が設定値を全て同じ値にして設定し、同じ値からなる設定値を用いて貢献度wを算出することにより、各ソース画像における貢献度wが等しい値となる。このため、生成されるモーフィング画像を、全てのソース画像の特徴を均等に備えた画像にすることが可能となる。
さらに、予めK個の設定値をデータ記録部11などに記録させておき、CPU14がN枚のソース画像のうち抽出されたK枚のソース画像に対して、予め記録された設定値を順番に設定する(割り当てる)構成にすることもできる。さらに、ユーザが、データ入力部4を介してソース画像毎に設定値を個別に入力し、入力された値をCPU14が各ソース画像の設定値として設定する(割り当てる)ことにより、貢献度wを算出する構成とすることも可能である。
また、上述した実施の形態に示した画像生成装置1の処理内容は一例であり、さらに、上述した実施の形態において画像生成装置1のCPU14がモーフィング画像の生成処理を行うために用いたコンピュータプログラムなども、本発明に係る画像生成プログラムの一例に該当するものである。
1 …画像生成装置
3 …ディスプレイ部
4 …データ入力部
5 …装置本体部
11 …データ記録部
12 …ROM
13 …RAM
14 …CPU(設定値割当手段、貢献度算出手段、特徴ベクトル生成手段、ワープ画像生成手段、モーフィング画像生成手段、乱数値生成手段)

Claims (4)

  1. 3枚以上のソース画像と各ソース画像の特徴ベクトルとに基づいてモーフィング画像を生成する画像生成装置であって、
    ソース画像の枚数に対応する数だけ用意された設定値を、前記ソース画像のそれぞれに対応づけて割り当てる設定値割当手段と、
    全ての設定値の和に対する各設定値の割合を求めることにより各ソース画像の貢献度を算出する貢献度算出手段と、
    各ソース画像の前記特徴ベクトルに対して、各ソース画像の貢献度の値を乗算することにより重み付きベクトルを求め、求められた全てのソース画像の重み付きベクトルを足し合わせることにより、前記モーフィング画像の特徴ベクトルを生成する特徴ベクトル生成手段と、
    生成された前記モーフィング画像の特徴ベクトルと、前記各ソース画像と、各ソース画像の前記特徴ベクトルとに基づいて、各ソース画像をそれぞれのワープ画像に変形するワープ画像生成手段と、
    ワープ画像の画素値献度に応じて調整し、調整後の各ワープ画像の画素値を足し合わせてモーフィング画像を生成するモーフィング画像生成手段と
    を備えることを特徴とする画像生成装置。
  2. 前記ソース画像の枚数に対応する数の乱数値を生成する乱数値生成手段を備え、
    前記設定値割当手段は、生成された乱数値を前記設定値として用いて、前記ソース画像のそれぞれに対応づけて割り当てること
    を特徴とする請求項1に記載の画像生成装置。
  3. 3枚以上のソース画像と各ソース画像の特徴ベクトルとに基づいてモーフィング画像を生成する画像生成プログラムであって、
    コンピュータに、
    ソース画像の枚数に対応する数だけ用意された設定値を、前記ソース画像のそれぞれに対応づけて割り当てさせる設定値割当機能と、
    全ての設定値の和に対する各設定値の割合を求めることにより各ソース画像の貢献度を算出させる貢献度算出機能と、
    各ソース画像の前記特徴ベクトルに対して、各ソース画像の貢献度の値を乗算することにより重み付きベクトルを求め、求められた全てのソース画像の重み付きベクトルを足し合わせることにより、前記モーフィング画像の特徴ベクトルを生成させる特徴ベクトル生成機能と、
    生成された前記モーフィング画像の特徴ベクトルと、前記各ソース画像と、各ソース画像の前記特徴ベクトルとに基づいて、各ソース画像をそれぞれのワープ画像に変形させるワープ画像生成機能と、
    ワープ画像の画素値献度に応じて調整し、調整後の各ワープ画像の画素値を足し合わせてモーフィング画像を生成させるモーフィング画像生成機能と
    を実行させることを特徴とする画像生成プログラム。
  4. 前記コンピュータに、
    前記ソース画像の枚数に対応する数の乱数値を生成させる乱数値生成機能を実行させ、
    前記設定値割当機能において、生成された乱数値を前記設定値として用いて、前記ソース画像のそれぞれに対応づけて割り当てさせること
    を特徴とする請求項3に記載の画像生成プログラム。
JP2011024333A 2011-02-07 2011-02-07 画像生成装置および画像生成プログラム Expired - Fee Related JP5642583B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011024333A JP5642583B2 (ja) 2011-02-07 2011-02-07 画像生成装置および画像生成プログラム
CN2012100108657A CN102629370A (zh) 2011-02-07 2012-01-11 图像生成装置以及图像生成方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011024333A JP5642583B2 (ja) 2011-02-07 2011-02-07 画像生成装置および画像生成プログラム

Publications (3)

Publication Number Publication Date
JP2012164152A JP2012164152A (ja) 2012-08-30
JP2012164152A5 JP2012164152A5 (ja) 2014-01-09
JP5642583B2 true JP5642583B2 (ja) 2014-12-17

Family

ID=46587628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011024333A Expired - Fee Related JP5642583B2 (ja) 2011-02-07 2011-02-07 画像生成装置および画像生成プログラム

Country Status (2)

Country Link
JP (1) JP5642583B2 (ja)
CN (1) CN102629370A (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109919888B (zh) * 2019-02-26 2023-09-19 腾讯科技(深圳)有限公司 一种图像融合的方法、模型训练的方法以及相关装置
CN111640112B (zh) * 2020-06-11 2021-04-16 云从科技集团股份有限公司 图像检测方法、系统、平台、设备及介质、图像处理装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9024A (en) * 1852-06-15 Motion of the lay in looms
JP3799633B2 (ja) * 1995-06-16 2006-07-19 セイコーエプソン株式会社 顔画像処理方法および顔画像処理装置
JP3472065B2 (ja) * 1997-03-17 2003-12-02 株式会社東芝 アニメーション生成装置およびアニメーション生成方法
JP2004005265A (ja) * 2002-05-31 2004-01-08 Omron Corp 画像合成方法、画像合成装置、画像合成システム
JP3920747B2 (ja) * 2002-09-04 2007-05-30 株式会社国際電気通信基礎技術研究所 画像処理装置
JP2007219230A (ja) * 2006-02-17 2007-08-30 Kyushu Univ メディア隠蔽装置
JP2009237747A (ja) * 2008-03-26 2009-10-15 Denso Corp データポリモーフィング方法及びデータポリモーフィング装置
JP5283471B2 (ja) * 2008-10-10 2013-09-04 株式会社 資生堂 理想顔生成方法、理想顔生成システム、及び理想顔生成プログラム

Also Published As

Publication number Publication date
CN102629370A (zh) 2012-08-08
JP2012164152A (ja) 2012-08-30

Similar Documents

Publication Publication Date Title
KR102658960B1 (ko) 얼굴 재연을 위한 시스템 및 방법
Jörg et al. Data-driven finger motion synthesis for gesturing characters
US20200020173A1 (en) Methods and systems for constructing an animated 3d facial model from a 2d facial image
US20210113172A1 (en) Lesion Detection Method, Apparatus and Device, and Storage Medium
CN112042182B (zh) 通过面部表情操纵远程化身
WO2006057267A1 (ja) 顔画像合成方法および顔画像合成装置
TWI773458B (zh) 重建人臉的方法、裝置、電腦設備及存儲介質
CN111696029B (zh) 虚拟形象视频生成方法、装置、计算机设备及存储介质
CN113261013A (zh) 用于移动装置上逼真的头部转动和面部动画合成的系统和方法
JP2011209887A (ja) アバター作成方法、アバター作成プログラム、およびネットワークサービスシステム
CN110910479B (zh) 视频处理方法、装置、电子设备及可读存储介质
CN110322571B (zh) 一种页面处理方法、装置及介质
TWI778723B (zh) 重建人臉的方法、裝置、電腦設備及存儲介質
CN111950430B (zh) 基于颜色纹理的多尺度妆容风格差异度量及迁移方法、系统
TWI780919B (zh) 人臉影像的處理方法、裝置、電子設備及儲存媒體
JP7105988B2 (ja) 個人識別方法、コンピュータ可読記憶媒体、端末デバイスおよび装置
CN115512014A (zh) 训练表情驱动生成模型的方法、表情驱动方法及装置
JP5642583B2 (ja) 画像生成装置および画像生成プログラム
JP2017111719A (ja) 映像処理装置、映像処理方法、及び映像処理プログラム
WO2022110855A1 (zh) 人脸重建方法、装置、计算机设备及存储介质
CN112714337A (zh) 视频处理方法、装置、电子设备和存储介质
JP5920858B1 (ja) プログラム、情報処理装置、深度定義方法及び記録媒体
CN100474341C (zh) 自适应闭群漫画生成
JP2012164152A5 (ja)
JP5857606B2 (ja) 奥行き製作支援装置、奥行き製作支援方法、およびプログラム

Legal Events

Date Code Title Description
A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131118

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131118

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140820

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140826

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20141028

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20141029

R150 Certificate of patent or registration of utility model

Ref document number: 5642583

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees