WO2015056809A1

WO2015056809A1 - 画像生成装置、画像生成方法及び画像生成プログラム

Info

Publication number: WO2015056809A1
Application number: PCT/JP2014/077844
Authority: WO
Inventors: 翔平崎山; 誠岡部; 理紀夫尾内; 廣美平野
Original assignee: Rakuten Inc
Current assignee: Rakuten Group Inc
Priority date: 2013-10-18
Filing date: 2014-10-20
Publication date: 2015-04-23
Anticipated expiration: 2016-04-18
Also published as: US9710948B2; US20160247304A1; JPWO2015056809A1; JP6262758B2

Abstract

【課題】料理に含まれる具材及び液体の両方が美味しそうに見える料理画像を容易に得ることを目的とする。【解決手段】画像生成装置１は、加工対象の画像である加工対象画像を取得する取得部１１と、加工対象画像内における処理対象領域Ｌを取得する領域情報取得部１２と、処理対象領域Ｌの特徴を示し、液体の動きに影響を与えるパラメータを取得し、液体の動きに影響を与える特徴パラメータと、動きを伴う液体が表された合成用画像を取得するための合成用画像情報とを関連付けて記憶する記憶手段を参照し、処理対象領域の特徴を示すパラメータと関連付けて記憶された合成用画像情報に基づいて合成用画像を取得する合成用画像取得部１３と、合成用画像を処理対象領域Ｌに合成する合成部１４と、合成部１４により合成用画像が合成された加工対象画像を出力する出力部１５と、を備える。

Description

画像生成装置、画像生成方法及び画像生成プログラム

　本発明は、画像生成装置、画像生成方法及び画像生成プログラムに関する。

　料理を撮影した料理画像をユーザに美味しそうに見せるために、料理画像を加工する技術が知られている（例えば、非特許文献１参照）。この技術では、料理画像の色相が変換される。

ＳｎａｐＤｉｓｈ　Ｆｏｏｄ　Ｃａｍｅｒａ、[online]、［２０１３年１０月８日検索］、インターネット<URL: https://itunes.apple.com/us/app/snapdish-food-camera-cook/id439571223>

　ところで、撮影された画像に対して、事後的に動きを追加したいという要請がある。そこで、本発明の一側面は、撮影された画像に合った動きを該画像に加えることを目的とする。

　また、葉野菜、肉等の具材及び汁が入っている鍋や、鉄板の上で焼かれたハンバーグ等が表された料理の画像を美味しそうに見えるように撮影したいといった要請がある。しかしながら、鍋の中の汁や、鉄板上の油等の液体は、沸騰されたり加熱されたりして動きを伴う状態に美味しく見える。一方、具材は、加熱されるに従い色や形状が変化してしまうので、高温に加熱される前や加熱中の短い時間に美味しく見える。このように、料理における具材が美味しく見えるタイミングと、汁や油等の液体が美味しく見えるタイミングとは異なる場合が多い。また、具材が美味しく見えるタイミングと汁や油等の液体が美味しく見えるタイミングが重なっていたとしても、その時間は短いので、具材及び液体の両方が美味しく見えるように撮影するのは困難である。さらに、料理中の動画を撮影するために、加熱中の様子を動画により撮影すると、その撮影に用いた具材を用いて再び撮影することはできない。

　そこで、請求項１２～１４の発明は、特に、料理に含まれる具材及び液体の両方が美味しく見えるタイミングで撮影できなかった場合であっても、その撮影された画像に合った動きを該画像に加えることにより、具材及び液体の両方が美味しそうに見える料理画像を容易に得ることを目的とする。

　上記課題を解決するために、本発明の一形態に係る画像生成装置は、対象となる画像に、別の画像を部分的にまたは全体的に合成させるか若しくは重畳させ、または部分的に置換する加工を施すことにより新たな画像を生成するための画像生成装置であって、対象となる画像に対して加工を施す１または複数の領域を指定する領域指定手段と、対象となる画像の指定された領域に加工を施すための別画像を指定する別画像指定手段と、指定された領域における加工内容を指定する加工内容指定手段と、対象となる画像に対して加工内容に基づく加工を施し動作画像を生成する生成手段と、動作画像に基づき動画像を生成する画像生成手段と、を備える。

　上記課題を解決するために、本発明の一形態に係る画像生成方法は、対象となる画像に、別の画像を部分的にまたは全体的に合成させるか若しくは重畳させ、または部分的に置換する加工を施すことにより新たな画像を生成するための画像生成装置における画像生成方法であって、対象となる画像に対して加工を施す１または複数の領域を指定する領域指定ステップと、対象となる画像の指定された領域に加工を施すための別画像を指定する別画像指定ステップと、指定された領域における加工内容を指定する加工内容指定ステップと、対象となる画像に対して加工内容に基づく加工を施し動作画像を生成する生成ステップと、動作画像に基づき動画像を生成する画像生成ステップと、を有する。

　上記課題を解決するために、本発明の一形態に係る画像生成プログラムは、コンピュータを、対象となる画像に、別の画像を部分的にまたは全体的に合成させるか若しくは重畳させ、または部分的に置換する加工を施すことにより新たな画像を生成するための画像生成装置として機能させるための画像生成プログラムであって、コンピュータに、対象となる画像に対して加工を施す１または複数の領域を指定する領域指定機能と、対象となる画像の指定された領域に加工を施すための別画像を指定する別画像指定機能と、指定された領域における加工内容を指定する加工内容指定機能と、対象となる画像に対して加工内容に基づく加工を施し動作画像を生成する生成機能と、動作画像に基づき動画像を生成する画像生成機能と、を実現させる。

　上記形態によれば、対象となる画像の指定された領域に対して指定された加工内容に基づく別画像による加工が施された動作画像が生成され、動作画像に基づき新たな動画像が生成される。これにより、別画像による加工により動きが表された動作画像を生成することにより対象となる画像に対して事後的に動きを追加することが可能となる。

　別の形態に係る画像生成装置では、加工内容指定手段は、指定された領域における動作方向を加工内容として指定し、加工を施す画像には、該画像における動作方向が予め定められており、生成手段は、指定された領域における動作方向と加工を施す画像における動作方向とが互いに一致するように加工を施して動作画像を生成することとしてもよい。

　この形態によれば、加工に用いる別画像に表された動きが動作方向を伴う場合に、対象画像において指定された動作方向に別画像の動作方向が一致するように加工された動作画像が生成される。従って、動作方向を伴う動きが適切に表された動画像を容易に得ることができる。

　さらに別の形態に係る画像生成装置では、加工を施すための別画像が、動作を表すための第１の別画像と、対象となる画像の経時変化を表すための第２の別画像とを含み、生成手段は、第１及び第２の別画像による動作及び経時変化を表す１または複数の動作画像を生成することとしてもよい。

　この形態によれば、動作を表す別画像に加えて経時変化を表す別画像による加工が施された動作画像が生成され、新たな動画像が生成される。これにより、対象となる画像に対して、動きだけではなく経時変化を表すことが可能となる。

　上記課題を解決するために、本発明の一形態に係る画像生成装置は、加工対象の画像である加工対象画像を取得する取得手段と、加工対象画像内における処理対象領域を特定する領域情報を取得する領域情報取得手段と、領域情報取得手段により取得された領域情報により特定される処理対象領域の特徴を示し、液体の動きに影響を与える特徴パラメータを取得する特徴取得手段と、液体の動きに影響を与える特徴パラメータと、動きを伴う液体が表された合成用画像を取得するための合成用画像情報とを関連付けて記憶する記憶手段を参照し、取得された処理対象領域の特徴パラメータと関連付けて記憶された合成用画像情報に基づいて合成用画像を取得する合成用画像取得手段と、合成用画像取得手段により取得された合成用画像を処理対象領域に合成する合成手段と、合成手段により合成用画像が合成された加工対象画像を出力する出力手段と、を備える。

　上記形態によれば、加工対象画像内において処理対象領域を特定する領域情報が取得され、処理対象領域の特徴を示す特徴パラメータに関連付けられた合成用画像情報に基づき取得された合成用画像が処理対象領域に合成される。これにより、静止画像である場合を含む加工対象画像の一部である処理対象領域に、動きを伴う液体が表された合成用画像が合成されるので、例えば、加熱状態ではない料理の静止画像における静止状態の液体が表された領域に、動きを伴う液体の画像を合成できる。従って、加熱状態ではないため美味しそうに見える状態にある具材と、動きを伴うため美味しそうに見える状態にある液体と、が表された料理画像を得ること可能となる。また、液体の動きに影響を与える特徴パラメータに基づき合成用画像が取得されるので、処理対象領域に液体の動きの特徴が表されていることは必ずしも要されない。また、処理対象領域の指定といった容易な入力のみに基づき、処理対象領域の特徴に基づく適切な合成用画像がコンピュータにより取得されるので、具材及び液体の両方が美味しそうに見える料理画像を容易に得ることができる。

　別の形態に係る画像生成装置では、合成用画像取得手段は、特徴パラメータと、合成用画像の再生速度及びサイズ並びに合成用画像を処理対象領域に合成する際の重畳回数の少なくとも一つとを対応付けて記憶している記憶手段を参照し、領域情報取得手段により指定を受け付けられた処理対象領域の特徴パラメータに応じた合成用画像を取得することとしてもよい。

　合成用画像における再生速度及びサイズ並びに合成用画像を処理対象領域に合成する際の重畳回数は、例えば、料理画像に表された料理における液体の部分の大きさ、及び加熱されている料理における当該領域の火元からの距離等の液体の動きの特徴を表すことができる。この形態によれば、処理対象領域の特徴パラメータに応じた再生速度及びサイズ並びに重畳回数の合成用画像が取得されるので、指定された処理対象領域に対して適切な合成用画像が選択される。

　さらに別の形態に係る画像生成装置では、処理対象領域の特徴パラメータは、加工対象画像におけるユーザにより指定された位置又は予め設定された所定の位置から該処理対象領域までの距離、及び該処理対象領域の大きさ並びに該処理対象領域に表された液体の粘性を示すパラメータの少なくとも一つを含むこととしてもよい。

　この形態によれば、所定位置から処理対象領域までの距離及び処理対象領域の大きさ処理対象領域に表された液体の粘性を示すパラメータといったパラメータにより、例えば、料理画像に表された加熱中の料理における火元からの距離、及び料理画像に表された料理における液体の部分の大きさ、並びに液体の部分の粘性をパラメータに含むことができる。

　本発明の一側面によれば、料理に含まれる具材及び液体の両方が美味しく見えるタイミングで撮影できなかった場合であっても、両方が美味しそうに見える料理画像を容易に得ることが可能となる。

　また、本発明の一側面によれば、撮影された画像に基づいて、動きが表された画像を容易に得ることが可能となる。

画像生成装置の機能構成を示すブロック図である。画像生成装置のハードウェア構成を示す図である。取得部により取得される加工対象画像の例を示す図である。表示された加工対象画像に対してユーザからの処理対象領域の指定を受け付ける例を示す図である。領域情報取得部により指定された処理対象領域に基づき生成されたマスクの例を模式的に示す図である。合成用画像取得部により抽出された各処理対象領域のパラメータを示す図である。合成用画像の属性の取得に用いられるテーブルの例を示す図である。処理対象領域に対する合成用画像の配置の仕方を説明する図である。矩形領域の端部に配置された矩形状の合成用画像の辺が矩形領域の端部の辺に一致しない場合に、矩形領域に配置された全ての合成用画像サイズを拡大又は縮小させて合成する例を説明する図である。処理対象領域に対する合成用画像の明度成分の合成を概念的に説明する図である。処理対象領域に合成用画像が合成された加工対象画像の一部を示す図である。画像生成装置における画像生成方法の処理内容の例を示すフローチャートである。画像生成プログラムの構成を示す図である。第２実施形態における画像生成装置の機能構成を示すブロック図である。形状分類テーブル記憶部の構成及び記憶されているデータの例を示す図である。領域情報取得部により受け付けられたオブジェクト領域及びその形状の例を示す図である。オブジェクト領域ごとに指定された変形又は非変形の属性及び形状タイプを記憶するテーブル示す図である。オブジェクト領域に固定制御点、振動制御点及び振動方向を設定するための矩形領域の設定の例を示す図である。領域情報取得部により受け付けられたオブジェクト領域ごとの振動の様子を模式的に示す図である。第２実施形態における画像生成方法の処理内容の例を示すフローチャートである。加工対象画像の例を示す図である。合成用画像の例を示す図である。合成部により生成された動作画像の例を示す図である。合成用画像の他の例を示す図である。合成部により生成された動作画像の例を示す図である。３次元画像データに基づき表示された加工対象画像の例を示す図である。動作画像の例を示す図である。オブジェクトの経時変化を表す動作画像の例を示す図である。オブジェクトの動作及び経時変化を表す動作画像の例を示す図である。

　以下、添付図面を参照しながら本発明の実施形態を詳細に説明する。なお、図面の説明において同一又は同等の要素には同一の符号を付し、重複する説明を省略する。

　（第１実施形態）
図１は、本実施形態に係る画像生成装置１の機能的構成を示すブロック図である。画像生成装置１は、料理を表した静止画像を加工対象画像として、加工対象画像における主として液体が表された処理対象領域に、動きを伴う液体が表された動画である合成用画像を合成して出力する装置である。本実施形態では、加熱された液体に泡が発生している様子を表す動画を合成用画像とし、野菜や肉等の具材及び汁が表された料理画像のうちの汁が表された部分を処理対象領域として、料理画像の汁が表された領域に泡が発生している様子を示す動画が合成される例を説明する。

　本実施形態の画像生成装置１は、図１に示すように、機能的には、取得部１１（取得手段）、領域情報取得部１２（領域情報取得手段）、合成用画像取得部１３（特徴取得手段、合成用画像取得手段）、合成部１４（合成手段）及び出力部１５（出力手段）を含む。また、画像生成装置１の各機能部１１～１５は、合成用画像記憶部２１といった記憶手段にアクセス可能である。なお、画像生成装置１は、ユーザ端末とネットワークを介して通信可能なサーバに構成されることができる。また、画像生成装置１が、スマートフォン及びパーソナルコンピュータといった装置に構成されることとしてもよい。

　図２は、画像生成装置１のハードウェア構成図である。画像生成装置１は、物理的には、図２に示すように、ＣＰＵ１０１、ＲＡＭ及びＲＯＭといったメモリにより構成される主記憶装置１０２、ハードディスク等で構成される補助記憶装置１０３、ネットワークカード等で構成される通信制御装置１０４、入力デバイスであるキーボード、マウス等の入力装置１０５、ディスプレイ等の出力装置１０６などを含むコンピュータシステムとして構成されている。なお、画像生成装置１がサーバに構成される場合には、画像生成装置１は、入力装置１０５，出力装置１０６を含まなくてもよい。

　図１に示した各機能部は、図２に示すＣＰＵ１０１、主記憶装置１０２等のハードウェア上に所定のコンピュータソフトウェア（画像生成プログラム）を読み込ませることにより、ＣＰＵ１０１の制御のもとで通信制御装置１０４、入力装置１０５、出力装置１０６を動作させるとともに、主記憶装置１０２や補助記憶装置１０３におけるデータの読み出し及び書き込みを行うことで実現される。処理に必要なデータやデータベースは主記憶装置１０２や補助記憶装置１０３内に格納される。

　まず、画像生成装置１の機能部の説明に先立って、合成用画像記憶部２１を説明する。合成用画像記憶部２１は、動きを伴う液体が表された動画である合成用画像を記憶している記憶手段である。本実施形態では、合成用画像記憶部２１は、加熱された液体に泡が発生する様子を表した動画を合成用画像として複数記憶している。

　合成用画像記憶部２１に記憶されている合成用画像は、液体の種類、サイズ、再生速度を異ならせた種々のバリエーションを含む。液体の種類としては、例えば、水、醤油、ソース等のバリエーションが含まれ、これらのバリエーションの違いにより、液体の粘度の違いが表現される。また、合成用画像のサイズの違いにより、泡の大きさの違いが表現される。合成用画像の再生速度の違いにより、泡の発生から消滅までの時間が表現される。泡の大きさ及び発生から消滅までの時間は、その料理が加熱されているときの火力の強さに依存する。また、合成用画像は、加熱された液体に発生している泡を異なる角度から撮影した画像を複数含んでもよい。撮影角度の差異により、発生する泡の高さの差異が表現される。

　続いて、画像生成装置１の機能部を説明する。取得部１１は、加工対象の画像である加工対象画像を取得する部分である。図３は、取得部１１により取得される加工対象画像の例を示す図である。図３に示すように、本実施形態では、野菜及び肉等の具材及び汁を含む鍋料理を表す料理画像が加工対象画像として取得される。本実施形態の加工対象画像は静止画像である。

　領域情報取得部１２は、加工対象画像内における処理対象領域の指定をユーザから受け付ける機能と、受け付けた情報に基づいて処理対象領域Ｌを特定する機能とを有している。図４は、表示された加工対象画像に対してユーザからの処理対象領域の指定を受け付ける例を示す図である。図４に示すように、例えば、ユーザは、処理対象とする汁が表された領域に、線を入力することにより、処理対象領域を指定することができる。図４では、ユーザにより入力された線は、実線により示されている。領域情報取得部１２は、入力された線に基づき、例えば領域分割器といった周知の画像処理技術により処理対象領域を特定できる。領域情報取得部１２は、例えば、線が入力された部分との色の差異の程度が所定値以下の隣接する画素を同領域として認識し、色の差異が所定値を超える画素との境界を領域の境界とすることができる。図４に示すように、領域情報取得部１２は、実線で示される線の入力に基づき、処理対象領域Ｌを取得する。

　なお、本実施形態では、領域情報取得部１２が処理対象領域Ｌを特定するためにユーザからの入力を受け付けることとしたが、この入力を受け付けずに、領域情報取得部１２が処理対象領域Ｌを特定するようにしてもよい。例えば、液体領域の色を予め登録しておき、領域情報取得部１２が登録された色の領域を処理対象領域Ｌとして特定する。

　ここで取得される処理対象領域は、動いている液体を撮影した静止画ではない。即ち、加工対象画像における汁等の液体が表された画像は、加熱されて動きを伴う状態の液体を撮影したものではない。

　また、領域情報取得部１２は、基準位置Ｆの指定をユーザからの入力により受け付けることができる。基準位置Ｆは、料理画像に表された料理が加熱される場合の火元の位置を表すことができる。

　また、処理対象領域とは別に、領域情報取得部１２は、具材が表された領域であるオブジェクト領域の指定を受け付けることができる。即ち、領域情報取得部１２は、具材が表された部分に対するユーザによる線の入力に基づき、具材が表されたオブジェクト領域Ｓの指定を受け付ける。図４では、オブジェクト領域Ｓを指定するための線は、１点破線により示されている。具材が表されたオブジェクト領域Ｓに対する処理については、第２実施形態として後述する。

　合成用画像取得部１３は、領域情報取得部１２により指定を受け付けられた処理対象領域Ｌの特徴を示すパラメータ（特徴パラメータ）を取得し、取得したパラメータに基づき、処理対象領域に合成する合成用画像を取得する部分である。具体的には、まず、合成用画像取得部１３は、加工対象画像における処理対象領域Ｌを示すマスクを生成する。図５は、領域情報取得部１２により指定された処理対象領域Ｌ（図４参照）を示すマスクの例を模式的に示す図である。図５に示されるように、１１の処理対象領域Ｌが抽出されている。

　続いて、合成用画像取得部１３は、抽出された各処理対象領域Ｌの基準位置Ｆからの距離及び大きさを算出及び正規化し、各処理対象領域Ｌのパラメータとして取得する。ここで取得されるパラメータは、液体の動きに影響を与えるものである。基準位置Ｆから処理対象領域Ｌまでの距離は、例えば、処理対象領域Ｌの重心位置を求め、基準位置Ｆから重心位置までの距離を算出することにより得られる。また、処理対象領域Ｌの大きさは、例えば、当該処理対象領域Ｌのピクセル数に基づき求められる。

　基準位置Ｆからの距離のパラメータとしては、「遠い」、「中」、「近い」のいずれかが与えられ、大きさのパラメータとしては、「大」、「中」、「小」のいずれかが与えられる。図６は、合成用画像取得部１３により抽出された各処理対象領域Ｌのパラメータを示す図である。図６に示されるように、処理対象領域Ｌ_１（図５参照）は、領域ＩＤ「１」として表され、基準位置Ｆからの距離「遠い」及び大きさ「大」といったパラメータが対応付けられている。

　これらのパラメータは、処理対象領域Ｌの特徴を示すものであって、処理対象領域Ｌに表された物の特徴を示すものではない。本実施形態では、処理対象領域Ｌの特徴を示すパラメータに基づき合成用画像が取得されるので、処理対象領域Ｌに表された物は、動きを伴う液体であることを要さない。

　次に、合成用画像取得部１３は、抽出した各処理対象領域Ｌのパラメータに応じて、その処理対象領域Ｌに合成する合成用画像の属性（合成用画像情報）を取得する。図７は、合成用画像の属性の取得に用いられるテーブルの例を示す図である。このテーブルは、例えば、合成用画像取得部１３が予め有していてもよいし、合成用画像記憶部２１等の記憶手段に記憶されていることとしてもよい。合成用画像記憶部２１は、例えば、処理対象領域Ｌ_１の基準位置Ｆからの距離「遠い」及び大きさ「中」といったパラメータに基づき、図７のテーブルを参照して、サイズ「１００％」、再生時素材長「１５０％」といった合成用画像の属性を取得する。サイズは、基準となる所定の大きさの合成用画像に対する大きさの割合を示し、再生時素材長は、基準となる所定の長さの時間の動画に対する再生時間の割合を示す。即ち再生時素材長の値が大きいほど、遅い再生速度を表す。

　なお、本実施形態では、合成用画像取得部１３は、処理対象領域Ｌのパラメータに基づき予め設定されたテーブルを参照して合成用画像の属性を得ることとしたが、数式により得ることとしてもよい。即ち、処理対象領域の大きさをａ（ｉ）、基準位置からの距離をｄ（ｉ）とすると、合成用画像のサイズＳ（ｉ）及び再生速度Ｖ（ｉ）はそれぞれ、式（１）及び式（２）により表される。

合成用画像取得部１３がこれらの式を有することにより、図７に示したようなテーブルを予め設定することが不要となる。

　なお、後述する合成用画像の処理対象領域Ｌに対する合成において、合成用画像を処理対象領域に重畳合成するオーバーレイ合成処理（第２の合成処理）が実施される場合には、合成用画像取得部１３は、オーバーレイ処理における重畳回数を示す、合成処理における属性である重畳数（合成用画像情報）も取得する。処理対象領域Ｌ_１に対する合成処理のために、合成用画像取得部１３は、重畳数「２」といったパラメータを取得する。

　ここで、合成用画像取得部１３は、合成用画像の特徴を示すパラメータ（特徴パラメータ）のユーザによる指定をさらに受け付けることとしてもよい。合成用画像の特徴を示すパラメータは、例えば、水、醤油、ソース等の液体の種類を示すものであってもよい。合成用画像記憶部２１には、これらの液体それぞれが加熱されて泡が発生している状態を示す動画が、サイズ及び再生時素材長の複数のバリエーションを含んで合成用画像として記憶されている。これらの液体の種類の指定により、液体の粘度の違いが表現される。なお、本実施形態における合成用画像は、液体が加熱されて泡が発生している様子を表す動画であるが、液体の動きが表現された静止画であってもよい。

　そして、合成用画像取得部１３は、合成用画像記憶部２１から、取得した合成用画像の属性に該当する合成用画像を取得する。例えば、合成用画像取得部１３は、処理対象領域Ｌ_１に合成するための合成用画像として、サイズ「１００％」、再生時素材長「１５０％」の属性を有する合成用画像を取得する。また、合成用画像の特徴を示すパラメータがユーザにより指定されている場合には、合成用画像取得部１３は、その指定に該当すると共にサイズ「１００％」、再生時素材長「１５０％」の属性を有する合成用画像を取得する。

　なお、本実施形態では、合成用画像記憶部２１にサイズ及び再生速度を異ならせた合成用画像のバリエーションが記憶されており、それらのバリエーションが有する属性が、合成用画像の属性（合成用画像情報）として合成用画像取得部１３により取得されることとしている。これに対して、合成用画像記憶部２１にサイズ及び再生速度のバリエーションが記憶されていない場合には、例えば、液体の種類ごとに１つの合成用画像が合成用画像記憶部２１に記憶されており、図７に示すテーブルを参照して取得された合成用画像の属性（合成用画像情報）に応じたサイズ及び再生速度の画像が合成用画像取得部１３により生成されることとしてもよい。

　合成部１４は、合成用画像取得部１３により取得された合成用画像を処理対象領域に合成する部分である。まず、この合成処理における、処理対象領域Ｌに対する合成用画像の配置の仕方を、図８を参照して説明する。

　合成部１４は、図８（ａ）に示すように、処理対象領域Ｌが内接する矩形領域Ｒ_Ｌを設定する。次に、合成部１４は、図８（ｂ）に示すように、矩形領域Ｒ_Ｌに合成用画像Ｃをグリッド状に配列する。そして、合成部１４は、図８（ｃ）に示すように、矩形領域Ｒ_Ｌ内における処理対象領域Ｌ以外の領域に、合成用画像Ｃが表示されないようにするためのマスクＭをかけて、配列された合成用画像Ｃを処理対象領域Ｌに合成する。

　また、合成部１４は、矩形領域Ｒ_Ｌの１辺の長さが合成用画像Ｃの１辺の長さの整数倍に該当しないことに起因して、矩形領域Ｒ_Ｌの端部に配置された矩形状の合成用画像の辺が矩形領域Ｒ_Ｌの端部の辺に一致しない場合に、矩形領域Ｒ_Ｌに配置された全ての合成用画像Ｃのサイズを拡大又は縮小させて合成する。

　具体的には、図９（ａ）に示すように、矩形領域Ｒ_Ｌの端部に配列された合成用画像Ｃ_Ｅの辺が矩形領域Ｒ_Ｌの端部の辺に一致せず、合成用画像Ｃ_Ｅの半分以上の領域がＲ_Ｌの内部に収まらない場合には、合成部１４は、配列された全ての合成用画像Ｃを拡大して合成用画像Ｃ_Ｂを得て、配列された合成用画像の辺が矩形領域の辺に一致するように合成する。

　また、図９（ｂ）に示すように、矩形領域Ｒ_Ｌの端部に配列された合成用画像Ｃ_Ｅの辺が矩形領域Ｒ_Ｌの端部の辺に一致せず、合成用画像Ｃ_Ｅの半分以上の領域がＲ_Ｌの内部に収まる場合には、合成部１４は、配列された全ての合成用画像Ｃを縮小して合成用画像Ｃ_Ｓを得て、配列された合成用画像の辺が矩形領域の辺に一致するように合成する。

　なお、以上説明した例では、合成用画像Ｃが配列されて処理対象領域Ｌに合成されることとしているが、合成部１４は、処理対象領域Ｌが内接する矩形領域Ｒ_Ｌに合成用画像Ｃをランダムに配置することとしてもよい。その場合には、処理対象領域Ｌ内に合成用画像Ｃが合成されない領域が生じないように、合成部１４は、合成用画像Ｃが互いに重なる部分を有するように配置してもよい。

　次に、合成用画像を処理対象領域に合成する合成処理における色成分の合成について説明する。合成部１４は、合成用画像の色成分の合成処理の一つとして、合成用画像取得部１３により取得された合成用画像Ｃの明度成分を処理対象領域Ｌに付加する合成処理（第１の合成処理）を実施できる。

　合成用画像Ｃは、時間の概念を有する動画であって、時間の経過に伴い画素値が変動する。そして、動画における液体の動きは、明度成分の変動により好適に表現される。即ち、泡の発生及び消滅を表す動画である合成用画像Ｃの明度成分を処理対象領域Ｌに合成することにより、その処理対象領域Ｌに泡が発生及び消滅しているような動画像が得られる。具体的には、合成部１４は、合成用画像Ｃにおける時間に伴う画素ごとの明度の変化を、処理対象領域Ｌの対応する画素に合成する。図１０は、処理対象領域に対する合成用画像の明度成分の合成を概念的に説明する図である。図１０（ａ）には、合成用画像Ｃの一の画素における明度成分Ｖ_Ｃ１、明度成分Ｖ_Ｃ１の時間平均値Ｖ_ＡＶ及び静止画像である処理対象領域Ｌにおける対応する画素の明度値Ｖ_Ｌが示されている。合成部１４は、図１０（ｂ）に示すように、時間平均値Ｖ_ＡＶが明度値Ｖ_Ｌに一致するように、明度成分Ｖ_Ｃ１を明度成分Ｖ_Ｃ２にオフセットさせて、動画である合成用画像Ｃを処理対象領域Ｌに合成する。

　また、合成部１４は、合成用画像の色成分の合成処理の一つとして、処理対象領域Ｌのパラメータに応じた重畳回数に従って、合成用画像Ｃを処理対象領域Ｌに重畳合成する合成処理（第２の合成処理）を実施できる。重畳合成処理のための重畳回数は、例えば、合成用画像取得部１３により処理対象領域Ｌのパラメータに応じて図７に示すテーブルを参照して取得される。泡の発生及び消滅が表された動画である合成用画像Ｃを処理対象領域Ｌに重畳合成するに際して、重畳回数を増やすことにより、液体の動きがより明瞭に表される。従って、処理対象領域Ｌのパラメータに応じた重畳回数により合成用画像Ｃの重畳合成を行うことにより、処理対象領域Ｌの属性に適した液体の動きの特徴が表現することが可能となる。

　また、合成部１４は、合成用画像取得部１３により取得された合成用画像Ｃの色と処理対象領域Ｌの色との色空間における距離に基づき、合成用画像Ｃの明度成分を処理対象領域Ｌに付加する合成処理及び合成用画像Ｃを処理対象領域Ｌに重畳合成する合成処理のいずれか一方を実施することとしてもよい。

　具体的には、例えば、合成部１４は、合成用画像取得部１３により取得された合成用画像Ｃの色を示す画素値の平均値と、処理対象領域Ｌにおける当該合成用画像Ｃが重畳される領域に色を示す画素値の平均値との色空間における距離を求める。そして、合成部１４は、求められた距離が所定値以下である場合には、合成用画像Ｃの明度成分を処理対象領域Ｌに付加する合成処理を実施する。一方、合成部１４は、求められた距離が所定値を超える場合には、合成用画像Ｃを処理対象領域Ｌに重畳合成する合成処理を実施する。これにより、処理対象領域Ｌにおける液体の動きをより好適に表すために、より適切な合成処理の選択が可能となる。

　なお、合成部１４は、処理対象領域Ｌに合成用画像Ｃを合成する前に、処理対象領域Ｌに対して、ぼかし加工をすることとしてもよい。具体的には、合成部１４は、処理対象領域Ｌの画像に対して、いわゆるブラー処理を行うこととしてもよい。また、合成部１４は、処理対象領域Ｌの画像の各画素の色を表す画素値の平均を算出して、算出された平均値を処理対象領域Ｌの画像の各画素の画素値としてもよい。これらの処理により、より自然な合成画像が得られる。

　再び図１を参照して、出力部１５は、合成部１４により合成用画像Ｃが合成された加工対象画像を出力する部分である。図１１は、処理対象領域Ｌに合成用画像Ｃが合成された加工対象画像の一部を示す図である。図１１に示すように、出力部１５は、図３に示した加工対象画像における処理対象領域Ｌに、泡が発生している様子を表す合成用画像Ｃが合成された画像を出力する。このように、静止画像である加工対象画像の一部に動きを伴う液体の動画を合成できるので、基となる加工対象画像に表された料理画像は、加熱されている状態の料理を表したものであることを要さない。従って、加熱状態ではないため美味しそうに見える状態にある具材と、動きを伴うため美味しそうに見える状態にある汁等の液体と、が表された料理画像を出力することが可能となる。

　図８及び図９を参照して説明した例では、一の処理対象領域Ｌに同一の合成用画像Ｃが１以上配置されて合成される。本実施形態の画像生成装置１では、一の処理対象領域Ｌに合成用画像を合成するに際して、合成される位置に応じた合成用画像が選択されて合成される例外処理が実施されることとしてもよい。以下に、その具体例を説明する。

　処理対象領域Ｌの大きさが加工対象画像の大きさに対して所定以上の大きさである場合に、合成用画像取得部１３は、合成用画像の取得に際して、基準位置Ｆから処理対象領域Ｌにおける当該合成用画像が配置される位置までの距離に応じた再生速度及び／又はサイズが設定された合成用画像を取得することとしてもよい。

　処理対象領域Ｌの大きさが加工対象画像の大きさに対して所定以上の大きさを有する場合に、同一の合成用画像Ｃを処理対象領域Ｌの全面にわたって配列して合成すると、同一の態様の泡が処理対象領域Ｌの全面に一様に発生しているような不自然な画像が出力されることとなる。このような不自然さを防止するために、合成部１４による合成用画像Ｃの処理対象領域Ｌに対する仮の配置を実施した後に、合成用画像取得部１３は、基準位置Ｆから一の合成用画像Ｃの配置位置までの距離に応じた合成用画像の属性を、基準位置からの距離と合成用画像の属性とを対応付けたテーブル（図７参照）を参照して取得する。そして、取得された属性に該当する合成用画像を合成用画像取得部１３が取得し、合成部１４は、再取得された合成用画像を当該配置位置に合成する。

　また、処理対象領域Ｌの大きさが加工対象画像の大きさに対して所定以上の大きさである場合に、合成部１４は、加工対象画像における基準位置Ｆから処理対象領域Ｌにおける当該合成用画像が配置される位置までの距離に応じた重畳回数に従って、当該合成用画像を処理対象領域に重畳合成することとしてもよい。

　即ち、合成部１４による合成用画像Ｃの処理対象領域Ｌに対する仮の配置を実施した後に、合成部１４は、基準位置Ｆから一の合成用画像Ｃの配置位置までの距離に応じた重畳回数を、基準位置からの距離とオーバーレイ処理における重畳回数とを対応付けたテーブル（図７参照）を参照して取得する。そして、合成部１４は、取得された重畳回数に従って、合成用画像を当該配置位置に合成する。

　このように、処理対象領域Ｌの大きさが加工対象画像の大きさに対して所定以上の大きさである場合であっても、料理画像における火元位置に想定される基準位置Ｆからの距離に応じた合成用画像の選択及び合成を実施することにより、泡の発生といった液体の動きが不自然でない好適な合成用画像が得られる。

　また、具材と汁を含む料理が加熱されているときには、汁の具材近傍部分では、具材から一定以上離れている部分より泡の生成が遅いことに鑑みて、処理対象領域Ｌにおける具材近傍の領域に合成される合成用画像に対して所定の重み付けをすることができる。具体的には、合成部１４による合成用画像Ｃの処理対象領域Ｌに対する仮の配置を実施した後に、合成用画像取得部１３は、処理対象領域Ｌにおける当該合成用画像が配置される位置が処理対象領域の縁部から所定の距離以内である場合に、当該合成用画像における再生速度及び／又はサイズに対して所定の重み付けが加えられた合成用画像を取得する。例えば、合成用画像取得部１３は、仮配置されていた合成用画像よりも、再生時素材長が大きい合成用画像を合成用画像記憶部２１から取得する。そして、合成部１４は、再取得された合成用画像を当該配置位置に合成する。

　また、合成部１４は、当該合成用画像を合成する際の重畳回数に対して所定の重み付けを加えることとしてもよい。具体的には、合成部１４による合成用画像Ｃの処理対象領域Ｌに対する仮の配置を実施した後に、合成部１４は、処理対象領域Ｌの縁部から所定の距離以内に配置された合成用画像に対して、所定量の重みを付加したオーバーレイ合成における重畳回数を設定し、設定した重畳回数に従って当該合成用画像の合成を実施する。このように、処理対象領域Ｌの具材近傍の領域に適切な重みが付されて合成用画像が合成されるので、処理対象領域の縁部における液体の動きが適切に表された画像が得られる。

　次に、図１２を参照して、本実施形態の画像生成方法について説明する。図１２は、図１に示した画像生成装置１における画像生成方法の処理内容の例を示すフローチャートである。

　まず、取得部１１は、加工対象の静止画像である加工対象画像を取得する（Ｓ１）。次に、領域情報取得部１２は、ユーザからの画像の合成モードの選択を受け付ける（Ｓ２）。即ち、明度付与アルゴリズム（第１の合成処理）及びオーバーレイ合成（第２の合成処理）のいずれの処理方法により合成するかの選択が受け付けられる。なお、図１２に示すフローチャートでは、ユーザから合成モードの選択を明示的に受け付けることとしているが、合成部１４により自動的に合成モードが選択されることとしてもよい。

　続いて、領域情報取得部１２は、加工対象画像内における処理対象領域の指定を受け付ける（Ｓ３）。次に、合成用画像取得部１３は、加工対象画像における処理対象領域Ｌを示すマスクを生成する（Ｓ４）。そして、合成用画像取得部１３は、抽出された各処理対象領域Ｌの基準位置Ｆからの距離及び大きさといったパラメータを算出及び取得する（Ｓ５）。ここで、合成用画像取得部１３は、合成用画像の特徴を示すパラメータのユーザによる指定をさらに受け付けることとしてもよい（Ｓ６）。次に、合成用画像取得部１３は、処理対象領域をパラメータに基づき分類し、パラメータに応じた合成用画像を仮決定して、合成用画像記憶部２１から取得する（Ｓ７）。なお、合成モードとしてオーバーレイ合成が選択されている場合には、合成用画像取得部１３は、処理対象領域のパラメータに応じた重畳回数も取得する。

　合成モードとしてオーバーレイ合成が選択されている場合には、処理手順はステップＳ８に進められる。一方、合成モードとして明度付与アルゴリズムによる合成が選択されている場合には、処理手順はステップＳ１２に進められる。

　ステップＳ８において、合成部１４は、ステップＳ７において取得された合成用画像を処理対象領域に合成するために仮配置する（Ｓ８）。また、合成部１４は、ステップＳ７において取得した重畳回数も仮決定する。ここで、例外処理を実施すべき領域があるか否かが判定される（Ｓ９）。例外処理の一つは、加工対象画像の大きさに対して所定以上の大きさを有する処理対象領域が存在する場合に、加工対象画像における基準位置Ｆからの距離に応じた再生速度及びサイズを有する合成用画像を合成する処理である。また、その他の例外処理は、処理対象領域の縁部に合成される合成用画像に所定に重み付けを施す処理である。例外処理を実施すべき領域があると判定された場合には、合成用画像取得部１３及び合成部１４は、例外処理を実施する（Ｓ１０）。そして、合成部１４は、ステップＳ１０における例外処理を含めて、処理対象領域に対して合成用画像をオーバーレイ合成する合成処理を実施する（Ｓ１１）。

　一方、ステップＳ１２において、合成部１４は、ステップＳ７において取得された合成用画像を処理対象領域に合成するために仮配置する（Ｓ１２）。ここで、ステップＳ９と同様に例外処理を実施すべき領域があるか否かが判定される（Ｓ１３）。例外処理を実施すべき領域があると判定された場合には、合成用画像取得部１３及び合成部１４は、例外処理を実施する（Ｓ１４）。そして、合成部１４は、ステップＳ１４における例外処理を含めて、明度付与アルゴリズムによる、処理対象領域に対する合成用画像の合成処理を実施する（Ｓ１５）。

　ステップＳ１６において、ユーザからの指示に基づき、又はシステムにより自動的に、合成処理により得られた画像に対して色調等の調整処理が行われることとしてもよい（Ｓ１６）。また、ステップＳ１６において、画像に対して音声が付加される処理を実施できる。そして、出力部１５は、合成部１４により合成用画像が合成された加工対象画像を出力する（Ｓ１７）。

　次に、図１３を参照して、コンピュータを画像生成装置１として機能させるための画像生成プログラムを説明する。画像生成プログラムＰ１は、メインモジュールｍ１０、取得モジュールｍ１１、領域情報取得モジュールｍ１２、合成用画像取得モジュールｍ１３、合成モジュールｍ１４及び出力モジュールｍ１５を備える。

　メインモジュールｍ１０は、画像生成処理を統括的に制御する部分である。取得モジュールｍ１１、領域情報取得モジュールｍ１２、合成用画像取得モジュールｍ１３、合成モジュールｍ１４及び出力モジュールｍ１５を実行することにより実現される機能はそれぞれ、図１に示される画像生成装置１の取得部１１、領域情報取得部１２、合成用画像取得部１３、合成部１４及び出力部１５の機能と同様である。

　画像生成プログラムＰ１は、例えば、ＣＤ－ＲＯＭやＤＶＤ、ＲＯＭ等の記憶媒体１Ｄまたは半導体メモリによって提供される。また、画像生成プログラムＰ１は、搬送波に重畳されたコンピュータデータ信号として通信ネットワークを介して提供されてもよい。

　以上説明した本実施形態の画像生成装置１、画像生成方法及び画像生成プログラムＰ１によれば、加工対象画像内において処理対象領域Ｌが受け付けられ、処理対象領域Ｌの特徴を示すパラメータに関連付けられた合成用画像の属性に基づき取得された合成用画像が処理対象領域Ｌに合成される。これにより、静止画像である場合を含む加工対象画像の一部である処理対象領域に、動きを伴う液体が表された合成用画像Ｃが合成されるので、例えば、加熱状態ではない料理の静止画像における静止状態の液体が表された領域に、動きを伴う液体の画像を合成できる。従って、加熱状態ではないため美味しそうに見える状態にある具材と、動きを伴うため美味しそうに見える状態にある液体と、が表された料理画像を得ること可能となる。また、液体の動きに影響を与える特徴パラメータに基づき合成用画像が取得されるので、処理対象領域Ｌに液体の動きの特徴が表されていることは必ずしも要されない。また、処理対象領域Ｌの指定といった容易な入力のみに基づき、処理対象領域Ｌの特徴に基づく適切な合成用画像Ｃがコンピュータにより取得されるので、具材及び液体の両方が美味しそうに見える料理画像を容易に得ることができる。

　（第２実施形態）
図１４は、第２実施形態に係る画像生成装置１Ａ（動画生成装置）の機能的構成を示すブロック図である。画像生成装置１Ａは、料理を表した画像を加工対象画像として、加工対象画像におけるオブジェクトが表されたオブジェクト領域を特定する領域情報を取得して、オブジェクトが振動しているように表示される動画を生成する装置である。本実施形態では、野菜や肉等の具材及び汁が表された料理画像のうちの具材が表された領域をオブジェクト領域として、加熱により具材が振動されている様子を示す動画が生成される例を説明する。なお、本実施形態では、料理を表した静止画像を加工対象画像としているが、動きが少ない具材の動画像を含む料理画像を加工対象画像としてもよい。

　画像生成装置１Ａは、機能的には、画像生成装置１が有している取得部１１（画像取得手段）、領域情報取得部１２Ａ（領域情報取得手段）、合成用画像取得部１３、合成部１４、出力部１５（出力手段）、設定部１６（設定手段）及び生成部１７（生成手段）を備える。また、設定部１６は、形状分類テーブル記憶部２２といった記憶手段にアクセス可能である。

　取得部１１は、加工対象の画像である加工対象画像を取得する部分である。第１実施形態において示したように、取得部１１は、図３に示したような、野菜及び肉等の具材及び汁を含む鍋料理を表した料理画像が加工対象画像として取得する。

　領域情報取得部１２Ａは、加工対象画像内における処理対象のオブジェクトが表されたオブジェクト領域を特定する領域情報を取得する部分である。本実施形態では、領域情報取得部１２Ａは、ユーザによるオブジェクト領域の指定を受け付け、受け付けた情報に基づいてオブジェクト領域を特定する。オブジェクト領域の指定の受け付けについて、図４を参照して説明する。第１実施形態において説明したように、領域情報取得部１２Ａは、処理対象領域を受け付け可能であると共に、具材が表された領域であるオブジェクト領域の指定を受け付けることができる。例えば、領域情報取得部１２Ａは、具材が表された部分に対するユーザによる線の入力に基づき、具材が表されたオブジェクト領域Ｓの指定を受け付ける。図４では、オブジェクト領域Ｓを指定するための線は、１点破線により示されている。なお、領域情報取得部１２Ａは、例えば、画像の色情報を用いた領域分割といった周知の画像処理技術により特定されたオブジェクト領域を領域情報として取得することとしてもよい。

　設定部１６は、領域情報取得部１２Ａにより受け付けられたオブジェクト領域Ｓの形状に基づき、オブジェクトにおける固定制御点、振動制御点及び振動方向を設定する部分である。オブジェクト領域Ｓの形状は、ユーザによる指定又は周知の画像処理により得られる。固定制御点及び振動制御点はそれぞれ、オブジェクトが振動しているように表示される動画を生成する際に、位置が固定される部分及び固定制御点に対して振動される部分を示す。振動方向は、振動制御点が固定制御点に対して振動される方向を示す。設定部１６は、形状分類テーブル記憶部２２を参照して、これらの設定を行う。

　また、設定部１６は、オブジェクトについての変形及び非変形のいずれかの属性の指定をユーザから受け付け、変形の属性を受け付けた場合に、オブジェクト領域に対して固定制御点、振動制御点及び振動方向を設定する。

　形状分類テーブル記憶部２２は、オブジェクトの形状と、固定制御点、振動制御点及び振動方向とを対応付けて記憶している記憶手段である。図１５は、形状分類テーブル記憶部２２の構成及び記憶されているデータの例を示す図である。図１５に示すように、形状分類テーブル記憶部２２は、形状タイプＩＤごとに、各種のオブジェクトの形状、固定制御点、振動制御点及び振動方向を対応付けて記憶している。図１５のテーブルにおいて、固定制御点は×印、振動制御点は丸印、振動方向は矢印で示されている。

　図１６は、領域情報取得部１２Ａにより受け付けられたオブジェクト領域Ｓ及びその形状Ｒの例を示す図である。本実施形態では、変形又は非変形といったオブジェクトの属性、及びオブジェクト領域Ｓの形状は、ユーザにより指定されることとする。図１７は、オブジェクト領域Ｓごとに指定された変形又は非変形の属性及び形状タイプを記憶するテーブル示す図である。

　図１６（ａ）に示す例では、領域情報取得部１２Ａは、春菊といった葉野菜をオブジェクトとして、オブジェクト領域Ｓ_１の指定を受け付ける。そして、設定部１６は、葉野菜は加熱時に形状が変形するオブジェクトであるので、「変形」の属性指定をユーザから受け付けると共に、オブジェクト領域Ｓ_１の形状Ｒ_１に基づき、形状テーブル（図１５）に記憶されている形状タイプのうちの形状タイプＩＤ「１」の指定を受け付ける。ユーザからの指定の受け付けに応じて、設定部１６は、図１７に示すテーブルに、オブジェクト領域Ｓ_１の領域ＩＤ「１」に対応付けて、属性「変形」及び形状タイプ「１」を記憶させる。そして、設定部１６は、形状分類テーブルにおいて形状タイプＩＤ「１」の形状に対応付けられている固定制御点、振動制御点及び振動方向に従って、オブジェクト領域Ｓ_１に対して固定制御点、振動制御点及び振動方向を設定する。

　図１６（ｂ）に示す例では、領域情報取得部１２Ａは、しいたけをオブジェクトとして、オブジェクト領域Ｓ_２の指定を受け付ける。そして、設定部１６は、しいたけは加熱時に形状が変形しないオブジェクトであるので、「非変形」の属性指定をユーザから受け付ける。設定部１６は、図１７に示すテーブルに、オブジェクト領域Ｓ_２の領域ＩＤ「２」に対応付けて、属性「非変形」を記憶させる。そして、設定部１６は、オブジェクト領域Ｓ_２の属性が非変形であるので、固定制御点、振動制御点及び振動方向の設定を行わない。

　図１６（ｃ）に示す例では、領域情報取得部１２Ａは、長ネギといった野菜をオブジェクトとして、オブジェクト領域Ｓ_３の指定を受け付ける。そして、設定部１６は、長ネギは加熱時に形状が変形するオブジェクトであるので、「変形」の属性指定をユーザから受け付けると共に、オブジェクト領域Ｓ_３の形状Ｒ_３に基づき、形状テーブル（図１５）に記憶されている形状タイプのうちの形状タイプＩＤ「３」の指定を受け付ける。ユーザからの指定の受け付けに応じて、設定部１６は、図１７に示すテーブルに、オブジェクト領域Ｓ_３の領域ＩＤ「３」に対応付けて、属性「変形」及び形状タイプ「３」を記憶させる。そして、設定部１６は、形状分類テーブルにおいて形状タイプＩＤ「３」の形状に対応付けられている固定制御点、振動制御点及び振動方向に従って、オブジェクト領域Ｓ_３に対して固定制御点、振動制御点及び振動方向を設定する。

　図１８は、オブジェクト領域Ｓに固定制御点、振動制御点及び振動方向を設定するための矩形領域の設定の例を示す図である。図１８（ａ）は、領域情報取得部１２Ａにより受け付けられたオブジェクト領域Ｓ_０を示す図である。設定部１６は、オブジェクト領域Ｓ_０に固定制御点等の設定を行うために、例えば主成分分析といった手法によりオブジェクト領域Ｓ_０の長手方向を算出し、長手方向に直交する短手方向を算出する。図１８（ｂ）は、オブジェクト領域Ｓ_０に対して算出された長手方向（Ｘ軸方向）及び短手方向（Ｙ軸方向）を示す図である。そして、設定部１６は、図１８（ｃ）に示すように、長手方向及び短手方向のそれぞれに平行な辺を有しオブジェクト領域Ｓ_０が内接する矩形領域Ｒ_０を設定する。設定部１６は、形状分類テーブル（図１５参照）を参照して、選択された形状タイプに応じた固定制御点等を、矩形領域Ｒ_０に対して設定する。

　再び図１４を参照して、生成部１７は、設定部１６により設定された固定制御点、振動制御点及び振動方向に応じて、オブジェクトが振動しているように表示される動画を生成する部分である。図１９は、領域情報取得部１２Ａにより受け付けられたオブジェクト領域Ｓ（図１６参照）ごとの振動の様子を模式的に示す図である。

　図１９（ａ）に示すように、生成部１７は、図１６（ａ）に示した葉野菜のオブジェクト領域Ｓ_１に対して、×印で示される固定制御点が固定された状態で、丸印で示される振動制御点が矢印で示される方向に振動するように表示される動画を生成する。

　また、図１９（ｂ）に示すように、生成部１７は、図１６（ｂ）に示したしいたけのオブジェクト領域Ｓ_２に対して、オブジェクトの形状を保ったまま、矢印で示すように上下左右に振動するように表示される動画を生成する。

　また、図１９（ｃ）に示すように、生成部１７は、図１６（ｃ）に示した長ネギのオブジェクト領域Ｓ_３に対して、×印で示される固定制御点が固定された状態で、丸印で示される振動制御点が矢印で示されるように上下方向に振動するように表示される動画を生成する。

　なお、生成部１７は、振動制御点の振動の大きさを、例えば、オブジェクト領域の大きさに応じて設定する。具体的には、オブジェクト領域Ｓの大きさを振動の大きさの対応付けを予め設定されていることとすると、生成部１７は、オブジェクト領域Ｓの大きさを、例えば画素数に基づき取得し、取得したオブジェクト領域Ｓの大きさに応じた振動の大きさを当該オブジェクト領域Ｓに対して設定することができる。例えば、オブジェクト領域の大きさが大きいほど、振動の大きさが小さくなるように設定されることとしてもよい。

　また、第１実施形態において説明したように、汁等の液体が表された領域を処理対象領域とする指定を受け付けて、処理対象領域の特徴を示すパラメータに基づき、泡の発生等の動きを伴う液体の動画である合成用画像を取得し、取得された合成用画像が処理対象領域に合成される場合に、生成部１７は、オブジェクト領域Ｓから所定距離以内の近傍位置の処理対象領域に合成された合成用画像の属性に応じて、オブジェクトの振動の大きさを制御することとしてもよい。例えば、生成部１７は、オブジェクト領域Ｓの近傍位置に合成される合成用画像のサイズが大きいほど、又は再生速度が速いほど、当該オブジェクト領域Ｓの振動の大きさが大きくなるような動画を生成することとしてもよい。

　出力部１５は、生成部１７により生成された、オブジェクト領域Ｓ振動しているように表示された動画が合成された加工対象画像を出力する。具体的には、出力部１５は、図４において指定したオブジェクト領域Ｓの各々が、図１９を参照して説明したように振動しているように表示された動画が合成された加工対象画像を出力する。

　次に、図２０を参照して、第２実施形態の画像生成方法について説明する。図２０は、図１４に示した画像生成装置１Ａにおける画像生成方法の処理内容の例を示すフローチャートである。

　まず、取得部１１は、加工対象の静止画像である加工対象画像を取得する（Ｓ３１）。次に、領域情報取得部１２Ａは、例えば、料理画像における具材が表されたオブジェクト領域Ｓの指定を受け付ける（Ｓ３２）。ここで、領域情報取得部１２Ａは、オブジェクト領域Ｓごとに、変形又は非変形といった属性、及び形状のタイプの指定を受け付ける。そして、加工対象画像におけるオブジェクト領域Ｓを示すマスクが生成される（Ｓ３３）。

　オブジェクト領域Ｓの属性として「変形」が設定された場合には、処理手順はステップＳ３５に進められる。一方、オブジェクト領域Ｓの属性として「非変形」が設定された場合には、処理手順はステップＳ３４に進められる。

　ステップＳ３４において、設定部１６は、オブジェクト領域Ｓの大きさ及び当該オブジェクト領域Ｓの周辺に合成される泡画像（合成用画像）の属性に基づき振動の大きさを設定する（Ｓ３４）。

　一方、ステップＳ３５において、設定部１６は、オブジェクト領域Ｓの形状のタイプに基づき、固定制御点、振動制御点及び振動方向を設定する（Ｓ３５）。さらに、設定部１６は、オブジェクト領域Ｓの大きさ及び当該オブジェクト領域Ｓの周辺に合成される泡画像（合成用画像）の属性に基づき振動の大きさを設定する（Ｓ３６）。

　次に、生成部１７は、オブジェクト領域Ｓが振動しているように表示される動画を生成し、その動画を加工対象画像に合成する（Ｓ３７）。そして、出力部１５は、振動しているように表示されたオブジェクト領域Ｓが合成された合成画像を出力する（Ｓ３８）。

　なお、図１３に示された画像生成プログラムＰ１に含まれる各モジュールに加えて、設定部１６の機能を実現させる設定モジュール、生成部１７の機能を実現させる生成モジュールを画像生成プログラムＰ１が備えることにより、コンピュータを画像生成装置１Ａ（図１４参照）として機能させるための画像生成プログラムが構成される。

　以上説明した第２実施形態の画像生成装置１Ａ、画像生成方法及び画像生成プログラムによれば、加工対象画像内においてオブジェクト領域Ｓを特定する領域情報が取得され、オブジェクト領域Ｓにおいて設定された固定制御点、振動制御点及び振動方向に応じてオブジェクトが振動しているように表示される動画が生成される。その動画が加工対象画像に合成されることにより、例えば、加熱状態ではない料理の静止画像における具材をオブジェクトとして振動させるように表示させることができる。従って、加熱状態ではないために色及び形状といった観点で美味しそうに見える状態にある具材が表された領域に対して、加熱状態のような動きを付加することができるので、具材及び液体の両方が美味しく見える料理画像を得ることが可能となる。また、具材が表された領域をオブジェクト領域として指定するといった容易な入力のみに基づき、具材が表されたオブジェクト領域が振動するように表されるので、具材及び液体の両方が美味しそうに見える料理画像を容易に得ることができる。

　以上、本発明をその実施形態に基づいて詳細に説明した。しかし、本発明は上記実施形態に限定されるものではない。本発明は、その要旨を逸脱しない範囲で様々な変形が可能である。

　また、本発明は、冷めたハンバーグの写真に対して、ハンバーグ周囲の油が表された領域に、泡が発生している様子を表す合成用画像を合成することにより、ハンバーグが焼かれている途中又は焼いた直後の様子を表現することに適用できる。また、本発明は、冷えた焼き魚の写真に対して、魚の表面の領域に泡が発生している様子を表す合成用画像を合成することにより、焼かれた直後の状態を表現することに適用できる。なお、処理対象領域は、ユーザが指定した領域であればいかなる領域でもよく、液体が表された領域に限定されない。

　（その他の実施形態）
次に、本発明のその他の実施形態を更に説明する。図１及び図１４に示される、本実施形態の画像生成装置１，１Ａは、対象となる画像に、別の画像を部分的にまたは全体的に合成させるか若しくは重畳させ、または部分的に置換する加工を施すことにより新たな画像を生成する装置である。

　まず、図１に示される画像生成装置１におけるその他の実施形態を説明する。この場合には、合成用画像記憶部２１は、動きを伴う液体が表された動画に加えて、複数の静止画を合成用画像として記憶していてもよい。複数の静止画は、例えば、動きを伴う液体を所定の時間間隔で撮影したような複数の静止画像である。より具体的には、複数の静止画は、例えば、加熱された液体に泡が発生する様子を段階的に表した複数の画像である。

　領域情報取得部１２（領域指定手段）は、対象となる画像に対して加工を施す１または複数の領域を指定する。対象となる画像は、取得部１１により取得された加工対象画像である。領域情報取得部１２は、加工対象画像内における処理対象領域の指定をユーザから受け付けると（図４参照）、受け付けた情報に基づき処理対象領域Ｌを特定する。処理対象領域Ｌは、加工を施す領域である（例えば図５を参照）。

　なお、領域情報取得部１２は、処理対象領域として指定された領域における加工内容を指定する手段（加工内容指定手段）を構成することとしてもよい。即ち、処理対象領域が、液体を表している領域であるか、オブジェクトが表されたオブジェクト領域であるかに基づき、加工内容を指定することとしてもよい。また、領域情報取得部１２は、ユーザからの加工内容の指定を受け付ける機能を有することとしてもよい。

　合成用画像取得部１３（別画像指定手段）は、対象となる画像の指定された領域に加工を施すための別画像を指定する。即ち、合成用画像取得部１３は、加工対象画像の処理対象領域に加工を施すための合成用画像を指定する。第１実施形態において述べたように、合成用画像取得部１３は、例えば、処理対象領域Ｌのパラメータに応じて、合成用画像記憶部２１から、合成用画像を取得する。

　合成部１４（生成手段、画像生成手段）は、加工対象画像に対して、指定された加工内容に基づく加工を施し動作画像を生成する。そして、合成部１４は、動作画像に基づき動画像を生成する。出力部１５は、合成部１４により生成された動画像を出力する。合成部１４の処理内容について、以下に具体的に説明する。

　加工対象画像が静止画像であり、かつ合成用画像が複数の静止画から構成される場合の例を説明する。この場合には、合成部１４は、加工対象画像に合成用画像の各静止画による加工を施して複数の動作画像を生成する。そして、合成部１４は、複数の動作画像を時系列に表示可能に組み合わせて動画像を生成する。

　加工対象画像が、例えば図３に示すような料理画像であるとすると、合成用画像は、液体が加熱されて泡が発生している様子を段階的に表現するような複数の静止画であってもよい。具体的には、複数の静止画は、例えば、泡が発生する前の液体の様子、泡の発生の初期段階の様子、泡の発生の途中の段階の様子、泡が最大限の大きさになった様子、泡が破裂した様子等を示す静止画を含むこととすることができる。

　合成部１４は、加工対象画像である料理画像における液体が表された領域に、泡が発生している様子を表した各静止画を合成して、動作画像をそれぞれ生成する。そして、合成部１４は、泡が発生する様子が段階的に表現された複数の動作画像を時系列に表示可能に組み合わせて動画像を生成する。具体的には、合成部１４は、泡が発生する場面が表現されるように表示順が設定された複数の動作画像を、表示順に従って並べて動画像を生成する。

　なお、この例において、加工対象画像が、目が開いている状態の人の顔の画像であり、合成用画像が、目の部分を表す画像であって、目が閉じている状態の第１静止画と、目が半開きの状態の第２静止画であってもよい。この場合、合成部１４は、加工対象画像の目の領域に第１静止画を合成した第１動作画像と、第２静止画像を合成した第２動作画像とを生成する。そして、合成部１４は、加工対象画像、第２動作画像、第１動作画像、第２動作画像、加工対象画像・・・の順に表示可能に組み合わせた動画像を生成する。

　加工対象画像が静止画像であり、かつ合成用画像が動画像である場合の例を説明する。この場合には、合成部１４は、加工対象画像に合成用画像である動画像における各場面の画像による加工を施して複数の動作画像を生成する。そして、合成部１４は、複数の動作画像を時系列に表示可能に組み合わせて動画像を生成する。

　加工対象画像が、例えば図３に示すような料理画像であるとすると、合成用画像は、液体が加熱されて泡が発生している様子を表現する動画像であってもよい。合成部１４は、加工対象画像である料理画像における液体が表された領域に、泡が発生している様子を表した動画像における各場面の画像（動画像を構成する複数のフレームのうちの１つのフレーム）を合成して、動作画像をそれぞれ生成する。そして、合成部１４は、泡が発生する様子が表現された複数の動作画像を時系列に表示可能に組み合わせて動画像を生成する。具体的には、合成部１４は、泡が発生している様子を表現する動画像を構成するフレーム順に応じて表示順が設定された複数の動作画像を、表示順に従って並べて動画像を生成する。

　加工対象画像及び合成用画像が共に動画像である場合の例を説明する。この場合には、合成部１４は、加工対象画像の各場面の画像に合成用画像の各場面の画像による加工を施して複数の動作画像を生成する。そして、合成部１４は、複数の動作画像を時系列に表示可能に組み合わせて動画像を生成する。

　加工対象画像が、例えば、ある料理が加熱されている様子を表す動画から成る料理画像であるとすると、合成用画像は、液体が加熱されて泡が発生している様子を表現する動画像であってもよい。合成部１４は、加工対象画像である料理画像における液体が表された領域の各場面の画像（料理画像を構成する複数のフレームのうちの１つのフレームにおける液体が表された領域）に、泡が発生している様子を表した動画像における各場面の画像（動画像を構成する複数のフレームのうちの１つのフレーム）をそれぞれ合成して、動作画像をそれぞれ生成する。そして、合成部１４は、泡が発生する様子が強調された複数の動作画像を、料理画像の液体が表された領域において時系列に表示可能に組み合わせて動画像を生成する。このように、加工対象画像において動きが表現されている場合であっても、その動きをより強調したい場合がある。この例によれば、加工対象画像において表されている動きをより強調できる。

　次に、図２１～２５を参照して、加工対象画像に、当該画像における動作方向が定められる場合の例を説明する。

　この場合には、領域情報取得部１２は、加工対象画像の加工を施す領域における動作方向を指定する。具体的には、領域情報取得部１２は、例えば、ユーザによる入力に基づき動作方向の指定を受け付ける。図２１は、加工対象画像の例を示す図である。図２１には、グラスに注がれたスパークリングワインが示されており、スパークリングワインが表された領域が加工を施す領域Ｌ_Ａとして指定されている。領域情報取得部１２は、ユーザ入力に基づき、動作方向ＤＲ_Ａ１の指定を受け付ける。動作方向ＤＲ_Ａ１として例えば、ユーザは加工対象画像における鉛直上方向を指定する。図２２は、合成用画像の例を示す図である。図２２の例では、合成用画像は、泡が移動する様子を表している。そして、合成用画像には、泡の移動方向が動作方向ＤＲ_Ｂ１として設定されている。なお、合成用画像取得部１３が、合成用画像における特徴点の動き方向を検出し、その動き方向を動作方向ＤＲ_Ｂ１として設定してもよい。

　図２３は、合成部１４により生成された動作画像の例を示す図である。図２３に示すように、合成部１４は、加工を施す領域Ｌ_Ａにおける動作方向ＤＲ_Ａ１と、合成用画像における動作方向ＤＲ_Ｂ１とが互いに一致するように加工を施して動作画像Ｇ_Ａ１を生成する。つまり、合成部１４は、動作方向ＤＲ_Ａ１と動作方向ＤＲ_Ｂ１とが一致するように、加工対象画像に対して合成用画像を回転させて合成する。

　また、図２４は、合成用画像の他の例を示す図である。図２４に示される合成用画像には、１つの泡を表す画像Ｂ_０が示されると共に、動作方向ＤＲ_Ｂ２が設定されている。合成部１４は、加工を施す領域Ｌ_Ａにおける動作方向ＤＲ_Ａ１と、合成用画像における動作方向ＤＲ_Ｂ２とが互いに一致するように加工を施して動作画像Ｇ_Ｂ１～Ｇ_Ｂ３を生成する。具体的には、図２５に示すように、合成部１４は、泡を表す画像Ｂ_０が動作方向ＤＲ_Ｂ２に沿って段階的に移動する様子を表す各画像Ｂ_１～Ｂ_３を、動作方向ＤＲ_Ａ１と動作方向ＤＲ_Ｂ２とが互いに一致するように、加工対象画像の加工を施す領域Ｌ_Ａにそれぞれ合成し、動作画像Ｇ_Ｂ１～Ｇ_Ｂ３を生成する。これにより、泡の動きが表されていなかった加工対象画像に基づき、泡の動きが表された動画像を容易に得ることが可能となる。

　なお、上記の例では、グラスに注がれたスパークリングワインの画像に泡の動きを表す例を説明したが、上記の他に、表されるものの動きに一定の方向性を伴うものに適用可能であり、例えば、煙突から発生する煙を表す動画像の生成等にも適用可能である。

　また、本実施形態の加工対象画像及び／または合成用画像が３次元画像データにより構成されていてもよい。即ち、加工対象画像を表示するためのデータとして、ワールド座標系で表現された３次元モデルが利用される。また、合成用画像を表示するためのデータとして、ローカル座標系で表現された３次元モデルが利用される。これらの３次元画像データに基づき、２次元画像に投影されたものが画像として出力及び表示される。図２６～２７を参照して、加工対象画像及び／または合成用画像が３次元画像データにより構成される例を説明する。

　図２６は、３次元画像データに基づき表示された加工対象画像の例を示す図である。図２６に示される加工対象画像では、グラスに注がれたスパークリングワインが示されており、スパークリングワインが表された領域が加工を施す領域Ｌ_Ａ２として指定されている。領域情報取得部１２は、ユーザ入力に基づき、グラスの底から液面に至る鉛直上方向を動作方向ＤＲ_Ａ２として指定を受け付ける。加工対象画像における動作方向ＤＲ_Ａ２は、ワールド座標系で記述されたベクトルで表現される。また、この例では、泡を表す３次元画像データが合成用画像として用いられる。この合成画像における泡の移動方向である動作方向は、ローカル座標系で記述されたベクトルで表現される。

　図２７に示すように、合成部１４は、泡を表す３次元画像データに基づき、泡が動作方向ＤＲ_Ａ２に沿って段階的に移動する様子を表す各画像Ｂ_１１～Ｂ_１３を生成し、生成した各画像Ｂ_１１～Ｂ_１３を、加工を施す領域Ｌ_Ａ２にそれぞれ合成し、動作画像Ｇ_Ｂ１１～Ｇ_Ｂ１３を生成する。この生成処理では、加工対象画像に対してユーザにより指定された動作方向と、加工対象画像における泡の動作方向とが一致するように、ワールド座標系における動作方向ＤＲ_Ａ２を表すベクトルに、ローカル座標系における泡の移動方向を表すベクトルが一致するように、合成用画像の３次元モデルが回転されて加工対象画像に合成される。

　次に、図１４に示される画像生成装置１Ａにおけるその他の実施形態を説明する。この場合には、合成用画像記憶部２１は、動きを伴う液体が表された動画に加えて、複数の静止画を合成用画像として記憶していてもよい。複数の静止画は、例えば、動きを伴う液体を所定の時間間隔で撮影したような複数の静止画像である。より具体的には、複数の静止画は、例えば、加熱された液体に泡が発生する様子を段階的に表した複数の画像である。

　領域情報取得部１２Ａ（領域情報取得手段）は、対象となる画像に対して加工を施す１または複数の領域を指定する。対象となる画像は、取得部１１により取得された加工対象画像である。領域情報取得部１２Ａは、加工対象画像内におけるオブジェクト領域の指定をユーザから受け付けると（図４参照）、受け付けた情報に基づきオブジェクト領域を加工を施す処理対象領域として特定する。

　なお、領域情報取得部１２Ａは、処理対象領域として指定された領域における加工内容を指定する手段（加工内容指定手段）を構成することとしてもよい。即ち、処理対象領域が、液体を表している領域であるか、オブジェクトが表されたオブジェクト領域であるかに基づき、加工内容を指定することとしてもよい。また、領域情報取得部１２Ａは、ユーザからの加工内容の指定を受け付ける機能を有することとしてもよい。

　合成用画像取得部１３（別画像指定手段）は、対象となる画像の指定された領域に加工を施すための別画像を指定する。即ち、合成用画像取得部１３は、加工対象画像の処理対象領域に加工を施すための合成用画像を指定する。本実施形態では、合成用画像取得部１３は、例えば、処理対象領域として特定されたオブジェクトの画像を合成用画像として処理対象画像から抽出してもよい。

　生成部１７（生成手段、画像生成手段）は、加工対象画像に対して、指定された加工内容に基づく加工を施し動作画像を生成する。そして、合成部１４は、動作画像に基づき動画像を生成する。出力部１５は、合成部１４により生成された動画像を出力する。合成部１４の処理内容について、以下に具体的に説明する。

　加工対象画像及び合成用画像が共に静止画から構成される場合の例を説明する。この場合には、生成部１７は、加工対象画像に合成用画像による加工を施して複数の動作画像を生成する。そして、生成部１７は、加工対象画像自体と生成した動作画像とを時系列に表示可能に組み合わせて動画像を生成する。

　加工対象画像が、例えば図３に示すような料理画像であるとすると、合成用画像は、例えば、ユーザの指定に基づき特定されたオブジェクト領域に表されたオブジェクトの画像である。合成用画像とするオブジェクトの画像は、加工対象画像から抽出することができる。生成部１７は、第２実施形態において説明したように、設定された固定制御点、振動制御点及び振動方向に基づき、元となるオブジェクトの画像に対して、当該オブジェクトが振動しているように見える画像を動作画像として生成する。そして、生成部１７は、加工対象画像におけるオブジェクト画像自体と、生成した動作画像とを時系列に表示可能に組み合わせて動画像を生成する。

　合成用画像が、加工対象画像の経時変化後の画像を表す画像を含む場合の例を説明する。この場合には、生成部１７は、加工対象画像が当該加工対象画像の経時変化後の画像に徐々に変化する状態を表す１または複数の動作画像を生成する。この例を、図２８を参照して具体的に説明する。

　生成部１７は、加工対象画像から抽出したオブジェクトの画像に基づき、そのオブジェクトの経時変化後の画像を生成する。例えば、図１６（c）に示すようなオブジェクトの領域が処理対象領域として指定されると共に、合成用画像として抽出された場合には、生成部１７は、図２８に示すように、当該オブジェクトの経時変化を表す動作画像Ｏ_１～Ｏ_３を生成する。例えば、棒状の形状をしたオブジェクトについては、除々に湾曲した状態の動作画像を生成する。これにより、例えば、長ネギがしんなりする様子を示すことができる。そして、生成部１７は、動作画像Ｏ_１～Ｏ_３を加工対象画像の処理対象領域に合成して動画像を生成する。これにより、料理画像における具材等の経時変化を表す画像を容易に得ることができる。なお、図２８を参照して説明した例により、肉が焼ける様子、図４に示したような汁を含む料理画像において汁の液面が下がっていく様子等を表現することが可能となる。例えば肉が焼ける様子を表す場合には、生成部１７は、焼き色が徐々に濃くなるような複数の動作画像を生成する。

　合成用画像が、加工対象画像の動作を表すための第１の合成用画像と、加工対象画像の経時変化を表すための第２の合成用画像とを含む場合の例を説明する。この場合には、生成部１７は、第１及び第２の合成用画像による動作及び経時変化を表す１または複数の動作画像を生成する。この例を、図２９を参照して具体的に説明する。

　生成部１７は、例えば、加工対象画像から抽出したオブジェクトの画像に基づき、そのオブジェクトの動作及び経時変化を表す画像を生成する。例えば、図１６（c）に示すようなオブジェクトの領域が処理対象領域として指定されると共に、合成用画像として抽出された場合には、生成部１７は、図２９に示すように、当該オブジェクトの動作を示す対を成す動作画像Ｏ_１Ａ，Ｏ_１Ｂを生成する。動作画像Ｏ_１Ａ，Ｏ_１Ｂが時系列に交互に表示されることにより、オブジェクトが振動する動作が表される。

　また、生成部１７は、動作画像Ｏ_１Ａに表されたオブジェクトの経時変化を表す動作画像Ｏ_２Ａ，Ｏ_３Ａを生成する。さらに、生成部１７は、動作画像Ｏ_２Ａ，Ｏ_３Ａに表されたオブジェクトの振動を表し、これらの動作画像とそれぞれ対と成す動作画像Ｏ_２B，Ｏ_３Bを生成する。そして、生成部１７は、動作画像Ｏ_１Ａ，Ｏ_１Ｂ、Ｏ_２Ａ，Ｏ_２Ｂ、Ｏ_３Ａ，Ｏ_３Ｂを加工対象画像の処理対象領域に合成して動画像を生成する。これにより、料理画像における具材等の動作及び経時変化を表す画像を容易に得ることができる。

　なお、その他の実施形態において説明した画像生成装置１，１Ａの各機能部により実施される処理内容に係る技術的思想は、画像生成装置における画像生成方法として把握することができる。また、その他の実施形態において説明した画像生成装置１，１Ａの各機能は、各機能を実現させるための機能モジュールからなる画像生成プログラムをコンピュータにより実行することにより実現され、そのコンピュータが画像生成装置１，１Ａを構成する。

　次に、以上述べた本発明の第１及び第２実施形態から抽出される技術的思想を請求項の記載形式に準じて列挙する。本発明に係る技術的思想は上位概念から下位概念まで、様々なレベルやバリエーションにより把握できるものであり、以下の形態に本発明が限定されるものではない。

（項１）
　加工対象の画像である加工対象画像を取得する取得手段と、
　前記加工対象画像内における処理対象領域を特定する領域情報を取得する領域情報取得手段と、
　前記領域情報取得手段により取得された領域情報により特定される処理対象領域の特徴を示し、液体の動きに影響を与える特徴パラメータを取得する特徴取得手段と、
　液体の動きに影響を与える特徴パラメータと、動きを伴う液体が表された合成用画像を取得するための合成用画像情報とを関連付けて記憶する記憶手段を参照し、取得された前記処理対象領域の特徴パラメータと関連付けて記憶された合成用画像情報に基づいて合成用画像を取得する合成用画像取得手段と、
　前記合成用画像取得手段により取得された合成用画像を前記処理対象領域に合成する合成手段と、
　前記合成手段により合成用画像が合成された加工対象画像を出力する出力手段と、
　を備える画像生成装置。

（項１２）
　コンピュータにより実行される画像生成方法であって、
　加工対象の画像である加工対象画像を取得する取得ステップと、
　前記加工対象画像内における処理対象領域を特定する領域情報を取得する領域情報取得ステップと、
　前記領域情報取得ステップにおいて取得された領域情報により特定される処理対象領域の特徴を示し、液体の動きに影響を与える特徴パラメータを取得する特徴取得ステップと、
　液体の動きに影響を与える特徴パラメータと、動きを伴う液体が表された合成用画像を取得するための合成用画像情報とを関連付けて記憶する記憶手段を参照し、取得された前記処理対象領域の特徴パラメータと関連付けて記憶された合成用画像情報に基づいて合成用画像を取得する合成用画像取得ステップと、
　前記合成用画像取得ステップにおいて取得された合成用画像を前記処理対象領域に合成する合成ステップと、
　前記合成ステップにおいて合成用画像が合成された加工対象画像を出力する出力手ステップと、
　を有する画像生成方法。

（項１３）
　コンピュータに、
　加工対象の画像である加工対象画像を取得する取得機能と、
　前記加工対象画像内における処理対象領域を特定する領域情報を取得する領域情報取得機能と、
　前記領域情報取得機能手段により取得された領域情報により特定される処理対象領域の特徴を示し、液体の動きに影響を与える特徴パラメータを取得する特徴取得機能と、
　液体の動きに影響を与える特徴パラメータと、動きを伴う液体が表された合成用画像を取得するための合成用画像情報とを関連付けて記憶する記憶手段を参照し、取得された前記処理対象領域の特徴パラメータと関連付けて記憶された合成用画像情報に基づいて合成用画像を取得する合成用画像取得機能と、
　前記合成用画像取得機能により取得された合成用画像を前記処理対象領域に合成する合成機能と、
　前記合成機能により合成用画像が合成された加工対象画像を出力する出力機能と、
　を実現させる画像生成プログラム。

（項２）
　前記合成用画像取得手段は、
　前記特徴パラメータと、前記合成用画像の再生速度及びサイズ並びに合成用画像を前記処理対象領域に合成する際の重畳回数の少なくとも一つとを対応付けて記憶している記憶手段を参照し、前記領域情報取得手段により指定を受け付けられた処理対象領域の特徴パラメータに応じた前記合成用画像を取得する、
　項１に記載の画像生成装置。

（項３）
　前記処理対象領域の特徴パラメータは、前記加工対象画像におけるユーザにより指定された位置又は予め設定された所定の位置から該処理対象領域までの距離、及び該処理対象領域の大きさ並びに該処理対象領域に表された液体の粘性を示すパラメータの少なくとも一つを含む、
　項２に記載の画像生成装置。

（項４）
　前記合成手段は、
　前記合成用画像取得手段により取得された合成用画像の明度成分を前記処理対象領域に合成する第１の合成処理、または、
　前記取得手段により取得された特徴パラメータに応じた前記重畳回数に従って、前記合成用画像を前記処理対象領域に重畳合成する第２の合成処理のいずれか一方を実施する、
　項２または３に記載の画像生成装置。

　動画における液体の動きは、明度成分の変動により好適に表現される。また、動きを伴う液体が表された動画である合成用画像を処理対象領域に対して適切な回数の重畳を行うことにより、液体の動きが好適に表される。この形態によれば、合成用画像の明度成分を処理対象領域に合成する第１の合成処理、又は、適切な回数の合成用画像の重畳を行う第２の合成処理が行われるので、処理対象領域において液体の動きが好適に表される。

（項５）
　前記合成手段は、前記合成用画像取得手段により取得された合成用画像の色と前記処理対象領域の色との色空間における距離に基づき、前記第１の合成処理及び前記第２の合成処理のいずれか一方を実施する、
　請求項４に記載の画像生成装置。

　この形態によれば、第１及び第２の合成処理のうちの、処理対象領域における液体の動きをより好適に表すために、より適切な合成処理が選択される。

（項６）
　前記処理対象領域の大きさが前記加工対象画像の大きさに対して所定以上の大きさである場合に、
　前記合成用画像取得手段は、前記加工対象画像におけるユーザにより指定された位置又は予め設定された所定の位置から前記処理対象領域における当該合成用画像が配置される位置までの距離に応じて前記記憶手段の参照により得られる再生速度及び／又はサイズが設定された合成用画像を取得し、または、
　前記合成手段は、前記加工対象画像におけるユーザにより指定された位置又は予め設定された所定の位置から前記処理対象領域における当該合成用画像が配置される位置までの距離に応じて前記記憶手段の参照により得られる重畳回数に従って、当該合成用画像を前記処理対象領域に重畳合成する、
　項４または５に記載の画像生成装置。

　この形態によれば、例えば、ユーザにより指定された位置又は予め設定された所定の位置を、加熱中の料理における火元位置と想定して、火元位置から合成用画像が配置される位置までの距離に応じた再生速度及び／又は合成用画像の取得、又は、合成の際の重畳回数の設定が行われるので、処理対象領域の加工対象画像の大きさに対して所定以上の大きさである場合において、液体の動きを適切に表すために処理対象領域内の位置に応じた好適な合成用画像の合成が可能となる。

（項７）
　前記処理対象領域における当該合成用画像が配置される位置が前記処理対象領域の縁部から所定の距離以内である場合に、
　前記合成用画像取得手段は、当該合成用画像における再生速度及び／又はサイズに対して所定の重み付けが加えられた合成用画像を取得し、または、
　前記合成手段は、当該合成用画像を合成する際の重畳回数に対して所定の重み付けを加える、
　項４～６のいずれか一項に記載の画像生成装置。

　処理対象領域の縁部は、例えば、料理画像の液体が表された領域における具材近傍の部分に相当する。加熱中の料理の液体の具材近傍の部分は、具材近傍ではない部分とは動きが異なる。この形態によれば、処理対象領域の縁部に配置される合成用画像の再生速度及び／又はサイズに重み付けがなされたり、合成用画像を重畳する際の重畳回数に重み付けが付されたりするので、処理対象領域の縁部における液体の動きが適切に表された画像が得られる。

（項８）
　前記合成手段は、前記処理対象領域が内接する矩形領域に、前記合成用画像取得手段により取得された合成用画像を１以上配置し、前記矩形領域内における前記処理対象領域以外の領域に、前記合成用画像が表示されないようにマスクをかけて、前記合成用画像を前記処理対象領域に合成する、
　項１～７のいずれか一項に記載の画像生成装置。

　この形態によれば、処理対象領域内に合成用画像の動画が適切に表された画像が得られる。

（項９）
　前記合成手段は、前記処理対象領域が内接する矩形領域に、前記合成用画像取得手段により取得された合成用画像を１以上配列し、前記矩形領域の端部に配置された矩形状の前記合成用画像の辺が前記矩形領域の端部の辺に一致しない場合に、前記合成用画像の辺が前記矩形領域の辺に一致するように、前記矩形領域に配置された全ての前記合成用画像のサイズを拡大又は縮小させて合成する、
　項８に記載の画像生成装置。

　この形態によれば、合成用画像のサイズを拡大又は縮小させることにより、処理対象領域の全面にわたって合成用画像を配置できる。

（項１０）
　前記合成手段は、前記処理対象領域が内接する矩形領域に前記合成用画像をランダムに配置する、
　項８に記載の画像生成装置。

　この形態によれば、合成用画像のサイズを変更することなく、処理対象領域の全面にわたって合成用画像を合成することができる。

（項１１）
　前記処理対象領域の特徴パラメータにおける、前記加工対象画像におけるユーザにより指定された位置又は予め設定された所定の位置から該処理対象領域までの距離に対して、ユーザによる指定に基づく重み付けが設定可能である、
　項３に記載の画像生成装置。

　この形態によれば、ユーザにより指定された位置又は予め設定された所定の位置を、加熱中の料理における火元位置と想定した場合に、当該位置からの距離に対する重み付けの設定により火加減の強さを表現できる。

　１，１Ａ…画像生成装置、１１…取得部、１２，１２Ａ…領域情報取得部、１３…合成用画像取得部、１４…合成部、１５…出力部、１６…設定部、１７…生成部、２１…合成用画像記憶部、２２…形状分類テーブル記憶部、Ｃ…合成用画像、Ｆ…基準位置、Ｌ…処理対象領域、Ｄ１…記憶媒体、Ｐ１…画像生成プログラム、ｍ１０…メインモジュール、ｍ１１…取得モジュール、ｍ１２…領域情報取得モジュール、ｍ１３…合成用画像取得モジュール、ｍ１４…合成モジュール、ｍ１５…出力モジュール、Ｓ…オブジェクト領域。

Claims

　対象となる画像に、別の画像を部分的にまたは全体的に合成させるか若しくは重畳させ、または部分的に置換する加工を施すことにより新たな画像を生成するための画像生成装置であって、
　前記対象となる画像に対して前記加工を施す１または複数の領域を指定する領域指定手段と、
　前記対象となる画像の前記指定された領域に前記加工を施すための別画像を指定する別画像指定手段と、
　前記指定された領域における加工内容を指定する加工内容指定手段と、
　前記対象となる画像に対して前記加工内容に基づく前記加工を施し動作画像を生成する生成手段と、
　前記動作画像に基づき動画像を生成する画像生成手段と、
　を備える画像生成装置。
　前記対象となる画像が静止画像であり、かつ前記加工を施すための別画像が複数の静止画から構成され、
　前記生成手段は、前記対象となる画像に前記各静止画による前記加工を施して複数の動作画像を生成し、
　前記画像生成手段は、前記複数の動作画像を時系列に表示可能に組み合わせて前記動画像を生成する、
　請求項１に記載の画像生成装置。
　前記対象となる画像が静止画像であり、かつ前記加工を施すための別画像が動画像であり、
　前記生成手段は、前記対象となる画像に前記動画像の各場面の画像による前記加工を施して複数の動作画像を生成し、
　前記画像生成手段は、前記複数の動作画像を時系列に表示可能に組み合わせて前記動画像を生成する、
　請求項１に記載の画像生成装置。
　前記対象となる画像及び前記加工を施すための別画像が共に動画像であり、
　前記生成手段は、前記対象となる画像の各場面の画像に前記動画像の各場面の画像による前記加工を施して複数の動作画像を生成し、
　前記画像生成手段は、前記複数の動作画像を時系列に表示可能に組み合わせて前記動画像を生成する、
　請求項１に記載の画像生成装置。
　前記対象となる画像及び前記加工を施すための別画像が共に１つの静止画からなり、
　前記生成手段は、前記対象となる画像に前記別画像による前記加工を施して動作画像を生成し、
　前記画像生成手段は、前記対象となる画像自体と前記動作画像とを時系列に表示可能に組み合わせて前記動画像を生成する、
　請求項１に記載の画像生成装置。
　前記加工内容指定手段は、前記指定された領域における動作方向を前記加工内容として指定し、
　前記加工を施す画像には、該画像における動作方向が予め定められており、
　前記生成手段は、前記指定された領域における動作方向と前記加工を施す画像における動作方向とが互いに一致するように前記加工を施して動作画像を生成する、
　請求項１に記載の画像生成装置。
　前記加工を施すための別画像が前記対象となる画像の経時変化後の画像を表す画像を含み、
　前記生成手段は、前記対象となる画像が前記対象となる画像の経時変化後の画像に徐々に変化する状態を表す１または複数の動作画像を生成する、
　請求項１に記載の画像生成装置。
　前記加工を施すための別画像が、動作を表すための第１の別画像と、前記対象となる画像の経時変化を表すための第２の別画像とを含み、
　前記生成手段は、前記第１及び第２の別画像による動作及び経時変化を表す１または複数の動作画像を生成する、
　請求項１に記載の画像生成装置。
　前記対象となる画像及び／または前記加工を施すための別画像が３次元画像データにより構成される、
　請求項１～８のいずれか一項に記載の画像生成装置。
　対象となる画像に、別の画像を部分的にまたは全体的に合成させるか若しくは重畳させ、または部分的に置換する加工を施すことにより新たな画像を生成するための画像生成装置における画像生成方法であって、
　前記対象となる画像に対して前記加工を施す１または複数の領域を指定する領域指定ステップと、
　前記対象となる画像の前記指定された領域に前記加工を施すための別画像を指定する別画像指定ステップと、
　前記指定された領域における加工内容を指定する加工内容指定ステップと、
　前記対象となる画像に対して前記加工内容に基づく前記加工を施し動作画像を生成する生成ステップと、
　前記動作画像に基づき動画像を生成する画像生成ステップと、
　を有する画像生成方法。
　コンピュータを、対象となる画像に、別の画像を部分的にまたは全体的に合成させるか若しくは重畳させ、または部分的に置換する加工を施すことにより新たな画像を生成するための画像生成装置として機能させるための画像生成プログラムであって、
　前記コンピュータに、
　前記対象となる画像に対して前記加工を施す１または複数の領域を指定する領域指定機能と、
　前記対象となる画像の前記指定された領域に前記加工を施すための別画像を指定する別画像指定機能と、
　前記指定された領域における加工内容を指定する加工内容指定機能と、
　前記対象となる画像に対して前記加工内容に基づく前記加工を施し動作画像を生成する生成機能と、
　前記動作画像に基づき動画像を生成する画像生成機能と、
　を実現させる画像生成プログラム。
　加工対象の画像である加工対象画像を取得する取得手段と、
　前記加工対象画像内における処理対象領域を特定する領域情報を取得する領域情報取得手段と、
　前記領域情報取得手段により取得された領域情報により特定される処理対象領域の特徴を示し、液体の動きに影響を与える特徴パラメータを取得する特徴取得手段と、
　液体の動きに影響を与える特徴パラメータと、動きを伴う液体が表された合成用画像を取得するための合成用画像情報とを関連付けて記憶する記憶手段を参照し、取得された前記処理対象領域の特徴パラメータと関連付けて記憶された合成用画像情報に基づいて合成用画像を取得する合成用画像取得手段と、
　前記合成用画像取得手段により取得された合成用画像を前記処理対象領域に合成する合成手段と、
　前記合成手段により合成用画像が合成された加工対象画像を出力する出力手段と、
　を備える画像生成装置。
　前記合成用画像取得手段は、
　前記特徴パラメータと、前記合成用画像の再生速度及びサイズ並びに合成用画像を前記処理対象領域に合成する際の重畳回数の少なくとも一つとを対応付けて記憶している記憶手段を参照し、前記領域情報取得手段により指定を受け付けられた処理対象領域の特徴パラメータに応じた前記合成用画像を取得する、
　請求項１２に記載の画像生成装置。
　前記処理対象領域の特徴パラメータは、前記加工対象画像におけるユーザにより指定された位置又は予め設定された所定の位置から該処理対象領域までの距離、及び該処理対象領域の大きさ並びに該処理対象領域に表された液体の粘性を示すパラメータの少なくとも一つを含む、
　請求項１３に記載の画像生成装置。