JP5776442B2 - 画像生成方法、画像生成装置及びプログラム - Google Patents
画像生成方法、画像生成装置及びプログラム Download PDFInfo
- Publication number
- JP5776442B2 JP5776442B2 JP2011183643A JP2011183643A JP5776442B2 JP 5776442 B2 JP5776442 B2 JP 5776442B2 JP 2011183643 A JP2011183643 A JP 2011183643A JP 2011183643 A JP2011183643 A JP 2011183643A JP 5776442 B2 JP5776442 B2 JP 5776442B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- subject
- contour
- region
- pixel
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Landscapes
- Image Processing (AREA)
Description
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置を用いた画像生成方法であって、被写体領域が含まれる被写体画像を取得する取得ステップと、取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第1特定ステップと、特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第2特定ステップと、特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成ステップと、を含むことを特徴としている。
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置であって、被写体領域が含まれる被写体画像を取得する取得手段と、この取得手段により取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第1特定手段と、この第1特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第2特定手段と、前記第1特定手段及び前記第2特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成手段と、を備えたことを特徴としている。
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置のコンピュータを、被写体領域が含まれる被写体画像を取得する取得手段、この取得手段により取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第1特定手段、この第1特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第2特定手段、前記第1特定手段及び前記第2特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成手段、として機能させることを特徴としている。
図1は、本発明を適用した一実施形態の動画生成システム100の概略構成を示すブロック図である。
撮像装置1は、被写体を撮像する撮像機能や撮像画像の画像データを記録媒体Cに記録する記録機能等を具備する。即ち、撮像装置1は、公知のものを適用可能であり、例えば、主要な機能を撮像機能とするデジタルカメラだけでなく、主要な機能としないものの撮像機能を具備する携帯電話機等の携帯端末なども含む。
ユーザ端末2は、例えば、パーソナルコンピュータ等により構成され、サーバ3により開設されるWebページ(例えば、動画生成用ページ)にアクセスして、当該Webページ上で各種の指示を入力する。
図2に示すように、ユーザ端末2は、具体的には、中央制御部201と、操作入力部202と、表示部203と、音出力部204と、記録媒体制御部205と、通信制御部206等を備えている。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末2で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
なお、操作入力部202としてタッチパネル(図示略)を表示部203の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
即ち、表示部203は、例えば、サーバ3から送信され通信制御部206により受信されたWebページ(例えば、動画生成用ページ)のページデータに基づいて、対応するWebページを表示画面に表示する。具体的には、表示部203は、動画生成処理(後述)に係る各種の処理画面の画像データに基づいて、各種の処理画面を表示画面に表示する。
即ち、音出力部204は、例えば、サーバ3から送信され通信制御部206により受信された演奏情報に基づいて、当該演奏情報のデジタルデータをD/Aコンバータによりアナログデータに変換し、増幅器を介してスピーカから、所定の音色、音高、音長で曲を放音する。また、音出力部204は、一の音源(例えば、楽器)の音を放音しても良いし、複数の音源の音を同時に放音しても良い。
ここで、被写体存在画像とは、所定の背景内に主要な被写体が存在する画像のことである。また、記録媒体Cには、撮像装置1の画像処理部(図示略)により所定の符号化形式(例えば、JPEG形式等)に従って符号化された被写体存在画像の画像データが記録されている。
そして、通信制御部206は、入力された被写体存在画像の画像データをサーバ3に所定の通信ネットワークNを介して送信する。
サーバ3は、Web(World Wide Web)サーバとしてインターネット上にWebページ(例えば、動画生成用ページ)を開設する機能を具備するものであり、ユーザ端末2からのアクセスに応じて当該ユーザ端末2にWebページのページデータを送信する。また、サーバ3は、画像生成装置として、被写体画像の被写体領域Psの輪郭部分の色情報に基づいて、裏面画像P9の被写体対応領域の輪郭Lの色情報を特定し、当該裏面画像P9の被写体対応領域の輪郭Lの色情報に基づいて、裏面画像P9の被写体対応領域における輪郭Lよりも内側領域Mの色情報を特定した後、これら裏面画像P9の被写体対応領域の輪郭Lの色情報及び内側領域Mの色情報に基づいて、被写体の裏側を擬似的に表す裏面画像P9を生成する。
図3に示すように、サーバ3は、具体的には、中央制御部301と、表示部302と、通信制御部303と、被写体切抜部304と、記憶部305と、動画処理部306等を備えて構成されている。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ3で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
具体的には、通信制御部303は、例えば、動画生成処理(後述)にてユーザ端末2から所定の通信ネットワークNを介して送信された被写体存在画像の画像データを受信して、当該画像データを中央制御部301のCPUに出力する。
中央制御部301のCPUは、入力された被写体存在画像の画像データを被写体切抜部304に出力する。
即ち、被写体切抜部304は、公知の被写体切抜手法を用いて、被写体存在画像から被写体が含まれる被写体領域Psが切り抜かれた被写体切り抜き画像P1を生成する。具体的には、被写体切抜部304は、中央制御部301のCPUから出力された被写体存在画像の画像データを取得して、例えば、ユーザによるユーザ端末2の操作入力部202(例えば、マウス等)の所定操作に基づいて、表示部203に表示されている当該被写体存在画像上に描画された境界線(図示略)により当該被写体存在画像を区分する。続けて、被写体切抜部304は、被写体存在画像の切抜線により区分される複数の区分領域の中で、被写体の背景を推定して当該背景の各画素の画素値に基づいて所定の演算を行って、被写体の背景色を所定の単一色として推定する。その後、被写体切抜部304は、所定の単一色の背景用画像と被写体存在画像との間で対応する各画素の差分情報(例えば、相違度マップ等)を生成する。そして、被写体切抜部304は、生成した差分情報の各画素の画素値を所定の閾値と比較して二値化した後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行って面積が最大の画素集合を被写体部分とする。
その後、被写体切抜部304は、例えば、上記の面積が最大の画素集合が「1」、その他の部分が「0」である二値化された差分情報に対してローパスフィルタを施して境界部分に中間値を生じさせることでアルファ値を生成し、被写体切り抜き画像P1内で被写体領域Psの位置を示す位置情報としてのアルファマップ(図示略)を生成する。
アルファ値(0≦α≦1)とは、例えば、被写体存在画像の各画素について、被写体領域Psの画像を所定の背景に対してアルファブレンディングする際の重みを表すものである。この場合、被写体領域Psはアルファ値が「1」となり、被写体存在画像の所定の背景に対する透過度が0%となる。一方、被写体の背景部分はアルファ値が「0」となり、当該被写体存在画像の所定の背景に対する透過度が100%となる。
また、被写体切抜部304は、アルファマップに基づいて、被写体領域(図9(b)中、白で表す領域)の各画素を第1の画素値(例えば、「1」等)とし、背景領域(図9(b)中、黒で表す領域)の各画素を第1の画素値と異なる第2の画素値(例えば、「0」等)とする二値画像P2(図9(b)参照)、即ち、被写体切り抜き画像P1内で被写体領域の位置を示す位置情報としての二値画像P2を生成する。
被写体切り抜き画像P1の画像データは、例えば、生成されたアルファマップや二値画像P2等の位置情報と対応付けられたデータである。
また、被写体切り抜き画像P1の画像データとしては、例えば、RGBA形式の画像データを適用しても良く、具体的には、RGB色空間で規定される各色に透過度(A)の情報が付加されている。この場合には、被写体切抜部304は、透過度(A)の情報を利用して、被写体切り抜き画像P1内で被写体領域の位置を示す二値画像(図示略)を生成しても良い。
各動き情報305aは、所定空間、即ち、例えば、互いに直交する二軸(例えば、x軸、y軸等)により規定される二次元の平面空間やこれら二軸に加えて当該二軸に直交する軸(例えば、z軸等)により規定される三次元の立体的空間内における複数の可動点の動きを示す情報である。なお、動き情報305aは、二次元の平面空間を所定の回動軸周りに回転させることで複数の可動点の動きに奥行きをもたせるような情報であっても良い。
ここで、各可動点の位置は、動きのモデルとなる動体モデル(例えば、ヒトや動物等)の骨格の形状や関節の位置等を考慮してそれぞれ規定されている。また、可動点の個数は、動体モデルの形状や大きさ等に応じて適宜任意に設定可能である。
また、各動き情報305aは、所定空間内にて複数の可動点の全て若しくは少なくとも一つを移動させた座標情報を所定の時間間隔で連続して並べることで、複数の可動点の動きが連続して表されている。なお、複数の可動点の座標情報の各々は、例えば、基準となる可動点の座標情報に対する各可動点の移動量を規定した情報であっても良いし、各可動点の絶対位置座標を規定した情報であっても良い。
演奏情報305bは、動画処理部306の動画再生部306h(後述)により動画像とともに自動的に曲を演奏するための情報である。即ち、演奏情報305bは、例えば、テンポ、拍子、音程、音階、調、発想標語等を異ならせて複数規定され、それぞれ曲名と対応付けて記憶されている。
また、各演奏情報305bは、例えば、MIDI(Musical Instruments Digital Interface)規格等に従って規定されたデジタルデータであり、具体的には、トラック数や四分音符の分解能(Tickカウント数)等が規定されたヘッダ情報と、各パートに割り当てられた音源(例えば、楽器等)に供給させるイベント及びタイミングかならなるトラック情報等を有している。このトラック情報のイベントとして、例えば、テンポあるいは拍子の変更や、NoteOn・Offを指示する情報などがある。
即ち、画像取得部306aは、取得手段として、背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域Psが切り抜かれた被写体切り抜き画像(被写体画像)P1を取得する。具体的には、画像取得部306aは、被写体切抜部304により生成された被写体切り抜き画像P1の画像データを処理対象の静止画像として取得する。
即ち、第1色特定部306bは、第1特定手段として、画像取得部306aにより取得された被写体切り抜き画像P1の被写体領域Psの輪郭部分の色情報に基づいて、裏面画像P9の被写体対応領域の輪郭Lの色情報を特定する。ここで、第1色特定部306bは、被写体切抜部304により生成された被写体切り抜き画像P1内で被写体領域Psの位置を示す二値画像P2(図9(b)参照)を取得して、当該二値画像P2の輪郭の形状を基準として、裏面画像P9の被写体対応領域の輪郭Lの色情報を特定する。
次に、第1色特定部306bは、輪郭画像P3を構成する複数の画素の各々を着目点A1として指定して、当該各着目点A1の座標(x,y)を取得する(図10(b)参照)。即ち、第1色特定部306bは、二値画像P2の輪郭に対応する輪郭画像P3上に存する各画素を一の着目点A1として指定する。なお、図10(b)には、図10(a)に示す輪郭画像P3の一部分の拡大図を模式的に示し、一の着目点A1に斜線を付して表している。
続けて、第1色特定部306bは、各着目点A1に対応する二値画像P2上の各対応着目点B1から所定の一方向に延在する直線上に存し、当該二値画像P2の被写体領域における対応着目点B1と反対側の境界を構成する各境界点B2を特定する。即ち、輪郭画像P3上の一の着目点A1に対応する二値画像P2上の対応着目点B1の周辺の画素の何れかが必ず背景領域(第2の画素値「0」)となることから、第1色特定部306bは、各対応着目点B1の水平方向(x軸方向)に隣合う二つの画素のうち、何れの画素が第2の画素値「0」の背景領域となるかによって当該対応着目点B1に対する内側方向(図11(a)中、矢印で図示)を特定する。なお、対応着目点B1の水平方向(x軸方向)に隣合う二つの画素の何れもが第2の画素値「0」の背景領域となる場合については、後述する。
次に、第1色特定部306bは、特定された内側方向に延在する直線上を内側方向に一画素ずつ探索していき、画素値が第1の画素値「1」から第2の画素値「0」に変化する画素の一つ前の画素、即ち、二値画像P2の対応着目点B1と反対側の境界を構成し、第2の画素値「0」の画素に隣接する第1の画素値「1」を有する一の画素を境界点B2として特定する。そして、第1色特定部306bは、特定された境界点B2の座標(x,y)を取得する(図11(a)参照)。なお、図11(a)には、二値画像P2における図10(b)に示す輪郭画像P3の一部分に対応する部分を模式的に示し、一の対応着目点B1及び境界点B2に斜線を付して表している。
即ち、第1色特定部306bは、取得した対応着目点B1及び境界点B2の各々の座標(x,y)に基づいて、被写体切り抜き画像P1の被写体領域Psの輪郭部分における当該一の対応着目点B1及び境界点B2の各々に対応する各画素の画素値を取得する。そして、第1色特定部306bは、取得した各画素の画素値に基づいて所定の演算を行って代表値(例えば、平均値等)を算出し、裏面画像P9における対応着目点B1に対応する画素の画素値として特定する。
同様に、第1色特定部306bは、被写体領域Psの輪郭部分における一の対応着目点B1及び境界点B2の各々に対応する各画素を基準とする各所定領域内の複数の画素の画素値に基づいて、裏面画像P9の被写体対応領域の輪郭Lを構成する画素の画素値を特定しても良い。即ち、第1色特定部306bは、被写体領域Psの輪郭部分における一の対応着目点B1や境界点B2に対応する各画素から被写体領域Psの内側に所定の距離分(例えば、対応着目点B1と境界点B2との間の画素数の1/10程度等)入り込んだ各所定領域を設定する。そして、第1色特定部306bは、設定された各所定領域内の複数の周辺画素の画素値に基づいて所定の演算を行って代表値(例えば、平均値等)を算出し、裏面画像P9の被写体対応領域の輪郭Lを構成する画素の画素値を特定しても良い。このとき、第1色特定部306bは、対応着目点B1や境界点B2に対応する各画素の画素値と各所定領域の周辺画素の画素値とを比較して、対応着目点B1や境界点B2に対応する各画素の画素値が周辺画素の画素値に対して所定値以上大きい場合には、周辺画素の画素値を裏面画像P9の被写体対応領域の輪郭Lを構成する画素の画素値として採用しても良い。
即ち、第1描画部306cは、生成手段として、第1色特定部306bにより特定された裏面画像P9の被写体対応領域の輪郭Lを構成する各画素の色情報に基づいて、裏面画像P9の被写体対応領域の輪郭Lを構成する各画素を描画する。具体的には、第1描画部306cは、例えば、被写体切り抜き画像P1と水平方向(x軸方向)及び垂直方向(y軸方向)の画素数が等しい背面生成用画像P5を生成した後、第1色特定部306bにより特定された各対応着目点B1の座標(x,y)及び裏面画像P9における各対応着目点B1に対応する各画素の画素値(例えば、平均値等)に基づいて、背面生成用画像P5上に当該裏面画像P9の被写体対応領域の輪郭Lを構成する各画素を描画する。これにより、第1描画部306cは、背面生成用画像P5上に裏面画像P9の被写体対応領域の輪郭Lのみが描画された輪郭線画像P4(図11(b)参照)を生成する。
即ち、第2色特定部306dは、第2特定手段として、第1色特定部306bにより特定された裏面画像P9の被写体対応領域の輪郭Lの色情報に基づいて、裏面画像P9の被写体対応領域における輪郭Lよりも内側領域Mの色情報を特定する。
具体的には、第2色特定部306dは、被写体切抜部304により生成された二値画像P2(図9(b)参照)を取得して、当該二値画像P2の被写体領域に対して収縮処理を施す。即ち、第2色特定部306dは、二値画像P2内で所定形状のウィンドウW(カーネル;図4(a)及び図4(b)参照)を所定方向に走査していき、当該二値画像P2の被写体領域に対する収縮処理を行う。
ウィンドウWは、処理対象の画素に対応する一の領域を基準位置(例えば、中心)とするとともに、所定数の画素に対応する所定数の所定領域からなる。そして、第2色特定部306dは、ウィンドウWの所定領域内の少なくとも一の画素の画素値に重みを付けて演算して処理対象の画素の画素値を算出する。つまり、第2色特定部306dは、ウィンドウWの所定領域内の少なくとも一の画素の画素値を利用し、一の領域内の画素を処理対象の画素として、所定の演算式に従って代表値(例えば、平均値)を算出して当該処理対象の画素の画素値とする。例えば、第2色特定部306dは、処理対象の画素に対応する中央領域の左側(図4(c)及び図4(d)参照)や右側や上側や下側の所定数の領域を所定領域として、当該所定領域内の少なくとも一の画素の画素値を利用して代表値(処理対象の画素の画素値)を算出する。
また、第2色特定部306dは、上記の二値画像P2の収縮処理を収縮後の二値画像P2(P6)に被写体領域が残っていないと判定されるまで繰り返し実行する。
即ち、第2色特定部306dは、輪郭線画像P4を処理対象の画像として、輪郭線画像P4を構成する各画素のうち、垂直方向の略中央部よりも上側(被写体の頭側)に存する画素に対しては、水平方向及び垂直方向の画素値の影響を略均等に受けるように正方形(例えば、3×3画素等)のウィンドウW1を収縮処理に適用し(図4(a)参照)、その一方で、略中央部よりも下側(被写体の足側)に存する画素に対しては、水平方向の画素値の影響を強くし、垂直方向の画素値の影響を弱くするように横長の矩形(例えば、3画素)のウィンドウW2を収縮処理に適用する(図4(b)参照)。
そして、第2色特定部306dは、裏面画像P9の被写体対応領域の輪郭Lの内側領域Mに対応する画素を処理対象の画素として、裏面画像P9の被写体対応領域の輪郭Lを構成する各画素のうち、ウィンドウWの所定領域内の少なくとも一の画素の画素値に基づいて、所定の演算式に従って代表値(例えば、平均値)を算出する。即ち、第2色特定部306dは、裏面画像P9の被写体対応領域の輪郭L(輪郭線画像P4)を構成する各画素の画素値に基づいて、ウィンドウWの所定領域内の少なくとも一の画素の画素値に重みを付けて演算し、裏面画像P9における輪郭よりも一画素分内側の領域の処理対象の画素の画素値を算出する。
即ち、第2描画部306eは、生成手段として、第2色特定部306dにより特定された裏面画像P9の被写体対応領域の輪郭Lよりも内側領域Mを構成する各画素の色情報に基づいて、裏面画像P9の内側領域Mを構成する各画素を描画する。具体的には、第2描画部306eは、例えば、第2色特定部306dにより特定された収縮輪郭画像P7を構成する複数の画素の各々の座標(x,y)及び裏面画像P9の被写体対応領域の輪郭Lよりも一画素分内側の領域Mを構成する各画素の画素値(例えば、平均値等)に基づいて、輪郭線画像P4上に当該裏面画像P9の被写体対応領域の輪郭Lよりも一画素分内側の領域Mを構成する各画素を描画する。これにより、第2描画部306eは、背面生成用画像P5上に裏面画像P9の被写体対応領域の輪郭L及び当該輪郭Lよりも一画素分内側の領域Mが描画された背面生成途中画像P8(図13(a)参照)を生成する。
そして、第2描画部306eは、最終的に被写体対応領域の輪郭L及び当該輪郭Lよりも内側の全ての領域Mが描画された裏面画像P9(図13(b)参照)を生成する。
即ち、制御点設定部306fは、画像取得部306aにより取得された被写体切り抜き画像P1の被写体画像内で複数の可動点に対応する各位置に動き制御点を複数設定する。具体的には、制御点設定部306fは、記憶部305から動体モデル(例えば、動物)の動き情報305aを読み出して、被写体切り抜き画像P1の被写体画像内で、当該動き情報305aに規定されている基準フレーム(例えば、1フレーム目等)の複数の可動点の各々に対応する動き制御点を、ユーザによるユーザ端末2の操作入力部202の所定操作に基づいて指定された所望の位置にそれぞれ設定する。また、制御点設定部306fは、被写体切り抜き画像P1の被写体画像内で動き制御点をそれぞれ設定することで、当該被写体切り抜き画像P1に対応する裏面画像P9内の所定位置に対してもそれぞれ対応する動き制御点を自動的に設定する。
このとき、動体モデルと被写体画像について、例えば、顔などの主要部の大きさを合わせるように寸法の調整(例えば、動体モデルの拡大や縮小、変形等)を行うようにしても良い。また、例えば、動体モデルと被写体画像を重ね合わせて被写体画像における複数の可動点の各々が対応する位置を特定しても良い。
さらに、制御点設定部306fは、動き情報305aに規定されている複数の可動点の全てについて、対応する動き制御点を設定しても良いし、被写体の中央部や各先端部等の代表的な所定数の可動点に対応する動き制御点のみ設定しても良い。
また、制御点設定部306fによる動き制御点の設定が自動的に行われた場合であっても、ユーザによる操作入力部の所定操作に基づいて動き制御点の設定位置の修正(変更)を受け付けるようにしても良い。
即ち、フレーム生成部306gは、動画処理部306により指定された動き情報305aの複数の可動点の動きに追従させるように、被写体切り抜き画像P1の被写体画像内に設定されている複数の動き制御点を移動させて複数のフレーム画像を逐次生成する。具体的には、フレーム生成部306gは、例えば、動き情報305aに従って所定の時間間隔で移動する複数の可動点の座標情報を逐次取得して、当該可動点の各々に対応する各動き制御点の座標を算出する。そして、フレーム生成部306gは、算出された座標に動き制御点を逐次移動させていくとともに、少なくとも一の動き制御点を基準として被写体画像内に設定される所定の画像領域(例えば、三角形や矩形のメッシュ状の領域)を移動させたり変形させることで、基準フレーム画像(図示略)を生成する。
なお、動き制御点を基準とした所定の画像領域を移動させたり変形させる処理は、公知の技術であるので、ここでは詳細な説明を省略する。
具体的には、フレーム生成部306gは、隣合う二つの基準フレーム画像間における、動画再生部306hにより演奏される所定の曲の演奏の進行度合を逐次取得して、当該進行度合に応じて、隣合う二つの基準フレーム画像間で再生される補間フレーム画像を逐次生成する。例えば、フレーム生成部306gは、MIDI規格の演奏情報305bに基づいてテンポの設定情報及び四分音符の分解能(Tickカウント数)を取得して、動画再生部306hにより演奏される所定の曲の演奏の経過時間をTickカウント数に変換する。続けて、フレーム生成部306gは、所定の曲の演奏の経過時間に対応するTickカウント数に基づいて、所定のタイミング(例えば、各小節の一拍目等)に同期させた隣合う二つの基準フレーム画像間における所定の曲の演奏の相対的な進行度合を、例えば百分率で算出する。そして、フレーム生成部306gは、所定の曲の演奏の相対的な進行度合に応じて、当該隣合う二つの基準フレーム画像に対する重み付けを変えて補間フレーム画像を生成する。
なお、補間フレーム画像を生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。
即ち、動画再生部306hは、ユーザによるユーザ端末2の操作入力部202の所定操作に基づいて指定された演奏情報305bに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで複数のフレーム画像の各々を再生する。具体的には、動画再生部306hは、所定の曲の演奏情報305bのデジタルデータをD/Aコンバータによりアナログデータに変換して当該所定の曲を自動的に演奏させ、このとき、所定のタイミング(例えば、各小節の1拍目や各拍等)に同期させるように隣合う二つの基準フレーム画像を再生するとともに、隣合う二つの基準フレーム画像間における所定の曲の演奏の相対的な進行度合に応じて、当該進行度合に対応する各々の補間フレーム画像を再生する。
なお、動画再生部306hは、動画処理部306により指定された速さで被写体画像に係る複数のフレーム画像を再生しても良い。この場合には、動画再生部306hは、隣合う二つの基準フレーム画像を同期させるタイミングを変化させることで、所定の単位時間内に再生されるフレーム画像の数を変更して被写体画像の動きの速さを可変させる。
ここで、図5及び図6は、動画生成処理に係る動作の一例を示すフローチャートである。また、図7は、動作生成処理における裏面画像生成処理に係る動作の一例を示すフローチャートである。また、図8は、裏面画像生成処理における輪郭描画処理に係る動作の一例を示すフローチャートである。
なお、以下の説明にあっては、被写体存在画像の画像データから生成された被写体切り抜き画像P1(図9(a)参照)の画像データがサーバ3の記憶部305に記憶されているものとする。
サーバ3の通信制御部303によって、ユーザ端末2から送信されたアクセス指示が受信されると、中央制御部301のCPUは、動画生成用ページのページデータを通信制御部303により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS2)。
そして、ユーザ端末2の通信制御部206によって、動画生成用ページのページデータが受信されると、表示部203は、当該動画生成用ページのページデータに基づいて、動画生成用ページの画面(図示略)を表示する。
図6に示すように、サーバ3の中央制御部301のCPUは、ユーザ端末2からの指示の内容に応じて処理を分岐させる(ステップS4)。具体的には、中央制御部301のCPUは、ユーザ端末2からの指示が、被写体画像の指定に関する内容の場合(ステップS4;被写体画像の指定)、処理をステップS51に移行させ、また、背景画像の指定に関する内容の場合(ステップS4;背景画像の指定)、処理をステップS61に移行させ、また、動き及び曲の指定に関する内容の場合(ステップS4;動き及び曲の指定)、処理をステップS71に移行させる。
ステップS4にて、ユーザ端末2からの指示が、被写体画像の指定に関する内容の場合(ステップS4;被写体画像の指定)、動画処理部306の画像取得部306aは、記憶部305に記憶されている被写体切り抜き画像P1の画像データの中からユーザにより指定された被写体切り抜き画像P1の画像データを読み出して取得する(ステップS51)。
次に、制御点設定部306fは、取得された被写体切り抜き画像P1の被写体画像内で動き制御点が既に設定されているか否かを判定する(ステップS52)。
なお、被写体切り抜き画像P1のトリミングは、当該被写体切り抜き画像P1の画像データと対応付けられている、例えば、アルファマップや二値画像P2等の位置情報についても行われる。
その後、動画処理部306は、トリミング後の画像の被写体画像の裏側を擬似的に表す裏面画像P9(図13(b)参照)を生成する裏面画像生成処理を行う(ステップS54;図7及び図8参照)。
図7に示すように、先ず、動画処理部306の第1色特定部306bは、被写体切抜部304により生成済みの二値画像P2の画像データ(図9(b)参照)を取得する(ステップS101)。その後、第1色特定部306bは、二値画像P2の被写体領域の輪郭を構成する所定数(例えば、一つ)の画素からなる輪郭画像P3(図10(a)参照)を生成した後(ステップS102)、当該輪郭画像P3を構成する複数の画素の各々の座標(x,y)を取得する(ステップS103)。なお、取得された複数の画素の各々の座標は、所定の格納手段(例えば、所定のメモリ等)に一時的に格納される。
次に、動画処理部306は、裏面画像P9の被写体対応領域の輪郭Lを構成する各画素を描画する輪郭描画処理(図8参照)を実行する(ステップS104)。
図8に示すように、動画処理部306の第1色特定部306bは、輪郭画像P3を構成する複数の画素の中で、何れか一の画素を着目点A1として指定した後、当該着目点A1の座標(x,y)を取得する(ステップS201;図10(b)参照)。
次に、第1色特定部306bは、着目点A1に対応する二値画像P2上の対応着目点B1を特定した後、当該対応着目点B1の水平方向(x軸方向)に隣合う二つの画素のうち、何れの画素が第2の画素値「0」の背景領域となるかによって当該対応着目点B1に対する内側方向(図11(a)中、矢印で図示)を特定する(ステップS202)。続けて、第1色特定部306bは、特定された内側方向に延在する直線上を内側方向に一画素ずつ探索していき、当該二値画像P2の被写体領域における対応着目点B1と反対側の境界を構成する境界点B2を特定する(ステップS203)。
具体的には、第1色特定部306bは、取得した対応着目点B1及び境界点B2の各々の座標(x,y)に基づいて、被写体切り抜き画像P1の被写体領域Psの輪郭部分における当該一の対応着目点B1及び境界点B2の各々に対応する各画素の画素値を取得した後、各画素の画素値に基づいて所定の演算を行って代表値(例えば、平均値等)を算出し、裏面画像P9における対応着目点B1に対応する画素の画素値として特定する。
具体的には、第1描画部306cは、第1色特定部306bにより特定された対応着目点B1の座標(x,y)及び裏面画像P9における対応着目点B1に対応する各画素の画素値(例えば、平均値等)に基づいて、背面生成用画像P5上に当該裏面画像P9の被写体対応領域の輪郭Lを構成する画素を描画する。
ここで、全ての画素を着目点A1として処理していないと判定されると(ステップS206;NO)、第1色特定部306bは、輪郭画像P3を構成する複数の画素のうち、所定方向(例えば、垂直方向等)に隣合う次の画素を次の着目点A1として指定した後(ステップS207)、処理をステップS202に移行させる。
動画処理部306は、ステップS206にて、全ての画素を着目点A1として処理したと判定されるまで(ステップS206;YES)、上記の処理を繰り返し実行する。
これにより、背面生成用画像P5上に裏面画像P9の被写体対応領域の輪郭Lのみが描画された輪郭線画像P4(図11(b)参照)が生成される。
具体的には、第2色特定部306dは、二値画像P2の被写体領域のうち、垂直方向の略中央部よりも上側(被写体の頭側)に存する画素に対しては正方形(例えば、3×3画素等)のウィンドウW1を適用し(図4(a)参照)、その一方で、略中央部よりも下側(被写体の足側)に存する画素に対しては横長の矩形(例えば、3画素)のウィンドウW2を適用し、当該所定形状のウィンドウW1、W2(図4(a)及び図4(b)参照)を所定方向に走査していき、当該二値画像P2の被写体領域に対する収縮処理を行う。
これにより、二値画像P2の被写体領域の輪郭が一画素分内側に収縮された収縮二値画像P6(図12(a)参照)が生成される。
ここで、被写体領域が残っていると判定されると(ステップS106;YES)、即ち、収縮二値画像P6が生成されているので、第2色特定部306dは、生成された収縮二値画像P6の被写体領域の輪郭を構成する複数の画素のみからなる収縮輪郭画像P7(図12(b)参照)を生成した後(ステップS107)、当該収縮輪郭画像P7を構成する複数の画素の各々の座標(x,y)を取得する(ステップS108)。なお、取得された複数の画素の各々の座標は、所定の格納手段(例えば、所定のメモリ等)に一時的に格納される。
具体的には、第2色特定部306dは、上記の二値画像P2の収縮処理と同様に、輪郭線画像P4のうち、垂直方向の略中央部よりも上側(被写体の頭側)に存する画素に対しては正方形(例えば、3×3画素等)のウィンドウW1を適用し(図4(a)参照)、その一方で、略中央部よりも下側(被写体の足側)に存する画素に対しては横長の矩形(例えば、3画素)のウィンドウW2を適用し、当該所定形状のウィンドウW1、W2(図4(a)及び図4(b)参照)を所定方向に走査していく。そして、第2色特定部306dは、輪郭線画像P4の各画素を処理対象の画素として、ウィンドウWの所定領域内の少なくとも一の画素の画素値に基づいて、所定の演算式に従って各画素の画素値を算出する。
その後、動画処理部306は、処理をステップS105に移行し、それ以降の処理を逐次実行する。即ち、ステップS106にて、被写体領域が残っていないと判定されるまで(ステップS106;NO)、上記の各処理を繰り返し実行する。
具体的には、第2色特定部306dは、ステップS110にて、第2描画部306eにより背面生成用画像P5上に裏面画像P9の被写体対応領域における輪郭Lよりも所定画素分内側の領域Mが描画された背面生成途中画像P8(図13(a)参照)が生成される毎に、当該背面生成途中画像P8を基準として、当該背面生成途中画像P8の描画済みの最も内側の各画素よりも一画素分内側の領域Mの画素の画素値を逐次算出する(ステップS105)。
また、第2描画部306eは、ステップS105にて、第2色特定部306dにより背面生成途中画像P8の描画済みの最も内側の各画素よりも一画素分内側の領域Mの画素の画素値が逐次算出される毎に、背面生成途中画像P8上に当該描画済みの最も内側の各画素よりも一画素分内側の領域Mを構成する各画素を逐次描画する(ステップS110)。
これにより、裏面画像生成処理を終了する。
具体的には、制御点設定部306fは、記憶部305から動体モデル(例えば、動物)の動き情報305aを読み出して、被写体切り抜き画像P1の被写体画像内で、当該動き情報305aに規定されている基準フレーム(例えば、1フレーム目等)の複数の可動点の各々に対応する動き制御点を、ユーザによるユーザ端末2の操作入力部202の所定操作に基づいて指定された所望の位置にそれぞれ設定する。
そして、動画再生部306hは、当該被写体画像に対して設定された複数の動き制御点、並びに被写体画像の合成位置やサイズ等の合成内容を所定の格納手段(例えば、所定のメモリ等)に登録する(ステップS57)。
その後、中央制御部301のCPUは、処理をステップS8に移行させる。ステップS8の処理の内容については、後述する。
ステップS4にて、ユーザ端末2からの指示が、背景画像の指定に関する内容の場合(ステップS4;背景画像の指定)、動画処理部306の動画再生部306hは、ユーザによる操作入力部202の所定操作に基づいて所望の背景画像(他の画像)の画像データを読み出して(ステップS61)、当該背景画像の画像データを動画像の背景として所定の格納手段に登録する(ステップS62)。
具体的には、サーバ3には、ユーザ端末2の表示部203に表示されている動画生成用ページの画面内の複数の画像データの中で、ユーザによる操作入力部202の所定操作に基づいて指定された何れか一の画像データの指定指示が、通信ネットワークN及び通信制御部303を介して入力される。動画再生部306hは、当該指定指示に係る背景画像の画像データを記憶部305から読み出して取得した後(ステップS61)、当該背景画像の画像データを動画像の背景として登録する(ステップS62)。
その後、中央制御部301のCPUは、処理をステップS8に移行させる。ステップS8の処理の内容については、後述する。
ステップS4にて、ユーザ端末2からの指示が、動き及び曲の指定に関する内容の場合(ステップS4;動き及び曲の指定)、動画処理部306は、ユーザによる操作入力部202の所定操作に基づいて動き情報305aや動きの速さを設定する(ステップS71)。
具体的には、サーバ3には、ユーザ端末2の表示部203に表示されている動画生成用ページの画面内の複数の動きモデルのモデル名の中で、ユーザによる操作入力部202の所定操作に基づいて指定された何れか一のモデル名(例えば、フラダンス等)の指定指示が、通信ネットワークN及び通信制御部303を介して入力される。動画処理部306は、記憶部305に記憶されている複数の動き情報305a、…の中で、当該指定指示に係る動きモデルのモデル名と対応付けられている動き情報305aを設定する。なお、動画処理部306は、複数の動き情報305a、…の中で、例えば、デフォルトとして設定されている動き情報305aやユーザにより前回指定された動き情報305aを自動的に指定するようにしても良い。
また、サーバ3には、ユーザ端末2の表示部203に表示されている動画生成用ページの画面内の複数の動きの速さ(例えば、1/2倍、標準(等倍)、2倍等)の中で、ユーザによる操作入力部202の所定操作に基づいて指定された何れか一の速さ(例えば、標準等)の指定指示が、通信ネットワークN及び通信制御部303を介して入力される。動画処理部306は、当該指定指示に係る速さを被写体画像の動きの速さとして設定する。
その後、動画処理部306の動画再生部306hは、設定された動き情報305aや動きの速さを動画像の動きの内容として所定の格納手段に登録する(ステップS72)。
具体的には、サーバ3には、ユーザ端末2の表示部203に表示されている動画生成用ページの画面内の複数の曲名の中で、ユーザによる操作入力部202の所定操作に基づいて指定された何れか一の曲名の指定指示が、通信ネットワークN及び通信制御部303を介して入力される。動画処理部306は、当該指定指示に係る曲名の曲を設定する。
その後、中央制御部301のCPUは、処理をステップS8に移行させる。ステップS8の処理の内容については、後述する。
ここで、動画像の生成が可能な状態でないと判定されると(ステップS8;NO)、中央制御部301のCPUは、処理をステップS4に戻し、ユーザ端末2からの指示の内容に応じて処理を分岐させる(ステップS4)。
一方、動画像の生成が可能な状態であると判定されると(ステップS8;YES)、図4に示すように、中央制御部301のCPUは、処理をステップS10に移行させる。
即ち、ステップS9にて、ユーザ端末2の中央制御部201が、ユーザによる操作入力部202の所定操作に基づいて入力された動画像のプレビュー指示を、通信制御部206により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS9)。
そして、ステップS10にて、サーバ3の中央制御部301のCPUによって、動画像のプレビュー指示が入力されたと判定されると(ステップS10;YES)、動画処理部306の動画再生部306hは、設定済みの曲名に対応する演奏情報305bを動画像とともに自動的に演奏される情報として所定の格納手段に登録する(ステップS11)。
続けて、動画処理部306は、動画再生部306hによる所定の曲の演奏が終了したか否かを判定する(ステップS13)。
ここで、曲の演奏が終了していないと判定されると(ステップS13;NO)、動画処理部306のフレーム生成部306gは、動き情報305aに応じて変形させた被写体画像の基準フレーム画像を生成する(ステップS14)。具体的には、フレーム生成部306gは、格納手段に登録されている動き情報305aに従って所定の時間間隔で移動する複数の可動点の座標情報をそれぞれ取得して、当該可動点の各々に対応する各動き制御点の座標を算出する。そして、フレーム生成部306gは、算出された座標に動き制御点を逐次移動させていくとともに、動き制御点の移動に応じて被写体画像内に設定される所定の画像領域を移動させたり変形させることで、基準フレーム画像を生成する。
また、動画処理部306は、基準フレーム画像と背景画像とを公知の画像合成手法を用いて合成する。具体的には、動画処理部306は、例えば、背景画像の各画素のうち、アルファ値が「0」の画素は透過させ、アルファ値が「1」の画素は基準フレーム画像の対応する画素の画素値で上書きし、さらに、背景画像の各画素のうち、アルファ値が「0<α<1」の画素は1の補数(1−α)を用いて基準フレーム画像の被写体領域Psを切り抜いた画像(背景画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて基準フレーム画像を生成した際に単一背景色とブレンドした値を計算し、当該値を基準フレーム画像から減算し、それを被写体領域Psを切り抜いた画像(背景画像×(1−α))と合成する。
また、動画処理部306は、補間フレーム画像と背景画像とを、上記基準フレーム画像の場合と同様に、公知の画像合成手法を用いて合成する。
次に、動画処理部306は、処理をステップS18に戻し、曲の演奏が終了したか否かを判定する(ステップS13)。
上記の処理は、ステップS13にて、曲の演奏が終了したと判定されるまで(ステップS13;YES)、繰り返し実行される。
そして、曲の演奏が終了したと判定されると(ステップS13;YES)、図6に示すように、中央制御部301のCPUは、処理をステップS4に戻し、ユーザ端末2からの指示の内容に応じて処理を分岐させる(ステップS4)。
具体的には、音出力部204は、演奏情報305bに基づいて曲を自動的に演奏してスピーカから放音するとともに、表示部203は、当該自動的に演奏される曲の所定のタイミングで基準フレーム画像及び補間フレーム画像からなるプレビュー動画を表示画面に表示する。
これにより、静止画像(正面画像)である被写体切り抜き画像P1を所定方向に回転させる場合に、当該静止画像の裏側の表現を裏面画像P9により適正に行うことができる。また、被写体切り抜き画像P1の被写体画像内で動き制御点を設定するだけで、当該被写体切り抜き画像P1に対応する裏面画像P9内の所定位置に対してもそれぞれ対応する動き制御点を自動的に設定することができ、動画像の生成処理をより簡便なものとすることができる。
例えば、上記実施形態にあっては、ユーザによるユーザ端末2の所定操作に基づいて、Webサーバとして機能するサーバ(画像生成装置)3によって動画像を生成するようにしたが、一例であってこれに限られるものではなく、画像生成装置の構成は適宜任意に変更可能である。即ち、裏面画像P9の生成に係る動画処理部306の機能をソフトウェアにより実現される構成として、ユーザ端末2にインストールすることで通信ネットワークNを必要とすることなく、当該ユーザ端末2単体で動画生成処理を行うようにしても良い。
また、上記実施形態の動画生成処理にあっては、被写体画像の合成位置やサイズを調整可能に構成されても良い。即ち、ユーザ端末2の中央制御部201は、ユーザによる操作入力部202の所定操作に基づいて、被写体画像の合成位置やサイズの調整指示が入力されたと判定すると、当該調整指示に対応する信号を通信制御部206により所定の通信ネットワークNを介してサーバ3に送信させる。そして、サーバ3の動画処理部306は、通信制御部を介して入力された調整指示に基づいて、被写体画像の合成位置を所望の合成位置に設定したり、当該被写体画像のサイズを所望のサイズに設定するようにしても良い。
なお、被写体切り抜き画像P1や動画像のデータには、ユーザによる所定の改変を禁止する制御情報を埋め込むようにしても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、取得処理ルーチン、第1特定処理ルーチン、第2特定処理ルーチン、生成処理ルーチンを含むプログラムを記憶しておく。そして、取得処理ルーチンにより中央制御部301のCPUを、被写体領域Psが含まれる被写体画像を取得する取得手段として機能させるようにしても良い。また、第1特定処理ルーチンにより中央制御部301のCPUを、取得手段により取得された被写体画像の被写体領域Psの輪郭部分の色情報に基づいて、裏面画像P9の被写体対応領域の輪郭Lの色情報を特定する第1特定手段として機能させるようにしても良い。また、第2特定処理ルーチンにより中央制御部301のCPUを、第1特定手段により特定された裏面画像P9の被写体対応領域の輪郭Lの色情報に基づいて、裏面画像P9の被写体対応領域における輪郭Lよりも内側領域Mの色情報を特定する第2特定手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部301のCPUを、第1特定手段及び第2特定手段により特定された裏面画像P9の被写体対応領域の輪郭Lの色情報及び内側領域Mの色情報に基づいて、裏面画像P9の被写体対応領域の輪郭L及び内側領域Mをそれぞれ描画して生成する生成手段として機能させるようにしても良い。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
<請求項1>
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置を用いた画像生成方法であって、
被写体領域が含まれる被写体画像を取得する取得ステップと、
取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第1特定ステップと、
特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第2特定ステップと、
特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成ステップと、
を含むことを特徴とする画像生成方法。
<請求項2>
前記第1特定ステップは、更に、
前記被写体画像内で被写体領域の位置を示す二値画像の輪郭の形状を基準として、前記裏面画像の被写体対応領域の輪郭の色情報を特定することを特徴とする請求項1に記載の画像生成方法。
<請求項3>
前記第1特定ステップは、更に、
前記二値画像の輪郭上に存する一の着目点と、当該一の着目点から所定の一方向に延在する直線上に存し、前記二値画像の前記一の着目点と反対側の境界を構成する境界点とを特定し、前記被写体画像の被写体領域の輪郭部分における前記一の着目点及び前記境界点の各々に対応する各画素の画素値に基づいて、当該一の着目点に対応する前記裏面画像の被写体対応領域の輪郭を構成する画素の画素値を特定することを特徴とする請求項2に記載の画像生成方法。
<請求項4>
前記第1特定ステップは、更に、
前記被写体画像の被写体領域の輪郭部分における前記一の着目点及び前記境界点の各々に対応する各画素よりも所定の画素数内側の各画素の画素値に基づいて、前記裏面画像の被写体対応領域の輪郭を構成する画素の画素値を特定することを特徴とする請求項3に記載の画像生成方法。
<請求項5>
前記第1特定ステップは、更に、
前記被写体画像の被写体領域の輪郭部分における前記一の着目点及び前記境界点の各々に対応する各画素を基準とする各所定領域内の複数の画素の画素値に基づいて、前記裏面画像の被写体対応領域の輪郭を構成する画素の画素値を特定することを特徴とする請求項3に記載の画像生成方法。
<請求項6>
前記第2特定ステップは、更に、
前記裏面画像の被写体対応領域の輪郭の色情報に基づいて当該輪郭の色が描画された輪郭線画像を基準として、所定領域内の少なくとも一の画素の画素値に重みを付けて演算して前記裏面画像における前記内側領域を構成する処理対象の画素の画素値を算出するためのウィンドウの形状を前記処理対象の画素の位置に応じて異ならせた収縮処理を行って、前記裏面画像における前記内側領域の色情報を特定することを特徴とする請求項1〜5の何れか一項に記載の画像生成方法。
<請求項7>
前記取得ステップは、背景と被写体とが存在する画像から被写体が含まれる被写体領域を切り抜いた画像を前記被写体画像として取得することを特徴とする請求項1〜6の何れか一項に記載の画像生成方法。
<請求項8>
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置であって、
被写体領域が含まれる被写体画像を取得する取得手段と、
この取得手段により取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第1特定手段と、
この第1特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第2特定手段と、
前記第1特定手段及び前記第2特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成手段と、
を備えたことを特徴とする画像生成装置。
<請求項9>
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置のコンピュータを、
被写体領域が含まれる被写体画像を取得する取得手段、
この取得手段により取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第1特定手段、
この第1特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第2特定手段、
前記第1特定手段及び前記第2特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成手段、
として機能させることを特徴とするプログラム。
1 撮像装置
2 ユーザ端末
3 サーバ
301 中央制御部
306 動画処理部
306a 画像取得部
306b 第1色特定部
306c 第1描画部
306d 第2色特定部
306e 第2描画部
Claims (9)
- 被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置を用いた画像生成方法であって、
被写体領域が含まれる被写体画像を取得する取得ステップと、
取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第1特定ステップと、
特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第2特定ステップと、
特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成ステップと、
を含むことを特徴とする画像生成方法。 - 前記第1特定ステップは、更に、
前記被写体画像内で被写体領域の位置を示す二値画像の輪郭の形状を基準として、前記裏面画像の被写体対応領域の輪郭の色情報を特定することを特徴とする請求項1に記載の画像生成方法。 - 前記第1特定ステップは、更に、
前記二値画像の輪郭上に存する一の着目点と、当該一の着目点から所定の一方向に延在する直線上に存し、前記二値画像の前記一の着目点と反対側の境界を構成する境界点とを特定し、前記被写体画像の被写体領域の輪郭部分における前記一の着目点及び前記境界点の各々に対応する各画素の画素値に基づいて、当該一の着目点に対応する前記裏面画像の被写体対応領域の輪郭を構成する画素の画素値を特定することを特徴とする請求項2に記載の画像生成方法。 - 前記第1特定ステップは、更に、
前記被写体画像の被写体領域の輪郭部分における前記一の着目点及び前記境界点の各々に対応する各画素よりも所定の画素数内側の各画素の画素値に基づいて、前記裏面画像の被写体対応領域の輪郭を構成する画素の画素値を特定することを特徴とする請求項3に記載の画像生成方法。 - 前記第1特定ステップは、更に、
前記被写体画像の被写体領域の輪郭部分における前記一の着目点及び前記境界点の各々に対応する各画素を基準とする各所定領域内の複数の画素の画素値に基づいて、前記裏面画像の被写体対応領域の輪郭を構成する画素の画素値を特定することを特徴とする請求項3に記載の画像生成方法。 - 前記第2特定ステップは、更に、
前記裏面画像の被写体対応領域の輪郭の色情報に基づいて当該輪郭の色が描画された輪郭線画像を基準として、所定領域内の少なくとも一の画素の画素値に重みを付けて演算して前記裏面画像における前記内側領域を構成する処理対象の画素の画素値を算出するためのウィンドウの形状を前記処理対象の画素の位置に応じて異ならせた収縮処理を行って、前記裏面画像における前記内側領域の色情報を特定することを特徴とする請求項1〜5の何れか一項に記載の画像生成方法。 - 前記取得ステップは、背景と被写体とが存在する画像から被写体が含まれる被写体領域を切り抜いた画像を前記被写体画像として取得することを特徴とする請求項1〜6の何れか一項に記載の画像生成方法。
- 被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置であって、
被写体領域が含まれる被写体画像を取得する取得手段と、
この取得手段により取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第1特定手段と、
この第1特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第2特定手段と、
前記第1特定手段及び前記第2特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成手段と、
を備えたことを特徴とする画像生成装置。 - 被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置のコンピュータを、
被写体領域が含まれる被写体画像を取得する取得手段、
この取得手段により取得された被写体画像の被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭の色情報を特定する第1特定手段、
この第1特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報に基づいて、前記裏面画像の被写体対応領域における輪郭よりも内側領域の色情報を特定する第2特定手段、
前記第1特定手段及び前記第2特定手段により特定された前記裏面画像の被写体対応領域の輪郭の色情報及び前記内側領域の色情報に基づいて、前記裏面画像の被写体対応領域の輪郭及び前記内側領域をそれぞれ描画して生成する生成手段、
として機能させることを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011183643A JP5776442B2 (ja) | 2011-08-25 | 2011-08-25 | 画像生成方法、画像生成装置及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011183643A JP5776442B2 (ja) | 2011-08-25 | 2011-08-25 | 画像生成方法、画像生成装置及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013045341A JP2013045341A (ja) | 2013-03-04 |
JP5776442B2 true JP5776442B2 (ja) | 2015-09-09 |
Family
ID=48009185
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011183643A Expired - Fee Related JP5776442B2 (ja) | 2011-08-25 | 2011-08-25 | 画像生成方法、画像生成装置及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5776442B2 (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0762852B2 (ja) * | 1992-12-25 | 1995-07-05 | 株式会社アラクリエーション | 織物デザイン装置 |
JPH11205788A (ja) * | 1998-01-13 | 1999-07-30 | Matsushita Electric Ind Co Ltd | 画像圧縮装置、および画像伸張装置 |
JP2006196017A (ja) * | 1999-02-26 | 2006-07-27 | Toshiba Corp | アニメーション作成装置および方法、記憶媒体 |
US20090219379A1 (en) * | 2005-12-30 | 2009-09-03 | Telecom Italia S.P.A. | Average Calculation in Color Space, Particularly for Segmentation of Video Sequences |
JP5302768B2 (ja) * | 2008-06-26 | 2013-10-02 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
JP5202281B2 (ja) * | 2008-12-19 | 2013-06-05 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
-
2011
- 2011-08-25 JP JP2011183643A patent/JP5776442B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013045341A (ja) | 2013-03-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5434965B2 (ja) | 動画生成方法、動画生成装置及びプログラム | |
JP5454604B2 (ja) | 動画再生方法、動画再生装置及びプログラム | |
JP3601350B2 (ja) | 演奏画像情報作成装置および再生装置 | |
JP5375897B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP6942300B2 (ja) | コンピュータグラフィックスのプログラム、表示装置、送信装置、受信装置、動画生成装置、データ変換装置、データ生成装置、情報処理方法及び情報処理システム | |
JP6805422B2 (ja) | 装置、プログラム及び情報処理方法 | |
JP5408205B2 (ja) | 制御点設定方法、制御点設定装置及びプログラム | |
WO2009067878A1 (fr) | Procédé et système d'affichage de caractères de paroles | |
EP1031945A2 (en) | Animation creation apparatus and method | |
JP2011119974A (ja) | パノラマ画像合成装置、パノラマ画像合成方法、及びプログラム | |
JP5776442B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP5408206B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP2006196017A (ja) | アニメーション作成装置および方法、記憶媒体 | |
JP6313003B2 (ja) | カラオケ装置、画像出力方法、およびプログラム | |
JP2017045374A (ja) | 情報処理装置及びプログラム | |
JP5906897B2 (ja) | 動き情報生成方法、動き情報生成装置及びプログラム | |
JP5919926B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP5874426B2 (ja) | 制御点設定方法、制御点設定装置及びプログラム | |
JP4607210B2 (ja) | 再生装置、再生方法、ならびに、プログラム | |
JP5891883B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP3523784B2 (ja) | 対話型画像操作表示装置および方法並びにプログラム格納媒体 | |
JP6028489B2 (ja) | 動画再生装置、動画再生方法、及びプログラム | |
JP2006140867A (ja) | 映像編集装置およびその方法 | |
JP2020095465A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JP4487678B2 (ja) | 映像効果処理装置およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140811 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150529 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150609 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150622 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5776442 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |