JP5408206B2 - 画像生成方法、画像生成装置及びプログラム - Google Patents
画像生成方法、画像生成装置及びプログラム Download PDFInfo
- Publication number
- JP5408206B2 JP5408206B2 JP2011183636A JP2011183636A JP5408206B2 JP 5408206 B2 JP5408206 B2 JP 5408206B2 JP 2011183636 A JP2011183636 A JP 2011183636A JP 2011183636 A JP2011183636 A JP 2011183636A JP 5408206 B2 JP5408206 B2 JP 5408206B2
- Authority
- JP
- Japan
- Prior art keywords
- subject
- image
- line segment
- unit
- color information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T13/00—Animation
- G06T13/20—3D [Three Dimensional] animation
- G06T13/40—3D [Three Dimensional] animation of characters, e.g. humans, animals or virtual beings
Description
画像生成装置のコンピュータが、被写体領域が含まれる被写体画像を取得する第1取得ステップと、この第1取得ステップにより取得された被写体画像の被写体の骨格に係る骨格情報を取得する第2取得ステップと、この第2取得ステップにより取得された前記骨格情報に基づいて、前記被写体領域の輪郭部分の色情報を特定する特定ステップと、この特定ステップにより特定された前記被写体領域の輪郭部分の色情報に基づいて、前記被写体の裏側を擬似的に表す裏面画像の被写体対応領域を描画して当該裏面画像を生成する生成ステップと、を実行することを特徴としている。
被写体領域が含まれる被写体画像を取得する第1取得手段と、この第1取得手段により取得された被写体画像の被写体の骨格に係る骨格情報を取得する第2取得手段と、この第2取得手段により取得された前記骨格情報に基づいて、前記被写体領域の輪郭部分の色情報を特定する特定手段と、この特定手段により特定された前記被写体領域の輪郭部分の色情報に基づいて、前記被写体の裏側を擬似的に表す裏面画像の被写体対応領域を描画して当該裏面画像を生成する生成手段と、を備えたことを特徴としている。
画像生成装置のコンピュータに、被写体領域が含まれる被写体画像を取得する第1取得機能、この第1取得機能により取得された被写体画像の被写体の骨格に係る骨格情報を取得する第2取得機能、この第2取得機能により取得された前記骨格情報に基づいて、前記被写体領域の輪郭部分の色情報を特定する特定機能、この特定機能により特定された前記被写体領域の輪郭部分の色情報に基づいて、前記被写体の裏側を擬似的に表す裏面画像の被写体対応領域を描画して当該裏面画像を生成する生成機能、を実現させることを特徴としている。
図1は、本発明を適用した一実施形態の動画生成システム100の概略構成を示すブロック図である。
撮像装置1は、被写体を撮像する撮像機能や撮像画像の画像データを記録媒体Cに記録する記録機能等を具備する。即ち、撮像装置1は、公知のものを適用可能であり、例えば、主要な機能を撮像機能とするデジタルカメラだけでなく、主要な機能としないものの撮像機能を具備する携帯電話機等の携帯端末なども含む。
ユーザ端末2は、例えば、パーソナルコンピュータ等により構成され、サーバ3により開設されるWebページ(例えば、動画生成用ページ)にアクセスして、当該Webページ上で各種の指示を入力する。
図2に示すように、ユーザ端末2は、具体的には、中央制御部201と、操作入力部202と、表示部203と、音出力部204と、記録媒体制御部205と、通信制御部206等を備えている。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末2で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
なお、操作入力部202としてタッチパネル(図示略)を表示部203の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
即ち、表示部203は、例えば、サーバ3から送信され通信制御部206により受信されたWebページ(例えば、動画生成用ページ)のページデータに基づいて、対応するWebページを表示画面に表示する。具体的には、表示部203は、動画生成処理(後述)に係る各種の処理画面の画像データに基づいて、各種の処理画面を表示画面に表示する。
即ち、音出力部204は、例えば、サーバ3から送信され通信制御部206により受信された演奏情報に基づいて、当該演奏情報のデジタルデータをD/Aコンバータによりアナログデータに変換し、増幅器を介してスピーカから、所定の音色、音高、音長で曲を放音する。また、音出力部204は、一の音源(例えば、楽器)の音を放音しても良いし、複数の音源の音を同時に放音しても良い。
ここで、被写体存在画像とは、所定の背景内に主要な被写体が存在する画像のことである。また、記録媒体Cには、撮像装置1の画像処理部(図示略)により所定の符号化形式(例えば、JPEG形式等)に従って符号化された被写体存在画像の画像データが記録されている。
そして、通信制御部206は、入力された被写体存在画像の画像データをサーバ3に所定の通信ネットワークNを介して送信する。
サーバ3は、Web(World Wide Web)サーバとしてインターネット上にWebページ(例えば、動画生成用ページ)を開設する機能を具備するものであり、ユーザ端末2からのアクセスに応じて当該ユーザ端末2にWebページのページデータを送信する。また、サーバ3は、画像生成装置として、被写体領域Psが含まれる被写体画像の被写体の骨格に係る骨格情報に基づいて、被写体領域Psの輪郭部分の色情報を特定し、当該被写体領域Psの輪郭部分の色情報に基づいて、裏面画像P3の被写体対応領域Paを被写体の部位毎にそれぞれ描画して、被写体の裏側を擬似的に表す裏面画像P3を生成する。
図3に示すように、サーバ3は、具体的には、中央制御部301と、表示部302と、通信制御部303と、被写体切抜部304と、記憶部305と、動画処理部306等を備えて構成されている。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ3で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
具体的には、通信制御部303は、例えば、動画生成処理(後述)にてユーザ端末2から所定の通信ネットワークNを介して送信された被写体存在画像の画像データを受信して、当該画像データを中央制御部301のCPUに出力する。
中央制御部301のCPUは、入力された被写体存在画像の画像データを被写体切抜部304に出力する。
即ち、被写体切抜部304は、公知の被写体切抜手法を用いて、被写体存在画像から被写体が含まれる被写体領域Psが切り抜かれた被写体切り抜き画像P1を生成する。具体的には、被写体切抜部304は、中央制御部301のCPUから出力された被写体存在画像の画像データを取得して、例えば、ユーザによるユーザ端末2の操作入力部202(例えば、マウス等)の所定操作に基づいて、表示部203に表示されている当該被写体存在画像上に描画された境界線(図示略)により当該被写体存在画像を区分する。続けて、被写体切抜部304は、被写体存在画像の切抜線により区分される複数の区分領域の中で、被写体の背景を推定して当該背景の各画素の画素値に基づいて所定の演算を行って、被写体の背景色を所定の単一色として推定する。その後、被写体切抜部304は、所定の単一色の背景用画像と被写体存在画像との間で対応する各画素の差分情報(例えば、相違度マップ等)を生成する。そして、被写体切抜部304は、生成した差分情報の各画素の画素値を所定の閾値と比較して二値化した後、同じ連結成分を構成する画素集合に同じ番号を付けるラベリング処理を行って面積が最大の画素集合を被写体部分とする。
その後、被写体切抜部304は、例えば、上記の面積が最大の画素集合が「1」、その他の部分が「0」である二値化された差分情報に対してローパスフィルタを施して境界部分に中間値を生じさせることでアルファ値を生成し、被写体切り抜き画像P1内で被写体領域Psの位置を示す位置情報としてのアルファマップ(図示略)を生成する。
アルファ値(0≦α≦1)とは、例えば、被写体存在画像の各画素について、被写体領域Psの画像を所定の背景に対してアルファブレンディングする際の重みを表すものである。この場合、被写体領域Psはアルファ値が「1」となり、被写体存在画像の所定の背景に対する透過度が0%となる。一方、被写体の背景部分はアルファ値が「0」となり、当該被写体存在画像の所定の背景に対する透過度が100%となる。
また、被写体切抜部304は、アルファマップに基づいて、被写体領域(図16(b)中、白で表す領域)の各画素を第1の画素値(例えば、「1」等)とし、背景領域(図16(b)中、黒で表す領域)の各画素を第1の画素値と異なる第2の画素値(例えば、「0」等)とする二値画像であるマスク画像P2(図16(b)参照)を生成する。即ち、被写体切抜部304は、被写体切り抜き画像P1内で被写体領域Psの位置を示す位置情報としてのマスク画像P2を生成する。
被写体切り抜き画像P1の画像データは、例えば、生成されたアルファマップやマスク画像P2等の位置情報と対応付けられたデータである。
また、被写体切り抜き画像P1の画像データとしては、例えば、RGBA形式の画像データを適用しても良く、具体的には、RGB色空間で規定される各色に透過度(A)の情報が付加されている。この場合には、被写体切抜部304は、透過度(A)の情報を利用して、被写体切り抜き画像P1内で被写体領域Psの位置を示す位置情報(図示略)を生成しても良い。
各動き情報305aは、所定空間、即ち、例えば、互いに直交する二軸(例えば、x軸、y軸等)により規定される二次元の平面空間やこれら二軸に加えて当該二軸に直交する軸(例えば、z軸等)により規定される三次元の立体的空間内における複数の可動点の動きを示す情報である。なお、動き情報305aは、二次元の平面空間を所定の回動軸周りに回転させることで複数の可動点の動きに奥行きをもたせるような情報であっても良い。
ここで、各可動点の位置は、動きのモデルとなる動体モデル(例えば、ヒトや動物等)の骨格の形状や関節の位置等を考慮してそれぞれ規定されている。また、可動点の個数は、動体モデルの形状や大きさ等に応じて適宜任意に設定可能である。
また、各動き情報305aは、所定空間内にて複数の可動点の全て若しくは少なくとも一つを移動させた座標情報を所定の時間間隔で連続して並べることで、複数の可動点の動きが連続して表されている。なお、複数の可動点の座標情報の各々は、例えば、基準となる可動点の座標情報に対する各可動点の移動量を規定した情報であっても良いし、各可動点の絶対位置座標を規定した情報であっても良い。
演奏情報305bは、動画処理部306の動画再生部306i(後述)により動画像とともに自動的に曲を演奏するための情報である。即ち、演奏情報305bは、例えば、テンポ、拍子、音程、音階、調、発想標語等を異ならせて複数規定され、それぞれ曲名と対応付けて記憶されている。
また、各演奏情報305bは、例えば、MIDI(Musical Instruments Digital Interface)規格等に従って規定されたデジタルデータであり、具体的には、トラック数や四分音符の分解能(Tickカウント数)等が規定されたヘッダ情報と、各パートに割り当てられた音源(例えば、楽器等)に供給させるイベント及びタイミングかならなるトラック情報等を有している。このトラック情報のイベントとして、例えば、テンポあるいは拍子の変更や、NoteOn・Offを指示する情報などがある。
即ち、画像取得部306aは、第1取得手段として、背景と被写体とが存在する被写体存在画像から被写体が含まれる被写体領域Psが切り抜かれた被写体切り抜き画像(被写体画像)P1を取得する。具体的には、画像取得部306aは、被写体切抜部304により生成された被写体切り抜き画像P1の画像データを処理対象の静止画像として取得する。
また、画像取得部306aは、被写体切り抜き画像P1の画像データと対応付けられているマスク画像P2の画像データを取得する。
即ち、骨格情報取得部306bは、第2取得手段として、画像取得部306aにより取得された被写体切り抜き画像P1の被写体の骨格に係る骨格情報を取得する。具体的には、骨格情報取得部306bは、画像取得部306aにより取得されたマスク画像P2の画像データ、即ち、被写体切り抜き画像P1の画像データと対応付けられ、当該被写体切り抜き画像P1内で被写体領域Psの位置を示すマスク画像P2の画像データに対して、所定数(例えば、一つ)の画素からなる線画像を生成する細線化処理を施して、骨格情報としての骨格線画像(図示略)を生成する。
例えば、骨格情報取得部306bは、マスク画像P2の画像データに対してHilditch法を適用して、当該画像内で境界点である端点を削除しない、孤立点を保存する、連結性を保存する、などの各種の条件を満たす画像の探索、削除を繰り返すことにより、骨格線画像を生成する。
なお、上記した骨格情報取得部306bによる骨格情報の取得処理は、一例であってこれに限られるものではなく、適宜任意に変更可能である。また、細線化処理として、Hilditch法を適用するようにしたが、一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、マスク画像P2及び被写体切り抜き画像P1では、例えば、左上隅部を原点座標として(即ち、左右方向にx軸、上下方向にy軸をとり)上記の細線化処理や後述する各種の画像処理を行う。
具体的には、輪郭情報取得部306cは、画像取得部306aにより取得されたマスク画像P2の被写体領域の輪郭線を構成する各画素を特定して、当該各画素の座標に係る輪郭情報を取得する。
即ち、骨格点設定部306dは、骨格情報取得部306bにより取得された骨格情報に基づいて、被写体切り抜き画像P1の被写体領域Ps内で骨格と関連付けられた骨格点Bを複数設定する。具体的には、骨格点設定部306dは、被写体の骨格線画像の形状やヒトの関節の位置等を考慮して、骨格線画像内でヒトの代表的な各部に相当する各位置に骨格点Bを複数特定する。そして、骨格点設定部306dは、特定された複数の骨格点B、…を被写体切り抜き画像P1及びマスク画像P2の対応する各位置に設定する。
例えば、骨格点設定部306dは、骨格線画像内で、ヒトの左右の肩の各々に相当する位置に左右の肩骨格点B1、B2、左右の肘の各々に相当する位置に左右の肘骨格点B3、B4、左右の手首の各々に相当する位置に左右の手首骨格点B5、B6、左右の手先の各々に相当する位置に左右の手先骨格点B7、B8、左右の股関節の各々に相当する位置に左右の股関節骨格点B9、B10、左右の膝の各々に相当する位置に左右の膝骨格点B11、B12、左右の足首の各々に相当する位置に左右の足首骨格点B13、B14、左右のつま先の各々に相当する位置に左右のつま先骨格点B15、B16、顎に相当する位置に顎骨格点B17、頭頂部に相当する位置に頭頂部骨格点B18等をそれぞれ特定する(図16(a)及び図16(b)参照)。そして、骨格点設定部306dは、設定された各骨格点Bの座標に基づいて、当該骨格点Bを被写体切り抜き画像P1及びマスク画像P2の対応する各位置(座標)に設定する。
なお、上記した各骨格点Bは、一例であってこれに限られるものではなく、適宜任意に変更可能である。
即ち、色特定部306eは、特定手段として、骨格情報取得部306bにより取得された骨格情報に基づいて、被写体切り抜き画像P1の被写体領域Psの輪郭部分の色情報を特定する。具体的には、色特定部306eは、第1特定部e1、第2特定部e2及び第3特定部e3を具備し、これら第1〜第3特定部e1〜e3は、ヒトの代表的な各部位毎に被写体領域Psの輪郭部分の色情報を特定する。
即ち、第1特定部e1は、骨格点設定部306dによりヒトの両腕や両脚に相当する部分に設定された複数(例えば、二つ)の骨格点B、Bを通る基準線分Lを基準として、当該両腕及び両脚に相当する部分の輪郭部分の色情報を特定する。具体的には、第1特定部e1は、被写体切り抜き画像P1及びマスク画像P2にて、被写体領域Psのヒトの両腕や両脚に相当する部分に係る複数の骨格点B、…を通る基準線分L(例えば、第1基準線分L1)を設定し、当該両腕や両脚に相当する部分における基準線分Lに対する直交方向の輪郭部分の色情報を特定する。
なお、図17(b)にあっては、右手先骨格点B8と第1輪郭点C1が等しい位置となっているが、一例であってこれに限られるものではなく、互いに異なる位置であっても良い。
なお、第1特定部e1は、第1基準線分L1における各走査位置にて当該第1基準線分L1に直交する方向に並んだ全ての画素の画素値に基づいて、所定の演算を行って各走査位置における代表画素値(例えば、平均値)を算出しても良い。
また、第1特定部e1は、被写体領域Psにおける両脚に相当する部分についても、脚領域描画処理(後述)にて上記の各処理と略同様の処理を行う。この場合、基準線分Lに対する直交方向は、例えば、図16(a)及び図16(b)における左右方向となる。
具体的には、第1特定部e1は、被写体切り抜き画像P1及びマスク画像P2にて、骨格点設定部306dによりヒトの手先及び足先に相当する部分の各々の先端側に設定された一の骨格点Bと当該一の骨格点Bに隣接する他の骨格点Bとを通る基準線分L(例えば、第2基準線分L2)を設定し、当該基準線分Lに対して平行な2つの辺及び基準線分Lに対して直交する2つの辺を有し、ヒトの手先及び足先に相当する部分の各々を囲む直角四辺形R1を設定する。例えば、第1特定部e1は、手先領域描画処理の直角四辺形設定処理(後述)にて、被写体切り抜き画像P1及びマスク画像P2における、被写体領域Psのヒトの右手首に相当する位置に設定されている右手首骨格点B6と右手先に相当する位置に設定されている右手先骨格点B8とを特定する。そして、第1特定部e1は、輪郭情報取得部306cにより取得された輪郭情報に基づいて、右手首骨格点B6から右手先骨格点B8を経て手先側に延在する直線と交わる輪郭線上の第2輪郭点C2を特定する。そして、第1特定部e1は、マスク画像P2にて右手首骨格点B6と第2輪郭点C2とを結ぶ線分を第2基準線分L2として設定する。また、第1特定部e1は、輪郭情報に基づいて、マスク画像P2の被写体領域の右手先に相当する部分の画像P2a1(図18(b)参照)の輪郭線上を走査して、第2基準線分L2に直交する直線と交わる輪郭線上の点であって、被写体領域Psの中央部(例えば、重心位置により近い骨格点B)から最も離れた位置に存する第1交点D1を特定する。さらに、第1特定部e1は、輪郭情報に基づいて、マスク画像P2の被写体領域の右手先に相当する部分の画像P2a1の輪郭線上を走査して、第2基準線分L2を挟む平行な二直線の各々と交わる輪郭線上の二点であって、当該第2基準線分L2に対する直交方向に最も離れた位置に存する第2及び第3交点D2、D3を特定する。そして、第1特定部e1は、マスク画像P2にて第1〜第3交点D1〜D3並びに右手首骨格点B6に接する直角四辺形R1を設定して、当該直角四辺形R1の第1〜第4頂点F1〜F4の各座標を取得する。
具体的には、第1特定部e1は、例えば、マスク画像P2の手先画像P2a1(図18(b)参照)における直角四辺形R1の第1頂点F1と第4頂点F4を結ぶ一の辺上を所定画素数(例えば、一画素)ずつ移動させながら、当該一の辺に対する直交方向(例えば、図18(b)における上下方向)に走査していく。そして、第1特定部e1は、被写体切り抜き画像P1の手先画像P1a1における当該直角四辺形R1内に存する被写体領域Ps(ヒトの手先及び足先に相当する部分)の各画素の画素値を各走査毎に取得する。そして、第1特定部e1は、各走査毎に、直角四辺形R1内に存する被写体領域Psであるヒトの手先に相当する部分の各画素の画素値を代表する代表値(例えば、平均値)を算出して、当該被写体領域Psの各走査に対応する輪郭部分の色情報としてそれぞれ特定する。
なお、図18(b)にあっては、右手先骨格点B8と第2輪郭点C2と第1交点D1が等しい位置となっているが、一例であってこれに限られるものではなく、互いに異なる位置であっても良いし、何れか二つが等しい位置であっても良い。
また、第1特定部e1は、被写体領域Psにおける両脚に相当する部分についても、足先領域描画処理(後述)にて上記の各処理と略同様の処理を行う。この場合、基準線分Lに対する直交方向は、例えば、図16(a)及び図16(b)における左右方向となる。
即ち、第2特定部e2は、骨格点設定部306dによりヒトの胴体に相当する部分に設定された一の骨格点Bを通る基準線分Lを基準として、当該胴体に相当する部分の輪郭部分の色情報を特定する。具体的には、第2特定部e2は、被写体切り抜き画像P1及びマスク画像P2にて、ヒトの胴体に相当する部分に設定された一の骨格点Bを通り、脊椎にほぼ沿って延在する基準線分L(例えば、第3基準線分L3)の少なくとも一の端部側を当該基準線分Lの延在方向に所定の割合(例えば、1割)延長した延長線分L3aを設定する。
例えば、第2特定部e2は、胴体描画処理(後述)にて、被写体切り抜き画像P1及びマスク画像P2における、被写体領域Psのヒトの顎に相当する位置に設定されている顎骨格点B17と左右の股関節に相当する位置に設定されている左右の股関節骨格点B9、B10を特定する。そして、第2特定部e2は、左右の股関節骨格点B9、B10の中点Bmを特定した後、マスク画像P2にて、当該中点Bmと顎骨格点B17とを結ぶ第3基準線分L3の両端部側を当該基準線分Lの延在方向に1割ずつ延長した延長線分L3aを設定する。
ここで、第2特定部e2による被写体領域Psのヒトの胴体に相当する部分に対する各処理は、裏面画像生成部306fによる裏面画像P3の被写体対応領域Paにおける両腕及び両脚に相当する部分の描画の後に行われる。
即ち、第1特定部e1による被写体領域Psのヒトの両腕及び両脚に相当する部分の輪郭部分の色情報の特定及び裏面画像生成部306fによる当該両腕及び両脚に相当する部分の描画が行われた後、第2特定部e2による被写体領域Psのヒトの胴体に相当する部分の輪郭部分の色情報の特定及び裏面画像生成部306fによる当該胴体に相当する部分の描画が行われた後、第3特定部e3による被写体領域Psのヒトの頭に相当する部分の輪郭部分の色情報の特定及び裏面画像生成部306fによる当該頭に相当する部分の描画が行われる。
なお、第2特定部e2は、延長線分L3aにおける各走査位置にて当該延長線分L3aに直交する方向に並んだ全ての画素の画素値に基づいて、所定の演算を行って各走査位置における代表画素値(例えば、平均値)を算出しても良い。
即ち、第3特定部e3は、骨格点設定部306dによりヒトの頭に相当する部分に設定された複数(例えば、二つ)の骨格点Bを通る基準線分Lを基準として、当該頭に相当する部分の輪郭部分の色情報を特定する。具体的には、第3特定部e3は、被写体切り抜き画像P1及びマスク画像P2にて、被写体領域Psのヒトの頭に相当する部分に係る複数の骨格点B、…を通る基準線分L(例えば、第4基準線分L4)を設定し、当該頭に相当する部分における基準線分Lに対する直交方向及び平行方向の各輪郭部分の色情報を特定する。つまり、第3特定部e3は、頭描画処理の第1描画処理(後述)にて、被写体領域Psのヒトの頭に相当する部分の先端側に設定された一の骨格点Bと当該一の骨格点Bに隣接する他の骨格点Bとを通る基準線分Lに対する直交方向の輪郭部分の色情報を特定した後、第2描画処理にて、基準線分Lに対する平行方向の輪郭部分の色情報を特定する。
例えば、第3特定部e3は、被写体切り抜き画像P1及びマスク画像P2における、被写体領域Psのヒトの顎に相当する位置に設定されている顎骨格点B17と頭頂部に相当する位置に設定されている頭頂部骨格点B18とを特定する。そして、第3特定部e3は、マスク画像P2にて、顎骨格点B17と頭頂部骨格点B18とを結ぶ線分を第4基準線分L4として設定する。
第3特定部e3は、マスク画像P2における第4基準線分L4上を所定画素数(例えば、一画素)ずつ移動させながら、当該第4基準線分L4に対する直交方向(例えば、図20(b)における左右方向)に走査して、当該第4基準線分L4を直交方向に挟み、被写体領域Psの頭に相当する部分の輪郭の各々と交わる二点を各走査毎に特定する。そして、第3特定部e3は、各走査毎に特定された頭に相当する部分の輪郭の二点を基準として、被写体切り抜き画像P1における当該頭に相当する部分の二つの輪郭部分の色情報を各走査毎に特定する。具体的には、第3特定部e3は、第4基準線分L4を構成する各画素について、先ず、当該第4基準線分L4に直交する二方向のうちの所定の一方向(例えば、図20(b)における左方向)に走査していく。そして、第3特定部e3は、被写体領域Psにおける頭に相当する部分の一方向の輪郭線上に到達すると、マスク画像P2の頭部画像P2cにおける当該輪郭線上の点の座標を取得した後、被写体切り抜き画像P1の頭部画像P1c(図20(a)参照)に基づいて、輪郭線上の点の画素値と当該輪郭線上の点に隣接する所定画素数分の各画素の画素値を代表する代表値(例えば、平均値)を算出する。同様に、第3特定部e3は、第4基準線分L4に直交する二方向のうちの他方向(例えば、図20(b)における右方向)についても、上記と略同様の処理を行って、輪郭線上の点の画素値と当該輪郭線上の点に隣接する所定画素数分の各画素の画素値を代表する代表値(例えば、平均値)を算出する。
なお、第3特定部e3は、第4基準線分L4における各走査位置にて当該第4基準線分L4に直交する方向に並んだ全ての画素の画素値に基づいて、所定の演算を行って各走査位置における代表画素値(例えば、平均値)を算出しても良い。
例えば、第3特定部e3は、第2描画処理の直角四辺形設定処理(後述)にて、輪郭情報取得部306cにより取得された輪郭情報に基づいて、マスク画像P2の被写体領域の頭に相当する部分の画像P2cの輪郭線上を走査して、第4基準線分L4を挟む平行な二直線の各々と交わる輪郭線上の二点であって、当該第4基準線分L4に対する直交方向に最も離れた位置に存する第2及び第3交点D2、D3を特定する。そして、第3特定部e3は、マスク画像P2にて顎骨格点B17及び頭頂部骨格点B18並びに第2及び第3交点D2、D3に接する直角四辺形R2を設定して、当該直角四辺形R2の第1〜第4頂点F1〜F4の各座標を取得する。
具体的には、第3特定部e3は、例えば、マスク画像P2の頭部画像P2c(図20(b)参照)における直角四辺形R2の頭頂部側の第1頂点F1と第2頂点F2を結ぶ一の辺上を所定画素数(例えば、一画素)ずつ移動させながら、当該一の辺に対する直交方向(例えば、図20(b)における下方向)に走査していく。そして、第3特定部e3は、被写体切り抜き画像P1の頭部画像P1c(図20(a)参照)における当該直角四辺形R2内に存する被写体領域(ヒトの頭に相当する部分)Psの輪郭線上に到達すると、マスク画像P2における当該輪郭線上の点の座標を取得する。その後、第3特定部e3は、被写体切り抜き画像P1の頭部画像P1c(図20(a)参照)に基づいて、輪郭線上の点の画素値と当該輪郭線上の点に隣接する走査方向(例えば、図20(b)における下方向)に所定画素数分の各画素の画素値を代表する代表値(例えば、平均値)を算出して、当該走査に対応する輪郭部分の色情報として特定する。
即ち、裏面画像生成部306fは、生成手段として、色特定部306eにより特定された被写体領域Psの輪郭部分の色情報に基づいて、裏面画像P3の被写体対応領域Paを被写体の部位毎にそれぞれ描画して当該裏面画像P3を生成する。具体的には、裏面画像生成部306fは、裏面画像P3の被写体対応領域Paを当該被写体の基準線分Lが含まれる部位、即ち、ヒトの代表的な各部位(例えば、両腕部、両脚部、胴体、頭等)毎にそれぞれ描画して、裏面画像P3を生成する。
なお、裏面画像生成部306fは、マスク画像P2(裏面画像P3)における被写体対応領域Paの中で、両脚に相当する部分についても、脚描画処理(後述)にて上記の各処理と略同様の処理を行う。この場合、基準線分Lに対する直交方向は、例えば、図16(a)及び図16(b)における左右方向となる。
具体的には、裏面画像生成部306fは、頭描画処理の第1描画処理にて、マスク画像P2(裏面画像P3)における被写体切り抜き画像P1の被写体領域Psに対応する被写体対応領域Paの中で、頭に相当する部分P3cを、第4基準線分L4に対する直交方向の各走査毎に当該各走査に対応する画素値の代表値でそれぞれ描画する。
このとき、裏面画像生成部306fは、直角四辺形R2内に存する頭に相当する部分の基準線分Lに対する平行方向の長さ、及び、直角四辺形R2の基準線分Lと平行な一の辺の長さのうちの少なくとも一の長さを基準として、裏面画像P3の被写体対応領域Paにおけるヒトの頭に相当する部分P3cの所定位置まで平行方向に描画する。即ち、直角四辺形R2内に存する頭に相当する部分の各走査に係る第4基準線分L4に対する平行方向の長さが、第4基準線分L4の長さに基づいて顎側に設定された境界線Q(図20(b)参照)に到達するか否かに応じて、裏面画像生成部306fは、直角四辺形R2内に存する頭に相当する部分の描画領域を変更する。
例えば、直角四辺形R2内に存する頭に相当する部分における一の走査に係る平行方向の長さが境界線Qに到達しない場合(例えば、図20(b)における左右方向端部側の一の走査に対応)、裏面画像生成部306fは、マスク画像P2(裏面画像P3)における被写体対応領域Paの当該走査方向に沿った領域のうち、頭頂部側の輪郭の位置から当該領域の長さの所定割合となる位置までを代表画素値で描画する。また、直角四辺形R2内に存する頭に相当する部分における一の走査に係る平行方向の長さが境界線Qに到達した場合(例えば、図20(b)における左右方向中央部側の一の走査に対応)、裏面画像生成部306fは、第1頂点F1と第2頂点F2とを結ぶ一の辺から頭頂部側の輪郭までの背景部分の長さT(図20(b)参照)を算出した後、マスク画像P2(裏面画像P3)における被写体対応領域Paの当該走査方向に沿った領域の長さから背景部分の長さTを減じた顎側位置を特定し、当該走査方向に沿った領域のうちの頭頂部側の輪郭の位置から顎側位置までを代表画素値で描画する。
即ち、制御点設定部306gは、画像取得部306aにより取得された被写体切り抜き画像P1の被写体画像内で複数の可動点に対応する各位置に動き制御点を複数設定する。具体的には、制御点設定部306gは、記憶部305から動体モデル(例えば、動物)の動き情報305aを読み出して、被写体切り抜き画像P1の被写体画像内で、当該動き情報305aに規定されている基準フレーム(例えば、1フレーム目等)の複数の可動点の各々に対応する動き制御点を、ユーザによるユーザ端末2の操作入力部202の所定操作に基づいて指定された所望の位置にそれぞれ設定する。また、制御点設定部306gは、被写体切り抜き画像P1の被写体画像内で制御点をそれぞれ設定することで、当該被写体切り抜き画像P1に対応する裏面画像P3内の所定位置に対してもそれぞれ対応する動き制御点を自動的に設定する。
このとき、動体モデルと被写体画像について、例えば、顔などの主要部の大きさを合わせるように寸法の調整(例えば、動体モデルの拡大や縮小、変形等)を行うようにしても良い。また、例えば、動体モデルと被写体画像を重ね合わせて被写体画像における複数の可動点の各々が対応する位置を特定しても良い。
さらに、制御点設定部306gは、動き情報305aに規定されている複数の可動点の全てについて、対応する動き制御点を設定しても良いし、被写体の中央部や各先端部等の代表的な所定数の可動点に対応する動き制御点のみ設定しても良い。
また、制御点設定部306gによる動き制御点の設定が自動的に行われた場合であっても、ユーザによる操作入力部の所定操作に基づいて動き制御点の設定位置の修正(変更)を受け付けるようにしても良い。
即ち、フレーム生成部306hは、動画処理部306により指定された動き情報305aの複数の可動点の動きに追従させるように、被写体切り抜き画像P1の被写体画像内に設定されている複数の動き制御点を移動させて複数のフレーム画像を逐次生成する。具体的には、フレーム生成部306hは、例えば、動き情報305aに従って所定の時間間隔で移動する複数の可動点の座標情報を逐次取得して、当該可動点の各々に対応する各動き制御点の座標を算出する。そして、フレーム生成部306hは、算出された座標に動き制御点を逐次移動させていくとともに、少なくとも一の動き制御点を基準として被写体画像内に設定される所定の画像領域(例えば、三角形や矩形のメッシュ状の領域)を移動させたり変形させることで、基準フレーム画像(図示略)を生成する。
なお、動き制御点を基準とした所定の画像領域を移動させたり変形させる処理は、公知の技術であるので、ここでは詳細な説明を省略する。
具体的には、フレーム生成部306hは、隣合う二つの基準フレーム画像間における、動画再生部306iにより演奏される所定の曲の演奏の進行度合を逐次取得して、当該進行度合に応じて、隣合う二つの基準フレーム画像間で再生される補間フレーム画像を逐次生成する。例えば、フレーム生成部306hは、MIDI規格の演奏情報305bに基づいてテンポの設定情報及び四分音符の分解能(Tickカウント数)を取得して、動画再生部306iにより演奏される所定の曲の演奏の経過時間をTickカウント数に変換する。続けて、フレーム生成部306hは、所定の曲の演奏の経過時間に対応するTickカウント数に基づいて、所定のタイミング(例えば、各小節の一拍目等)に同期させた隣合う二つの基準フレーム画像間における所定の曲の演奏の相対的な進行度合を、例えば百分率で算出する。そして、フレーム生成部306hは、所定の曲の演奏の相対的な進行度合に応じて、当該隣合う二つの基準フレーム画像に対する重み付けを変えて補間フレーム画像を生成する。
なお、補間フレーム画像を生成する処理は、公知の技術であるので、ここでは詳細な説明を省略する。
即ち、動画再生部306iは、ユーザによるユーザ端末2の操作入力部202の所定操作に基づいて指定された演奏情報305bに基づいて所定の曲を自動的に演奏するとともに、当該所定の曲の所定のタイミングで複数のフレーム画像の各々を再生する。具体的には、動画再生部306iは、所定の曲の演奏情報305bのデジタルデータをD/Aコンバータによりアナログデータに変換して当該所定の曲を自動的に演奏させ、このとき、所定のタイミング(例えば、各小節の1拍目や各拍等)に同期させるように隣合う二つの基準フレーム画像を再生するとともに、隣合う二つの基準フレーム画像間における所定の曲の演奏の相対的な進行度合に応じて、当該進行度合に対応する各々の補間フレーム画像を再生する。
なお、動画再生部306iは、動画処理部306により指定された速さで被写体画像に係る複数のフレーム画像を再生しても良い。この場合には、動画再生部306iは、隣合う二つの基準フレーム画像を同期させるタイミングを変化させることで、所定の単位時間内に再生されるフレーム画像の数を変更して被写体画像の動きの速さを可変させる。
ここで、図4及び図5は、動画生成処理に係る動作の一例を示すフローチャートである。
なお、以下の説明にあっては、被写体存在画像の画像データから生成された被写体切り抜き画像P1(図16(a)参照)の画像データがサーバ3の記憶部305に記憶されているものとする。
サーバ3の通信制御部303によって、ユーザ端末2から送信されたアクセス指示が受信されると、中央制御部301のCPUは、動画生成用ページのページデータを通信制御部303により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS2)。
そして、ユーザ端末2の通信制御部206によって、動画生成用ページのページデータが受信されると、表示部203は、当該動画生成用ページのページデータに基づいて、動画生成用ページの画面(図示略)を表示する。
図6に示すように、サーバ3の中央制御部301のCPUは、ユーザ端末2からの指示の内容に応じて処理を分岐させる(ステップS4)。具体的には、中央制御部301のCPUは、ユーザ端末2からの指示が、被写体画像の指定に関する内容の場合(ステップS4;被写体画像の指定)、処理をステップS51に移行させ、また、背景画像の指定に関する内容の場合(ステップS4;背景画像の指定)、処理をステップS61に移行させ、また、動き及び曲の指定に関する内容の場合(ステップS4;動き及び曲の指定)、処理をステップS71に移行させる。
ステップS4にて、ユーザ端末2からの指示が、被写体画像の指定に関する内容の場合(ステップS4;被写体画像の指定)、動画処理部306の画像取得部306aは、記憶部305に記憶されている被写体切り抜き画像P1の画像データの中からユーザにより指定された被写体切り抜き画像P1の画像データを読み出して取得する(ステップS51)。
次に、制御点設定部306gは、取得された被写体切り抜き画像P1の被写体画像内で動き制御点が既に設定されているか否かを判定する(ステップS52)。
なお、被写体切り抜き画像P1のトリミングは、当該被写体切り抜き画像P1の画像データと対応付けられている、例えば、アルファマップやマスク画像P2等の位置情報についても行われる。
その後、動画処理部306は、トリミング後の画像の被写体画像の裏側を擬似的に表す裏面画像P3(図21(a)参照)を生成する裏面画像生成処理を行う(ステップS54;図6参照)。
なお、裏面画像生成処理については後述する。
具体的には、制御点設定部306gは、記憶部305から動体モデル(例えば、動物)の動き情報305aを読み出して、被写体切り抜き画像P1の被写体画像内で、当該動き情報305aに規定されている基準フレーム(例えば、1フレーム目等)の複数の可動点の各々に対応する動き制御点を、ユーザによるユーザ端末2の操作入力部202の所定操作に基づいて指定された所望の位置にそれぞれ設定する。
そして、動画再生部306iは、当該被写体画像に対して設定された複数の動き制御点、並びに被写体画像の合成位置やサイズ等の合成内容を所定の格納手段(例えば、所定のメモリ等)に登録する(ステップS57)。
その後、中央制御部301のCPUは、処理をステップS8に移行させる。ステップS8の処理の内容については、後述する。
ステップS4にて、ユーザ端末2からの指示が、背景画像の指定に関する内容の場合(ステップS4;背景画像の指定)、動画処理部306の動画再生部306iは、ユーザによる操作入力部202の所定操作に基づいて所望の背景画像(他の画像)の画像データを読み出して(ステップS61)、当該背景画像の画像データを動画像の背景として所定の格納手段に登録する(ステップS62)。
具体的には、サーバ3には、ユーザ端末2の表示部203に表示されている動画生成用ページの画面内の複数の画像データの中で、ユーザによる操作入力部202の所定操作に基づいて指定された何れか一の画像データの指定指示が、通信ネットワークN及び通信制御部303を介して入力される。動画再生部306iは、当該指定指示に係る背景画像の画像データを記憶部305から読み出して取得した後(ステップS61)、当該背景画像の画像データを動画像の背景として登録する(ステップS62)。
その後、中央制御部301のCPUは、処理をステップS8に移行させる。ステップS8の処理の内容については、後述する。
ステップS4にて、ユーザ端末2からの指示が、動き及び曲の指定に関する内容の場合(ステップS4;動き及び曲の指定)、動画処理部306は、ユーザによる操作入力部202の所定操作に基づいて動き情報305aや動きの速さを設定する(ステップS71)。
具体的には、サーバ3には、ユーザ端末2の表示部203に表示されている動画生成用ページの画面内の複数の動きモデルのモデル名の中で、ユーザによる操作入力部202の所定操作に基づいて指定された何れか一のモデル名(例えば、フラダンス等)の指定指示が、通信ネットワークN及び通信制御部303を介して入力される。動画処理部306は、記憶部305に記憶されている複数の動き情報305a、…の中で、当該指定指示に係る動きモデルのモデル名と対応付けられている動き情報305aを設定する。なお、動画処理部306は、複数の動き情報305a、…の中で、例えば、デフォルトとして設定されている動き情報305aやユーザにより前回指定された動き情報305aを自動的に指定するようにしても良い。
また、サーバ3には、ユーザ端末2の表示部203に表示されている動画生成用ページの画面内の複数の動きの速さ(例えば、1/2倍、標準(等倍)、2倍等)の中で、ユーザによる操作入力部202の所定操作に基づいて指定された何れか一の速さ(例えば、標準等)の指定指示が、通信ネットワークN及び通信制御部303を介して入力される。動画処理部306は、当該指定指示に係る速さを被写体画像の動きの速さとして設定する。
その後、動画処理部306の動画再生部306iは、設定された動き情報305aや動きの速さを動画像の動きの内容として所定の格納手段に登録する(ステップS72)。
具体的には、サーバ3には、ユーザ端末2の表示部203に表示されている動画生成用ページの画面内の複数の曲名の中で、ユーザによる操作入力部202の所定操作に基づいて指定された何れか一の曲名の指定指示が、通信ネットワークN及び通信制御部303を介して入力される。動画処理部306は、当該指定指示に係る曲名の曲を設定する。
その後、中央制御部301のCPUは、処理をステップS8に移行させる。ステップS8の処理の内容については、後述する。
ここで、動画像の生成が可能な状態でないと判定されると(ステップS8;NO)、中央制御部301のCPUは、処理をステップS4に戻し、ユーザ端末2からの指示の内容に応じて処理を分岐させる(ステップS4)。
一方、動画像の生成が可能な状態であると判定されると(ステップS8;YES)、図4に示すように、中央制御部301のCPUは、処理をステップS10に移行させる。
即ち、ステップS9にて、ユーザ端末2の中央制御部201が、ユーザによる操作入力部202の所定操作に基づいて入力された動画像のプレビュー指示を、通信制御部206により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS9)。
そして、ステップS10にて、サーバ3の中央制御部301のCPUによって、動画像のプレビュー指示が入力されたと判定されると(ステップS10;YES)、動画処理部306の動画再生部306iは、設定済みの曲名に対応する演奏情報305bを動画像とともに自動的に演奏される情報として所定の格納手段に登録する(ステップS11)。
続けて、動画処理部306は、動画再生部306iによる所定の曲の演奏が終了したか否かを判定する(ステップS13)。
ここで、曲の演奏が終了していないと判定されると(ステップS13;NO)、動画処理部306のフレーム生成部306hは、動き情報305aに応じて変形させた被写体画像の基準フレーム画像を生成する(ステップS14)。具体的には、フレーム生成部306hは、格納手段に登録されている動き情報305aに従って所定の時間間隔で移動する複数の可動点の座標情報をそれぞれ取得して、当該可動点の各々に対応する各動き制御点の座標を算出する。そして、フレーム生成部306hは、算出された座標に動き制御点を逐次移動させていくとともに、動き制御点の移動に応じて被写体画像内に設定される所定の画像領域を移動させたり変形させることで、基準フレーム画像を生成する。
また、動画処理部306は、基準フレーム画像と背景画像とを公知の画像合成手法を用いて合成する。具体的には、動画処理部306は、例えば、背景画像の各画素のうち、アルファ値が「0」の画素は透過させ、アルファ値が「1」の画素は基準フレーム画像の対応する画素の画素値で上書きし、さらに、背景画像の各画素のうち、アルファ値が「0<α<1」の画素は1の補数(1−α)を用いて基準フレーム画像の被写体領域Psを切り抜いた画像(背景画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて基準フレーム画像を生成した際に単一背景色とブレンドした値を計算し、当該値を基準フレーム画像から減算し、それを被写体領域Psを切り抜いた画像(背景画像×(1−α))と合成する。
また、動画処理部306は、補間フレーム画像と背景画像とを、上記基準フレーム画像の場合と同様に、公知の画像合成手法を用いて合成する。
次に、動画処理部306は、処理をステップS18に戻し、曲の演奏が終了したか否かを判定する(ステップS13)。
上記の処理は、ステップS13にて、曲の演奏が終了したと判定されるまで(ステップS13;YES)、繰り返し実行される。
そして、曲の演奏が終了したと判定されると(ステップS13;YES)、図5に示すように、中央制御部301のCPUは、処理をステップS4に戻し、ユーザ端末2からの指示の内容に応じて処理を分岐させる(ステップS4)。
具体的には、音出力部204は、演奏情報305bに基づいて曲を自動的に演奏してスピーカから放音するとともに、表示部203は、当該自動的に演奏される曲の所定のタイミングで基準フレーム画像及び補間フレーム画像からなるプレビュー動画を表示画面に表示する。
以下に、動画処理部306による裏面画像生成処理について、図6〜図15を参照して詳細に説明する。
図6は、動作生成処理における裏面画像生成処理に係る動作の一例を示すフローチャートである。
具体的には、骨格情報取得部306bは、画像取得部306aにより取得された、被写体切り抜き画像P1内で被写体領域Psの位置を示すマスク画像P2の画像データに対して、例えば、一画素からなる線画像を生成する細線化処理を施して骨格線画像(図示略)を生成し、当該骨格線画像を骨格情報として取得する。
なお、腕描画処理について後述する。
なお、脚描画処理について後述する。
なお、胴体描画処理について後述する。
なお、頭描画処理について後述する。
ここで、裏面画像P3に対する後処理とは、当該裏面画像P3における線状に描画された模様を目立たなくする処理であり、例えば、当該裏面画像P3の画像データに対してバイラテラルフィルタを適用する処理が挙げられる。これにより、裏面画像P3の色情報が近い領域は周囲の画素値でならされ、色情報の異なる領域同士の画素値は保たれるため、当該後処理後の裏面画像P3d(図21(b)参照)を色のグラデーションがより自然で、視認者に違和感を生じさせ難い表現態様とすることができる。
以下に、腕描画処理について、図7〜図10を参照して詳細に説明する。
図7は、裏面画像生成処理における腕描画処理に係る動作の一例を示すフローチャートである。
以下に、腕領域描画処理について、図8を参照して詳細に説明する。
図8は、腕領域描画処理に係る動作の一例を示すフローチャートである。
ここで、腕領域描画処理は、左右の腕の各々について個別に行われる処理である。以下の説明では、右腕を例示して説明するが、当該右腕に係る処理後に左腕についても同様の処理が行われるようになっている。
次に、第1特定部e1は、右肩骨格点B2から右手首骨格点B6を経て手先側に延在する直線を特定した後、輪郭情報取得部306cにより取得された輪郭情報に基づいて、当該直線と交わる輪郭線上の第1輪郭点C1を特定する(ステップA102)。そして、第1特定部e1は、マスク画像P2にて、右肩骨格点B2と第1輪郭点C1とを結ぶ線分を第1基準線分L1として設定する(ステップA103)。
そして、第1特定部e1は、走査位置が被写体領域Psにおける右腕に相当する部分の一方向の輪郭線上に到達したか否かを判定する(ステップA106)。ここで、走査位置が輪郭線上に到達したと判定されると(ステップA106;YES)、第1特定部e1は、マスク画像P2における当該輪郭線上の点の座標を取得した後、被写体切り抜き画像P1の腕部画像P1a(図17(a)参照)に基づいて、輪郭線上の点の画素値と当該輪郭線上の点に隣接する所定画素数分の各画素の画素値の代表値(例えば、平均値)を算出する(ステップA107)。
そして、第1特定部e1は、走査位置が被写体領域Psにおける右腕に相当する部分の他方向の輪郭線上に到達したか否かを判定する(ステップA109)。ここで、走査位置が輪郭線上に到達したと判定されると(ステップA109;YES)、第1特定部e1は、マスク画像P2における当該輪郭線上の点の座標を取得した後、被写体切り抜き画像P1の腕部画像P1a(図17(a)参照)に基づいて、輪郭線上の点の画素値と当該輪郭線上の点に隣接する所定画素数分の各画素の画素値の代表値(例えば、平均値)を算出する(ステップA110)。
続けて、裏面画像生成部306fは、マスク画像P2(裏面画像P3)における被写体対応領域Paの右腕に相当する部分P3aのうち、第1基準線分L1の当該走査方向に沿った所定数の画素からなる領域を、第1特定部e1により算出された代表画素値で描画する(ステップA112)。
具体的には、第1特定部e1は、今回の走査方向に沿った所定数の画素からなる領域が、前回の走査方向に沿った所定数の画素からなる領域の長さの所定割合の長さよりも長いか否かに応じて、差分が所定値を超えたか否かを判定する。
ここで、走査位置が右肩骨格点B2に到達していないと判定されると(ステップA114;NO)、第1特定部e1は、第1基準線分L1上の走査位置を右肩骨格点B2側に一画素移動させて、当該画素の位置(座標)を指定した後(ステップA115)、処理をステップA105に移行させる。
その後、動画処理部306は、ステップA105以降の処理を、ステップA114にて走査位置が右肩骨格点B2に到達したと判定(ステップA114;YES)されるまで、逐次繰り返し実行する。これにより、マスク画像P2(裏面画像P3)におけるヒトの右腕の腕本体に相当する部分が第1基準線分L1を基準とする各走査毎に描画される。
また、ステップA113にて、差分が所定値を超えたと判定された場合にも(ステップA113;YES)、動画処理部306は、当該腕領域描画処理を終了する。
以下に、手先領域描画処理について、図9及び図10を参照して詳細に説明する。
図9は、手先領域描画処理に係る動作の一例を示すフローチャートである。また、図10は、手先領域描画処理における直角四辺形設定処理係る動作の一例を示すフローチャートである。
ここで、手先領域描画処理は、左右の手の各々について個別に行われる処理である。以下の説明では、右手を例示して説明するが、当該右手に係る処理後に左手についても同様の処理が行われるようになっている。
次に、第1特定部e1は、被写体切り抜き画像P1及びマスク画像P2にて、ヒトの手先に相当する部分(例えば、マスク画像P2におけるP2a1等)の各々を囲む直角四辺形R1を設定する直角四辺形設定処理(図10参照)を行う(ステップA202)。
図10に示すように、第1特定部e1は、右手首骨格点B6から右手先骨格点B8を経て手先側に延在する直線を特定した後、輪郭情報取得部306cにより取得された輪郭情報に基づいて、当該直線と交わる輪郭線上の第2輪郭点C2を特定する(ステップA301)。そして、第1特定部e1は、マスク画像P2にて右手首骨格点B6と第2輪郭点C2とを結ぶ線分を第2基準線分L2として設定する(ステップA302)。
続けて、第1特定部e1は、マスク画像P2の被写体領域の右手先に相当する部分の輪郭線のうち、第2輪郭点C2を含む二つの手首側交点間を走査し、輪郭情報に基づいて、第2基準線分L2に直交する直線と交わり、右手首骨格点B6から最も離れた位置に存する第1交点D1を特定する(ステップA304)。次に、第1特定部e1は、マスク画像P2の被写体領域の右手先に相当する部分の輪郭線のうち、第2輪郭点C2を含む二つの手首側交点間を走査し、輪郭情報に基づいて、第2基準線分L2を挟む平行な二直線の各々と交わり、当該第2基準線分L2に対する直交方向に最も離れた位置に存する第2及び第3交点D2、D3を特定する(ステップA305)。
これにより、直角四辺形設定処理を終了する。
その後、第1特定部e1は、第1頂点F1と第4頂点F4を結ぶ一の辺に直交する方向(例えば、図18(b)における上下方向)に一画素ずつ走査していき、被写体切り抜き画像P1の手先画像P1a1(図18(a)参照)における当該直角四辺形R1内に存する被写体領域Ps(ヒトの手先及び足先に相当する部分)の各画素の画素値を取得する(ステップA204)。
続けて、裏面画像生成部306fは、マスク画像P2(裏面画像P3)における被写体対応領域Paの右手に相当する部分P3a1のうち、当該走査方向に沿った所定数の画素からなる領域を、第1特定部e1により算出された代表画素値で描画する(ステップA207)。
ここで、走査位置が第4頂点F4に到達していないと判定されると(ステップA208;NO)、第1特定部e1は、一の辺上の走査位置を第4頂点F4側に一画素移動させて、当該画素の位置(座標)を指定した後(ステップA209)、処理をステップA204に移行させる。
その後、動画処理部306は、ステップA204以降の処理を、ステップA208にて走査位置が第4頂点F4に到達したと判定(ステップA208;YES)されるまで、逐次繰り返し実行する。これにより、マスク画像P2(裏面画像P3)におけるヒトの右手先に相当する部分P3a1が一の辺を基準とする各走査毎に描画される。
以下に、脚描画処理について、図11を参照して詳細に説明する。
図11は、裏面画像生成処理における脚描画処理に係る動作の一例を示すフローチャートである。
なお、脚描画処理の脚領域描画処理及び足先領域描画処理は、上記した腕描画処理における腕領域描画処理及び手先領域描画処理の各々の各処理と略同様の処理であり、その詳細な説明は省略する。
以下に、胴体描画処理について、図12を参照して詳細に説明する。
図12は、裏面画像生成処理における胴体描画処理に係る動作の一例を示すフローチャートである。
そして、第2特定部e2は、左右の股関節骨格点B9、B10の中点Bmを特定した後、マスク画像P2にて、当該中点Bmと顎骨格点B17とを結ぶ第3基準線分L3を特定する(ステップA602)。続けて、第2特定部e2は、第3基準線分L3の両端部側を当該基準線分Lの延在方向に1割ずつ延長した延長線分L3aを設定する(ステップA603)。
そして、第2特定部e2は、走査位置が被写体領域Psにおける胴体に相当する部分の一方向の輪郭線上に到達したか否かを判定する(ステップA606)。ここで、走査位置が輪郭線上に到達したと判定されると(ステップA606;YES)、第2特定部e2は、マスク画像P2における当該輪郭線上の点の座標を取得した後、被写体切り抜き画像P1の胴体画像P1b(図19(a)参照)に基づいて、輪郭線上の点の画素値と当該輪郭線上の点に隣接する所定画素数分の各画素の画素値の代表値(例えば、平均値)を算出する(ステップA607)。
ここで、走査位置が両腕や両脚の描画済領域Aに到達したと判定されると(ステップA608;YES)、第2特定部e2は、処理をステップA607に移行して、マスク画像P2における描画済領域Aの所定画素手前の画素の座標を取得した後、被写体切り抜き画像P1の胴体画像P1b(図19(a)参照)に基づいて、描画済領域Aの所定画素手前の画素の画素値と当該画素に隣接する所定画素数分の各画素の画素値の代表値(例えば、平均値)を算出する(ステップA607)。
そして、第2特定部e2は、走査位置が被写体領域Psにおける胴体に相当する部分の他方向の輪郭線上に到達したか否かを判定する(ステップA610)。ここで、走査位置が輪郭線上に到達したと判定されると(ステップA610;YES)、第2特定部e2は、マスク画像P2における当該輪郭線上の点の座標を取得した後、被写体切り抜き画像P1の胴体画像P1b(図19(a)参照)に基づいて、輪郭線上の点の画素値と当該輪郭線上の点に隣接する所定画素数分の各画素の画素値の代表値(例えば、平均値)を算出する(ステップA611)。
ここで、走査位置が両腕や両脚の描画済領域Aに到達したと判定されると(ステップA612;YES)、第2特定部e2は、処理をステップA611に移行して、マスク画像P2における描画済領域Aの所定画素手前の画素の座標を取得した後、被写体切り抜き画像P1の胴体画像P1b(図19(a)参照)に基づいて、描画済領域Aの所定画素手前の画素の画素値と当該画素に隣接する所定画素数分の各画素の画素値の代表値(例えば、平均値)を算出する(ステップA611)。
続けて、裏面画像生成部306fは、マスク画像P2(裏面画像P3)における被写体対応領域Paの胴体に相当する部分P3bのうち、延長線分L3aの当該走査方向に沿った所定数の画素からなる領域を、第2特定部e2により算出された代表画素値で描画する(ステップA614)。
具体的には、第2特定部e2は、今回の走査方向に沿った所定数の画素からなる領域が、前回の走査方向に沿った所定数の画素からなる領域の長さの所定割合の長さよりも長いか否かに応じて、差分が所定値を超えたか否かを判定する。
ここで、走査位置が股関節側の端部に到達していないと判定されると(ステップA616;NO)、第2特定部e2は、延長線分L3a上の走査位置を股関節側に一画素移動させて、当該画素の位置(座標)を指定した後(ステップA617)、処理をステップA605に移行させる。
その後、動画処理部306は、ステップA605以降の処理を、ステップA616にて走査位置が股関節側の端部に到達したと判定(ステップA616;YES)されるまで、逐次繰り返し実行する。これにより、マスク画像P2(裏面画像P3)におけるヒトの胴体に相当する部分P3bが延長線分L3aを基準とする各走査毎に描画される。
また、ステップA615にて、差分が所定値を超えたと判定された場合にも(ステップA615;YES)、動画処理部306は、当該胴体描画処理を終了する。
以下に、頭描画処理について、図13〜図15を参照して詳細に説明する。
図13は、裏面画像生成処理における脚描画処理に係る動作の一例を示すフローチャートである。
以下に、第1描画処理について、図14を参照して詳細に説明する。
図14は、第1描画処理に係る動作の一例を示すフローチャートである。
次に、第3特定部e3は、マスク画像P2にて、顎骨格点B17と頭頂部骨格点B18とを結ぶ線分を第4基準線分L4として設定する(ステップA802)。
そして、第3特定部e3は、走査位置が被写体領域Psにおける頭に相当する部分の一方向の輪郭線上に到達したか否かを判定する(ステップA805)。ここで、走査位置が輪郭線上に到達したと判定されると(ステップA805;YES)、第3特定部e3は、マスク画像P2における当該輪郭線上の点の座標を取得した後、被写体切り抜き画像P1の頭部画像P1c(図20(a)参照)に基づいて、輪郭線上の点の画素値と当該輪郭線上の点に隣接する所定画素数分の各画素の画素値の代表値(例えば、平均値)を算出する(ステップA806)。
そして、第3特定部e3は、走査位置が被写体領域Psにおける頭に相当する部分の他方向の輪郭線上に到達したか否かを判定する(ステップA808)。ここで、走査位置が輪郭線上に到達したと判定されると(ステップA808;YES)、第3特定部e3は、マスク画像P2における当該輪郭線上の点の座標を取得した後、被写体切り抜き画像P1の頭部画像P1c(図20(a)参照)に基づいて、輪郭線上の点の画素値と当該輪郭線上の点に隣接する所定画素数分の各画素の画素値の代表値(例えば、平均値)を算出する(ステップA809)。
続けて、裏面画像生成部306fは、マスク画像P2(裏面画像P3)における被写体対応領域Paの頭に相当する部分P3cのうち、第4基準線分L4の当該走査方向に沿った所定数の画素からなる領域を、第3特定部e3により算出された代表画素値で描画する(ステップA811)。
具体的には、第3特定部e3は、今回の走査方向に沿った所定数の画素からなる領域が、前回の走査方向に沿った所定数の画素からなる領域の長さの所定割合の長さよりも長いか否かに応じて、差分が所定値を超えたか否かを判定する。
ここで、走査位置が頭頂部骨格点B18に到達していないと判定されると(ステップA813;NO)、第3特定部e3は、第4基準線分L4上の走査位置を頭頂部骨格点B18側に一画素移動させて、当該画素の位置(座標)を指定した後(ステップA814)、処理をステップA804に移行させる。
その後、動画処理部306は、ステップA804以降の処理を、ステップA813にて走査位置が頭頂部骨格点B18に到達したと判定(ステップA813;YES)されるまで、逐次繰り返し実行する。これにより、マスク画像P2(裏面画像P3)におけるヒトの頭に相当する部分P3cが第4基準線分L4を基準とする各走査毎に描画される。
また、ステップA812にて、差分が所定値を超えたと判定された場合にも(ステップA812;YES)、動画処理部306は、当該第1描画処理を終了する。
以下に、第2描画処理について、図15を参照して詳細に説明する。
図15は、第2描画処理に係る動作の一例を示すフローチャートである。
即ち、第3特定部e3は、輪郭情報に基づいて、マスク画像P2の被写体領域の頭に相当する部分の輪郭線上の点であって、第4基準線分L4に直交し、且つ、顎骨格点B17を通る直線と交わる輪郭線上の二つの顎側交点の座標を取得する。
続けて、第3特定部e3は、マスク画像P2の被写体領域の頭に相当する部分の輪郭線のうち、頭頂部骨格点B18を含む二つの顎側交点間を走査し、輪郭情報に基づいて、第4基準線分L4を挟む平行な二直線の各々と交わり、当該第4基準線分L4に対する直交方向に最も離れた位置に存する第2及び第3交点D2、D3を特定する。
その後、第3特定部e3は、マスク画像P2にて顎骨格点B17及び頭頂部骨格点B18並びに第2及び第3交点D2、D3に接する直角四辺形R2を設定して、当該直角四辺形R2の第1〜第4頂点F1〜F4の各座標を取得する。
これにより、直角四辺形設定処理を終了する。
そして、第3特定部e3は、走査位置が被写体領域Psにおける頭に相当する部分の輪郭線上に到達したか否かを判定する(ステップA905)。ここで、走査位置が輪郭線上に到達したと判定されると(ステップA905;YES)、第3特定部e3は、マスク画像P2における当該輪郭線上の点の座標を取得した後、被写体切り抜き画像P1の頭部画像P1c(図20(a)参照)に基づいて、輪郭線上の点の画素値と当該輪郭線上の点に隣接する走査方向(例えば、図20(b)における下方向)に所定画素数分の各画素の画素値の代表値(例えば、平均値)を算出する(ステップA906)。
ここで、当該走査位置における平行方向の長さが境界線Q上に到達しないと判定されると(ステップA907;NO)、裏面画像生成部306fは、マスク画像P2(裏面画像P3)における被写体対応領域Paの当該走査方向に沿った領域のうち、頭頂部側の輪郭の位置から当該領域の長さの所定割合となる位置までを、第3特定部e3により特定された代表画素値で描画する(ステップA908)。
一方、ステップA907にて、当該走査位置における平行方向の長さが境界線Q上に到達したと判定されると(ステップA907;YES)、裏面画像生成部306fは、第1頂点F1と第2頂点F2とを結ぶ一の辺から頭頂部側の輪郭までの背景部分の長さTを算出した後(ステップA909)、マスク画像P2(裏面画像P3)における被写体対応領域Paの当該走査方向に沿った領域のうち、頭頂部側の輪郭の位置から背景部分の長さTを減じた顎側位置までを、第3特定部e3により特定された代表画素値で描画する(ステップA910)。
ここで、走査位置が第2頂点F2に到達していないと判定されると(ステップA911;NO)、第3特定部e3は、一の辺上の走査位置を第2頂点F2側に一画素移動させて、当該画素の位置(座標)を指定した後(ステップA912)、処理をステップA904に移行させる。
その後、動画処理部306は、ステップA904以降の処理を、ステップA911にて走査位置が第2頂点F2に到達したと判定(ステップA911;YES)されるまで、逐次繰り返し実行する。これにより、マスク画像P2(裏面画像P3)におけるヒトの頭に相当する部分が一の辺を基準とする各走査毎に描画される。
従って、裏面画像P3の被写体対応領域Paを、被写体切り抜き画像P1の被写体領域Psの輪郭部分の色から視認者が想像し易い色で被写体の部位毎に描画することができ、被写体切り抜き画像P1の被写体領域Psに対して裏面画像P3を視認者に違和感を生じさせ難くすることができる。
これにより、静止画像(正面画像)である被写体切り抜き画像P1を所定方向に回転させる場合に、当該静止画像の裏側の表現を裏面画像P3により適正に行うことができる。また、被写体切り抜き画像P1の被写体画像内で動き制御点を設定するだけで、当該被写体切り抜き画像P1に対応する裏面画像P3内の所定位置に対してもそれぞれ対応する動き制御点を自動的に設定することができ、動画像の生成処理をより簡便なものとすることができる。
その後、基準線分Lに対する平行方向の輪郭部分の色情報、即ち、ヒトの頭に相当する部分を囲む直角四辺形R2の基準線分Lに直交する一の辺を基準として基準線分Lに対する平行方向に走査することで各走査毎に取得された当該直角四辺形R2内に存する被写体領域Psの色情報に基づいて特定された、被写体領域Psの各走査に対応する輪郭部分の色情報に基づいて、裏面画像P3の被写体対応領域Paにおけるヒトの頭に相当する部分P3cを平行方向に描画することができる。具体的には、直角四辺形R2内に存する被写体領域Psの基準線分Lに対する平行方向の長さや直角四辺形R2の基準線分Lと平行な一の辺の長さを基準として、裏面画像P3の被写体対応領域Paにおけるヒトの頭に相当する部分P3cの所定位置まで平行方向に描画することができる。
従って、基準線分Lに対する直交方向及び平行方向の各輪郭部分の色を考慮して、裏面画像P3の被写体対応領域Paを、被写体切り抜き画像P1の被写体領域Psの当該基準線分Lに対する直交方向や平行方向の輪郭部分の色から視認者が想像し易い色で描画することができる。つまり、頭頂部側では基準線分Lに対する直交方向の輪郭部分の色を考慮して、例えば、髪の毛の色から視認者が想像し易い色で描画することができる一方で、頭頂部から離れたより顎側の部分では基準線分Lに対する平行方向の輪郭部分の色を考慮して、例えば、耳や首周りの地肌の色から視認者が想像し易い色で描画することができる。
例えば、上記実施形態にあっては、ユーザによるユーザ端末2の所定操作に基づいて、Webサーバとして機能するサーバ(画像生成装置)3によって動画像を生成するようにしたが、一例であってこれに限られるものではなく、画像生成装置の構成は適宜任意に変更可能である。即ち、裏面画像P3の生成に係る動画処理部306の機能をソフトウェアにより実現される構成として、ユーザ端末2にインストールすることで通信ネットワークNを必要とすることなく、当該ユーザ端末2単体で動画生成処理を行うようにしても良い。
また、裏面画像生成処理を、腕描画処理、脚描画処理、胴体描画処理、頭描画処理の順に行うようにしたが、当該各処理の順序は一例であってこれに限られるものではなく、適宜任意に変更可能である。
また、頭描画処理を、第1描画処理、第2描画処理の順に行うようにしたが、当該各処理の順序は一例であってこれに限られるものではなく、適宜任意に変更可能である。即ち、例えば、頭に帽子を被ったヒトに係る被写体切り抜き画像P1の場合等には、マスク画像P2における被写体対応領域Paにおける直角四辺形R2内に存する頭に相当する部分を平行方向に描画する第2描画処理の後に、基準線分Lに対する直交方向に描画する第1描画処理を行うようにしても良い。さらに、第1描画処理と第2描画処理の処理順序を入れ替えた裏面画像P3を二つ生成して、ユーザに何れか一方の裏面画像P3を選択させるような構成としても良い。
なお、被写体切り抜き画像P1や動画像のデータには、ユーザによる所定の改変を禁止する制御情報を埋め込むようにしても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、第1取得処理ルーチン、第2取得処理ルーチン、特定処理ルーチン、生成処理ルーチンを含むプログラムを記憶しておく。そして、第1取得処理ルーチンにより中央制御部301のCPUを、被写体領域Psが含まれる被写体画像を取得する第1取得手段として機能させるようにしても良い。また、第2取得処理ルーチンにより中央制御部301のCPUを、第1取得手段により取得された被写体画像の被写体の骨格に係る骨格情報を取得する第2取得手段として機能させるようにしても良い。また、特定処理ルーチンにより中央制御部301のCPUを、第2取得手段により取得された骨格情報に基づいて、被写体領域Psの輪郭部分の色情報を特定する特定手段として機能させるようにしても良い。また、生成処理ルーチンにより中央制御部301のCPUを、特定手段により特定された被写体領域Psの輪郭部分の色情報に基づいて、裏面画像P3の被写体対応領域Paを被写体の部位毎にそれぞれ描画して当該裏面画像P3を生成する生成手段として機能させるようにしても良い。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
<請求項1>
被写体の裏側を擬似的に表す裏面画像を生成する画像生成方法であって、
被写体領域が含まれる被写体画像を取得する第1取得ステップと、
この第1取得ステップにより取得された被写体画像の被写体の骨格に係る骨格情報を取得する第2取得ステップと、
この第2取得ステップにより取得された前記骨格情報に基づいて、前記被写体領域の輪郭部分の色情報を特定する特定ステップと、
この特定ステップにより特定された前記被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域を前記被写体の部位毎にそれぞれ描画して当該裏面画像を生成する生成ステップと、
を含むことを特徴とする画像生成方法。
<請求項2>
前記第2取得ステップにより取得された前記骨格情報に基づいて、前記被写体画像の前記被写体領域内で骨格と関連付けられた骨格点を設定する設定ステップを更に含み、
前記特定ステップは、
前記設定ステップにより設定された骨格点を通る基準線分を基準として、前記被写体領域の輪郭部分の色情報を特定することを特徴とする請求項1に記載の画像生成方法。
<請求項3>
前記生成ステップは、更に、
前記裏面画像の前記被写体対応領域を当該被写体の前記基準線分が含まれる部位毎にそれぞれ描画することを特徴とする請求項2に記載の画像生成方法。
<請求項4>
前記特定ステップは、更に、
前記被写体領域における前記基準線分に対する直交方向及び平行方向のうちの少なくとも一の方向の輪郭部分の色情報を特定することを特徴とする請求項2又は3に記載の画像生成方法。
<請求項5>
前記特定ステップは、
前記被写体領域の手先及び足先に相当する部分の各々の先端側に設定された一の骨格点と当該一の骨格点に隣接する他の骨格点とを通る基準線分に対して平行な2つの辺及び前記基準線分に対して直交する2つの辺を有し、前記手先及び足先に相当する部分の各々を囲む直角四辺形を設定するステップと、
設定された前記直角四辺形の前記基準線分と平行な一の辺を基準として当該基準線分に対する直交方向に走査して、当該直角四辺形内に存する前記被写体領域の色情報を各走査毎に取得するステップとを更に有し、
各走査毎に取得された前記直角四辺形内に存する前記被写体領域の色情報に基づいて、前記被写体領域の各走査に対応する輪郭部分の色情報をそれぞれ特定することを特徴とする請求項2〜4の何れか一項に記載の画像生成方法。
<請求項6>
前記生成ステップは、更に、
前記特定ステップにより特定された前記直角四辺形内に存する前記被写体領域の各走査に対応する輪郭部分の色情報に基づいて、前記裏面画像の前記被写体対応領域における手先及び足先に相当する部分を各走査毎にそれぞれ描画することを特徴とする請求項5に記載の画像生成方法。
<請求項7>
前記特定ステップは、
前記被写体領域の胴体に相当する部分に設定された一の骨格点を通り、脊椎にほぼ沿って延在する基準線分の少なくとも一の端部側を当該基準線分の延在方向に所定の割合延長した延長線分を設定するステップと、
設定された前記延長線分を基準として当該延長線分に対する直交方向に走査して、前記被写体領域の色情報を各走査毎に取得するステップとを更に有し、
各走査毎に取得された前記被写体領域の色情報に基づいて、前記被写体領域の各走査に対応する輪郭部分の色情報をそれぞれ特定することを特徴とする請求項2〜4の何れか一項に記載の画像生成方法。
<請求項8>
前記特定ステップは、更に、
前記延長線分を基準として当該延長線分に対する直交方向に走査して、前記延長線分を前記直交方向に挟み、前記被写体領域の輪郭の各々と交わる二点、或いは、前記被写体領域の前記胴体に隣接する両腕及び両脚の各々と交わる二点を各走査毎に特定するステップを有し、
各走査毎に特定された前記二点を基準として、前記被写体領域の二つの輪郭部分の色情報を各走査毎に取得することを特徴とする請求項7に記載の画像生成方法。
<請求項9>
前記被写体領域の胴体に相当する部分に係る前記特定ステップは、前記裏面画像の前記被写体対応領域における前記両腕及び前記両脚に相当する部分の描画に係る前記生成ステップの後に行われることを特徴とする請求項7又は8に記載の画像生成方法。
<請求項10>
前記生成ステップは、更に、
前記特定ステップにより特定された前記被写体領域の各走査に対応する輪郭部分の色情報に基づいて、前記裏面画像の前記被写体対応領域における胴体に相当する部分を各走査毎にそれぞれ描画することを特徴とする請求項7〜9の何れか一項に記載の画像生成方法。
<請求項11>
前記生成ステップは、
前記特定ステップにより特定された、前記被写体領域の頭に相当する部分の先端側に設定された一の骨格点と当該一の骨格点に隣接する他の骨格点とを通る基準線分に対する直交方向の輪郭部分の色情報に基づいて、前記裏面画像の前記被写体対応領域における頭に相当する部分を前記直交方向に描画するステップと、
前記特定ステップにより特定された、前記基準線分に対する平行方向の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域における頭に相当する部分を前記平行方向に描画するステップとを更に有することを特徴とする請求項2〜4の何れか一項に記載の画像生成方法。
<請求項12>
前記特定ステップは、
前記基準線分を基準として当該基準線分に対する直交方向に走査して、前記被写体領域の色情報を各走査毎に取得するステップを更に有し、
各走査毎に取得された前記被写体領域の色情報に基づいて、前記被写体領域の各走査に対応する輪郭部分の色情報をそれぞれ特定することを特徴とする請求項11に記載の画像生成方法。
<請求項13>
前記特定ステップは、
前記基準線分に対して平行な2つの辺及び前記基準線分に対して直交する2つの辺を有し、前記頭に相当する部分を囲む直角四辺形を設定するステップと、
設定された前記直角四辺形の前記基準線分に直交する一の辺を基準として前記基準線分に対する平行方向に走査して、当該直角四辺形内に存する前記被写体領域の色情報を各走査毎に取得するステップとを更に有し、
各走査毎に取得された前記被写体領域の色情報に基づいて、前記被写体領域の各走査に対応する輪郭部分の色情報をそれぞれ特定することを特徴とする請求項11に記載の画像生成方法。
<請求項14>
前記生成ステップは、更に、
前記直角四辺形内に存する前記被写体領域の前記基準線分に対する平行方向の長さ、及び、前記直角四辺形の前記基準線分と平行な一の辺の長さのうちの少なくとも一の長さを基準として、前記裏面画像の前記被写体対応領域における頭に相当する部分の所定位置まで前記平行方向に描画することを特徴とする請求項11〜13の何れか一項に記載の画像生成方法。
<請求項15>
前記第1取得ステップは、背景と被写体とが存在する画像から被写体が含まれる被写体領域を切り抜いた画像を前記被写体画像として取得することを特徴とする請求項1〜14の何れか一項に記載の画像生成方法。
<請求項16>
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置であって、
被写体領域が含まれる被写体画像を取得する第1取得手段と、
この第1取得手段により取得された被写体画像の被写体の骨格に係る骨格情報を取得する第2取得手段と、
この第2取得手段により取得された前記骨格情報に基づいて、前記被写体領域の輪郭部分の色情報を特定する特定手段と、
この特定手段により特定された前記被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域を前記被写体の部位毎にそれぞれ描画して当該裏面画像を生成する生成手段と、
を備えたことを特徴とする画像生成装置。
<請求項17>
被写体の裏側を擬似的に表す裏面画像を生成する画像生成装置のコンピュータを、
被写体領域が含まれる被写体画像を取得する第1取得手段、
この第1取得手段により取得された被写体画像の被写体の骨格に係る骨格情報を取得する第2取得手段、
この第2取得手段により取得された前記骨格情報に基づいて、前記被写体領域の輪郭部分の色情報を特定する特定手段、
この特定手段により特定された前記被写体領域の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域を前記被写体の部位毎にそれぞれ描画して当該裏面画像を生成する生成手段、
として機能させることを特徴とするプログラム。
1 撮像装置
2 ユーザ端末
3 サーバ
301 中央制御部
306 動画処理部
306a 画像取得部
306b 骨格情報取得部
306d 骨格点設定部
306e 色特定部
e1 第1特定部
e2 第2特定部
e3 第3特定部
306f 裏面画像生成部
Claims (17)
- 画像生成装置のコンピュータが、
被写体領域が含まれる被写体画像を取得する第1取得ステップと、
この第1取得ステップにより取得された被写体画像の被写体の骨格に係る骨格情報を取得する第2取得ステップと、
この第2取得ステップにより取得された前記骨格情報に基づいて、前記被写体領域の輪郭部分の色情報を特定する特定ステップと、
この特定ステップにより特定された前記被写体領域の輪郭部分の色情報に基づいて、前記被写体の裏側を擬似的に表す裏面画像の被写体対応領域を描画して当該裏面画像を生成する生成ステップと、
を実行することを特徴とする画像生成方法。 - 前記第2取得ステップにより取得された前記骨格情報に基づいて、前記被写体画像の前記被写体領域内で骨格と関連付けられた骨格点を設定する設定ステップを更に含み、
前記特定ステップは、
前記設定ステップにより設定された骨格点を通る基準線分を基準として、前記被写体領域の輪郭部分の色情報を特定することを特徴とする請求項1に記載の画像生成方法。 - 前記生成ステップは、更に、
前記裏面画像の前記被写体対応領域を当該被写体の前記基準線分が含まれる部位毎にそれぞれ描画することを特徴とする請求項2に記載の画像生成方法。 - 前記特定ステップは、更に、
前記被写体領域における前記基準線分に対する直交方向及び平行方向のうちの少なくとも一の方向の輪郭部分の色情報を特定することを特徴とする請求項2又は3に記載の画像生成方法。 - 前記特定ステップは、
前記被写体領域の手先及び足先に相当する部分の各々の先端側に設定された一の骨格点と当該一の骨格点に隣接する他の骨格点とを通る基準線分に対して平行な2つの辺及び前記基準線分に対して直交する2つの辺を有し、前記手先及び足先に相当する部分の各々を囲む直角四辺形を設定するステップと、
設定された前記直角四辺形の前記基準線分と平行な一の辺を基準として当該基準線分に対する直交方向に走査して、当該直角四辺形内に存する前記被写体領域の色情報を各走査毎に取得するステップとを更に有し、
各走査毎に取得された前記直角四辺形内に存する前記被写体領域の色情報に基づいて、前記被写体領域の各走査に対応する輪郭部分の色情報をそれぞれ特定することを特徴とする請求項2〜4の何れか一項に記載の画像生成方法。 - 前記生成ステップは、更に、
前記特定ステップにより特定された前記直角四辺形内に存する前記被写体領域の各走査に対応する輪郭部分の色情報に基づいて、前記裏面画像の前記被写体対応領域における手先及び足先に相当する部分を各走査毎にそれぞれ描画することを特徴とする請求項5に記載の画像生成方法。 - 前記特定ステップは、
前記被写体領域の胴体に相当する部分に設定された一の骨格点を通り、脊椎に沿って延在する基準線分の少なくとも一の端部側を当該基準線分の延在方向に所定の割合延長した延長線分を設定するステップと、
設定された前記延長線分を基準として当該延長線分に対する直交方向に走査して、前記被写体領域の色情報を各走査毎に取得するステップとを更に有し、
各走査毎に取得された前記被写体領域の色情報に基づいて、前記被写体領域の各走査に対応する輪郭部分の色情報をそれぞれ特定することを特徴とする請求項2〜4の何れか一項に記載の画像生成方法。 - 前記特定ステップは、更に、
前記延長線分を基準として当該延長線分に対する直交方向に走査して、前記延長線分を前記直交方向に挟み、前記被写体領域の輪郭の各々と交わる二点、或いは、前記被写体領域の前記胴体に隣接する両腕及び両脚の各々と交わる二点を各走査毎に特定するステップを有し、
各走査毎に特定された前記二点を基準として、前記被写体領域の二つの輪郭部分の色情報を各走査毎に取得することを特徴とする請求項7に記載の画像生成方法。 - 前記被写体領域の胴体に相当する部分に係る前記特定ステップは、前記裏面画像の前記被写体対応領域における両腕及び両脚に相当する部分の描画に係る前記生成ステップの後に行われることを特徴とする請求項7に記載の画像生成方法。
- 前記生成ステップは、更に、
前記特定ステップにより特定された前記被写体領域の各走査に対応する輪郭部分の色情報に基づいて、前記裏面画像の前記被写体対応領域における胴体に相当する部分を各走査毎にそれぞれ描画することを特徴とする請求項7〜9の何れか一項に記載の画像生成方法。 - 前記生成ステップは、
前記特定ステップにより特定された、前記被写体領域の頭に相当する部分の先端側に設定された一の骨格点と当該一の骨格点に隣接する他の骨格点とを通る基準線分に対する直交方向の輪郭部分の色情報に基づいて、前記裏面画像の前記被写体対応領域における頭に相当する部分を前記直交方向に描画するステップと、
前記特定ステップにより特定された、前記基準線分に対する平行方向の輪郭部分の色情報に基づいて、前記裏面画像の被写体対応領域における頭に相当する部分を前記平行方向に描画するステップとを更に有することを特徴とする請求項2〜4の何れか一項に記載の画像生成方法。 - 前記特定ステップは、
前記基準線分を基準として当該基準線分に対する直交方向に走査して、前記被写体領域の色情報を各走査毎に取得するステップを更に有し、
各走査毎に取得された前記被写体領域の色情報に基づいて、前記被写体領域の各走査に対応する輪郭部分の色情報をそれぞれ特定することを特徴とする請求項11に記載の画像生成方法。 - 前記特定ステップは、
前記基準線分に対して平行な2つの辺及び前記基準線分に対して直交する2つの辺を有し、前記頭に相当する部分を囲む直角四辺形を設定するステップと、
設定された前記直角四辺形の前記基準線分に直交する一の辺を基準として前記基準線分に対する平行方向に走査して、当該直角四辺形内に存する前記被写体領域の色情報を各走査毎に取得するステップとを更に有し、
各走査毎に取得された前記被写体領域の色情報に基づいて、前記被写体領域の各走査に対応する輪郭部分の色情報をそれぞれ特定することを特徴とする請求項11に記載の画像生成方法。 - 前記生成ステップは、更に、
直角四辺形内に存する前記被写体領域の前記基準線分に対する平行方向の長さ、及び、前記直角四辺形の前記基準線分と平行な一の辺の長さのうちの少なくとも一の長さを基準として、前記裏面画像の前記被写体対応領域における頭に相当する部分の所定位置まで前記平行方向に描画することを特徴とする請求項11又は12に記載の画像生成方法。 - 前記第1取得ステップは、背景と被写体とが存在する画像から被写体が含まれる被写体領域を切り抜いた画像を前記被写体画像として取得することを特徴とする請求項1〜14の何れか一項に記載の画像生成方法。
- 被写体領域が含まれる被写体画像を取得する第1取得手段と、
この第1取得手段により取得された被写体画像の被写体の骨格に係る骨格情報を取得する第2取得手段と、
この第2取得手段により取得された前記骨格情報に基づいて、前記被写体領域の輪郭部分の色情報を特定する特定手段と、
この特定手段により特定された前記被写体領域の輪郭部分の色情報に基づいて、前記被写体の裏側を擬似的に表す裏面画像の被写体対応領域を描画して当該裏面画像を生成する生成手段と、
を備えたことを特徴とする画像生成装置。 - 画像生成装置のコンピュータに、
被写体領域が含まれる被写体画像を取得する第1取得機能、
この第1取得機能により取得された被写体画像の被写体の骨格に係る骨格情報を取得する第2取得機能、
この第2取得機能により取得された前記骨格情報に基づいて、前記被写体領域の輪郭部分の色情報を特定する特定機能、
この特定機能により特定された前記被写体領域の輪郭部分の色情報に基づいて、前記被写体の裏側を擬似的に表す裏面画像の被写体対応領域を描画して当該裏面画像を生成する生成機能、
を実現させることを特徴とするプログラム。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011183636A JP5408206B2 (ja) | 2011-08-25 | 2011-08-25 | 画像生成方法、画像生成装置及びプログラム |
CN201210300972.3A CN103150743B (zh) | 2011-08-25 | 2012-08-22 | 图像生成方法以及图像生成装置 |
US13/592,175 US9299180B2 (en) | 2011-08-25 | 2012-08-22 | Image creation method, image creation apparatus and recording medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011183636A JP5408206B2 (ja) | 2011-08-25 | 2011-08-25 | 画像生成方法、画像生成装置及びプログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2013045340A JP2013045340A (ja) | 2013-03-04 |
JP2013045340A5 JP2013045340A5 (ja) | 2013-04-11 |
JP5408206B2 true JP5408206B2 (ja) | 2014-02-05 |
Family
ID=47743016
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011183636A Expired - Fee Related JP5408206B2 (ja) | 2011-08-25 | 2011-08-25 | 画像生成方法、画像生成装置及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9299180B2 (ja) |
JP (1) | JP5408206B2 (ja) |
CN (1) | CN103150743B (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6262105B2 (ja) * | 2014-09-04 | 2018-01-17 | 株式会社東芝 | 画像処理装置、画像処理システム、画像処理方法及びプログラム |
TWI643043B (zh) * | 2017-06-16 | 2018-12-01 | 東元電機股份有限公司 | 控制命令產生方法及其裝置 |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005322097A (ja) * | 2004-05-11 | 2005-11-17 | Nippon Telegr & Teleph Corp <Ntt> | 対象物像モデルのアニメーション表示装置、対象物像モデルのアニメーション表示方法および対象物像モデルのアニメーション表示プログラム |
JP4613313B2 (ja) | 2005-04-01 | 2011-01-19 | 国立大学法人 東京大学 | 画像処理システムおよび画像処理プログラム |
JP2007004732A (ja) * | 2005-06-27 | 2007-01-11 | Matsushita Electric Ind Co Ltd | 画像生成装置及び画像生成方法 |
CN101515374B (zh) * | 2008-02-20 | 2010-12-01 | 中国科学院自动化研究所 | 基于图像的个性化真实感虚拟人物造型方法 |
WO2011045768A2 (en) | 2009-10-15 | 2011-04-21 | Yeda Research And Development Co. Ltd. | Animation of photo-images via fitting of combined models |
-
2011
- 2011-08-25 JP JP2011183636A patent/JP5408206B2/ja not_active Expired - Fee Related
-
2012
- 2012-08-22 US US13/592,175 patent/US9299180B2/en not_active Expired - Fee Related
- 2012-08-22 CN CN201210300972.3A patent/CN103150743B/zh not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2013045340A (ja) | 2013-03-04 |
US9299180B2 (en) | 2016-03-29 |
CN103150743B (zh) | 2016-04-13 |
US20130050241A1 (en) | 2013-02-28 |
CN103150743A (zh) | 2013-06-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6785282B2 (ja) | アバタによる生放送方法及び装置 | |
JP5434965B2 (ja) | 動画生成方法、動画生成装置及びプログラム | |
CN107430781B (zh) | 计算机图形的数据结构、信息处理装置、信息处理方法以及信息处理系统 | |
JP5375897B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP5408205B2 (ja) | 制御点設定方法、制御点設定装置及びプログラム | |
JP5454604B2 (ja) | 動画再生方法、動画再生装置及びプログラム | |
EP1031945A2 (en) | Animation creation apparatus and method | |
JP6431259B2 (ja) | カラオケ装置、ダンス採点方法、およびプログラム | |
JP5408206B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
KR102009400B1 (ko) | 실감형 영상 콘텐츠 제공 방법 및 이를 이용한 서버 | |
US11055892B1 (en) | Systems and methods for generating a skull surface for computer animation | |
US5986660A (en) | Motion capture data system and display | |
JP6313003B2 (ja) | カラオケ装置、画像出力方法、およびプログラム | |
JP2007026387A (ja) | アルバム画像作成装置、及びアルバム画像作成プログラム | |
JP5776442B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP5874426B2 (ja) | 制御点設定方法、制御点設定装置及びプログラム | |
JP5906897B2 (ja) | 動き情報生成方法、動き情報生成装置及びプログラム | |
JP6553987B2 (ja) | ゲームプログラム及び記録媒体 | |
JP2723070B2 (ja) | 人物像表示によるユーザインタフェース装置 | |
JP5919926B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP5951697B2 (ja) | データ生成システム、それに用いられる制御方法及びコンピュータプログラム | |
JP4903115B2 (ja) | 画像生成装置及びそのプログラム | |
JP5891883B2 (ja) | 画像生成方法、画像生成装置及びプログラム | |
JP2020095465A (ja) | 画像処理装置、画像処理方法、及び、プログラム | |
JPH11143462A (ja) | 音響生成方法および音響生成装置および記録媒体 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130206 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130206 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130604 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130611 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130723 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20131008 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20131021 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5408206 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |