JP5454604B2 - 動画再生方法、動画再生装置及びプログラム - Google Patents

動画再生方法、動画再生装置及びプログラム Download PDF

Info

Publication number
JP5454604B2
JP5454604B2 JP2012064053A JP2012064053A JP5454604B2 JP 5454604 B2 JP5454604 B2 JP 5454604B2 JP 2012064053 A JP2012064053 A JP 2012064053A JP 2012064053 A JP2012064053 A JP 2012064053A JP 5454604 B2 JP5454604 B2 JP 5454604B2
Authority
JP
Japan
Prior art keywords
moving image
character string
image
scroll
display
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2012064053A
Other languages
English (en)
Other versions
JP2013197981A (ja
Inventor
山本  幸司
信裕 青木
芳治 北條
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012064053A priority Critical patent/JP5454604B2/ja
Priority to CN201310085404.0A priority patent/CN103325131B/zh
Priority to US13/845,421 priority patent/US8818163B2/en
Publication of JP2013197981A publication Critical patent/JP2013197981A/ja
Application granted granted Critical
Publication of JP5454604B2 publication Critical patent/JP5454604B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals
    • H04N9/8715Regeneration of colour television signals involving the mixing of the reproduced video signal with a non-recorded signal, e.g. a text signal
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Processing Or Creating Images (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、動画再生方法、動画再生装置及びプログラムに関する。
従来、動画像に対して付箋の如く任意に付加したコメント等の文字列を、当該動画像の再生時にスクロール表示させる技術が知られている(例えば、特許文献1参照)。
特開2008−305104号公報
しかしながら、上記特許文献1の場合、動画像に付加した文字列は、当該動画像の再生態様や文字列自身の表示態様等に拘わることなく、一定の速さでスクロール表示されるのみである。このため、動画像の再生態様と文字列の表示態様とがかけ離れた違和感のあるものが再生されてしまう虞がある。
本発明は、このような問題に鑑みてなされたものであり、本発明の課題は、動画像の再生態様と文字列の表示態様との親和性の向上を図ることができる動画再生方法、動画再生装置及びプログラムを提供することである。
上記課題を解決するため、本発明の動画再生方法は、
表示手段に再生表示する動画再生方法であって、第1画像を取得する第1画像取得ステップと、第2画像を取得する第2画像取得ステップと、前記第2画像を背景画像とし、前記第1画像を前記背景画像内での位置が変化する前景画像として合成された動画像を取得する動画像取得ステップと、前記動画像取得ステップにて取得される動画像に重畳して所定方向にスクロール表示される文字列を取得する文字列取得ステップと、スクロール内容を設定するスクロール内容設定ステップと、前記文字列取得ステップにて取得された文字列の前記所定方向の長さと、前記動画像取得ステップにて取得された動画像における前記前景画像の位置変化に要する時間と、前記スクロール内容設定ステップにて設定されたスクロール内容とに基づいて、前記文字列をスクロール表示させる表示態様を制御する制御ステップと、を含むことを特徴としている。
また、本発明の動画再生装置は、
表示手段に再生表示する動画再生方法であって、第1画像を取得する第1画像取得手段と、第2画像を取得する第2画像取得手段と、前記第2画像を背景画像とし、前記第1画像を前記背景画像内での位置が変化する前景画像として合成された動画像を取得する動画像取得手段と、前記動画像取得手段にて取得される動画像に重畳して所定方向にスクロール表示される文字列を取得する文字列取得手段と、スクロール内容を設定するスクロール内容設定手段と、前記文字列取得手段にて取得された文字列の前記所定方向の長さと、前記動画像取得手段にて取得された動画像における前記前景画像の位置変化に要する時間と、前記スクロール内容設定手段にて設定されたスクロール内容とに基づいて、前記文字列をスクロール表示させる表示態様を制御する制御手段と、を備えたことを特徴としている。
また、本発明のプログラムは、
表示手段に再生表示する動画再生装置のコンピュータを、第1画像を取得する第1画像取得手段、第2画像を取得する第2画像取得手段、前記第2画像を背景画像とし、前記第1画像を前記背景画像内での位置が変化する前景画像として合成された動画像を取得する動画像取得手段、前記動画像取得手段にて取得される動画像に重畳して所定方向にスクロール表示される文字列を取得する文字列取得手段、スクロール内容を設定するスクロール内容設定手段、前記文字列取得手段にて取得された文字列の前記所定方向の長さと、前記動画像取得手段にて取得された動画像における前記前景画像の位置変化に要する時間と、前記スクロール内容設定手段にて設定されたスクロール内容とに基づいて、前記文字列をスクロール表示させる表示態様を制御する制御手段、として機能させることを特徴としている。
本発明によれば、動画像の再生態様と文字列の表示態様との親和性の向上を図ることができる。
本発明を適用した一実施形態の動画再生システムの概略構成を示すブロック図である。 動画再生システムを構成するユーザ端末の概略構成を示すブロック図である。 動画再生システムを構成するサーバの概略構成を示すブロック図である。 動画再生システムによる動画再生処理に係る動作の一例を示すフローチャートである。 図4の動画再生処理の続きを示すフローチャートである。 図4の動画再生処理に係る画像の一例を模式的に示す図である。 図4の動画再生処理を説明するための図である。 図4の動画再生処理を説明するための図である。 本発明を適用した他の実施形態における動画再生システムを構成するサーバの概略構成を示すブロック図である。
以下に、本発明について、図面を用いて具体的な態様を説明する。ただし、発明の範囲は、図示例に限定されない。
図1は、本発明を適用した一実施形態の動画再生システム100の概略構成を示すブロック図である。
本実施形態の動画再生システム100は、図1に示すように、撮像装置1と、ユーザ端末2と、サーバ3とを備え、ユーザ端末2とサーバ3とが所定の通信ネットワークNを介して各種情報を送受信可能に接続されている。
撮像装置1は、被写体を撮像する撮像機能や撮像画像の画像データを記録媒体Cに記録する記録機能等を具備する。即ち、撮像装置1は、公知のものを適用可能であり、例えば、主要な機能を撮像機能とするデジタルカメラ等だけでなく、主要な機能としないものの撮像機能を具備する携帯電話機等も含む。
次に、ユーザ端末2について図2を参照して説明する。
ユーザ端末2は、例えば、パーソナルコンピュータ等により構成され、サーバ3により開設されるWebページ(例えば、動画再生用ページ)にアクセスして、当該Webページ上で各種の指示を入力する。
図2は、ユーザ端末2の概略構成を示すブロック図である。
図2に示すように、ユーザ端末2は、具体的には、中央制御部201と、通信制御部202と、表示部203と、音出力部204と、記録媒体制御部205と、操作入力部206等を備えている。
中央制御部201は、ユーザ端末2の各部を制御するものである。具体的には、中央制御部201は、CPU、RAM、ROM(何れも図示略)を備え、ROMに記憶されたユーザ端末2用の各種処理プログラム(図示略)に従って各種の制御動作を行う。その際に、CPUは、RAM内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部203に表示させる。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、ユーザ端末2で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
通信制御部202は、例えば、モデム(MODEM:Modulater/DEModulater)、ターミナルアダプタ(Terminal Adapter)等によって構成され、所定の通信ネットワークNを介してサーバ3等の外部機器との間で情報の通信制御を行うためのものである。
なお、通信ネットワークNは、例えば、専用線や既存の一般公衆回線を利用して構築された通信ネットワークであり、LAN(Local Area Network)やWAN(Wide Area Network)等の様々な回線形態を適用することが可能である。また、通信ネットワークNには、例えば、電話回線網、ISDN回線網、専用線、移動体通信網、通信衛星回線、CATV回線網等の各種通信回線網と、それらを接続するインターネットサービスプロバイダ等が含まれる。
表示部203は、例えば、LCD、CRT(Cathode Ray Tube)等のディスプレイから構成され、中央制御部201のCPUの制御下にて各種情報を表示画面に表示する。
即ち、表示部203は、例えば、サーバ3から送信され通信制御部202により受信されたWebページ(例えば、動画再生用ページ)のページデータに基づいて、対応するWebページを表示画面に表示する。具体的には、表示部203は、後述する動画再生処理に係る各種の処理画面の画像データや動画再生処理に係るコメント付き動画像Kの動画データに基づいて、各種の処理画面(図示略)やコメント付き動画像K(図8(a)〜図8(d)参照)を表示画面に表示する。
音出力部204は、例えば、D/Aコンバータ、LPF(Low Pass Filter)、増幅器、スピーカ等により構成され、中央制御部201のCPUの制御下にて放音する。
即ち、音出力部204は、例えば、サーバ3から送信され通信制御部202により受信された演奏情報に基づいて、当該演奏情報のデジタルデータをD/Aコンバータによりアナログデータに変換し、増幅器を介してスピーカから、所定の音色、音高、音長で曲を放音する。また、音出力部204は、一の音源(例えば、楽器)の音を放音しても良いし、複数の音源の音を同時に放音しても良い。
記録媒体制御部205は、記録媒体Cが着脱自在に構成され、装着された記録媒体Cからのデータの読み出しや記録媒体Cに対するデータの書き込みを制御する。即ち、記録媒体制御部205は、撮像装置1から取り外されて装着された記録媒体Cから動画再生処理(後述)に係る前景画像としての被写体存在画像の画像データを読み出して通信制御部202に出力する。このとき、記録媒体Cから動画再生処理に係る背景画像の画像データを読み出して通信制御部202に出力するようにしても良い。
ここで、被写体存在画像とは、後述する動画像Qを生成する際に前景画像として用いられ、所定の背景内に主要な被写体が存在する画像のことである。また、記録媒体Cには、少なくとも撮像装置1の画像処理部(図示略)により所定の符号化形式(例えば、JPEG形式等)に従って符号化された被写体存在画像の画像データが記録されている。
そして、通信制御部202は、入力された被写体存在画像の画像データや必要に応じて背景画像の画像データをサーバ3に所定の通信ネットワークNを介して送信する。
操作入力部206は、例えば、数値、文字等を入力するためのデータ入力キーや、データの選択、送り操作等を行うための上下左右移動キーや各種機能キー等によって構成されるキーボードやマウス等を備え、ユーザにより押下されたキーの押下信号やマウスの操作信号を中央制御部201のCPUに出力する。
そして、通信制御部202は、後述する動画像Qに重畳してスクロール表示させるコメント等の文字列Wを付加する場合に、操作入力部206を介して入力された文字列Wの文字列データをサーバ3に所定の通信ネットワークNを介して送信する。
なお、操作入力部206としてタッチパネル(図示略)を表示部203の表示画面に配設して、タッチパネルの接触位置に応じて各種の指示を入力するような構成としても良い。
次に、サーバ3について図3を参照して説明する。
サーバ3は、Web(World Wide Web)サーバとしてインターネット上にWebページ(例えば、動画再生用ページ)を開設する機能を具備するものであり、ユーザ端末2からのアクセスに応じて当該ユーザ端末2にWebページのページデータを送信する。また、サーバ3は、動画再生装置として、静止画像内で動き情報Mに係る複数の可動点に対応する各位置に動きの制御点を複数設定し、指定された動き情報Mの複数の可動点の動きに追従させるように複数の制御点を動かして動画像Qを生成する。さらに、サーバ3は、動画再生装置として、所定の再生時間で再生可能な動画像Q及び該動画像Qに重畳して所定方向にスクロール表示させる文字列Wを取得し、当該文字列Wの所定方向の長さ及び上記動画像Qの再生時間等に基づいて、上記文字列Wをスクロール表示させる表示態様が制御されたコメント付動画像Kを再生する。なお、動画像Qは、上述のように静止画像内で動き情報Mに係る複数の可動点に対応して設定された複数の制御点を動かして生成されたものに限らず、この他例えば、複数の画像(例えば、前景画像及び背景画像)を合成してなる複数のフレーム画像を含むものや、インターネット上のWebページ等に既存のもの、ユーザ端末2の記録媒体制御部205に着脱される記録媒体C内に記録された既存のもの等であっても良い。
図3は、サーバ3の概略構成を示すブロック図である。
図3に示すように、サーバ3は、具体的には、中央制御部301と、表示部302と、通信制御部303と、被写体切抜部304と、記憶部305と、動画処理部306等を備えて構成されている。
中央制御部301は、サーバ3の各部を制御するものである。具体的には、中央制御部301は、CPU、RAM、ROM(何れも図示略)を備え、CPUは、ROMに記憶されたサーバ3用の各種処理プログラム(図示略)に従って各種の制御動作を行う。その際に、CPUは、RAM内の格納領域内に各種処理結果を格納させ、必要に応じてその処理結果を表示部302に表示させる。
RAMは、例えば、CPUにより実行される処理プログラム等を展開するためのプログラム格納領域や、入力データや上記処理プログラムが実行される際に生じる処理結果等を格納するデータ格納領域などを備える。
ROMは、コンピュータ読み取り可能なプログラムコードの形態で格納されたプログラム、具体的には、サーバ3で実行可能なシステムプログラム、当該システムプログラムで実行可能な各種処理プログラムや、これら各種処理プログラムを実行する際に使用されるデータ等を記憶する。
表示部302は、例えば、LCD、CRT等のディスプレイから構成され、中央制御部301のCPUの制御下にて動画像Q(図7(a)〜図7(d)参照)やコメント付動画像K(図8(a)〜図8(d)参照)等の各種情報を表示画面に表示する。
具体的には、表示部302は、例えば、動画再生処理(後述)にて再生されたコメント付動画像Kの画像データに基づき、動画像Qに対して任意の文字、数字、アルファベット、記号等からなる文字列W(コメント)を重畳して生成されたコメント付動画像Kを表示画面に表示する。
通信制御部303は、例えば、モデム、ターミナルアダプタ等によって構成され、所定の通信ネットワークNを介してユーザ端末2等の外部機器との間で情報の通信制御を行うためのものである。
具体的には、通信制御部303は、例えば、動画再生処理(後述)にてユーザ端末2から所定の通信ネットワークNを介して送信された被写体存在画像の画像データや、文字列Wの文字列データを受信して、当該画像データや文字列データを中央制御部301のCPUに出力する。
中央制御部301のCPUは、入力された被写体存在画像の画像データを被写体切抜部304に、また、入力された文字列データを動画処理部306(具体的には、後述のコメント生成部306g)に出力する。
被写体切抜部304は、被写体存在画像(図示略)から被写体G(図6(a)参照)の切り抜き画像P1を生成する。
即ち、被写体切抜部304は、公知の被写体切抜手法を用いて、被写体存在画像から被写体Gが含まれる領域を切り抜いた画像P1を生成する。具体的には、被写体切抜部304は、中央制御部301のCPUから出力された被写体存在画像の画像データを取得して、例えば、ユーザによるユーザ端末2の操作入力部206(例えば、マウス等)の所定操作に基づいて、表示部203に表示されている当該被写体存在画像上に描画された境界線(図示略)により当該被写体存在画像を区分する。そして、被写体切抜部304は、被写体存在画像の境界線により区分される被写体Gが含まれる被写体領域を抽出して、当該被写体領域のアルファ値を「1」とするとともに被写体Gの背景部分のアルファ値を「0」とし、当該被写体領域の画像を所定の単一色画像と合成した被写体Gの切り抜き画像データを生成する。即ち、被写体Gの切り抜き画像のうち、アルファ値が「1」の被写体領域の所定の背景に対する透過度が0%となり、一方、アルファ値が「0」の被写体Gの背景部分の所定の背景に対する透過度が100%となる。
また、被写体Gの切り抜き画像データとしては、例えば、RGBA形式の画像データを適用することができ、具体的には、RGB色空間で規定される各色に透過度(A)の情報が付加されている。なお、被写体Gの切り抜き画像データは、例えば、被写体存在画像の各画素について、被写体領域の画像を所定の背景に対してアルファブレンディングする際の重みをアルファ値(0≦α≦1)として表したアルファマップと対応付けられる構成であっても良い。
なお、上述した被写体切抜部304による被写体切抜手法は、一例であってこれに限られるものではなく、被写体存在画像から被写体Gが含まれる領域を切り抜く公知の手法であれば如何なる手法を適用しても良い。
記憶部305は、例えば、半導体の不揮発メモリやHDD(Hard Disc Drive)等により構成され、ユーザ端末2に送信されるWebページのページデータや被写体切抜部304により生成された被写体Gの被写体切り抜き画像データや、ユーザ端末2に送信される所定方向にスクロール表示させる文字列Wが重畳されたコメント付動画像Kの動画データ等を記憶する。
また、記憶部305は、動画再生処理に用いられる動き情報Mを複数記憶している。
各動き情報Mは、所定空間、即ち、例えば、互いに直交する二軸(例えば、x軸、y軸等)により規定される二次元の平面空間やこれら二軸に加えて当該二軸に直交する軸(例えば、z軸等)により規定される三次元の立体的空間内における複数の可動点(図示略)の動きを示す情報である。なお、動き情報Mは、二次元の平面空間を所定の回動軸周りに回転させることで複数の可動点の動きに奥行きをもたせるような情報であっても良い。
ここで、各可動点の位置は、動きのモデルとなる動体モデル(例えば、ヒトや動物等)の骨格の形状や関節の位置等を考慮してそれぞれ規定されており、例えば、基準となる可動点に対して各可動点の移動量を規定して設定可能である。また、可動点の個数は、動体モデルの形状や大きさ等に応じて適宜任意に設定可能である。
また、各動き情報Mは、所定空間内にて複数の可動点の全て若しくは少なくとも一つを移動させた座標情報を所定の時間軸に沿って所定の時間間隔を空けて連続して並べることで、複数の可動点の動きが連続して表されている。具体的には、各動き情報Mは、例えば、複数の可動点を所定方向への歩行に対応させるように移動させた情報であり、複数の可動点の動きが連続して表された動体モデルのモデル名と対応付けてそれぞれ記憶されている。また、各動き情報Mは、動きの種類(例えば、手を挙げる、手を下げる、足を上げる、足を下げる等)やバリエーション(例えば、歩く、走る、スキップする、ジャンプする等)に応じて、複数の可動点の連続した動きを異ならせている。
なお、上述した各可動点を所定方向への歩行に対応させるように移動させた各動き情報Mは、一例であってこれに限られるものではなく、動きの種類等は適宜任意に変更可能である。
このように、記憶部305は、予め所定空間内における複数の可動点の動きを示す動き情報Mを複数記憶する記憶手段を構成している。
また、記憶部305は、動画再生処理に用いられる演奏情報TDを複数記憶している。
演奏情報TDは、動画処理部306(後述)により動画像Qとともに自動的に演奏される情報(例えば、BGM(Background Music)等の音楽情報)である。即ち、演奏情報TDは、例えば、テンポ、拍子、音程、音階、調、発想標語等を異ならせて複数規定され、それぞれ曲名と対応付けて記憶されている。
また、各演奏情報TDは、例えば、MIDI(Musical Instruments Digital Interface)規格等に従って規定されたデジタルデータであり、具体的には、トラック数や四分音符の分解能(Tickカウント数)等が規定されたヘッダ情報と、複数の音源(例えば、楽器等)毎の演奏情報TD等が規定されたトラック情報等を有している。また、トラック情報には、テンポ及び拍子の設定情報やNoteOn・Offのタイミング等が規定されている。
動画処理部306は、画像取得部306a、制御点設定部306b、動き指定部306c、動画取得部306d、コメント取得部306e、スクロール内容設定部306f、動画再生制御部306g等を具備している。
画像取得部306aは、動画再生処理(後述)に用いられる静止画像を取得する。換言すれば、画像取得部306aは、動画再生処理に用いられる静止画像を構成する前景画像としての被写体切り抜き画像P1(図6(a)参照)と背景画像P2(図6(b)参照)とを取得する。
即ち、画像取得部306aは、ユーザ所望の前景画像として、背景と被写体Gとが存在する被写体存在画像から被写体Gが含まれる領域が切り抜かれた被写体Gの切り抜き画像P1を取得するとともに、当該被写体Gの切り抜き画像を合成させるユーザ所望の画像として背景画像P2を取得する。
具体的には、画像取得部306aは、被写体切抜部304により生成された被写体Gの切り抜き画像データを処理対象の静止画像を構成するための前景画像として取得する。また、画像取得部306aは、通信制御部303が通信ネットワークNを介して受信するインターネット上のWebページや、ユーザ端末2の記録媒体Cから少なくとも一の背景画像の中で、ユーザによる操作入力部206の所定操作に基づいて指定された画像データをユーザ所望の背景画像P2として取得する。
制御点設定部306bは、処理対象の静止画像内で動きの制御点(図示略)を複数設定する。
即ち、制御点設定部306bは、画像取得部306aにより取得された被写体Gの切り抜き画像における被写体Gの画像内で複数の可動点に対応する各位置に動きの制御点を複数設定する。具体的には、制御点設定部306bは、記憶部305から動体モデル(例えば、ヒト)の動き情報Mを読み出して、被写体Gの切り抜き画像における被写体Gの画像内で、当該動き情報Mに規定されている基準フレーム(例えば、1フレーム目等)の複数の可動点の各々が対応する位置を特定する。例えば、制御点設定部306bは、被写体Gの画像がヒトを主要被写体として切り抜いた画像である場合には、ヒトの骨格の形状や関節の位置等を考慮して複数の可動点の各々が対応する位置を特定する。このとき、動体モデルと被写体Gの画像について、例えば、顔などの主要部の大きさを合わせるように寸法の調整(例えば、動体モデルの拡大や縮小、変形等)を行うようにしても良い。また、例えば、動体モデルと被写体Gの画像を重ね合わせて被写体Gの画像における複数の可動点の各々が対応する位置を特定しても良い。
そして、制御点設定部306bは、特定された複数の可動点の各々が対応する位置に動きの制御点をそれぞれ設定する。
なお、制御点設定部306bによる動きの制御点の設定は、上述のように自動的に行われても良いし、手動で行われても良い。即ち、例えば、ユーザによるユーザ端末2の操作入力部206の所定操作に基づいて入力された所望の位置に動きの制御点を設定するようにしても良い。
さらに、制御点設定部306bによる動きの制御点の設定が自動的に行われた場合であっても、ユーザによる操作入力部の所定操作に基づいて制御点の設定位置の修正(変更)を受け付けるようにしても良い。
動き指定部306cは、動画再生処理に用いられる動き情報Mを指定する。
即ち、動き指定部306cは、記憶部305に記憶されている複数の動き情報M、…の中で、何れか一の動き情報Mを指定する。具体的には、表示部203に表示されている所定画面内の複数の動きモデルのモデル名の中で、ユーザによるユーザ端末2の操作入力部206の所定操作に基づいて何れか一のモデル名(例えば、歩く等)を指定する指示が通信ネットワークN及び通信制御部303を介して入力されると、動き指定部306cは、複数の動き情報M、…の中で、指定指示に係る動きモデルのモデル名と対応付けられている動き情報Mを指定する。
なお、動き指定部306cは、複数の動き情報M、…の中で、例えば、デフォルトとして設定されている動き情報Mやユーザにより前回指定された動き情報Mを自動的に指定するようにしても良い。
動画取得部306dは、動画像取得手段として、動画再生処理に係る動画像Qを取得する。
即ち、動画取得部306dは、複数の画像を合成してなる複数のフレーム画像F1〜Fnを含む動画像Q(図7(a)〜(d)参照)を生成することにより、当該動画像Qを取得する。
具体的には、動画取得部306dは、動き指定部306cにより指定された動き情報Mの複数の可動点の動きに追従させるように、被写体切り抜き画像P1の被写体Gの画像内に設定されている複数の制御点を移動させて複数の前景フレーム画像(図示略)を逐次生成する。例えば、動画取得部306dは、動き情報Mに従って所定の時間間隔で移動する複数の可動点の座標情報を逐次取得して、当該可動点の各々に対応する各制御点の座標を算出する。そして、動画取得部306dは、算出された座標に制御点を逐次移動させていくとともに、少なくとも一の制御点を基準として被写体Gの画像内に設定される所定の画像領域(例えば、三角形や矩形のメッシュ状の領域)を移動させたり変形させることで、前景フレーム画像を生成する。これにより、例えば、動き情報Mの複数の可動点の各座標情報に対応する位置に制御点が配設された前景フレーム画像がそれぞれ生成される。
なお、上述のような複数の前景フレーム画像を構成する処理は公知の技術であり、各種手法を広く適用することが可能であるため、ここでは詳細な説明を割愛する。
また、動画取得部306dによる前景フレーム画像の生成は、例えば、アルファマップや、RGB色空間で規定される被写体画像の各色の情報及び透過度の情報等についても行われる。
また、動画取得部306dは、生成された複数の前景フレーム画像の各々と画像取得部306aにより取得された背景画像P2とを公知の画像合成手法を用いて合成することにより、複数のフレーム画像F1〜Fnからなる動画像Qを生成する。
即ち、動画取得部306dは、例えば、背景画像P2の各画素のうち、アルファ値が「0」の画素は透過させ、アルファ値が「1」の画素は各前景フレーム画像の対応する画素の画素値で上書きし、さらに、背景画像P2の各画素のうち、アルファ値が「0<α<1」の画素は1の補数(1−α)を用いて各前景フレーム画像の被写体領域を切り抜いた画像(背景画像×(1−α))を生成した後、アルファマップにおける1の補数(1−α)を用いて当該前景フレーム画像を生成した際に単一背景色とブレンドした値を計算し、当該値を前景フレーム画像から減算し、それを被写体領域を切り抜いた画像(背景画像×(1−α))と合成する。
このようにして、動画取得部306dは、複数のフレーム画像F1〜Fnが所定の再生フレームレート(例えば、10fps等)で順次切り替えて再生される、即ち、所定の再生時間TQで再生可能な動画像Qを取得する。
また、動画取得部306dは、移動後の可動点の各々に対応する複数の制御点に基づいて生成される時間軸に沿って隣合う二つの前景フレーム画像どうしの間を補間する補間フレーム画像(図示略)を生成するようにしてもよい。この補間フレーム画像を生成する処理は、公知の技術であるので、ここでは詳細な説明を割愛する。
なお、動画像Qは、被写体切抜部304によって切り抜かれた被写体Gの画像に対し複数の可動点を設け、該可動点に対応して設定された複数の制御点を動かして生成された前景フレーム画像からなるものであっても良い。
また、動画像Qは、ユーザ端末2の記録媒体C内に記録されているものであってもよい。即ち、動画取得部306dは、ユーザ所望の動画像Qがユーザ端末2の記録媒体C内に記録されている場合、動通信制御部303が通信ネットワークNを介して受信するユーザ端末2の記録媒体Cから、ユーザによる操作入力部206の所定操作に基づいて指定された動画像データをユーザ所望の動画像Qとして取得する。
さらに、動画像Qは、インターネット上のWebページ等に既存のものであってもよい。即ち、動画取得部306dは、ユーザ所望の動画像Qがインターネット上のWebページ等に既存のものである場合、動通信制御部303が通信ネットワークNを介して受信するインターネット上のWebページから、ユーザによる操作入力部206の所定操作に基づいて指定された動画像データをユーザ所望の動画像Qとして取得する。
このように、本実施形態の動画再生システム100では、動画像Qとして種々の動画像Qを適用できるため、サーバ3における動画処理部306としては、上述の動画取得部306dは、必ずしも動画像Qを生成する機能を具備しないものであってもよい。
コメント取得部306eは、文字列取得手段として、動画再生処理に係る文字列W(図8(a)等参照)を取得する。
即ち、コメント取得部306eは、動画再生処理に係るコメント付動画像Kを構成する動画像Qに対して重畳する任意の文字列W(コメント)を取得する。
具体的には、コメント取得部306eは、ユーザ端末2の通信制御部202から送信された文字列データ、即ち、ユーザによる操作入力部206の所定操作に基づいて入力された例えば、文字、数字、アルファベット、記号等の任意の文字列データを、動通信制御部303が通信ネットワークNを介して受信することで当該文字列データに対応する文字列W(例えば、図8(b)に示す「HELLO」)を取得する。このとき、コメント取得部306eは、取得した文字列Wの所定方向の長さL2も取得する。ここで、所定方向の長さL2とは、即ち、文字列Wがスクロール表示される(スクロール移動する)方向における文字列W全体の長さ(例えば、画素数等)であり、ここでは、図8(a)に示す矢印Y方向)の長さL2(図8(b)参照)を意味する。
なお、文字列Wは、上述のように、ユーザによる操作入力部206の所定操作に基づいてユーザ端末2から通信ネットワークNを介して入力されることに限らず、一例であって例えば、ユーザ端末2は、記憶媒体制御部205に装着される記録媒体C等に予め所定の文字列Wを記憶しておき、該記憶された所定の文字列Wを必要に応じて適宜読み出して、通信ネットワークNを介してサーバ3に送信するようにしてもよい。あるいは、上記所定の文字列Wをインターネット上のWebページ等に格納し、当該格納した所定の文字列Wを必要に応じて適宜引き出して、通信ネットワークNを介してサーバ3が取得するようにしてもよい。
ここで、上述の予め記憶ないし格納する所定の文字列Wとは、例えば、「おはよう」,「こんにちは」,「こんばんは」等の挨拶文や、「いいね!」,「びっくり!!」等の感情を表現する文、その他、所定の仲間どうしで使用する文章などの使用頻度の高い文章や、ヒトの顔を模した記号(所謂、顔文字)等を意味する。このように、使用頻度の高い文章等で構成される文字列Wをデフォルトとして記憶しておくことにより、その都度、入力する手間を省くことができ、文字列Wの生成や取得にかかる利便性を向上させることができる。
スクロール内容設定部306fは、特定手段として、動画再生処理に係る文字列Wのスクロール表示領域R(図8(a)参照)を特定する。即ち、スクロール内容設定部306fは、表示部302の表示画面にて動画像Qに重畳してスクロール表示される文字列Wのスクロール表示領域Rを特定する。
具体的には、スクロール内容設定部306fは、表示部302の表示画面にて動画像Qに重畳した状態でスクロール表示される文字列Wのスクロール表示領域Rを特定する。このとき、当該スクロール表示領域Rを特定する座標データ等からなる配設位置や範囲を特定するための配置データは、ユーザによる操作入力部206の所定操作によりユーザ端末2から通信ネットワークNを介して入力される。そして、スクロール内容設定部306fは、この入力された配置データに基づいて、表示部302の表示画面上(動画像Q上)にて文字列Wをスクロール表示させるスクロール表示領域Rを特定する。
ここで、スクロール表示領域Rとは、表示部302の表示画面上にて文字列Wをスクロール表示させる領域であり、少なくとも所定方向(つまり、文字列Wをスクロール移動させる長手方向であり、図8(a)では、矢印Yで示した紙面右方から左方への方向)の長さ(例えば、画素数等)L1によって特定される。より具体的には、スクロール表示領域Rは、上記ユーザ端末2から通信ネットワークNを介して入力される配置データに基づいて、表示画面に表示される動画像Q上の位置と、範囲(長手方向の寸法(長さL1)及び幅方向の寸法)とによって特定される。
また、スクロール内容設定部306fは、設定手段として、動画再生処理に係る文字列Wのスクロール表示方向Y(図8(a)参照)を設定する。即ち、スクロール内容設定部306fは、表示部302の表示画面にて動画像Qに重畳してスクロール表示される文字列Wのスクロール表示方向Y(図8(a)中、矢印で示す方向Y)を設定する。
具体的には、スクロール内容設定部306fは、表示部302の表示画面にて動画像Qに重畳した状態でスクロール表示される文字列Wのスクロール表示方向Yを設定する。このとき、当該スクロール表示方向Yを設定する方向指示データは、ユーザによる操作入力部206の所定操作によりユーザ端末2から通信ネットワークNを介して入力される。そして、スクロール内容設定部306fは、この入力された方向指示データに基づいて、表示部302の表示画面上(動画像Q上)にて文字列Wをスクロール表示させるスクロール表示方向Yを設定する。
なお、ここでは、文字列Wをスクロール移動させる方向(スクロール表示方向)を矢印で示す図8(a)の紙面右方から左方への方向Yとしているが、一例であってこれに限ることはない。即ち、上記スクロール表示方向は、任意に設定可能であり、例えば、表示画面の左方から右方、下方から上方、上方から下方、表示画面内周端部に沿った上下左右へ回動する方向、上下又は左右の一方向ではなく上下又は左右に行き来する方向、斜め方向等、種々の方向を広く適用することができる。
また、このとき、スクロール表示される文字列Wは、スクロール表示方向に対して一列であることに限らず、複数列であっても良い。例えば、文字列Wのスクロール表示方向を表示画面の上下方向に設定する場合、当該上下方向に対して、一列(縦一列)となるように設定しても良いし、当該上下方向に直交する左右方向に対して一列(横一列)の状態で、換言すれば、文字列Wが「HELLO」(図8(b)参照)であれば、上記上下方向に対して五列となる状態で設定しても良い。
さらに、このスクロール表示領域Rを特定する位置や範囲も同様に任意に設定可能であり、表示画面の任意の位置に、当該表示画面の上下又は左右あるいは斜め方向の全体又は任意の一部の範囲で設定することができる。
加えて、動画像Qに重畳してスクロール表示される文字列Wは、当該動画像Qを構成する複数のフレーム画像F1〜Fnにおいて、複数の前景フレーム画像の各々に配置されても良いし、背景画像P2に配置されても良い。文字列Wが、複数の前景フレーム画像の各々に配置される場合、表示部302の表示画面において当該文字列Wが前景フレーム画像よりも前の最前面にスクロール表示される。また、文字列Wが、背景画像P2の上に配置される場合、表示部302の表示画面において当該文字列Wが前景フレーム画像と背景画像P2との間にスクロール表示される。
また、スクロール内容設定部306fは、設定手段として、動画再生処理に係る文字列Wをスクロール表示させる表示回数を設定する。即ち、スクロール内容設定部306fは、表示部302の表示画面にて動画像Qに重畳してスクロール表示される文字列Wのスクロール表示回数を設定する。
具体的には、スクロール内容設定部306fは、表示部302の表示画面にて動画像Qに重畳した状態でスクロール表示される文字列Wのスクロール表示回数を設定する。このとき、当該スクロール表示回数を設定、即ち、所定時間(例えば、動画像Qの再生時間や動画像Qに関連付けられた音楽(BGM)の演奏時間)内に文字列Wを繰り返しスクロール表示する回数Fを設定するための回数指定データは、ユーザによる操作入力部206の任意の操作によりユーザ端末2から通信ネットワークNを介して入力される。そして、スクロール内容設定部306fは、この入力された回数指定データに基づいて、表示部302の表示画面上(動画像Q上)にて上記所定時間内に文字列Wをスクロール表示させるスクロール表示回数を設定する。なお、当該スクロール表示回数は、ユーザ所望の回数によって任意に設定可能である。
動画再生制御部306gは、動画取得部306dにより取得された動画像Qを構成する複数のフレーム画像F1〜Fnの各々を再生することで当該動画像Qの再生を制御する。
即ち、動画再生制御部306gは、ユーザによるユーザ端末2の操作入力部206の所定操作に基づいて指定された演奏情報TDに基づいて所定の曲を自動的に演奏するよう制御するとともに、当該所定の曲の所定のタイミングで複数のフレーム画像F1〜Fnの各々を再生するようにして動画像Qの再生を制御する。具体的には、動画再生制御部306gは、所定の曲の演奏情報TDのデジタルデータをD/Aコンバータによりアナログデータに変換して当該所定の曲を自動的に演奏させ、このとき、所定のタイミング(例えば、各小節の1拍目や各拍等)に同期させるように複数のフレーム画像F1〜Fnの各々を再生する。このとき、隣合う二つのフレーム画像(例えばF1、F2)間における所定の曲の演奏の相対的な進行度合に応じて、当該進行度合に対応する各々の補間フレーム画像を再生するようにしても良い。
また、動画再生制御部306gは、制御手段として、少なくとも動画再生処理に係るコメント取得部306eにより取得された文字列Wの所定方向の長さL2及び動画取得部306dにより取得された動画像Qの再生時間TQに基づいて、文字列Wをスクロール表示させる表示態様を制御する。即ち、動画再生制御部306gは、ユーザによるユーザ端末2の操作入力部206の所定操作による指定により、文字列Wの所定方向における文字列W全体の長さL2及び動画像Qの再生時間TQに基づいて、動画像Qの再生態様(動画像Qの再生時間TQや、BGM(Background Music)等の音楽の演奏時間T)に関連付けて、当該動画像Qに重畳してスクロール表示させる文字列Wの表示態様を制御する。
ここで、文字列Wの表示態様とは、動画像Qの再生時間TQやそのBGMの演奏時間Tに関連付けて、文字列Wのスクロール表示を行うこと(表示状態)を意味する。
具体的には、例えば、動画像Qの再生時間TQやそのBGMの演奏時間Tの終了に合わせて、当該動画像Qに重畳する文字列Wのスクロール表示を終了させるような表示状態(表示の手法)である。
また、このとき、例えば、動画像Qの再生時間TQやそのBGMの演奏時間Tに関連付けて、文字列Wの表示回数を変更してスクロール表示させる等の表示演出も含まれる。
そして、これら表示態様は、上記具体例に限られることはなく、この他、例えばそれぞれの表示状態、表示演出を任意に組み合わせて表示させる表示態様であっても良い。
従って、動画再生制御部306gは、制御手段として、ユーザによるユーザ端末2の操作入力部206の所定操作による指定に応じて、スクロール内容設定部306fにより特定されたスクロール表示領域Rにおける所定方向の長さL1と、当該文字列Wの所定方向の長さL2と、文字列Wを重畳する(付加する)対象の動画像Qの再生時間TQまたは当該動画像Qの再生に関連付けられたBGM(音楽)の演奏時間Tとに基づいて、上述した当該文字列Wの各表示態様を制御することができるようになっている。
また、動画再生制御部306gは、制御手段として、上述した文字列Wの表示態様の制御に加えて更に、スクロール内容設定部306fにより設定された文字列Wをスクロール表示させる表示回数Fに基づいて、当該文字列Wの表示態様を制御することができるようになっている。
具体的には、動画再生制御部306gは、ユーザによるユーザ端末2の操作入力部206の所定操作による指定により、例えば、動画像QのBGMの演奏時間Tの終了に合わせて、当該動画像Qに重畳する文字列Wのスクロール表示を終了させることが所望された場合、当該ユーザの所望に応じて、上記文字列Wのスクロール領域の長さL1、文字列Wの所定方向の長さL2、動画像QのBGMの演奏時間T及び当該BGM1曲当たりに対して文字列Wを繰り返してスクロール表示させる表示回数F等を用いて、次式(1)に基づき、文字列Wのスクロール表示速度Sを算出する。そして、当該算出されたスクロール表示速度Sとなるように、文字列Wのスクロール表示を制御する。
Figure 0005454604
従って、例えば、文字列Wのスクロール領域Rの長さL1を400(pixel)、文字列Wの長さL2を750(pixel)、BGMの演奏時間Tを16(sec)、文字列Wの表示回数Fを1(回)とした場合、文字列Wのスクロール表示速度Sは、上記式(1)により、71.875(pixel/sec)となる。
ここで、スクロール領域Rの長さL1や文字列Wの長さL2の単位に「pixel」を用いたが、一例であってこれに限ることはなく、画素を示す単位であれば、例えば、「dot」等の単位を広く適用できる。これは、動画像Qの再生時間TQやBGMの演奏時間Tについても同様である。
このように、本実施形態のサーバ3では、動画再生制御部306gが、動画像Qの再生時間TQやそのBGMの演奏時間Tの終了に合わせて、当該動画像Qに重畳する文字列Wのスクロール表示を終了させるという、動画像Qの再生態様に関連付けた文字列Wにおけるユーザ所望の表示態様に応じて、当該文字列Wのスクロール表示速度Sを制御することができるようになっている。
なお、画再生制御部306gによる文字列Wのスクロール表示速度Sの算出手法は、一例であってこれに限られるものではなく、適宜任意に変更可能である。例えば、上記では、文字列Wのスクロール表示態様をBGMの演奏時間Tに関連付けるようにしているが、文字列Wのスクロール表示態様を動画像Qの再生時間TQに関連付けるようにしてもよい。この場合、上記式(1)におけるBGMの演奏時間Tを動画像Qの再生時間TQに置き換えることで、同様に文字列Wのスクロール表示速度Sを算出することができる。
次に、ユーザ端末2及びサーバ3を用いた動画再生処理について図4〜図8を参照して説明する。
ここで、図4及び図5は、動画再生処理に係る動作の一例を示すフローチャートである。また、図6(a)及び図6(b)は、動画再生処理に係る画像の一例を模式的に示す図である。また、図7(a)〜図7(c)は、動画再生処理に係る動画像Qを構成するフレーム画像F1〜Fnの一例を模式的に示す図である。また、図8(a)〜図8(c)は、動画再生処理におけるサーバ3の表示部302に表示されるコメント付動画像Kの一例を模式的に示す図である。
なお、以下の説明にあっては、被写体存在画像(図6(a)参照)の画像データから生成された被写体Gの切り抜き画像P1及び背景画像P2(図6(b)参照)の画像データがサーバ3の記憶部305に記憶されているものとする。また、ヒトを動体モデルとした動き情報M及び動画像Qの再生に関連付けられたBGMの演奏情報TDが記憶部305に記憶されているものとする。
図4に示すように、ユーザ端末2の中央制御部201のCPUは、ユーザによる操作入力部206の所定操作に基づいて、サーバ3により開設される動画再生用ページのアクセス指示が入力されると、当該アクセス指示を通信制御部202により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS1)。
サーバ3の通信制御部303によって、ユーザ端末2から送信されたアクセス指示が受信されると、中央制御部301のCPUは、動画再生用ページのページデータを通信制御部303により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS2)。
そして、ユーザ端末2の通信制御部202によって、動画再生用ページのページデータが受信されると、表示部203は、当該動画再生用ページのページデータに基づいて、動画再生用ページの画面(図示略)を表示する。
次に、ユーザ端末2の中央制御部201は、ユーザによる操作入力部206の所定操作に基づいて、動画再生用ページの画面内にて操作された各種ボタンに対応する指示信号を通信制御部202により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS3)。
図5に示すように、サーバ3の中央制御部301のCPUは、ユーザ端末2からの指示の内容に応じて処理を分岐させる(ステップS4)。具体的には、中央制御部301のCPUは、ユーザ端末2からの指示が、被写体Gの画像の指定に関する内容の場合(ステップS4;被写体画像の指定)、処理をステップS51に移行させ、また、文字列W(コメント)の指定に関する内容の場合(ステップS4;コメントの指定)、処理をステップS61に移行させ、また、背景画像P2の指定に関する内容の場合(ステップS4;背景画像の指定)、処理をステップS71に移行させ、また、動き及び曲の指定に関する内容の場合(ステップS4;動き及び曲の指定)、処理をステップS81に移行させる。
<被写体画像の指定>
ステップS4にて、ユーザ端末2からの指示が、被写体Gの画像の指定に関する内容の場合(ステップS4;被写体画像の指定)、動画処理部306の画像取得部306aは、記憶部305に記憶されている被写体Gの切り抜き画像の画像データの中からユーザにより指定された被写体Gの切り抜き画像の画像データを読み出して取得する(ステップS51)。
次に、制御点設定部306bは、取得された被写体Gの切り抜き画像の被写体画像内で動きの制御点が既に設定されているか否かを判定する(ステップS52)。
ステップS52にて、動きの制御点が設定されていないと判定されると(ステップS52;NO)、制御点設定部306bは、被写体Gの切り抜き画像の画像データに基づいて、被写体Gの画像内で複数の可動点に対応する各位置に動きの制御点を複数設定し、所定のトリミングを行った後、トリミング後の画像における被写体Gの画像の背面画像を生成する(ステップS53)。
具体的には、制御点設定部306bは、被写体Gの切り抜き画像の画像データに基づいて、被写体Gの画像の所定位置(例えば、中心やヒトの顔の位置等)を基準として被写体Gの切り抜き画像をトリミングすることで、被写体Gの画像と動きモデル(例えば、ヒト)の大きさが等しくなるように補正する。なお、トリミングは、当該被写体Gの切り抜き画像の画像データと対応付けられているアルファマップについても行われる。
その後、動画処理部306は、トリミング後の画像における被写体Gの画像の裏側となる背面を擬似的に表す背面画像(図示略)を生成する背面画像生成処理を行う(ステップS53)。
次に、中央制御部301のCPUは、生成された背面画像と対応づけられた被写体Gの切り抜き画像の画像データを通信制御部303により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS54)。その後、制御点設定部306bは、被写体Gの切り抜き画像における被写体Gの画像内で複数の可動点に対応する各位置に動きの制御点を複数設定する(ステップS55)。
具体的には、制御点設定部306bは、記憶部305から動体モデル(例えば、ヒト)の動き情報Mを読み出して、被写体Gの切り抜き画像における被写体Gの画像内で、当該動き情報Mに規定されている基準フレーム(例えば、1フレーム目等)の複数の可動点の各々が対応する位置を特定した後、当該複数の可動点の各々が対応する位置に動きの制御点をそれぞれ設定する。
そして、動画取得部306dは、当該被写体Gの画像に対して設定された複数の制御点、及び被写体Gの画像の合成位置やサイズ等の合成内容を所定の格納手段(例えば、所定のメモリ等)に登録する(ステップS56)。
その後、中央制御部301のCPUは、処理をステップS9に移行させる。ステップS9の処理の内容については、後述する。
なお、ステップS52にて、既に動きの制御点が設定されていると判定されると(ステップS52;YES)、中央制御部301のCPUは、ステップS53〜S56の処理をスキップして、処理をステップS9に移行させる。
<コメントの指定>
ステップS4にて、ユーザ端末2からの指示が、文字列W(コメント)の指定に関する内容の場合(ステップS4;コメントの指定)、動画処理部306のコメント取得部306eは、ユーザによる操作入力部206の所定操作に基づいて入力された動画像Qに対して重畳する文字列W(コメント)を取得する(ステップS61)。
具体的には、コメント取得部306eは、ユーザによるユーザ端末2の操作入力部206の所定操作に基づいて入力された、例えば、文字、数字、アルファベット、記号等の任意の文字列データが、通信ネットワークN及び通信制御部303を介して入力されると当該文字列データに対応する文字列W(例えば、図8(b)に示す「HELLO」)を取得する(ステップS61)。
このとき、コメント取得部306eは、取得した文字列Wの所定方向の長さL2も取得する。
なお、文字列Wは、上述のように、ユーザによる操作入力部206の所定操作に基づいてユーザ端末2から通信ネットワークNを介して入力されるものに限ることはない。即ち、例えば、ユーザ端末2において記憶媒体制御部205に装着される記録媒体C等に予め記憶させておいた所定の文字列Wを必要に応じて適宜読み出し、通信ネットワークNを介してサーバ3に送信するようにしてもよい。または、上記所定の文字列Wをインターネット上のWebページ等に格納し、当該格納した所定の文字列Wを必要に応じてユーザによる操作入力部206の所定操作に基づき、適宜引き出して、通信ネットワークNを介してサーバ3に送信するようにしてもよい。
次に、動画処理部306のスクロール内容設定部306fは、表示部302の表示画面に表示される動画像Qに重畳してスクロール表示される文字列Wのスクロール表示領域R(図8(a)参照)を設定する(ステップS62)。
具体的に、スクロール内容設定部306fは、文字列Wのスクロール表示領域Rを特定する座標データ等からなる配設位置や範囲を特定するための配置データが、ユーザによる操作入力部206の所定操作によりユーザ端末2から通信ネットワークNを介して入力されると、この入力された配置データに基づいて、表示部302の表示画面に表示される動画像Q上にて文字列Wをスクロール表示させるスクロール表示領域Rを特定することで当該スクロール表示領域Rを設定する。
このとき、スクロール表示領域Rは、上記ユーザ端末2から通信ネットワークNを介して入力される配置データに基づいて、表示画面に表示される動画像Q上の位置と、範囲(長手方向の寸法(長さL1)及び幅方向の寸法)とによって特定される。なお、このスクロール表示領域Rを特定する位置や範囲は任意に設定可能である。
次に、スクロール内容設定部306fは、スクロール内容設定部306fは、表示部302の表示画面にて動画像Qに重畳した状態でスクロール表示される文字列Wのスクロール表示回数と、当該文字列Wをスクロール表示する際のスクロール表示方向Y(図8(a)参照)とを設定する(ステップS63)。
具体的に、スクロール内容設定部306fは、ユーザによる操作入力部206の所定操作によりユーザ端末2から通信ネットワークNを介して、文字列Wのスクロール表示回数Fを設定するための回数指定データが入力されると、この入力された回数指定データに基づいて、表示部302の表示画面上(動画像Q上)にて所定時間内に文字列Wをスクロール表示させるスクロール表示回数を設定する。
また、スクロール内容設定部306fは、文字列Wのスクロール表示方向Yを設定する方向指示データが、ユーザによる操作入力部206の所定の操作によりユーザ端末2から通信ネットワークNを介して入力されると、この入力された方向指示データに基づいて、表示部302の表示画面上(動画像Q上)にて文字列Wをスクロール表示させるスクロール表示方向Y(例えば、図8(a)の矢印で示す紙面右方から左方への方向Y等)を設定する。
そして、スクロール内容設定部306fは、スクロール表示させる文字列Wや、当該文字列Wのスクロール表示領域R、スクロール表示する表示回数F、スクロール表示方向Y等のスクロール表示内容を所定の格納手段(例えば、所定のメモリ等)に登録する(ステップS64)。
その後、中央制御部301のCPUは、処理をステップS9に移行させる。ステップS9の処理の内容については、後述する。
<背景画像の指定>
ステップS4にて、ユーザ端末2からの指示が、背景画像P2の指定に関する内容の場合(ステップS4;背景画像の指定)、動画処理部306の動画取得部306dは、ユーザによる操作入力部206の所定操作に基づいて所望の背景画像(他の画像)P2の画像データを読み出して(ステップS71)、当該背景画像P2の画像データを動画像の背景として所定の格納手段に登録する(ステップS72)。
具体的には、サーバ3には、ユーザ端末2の表示部203に表示されている動画再生用ページの画面内の複数の画像データの中で、ユーザによる操作入力部206の所定操作に基づいて指定された何れか一の画像データの指定指示が、通信ネットワークN及び通信制御部303を介して入力される。動画取得部306dは、当該指定指示に係る背景画像P2(図6(b)参照)の画像データを記憶部305から読み出して取得した後(ステップS71)、当該背景画像P2の画像データを動画像の背景として登録する(ステップS72)。
次に、中央制御部301のCPUは、背景画像P2の画像データを通信制御部303により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS73)。
その後、中央制御部301のCPUは、処理をステップS9に移行させる。ステップS9の処理の内容については、後述する。
<動き及び曲の指定>
ステップS4にて、ユーザ端末2からの指示が、動き及び曲の指定に関する内容の場合(ステップS4;動き及び曲の指定)、動画処理部306は、ユーザによる操作入力部206の所定操作に基づいて動き情報Mや動きの速さを設定する(ステップS81)。
具体的には、サーバ3には、ユーザ端末2の表示部203に表示されている動画再生用ページの画面内の複数の動きモデルのモデル名の中で、ユーザによる操作入力部206の所定操作に基づいて指定された何れか一のモデル名(例えば、歩く等)の指定指示が、通信ネットワークN及び通信制御部303を介して入力される。動画処理部306の動き指定部306cは、記憶部305に記憶されている複数の動き情報M、…の中で、当該指定指示に係る動きモデルのモデル名と対応付けられている動き情報Mを設定する。なお、動画処理部306は、複数の動き情報M、…の中で、例えば、デフォルトとして設定されている動き情報Mやユーザにより前回指定された動き情報Mを自動的に指定するようにしても良い。
また、サーバ3には、ユーザ端末2の表示部203に表示されている動画再生用ページの画面内の複数の動きの速さ(例えば、1/2倍、標準(等倍)、2倍等)の中で、ユーザによる操作入力部202の所定操作に基づいて指定された何れか一の速さ(例えば、標準等)の指定指示が、通信ネットワークN及び通信制御部303を介して入力される。動画処理部306は、当該指定指示に係る速さを被写体画像の動きの速さとして設定する。
その後、動画処理部306の動画再生部306eは、設定された動き情報Mを動画像Qの動きの内容として所定の格納手段に登録する(ステップS82)。
次に、動画処理部306は、ユーザによる操作入力部206の所定操作に基づいて自動的に演奏される曲を設定する(ステップS83)。
具体的には、サーバ3には、ユーザ端末2の表示部203に表示されている動画再生用ページの画面内の複数の曲名の中で、ユーザによる操作入力部206の所定操作に基づいて指定された何れか一の曲名の指定指示が、通信ネットワークN及び通信制御部303を介して入力される。動画処理部306は、当該指定指示に係る曲名の曲を設定する。
その後、中央制御部301のCPUは、処理をステップS9に移行させる。ステップS9の処理の内容については、後述する。
ステップS9では、中央制御部301のCPUは、動画像Qの生成が可能な状態であるか否かを判定する(ステップS9)。即ち、ユーザによる操作入力部206の所定操作に基づいて、サーバ3の動画処理部306は、被写体Gの画像に対する制御点の登録、被写体Gの画像の動きの内容の登録、背景画像P2の登録等を行うことで、動画像Qの生成準備が整って動画像Qを生成可能か否か判定する。
ここで、動画像Qの生成が可能な状態でないと判定されると(ステップS9;NO)、中央制御部301のCPUは、処理をステップS4に戻し、ユーザ端末2からの指示の内容に応じて処理を分岐させる(ステップS4)。
一方、動画像の生成が可能な状態であると判定されると(ステップS9;YES)、図4に示すように、中央制御部301のCPUは、処理をステップS11に移行させる。
ステップS11では、サーバ3の中央制御部301のCPUは、ユーザによるユーザ端末2の操作入力部206の所定操作に基づいて動画像のプレビュー指示が入力されたか否かを判定する(ステップS11)。
即ち、ステップS10にて、ユーザ端末2の中央制御部201が、ユーザによる操作入力部206の所定操作に基づいて入力された動画像のプレビュー指示を、通信制御部202により所定の通信ネットワークNを介してサーバ3に送信させる(ステップS10)。
そして、ステップS11にて、サーバ3の中央制御部301のCPUによって、動画像のプレビュー指示が入力されたと判定されると(ステップS11;YES)、動画処理部306の動画再生制御部306gは、設定済みの曲名に対応する演奏情報TDを動画像Qとともに自動的に演奏される情報として所定の格納手段に登録する(ステップS12)。
次に、動画処理部306は、所定の再生フレームレート(例えば、10fps等)で順次切り替えて再生される複数のフレーム画像F1〜Fnからなる動画像Qを生成する(ステップS13)。
具体的に、動画取得部306dは、指定された動き情報Mの複数の可動点の動きに追従させるように、被写体切り抜き画像P1に設定されている複数の制御点を移動させて複数の前景フレーム画像を逐次生成する。そして、動画取得部306dは、生成された複数の前景フレーム画像の各々と背景画像P2とを公知の画像合成手法を用いて合成することにより、複数のフレーム画像F1〜Fnからなる動画像Qを生成する。
続いて、動画像再生制御部306gは、動画像Qに重畳してスクロール表示される文字列W(コメント)の表示速度Sを算出する(ステップS14)。
具体的に、動画像再生制御部306gは、動画像QのBGMの演奏時間Tの終了に合わせて、当該動画像Qに重畳する文字列Wのスクロール表示を終了させるように、即ち、動画像Qにおける曲の演奏の進行度合いに応じて文字列Wが動画像Q上にスクロール表示されるように、文字列Wのスクロール表示速度Sを算出する。つまり、動画像再生制御部306gは、上述した式(1)に基づいて、文字列Wのスクロール領域の長さL1、文字列Wのスクロール方向の長さL2、動画像QのBGMの演奏時間T及び文字列Wの表示回数Fから、文字列Wのスクロール表示速度Sを算出する。
次に、動画処理部306は、動画再生制御部306gにより演奏情報TDに基づいた所定の曲の演奏が終了したか否かを判定する(ステップS15)。
上記の処理は、ステップS15にて、曲の演奏が終了したと判定されるまで(ステップS15;YES)、繰り返し実行される。
そして、曲の演奏が終了したと判定されると(ステップS15;YES)、図5に示すように、中央制御部301のCPUは、処理をステップS4に戻し、ユーザ端末2からの指示の内容に応じて処理を分岐させる(ステップS4)。
ここで、曲の演奏が終了していないと判定されると(ステップS15;NO)、動画処理部306は、処理をステップS16に移行する。
次に、中央制御部301のCPUは、動画再生制御部306gにより自動的に演奏される曲の演奏の進行度合に応じて、文字列W(コメント)が配置されたコメント付フレーム画像Fk1〜Fknからなるプレビュー動画、即ち、コメント付動画像Kの動画データを、通信制御部303により所定の通信ネットワークNを介してユーザ端末2に送信させる(ステップS16)。
即ち、動画再生制御部306gは、算出された文字列Wのスクロール表示速度Sに従って、動画像Qに重畳してスクロール表示される文字列Wが所定位置に配置されたコメント付フレーム画像Fk1〜Fknの各々を逐次生成し、通信制御部303は、生成されたコメント付フレーム画像Fk1〜Fknの各々を取得して、所定の通信ネットワークNを介してユーザ端末2に送信する。
このように、プレビュー動画のデータは、所定数の前景フレーム画像とユーザ所望の背景画像P2とが合成された複数のフレーム画像F1〜Fnからなる動画像Qと、当該動画像Q上に任意に設定された所定のスクロール領域Rに重畳した状態で、所定のスクロール表示方向Yにスクロール表示される文字列Wとを含んで構成されている。
ステップS16にて、サーバ3から送信されたプレビュー動画のデータがユーザ端末2の通信制御部303によって受信されると、中央制御部201のCPUは、音出力部204及び表示部203を制御してプレビュー動画を再生させる(ステップS17)。
具体的には、音出力部204は、演奏情報TDに基づいて曲を自動的に演奏してスピーカから放音するとともに、表示部203は、当該自動的に演奏される曲の所定のタイミングでコメント付フレーム画像Fk1〜Fknからなるプレビュー動画を表示画面に表示する。
このとき、表示部203の表示画面に表示されるプレビュー動画は、例えば、動画像Qの再生に関連付けられたBGMの演奏が終了するのに合わせて、当該動画像Qに重畳してスクロール表示される文字列Wのスクロール表示が終了するようになっている。
即ち、表示部203の表示画面に表示されるプレビュー動画は、図8(a)〜(d)に示すように、複数のフレーム画像F1、F2、F3、…Fn(図7(a)〜(d)参照)に対し、コメント取得部306eにより取得された当該動画像Qに重畳してスクロール表示される文字列Wを付加したコメント付フレーム画像Fk1、Fk2、Fk3、…Fknから構成されるコメント付動画像Kである。
当該コメント付動画像Kにおいて、文字列Wは、スクロール内容設定部306fにより設定されたスクロール領域R、スクロール表示方向Y、スクロール表示回数Fに基づくとともに、動画再生制御部306gにより演奏される所定の曲の演奏の進行度合いに応じて、各フレーム画像F1、F2、F3、…Fn上の所定の位置に配置されている。
このようにして、コメント付動画像Kは、動画再生制御部306gにより動画像Qが再生される際、当該動画像QのBGMの演奏時間Tの終了に合わせて、当該動画像Qに重畳する文字列Wのスクロール表示を終了させるような表示態様となっている。
なお、ここでは、コメント付動画像Kが、画像QのBGMの演奏時間Tの終了に合わせて、当該動画像Qに重畳する文字列Wのスクロール表示を終了させるような表示態様となる場合について述べるが、一例であってこれに限られることはなく、例えば、コメント付き動画像Kを、動画像Qの再生時間TQの終了に合わせて、当該動画像Qに重畳する文字列Wのスクロール表示を終了させるような表示態様となるように生成するようにしても良い。
以上のように、本実施形態の動画再生システム100によれば、サーバ3は動画再生装置であって、動画処理部306は、コメント取得部306eにて取得された文字列Wの所定方向の長さL2及び動画取得部306dにて取得された動画像Qの再生時間TQに基づいて、文字列Wをスクロール表示させる表示態様を制御する動画再生制御部306gを備えているので、動画再生制御部306gが、少なくとも動画再生処理に係る文字列Wの所定方向の長さL2及び動画像Qの再生時間TQに基づいて、当該文字列Wをスクロール表示させる表示態様を制御することができる。即ち、動画再生制御部306gは、文字列W全体の長さL2及び動画像Qの再生時間TQに基づいて、動画像Qの再生態様に関連付けるように当該動画像Qに重畳してスクロール表示される文字列Wの表示態様を制御することができる。
従って、動画像Qの再生態様と文字列Wの表示態様とがかけ離れてしまうことを抑制して、動画像Qの再生態様と文字列Wの表示態様との親和性の向上を図ることができる。
また、スクロール内容設定部306fが表示部302における表示画面にて文字列Wをスクロール表示させるスクロール表示領域Rを特定するので、動画再生制御部306gは、スクロール内容設定部306fにて特定されたスクロール表示領域R、文字列Wの所定方向の長さL2及び動画像Qの再生時間TQに基づいて、文字列Wの表示態様を制御することができる。つまり、文字列Wをスクロール表示させるスクロール表示領域Rをユーザ所望の任意の領域に設定することができ、この場合にも、動画像Qの再生態様に関連付けて当該スクロール表示領域Rにてスクロール表示されるように文字列Wの表示態様を制御することができる。
また、スクロール内容設定部306fが文字列Wをスクロール表示させる表示回数Fを設定するので、動画再生制御部306gは、スクロール内容設定部306fにより設定された表示回数Fに基づいて、文字列Wの表示態様を制御することができる。即ち、動画処理部306は、動画像Qの再生時間TQやそのBGMの演奏時間Tに関連付けて適宜設定される表示回数Fに基づき、文字列Wをスクロール表示させる回数を変更してスクロール表示させることができる。
つまり、文字列Wをスクロール表示させる回数をユーザ所望の任意の回数に設定することができ、この場合にも、動画像Qの再生態様に関連付けて任意の回数スクロール表示されるように文字列Wの表示態様を制御することができる。
また、動画再生制御部306gは、例えば、動画像Qの再生時間TQの終了に合わせて、当該動画像Qに重畳する文字列Wのスクロール表示を終了させるという表示態様に応じるように、当該文字列Wのスクロール表示速度Sを制御することができる。
また、動画再生制御部306gは、例えば、動画像Qの再生に関連付けて演奏されるBGM(音楽)の演奏時間Tの終了に合わせて、当該動画像Qに重畳する文字列Wのスクロール表示を終了させるという表示態様に応じるように、当該文字列Wのスクロール表示速度Sを制御することができる。
このとき、動画像Qは、複数の前景フレーム画像及び背景画像P2を合成してなる複数のフレーム画像F1〜Fnを含んでも良い。
このように、従来の動画再生システムにおいては、動画像Qの再生態様や文字列Wの表示態様等に拘わることなく、文字列Wを一定の速さでのみスクロール表示していたために、以下のような問題が生じていた。即ち、従来は、文字列Wが一定の速さでしかスクロール表示されないため、動画像Qの再生態様に関連付けて文字列Wのスクロール表示を制御することが難しいといった問題や、これにより、動画像Qの再生態様と文字列Wの表示態様とがかけ離れた違和感のあるものが再生されてしまうといった問題があった。
従って、従来では、動画像Qの再生時間TQやそのBGMの演奏時間Tに合わせて文字列Wのスクロール表示が終了するような、動画像Qの再生態様に関連付けた表示態様で文字列Wを重畳した動画像Q(コメント付動画像K)の生成は、その作業が煩雑であるだけでなく、当該ユーザ所望の表示態様を再現するのが難しいといった問題があった。
これに対して、本実施形態の動画再生システム100では、上述した構成により、動画像Qに重畳してスクロール表示される文字列Wの表示態様を、当該動画像Qの再生態様に関連付けて制御可能とすることで、上記従来の問題を解消することができる。
従って、本実施形態の動画再生システム100によれば、動画再生制御部306gが、ユーザによるユーザ端末2の操作入力部206の所定操作による指定に応じて、スクロール内容設定部306fにより特定されたスクロール表示領域Rにおける所定方向の長さL1と、当該文字列Wの所定方向の長さL2と、文字列Wを重畳する(付加する)対象の動画像Qの再生時間TQまたは当該動画像Qの再生に関連付けられたBGM(音楽)の演奏時間Tとに基づいて、上述した当該文字列Wの各表示態様を制御することができる。
かくして、本実施形態の動画再生システム100では、動画像Qの再生態様と文字列Wの表示態様との親和性の向上を図ることができる。
なお、本発明は、上記実施形態に限定されることなく、本発明の趣旨を逸脱しない範囲において、種々の改良並びに設計の変更を行っても良い。
例えば、上記実施形態では、動画像Qの再生時間TQや、当該動画像Qの再生に関連付けて演奏されるBGM(音楽)の演奏時間Tの終了に合わせて、当該動画像Qに重畳する文字列Wのスクロール表示を終了させるように、当該文字列Wのスクロール表示速度Sを制御するようにしたが、一例であってこれに限られるものではなく、文字列Wの表示態様の制御は適宜任意に変更可能である。
以下に、動画再生システム100のサーバ3の変形例について図9を参照して説明する。
例えば、動画再生システム100のサーバ3は、図3との対応する部分に同一符号を付した図9に示すように、動画処理部306が曲取得部306hを更に具備するように構成されていても良い。
この場合、曲取得部306hは、音楽取得手段として、動画像Qの再生に関連付けて演奏されるBGM(音楽)に関する演奏情報TDに含まれる当該BGMのテンポbを取得する。そして、取得したBGMのテンポbに基づいて、動画像Qにおける文字列Wのスクロール表示速度Sを制御するようにしても良い。
即ち、動画処理部306の動画再生制御部306gは、曲取得部306hにより取得された演奏情報TDに含まれる当該音楽のテンポbに基づいて、文字列Wの表示態様を制御する。
具体的には、例えば、動画像QのBGMのテンポbが変動する、即ち、所定の数nの区間k(所定の小節)毎にテンポbが異なるBGMの場合、曲取得部306hは、記憶部305に記憶された当該BGMの演奏情報TDに基づいて、BGMのテンポbに関するテンポ情報を取得する。そして、動画再生制御部306gは、曲取得部306hにより取得された当該テンポ情報に基づき、BGMの異なるテンポbに応じて(関連付けて)、文字列Wのスクロール表示速度を変動(変更)させるように、文字列Wの表示態様を制御する。
従って、動画再生制御部306gは、制御手段として、上述した文字列Wの表示態様の制御に加えて更に、曲取得部306hにより取得されるBGM(音楽)に関する演奏情報TDに含まれる当該音楽のテンポbに基づいて、文字列Wの表示態様を制御することができるようになっている。
また、例えば、BGMが所定数nのk区間毎に、それぞれテンポbが変動するような場合、当該BGMの各区間テンポb1〜bkに関連付けて、文字列Wのスクロール表示速度を変動(変更)させるようにしても良い。この場合、上記文字列Wのスクロール領域の長さL1、文字列Wの所定方向の長さL2、k区間目におけるBGMの演奏時間Tk、k区間目におけるBGMのテンポbk及び当該BGM1曲当たりに対して文字列Wを繰り返してスクロール表示させる表示回数F等を用いて、1区間目における文字列Wのスクロール表示速度S1(区間速度)を次式(2)に基づいて、k区間目における文字列Wのスクロール表示速度Sk(区間速度)を次式(3)に基づいて算出する。但し、次式(2)において所定数nには1を含まず(n>1)、また、区間数を示すkには1を含まない所定数nまでの整数値が順次代入されるものとする。
Figure 0005454604
Figure 0005454604
従って、例えば、2つの区間kを有し、文字列Wのスクロール領域の長さL1を400(pixel)、文字列Wの長さL2を750(pixel)、1区間目のBGMの演奏時間T1を16(sec)、2区間目のBGMの演奏時間T2を12(sec)、1区間目のBGMのテンポb1を120(beat/min)、2区間目のBGMの演奏時間T2を149(beat/min)、文字列Wの表示回数Fを1(回)とした場合、1区間目(k=1)における文字列Wのスクロール表示速度S1は、上記式(2)によって37.22(pixel/sec)となり、2区間目(k=2)における文字列Wのスクロール表示速度S2は、上記式(3)によって46.21(pixel/sec)となる。
このように、図9に示すサーバ3では、動画再生制御部306gが、曲取得部306hにより取得されたテンポ情報に基づいて、所定区間(小節)毎に、それぞれテンポbが変動するBGMの各テンポbに合わせて(関連付けて)、動画像Qに重畳する文字列Wのスクロール表示速度を変動(変更)させることができる。
つまり、動画像の再生に関連付けて演奏される音楽をユーザ所望の任意の音楽に設定することができ、複数の音楽が設定されて動画像Qの再生途中でテンポが変動するような場合であっても、音楽のテンポに関連付けてスクロール表示されるように文字列Wの表示態様を制御することができる。
さらに、曲取得部306hは、上述した文字列Wの表示態様に加えて、例えばBGMのテンポbが所定の閾値よりも速い又は遅い場合に、当該文字列Wをスクロール表示させながら、点滅表示させたり、拡大・縮小表示させたり、揺らぎを与えて表示させたり等の所定のアクションを追加して文字列Wの表示を演出するようにしても良い。これにより、コメント付動画像Kにおいて動画像Qに重畳してスクロール表示される文字列Wの表示態様にバリエーションを持たせることができ、趣向に富んだ表示演出を実現することができる。
なお、上記実施形態では、動画再生処理のステップS13にて、複数のフレーム画像F1〜Fnからなる動画像Qを生成しておき、ステップS16にて、動画像Qに文字列Wが重畳されたコメント付フレーム画像Fk1〜Fkn(コメント付動画像K)を逐次生成して、ユーザ端末2に送信するようにしたが、コメント付動画像Kを送信する手法は一例であってこれに限られるものではなく、適宜任意に変更可能である。
例えば、ステップS16にてコメント付動画像Kの各フレーム画像を送信する際に、被写体切り抜き画像P1に設定されている複数の制御点を動き情報Mの複数の可動点の動きに追従させるように移動させた前景フレーム画像を逐次生成するとともに、当該前景フレーム画像と背景画像P2とを逐次合成して動画像Qを構成するフレーム画像を逐次生成し、さらに、当該フレーム画像に対して、文字列Wのスクロール表示速度Sに従って文字列Wが所定位置に配置されたコメント付フレーム画像を逐次生成して、ユーザ端末2に送信するようにしても良い。
また、上記実施形態では、動画像Qに重畳して所定方向にスクロール表示させる文字列Wをユーザが都度、任意に入力可能なようにする場合について詳細に説明したが、一例であってこれに限られるものではなく、例えば、予め定型文のように設定された又は任意に設定可能な所定の文字列W(コメント)を記録媒体Cや記憶部305等に記憶させておき、かくしてデフォルト設定された文字列の中からユーザ所望の文字列Wを必要に応じて適宜選択的に用いるようにしても良い。
さらに、上記実施形態では、ユーザ所望の文字列Wが重畳された動画像Q(コメント付動画像K)が、都度、ユーザにより文字列Wを入力されて生成されるようにしたが、一例であってこれに限られるものではなく、例えば、予めコメント付動画像Kを上記実施形態の如く生成し、該生成したコメント付動画像Kを記録媒体Cや記憶部305等に記憶させておく。そして、当該記憶させたコメント付動画像Kを必要に応じて適宜読み出すことにより、所定の通信ネットワークNを介さずとも再生可能なようにしても良い。
また、文字列がExif情報として付帯された動画像が動画取得部306dにより取得された場合に、動画再生制御部306gは、当該文字列が付帯された動画像の再生を制御するようにしても良い。
また、上記実施形態にあっては、ユーザによるユーザ端末2の所定操作に基づいて、Webサーバとして機能するサーバ(動画再生装置)3によって動画像Qまたはコメント付動画像Kを生成するようにしたが、一例であってこれに限られるものではなく、動画再生装置の構成は適宜任意に変更可能である。即ち、動画像Qの生成に係る動画処理部306の機能をソフトウェアにより実現される構成として、ユーザ端末2にインストールすることで通信ネットワークNを必要とすることなく、当該ユーザ端末2単体で上述した動画再生処理を行うようにしても良い。
また、上記実施形態にあっては、ユーザ端末2として、パーソナルコンピュータを例示したが、一例であってこれに限られるものではなく適宜任意に変更可能であり、例えば、携帯電話機等を適用しても良い。
なお、被写体Gの切り抜き画像や動画像Qのデータには、ユーザによる所定の改変を禁止する制御情報を埋め込むようにしても良い。
加えて、上記実施形態にあっては、動画像取得手段、文字列取得手段、制御手段としての機能を、中央制御部301の制御下にて、動画取得部306d、コメント取得部306e、動画再生制御部306gが駆動することにより実現される構成としたが、これに限られるものではなく、中央制御部301のCPUによって所定のプログラム等が実行されることにより実現される構成としても良い。
即ち、プログラムを記憶するプログラムメモリ(図示略)に、動画像取得処理ルーチン、文字列取得処理ルーチン、制御処理ルーチンを含むプログラムを記憶しておく。そして、動画像取得処理ルーチンにより中央制御部301のCPUを、所定の再生時間で再生可能な動画像Qを取得する動画像取得手段として機能させるようにしても良い。また、文字列取得処理ルーチンにより中央制御部301のCPUを、動画像取得手段にて取得される動画像Qに重畳して所定方向にスクロール表示される文字列Wを取得する文字列取得手段として機能させるようにしても良い。また、制御処理ルーチンにより中央制御部301のCPUを、文字列取得手段にて取得された文字列Wの所定方向の長さ及び動画像取得手段にて取得された動画像Qの再生時間に基づいて、文字列Wをスクロール表示させる表示態様を制御する制御手段として機能させるようにしても良い。
さらに、上記の各処理を実行するためのプログラムを格納したコンピュータ読み取り可能な媒体として、ROMやハードディスク等の他、フラッシュメモリ等の不揮発性メモリ、CD−ROM等の可搬型記録媒体を適用することも可能である。また、プログラムのデータを所定の通信回線を介して提供する媒体としては、キャリアウェーブ(搬送波)も適用される。
〔付記〕
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
<請求項1>
表示手段に動画像を再生表示する動画再生方法であって、
所定の再生時間で再生可能な動画像を取得する動画像取得ステップと、
前記動画像取得ステップにて取得される動画像に重畳して所定方向にスクロール表示される文字列を取得する文字列取得ステップと、
前記文字列取得ステップにて取得された文字列の前記所定方向の長さ及び前記動画像取得ステップにて取得された動画像の再生時間に基づいて、前記文字列をスクロール表示させる表示態様を制御する制御ステップと、
を含むことを特徴とする動画再生方法。
<請求項2>
前記表示手段における前記文字列をスクロール表示させるスクロール表示領域を特定する特定ステップを更に含み、
前記制御ステップは、前記特定ステップにて特定された前記スクロール表示領域、前記文字列の前記所定方向の長さ及び前記動画像の再生時間に基づいて、前記文字列の表示態様を制御することを特徴とする請求項1に記載の動画再生方法。
<請求項3>
前記文字列をスクロール表示させる表示回数を設定する設定ステップを更に含み、
前記制御ステップは、
更に、前記設定ステップにて設定された表示回数に基づいて、前記文字列の表示態様を制御することを特徴とする請求項1又は2に記載の動画再生方法。
<請求項4>
前記動画像の再生に関連付けて演奏される音楽を取得する音楽取得ステップを更に含み、
前記制御ステップは、
更に、前記音楽取得ステップにて取得された音楽のテンポに基づいて、前記文字列の表示態様を制御することを特徴とする請求項1〜3の何れか一項に記載の動画再生方法。
<請求項5>
前記制御ステップは、更に、前記動画像の再生終了に合わせて前記文字列のスクロール表示が終了するように、当該文字列のスクロール表示速度を制御することを特徴とする請求項1〜4の何れか一項に記載の動画再生方法。
<請求項6>
前記制御ステップは、更に、前記音楽の演奏終了に合わせて前記文字列のスクロール表示が終了するように、当該文字列のスクロール表示速度を制御することを特徴とする請求項4に記載の動画再生方法。
<請求項7>
前記動画像は、複数の画像を合成してなる複数のフレーム画像を含むことを特徴とする請求項1〜6の何れか一項に記載の動画再生方法。
<請求項8>
表示手段に動画像を再生表示する動画再生装置であって、
所定の再生時間で再生可能な動画像を取得する動画像取得手段と、
前記動画像取得手段にて取得される動画像に重畳して所定方向にスクロール表示される文字列を取得する文字列取得手段と、
前記文字列取得手段にて取得された文字列の前記所定方向の長さ及び前記動画像取得手段にて取得された動画像の再生時間に基づいて、前記文字列をスクロール表示させる表示態様を制御する制御手段と、
を備えたことを特徴とする動画再生装置。
<請求項9>
表示手段に動画像を再生表示する動画再生装置のコンピュータを、
所定の再生時間で再生可能な動画像を取得する動画像取得手段、
前記動画像取得手段にて取得される動画像に重畳して所定方向にスクロール表示される文字列を取得する文字列取得手段、
前記文字列取得手段にて取得された文字列の前記所定方向の長さ及び前記動画像取得手段にて取得された動画像の再生時間に基づいて、前記文字列をスクロール表示させる表示態様を制御する制御手段、
として機能させることを特徴とするプログラム。
100 動画再生システム
1 撮像装置
2 ユーザ端末
3 サーバ
301 中央制御部
303 通信制御部
305 記憶部
306 動画処理部
306a 画像取得部
306b 制御点設定部
306c 動き指定部
306d 動画取得部
306e コメント取得部
306f スクロール内容設定部
306g 動画再生制御部
306h 曲取得部
C 記録媒体
M 動き情報
TD 演奏情報
N 通信ネットワーク

Claims (11)

  1. 表示手段に再生表示する動画再生方法であって、
    1画像を取得する第1画像取得ステップと、
    2画像を取得する第2画像取得ステップと、
    前記第2画像を背景画像とし、前記第1画像を前記背景画像内での位置が変化する前景画像として合成された動画像を取得する動画像取得ステップと、
    前記動画像取得ステップにて取得される動画像に重畳して所定方向にスクロール表示される文字列を取得する文字列取得ステップと、
    スクロール内容を設定するスクロール内容設定ステップと、
    前記文字列取得ステップにて取得された文字列の前記所定方向の長さと、前記動画像取得ステップにて取得された動画像における前記前景画像の位置変化に要する時間と、前記スクロール内容設定ステップにて設定されたスクロール内容とに基づいて、前記文字列をスクロール表示させる表示態様を制御する制御ステップと、
    を含むことを特徴とする動画再生方法。
  2. 前記動画像取得ステップは、前記前景画像そのものに動きを持たせることを特徴とする請求項1に記載の動画再生方法。
  3. 前記スクロール内容設定ステップは、前記表示手段における前記文字列をスクロール表示させるスクロール表示領域を特定する特定ステップを更に含み、
    前記制御ステップは、前記特定ステップにて特定された前記スクロール表示領域、前記文字列の前記所定方向の長さ及び前記動画像の再生時間に基づいて、前記文字列の表示態様を制御することを特徴とする請求項1又は2に記載の動画再生方法。
  4. 前記スクロール内容設定ステップは、前記文字列をスクロール表示させる表示回数を設定する設定ステップを更に含み、
    前記制御ステップは、
    更に、前記設定ステップにて設定された表示回数に基づいて、前記文字列の表示態様を制御することを特徴とする請求項1〜3の何れか一項に記載の動画再生方法。
  5. 前記スクロール内容設定ステップは、前記文字列前景画像又は背景画像のいずれか一方への配置を設定する配置ステップを更に含み、
    前記制御ステップは、前記配置ステップにて設定された前記文字列の前記前景画像又は前記背景画像のいずれか一方への配置に基づいて、前記文字列の表示態様を制御することを特徴とする請求項1〜4の何れか一項に記載の動画再生方法。
  6. 前記動画像の再生に関連付けて演奏される音楽を取得する音楽取得ステップを更に含み、
    前記制御ステップは、
    更に、前記音楽取得ステップにて取得された音楽のテンポに基づいて、前記文字列の表示態様を制御することを特徴とする請求項1〜5の何れか一項に記載の動画再生方法。
  7. 前記制御ステップは、更に、前記動画像の再生終了に合わせて前記文字列のスクロール表示が終了するように、当該文字列のスクロール表示速度を制御することを特徴とする請求項1〜6の何れか一項に記載の動画再生方法。
  8. 前記制御ステップは、更に、前記音楽の演奏終了に合わせて前記文字列のスクロール表示が終了するように、当該文字列のスクロール表示速度を制御することを特徴とする請求項6に記載の動画再生方法。
  9. 前記動画像は、複数の画像を合成してなる複数のフレーム画像を含むことを特徴とする請求項1〜8の何れか一項に記載の動画再生方法。
  10. 表示手段に再生表示する動画再生装置であって、
    1画像を取得する第1画像取得手段と、
    2画像を取得する第2画像取得手段と、
    前記第2画像を背景画像とし、前記第1画像を前記背景画像内での位置が変化する前景画像として合成された動画像を取得する動画像取得手段と、
    前記動画像取得手段にて取得される動画像に重畳して所定方向にスクロール表示される文字列を取得する文字列取得手段と、
    スクロール内容を設定するスクロール内容設定手段と、
    前記文字列取得手段にて取得された文字列の前記所定方向の長さと、前記動画像取得手段にて取得された動画像における前記前景画像の位置変化に要する時間と、前記スクロール内容設定手段にて設定されたスクロール内容とに基づいて、前記文字列をスクロール表示させる表示態様を制御する制御手段と、
    を備えたことを特徴とする動画再生装置。
  11. 表示手段に再生表示する動画再生装置のコンピュータを、
    1画像を取得する第1画像取得手段、
    2画像を取得する第2画像取得手段、
    前記第2画像を背景画像とし、前記第1画像を前記背景画像内での位置が変化する前景画像として合成された動画像を取得する動画像取得手段、
    前記動画像取得手段にて取得される動画像に重畳して所定方向にスクロール表示される文字列を取得する文字列取得手段、
    スクロール内容を設定するスクロール内容設定手段、
    前記文字列取得手段にて取得された文字列の前記所定方向の長さと、前記動画像取得手段にて取得された動画像における前記前景画像の位置変化に要する時間と、前記スクロール内容設定手段にて設定されたスクロール内容とに基づいて、前記文字列をスクロール表示させる表示態様を制御する制御手段、
    として機能させることを特徴とするプログラム。
JP2012064053A 2012-03-21 2012-03-21 動画再生方法、動画再生装置及びプログラム Active JP5454604B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012064053A JP5454604B2 (ja) 2012-03-21 2012-03-21 動画再生方法、動画再生装置及びプログラム
CN201310085404.0A CN103325131B (zh) 2012-03-21 2013-03-18 动画再现方法以及动画再现装置
US13/845,421 US8818163B2 (en) 2012-03-21 2013-03-18 Motion picture playing method, motion picture playing apparatus and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012064053A JP5454604B2 (ja) 2012-03-21 2012-03-21 動画再生方法、動画再生装置及びプログラム

Publications (2)

Publication Number Publication Date
JP2013197981A JP2013197981A (ja) 2013-09-30
JP5454604B2 true JP5454604B2 (ja) 2014-03-26

Family

ID=49193854

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012064053A Active JP5454604B2 (ja) 2012-03-21 2012-03-21 動画再生方法、動画再生装置及びプログラム

Country Status (3)

Country Link
US (1) US8818163B2 (ja)
JP (1) JP5454604B2 (ja)
CN (1) CN103325131B (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130344770A1 (en) * 2011-12-07 2013-12-26 Ubooly Inc. Interactive toy
JP2015050655A (ja) * 2013-09-02 2015-03-16 ソニー株式会社 情報表示装置及び情報表示方法、並びにコンピューター・プログラム
US9118888B1 (en) * 2014-03-14 2015-08-25 Tribune Broadcasting Company, Llc News production system with integrated display
CN104023172A (zh) * 2014-06-27 2014-09-03 深圳市中兴移动通信有限公司 动态影像的拍摄方法和拍摄装置
CN109451248B (zh) * 2018-11-23 2020-12-22 广州酷狗计算机科技有限公司 视频数据的处理方法、装置、终端及存储介质
JP7421362B2 (ja) * 2020-02-13 2024-01-24 シャープ株式会社 表示データ作成装置、表示データ作成方法、及び、コンピュータプログラム
CN114071211B (zh) * 2021-09-24 2024-01-09 北京字节跳动网络技术有限公司 视频播放方法、装置、设备以及存储介质
WO2023171266A1 (ja) * 2022-03-11 2023-09-14 日本電気株式会社 コンテンツ生成システム、コンテンツ生成方法及び記憶媒体

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003219355A (ja) * 2002-01-24 2003-07-31 Canon I-Tech Inc ムービー編集システム及びムービー編集サービスサーバ
AU2003243648A1 (en) * 2002-06-24 2004-01-06 General Dynamics C4 Systems, Inc Systems and methods for providing media content
WO2004079709A1 (ja) * 2003-03-07 2004-09-16 Nec Corporation スクロール表示制御
KR100995042B1 (ko) * 2004-07-23 2010-11-22 엘지전자 주식회사 디지털 방송 수신기 및 그의 긴급 경고 메시지 처리 방법
US7164906B2 (en) * 2004-10-08 2007-01-16 Magix Ag System and method of music generation
JP3953064B2 (ja) * 2004-11-12 2007-08-01 ヤマハ株式会社 音楽的アミューズメントシステム
JP2007059009A (ja) * 2005-08-25 2007-03-08 Sony Corp 表示方法および表示装置
KR101144423B1 (ko) * 2006-11-16 2012-05-10 엘지전자 주식회사 휴대 단말기 및 휴대 단말기의 화면 표시 방법
JP2008305104A (ja) 2007-06-06 2008-12-18 Dowango:Kk コメント配信システム、サーバ、端末装置、コメント配信方法、コメント表示方法、及びプログラム
US8411738B2 (en) * 2009-03-12 2013-04-02 Samsung Electronics Co., Ltd. System and method for identification of vertical scrolling regions in digital video
JP2010243670A (ja) * 2009-04-02 2010-10-28 Clarion Co Ltd 地図表示装置、地図表示装置の地図画像表示方法

Also Published As

Publication number Publication date
US20130251341A1 (en) 2013-09-26
CN103325131A (zh) 2013-09-25
CN103325131B (zh) 2016-03-16
JP2013197981A (ja) 2013-09-30
US8818163B2 (en) 2014-08-26

Similar Documents

Publication Publication Date Title
JP5454604B2 (ja) 動画再生方法、動画再生装置及びプログラム
JP5434965B2 (ja) 動画生成方法、動画生成装置及びプログラム
JP6942300B2 (ja) コンピュータグラフィックスのプログラム、表示装置、送信装置、受信装置、動画生成装置、データ変換装置、データ生成装置、情報処理方法及び情報処理システム
JP5375897B2 (ja) 画像生成方法、画像生成装置及びプログラム
JPWO2008041629A1 (ja) 再生装置および方法、情報生成装置および方法、データ格納媒体、データ構造、プログラム格納媒体、並びにプログラム
JP4755672B2 (ja) コンテンツ編集装置、方法及びプログラム
JP5408205B2 (ja) 制御点設定方法、制御点設定装置及びプログラム
JP5110706B2 (ja) 絵本画像再生装置、絵本画像再生方法、絵本画像再生プログラム及び記録媒体
JP2007028242A (ja) 端末装置および同端末装置に適用されるコンピュータプログラム
JP5044503B2 (ja) 演出画像再生装置、演出画像再生方法、演出画像再生プログラム及び記録媒体
JP5408206B2 (ja) 画像生成方法、画像生成装置及びプログラム
JP5919926B2 (ja) 画像生成方法、画像生成装置及びプログラム
JP5776442B2 (ja) 画像生成方法、画像生成装置及びプログラム
JP2010039991A (ja) 画像表示方法、画像表示用コンピュータプログラムおよび記録媒体
JP5906897B2 (ja) 動き情報生成方法、動き情報生成装置及びプログラム
JP2005141424A (ja) 情報処理方法及び情報処理装置
JP4944371B2 (ja) 映像編集装置およびその方法
JP6028489B2 (ja) 動画再生装置、動画再生方法、及びプログラム
JP4967983B2 (ja) 情報記録装置及びプログラム
JP2010003381A (ja) 再生装置、再生方法、ならびに、プログラム
JP5891883B2 (ja) 画像生成方法、画像生成装置及びプログラム
JP2010073149A (ja) 演出画像作成装置、演出画像作成方法、演出画像作成プログラム及び記録媒体
JP5874426B2 (ja) 制御点設定方法、制御点設定装置及びプログラム
JP2009271787A (ja) 演出画像作成装置、演出画像作成方法、演出画像作成プログラム及び記録媒体
JP5009497B2 (ja) 操作器を用いた制御システム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130709

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130709

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20130716

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20130726

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131004

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131022

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131119

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20131210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20131223

R150 Certificate of patent or registration of utility model

Ref document number: 5454604

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150