JP4226237B2 - 漫画生成装置及び漫画生成プログラム - Google Patents
漫画生成装置及び漫画生成プログラム Download PDFInfo
- Publication number
- JP4226237B2 JP4226237B2 JP2001274435A JP2001274435A JP4226237B2 JP 4226237 B2 JP4226237 B2 JP 4226237B2 JP 2001274435 A JP2001274435 A JP 2001274435A JP 2001274435 A JP2001274435 A JP 2001274435A JP 4226237 B2 JP4226237 B2 JP 4226237B2
- Authority
- JP
- Japan
- Prior art keywords
- person
- frame image
- information
- image
- comic
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Processing Or Creating Images (AREA)
- Image Processing (AREA)
- Editing Of Facsimile Originals (AREA)
- Image Analysis (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、動画映像信号と音声信号とから、静止画像を時系列に並べた漫画画像を生成する漫画生成装置及び漫画生成プログラムに関する。
【０００２】
【従来の技術】
現在、漫画を自動で生成する試みは種々行なわれている。例えば、インターネット上でメッセージを交換することで、複数の人が遠隔地に居ながらリアルタイムでコミュニケーションを行なうチャット（Ｃｈａｔ）において、通常テキストで構成されるチャットのメッセージを、各ユーザが自分の好きなキャラクタを選択し、発言するときに前記キャラクタの表情と、前記キャラクタの会話内容を表示する吹き出しの形と、会話内容であるメッセージを入力することで、チャット画面上にメッセージを読み進める順番に配置された漫画画像を表示するアプリケーションが存在する。
【０００３】
また、インターネットにおける電子メールで、メール文章の引用情報に基づいてメール相互の引用関係を判断し、複数の関連のあるメールをまとめて、前記チャットにおける漫画画像を表示するのと同様に、関連のあるメール毎に漫画形式で表示するアプリケーションが存在している。
これらのアプリケーションは、通常のメッセージ形式における表示形態に比べて、視覚的に分かりやすく、効率的に情報を得ることができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来の技術は、入力されたテキスト情報から、予め定められたキャラクタで漫画を生成するものであり、動画映像や音声を漫画に変換するものではない。このように、テレビ番組等の動画映像や音声から漫画画像を自動生成する技術は従来にはなく、テレビ番組から漫画画像を生成するには、動画映像から異なる場面毎の静止画像を抽出し、その静止画像毎に人物の台詞をテキスト情報として入力し、前記テキスト情報を入力した吹き出しを前記静止画像に合成するといった個々の作業を、人手を介して行なうしか方法がない。
【０００５】
本発明は、前記した技術的問題点に鑑みてなされたものであり、テレビ番組等の動画映像及び音声を自動的に漫画画像に変換し、番組コンテンツの娯楽性を保持しつつ、可搬性を向上させる漫画を生成する漫画生成装置及び漫画生成プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、前記目的を達成するために提案されるものであり、まず、請求項１に記載の漫画生成装置は、入力された映像信号の連続した映像フレーム間の変化量である差分又は入力された音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出するコマ画像抽出手段と、前記映像フレームの色情報及び前記映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域内における顔領域、及び、前記人物の口の動きを検出する人物領域検出手段と、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成するとともに、前記音声信号における音声レベルの強弱と、前記文字列情報において予め設定された文字列が出現する度合いとの少なくとも１つに基づいて、前記人物の台詞の重要性の度合いを示す重要度情報を生成する台詞認識手段と、前記人物の台詞内容を挿入するための吹き出し形状を複数保持する蓄積手段と、前記台詞認識手段で生成された重要度情報と、前記人物領域検出手段で検出された人物の口の動きの有無とに基づいて、前記蓄積手段から吹き出し形状を選択し、前記文字列情報を付加して、前記コマ画像の前記顔領域に対応する位置に重畳する吹き出し付与手段と、を備える構成とした。
【０００７】
かかる構成によれば、漫画生成装置は、コマ画像抽出手段によって、入力された映像信号の連続した映像フレーム間の変化量である差分又は入力された音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出する。また、漫画生成装置は、人物領域検出手段によって、映像フレームの色情報及び映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域を検出する。また、漫画生成装置は、台詞認識手段によって、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成とともに、音声信号における音声レベルの強弱と、文字列情報において予め設定された文字列が出現する度合いとの少なくとも１つに基づいて、人物の台詞の重要性の度合いを示す重要度情報を生成する。そして、漫画生成装置は、吹き出し付与手段によって、台詞認識手段で生成された重要度情報と、人物領域検出手段で検出された人物の口の動きの有無とに基づいて、吹き出し形状を選択し、文字列情報を付加して、コマ画像の顔領域に対応する位置に重畳する。
【００１６】
また、請求項２に記載の漫画生成装置は、請求項１に記載の漫画生成装置において、人物領域と重要度情報とに基づいて、人物の感情や心理状態を強調する効果線を前記コマ画像に重畳する効果線付与手段を備える構成とした。
【００１７】
かかる構成によれば、漫画生成装置は、効果線付与手段によって、人物の感情や心理状態を示すキーワードの出現を重要度情報から認識することで、前記キーワードに該当する予め設定された効果線を人物や背景等の適当な領域に付与する。
【００１８】
さらに、請求項３に記載の漫画生成装置は、請求項１又は請求項２に記載の漫画生成装置において、時系列に生成されたコマ画像を、予め設定された大きさのページ領域内に連続して配置するための、コマ画像の大きさ及び位置を決定する配置決定手段を備える構成とした。
【００１９】
かかる構成によれば、漫画生成装置は、配置決定手段によって、予め設定された大きさのページ領域内に適したコマ画像の大きさや、ページ領域内の配置順序に基づいたコマ画像の位置をコマ画像毎に算出する。
【００２０】
また、請求項４に記載の漫画生成装置は、請求項３に記載の漫画生成装置において、配置決定手段によって、重要度情報に基づいて、前記コマ画像の大きさを変える構成とした。
【００２１】
かかる構成によれば、漫画生成装置は、配置決定手段によって、予め設定された大きさのページ領域内に適したコマ画像の大きさや、ページ領域内の配置順序に基づいたコマ画像の位置をコマ画像毎に算出する。このとき、重要度情報に基づいて、映像内容の中で重要性が高いと判定したコマ画像の大きさを通常よりも大きくすることで、重要性の高いコマ画像を強調する。
【００２２】
さらに、請求項５に記載の漫画生成装置は、請求項３又は請求項４に記載の漫画生成装置において、コマ画像の大きさ及び位置に基づいて、予め設定された大きさのページ領域内にコマ画像を配置した漫画画像を生成する漫画画像生成手段を備える構成とした。
【００２３】
かかる構成によれば、漫画生成装置は、漫画画像生成手段によって、配置決定手段で算出された大きさ及び位置に基づいて、コマ画像を拡大あるいは縮小し、ページ領域内に配置することで、１ページ内に複数のコマ画像を配置した漫画画像を生成する。
【００２４】
また、請求項６に記載の漫画生成プログラムは、入力された映像信号及び音声信号から、漫画画像を生成するためにコンピュータを、以下の各手段により機能させる構成とした。
すなわち、入力された前記映像信号の連続した映像フレーム間の変化量である差分又は前記音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出するコマ画像抽出手段、映像フレームの色情報及び前記映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域内における顔領域、及び、前記人物の口の動きを検出する人物領域検出手段、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成するとともに、前記音声信号における音声レベルの強弱と、前記文字列情報において予め設定された文字列が出現する度合いとの少なくとも１つに基づいて、前記人物の台詞の重要性の度合いを示す重要度情報を生成する台詞認識手段、前記台詞認識手段で生成された重要度情報と、前記人物領域検出手段で検出された人物の口の動きの有無とに基づいて、人物の台詞内容を挿入するための吹き出し形状を複数保持する蓄積手段から吹き出し形状を選択し、前記文字列情報を付加して、前記コマ画像の前記顔領域に対応する位置に重畳する吹き出し付与手段、とした。
【００２５】
かかる構成によれば、漫画生成プログラムは、コマ画像抽出手段によって、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出し、人物領域検出手段によって、前記コマ画像に登場する人物の人物領域を検出し、台詞認識手段によって、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成し、吹き出し付与手段によって、前記文字列情報を前記人物の台詞内容として挿入した吹き出しを、前記人物領域に基づいて、前記コマ画像に重畳する。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
（漫画生成装置の構成）
図１は、漫画生成装置の構成を示したブロック図である。図１に示すように、漫画生成装置１は、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出し、人物の台詞を書き込んだ吹き出しを前記コマ画像に重畳し、前記コマ画像を時系列に配置した漫画画像を生成する装置である。この漫画生成装置１は、コマ画像生成部１０、情報抽出部２０、視覚効果付与部３０及びレイアウト実行部４０を備えて構成されている。
【００２７】
コマ画像生成部１０は、コマ画像抽出手段１０ａとコマ画像蓄積手段１０ｂとを備え、コマ画像抽出手段１０ａによって、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位である静止画のコマ画像として抽出生成し、生成されたコマ画像をコマ画像蓄積手段１０ｂに蓄積する。このコマ画像蓄積手段１０ｂに蓄積されたコマ画像は、視覚効果付与部３０が吹き出し等の視覚効果を付与する際の元画像となる。なお、コマ画像生成部１０は、前記コマ画像を抽出生成したときに、コマ画像生成信号を情報抽出部２０へ通知し、情報抽出部２０との同期を行なう。
【００２８】
このコマ画像抽出手段１０ａは、入力された映像信号の映像フレーム毎に、例えば、タイトルの表示、パンやチルトやズーム等のカメラワークの切れ目、登場人物の動き等の画像の変化量（映像フレーム間の差分）を計測し、この変化量が大きい映像フレームを映像内容の切り替わりの特徴となる代表画像と判定し、前記代表画像を静止画のコマ画像として抽出する。
【００２９】
ここで、前記した映像フレーム毎の画像の変化量に基づく代表画像の選定は、特開平５−３７８９３号公報の明細書に記載された「テレビジヨン信号記録装置及びテレビジヨン信号再生装置」で開示されているように、映像信号中から映像の動きを検出し、検出された映像の動きが予め設定された基準以上となる毎に、前記映像信号中からその時点の静止画を抽出することで実現することができる。また、これ以外にも、映像シーンの切り替わりを検出するいわゆるカット点検出の公知の技術を用いることが可能である。
【００３０】
また、コマ画像抽出手段１０ａは、映像信号によるコマ画像の抽出以外に、音声信号からもコマ画像の抽出を行なう。この場合、入力された音声信号の音声レベル、例えば振幅スペクトルに基づいて、人物の台詞の開始を検出し、その開始時点の映像フレームを映像内容の切り替わりの特徴となる代表画像と判定し、前記代表画像を静止画のコマ画像として抽出する。ここで、人物の台詞は必ずしも音声信号として連続しているとは限らないため、音声信号が不連続な信号であっても、その不連続間隔時間が予め定めた時間に満たない場合は連続しているとみなす。
また、コマ画像蓄積手段１０ｂは、コマ画像抽出手段１０ａによって抽出されたコマ画像を時系列に蓄積する蓄積手段で、ハードディスク等で構成される。
【００３１】
なお、コマ画像抽出手段１０ａにおいて、入力された映像信号からのコマ画像抽出と、入力された音声信号からのコマ画像抽出とを、どちらか一方のみを機能させる、あるいは、両方を機能させ、例えば音声信号が連続しているときに映像信号が切り替わった場合、どちらを優先的に使用するか等の設定は、予めキーボード等の外部入力手段（図示せず）によって指定する。
【００３２】
情報抽出部２０は、人物領域検出手段２０ａと台詞認識手段２０ｂと情報蓄積手段２０ｃとを備えている。この情報抽出部２０は、入力された映像信号から、人物領域検出手段２０ａによって、映像フレームに登場する人物の人物領域を検出し人物情報として生成し、また、入力された音声信号から、台詞認識手段２０ｂによって、前記人物が話す台詞を音声認識により文字列情報として生成する。なお、台詞認識手段２０ｂは、前記文字列情報に基づいて、その台詞の重要性の度合いを示す重要度情報を生成している。この重要度情報には、前記した音声レベルから抽出した情報も含まれる。さらに情報抽出部２０は、前記人物情報、前記文字列情報及び前記重要度情報を情報蓄積手段２０ｃに蓄積する。この情報蓄積手段２０ｃに蓄積された人物情報、文字列情報及び重要度情報は、視覚効果付与部３０がコマ画像に吹き出し等の視覚効果を付与する際の参照情報となる。さらに前記重要度情報は、レイアウト実行部４０が視覚効果付コマ画像の大きさを決定する際の参照情報となる。
【００３３】
なお、情報抽出部２０は、コマ画像生成部１０からコマ画像生成信号を通知された段階で一旦人物情報を保持し、さらに台詞の認識を開始し、次のコマ画像生成信号を通知された段階で、前記人物情報とともに文字列情報と重要度情報とを情報蓄積手段２０ｃに蓄積する。
【００３４】
人物領域検出手段２０ａは、入力された映像信号の映像フレーム毎に、登場人物の人物領域を検出する。例えば、映像フレーム間の色情報の差分によって、映像フレームの画像を前景領域と背景領域とに分割することができ、前記前景領域を人物領域として検出することができる。
【００３５】
さらに、人物領域検出手段２０ａは、前記人物領域の中で肌色の色情報を持つ領域を人物の顔の領域として検出する。ここで検出した顔の領域である顔の位置及び大きさは前記人物情報に付加される。また、同じ人物領域内で複数の肌色領域が検出された場合、例えば、顔以外に手等の領域を検出した場合などは、その肌色領域の大きさが最も大きい、あるいは、前記肌色領域の縦横比が１に近い場合に顔の領域とする等の判断基準を予め設定しておき、顔の領域を検出する。
【００３６】
ここで、前記人物情報を図１及び図２に基づいてさらに説明する。図２（１）はある時刻ｔにおける画像（映像フレームの内容）を示しており、図２（２）は、前記映像フレームの１フレーム前、すなわち時刻ｔ−１における画像（映像フレームの内容）を示している。人物領域検出手段２０ａは、この２つの映像フレームから色情報の差分を求め、前景領域である人物領域を検出する。そして、図２（３）に示すような背景領域に「０」、人物領域に「１」の値を持つ人物領域マスクデータを生成する。さらに前記人物領域マスクデータと、図２（１）の画像に基づいて肌色の色情報を持つ領域を検出し、図２（３）に示すような顔領域情報を生成する。前記人物情報は、図２（３）の顔領域情報と人物領域マスクデータとを含んだ情報である。なお、前記顔領域情報は、図２（３）において図示されているが、実際は顔の位置及び大きさを表わす数値データであり、説明の都合上図示したもので示している。
【００３７】
なお、人物領域検出手段２０ａは、前記同様に映像フレーム間の差分によって、顔の領域のみに着目して人物の口の動きを検出することも可能であり、前記人物が口を動かして台詞を話しているかどうかを前記人物情報に追加することもできる。また、動画像中で人物の心の内におけるつぶやきをナレーションで音声表示している場合、人物の口の動きと音声信号から、人物の台詞において種々の異なるパターンとして、前記人物情報に追加することもできる。
【００３８】
図１に戻って説明を続ける。
台詞認識手段２０ｂにより、人物が話す台詞を音声認識によって文字列情報に変換するのは、従来の一般的な音声認識技術を用いて実現することができる。
【００３９】
ここでまず、前記台詞の重要性の度合いについて説明する。例えば、テレビ番組等の映像・音声情報で、ある場面において登場人物の声が大きくなったとき、あるいは登場人物が番組の内容に関わりのあるキーワードを話したとき等に、前記場面が番組全体の中で重要性の高い場面であると判断することができる。
【００４０】
そこで、台詞認識手段２０ｂは、入力された音声信号の振幅スペクトル等で声の大きさすなわち音声レベルを検出し、さらに、予めキーワードを設定しておくことで、音声認識された前記文字列情報の中から前記キーワードがいくつ存在するかを検出し、前記音声レベル及びキーワードの検出数を含んだ重要度情報を生成する。
【００４１】
また、情報蓄積手段２０ｃは、人物領域検出手段２０ａによって検出された人物情報と、台詞認識手段２０ｂによって生成された文字列情報及び重要度情報とを時系列に蓄積する蓄積手段で、ハードディスク等で構成される。
【００４２】
視覚効果付与部３０は、吹き出し付与手段３０ａと効果線付与手段３０ｂと視覚効果付コマ画像蓄積手段３０ｃとを備えている。この視覚効果付与部３０は、コマ画像生成部１０で生成されたコマ画像と、情報抽出部２０で抽出された人物情報、文字列情報及び重要度情報とに基づいて、吹き出し付与手段３０ａによって、コマ画像に吹き出しを付加し、効果線付与手段３０ｂによって、コマ画像に効果線を付与し、視覚効果を高めた視覚効果付コマ画像を生成し、視覚効果付コマ画像蓄積手段３０ｃに蓄積する。この視覚効果付コマ画像蓄積手段３０ｃに蓄積された視覚効果付コマ画像は、レイアウト実行部４０がページ領域に画像を配置する際の元画像となる。
【００４３】
この吹き出し付与手段３０ａは、視覚効果付コマ画像蓄積手段３０ｃに複数の吹き出し形状を保持しており、前記コマ画像と、時間的に対応した前記人物情報、前記文字列情報及び前記重要度情報とに基づいて、人物の台詞を含んだ吹き出しを前記コマ画像に重畳する。このとき、人物の台詞は、前記文字列情報を使用する。ここで、吹き出しの中に書き込む文字列は、予めキーボード等の外部入力手段（図示せず）によって指定された、縦書きまたは横書きの方向で書き込まれる。
【００４４】
また、効果線付与手段３０ｂは、人物の感情や心理状態を強調する効果線をコマ画像に付与する。ここで、人物の感情や心理状態は、前記文字列情報から予め喜怒哀楽を表わすような言葉、例えば、「うれしい」、「悲しい」等を予めキーワードとして設定しておき、そのキーワードに基づいて、コマ画像に効果線を付加する。
【００４５】
ここで、図３及び図４に基づいて、吹き出し及び効果線の具体例について説明する。図３は、吹き出しの形状及び位置を説明するための図であり、図３（１）は、吹き出し形状の例を表わしており、図３（２）は吹き出し位置の例を表わしている。
【００４６】
例えば、図３（１）において、Ａ１は人物が通常の台詞を話す場合の吹き出し形状で、通常はこの形状を使用する。また、Ａ２は人物が叫び声で話す場合の吹き出し形状を表わしている。重要度情報に含まれる音声レベルが予め設定されているレベル以上の音声の場合はＡ２の形状を使用する。さらに、前記人物情報に人物が口を動かしていないという情報が付加されていれば、Ａ３のような心の声や想いを表現した吹き出し形状を使用する。
【００４７】
また、この吹き出しの位置は、前記人物情報に含まれる顔領域情報に基づいて決定される。例えば、顔の領域が画面中央より左側にある場合は、図３（２）のＢ１のように、画面右側に吹き出しが配置され、顔の領域が画面中央より右側にある場合は、Ｂ２のように、画面左側に吹き出しが配置される。このとき、声の発生元を表わす吹き出しのシッポ部分は、顔の領域を向くように配置し、さらに吹き出しが、顔の大きさや位置によって、画面内に収まらない場合は、吹き出し形状の縮小を行ない画面に配置する。
【００４８】
また、図４（１）、図４（２）は効果線の例を表わしている。効果線については、例えば、図４（１）のＣ１に示すように人物そのものを強調するような効果線や、図４（２）のＣ２に示すような人物の表情を強調する効果線がある。Ｃ１の場合は、前記文字列情報から、例えば、「うれしい」というキーワードを検出したときに、前記人物情報に含まれる人物領域マスクデータから、人物の重心座標を算出し、その重心座標を中心として放射線状に、前記人物領域マスクデータの領域以外の背景部分に線を引くことで実現することができる。また、Ｃ２の場合は、前記文字列情報から、例えば、「ショック」というキーワードを検出したときに、前記人物情報に含まれる顔領域情報に基づいて、線を引くことで実現することができる。
【００４９】
図１に戻って説明を続ける。
視覚効果付コマ画像蓄積手段３０ｃは、吹き出し付与手段３０ａと効果線付与手段３０ｂによって視覚効果が付加された視覚効果付コマ画像を時系列に蓄積する蓄積手段で、ハードディスク等で構成される。
【００５０】
レイアウト実行部４０は、配置決定手段４０ａと漫画画像生成手段４０ｂと漫画画像蓄積手段４０ｃとを備えている。このレイアウト実行部４０は、情報抽出部２０で生成された重要度情報と、視覚効果付与部３０で生成された視覚効果付コマ画像とに基づいて、配置決定手段４０ａによって、予め設定された大きさのページ領域内に連続して配置するための、コマ画像の大きさ及び位置を決定し、漫画画像生成手段４０ｂによって、前記ページ領域内にコマ画像を配置した漫画画像を生成し、漫画画像蓄積手段４０ｃに蓄積する。前記漫画画像を印刷する場合は、漫画画像蓄積手段４０ｃに蓄積された漫画画像をプリンタ等の外部出力手段（図示せず）に出力する。また、前記漫画画像は画像データとして、記録媒体に記憶して配付することもできる。
【００５１】
ここで、配置決定手段４０ａは、予め設定されたページ領域に視覚効果付与部３０で生成された視覚効果付コマ画像を配置するための、位置及び大きさを決定する。例えば、キーボード等の外部入力手段（図示せず）によって、ページの大きさ及びその中に含まれる基準のコマ画像数を入力し、配置決定手段４０ａが個々のコマ画像の大きさと位置を算出する。
【００５２】
このとき、配置決定手段４０ａは、吹き出し付与手段３０ａで指定された吹き出し内の文字列の方向に基づいて、前記文字列が縦書きである場合、コマ画像をページ内の右上から逆Ｚ字型の方向で左下へ配置されるように位置を算出する。また、前記文字列が横書きである場合、コマ画像をページ内の左上からＺ字型の方向で右下へ配置されるように位置を算出する。
【００５３】
さらに、配置決定手段４０ａは、情報抽出部２０で生成された重要度情報に基づいて、コマ画像の重要度が高い（指定のキーワードが含まれている）場合は、該当するコマ画像を他のコマ画像よりも大きくしてページ領域に配置するように大きさと位置を算出する。
【００５４】
また、漫画画像生成手段４０ｂは、配置決定手段４０ａで算出されたコマ画像の大きさと位置に基づいて、前記指定されたページの大きさの領域内に配置して前記コマ画像を漫画画像として生成する。このとき、漫画画像生成手段４０ｂは、コマ画像を視覚効果付与部３０内の視覚効果付コマ画像蓄積手段３０ｃに蓄積された視覚効果付コマ画像を時系列に読み出して、配置決定手段４０ａで算出された大きさに拡大・縮小を行なって、ページ領域内の算出された位置に書き込んだ、漫画画像を生成する。
【００５５】
ここで、図５に基づいて、レイアウト実行部４０で行なわれるコマ画像の配置について具体的に説明する。図５（１）は、漫画画像におけるコマ画像の流れを表わし、図５（２）は、漫画画像の重要度に基づいたコマ画像の配置を表わしている。
【００５６】
図５（１）において、例えば、ページの中に含まれる基準のコマ画像数を縦３コマ、横２コマとして、吹き出しの中に書き込む文字列が縦書きであった場合は、コマ画像をページ内の右上から逆Ｚ字型の矢印方向に従って左下へ配置された縦書き漫画画像Ｄ１が生成される。また、吹き出しの中に書き込む文字列が横書きであった場合は、コマ画像をページ内の左上からＺ字型の矢印方向に従って右下へ配置された縦書き漫画画像Ｄ２が生成される。なお、このコマ画像はページの中に含まれる基準のコマ画像数に基づいて、拡大・縮小が行なわれる。
【００５７】
また、図５（２）において、例えば、ページの中に含まれる基準のコマ画像数を縦４コマ（実際は縦３コマになっているが、その説明は後記する）、横２コマとし、ページ内に書き込まれる３番目のコマ画像の重要度が高いとき、３番目のコマ画像を通常の縦横２倍の大きさにして配置した漫画画像の例がＥ１である。また、ページ内に書き込まれる２番目のコマ画像の重要度が高いとき、２番目のコマ画像を通常の縦横２倍の大きさにして配置した漫画画像の例がＥ２である。この場合、Ｅ２に示すように１番目のコマ画像を中央に配置することで、ページ全体のバランスを保つことも可能である。
【００５８】
なお、図５（２）において、縦のコマ数が３コマしかなく、当初ページの中に含まれる基準のコマ画像数を縦４コマとした設定と異なっているのは、コマ画像の中に重要度の高いコマ画像があった場合、そのコマ画像が拡大されて書き込まれるためである。このように、基準のコマ画像数は、通常（重要度の高くない）のコマ画像を配置したときの状態を基準としている。
【００５９】
以上、一実施形態に基づいて本発明に係る漫画生成装置１の構成について説明したが、本発明はこれに限定されるものではなく、例えば、コマ画像生成部１０、情報抽出部２０、視覚効果付与部３０及びレイアウト実行部４０の各々の段階で生成される情報をＣＲＴ等の表示装置に表示させて、操作者がキーボード等の入力装置から情報の変更を行なう形態であっても構わない。
【００６０】
また、コマ画像蓄積手段１０ｂ、情報蓄積手段２０ｃ、視覚効果付コマ画像蓄積手段３０ｃ及び漫画画像蓄積手段４０ｃは、１つの蓄積手段として蓄積手段内部を各手段毎に領域を区画して使用する形態であっても構わない。この場合、前記蓄積手段は、コマ画像抽出手段１０ａによって抽出されたコマ画像を蓄積し、人物領域検出手段２０ａによって検出された人物情報と、台詞認識手段２０ｂによって生成された文字列情報及び重要度情報とを蓄積し、吹き出し付与手段３０ａまたは効果線付与手段３０ｂによって視覚効果が付加された視覚効果付コマ画像を蓄積する手段として機能する。さらに前記蓄積手段は、漫画画像生成手段４０ｂによって生成された漫画画像を蓄積する手段としても機能する。
【００６１】
また、漫画生成装置１の構成からレイアウト実行部４０を省いた構成、すなわち、コマ画像生成部１０、情報抽出部２０及び視覚効果付与部３０とした構成であっても構わない。この場合は、同一の大きさの視覚効果付コマ画像が生成され、その視覚効果付コマ画像を一枚づつ参照することで内容が把握できる。
【００６２】
なお、コマ画像抽出手段１０ａ、人物領域検出手段２０ａ、台詞認識手段２０ｂ及び吹き出し付与手段３０ａは、各機能をプログラムとして実現することも可能であり、各機能プログラムを統合して漫画生成プログラムとして機能させることも可能である。
さらに、効果線付与手段３０ｂ、配置決定手段４０ａ及び漫画画像生成手段４０ｂも、各機能をプログラムとして実現することができる。
【００６３】
（漫画生成装置の動作）
次に、図６〜図８のフローチャートに基づいて、漫画生成装置１の動作について説明する。漫画生成装置１の動作は、映像信号及び音声信号から、漫画画像生成に必要なコマ画像及び各種情報（人物情報、文字列情報及び重要度情報）を抽出する動作（コマ画像生成部１０及び情報抽出部２０）と、コマ画像に視覚効果を付与する動作（視覚効果付与部３０）と、視覚効果を付与されたコマ画像を漫画画像に配置する動作（レイアウト実行部４０）の３つに大別される。
【００６４】
図６は、入力された映像信号及び音声信号から、コマ画像生成部１０が、映像内容の切り替わりの特徴となる映像フレームを漫画の構成単位である静止画のコマ画像として抽出し、情報抽出部２０が、人物情報、文字列情報及び重要度情報を生成する動作を示すフローチャートである。
【００６５】
また、図７は、視覚効果付与部３０が、コマ画像、人物情報、文字列情報及び重要度情報に基づいて、視覚効果付コマ画像を生成する動作を示すフローチャートである。図８は、レイアウト実行部４０が、視覚効果付コマ画像と重要度情報とから漫画画像を生成する動作を示すフローチャートである。
【００６６】
まず最初に、図６に基づいて、映像信号及び音声信号から、漫画画像生成に必要なコマ画像及び各種情報（人物情報、文字列情報及び重要度情報）を抽出する動作について説明する。
【００６７】
まず、外部からの映像信号及び音声信号を入力する（ステップａ１）。なお、ここで入力される映像信号及び音声信号は、テレビ、ビデオ、ＤＶＤ、レーザディスク等の動画や音声を使用することができる。そして次に、音声信号から音声レベルの検出を開始し（ステップａ２）、映像信号から映像フレーム毎の差分を計測し（ステップａ３）、人物の台詞の開始あるいは、映像フレーム毎の差分の変化量から、計測した映像フレームが映像内容の切り替わりの特徴となる代表画像（カット点）であるかどうかを判定する（ステップａ４）。ここで、前記映像フレームが代表画像でない場合（Ｎｏ）は、ステップａ１０に進む。
【００６８】
一方、前記映像フレームが代表画像である場合（Ｙｅｓ）は、前記代表画像をコマ画像としてコマ画像蓄積手段１０ｂに蓄積しておく（ステップａ５）。また、ステップａ３において計測した映像フレーム間の差分から人物領域を抽出し人物情報を生成する（ステップａ６）。また、人物が話す台詞から音声認識により文字列情報を生成し（ステップａ７）、音声レベルの高低及び前記文字列情報の中にキーワードが含まれているかどうかを検出して、前記コマ画像の重要度情報を生成する（ステップａ８）。そして、前記人物情報、前記文字列情報及び前記重要度情報を情報蓄積手段２０ｃに蓄積しておく（ステップａ９）。
【００６９】
そして、さらに映像信号が入力されているかどうかを判定し（ステップａ１０）、映像信号が入力されている場合（Ｙｅｓ）は、ステップａ３に戻って動作を続ける。一方、映像信号の入力がなくなった状態（Ｎｏ）で動作を終了する。
【００７０】
次に、図７に基づいて、コマ画像、人物情報、文字列情報及び重要度情報から、視覚効果付コマ画像を生成する動作について説明する。
【００７１】
まず、図６の動作で生成されコマ画像蓄積手段１０ｂに蓄積されたコマ画像を読み出し（ステップｂ１）、さらに、前記コマ画像に時間的に対応した人物情報、文字列情報及び重要度情報を情報蓄積手段２０ｃから読み出す（ステップｂ２）。
【００７２】
そして、前記文字列情報から前記コマ画像に吹き出しが必要かどうかを判定し（ステップｂ３）、吹き出しが必要でない場合（Ｎｏ）は、ステップｂ８へ進み、前記コマ画像をそのまま視覚効果付コマ画像として、視覚効果付コマ画像蓄積手段３０ｃに蓄積する。
【００７３】
一方、前記コマ画像に吹き出しが必要な場合（Ｙｅｓ）は、前記人物情報、前記文字列情報及び前記重要度情報に基づいて、吹き出しの位置、大きさ及び形状を決定する（ステップｂ４）。さらに前記文字列情報の中に効果線を指定するキーワードが含まれているかどうかを判定し（ステップｂ５）、前記判定に基づいて効果線が必要な場合（Ｙｅｓ）は、効果線を前記コマ画像に描画し（ステップｂ６）、ステップｂ７へ進む。また、ステップｂ５で効果線が必要でない場合（Ｎｏ）は、ステップｂ７へ進む。
【００７４】
そして、前記文字列情報を入れた吹き出しを前記コマ画像に配置した視覚効果付コマ画像を生成し（ステップｂ７）、前記視覚効果付コマ画像を視覚効果付コマ画像蓄積手段３０ｃに蓄積しておく（ステップｂ８）。
【００７５】
次に、図８に基づいて、視覚効果付コマ画像と重要度情報とから漫画画像を生成する動作について説明する。
【００７６】
まず、図７の動作で生成され視覚効果付コマ画像蓄積手段３０ｃに蓄積された視覚効果付コマ画像を読み出し（ステップｃ１）、図６の動作で生成され情報蓄積手段２０ｃに蓄積された重要度情報を読み出す（ステップｃ２）。
【００７７】
そして、前記重要度情報に基づいて、重要度が高い（指定のキーワードが含まれている）場合は、該当するコマ画像を他のコマ画像よりも大きくしてページ領域に配置するように大きさと位置を算出する（ステップｃ３）。そして、ページ領域内に前記大きさと位置に基づいて、前記視覚効果付コマ画像を配置（必要に応じて拡大・縮小）した漫画画像を生成して外部に出力し（ステップｃ４）、動作を終了する。
【００７８】
以上、漫画生成装置１の動作について説明したが、コマ画像及び各種情報（人物情報、文字列情報及び重要度情報）を抽出する動作（図６）、コマ画像に視覚効果を付与する動作（図７）、視覚効果を付与されたコマ画像を漫画画像に配置する動作（図８）は、蓄積手段を介さずに連続動作を行なうことも可能である。
【００７９】
【発明の効果】
以上説明したとおり、本発明に係る漫画生成装置及び漫画生成プログラムでは、以下に示す優れた効果を奏する。
【００８０】
請求項１に記載の発明によれば、漫画生成装置は、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出し、前記コマ画像に登場する人物の人物領域を検出し、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成し、前記文字列情報を前記人物の台詞内容として挿入した吹き出しを、前記人物領域に基づいて、前記コマ画像に重畳することができる。
【００８１】
これにより、漫画生成装置は、映像信号（動画）と音声信号とから、映像内容の特徴となる映像フレームをコマ画像として自動的に検出することができ、さらに音声認識によって得られた人物の台詞を文字列情報として挿入した吹き出しを前記コマ画像に重畳することができるので、例えばテレビ番組から、自動的にテレビ番組の内容を把握することができる時系列に生成されたコマ画像を生成することが可能になる。
【００８３】
また、請求項１に記載の発明によれば、漫画生成装置は、映像信号の映像フレームから、タイトルの表示、パンやチルトやズーム等のカメラワークの切れ目、登場人物の動き等に基づいて、代表画像（カット点）となる静止画を抽出することができるので、効率的に代表画像を選定することができ、映像の内容を保持したまま、効率良く漫画画像を生成することができる。
【００８５】
また、請求項１に記載の発明によれば、漫画生成装置は、音声信号から、人物が話す台詞の開始タイミングに基づいて、自動的に代表画像（カット点）となる静止画を抽出することができるので、効率的に代表画像を選定することができ、映像の内容を保持したまま、効率良く漫画画像を生成することができる。
【００８７】
また、請求項１に記載の発明によれば、漫画生成装置は、人物が話した台詞が、映像内容においてどれだけの重要度を持つ台詞であるかを重要度情報によって判定することができるので、この重要度情報に基づいて、コマ画像に視覚効果を付与することで、コマ画像を単に並べた漫画を生成するのではなく、例えば、テレビ番組が持つコンテンツの娯楽性を保持した状態で、漫画画像を生成することができる。
【００８９】
さらに、請求項１に記載の発明によれば、漫画生成装置は、人物の台詞の音声レベルの強弱や、台詞の内容に基づいて、吹き出し形状を変えることができるので、静止画であるコマ画像の中で、文字列の表示だけでは伝わりにくい、人物の感情を伝えることが可能になる。
【００９０】
請求項２に記載の発明によれば、漫画生成装置は、効果線付与手段によって、人物の感情や心理状態を示すキーワードの出現を重要度情報から認識することで、前記キーワードに該当する予め設定された効果線を人物や背景等の適当な領域に付与することができる。
【００９１】
これにより、漫画生成装置は、台詞の内容に基づいて、効果線を付与することができるので、登場人物そのものを強調したり、登場人物の表情を強調したりすることで、静止画であるコマ画像の中で、文字列の表示だけでは伝わりにくい、人物の感情を伝えることが可能になる。
【００９２】
請求項３に記載の発明によれば、漫画生成装置は、配置決定手段によって、予め設定された大きさのページ領域内に適したコマ画像の大きさや、ページ領域内の配置順序に基づいたコマ画像の位置をコマ画像毎に算出することができる。
【００９３】
これにより、指定されたページの大きさに基づいて、最適なコマ画像の大きさ及び位置を算出するので、ページ領域内において、バランスのとれた漫画画像を生成するためのコマ画像の配置を自動的に決定することができる。
【００９４】
請求項４に記載の発明によれば、漫画生成装置は、配置決定手段によって、予め設定された大きさのページ領域内に適したコマ画像の大きさや、ページ領域内の配置順序に基づいたコマ画像の位置をコマ画像毎に算出することができる。また、このとき、重要度情報に基づいて、映像内容の中で重要性が高いと判定したコマ画像の大きさを通常よりも大きくすることで、重要性の高いコマ画像を強調することができる。
【００９５】
これにより、指定されたページの大きさに基づいて、最適なコマ画像の大きさ及び位置を算出するので、ページ領域内において、バランスのとれた漫画画像を生成するためのコマ画像の配置を自動的に決定することができる。また、重要性の高いコマ画像を通常のコマ画像よりも大きくして配置することができるので、より視覚効果の高いコマ画像の配置を決定することができる。
【００９６】
請求項５に記載の発明によれば、漫画生成装置は、漫画画像生成手段によって、配置決定手段で算出された大きさ及び位置に基づいて、コマ画像を拡大あるいは縮小し、ページ領域内に配置することで、１ページ内に複数のコマ画像を配置した漫画画像を生成することができる。
【００９７】
これにより、予め指定された大きさのページ内に、複数のコマ画像を配置するので、生成された漫画画像を印刷することで、可搬性に優れた紙ベースの漫画画像を生成することができ、例えば、テレビ番組という視聴時間及び視聴する場所において制約のあるコンテンツを、その娯楽性を保持しつつ、可搬性を向上させることができる。
【００９８】
請求項６に記載の発明によれば、漫画生成プログラムは、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出し、前記コマ画像に登場する人物の人物領域を検出し、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成し、前記文字列情報を前記人物の台詞内容として挿入した吹き出しを、前記人物領域に基づいて、前記コマ画像に重畳することができる。
【００９９】
これにより、漫画生成プログラムは、映像信号（動画）と音声信号とから、映像内容の特徴となる映像フレームをコマ画像として自動的に検出することができ、さらに音声認識によって得られた人物の台詞を文字列情報として挿入した吹き出しを前記コマ画像に重畳することができるので、例えばテレビ番組から、自動的にテレビ番組の内容を把握することができる時系列に生成されたコマ画像を生成することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る漫画生成装置の全体構成を示すブロック図である。
【図２】本発明の実施の形態に係る人物情報を説明するための説明図である。
【図３】本発明の実施の形態に係る吹き出しの形状及び位置を説明するための説明図である。
【図４】本発明の実施の形態に係る効果線を説明するための説明図である。
【図５】本発明の実施の形態に係るコマ画像の流れ及び配置を説明するための説明図である。
【図６】本発明の実施の形態に係る人物情報、文字列情報及び重要度情報を生成する動作を示すフローチャートである。
【図７】本発明の実施の形態に係る視覚効果付コマ画像を生成する動作を示すフローチャートである。
【図８】本発明の実施の形態に係る漫画画像を生成する動作を示すフローチャートである。
【符号の説明】
１……漫画生成装置
１０……コマ画像生成部
１０ａ……コマ画像抽出手段
１０ｂ……コマ画像蓄積手段
２０……情報抽出部
２０ａ……人物領域検出手段
２０ｂ……台詞認識手段
２０ｃ……情報蓄積手段
３０……視覚効果付与部
３０ａ……吹き出し付与手段
３０ｂ……効果線付与手段
３０ｃ……視覚効果付コマ画像蓄積手段
４０……レイアウト実行部
４０ａ……配置決定手段
４０ｂ……漫画画像生成手段
４０ｃ……漫画画像蓄積手段
【発明の属する技術分野】
本発明は、動画映像信号と音声信号とから、静止画像を時系列に並べた漫画画像を生成する漫画生成装置及び漫画生成プログラムに関する。
【０００２】
【従来の技術】
現在、漫画を自動で生成する試みは種々行なわれている。例えば、インターネット上でメッセージを交換することで、複数の人が遠隔地に居ながらリアルタイムでコミュニケーションを行なうチャット（Ｃｈａｔ）において、通常テキストで構成されるチャットのメッセージを、各ユーザが自分の好きなキャラクタを選択し、発言するときに前記キャラクタの表情と、前記キャラクタの会話内容を表示する吹き出しの形と、会話内容であるメッセージを入力することで、チャット画面上にメッセージを読み進める順番に配置された漫画画像を表示するアプリケーションが存在する。
【０００３】
また、インターネットにおける電子メールで、メール文章の引用情報に基づいてメール相互の引用関係を判断し、複数の関連のあるメールをまとめて、前記チャットにおける漫画画像を表示するのと同様に、関連のあるメール毎に漫画形式で表示するアプリケーションが存在している。
これらのアプリケーションは、通常のメッセージ形式における表示形態に比べて、視覚的に分かりやすく、効率的に情報を得ることができる。
【０００４】
【発明が解決しようとする課題】
しかしながら、前記従来の技術は、入力されたテキスト情報から、予め定められたキャラクタで漫画を生成するものであり、動画映像や音声を漫画に変換するものではない。このように、テレビ番組等の動画映像や音声から漫画画像を自動生成する技術は従来にはなく、テレビ番組から漫画画像を生成するには、動画映像から異なる場面毎の静止画像を抽出し、その静止画像毎に人物の台詞をテキスト情報として入力し、前記テキスト情報を入力した吹き出しを前記静止画像に合成するといった個々の作業を、人手を介して行なうしか方法がない。
【０００５】
本発明は、前記した技術的問題点に鑑みてなされたものであり、テレビ番組等の動画映像及び音声を自動的に漫画画像に変換し、番組コンテンツの娯楽性を保持しつつ、可搬性を向上させる漫画を生成する漫画生成装置及び漫画生成プログラムを提供することを目的とする。
【０００６】
【課題を解決するための手段】
本発明は、前記目的を達成するために提案されるものであり、まず、請求項１に記載の漫画生成装置は、入力された映像信号の連続した映像フレーム間の変化量である差分又は入力された音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出するコマ画像抽出手段と、前記映像フレームの色情報及び前記映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域内における顔領域、及び、前記人物の口の動きを検出する人物領域検出手段と、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成するとともに、前記音声信号における音声レベルの強弱と、前記文字列情報において予め設定された文字列が出現する度合いとの少なくとも１つに基づいて、前記人物の台詞の重要性の度合いを示す重要度情報を生成する台詞認識手段と、前記人物の台詞内容を挿入するための吹き出し形状を複数保持する蓄積手段と、前記台詞認識手段で生成された重要度情報と、前記人物領域検出手段で検出された人物の口の動きの有無とに基づいて、前記蓄積手段から吹き出し形状を選択し、前記文字列情報を付加して、前記コマ画像の前記顔領域に対応する位置に重畳する吹き出し付与手段と、を備える構成とした。
【０００７】
かかる構成によれば、漫画生成装置は、コマ画像抽出手段によって、入力された映像信号の連続した映像フレーム間の変化量である差分又は入力された音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出する。また、漫画生成装置は、人物領域検出手段によって、映像フレームの色情報及び映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域を検出する。また、漫画生成装置は、台詞認識手段によって、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成とともに、音声信号における音声レベルの強弱と、文字列情報において予め設定された文字列が出現する度合いとの少なくとも１つに基づいて、人物の台詞の重要性の度合いを示す重要度情報を生成する。そして、漫画生成装置は、吹き出し付与手段によって、台詞認識手段で生成された重要度情報と、人物領域検出手段で検出された人物の口の動きの有無とに基づいて、吹き出し形状を選択し、文字列情報を付加して、コマ画像の顔領域に対応する位置に重畳する。
【００１６】
また、請求項２に記載の漫画生成装置は、請求項１に記載の漫画生成装置において、人物領域と重要度情報とに基づいて、人物の感情や心理状態を強調する効果線を前記コマ画像に重畳する効果線付与手段を備える構成とした。
【００１７】
かかる構成によれば、漫画生成装置は、効果線付与手段によって、人物の感情や心理状態を示すキーワードの出現を重要度情報から認識することで、前記キーワードに該当する予め設定された効果線を人物や背景等の適当な領域に付与する。
【００１８】
さらに、請求項３に記載の漫画生成装置は、請求項１又は請求項２に記載の漫画生成装置において、時系列に生成されたコマ画像を、予め設定された大きさのページ領域内に連続して配置するための、コマ画像の大きさ及び位置を決定する配置決定手段を備える構成とした。
【００１９】
かかる構成によれば、漫画生成装置は、配置決定手段によって、予め設定された大きさのページ領域内に適したコマ画像の大きさや、ページ領域内の配置順序に基づいたコマ画像の位置をコマ画像毎に算出する。
【００２０】
また、請求項４に記載の漫画生成装置は、請求項３に記載の漫画生成装置において、配置決定手段によって、重要度情報に基づいて、前記コマ画像の大きさを変える構成とした。
【００２１】
かかる構成によれば、漫画生成装置は、配置決定手段によって、予め設定された大きさのページ領域内に適したコマ画像の大きさや、ページ領域内の配置順序に基づいたコマ画像の位置をコマ画像毎に算出する。このとき、重要度情報に基づいて、映像内容の中で重要性が高いと判定したコマ画像の大きさを通常よりも大きくすることで、重要性の高いコマ画像を強調する。
【００２２】
さらに、請求項５に記載の漫画生成装置は、請求項３又は請求項４に記載の漫画生成装置において、コマ画像の大きさ及び位置に基づいて、予め設定された大きさのページ領域内にコマ画像を配置した漫画画像を生成する漫画画像生成手段を備える構成とした。
【００２３】
かかる構成によれば、漫画生成装置は、漫画画像生成手段によって、配置決定手段で算出された大きさ及び位置に基づいて、コマ画像を拡大あるいは縮小し、ページ領域内に配置することで、１ページ内に複数のコマ画像を配置した漫画画像を生成する。
【００２４】
また、請求項６に記載の漫画生成プログラムは、入力された映像信号及び音声信号から、漫画画像を生成するためにコンピュータを、以下の各手段により機能させる構成とした。
すなわち、入力された前記映像信号の連続した映像フレーム間の変化量である差分又は前記音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出するコマ画像抽出手段、映像フレームの色情報及び前記映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域内における顔領域、及び、前記人物の口の動きを検出する人物領域検出手段、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成するとともに、前記音声信号における音声レベルの強弱と、前記文字列情報において予め設定された文字列が出現する度合いとの少なくとも１つに基づいて、前記人物の台詞の重要性の度合いを示す重要度情報を生成する台詞認識手段、前記台詞認識手段で生成された重要度情報と、前記人物領域検出手段で検出された人物の口の動きの有無とに基づいて、人物の台詞内容を挿入するための吹き出し形状を複数保持する蓄積手段から吹き出し形状を選択し、前記文字列情報を付加して、前記コマ画像の前記顔領域に対応する位置に重畳する吹き出し付与手段、とした。
【００２５】
かかる構成によれば、漫画生成プログラムは、コマ画像抽出手段によって、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出し、人物領域検出手段によって、前記コマ画像に登場する人物の人物領域を検出し、台詞認識手段によって、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成し、吹き出し付与手段によって、前記文字列情報を前記人物の台詞内容として挿入した吹き出しを、前記人物領域に基づいて、前記コマ画像に重畳する。
【００２６】
【発明の実施の形態】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
（漫画生成装置の構成）
図１は、漫画生成装置の構成を示したブロック図である。図１に示すように、漫画生成装置１は、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出し、人物の台詞を書き込んだ吹き出しを前記コマ画像に重畳し、前記コマ画像を時系列に配置した漫画画像を生成する装置である。この漫画生成装置１は、コマ画像生成部１０、情報抽出部２０、視覚効果付与部３０及びレイアウト実行部４０を備えて構成されている。
【００２７】
コマ画像生成部１０は、コマ画像抽出手段１０ａとコマ画像蓄積手段１０ｂとを備え、コマ画像抽出手段１０ａによって、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位である静止画のコマ画像として抽出生成し、生成されたコマ画像をコマ画像蓄積手段１０ｂに蓄積する。このコマ画像蓄積手段１０ｂに蓄積されたコマ画像は、視覚効果付与部３０が吹き出し等の視覚効果を付与する際の元画像となる。なお、コマ画像生成部１０は、前記コマ画像を抽出生成したときに、コマ画像生成信号を情報抽出部２０へ通知し、情報抽出部２０との同期を行なう。
【００２８】
このコマ画像抽出手段１０ａは、入力された映像信号の映像フレーム毎に、例えば、タイトルの表示、パンやチルトやズーム等のカメラワークの切れ目、登場人物の動き等の画像の変化量（映像フレーム間の差分）を計測し、この変化量が大きい映像フレームを映像内容の切り替わりの特徴となる代表画像と判定し、前記代表画像を静止画のコマ画像として抽出する。
【００２９】
ここで、前記した映像フレーム毎の画像の変化量に基づく代表画像の選定は、特開平５−３７８９３号公報の明細書に記載された「テレビジヨン信号記録装置及びテレビジヨン信号再生装置」で開示されているように、映像信号中から映像の動きを検出し、検出された映像の動きが予め設定された基準以上となる毎に、前記映像信号中からその時点の静止画を抽出することで実現することができる。また、これ以外にも、映像シーンの切り替わりを検出するいわゆるカット点検出の公知の技術を用いることが可能である。
【００３０】
また、コマ画像抽出手段１０ａは、映像信号によるコマ画像の抽出以外に、音声信号からもコマ画像の抽出を行なう。この場合、入力された音声信号の音声レベル、例えば振幅スペクトルに基づいて、人物の台詞の開始を検出し、その開始時点の映像フレームを映像内容の切り替わりの特徴となる代表画像と判定し、前記代表画像を静止画のコマ画像として抽出する。ここで、人物の台詞は必ずしも音声信号として連続しているとは限らないため、音声信号が不連続な信号であっても、その不連続間隔時間が予め定めた時間に満たない場合は連続しているとみなす。
また、コマ画像蓄積手段１０ｂは、コマ画像抽出手段１０ａによって抽出されたコマ画像を時系列に蓄積する蓄積手段で、ハードディスク等で構成される。
【００３１】
なお、コマ画像抽出手段１０ａにおいて、入力された映像信号からのコマ画像抽出と、入力された音声信号からのコマ画像抽出とを、どちらか一方のみを機能させる、あるいは、両方を機能させ、例えば音声信号が連続しているときに映像信号が切り替わった場合、どちらを優先的に使用するか等の設定は、予めキーボード等の外部入力手段（図示せず）によって指定する。
【００３２】
情報抽出部２０は、人物領域検出手段２０ａと台詞認識手段２０ｂと情報蓄積手段２０ｃとを備えている。この情報抽出部２０は、入力された映像信号から、人物領域検出手段２０ａによって、映像フレームに登場する人物の人物領域を検出し人物情報として生成し、また、入力された音声信号から、台詞認識手段２０ｂによって、前記人物が話す台詞を音声認識により文字列情報として生成する。なお、台詞認識手段２０ｂは、前記文字列情報に基づいて、その台詞の重要性の度合いを示す重要度情報を生成している。この重要度情報には、前記した音声レベルから抽出した情報も含まれる。さらに情報抽出部２０は、前記人物情報、前記文字列情報及び前記重要度情報を情報蓄積手段２０ｃに蓄積する。この情報蓄積手段２０ｃに蓄積された人物情報、文字列情報及び重要度情報は、視覚効果付与部３０がコマ画像に吹き出し等の視覚効果を付与する際の参照情報となる。さらに前記重要度情報は、レイアウト実行部４０が視覚効果付コマ画像の大きさを決定する際の参照情報となる。
【００３３】
なお、情報抽出部２０は、コマ画像生成部１０からコマ画像生成信号を通知された段階で一旦人物情報を保持し、さらに台詞の認識を開始し、次のコマ画像生成信号を通知された段階で、前記人物情報とともに文字列情報と重要度情報とを情報蓄積手段２０ｃに蓄積する。
【００３４】
人物領域検出手段２０ａは、入力された映像信号の映像フレーム毎に、登場人物の人物領域を検出する。例えば、映像フレーム間の色情報の差分によって、映像フレームの画像を前景領域と背景領域とに分割することができ、前記前景領域を人物領域として検出することができる。
【００３５】
さらに、人物領域検出手段２０ａは、前記人物領域の中で肌色の色情報を持つ領域を人物の顔の領域として検出する。ここで検出した顔の領域である顔の位置及び大きさは前記人物情報に付加される。また、同じ人物領域内で複数の肌色領域が検出された場合、例えば、顔以外に手等の領域を検出した場合などは、その肌色領域の大きさが最も大きい、あるいは、前記肌色領域の縦横比が１に近い場合に顔の領域とする等の判断基準を予め設定しておき、顔の領域を検出する。
【００３６】
ここで、前記人物情報を図１及び図２に基づいてさらに説明する。図２（１）はある時刻ｔにおける画像（映像フレームの内容）を示しており、図２（２）は、前記映像フレームの１フレーム前、すなわち時刻ｔ−１における画像（映像フレームの内容）を示している。人物領域検出手段２０ａは、この２つの映像フレームから色情報の差分を求め、前景領域である人物領域を検出する。そして、図２（３）に示すような背景領域に「０」、人物領域に「１」の値を持つ人物領域マスクデータを生成する。さらに前記人物領域マスクデータと、図２（１）の画像に基づいて肌色の色情報を持つ領域を検出し、図２（３）に示すような顔領域情報を生成する。前記人物情報は、図２（３）の顔領域情報と人物領域マスクデータとを含んだ情報である。なお、前記顔領域情報は、図２（３）において図示されているが、実際は顔の位置及び大きさを表わす数値データであり、説明の都合上図示したもので示している。
【００３７】
なお、人物領域検出手段２０ａは、前記同様に映像フレーム間の差分によって、顔の領域のみに着目して人物の口の動きを検出することも可能であり、前記人物が口を動かして台詞を話しているかどうかを前記人物情報に追加することもできる。また、動画像中で人物の心の内におけるつぶやきをナレーションで音声表示している場合、人物の口の動きと音声信号から、人物の台詞において種々の異なるパターンとして、前記人物情報に追加することもできる。
【００３８】
図１に戻って説明を続ける。
台詞認識手段２０ｂにより、人物が話す台詞を音声認識によって文字列情報に変換するのは、従来の一般的な音声認識技術を用いて実現することができる。
【００３９】
ここでまず、前記台詞の重要性の度合いについて説明する。例えば、テレビ番組等の映像・音声情報で、ある場面において登場人物の声が大きくなったとき、あるいは登場人物が番組の内容に関わりのあるキーワードを話したとき等に、前記場面が番組全体の中で重要性の高い場面であると判断することができる。
【００４０】
そこで、台詞認識手段２０ｂは、入力された音声信号の振幅スペクトル等で声の大きさすなわち音声レベルを検出し、さらに、予めキーワードを設定しておくことで、音声認識された前記文字列情報の中から前記キーワードがいくつ存在するかを検出し、前記音声レベル及びキーワードの検出数を含んだ重要度情報を生成する。
【００４１】
また、情報蓄積手段２０ｃは、人物領域検出手段２０ａによって検出された人物情報と、台詞認識手段２０ｂによって生成された文字列情報及び重要度情報とを時系列に蓄積する蓄積手段で、ハードディスク等で構成される。
【００４２】
視覚効果付与部３０は、吹き出し付与手段３０ａと効果線付与手段３０ｂと視覚効果付コマ画像蓄積手段３０ｃとを備えている。この視覚効果付与部３０は、コマ画像生成部１０で生成されたコマ画像と、情報抽出部２０で抽出された人物情報、文字列情報及び重要度情報とに基づいて、吹き出し付与手段３０ａによって、コマ画像に吹き出しを付加し、効果線付与手段３０ｂによって、コマ画像に効果線を付与し、視覚効果を高めた視覚効果付コマ画像を生成し、視覚効果付コマ画像蓄積手段３０ｃに蓄積する。この視覚効果付コマ画像蓄積手段３０ｃに蓄積された視覚効果付コマ画像は、レイアウト実行部４０がページ領域に画像を配置する際の元画像となる。
【００４３】
この吹き出し付与手段３０ａは、視覚効果付コマ画像蓄積手段３０ｃに複数の吹き出し形状を保持しており、前記コマ画像と、時間的に対応した前記人物情報、前記文字列情報及び前記重要度情報とに基づいて、人物の台詞を含んだ吹き出しを前記コマ画像に重畳する。このとき、人物の台詞は、前記文字列情報を使用する。ここで、吹き出しの中に書き込む文字列は、予めキーボード等の外部入力手段（図示せず）によって指定された、縦書きまたは横書きの方向で書き込まれる。
【００４４】
また、効果線付与手段３０ｂは、人物の感情や心理状態を強調する効果線をコマ画像に付与する。ここで、人物の感情や心理状態は、前記文字列情報から予め喜怒哀楽を表わすような言葉、例えば、「うれしい」、「悲しい」等を予めキーワードとして設定しておき、そのキーワードに基づいて、コマ画像に効果線を付加する。
【００４５】
ここで、図３及び図４に基づいて、吹き出し及び効果線の具体例について説明する。図３は、吹き出しの形状及び位置を説明するための図であり、図３（１）は、吹き出し形状の例を表わしており、図３（２）は吹き出し位置の例を表わしている。
【００４６】
例えば、図３（１）において、Ａ１は人物が通常の台詞を話す場合の吹き出し形状で、通常はこの形状を使用する。また、Ａ２は人物が叫び声で話す場合の吹き出し形状を表わしている。重要度情報に含まれる音声レベルが予め設定されているレベル以上の音声の場合はＡ２の形状を使用する。さらに、前記人物情報に人物が口を動かしていないという情報が付加されていれば、Ａ３のような心の声や想いを表現した吹き出し形状を使用する。
【００４７】
また、この吹き出しの位置は、前記人物情報に含まれる顔領域情報に基づいて決定される。例えば、顔の領域が画面中央より左側にある場合は、図３（２）のＢ１のように、画面右側に吹き出しが配置され、顔の領域が画面中央より右側にある場合は、Ｂ２のように、画面左側に吹き出しが配置される。このとき、声の発生元を表わす吹き出しのシッポ部分は、顔の領域を向くように配置し、さらに吹き出しが、顔の大きさや位置によって、画面内に収まらない場合は、吹き出し形状の縮小を行ない画面に配置する。
【００４８】
また、図４（１）、図４（２）は効果線の例を表わしている。効果線については、例えば、図４（１）のＣ１に示すように人物そのものを強調するような効果線や、図４（２）のＣ２に示すような人物の表情を強調する効果線がある。Ｃ１の場合は、前記文字列情報から、例えば、「うれしい」というキーワードを検出したときに、前記人物情報に含まれる人物領域マスクデータから、人物の重心座標を算出し、その重心座標を中心として放射線状に、前記人物領域マスクデータの領域以外の背景部分に線を引くことで実現することができる。また、Ｃ２の場合は、前記文字列情報から、例えば、「ショック」というキーワードを検出したときに、前記人物情報に含まれる顔領域情報に基づいて、線を引くことで実現することができる。
【００４９】
図１に戻って説明を続ける。
視覚効果付コマ画像蓄積手段３０ｃは、吹き出し付与手段３０ａと効果線付与手段３０ｂによって視覚効果が付加された視覚効果付コマ画像を時系列に蓄積する蓄積手段で、ハードディスク等で構成される。
【００５０】
レイアウト実行部４０は、配置決定手段４０ａと漫画画像生成手段４０ｂと漫画画像蓄積手段４０ｃとを備えている。このレイアウト実行部４０は、情報抽出部２０で生成された重要度情報と、視覚効果付与部３０で生成された視覚効果付コマ画像とに基づいて、配置決定手段４０ａによって、予め設定された大きさのページ領域内に連続して配置するための、コマ画像の大きさ及び位置を決定し、漫画画像生成手段４０ｂによって、前記ページ領域内にコマ画像を配置した漫画画像を生成し、漫画画像蓄積手段４０ｃに蓄積する。前記漫画画像を印刷する場合は、漫画画像蓄積手段４０ｃに蓄積された漫画画像をプリンタ等の外部出力手段（図示せず）に出力する。また、前記漫画画像は画像データとして、記録媒体に記憶して配付することもできる。
【００５１】
ここで、配置決定手段４０ａは、予め設定されたページ領域に視覚効果付与部３０で生成された視覚効果付コマ画像を配置するための、位置及び大きさを決定する。例えば、キーボード等の外部入力手段（図示せず）によって、ページの大きさ及びその中に含まれる基準のコマ画像数を入力し、配置決定手段４０ａが個々のコマ画像の大きさと位置を算出する。
【００５２】
このとき、配置決定手段４０ａは、吹き出し付与手段３０ａで指定された吹き出し内の文字列の方向に基づいて、前記文字列が縦書きである場合、コマ画像をページ内の右上から逆Ｚ字型の方向で左下へ配置されるように位置を算出する。また、前記文字列が横書きである場合、コマ画像をページ内の左上からＺ字型の方向で右下へ配置されるように位置を算出する。
【００５３】
さらに、配置決定手段４０ａは、情報抽出部２０で生成された重要度情報に基づいて、コマ画像の重要度が高い（指定のキーワードが含まれている）場合は、該当するコマ画像を他のコマ画像よりも大きくしてページ領域に配置するように大きさと位置を算出する。
【００５４】
また、漫画画像生成手段４０ｂは、配置決定手段４０ａで算出されたコマ画像の大きさと位置に基づいて、前記指定されたページの大きさの領域内に配置して前記コマ画像を漫画画像として生成する。このとき、漫画画像生成手段４０ｂは、コマ画像を視覚効果付与部３０内の視覚効果付コマ画像蓄積手段３０ｃに蓄積された視覚効果付コマ画像を時系列に読み出して、配置決定手段４０ａで算出された大きさに拡大・縮小を行なって、ページ領域内の算出された位置に書き込んだ、漫画画像を生成する。
【００５５】
ここで、図５に基づいて、レイアウト実行部４０で行なわれるコマ画像の配置について具体的に説明する。図５（１）は、漫画画像におけるコマ画像の流れを表わし、図５（２）は、漫画画像の重要度に基づいたコマ画像の配置を表わしている。
【００５６】
図５（１）において、例えば、ページの中に含まれる基準のコマ画像数を縦３コマ、横２コマとして、吹き出しの中に書き込む文字列が縦書きであった場合は、コマ画像をページ内の右上から逆Ｚ字型の矢印方向に従って左下へ配置された縦書き漫画画像Ｄ１が生成される。また、吹き出しの中に書き込む文字列が横書きであった場合は、コマ画像をページ内の左上からＺ字型の矢印方向に従って右下へ配置された縦書き漫画画像Ｄ２が生成される。なお、このコマ画像はページの中に含まれる基準のコマ画像数に基づいて、拡大・縮小が行なわれる。
【００５７】
また、図５（２）において、例えば、ページの中に含まれる基準のコマ画像数を縦４コマ（実際は縦３コマになっているが、その説明は後記する）、横２コマとし、ページ内に書き込まれる３番目のコマ画像の重要度が高いとき、３番目のコマ画像を通常の縦横２倍の大きさにして配置した漫画画像の例がＥ１である。また、ページ内に書き込まれる２番目のコマ画像の重要度が高いとき、２番目のコマ画像を通常の縦横２倍の大きさにして配置した漫画画像の例がＥ２である。この場合、Ｅ２に示すように１番目のコマ画像を中央に配置することで、ページ全体のバランスを保つことも可能である。
【００５８】
なお、図５（２）において、縦のコマ数が３コマしかなく、当初ページの中に含まれる基準のコマ画像数を縦４コマとした設定と異なっているのは、コマ画像の中に重要度の高いコマ画像があった場合、そのコマ画像が拡大されて書き込まれるためである。このように、基準のコマ画像数は、通常（重要度の高くない）のコマ画像を配置したときの状態を基準としている。
【００５９】
以上、一実施形態に基づいて本発明に係る漫画生成装置１の構成について説明したが、本発明はこれに限定されるものではなく、例えば、コマ画像生成部１０、情報抽出部２０、視覚効果付与部３０及びレイアウト実行部４０の各々の段階で生成される情報をＣＲＴ等の表示装置に表示させて、操作者がキーボード等の入力装置から情報の変更を行なう形態であっても構わない。
【００６０】
また、コマ画像蓄積手段１０ｂ、情報蓄積手段２０ｃ、視覚効果付コマ画像蓄積手段３０ｃ及び漫画画像蓄積手段４０ｃは、１つの蓄積手段として蓄積手段内部を各手段毎に領域を区画して使用する形態であっても構わない。この場合、前記蓄積手段は、コマ画像抽出手段１０ａによって抽出されたコマ画像を蓄積し、人物領域検出手段２０ａによって検出された人物情報と、台詞認識手段２０ｂによって生成された文字列情報及び重要度情報とを蓄積し、吹き出し付与手段３０ａまたは効果線付与手段３０ｂによって視覚効果が付加された視覚効果付コマ画像を蓄積する手段として機能する。さらに前記蓄積手段は、漫画画像生成手段４０ｂによって生成された漫画画像を蓄積する手段としても機能する。
【００６１】
また、漫画生成装置１の構成からレイアウト実行部４０を省いた構成、すなわち、コマ画像生成部１０、情報抽出部２０及び視覚効果付与部３０とした構成であっても構わない。この場合は、同一の大きさの視覚効果付コマ画像が生成され、その視覚効果付コマ画像を一枚づつ参照することで内容が把握できる。
【００６２】
なお、コマ画像抽出手段１０ａ、人物領域検出手段２０ａ、台詞認識手段２０ｂ及び吹き出し付与手段３０ａは、各機能をプログラムとして実現することも可能であり、各機能プログラムを統合して漫画生成プログラムとして機能させることも可能である。
さらに、効果線付与手段３０ｂ、配置決定手段４０ａ及び漫画画像生成手段４０ｂも、各機能をプログラムとして実現することができる。
【００６３】
（漫画生成装置の動作）
次に、図６〜図８のフローチャートに基づいて、漫画生成装置１の動作について説明する。漫画生成装置１の動作は、映像信号及び音声信号から、漫画画像生成に必要なコマ画像及び各種情報（人物情報、文字列情報及び重要度情報）を抽出する動作（コマ画像生成部１０及び情報抽出部２０）と、コマ画像に視覚効果を付与する動作（視覚効果付与部３０）と、視覚効果を付与されたコマ画像を漫画画像に配置する動作（レイアウト実行部４０）の３つに大別される。
【００６４】
図６は、入力された映像信号及び音声信号から、コマ画像生成部１０が、映像内容の切り替わりの特徴となる映像フレームを漫画の構成単位である静止画のコマ画像として抽出し、情報抽出部２０が、人物情報、文字列情報及び重要度情報を生成する動作を示すフローチャートである。
【００６５】
また、図７は、視覚効果付与部３０が、コマ画像、人物情報、文字列情報及び重要度情報に基づいて、視覚効果付コマ画像を生成する動作を示すフローチャートである。図８は、レイアウト実行部４０が、視覚効果付コマ画像と重要度情報とから漫画画像を生成する動作を示すフローチャートである。
【００６６】
まず最初に、図６に基づいて、映像信号及び音声信号から、漫画画像生成に必要なコマ画像及び各種情報（人物情報、文字列情報及び重要度情報）を抽出する動作について説明する。
【００６７】
まず、外部からの映像信号及び音声信号を入力する（ステップａ１）。なお、ここで入力される映像信号及び音声信号は、テレビ、ビデオ、ＤＶＤ、レーザディスク等の動画や音声を使用することができる。そして次に、音声信号から音声レベルの検出を開始し（ステップａ２）、映像信号から映像フレーム毎の差分を計測し（ステップａ３）、人物の台詞の開始あるいは、映像フレーム毎の差分の変化量から、計測した映像フレームが映像内容の切り替わりの特徴となる代表画像（カット点）であるかどうかを判定する（ステップａ４）。ここで、前記映像フレームが代表画像でない場合（Ｎｏ）は、ステップａ１０に進む。
【００６８】
一方、前記映像フレームが代表画像である場合（Ｙｅｓ）は、前記代表画像をコマ画像としてコマ画像蓄積手段１０ｂに蓄積しておく（ステップａ５）。また、ステップａ３において計測した映像フレーム間の差分から人物領域を抽出し人物情報を生成する（ステップａ６）。また、人物が話す台詞から音声認識により文字列情報を生成し（ステップａ７）、音声レベルの高低及び前記文字列情報の中にキーワードが含まれているかどうかを検出して、前記コマ画像の重要度情報を生成する（ステップａ８）。そして、前記人物情報、前記文字列情報及び前記重要度情報を情報蓄積手段２０ｃに蓄積しておく（ステップａ９）。
【００６９】
そして、さらに映像信号が入力されているかどうかを判定し（ステップａ１０）、映像信号が入力されている場合（Ｙｅｓ）は、ステップａ３に戻って動作を続ける。一方、映像信号の入力がなくなった状態（Ｎｏ）で動作を終了する。
【００７０】
次に、図７に基づいて、コマ画像、人物情報、文字列情報及び重要度情報から、視覚効果付コマ画像を生成する動作について説明する。
【００７１】
まず、図６の動作で生成されコマ画像蓄積手段１０ｂに蓄積されたコマ画像を読み出し（ステップｂ１）、さらに、前記コマ画像に時間的に対応した人物情報、文字列情報及び重要度情報を情報蓄積手段２０ｃから読み出す（ステップｂ２）。
【００７２】
そして、前記文字列情報から前記コマ画像に吹き出しが必要かどうかを判定し（ステップｂ３）、吹き出しが必要でない場合（Ｎｏ）は、ステップｂ８へ進み、前記コマ画像をそのまま視覚効果付コマ画像として、視覚効果付コマ画像蓄積手段３０ｃに蓄積する。
【００７３】
一方、前記コマ画像に吹き出しが必要な場合（Ｙｅｓ）は、前記人物情報、前記文字列情報及び前記重要度情報に基づいて、吹き出しの位置、大きさ及び形状を決定する（ステップｂ４）。さらに前記文字列情報の中に効果線を指定するキーワードが含まれているかどうかを判定し（ステップｂ５）、前記判定に基づいて効果線が必要な場合（Ｙｅｓ）は、効果線を前記コマ画像に描画し（ステップｂ６）、ステップｂ７へ進む。また、ステップｂ５で効果線が必要でない場合（Ｎｏ）は、ステップｂ７へ進む。
【００７４】
そして、前記文字列情報を入れた吹き出しを前記コマ画像に配置した視覚効果付コマ画像を生成し（ステップｂ７）、前記視覚効果付コマ画像を視覚効果付コマ画像蓄積手段３０ｃに蓄積しておく（ステップｂ８）。
【００７５】
次に、図８に基づいて、視覚効果付コマ画像と重要度情報とから漫画画像を生成する動作について説明する。
【００７６】
まず、図７の動作で生成され視覚効果付コマ画像蓄積手段３０ｃに蓄積された視覚効果付コマ画像を読み出し（ステップｃ１）、図６の動作で生成され情報蓄積手段２０ｃに蓄積された重要度情報を読み出す（ステップｃ２）。
【００７７】
そして、前記重要度情報に基づいて、重要度が高い（指定のキーワードが含まれている）場合は、該当するコマ画像を他のコマ画像よりも大きくしてページ領域に配置するように大きさと位置を算出する（ステップｃ３）。そして、ページ領域内に前記大きさと位置に基づいて、前記視覚効果付コマ画像を配置（必要に応じて拡大・縮小）した漫画画像を生成して外部に出力し（ステップｃ４）、動作を終了する。
【００７８】
以上、漫画生成装置１の動作について説明したが、コマ画像及び各種情報（人物情報、文字列情報及び重要度情報）を抽出する動作（図６）、コマ画像に視覚効果を付与する動作（図７）、視覚効果を付与されたコマ画像を漫画画像に配置する動作（図８）は、蓄積手段を介さずに連続動作を行なうことも可能である。
【００７９】
【発明の効果】
以上説明したとおり、本発明に係る漫画生成装置及び漫画生成プログラムでは、以下に示す優れた効果を奏する。
【００８０】
請求項１に記載の発明によれば、漫画生成装置は、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出し、前記コマ画像に登場する人物の人物領域を検出し、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成し、前記文字列情報を前記人物の台詞内容として挿入した吹き出しを、前記人物領域に基づいて、前記コマ画像に重畳することができる。
【００８１】
これにより、漫画生成装置は、映像信号（動画）と音声信号とから、映像内容の特徴となる映像フレームをコマ画像として自動的に検出することができ、さらに音声認識によって得られた人物の台詞を文字列情報として挿入した吹き出しを前記コマ画像に重畳することができるので、例えばテレビ番組から、自動的にテレビ番組の内容を把握することができる時系列に生成されたコマ画像を生成することが可能になる。
【００８３】
また、請求項１に記載の発明によれば、漫画生成装置は、映像信号の映像フレームから、タイトルの表示、パンやチルトやズーム等のカメラワークの切れ目、登場人物の動き等に基づいて、代表画像（カット点）となる静止画を抽出することができるので、効率的に代表画像を選定することができ、映像の内容を保持したまま、効率良く漫画画像を生成することができる。
【００８５】
また、請求項１に記載の発明によれば、漫画生成装置は、音声信号から、人物が話す台詞の開始タイミングに基づいて、自動的に代表画像（カット点）となる静止画を抽出することができるので、効率的に代表画像を選定することができ、映像の内容を保持したまま、効率良く漫画画像を生成することができる。
【００８７】
また、請求項１に記載の発明によれば、漫画生成装置は、人物が話した台詞が、映像内容においてどれだけの重要度を持つ台詞であるかを重要度情報によって判定することができるので、この重要度情報に基づいて、コマ画像に視覚効果を付与することで、コマ画像を単に並べた漫画を生成するのではなく、例えば、テレビ番組が持つコンテンツの娯楽性を保持した状態で、漫画画像を生成することができる。
【００８９】
さらに、請求項１に記載の発明によれば、漫画生成装置は、人物の台詞の音声レベルの強弱や、台詞の内容に基づいて、吹き出し形状を変えることができるので、静止画であるコマ画像の中で、文字列の表示だけでは伝わりにくい、人物の感情を伝えることが可能になる。
【００９０】
請求項２に記載の発明によれば、漫画生成装置は、効果線付与手段によって、人物の感情や心理状態を示すキーワードの出現を重要度情報から認識することで、前記キーワードに該当する予め設定された効果線を人物や背景等の適当な領域に付与することができる。
【００９１】
これにより、漫画生成装置は、台詞の内容に基づいて、効果線を付与することができるので、登場人物そのものを強調したり、登場人物の表情を強調したりすることで、静止画であるコマ画像の中で、文字列の表示だけでは伝わりにくい、人物の感情を伝えることが可能になる。
【００９２】
請求項３に記載の発明によれば、漫画生成装置は、配置決定手段によって、予め設定された大きさのページ領域内に適したコマ画像の大きさや、ページ領域内の配置順序に基づいたコマ画像の位置をコマ画像毎に算出することができる。
【００９３】
これにより、指定されたページの大きさに基づいて、最適なコマ画像の大きさ及び位置を算出するので、ページ領域内において、バランスのとれた漫画画像を生成するためのコマ画像の配置を自動的に決定することができる。
【００９４】
請求項４に記載の発明によれば、漫画生成装置は、配置決定手段によって、予め設定された大きさのページ領域内に適したコマ画像の大きさや、ページ領域内の配置順序に基づいたコマ画像の位置をコマ画像毎に算出することができる。また、このとき、重要度情報に基づいて、映像内容の中で重要性が高いと判定したコマ画像の大きさを通常よりも大きくすることで、重要性の高いコマ画像を強調することができる。
【００９５】
これにより、指定されたページの大きさに基づいて、最適なコマ画像の大きさ及び位置を算出するので、ページ領域内において、バランスのとれた漫画画像を生成するためのコマ画像の配置を自動的に決定することができる。また、重要性の高いコマ画像を通常のコマ画像よりも大きくして配置することができるので、より視覚効果の高いコマ画像の配置を決定することができる。
【００９６】
請求項５に記載の発明によれば、漫画生成装置は、漫画画像生成手段によって、配置決定手段で算出された大きさ及び位置に基づいて、コマ画像を拡大あるいは縮小し、ページ領域内に配置することで、１ページ内に複数のコマ画像を配置した漫画画像を生成することができる。
【００９７】
これにより、予め指定された大きさのページ内に、複数のコマ画像を配置するので、生成された漫画画像を印刷することで、可搬性に優れた紙ベースの漫画画像を生成することができ、例えば、テレビ番組という視聴時間及び視聴する場所において制約のあるコンテンツを、その娯楽性を保持しつつ、可搬性を向上させることができる。
【００９８】
請求項６に記載の発明によれば、漫画生成プログラムは、入力された映像信号及び音声信号から、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出し、前記コマ画像に登場する人物の人物領域を検出し、前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成し、前記文字列情報を前記人物の台詞内容として挿入した吹き出しを、前記人物領域に基づいて、前記コマ画像に重畳することができる。
【００９９】
これにより、漫画生成プログラムは、映像信号（動画）と音声信号とから、映像内容の特徴となる映像フレームをコマ画像として自動的に検出することができ、さらに音声認識によって得られた人物の台詞を文字列情報として挿入した吹き出しを前記コマ画像に重畳することができるので、例えばテレビ番組から、自動的にテレビ番組の内容を把握することができる時系列に生成されたコマ画像を生成することが可能になる。
【図面の簡単な説明】
【図１】本発明の実施の形態に係る漫画生成装置の全体構成を示すブロック図である。
【図２】本発明の実施の形態に係る人物情報を説明するための説明図である。
【図３】本発明の実施の形態に係る吹き出しの形状及び位置を説明するための説明図である。
【図４】本発明の実施の形態に係る効果線を説明するための説明図である。
【図５】本発明の実施の形態に係るコマ画像の流れ及び配置を説明するための説明図である。
【図６】本発明の実施の形態に係る人物情報、文字列情報及び重要度情報を生成する動作を示すフローチャートである。
【図７】本発明の実施の形態に係る視覚効果付コマ画像を生成する動作を示すフローチャートである。
【図８】本発明の実施の形態に係る漫画画像を生成する動作を示すフローチャートである。
【符号の説明】
１……漫画生成装置
１０……コマ画像生成部
１０ａ……コマ画像抽出手段
１０ｂ……コマ画像蓄積手段
２０……情報抽出部
２０ａ……人物領域検出手段
２０ｂ……台詞認識手段
２０ｃ……情報蓄積手段
３０……視覚効果付与部
３０ａ……吹き出し付与手段
３０ｂ……効果線付与手段
３０ｃ……視覚効果付コマ画像蓄積手段
４０……レイアウト実行部
４０ａ……配置決定手段
４０ｂ……漫画画像生成手段
４０ｃ……漫画画像蓄積手段
Claims (6)
- 入力された映像信号の連続した映像フレーム間の変化量である差分又は入力された音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出するコマ画像抽出手段と、
前記映像フレームの色情報及び前記映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域内における顔領域、及び、前記人物の口の動きを検出する人物領域検出手段と、
前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成するとともに、前記音声信号における音声レベルの強弱と、前記文字列情報において予め設定された文字列が出現する度合いとの少なくとも１つに基づいて、前記人物の台詞の重要性の度合いを示す重要度情報を生成する台詞認識手段と、
前記人物の台詞内容を挿入するための吹き出し形状を複数保持する蓄積手段と、
前記台詞認識手段で生成された重要度情報と、前記人物領域検出手段で検出された人物の口の動きの有無とに基づいて、前記蓄積手段から吹き出し形状を選択し、前記文字列情報を付加して、前記コマ画像の前記顔領域に対応する位置に重畳する吹き出し付与手段と、
を備えて構成されていることを特徴とする漫画生成装置。 - 前記人物領域と前記重要度情報とに基づいて、人物の感情や心理状態を強調する効果線を前記コマ画像に重畳する効果線付与手段、
を備えて構成されていることを特徴とする請求項１に記載の漫画生成装置。 - 時系列に生成された前記コマ画像を、予め設定された大きさのページ領域内に連続して配置するための、コマ画像の大きさ及び位置を決定する配置決定手段、
を備えて構成されていることを特徴とする請求項１又は請求項２に記載の漫画生成装置。 - 前記配置決定手段が、前記重要度情報に基づいて、前記コマ画像の大きさを変えることを特徴とする請求項３に記載の漫画生成装置。
- 前記コマ画像の大きさ及び位置に基づいて、予め設定された大きさのページ領域内にコマ画像を配置した漫画画像を生成する漫画画像生成手段、
を備えて構成されていることを特徴とする請求項３又は請求項４に記載の漫画生成装置。 - 入力された映像信号及び音声信号から、漫画画像を生成するためにコンピュータを、
入力された前記映像信号の連続した映像フレーム間の変化量である差分又は前記音声信号における人物の台詞の切れ目に基づいて、映像内容の切り替わりの特徴となる映像フレームを、漫画の構成単位であるコマ画像として抽出するコマ画像抽出手段、
前記映像フレームの色情報及び前記映像フレーム間の色情報の差分に基づいて、前記コマ画像に登場する人物の人物領域内における顔領域、及び、前記人物の口の動きを検出する人物領域検出手段、
前記音声信号から、音声認識された前記人物の台詞を文字列情報として生成するとともに、前記音声信号における音声レベルの強弱と、前記文字列情報において予め設定された文字列が出現する度合いとの少なくとも１つに基づいて、前記人物の台詞の重要性の度合いを示す重要度情報を生成する台詞認識手段、
前記台詞認識手段で生成された重要度情報と、前記人物領域検出手段で検出された人物の口の動きの有無とに基づいて、人物の台詞内容を挿入するための吹き出し形状を複数保持する蓄積手段から吹き出し形状を選択し、前記文字列情報を付加して、前記コマ画像の前記顔領域に対応する位置に重畳する吹き出し付与手段、
として機能させることを特徴とする漫画生成プログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001274435A JP4226237B2 (ja) | 2001-09-11 | 2001-09-11 | 漫画生成装置及び漫画生成プログラム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2001274435A JP4226237B2 (ja) | 2001-09-11 | 2001-09-11 | 漫画生成装置及び漫画生成プログラム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003085572A JP2003085572A (ja) | 2003-03-20 |
| JP4226237B2 true JP4226237B2 (ja) | 2009-02-18 |
Family
ID=19099462
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2001274435A Expired - Fee Related JP4226237B2 (ja) | 2001-09-11 | 2001-09-11 | 漫画生成装置及び漫画生成プログラム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4226237B2 (ja) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US9704279B2 (en) | 2015-03-30 | 2017-07-11 | Fujifilm Corporation | Image processing device, image processing method, program, and recording medium |
| US10373648B2 (en) | 2015-01-20 | 2019-08-06 | Samsung Electronics Co., Ltd. | Apparatus and method for editing content |
Families Citing this family (24)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7697785B2 (en) * | 2004-03-31 | 2010-04-13 | Fuji Xerox Co., Ltd. | Generating a highly condensed visual summary |
| JP2005292691A (ja) * | 2004-04-05 | 2005-10-20 | Matsushita Electric Ind Co Ltd | 動画像表示装置および動画像表示方法 |
| JP2006339817A (ja) * | 2005-05-31 | 2006-12-14 | Toshiba Corp | 情報処理装置およびその表示方法 |
| JP2006350577A (ja) | 2005-06-14 | 2006-12-28 | Fuji Xerox Co Ltd | 動作分析装置 |
| JP4710550B2 (ja) * | 2005-10-31 | 2011-06-29 | セイコーエプソン株式会社 | 画像におけるコメントレイアウト |
| JP5038836B2 (ja) * | 2007-09-28 | 2012-10-03 | 株式会社東芝 | 情報処理装置 |
| JP4954045B2 (ja) * | 2007-12-11 | 2012-06-13 | シャープ株式会社 | 電子メールフォーマット変換装置及びそれを備えた移動通信端末、画像形成装置、電子メールフォーマット変換プログラム、電子メールフォーマット変換方法 |
| JP4612669B2 (ja) * | 2007-12-25 | 2011-01-12 | 株式会社テクノフェイス | 漫画作成支援装置、およびプログラム |
| JP5237773B2 (ja) * | 2008-12-01 | 2013-07-17 | スパイシーソフト株式会社 | 画像群編集装置及び電子機器 |
| JP5209510B2 (ja) * | 2009-01-07 | 2013-06-12 | オリンパスイメージング株式会社 | 音声表示装置及びカメラ |
| JP5630541B2 (ja) * | 2009-01-20 | 2014-11-26 | ソニー株式会社 | 情報処理装置、情報処理方法およびプログラム |
| JP5540376B2 (ja) * | 2009-09-15 | 2014-07-02 | 学校法人東京工芸大学 | コマ割り画像生成装置及びプログラム |
| JP5389594B2 (ja) * | 2009-09-30 | 2014-01-15 | 富士フイルム株式会社 | 画像ファイル生成方法、そのプログラム、その記録媒体および画像ファイル生成装置 |
| JP5455546B2 (ja) * | 2009-10-19 | 2014-03-26 | キヤノン株式会社 | 情報処理装置及び情報処理方法 |
| JP5353835B2 (ja) * | 2010-06-28 | 2013-11-27 | ブラザー工業株式会社 | 情報処理プログラムおよび情報処理装置 |
| JP2012249211A (ja) * | 2011-05-31 | 2012-12-13 | Casio Comput Co Ltd | 画像ファイル生成装置、画像ファイル生成プログラム及び画像ファイル生成方法 |
| JP5790372B2 (ja) * | 2011-09-26 | 2015-10-07 | 大日本印刷株式会社 | テキスト入力支援システム、テキスト挿入方法、サーバおよびプログラム |
| WO2014042051A1 (ja) * | 2012-09-11 | 2014-03-20 | 富士フイルム株式会社 | コンテンツ作成装置、方法およびプログラム |
| JP6099511B2 (ja) * | 2013-07-26 | 2017-03-22 | 三菱電機株式会社 | ドキュメント作成装置 |
| KR101650153B1 (ko) | 2015-03-19 | 2016-08-23 | 네이버 주식회사 | 만화 데이터 편집 방법 및 만화 데이터 편집 장치 |
| JP2017058978A (ja) * | 2015-09-16 | 2017-03-23 | 富士ゼロックス株式会社 | 情報処理装置及びプログラム |
| CN111429341B (zh) * | 2020-03-27 | 2023-08-18 | 咪咕文化科技有限公司 | 一种视频处理方法、设备及计算机可读存储介质 |
| CN112699774B (zh) * | 2020-12-28 | 2024-05-24 | 深延科技(北京)有限公司 | 视频中人物的情绪识别方法及装置、计算机设备及介质 |
| JP7148172B2 (ja) * | 2021-03-03 | 2022-10-05 | ＶｏｉｃｅＡｐｐ株式会社 | 字幕表示処理プログラム、字幕表示処理装置、サーバ。 |
Family Cites Families (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JPH07264545A (ja) * | 1994-03-17 | 1995-10-13 | Matsushita Electric Ind Co Ltd | 動画再生装置 |
| JPH10261099A (ja) * | 1997-03-17 | 1998-09-29 | Casio Comput Co Ltd | 画像処理装置 |
| JPH11220689A (ja) * | 1998-01-31 | 1999-08-10 | Media Link System:Kk | 映像ソフト処理装置及び同処理プログラム記録記憶媒体 |
| JP2000061145A (ja) * | 1998-08-25 | 2000-02-29 | Namco Ltd | ゲーム装置及び情報記憶媒体 |
-
2001
- 2001-09-11 JP JP2001274435A patent/JP4226237B2/ja not_active Expired - Fee Related
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US10373648B2 (en) | 2015-01-20 | 2019-08-06 | Samsung Electronics Co., Ltd. | Apparatus and method for editing content |
| US10971188B2 (en) | 2015-01-20 | 2021-04-06 | Samsung Electronics Co., Ltd. | Apparatus and method for editing content |
| US9704279B2 (en) | 2015-03-30 | 2017-07-11 | Fujifilm Corporation | Image processing device, image processing method, program, and recording medium |
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003085572A (ja) | 2003-03-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4226237B2 (ja) | 漫画生成装置及び漫画生成プログラム | |
| WO2022048403A1 (zh) | 基于虚拟角色的多模态交互方法、装置及系统、存储介质、终端 | |
| KR101445263B1 (ko) | 맞춤형 콘텐츠 제공 시스템 및 방법 | |
| CN109118562A (zh) | 虚拟形象的讲解视频制作方法、装置以及终端 | |
| JP5553609B2 (ja) | 部分イメージを活用した言語学習コンテンツ提供システム | |
| WO2016155505A1 (zh) | 一种基于移动终端的3d动画编辑方法 | |
| US20120276504A1 (en) | Talking Teacher Visualization for Language Learning | |
| US20170287481A1 (en) | System and method to insert visual subtitles in videos | |
| JP2002150317A (ja) | 映像表示装置 | |
| JPH09138767A (ja) | 感情表現の通信装置 | |
| KR20070020252A (ko) | 메시지를 수정하기 위한 방법 및 시스템 | |
| JP2000123191A (ja) | 情報処理装置及び方法及び情報伝送システム | |
| JP5353835B2 (ja) | 情報処理プログラムおよび情報処理装置 | |
| US20220093132A1 (en) | Method for acquiring video and electronic device | |
| Steinmetz et al. | Multimedia fundamentals, volume 1: media coding and content processing | |
| JP2003248837A (ja) | 画像作成装置、画像作成システム、音声生成装置、音声生成システム、画像作成用サーバ、プログラム、および記録媒体 | |
| CN113538628A (zh) | 表情包生成方法、装置、电子设备及计算机可读存储介质 | |
| JP2016091057A (ja) | 電子機器 | |
| JP6641045B1 (ja) | コンテンツ生成システム、及びコンテンツ生成方法 | |
| KR101985669B1 (ko) | 동영상을 이용한 카툰 생성장치 및 방법 | |
| Guillot | Film subtitles and the conundrum of linguistic and cultural representation | |
| JP2004023225A (ja) | 情報通信装置およびその信号生成方法、ならびに情報通信システムおよびそのデータ通信方法 | |
| JP2002342234A (ja) | 表示方法 | |
| Wolfe et al. | Exploring localization for mouthings in sign language avatars | |
| JP2006349845A (ja) | 電子書籍表示装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060324 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080805 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20081006 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20081028 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20081126 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111205 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121205 Year of fee payment: 4 |
|
| LAPS | Cancellation because of no payment of annual fees |