JP3496866B2 - マンガ型映像編集方法及び装置ならびに該編集方法を記録した記録媒体 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、カメラ撮影やネッ
トワークを介して取得した映像を解析し、編集する際
に、その映像編集作業を容易に行うためのマンガ型映像
編集方法および装置、ならびに編集用プログラムを記録
した記録媒体に関するものである。

【０００２】

【従来の技術】小型ビデオカメラやビデオデッキの普及
により、一般の人々が映像を記録、撮影することが多く
なっている。

【０００３】しかし、映像の編集に際しては、その内容
を視聴し、内容を把握する必要があり、かつ、繰り返し
映像を視聴するなどの反復作業を必要とするため、編集
作業自体が面倒で困難なものとなり、ほとんどの人々が
編集作業を行っていないという事情がある。

【０００４】それには、幾つかの問題があると思われる
が、１つには、撮影した映像の内容を把握することが困
難であることが問題であると思われる。また、１つに
は、従来の編集機はテープメディアで編集を行うため、
テープの巻き戻しなどの時間軸方向への作業を行う必要
がある。このため、シーケンシヤルなアクセスしか許さ
れず、ランダムなアクセスができず、編集作業に多大な
時間を必要することになり、このことが原因で利用され
なかったと思われる。また、映像の視聴には、時間的な
拘束が強く与えられるため、せっかく編集が行われても
映像を第３者に視聴させる機会が少なく、障害となって
いたと考えられる。

【０００５】映像の編集を促進させるためには、 １．映像編集のための映像素材の内容把握が容易である
こと、 ２．映像編集作業が容易であること、 ３．映像編集作業の結果、制作された映像の内容がどの
ようなものか理解し易く、かつ、視聴し易くなっている
こと、 の３点が少なくとも必要であると考えられる。

【０００６】従来において、上述の問題点を解決するた
めに幾つかの方法が提案されている。

【０００７】まず、上記１、３の問題点を解決するため
に、映像の内容を簡単に把握し、かつ、視聴させる１つ
の提案として、映像情報のカット点を抽出し、その時
間、カット点直後の画像や、その画像から得られる特徴
量を抽出し、表示したり、カメラワーク情報を抽出し、
カメラワークの作用分だけ画像をずらせることで、カメ
ラワーク中に撮影された風景を全てつなぎあわせたもの
を画面上ないしは紙の上に配置して、表示するなどの方
法がいくつか提案されている（Yukinobu Taniguti、Yosh
inobu Tonomura、「PanoramaExcerpts:Extracting and p
acking Panoras for Video Browsing」 1996 ACM Multi
media 97）。

【０００８】また、上記２の問題点である映像編集にお
けるシーケンシヤルアクセスの問題点を解決するため
に、ノンリニア編集機の利用が盛んになっている。これ
は、映像をディジタル動画像化し、編集中はハードディ
スクに記録することでランダムアクセスを可能にし、容
易な編集作業を実現している。このノンリニア編集機は
すでに幾つか有名なものが提案されており、そのインタ
フエースはタイムラインを表示し、映像アイコンをタイ
ムラインに沿って表示していくというものに事実上規格
化されているといってよい。その有名な例として、Ａｖ
ｉｄ社Media ComposerやＡｄｏｂｅ社のPremiere等のシ
リーズが存在する。

【０００９】 しかし、これらは個別の問題解決でしか
ない。単純に組み合わせるだけでもある程度、問題点を
解決できるシステムが制作可能であることは期待できる
が、従来法［１］の方法は、内容の機械的な理解にはあ
る程度有効であるが、編集者の意図を完全に表現するも
のではない。第３者による内容把握を支援するために
は、映像編集制作者の意図が反映されているものが望ま
しい。制作者の意図が反映され、内容の把握が容易であ
れば、利用者各自が視聴したい映像を選択し易くなり、
利用機会が増え、利用を促進することになる。

【００１０】制作者は、映像中に様々な要素を絡み合わ
せて自らの意図を表現しようとする。例えば、映像を編
集する際に、素材となる各映像ショットおよびシーンを
自由につなぎ、切替え、音楽を追加するなど、自らの表
現したいものを生成し、別途生成したものでは表現でき
ない制作意図を込めて制作している。また、時間長、画
角、採用したショット、ショットに収められている内
容、同一ショットの中でも利用しているショットの始ま
りと終わりの位置など、利用した音楽、音楽の付加タイ
ミングなど、様々な要素を絡み合わせて制作意図を表現
しようとする。従って、映像中の様々な要素は絡み合い
全てに何らかの意味を持っている。このように、映像編
集者の制作意図は、上記のような様々な要素が絡み合っ
て構成されたものであるので、これらを解析すること
で、制作者の意図を理解する手がかりとなり得る。

【００１１】そこで、編集済み映像を解析することによ
り、制作者の意図を理解することが試みられている。制
作者の意図を理解し易くし、映像の利用を促進するため
には、内容を把握できる出力物が有効であると思われ
る。内容を把握するための出力物はすでに幾つか存在す
る。例えば、娯楽としての商業ベースの映像では、映像
中の一部映像乃至画像に、字幕、音声等を付加して加工
し、見せたい映像よりも短い映像を生成したり、宣伝用
の文章、絵、ポスターなどで利用を促進している。分か
り易い例では、テレビ番組における次回予告映像やパン
フレット等がこれに当たる。さらには、商品名ではフィ
ルムブックと呼ばれるような映像の一部を切り出して、
シナリオに含まれるセリフ情報を付加したものなども存
在する。これらは、いずれも制作者の意図による映像か
ら、その映像を特徴付けるものを、特に画像、特に文章
等で表現し、内容把握を支援し、視聴を視聴を促進する
ものである。

【００１２】しかし、そうした視聴を促進するための出
力を一々制作するのは、映像の場合は新しいコンテンツ
を制作することになり、ポスターや上述のフィルムブッ
ク等の映像とは異なる作品を制作することになる。すな
わち、編集作業にかかる労力に加えて、さらなる労力を
必要とすることになり、編集者の負担をさらに増大させ
てしまう。

【００１３】このようなことから、編集者への負担が少
なく、映像編集者の意図が分かり易い出力を映像から自
動生成するものが幾つか提案されている。例えば、画像
の代表的なもののみを表示するもの、さらには、扱い易
いようにそれらを紙に出力するもの、シナリオ等の文字
およびテキストと画像とを組み合わせるものなどが挙げ
られる。しかし、これらは、一旦編集した映像を解析
し、使用促進のための内容把握に用いる字幕や音声等の
出力を得るものであった。

【００１４】

【発明が解決しようとする課題】 編集された映像は、編
集者の制作意図によるものであるが、ひとたび編集され
た映像を解析しても、制作意図は複雑に絡み合っている
ため、制作意図を完全に表現できないことが多く、編集
された映像を後から解析するシステムには限界がある。

【００１５】それよりも、編集者の意図を反映し易いよ
うに映像編集と同時に視聴促進のための内容把握支援出
力を生成することが可能な編集システムの方が有効であ
ると考えられる。

【００１６】 本発明は上記のような問題を解決するた
めになされたものであり、その目的は、編集者が映像編
集表現マンガを生成するだけで自動的に編集した映像を
生成することにより、編集した映像と同時に映像の内容
を紹介する映像編集表現マンガを生成することが可能な
映像編集方法及び装置ならびに該編集手段を記録した記
録媒体を提供することである。

【００１７】

【課題を解決するための手段】上記目的を達成するため
に、本発明は、映像編集において、映像静止画をマンガ
のコマと見立ててマンガを編集するように映像編集を行
うことができるマンガ型インタフェースを用意し、この
マンガ型インタフェースを利用することで、映像編集
を、内容把握支援出力（映像編集表現出力）を制作しな
がら、同時あるいは並行して行なうことを可能にしたも
のである。

【００１８】 具体的には、映像素材を区間単位に分割
し、各映像区間から映像静止画を生成する映像静止画生
成段階と、該映像静止画を表示する映像静止画表示段階
と、表示された映像静止画を選択する映像静止画選択段
階と、選択された映像静止画に対して、拡大、縮小、伸
縮、回転、明度、色相の変更、テキスト情報の付加、解
像度の変更、トリミング、透明化のうち１つまたは複数
の加工を行う映像静止画加工段階と、加工された映像静
止画を電子ページ上に配置し、さらに、２個以上の映像
静止画同士の間の形状を変化させて、または、テキスト
情報を付加して映像区間の間のつなぎ方を指定して、編
集者の意図を反映した内容把握支援物である映像編集表
現マンガを作成する映像静止画配置段階と、映像編集表
現マンガを出力する映像編集表現マンガ出力段階と、映
像静止画に加えられた加工及び前記つなぎ方の指定を元
に映像静止画に対応する映像区間に対する編集操作命令
を生成する映像編集命令生成手段と、編集操作命令によ
って前記編集者の意図を反映した映像編集表現マンガに
対応する編集された映像を作成する自動映像生成段階
と、を具備することを特徴とする。これにより、簡単に
映像を編集し、かつ、容易に制作意図を的確に表現した
内容把握支援出力を得ることができる。

【００１９】 請求項２の発明は、映像編集表現マンガ
出力段階が映像編集表現マンガを電子ページ上または紙
ページ上に出力することを特徴とする。

【００２０】

【００２１】

【００２２】

【００２３】

【００２４】

【００２５】

【００２６】

【００２７】 請求項３の発明は、請求項１に記載のマ
ンガ型映像編集方法を装置化したものであり、映像素材
を区間単位に分割し、各映像区間から映像静止画を生成
する映像静止画生成手段と、該映像静止画を表示する映
像静止画表示手段と、表示された映像静止画を選択する
映像静止画選択手段と、選択された映像静止画に対し
て、拡大、縮小、伸縮、回転、明度、色相の変更、テキ
スト情報の付加、解像度の変更、トリミング、透明化の
うち１つまたは複数の加工を行う映像静止画加工手段
と、加工された映像静止画を電子ページ上に配置し、さ
らに、２個以上の映像静止画同士の間の形状を変化させ
て、または、テキスト情報を付加して映像区間の間のつ
なぎ方を指定して、編集者の意図を反映した内容把握支
援物である映像編集表現マンガを作成する映像静止画配
置手段と、映像編集表現マンガを出力する映像編集表現
マンガ出力手段と、映像静止画に加えられた加工及び前
記つなぎ方の指定を元に映像静止画に対応する映像区間
に対する編集操作命令を生成する映像編集命令生成手段
と、編集操作命令によって前記編集者の意図を反映した
映像編集表現マンガに対応する編集された映像を作成す
る自動映像生成手段と、を具備することを特徴とする。
請求項４の発明は、請求項３に従属する発明であり、映
像編集表現マンガ出力手段が映像編集表現マンガを電子
ページ上または紙ページ上に出力することを特徴とす
る。

【００２８】 請求項５の発明は、請求項１の発明をコ
ンピュータが読み取り可能なプログラムで記述し、この
プログラムを用いて本発明の映像編集方法を実施可能な
ようにする記録媒体に関するものであり、映像素材を区
間単位に分割し、各映像区間から映像静止画を生成する
映像静止画生成処理と、該映像静止画を表示する映像静
止画表示処理と、表示された映像静止画を選択する映像
静止画選択処理と、選択された映像静止画に対して、拡
大、縮小、伸縮、回転、明度、色相の変更、テキスト情
報の付加、解像度の変更、トリミング、透明化のうち１
つまたは複数の加工を行う映像静止画加工処理と、加工
された映像静止画を電子ページ上に配置し、さらに、２
個以上の映像静止画同士の間の形状を変化させて、また
は、テキスト情報を付加して映像区間の間のつなぎ方を
指定して、編集者の意図を反映した内容把握支援物であ
る映像編集表現マンガを作成する映像静止画配置処理
と、映像編集表現マンガを出力する映像編集表現マンガ
出力処理と、映像静止画に加えられた加工及び前記つな
ぎ方の指定を元に映像静止画に対応する映像区間に対す
る編集操作命令を生成する映像編集命令生成処理と、編
集操作命令によって前記編集者の意図を反映した映像編
集表現マンガに対応する編集された映像を作成する自動
映像生成処理と、を含むコンピュータが読み取り可能な
プログラムが記録されていることを特徴とする。請求項
６の発明は、請求項５に従属する発明であり、映像編集
表現マンガ出力処理が映像編集表現マンガを電子ページ
上または紙ページ上に出力することを特徴とする。

【００２９】

【発明の実施の形態】以下、本発明のマンガ型映像編集
方法及び装置について図示する実施の形態を参照して詳
細に説明する。

【００３０】図１は、本発明のマンガ型映像編集方法の
一実施の形態を示す流れ図である。

【００３１】図１において、入力映像データＶｉから、
編集された映像４の編集対象となる映像素材のインデク
ス情報であり、かつ、映像編集表現マンガ５の素材とも
なる映像静止画２を出力する。本システムの利用者（編
集者）６は、この映像静止画２をマンガ型編集インタフ
ェースと総称する編集インタフェースを使用することに
よって、映像編集表現マンガ５（映像編集表現出力）を
作成し、併せて、映像編集表現マンガ５に基づいて自動
生成される映像編集命令３を元に自動的に生成される編
集された映像４を出力させる。

【００３２】入力映像データＶｉは、映像解析手段１０
に入力される。映像解析手段１０は、入力映像データＶ
ｉが入力されると、その入力映像データＶｉを解析し、
映像解析特徴量１を出力する。この場合、入力映像デー
タＶｉは、コンピュータが解析可能なディジタル映像で
あれば良く、ＭＰＥＧやＪＰＥＧ等の圧縮符号化されて
いても構わない。また、その時間及び空間方向へのパラ
メータは任意で構わない。また、ディジタル映像でない
場合には、アナログ映像信号をキャプチャツール等によ
るディジタル化する機能を映像解析手段１０に内蔵させ
る構成であっても構わない。この入力映像データＶｉ
は、例えばファイル単位で計数した場合、１つである必
要はなく、複数個にわたっても構わない。複数個の場合
には、それらの時間的、空間的（サイズ、フレームレー
ト、音声トラックの数等の）フォーマットが異なる場合
には、それらの整合をとる機能が映像解析手段１０に付
加される。

【００３３】映像解析特徴量１は、入力映像データＶｉ
の内容を解析したものであり、ショットチェンジの変わ
り目であるカット点や漸次変化、カメラワーク、動き被
写体、被写体中の人物、等の情報から構成されている。
この映像解析特徴量１の解析方法は、次のような文献等
で知られている。すなわち、カット点および漸次変化に
ついては、特開平５−３７８５３号公報、特開平６−２
２３０４号公報、電情通学会１９９７年秋ソサエティ
「ＭＰＥＧ映像データからカット点検出に関する検討」
で知られている。また、カメラワークおよび動き被写体
の解析については、ＩＭＰＳ ９６年「ＭＰＥＧ符号の
動きベクトルを用いた映像ブラウザ」やＳＰＩＥ １９
９４年「Video Parsing Using Compressed Data」で知
られている。更に、被写体抽出については、知能情報メ
ディアシンポジウム「ニュース映像からの重要セグメン
ト抽出」で知られている。

【００３４】映像解析手段１０は、解析した映像解析特
徴量１を映像静止画生成手段１１に入力する。映像静止
画生成手段１１は、入力された映像解析特徴量を元にし
て映像静止画２を出力する。この映像静止画２は、マン
ガ型映像編集装置における映像編集表現マンガ５の素材
であると同時に、編集の為の映像情報のインデクス情報
ともなり得るものである。映像静止画２は、映像解析特
徴量を元にしており、その特徴量に応じて様々な映像静
止画２が生成される。最も簡単なものは、ショットチェ
ンジ直後のフレームをそのまま用いる場合であるが、シ
ョットチェンジ直後である必要はなく、ショットチェン
ジ直前や、ショットチェンジと次のショットチェンジの
ちょうど真ん中のものや、フレーム内の画素平均の最も
明度の高いもの、色相の高いもの等のフレームを選択す
ることで、静止画とすることもできる。また、カメラワ
ークの開始、終了、カメラワークが最大に行われている
フレームを選択しても良いし、手ぶれや、被写体の急激
な動きが急な部分を取り除いた場合や、それらの開始、
終了時のフレーム、動き被写体の有無、動き被写体の有
無に応じて動き被写体の出現、消滅等のフレーム等のフ
レームをそのまま利用することである。また、抽出され
たカメラワーク情報を元にカメラワークの動きずれを計
測し、そのずれだけ時系列に画像をずらしていくことで
生成される高精細画像等の画像を利用しても構わない。
この高精細画像中に動き被写体が存在する場合には、動
き被写体をこの高精細画像中に貼り付けたものも可能と
する。これらの映像静止画は、それぞれ映像のある時間
区間の内容を元に生成されるものであり、映像の一部の
内容を反映したものである。これら、映像静止画２に
は、それを作成した映像の一部を代表させる意味を持た
せておくこととし、リンクを与えておく。なお、リンク
は１対１である必要は必ずしもない。様々な条件によっ
て、複数のリンクが存在しても良いし、また、入れ子に
なっていても構わない。

【００３５】なお、カメラワークが最大に行われている
フレームは、例えば、カメラワークがあると判断された
各画像間の類似したブロック同士の対応付けを行ない、
動きベクトルを算出し、その算出された動きベクトルか
ら同一方向を持つものを選択し、それらの動きベクトル
の長さの平均を算出することにより、カメラワーク中の
各画像間のカメラワークベクトルの移動距離を得て、こ
の移動距離の最大の点をカメラワークが最大に行われて
いるフレームとすることによって特定することが可能で
ある。

【００３６】映像静止画２が生成されたならば、利用者
（編集者）６が扱うことができるように、マンガ型編集
インタフェースを構成する映像静止画表示手段１３にお
いて、映像静止画２を表示し、一覧可能状態にする。こ
れは、ディスプレイの一部ないしは全てにおいて、映像
静止画２の全て乃至一部を表示することによって行な
う。その場合の並べ方は、時間、明度、色相、時間長、
ファイルの属性など、さまざまな情報を反映することが
可能で、かつ、コンピュータディスプレイだけでなく、
紙等への印刷処理をも含んでよい。

【００３７】映像静止画表示手段１３によって表示され
る映像静止画２を元に、利用者は、映像静止画２の一部
ないし全てを映像静止画選択手段１４にて選択する。映
像静止画２の選択は、一度ではなく複数回選択されても
構わないものとする。

【００３８】選択された映像静止画２は、映像静止画加
工手段１５によって加工される。加工のされ方は、拡
大、縮小、伸縮、回転などの空間的な加工や、明度、色
相などの変更に加えて、字幕、擬音、マンガにおけるセ
リフ、等のテキスト情報を付加する加工であってもよ
い。また、映像静止画２の解像度を変更したり、一部な
いし全てを切り抜くトリミングや透明化をしても構わな
い。これらは、いずれもマンガを制作するために必要な
加工であり、編集者の映像編集に対する意図を表現する
重要な加工となる。ここで、コマとは、個々の映像素材
から切り出した静止画のことであり、１つのコマが１つ
のマンガに相当する。本発明は、映像素材に含まれる画
像の一部をマンガのコマに見立て、そのコマ単位のマン
ガを編集することによって、編集者の意図を表現し、そ
の意図が表現されたマンガの生成過程の情報を使用して
映像を編集するというものである。

【００３９】加工された、あるいは加工されていない映
像静止画２に対し、利用者６は、映像静止画配置手段１
６を用いて、複数乃至１つのページ上に配置していく。
各ページは、電子化された仮想的なフィールドであり、
そのページサイズ、形状、色等は任意である。もちろ
ん、全てのページを均一な条件にしても構わない。この
ページの上に加工済ないし加工無しの映像静止画２を配
置していくわけだが、その配置する場所は、任意で構わ
ない。左から右へ、上から下へというルールや、左から
右、下から上といったアレンジは自由に行って構わな
い。また、ある映像静止画２の上に、一部ないし全てが
重なるように、他の映像静止画２を配置しても構わな
い。

【００４０】複数の映像静止画２が選択され、加工さ
れ、配置されることで、入力映像の一部を利用した映像
編集表現マンガ５が作成される。この映像編集表現マン
ガ５は、映像素材の内容から生成され、その映像の内容
を反映した映像静止画２の情報を元に生成されたマンガ
であり、マンガとなさしめるセリフ、擬音等の情報を入
れ込み、映像静止画２をコマに見立て配置を工夫するこ
とによってマンガ化されたものである。これが一つの映
像を編集し、制作する場合の、利用者６の意図を反映し
た映像編集表現となっている。この映像編集表現マンガ
５は、電子ページの上で出力されたものであり、利用者
６及び第３者が自由に視聴を行うことが可能である。

【００４１】なお、この映像編集表現マンガ５の出力形
態は、電子ページ上以外にも、紙ページ上に出力させる
ことも可能である。

【００４２】一方、こうして映像静止画配置手段１６に
よって映像静止画２が配置され、映像編集表現マンガ５
が出力されたならば、映像静止画配置手段１６は、この
映像静止画２に利用者６が加えた加工、表現、配置内容
を元に、映像編集命令３を出力する。加工、配置された
映像静止画２は、ある映像区間の一部とリンクが張られ
ているもので、映像静止画２の配置による構成に基づい
てそれら配置した映像区間を自動編集することが可能で
ある。

【００４３】しかし単に並べただけでは、簡易編集でし
かないので、映像編集表現マンガ５に対してて与えられ
た加工をそのまま反映させて映像を編集生成することに
なる。このための司令となるものが、映像編集命令３で
あり、その形態は様々ものが考えられる。例えば、ある
言語を元にしたスクリプト情報であったり、それら以外
の情報であったりする。そして、この映像編集命令３を
自動映像生成手段１７に投入することで、編集された映
像４を自動生成する。

【００４４】映像編集命令３には、映像編集表現を生成
する場合に与えられた加工内容を反映するものが含まれ
ており、かつ、その加工内容を実現する機能が自動映像
生成手段１７には含まれている。

【００４５】以上の手順により、入力映像データＶｉか
ら、映像静止画２を生成し、生成された映像静止画を元
に、映像編集表現マンガ５を生成し、一方で、それに対
応する編集された映像４を生成する。ここで編集された
映像４と、映像編集表現マンガ５との関係は、映像と、
それに対応する意図を反映した映像編集表現といった関
係となり、映像を視聴したい場合の人間にとってマンガ
と映像という２つのメディアから視聴を行うことが可能
になる。

【００４６】次に、本発明の方法を実現するための装置
構成について図２のブロック図を参照して説明する。

【００４７】図２において、入力映像データＶｉから、
編集された映像を生成するために、編集対象となる映像
素材のインデクス情報であり、かつ、映像編集表現の素
材ともなる映像静止画２１を出力する。本システムを用
いる編集者２９は、この映像静止画２２をマンガ型編集
インタフェースと総称する編集者インタフェース５０に
よって映像編集表現マンガ２４を作成し、あわせて自動
生成される映像編集命令２５を元に自動的に生成される
編集された映像２６を得るように構成されている。ま
た、同時に出力された映像マンガ２７も生成され、視聴
者２８は、編集された映像２６及び出力された映像マン
ガ２７をそれぞれ視聴することができるように構成され
ている。それらの視聴はインタラクションされている場
合もある。

【００４８】入力映像データＶｉは、映像解析部４０へ
入力される。映像解析部４０は、入力映像データＶｉが
入力されると、その映像入力データＶｉを解析し、映像
解析特徴量２１を出力する。

【００４９】この場合、入力映像データＶｉは、コンピ
ュータが解析可能なディジタル映像であれば良く、ＭＰ
ＥＧやＪＰＥＧ等の圧縮符号化されていても構わない。
また、その時間及び空間方向へのパラメータは任意で構
わない。また、ディジタル映像でない場合には、アナロ
グ映像信号をキャプチャツール等のディジタル化機能を
映像解析部４０に内蔵させる構成であってもよい。入力
映像データＶｉは、例えばファイル単位で計数した場
合、１つである必要はなく、複数個にわたっても構わな
い。複数個の場合に、それらの時間的、空間的（サイ
ズ、フレームレート、音声トラックの数等の）フォーマ
ットが異なる場合には、それらの整合をとる機能が映像
解析部４０に付加される。

【００５０】映像解析特徴量２１は、前述したように、
入力映像データＶｉの映像内容を解析したものであり、
ショットチェンジの変わり目であるカット点や漸次変
化、カメラワーク、動さ被写体、被写体中の人物、等の
情報から構成されている。

【００５１】映像解析部４０は、解析した映像解析特徴
量２１を映像静止画生成部４１に入力する。映像静止画
生成部４１は、入力された映像解析特徴量２１を元にし
て映像静止画２２を出力する。この映像静止画２２は、
マンガ型映像編集装置における編集表現マンガ２４の素
材であると同時に、編集のための映像情報のインデクス
情報ともなり得るものである。すなわち、映像静止画２
２と映像区間とは対応が付けられている。したがって、
映像静止画２２に指示を与えると、対応する映像区間が
再生されたり、映像区間を編集したりするといった対応
が取られている。なお、この対応は必ずしも１対１であ
る必要はなく、１対多や、多対１、または、与えられた
指示に応じて対応が変化しても構わない。

【００５２】映像静止画２２は、映像解析特徴量２１を
元にしており、その特徴量２１に応じて様々な静止画が
生成される。最も簡単なものは、ショットチェンジ直後
のフレームをそのまま用いる場合であるが、ショットチ
ェンジ直後である必要はなく、ショットチェンジ直前
や、ショットチェンジとショットチェンジのちょうど真
ん中のものや、フレーム内の画素平均の最も明度の高い
もの、色相の高いもの等のフレームを選択することで、
静止画とすることもできる。また、カメラワークの開
始、終了、カメラワークが最大に行われているフレーム
を選訳しても良いし、手ぶれや、被写体の急激な動きが
急な部分を取り除いた場合や、それらの開始、終了時の
フレーム、動き被写体の有無、動き被写体の有無に応じ
た動き被写体の出現、消滅等のフレーム等、のフレーム
をそのまま利用することである。また、抽出されたカメ
ラワーク情報を元にカメラワークの動きずれを計測し、
そのずれだけ時系列に画像をずらしていくことで生成さ
れる高精細画像等の画像を利用しても構わない。この高
精細画像中に動き被写体が存在する場合には、動き被写
体をこの高精細画像中に貼り付けたものも可能とする。
これらの映像静止画は、それぞれ映像のある区間の内容
を元に生成されるものであり、映像の一部の内容を反映
したものである。

【００５３】以上の映像解析部４０と映像静止画生成部
４１の詳細については後述する。

【００５４】映像静止画２２が生成されたならば、編集
者２９が扱うことができるように、映像静止画表示部４
２において、その映像静止画２２を表示し、一覧表示可
能状態にする。この一覧表示は、ディスプレイの一部な
いしは全てにおいて、生成された映像静止画２２の全て
ないし一部を表示することによって行う。その場合の並
べ方は、時間、明度、色相、時間長、ファイルの属性な
ど、さまざまな情報を反映することが可能で、かつ、コ
ンピュータディスプレイだけでなく、紙等への印刷処理
をも含んでよい。この映像静止画表示部４２についても
後述する。

【００５５】映像静止画表示部４２によって表示される
映像静止画２２を元に、編集者２９は、映像静止画２２
の一部ないし全てを映像静止画選択部４３を用いて選択
する。映像静止画選択部４３における選択において、同
一の映像静止画を一度ではなく複数回選択しても構わな
い。

【００５６】選択された映像静止画２２は、映像静止画
加工部４４によって、加工される。加工のされ方は、拡
大、縮小、伸縮、回転などの空間的な加工や、明度、色
相などの変更に加えて、字幕、擬音、マンガにおけるセ
リフ、等のテキスト情報を付加しても良い。また、映像
静止画２２の解像度を変更したり、一部ないし全てを切
り抜くトリミングや透明化をしても構わない。これら
は、いずれもマンガを製作するために必要な加工であ
り、編集者２９の映像制作に対する意図を表現する重要
な加工となる。

【００５７】加工済ないし加工無しの映像静止画２２に
対し、編集者２９は、映像静止画配置部４５を用いて、
ページ上に配置していく。ページは、電子化された仮想
的なフイールドであり、そのページサイズ、形状、色等
は任意で構わない。もちろん、均一なページにしても構
わない。このページの上に加工済ないし加工無しの映像
静止画２２を配置していくわけだが、その配置する場所
は、任意で構わない。左から右へ、上から下へというル
ールや、左から右、下から上といったアレンジは自由に
行って構わない。また、ある映像静止画２２の上に、一
部ないし全てが重なるように、他の映像静止画２２を配
置しても構わない。なお、映像静止画２２を加工し、配
置するのみではなく、配置の後、さらに加工部４４へ戻
り、指示を与えて新たな加工を付加することも可能であ
る。

【００５８】これらの映像静止画表示部４２と、映像静
止画選択部４３、映像静止画加工部４４、映像静止画配
置部４５についての詳細は後述する。

【００５９】複数の映像静止画２２が選択され、加工さ
れ、配置されることで、入力映像の一部を利用した映像
編集表現マンガ２４が作成される。この映像編集表現マ
ンガ２４は、映像素材の内容から生成され、その映像の
内容を反映した映像静止画２２の情報を元に生成された
マンガであり、マンガとなさしめるセリフ、擬音等の情
報を入れ込み、そのような映像静止画２２をコマにみた
てて配置を工夫することによってマンガ化されたものと
なる。これが１つの映像を編集し、製作する場合の、編
集者の意図を反映した映像編集表現となっている。この
映像編集表現マンガ２４は、電子ページの上で出力され
たものであり、編集者２９及び視聴者２８が自由に視聴
することが可能である。なお、この映像編集表現マンガ
２４の出力形態は、電子ページ上以外にも、紙ページ上
に出力させることも可能である。

【００６０】編集者２９は、このように、映像静止画２
２を表示し、選択し、加工し、配置する等の指示を編集
者インタフェース５０を介して行う。

【００６１】一方、こうして映像静止画配置部４５によ
って加工済みの映像静止画２２が配置され、映像編集表
現マンガ２４が出力されたならば、この映像静止画２２
に与えられた加工、表現、配置内容を元に、映像編集命
令２５を映像編集命令生成部４６によって生成して出力
する。加工し配置された映像静止画２２は、ある映像区
間の一部とリンクが張られているもので、映像静止画２
２の配置による構成に基づいて、それら配置した映像区
間を自動編集することが可能である。しかし、単に並べ
ただけでは、対応する映像区間をつなぐだけの簡易編集
でしかなく、複雑な映像表現を行うことができない。そ
こで、本発明では、映像編集表現マンガ２４に対して与
えられた加工をそのまま反映させて映像を編集生成す
る。このための指示及び司令となるものが、映像編集命
令２５であり、その形態は様々なものが考えられる。例
えば、ある言語を元にしたスクリプト情報であったり、
それら以外の情報であったりする。そして、この映像編
集命令２５を自動映像生成部４８に投入することで、編
集された映像２６を自動生成する。

【００６２】映像編集命令２５には、映像編集表現を生
成する場合に与えられた加工内容を反映するものが含ま
れており、かつ、その加工内容を実現する機能が、自動
映像生成部４８に含まれている。

【００６３】このことは、映像静止画加工部４４、映像
静止画配置部４５を経て制作された映像編集表現マンガ
２４は、その制作に利用した映像静止画２２に関連する
映像の編集作業を自動的に行うための情報を内包してい
ることを意味し、この情報に基づいて映像編集命令生成
部４６が映像編集命令２５を生成し、この映像編集命令
２５に従って自動映像生成部４８が編集された映像２６
を生成して出力する。このような仕組みによって、映像
静止画２２に加えられた加工、配置等の操作が編集され
た映像２６に反映されるわけである。以上の関連につい
ては後述する。

【００６４】映像編集表現マンガ２４は、最終的に、映
像編集表現マンガ２４を出力する映像編集表現マンガ出
力部４７を介して視聴者２８が視聴可能な状態に表示さ
れる。この表示形態は、電子ページ上でも構わないし、
既存の編集ツールが読み込むことが可能な形態であって
も構わない。

【００６５】一方、自動映像生成部４８は、映像編集命
令２５にしたがって映像２６を自動生成する。最終的な
出力は、編集された映像２６であり、出力された映像マ
ンガ２７ともども、視聴者２８へは、視聴者インタフェ
ース４９を介して与えられる。これら編集者インタフェ
ース５０、視聴者インタフェース４９は、それぞれの利
用者のインタフェースとして存在し、各メディア形態に
応じてさまざまな形態の機器を利用する。例えば、コン
ピュータディスプレイであったり、紙メディアであった
りする。また、指示に関しては、コンピュータキーボー
ド、マウス、ジョイスティック、また表示と指示の特徴
を併せ持つタッチパネルディスプレイ等の利用がそれぞ
れ考えられる。

【００６６】以上の構成により、入力映像データＶｉか
ら、映像静止画２２を生成し、その生成された映像静止
画２２を元に、映像編集表現マンガ２４を生成し、一方
で、それに対応して自動編集された映像２６を生成す
る。ここで、編集された映像２６と、映像編集表現マン
ガ２４との関係は、映像と、それに対応する編集者の意
図を反映した映像編集表現といった関係となり、映像を
視聴したい場合の人間にとっては、映像内容の把握が簡
単なマンガと、そのマンガに対応する映像という２つの
メディアから視聴を行うことが可能となる。

【００６７】以下、上述の各部に対する詳細な説明を加
える。

【００６８】まず、始めに映像解析部４０とそれにより
出力される映像解析特徴量２１、及びそれらを元に映像
静止画を生成する映像静止画生成部４１について図３を
参照して説明する。

【００６９】映像解析特徴量２１とは、入力映像の特徴
量であり、ここでは、入力映像に対するインデクス情報
であり、かつ、映像静止画２２を抽出するのに十分な情
報を持つものとする。こうした映像の特徴量としては、
ショットチェンジ、カメラワーク、手ぶれ情報、色変
化、明度変化が重要であることは既に述べた通りであ
る。図３は、この映像解析部４０の機能、解析結果であ
る映像解析特徴量２１、映像静止画生成部４１の生成内
容、生成された映像静止画２２の関係を例示したもので
ある。

【００７０】一つには、ショットチェンジを映像解析部
４０で検出し、映像静止画像生成部４１では、ショット
チェンジの開始、終了、ショットチェンジ開始一定時間
後のフレームを映像静止画として生成する。

【００７１】また一つには、カメラワークを映像解析部
４０で検出し、映像静止画像生成部４１では、カメラワ
ークの開始、終了、カメラワーク開始後の一定時間のフ
レームを映像静止画として生成する。

【００７２】また一つには、動き被写体を映像解析部４
０で検出し、映像静止画像生成部４１では、動き被写体
の出現、消滅、動き被写体開始後の一定時間のフレーム
を映像静止画として生成する。

【００７３】また一つには、動き被写体を解析部で検出
し、映像静止画像生成部では、動き被写体の出現、消
滅、動き被写体開始後の一定時間のフレームを映像静止
画として生成する。

【００７４】また一つには、明度分布を映像解析部４０
で算出し、平均明度及び明度分散が著しく変化したフレ
ームを映像静止画として映像静止画生成部４１で生成す
る。これは、各分布の極大、極小値などがそれに村応す
る。

【００７５】また一つには、色相分布を映像解析部４０
で算出し、特定の色相の平均及び分散が著しく変化した
フレームを映像静止画として映像静止画生成部４１で生
成する。これは、各分布の極大、極小値などがそれに対
応する。

【００７６】また一つには、テロップ情報を映像解析部
４０で検出し、テロップの出現、消滅、テロップ変化、
テロップ出現一定時間後のフレームを映像静止画として
生成する。

【００７７】また一つには、音情報を解析し、音楽悩
報、音のレベル、音声情報の出現、消滅、出現後一定時
間、各音情報の変化したフレームを映像静止画として生
成する。

【００７８】また一つには、カメラワーク情報を抽出す
る。カメラワークの場合、画面間の相関を位置をずらし
て計算すると、高い相関を示した位置のずれが、ある一
定時間以上持続して継続する場合であり、この場合、フ
レーム間に位置はずれているものの、類似した領域が出
現することになる。この類似した領域を手がかりに複数
の画像を張り合わせていくと、カメラワークを反映した
巨大な一つの画像を構築することができる。このとき、
複数張り合わせていくと、移動しているカメラに対して
絶対座標系で静止している部分のみが残ることがある。
このコンセプトはＭＰＥＧ４等で提案されている背景抽
出とも言われており、こうしたカメラワークを反映した
背景画像を映像静止画として生成することもできる。

【００７９】また一つには、上述の背景画像において、
背景以外として消滅してしまった領域を各画像から抽出
する。これらは一般にカメラの移動以外に、何らかの移
動動作を行っていたと解釈することができ、これらは注
目すべき動き被写体であることが多く、これを抽出した
画像を映像静止画として映像静止画像生成部４１にて生
成する。

【００８０】また、一つには、上述の背景画像上に、消
滅した動き被写体をある時間間隔をもって再現する。こ
れにより、動き被写体を追跡したカメラワークを行って
いる場合の画像を映像静止画として生成することができ
る。

【００８１】また一つには、カメラワーク情報の派生し
たものである「手ぶれ情報」を検出する。画面間での相
関を位置をずらして計算した場合、高い相関を示した位
置のずれが、短時間では同一ベクトルであるが、長時間
でみるとランダムな分布にあるという特徴を利用し、手
ぶれを検出する。

【００８２】カメラワークと手ぶれ検出について、図４
にてさらに詳細に説明する。

【００８３】カメラワークが存在する場合には、画像間
で、類似していると思われる相関の高い領域を位置をず
らして探索し、高い相関を示した位置ずれを記録してお
き、ベクトルで表現する。カメラワークや手ぶれが存在
する場合には、図４に示すように、フレーム上のベクト
ルはある方向と距離をもったベクトルが集中的に現れ
る。もし、これがカメラワークや手ぶれによるカメラワ
ーク以外の場合には、このベクトルがある方向へ集中す
ることはなく、ランダムな値となる。これは、ランダム
に動く被写体が発生する場合多く見受けられる。

【００８４】ベクトルの分布に偏りが生じたとして、次
に、これが、カメラワークによるものなのか、手ぶれに
よるカメラワークなのかを判別する。この判別には、複
数フレームにわたってどのような変化が行われているか
を判別することで判断することが可能となる。分布の偏
りベクトルを仮に局所的な動き方向とすると、カメラワ
ークの場合には、図４（ｂ）に示すように、この動き方
向が複数フレームに渡って一定しているのに対し、手ぶ
れによるカメラワークの場合は、図４（ａ）に示すよう
に、規則性がなく、時間と共に動き方向が様々に変化す
ることが知られている。このことから複数フレームに渡
る動き方向を計数することで、意図的なカメラワークな
のか、手ぶれによるカメラワークなのかを判別すること
が可能となる。

【００８５】次に、映像静止画表示部４２について、図
５を用いて説明する。映像静止画表示部４２は、生成さ
れた映像静止画２２を元に、映像を表示する。映像静止
画２２の表示においては、一覧し易いように、映像解析
部４０で得られた映像解析特徴量２１を利用するなどし
て図５に示すように表示を行う。例えば、得られた時間
順、元となった映像素材の入力順、明度の高い順、カメ
ラワーク無しから有りまでのカメラワークの移動距離、
映像静止画に対応する映像区間の時間順、テロップ領域
のサイズ順、動き被写体領域のサイズ順などである。こ
れ以外にテロップ領域のサイズを採用することができ
る。また、テロップ領域の文字の切り分けができた場合
には、文字における切り出しを行うことも可能である。

【００８６】また、映像素材から生成される映像静止画
２２において、これらは、編集に用いる映像素材であ
り、映像素材に関連付けられている映像区間は、編集に
利用できる映像素材であることが最低の条件である。記
録されている映像の内容にもよるが、映像素材は、手ぶ
れ等の突発的な動きが少ないものが見易く、映像編集に
も利用し易いと言われる。映像の利用価値は、手ぶれの
有無によらず、そこに記録されている内容によるのであ
るが、手ぶれが、ある程度の指標になり得ることは知ら
れている。

【００８７】そこで、あらかじめ利用者に手ぶれの有無
を告知し、さらに、順番を提供することが出来れば非常
に有効であると思われる。ただしかし、撮影条件におい
て発生した手ぶれなのか、それとも意図的なカメラワー
クによるものかを厳密に区別することは困難である。こ
のような場合を考慮し、図６に示すように、動きベクト
ルを用いて、手ぶれ情報を考慮した映像静止画を表示す
る。

【００８８】図６において、（ａ）〜（ｄ）に示す各映
像静止画は、ショットチェンジで分類された映像区間に
基づき、かつ、ショットチェンジ直後のフレームを映像
静止画２２として選択し、表示しているものである。こ
れについては他の映像区間及び静止画を選択可能だが、
これは映像静止画の選択に基づくことであり、ここでは
省略する。

【００８９】さて、ショット単位に分類された映像に対
して手ぶれが存在するかどうかの評価を行う。映像編集
として最も扱い易いのは、動きベクトルが検出されない
静止した映像区間である。次に、安定したカメラワーク
を算出する。カメラワークの速度が速いと、映像もそれ
に応じて早く変化しており、静止している映像よりは見
ずらい場合がある。それは同時に編集にも利用しずらい
ものである。そこで、カメラワークによる移動郎離や速
度をパラメータとして見易さの基準として採用する。

【００９０】ひとつの例としては、加速度を算出し、こ
れを見易さの基準とする。あらかじめショットチェンジ
単位にカメラワークの有無が出力されているものとす
る。カメラワークが発生している場合には、その速さと
方向が算出できる。

【００９１】カメラワークが「０」すなわち静止してい
る状態では、カメラワーク加速度が「０」となり、安定
している。ついで、カメラワークが安定した一定速度で
存在する場合も、加速度が「０」に近くなることが期待
できる。一方、手ぶれがある場合には、カメラワークの
速度がランダムに変化し、加速度は「０」にならない。
同一方向でも加速や減速をすることで、加速度が発生
し、逆方向へ急激に動いた場合には、負の加速度が発生
することになる。

【００９２】加速度が小さいものほど高い安定度である
とし、図６に示すように各静止画を配置することによ
り、映像静止画によるマンガ型映像インタフェースを用
いる編集者２９は、編集に使い易い安定したカメラワー
クのものから順に映像を選択することができる。これに
より、編集者２９の選択利便性が向上する。

【００９３】映像静止画加工部４４、映像静止画配置部
４５と、それによって生成された映像編集表現マンガ２
４から、映像自動生成部４８によって自動的に生成され
る編集された映像２６との関係について、図７からはじ
まる一連の図を用いて詳細な説明を加える。

【００９４】映像静止画選択部４３によって選択された
映像静止画２２に対して加工を行い、マンガを生成する
ために配置する。これによって、映像編集表現マンガ２
４を生成する。一方で、この映像編集表現マンガ２４か
ら、編集された映像２６が自動的に生成されることか
ら、加工および配置は映像編集における加工と密接な関
係を有する。従って、幾つかある加工、配置、映像編集
のルールについて、各ケースそれぞれを説明していく。

【００９５】まず、映像静止画加工部４４における各種
加工の例について図７および図８の例を用いて説明す
る。

【００９６】一つが拡大であり、図７（ａ）に示すよう
に、映像静止画２２の一部を拡大し、切り出し、画像化
し、配置する。これにより、自動生成された映像２６
は、拡大された領域に対応する領域を拡大したものを反
映したものとなる。

【００９７】また、一つが、縮小であり、図７（ｂ）に
示すように、映像静止画２２の一部ないし全てを縮小
し、他の静止画ないしは、全く新規に用意したフレーム
枠に配置する。これを反映した映像２６は、映像の一部
を縮小し、貼り付けた映像となる。

【００９８】また、一つが、伸縮であり、図７（ｃ）に
示すように、映像静止画２２の一部を伸縮して配置す
る。映像上では、伸縮した画像領域に対応する領域を伸
縮して映像化する。拡大／縮小の場合は、縦横比は保存
しているが、伸縮の場合には、この縦横比は保存してい
なくても構わない。

【００９９】また、一つが、回転であり、図７（ｄ）に
示すように、映像の一部を回転している。映像上では、
回転した画像領域に対応する領域を映像上で加工する。
縮小、伸縮や回転によって余白部分が生じる場合は、そ
のまま余白としても良いし、他の映像静止画の一部を利
用しても良いし、映像静止画とは関係のないイメージを
用いて貼り付けても良い。

【０１００】また、一つが、明度および色相変換であ
り、図８（ａ）、（ｂ）に示すように、画像領域の一部
の明度および色相を変更させる。映像上では、加工を行
った領域に対応する領域の明度および色相を変更する。

【０１０１】また、一つが、図８（ｃ）に示すように、
例えば「ああ」といったセリフないし字幕を挿入した場
合であり、映像静止画２２の画像領域の一部にセリフな
いし字幕８１を挿入する。これは、マンガにおけるテキ
スト情報であり、重要な意味を有する。この場合、映像
上では、セリフを基に音声合践技術を用いて、図８
（ｄ）に示すように、映像中に例えば「ゴーゴー」とい
った音声あるいは擬音を挿入することが考えられる。一
方で、挿入された内容に相当するセリフないし字幕情報
をそのまま、映像上の対応する領域に挿入する。

【０１０２】ここまでの画像領域の加工は、静止画上で
簡単に行われた操作であり、映像領域で行われた操作で
はない。したがって、映像静止画２２上で指定した対象
領域が移動した場合などには、機械的に同一位置上の領
域を対象として加工を加えると、映像上でずれが生じる
可能性がある。そこで、選択された画像領域を追跡し、
対応する領域を探索し、得られる領域に対して、変更処
理を加えることで、類似した効果を示すことが可能とな
る。特に、映像編集表現マンガ２４において、被写体の
発言をセリフとして挿入する。映像において同様に挿入
されるセリフは、必ず被写体の側に存在することが望ま
しく、被写体が動いた場合には、これを追跡してセリフ
を表示することが望ましい。

【０１０３】この領域追跡の原理は、カメラワークにお
ける追跡と良く似た方法で追跡を行う。選択された領域
をいくつかのブロックに分類し、まず、そのブロック毎
に位置ずれを探索する。算出された各ブロックの位置ず
れ情報を算出し、それぞれに最も類似した位置情報を検
出する。

【０１０４】そして、図９に示すように、各位置ずれ情
報に当たる動きベクトルの情報を集約し、その中で平均
ないしは、最も数が多いベクトルのいずれかの手法によ
り領域を推定し、指定を行う。

【０１０５】さらに、セリフや字幕の挿入の場合には、
領域を追跡するだけでは不十分である。なぜなら、字幕
の配置には、被写体となる領域以外の領域に字幕情報が
配置されることが望ましい。これは被写体に字幕を付加
する場合、被写体と、その被写体が話しているという情
報と、話している内容そのものの３つにそれぞれ意味が
あると思われるため、それらを同時に表示させるために
は、被写体領域、字幕領域が互いに他を隠蔽することが
ないようにしなければならない。

【０１０６】そこで、領域を追跡し、フレーム枠との位
置関係を推定する。挿入される字幕に必要な大きさを推
定し、被写体の周辺かつ、被写体以外であり、かつフレ
ーム枠の中に収まることが望ましい。このように領域を
探索し、フレーム枠と余白と挿入するセリフサイズとの
関係からセリフを挿入する。

【０１０７】複数フレームの加工された映像静止画にお
いて、被写体が動いている場合には、利用者によって指
定された字幕領域あるいは字幕領域として予め定めてお
いた領域と被写体の位置が重なったり、離れてしまう場
合がある。その場合には、動いた被写体領域とフレーム
枠とフレーム枠との間で最適な字幕領域を決定し、字幕
を挿入する。利用者によって指定された字幕領域と被写
体の位置が重なった場合の例を図１０（ｃ）の符号１０
１，１０２で示す。この場合には、図１０（ｄ）の符号
１０３，１０４に示すように、字幕位置を被写体と重な
らない位置に変更する。なお、図１０の符号１０５は被
写体領域、１０６は字幕領域である。

【０１０８】もし、ここでセリフ字幕に対してスペース
が小さい場合には、編集された映像を時系列に分割し、
セリフ字幕を分割して挿入するようにする。これは、セ
リフの長さと、映像区間の長さとを計数し、余白の関係
から、セリフが入りきらないと判定された場合には、セ
リフを区切り、映像区間に割り当てる。セリフの区切り
かたは、機械的に文字数で区切っても良いし、カンマな
どの区切り文字を基準に区切っても構わない。

【０１０９】また、映像区間への割り当ては、映像区間
の時間長さを基に機械的に区切っても良いし、映像区間
中のカメラワークや、動き被写体の動きの変化などを基
準に区切っても構わない。

【０１１０】字幕領域が離れているかどうかの判断は、
字幕領域と被写体領域同士の最短距離から決定する。ま
た、重なっているかどうかの判断は、字幕領域と被写体
領域同士を重ねることで容易に判定することができる。
最適な位置の探索は、字幕領域を様々な方向にずらし、
フレーム内で元の領域を保てる位置を探索する。もし、
元の領域を保てない場合には、字幕領域は、そのままの
位置としても良いし、利用者に警告を発して修正を促す
などして修正させるようにしても良い。また、字幕領域
の形状を変更するなどの処理を行っても構わない。

【０１１１】なお、上述の実施例では、セリフ字幕の移
動において、セリフがフレーム毎に動くと見ずらいとい
う要求がある場合には、あらかじめ被写体の動く方向を
算出し、互いに干渉しない領域を算出し、字幕を配置す
る領域を決定し、マンガ型映像編集インタフェースで指
定されたセリフ字幕位置を中心に、もっとも近い領域
で、かつ隠蔽しない領域に配置するという応用も考えら
れる。これも上述のセリフ字幕の挿入における被写体の
追跡処理を応用し、対象映像区間で重ならない領域を算
出しておき、セリフを挿入する。この様子を図１１に示
す。

【０１１２】まず、複数フレームの被写体領域の互いに
干渉しない領域を算出する。すなわち、図１１（ｃ）に
示すように、複数フレームの被写体領域を除いた余白部
１１１を検出し、この余白部１１１を字幕を配置する領
域の候補として決定し、さらに図１１（ｄ）に示すよう
に、指定された字幕領域を中心に、最も近い領域で、か
つ被写体を隠蔽しない領域１１２を決定する。

【０１１３】そして、隠蔽しない領域１１２とフレーム
枠との関係から、隠蔽しない領域１１２の内接長方形を
求め、この内接長方形の領域を字幕挿入候補領域１１３
に決定し、この字幕挿入候補領域１１３に字幕１１４を
挿入する。なお、内接長方形は最大でも指定された字幕
領域の面積以下になるように、内接長方形の位置を決定
する。

【０１１４】なお、字幕領域が固定され、被写体領域が
動く場合、被写体の動きについていけない場合がある。
この場合には、図１１（ｆ）に示すように、吹き出し矢
印１１５を挿入し、どの被写体が話している内容なのか
を明示する。

【０１１５】なお、ナレーションなどのように被写体に
関係のない字幕が存在する場合があり得る。このような
場合は、字幕を挿入する対象の被写体を指定しないこと
になるが、挿入される字幕は、字幕領域の指定どおりに
配置したり、予め決まった位置に固定して配置するな
ど、任意に指定することができる。

【０１１６】次に、映像静止画加工部４４において、マ
ンガにおける擬音などの使用が、編集された映像に対す
る加工を以下に説明する。この擬音は、マンガにおいて
は、ＢＧＭなどに相当する場の雰囲気を持たせるものが
多い。そこで、実際の編集インタフェースでは、マンガ
用に幾つか用意された擬音と、あらかじめ対応が取られ
ているＢＧＭ集と映像とを組み合わせるという方法を用
いる。これにより、マンガの雰囲気を出す擬音語を挿入
し、かつ、映像に雰囲気に合わせた音楽環境を挿入する
ことができる。

【０１１７】いくつか特記すべき例について説明する。

【０１１８】例えば、よく利用される擬音語で「シー
ン」というものがあるが、これは非常に静かな様子を示
している。編集された映像では、静かであることを表現
するために、自動的に無音状態とする。

【０１１９】また、よく例にでる場合では、「ゴォゴ
オ」いう風音、「バン」「ドカン」という爆発音、「ワ
ンワン」、「ニャンニャン」という動物の鳴き声、「ザ
ワザワ」という群集のざわめき、「パチパチ」となる拍
手など、こうした良く利用される擬音語については、こ
れらを映像静止画上に挿入すると、あらかじめリンクさ
れた対応する環境音が引さ出されて利用することができ
る。幾つかの例を図８に示した。

【０１２０】次に、映像静止画配置部４５における配置
とそれに伴う各種操作について説明する。

【０１２１】映像静止画配置部４５では、マンガを制作
するように映像静止画２２を配置する。この様子を図１
２に示す。ここでは、既に加工が行われた映像静止画を
配置していく。なお、図１、図２に示した実施形態で
は、映像静止画加工部４４によって加工された映像静止
画しか、配置できないようであるが、加工されていない
映像静止画を配置することも可能であるし、配置後にさ
らに映像静止画加工部４４における加工を行うことも可
能である。

【０１２２】映像静止画配置部４５においては、各コマ
を図１２に示すように、電子ページ１２１の上に自由に
配置して行く。この電子ページ１２１は、サイズ、形状
とも任意でも良いし、後に紙メディアとして出力するこ
とを考慮し、あらかじめサイズ、形状などのパラメータ
を固定しておいても構わない。

【０１２３】以上のように配置すると、生成される編集
された映像２６においては、映像静止画に対応する映像
素材が、配置の順番を反映されたものとなっている。最
も単純な例は図１２に示すように映像静止画２２に対応
する映像区間をつなげていくことである。これにより、
単純に映像２６を生成できる。この際、どのように順番
をつないでいくかを明確にするために、映像静止画２２
に対して、つないでいく順番をナンバリングしておくこ
とで明確化する。

【０１２４】なお、現代のマンガにおいては、単一の条
件下のコマだけが並べられているわけではない。例えば
図１３に示すように、ある映像静止画だけ強調して表示
したい場合等が考えられる。これは自由に行って良いも
のとする。例えば、特定の映像静止画だけ巨大にする。
あるいは縮小して配置する。あるいは伸縮して配置す
る。また、トリミングを行い、特定の映像静止画のある
領域のみ表示するなどの操作である。

【０１２５】なお、映像静止画配置部４５におけるこう
した空間的な操作は、すでに述べた映像静止画加工部４
４と同様の処理を行っているようであるが、反映される
結果が異なる。映像静止画加工部４４によって行われた
加工は、映像を自動生成する際のフレーム内に対する空
間的な情報としても反映されるのに対し、映像静止画配
置部４５における上述の操作は、映像静止画２２による
映像編集表現マンガ２４にのみ有効であり、編集された
映像２６には反映されないものとする。

【０１２６】しかし、映像静止画配置部４５における操
作は上述したものだけでなく、他にも存在する。しか
も、その操作は、映像静止画２２だけでなく、編集され
た映像２６を生成する際に影響を及ぼすものもある。

【０１２７】その一例として、斜めに区切ったコマ同士
のインタラクションというものが考えられる。図１４に
示すように、配置した映像静止画１４１の片側を斜めに
した場合には、編集された映像２６では対応する映像区
間をフェード化して表示する。なお、切り方によって、
図１４（ａ）、（ｂ）のホワイトフェードと、同図
（ｃ）のブラックフェードがある。これは、切り方によ
って変動するものとする。例えば、図１４（ｂ）に示す
一連の切り方はホワイトフェードであり、同図（ｃ）に
示す一連の切り方はブラックフェードとする。同図
（ｄ）に示すように、２つの映像区間の間で斜めの切り
方がかみ合うようになっている場合には、この２つの映
像区間のつなぎは、「デイゾルブつなぎ」とする。ま
た、同図（ｅ）に示すように、映像静止画同士の間に余
白が存在しない場合には、これは、「ワイプつなぎ」で
あるとする。この他にも様々なつなぎ方が考えられる。
また、こうしたつなぎかたの指定については、映像静止
画同士の形状の変化だけでなく、文字等のテキスト情報
を付加するなど行っても良い。

【０１２８】次に、これらの加工および配置を支援する
編集者インタフェースについて説明する。

【０１２９】加工および配置インタフェースにおいて
は、電子ページと呼ぶ、形状、サイズは任意に変更可能
なフィールド上に映像静止画２２を展開する。この電子
ページは、図１５に示すように、複数のページを持つこ
とができ、いわゆるマンガのように何枚にもわたって構
成することが可能である。各ページには、映像静止画を
配置し、マンガとして構成することができる。電子ペー
ジは複数のレイヤーに別れており、複数のレイヤー別
に、映像静止画を配置し、映像静止画のナンバリングを
行うレイヤー、映像静止画加工部４４における加工を行
うレイヤー、映像静止画配置部４５における加工を行う
レイヤーといった複数の階層に分かれている。この場
合、加工内容毎にさらに複数のレイヤーに別れていても
良い。例えば、映像静止画加工部４４における空間的加
工レイヤーと、字幕レイヤーと、擬音レイヤー、明度や
色相加工レイヤー等のように別れている例である。な
お、これ以外にも、必要に応じてレイヤーを増やしても
良い。

【０１３０】なお、電子ページは、レイヤー表現されて
いるが、必要に応じて既存のノンリニア編集機で取り入
れられているタイムラインに沿って映像静止画に対応す
る映像の中身を表示して、入れ替えるなどの機能を持っ
ていても良い。なお、このタイムライン表示において
は、映像用のタイムラインでなく、その加工結果、加工
パラメータを表示するライン、明度、色を始めとする映
像の特徴量それぞれを表示するラインが付加されていて
も構わない。

【０１３１】次に、映像編集表現マンガ２４から映像編
集命令２５を出力する部分とを映像マンガ２７を出力す
る部分について説明する。出力部には２つのものが存在
する。１つが映像編集命令生成部４６であり、他の１つ
が、映像編集表現マンガ出力部４７である。

【０１３２】映像編集命令生成部４６では、映像編集表
現マンガ２４によって映像区間に与える加工及び操作に
対応した出力を行う。ここでは、他の編集ツールで扱う
ことが可能な互換性のある形式に吐き出し、自動映像生
成部４８において、他の編集ツールを起動し、映像２６
を生成させても良い。また、映像生成用のスクリプト等
の形式に吐き出し、対応するスクリプトエンジンによつ
て、映像２６を生成する形式でも構わない。一方、自動
映像生成部４８までを同時に起動し、一気に生成された
映像編集の出力を手にしても良い。また、吐き出される
映像のフォーマットや解像度などは任意に設定可能とす
る。

【０１３３】同様に、映像編集表現マンガ２４は、映像
編集表現マンガ出力部４７において出力される。この場
合、出力された映像編集表現マンガ２４をデータとして
保存するだけでなく、何らかの生成スクリプトに変換し
て出力することは可能である。例えば、有名なページ記
述言語であるポストスクリプトなどの表現形式である。
また、独自の編集スクリプトに変換し、これを伝送し、
関連する映像ファイルとの間でやりとりすることで、新
たな映像を生成することが可能である。

【０１３４】なお、紙媒体等への出力の際に、電子ペー
ジには、ページサイズや、形状の制約は設けないとした
ので、これをそのままでは出力出来ない場合が有り得
る。こうした場合、印刷のための文書整形を行うことに
する。この文書整形は、印刷だけでなく、電子データ上
の決まった形式に出力する場合にも有用である。

【０１３５】文書整形のルールは、下記に示すものを適
宜適用する。

【０１３６】その一つが図１６に示すように、一つの電
子ページ１６１の映像静止画を必ず１ページに収めると
いうものである。これは、あるページの複数のアイコン
を場合によっては縮小し、場合によっては拡大すること
で面積比を適合させ集約させる。フォント等についても
適合するように縮小する。

【０１３７】また、一つがページレイアウトに即してな
るべく１枚に配置するように整形するものである。電子
ページ内では、映像静止画に順番が付加されているた
め、この順番に応じて、映像静止画を配置していく。い
ま、紙への出力の際に、「左から右、上から下」という
ルールを設けた場合、映像静止画を順番に左上から配置
していく。次の映像静止画がすでに配置した右側に配置
可能であれば、右側に配置する。さらに次の映像静止画
が配置可能であれば、さらに右側に配置していく。図１
７の１、２、３、５のアイコンがそれに当たる。それ以
上右側に配置出来ない場合には、映像静止画の下方向に
配置する。図１７のアイコン４、６、７がこれに相当す
る。これにより、見易いマンガ表現に基づいた配置が可
能となる。さらに、これ以上の配置が困難な場合には、
次の映像静止画を次のページに出力する。図１７のアイ
コン７がそれに当たる。なお、ルールに「右から左、下
から上」という指定を行えば、これと対応した配置を行
うことも充分可能である。

【０１３８】一方、映像編集表現マンガ出力部４７を基
にした編集インタフェースと、編集された映像２６とを
組み合わせた視聴者インタフェースを構築することも可
能である。

【０１３９】一つには、図１８に示すように、映像編集
表現マンガ１８１を電子ページ上に配置し、対応する映
像静止画をクリック操作することで、対応する映像区間
を再生する方法である。映像区間の再生に当たっては、
その後の映像区間を全て再生しても良いし、指定された
映像区間だけを繰り返し再生しても良い。これらは容易
に推測できる応用である。

【０１４０】また一つには、図１９に示すように、映像
編集表現マンガ１９１上で、ある映像静止画がクリック
されると、対応する映像区間の映像を指定された映像静
止画上で再生するものである。囲１８の例では独立した
ウィンドウ上でシーケンシヤルに映像静止画が再生され
るだけであるが、この図１９の例では、映像編集表現マ
ンガ１９１の各映像静止画上で対応する映像区間が再生
される。

【０１４１】また一つには、図２０に示すように、映像
編集表現マンガ３２０１上で対応する映像区間をそれぞ
れ各映像静止画上で、独立に、かつ並列に再生するもの
である。これは、各映像静止画区間で見ると、それぞれ
独立に繰り返し再生が行われる。ただし、１つの映像静
止画に対応する映像区間の再生が終了すると、次に隣接
する映像静止画に対応する映像区間の再生が行われる。
すなわち全体では、それぞれの映像静止画がそれぞれ独
立に繰り返し再生することになるが、映像静止画の順序
に従って、隣接している静止画をみると、それぞれ映像
静止画が再生されることになる。この方法は、映像の内
容を分割して一覧しつつ、何度も同時に再生させること
で時間的拘束をうけることなく、同時に表示内容を視聴
するのに極めて有効なものとなり、従来法の代表画像の
みを表示するよりもより一覧性に優れた方法といえる。

【０１４２】このインタフェースを実現するためには、
同一ページ上の全ての映像静止画が、隣接する映像静止
画と完全に同期をとる必要が生じる。この同期を執り行
う手法を図２０の下段のタイムチャートを用いて説明す
る。図２０の電子ページでは、５個の映像静止画を有す
る例が示されている。これらを同期させながら再生する
ためには、電子ページ上の映像静止画に対応付けられた
最も長い時間長を持つ映像区間を基準に考えれば、その
最も長い時間長を持つ映像区間が次に再生してよいの
は、自らの再生が終了した直後からである。これは他の
映像区間にも当てはまる。

【０１４３】すなわち、各映像区間とも再生を開始して
から、最も長い映像区間の再生時間後に、次の再生を開
始すれば良い。最も長い映像区間の再生時間を１周期と
すると、各映像区間によっては、再生を行わない映像区
間が生じることになるが、こうした再生を行わない時間
は、映像区間の先頭のフレームや最終のフレームを表示
したり、何も表示しなくても良いが、レイアウト映像２
２で用いたフレームを表示する方が望ましい。

【０１４４】また、隣接する映像区間同士でも同期を取
る必要があり、通常の映像化した場合に該当映像区間よ
りも先に再生を開始する筈の映像区間が再生を終了した
ときから該当する映像区間の再生を開始する。

【０１４５】この同期再生を具体的に説明する。まず、
映像区間Ａ，Ｂ，Ｃが存在し、それぞれの再生に必要な
時間はａ，ｂ，ｃであり、その時間はａ＜ｂ＜ｃ、すな
わちｃが最長の時間長であるとする。

【０１４６】この場合、まず、時間「０」のとき、Ａが
再生され、ａ時間後にＢが再生され、ｂ時間後にＣが再
生される。一方、Ａは、ａ秒の時点で再生を終了し、
「ｃ−ａ」時間の間、代表画像を表示しておき、最初に
Ａが再生を開始したｃ時間後に次のＡの再生を開始す
る。すなわち、それぞれの再生タイミングは、Ａは
「０，ｃ，２ｃ，３ｃ」とｃ秒の倍数で表示され、Ｂは
「ａ，ｃ＋ａ，２ｃ＋ａ，３ｃ＋ａ」となり、Ｃは「ａ
＋ｂ，ｃ＋ａ＋ｂ，２ｃ＋ａ＋ｂ，３ｃ＋ａ＋ｂ」とい
うタイミングで再生が行われる。

【０１４７】以上のように、本発明の映像編集インタフ
ェースでは、マンガ型の映像編集表現を生成するだけ
で、自動的に映像を生成するというアプローチをとって
おり、編集した映像と同時に、映像の内容を紹介するマ
ンガとを生成するという特徴がある。この方法により、
編集者はより分かり易く、利用者にとってはより視聴し
やすい環境を構築することができる。

【０１４８】なお、この方法をコンピュータプログラム
で記載し、ＣＤ−ＲＯＭ等の記録媒体に記録して、映像
編集者が使用するコンピュータに読み込ませて実行させ
ることにより、映像データ保存媒体に保存した映像デー
タを、編集者の意図にしたがって編集することができ
る。

【０１４９】以上、本発明によるマンガ型映像編集方法
とその装置について、実施形態に基づいて具体的に説明
したが、本発明は上述の実施形態に限定されるものでは
なく、要旨を逸脱しない範囲で種々の変更が可能であ
る。

【０１５０】

【発明の効果】以上説明したように、本発明は、映像を
編集するに際し、編集者の制作意図（編集意図）を反映
するのが容易なマンガという表現形態を利用し、意図す
る表現をマンガで構成し、そのマンガを作る過程で静止
画に加えた加工、配置などの操作を編集命令に置き換
え、その編集命令に従ってマンガの元になった静止画と
対応する映像区間に対して自動編集するようにしたた
め、編集者の意図を十分に反映した編集結果を簡単な編
集作業で得ることができる。また、マンガ出力によって
編集者の意図を第３者の視聴者に的確に、かつ簡単に理
解させることができる。編集者の意図が分かり易いもの
となることにより、カメラ等で撮影された映像の利用を
拡大することができる。

【図面の簡単な説明】

【図１】本発明のマンガ型映像編集方法の一実施の形態
を示す流れ図である。

【図２】本発明の方法を実現する装置構成の一実施の形
態を示すブロック図である。

【図３】映像解析部および映像静止画生成部の機能を示
す図である。

【図４】手ぶれ情報の抽出原理を示す説明図である。

【図５】映像静止画表示部の表示例を示す図である。

【図６】映像静止画表示部の表示例を示す図である。

【図７】映像静止画加工部の加工内容の例を示す図であ
る。

【図８】映像静止画加工部の加工内容の他の例を示す図
である。

【図９】領域追跡アルゴリズムの説明図である。

【図１０】字幕挿入アルゴリズムの説明図である。

【図１１】字幕挿入アルゴリズムの他の説明図である。

【図１２】映像静止画配置部の配置例を示す図である。

【図１３】特定の映像静止画を強調表示して配置した例
を示す図である。

【図１４】特定の映像静止画を強調表示して配置した他
の例を示す図である。

【図１５】電子ページの構造例を示す図である。

【図１６】文書整形の一例を示す図である。

【図１７】文書整形の他の例を示す図である。

【図１８】視聴者インタフェースの例を示す図である。

【図１９】視聴者インタフェースの他の例を示す図であ
る。

【図２０】視聴者インタフェースのさらに他の例を示す
図である。

【符号の説明】

１…映像解析特徴量、２…映像静止画、３…映像編集命
令、４…編集された映像、５…映像編集表現マンガ、６
…利用者、８…映像静止画表示、１０…映像解析手段、
１１…映像静止画生成手段、１３…映像静止画表示手
段、１４…映像静止画選択手段、１５…映像静止画加工
手段、１６…映像静止画配置手段、１７…自動映像生成
手段、４９…視聴者インタフェース、５０…編集者イン
タフェース。

───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平９−9202（ＪＰ，Ａ) 特開 平７−65549（ＪＰ，Ａ) 特開 平４−117686（ＪＰ，Ａ) 特開 平９−247596（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) G11B 27/00 - 27/06 H04N 5/262 - 5/28 H04N 5/91 - 5/95

Claims (6)

(57)【特許請求の範囲】
1. 【請求項１】 映像内容の把握が簡単な映像編集表現マ
   ンガを制作しながら、これに対応する映像編集を行うマ
   ンガ型映像編集方法であって、 映像素材を区間単位に分割し、各映像区間から映像静止
   画を生成する映像静止画生成段階と、 該映像静止画を 表示する映像静止画表示段階と、 表示された映像静止画を選択する映像静止画選択段階
   と、 選択された映像静止画に対して、拡大、縮小、伸縮、回
   転、明度、色相の変更、テキスト情報の付加、解像度の
   変更、トリミング、透明化のうち１つまたは複数の加工
   を行う映像静止画加工段階と、 加工された映像静止画を電子ページ上に配置し、さら
   に、２個以上の映像静止画同士の間の形状を変化させ
   て、または、テキスト情報を付加して映像区間の間のつ
   なぎ方を指定して、編集者の意図を反映した内容把握支
   援物である映像編集表現マンガを作成する映像静止画配
   置段階と、映像編集表現マンガを出力する映像編集表現マンガ出力
   段階と、 映像静止画に加えられた加工及び前記つなぎ方の指定を
   元に映像静止画に対応する映像区間に対する編集操作命
   令を生成する映像編集命令生成段階と、 編集操作命令によって前記編集者の意図を反映した映像
   編集表現マンガに対応する編集された 映像を作成する自
   動映像生成段階と、を具備することを特徴とするマンガ
   型映像編集方法。
2. 【請求項２】 映像編集表現マンガ出力段階が映像編集
   表現マンガを電子ページ上または紙ページ上に出力する
   ことを特徴とする請求項１記載のマンガ型映像編集方
   法。
3. 【請求項３】 映像内容の把握が簡単な映像編集表現マ
   ンガを制作しながら、これに対応する映像編集を行うマ
   ンガ型映像編集装置であって、 映像素材を区間単位に分割し、各映像区間から映像静止
   画を生成する映像静止画生成手段と、 該映像静止画を 表示する映像静止画表示手段と、 表示された映像静止画を選択する映像静止画選択手段
   と、 選択された映像静止画に対して、拡大、縮小、伸縮、回
   転、明度、色相の変更、テキスト情報の付加、解像度の
   変更、トリミング、透明化のうち１つまたは複数の加工
   を行う映像静止画加工手段と、 加工された映像静止画を電子ページ上に配置し、さら
   に、２個以上の映像静止画同士の間の形状を変化させ
   て、または、テキスト情報を付加して映像区間の間のつ
   なぎ方を指定して、編集者の意図を反映した内容把握支
   援物である映像編集表現マンガを作成する映像静止画配
   置手段と、映像編集表現マンガを出力する映像編集表現マンガ出力
   手段と、 映像静止画に加えられた加工及び前記つなぎ方の指定を
   元に映像静止画に対応する映像区間に対する編集操作命
   令を生成する映像編集命令生成手段と、 編集操作命令によって前記編集者の意図を反映した映像
   編集表現マンガに対応する編集された 映像を作成する自
   動映像生成手段と、を具備することを特徴とするマンガ
   型映像編集装置。
4. 【請求項４】 映像編集表現マンガ出力手段が映像編集
   表現マンガを電子ページ上または紙ページ上に出力する
   ことを特徴とする請求項３記載のマンガ型映像編集装
   置。
5. 【請求項５】 映像内容の把握が簡単な映像編集表現マ
   ンガを制作しながら、これに対応する映像編集を行うマ
   ンガ型映像編集方法を実施するためのプログラムを記録
   した媒体であって、 映像素材を区間単位に分割し、各映像区間から映像静止
   画を生成する映像静止画生成処理と、 該映像静止画を 表示する映像静止画表示処理と、 表示された映像静止画を選択する映像静止画選択処理
   と、 選択された映像静止画に対して、拡大、縮小、伸縮、回
   転、明度、色相の変更、テキスト情報の付加、解像度の
   変更、トリミング、透明化のうち１つまたは複数の加工
   を行う映像静止画加工処理と、 加工された映像静止画を電子ページ上に配置し、さら
   に、２個以上の映像静止画同士の間の形状を変化させ
   て、または、テキスト情報を付加して映像区間の間のつ
   なぎ方を指定して、編集者の意図を反映した内容把握支
   援物である映像編集表現マンガを作成する映像静止画配
   置処理と、映像編集表現マンガを出力する映像編集表現マンガ出力
   処理と、 映像静止画に加えられた加工及び前記つなぎ方の指定を
   元に映像静止画に対応する映像区間に対する編集操作命
   令を生成する映像編集命令生成処理と、 編集操作命令によって前記編集者の意図を反映した映像
   編集表現マンガに対応する編集された 映像を作成する自
   動映像生成処理と、を含むコンピュータが読み取り可能
   なプログラムが記録されていることを特徴とするマンガ
   型映像編集処理用の記録媒体。
6. 【請求項６】 映像編集表現マンガ出力処理が映像編集
   表現マンガを電子ページ上または紙ページ上に出力する
   ことを特徴とする請求項５記載のマンガ型映像編集処理
   用の記録媒体。