JP4016424B2

JP4016424B2 - Moving picture editing apparatus and moving picture editing method

Info

Publication number: JP4016424B2
Application number: JP2003094486A
Authority: JP
Inventors: 剛渡辺
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2003-03-31
Filing date: 2003-03-31
Publication date: 2007-12-05
Anticipated expiration: 2023-03-31
Also published as: JP2004304486A

Description

【０００１】
【発明の属する技術分野】
本発明は、ディジタル符号化された画像を編集する動画像編集装置および動画像編集方法に関する。
【０００２】
【従来の技術】
ディジタルビデオカメラの普及などにより、ディジタル符号化された画像素材が手軽に入手できるようになり、個人でもオリジナル映像を作成したり、映像ライブラリを作成して楽しむことが広がりつつある。オリジナル映像を作成する際には、その素材映像を編集する必要があるが、オーサリングと呼ばれる編集作業は、これまで専門的知識・技術や装置を使う複雑で根気のいる作業であった。例えば、映像におけるしおりの役割をもつチャプタの設定は、映像を見ながらチャプタを設定したい位置まで再生し、その位置でチャプタポイントを設定する。つまり、始めから映像を再生して見ていなくてはならなかった。手軽に、５分ごとなどに自動的に設定する機能を持つ装置もあるが、映像の流れとは無関係に設定されるため、そのポイントの映像には特別の意味はなく単に時間経過の目安である。
このような画像編集に関する技術として、特開２００１−２１１４１９号公報では、映像データと時間軸を関連付けて表示し、時間軸に対して位置や範囲を指定するなどの操作することで製造データを編集できるような映像編集に関する技術が知られていた。
【０００３】
また、特開２００２−３３５４４２号公報では、シーン記述プログラムによって映像集する技術が知られていた。
【０００４】
【特許文献１】
特開２００１−２１１４１９号公報
特開２００２−３３５４４２号公報
【０００５】
【発明が解決しようとする課題】
本発明の目的は、専門的な知識やテクニックを有しないユーザでも簡単に画像編集を行うことができる動画像編集装置および動画像編集方法を提供することである。また、専門的な知識を有するユーザでもマルチアングルなどの用途を拡げる動画像編集装置および動画像編集方法を提供することである。
【０００６】
本発明の他の目的は、チャプタ設定を自動的に行う動画像編集装置および動画像編集方法を提供することである。
また、本発明の他の目的は、いくつかの画像をマルチアングル化する動画像編集装置および動画像編集方法を提供することである。
さらに本発明の他の目的は、専門的な知識を有するユーザが使用するような高度な機能をもつ動画像編集装置を安価に提供することである。
【０００７】
【課題を解決するための手段】
以下に、［発明の実施の形態］で使用される番号・符号を用いて、課題を解決するための手段を説明する。これらの番号・符号は、［特許請求の範囲］の記載と［発明の実施の形態］との対応関係を明らかにするために付加されたものである。ただし、それらの番号・符号を、［特許請求の範囲］に記載されている発明の技術的範囲の解釈に用いてはならない。
【０００８】
本発明の観点では、動画像編集装置は、ディスプレイに映像として表示される複数の画像と前記画像の属性を示す付属情報とを対応付けて格納する記憶部（１１）と、前記付属情報に基づいて前記画像を自動的に編集する編集部（１２）とを具備している。
【０００９】
前記付属情報は、日付と時刻とを含む時刻情報を備えている。前記編集部（１２）は、前記時刻情報に基づいて前記画像を編集する。
【００１０】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯にある。前記編集部（１２）は、前記第２時刻情報で示される時刻に対応する第１画像の位置に第２画像を挿入した画像を生成する。
【００１１】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯の前または後にある。前記編集部（１２）は、前記第１時刻情報で示される時刻と前記第２時刻情報で示される時刻の順に前記第１画像と前記第２画像を結合する。
【００１２】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す第１再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、更に再生を開始してから終了するまでの時間を示す第２再生時間情報を含んでいる。前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される前記第１時間帯と全部または一部が重複し、前記編集部（１２）は、前記第２時間帯と重複する時間帯に対応する前記第１画像の部分を前記第２画像で置換した画像を生成する。
【００１３】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す第１再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、更に再生を開始してから終了するまでの時間を示す第２再生時間情報を含んでいる。前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される第１時間帯と全部または一部が重複している。前記編集部（１２）は、前記第１時間帯と重複する時間帯に対応する前記第２画像の部分を、前記第１画像を表示する画面の一部を区切った区画内に表示する画像を生成する。
【００１４】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す第１再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、更に再生を開始してから終了するまでの時間を示す第２再生時間情報を含んでいる。前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される第１時間帯と全部または一部が重複している。前記編集部（１２）は、前記第１時間帯と重複する時間帯に対応する前記第２画像の部分と、前記第１画像の部分とのいずれかを選択して再生される同時進行する画像を生成する。
【００１５】
前記第１画像と前記第２画像は、動画であり、動画像編集装置は、複数の動画を編集する。
【００１６】
前記第１画像は動画であり、前記第２画像は静止画である。動画像編集装置は、動画と静止画を編集する。
【００１７】
前記第１画像は動画であり、前記第２画像は複数の静止画が順に設定された時間ごと再生されるいわゆるスライドショウで再生される画像である。動画像編集装置は、動画とスライドショウで再生される静止画を編集する。
【００１８】
動画像編集装置は、前記第２画像の１画面を表示する画素数を前記第１画像の１画面を表示する画素数に等しくする画像処理を行う。
【００１９】
動画像編集装置は、前記第１画像と前記第２画像とを編集した画像を、指定された符号化方式で符号化して前記記憶部に格納する。指定された符号化方式は、画像を記録する媒体などにより異なり、画像を再生する機器に適合する符号化方式を採用する。
【００２０】
動画像編集装置は、前記第２画像の先頭を、画像を区切るチャプタポイントとする。
【００２１】
前記複数の画像のうち第１画像は、動画である。第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す再生時間情報を含んでいる。前記複数の画像のうち第２画像は、静止画である。第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯にある。動画像編集装置の前記編集部は、前記第２時刻情報で示される時刻に対応する第１画像の位置を、画像を区切るチャプタポイントとする。そのチャプタポイントは、前記第２画像で識別する。いわゆるサムネイルによりチャプタポイントを示す。
【００２２】
動画像編集装置は、前記チャプタポイントで区切られたチャプタに、前記第２画像を識別する名称を付加する。
【００２３】
動画像編集装置は、前記第１画像の第１時刻情報と、第１画像の再生を開始してから終了するまでの時間を示す再生時間情報で示される時間帯に基づいて前記複数の画像の時刻情報を検索し、検索結果を前記第２画像の候補として表示する。
【００２４】
前記付属情報は、撮影した場所を示す位置情報を備えている。前記編集部（１２）は、前記位置情報に基づいて前記画像を編集する。
【００２５】
前記複数の画像のうち第１画像に対応する第１付属情報は、撮影した場所を示す第１位置情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、撮影した場所を示す第２位置情報を含んでいる。前記第２位置情報で示される場所は、前記第１位置情報で示される場所から予め定められた範囲内の地域にある。前記編集部（１２）は、前記第１画像と前記第２画像とのいずれかを選択して再生される同時進行する画像を生成する。
【００２６】
動画像編集装置は、前記第１画像の第１位置情報に基づいて前記複数の画像の位置情報を検索し、検索結果を前記第２画像の候補として表示する。
【００２７】
本発明の他の観点では、動画像編集方法は、ディスプレイに映像として表示される複数の画像と前記画像の属性を示す付属情報とを対応付けて格納する記憶ステップと、前記付属情報に基づいて前記画像を自動的に編集する編集ステップとを具備している。
【００２８】
前記付属情報は、日付と時刻とを含む時刻情報を備えている。前記編集ステップは、前記時刻情報に基づいて前記画像を編集する。
【００２９】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯にある。前記編集ステップは、前記第２時刻情報で示される時刻に対応する第１画像の位置に第２画像を挿入した画像を生成する。
【００３０】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯の前または後にある。前記編集ステップは、前記第１時刻情報で示される時刻と前記第２時刻情報で示される時刻の順に前記第１画像と前記第２画像を結合する。
【００３１】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す第１再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、更に再生を開始してから終了するまでの時間を示す第２再生時間情報を含んでいる。前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される前記第１時間帯と全部または一部が重複し、前記編集ステップは、前記第２時間帯と重複する時間帯に対応する前記第１画像の部分を前記第２画像で置換した画像を生成する。
【００３２】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す第１再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、更に再生を開始してから終了するまでの時間を示す第２再生時間情報を含んでいる。前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される第１時間帯と全部または一部が重複している。前記編集ステップは、前記第１時間帯と重複する時間帯に対応する前記第２画像の部分を、前記第１画像を表示する画面の一部を区切った区画内に表示する画像を生成する。
【００３３】
前記複数の画像のうち第１画像に対応する第１付属情報は、第１時刻情報と、更に再生を開始してから終了するまでの時間を示す第１再生時間情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、第２時刻情報と、更に再生を開始してから終了するまでの時間を示す第２再生時間情報を含んでいる。前記第２時刻情報と前記第２再生時間情報で示される第２時間帯は、前記第１時刻情報と前記再生時間情報で示される第１時間帯と全部または一部が重複している。前記編集ステップは、前記第１時間帯と重複する時間帯に対応する前記第２画像の部分と、前記第１画像の部分とのいずれかを選択して再生される同時進行する画像を生成する。
【００３４】
前記第１画像と前記第２画像は、動画であり、複数の動画の動画像編集方法を提供する。
【００３５】
前記第１画像は動画であり、前記第２画像は静止画である。動画と静止画の動画像編集方法を提供する。
【００３６】
前記第１画像は動画であり、前記第２画像は複数の静止画が順に設定された時間ごと再生されるいわゆるスライドショウで再生される画像である。動画とスライドショウで再生される静止画を編集する動画像編集方法を提供する。
【００３７】
前記第２画像の１画面を表示する画素数を前記第１画像の１画面を表示する画素数に等しくする画素数変換ステップをさらに備える動画像編集方法である。
【００３８】
前記第１画像と前記第２画像とを編集した画像は、指定された符号化方式で符号化する符号化ステップをさらに備える動画像編集方法である。指定された符号化方式は、画像を記録する媒体などにより異なり、画像を再生する機器に適合する符号化方式を採用する。
【００３９】
前記第２画像の先頭を、画像を区切るチャプタポイントとする動画像編集方法である。
【００４０】
前記複数の画像のうち第１画像は、動画である。第１画像に対応する第１付属情報は、第１時刻情報と、さらに再生を開始してから終了するまでの時間を示す再生時間情報を含んでいる。前記複数の画像のうち第２画像は、静止画である。第２画像に対応する第２付属情報に含まれる第２時刻情報は、前記第１時刻情報と前記再生時間情報で示される時間帯にある。前記編集ステップは、前記第２時刻情報で示される時刻に対応する第１画像の位置を、画像を区切るチャプタポイントとする動画像編集方法である。そのチャプタポイントは、前記第２画像で識別する。いわゆるサムネイルによりチャプタポイントを示す。
【００４１】
前記チャプタポイントで区切られたチャプタに、前記第２画像を識別する名称を付加する動画像編集方法である。
【００４２】
前記第１画像の第１時刻情報と、第１画像の再生を開始してから終了するまでの時間を示す再生時間情報で示される時間帯に基づいて前記複数の画像の時刻情報を検索し、検索結果を前記第２画像の候補として表示する動画像編集方法である。
【００４３】
前記付属情報は、撮影した場所を示す位置情報を備えている。前記編集ステップは、前記位置情報に基づいて前記画像を編集する。
【００４４】
前記複数の画像のうち第１画像に対応する第１付属情報は、撮影した場所を示す第１位置情報を含んでいる。前記複数の画像のうち第２画像に対応する第２付属情報は、撮影した場所を示す第２位置情報を含んでいる。前記第２位置情報で示される場所は、前記第１位置情報で示される場所から予め定められた範囲内の地域にある。前記編集ステップは、前記第１画像と前記第２画像とのいずれかを選択して再生される同時進行する画像を生成する。
【００４５】
前記第１画像の第１位置情報に基づいて前記複数の画像の位置情報を検索し、検索結果を前記第２画像の候補として表示する動画像編集方法である。
【００４６】
【発明の実施の形態】
上述のように符号化方式や記録媒体が多種多様であるが、編集作業は基本的におなじような操作であるため、本発明の実施の形態では、ＤＶＤ−Ｖｉｄｅｏ（ＤＶＤ：ＤｉｇｉｔａｌＶｅｒｓａｔｉｌｅＤｉｓｃ）を作成する際の編集作業を想定して説明する。ＤＶＤ−Ｖｉｄｅｏでは、符号化方式としてＭＰＥＧ−２（ＭＰＥＧ：ＭｏｖｉｎｇＰｉｃｔｕｒｅｓＥｘｐｅｒｔｓＧｒｏｕｐ）が用いられる。
【００４７】
画像編集は、ビデオ素材となる画像データの取り込み、取り込んだビデオ素材の加工、再生状態の確認、記録媒体への書き込みなどの段階がある。ビデオ素材の加工では、まず、必要なシーンを切り出し、それぞれのシーンを繋ぎ合わせて映像を作成する。さらにチャプタポイントを設定してチャプタ分割する。必要な場合はイントロビデオを追加して、メニューを作成する。画像編集は、このような手順ばかりではなく、また、当業者には周知であるため、以下、画像の付属情報に基づく画像編集に係わる部分を中心に説明する。
【００４８】
図１に本発明の実施の形態に係る動画像編集装置の構成を示す。動画像編集装置は、記憶部１１、編集部１２、表示部１３、入力部１４、記録媒体書込部１５を備えている。記憶部１１は、画像データを格納している。編集部１２は、記憶部１１に格納されている画像データを読み出し、その付属情報に基づいて画像データを編集する。表示部１３は、記憶部１１に格納している画像データを画面に表示したり、画像データの付属情報を表示する。入力部１４は、キーボード、マウスなどによって画像名称や画像の付属情報を入力したり、キャプチャボードなどから画像の入力を行う。
【００４９】
動画像編集装置は、パーソナルコンピュータで例示される情報処理装置であり、パーソナルコンピュータに限らずＤＶＤビデオレコーダなどでもテンキーやリモコンを入力手段として用いたり、画像は表示できなくてもファイル名や時刻などは表示できる表示器を備えており、その入力方法や表示方法に制限はあるが動画像編集装置として用いることは可能である。さらに、ＤＶＤビデオレコーダなどとパーソナルコンピュータを接続すると、それぞれの機能を有効に使った動画像編集装置となる。
【００５０】
記憶部１１の画像は、付属情報とともに格納されている。画像は、ファイルとして格納されているため、ファイルが持つ情報が付属情報として付随している。ここではその情報以外にも画像編集の際に付加する情報も含めて編集作業に利用する編集管理テーブルで付属情報を管理していることにする。このようなテーブルを設けなくても管理可能である。付属情報には、画像の属性、時刻情報が含まれている。画像の属性として、画像が格納されているファイル名やファイルサイズ、符号化方式、動画／静止画の区別などが含まれている。時刻情報は、その画像の開始時刻と終了時刻が含まれている。開始時刻は、画像編集の基準となるので撮影開始の日付時刻または、それに相当する日付時刻とする方が編集作業は簡単になる。動画像編集装置に取り込んだ日付時刻でもよく、また、編集する際に開始時刻を変更してもよい。終了時刻は、符号化の方式が明確になっていればファイルサイズから再生時間を計算できるので、開始時間を基に計算できる。
【００５１】
静止画の場合は、その再生時間は予め設定しておくこともできるし、静止画を取り込んだ時に入力することもできるし、編集するときに入力したり変更することができる。また、フォルダ（ディレクトリ）などでひとまとめになっている静止画は、そのフォルダの単位で動画と同様に扱うこともできる。その場合、静止画はスライドショウと呼ばれる静止画を順次再生していく形式で再生する。
【００５２】
また、ディジタルビデオカメラやディジタルスチルカメラなどから動画像編集装置に画像を取り込む場合は撮影日時が入る。しかし、撮影日時が正確であるとは限らないし、アナログのビデオテープをキャプチャしたりすると撮影の日時ではなく、そのキャプチャした日時が反映されることもある。このような場合は、入力部から適切な日時の情報に変更しておく。
【００５３】
動画像編集装置に取り込まれている画像は、不要な部分を含んでいることが多いため、不要部分を削除しておく。このとき、時刻情報もそれに合わせて変更する。例えば、画像の開始時刻が２００３年１月１日１０時１０分１０秒で先頭の１５秒分の画像をトリミングで削除した場合、その画像の開始時刻は２００３年１月１日１０時１０分２５秒となる。このような作業を行って記憶部１１には、素材となる画像が付属情報と対応付けられて格納される。
【００５４】
動画像編集装置に取り込まれている画像は、１画面を表示するために必要な画素数が一定であるとは限らない。ディジタルスチルカメラで撮影した静止画は、１画面で数十万画素から数百万画素程度である。また、ディジタルビデオカメラで撮影した動画は、数十万画素から百万画素程度である。動画は、画像が動いているために解像度の低さを補ってしまうことが多く、一般的に静止画より１画面当たりの画素数が少ない傾向にある。しかし、一連の映像の中で編集位置の前後で極端に解像度が異なると視聴者は違和感を感ずることになる。このような画像の接続点での違和感を防止する上でも画像間の解像度を揃えておくことが望ましい。画面の画素数を揃える方法は、周知であるため詳細は説明しない。なお、画素数の変換処理をおこなってから挿入や結合などの画像編集をしてもよいが、処理時間や使用する記憶装置の作業領域などを考慮すると、画像編集後の画像確認時や編集した画像を記録媒体に格納する段階で実施する方が好ましい。
【００５５】
以上のようにして記憶部１１に画像が格納された状態で本発明の動画像編集装置の動作を以下に説明する。まず、編集する画像Ａを選択する。その画像Ａに別の画像を挿入しようとした場合、その候補となる画像は、図１８に示されるような手順で表示される。画像Ａが基準画像であり、その付属情報の開始時刻と終了時刻を取り出す。この開始時刻から終了時刻の間にある画像を検索することになる（ステップＳ７１）。
【００５６】
検索対象になる画像は、編集管理テーブルに時刻情報が登録されているので、開始時刻と終了時刻とを読み出す（ステップＳ７２）。読み出した開始時刻と終了時刻で示される時間帯が、画像Ａの開始時刻から終了時刻で示される時間帯と重複する期間があるかを判定する。重複期間がある場合（ステップＳ７４−範囲内）、その画像を候補画像として登録する（ステップＳ７５）。
【００５７】
範囲内になかったか（ステップＳ７４−範囲外）、登録し終わったら、編集管理テーブルに登録されている画像を全て検索し終わるまでステップＳ７２からステップＳ７７を繰り返す（ステップＳ７７−ＮＯ）。全て検索し終わると（ステップＳ７７−ＹＥＳ）、候補画像として登録された画像を表示部１３に表示する（ステップＳ７９）。候補画像の表示は、画像の代表映像であるサムネイル表示でもよいし、画像の付属情報にある画像名でもよい。このようにして編集候補画像Ｂを検索する。
【００５８】
画像編集するユーザは、基になる画像Ａを選択した後、映像効果を付ける画像Ｂを選んで編集方法を指定する。編集方法は、画像の挿入、置換、子画面表示、マルチアングルなどである。
【００５９】
このようにして表示された候補画像から画像Ｂを選択し、画像Ａに挿入する場合、図２に示すような動作となる。画像Ｂは、画像Ａの開始時刻から終了時刻で示される時間帯に含まれ、図３に示されるような時間関係となる。画像Ａは、開始時刻が「’０３年１月１日１０時１０分００秒」、終了時刻が「’０３年１月１日１０時２０分２０秒」であり、画像Ｂは、開始時刻が「’０３年１月１日１０時１３分３０秒」である。画像Ｂの開始時刻は、画像Ａの時間帯の範囲内であるから（ステップＳ１１−ＹＥＳ）、画像Ａを画像Ｂの開始時刻「’０３年１月１日１０時１３分３０秒」に対応する部分で分割する。画像Ａの前半部を画像Ａ１、後半部を画像Ａ２とする（ステップＳ１２）。画像Ａ１、画像Ｂ、画像Ａ２の順に画像を結合すると、画像Ａの間に画像Ｂを挿入した画像ができる（ステップＳ１３）。
【００６０】
以上のように画像Ａとその時間帯に含まれる画像Ｂを選択し、挿入を指示するだけで自動的に挿入する位置を決定して画像が挿入されることになる。できあがった画像Ａ’を再生した場合、画像Ａが動画で、画像Ｂが静止画であれば、動画Ａの間に静止画Ｂが現れる映像となる。
【００６１】
この画像Ｂを挿入した部分は、映像が変化するところであることが予想され、画像Ｂを挿入するとともにチャプタポイントを自動的に設定する。このときチャプタの名称は、挿入した画像Ｂのファイル名称や画像Ｂに付けられた画像の名称が用いられる。ファイル名称や画像の名称を付けることによって覚えやすく便利である。
【００６２】
画像Ｂを選択したときにその挿入位置をチャプタポイントに設定するか否かを指定するようにしておくと無駄に設定することはなくなる。チャプタを設けない場合は、このようなチャプタポイントを自動的に設定するような動作をさせない。
【００６３】
上記では、画像Ｂを画像Ａに挿入してチャプタポイントを設定できることを示したが、画像Ｂが静止画である場合に、画像Ａをそのままにして画像Ｂの開始時刻にチャプタポイントを設定することができる。画像Ａを画像Ｂの開始時刻「’０３年１月１日１０時１３分３０秒」に対応する部分で分割する。画像Ａの前半部を画像Ａ１、後半部を画像Ａ２とするところまでは上記と同様である。画像Ａ１のチャプタと画像Ａ２のチャプタができるので、この画像Ｂの開始時間に該当する部分をチャプタポイントとする。このとき、画像Ａ２のチャプタのサムネイルを画像Ｂにする。このように編集した画像Ａ’を始めから再生すると、画像Ａ１のチャプタ、画像Ａ２のチャプタが連続して再生される。また、メニュー画面で、サムネイル表示された画像Ｂを選択すると、画像Ａ２のチャプタ、つまり画像Ｂの開始時刻に該当する部分から再生させることができる。画像Ａ２のチャプタの名称は、挿入した画像Ｂのファイル名称や画像Ｂに付けられた画像の名称が用いられる。ファイル名称や画像の名称を付けることによって覚えやすく便利である。画像Ｂは、画像Ａ２を象徴する静止画にすることによって、より印象的な画像効果が得られる。
【００６４】
候補映像を検索せずに画像Ｂを選択すると、画像Ｂは、画像Ａの時間帯に含まれない場合がある。図４で示されるように、画像Ｂの開始時刻が「’０３年１月１日１０時０５分３０秒」である場合、画像Ａの開始時刻より前に画像Ｂの開始時刻があり、開始時刻の比較において範囲外となる（ステップＳ１１−ＮＯ）。さらに比較の結果、画像Ａの開始時刻が画像Ｂの後にあるので（ステップＳ１６−後）、画像Ａ、画像Ｂは分割せずに画像Ｂ、画像Ａの順に結合し編集後の画像Ａ’ができる（ステップＳ１８）。
【００６５】
また、図５で示されるように、画像Ｂの開始時刻が「’０３年１月１日１０時２５分３０秒」である場合、画像Ａの終了時刻より後に画像Ｂの開始時刻があり、開始時刻の比較において範囲外となる（ステップＳ１１−ＮＯ）。さらに比較の結果、画像Ａの開始時刻が画像Ｂの前にあるので（ステップＳ１６−前）、画像Ａ、画像Ｂは分割せずに画像Ａ、画像Ｂの順に結合し編集後の画像Ａ’ができる（ステップＳ１７）。
【００６６】
これらの編集は、画像のデータを格納している場所を示すポインタだけの編集とすると効率的である。ポインタだけなので、各シーンの画像の時間情報が残っているので、元の時刻を使った繰り返し編集ができる。実画像は、編集が終わった後に生成する。
【００６７】
ところで、静止画つまりディジタルスチールカメラで撮影される場面は、通常、その頃のハイライトであり、シンボル的な映像であることが多い。動画は、そのシーンを流れで捕らえており、前後関係を明確にする。このような場面では、静止画の撮影時刻を例えば１０秒前倒ししておき、動画に挿入し、チャプタポイントを設定する。この映像を再生した際は、チャプタポイントのサムネイル画像が静止画で確認し、そのチャプタへ移動して再生することによって静止画で表現されたハイライトシーンを１０秒前の状態から動画で見ることができるようになる。
【００６８】
画像Ａの一部分を画像Ｂで置き換える場合、図６に示すような動作で編集を行う。先に示したように、候補画像を検索するなどで、画像Ａの時間帯に含まれる置換したい画像Ｂを選ぶ。画像Ｂと画像Ａとの時間帯の重複の度合いで動作が変わる。画像Ｂの時間帯は、画像Ｂに含まれる開始時刻と再生時間で求められる。画像Ｂが動画であれば、再生時間はその動画の再生時間であり、画像Ｂが静止画１画面であれば、その静止画を再生表示している時間が再生時間となり、複数の静止画であれば、複数の静止画を順次表示するスライドショウの開始から終了までの時間を再生時間とする。
【００６９】
画像Ｂが図７のように、開始時刻が「’０３年１月１日１０時１３分３０秒」、終了時刻が「’０３年１月１日１０時１６分３０秒」であって、画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」、終了時刻が「’０３年１月１日１０時２０分２０秒」で示される時間帯に完全に含まれる場合（ステップＳ２１−ＹＥＳ）、画像Ａを３部分に分割する。画像Ａの開始時刻から画像Ｂの開始時刻までを画像Ａ１、画像Ｂの開始時刻から終了時刻までを画像Ａ０、画像Ｂの終了時刻から画像Ａの終了時刻までを画像Ａ２とする（ステップＳ２２）。
画像Ａ０の部分は、画像Ｂと重複する部分であるから、これを画像Ｂに置き換えて、編集後の画像Ａ’とする。画像Ａ’は、画像Ａ１、画像Ｂ、画像Ａ２の順に結合した画像になる。
【００７０】
画像Ｂが、その一部の時間帯だけ画像Ａと重複する場合（ステップＳ２１−ＮＯ）、重複部分が、画像Ａの時間帯の前方であるか後方であるかを判断する（ステップＳ２５）。画像Ｂの開始時刻が「’０３年１月１日１０時０８分３０秒」、終了時刻が「’０３年１月１日１０時１１分３０秒」であって、画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」が、画像Ｂの開始時刻の後にあり、画像Ｂの終了時刻が画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」の前にある場合（ステップＳ２５−後）、図８に示すような時間関係になる。この場合、画像Ａの重複時間帯である開始時刻「’０３年１月１日１０時１０分００秒」から画像Ｂの終了時刻「’０３年１月１日１０時１１分３０秒」までを画像Ａ０、それ以降を画像Ａ１とすると、画像Ａ０を削除して（ステップＳ２８）、画像Ａ１の前に画像Ｂを結合する（ステップＳ２９）。つまり、画像Ａ０の部分を画像Ｂに置き換えることになる。編集後の画像Ａ’は、画像Ｂ、画像Ａ１の順に結合した画像となる。
【００７１】
画像Ｂの開始時刻が「’０３年１月１日１０時１９分００秒」、終了時刻が「’０３年１月１日１０時２１分３０秒」であって、画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」が、画像Ｂの開始時刻の後にある場合（ステップＳ２５−前）、図９に示すような時間関係になる。
【００７２】
この場合、画像Ａの重複時間帯である画像Ｂの開始時刻「’０３年１月１日１０時１９分００秒」から画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」までを画像Ａ０、それ以前を画像Ａ１とすると、画像Ａ０を削除して（ステップＳ２６）、画像Ａ１の後に画像Ｂを結合する（ステップＳ２７）。つまり、画像Ａ０の部分を画像Ｂに置き換えることになる。編集後の画像Ａ’は、画像Ａ１、画像Ｂの順に結合した画像となる。
【００７３】
このように、画像Ａのうち画像Ｂに重複する時間帯の画像を置換することによって、画像Ａの不要であったり、冗長であったりする部分画像を、別の画像Ｂで置き換えができる。例えば、画像Ａでは、画像Ｂの時間帯に対応する部分で、カメラ位置の関係で被写体を捕らえることができず、他のカメラで撮影していた画像Ｂでは被写体を捕らえられていた場合などに有効で、同じ時間進行で別の角度からの映像が挿入されるような効果を生む。
【００７４】
画像Ａの時間帯に画像Ｂが重複している場合に、前述のように画像を入れ替えるのではなく、画像Ａの画面の一部に小窓を設け、その小窓に画像Ｂを再生するいわゆるピクチャインピクチャで画像を取り込む編集方法もある。その小窓を子画面、画像Ａが再生される画面を親画面という。
【００７５】
この編集動作は、図１０に示すように、画像Ａと画像Ｂとの時間帯の重複の度合いで動作が変わる。画像Ｂの時間帯は、画像Ｂに含まれる開始時刻と再生時間で求められる。画像Ｂが動画であれば、再生時間はその動画の再生時間であり、画像Ｂが静止画１画面であれば、その静止画を再生表示している時間が再生時間となり、複数の静止画であれば、複数の静止画を順次表示するスライドショウの開始から終了までの時間を再生時間とする。
【００７６】
画像Ｂが図１１のように、開始時刻が「’０３年１月１日１０時１３分３０秒」、終了時刻が「’０３年１月１日１０時１６分３０秒」であって、画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」、終了時刻が「’０３年１月１日１０時２０分２０秒」で示される時間帯に完全に含まれる場合（ステップＳ３１−ＹＥＳ）、画像Ａを３部分に分割する。画像Ａの開始時刻から画像Ｂの開始時刻までを画像Ａ１、画像Ｂの開始時刻から終了時刻までを画像Ａ２、画像Ｂの終了時刻から画像Ａの終了時刻までを画像Ａ３とする（ステップＳ３２）。
【００７７】
画像Ａ２の部分は、画像Ｂと重複する部分であるから、画像Ａ２に対して画像Ｂを子画面再生するように設定する（ステップＳ３３）。編集後の画像Ａ’とすると、画像Ａ’は、画像Ａ１、画像Ａ２（親画面）と画像Ｂ（子画面）、画像Ａ３の順に結合した画像になる。
【００７８】
画像Ｂが、その一部の時間帯だけ画像Ａと重複する場合（ステップＳ３１−ＮＯ）、重複部分が、画像Ａの時間帯の前方であるか後方であるかを判断する（ステップＳ３６）。画像Ｂの開始時刻が「’０３年１月１日１０時０８分３０秒」、終了時刻が「’０３年１月１日１０時１１分３０秒」であって、画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」が、画像Ｂの開始時刻の後にあり、画像Ｂの終了時刻が画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」の前にある場合（ステップＳ３６−後）、図１２に示すような時間関係になる。
【００７９】
この場合、画像Ａの重複時間帯である開始時刻「’０３年１月１日１０時１０分００秒」から画像Ｂの終了時刻「’０３年１月１日１０時１１分３０秒」までを画像Ａ１、それ以降を画像Ａ２に分割する（ステップＳ４４）。画像Ｂは、画像Ａと重複する部分としない部分に分割する。画像Ｂの開始時刻「’０３年１月１日１０時０８分３０秒」から画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」までは重複しない部分で画像Ｂ０、画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」から画像Ｂの終了時刻「’０３年１月１日１０時１１分３０秒」までは重複する画像Ｂ１と分割し、画像Ｂ０は、基になる画像Ａがないので削除する（ステップＳ４５）。画像Ａ１を親画面、画像Ｂ１を子画面で再生するピクチャインピクチャ指定する（ステップＳ４７）。画像Ａ２は、その後に結合する。編集後の画像Ａ’は、親画面に画像Ａ１と子画面に画像Ｂ１のピクチャインピクチャ画像、画像Ａ２の順に結合した画像となる。
【００８０】
画像Ｂの開始時刻が「’０３年１月１日１０時１９分００秒」、終了時刻が「’０３年１月１日１０時２１分３０秒」であって、画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」が、画像Ｂの開始時刻の後にある場合（ステップＳ３６−前）、図１３に示すような時間関係になる。
【００８１】
この場合、画像Ａの重複時間帯である画像Ｂの開始時刻「’０３年１月１日１０時１９分００秒」から画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」までを画像Ａ２、それ以前を画像Ａ１に分割する（ステップＳ３８）。画像Ｂは、画像Ａと重複する部分としない部分に分割する。画像Ｂの開始時刻「’０３年１月１日１０時１９分００秒」から画像Ａの終了時刻「’０３年１月１日１０時２０分２０秒」までを重複する画像Ｂ１、それ以降を画像Ｂ０と分割し、画像Ｂ０は、基になる画像Ａがないので削除する（ステップＳ３９）。画像Ａ１に続いて、画像Ａ２を親画面、画像Ｂ１を子画面で再生するピクチャインピクチャ指定して結合する（ステップＳ４１）。編集後の画像Ａ’は、画像Ａ１、親画面Ａ２と子画面Ｂ１のピクチャインピクチャ画像の順に結合した画像となる。
【００８２】
このように、画像Ａのうち画像Ｂに重複する時間帯の画像を子画面表示することによって、同時進行する２画像を再生することができるようになる。
【００８３】
画像Ａの時間帯に画像Ｂさらに画像Ｃなど複数の画像が重複している場合に、前述のように画像を入れ替えたり、子画面表示するのではなく、再生時にその複数の画像のうちどれかを視聴者が選択して再生するいわゆるマルチアングルで画像を取り込む編集方法もある。この場合も図１４に示すように、時刻情報を利用して編集することができる。
【００８４】
基になる画像Ａの時間帯（開始時刻「’０３年１月１日１０時１０分００秒」、終了時刻「’０３年１月１日１０時２４分２０秒」）に重複する画像Ｂ（開始時刻「’０３年１月１日１０時１１分３０秒」、終了時刻「’０３年１月１日１０時２０分１０秒」）と画像Ｃ（開始時刻「’０３年１月１日１０時１６分３０秒」、終了時刻「’０３年１月１日１０時２３分００秒」）があると、図１５に示すような時間関係になる。
【００８５】
これら画像の時間帯の重複区間を求める。画像Ａは基になる画像であるから、他の画像Ｂおよび画像Ｃの開始時刻の遅い方がマルチアングル画像の開始時刻となり、画像Ｂおよび画像Ｃの終了時刻の早い方がマルチアングル画像の終了時刻となる。ここでは、マルチアングル画像の開始時刻は「’０３年１月１日１０時１６分３０秒」、終了時刻は「’０３年１月１日１０時２０分１０秒」となる（ステップＳ５１）。
【００８６】
基になる画像Ａをマルチアングル区間とその前後に分割する。画像Ａの開始時刻「’０３年１月１日１０時１０分００秒」からマルチアングル開始時刻「’０３年１月１日１０時１６分３０秒」までを画像Ａ１、マルチアングル区間を画像Ａ２、マルチアングル区間の終了時刻「’０３年１月１日１０時２０分１０秒」以降を画像Ａ３に分割する（ステップＳ５３）。
【００８７】
同じように画像Ｂもマルチアングル区間と以外の区間に分割する。画像Ｂの開始時刻「’０３年１月１日１０時１１分３０秒」からマルチアングル開始時刻までを画像Ｂ１、マルチアングル区間の画像を画像Ｂ２に分割する。ここでは、２分割であるが、画像Ｂの終了時刻が画像Ｃの終了時刻よりも遅ければ、画像Ｂも３分割となる（ステップＳ５４）。
【００８８】
画像Ｃについても同様に分割する。画像Ｃの開始時刻は、マルチアングル区間の開始時刻であり、マルチアングル区間と重複する時間帯の画像Ｃ１と、それ以降の画像Ｃ２とに分割する（ステップＳ５５）。
【００８９】
マルチアングル区間の画像は、画像Ａ２と画像Ｂ２と画像Ｃ１となり、マルチアングルの画像として再生時は同時進行する画像をのいずれかを選択して再生することになる。編集後の画像Ａ’は、画像Ａ１と、画像Ａ２と画像Ｂ２と画像Ｃ１のマルチアングル画像と、画像Ａ３が結合した画像となる（ステップＳ５７）。
【００９０】
マルチアングル区間の画像は、動画だけでなく、静止画のスライドショウであってもよく、動画では得られない決定的瞬間を撮ったいくつもの静止画でその場の雰囲気を表現することができる。
【００９１】
ここまで、画像に付けられた時刻情報に基づいた画像編集を行う場合について説明したが、ＧＰＳ（ＧｌｏｂａｌＰｏｓｉｔｉｏｎｉｎｇＳｙｓｙｔｅｍ）などを利用して、撮影した場所などを示す位置情報を画像に付けた場合の画像編集について説明する。時刻情報と同じように、編集対象となる候補画像の検索ができる。まず、基になる画像Ａを選択する。編集の候補となる画像は、図１９に示されるような手順で表示される。
【００９２】
画像Ａが基準画像であり、その付属情報の位置情報を取り出す。位置情報のある設定された範囲の地域にある画像画像を検索することになるが、範囲は、撮影された状況や編集する目的などで大きく異なるため、範囲設定をできることが望ましい。（ステップＳ８１）。
【００９３】
検索対象になる画像は、編集管理テーブルに位置情報が登録されているので、その位置情報を読み出す（ステップＳ８２）。読み出した位置情報で示される位置が、画像Ａの位置情報と検索範囲で示される地域にあるかを判定する。その地域に画像Ｂの位置がある場合（ステップＳ８４−範囲内）、その画像を候補画像として登録する（ステップＳ８５）。
【００９４】
範囲内になかったか（ステップＳ８４−範囲外）、登録し終わったら、編集管理テーブルに登録されている画像を全て検索し終わるまでステップＳ８２からステップＳ８７を繰り返す（ステップＳ８７−ＮＯ）。全て検索し終わると（ステップＳ８７−ＹＥＳ）、候補画像として登録された画像を表示部１３に表示する（ステップＳ８９）。候補画像の表示は、画像の代表映像であるサムネイル表示でもよいし、画像の付属情報にある画像名でもよい。このようにして編集候補画像Ｂを検索する。
【００９５】
画像編集するユーザは、基になる画像Ａを選択した後、マルチアングルの効果を付ける画像をいくつか選んで編集を指示する。動画像編集装置は、図１６に示すように、マルチアングルの画像を生成する。
【００９６】
編集の対象となった画像が、図１７に示されるように、同じ地域で撮影された画像とする。その位置情報は、（北緯ｘｘｘ゜ｘｘ’、東経ｙｙｙ゜ｙｙ’）を示しており、撮影時刻は、画像Ａでは開始時刻「２００１年１０月１日１０時１０分００秒」、画像Ｂでは開始時刻「２００２年６月１日１０時１０分１０秒」、画像Ｃでは開始時刻「２００３年１月１日１０時１６分３０秒」とまちまちである。これらの画像をマルチアングルの画像とするため、それぞれの画像の再生時間を求め、そのうちの最小再生時間で再生時間を揃える。画像Ａは１４分２０秒、画像Ｂは１６分２０秒、画像Ｃは１５分２０秒となり、１４分２０秒が最小再生時間となる（ステップＳ６１）。
【００９７】
最小再生時間になるように各画像を揃える。画像Ａは、この場合、最小再生時間であるため、削除する部分はないのでそのままの画像Ａが編集に用いられる（ステップＳ６３）。画像Ｂは、再生時間が１６分２０秒であるので、２分短縮した画像Ｂ１を用いる（ステップＳ６４）。画像Ｃは、再生時間が１５分２０秒であるので、１分短縮した画像Ｃ１を用いる（ステップＳ６５）。
【００９８】
このように再生時間を揃えた画像Ａと画像Ｂ１と画像Ｃ１とをマルチアングルの画像Ａ’、Ｂ’、Ｃ’に指定する。マルチアングルの画像Ａ’、Ｂ’、Ｃ’は、再生時そのいずれかを選択して再生されることになる（ステップＳ６７）。
【００９９】
マルチアングルの画像に位置情報を利用して編集した場合、同一地点でのその風景の四季の変化など、撮影時刻は違っても同じ場所の映像をまとめることができる。
【０１００】
以上のように時刻情報や位置情報を利用して編集した画像は、記録媒体に書き込む前に、編集した結果を確認し、ＤＶＤなどのメディアに書き込みを行う。通常、画像編集は、画像のメモリ上やファイル上の位置（アドレス）情報のポインタを使用して行う。つまり、ここまで説明してきた編集の作業は、それぞれの画像のポインタを操作して行っており、実際の画像を編集するのは、最終段階の記録媒体に書き込む段階の前に行う。データの複写や移動、削除、編集の取消などに柔軟に対応でき、ハードディスクやメモリが有効に使用できる。
【０１０１】
また、編集前の画像は、様々な符号化方式によって符号化されている。例えばＭＰＥＧでも、ＭＥＰＧ−１Ｖｉｄｅｏ、ＭＥＰＧ−１Ｓｙｓｔｅｍ、ＶｉｄｅｏＣＤ、ＭＰＥＧ−２Ｖｉｄｅｏなどがあり、さらにＪＰＥＧ（ＪｏｉｎｔＰｈｏｔｇｒａｐｈｉｃＥｘｐｅｒｔＧｒｏｕｐ）による静止画像符号化方式を動画像に応用した方式もある。編集した画像を記録する媒体によっても制限を受けるため、ユーザの指示あるいはデフォルト設定されている目標とする再生機器に適合した符号化方式に統一して最終画像を記録する。符号化方式の変換は、画像編集の前におこなうと編集する画面を最終画像の状態でチェックできるので望ましいが、作業領域や変換時間などを考慮すると、最終画像の確認作業の前におこなうのが好ましい。最終画像の確認作業を省略できるような場合には、記録媒体に画像を記録する時におこなってもよい。
【０１０２】
ＤＶＤビデオのファイルフォーマットは、図２０に示すように、世界標準のＤＶＤビデオレコーディングフォーマットになっている。制御情報と、画像や音声などの実体が格納されたオブジェクト部分で構成されている。画像のデータは、ＶＴＳ２３にそれぞれ格納され、ピクチャインピクチャやマルチアングルなどの画像効果や再生画像制御は、制御情報としてＶＭＧ２２で示される部分に格納される。通常、画像編集は、画像のファイル上の位置（アドレス）情報を使用して行い、実際の画像データを編集するのは、最終段階の記録媒体に書き込む段階の前で行う。それによって、ハードディスクやメモリが有効に使用できる。
【０１０３】
【発明の効果】
本発明によれば、専門的な知識やテクニックを有しないユーザでも簡単に画像編集を行うことができる動画像編集装置および動画像編集方法を提供することができる。また、専門的な知識を有するユーザでもマルチアングルなどの用途を拡げる動画像編集装置および動画像編集方法を提供することができる。
【０１０４】
また、本発明によれば、チャプタ設定を自動的に行う動画像編集装置および動画像編集方法を提供することができる。
【０１０５】
さらに、本発明によれば、いくつかの画像をマルチアングル化する動画像編集装置および動画像編集方法を提供することができる。
【０１０６】
本発明によれば、専門的な知識を有するユーザが使用するような高度な機能をもつ動画像編集装置を安価に提供することができる。
【図面の簡単な説明】
【図１】本発明に係る動画像編集装置の構成を示すブロック図である。
【図２】画像を挿入する編集の動作を示すフローチャートである。
【図３】画像を挿入する際の画像の時間関係（１）を示す図である。
【図４】画像を挿入する際の画像の時間関係（２）を示す図である。
【図５】画像を挿入する際の画像の時間関係（３）を示す図である。
【図６】画像を置換する編集の動作を示すフローチャートである。
【図７】画像を置換する際の画像の時間関係（１）を示す図である。
【図８】画像を置換する際の画像の時間関係（２）を示す図である。
【図９】画像を置換する際の画像の時間関係（３）を示す図である。
【図１０】子画面表示する編集の動作を示すフローチャートである。
【図１１】子画面表示する編集の画像の時間関係（１）を示す図である。
【図１２】子画面表示する編集の画像の時間関係（２）を示す図である。
【図１３】子画面表示する編集の画像の時間関係（３）を示す図である。
【図１４】画像を時刻情報に基づいてマルチアングル編集の動作を示すフローチャートである。
【図１５】マルチアングル編集する画像の時間関係を示す図である。
【図１６】画像を位置情報に基づいてマルチアングル編集の動作を示すフローチャートである。
【図１７】マルチアングル編集する画像の関係を示す図である。
【図１８】画像を時刻情報に基づいて検索する動作を示すフローチャートである。
【図１９】画像を時刻情報に基づいて検索する動作を示すフローチャートである。
【図２０】ＤＶＤビデオのファイルフォーマットを示す図である。
【符号の説明】
１１記憶部
１２編集部
１３表示部
１４入力部
１５記録媒体書込部
２１ＤＶＤビデオファイル
２２ＶＭＧ部
２３ＶＴＳ部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a moving image editing apparatus and a moving image editing method for editing a digitally encoded image.
[0002]
[Prior art]
With the widespread use of digital video cameras, digitally encoded image materials can be easily obtained, and it is becoming increasingly popular for individuals to create original videos and create video libraries. When creating an original video, it is necessary to edit the material video, but the editing work called authoring has been a complicated and persevering work that uses specialized knowledge, technology and equipment. For example, in setting a chapter having a role of a bookmark in a video, playback is performed to a position where a chapter is desired to be set while viewing the video, and a chapter point is set at that position. In other words, I had to watch the video from the beginning. Some devices have a function that can be set automatically every 5 minutes. However, since it is set regardless of the flow of the video, the video at that point has no special meaning and is simply a measure of the passage of time. is there.
As a technique related to such image editing, Japanese Patent Laid-Open No. 2001-211419 discloses that video data and a time axis are displayed in association with each other and manufacturing data is edited by specifying a position and a range with respect to the time axis. The technology related to video editing that can be done was known.
[0003]
Japanese Patent Application Laid-Open No. 2002-335442 has known a technique for collecting images using a scene description program.
[0004]
[Patent Document 1]
JP 2001-2111419 A
JP 2002-335442 A
[0005]
[Problems to be solved by the invention]
An object of the present invention is to provide a moving image editing apparatus and a moving image editing method that allow a user who does not have specialized knowledge or technique to easily perform image editing. It is another object of the present invention to provide a moving image editing apparatus and a moving image editing method that can expand applications such as multi-angle even for users having specialized knowledge.
[0006]
Another object of the present invention is to provide a moving image editing apparatus and a moving image editing method for automatically setting chapters.
Another object of the present invention is to provide a moving image editing apparatus and a moving image editing method for converting several images into multi-angles.
Furthermore, another object of the present invention is to provide a moving image editing apparatus having advanced functions that can be used by a user having specialized knowledge at a low cost.
[0007]
[Means for Solving the Problems]
Hereinafter, means for solving the problem will be described using the numbers and symbols used in the embodiments of the present invention. These numbers and symbols are added to clarify the correspondence between the description of [Claims] and [Embodiments of the Invention]. However, these numbers and symbols should not be used for the interpretation of the technical scope of the invention described in [Claims].
[0008]
In an aspect of the present invention, the moving image editing apparatus is based on the storage unit (11) that stores a plurality of images displayed as images on a display and attached information indicating the attribute of the image in association with each other, and the attached information. And an editing unit (12) for automatically editing the image.
[0009]
The attached information includes time information including date and time. The editing unit (12) edits the image based on the time information.
[0010]
The first attached information corresponding to the first image among the plurality of images includes first time information and reproduction time information indicating a time from the start to the end of the reproduction. The second time information included in the second attached information corresponding to the second image among the plurality of images is in a time zone indicated by the first time information and the reproduction time information. The editing unit (12) generates an image in which the second image is inserted at the position of the first image corresponding to the time indicated by the second time information.
[0011]
The first attached information corresponding to the first image among the plurality of images includes first time information and reproduction time information indicating a time from the start to the end of the reproduction. The second time information included in the second attached information corresponding to the second image among the plurality of images is before or after the time zone indicated by the first time information and the reproduction time information. The editing unit (12) combines the first image and the second image in the order of the time indicated by the first time information and the time indicated by the second time information.
[0012]
The first attached information corresponding to the first image among the plurality of images includes first time information and first reproduction time information indicating a time from the start of reproduction to the end. The second attached information corresponding to the second image among the plurality of images includes second time information and second reproduction time information indicating a time from the start to the end of the reproduction. The second time zone indicated by the second time information and the second reproduction time information is partially or entirely overlapped with the first time zone indicated by the first time information and the reproduction time information, and the editing is performed. The unit (12) generates an image in which a portion of the first image corresponding to a time zone overlapping with the second time zone is replaced with the second image.
[0013]
The first attached information corresponding to the first image among the plurality of images includes first time information and first reproduction time information indicating a time from the start of reproduction to the end. The second attached information corresponding to the second image among the plurality of images includes second time information and second reproduction time information indicating a time from the start to the end of the reproduction. The second time zone indicated by the second time information and the second playback time information is wholly or partially overlapped with the first time zone indicated by the first time information and the playback time information. The editing unit (12) displays an image for displaying a portion of the second image corresponding to a time zone overlapping with the first time zone in a section separating a part of a screen for displaying the first image. Generate.
[0014]
The first attached information corresponding to the first image among the plurality of images includes first time information and first reproduction time information indicating a time from the start of reproduction to the end. The second attached information corresponding to the second image among the plurality of images includes second time information and second reproduction time information indicating a time from the start to the end of the reproduction. The second time zone indicated by the second time information and the second playback time information is wholly or partially overlapped with the first time zone indicated by the first time information and the playback time information. The editing unit (12) is configured to select and reproduce either the second image portion corresponding to the time zone overlapping with the first time zone or the first image portion, and simultaneously proceeding images. Is generated.
[0015]
The first image and the second image are moving images, and the moving image editing apparatus edits a plurality of moving images.
[0016]
The first image is a moving image, and the second image is a still image. The moving image editing apparatus edits moving images and still images.
[0017]
The first image is a moving image, and the second image is an image reproduced by a so-called slide show in which a plurality of still images are reproduced at predetermined time intervals. The moving image editing apparatus edits a moving image and a still image that is reproduced by a slide show.
[0018]
The moving image editing apparatus performs image processing to make the number of pixels for displaying one screen of the second image equal to the number of pixels for displaying one screen of the first image.
[0019]
The moving image editing apparatus encodes an image obtained by editing the first image and the second image using a designated encoding method, and stores the encoded image in the storage unit. The designated encoding method varies depending on the medium on which the image is recorded, and an encoding method suitable for the device that reproduces the image is adopted.
[0020]
The moving image editing apparatus sets the beginning of the second image as a chapter point that divides the image.
[0021]
The first image among the plurality of images is a moving image. The first attached information corresponding to the first image includes first time information and reproduction time information indicating a time from the start of reproduction to the end thereof. The second image among the plurality of images is a still image. The second time information included in the second attached information corresponding to the second image is in a time zone indicated by the first time information and the reproduction time information. The editing unit of the moving image editing apparatus sets the position of the first image corresponding to the time indicated by the second time information as a chapter point that divides the image. The chapter point is identified by the second image. Chapter points are indicated by so-called thumbnails.
[0022]
The moving image editing apparatus adds a name for identifying the second image to the chapters delimited by the chapter points.
[0023]
The moving image editing apparatus is configured to store the plurality of images based on the first time information of the first image and a time zone indicated by reproduction time information indicating a time from the start to the end of the reproduction of the first image. Time information is searched, and the search result is displayed as a candidate for the second image.
[0024]
The attached information includes position information indicating a shooting location. The editing unit (12) edits the image based on the position information.
[0025]
The first attached information corresponding to the first image among the plurality of images includes first position information indicating the location where the image was taken. The second attached information corresponding to the second image among the plurality of images includes second position information indicating the shooting location. The place indicated by the second position information is in an area within a predetermined range from the place indicated by the first position information. The editing unit (12) selects one of the first image and the second image and generates a simultaneously proceeding image to be reproduced.
[0026]
The moving image editing apparatus searches the position information of the plurality of images based on the first position information of the first image, and displays the search results as candidates for the second image.
[0027]
In another aspect of the present invention, a moving image editing method includes a storage step of storing a plurality of images displayed as images on a display and attached information indicating attributes of the image in association with each other, and based on the attached information An editing step for automatically editing the image.
[0028]
The attached information includes time information including date and time. The editing step edits the image based on the time information.
[0029]
The first attached information corresponding to the first image among the plurality of images includes first time information and reproduction time information indicating a time from the start to the end of the reproduction. The second time information included in the second attached information corresponding to the second image among the plurality of images is in a time zone indicated by the first time information and the reproduction time information. The editing step generates an image in which the second image is inserted at the position of the first image corresponding to the time indicated by the second time information.
[0030]
The first attached information corresponding to the first image among the plurality of images includes first time information and reproduction time information indicating a time from the start to the end of the reproduction. The second time information included in the second attached information corresponding to the second image among the plurality of images is before or after the time zone indicated by the first time information and the reproduction time information. The editing step combines the first image and the second image in the order of the time indicated by the first time information and the time indicated by the second time information.
[0031]
The first attached information corresponding to the first image among the plurality of images includes first time information and first reproduction time information indicating a time from the start of reproduction to the end. The second attached information corresponding to the second image among the plurality of images includes second time information and second reproduction time information indicating a time from the start to the end of the reproduction. The second time zone indicated by the second time information and the second reproduction time information is partially or entirely overlapped with the first time zone indicated by the first time information and the reproduction time information, and the editing is performed. The step generates an image in which a portion of the first image corresponding to a time zone overlapping with the second time zone is replaced with the second image.
[0032]
The first attached information corresponding to the first image among the plurality of images includes first time information and first reproduction time information indicating a time from the start of reproduction to the end. The second attached information corresponding to the second image among the plurality of images includes second time information and second reproduction time information indicating a time from the start to the end of the reproduction. The second time zone indicated by the second time information and the second playback time information is wholly or partially overlapped with the first time zone indicated by the first time information and the playback time information. The editing step generates an image for displaying a portion of the second image corresponding to a time zone overlapping with the first time zone in a section obtained by dividing a part of a screen for displaying the first image.
[0033]
The first attached information corresponding to the first image among the plurality of images includes first time information and first reproduction time information indicating a time from the start of reproduction to the end. The second attached information corresponding to the second image among the plurality of images includes second time information and second reproduction time information indicating a time from the start to the end of the reproduction. The second time zone indicated by the second time information and the second playback time information is wholly or partially overlapped with the first time zone indicated by the first time information and the playback time information. The editing step generates a simultaneous image to be played back by selecting one of the second image portion and the first image portion corresponding to a time zone overlapping with the first time zone. .
[0034]
The first image and the second image are moving images, and provide a moving image editing method for a plurality of moving images.
[0035]
The first image is a moving image, and the second image is a still image. Provide video and still image editing methods.
[0036]
The first image is a moving image, and the second image is an image reproduced by a so-called slide show in which a plurality of still images are reproduced at predetermined time intervals. Provided is a moving image editing method for editing a moving image and a still image reproduced in a slide show.
[0037]
The moving image editing method further includes a pixel number conversion step of making the number of pixels for displaying one screen of the second image equal to the number of pixels for displaying one screen of the first image.
[0038]
The moving image editing method further includes an encoding step in which an image obtained by editing the first image and the second image is encoded by a specified encoding method. The designated encoding method varies depending on the medium on which the image is recorded, and an encoding method suitable for the device that reproduces the image is adopted.
[0039]
In the moving image editing method, the top of the second image is a chapter point that divides the image.
[0040]
The first image among the plurality of images is a moving image. The first attached information corresponding to the first image includes first time information and reproduction time information indicating a time from the start of reproduction to the end thereof. The second image among the plurality of images is a still image. The second time information included in the second attached information corresponding to the second image is in a time zone indicated by the first time information and the reproduction time information. The editing step is a moving image editing method in which the position of the first image corresponding to the time indicated by the second time information is a chapter point that divides the image. The chapter point is identified by the second image. Chapter points are indicated by so-called thumbnails.
[0041]
In this moving image editing method, a name for identifying the second image is added to chapters delimited by the chapter points.
[0042]
Search the time information of the plurality of images based on the first time information of the first image and the time zone indicated by the reproduction time information indicating the time from the start to the end of the reproduction of the first image, A moving image editing method for displaying a search result as a candidate for the second image.
[0043]
The attached information includes position information indicating a shooting location. The editing step edits the image based on the position information.
[0044]
The first attached information corresponding to the first image among the plurality of images includes first position information indicating the location where the image was taken. The second attached information corresponding to the second image among the plurality of images includes second position information indicating the shooting location. The place indicated by the second position information is in an area within a predetermined range from the place indicated by the first position information. The editing step generates a simultaneous image to be reproduced by selecting either the first image or the second image.
[0045]
In the moving image editing method, the position information of the plurality of images is searched based on the first position information of the first image, and the search result is displayed as a candidate for the second image.
[0046]
DETAILED DESCRIPTION OF THE INVENTION
As described above, there are a wide variety of encoding methods and recording media. However, since the editing operation is basically the same operation, in the embodiment of the present invention, DVD-Video (DVD: Digital Versatile Disc) is used. An explanation will be given on the assumption that editing work will be performed. In DVD-Video, MPEG-2 (MPEG: Moving Pictures Experts Group) is used as an encoding method.
[0047]
Image editing includes stages such as capturing of image data as video material, processing of the captured video material, confirmation of the playback state, and writing to a recording medium. In the processing of video material, first, necessary scenes are cut out and connected to each other to create a video. Further, chapter points are set and divided into chapters. Add an intro video if necessary to create a menu. Image editing is not limited to such a procedure, and is well known to those skilled in the art. Therefore, the following description will focus on the portion related to image editing based on image attached information.
[0048]
FIG. 1 shows a configuration of a moving image editing apparatus according to an embodiment of the present invention. The moving image editing apparatus includes a storage unit 11, an editing unit 12, a display unit 13, an input unit 14, and a recording medium writing unit 15. The storage unit 11 stores image data. The editing unit 12 reads the image data stored in the storage unit 11 and edits the image data based on the attached information. The display unit 13 displays the image data stored in the storage unit 11 on a screen or displays attached information of the image data. The input unit 14 inputs an image name and image attached information using a keyboard, a mouse, or the like, or inputs an image from a capture board or the like.
[0049]
The moving image editing apparatus is an information processing apparatus exemplified by a personal computer, and not only a personal computer but also a DVD video recorder or the like uses a numeric keypad or a remote control as an input means, or even if an image cannot be displayed, a file name, time, etc. Is provided with a display device that can be used for display and can be used as a moving image editing device, although its input method and display method are limited. Further, when a DVD video recorder or the like is connected to a personal computer, a moving image editing apparatus using each function effectively is obtained.
[0050]
The image in the storage unit 11 is stored together with the attached information. Since the image is stored as a file, information included in the file is attached as attached information. Here, in addition to the information, the attached information is managed by the edit management table used for the editing work including information added at the time of image editing. Management is possible without providing such a table. The attached information includes image attributes and time information. The attributes of the image include the name of the file in which the image is stored, the file size, the encoding method, and the distinction between moving images / still images. The time information includes the start time and end time of the image. Since the start time is a reference for image editing, the editing work becomes easier if the shooting start date time or equivalent date time is used. The date and time taken into the moving image editing apparatus may be used, or the start time may be changed when editing. The end time can be calculated based on the start time because the playback time can be calculated from the file size if the encoding method is clear.
[0051]
In the case of a still image, the playback time can be set in advance, can be input when a still image is captured, or can be input or changed when editing. Still images grouped together in folders (directories) can be handled in the same way as moving images in units of folders. In that case, the still image is reproduced in a format in which still images called slide shows are sequentially reproduced.
[0052]
In addition, when an image is captured from a digital video camera, a digital still camera, or the like to the moving image editing apparatus, a shooting date and time is entered. However, the shooting date / time is not always accurate, and when an analog video tape is captured, the captured date / time may be reflected instead of the shooting date / time. In such a case, it is changed to information of an appropriate date and time from the input unit.
[0053]
Since an image captured by the moving image editing apparatus often includes an unnecessary portion, the unnecessary portion is deleted. At this time, the time information is also changed accordingly. For example, when the image start time is 10:10:10 on January 1, 2003 and the first 15 seconds of images are deleted by trimming, the image start time is 10:10 on January 1, 2003 25 seconds. By performing such operations, the storage unit 11 stores an image as a material in association with the attached information.
[0054]
The number of pixels necessary for displaying one screen of an image captured in the moving image editing apparatus is not always constant. A still image taken with a digital still camera has several hundreds of thousands to several million pixels on one screen. A moving picture taken with a digital video camera has about several hundred thousand to one million pixels. A moving image often compensates for the low resolution because the image is moving, and generally has a tendency to have fewer pixels per screen than a still image. However, if the resolution is extremely different before and after the editing position in a series of videos, the viewer will feel uncomfortable. In order to prevent such a sense of incongruity at the connection point of images, it is desirable that the resolution between the images be uniform. The method for aligning the number of pixels on the screen is well known and will not be described in detail. Note that image editing such as insertion or combination may be performed after the pixel number conversion processing, but considering the processing time and work area of the storage device to be used, etc. It is preferable that the image is stored in a recording medium.
[0055]
The operation of the moving image editing apparatus according to the present invention will be described below with the image stored in the storage unit 11 as described above. First, the image A to be edited is selected. When another image is to be inserted into the image A, the candidate image is displayed according to the procedure shown in FIG. Image A is a reference image, and the start time and end time of the attached information are extracted. An image between the start time and the end time is searched (step S71).
[0056]
Since the time information of the image to be searched is registered in the edit management table, the start time and end time are read (step S72). It is determined whether or not the time zone indicated by the read start time and end time overlaps with the time zone indicated by the end time from the start time of image A. If there is an overlapping period (step S74—within range), the image is registered as a candidate image (step S75).
[0057]
If it is not within the range (step S74—out of range) or registration is completed, step S72 to step S77 are repeated until all the images registered in the edit management table are searched (step S77—NO). When all the search is completed (step S77-YES), the image registered as the candidate image is displayed on the display unit 13 (step S79). The candidate images may be displayed as thumbnails, which are representative images of the images, or may be image names in the information attached to the images. In this way, the edit candidate image B is searched.
[0058]
A user who edits an image selects an image A as a base, then selects an image B to which a video effect is to be added, and specifies an editing method. Editing methods include image insertion, replacement, sub-screen display, and multi-angle.
[0059]
When the image B is selected from the displayed candidate images and inserted into the image A, the operation is as shown in FIG. The image B is included in the time zone indicated by the start time to the end time of the image A, and has a time relationship as shown in FIG. The image A has a start time “January 1, 2003 10:10:00” and an end time “January 1, 2003 10:20:20”, and the image B has a start time Is “January 1, 2003 10:13:30”. Since the start time of image B is within the time zone of image A (step S11—YES), image A corresponds to the start time of image B “January 1, 2003 10:13:30” Divide at the part to be. The first half of the image A is the image A1, and the second half is the image A2 (step S12). When images A1, B, and A2 are combined in this order, an image in which image B is inserted between images A is formed (step S13).
[0060]
As described above, the image A and the image B included in the time zone are selected, and the insertion position is automatically determined just by instructing the insertion, and the image is inserted. When the completed image A ′ is reproduced, if the image A is a moving image and the image B is a still image, the still image B appears between the moving images A.
[0061]
The part where the image B is inserted is expected to be where the video changes, and the image B is inserted and the chapter point is automatically set. At this time, the file name of the inserted image B or the name of the image attached to the image B is used as the chapter name. Adding a file name or image name is convenient and easy to remember.
[0062]
If the image B is selected and whether or not the insertion position is set as a chapter point is specified, the setting is not wasted. When no chapter is provided, an operation for automatically setting such chapter points is not performed.
[0063]
In the above description, it has been shown that the chapter point can be set by inserting the image B into the image A. However, when the image B is a still image, the chapter point is set at the start time of the image B while leaving the image A as it is. Can do. The image A is divided at a portion corresponding to the start time “January 1, 2003 10:13:30” of the image B. The process is the same as described above until the first half of the image A is the image A1 and the second half is the image A2. Since the chapter of the image A1 and the chapter of the image A2 are created, a portion corresponding to the start time of the image B is set as a chapter point. At this time, the thumbnail of the chapter of the image A2 is set to the image B. When the edited image A ′ is reproduced from the beginning, the chapter of the image A1 and the chapter of the image A2 are reproduced continuously. Further, when the image B displayed as a thumbnail is selected on the menu screen, it can be reproduced from the chapter of the image A2, that is, the portion corresponding to the start time of the image B. As the name of the chapter of the image A2, the file name of the inserted image B and the name of the image attached to the image B are used. Adding a file name or image name is convenient and easy to remember. By making the image B a still image that symbolizes the image A2, a more impressive image effect can be obtained.
[0064]
If the image B is selected without searching for a candidate video, the image B may not be included in the time zone of the image A. As shown in FIG. 4, when the start time of the image B is “January 1, 2003 10:05:30”, the start time of the image B is before the start time of the image A, and the start The time comparison is out of range (step S11-NO). Further, as a result of comparison, since the start time of the image A is after the image B (after step S16), the image A and the image B are not divided and are combined in the order of the image B and the image A. Yes (step S18).
[0065]
Further, as shown in FIG. 5, when the start time of the image B is “January 1, 2003 10:25:30”, the start time of the image B is after the end time of the image A, It is out of range in the comparison of the start time (step S11-NO). Further, as a result of comparison, since the start time of the image A is before the image B (step S16—before), the image A and the image B are not divided and are combined in the order of the image A and the image B, and the edited image A ′ (Step S17).
[0066]
These edits are efficient when only the pointer indicating the location where the image data is stored is edited. Since only the pointer is present, the time information of the image of each scene remains, so it is possible to repeatedly edit using the original time. The actual image is generated after editing is completed.
[0067]
By the way, a still image, that is, a scene shot with a digital still camera is usually a highlight at that time and is often a symbolic image. The video captures the scene in the flow and makes the context clear. In such a scene, the shooting time of the still image is advanced by 10 seconds, for example, inserted into a moving image, and a chapter point is set. When this video is played, the thumbnail image at the chapter point is confirmed as a still image, and the highlight scene represented by the still image is viewed as a moving image from the state 10 seconds ago by moving to that chapter and playing it back. Will be able to.
[0068]
When a part of the image A is replaced with the image B, the editing is performed by the operation shown in FIG. As described above, the image B to be replaced included in the time zone of the image A is selected by searching for candidate images. The operation changes depending on the degree of overlap of the time zones of the image B and the image A. The time zone of image B is obtained from the start time and playback time included in image B. If image B is a video, the playback time is the playback time of that video. If image B is a single still image, the playback time of that still image is the playback time. If there is, the playback time is defined as the time from the start to the end of the slide show that sequentially displays a plurality of still images.
[0069]
As shown in FIG. 7, image B has a start time “January 1, 2003 10:13:30” and an end time “January 1, 2003 10:16:30” When the start time of image A is completely included in the time zone indicated by “01: 01: 10: 10: 00” and the end time: “01: 01: 10: 20: 20” (Step S21—YES), the image A is divided into three parts. The image A1 is from the start time of the image A to the start time of the image B, the image A0 is from the start time to the end time of the image B, and the image A2 is from the end time of the image B to the end time of the image A (step S22). .
Since the portion of the image A0 is a portion overlapping with the image B, this is replaced with the image B to obtain an edited image A ′. The image A ′ is an image obtained by combining the image A1, the image B, and the image A2.
[0070]
When the image B overlaps with the image A for only a part of the time zone (step S21-NO), it is determined whether the overlap portion is ahead or behind the time zone of the image A (step S25). The start time of image B is “January 1, 2003 10:08:30”, the end time is “January 1, 2003 10:11:30”, and the start time “ “January 1, 2003 10:10:00” is after the start time of image B, and the end time of image B is the end time of image A “January 1, 2003 10:20:20”. 8 ”(after step S25), the time relationship is as shown in FIG. In this case, from the start time “January 1, 2003 10:10:00”, which is the overlapping time zone of image A, to the end time “January 1, 2003 10:11:30” Is the image A0, and the subsequent image is the image A1, the image A0 is deleted (step S28), and the image B is combined before the image A1 (step S29). That is, the portion of the image A0 is replaced with the image B. The edited image A ′ is an image obtained by combining the image B and the image A1 in this order.
[0071]
The start time of image B is “January 1, 2003 10:19:00”, the end time is “January 1, 2003 10:21:30”, and the end time “ When “January 1, 2003 10:20:20” is after the start time of the image B (before step S25), the time relationship is as shown in FIG.
[0072]
In this case, from the start time of image B, which is the overlapping time zone of image A, “01: 01: 01: 01: 03, 2003” to the end time of image A: “01:01, 03:10:20 Assuming that image A0 is “seconds” and image A1 is before that, image A0 is deleted (step S26), and image B is combined after image A1 (step S27). That is, the portion of the image A0 is replaced with the image B. The edited image A ′ is an image obtained by combining the image A1 and the image B in this order.
[0073]
In this manner, by replacing an image in the time zone overlapping with the image B in the image A, a partial image that is unnecessary or redundant in the image A can be replaced with another image B. For example, in image A, the subject cannot be captured due to the camera position in the portion corresponding to the time zone of image B, and the subject is captured in image B taken by another camera. It is effective and produces an effect that a video from another angle is inserted at the same time.
[0074]
When the image B overlaps in the time zone of the image A, instead of replacing the image as described above, a small window is provided in a part of the screen of the image A, and the image B is reproduced in the small window. There is also an editing method for capturing an image with picture-in-picture. The small window is called a child screen, and the screen on which the image A is reproduced is called a parent screen.
[0075]
As shown in FIG. 10, this editing operation changes depending on the degree of overlap of the time zones of the image A and the image B. The time zone of image B is obtained from the start time and playback time included in image B. If image B is a video, the playback time is the playback time of that video. If image B is a single still image, the playback time of that still image is the playback time. If there is, the playback time is defined as the time from the start to the end of the slide show that sequentially displays a plurality of still images.
[0076]
As shown in FIG. 11, image B has a start time “January 1, 2003 10:13:30” and an end time “January 1, 2003 10:16:30” When the start time of image A is completely included in the time zone indicated by “01: 01: 10: 10: 00” and the end time: “01: 01: 10: 20: 20” (Step S31-YES), the image A is divided into three parts. The image A1 is from the start time of the image A to the start time of the image B, the image A2 is from the start time to the end time of the image B, and the image A3 is from the end time of the image B to the end time of the image A (step S32). .
[0077]
Since the portion of the image A2 is a portion overlapping with the image B, the image A2 is set so as to reproduce the child screen with respect to the image A2 (step S33). Assuming that the image A ′ has been edited, the image A ′ is an image obtained by combining the image A1, the image A2 (parent screen), the image B (child screen), and the image A3 in this order.
[0078]
When the image B overlaps with the image A only in a part of the time zone (step S31-NO), it is determined whether the overlap portion is ahead or behind the time zone of the image A (step S36). The start time of image B is “January 1, 2003 10:08:30”, the end time is “January 1, 2003 10:11:30”, and the start time “ “January 1, 2003 10:10:00” is after the start time of image B, and the end time of image B is the end time of image A “January 1, 2003 10:20:20”. 12 ”(after step S36), the time relationship is as shown in FIG.
[0079]
In this case, from the start time “January 1, 2003 10:10:00”, which is the overlapping time zone of image A, to the end time “January 1, 2003 10:11:30” Is divided into an image A1, and the subsequent image is divided into an image A2 (step S44). The image B is divided into portions that do not overlap with the image A. From the start time of image B “January 1, 2003 at 10:08:30” to the start time of image A “January 1, 2003 at 10:10:00”, images B0, From the start time of image A “January 1, 2003 10:10:00” to the end time of image B “January 1, 2003 10:11:30” is divided from the overlapping image B1. The image B0 is deleted because there is no base image A (step S45). Picture-in-picture reproduction for reproducing the image A1 on the parent screen and the image B1 on the child screen is designated (step S47). Image A2 is then merged. The edited image A ′ is an image obtained by combining the image A1 on the parent screen, the picture-in-picture image of the image B1 on the child screen, and the image A2.
[0080]
The start time of image B is “January 1, 2003 10:19:00”, the end time is “January 1, 2003 10:21:30”, and the end time “ When “January 1, 2003, 10:20:20” is after the start time of the image B (before step S36), the time relationship is as shown in FIG.
[0081]
In this case, from the start time of image B, which is the overlapping time zone of image A, “01: 01: 01: 01: 03, 2003” to the end time of image A: “01:01, 03:10:20 "Second" is divided into the image A2, and the image before that is divided into the image A1 (step S38). The image B is divided into portions that do not overlap with the image A. Image B1 which overlaps from the start time “January 1, 2003 10:19:00” to the end time “January 1, 2003 10:20:20” of image B, and thereafter Is deleted from the image B0, and the image B0 is deleted because there is no image A as a base (step S39). Subsequent to the image A1, the image A2 is designated as a picture-in-picture to be reproduced on the parent screen and the image B1 is reproduced on the child screen (step S41). The edited image A ′ is an image obtained by combining the image A1, the picture-in-picture images of the parent screen A2 and the child screen B1 in this order.
[0082]
As described above, by displaying the images in the time zone overlapping with the image B in the image A in the sub-screen, it is possible to reproduce the two images that proceed at the same time.
[0083]
If a plurality of images such as image B and image C overlap in the time zone of image A, any one of the plurality of images is not displayed at the time of playback, instead of replacing the images or displaying the child screen as described above. There is also an editing method in which an image is captured at a so-called multi-angle where the viewer selects and reproduces the image. Also in this case, editing can be performed using time information as shown in FIG.
[0084]
Image B overlapping in the time zone of the base image A (start time “January 1, 2003 10:10:00”, end time “January 1, 2003 10:24:20”) (Start time “January 1, 2003 10:11:30”, End time “January 1, 2003 10:20:10”) and image C (Start time “January 1, 2003” 15: 10: 16: 30 ”and end time“ January 1, 2003 10:23:00 ”), the time relationship is as shown in FIG.
[0085]
The overlapping sections of the time zones of these images are obtained. Since the image A is a base image, the later start time of the other images B and C is the start time of the multi-angle image, and the earlier end time of the images B and C is the end of the multi-angle image. It is time. Here, the start time of the multi-angle image is “January 1, 2003 10:16:30” and the end time is “January 1, 2003 10:20:10” (step S51). .
[0086]
The base image A is divided into a multi-angle section and its front and back. From image A start time “January 1, 2003 10:10:00” to multi-angle start time “January 1, 2003 10:16:30”, image A1, multi-angle section image A2, the end time of the multi-angle section “January 1, 2003 10:20:10” and thereafter is divided into images A3 (step S53).
[0087]
Similarly, the image B is also divided into sections other than the multi-angle section. The image B is divided into the image B1 from the start time “January 1, 2003 10:11:30” to the multiangle start time, and the image of the multiangle section is divided into the image B2. Here, although it is divided into two, if the end time of the image B is later than the end time of the image C, the image B is also divided into three (step S54).
[0088]
The image C is similarly divided. The start time of the image C is the start time of the multi-angle section, and is divided into an image C1 in a time zone overlapping with the multi-angle section and an image C2 after that (step S55).
[0089]
The images in the multi-angle section are the image A2, the image B2, and the image C1, and at the time of reproduction as the multi-angle image, any one of the images that proceed simultaneously is selected and reproduced. The edited image A ′ is an image obtained by combining the image A1, the multi-angle image of the image A2, the image B2, and the image C1, and the image A3 (step S57).
[0090]
The image of the multi-angle section may be not only a moving image but also a slide show of a still image, and the atmosphere of the place can be expressed by a number of still images taken of decisive moments that cannot be obtained with a moving image.
[0091]
Up to this point, the case of performing image editing based on time information attached to an image has been described. However, when GPS (Global Positioning System) is used, position information indicating a shooting location is attached to an image. Image editing will be described. Similar to the time information, the candidate image to be edited can be searched. First, the base image A is selected. Images that are candidates for editing are displayed in a procedure as shown in FIG.
[0092]
Image A is a reference image, and the position information of the attached information is extracted. An image image in the area of the set range with position information is searched. However, since the range varies greatly depending on the shooting situation and the purpose of editing, it is desirable that the range can be set. (Step S81).
[0093]
Since the position information of the image to be searched is registered in the edit management table, the position information is read (step S82). It is determined whether the position indicated by the read position information is in the area indicated by the position information of image A and the search range. When the position of the image B is in that area (step S84—within range), the image is registered as a candidate image (step S85).
[0094]
If it is not within the range (step S84—out of range) or registration is completed, step S82 to step S87 are repeated until all the images registered in the edit management table are searched (step S87—NO). When all the search is completed (step S87-YES), the image registered as the candidate image is displayed on the display unit 13 (step S89). The candidate images may be displayed as thumbnails, which are representative images of the images, or may be image names in the information attached to the images. In this way, the edit candidate image B is searched.
[0095]
After selecting the base image A, the user who edits the image selects several images to which the multi-angle effect is to be added and gives an instruction for editing. The moving image editing apparatus generates a multi-angle image as shown in FIG.
[0096]
Assume that the image to be edited is an image taken in the same region as shown in FIG. The position information indicates (north latitude xxx ° xx ′, east longitude yyy ° yy ′), and the shooting time is “starting time“ 10:10:00 on Oct. 1, 2001 ”in image A, and in image B The start time “June 1, 2002 10:10:10” varies from image C to the start time “January 1, 2003 10:16:30”. In order to make these images into multi-angle images, the reproduction times of the respective images are obtained, and the reproduction times are aligned with the minimum reproduction time. The image A is 14 minutes 20 seconds, the image B is 16 minutes 20 seconds, the image C is 15 minutes 20 seconds, and 14 minutes 20 seconds is the minimum reproduction time (step S61).
[0097]
Align the images so that the minimum playback time is reached. In this case, since the image A has the minimum reproduction time, there is no portion to be deleted, and the image A as it is is used for editing (step S63). Since the reproduction time of the image B is 16 minutes and 20 seconds, the image B1 shortened by 2 minutes is used (step S64). Since the reproduction time of the image C is 15 minutes and 20 seconds, the image C1 shortened by 1 minute is used (step S65).
[0098]
The images A, B1, and C1 having the same reproduction time are designated as multi-angle images A ′, B ′, and C ′. The multi-angle images A ′, B ′, and C ′ are selected and reproduced during reproduction (step S67).
[0099]
When editing multi-angle images using location information, videos from the same location can be combined even at different shooting times, such as changes in the seasons of the scenery at the same point.
[0100]
As described above, the image edited using the time information and the position information is confirmed on the edited result and written on a medium such as a DVD before writing on the recording medium. Usually, image editing is performed by using a pointer of position (address) information on the image memory or file. That is, the editing operations described so far are performed by operating the pointers of the respective images, and the actual images are edited before the stage of writing to the final recording medium. It can flexibly cope with copying, moving, deleting and editing of data, and the hard disk and memory can be used effectively.
[0101]
In addition, the image before editing is encoded by various encoding methods. For example, MPEG also includes MPEG-1 Video, MPEG-1 System, VideoCD, MPEG-2 Video, and the like, and there is also a method in which a still image encoding method based on JPEG (Joint Photographic Expert Group) is applied to moving images. Since the edited image is also limited by the medium on which the edited image is recorded, the final image is recorded in a unified encoding method suitable for the user's instruction or the default target reproduction device. It is desirable to convert the encoding method before editing the image because the screen to be edited can be checked in the state of the final image. However, considering the work area and conversion time, it should be performed before the final image confirmation operation. preferable. If the final image confirmation operation can be omitted, it may be performed when the image is recorded on the recording medium.
[0102]
As shown in FIG. 20, the DVD video file format is a world standard DVD video recording format. It consists of control information and an object part that stores entities such as images and sounds. Image data is stored in the VTS 23, and image effects such as picture-in-picture and multi-angle and playback image control are stored in a portion indicated by the VMG 22 as control information. In general, image editing is performed using position (address) information on an image file, and actual image data is edited before the final stage of writing to the recording medium. Thereby, the hard disk and the memory can be used effectively.
[0103]
【The invention's effect】
According to the present invention, it is possible to provide a moving image editing apparatus and a moving image editing method that allow a user who does not have specialized knowledge or technique to easily perform image editing. In addition, it is possible to provide a moving image editing apparatus and a moving image editing method that can expand applications such as multi-angle even for users having specialized knowledge.
[0104]
Further, according to the present invention, it is possible to provide a moving image editing apparatus and a moving image editing method that automatically perform chapter setting.
[0105]
Furthermore, according to the present invention, it is possible to provide a moving image editing apparatus and a moving image editing method for converting several images into multi-angles.
[0106]
ADVANTAGE OF THE INVENTION According to this invention, the moving image editing apparatus which has the advanced function which a user with professional knowledge uses can be provided at low cost.
[Brief description of the drawings]
FIG. 1 is a block diagram showing a configuration of a moving image editing apparatus according to the present invention.
FIG. 2 is a flowchart showing an editing operation for inserting an image.
FIG. 3 is a diagram illustrating a temporal relationship (1) of images when an image is inserted.
FIG. 4 is a diagram illustrating a temporal relationship (2) of an image when an image is inserted.
FIG. 5 is a diagram illustrating a temporal relationship (3) of an image when an image is inserted.
FIG. 6 is a flowchart showing an editing operation for replacing an image.
FIG. 7 is a diagram illustrating a temporal relationship (1) of images when replacing an image.
FIG. 8 is a diagram illustrating a temporal relationship (2) of an image when replacing the image.
FIG. 9 is a diagram illustrating a temporal relationship (3) of images when replacing an image.
FIG. 10 is a flowchart showing an editing operation for displaying a sub-screen.
FIG. 11 is a diagram showing a time relationship (1) of an edited image displayed on a small screen.
FIG. 12 is a diagram showing a time relationship (2) of an edited image displayed on a small screen.
FIG. 13 is a diagram showing a time relationship (3) of an edited image displayed on a small screen.
FIG. 14 is a flowchart showing an operation of multi-angle editing of an image based on time information.
FIG. 15 is a diagram illustrating a temporal relationship between images to be subjected to multi-angle editing.
FIG. 16 is a flowchart showing an operation of multi-angle editing of an image based on position information.
FIG. 17 is a diagram illustrating a relationship between images to be subjected to multi-angle editing.
FIG. 18 is a flowchart showing an operation of searching for an image based on time information.
FIG. 19 is a flowchart showing an operation of searching for an image based on time information.
FIG. 20 is a diagram showing a file format of a DVD video.
[Explanation of symbols]
11 Memory unit
12 editorial department
13 Display section
14 Input section
15 Recording medium writing unit
21 DVD video file
22 VMG part
23 VTS Department

Claims

A storage unit that stores a plurality of images displayed as images on a display and attached information indicating attributes of the images in association with each other;
An editing unit that automatically edits the image based on the attached information,
The first attached information indicating the attribute of the first image among the plurality of images indicates first time information including a date and time, and a time from the start to the end of reproduction of the first image. With playback time information,
The second attached information indicating the attribute of the second image of the plurality of images includes second time information including a date and time,
The editing unit refers to a first time zone indicated by the first time information and the reproduction time, and the second time information,
When inserting the second image into the first image,
When the date and time indicated by the second time information is included in the first time zone, an image in which the second image is inserted at the position of the first image corresponding to the date and time indicated by the second time information is automatically Generated
When the date and time indicated by the second time information is before and after the first time zone, an image in which the second image is combined before and after the first image is automatically generated,
When the second attached information further includes second reproduction time information indicating a time from the start to the end of reproduction of the second image, and the first image is replaced with the second image, When the second time zone indicated by the time information and the second playback time information overlaps with the first time zone, the portion of the first image corresponding to the time zone overlapping with the second time zone is the first time zone. A moving image editing device that automatically generates an image replaced with two images.

When the second attached information comprises the second reproduction time information, and the second time zone overlaps with the first time zone,
The editing unit automatically generates an image in which a section obtained by dividing a part of the screen of the first image is replaced by a portion of the second image corresponding to a time zone overlapping with the first time zone. The moving image editing apparatus according to claim 1.

When the second attached information comprises the second reproduction time information, and the second time zone overlaps with the first time zone,
The editing unit automatically selects and reproduces simultaneously proceeding images selected by selecting either the second image portion corresponding to the time zone overlapping with the first time zone or the first image portion. The moving image editing apparatus according to claim 1.

The moving image editing apparatus according to any one of claims 1 to 3, wherein the first image and the second image are moving images.

The moving image editing apparatus according to claim 1, wherein the first image is a moving image, and the second image is a still image.

The moving image editing apparatus according to any one of claims 1 to 3, wherein the first image is a moving image, and the second image is an image that is reproduced every time a plurality of still images are sequentially set.

The moving image editing apparatus according to claim 1, wherein image processing is performed to make the number of pixels of the second image equal to the number of pixels of the first image.

The moving image editing apparatus according to claim 7, wherein an image generated based on the first image and the second image is encoded by a specified encoding method and stored in the storage unit.

The moving image editing apparatus according to claim 1, wherein a head of the second image is a chapter point that divides the image.

The first image is a moving image, the second image is a still image, and the date and time indicated by the second time information is included in the first time zone,
The moving image editing apparatus according to claim 1, wherein the editing unit uses the second image to identify a position of the first image corresponding to the time indicated by the second time information as a chapter point that divides the image.

The moving image editing apparatus according to claim 9 or 10, wherein a name for identifying the second image is added to a chapter divided by the chapter points.

The moving image editing apparatus according to claim 1, wherein time information of the plurality of images is searched based on the first time zone, and a search result is displayed as a candidate for the second image.

The first attached information further includes first position information indicating a shooting location,
The second attached information further includes second position information indicating a shooting location,
When the location indicated by the second location information is an area within a predetermined range from the location indicated by the first location information,
The moving image editing apparatus according to claim 1, wherein the editing unit automatically generates an image that is edited at the reproduction time by editing the second image.

The moving image editing apparatus according to claim 13, wherein the editing unit generates a simultaneously proceeding image to be played back by selecting one of the first image and the second image.

The moving image editing apparatus according to claim 13 or 14, wherein position information of the plurality of images is searched based on the first position information, and a search result is displayed as a candidate for the second image.

A storage step of storing a plurality of images displayed as images on a display and attached information indicating attributes of the images in association with each other;
An editing step of automatically editing the image based on the attached information,
The first attached information indicating the attribute of the first image among the plurality of images indicates first time information including a date and time, and a time from the start to the end of reproduction of the first image. With playback time information,
The second attached information indicating the attribute of the second image of the plurality of images includes second time information including a date and time,
The editing step refers to a first time zone indicated by the first time information and the reproduction time, and the second time information,
When inserting the second image into the first image,
When the date and time indicated by the second time information is included in the first time zone, an image in which the second image is inserted at the position of the first image corresponding to the date and time indicated by the second time information is automatically Generating automatically,
Automatically generating an image in which the second image is combined before and after the first image when the date and time indicated by the second time information is before and after the first time zone;
When the second attached information further includes second reproduction time information indicating a time from the start to the end of reproduction of the second image, and the first image is replaced with the second image, When the second time zone indicated by the time information and the second playback time information overlaps with the first time zone, the portion of the first image corresponding to the time zone overlapping with the second time zone is the first time zone. A replacement step of automatically generating an image replaced with two images.

When the second attached information comprises the second reproduction time information, and the second time zone overlaps with the first time zone,
The replacing step includes a step of replacing an image in a section obtained by dividing a part of a screen displaying the first image with a portion of the second image corresponding to a time zone overlapping with the first time zone. The moving image editing method according to claim 16.

When the second attached information comprises the second reproduction time information, and the second time zone overlaps with the first time zone,
The editing step automatically selects simultaneously reproduced images to be reproduced by selecting either the second image portion corresponding to the time zone overlapping with the first time zone or the first image portion. The moving image editing method according to claim 16, further comprising the step of:

The moving image editing method according to any one of claims 16 to 18, wherein the first image and the second image are moving images.

The moving image editing method according to any one of claims 16 to 18, wherein the first image is a moving image and the second image is a still image.

The moving image editing method according to any one of claims 16 to 18, wherein the first image is a moving image, and the second image is an image that is reproduced every time a plurality of still images are sequentially set.

The moving image editing method according to any one of claims 16 to 21, further comprising a pixel number conversion step of making the number of pixels of the second image equal to the number of pixels of the first image.

The moving image editing method according to claim 22, further comprising an encoding step of encoding an image generated based on the first image and the second image using a specified encoding method.

The moving image editing method according to any one of claims 16 to 23, further comprising a step of setting a head of the second image as a chapter point that divides the image.

The first image is a moving image, the second image is a still image, and the date and time indicated by the second time information is included in the first time zone,
In the editing step, the position of the first image corresponding to the time indicated by the second time information is
The moving image editing method according to claim 16, further comprising a step of using the second image to identify a chapter point that divides the image.

26. The moving image editing method according to claim 24, further comprising a step of adding a name for identifying the second image to chapters delimited by the chapter points.

The moving image editing according to any one of claims 16 to 26, further comprising: searching time information of the plurality of images based on the first time zone, and displaying a search result as a candidate for the second image. Method.

The first attached information further includes first position information indicating a shooting location,
The second attached information further includes second position information indicating a shooting location,
When the location indicated by the second location information is an area within a predetermined range from the location indicated by the first location information,
The moving image editing method according to claim 16, wherein the editing step includes a step of automatically generating an image aligned with the reproduction time by editing the second image.

29. The moving image editing method according to claim 28, wherein the editing step includes a step of generating a simultaneously proceeding image to be reproduced by selecting one of the first image and the second image.

30. The moving image editing method according to claim 29, further comprising: searching for position information of the plurality of images based on the first position information, and displaying a search result as a candidate for the second image.