JP6049410B2 - 画像処理装置および画像処理方法 - Google Patents

Description

本発明は画像処理装置および画像処理方法に関し、特に、動画データを編集するための画像処理装置および画像処理方法に関する。

従来、動画データに付加されたタイムコード情報を利用して動画の編集点（イン点、アウト点）を決定し、編集を行う技術が知られている（例えば、特許文献１参照）。タイムコードは、時、分、秒、フレームを示す。また、放送方式により、タイムコードにおけるフレーム数が設定される。例えば、ＮＴＳＣの場合は、フレームとして０−２９が付加され、ＰＡＬの場合は０−２４が付加される。

また、従来、動画をＭＰＥＧ方式などにより符号化する技術が知られている。ＭＰＥＧでは、動画の各フレームを、フレーム内符号化、前方予測動き補償フレーム間符号化、双方向予測動き補償フレーム間符号化の何れかにより符号化する。そして、ＭＰＥＧでは、所定数のフレーム内符号化フレーム（Ｉフレーム）、前方予測フレーム間符号化フレーム（Ｐフレーム）、双方向予測フレーム間符号化フレーム（Ｂフレーム）からなるＧＯＰ（Ｇｒｏｕｐ ｏｆ Ｐｉｃｔｕｒｅ）と呼ばれる単位で符号化が行われる。

そのため、ＭＰＥＧ方式で符号化された動画データを編集する場合、ＧＯＰの単位で分割、或いは結合処理が行われる。

特開2008-252940号公報

近年では、フレームレート（単位時間あたりのフレーム数）が高い動画が扱われるようになってきた。例えば、民生用のビデオカメラでは、６０フレーム／秒（ｆｐｓ）の動画を撮影可能なものが登場している。この様な高フレームレートの動画に対してタイムコードを付加した場合、複数のフレームに対して同じ値のタイムコードが付加される。

この様に、同じ値のタイムコードが複数のフレームに重複して付加された場合、従来と同様にタイムコードを利用して編集を行うと、編集後の動画でフレームが欠落したり、或いは、動画データがユーザの意図した位置から結合されないといった問題があった。

本発明は前述の問題点に鑑み、複数のフレームに同じ値のタイムコードが付加されている動画データを編集する場合に、良好な動画データの編集を可能とする画像処理装置および画像処理方法の提供を目的する。

上記本発明の目的を達成するために、連続した複数のフレームの動画データであり、複数のフレームの第１の所定数ごとに同じ値のタイムコードが対応付けられて所定の符号化方法により第２の所定数のフレームを含む符号化単位で符号化された動画データを編集する画像処理装置は、動画データの管理情報から符号化単位に関する情報を取得し、取得した符号化単位に関する情報と動画データの複数のフレームに対応付けられたタイムコードとに基づいて動画データの編集点の候補を決定し、ユーザが指定した編集点と決定された候補とに基づいて、動画データの編集点を設定し、設定された編集点に従って動画データを編集する。

複数のフレームに同じ値のタイムコードが付加されている動画データを編集する場合に、良好に動画データの編集を行うことが可能となる。

本発明の実施形態に係る画像処理装置の構成を示すブロック図である。 ＭＯＶファイルの構成を示す図である。 フレームとタイムコードの割り当てを示す図である。 本発明の第１の実施例に係わる画像処理装置における編集動作のフローチャートである。 本発明の第１の実施例に係わる画像処理装置における編集点の設定動作のフローチャートである。 二つの動画データを結合するときの動画データの構成を示す図である。 本発明の第１の実施例に従って決定された編集点（イン点）を示す図である。 本発明の第１の実施例に従って決定された編集点（アウト点）を示す図である。

以下、本発明の実施形態について図面を参照しながら詳細に説明する。

図１は、本実施形態に係る画像処理装置１００の構成例を示すブロック図である。
図１において、制御部１０１は、操作部１０２からの入力に応じて画像処理装置１００の動作全体を制御する。制御部１０１はマイクロコンピュータやメモリ等を含み、メモリに記憶されたプログラムに従って記録再生装置１００を制御する。また、制御部１０１は、記録再生部１０５との間でデータやコマンドを通信するための記録媒体インターフェイス（ＩＦ）を内蔵している。操作部１０２は、ユーザにより操作可能な各種のスイッチを含む。そして、操作部１０２は、ユーザによる各種の指示などを受理して制御部１０２へ通知する。操作部１０３は、電源スイッチや編集処理のために必要な各種の指示を出力するためのスイッチ等を含む。

信号処理部１０３は、記録媒体１０６から再生された動画データや音声データを復号し、その情報量を伸張する。メモリ１０４は、動画データや音声データを記憶する。画像処理装置１００の各ブロックは、メモリ１０４に対してアクセスすることにより、必要な動画データや音声データを処理する。また、メモリ１０４は、動画データや音声データの他に、ファイルシステムの情報や、管理情報など、各種の情報を記憶し、更に、制御部１０１による制御のためのワークメモリ等の役割を果たす。

記録再生部１０５は、記録媒体１０６に記録された動画データや音声データを再生し、メモリ１０５に記憶する。また、記録再生部１０５は、編集指示に従い、記録媒体１０６に記録された動画データを処理する。本実施形態では、記録媒体１０６はハードディスク（ＨＤＤ）、フラッシュメモリカード等、ランダムアクセスの記録媒体である。また、記録再生部１０５は、記録媒体１０６に記録される動画、音声データや、各種の情報を、ＦＡＴ（File Allocation Table）等のファイルシステムに従い、ファイルとして管理する。

また、記録再生部１０５は、ＡＴＡ等の公知のインターフェイス（ＩＦ）を有し、制御部１０１における記録媒体ＩＦとの間でデータや各種のコマンドを通信する。また、記録媒体１０６は、不図示の記録媒体装着、排出機構により、画像処理装置１００に対して容易に装着、排出することができるように構成するが、画像処理装置１００に記録媒体１０６が内蔵される構成でもよい。

制御部１０１は、記録再生部１０６を制御して、記録媒体１０６から、ファイルシステムデータ（管理データ）を再生してメモリ１０４に記憶する。このファイルシステムデータは、記録媒体１０６に記録されたデータのファイル名やファイルのサイズ、データの記録アドレスなどを示すデータであり、ファイルを管理するための管理情報である。そして、制御部１０１は、読み出したファイルシステムデータに従ってファイルの書き込み、読み出しを制御する。制御部１０１は、記録媒体１０６へのファイルの書き込みや編集指示に応じて、メモリ１０４に記憶されたファイルシステムデータを更新する。そして、更新したファイルシステムデータを、記録再生部１０５により記録媒体１０６に記録する。

また、出力部１０７は、再生された動画データや音声データを画像処理装置１００の外部の表示装置などに出力する。表示部１０８は、動画や各種の情報を液晶パネル等の表示装置に表示する。データバス１０９は、画像処理装置１００の各部の間でデータや各種の制御コマンドなどを送受信するために用いられる。

次に、本実施形態に係わる画像処理装置が扱う動画ファイルについて説明する。本実施形態係わる画像処理装置においては、ＭＯＶファイル形式の動画ファイルを処理する。

図２は、記録媒体１０６に記録されたＭＯＶファイル形式の動画ファイルの構成を示す図である。ＭＯＶファイルは、アトム（ａｔｏｍ）と呼ばれる単位から構成される。図２において、ｆｔｙｐには、ファイルの互換識別情報が格納される。ｍｏｏｖには、動画データやタイムコードにアクセスするための管理情報が格納される。ｍｄａｔには、動画データやタイムコードの実体が格納される。ＭＯＶ形式では、一つのファイルに複数のトラック（ｔｒａｋ）を格納することができる。ｍｏｏｖに格納されるアトムのうち、ｔｒａｋには対応するトラックの動画データやタイムコードの管理情報が格納される。ｓｔｓｄには管理対象が動画データとタイムコードの何れであるかを識別するための情報が格納される。ｓｔｔｓには動画における各フレーム、及び、タイムコードの周波数（フレームレート）を示す情報が格納される。

ＭＰＥＧ方式では、動画の連続する複数のフレームの表示順と符号化の順序が異なる。そのため、ｃｔｔｓには動画における各フレームの符号順と表示順を並べ替えるための情報が格納される。

ＭＰＥＧ方式においては、符号化タイプがＰ，Ｂフレームであるフレームを復号するためには、参照フレームである符号化タイプがＩフレームであるフレームを復号する必要がある。そのため、ランダムアクセスする場合、クローズドＧＯＰのＩフレームから復号を開始する必要がある。なお、ＭＰＥＧでは、符号化単位であるＧＯＰの形式（タイプ）として、クローズドＧＯＰ（第１のタイプ）とオープンＧＯＰ（第２のタイプ）とがある。クローズドＧＯＰは、前後のＧＯＰを参照するフレームを含まないＧＯＰである。ｓｔｓｓには、このような動画データにおけるランダムアクセス可能なフレームを判定するための情報が格納される。

ｓｄｔｐには、動画データの各フレームが非参照フレームであるかどうかを判定するための情報が格納される。ｓｔｓｚ、ｓｔｃｏ、ｓｔｓｃはそれぞれ、各動画フレーム、或いはタイムコードにアクセスするための情報が格納される。

また、ｍｄａｔにおいて、Ｖｉｄｅｏ ｃｈｕｎｋは、動画データにおける複数のフレームを集めたものであり、ＶｉｄｅｏＳａｍｐｌｅは動画データにおける１フレーム分の実データである。また、ＴｉｍｅＣｏｄｅ ｃｈｕｎｋは、タイムコードデータを複数集めたものであり、ＴｉｍｅＣｏｄｅＳａｍｐｌｅはタイムコードデータ一つ分の実データである。

（第１の実施例）
次に、本発明の第１の実施例に係わる動画データの編集動作について説明する。なお、ここでは、記録媒体１０６に記録された各動画データは６０ｆｐｓの動画であり、ＮＴＳＣ方式のタイムコードが付加されているものとする。従って、動画データの各フレームに付加されるタイムコードの値は図３に示す通りとなる。

図４は、本発明の第１の実施例に係わる動画データの編集動作のフローチャートである。なお、図４に示す動作は、制御部１０１の制御に基づいて行われる。また、本実施例では、編集処理として、ユーザにより動画のイン点とアウト点（編集点）を指定し、指定されたイン点とアウト点にて動画データを結合し、新たな動画データとして記録媒体１０６に記録する処理を例に説明する。これ以外にも、編集点にて動画データを二つの部分に分割する処理等も可能である。これらの処理は、ユーザが操作部１０２を操作して制御部１０１に処理を指示することで可能となる。

ユーザにより編集開始の指示があると、制御部１０１は、ファイルシステムの管理情報に基づいて、記録媒体１０６に記録されている各動画ファイルを表示部１０８に表示する。ユーザは表示された動画ファイルから、編集対象の動画を選択する（Ｓ４０１）。制御部１０１は、編集対象の動画が選択されると、この動画における編集点を設定する処理に移行する（Ｓ４０２）。編集点の設定動作は後述する。編集点の設定が完了すると、制御部１０１は、ユーザにより編集処理の実行が指示されたか否かを判別し（Ｓ４０３）、編集を続ける場合にはＳ４０１に戻る。また、編集処理の実行が指示された場合、制御部１０１は、設定された編集点において動画データを結合し、新たな動画ファイルを生成して記録媒体１０６に記録するように、記録再生部１０５に指示する（Ｓ４０４）。記録再生部１０５は、指定された動画データを指定された編集点にて結合した新たな動画データを生成する。例えば、ある動画の先頭からアウト点までを取り出し、別の動画のイン点から最後までの部分と結合する。また、記録再生部１０５は、この新たな動画データに対応したタイムコードを元の動画ファイルから取得する。そして、記録再生部１０５は、結合後の動画データ、タイムコードに関する管理情報（ｍｏｏｖ）を生成し、ＭＯＶファイル形式の動画ファイルとして記録媒体１０６に記録する。

次に、編集点の設定処理における問題について説明する。図６は、動画データＡと動画データＢとを、タイムコード値００：００：０９：００を例えばユーザが編集点として設定して結合するときの動画データの構成を示す。図６において、Ｂ４、Ｐ５，Ｉ２等は、それぞれＢ，Ｐ，Ｉフレームを示す。また、本動画データには、連続する２フレーム（第１の所定数）ごとに同じタイムコードが割り当てられているとする。

動画データＡでは、タイムコード値が００：００：０８：２９であり、ＧＯＰ境界でもあるフレームＰ５までが有効データとなる。また、動画データＢでは、タイムコード値００：００：０９：００に対応したフレーム以降が有効データとなる。従って、タイムコード値が００：００：０９：００であり、ＧＯＰ境界でもある、ＧＯＰ（ｍ＋１）の先頭のフレームＢ０以降が有効データとなる。

そして、動画データＡのＧＯＰ（Ａｎ）までと、動画データＢのＧＯＰ（ｍ＋１）以降をつないで、動画データＣを生成する。しかし動画データＣでは、動画データＢにおけるタイムコード値００：００：０９：００に対応したＰ５フレームが欠落している。そのため、動画データＣでは、タイムコード値００：００：０９：００に対応したフレームが１フレームだけしか表示されないという問題がある。

そこで、本実施形態では、この様なことが起きないように、動画データにおける表示順、或いは、符号順のＧＯＰの開始フレーム、及び、タイムコードの変化点の情報により、制御部１０１が編集点として設定可能なフレーム（位置）を決定する。

図５は、本実施例に係わる画像処理偏装置における編集点の設定動作のフローチャートである。制御部１０１は、記録再生部１０５に対し、指定された編集対象の動画ファイル（ＭＯＶファイル）の管理情報（ＭＯＯＶ）を再生するように指示する（Ｓ５０１）。記録再生部１０５は、指定された動画ファイルの管理情報を読み出し、メモリ１０４に記憶する。次に、制御部１０１は、メモリに記憶された管理情報に基づいて、編集対象の動画データにおける、編集点として設定可能なフレーム（位置）を決定する。

まず、制御部１０１は、メモリ１０４に記憶された管理情報（ＭＯＯＶ）のうち、ｔｒａｋ内のｓｔｔｓを参照して、動画データのフレームレートと、タイムコードデータの周波数を得る。次に、制御部１０１は、同じタイムコード値が付加されたフレーム数を検出し、タイムコード値の変化点となるフレームの位置を検出する。

次に、制御部１０１は、ビデオｔｒａｋのｓｔｓｓとｓｄｔｐから、ＧＯＰの先頭に位置するイントラフレームの符号順のフレーム番号を取得し、更に、ＧＯＰがオープンＧＯＰであるかクローズドＧＯＰであるかを判別する。ｓｔｓｓにより示されるフレームがクローズドＧＯＰのＩフレームに相当する。ｓｔｓｓに示されておらず、かつ、ｓｄｔｐでＩフレームとして指定されたフレームが、オープンＧＯＰのＩフレームに相当する。

次に、制御部１０１は、表示順と符号順の並べ替えを示すｃｔｔｓと、先ほど取得したＩフレームのフレーム番号を用いて、各ＧＯＰの表示順の先頭フレームのフレーム番号と、クローズドＧＯＰのＩフレームの表示順のフレーム番号を得る。

以上の処理で得られる符号化単位であるＧＯＰに関する情報は、次の通りである。
１．各ＧＯＰのＩフレームの、動画の先頭からの表示順のフレーム番号
２．各ＧＯＰの表示順の先頭フレームの、動画の先頭からの表示順のフレーム番号
３．各ＧＯＰが、オープンＧＯＰとクローズドＧＯＰのいずれであるか

制御部１０１は、これらの情報から、編集対象の動画データにおける、編集点として設定可能なフレーム（位置）を編集点の候補として決定する。

まず、イン点については、復号を開始することが可能なフレームで、かつ、タイムコード値が変化する位置にあるフレームをイン点として設定可能なフレームとする。そのため、制御部１０１は、各ＧＯＰのＩフレーム、或いは、クローズドＧＯＰの表示順の先頭フレームであり、且つ、タイムコード値が変化しているフレームを、イン点として設定可能なフレームとする。なお、この設定可能なフレームを編集点として設定したときは、編集点以降のフレームが動画データの有効データとなる。

図７に、イン（ｉｎ）点として設定可能なフレームの位置（編集点の候補）を示す。図７において、７０１、７０８はそれぞれ、符号順の動画データの各フレームとＧＯＰを示しており、７０２、７０９はそれぞれ、表示順の動画データの各フレームとＧＯＰを示している。なお、図７では、動画データとして、ＩフレームとＢフレームだけを含む第２の所定数のフレームを含む構成を例として表示したが、もちろん、Ｐフレームを含む構成としてもよい。また、図７において、７０３、７１０は各フレームに付加されたタイムコードを示している。本動画データでも、連続する２フレームごとに同じタイムコードが割り当てられているとする。

クローズドＧＯＰについては、図７（ａ）に示すように、表示順の先頭フレームであり、且つ、タイムコード値の変化点である、フレーム７０４、７０６がイン点の候補として決定される。更に、ＧＯＰのＩフレームであり、且つ、タイムコード値の変化点である、フレーム７０５、７０７がイン点の候補として決定される。

また、オープンＧＯＰについては、図７（ｂ）に示すように、ＧＯＰのＩフレームであり、且つ、タイムコード値の変化点である、フレーム７１１、７１２がイン点の候補として決定される。

次に、アウト（ｏｕｔ）点については、ＧＯＰの表示順の最終フレームの表示終了位置で、且つ、タイムコード値が変化する位置をアウト点として設定可能な編集点とする（上記最終フレームのタイムコードは変化していない）。そのため、制御部１０１は、上記ＧＯＰに続くＧＯＰの表示順の先頭フレームであり、且つ、タイムコード値が変化しているフレームを、アウト点として設定可能なフレームとする。なお、この設定可能なフレームを編集点として設定したときは、編集点の前までのフレームが動画データの有効データとなる。

図８に、アウト点として設定可能なフレームの位置を示す。図８において、８０１、８０６はそれぞれ、符号順の動画データの各フレームとＧＯＰを示しており、８０２、８０７はそれぞれ、表示順の動画データの各フレームとＧＯＰを示している。なお、図８では、動画データとして、ＩフレームとＢフレームだけを含む構成を例として表示したが、もちろん、Ｐフレームを含む構成としてもよい。また、図８において、７０３、８０８は各フレームに付加されたタイムコードを示している。上述のように、連続する２フレームごとに同じタイムコードが割り当てられている。

図８（ａ）、（ｂ）に示すように、オープンＧＯＰ、クローズドＧＯＰの何れにおいても、表示順の先頭フレームであり、且つ、タイムコード値の変化点である、フレーム８０４、８０５、８０９、８１０がアウト点の候補として決定される。

図５に戻り、この様に、イン点、アウト点として設定可能なフレームを決定した後、制御部１０１は、例えば操作部１０２を介してユーザにより編集点（イン点、及びアウト点）が指定されたか否かを判別する（Ｓ５０３）。ユーザにより編集点が指定された場合、制御部１０１は、指定された編集点（フレーム位置）が、Ｓ５０２にて候補として決定した、イン点、或いはアウト点として設定可能なフレームであるか否かを判別する（Ｓ５０４）。

ユーザが指定した位置が、編集点として設定可能なフレームであった場合、制御部１０１は、ユーザにより指定されたフレームを編集点として設定する（Ｓ５０８）。一方、ユーザが指定した位置が、編集点として設定可能なフレームでない場合、制御部１０１は、ユーザが指定した位置に最も近い、編集点として設定可能なフレームの候補を編集点として設定する（Ｓ５０５）。そして、制御部１０１は、編集点を変更した旨の情報を表示部１０８に表示し（Ｓ５０６）、編集点の設定が終了したか否かを判別する（Ｓ５０７）。編集点の設定が終了した場合、制御部１０１は、編集点設定処理を終了し、図４の処理に戻る。

このように、本実施例では、ＭＰＥＧ方式で符号化された動画を編集する際に、表示順でＧＯＰの先頭フレーム、或いは、ＧＯＰのＩフレームを編集点として設定可能とした。そのため、符号化された状態で動画データを結合、或いは分割した場合に、編集点から正しく動画データも復号を開始することができる。

更に、本実施例では、表示順でＧＯＰの先頭フレーム、或いはＧＯＰのＩフレームで、且つタイムコード値が変化するフレームを編集点として設定可能とした。そのため、同じタイムコード値が複数のフレームに割り当てられている場合であっても、編集後に、タイムコードが欠落するなどの不具合が発生することを防ぐことが可能となる。

なお、本実施例では、ＭＰＥＧ方式で符号化された動画データの処理について説明したが、これ以外にも、同じタイムコード値が複数のフレームに割り当てられている動画データを処理する場合にも、同様に本発明を適用可能である。

また、本実施例では、同じタイムコード値が２フレームごとに割り当てられている場合について説明した。これ以外にも、同じタイムコード値が３フレーム以上の複数のフレームごとに割り当てられている動画データを処理する場合にも、同様に本発明を適用可能である。

また、本実施形態では、ＭＯＶファイル形式で記録された動画データを処理する場合について説明したが、これ以外の形式の動画データを処理する場合にも、同様に本発明を適用可能である。

（第１の実施例の変形例）
第１の実施例では、先に編集点の候補を選択された動画に対して決定しておき、その後ユーザが指定する編集点の設定可能性を決定された候補に基づいて判別した。これに対し、ユーザが編集点の指定をしたことに応じて、その編集点を含む所定の範囲のＧＯＰに対して第１の実施例と同様に編集点の候補を決定し、その後に設定可能性を判定するか、あるいは候補を提示してユーザが選択、変更する構成としてもよい。また、その場合、ユーザが指定した編集点が設定可能であるかどうかを決定された候補に基づいて判定し、その結果をマークなどの表示手段でユーザに提示するようにしてもよい。

（本発明に係る他の実施形態）
前述した本発明の実施形態における記録装置を構成する各手段、並びに記録方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記憶したコンピュータ読み取り可能な記憶媒体は本発明に含まれる。

また、本発明は、例えば、システム、装置、方法、プログラムもしくは記憶媒体等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。

なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図４及び図５に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。

したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。

その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。

プログラムを供給するための記憶媒体としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。

その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記憶媒体にダウンロードすることによっても供給できる。

また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。

また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記憶媒体に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。

また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。

さらに、その他の方法として、まず記憶媒体から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。

Claims (14)

1. 第１の所定数のフレームごとに同じ値のタイムコードが対応づけられ、複数の符号化タイプを用いる所定の符号化方法により第２の所定数のフレームを含む符号化単位で符号化された動画データを取得する取得手段と、
   前記動画データにおける所定の符号化タイプのフレームであって、且つ、直前のフレームのタイムコードとは違う値のタイムコードに対応したフレームを、前記動画データの編集点の候補のフレームとして決定する決定手段と、
   前記決定手段で決定された前記候補のフレームに基づいて、前記動画データの編集点のフレームを設定する設定手段と、
   前記設定手段により設定された前記編集点のフレームに応じて前記動画データを編集する編集手段と、
   を備えることを特徴とする画像処理装置。
2. 前記複数の符号化タイプはフレーム内符号化タイプとフレーム間符号化タイプとを含み、
   前記決定手段は、前記フレーム内符号化タイプのフレームであって、且つ、直前のフレームのタイムコードとは違う値のタイムコードに対応したフレームを、前記候補のフレームとして決定することを特徴とする請求項１に記載の画像処理装置。
3. 前記複数の符号化タイプはフレーム内符号化タイプとフレーム間符号化タイプとを含み、
   前記決定手段は、前記符号化単位が他の符号化単位のフレームを参照することにより符号化されたフレームを含まない第１のタイプである場合、前記符号化単位における、表示順が先頭のフレームであって、且つ、直前のフレームのタイムコードと異なる値のタイムコードに対応したフレームを、前記候補のフレームとして決定することを特徴とする請求項１に記載の画像処理装置。
4. 前記決定手段は、前記符号化単位が他の符号化単位のフレームを参照することにより符号化されたフレームを含む第２のタイプである場合、前記符号化単位における、前記フレーム内符号化タイプのフレームであって、且つ、直前のフレームのタイムコードと異なる値のタイムコードに対応したフレームを、前記候補のフレームとして決定することを特徴とする請求項３に記載の画像処理装置。
5. 第１の所定数のフレームごとに同じ値のタイムコードが対応づけられた動画データであって、複数の符号化タイプを用いる所定の符号化方法により、第２の所定数のフレームを含む符号化単位で符号化された動画データを取得する取得手段と、
   前記符号化単位における表示順が最後のフレームであって、且つ、次のフレームのタイムコードとは違う値のタイムコードに対応したフレームを、前記動画データの編集点の候補のフレームとして決定する決定手段と、
   前記決定手段により決定された前記候補のフレームに基づいて、前記動画データの編集点のフレームを設定する設定手段と、
   前記設定手段により設定された前記編集点のフレームに応じて前記動画データを編集する編集手段とを備える画像処理装置。
6. 前記設定手段は、ユーザによりフレームが指定された場合に、前記ユーザによる前記指定されたフレームに基づいて前記編集点のフレームを設定することを特徴とする請求項１または５に記載の画像処理装置。
7. 前記設定手段は、前記指定されたフレームが前記候補のフレームでない場合には、前記候補のフレームのうち前記指定されたフレームに最も近いフレームを前記編集点のフレームとして設定することを特徴とする請求項６に記載の画像処理装置。
8. 前記編集手段が行う編集処理は、前記編集点において前記動画データを分割する分割処理と、前記編集点において前記動画データを他の動画データと結合する結合処理とを含むことを特徴とする請求項１または５に記載の画像処理装置。
9. 前記決定手段は、前記動画データにおけるフレームの位置に関する情報に応じて、前記候補のフレームを決定することを特徴とする請求項１または５に記載の画像処理装置。
10. 第１の所定数のフレームごとに同じ値のタイムコードが対応づけられた動画データであって、フレーム内符号化タイプとフレーム間符号化タイプとを含む複数の符号化タイプを用いる所定の符号化方法により、第２の所定数のフレームを含む符号化単位で符号化された動画データを取得する取得手段と、
    前記動画データにおける、イン点とアウト点とを含む編集点の候補のフレームを決定する手段であって、前記符号化単位における、表示順が先頭である前記フレーム間符号化タイプのフレームであって、且つ、直前のフレームのタイムコードと異なる値のタイムコードに対応したフレームを、前記イン点の候補のフレームとして決定し、前記符号化単位における、表示順が最後のフレームであって、且つ、次のフレームのタイムコードと異なる値のタイムコードに対応したフレームを、前記アウト点の候補のフレームとして決定する決定手段と、
    前記決定手段により決定された前記候補のフレームに基づいて、前記動画データの編集点のフレームを設定する設定手段と、
    前記設定手段により設定された前記編集点のフレームに応じて前記動画データを編集する編集手段とを備える画像処理装置。
11. 前記タイムコードは、時、分、秒、及びフレームを含み、前記動画データの前記第１の所定数のフレームごとに時、分、秒、及びフレームの値が同じであるタイムコードが対応づけられていることを特徴とする請求項１から１０の何れか１項に記載の画像処理装置。
12. 第１の所定数のフレームごとに同じ値のタイムコードが対応づけられ、複数の符号化タイプを用いる所定の符号化方法により第２の所定数のフレームを含む符号化単位で符号化された動画データを取得する工程と、
    前記動画データにおける所定の符号化タイプのフレームであって、且つ、直前のフレームのタイムコードとは違う値のタイムコードに対応したフレームを、前記動画データの編集点の候補のフレームとして決定する工程と、
    前記決定する工程で決定された前記候補のフレームに基づいて、前記動画データの編集点のフレームを設定する工程と、
    前記設定する工程により設定された前記編集点のフレームに応じて前記動画データを編集する工程と、
    を備えることを特徴とする画像処理方法。
13. 第１の所定数のフレームごとに同じ値のタイムコードが対応づけられた動画データであって、複数の符号化タイプを用いる所定の符号化方法により、第２の所定数のフレームを含む符号化単位で符号化された動画データを取得する工程と、
    前記符号化単位における表示順が最後のフレームであって、且つ、次のフレームのタイムコードとは違う値のタイムコードに対応したフレームを、前記動画データの編集点の候補のフレームとして決定する工程と、
    前記決定する工程により決定された前記候補のフレームに基づいて、前記動画データの編集点のフレームを設定する工程と、
    前記設定する工程により設定された前記編集点のフレームに応じて前記動画データを編集する工程とを備える画像処理方法。
14. 第１の所定数のフレームごとに同じ値のタイムコードが対応づけられた動画データであって、フレーム内符号化タイプとフレーム間符号化タイプとを含む複数の符号化タイプを用いる所定の符号化方法により、第２の所定数のフレームを含む符号化単位で符号化された動画データを取得する工程と、
    前記動画データにおける、イン点とアウト点とを含む編集点の候補のフレームを決定する工程であって、前記符号化単位における、表示順が先頭である前記フレーム間符号化タイプのフレームであって、且つ、直前のフレームのタイムコードと異なる値のタイムコードに対応したフレームを、前記イン点の候補のフレームとして決定し、前記符号化単位における、表示順が最後のフレームであって、且つ、次のフレームのタイムコードと異なる値のタイムコードに対応したフレームを、前記アウト点の候補のフレームとして決定する工程と、
    前記決定する工程により決定された前記候補のフレームに基づいて、前記動画データの編集点のフレームを設定する工程と、
    前記設定する工程により設定された前記編集点のフレームに応じて前記動画データを編集する工程とを備える画像処理方法。

Images