WO2003096691A1

WO2003096691A1 - Dispositif et procede de traitement des signaux, programme et support d'enregistrement

Info

Publication number: WO2003096691A1
Application number: PCT/JP2003/005564
Authority: WO
Inventors: Katsuyuki Sakaniwa; Hiroshi Saitoh
Original assignee: Matsushita Electric Industrial Co., Ltd.
Priority date: 2002-05-07
Filing date: 2003-05-01
Publication date: 2003-11-20
Also published as: US7298417B2; JP4425521B2; JP2003324694A; EP1503587A1; US20050052572A1

Description

明細書信号処理装置、信号処理方法、プログラム、および記録媒体技術分野

本発明は、フレームレートの変換を行う際に利用される信号処理装置、信号処理方法、プログラム、および記録媒体に関する。背景技術

N T S Cへの 2 ： 3プルダウン処理や N T S Cから P A Lへの変換処理などをフィルム映像に対して行うことによりフレームレートの変換を行う方法やそのようなフレームレートの変換を効率的に行う方法は、数々提案されている。

これらの方法においては、フレームの揷入ゃ間引きが行われてフレーム数が変換の前後で変更されるために、変換前の映像の長さと変換後の映像の長さとが変わらないという特徴がある。

それに対し、フレームの揷入ゃ間引きが行われずフレーム数が変換の前後で変更されないために、変換前後で映像の長さが変化する方法（変換後の映像が変換前の映像のスロー再生や早まわしになるフレームレート変換の方法）も存在する。

たとえば、 6 0フレーム/秒のフレームレ一トで撮影された映像を 2 4フレーム/秒の映像に変換することにより、なめらかな 1ノ2 . 5スロー再生を実現するシステムが提案されている。

また、撮影者が撮影時に自由にフレームレートを変更することができる可変速フレームレート撮影カメラが、提案されている。このような可変速フレームレート撮影カメラで撮影した映像は、たとえば、あるシーンは 60フレーム秒で記録され、別のシーンは 1 2フレーム秒で記録されている。

また、可変速フレームレート撮影カメラに対応したフレームレート変換システムも提案されている。

たとえば、前述の映像を 24フレーム/秒の映像に変換すると、 60 フレーム Z秒で記録されたシーンは 1 Z2. 5スローの映像に変換され、 1 2フレーム Z秒のシーンは 2倍速の映像に変換される。

このようなフレームレート変換システムでは、変換後の映像に対するタイムコードのつけ方が重要である。

具体的には、フレームレートを変換すると 1秒間に表示するフレーム数が変わるので、タイムコードを変換することは必須である。

変換前後で映像の長さが変化するようなフレームレート変換では、下 2桁（該当する時、分、秒におけるフレーム番号）だけではなく、その他の桁（時、分、秒）のタイムコードが変化する可能性がある。

たとえば、 60フレーム/秒の映像における 01 : 1 5 : 24 : 30 のタイムコードがついたフレームには、変換前後で映像の長さが変わらない変換方法によって 24フレーム Z秒の映像への変換が行われた場合には、 01 : 1 5 : 24 : 1 2のタイムコードが付く（ 5フレーム当たり 3フレームの間引きが行われるからである）。

もちろん、変換前後で映像の長さが変わる変換方法によつて変換が行われた場合には、同フレームに 01 ： 15 ： 24 : XXのようなタイムコードが付けられるとは限らない。

変換前のタイムコードと対応を取りながら重複しないようにタイムコ一ドを手作業で付けると、手間がかかる。

そこで、手作業でタイムコードをつけるのではなく、フレームレート変換処理時に自動的にタイムコードを付け直すことが望ましいと、本発明者は考えている。

しかしながら、このようなフレームレート変換前後で映像の長さが変わる場合のタイムコードの標準的な計算方法は、未だに確立されていなレ、。

なお、可変速フレームレートで撮影された映像をフレームレート変換し、その出力映像を映像素材として編集に用いる場合には、必要な区間のみを変換するのが望ましいと考えられる。編集作業のときに明らかな

N G映像を調べる必要もなく、効率的に編集作業を進めることができるからである。発明の開示

本発明は、上記従来のこのような課題を考慮し、フレームレート変換後の映像に対して自動的に変換後のタイムコードをつけることができる信号処理装置、信号処理方法、プログラム、および記録媒体を提供することを目的とするものである。

第 1の本発明は、外部から入力される、変化するまたは変化しないフレームレートを利用して生成された、入力タイムコードを有する映像信号の、全部または単数もしくは複数の区間に対して、フレームレートに関するフレームレート情報の変換を行うフレームレート情報変換手段と前記フレームレート情報の変換が行われた全部または単数もしくは複数の区間に対して、前記入力タイムコードと置き換えられるべき出カタィムコ一ドの計算を行う出力タイムコード計算手段と、

前記フレームレート情報の変換が行われた全部または単数もしくは複数の区間に対して、計算された前記出力タイムコ一ドの付与を行う出力タイムコード付与手段とを備えた信号処理装置である。

第 2の本発明は、前記フレームレート情報の変換は、前記映像信号の区間に対して、前記映像信号のフレーム数が前記フレームレート情報の変換の前後で変更されないように行われる第 1の本発明の信号処理装置である。

第 3の本発明は、前記全部または単数もしくは複数の区間に対して、前記入力タイムコードの内容の検出を行う入力タイムコード内容検出手段をさらに備え、

前記出力タイムコードの計算は、前記入力タイムコードの内容の検出結果を考慮して行われる第 1の本発明の信号処理装置である。

第 4の本発明は、前記区間に対して付与される前記出力タイムコードは、前記区間が開始される開始フレームに対して付与される前記出カタィムコードが、前記開始フレームに対して検出された前記入力タイムコ一ドと実質上一致するように、計算される第 3の本発明の信号処理装置である。

第 5の本発明は、前記開始フレームに対して付与される前記出力タイムコードを調節する出力タイムコード調節手段をさらに備えた第 4の本発明の信号処理装置である。

第 6の本発明は、前記複数の区間の内の所定の区間に対して付与される前記出力タイムコードは、前記複数の区間の内の、前記所定の区間の —つ前の区間に対して付与された前記出力タイムコードと連続するように、計算される第 1の本発明の信号処理装置である。

第 7の本発明は、前記単数もしくは複数の区間に対して付与される前記出力タイムコードは、あらかじめ定められた基準フレームから前記区間が開始される開始フレームまでの仮想区間に対して付与されるべき前記出力タイムコードと連続するように、計算される第 1の本発明の信号処理装置である。

第 8の本発明は、前記単数もしくは複数の区間に対して付与される前記出力タイムコードは、前記単数もしくは複数の区間を含む仮想区間に対して一括的に付与されるべき前記出力タイムコードと実質上一致するように、計算される第 1の本発明の信号処理装置である。

第 9の本発明は、前記フレームレート情報の変換が行われた全部または単数もしくは複数の区間に対して、検出された前記入力タイムコードの所定のビットへの記憶を行う入力タイムコード所定ビット記憶手段をさらに備えた第 1の本発明の信号処理装置である。

第 1 0の本発明は、前記外部から入力される映像信号は、変化するフレームレートを利用して生成され、

前記外部から入力される映像信号に対して、前記フレームレートの変化の検出を行うフレームレート変化検出手段をさらに備え、

前記出力タイムコードの計算は、前記フレームレートの変化の検出結果を考慮して行われる第 1の本発明の信号処理装置である。

第 1 1の本発明は、前記出力タイムコードは、前記入力タイムコードと一対一の対応関係を有するように計算され、

前記一対一の対応関係の対応関係に基づいて、前記出力タイムコードから前記入力タイムコードを逆算する入力タイムコード逆算手段をさらに備えた第 1 0の本発明の信号処理装置である。

第 1 2の本発明は、外部から入力される、変化するまたは変化しないフレームレートを利用して生成された、入力タイムコードを有する映像信号の、全部または単数もしくは複数の区間に対して、フレームレートに関するフレームレート情報の変換を行うフレームレート情報変換ステップと、前記フレームレー'ト情報の変換が行われた全部または単数もしくは複数の区間に対して、前記入力タイムコードと置き換えられるべき出カタィムコードの計算を行う出力タイムコード計算ステップと、

前記フレームレート情報の変換が行われた全部または単数もしくは複数の区間に対して、計算された前記出力タイムコードの付与を行う出力タイムコード付与ステップとを備えた信号処理方法である。

第 1 3の本発明は、第 1 2の本発明の信号処理方法の、外部から入力される、変化するまたは変化しないフレームレートを利用して生成された、入力タイムコードを有する映像信号の、全部または単数もしくは複数の区間に対して、フレームレートに関するフレームレート情報の変換を行うフレームレート情報変換ステツプと、前記フレームレート情報の変換が行われた全部または単数もしくは複数の区間に対して、前記入力タイムコードと置き換えられるべき出力タイムコードの計算を行う出力タイムコード計算ステップと、前記フレームレート情報の変換が行われた全部または単数もしくは複数の区間に対して、計算された前記出力タイムコードの付与を行う出力タイムコード付与ステップとをコンビュータに実行させるためのプログラムである。

第 1 4の本発明は、第 1 3の本発明のプログラムを担持した記録媒体であって、コンピュータにより処理可能な記録媒体である。

図面の簡単な説明

図 1は、本発明の実施の形態 1のフレームレート変換装置の構成図である。，

図 2は、本発明の実施の形態のフレームレート変換装置の構成図である。図 3は、本発明の実施の形態 7のフレームレート変換装置の構成図である。

図 4は、本発明の実施の形態 8のフレームレート変換装置の構成図である。

図 5は、本発明の実施の形態 1のタイムコード変換の説明図である。図 6は、本発明の実施の形態 2のタイムコード変換の説明図である。図 7は、本発明の実施の形態 3のタイムコード変換の説明図である。図 8は、本発明の実施の形態 4のタイムコード変換の説明図である。図 9は、本発明の実施の形態 5のタイムコード変換の説明図である。図 1 0は、本発明の実施の形態 6のタイムコード変換の説明図である _c 図 1 1は、本発明の実施の形態 8のタイムコード変換の説明図である _c

(符号の説明）

1 0 1 フレームレート変換部

1 0 2 タイムコード変換部

1 0 3 タイムコード検出部

1 0 4 タイムコード計算部

発明を実施するための最良の形態

以下に、本発明にかかる実施の形態について、図面を参照しつつ説明を行う。

(実施の形態 1 )

はじめに、本発明の実施の形態 1のフレームレート変換装置の構成図である図：1を主として参照しながら、本実施の形態のフレームレート変換装置の構成について説明する。フレームレート変換咅 1 0 1は、入力映像のフレームレート変換を行う（すなわち、入力映像のヘッダ部に書き込まれているフレームレート情報の変換を行う）ための手段である。

タイムコード合成部丄 0 2は、入力映像におけるタイムコードを出力映像におけるタイムコードに置き換えるための手段である。

タイムコード検出部 1 0 3は、タイムコード付きの入力映像からタイムコード（入力タイムコード）を検出するための手段である。

タイムコード計算部 1 0 4は、検出された入力映像におけるタイムコード、入力映像のフレームレート、出力映像のフレームレートなどを利用して、出力映像におけるタイムコード（出力タイムコード）を計算するための手段である。

より具体的には、出力映像における変換の開始点のタイムコードを決定するために、タイムコード計算部 1 0 4の処理として、入力映像における変換の開始点のタイムコードを出力映像における変換の開始点のタィムコードに採用するための処理が行われる。

そして、タイムコード計算部 1 0 4では、出力映像における変換の開始点のタイムコードを決定し、出力映像と連動するように順次タィムコ一ドをィンクリメントする処理が行われる。

なお、フレームレート変換部 1 0 1は本発明のフレームレート情報変換手段に対応し、タイムコード計算部 1 0 4は本発明の出力タイムコード計算手段に対応し、タイムコード合成部 1 0 2は本発明の出力タイムコード付与手段に対応する。また、タイムコード検出部 1 0 3は本発明の入力タイムコード内容検出手段に対応する。また、本実施の形態のフレームレート変換装置は、本発明の信号処理装置に対応する。

つぎに、本発明の実施の形態 1のタイムコード変換の説明図である図 5を主として参照しながら、本実施の形態のフレームレート変換装置の動作について説明する。なお、本実施の形態のフレームレート変換装置の動作について説明しながら、本発明の信号処理方法の一実施の形態についても説明する（その他の実施の形態に関しても同様である）。

以下では、 3 0フレーム/秒で撮影された映像が 24フレーム/秒の映像へ変換される場合について説明する（なお、以下の実施の形態においては、フレームの挿入や間引きは行われず、フレーム数は変換の前後で変更されない）。

具体的には、入力映像のうち、 00 : 04 : 00 : 00から 00 : 0 8 ： 00 ： 00までの区間①と、 00 : 1 6 : 00 : 00力ら 00 : 2 2 : 00 : 00までの区間②とが変換される場合について説明する。なお、簡単のため、タイムコードがノンドロップフレームで計算される場合について説明する。

図 5では、入力映像における区間①、 ②の開始点のタイムコードと出力映像における区間①、 ②の開始点のタイムコードとがそれぞれ一致している。

24フレームノ秒の映像の再生時間は、 3 0フレームノ秒の映像の再生時間に比べると 1. 25倍長くなる。

このため、出力映像における区間①の長さは、 00 : 04 : 00 : 0 0の 1. 2 5倍で 00 ： 0 5 ： 00 ： 00である。

また、出力映像における区間②の長さは、 00 : 06 : 00 : 00の 1. 2 5倍で 0 0 : 0 7 : 3 0 : 00である。

よって、出力映像における区間①のタイムコードは、 00 : 04 : 0 0 ： 00力ら 0 0 ： 09 ： 00 ： 00までである。

また、出力映像における区間②のタイムコードは、 00 : 1 6 : 00 ： 00力ら 00 ： 2 3 ： 3 0 ： 00になる。

上述のタイムコード変換においては、出力映像におけるタイムコードが変換区間に左右されるが、出力映像におけるタイムコードから入力映像におけるタイムコードが容易に推察でき、ユーザにとって感覚的にわかりやすいという利点がある。

(A) なお、入力映像における区間①の開始点のタイムコードが 1フレーム早い 00 : 03 : 5 9 : 2 9である場合、タイムコード 00 ： 0 3 ： 5 9 ： 2 9は、フレームレートが 24フレームノ秒である映像には存在しないため、出力映像におけるタイムコードとして採用できない。採用できるタイムコードが得られるように、出力映像におけるタイムコードとして採用できないこのようなタイムコードを 00丸めなどによつて捕正してもよい。

たとえば、入力映像における変換の開始点のタイムコードが 00 ： 0 3 : 5 9 : 2 9である場合には、開始点のタイムコードが 00 : 03 : 5 9 ： 00となるように 00丸めを行う。 '

同様に、開始点のタイムコードが 00 : 0 3 : 5 9 : 24、 00 : 0 3 : 5 9 : 25、 ···、 00 : 0 3 : 5 9 : 28の何れかである場合にも、開始点のタイムコードが 00 ： 0 3 ： 5 9 ： 00となるように 00丸めを行う。

なお、フィルム映像を NT S Cに変換するための 2 ： 3プルダウン処理においては、 2 : 3 : 2 : 3のタイミングを示すためにいわゆる Aフレームが用いられている。

Aフレームでは、下 2桁が 00であるタイムコードが、 2 : 3 : 2 : 3のタイミングの先頭に一致している。

そこで、タイムコードを置き換える際に、 24 P (24プログレッシブ）の Aフレームあわせのためにフレーム表示の部分（前述の下 2桁の部分）を丸め込むことによって、タイムコード a b ： c d ： e f ： g h をタィムコード& ：。 1 : 6 ；[ : 00に置き換えてもよい。上述の 0 0丸めを行うことにより下 2桁が 0 0であるタイムコードの位置が常に Aフレームになることが保障され、既存の 2 ： 3プルダウンシステムとの接続を保障することができる。

( B ) また、本発明の実施の形態のフレームレート変換装置の構成図である図 2に示されているように、ユーザによる外部入力を行うことができる機構が利用されてもよい。

このようなフレームレート変換装置は、本実施の形態のフレームレート変換装置（図 1参照）と類似した構成を有しているが（同じ名称の手段は同様な機能を有する、以下同様）、出力映像における変換の開始点のタイムコードに採用されるべきタイムコードをユーザがマニュアル入力するためのタイムコード入力部 2 0 5を備えている。

なお、フレームレート変換部 2 0 1は本発明のフレームレート情報変換手段に対応し、タイムコード計算部 2 0 4は本発明の出力タイムコード計算手段に対応し、タイムコード合成部 2 0 2は本発明の出力タイムコード付与手段に対応する。また、タイムコード検出部 2 0 3は本発明の入力タイムコード内容検出手段に対応する。また、タイムコード入力部 2 0 5は本発明の出力タイムコード調節手段に対応する。また、本実施の形態のフレームレ一ト変換装置は、本発明の信号処理装置に対応する。

このため、ユーザが出力映像における変換の開始点のタイムコードの微調整を行うことができる。

(実施の形態 2 )

はじめに、本実施の形態のフレームレート変換装置の構成について説明する。

本実施の形態のフレームレート変換装置の構成は、前述した実施の形態 1のフレームレート変換装置の構成と類似している。本実施の形態の特徴は、出力映像におけるタイムコードが連続となるようにタイムコードが計算される点にある。

より具体的には、変換した順に出力映像におけるタイムコードが連続となるようにするために、タイムコード計算部に内部カウンタを実装しておき、タイムコード計算部の処理として、出力映像における変換の開始点のタイムコードをつけなおすための処理が行われる。

つぎに、本発明の実施の形態 2のタイムコード変換の説明図である図 6を主として参照しながら、本実施の形態のフレームレート変換装置の動作について説明する。

先ほども述べたように、出力映像における区間①の長さは 00 ： 0 5 ： 00 ： 00であり、出力映像における区間②の長さは 00 : 0 7 : 3 0 : 00である。

区間①の開始タイムコードを 00 ： 00 ： 00 ： 00とし、区間①、

②を前から順に詰める。 '

すると、出力映像における区間①のタイムコードは 00 : 00 : 00 ： 0 0から 00 : 0 5 : 00 : 00までとなり、出力映像における区間 ②のタィムコードは 00 ： 0 5 ： 00 ： 00力ら 00 ： 1 2 ： 30 ： 0

0までとなる。

このように区間①、 ②を前から順に詰めることにより、入出力間のタィムコードの関連性は多少低くなるが、出力タイムコードの一意性を保証することができる。

(実施の形態 3)

本実施の形態のフレームレート変換装置の構成は、前述した実施の形態 1のフレームレート変換装置の構成と類似している。本実施の形態の特徴は、以下ではシンクポイント（同期ポイント）と呼ばれる基準フレームが設けられてタイムコードが計算される点にある c つまり、変換の対象となる単数もしくは複数の区間に対して付与される出力タイムコードは、あらかじめ定められたシンクポイント（基準フレーム）からこれらの各区間が開始される開始点（開始フレーム）までの仮想区間に対して付与されるべき出力タイムコードと連続するように、計算される。

(入力映像が一定フレームレートの映像である場合には）同じことであるが、変換の対象となる単数もしくは複数の区間に対して付与される出力タイムコードは、これら単数もしくは複数の区間を含む仮想区間に対して一括的に付与されるべき出力タイムコードと一致するように、計算される。

より具体的には、タイムコード計算部の処理として、（1 ) 入力映像におけるフレームレートを考慮して、シンクポィントから入力映像における変換の開始点のタイムコードまでのフレーム数を計算し、（2) 出力映像におけるフレームレートを考慮して、計算されたフレーム数をタィムコード換算し、（3) シンクポイントのタイムコードを足し合わせて、出力映像における変換の開始点のタイムコードを計算するための処理が行われる。

つまり、等式

(数 1)

(T I—T S) /F R I = (TO-T S) /FRO

が成立つように、出力映像における変換の開始点のタイムコード TOが計算される。ここに、左辺の値はシンクポイントから入力映像における変換の開始点までのフレーム数であり、右辺の値はシンクポイントから出力映像における変換の開始点までのフレーム数である。なお、（数 1) において、 T. Iは入力映像における変換の開始点のタィムコード、 TOは出力映像における変換の開始点のタイムコード、 T Sはシンクポィントのタイムコード、 FR Iは入力映像のフレームレート、 F ROは出力映像のフレームレートである。

つぎに、本発明の実施の形態 3のタイムコード変換の説明図である図 7を主として参照しながら、本実施の形態のフレームレート変換装置の動作について説明する。

シンクポイントとは、入力映像におけるタイムコードと出力映像におけるタイムコードとがー致（同期）している一地点のことである。

シンクポイントを設ける変換では、シンクポイントからのフレーム数が変換前後で保持されることになる。

以下では、シンクポイントが 00 : 00 : 00 : 00である場合について具体的に説明する。

変換前の 3 0フレームノ秒の映像においては、シンクポィントから、タイムコード 0 0 : 04 : 00 : 00を有する、入力映像における区間 ①の開始点までのフレーム数は、 7200 (= 30 X 4 X 6 0) である c 変換後の 24フレーム/秒の映像においては、シンクポィントから 7 2 00フレーム目のこのフレームが、タイムコード 00 ： 0 5 ： 00 ： 0 0を有する。

前述したように、出力映像における区間①の長さは 00 : 0 5 : 00 ： 00であるので、出力映像における区間①のタイムコードは 00 ： 0 5 ： 00 ： 00力ら 00 ： 1 0 ： 00 ： 00までである。

同様に、出力映像における区間②のタイムコードは、 00 : 20 : 0 0 ： 00力ら 0 0 ： 2 7 ： 3 0 ： 00までである。

このように、区間①に対して付与される出力タイムコードは、 00 : 00 : 00 : 0 0力ら 00 : 04 : 00 : 00までの仮想区間 I 1に対して付与されるべき出力タイムコードと連続するように、計算される。また、区間②に対して付与される出力タイムコードは、 00 : 00 : 0 0 : 00力ら 0 0 : 1 6 : 00 : 00までの仮想区間 I 2に対して付与されるべき出力タイムコードと連続するように、計算される。

同じことであるが、区間①、 ②に対して付与される出力タイムコード: は、たとえば、 00 ： 00 ： 00 ： 0◦力ら 00 ·· 30 ： 00 ： 00まで仮想区間 Iに対して一括的に付与されるべき出力タイムコードと一致するように、計算される。

逆に、変換後の 24フレーム/秒の映像においては、シンクポイントからタイムコード 00 ： 0 5 ： 00 ： 00を有するフレームまでのフレーム数は、やはり 7200 (= 24 X 5 X 6 0) と計算される。よって、変換前の 3 0フレーム /秒の映像においては、シンクポイントから 7 200フレーム目のこのフレームが、タイムコード 00 : 04 : 00 : 00を有することもすぐに計算できる。

つまり、変換前のタイムコードと変換後のタイムコードとは 1対 1であり、出力映像におけるタイムコードから入力映像におけるタイムコードを逆算する（逆引き処理する）こともできる。

こ'のようにシンクボイントを設けることにより、（入力映像が一定フレームレートの映像である場合には）出力タイムコードの一意性が保障され、出力タイムコードから入力タイムコードを容易に求めることができる。

' (実施の形態 4)

本実施の形態のフレームレート変換装置の構成は、前述した実施の形態 1のフレームレート変換装置の構成と類似している。本実施の形態の特徴は、入力映像が（一定フレームレートの映像ではなく）可変速フレームレート映像である点にある。

つぎに、本発明の実施の形態 4のタイムコード変換の説明図である図 8を主として参照しながら、本実施の形態のフレームレト変換装置の動作について説明する。

以下では、可変速フレームレート映像が 24フレーム/秒の映像へ変換される場合について説明する。

具体的には、可変速フレームレート映像が、 00 : 00 : 0 0 : 00 から 00 : 1 2 : 00 : 00までが 3 0フレーム Z秒で撮影され、 00 : 1 2 : 00 : 00以降が 1 2フレーム/秒で撮影された映像である場合について説明する。

もちろん、区間①、 ②は、前述した実施の形態 1における区間である _c 図 8では、入力映像における変換の開始点のタイムコードと出力映像における変換の開始点のタイムコードとが一致している。

24フレーム Z秒の映像の再生時間は、 3 0フレームノ秒の映像の再生時間に比べると 1. 25倍長くなるが、 1 2フレーム/秒の映像の再生時間に比べると半分になる。

このため、出力映像における区間①の長さは、 00 : 04 : 00 : 0 0の 1. 2 5倍で 00 : 05 : 00 : 00である。

出力映像における区間②の長さは、 0 : 0 6 : 00 : 00の半分で 0 0 : 0 3 : 00 : 00である。

よって、出力映像における区間①のタイムコードは、 00 : 04 : 0 0 ： 00から 0 0 ： 0 9 ： 00 :,0 0までである。

また、出力映像における区間②のタイムコードは、 00 : 1 6 : 00 ： 00力ら 00 ： 1 9 ： 00 ： 00になる。

上述のタイムコード変換においては、前述した実施の形態 1の場合と同様、出力映像におけるタイムコードが変換区間に左右されるが、出力映像におけるタイムコードから入力映像におけるタイムコードが容易に推察でき、ユーザにとって感覚的にわかりやすいという利点がある。

(実施の形態 5) .

本実施の形態のフレームレート変換装置の構成は、前述した実施の形態 1のフレームレート変換装置の構成と類似している。

本実施の形態の特徴は、前述した実施の形態 4と同様に入力映像が可変速フレームレート映像である点と、前述した実施の形態 2と同様に出力映像におけるタイムコードが連続となるようにタイムコードが計算される点にある。

つぎに、本発明の実施の形態 5のタイムコード変換の説明図である図 9を主として参照しながら、本実施の形態のフレームレート変換装置の動作について説明する。

以下では、前述した実施の形態 4と同様、可変速フレームレート映像 (00 : 00 : 00 : 00力ら 00 : 1 2 : 0 0 : 00まが 3 0フレ —ム /秒で撮影され、 00 : 1 2 : 00 : 0 0以降が 1 2フレーム Z秒で撮影された映像）が 24フレーム Z秒の映像へ変換される場合について説明する。

先ほども述べたように、出力映像における区間①の長さは 00 ： 0 5 ： 0 0 ： 00であり、出力映像における区間②の長さは 00 : 0 3 : 0 0 ： 00である。

区間①の開始タイムコードを 00 : 00 : 00 : 00とし、区間①、

②を前から順に詰める。

すると、出力映像における区間①のタイムコードは 00 : 00 : 00 ： 0 0から 00 ： 05 ： 00 ： 00となり、出力映像における区間②のタイムコードは 00 ： 0 5 ： 00 ： 00力ら 00 ： 08 ： 00 ： 00までとなる。

このように区間①、 ②を前から順に詰めることにより、入出力間のタィムコ一ドの関連性は多少低くなるが、出力タイムコードの一意性を保証することができる。

(実施の形態 6)

本実施の形態の特徴は、前述した実施の形態 4と同様に入力映像が可変速フレームレート映像である点と、前述した実施の形態 3と同様にシンクポイント（同期ポイント）が設けられてタイムコードが計算される

〖こある。

つぎに、本発明の実施の形態 6のタイムコード変換の説明図である図 1 0を主として参照しながら、本実施の形態のフレームレート変換装置の動作について説明する。

以下では、シンクポィントが 00 : 00 : 00 : 00である場合について具体的に説明する。

本実施の形態においても、前述した実施の形態 4と同様、可変速フレ一ムレート映像（00 : 0 0 : 00 : 00力ら 00 : 1 2 : 00 : 00 までが 3 0フレーム Z秒で撮影され、 00 : 1 2 : 00 : 00以降が 1 2フレーム Z秒で撮影された映像）が 24フレーム/秒の映像へ変換される場合について説明する。

前述した実施の形態 3と同様、出力映像における区間①のタイムコードは、 0 0 : 0 5 : 0 0 : 0 0から 0 0 : 1 0 : 0 0 : 0 0までである c 変換前の可変速フレームレート映像においては、シンクボイントから入力映像における区間②の開始点であるタイムコード 0 0 : 1 6 : 0 0 ： 0 0までのフレーム数は、変換の開始点での入力映像のフレームレートである 1 2フレーム Z秒を利用して換算を行うと、 1 1 5 2 0 (= 1 2 X 1 6 X 6 0) である。変換後の 2 4フレームノ秒の映像においては、シンクポイントから 1 1 5 2 0フレーム目のこのフレームが、タイムコード 0 0 : 0 8 : 0 0 : 0 0を有する。

前述したように、出力映像における区間②の長さは 0 0 : 0 3 : 0 0 ： 0 0であるので、出力映像における区間②のタイムコードは 0 0 ： 0 8 : 0 0 : 0 0力ら 0 0 : 1 1 : 0 0 : 0 0までである。

このように、区間①に対して付与される出力タイムコードは、 0 0 ： 0 0 : 0 0 : 0 0力、ら 0 0 : 04 : 0 0 : 0 0までの仮想区間 I 1に対して付与されるべき出力タイムコードと連続するように、計算される。また、区間②に対して付与される出力タイムコードは、 0 0 : 0 0 : 0 0 : 0 0から 00 : 1 6 : 0 0 : 0 0までの仮想区間 I 2に対して付与されるべき出力タイムコードと連続するように、計算される。

本実施の形態においては、変換の開始点での入力映像のフレームレートがこのような訐算に利用されることに、注意する。

逆に、変換後の 24フレーム/秒の映像においては、シンクポイントからタイムコード 0 0 ： 0 8 ： 0 0 ： 0 0までのフレーム数は、やはり 1 1 5 2 0 (= 24 X 8 X 6 0) と計算される。よって、変換前の可変速フレームレート映像においては、シンクポィントから 1 1 5 2 0フレーム目のこのフレームが、タイムコード 0 0 ： 1 6 ： 0 0 ： 0 0を有することもすぐに計算できる。

つまり、変換の開始点での入力映像のフレームレートが分かっていれば、出力映像におけるタイムコードから入力映像におけるタイムコードを逆算することができる。

ただし、入力映像が（一定フレームレートの映像ではなく）可変速フレームレート映像であるために、変換前のタイムコードと変換後のタイムコードとが（ 1対 1ではなく） 1対多となっている。

具体的に述べると、上述の例においては、区間①と区間②とが、タイムコードが 0 0 ： 0 8 ： 0 0 ： 0 0力ら 0 0 ： 1 0 ： 0 0 ： 0 0までの区間で重複してしまっている。

つまり、シンクポィントからのフレーム数の換算を変換の開始点でのフレームレートに基づいて行うため、出力タイムコードから入力タイムコードが逆算できるものの、出力タイムコードの一意性は保障されない c このようにシンクポイントを設けることにより、入力映像が可変速フレームレート映像である場合にも、出力タイムコードから入力タイムコ一ドを容易に求めることができる。

(実施の形態 7 )

はじめに、本発明の実施の形態 7のフレームレート変換装置の構成図である図 3を主として参照しながら、本実施の形態のフレームレート変換装置の構成および動作について説明する。

本実施の形態の特徴は、入力映像におけるタイムコードが出力映像におけるユーザーズビットに書き込まれる点にある。

より具体的には、タイムコード検出部 3 0 4によって検出された入力映像におけるタイムコードが、ユーザーズビット合成部 3 0 3によって出力映像におけるユーザズビットに記憶される。

本実施の形態のフレームレート変換装置は、前述した実施の形態 1のフレームレート変換装置（図 1参照）に、タイムコード検出部 3 0 4が検出した入力映像におけるタイムコードを利用して出力映像におけるュ一ザ一ズビットを書き換えるユーザーズビット合成部 3 0 3が追加された構成を有している。

なお、フレームレート変換部 3 0 1は本発明のフレームレト情報変換手段に対応し、タイムコード計算部 3 0 5は本発明の出力タイムコード計算手段に対応し、タイムコード合成部 3 0 2は本発明の出力タイムコード付与手段に対応する。また、タイムコード検出部 3 0 4は本発明の入力タイムコード内容検出手段に対応する。また、ユーザーズビット合成部 3 0 3は本発明の入力タイムコード所定ビット記憶手段に対応する。また、本実施の形態のフレームレート変換装置は、本発明の信号処理装置に対応する。

入力映像における変換の開始点のタイムコードと出力映像における変換の開始点のタイムコードとを一致させたり（上述の実施の形態 2、 5 参照）、シンクポイントを設けたり（上述の実施の形態 3、 6参照）する場合には、出力映像における変換の開始点のタイムコード、入力映像のフレームレート、および出力映像のフレームレートを用いて、出力映像におけるタイムコードから入力映像におけるタイムコードを計算する (逆引き処理する）ことが可能である。

しかし、このような逆引き処理を行うためには、入力映像のフレームレートを出力映像に記録した上で、変換の開始点を常に管理しておく必要がある。

本実施の形態においては、入力映像におけるタイムコードそのものを出力映像に記録させておくため、入力映像におけるタイムコードをわざわざ計算する必要はなく、処理が単純である。

たとえば、変換処理やテープへの記録を行っているときに映像が乱れてしまった場合などには、入力映像におけるタイムコードを出力映像におけるユーザーズビットから取得し、容易に再変換を行うことができる c (実施の形態 8 )

はじめに、本発明の実施の形態 8のフレームレート変換装置の構成図である図 4を主として参照しながら、本実施の形態のフレームレート変換装置の構成について説明する。

フレームレート変更点検出部 4 0 6は、タイムコード検出部 4 0 3が検出したタイムコードとフレームレート検出部 4 0 5が検出した入力映像のフレームレートとを入力し、入力映像のフレームレートの変更を認識するための手段である。

フレームレート変更点データ記憶部 4 0 7は、入力映像のフレームレートの変更が認識されたときの、タイムコード検出部 4 0 3が検出したタイムコードとフレームレート検出部 4 0 5が検出した入力映像のフレームレートとを、フレームレート変更点データとして記憶するための手段である。

入力区間計算部 4 0 9は、ユーザの指示に応じて出力区間指定部 4 0 8が指定した出力区間と前述のフレームレート変更点データとを利用して、対応する入力映像の変換が行われた入力区間を計算するための手段である。

入力映像選択部 4 0 0は、入力した入力映像中の、入力映像の変換が行われた入力区間に対応する区間を取り出すための手段である。

フレームレート変換部 4 0 1は、入力映像中の取り出された区間に対してフレームレート変換を行うための手段である。

タイムコード合成部 4 0 2は、フレームレート変換が行われた出力映像におけるタイムコードを置き換えるための手段である。

なお、フレームレート変換部 4 0 1は本発明のフレ一ムレート情報変換手段に対応し、タイムコード計算部 404は本発明の出力タイムコード計算手段に対応し、タイムコード合成部 40 2は本発明の出力タイムコード付与手段に対応する。また、タイムコード検出部 40 3は本発明の入力タイムコード内容検出手段に対応する。また、フレームレート変更点検出部 40 6は本発明のフレームレート変化検出手段に対応し、入力区間計算部 409は本発明の入力タイムコード逆算手段に対応する。また、本実施の形態のフレームレート変換装置は、本発明の信号処理装置に対応する。

つぎに、本発明の実施の形態 8のタイムコード変換の説明図である図 1 1を主として参照しながら、本実施の形態のフレームレート変換装置の動作について説明する。

本実施の形態においては、変換の対象となる単数もしくは複数の区間に対して付与される出力タイムコードは、これら単数もしくは複数の区間を含む仮想区間に対して一括的に付与されるべき出力タイムコードと一致するように、計算される。

. より具体的には、以下で詳細に説明されるように、シンクポイントからのフレーム数がフレーム数の累計をとることによって計算される。フレームレート変更点検出部 406は、フレームレート変更点データ { 30フレーム/秒、 00 : 0 0 : 00 : 0 0} をフレームレート変更点データ記憶部 40 7に送る。

フレームレート変更点検出部 40 6は、 00 : 1 2 : 00 : 00においてフレームレートが 3 0フレームノ秒から 1 2フレーム/秒に切り替わったことが検出されると、フレームレート変更点データ { 1 2フレーム Z秒、 00 : 1 2 : 00 : 00 } をフレームレート変更点データ記憶部 40 7に送る。

このようにして、フレームレートの変更が行われる都度、フレームレ一ト変更点データとしてフレームレートとタイムコ^"ドのペアが、フレ一ムレート変更点データ記憶部 40 7によって記憶されていく。

タイムコード計算部 404は、上述のフレームレート変更点データを利用してタイムコードを計算する。

ここで、入力タイムコードから出力タイムコードを計算する方法について、具体的に説明する。

前述した実施の形態 6と同様、出力映像における区間①のタイムコードは、 0 0 : 0 5 : 0 0 : 0 0力ら 0 0 : 1 0 : 0 0 : 0 0までである _c シンクポイントから入力映像における区間②の開始点である 0 0 ： 1 6 : 0 0 : 0 0までのフレーム数は、 0 0 : 1 2 : 0 0 : 0 0までの 3 0フレームノ秒、でのフレーム数 2 1 6 00 (= 3 0 X 1 2 X 6 0) と 0 0 ： 1 2 ： 0 0 ： 0 0からの 1 2フレーム Z秒、でのフレーム数 2 8 8 0 (= 1 2 X ( 1 6 - 1 2) X 6 0) とを足し合わせた 244 8 0フレームである。

このフレーム数は、 24フレームノ秒に関して換算すると、 0 0 : 1 7 : 0 0 : 0 0である。

出力映像における区間②の長さは、上述の実施の形態 4において説明されたように、 0 0 : 0 3 : 0 0 : 0 0である。，

したがって、本実施の形態の形態においては、区間②の出力映像は 0 0 ： 1 7 ： 0 0 ： 0 0力ら 0 0 ： 2 0 ： 0 0 ： 0 0までである。

このように、区間①、 ②に対して付与される出力タイムコードは、たとえば、 0 0 : 0 0 : 0 0 : 0 0カら 0 0 : 3 0 : 0 0 : 0 0まで仮想区間 Iに対して一括的に付与されるべき出力タイムコードと一致するように、計算される。

本実施の形態においては、シンクポィントからのフレーム数の累計がこのような計算に利用されることに、注意する。逆に、入力区間計算部 40 9は、フレームレート変更点データを用いて、出力タイムコードから入力タイムコードを計算する。

ここで、出力タイムコードから入力タイムコードを計算する方法について、具体的に説明する。

以下では、出力映像における区間②の開始点である 00 : 1 7 : 00 ： 00に対応する入力映像におけるタイムコード（すなわち、入力映像における区間②の開始点のタイムコード）を計算する場合について説明する。

まず、入力映像における区間②の開始点のタイムコードが、どのフレームレートの範囲に入るかが調べられる。

シンクポイントから出力映像における区間②の開始点までのフレーム数は、 24フレームノ秒に関して換算すると、 244 8 0 (= 24 X 1 7 X 6 0) である。

入力映像におけるフレームレートが 3 0フレームノ秒である区間の範囲は、フレーム番号が 0力ら 2 1 6 0 0 (= 3 0 X 1 2 X 6 0く 244 8 0) までの範囲である。

したがって、入力映像における区間②の開始点のタイムコードは、入力映像におけるフレームレートが 3 0フレームノ秒である区間の範囲には入らない。

一方、入力映像におけるフレームレートが 1 2フレーム/秒である区間の範囲は、終わりが指定されていない。

したがって、入力映像における区間②の開始点のタイムコ^"ドは、入力映像におけるフレームレートが 1 2フレームノ秒である区間の範囲に入る。

これより、入力映像における区間②の開始点のタイムコードは、入力映像における、フレームレートが 1 2フレーム/秒である区間の開始点からのフレーム数が 28 8 0 (= 24480 - 2 1 6 00) であるタイムコードに他ならない。

フレーム数 2880は、 1 2フレーム/秒に関して換算すると、 00 : 04 : 00 : 00に相当する。

以上より、入力映像における区間②の開始点のタイムコードは、フレームレート変更点データ { 1 2フレーム/秒、 00 : 1 2 : 00 : 00 } を考慮することにより、 00 : 1 6 : .00 : 00と計算される。

同様にして、出力映像における区間②の終了点のタイムコードは、 0 0 ： 2 1 ： 5 9 ： 2 9と計算される。

本実施の形態においては、シンクポィントからのフレーム数をフレーム数の累計をとることによって計算する。このため、入力映像が可変速フレームレート映像である場合にも、出力タイムコードの一意性が保障されており、出力タイムコードから一意的に入力タイムコードを特定することができる。

また、本実施の形態においては、出力タイムコードから一意的に入力タイムコードを特定することができるため、出力映像の使用区間を延ばすことも困難でない。たとえば、入力映像を卷き戻しながらフレーム数を数えたりする必要なく、所望のフレーム数だけ遡ってフレームレートの再変換を行うことが容易に可能である。

以上においては、実施の形態 1〜 8に関して詳細,に説明を行った。このように、映像を所定のフレームレートに変換する場合に、人手を介さず、タイムコードの付加を高速かつ効率的に行うことができる。もちろん、フレームレートなどの数値が上述の例における数値以外の数値であっても、このような効果は発揮される。

なお、本発明のプログラムは、上述した本発明の信号処理方法の全部または一部のステップ（または、工程、動作、作用等）の動作をコンビユータにより実行させるためのプログラムであって、コンピュータと協働して動作するプログラムである。

また、本発明の記録媒体は、上述した本発明の信号処理方法の全部または一部のステップ（または、工程、動作、作用等）の全部または一部の動作をコンピュータにより実行させるためのプログラムを担持した記録媒体であり、コンピュータにより読み取り可能かつ、読み取られた前記プログラムが前記コンピュータと協動して前記動作を実行する記録媒体である。

なお、本発明の上記「一部のステップ（または、工程、動作、作用等 ) J とは、それらの複数のステップの内の、一つまたは幾つかのステツプを意味する。

また、本発明の上記「ステップ（または、工程、動作、作用等）の動作」とは、前記ステップの全部または一部の動作を意味する。

また、本発明のプログラムの一利用形態は、コンピュータにより読み取り可能な記録媒体に記録され、コンピュータと協働して動作する態様であっても良い。

また、本発明のプログラムの一利用形態は、伝送媒体中を伝送し、コンピュータにより読みとられ、コンピュータと協働して動作する態様でめつ飞も良い。

また、記録媒体としては、 R O M等が含まれ、伝送媒体としては、ィンターネット等の伝送媒体、光 ·電波 ·音波等が含まれる。

また、上述した本発明のコンピュータは、 C P U等の純然たるハードウェアに限らず、ファームウェアや、 O S、更に周辺機器を含むものであっても良い。

なお、以上説明した様に、本発明の構成は、ソフトウェア的に実現しても良いし、ハードウェア的に実現しても良い。産業上の利用可能性

本発明は、フレームレート変換後の映像に対して自動的に変換後のタィムコードをつけることができるという長所を有する。 '

Claims

請求の範囲

1 . 外部から入力される、変化するまたは'変化しないフレームレートを利用して生成された、入力タイムコードを有する映像信号の、全部または単数もしくは複数の区間に対して、フレームレートに関するフレ一ムレート情報の変換を行うフレームレート情報変換手段と、

前記フレームレート情報の変換が行われた全部または単数もしくは複数の区間に対して、前記入力タイムコードと置き換えられるべき出カタィムコ一ドの計算を行う出力タイムコード計算手段と、

前記フレームレート情報の変換が行われた全部または単数もしくは複数の区間に対して、計算きれた前記出力タイムコードの付与を行う出力タイムコード付与手段とを備えた信号処理装置。

2 . 前記フレームレート情報の変換は、前記映像信号の区間に対して、前記映像信号のフレーム数が前記フレームレート情報の変換の前後で変更されないように行われる請求項 1記載の信号処理装置。

3 . 前記全部または単数もしくは複数の区間に対して、前記入カタィムコードの内容の検出を行う入力タイムコード内容検出手段をさらに備え、

前記出力タイムコードの計算は、前記入力タイムコードの内容の検出結果を考慮して行われる請求項 1記載の信号処理装置。

4 . 前記区間に対して付与される前記出力タイムコードは、前記区間が開始される開始フレームに対して付与される前記出力タイムコードが、前記開始フレームに対して検出された前記入力タイムコードと実質上一致するように、計算される請求項 3記載の信号処理装置。

5 . 前記開始フレームに対して付与される前記出力タイムコードを調節する出力タイムコード調節手段をさらに備えた請求項 4記載の信号処理装置。

6 . 前記複数の区間の内の所定の区間に対して付与される前記出力タイムコードは、前記複数の区間の内の、前記所定の区間の一つ前の区間に対して付与された前記出力タイムコードと連続するように、計算される請求項 1記載の信号処理装置。

7 . 前記単数もしくは複数の区間に対して付与される前記出力タイムコードは、あらかじめ定められた基準フレームから前記区間が開始される開始フレームまでの仮想区間に対して付与されるべき前記出力タイムコードと連続するように、計算される請求項 1記載の信号処理装置。

8 . 前記単数もしくは複数の区間に対して付与される前記出力タイムコードは、前記単数もしくは複数の区間を含む仮想区間に対して一括的に付与されるべき前記出力タイムコードと実質上一致するように、計算される請求項 1記載の信号処理装置。

9 . 前記フレームレート情報の変換が行われた全部または単数もしくは複数の区間に対して、検出された前記入力タイムコードの所定のビットへの記憶を行う入力タイムコード所定ビット記憶手段をさらに備えた請求項 1記載の信号処理装置。

1 0 . 前記外部から入力される映像信号は、変化する'フレームレートを利用して生成され、

前記出力タイムコードの計算は、前記フレームレートの変化の検出結果を考慮して行われる請求項 1記載の信号処理装置。 '

1 1 . 前記出力タイムコードは、前記入力タイムコードと一対一の対応関係を有するように計算され、前記一対一の対応関係の対応関係に基づいて、前記出力タイムコードから前記入力タイムコードを逆算する入力タイムコード逆算手段をさらに備えた請求項 1 0記載の信号処理装置。

1 2 . 外部から入力される、変化するまたは変化しないフレームレートを利用して生成された、入力タイムコードを有する映像信号の、全部または単数もしくは複数の区間に対して、フレームレートに関するフレ一ムレート情報の変換を行うフレームレート情報変換ステップと、前記フレームレ一ト情報の変換が行われた全部または単数もしくは複数の区間に対して、前記入力タイムコードと置き換えられるべき出カタィムコードの計算を行う出力タイムコード計算ステップと、

前記フレームレ一ト情報の変換が行われた全部または単数もしくは複数の区間に対して、計算された前記出力タイムコードの付与を行う出力タイムコード付与ステップとを備えた信号処理方法。

1 3 . 請求項 1 2記載の信号処理方法の、外部から入力される、変化するまたは変化しないフレームレートを利用して生成された、入カタィムコードを有する映像信号の、全部または単数もしくは複数の区間に対して、フレームレートに関するフレームレート情報の変換を行ぅフレ一ムレート情報変換ステップと、前記フレームレート情報の変換が行われた全部または単数もしくは複数の区間に対して、前記入力タイムコードと置き換えられるべき出力タイムコードの計算を行う.出力タイムコード計算ステツプと、前記フレームレート情報の変換が行われた全部または単数もしくは複数の区間に対して、計算された前記出力タイムコードの付与を行う出力タイムコード付与ステップとをコンピュータに実行させるためのプログラム。

1 4 . 請求項 1 3記載のプログラムを担持した記録媒体であって、コンピュータにより処理可能な記録媒体。