JP4748251B2 - 映像変換方法および映像変換装置 - Google Patents

Description

本発明は、フィルム素材などに記録された映像を使用して立体画像として視認可能な３次元表示（以下、「３Ｄ立体表示」と略記する）を行う際に、３Ｄ立体表示における映像の動きを円滑にする映像変換方法およびこの変換方法を使用した映像変換装置に関する。

フィルム素材などに記録された映像を使用して３Ｄ立体表示を得る方法として、右眼用と左眼用の映像をそれぞれ提供する方法が従来知られている。人が物を見る場合、同じ物を見ていても右眼と左眼とで見える物の像に視認上の差異（以下、「視差」と略記する）が発生する。この視差により人は物を立体像として認識し、見た物の奥行を感じることができる。したがって、左右両眼の視差を反映した二つの映像データ（以下、「視差データ」と略記する）を作製し、これを使用することにより３Ｄ立体表示を行うことができる。
視差データは、同じカメラを２台使用し、右眼用を右側に、左眼用は左側に配置して対象物を撮影することにより作製することができる。

視差データを使用して表示装置により３Ｄ表示を行う方法として、例えば、右眼用と左眼用の映像信号を時系列に並べて表示し、右眼用と左眼用のレンズが映像に合わせて開閉するシャッターメガネを使用して、右眼用映像を右眼で、左眼用映像を左眼で見ることで３Ｄ立体表示を行うアクティブシャッタ方式が開示されている（例えば、特許文献１を参照）。

一方、３Ｄ立体表示を行う映像ソースとしては映画が注目されており、近年、広く普及しつつある。映画フィルムにおける素材の特徴としては、映像を２４Ｈｚ（毎秒２４フレーム）で撮影し、収録する場合が多く、従来の２次元表示では、２４Ｈｚの映像を３−２プルダウン処理によって、映像表示に適した６０Ｈｚにフレームレートを変換する方式が開示されている（例えば、特許文献２を参照）。

特開２００２−２６２３１０号公報 特開２００１−３３３３９１号公報

上記従来の技術では、映画フィルム等に記録された映像を３Ｄ立体表示する場合、映画フィルムに記録された映像の各フレームを３回−２回と交互に繰り返し表示するため、視聴者に映像がガタガタした印象（ジャダー）を与え、円滑な動きの映像を得ることができない。

本発明は、プルダウン処理による映像の不自然な動き（ジャダー）を軽減し、円滑な３Ｄ立体表示を行うことのできる映像変換方法およびこれを使用した映像変換装置を実現することを目的とする。

上記の課題を解決するために、本発明の請求項１記載の映像変換装置は、左右両眼の視差を反映した二つの映像データである第１および第２視差データにより立体映像を表示するための映像変換装置であって、第１視差データの奇数フレーム、第１視差データの奇数フレームと対をなす第２視差データの奇数フレーム、第１視差データの偶数フレーム、および第１視差データの偶数フレームと対をなす第２視差データの偶数フレームがこの順序で繰り返し入力されるフレーム入力手段と、フレーム入力手段により入力された第１視差データおよび第２視差データの奇数フレームおよび偶数フレームを記憶するフレーム記憶手段と、フレーム記憶手段に記憶された第１視差データの同一の奇数フレームの（ｍ＋１）個と第１視差データの奇数フレームと対をなす第２視差データの同一の奇数フレームのｍ個を交互にフィールドデータとして出力し、引き続いてフレーム記憶手段に記憶された第２視差データの同一の偶数フレームの（ｍ＋１）個と第２視差データの偶数フレームと対をなす第１視差データの同一の偶数フレームのｍ個を交互にフィールドデータとして出力するフィールド出力手段とを備えることを特徴とする。

このような構成によれば、第１視差データの同一の奇数フレームの（ｍ＋１）個と第１視差データの奇数フレームと対をなす第２視差データの同一の奇数フレームのｍ個を交互にフィールドデータとして出力し、引き続いてフレーム記憶手段に記憶された第２視差データの同一の偶数フレームの（ｍ＋１）個と第２視差データの偶数フレームと対をなす第１視差データの同一の偶数フレームのｍ個を交互にフィールドデータとして出力することで、３Ｄ立体表示においてコマの切り替わりのタイミングを制御し、１コマごとの長さを一定にすることができる。これにより、２４Ｈｚ映像をテレシネ変換する場合であっても、視聴者に違和感を与えるガタガタした印象（ジャダー）を抑制し、円滑な３Ｄ立体映像の表示が可能な高品質の映像変換装置を実現することができる。

また、本発明の請求項２記載の映像変換装置は、さらに、第１視差データが左眼用視差データで第２視差データが右眼用視差データ、または、第１視差データが右眼用視差データで第２視差データが左眼用視差データである。このような構成によれば、左眼用視差データと右眼用視差データから構成される標準的な３Ｄ立体表示用データに対応でき、データ処理も容易となり、映像変換装置の構成を簡略化することができる。
また、本発明の請求項３記載の映像変換装置は、さらに、フレーム入力手段から入力されるフレームの第1垂直同期周波数を検出し、検出した第1垂直同期周波数と前記フィールド出力手段から出力するフィールドの第２垂直同期周波数からｍを決定する変換レート決定手段を備える。

このような構成によれば、変換レート決定手段により、入力フレームの垂直同期周波数と出力フィールドの垂直同期周波数とからｍを決定することが可能となり、３Ｄ立体表示を行う出力装置の垂直同期周波数の変更にも容易に対応することができる。

また、本発明の請求項５記載の映像変換方法は、左右両眼の視差を反映した二つの映像データである第１および第２視差データにより立体映像を表示するための映像変換方法であって、第１視差データの奇数フレーム、第１視差データの奇数フレームと対をなす第２視差データの奇数フレーム、第１視差データの偶数フレーム、および第１視差データの偶数フレームと対をなす第２視差データの偶数フレームがこの順序で繰り返し入力されるフレーム入力ステップと、フレーム入力ステップで入力された第１視差データおよび第２視差データの奇数フレームおよび偶数フレームを記憶するフレーム記憶ステップと、フレーム記憶ステップで記憶された第１視差データの同一の奇数フレームの（ｍ＋１）個と第１視差データの奇数フレームと対をなす第２視差データの同一の奇数フレームのｍ個を交互にフィールドデータとして出力し、引き続いてフレーム記憶手段に記憶された第２視差データの同一の偶数フレームの（ｍ＋１）個と第２視差データの偶数フレームと対をなす第１視差データの同一の偶数フレームのｍ個を交互にフィールドデータとして出力するフィールド出力ステップとを備える。

このような方法によれば、第１視差データの同一の奇数フレームの（ｍ＋１）個と第１視差データの奇数フレームと対をなす第２視差データの同一の奇数フレームのｍ個を交互にフィールドデータとして出力し、引き続いてフレーム記憶手段に記憶された第２視差データの同一の偶数フレームの（ｍ＋１）個と第２視差データの偶数フレームと対をなす第１視差データの同一の偶数フレームのｍ個を交互にフィールドデータとして出力することで、３Ｄ立体表示においてコマの切り替わりのタイミングを制御し、１コマごとの長さを一定にすることができる。これにより、２４Ｈｚ映像をテレシネ変換する場合であっても、視聴者に違和感を与えるガタガタした印象（ジャダー）を抑制し、円滑な３Ｄ立体映像の表示が可能な高品質の映像変換方法を実現することができる。
また、本発明の請求項６記載の映像変換方法は、さらに、第１視差データが左眼用視差データで第２視差データが右眼用視差データ、または、第１視差データが右眼用視差データで第２視差データが左眼用視差データである。

このような方法によれば、左眼用視差データと右眼用視差データから構成される標準的な３Ｄ立体表示用データに対応でき、データ処理が容易となり、映像変換方法の処理を簡略化することができる。

また、本発明の請求項７記載の映像変換方法は、さらに、フレーム入力ステップで入力されるフレームの第1垂直同期周波数を検出し、検出した第1垂直同期周波数とフィールド出力ステップで出力するフィールドの第２垂直同期周波数からｍを決定する変換レート決定ステップを備える。

このような方法によれば、変換レート決定ステップにより、入力フレームの垂直同期周波数と出力フィールドの垂直同期周波数とからｍを決定することが可能となり、３Ｄ立体表示を行う出力装置の垂直同期周波数の変更にも容易に対応することができる。

本発明の映像変換方法および映像変換装置によれば、映画フィルム等に記録された映像を３Ｄ立体表示する場合、テレシネ変換による映像品質の劣化（ジャダー）を軽減し、円滑な３Ｄ立体表示を実現することができる。

本発明の実施の形態１における３Ｄ立体表示に係わる説明図である。 本発明の実施形態１の映像変換装置の主な構成を示すブロック図である。 本発明の実施形態１の映像変換装置に入力される視差映像信号の説明図である。 本発明の実施形態１の映像変換装置から出力される視差映像信号の説明図である。 本発明の実施形態１におけるフレームレート変換処理に関する説明図である。 本発明の実施形態１における同期信号生成に関する説明図である。 本発明の実施形態１におけるフレームレート変換処理のフローチャートである。

以下、本発明の映像変換装置および映像変換方法について、図１〜図７を参照しながら説明する。

（実施の形態１）
本実施の形態１における映像変換装置は、視聴者の両眼の視差に係わる映像データである左眼用映像信号（第１視差データ）および右眼用映像信号（第２視差データ）により構成される３Ｄ映像信号により３Ｄ立体映像を表示するための映像変換装置である。

図１において、視聴者１０が左眼１０Ｌ、右眼１０Ｒの両眼により対象物２０を目視すると、左眼１０Ｌ、右眼１０Ｒの網膜（図示せず）にはそれぞれ映像２０Ｌおよび２０Ｒが投影される。この場合、対象物２０を目視する方向は左眼１０Ｌと右眼１０Ｒとで異なるため、映像２０Ｌおよび２０Ｒには視差が発生する。したがって、映像２０Ｌおよび２０Ｒには視聴者１０の左眼１０Ｌ、右眼１０Ｒの視差に係わる映像データが含まれており、視聴者１０は映像２０Ｌおよび２０Ｒから対象物２０を３次元立体映像として認識することができる。

本実施の形態１における映像変換装置は、左右両眼の視差を反映した二つの映像データである、例えば、映像２０Ｌに係わる左眼用映像信号および映像２０Ｒに係わる右眼用映像信号から構成された視差映像信号のテレシネ変換を行う。

次に、図２により、本実施の形態１における映像変換装置１（以下、本装置１と略記する）の基本構成および機能の概略について説明する。
図２に示すように、本装置１は、映像信号入力部１００、フレームメモリ２００、メモリ制御部３００、同期信号生成部４００、映像信号出力部５００、および変換レート決定部６００を備えることを特徴とする。

映像信号入力部１００は、視差映像信号を受信して左眼用フレームと右眼用フレームを抽出し、また、視差映像信号に含まれる垂直同期信号を同期信号生成部４００および変換レート決定部６００に送信する。
フレームメモリ２００は、映像信号入力部１００において抽出されたフレームを記憶する。

同期信号生成部４００は、映像信号入力部１００から入力される視差映像信号に含まれる垂直同期信号（以下、入力Ｖ信号（第１垂直同期周波数）と略記する）から映像信号出力部５００から出力するフィールドデータの垂直同期信号（以下、出力Ｖ信号（第２垂直同期周波数）と略記する）を生成し、メモリ制御部３００、映像信号出力部５００、およびフレームレート決定部６００に送信する。

フレームレート決定部６００は、入力Ｖ信号と出力Ｖ信号からメモリ制御部３００で行うフレームレート変換処理に必要な変換パラメータを決定してメモリ制御部３００に送信する。

メモリ制御部３００は、映像信号入力部１００から入力されるフレームをフレームメモリ２００に書き込み、映像信号出力部５００に出力するフレームをフレームメモリ２００から読み出す制御を行う。また、１コマごとの入力フレームに対する出力フィールド数が一定となるよう、フレームレート決定部６００から受信した変換パラメータに基づいてフレームメモリ２００からの読み出しを制御し、フレームレート変換処理を行う。
映像信号出力部５００は、フレームレート変換処理されたフィールドデータを出力する。

次に、本装置１における視差映像信号のフレームレート変換処理について、図３および図４により説明する。

図３および図４（ａ）に示すように、本装置１では、映画フィルムに記録された２４Ｈｚ（毎秒２４フレーム）の視差映像信号３０がフレームシーケンシャル方式により、映像信号入力部１００に左眼用フレームＬ（以下、Ｌ映像と略記する）および右眼用フレームＲ（以下、Ｒ映像と略記する）が交互に入力される。

図４（ｂ）は、２４Ｈｚのフレームレートで入力される視差映像信号３０を従来の３−２プルダウン処理により、映像表示に適した６０Ｈｚのフレームレートに変換した場合に出力される視差映像信号３１を示すものである。この場合、３Ｄ立体映像の各フレームにおいてＬ映像およびＲ映像のペアを３回−２回と交互に繰り返し表示するため、１コマの長さが変化する。したがって、視聴者に映像がガタガタした印象（ジャダー）を与え、特に被写体が画面内をゆっくり移動する場合において画像の品質低下が顕著となる。例えば、入力される視差映像信号３０の奇数番目のＬ映像とＲ映像が黒白の横縞の映像であり、偶数番目のＬ映像とＲ映像が黒白の縦縞の映像である場合には、上記従来の３−２プルダウン処理では、横縞の出力フィールドデータ数が縦縞の出力フィールドデータ数より多くなり、横縞の印象が強い映像が出力されることになる。

これに対して、本装置１では、図４（ｃ）に示すように、フレームレート変換処理に伴うジャダーの発生を抑制するために、出力される視差映像信号３２の各コマの長さが同じになるように出力フィールドデータの制御を行う。２４ＨｚのＬ映像およびＲ映像のペア（以下、ＬＲペアと略記する）により１コマが構成される視差映像信号３０に対し、１２０ＨｚのＬ映像およびＲ映像により構成される視差映像信号３２として、（ＬＲペア２つ＋Ｌ映像１つ）で構成されるコマと（ＬＲペア２つ＋Ｒ映像１つ）で構成されるコマを交互に繰り返して出力する。この方法によれば、出力される視差映像信号３２の各コマの長さが変化せず、視聴者に映像がガタガタした印象（ジャダー）を与えることがない。例えば、上記図４（ｂ）の所で例示した黒白の横縞、縦縞から成る視差映像信号３０に対しても、本装置１の映像変換方法によれば、横縞と縦縞が同程度の印象を与える映像を出力することができる。

次に、本装置１のフレームレート変換処理について、図５により、説明する。

本装置１には、図５（ａ）に示す、例えば、映画のフィルムに記録された２４コマ（フレーム）／秒の視差映像信号３０が入力される。受信した視差映像信号３０には、Ｌ映像Ｌ０、Ｌ１、Ｌ２、Ｌ３、・・・およびＲ映像Ｒ０、Ｒ１、Ｒ２、Ｒ３、・・・に対応する二つの視差データが含まれる。

映像信号入力部１００は、入力された視差映像信号３０からＬ映像の奇数フレーム（例えば、Ｌ０）、Ｌ映像の奇数フレームと対をなすＲ映像の奇数フレーム（例えば、Ｒ０）、Ｌ映像の偶数フレーム（例えば、Ｌ１）、Ｌ映像の偶数フレームと対をなすＲ映像の偶数フレーム（例えば、Ｒ１）を順次抽出し、メモリ制御部３００に送信する。また、映像信号入力部１００は、入力された視差映像信号３０に含まれる２４Ｈｚの入力Ｖ信号をメモリ制御部３００および同期信号生成部４００に対して送信する。後続のＬ映像、Ｒ映像（Ｌ２・Ｒ２、Ｌ３・Ｒ３、・・・）についても同様の処理が行われる。
同期信号生成部４００は、映像信号入力部１００から送信される入力Ｖ信号を検出し、映像信号出力部５００から出力するフィールドデータの１２０Ｈｚの出力Ｖ信号を生成し、メモリ制御部３００、映像信号出力部５００、および変換レート決定部６００に送信する。
ここで、図６に示すように、同期信号生成部４００は、２４Ｈｚの入力Ｖ信号の間に入力Ｖ信号の周期の１／５のタイミングでＶ信号を４回内挿することで１２０Ｈｚ（５逓倍）の出力Ｖ信号を生成する。
変換レート決定部６００は、入力Ｖ信号と出力Ｖ信号から変換パラメータを２と決定して、その値をメモリ制御部３００に送信する。なお、変換パラメータは、入力Ｖ信号と出力Ｖ信号の値を２変数とする関数あるいは変換テーブルで与えられるものとする。

フレームメモリ２００は、映像信号入力部１００において抽出されたＬ映像およびＲ映像の奇数フレームおよび偶数フレームが記憶されるメモリである。

メモリ制御部３００は、映像信号入力部１００から受信したＬ映像およびＲ映像を、同じく映像信号入力部１００から受信した２４Ｈｚの入力Ｖ信号に同期させてフレームメモリ２００に書き込む制御を行う。一方、同期信号生成部４００から受信した１２０Ｈｚの出力Ｖ信号と同期させてフレームメモリ２００からＬ映像およびＲ映像を読み出し、映像信号出力部５００に送信する。

より詳述すると、メモリ制御部３００は、映像信号入力部１００から送信されてくるＬ映像およびＲ映像に対して、図５（ａ）に示すように入力Ｖ信号に同期し、フレームメモリ２００のアドレス（４ｎ＋０、４ｎ＋１）のペアにＬ映像およびＲ映像の奇数フレームを、アドレス（４ｎ＋２、４ｎ＋３）のペアにＬ映像およびＲ映像の偶数フレームを書き込む（ｎは０以上の整数）。

さらに、ジャダー発生を抑制するために、変換レート決定部６００から受信した変換パラーメータ（本実施の形態１での値は２）に基づくフレームレート変換処理として、図５（ｂ）に示すように、出力Ｖ信号に同期してフレームメモリ２００のアドレス（４ｎ＋０、４ｎ＋１）からＬ映像と対応するＲ映像を交互に２回ずつとＬ映像さらに１回読み出して映像信号出力部５００に送信し、その後、フレームメモリ２００のアドレス（４ｎ＋２、４ｎ＋３）からＲ映像と対応するＬ映像を交互に２回ずつとＲ映像さらに１回読み出して映像信号出力部５００に送信する。

映像信号出力部５００は、メモリ制御部３００から送信されてくるＬ映像およびＲ映像を、同期信号生成部４００から受信した出力Ｖ信号に同期させてフィールドデータとして出力する。

ここで、図６を用いて説明した本装置１のフレームレート変換処理の手順を示したものが、図７のフローチャートである。

本装置１が動作を開始すると、まず、映像信号入力部１００が視差映像信号３０を受信する（Ｓ１）。

次に、映像信号入力部１００は受信した視差映像信号３０から、Ｌ映像の奇数フレーム、Ｌ映像の奇数フレームと対をなすＲ映像の奇数フレーム、Ｌ映像の偶数フレーム、Ｌ映像の偶数フレームと対をなすＲ映像の偶数フレームを順次抽出して、フレームメモリ２００に書き込む（Ｓ２）。

次に、同期信号生成部４００が、入力Ｖ信号から出力Ｖ信号を生成する（Ｓ３）。

次に、入力Ｖ信号と出力Ｖ信号からフレームレート変換処理で必要な変換パラメータｍを決定する（Ｓ４）。

最後に、メモリ制御部３００が、変換パラメータｍと出力Ｖ信号に基づき、フレームメモリ２００に記憶されたＬ映像の同一の奇数フレームの（ｍ＋１）個とＬ映像の奇数フレームと対をなすＲ映像の同一の奇数フレームのｍ個を交互にフィールドデータとして読み出し、引き続いてＲ映像の同一の偶数フレームの（ｍ＋１）個とＲ映像の偶数フレームと対をなすＬ映像の同一の偶数フレームのｍ個を交互に読み出して映像信号出力部５００に送信し、映像信号出力部５００がフィールドデータとして出力する（Ｓ５）。

なお、上記実施の形態１では、変換レート決定部６００が入力Ｖ信号と出力Ｖ信号に基いてフレームレート変換処理で必要な変換パラメータを決定してメモリ制御部３００に送信し、メモリ制御部３００が受信した変換パラメータに基いてフレームレート変換処理を行うようにしたが、入力Ｖ信号と出力Ｖ信号が固定で決まっている場合には、メモリ制御部３００自身にフレームレート変換処理に必要な変換パラメータを固定パラメータとして持たせることができ、この場合には変換レート決定部６００は不要である。

本発明の映像変換装置は、映画フィルムに記録された３Ｄ映像をテレビ等のビデオ信号出力装置で３Ｄ立体表示する場合などに適用可能であり、ジャダーの発生を抑制し、円滑な３Ｄ立体表示を実現することができる。

１ 映像変換装置
１０ 視聴者
１０Ｌ 左眼
１０Ｒ 右眼
２０ 対象物
２０Ｌ 左眼用映像信号
２０Ｒ 右眼用映像信号
３０、３１、３２ 視差映像信号
１００ 映像信号入力部
２００ フレームメモリ
３００ メモリ制御部
４００ 同期信号生成部
５００ 映像信号出力部
６００ 変換レート決定部

Claims (8)

1. 第１視差データの奇数フレーム、前記第１視差データの奇数フレームと対をなす第２視差データの奇数フレーム、前記第１視差データの偶数フレーム、および前記第１視差データの偶数フレームと対をなす前記第２視差データの偶数フレームがこの順序で繰り返し入力されるフレーム入力手段と、
   前記フレーム入力手段から入力される前記第１視差データおよび前記第２視差データの奇数フレームおよび偶数フレームを記憶するフレーム記憶手段と、
   前記フレーム記憶手段に記憶された前記第１視差データの同一の奇数フレームの（ｍ＋１）個と前記第１視差データの奇数フレームと対をなす前記第２視差データの同一の奇数フレームのｍ個を交互にフィールドデータとして出力し、引き続いて前記フレーム記憶手段に記憶された前記第２視差データの同一の偶数フレームの（ｍ＋１）個と前記第２視差データの偶数フレームと対をなす前記第１視差データの同一の偶数フレームのｍ個を交互にフィールドデータとして出力するフィールド出力手段と
   を備えた映像変換装置。
2. 前記第１視差データが左眼用視差データで前記第２視差データが右眼用視差データ、または、前記第１視差データが右眼用視差データで前記第２視差データが左眼用視差データである請求項１に記載の映像変換装置。
3. 前記フレーム入力手段から入力されるフレームの第1垂直同期周波数を検出し、検出した前記第1垂直同期周波数と前記フィールド出力手段から出力するフィールドの第２垂直同期周波数から前記ｍを決定する変換レート決定手段を備えた請求項１または請求項２に記載の映像変換装置。
4. 前記ｍが偶数である請求項１または請求項２に記載の映像変換装置。
5. 第１視差データの奇数フレーム、前記第１視差データの奇数フレームと対をなす第２視差データの奇数フレーム、前記第１視差データの偶数フレーム、および前記第１視差データの偶数フレームと対をなす前記第２視差データの偶数フレームがこの順序で繰り返し入力されるフレーム入力ステップと、
   前記フレーム入力ステップで入力された前記第１視差データおよび前記第２視差データの奇数フレームおよび偶数フレームを記憶するフレーム記憶ステップと、
   前記フレーム記憶ステップで記憶された前記第１視差データの同一の奇数フレームの（ｍ＋１）個と前記第１視差データの奇数フレームと対をなす前記第２視差データの同一の奇数フレームのｍ個を交互にフィールドデータとして出力し、引き続いて前記フレーム記憶手段に記憶された前記第２視差データの同一の偶数フレームの（ｍ＋１）個と前記第１視差データの偶数フレームと対をなす前記第１視差データの同一の偶数フレームのｍ個を交互にフィールドデータとして出力するフィールド出力ステップと
   を備える映像変換方法。
6. 前記第１視差データが左眼用視差データで前記第２視差データが右眼用視差データ、または、前記第１視差データが右眼用視差データで前記第２視差データが左眼用視差データである請求項５に記載の映像変換方法。
7. 前記フレーム入力ステップで入力されるフレームの第1垂直同期周波数を検出し、検出した前記第1垂直同期周波数と前記フィールド出力手段から出力するフィールドの第２垂直同期周波数から前記ｍを決定する変換レート決定ステップを
   さらに備えた請求項５または請求項６に記載の映像変換方法。
8. 前記ｍが偶数である請求項５または請求項６に記載の映像変換方法。