JP3096625B2 - ２次元映像を３次元映像に変換する方法 - Google Patents
２次元映像を３次元映像に変換する方法Info
- Publication number
- JP3096625B2 JP3096625B2 JP07272473A JP27247395A JP3096625B2 JP 3096625 B2 JP3096625 B2 JP 3096625B2 JP 07272473 A JP07272473 A JP 07272473A JP 27247395 A JP27247395 A JP 27247395A JP 3096625 B2 JP3096625 B2 JP 3096625B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- pixel
- delay amount
- video
- delayed
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
Description
【０００１】
【発明の属する技術分野】この発明は、２次元映像を３
次元映像に変換する方法に関する。
次元映像に変換する方法に関する。
【０００２】
【従来の技術】２次元映像を３次元映像に変換する方法
として、２次元映像信号に基づいて、主映像信号と主映
像信号に対して時間的に遅延された副映像信号とを生成
し、一方を左目用映像信号として出力し、他方を右目用
映像信号として出力する方法が知られている。しかしな
がら、この方法では、左方向に移動する被写体と右方向
に移動する被写体とが存在するような映像の場合、これ
らの異なる方向に移動する被写体を立体視することは困
難であった。
として、２次元映像信号に基づいて、主映像信号と主映
像信号に対して時間的に遅延された副映像信号とを生成
し、一方を左目用映像信号として出力し、他方を右目用
映像信号として出力する方法が知られている。しかしな
がら、この方法では、左方向に移動する被写体と右方向
に移動する被写体とが存在するような映像の場合、これ
らの異なる方向に移動する被写体を立体視することは困
難であった。
【０００３】
【発明が解決しようとする課題】この発明は、左方向に
移動する被写体と右方向に移動する被写体との両方を立
体視できる２次元映像を３次元映像に変換する方法を提
供することを目的とする。
移動する被写体と右方向に移動する被写体との両方を立
体視できる２次元映像を３次元映像に変換する方法を提
供することを目的とする。
【０００４】
【課題を解決するための手段】この発明による２次元映
像を３次元映像に変換する方法は、２次元の入力映像に
基づいて、画素単位より大きな領域毎に被写体の動きの
大きさおよび方向に関する情報を検出する第１ステッ
プ、各領域毎に検出された被写体の動きの大きさおよび
方向に関する情報に基づいて、各画素毎に遅延映像を左
目用映像と右目用映像との何れにすべきかを示す識別情
報を生成するとともに、各画素毎に遅延量を算出する第
２ステップ、各画素毎に算出された遅延量に基づいて、
入力映像に対して、各画素毎に対応する遅延量分だけ遅
延された遅延映像をそれぞれ生成する第３ステップ、お
よび 各画素毎に生成された、識別情報に基づいて、各
画素毎に入力映像および遅延映像のうちの一方を左目用
画素として選択するとともに他方を右目用画素として選
択し、これにより、左目用映像と右目用映像とを生成す
る第４ステップを備えていることを特徴とする。
像を３次元映像に変換する方法は、２次元の入力映像に
基づいて、画素単位より大きな領域毎に被写体の動きの
大きさおよび方向に関する情報を検出する第１ステッ
プ、各領域毎に検出された被写体の動きの大きさおよび
方向に関する情報に基づいて、各画素毎に遅延映像を左
目用映像と右目用映像との何れにすべきかを示す識別情
報を生成するとともに、各画素毎に遅延量を算出する第
２ステップ、各画素毎に算出された遅延量に基づいて、
入力映像に対して、各画素毎に対応する遅延量分だけ遅
延された遅延映像をそれぞれ生成する第３ステップ、お
よび 各画素毎に生成された、識別情報に基づいて、各
画素毎に入力映像および遅延映像のうちの一方を左目用
画素として選択するとともに他方を右目用画素として選
択し、これにより、左目用映像と右目用映像とを生成す
る第４ステップを備えていることを特徴とする。
【０００５】第２ステップは、たとえば、各領域毎に検
出された被写体の動きの大きさおよび方向に関する情報
に基づいて、各領域毎に遅延映像を左目用映像と右目用
映像との何れにすべきかを示す第１識別情報を生成する
とともに、各領域毎にフィールド単位の遅延量を算出す
るステップ、および各領域毎に生成された第１識別情報
と各領域毎に算出されたフィールド単位の遅延量に基づ
いて、各画素毎に遅延映像を左目用映像と右目用映像と
の何れにすべきかを示す第２識別情報を生成するととも
に、各画素毎にフィールド単位より小さな単位の遅延量
を算出するステップを備えているものが用いられる。こ
の場合、第３ステップでは、たとえば、入力映像に対し
てフィールド単位で遅延された映像を補間処理すること
により、入力映像に対して、各画素毎に対応する遅延量
分だけ遅延された遅延映像が生成される。
出された被写体の動きの大きさおよび方向に関する情報
に基づいて、各領域毎に遅延映像を左目用映像と右目用
映像との何れにすべきかを示す第１識別情報を生成する
とともに、各領域毎にフィールド単位の遅延量を算出す
るステップ、および各領域毎に生成された第１識別情報
と各領域毎に算出されたフィールド単位の遅延量に基づ
いて、各画素毎に遅延映像を左目用映像と右目用映像と
の何れにすべきかを示す第２識別情報を生成するととも
に、各画素毎にフィールド単位より小さな単位の遅延量
を算出するステップを備えているものが用いられる。こ
の場合、第３ステップでは、たとえば、入力映像に対し
てフィールド単位で遅延された映像を補間処理すること
により、入力映像に対して、各画素毎に対応する遅延量
分だけ遅延された遅延映像が生成される。
【０００６】この発明によれば、各領域の被写体の動き
の方向および大きさに応じて、各画素毎に遅延量の異な
る映像を左目用映像および右目用映像として提供するこ
とができる。したがって、動きの方向が異なる複数の被
写体を立体視することが可能となる。また、大きな領域
単位で遅延量を変化させた場合には、領域の境界におい
て歪みが生じることがある。この発明では、小さな領域
間で遅延量を緩やかに変化させることができるため、歪
みを軽減することができる。
の方向および大きさに応じて、各画素毎に遅延量の異な
る映像を左目用映像および右目用映像として提供するこ
とができる。したがって、動きの方向が異なる複数の被
写体を立体視することが可能となる。また、大きな領域
単位で遅延量を変化させた場合には、領域の境界におい
て歪みが生じることがある。この発明では、小さな領域
間で遅延量を緩やかに変化させることができるため、歪
みを軽減することができる。
【０００７】
【発明の実施の形態】以下、図面を参照して、この発明
の実施の形態について説明する。
の実施の形態について説明する。
【０００８】図１は、２次元映像を３次元映像に変換す
るための２Ｄ／３Ｄ映像変換装置の構成を示している。
るための２Ｄ／３Ｄ映像変換装置の構成を示している。
【０００９】２次元の入力映像信号は、動きベクトル検
出回路１、遅延映像生成回路２および左右映像選択回路
３に送られる。左右映像選択回路３に送られた入力映像
をスルー映像ということにする。
出回路１、遅延映像生成回路２および左右映像選択回路
３に送られる。左右映像選択回路３に送られた入力映像
をスルー映像ということにする。
【００１０】遅延映像生成回路２は、複数のフィールド
メモリ２１、この例では４つのフィールドメモリ２１を
備えている。第１段目のフィールドメモリ２１には、ス
ルー映像より１フィールド前の映像が蓄積される。これ
らのフィールドメモリ２１は、直列に接続されており、
第１段目のフィールドメモリ２１に新たなフィールドの
映像信号が入力される毎に、それぞれ前段のフィールド
メモリ２１の内容が後段のフィールドメモリ２１に転送
される。
メモリ２１、この例では４つのフィールドメモリ２１を
備えている。第１段目のフィールドメモリ２１には、ス
ルー映像より１フィールド前の映像が蓄積される。これ
らのフィールドメモリ２１は、直列に接続されており、
第１段目のフィールドメモリ２１に新たなフィールドの
映像信号が入力される毎に、それぞれ前段のフィールド
メモリ２１の内容が後段のフィールドメモリ２１に転送
される。
【００１１】したがって、２Ｄ／３Ｄ映像変換装置に新
たなフィールドの映像信号が入力された時点では、第１
段目のフィールドメモリ２１には、スルー映像に対して
１フィールド前の映像が蓄積されている。第２段目のフ
ィールドメモリ２１には、スルー映像に対して２フィー
ルド前の映像が蓄積されている。第３段目のフィールド
メモリ２１には、スルー映像に対して３フィールド前の
映像が蓄積されている。第４段目のフィールドメモリ２
１には、スルー映像に対して４フィールド前の映像が蓄
積されている。各フィールドメモリ２１の出力映像は、
スルー映像に対して、フィールド単位で遅延された映像
である。各フィールドメモリ２１の出力映像は、左右映
像選択回路３に送られる。
たなフィールドの映像信号が入力された時点では、第１
段目のフィールドメモリ２１には、スルー映像に対して
１フィールド前の映像が蓄積されている。第２段目のフ
ィールドメモリ２１には、スルー映像に対して２フィー
ルド前の映像が蓄積されている。第３段目のフィールド
メモリ２１には、スルー映像に対して３フィールド前の
映像が蓄積されている。第４段目のフィールドメモリ２
１には、スルー映像に対して４フィールド前の映像が蓄
積されている。各フィールドメモリ２１の出力映像は、
スルー映像に対して、フィールド単位で遅延された映像
である。各フィールドメモリ２１の出力映像は、左右映
像選択回路３に送られる。
【００１２】各フィールドメモリ２１への映像の書き込
みおよび映像の読み出しは、ＣＰＵ５からの指令に基づ
いて、フィールドメモリ制御回路４によって制御され
る。
みおよび映像の読み出しは、ＣＰＵ５からの指令に基づ
いて、フィールドメモリ制御回路４によって制御され
る。
【００１３】左右映像選択回路３は、左目用映像出力端
子ＯＬと、右目用映像出力端子ＯＲとを備えており、画
素毎に、スルー映像および遅延された映像のうち、一方
を一方の出力端子に出力し、他方を他方の出力端子に出
力する。
子ＯＬと、右目用映像出力端子ＯＲとを備えており、画
素毎に、スルー映像および遅延された映像のうち、一方
を一方の出力端子に出力し、他方を他方の出力端子に出
力する。
【００１４】左右映像選択回路３は、スルー映像に対し
てフィールド単位より小さい単位で遅延された映像を生
成するための補間回路３１、左目用画像選択回路３２お
よび右目用画像選択回路３３を備えている。
てフィールド単位より小さい単位で遅延された映像を生
成するための補間回路３１、左目用画像選択回路３２お
よび右目用画像選択回路３３を備えている。
【００１５】補間回路３１は、第１選択回路３０１、第
２選択回路３０２、第１乗算器３０３、第２乗算器３０
４および加算器３０５を備えている。第１選択回路３０
１は、スルー映像、第１段目のフィールドメモリ２１の
出力映像、第２段目のフィールドメモリ２１の出力映
像、第３段目のフィールドメモリ２１の出力映像および
第４段目のフィールドメモリ２１の出力映像のうちか
ら、１つの映像を選択して出力する。
２選択回路３０２、第１乗算器３０３、第２乗算器３０
４および加算器３０５を備えている。第１選択回路３０
１は、スルー映像、第１段目のフィールドメモリ２１の
出力映像、第２段目のフィールドメモリ２１の出力映
像、第３段目のフィールドメモリ２１の出力映像および
第４段目のフィールドメモリ２１の出力映像のうちか
ら、１つの映像を選択して出力する。
【００１６】第２選択回路３０２は、第１段目のフィー
ルドメモリ２１の出力映像、第２段目のフィールドメモ
リ２１の出力映像、第３段目のフィールドメモリ２１の
出力映像および第４段目のフィールドメモリ２１の出力
映像のうちから、１つの映像を選択して出力する。
ルドメモリ２１の出力映像、第２段目のフィールドメモ
リ２１の出力映像、第３段目のフィールドメモリ２１の
出力映像および第４段目のフィールドメモリ２１の出力
映像のうちから、１つの映像を選択して出力する。
【００１７】第１乗算器３０３は第１選択回路３０１の
出力に係数（１−Ｋ）を乗算する。第２乗算器３０４は
第２選択回路３０２の出力に係数Ｋを乗算する。加算器
３０５は、第１乗算器３０３の出力と、第２乗算器３０
４の出力とを加算する。
出力に係数（１−Ｋ）を乗算する。第２乗算器３０４は
第２選択回路３０２の出力に係数Ｋを乗算する。加算器
３０５は、第１乗算器３０３の出力と、第２乗算器３０
４の出力とを加算する。
【００１８】左目用画像選択回路３２は、スルー映像お
よび補間回路３１の出力のうちのいずれか一方を選択し
て、左目用映像出力端子ＯＬに供給する。右目用画像選
択回路３３は、スルー映像および補間回路３１の出力の
うちのいずれか一方を選択して、右目用映像出力端子Ｏ
Ｒに供給する。
よび補間回路３１の出力のうちのいずれか一方を選択し
て、左目用映像出力端子ＯＬに供給する。右目用画像選
択回路３３は、スルー映像および補間回路３１の出力の
うちのいずれか一方を選択して、右目用映像出力端子Ｏ
Ｒに供給する。
【００１９】左右映像選択回路３は、遅延量演算回路６
に基づいて制御される。遅延量演算回路６は、ＣＰＵ５
から送られてきた複数の分割領域に対するフィールド単
位の遅延量に基づいて、各画素毎にフィールド単位より
小さい単位で遅延量を算出する。
に基づいて制御される。遅延量演算回路６は、ＣＰＵ５
から送られてきた複数の分割領域に対するフィールド単
位の遅延量に基づいて、各画素毎にフィールド単位より
小さい単位で遅延量を算出する。
【００２０】入力映像の各フィールドにおいて、１画素
毎に遅延量演算回路６から遅延量が出力される。遅延量
は、被写体の動きの方向を示す符号（正負符号）と、被
写体の動きの大きさに基づいて算出された遅延量とから
なる。また、遅延量は、フィールド単位の遅延量を表す
整数部と、フィールド単位より小さい単位の遅延量を表
す小数部とからなる。この例では、被写体が左から右に
動いている場合には符号は正となり、被写体が右から左
に動いている場合には符号は負となる。また、遅延量
は、被写体の動きが大きいほど小さくなるように決定さ
れる。
毎に遅延量演算回路６から遅延量が出力される。遅延量
は、被写体の動きの方向を示す符号（正負符号）と、被
写体の動きの大きさに基づいて算出された遅延量とから
なる。また、遅延量は、フィールド単位の遅延量を表す
整数部と、フィールド単位より小さい単位の遅延量を表
す小数部とからなる。この例では、被写体が左から右に
動いている場合には符号は正となり、被写体が右から左
に動いている場合には符号は負となる。また、遅延量
は、被写体の動きが大きいほど小さくなるように決定さ
れる。
【００２１】遅延量の整数部を表す信号は、第１選択回
路３０１および第２選択回路３０２に制御信号として送
られる。遅延量の整数部が０のときには、第１選択回路
３０１はスルー映像を選択し、第２選択回路３０２は第
１段目のフィールドメモリ２１の出力映像（１フィール
ド遅延映像）を選択する。遅延量の整数部が１のときに
は、第１選択回路３０１は第１段目のフィールドメモリ
２１の出力映像（１フィールド遅延映像）を選択し、第
２選択回路３０２は第２段目のフィールドメモリ２１の
出力映像（２フィールド遅延映像）を選択する。
路３０１および第２選択回路３０２に制御信号として送
られる。遅延量の整数部が０のときには、第１選択回路
３０１はスルー映像を選択し、第２選択回路３０２は第
１段目のフィールドメモリ２１の出力映像（１フィール
ド遅延映像）を選択する。遅延量の整数部が１のときに
は、第１選択回路３０１は第１段目のフィールドメモリ
２１の出力映像（１フィールド遅延映像）を選択し、第
２選択回路３０２は第２段目のフィールドメモリ２１の
出力映像（２フィールド遅延映像）を選択する。
【００２２】遅延量の整数部が２のときには、第１選択
回路３０１は第２段目のフィールドメモリ２１の出力映
像（２フィールド遅延映像）を選択し、第２選択回路３
０２は第３段目のフィールドメモリ２１の出力映像（３
フィールド遅延映像）を選択する。遅延量の整数部が３
のときには、第１選択回路３０１は第３段目のフィール
ドメモリ２１の出力映像（３フィールド遅延映像）を選
択し、第２選択回路３０２は第４段目のフィールドメモ
リ２１の出力映像（４フィールド遅延映像）を選択す
る。遅延量の整数部が４のときには、第１選択回路３０
１は第４段目のフィールドメモリ２１の出力映像（４フ
ィールド遅延映像）を選択し、第２選択回路３０２は第
４段目のフィールドメモリ２１の出力映像（４フィール
ド遅延映像）を選択する。
回路３０１は第２段目のフィールドメモリ２１の出力映
像（２フィールド遅延映像）を選択し、第２選択回路３
０２は第３段目のフィールドメモリ２１の出力映像（３
フィールド遅延映像）を選択する。遅延量の整数部が３
のときには、第１選択回路３０１は第３段目のフィール
ドメモリ２１の出力映像（３フィールド遅延映像）を選
択し、第２選択回路３０２は第４段目のフィールドメモ
リ２１の出力映像（４フィールド遅延映像）を選択す
る。遅延量の整数部が４のときには、第１選択回路３０
１は第４段目のフィールドメモリ２１の出力映像（４フ
ィールド遅延映像）を選択し、第２選択回路３０２は第
４段目のフィールドメモリ２１の出力映像（４フィール
ド遅延映像）を選択する。
【００２３】遅延量の小数部を表す信号は、係数Ｋを表
す信号として、第１乗算器３０３および第２乗算器３０
４に供給される。したがって、加算器３０５からは、整
数部と小数部とで表されるフィールド単位より小さい単
位の遅延量分だけ、スルー映像に対して遅延された映像
（以下、遅延映像という）が出力される。
す信号として、第１乗算器３０３および第２乗算器３０
４に供給される。したがって、加算器３０５からは、整
数部と小数部とで表されるフィールド単位より小さい単
位の遅延量分だけ、スルー映像に対して遅延された映像
（以下、遅延映像という）が出力される。
【００２４】遅延量演算回路６によって得られた遅延量
の符号を示す信号は、そのまま右目用映像選択回路３３
に制御信号として送られる。一方、左目用映像選択回路
３２には、遅延量演算回路６によって得られた遅延量の
符号を示す信号がインバータ７を介して制御信号として
送られる。つまり、左目用映像選択回路３２には、遅延
量演算回路６によって得られた遅延量の符号が反転され
た信号が供給される。
の符号を示す信号は、そのまま右目用映像選択回路３３
に制御信号として送られる。一方、左目用映像選択回路
３２には、遅延量演算回路６によって得られた遅延量の
符号を示す信号がインバータ７を介して制御信号として
送られる。つまり、左目用映像選択回路３２には、遅延
量演算回路６によって得られた遅延量の符号が反転され
た信号が供給される。
【００２５】遅延量演算回路６によって得られた遅延量
の符号が正のときには、右目用映像選択回路３３は遅延
映像（補間回路３１の出力）を選択し、左目用映像選択
回路３２はスルー映像を選択する。遅延量演算回路６に
よって得られた遅延量の符号が正のときには、右目用映
像選択回路３３はスルー映像を選択し、左目用映像選択
回路３２は遅延映像（補間回路３１の出力）を選択す
る。
の符号が正のときには、右目用映像選択回路３３は遅延
映像（補間回路３１の出力）を選択し、左目用映像選択
回路３２はスルー映像を選択する。遅延量演算回路６に
よって得られた遅延量の符号が正のときには、右目用映
像選択回路３３はスルー映像を選択し、左目用映像選択
回路３２は遅延映像（補間回路３１の出力）を選択す
る。
【００２６】図２は、動きベクトル検出回路１によって
検出された分割領域毎に水平方向の動きベクトルから、
各画素毎の遅延量が算出されるまでの流れを示してい
る。
検出された分割領域毎に水平方向の動きベクトルから、
各画素毎の遅延量が算出されるまでの流れを示してい
る。
【００２７】入力映像が、たとえば図３に示すように、
上部に静止した樹木、山および家の被写体が存在し、下
部左側に右方向に向かって移動する自動車の被写体が存
在しし、下部右側に左方向に移動する人の被写体が存在
するような映像であるとする。自動車の移動速度は、人
の移動速度より速いものとする。
上部に静止した樹木、山および家の被写体が存在し、下
部左側に右方向に向かって移動する自動車の被写体が存
在しし、下部右側に左方向に移動する人の被写体が存在
するような映像であるとする。自動車の移動速度は、人
の移動速度より速いものとする。
【００２８】動きベクトル検出回路１は、図２（ａ）に
示すように、たとえば、１フィールドの全画像領域が４
分割された各領域Ｅ１１、Ｅ１２、Ｅ２１、Ｅ２２毎
に、水平方向の動きベクトルを検出する。図２（ａ）に
示すように、分割領域のうち、左上の領域Ｅ１１および
右上の領域Ｅ１２において検出された水平方向の動きベ
クトルは０である。分割領域のうち、左下の領域Ｅ２１
において検出された水平方向の動きベクトルの方向は右
向きである。右下の領域Ｅ２２において検出された水平
方向の動きベクトルの方向は左向きであり、その大きさ
は左下の領域において検出された水平方向の動きベクト
ルの大きさより小さい。
示すように、たとえば、１フィールドの全画像領域が４
分割された各領域Ｅ１１、Ｅ１２、Ｅ２１、Ｅ２２毎
に、水平方向の動きベクトルを検出する。図２（ａ）に
示すように、分割領域のうち、左上の領域Ｅ１１および
右上の領域Ｅ１２において検出された水平方向の動きベ
クトルは０である。分割領域のうち、左下の領域Ｅ２１
において検出された水平方向の動きベクトルの方向は右
向きである。右下の領域Ｅ２２において検出された水平
方向の動きベクトルの方向は左向きであり、その大きさ
は左下の領域において検出された水平方向の動きベクト
ルの大きさより小さい。
【００２９】ＣＰＵ５は、各分割領域毎の動きベクトル
に基づいて、図２（ｂ）に示すように、各領域毎にフィ
ールド単位の遅延量を算出する。この例では、左上領域
の遅延量Ｄ１１および右上領域の遅延量Ｄ１２は、とも
に０である。左下領域の遅延量Ｄ２１は、＋１である。
右下領域の遅延量Ｄ２２は、−３である。
に基づいて、図２（ｂ）に示すように、各領域毎にフィ
ールド単位の遅延量を算出する。この例では、左上領域
の遅延量Ｄ１１および右上領域の遅延量Ｄ１２は、とも
に０である。左下領域の遅延量Ｄ２１は、＋１である。
右下領域の遅延量Ｄ２２は、−３である。
【００３０】遅延量演算回路６は、ＣＰＵ５によって求
められた各領域毎の遅延量Ｄ１１、Ｄ１２、Ｄ２１、Ｄ
２２に基づいて、各画素毎の遅延量を次のようにして算
出する。
められた各領域毎の遅延量Ｄ１１、Ｄ１２、Ｄ２１、Ｄ
２２に基づいて、各画素毎の遅延量を次のようにして算
出する。
【００３１】まず、１フィールドの全画像領域を図２
（ｃ）のように、９ブロックＢ１１、Ｂ１２、Ｂ１３、
Ｂ２１、Ｂ２２、Ｂ２３、Ｂ３１、Ｂ３２、Ｂ３３に分
割する。左上のブロックＢ１１内の各画素の遅延量を、
ＣＰＵ５によって算出された左上の領域Ｅ１１に対する
遅延量Ｄ１１と決定する。また、右上のブロックＢ１３
内の各画素の遅延量を、ＣＰＵ５によって算出された右
上の領域Ｅ１２に対する遅延量Ｄ１２と決定する。
（ｃ）のように、９ブロックＢ１１、Ｂ１２、Ｂ１３、
Ｂ２１、Ｂ２２、Ｂ２３、Ｂ３１、Ｂ３２、Ｂ３３に分
割する。左上のブロックＢ１１内の各画素の遅延量を、
ＣＰＵ５によって算出された左上の領域Ｅ１１に対する
遅延量Ｄ１１と決定する。また、右上のブロックＢ１３
内の各画素の遅延量を、ＣＰＵ５によって算出された右
上の領域Ｅ１２に対する遅延量Ｄ１２と決定する。
【００３２】また、左下のブロックＢ３１内の各画素の
遅延量を、ＣＰＵ５によって算出された左下の領域Ｅ２
１に対する遅延量Ｄ２１と決定する。また、右下のブロ
ックＢ３３内の各画素の遅延量を、ＣＰＵ５によって算
出された右下の領域Ｅ２２に対する遅延量Ｄ２２と決定
する。
遅延量を、ＣＰＵ５によって算出された左下の領域Ｅ２
１に対する遅延量Ｄ２１と決定する。また、右下のブロ
ックＢ３３内の各画素の遅延量を、ＣＰＵ５によって算
出された右下の領域Ｅ２２に対する遅延量Ｄ２２と決定
する。
【００３３】左上のブロックＢ１１と右上のブロックＢ
１３との間のブロックＢ１２内の各画素の遅延量を、そ
の画素の位置に応じて、遅延量Ｄ１１とＤ１２とを加重
平均することによって求める。
１３との間のブロックＢ１２内の各画素の遅延量を、そ
の画素の位置に応じて、遅延量Ｄ１１とＤ１２とを加重
平均することによって求める。
【００３４】左上のブロックＢ１１と左下のブロックＢ
３１との間のブロックＢ２１内の各画素の遅延量を、そ
の画素の位置に応じて、遅延量Ｄ１１とＤ２１とを加重
平均することによって求める。
３１との間のブロックＢ２１内の各画素の遅延量を、そ
の画素の位置に応じて、遅延量Ｄ１１とＤ２１とを加重
平均することによって求める。
【００３５】右上のブロックＢ１３と右下のブロックＢ
３３との間のブロックＢ２３内の各画素の遅延量を、そ
の画素の位置に応じて、遅延量Ｄ１２とＤ２２とを加重
平均することによって求める。
３３との間のブロックＢ２３内の各画素の遅延量を、そ
の画素の位置に応じて、遅延量Ｄ１２とＤ２２とを加重
平均することによって求める。
【００３６】左下のブロックＢ３１と右下のブロックＢ
３３との間のブロックＢ３２内の各画素の遅延量を、そ
の画素の位置に応じて、遅延量Ｄ２１とＤ２２とを加重
平均することによって求める。
３３との間のブロックＢ３２内の各画素の遅延量を、そ
の画素の位置に応じて、遅延量Ｄ２１とＤ２２とを加重
平均することによって求める。
【００３７】中央のブロックＢ２２の各画素の遅延量
を、その画素の位置に応じて、ブロックＢ１２に対して
決定された遅延量（Ｄ１１とＤ１２との加重平均）と、
ブロックＢ３２に対して決定された遅延量（Ｄ２１とＤ
２２との加重平均）とを加重平均することによって求め
る。この結果、図２（ｄ）に示すように、各画素毎の遅
延量が求められる。
を、その画素の位置に応じて、ブロックＢ１２に対して
決定された遅延量（Ｄ１１とＤ１２との加重平均）と、
ブロックＢ３２に対して決定された遅延量（Ｄ２１とＤ
２２との加重平均）とを加重平均することによって求め
る。この結果、図２（ｄ）に示すように、各画素毎の遅
延量が求められる。
【００３８】図２（ｄ）において、遅延量が０の画素に
対しては、左目用映像出力端子ＯＬおよび右目用映像出
力端子ＯＲに、スルー映像が出力される。図２（ｄ）に
おいて、遅延量が正の画素に対しては、スルー映像が左
目用映像出力端子ＯＬに送られ、遅延量に応じた遅延映
像が右目用映像出力端子ＯＲに送られる。図２（ｄ）に
おいて、遅延量が負の画素に対しては、スルー映像が右
目用映像出力端子ＯＲに送られ、遅延量に応じた遅延映
像が左目用映像出力端子ＯＬに送られる。
対しては、左目用映像出力端子ＯＬおよび右目用映像出
力端子ＯＲに、スルー映像が出力される。図２（ｄ）に
おいて、遅延量が正の画素に対しては、スルー映像が左
目用映像出力端子ＯＬに送られ、遅延量に応じた遅延映
像が右目用映像出力端子ＯＲに送られる。図２（ｄ）に
おいて、遅延量が負の画素に対しては、スルー映像が右
目用映像出力端子ＯＲに送られ、遅延量に応じた遅延映
像が左目用映像出力端子ＯＬに送られる。
【００３９】この結果、図３の入力映像に対して、図３
に示すような左目用映像および右目用映像が得られる。
つまり、自動車の被写体の表示位置は、左目用映像に対
して右目用映像の方が左側にあるので、左目用映像を左
目のみで観察し、右目用映像を右目のみで観察すると、
前方に飛び出して見える。また、自動車と反対方向に移
動している人の被写体の表示位置も、左目用映像に対し
て右目用映像の方が左側にあるので、前方に飛び出して
見える。
に示すような左目用映像および右目用映像が得られる。
つまり、自動車の被写体の表示位置は、左目用映像に対
して右目用映像の方が左側にあるので、左目用映像を左
目のみで観察し、右目用映像を右目のみで観察すると、
前方に飛び出して見える。また、自動車と反対方向に移
動している人の被写体の表示位置も、左目用映像に対し
て右目用映像の方が左側にあるので、前方に飛び出して
見える。
【００４０】
【発明の効果】この発明によれば、左方向に移動する被
写体と右方向に移動する被写体との両方を立体視できる
ようになる。
写体と右方向に移動する被写体との両方を立体視できる
ようになる。
【図１】２Ｄ／３Ｄ映像変換装置の構成を示すブロック
図である。
図である。
【図２】動きベクトル検出回路によって検出された分割
領域毎に水平方向の動きベクトルから、各画素毎の遅延
量が算出されるまでの流れを示す説明図である。
領域毎に水平方向の動きベクトルから、各画素毎の遅延
量が算出されるまでの流れを示す説明図である。
【図３】入力映像の一例ならびにそれに対して得られた
左目用映像および右目用映像を示す模式図である。
左目用映像および右目用映像を示す模式図である。
１ 動きベクトル検出回路 ２ 遅延映像生成回路 ３ 左右映像選択回路 ４ フィールドメモリ制御回路 ５ ＣＰＵ ６ 遅延量演算回路 ７ インバータ ２１ フィールドメモリ ３１ 補間回路 ３２ 左目用映像選択回路 ３３ 右目用映像選択回路 ３０１、３０２ 選択回路 ３０３、３０４ 乗算器 ３０５ 加算器
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平７−222201（ＪＰ，Ａ) 特開 平７−107518（ＪＰ，Ａ) 特開 平７−59119（ＪＰ，Ａ) 特開 昭60−263594（ＪＰ，Ａ) (58)調査した分野(Int.Cl.7，ＤＢ名) H04N 13/00 - 15/00
Claims (3)
- 【請求項１】 ２次元の入力映像に基づいて、画素単位
より大きな領域毎に被写体の動きの大きさおよび方向に
関する情報を検出する第１ステップ、 各領域毎に検出された被写体の動きの大きさおよび方向
に関する情報に基づいて、各画素毎に遅延映像を左目用
映像と右目用映像との何れにすべきかを示す識別情報を
生成するとともに、各画素毎に遅延量を算出する第２ス
テップ、 各画素毎に算出された遅延量に基づいて、入力映像に対
して、各画素毎に対応する遅延量分だけ遅延された遅延
映像をそれぞれ生成する第３ステップ、および各画素毎
に生成された、識別情報に基づいて、各画素毎に入力映
像および遅延映像のうちの一方を左目用画素として選択
するとともに他方を右目用画素として選択し、これによ
り、左目用映像と右目用映像とを生成する第４ステッ
プ、 を備えている２次元映像を３次元映像に変換する方法。 - 【請求項２】 第２ステップは、各領域毎に検出された
被写体の動きの大きさおよび方向に関する情報に基づい
て、各領域毎に遅延映像を左目用映像と右目用映像との
何れにすべきかを示す第１識別情報を生成するととも
に、各領域毎にフィールド単位の遅延量を算出するステ
ップ、および各領域毎に生成された第１識別情報と各領
域毎に算出されたフィールド単位の遅延量に基づいて、
各画素毎に遅延映像を左目用映像と右目用映像との何れ
にすべきかを示す第２識別情報を生成するとともに、各
画素毎にフィールド単位より小さな単位の遅延量を算出
するステップ、 を備えている請求項１に記載の２次元映像を３次元映像
に変換する方法。 - 【請求項３】 第３ステップでは、入力映像に対してフ
ィールド単位で遅延された映像を補間処理することによ
り、入力映像に対して、各画素毎に対応する遅延量分だ
け遅延された遅延映像を生成する請求項２に記載の２次
元映像を３次元映像に変換する方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07272473A JP3096625B2 (ja) | 1995-10-20 | 1995-10-20 | ２次元映像を３次元映像に変換する方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP07272473A JP3096625B2 (ja) | 1995-10-20 | 1995-10-20 | ２次元映像を３次元映像に変換する方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH09116930A JPH09116930A (ja) | 1997-05-02 |
| JP3096625B2 true JP3096625B2 (ja) | 2000-10-10 |
Family
ID=17514418
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP07272473A Expired - Fee Related JP3096625B2 (ja) | 1995-10-20 | 1995-10-20 | ２次元映像を３次元映像に変換する方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3096625B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20030103136A1 (en) * | 2001-12-05 | 2003-06-05 | Koninklijke Philips Electronics N.V. | Method and system for 2D/3D illusion generation |
| US20050248561A1 (en) * | 2002-04-25 | 2005-11-10 | Norio Ito | Multimedia information generation method and multimedia information reproduction device |
| KR101339870B1 (ko) * | 2007-07-26 | 2013-12-11 | 삼성전자주식회사 | 영상처리장치 및 영상처리방법 |
| JP5347717B2 (ja) | 2008-08-06 | 2013-11-20 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| JP5387377B2 (ja) * | 2009-12-14 | 2014-01-15 | ソニー株式会社 | 画像処理装置、および画像処理方法、並びにプログラム |
| US8687470B2 (en) | 2011-10-24 | 2014-04-01 | Lsi Corporation | Optical disk playback device with three-dimensional playback functionality |
-
1995
- 1995-10-20 JP JP07272473A patent/JP3096625B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JPH09116930A (ja) | 1997-05-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR100433625B1 (ko) | 스테레오 카메라의 두영상과 양안차도를 이용한 다시점영상 합성 장치 | |
| KR960013097A (ko) | 2차원 영상을 3차원 영상으로 변환하는 방법 | |
| KR980004175A (ko) | 입체 컴퓨터 그래픽스 동화상 발생장치 | |
| JPH08205196A (ja) | ２次元映像を３次元映像に変換する方法 | |
| EP1646228B1 (en) | Image processing apparatus and method | |
| US20110001791A1 (en) | Method and system for generating and displaying a three-dimensional model of physical objects | |
| JP3096625B2 (ja) | ２次元映像を３次元映像に変換する方法 | |
| US20080239144A1 (en) | Frame rate conversion device and image display apparatus | |
| JP2947360B2 (ja) | 画像の動きを測定する方法および装置 | |
| JPH11514809A (ja) | 映像フィールドを順次走査映像フレームへ非飛び越し走査するための方法および装置 | |
| JPH1198531A (ja) | ２次元映像を３次元映像に変換する装置及び方法 | |
| JP3096612B2 (ja) | 時分割方式立体映像信号検出方法、時分割方式立体映像信号検出装置および立体映像表示装置 | |
| JPH1051811A (ja) | 立体感調整方法および立体感調整装置 | |
| JP2008034964A (ja) | 画像表示装置 | |
| JP2011155431A (ja) | フレームレート変換装置および映像表示装置 | |
| JP3957343B2 (ja) | ２次元映像を３次元映像に変換する装置および方法 | |
| JPH118862A (ja) | ２次元映像を３次元映像に変換する装置および方法 | |
| JPH09200803A (ja) | 画像処理装置及び画像処理方法 | |
| CN116508053A (zh) | 用于视频插值的设备和方法 | |
| JP3899994B2 (ja) | 画像信号処理装置、及び、画像信号処理方法 | |
| JP5435242B2 (ja) | 画像処理方法、画像処理装置及び画像処理プログラム | |
| JP2009118456A (ja) | 画像補間装置および方法 | |
| JP2846843B2 (ja) | ２次元映像を３次元映像に変換する方法 | |
| KR100230447B1 (ko) | 2차원 연속영상의 3차원 영상 변환 장치 및 방법 | |
| JPH1198527A (ja) | ２次元映像を３次元映像に変換する装置および方法 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070804 Year of fee payment: 7 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080804 Year of fee payment: 8 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090804 Year of fee payment: 9 |
|
| LAPS | Cancellation because of no payment of annual fees |