JPH07222201A - ２次元画像から３次元画像への変換方法 - Google Patents

Abstract

(57)【要約】 （修正有） 【目的】 ２次元画像から３次元画像への変換率を自動
的に調整により２次元映像ソフトから作られた３次元映
像ソフトにおける立体映像シーンの割合を調整する。 【構成】 ３次元画像の、元になる２次元画像に対する
変換率の調整は、手動でも自動でもよい。２次元画像を
複数個のシーンに分割し、そのシーン毎に２次元画像の
ままにするか３次元画像に変換するかにより３次元画像
の２次元画像に対する変換率を調整するものである。さ
らに、元になる２次元画像から該画像を時間軸方向にお
いて遅れ方向あるいは進み方向にずらして３次元画像を
生成することが望ましく、元になる２次元画像から該画
像を構成するフレーム単位で時間軸方向に遅らせるか進
ませて３次元画像を生成したり、２次元画像内に存在す
る移動物体を検出し、検出された移動物体の移動速度の
大きさ及び方向に応じて２次元画像のフレーム単位の遅
延量または進み量を調整することが望ましい。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明はＶＴＲやビデオカメラ等
から出力されたり、ＣＡＴＶやＴＶ放送によって伝送さ
れた２次元画像を３次元画像に変換する変換方法に関す
る。

【０００２】

【従来の技術】最近話題になっている３次元表示システ
ムに使われる３次元映像ソフトは、その大半が３次元表
示システム用に特別に作成されたもので、一般には２台
のカメラを用いて右眼用画像及び左眼用画像を撮像し、
撮像され且つ記録されたこれら両画像を同時に一つのデ
ィスプレイに重ねて表示させ、この２重に重なった右眼
用画像及び左眼用画像を視者の夫々の眼に入射させるこ
とによって視者に３次元映像を認識させるものである。

【０００３】しかしながら世の中には２次元で作成され
た映像ソフトが多数存在し、これらの２次元ソフトが３
次元に変換できれば新たに３次元専用の映像ソフトを制
作する手間、暇やコストを低減できることになる。

【０００４】

【発明が解決しようとする課題】ところで２次元画像を
３次元画像に変換する場合、例えば記録された２次元画
像のフレーム遅延によって元の画像を例えば右眼用画像
とし、この右眼用画像から新たに左眼用画像を作成すれ
ば両画像間の視差が生成されるので、この両画像を同時
に表示すれば前述の２台のカメラで撮像した左右画像と
同程度の３次元映像ソフトが得られることが知られてい
る。

【０００５】しかしながら２次元映像ソフトのストーリ
ー内容によっては３次元になり易いものと、そうでない
ものとが存在し、一律のフレーム遅延では一様に３次元
感覚を引き出せないという問題点があった。

【０００６】このため従来ではタイムコードレベルで２
次元映像ソフトの各シーンを解析し、適当なフレーム遅
延量を編集者がマニュアルで決定してやるという作業が
必要で、これには多大なる時間と労力を費やしていた。

【０００７】また、３次元画像は先述したように右眼用
と左眼用の画像が一つの画面に混在しているため、視者
の眼はその画像を見る時間の増大とともに疲労するとい
う問題点があった。

【０００８】本発明はこれら従来技術の問題点に鑑みて
なされたものであり、２次元画像から３次元画像への変
換率を自動的に調整することによって２次元映像ソフト
から作られた３次元映像ソフトにおける立体映像部分の
割合を手動または自動で調整することを目的とするもの
である。

【０００９】

【課題を解決するための手段】本発明は、元になる２次
元画像の内容に基いて、該２次元画像から生成される３
次元画像の前記２次元画像に対する変換率を調整するも
のである。

【００１０】この変換率は視者が自己の好みに応じて自
由に調整できるもの、または元の２次元画像の内容に応
じて自動的に調整できるものをいう。

【００１１】そして望ましくは、元になる２次元画像を
複数個のシーンに分割し、そのシーン毎に２次元画像の
ままにするか、３次元画像に変換するかによって３次元
画像の前記２次元画像に対する変換率を調整するもので
ある。

【００１２】さらに、元になる２次元画像から該画像を
時間軸方向において遅れ方向あるいは進み方向にずらす
ことによって３次元画像を生成することが望ましく、元
になる２次元画像から該画像を構成するフレーム単位で
時間軸方向に遅らせるかまたは進ませることによって３
次元画像を生成したり、前記２次元画像内に存在する移
動物体を検出し、検出された移動物体の移動速度の大き
さ及び方向に応じて前記２次元画像のフレーム単位の遅
延量または進み量を調整することが望ましい。

【００１３】一方、元になる２次元画像の１フレーム内
に存在する複数の物体を個々に抽出し、該物体毎に２次
元画像のままにするか３次元画像に変換するかによって
３次元画像の前記２次元画像に対する変換率を調整する
ものであり、望ましくは、元になる２次元画像上の各物
体を切り出し、所定量横方向に移動させることによって
３次元画像を生成するものである。

【００１４】

【作用】上記構成において、視者は自己の好みに合わせ
て３次元で見たいシーンを自由に選択することができ、
しかも画像の画面からの飛び出し量も自由に変化させる
ことができる。

【００１５】また、２次元ソフトのシーン毎にフレーム
遅延量を調整することが可能となり、例えば３次元映像
として認識しにくい部分はそのまま２次元映像として残
すことによって不自然さをなくすことができ、さらに移
動物体の動く方向がまちまちであっても同程度に３次元
化することが可能となる一方、物体抽出の場合は、フレ
ーム毎に存在する物体の視差情報に変化をつけることが
可能となり、フレーム内で一律にフレーム遅延させる場
合に比して、さらにリアルな３次元映像ソフトが得られ
る。

【００１６】

【実施例】

［第１実施例］本発明の２次元画像から３次元画像への
変換方法の第１実施例を図１のフローチャート及び図２
〜図４の概念図に基づいて詳細に説明する。

【００１７】図１においてステップＳ１で既存の２次元
映像ソフト（ここでは３次元化したときの左眼用画像と
なるものをいう）をビデオテープレコーダ（以下ＶＴＲ
という）等を用いて再生する。

【００１８】次にステップＳ２において再生された２次
元映像ソフトのフレーム単位での画像から移動物体の存
在による動きベクトルの検出を行う。この動きベクトル
の検出は、その大きさ（絶対値）、方向（右方向の動き
を正、左方向の動きを負とする）について行われる。

【００１９】そして所定の大きさの閾値を設定してお
き、これより大きいシーンについてフレーム進行あるい
はフレーム遅延による２次元画像の生成を行うため、ス
テップＳ３において隣接フレーム間の動きベクトルの大
きさを一定値と比較する。

【００２０】そして一定値以上ないものについては、フ
レーム遅延、フレーム進行によって２次元画像を生成し
ても立体化の程度が低いので、ステップＳ４でそのまま
元の２次元画像を抽出してこれを元の２次元映像ソフト
とフレーム毎の同期を取って記録する（ステップＳ
５）。

【００２１】尚、ここでいう記録は磁気テープのような
記録手段でもよいし、画像メモリのようなものでもよ
い。

【００２２】磁気テープを用いた時は、この磁気テープ
に右眼用と左眼用の両方の画像が記録され、両画像を同
時に再生して一つのディスプレイ装置に表示することに
よって３次元の映像ソフトが楽しめる。

【００２３】また画像メモリを用いた時には２次元映像
ソフトの再生と同時にディスプレイに右眼用と左眼用と
の画像が表示され３次元の映像ソフトが楽しめる。

【００２４】さらに、前記ステップＳ３にて動きベクト
ルが一定値以上あったときには、ステップＳ６でその動
きベクトルの正負を判定する。

【００２５】そして正の時は移動物体は右方向に動いて
いるから、操作としてはその動きベクトルの大きさに応
じて所定数前のフレームの画像を抽出し（ステップＳ
７）、ステップＳ５にて元の２次元画像と同期させてこ
の所定数前のフレームの画像を記録する。

【００２６】一方、前記ステップＳ６にて動きベクトル
が負であった時には移動物体は左方向に動いているか
ら、操作としてはその動きベクトルの大きさに応じて所
定数後のフレームの画像を抽出し（ステップＳ８）、ス
テップＳ５にて元の２次元画像と同期させてこの所定数
後のフレームの画像を記録する。

【００２７】前記ステップＳ５において動きベクトルの
絶対値が大きい（即ち移動速度が大きい）ときには前記
所定数は小さな数となり、逆に絶対値が小さい（即ち移
動速度が小さい）ときには前記所定数は大きな数とな
る。

【００２８】また前記所定数を適当に変えることによっ
て移動物体の立体感、即ちディスプレイ画面から飛び出
して見える度合いを調節して、飛び出す物体を強調する
ことが可能となる。

【００２９】図２は移動物体（ここでは車）が相当な速
度で右方向に移動しているシーン（ａ）の場合を示し、
この場合は図２（ｂ）、（ｃ）を比較すれば明らかなよ
うに元の２次元画像の例えば数フレーム前の画像が右眼
画像として同期を取って作成される。

【００３０】図３は図２とは逆に移動物体が相当な速度
で左方向に移動しているシーン（ｂ）の場合を示し、こ
の場合は図３（ｂ）、（ｃ）を比較すれば明らかなよう
に元の２次元画像の例えば数フレーム後の画像が右眼画
像として同期を取って作成される。

【００３１】図４は図２や図３に比較すると移動物体
（この場合亀）の速度が極めて遅い場合のシーン例
（ａ）を示し、この場合は図４（ｂ）、（ｃ）を比較す
れば明らかなように元の２次元画像の例えば数十フレー
ム前の画像が右眼画像として同期を取って作成される。

【００３２】尚、上記図２〜４の概念図では移動物体が
ディスプレイ画面より手前（視者方向側）に立体視でき
る例で説明したが、これらの実施例において、移動物体
がほぼ画面の位置にあり、背景（図では山または草）が
図の矢印の方向に動いている時には動きベクトルの方向
を逆に取ることによって、背景のみを画面より奥に位置
させた立体感として視者に認識させることが可能であ
る。

【００３３】また図２〜４の概念図で斜線を施した部分
は、一塊のシーンを示し、一個のフレームに対応するも
のではなく、多数のフレームから構成されるものであ
る。そしてｔは時間軸を示している。

【００３４】さらに、前記３次元画像に変換するシーン
の選択は上記のように動きベクトルの検出によって自動
的に抽出することの他に、視者がここは３次元映像とし
て見たいと思ったシーンを、例えばリモコンスイッチに
設けられた２次元画像から３次元画像への切換スイッチ
を押すことによって選択し、以後再度前記切換スイッチ
を押すまでの間、３次元映像を楽しめるようにすること
ができる。

【００３５】この場合、物体の画面からの飛び出し量の
調整は前記動きベクトルの大きさや方向による自動調整
出会っても良いし、視者の好みに合わせて、やはりリモ
コンスイッチに設けられた調整スイッチの操作により、
自由に調整することも可能である。

【００３６】［第２実施例］本発明の２次元画像から３
次元画像への変換方法の第２実施例を図５のフローチャ
ート及び図６の概念図に基づいて詳細に説明する。

【００３７】本実施例は先の第１実施例とは異なり、物
体をフレームから切り出して加工する必要があるため例
えばコンピュータグラフィックス（以下ＣＧという）の
技術を用いて作成されたアニメーションのように個々の
物体が３次元情報を保有しているような映像ソフトでは
自動的に個々の物体を抽出でき加工が楽になり最適であ
る。

【００３８】一方、一般のアナログのビデオソフトでも
輪郭抽出等の技術を用いればフレーム内の各物体を抽出
でき、抽出された個々の物体に対して３次元への変換率
を変えることによって可能である。

【００３９】さらに物体の抽出のみマニュアルで編集者
が行ない、その他の動作を自動で行うことも可能であ
る。

【００４０】図５においてまずステップＳ１１でまず元
の２次元映像ソフト（左眼画像）を再生する。

【００４１】次にステップＳ１２でその映像ソフトを構
成するフレーム内において構成物体を自動抽出（あるい
はマニュアル抽出）し、これをフレームから切り出す。

【００４２】そしてステップＳ１３で各構成物体のフレ
ーム内での奥行き位置による移動量を算出する。

【００４３】最後にステップ１４で各構成物体の算出さ
れた移動量による移動を行い、移動した物体によるフレ
ーム画像を右眼用画像とし元の２次元映像ソフトとフレ
ーム毎の同期をとって記録する（ステップＳ１５）。

【００４４】図６は上記図５によって作成される画像の
例を示すものであり、（ａ）は元の２次元映像ソフトの
画像（左眼画像）、（ｂ）は作成された右眼画像であ
る。

【００４５】（ｂ）では各構成物体（家、車、人）によ
って移動量が夫々異なっており、この移動量に伴う視差
情報に変化をつけている。

【００４６】従って、視者にはより現実感を持った立体
映像が認識される。ここで（ｂ）における破線は移動前
の元の物体の位置を示すものである。

【００４７】尚、本実施例において物体を移動させた後
の画像には画素情報のない領域が生じるが、これはその
周辺の画素情報による補間等で穴埋めが可能である。

【００４８】以上の実施例は磁気テープに記録された２
次元画像を再生出力して３次元映像ソフトに変換するも
のであったが、ビデオカメラから出力された２次元画像
や、ＣＡＴＶまたはＴＶ放送等によって伝送された２次
元画像についても本発明の変換方法を適用できることは
いうまでもない。

【００４９】

【発明の効果】本発明は上述の説明のように、視者が自
己の好みに合わせて自由に２次元画像または３次元を画
像を切換えて画像を見ることが可能となり、且つ画面か
らの物体の飛び出し量の調整も視者の好みに応じて自由
に調整することができる効果がある。

【００５０】また、２次元ソフトのシーン毎にフレーム
遅延量またはフレーム進行量を調整することが可能とな
り、例えば３次元映像として認識しにくい部分はそのま
ま２次元映像としてのこすことによって不自然さをなく
すことができ、また移動物体の動く方向がまちまちであ
っても同程度に３次元化することが可能となる。

【００５１】一方、物体抽出の場合は、フレーム毎に存
在する物体の視差情報に変化をつけることが可能とな
り、フレーム内で一律にフレーム遅延またはフレーム進
行させる場合に比して、さらにリアルな３次元映像ソフ
トが得られる効果が期待できる。

【図面の簡単な説明】

【図１】本発明の第１実施例の動作の流れを説明するフ
ローチャートである。

【図２】（ａ）〜（ｃ）は第１実施例における右への移
動物体がある場合の前フレーム抽出を示す概念図であ
る。

【図３】（ａ）〜（ｃ）は第１実施例における左への移
動物体がある場合の前フレーム抽出を示す概念図であ
る。

【図４】（ａ）〜（ｃ）は第１実施例における右への遅
い移動物体がある場合の前フレーム抽出を示す概念図で
ある。

【図５】本発明の第２実施例の動作の流れを説明するフ
ローチャートである。

【図６】（ａ）、（ｂ）は第２実施例における各構成物
体の移動を説明する概念図である。

【符号の説明】

Ｓ１〜Ｓ７ 第１実施例の動作ステップ Ｓ１１〜Ｓ１５ 第２実施例の動作ステップ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 宇和 伸明 大阪府守口市京阪本通２丁目５番５号 三 洋電機株式会社内

Claims (9)

【特許請求の範囲】
1. 【請求項１】 元の２次元画像の内容に応じて、該２次
   元画像から生成される３次元画像の前記２次元画像に対
   する変換率を調整することを特徴とする２次元画像から
   ３次元画像への変換方法。
2. 【請求項２】 前記変換率は、視者が自己の好みに応じ
   て自由に調整できることを特徴とする請求項１記載の２
   次元画像から３次元画像への変換方法。
3. 【請求項３】 前記変換率は、前記２次元画像の内容に
   応じて自動的に調整されることを特徴とする請求項１記
   載の２次元画像から３次元画像への変換方法。
4. 【請求項４】 元の２次元画像を複数個のシーンに分割
   し、そのシーン毎に２次元画像のままにするか３次元画
   像に変換するかによって前記変換率が調整されることを
   特徴とする請求項１記載の２次元画像から３次元画像へ
   の変換方法。
5. 【請求項５】 前記２次元画像の３次元画像への変換
   は、元の２次元画像の時間シフトによって実現されるこ
   とを特徴とする請求項１、２、３または４記載の２次元
   画像から３次元画像への変換方法。
6. 【請求項６】 前記２次元画像の時間シフトは、前記２
   次元画像をフレーム単位で時間軸方向に遅らせるかまた
   は進ませることによって実現されることを特徴とする請
   求項５記載の２次元画像から３次元画像への変換方法。
7. 【請求項７】 前記２次元画像内に存在する移動物体を
   検出し、検出された移動物体の移動速度の大きさ及び方
   向に応じて前記２次元画像のフレーム単位の遅延量また
   は進み量を調整することを特徴とする請求項６記載の２
   次元画像から３次元画像への変換方法。
8. 【請求項８】 元の２次元画像の１フレーム内に存在す
   る複数の物体を個々に抽出し、該物体毎に２次元画像の
   ままにするか、３次元画像に変換するかによって前記変
   換率を調整することを特徴とする請求項１記載の２次元
   画像から３次元画像への変換方法。
9. 【請求項９】 元の２次元画像上の各物体を切り出し、
   所定量横方向に移動させることによって３次元画像を生
   成することを特徴とする請求項８記載の２次元画像から
   ３次元画像への変換方法。