JPH07274209A - 2次元画像を3次元画像に変換する方法及び装置 - Google Patents

2次元画像を3次元画像に変換する方法及び装置

Info

Publication number
JPH07274209A
JPH07274209A JP6057153A JP5715394A JPH07274209A JP H07274209 A JPH07274209 A JP H07274209A JP 6057153 A JP6057153 A JP 6057153A JP 5715394 A JP5715394 A JP 5715394A JP H07274209 A JPH07274209 A JP H07274209A
Authority
JP
Japan
Prior art keywords
image
dimensional image
frame
memory
motion vector
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP6057153A
Other languages
English (en)
Other versions
JP3091627B2 (ja
Inventor
Haruhiko Murata
治彦 村田
Toshiyuki Okino
俊行 沖野
Toshiya Iinuma
俊哉 飯沼
Seiji Okada
誠司 岡田
Takashi Ikeda
貴司 池田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP06057153A priority Critical patent/JP3091627B2/ja
Publication of JPH07274209A publication Critical patent/JPH07274209A/ja
Application granted granted Critical
Publication of JP3091627B2 publication Critical patent/JP3091627B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)

Abstract

(57)【要約】 (修正有) 【目的】 1フレームの画像内の対象物の大半は同じ水
平方向の移動を有し、一部が異なる方向に移動している
場合に自然に近い3次元画像を得る。 【構成】 2次元画像から動きベクトルの大きさ及び方
向を検出する動きベクトル検出回路3、2次元画像をフ
レーム単位で記憶するフレームメモリ2、フレーム遅延
量あるいは走査ライン遅延量を算出する中央処理装置
4、前記フレームメモリ2内の所定のフレームを選択す
る第1のメモリコントロール回路5、前記選択されたフ
レームの画像から動きの異なる領域の画像を抽出する輪
郭抽出回路6、抽出された領域の画像を格納する画像メ
モリ7、前記画像メモリ7の読み出し開始位置を制御す
る第2のメモリコントロール回路8とよりなり、前記画
像メモリ7から3次元画像を構成する左右両画像のうち
の一方の画像読み出すようにするとともに、前記画像メ
モリ7の読み出し開始位置の制御により画素のなくなっ
た部分を補間する補間回路10を設ける。

Description

【発明の詳細な説明】
【0001】
【産業上の利用分野】本発明はVTRやビデオカメラ等
から出力されたり、CATVやTV放送によって伝送さ
れた2次元画像を3次元画像に変換する方法に関する。
【0002】
【従来の技術】最近話題になっている3次元表示システ
ムに使われる3次元映像ソフトは、その大半が3次元表
示システム用に特別に作成されたもので、一般には2台
のカメラを用いて左目用画像及び右目用画像を撮像し、
撮像されて且つ記録されたこれら両画像を略同時に一つ
のディスプレイに表示させ、これらの左目用画像及び右
目用画像を視者の夫々の目に入射させることによって、
視者に3次元映像を知覚させるものである。
【0003】しかしながら世の中には2次元で作成され
た映像ソフトが多数存在し、これらの2次元ソフトが3
次元に変換できれば新たに3次元専用の映像ソフトを製
作する手間や暇及びコストを低減できることになる。
【0004】ところで2次元画像を3次元に変換する場
合、例えば記録された2次元画像のフレーム遅延によっ
て元の画像を例えば左目用画像とし、この左目用画像か
ら新たに右目用画像を作成すれば両画像間の視差が生成
されるので、この両画像を略同時に表示すれば前述の2
台のカメラで撮像した左目用画像及び右目用画像と同程
度の3次元映像ソフトが得られることが知られている。
【0005】しかしながら2次元映像ソフトのストーリ
ー内容によっては各場面に登場する対象物の動きが一定
の方向とは限らず、フレーム単位の遅延による水平方向
での画像のずらしでは好ましい立体映像が得られないと
いう問題点があった。
【0006】例えば一つのシーンに右方向に動く対象物
と左方向に動く対象物があった場合、あるいは右方向に
動く対象物と上方向に動く対象物とがあった場合等に
は、一律のフレームずらしによる3次元画像の生成手法
では見苦しい立体映像となる惧れがある。
【0007】
【発明が解決しようとする課題】本発明は斯かる従来の
技術の問題点に鑑みてなされたものであり、1フレーム
の画像内の対象物がその大半は同じ水平方向の移動を有
し、一部が異なる方向に移動している場合に自然に近い
3次元画像を得る方法及び装置を提供することを目的と
するものである。
【0008】
【課題を解決するための手段】本発明の方法は、入力さ
れた2次元画像を3次元画像を構成する一方の画像と
し、この一方の画像から3次元画像の他方の画像を構成
する方法であって、前記入力された2次元画像の動きベ
クトルを検出し、検出された動きベクトルの方向から動
きの異なる領域を抽出するとともに、動きの異なる領域
と動きの同じ領域とに分けて別々に画像処理して、3次
元画像を構成する前記他方の画像を作成するものであ
る。そして前記動きの同じ領域の画像の動きベクトルの
方向が水平方向である場合にフレームずらしにより前記
他方の画像を作成し、前記動きの異なる領域の動きベク
トルの方向が垂直方向である場合に走査ラインずらしに
より前記他方の画像を作成することが望ましい。
【0009】また、本発明の装置は、2次元画像を入力
する入力端子、入力された2次元画像から動きベクトル
の大きさ及び方向を検出する動きベクトル検出回路、入
力された2次元画像をフレーム単位で記憶するフレーム
メモリ、前記動きベクトル検出回路の検出出力によって
フレーム遅延量あるいは走査ライン遅延量を算出する中
央処理装置、該中央処理装置の指令により前記フレーム
メモリ内の所定のフレームを選択する第1のメモリコン
トロール回路、前記選択されたフレームの画像から動き
の異なる領域の画像を抽出する輪郭抽出回路、抽出され
た領域の画像を格納する画像メモリ、前記中央処理装置
の指令に基づいて前記画像メモリの読み出し開始位置を
制御する第2のメモリコントロール回路とよりなり、前
記画像メモリから3次元画像を構成する左右画像の内の
一方の画像を読み出すようにしたものであり、前記画像
メモリの読み出し開始位置の制御により画素のなくなっ
た部分を補間する補間回路を設けたものである。
【0010】
【作用】1フレーム内の画像を、動きの同じ画像領域と
異なる領域とに分けて別個に処理を施して3次元画像を
生成することにより、得られた3次元画像の不自然さを
抑制することが可能となる。
【0011】
【実施例】以下、本発明の2次元画像を3次元画像に変
換する方法及び装置をその一実施例について図面に基づ
き詳細に説明する。
【0012】図1に装置の概略を示すブロック回路図を
示す。同図において1は元になる2次元画像(後に3次
元画像を構成する一方の画像となる)を入力する入力端
子、2は入力された2次元画像をフィールド単位で格納
するフレームメモリ(6フィールド=3フレーム分の容
量)である。
【0013】3は前に格納されたフレームの画像と今回
入力された2次元画像とからエリア分割代表点マッチン
グ法等の手段を用いて動きベクトルを検出する動きベク
トル検出回路、4は該動きベクトル検出回路3からの出
力に基づいて動きベクトルの大きさ及び方向に応じたフ
レーム遅延量並びに走査ライン遅延量を算出する中央処
理装置(以下CPUという)である。
【0014】5は前記CPU4の指令に基づいて、所定
フレーム数遅延されたフレームの画像を前記フレームメ
モリから選択する第1メモリコントロール回路、6は前
記CPU4の指令に基づいて動きの異なる領域の画像を
抽出し、書き込み位置を制御して画像メモリ7にデータ
を書き込む輪郭抽出回路である。
【0015】8は前記画像メモリ7内のデータをその読
み出し位置をCPU4からの指令に基づいて制御しなが
ら読み出す第2メモリコントロール回路、9は前記抽出
された画像を移動させて抽出前の画像に合体させるセレ
クタ、10は抽出画像の移動により生じた無画素領域の
画素の補間を行う補間回路である。
【0016】11はフレームメモリから選択された画
像、あるいは選択されて抽出・補間を施された画像と入
力された2次元画像とを検出された水平方向の動きベク
トルの方向に応じて切り換えて夫々左目用画像・右目用
画像として出力するスイッチである。
【0017】上記構成においてその動作を図2のフロー
チャートに基づいて説明する。まずステップS1にて元
になる2次元画像をフィールド単位で入力端子1から入
力し、ステップS2でフレームメモリ2の各フィールド
メモリに格納する。
【0018】次にステップS3にて一つ前に入力された
フレームの画像と今回入力されたフレームの画像とから
動きベクトルの大きさ及び方向を検出し、その検出値を
CPU4へ送る。CPU4ではこれを受けて適当なフレ
ーム遅延量及び走査ライン遅延量を算出する。
【0019】ステップS4で動きベクトルの方向が全部
一定方向であるか否かを判定し、そろっている場合に
は、ステップS5へ進み、動きベクトルの大きさに応じ
た適当な遅延量に対応するフレームの画像を選択して出
力する。
【0020】そしてステップS6にてスイッチ11を介
して前記動きベクトルの方向に応じて選択されたフレー
ムの画像と入力された2次元画像とを夫々左目用画像あ
るいは右目用画像として出力し、3次元画像を得る。
【0021】またステップS4で異なる方向の動きベク
トルがある場合には、まずステップS7にて第1メモリ
コントロール回路5により、動きベクトルの大きさに応
じたフレームの画像を選択する。
【0022】そしてステップS8にて動きベクトルの方
向が他と大部分の領域とは異なる領域の画像の輪郭及び
中身のデータを抽出してステップS9でそれを画像メモ
リ7に格納する。
【0023】抽出された異なる動きベクトルの領域を元
の位置から移動させるため、第2メモリコントロール回
路8により、格納した時の書き込み開始位置に対して、
読み出し開始位置を変化させるように制御し、読み出し
て画像を構成する(ステップS10)。
【0024】ステップS11では抽出された領域の画像
を移動させてセレクタ9により抽出前の画像に合体させ
る。このとき抽出した領域の移動のため画素のない領域
が当該フレーム画像に生じるが、これをその周囲の画素
を利用した補間により穴埋めする。
【0025】最後にこうして補間されたフレームの画像
と元になる入力された2次元画像とを、スイッチ11を
介して、前記動きベクトルの方向に応じて夫々左目用画
像あるいは右目用画像として出力し、3次元画像を得
る。
【0026】図3は図2の動作をイメージ化した図であ
り、例えばロケットが上方へ飛んでいき、木立が右方向
へ移動するシーン(フレーム)があった場合を想定する
と、検出される動きベクトルは(c)に示すように大部
分が右方向を向き、一部が上を向いたものとなる。そこ
でn番目のフレームを元になる2次元画像(a)とし、
これからaフレーム遅延したn+a番目のフレーム
(b)を一方の画像として得るが、ロケットの動きと木
立の動きとが一致しないため、走査ライン遅延によりロ
ケット部分の画素の読み出し位置を変えて読み出すこと
により、ロケットの位置を下方へずらし、(a)のフレ
ームのロケットの位置と略同じ位置へ移動させる。こう
することにより(e)のような画像が得られ、木立には
視差が生じ奥行き感が現れる。一方のロケットの方は左
右同じ画像となって奥行き感は得られないが、上下方向
の視差が生じている場合よりは立体化認識した時の不自
然さが少なくなる。
【0027】
【発明の効果】本発明は以上の説明の如く、一つのフレ
ーム内の動きの異なる対象物に対して別個の処理を施し
て3次元化することにより、対象物の動きが一定方向で
ない画像に対してもフレームずらし等の方法で自然に近
い3次元画像を生成することが可能となる効果が期待で
きる。
【図面の簡単な説明】
【図1】本発明の2次元画像を3次元画像に変換する装
置のブロック回路図である。
【図2】図1の動作を説明するフローチャートである。
【図3】(a)〜(e)は図2の動作をイメージ化した
図である。
【符号の説明】
1 入力端子 2 フレームメモリ 3 動きベクトル検出回路 4 中央処理装置 5 第1メモリコントロール回路 6 輪郭抽出回路 7 画像メモリ 8 第2メモリコントロール回路 10 補間回路
───────────────────────────────────────────────────── フロントページの続き (72)発明者 岡田 誠司 大阪府守口市京阪本通2丁目5番5号 三 洋電機株式会社内 (72)発明者 池田 貴司 大阪府守口市京阪本通2丁目5番5号 三 洋電機株式会社内

Claims (5)

    【特許請求の範囲】
  1. 【請求項1】 入力された2次元画像を3次元画像を構
    成する一方の画像とし、この一方の画像から3次元画像
    の他方の画像を構成する方法であって、前記入力された
    2次元画像の動きベクトルを検出し、この検出された動
    きベクトルの方向から動きの異なる領域を抽出するとと
    もに、動きの異なる領域と動きの同じ領域とに分けて別
    々に画像処理して、3次元画像を構成する前記他方の画
    像を作成することを特徴とする2次元画像を3次元画像
    に変換する方法。
  2. 【請求項2】 前記動きの同じ領域の画像の動きベクト
    ルの方向が水平方向である場合にフレームずらしにより
    前記他方の画像を作成することを特徴とする請求項1記
    載の2次元画像を3次元画像に変換する方法。
  3. 【請求項3】 前記動きの異なる領域の動きベクトルの
    方向が垂直方向である場合に走査ラインずらしにより前
    記他方の画像を作成することを特徴とする請求項1また
    は2記載の2次元画像を3次元画像に変換する方法。
  4. 【請求項4】 2次元画像を入力する入力端子、入力さ
    れた2次元画像から動きベクトルの大きさ及び方向を検
    出する動きベクトル検出回路、入力された2次元画像を
    フレーム単位で記憶するフレームメモリ、前記動きベク
    トル検出回路の検出出力によってフレーム遅延量あるい
    は走査ライン遅延量を算出する中央処理装置、該中央処
    理装置の指令により前記フレームメモリ内の所定のフレ
    ームを選択する第1のメモリコントロール回路、前記選
    択されたフレームの画像から動きの異なる領域の画像を
    抽出する輪郭抽出回路、抽出された領域の画像を格納す
    る画像メモリ、前記中央処理装置の指令に基づいて前記
    画像メモリの読み出し開始位置を制御する第2のメモリ
    コントロール回路とよりなり、前記画像メモリから3次
    元画像を構成する左右両画像のうちの一方の画像を読み
    出すようにした2次元画像を3次元画像に変換する装
    置。
  5. 【請求項5】 前記画像メモリの読み出し開始位置の制
    御により画素のなくなった部分を補間する補間回路を設
    けた請求項4記載の2次元画像を3次元画像に変換する
    装置。
JP06057153A 1994-03-28 1994-03-28 2次元画像を3次元画像に変換する方法及び装置 Expired - Fee Related JP3091627B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP06057153A JP3091627B2 (ja) 1994-03-28 1994-03-28 2次元画像を3次元画像に変換する方法及び装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP06057153A JP3091627B2 (ja) 1994-03-28 1994-03-28 2次元画像を3次元画像に変換する方法及び装置

Publications (2)

Publication Number Publication Date
JPH07274209A true JPH07274209A (ja) 1995-10-20
JP3091627B2 JP3091627B2 (ja) 2000-09-25

Family

ID=13047628

Family Applications (1)

Application Number Title Priority Date Filing Date
JP06057153A Expired - Fee Related JP3091627B2 (ja) 1994-03-28 1994-03-28 2次元画像を3次元画像に変換する方法及び装置

Country Status (1)

Country Link
JP (1) JP3091627B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9615051B2 (en) 2011-03-03 2017-04-04 Panasonic Intellectual Property Management Co., Ltd. Performing video processing for frame sequential display for alternately displaying right and left images of stereoscopic video signals

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9615051B2 (en) 2011-03-03 2017-04-04 Panasonic Intellectual Property Management Co., Ltd. Performing video processing for frame sequential display for alternately displaying right and left images of stereoscopic video signals

Also Published As

Publication number Publication date
JP3091627B2 (ja) 2000-09-25

Similar Documents

Publication Publication Date Title
AU760594B2 (en) System and method for creating 3D models from 2D sequential image data
KR101385514B1 (ko) 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치
US6496598B1 (en) Image processing method and apparatus
KR100345629B1 (ko) 2차원영상을3차원영상으로변환하는방법
AU783045B2 (en) Generation of a sequence of stereoscopic images from a seque nce of 2D images
US20110271235A1 (en) Method for displaying a setting menu and corresponding device
JP2006222978A (ja) イメージ変換及び符号化技術
KR20110093828A (ko) 3d 이미지 신호를 인코딩하기 위한 방법 및 시스템, 인코딩된 3d 이미지 신호, 3d 이미지 신호를 디코딩하기 위한 방법 및 시스템
JP2020005202A (ja) 映像処理装置
JP3096612B2 (ja) 時分割方式立体映像信号検出方法、時分割方式立体映像信号検出装置および立体映像表示装置
KR100757259B1 (ko) 압축 동영상의 움직임 벡터를 이용하여 2차원 영상을3차원 영상으로 변환하는 방법
JP3091627B2 (ja) 2次元画像を3次元画像に変換する方法及び装置
JPH09200803A (ja) 画像処理装置及び画像処理方法
JP3152556B2 (ja) 2次元画像を3次元画像に変換する方法
JPH08331598A (ja) 立体映像表示装置
JP3091659B2 (ja) 3次元画像表示方法
WO1998043442A1 (en) Multiple viewpoint image generation
KR100372177B1 (ko) 2차원 영상을 3차원 영상으로 변환하는 방법
JPH1139508A (ja) 立体画像表示装置および方法ならびに立体画像表示プログラムを記録したコンピュータで読取可能な記録媒体
JP3249335B2 (ja) 3次元映像変換方法
JPH07274211A (ja) 2次元画像を3次元画像に変換する方法
JP2846843B2 (ja) 2次元映像を3次元映像に変換する方法
KR101192313B1 (ko) 깊이 영상의 시간적 상관도 향상 방법
US8947507B2 (en) Method of processing 3D images, and corresponding system including the formulation of missing pixels using windows of details from first and second views
JPH0937303A (ja) 符号化画像処理方法、符号化画像処理装置および符号化画像処理回路

Legal Events

Date Code Title Description
FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080721

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20080721

Year of fee payment: 8

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090721

Year of fee payment: 9

LAPS Cancellation because of no payment of annual fees