JP4056154B2 - ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法 - Google Patents
２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法 Download PDFInfo
- Publication number
- JP4056154B2 JP4056154B2 JP37430398A JP37430398A JP4056154B2 JP 4056154 B2 JP4056154 B2 JP 4056154B2 JP 37430398 A JP37430398 A JP 37430398A JP 37430398 A JP37430398 A JP 37430398A JP 4056154 B2 JP4056154 B2 JP 4056154B2
- Authority
- JP
- Japan
- Prior art keywords
- video
- block
- current
- motion
- parallax
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/50—Depth or shape recovery
- G06T7/55—Depth or shape recovery from multiple images
- G06T7/579—Depth or shape recovery from multiple images from motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V10/00—Arrangements for image or video recognition or understanding
- G06V10/10—Image acquisition
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/111—Transformation of image signals corresponding to virtual viewpoints, e.g. spatial image interpolation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/261—Image signal generators with monoscopic-to-stereoscopic image conversion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10004—Still image; Photographic image
- G06T2207/10012—Stereo images
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10016—Video; Image sequence
- G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V2201/00—Indexing scheme relating to image or video recognition or understanding
- G06V2201/12—Acquisition of 3D measurements of objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/167—Synchronising or controlling image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/189—Recording image signals; Reproducing recorded image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/221—Image signal generators using stereoscopic image cameras using a single 2D image sensor using the relative movement between cameras and objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/286—Image signal generators having separate monoscopic and stereoscopic modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/398—Synchronisation thereof; Control thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
- H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
- H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0085—Motion estimation from stereoscopic image signals
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N2013/0074—Stereoscopic image analysis
- H04N2013/0092—Image segmentation from stereoscopic image signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Image Analysis (AREA)
- Image Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は３次元映像を生成する装置及び方法に係り、特に連続する２次元映像の動きを用いる、２次元連続映像の３次元映像変換装置及び方法に関する。
【０００２】
【従来の技術】
図１は修正時間差を用いた従来の３次元映像生成方法を説明するためのフローチャートである。
【０００３】
従来の３次元映像生成方法の中の一つとして、三洋電機株式会社が修正時間差(MTD:Modified Time Difference)を用いた方法を提供している。図１に示すように、まず、連続する２次元映像から動く領域が抽出される(第100段階)。抽出された領域の動き速度及び方向が抽出される(第110段階)。現在映像の動き速度及び方向に基づいて、以前のある映像フレームより遅延方向及び遅延時間が決定される(第120段階)。決定された遅延方向及び遅延時間によって遅延された映像と現在映像が、人の左／右側の目でどの側の目に各々ディスプレーされるかが決定される(第130段階)。
【０００４】
図２は図１に示した方法で左／右側映像を決定する過程を説明するための概念図である。図２は、連続する２次元映像を撮影するカメラが固定され、映像内の物体(■)が動いている場合に、左／右側映像を決定する過程を示す。修正時間差を用いた前記方法によれば、左側の目に時間遅延された映像を示すことによって人に両眼視差を提供する。反面、物体(■)が左側に動いている時、左側の目に現映像を見せ、右側の目に時間遅延された映像を見せることによって前述したことと反対の両眼視差を提供する。
【０００５】
前述した修正時間差を用いた従来の３次元映像生成方法は次のような問題点がある。
【０００６】
第１に、現映像の動き情報にだけ基づいて前フレームの中である映像を遅延された映像として選択するので、現映像の領域別に有している他の深度は無視される問題点がある。このように領域別に有している他の深度を無視することによって、結果的に立体映像を鑑賞するときの深度感が不十分になる。例えば、動く物体に対しては立体感を感じられるが、画面の背景のような動きが少ない物体に対しては立体感を感じられない。
【０００７】
第２に、現映像と遅延された映像間に物体の動きが垂直成分を有する時、修正時間差を用いた従来の方法で３次元映像を生成すれば、水平視差から深度感を得る人間の視覚構造との不一致のため、目の疲労感が生じる問題点がある。
【０００８】
第３に、現映像内物体の動き量が非常に大きい場合、多数個の前フレームの中のあるフレームが遅延された映像として選択されても、この時の現映像と遅延された映像に生成される立体映像は視差が大きいため、人間の視差認識の限界を抜け出す問題点がある。
【０００９】
一方、２次元映像から３次元映像を生成する方法は、基本的に、単眼ビデオカメラにより撮影された２次元映像と、これに対応する他の一枚の映像を作って３次元映像を生成することである。ここで、他の一枚の映像をどう作るかが重要である。もし、作られた他の一枚の映像が単眼映像内にある物体の実際の動きをまともに反映しておらず、物体の輪郭が不鮮明である等画質が低下した映像であれば、自然な３次元映像を生成できない問題点を招く。
【００１０】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は、２次元映像の動きを測定した後に、動き特性によって水平視差に変換して新しい映像を生成することによって、映像の領域別に深度感を有し、現映像内の物体の動きが垂直成分を有しても自然な立体感を有し、また現映像内の物体の動き量が非常に大きくても人間の視差で認識可能な３次元映像を生成する、動き視差の水平視差への変換を用いた２次元連続映像の３次元映像変換装置を提供することにある。
【００１１】
本発明が解決しようとする他の技術的課題は、前記３次元映像変換装置が遂行する３次元映像変換方法を提供することにある。
【００１２】
本発明が解決しようとするさらに他の技術的課題は、現映像内でブロック単位で有する輝度特性を用いて隣接するブロック間の同一物体表示可否を判別し、この結果によって視差映像を後処理することによって、視差映像の質を改善させ、自然なステレオ映像を生成させる、２次連続映像を用いた３次元映像生成時の後処理方法を提供することにある。
【００１３】
【課題を解決するための手段】
前記の課題を解決するために、連続する２次元映像を３次元映像に変換する本発明による２次元連続映像の３次元映像変換装置は、所定大きさのブロック単位に分割された現在映像の各ブロックに対して、以前映像フレームを用いて動きベクトルを測定するブロック動き測定部、現在映像の動き特性によって前記各ブロックの動きベクトルから水平視差を得る水平視差生成部、各ブロックを各々の前記水平視差によって水平方向に移動させて、現在映像に対応した合成映像を生成する映像生成部及び、現在映像と合成映像よりなる３次元映像をディスプレーする出力部より構成されることが望ましい。
【００１４】
前記他の課題を解決するために、連続する２次元映像を３次元映像に変換する２次元連続映像の３次元映像変換方法は、(a) 入力された現在映像を所定大きさのブロック単位に分割する段階、(b) 現在映像の各ブロックに対して以前映像フレームを用いて動きベクトルを測定する段階、(c) 現在映像の動き特性によって各ブロックの動きベクトルから水平視差を得る段階、(d) 各ブロックを各々の水平視差によって水平方向に移動させて現在映像に対応した合成映像を生成する段階及び、(e) 現在映像と合成映像よりなる３次元映像をディスプレーする段階よりなることが望ましい。
【００１５】
前記のさらに他の課題を解決するために、連続する単眼映像を用いてステレオ映像を生成するシステムで現映像の動きを抽出して作られた視差映像を後処理する後処理方法は、(a) 所定大きさのブロック単位で分割された前記現映像の各ブロックに対する視差値を前記視差映像及び最大視差値を用いて求め、全てのブロックに対する視差値よりなる視差マップを生成する段階、(b) 各ブロックに対して垂直方向に隣接するブロックとの輝度特性を比較し、輝度特性が似ているブロックの群をフィルタリングマスクとして決定する段階、(c) 各ブロックの視差値を該フィルタリングマスク内のブロックより得た新しい視差値に代えて、視差マップを修正する段階と、(d) 現映像と修正された視差マップを用いて視差映像を再構成する段階よりなることが望ましい。
【００１６】
すなわち、本願第１発明は、連続する２次元映像を３次元映像に変換する２次元連続映像の３次元映像変換装置であって、所定大きさのブロック単位に分割された現在映像の各ブロックに対して、前映像フレームを用いて動きベクトルを測定するブロック動き測定部と、現在映像の動き特性によって各ブロックの動きベクトルから水平視差を得る水平視差生成部と、各ブロックを各々の水平視差に基づいて水平方向に移動させて、現在映像に対応した合成映像を生成する映像生成部と、現在映像と合成映像とからなる３次元映像を表示する出力部とを備える２次元連続映像の３次元映像変換装置を提供する。
【００１７】
本願第２発明は、本願第１発明において、ブロック動き測定部は、入力された現在ブロックと同じ中心位置を有し、かつ現在ブロックより大きいブロックを第２ブロックとするとき、前フレーム上の探索領域から第２ブロックと類似のブロックを検出し、類似のブロックと現在ブロックとの中心位置間の差を現在ブロックに対する動きとして測定する２次元連続映像の３次元映像変換装置を提供する。
【００１８】
本願第３発明は、本願第２発明において、探索領域は少なくとも現在ブロックの二倍である２次元連続映像の３次元映像変換装置を提供する。
【００１９】
本願第４発明は、本願第１発明において、水平視差生成部は、ブロック動き測定部で測定された各ブロックの動きベクトルを水平視差に変換する水平視差変換部と、水平視差変換部で変換された水平視差を、所定の制御信号に応答して調整する水平視差調整部と、各ブロックの動きベクトルに基づいて現在映像の動き特性を決定し、動き特性に基づいて制御信号を発生する動き特性決定部とを備える２次元連続映像の３次元映像変換装置を提供する。
【００２０】
本願第５発明は、本願第４発明において、水平視差変換部は、動きベクトルの大きさを計算し、その値を前記水平視差と見なす２次元連続映像の３次元映像変換装置を提供する。
【００２１】
本願第６発明は、本願第４発明において、水平視差調整部は、水平視差変換部で変換された水平視差をそのまま出力するかまたは、制御信号に応答して水平視差を最大水平視差から減算し、その結果を前記各ブロックの水平視差として出力し、最大水平視差は、ブロック動き測定部により決定する２次元連続映像の３次元映像変換装置を提供する。
【００２２】
本願第７発明は、本願第４発明において、動き特性決定部は、各ブロックの動きベクトルを分析して現在映像の全体動きの大きさを所定の基準値と比較し、全体動きが基準値より大きい場合に制御信号を発生し、所定の基準値は、現在映像を撮影するカメラが動き、かつ現在映像内の主対象物体が動く場合に、全体動きの大きさを示す２次元連続映像の３次元映像変換装置を提供する。
【００２３】
本願第８発明は、本願第１発明において、映像生成部は、現在映像内における全てのブロックの位置を各ブロックの水平視差分、一方の水平方向に移動させるブロック水平移動部と、ブロック水平移動部で移動した全てのブロックを合成して合成映像を生成するブロック合成部とを備える２次元連続映像の３次元映像変換装置を提供する。
【００２４】
本願第９発明は、本願第８発明において、映像生成部は、ブロック合成部で生成した合成映像において、全てのブロックにより満たされない領域を補間するブロック補間部をさらに含む２次元連続映像の３次元映像変換装置を提供する。
【００２５】
本願第１０発明は、本願第１発明において、出力部は、現在映像と合成映像との一方を左側映像信号として出力し、他方を右側映像信号として出力する左／右側映像決定部を備え、左側映像信号は左側の目に対し表され、右側映像信号は右側の目に対し表される２次元連続映像の３次元映像変換装置を提供する。
【００２６】
本願第１１発明は、本願第１発明において、３次元映像変換装置は、現在映像を所定大きさのブロック単位に分割してブロック動き測定部に出力する映像ブロック部と、前映像フレームを蓄積し、ブロック動き測定部に送出する前フレーム蓄積部とをさらに含む２次元連続映像の３次元映像変換装置を提供する。
【００２７】
本願第１２発明は、本願第１発明において、３次元映像変換装置は、ブロック動き測定部により測定された各ブロックの動きを周辺ブロックの動きと相関性を有するように正規化する動き正規化部をさらに含む２次元連続映像の３次元映像変換装置を提供する。
【００２８】
本願第１３発明は、本願第１２発明において、動き正規化部は、ブロック動き測定部で測定された現在ブロックの動きの大きさと、現在ブロックに隣接したブロックの動きの大きさとを加重平均した値を現在ブロックの動きの大きさとする２次元連続映像の３次元映像変換装置を提供する。
【００２９】
本願第１４発明は、本願第１３発明において、隣接したブロックの各々に対する加重値は、現在ブロックの動きの大きさに対する類似性及び現在ブロックからの距離に比例して設定される２次元連続映像の３次元映像変換装置を提供する。
【００３０】
本願第１５発明は、本願第１３発明において、隣接したブロックの各々に対する加重値は、現在ブロックの動きの大きさに対する類似性及び現在ブロックからの距離に比例して設定され、かつ現在ブロックに垂直方向に隣接したブロックに対する加重値が、現在ブロックに水平方向に隣接したブロックよりさらに大きく設定される２次元連続映像の３次元映像変換装置を提供する。
【００３１】
本願第１６発明は、連続する２次元映像を３次元映像に変換する２次元連続映像の３次元映像変換方法であって、(a) 入力された現在映像を所定大きさのブロック単位に分割する段階と、(b) 現在映像の各ブロックに対し、前映像フレームを用いて動きベクトルを測定する段階と、(c) 現在映像の動き特性に基づいて前記各ブロックの動きベクトルから水平視差を得る段階と、(d) 各ブロックを各々の前記水平視差に基づいて水平方向に移動させ、現在映像に対応した合成映像を生成する段階と、(e) 現在映像と合成映像とからなる３次元映像をディスプレーする段階とを備える２次元連続映像の３次元映像変換方法を提供する。
【００３２】
本願第１７発明は、本願第１６発明において、(b)段階は、(b1)ブロック動きを推定する現在ブロックと同じ中心位置を有し、現在ブロックより大きい第２ブロックを現在映像から抽出する段階と、(b2)前フレームから探索領域を抽出する段階と、(b3)探索領域から第２ブロックと類似のブロックを検出する段階と、(b4)類似のブロックと現在ブロックとの中心位置間の差を計算する段階とを備え、中心位置の差を、現在ブロックに対する動きとして測定する２次元連続映像の３次元映像変換方法を提供する。
【００３３】
本願第１８発明は、本願第１７発明において、探索領域は、少なくとも現在ブロックの二倍である２次元連続映像の３次元映像変換方法を提供する。
【００３４】
本願第１９発明は、本願第１６発明において、(c)段階は、(c1)各ブロックの動きベクトルを水平視差に変換する段階と、(c2)現在映像の動き特性を決定する段階と、(c3)動き特性に基づいて水平視差を調整する段階とを備える２次元連続映像の３次元映像変換方法を提供する。 本願第２０発明は、本願第１９発明において、(c1)段階は、動きベクトルの大きさを計算し、その値を水平視差とする２次元連続映像の３次元映像変換方法を提供する。
【００３５】
本願第２１発明は、本願第１９発明において、(c2)段階は、各ブロックの動きベクトルを分析して現在映像の全体動きの大きさを所定の基準値と比較し、比較結果に基づいて動き特性を決定し、現在映像を撮影するカメラが動き、かつ現在映像内の主対象物体が動く場合に、所定の基準値は全体動きの大きさを示す２次元連続映像の３次元映像変換装置を提供する。
【００３６】
本願第２２発明は、本願第２１発明において、(c3)段階は、現在映像の全体動きが所定の基準値を超えていない場合、(c1)段階で得た水平視差をそのまま出力する段階と、現在映像の全体動きが所定の基準値を超えていれば、水平視差を最大水平視差から減算し、減算結果を各ブロックの水平視差として出力する段階とを備え、最大水平視差を(b)段階で決定する２次元連続映像の３次元映像変換方法を提供する。
【００３７】
本願第２３発明は、本願第１６発明において、(d)段階は、(d1)現在映像内の全てのブロックの位置を各ブロックの水平視差の分、一方の水平方向に移動させる段階と、(d2)移動した全てのブロックを合成して合成映像を生成する段階とを備える２次元連続映像の３次元映像変換方法を提供する。
【００３８】
本願第２４発明は、本願第２３発明において、(d)段階は、合成映像において全てのブロックにより満たされない領域を補間する段階をさらに含む２次元連続映像の３次元映像変換方法を提供する。
【００３９】
本願第２５発明は、本願第１６発明において、(e)段階は、現在映像と合成映像との一方を左側の目に対して表示し、他方を右側の目に対して表示する２次元連続映像の３次元映像変換方法を提供する。
【００４０】
本願第２６発明は、本願第１６または第１７発明において、(b)段階後に、(b5)正規化する現在ブロックに隣接したブロックの各々に対して、現在ブロックとの動きの大きさに対する類似性及び現在ブロックからの距離に比例して加重値を設定する段階と、(b6)現在ブロックと隣接したブロックとを加重平均する段階と、(b7)加重平均値を現在ブロックの動きベクトルとする段階とを備える２次元連続映像の３次元映像変換方法を提供する。
【００４１】
本願第２７発明は、本願第２６発明において、(b5)〜(b7)段階は下記の数式３を用いて現在ブロックの動きを正規化し、
【００４２】
【数３】
ここで、動きの大きさ順に整列されたn×n(n＞0)個の隣接したブロックの中で、所定数のs個のブロックを除外したブロックの動きの大きさの集合を[t1、t2、...、tn×n-s]とする場合に、tは現在ブロックの動きの大きさを、tiは集合に属する任意のブロックの大きさを、(ai、bi)はtiを有するブロックの映像内の位置を各々示す２次元連続映像の３次元映像変換方法を提供する。
【００４３】
本願第２８発明は、本願第２６発明において、(b5)〜(b7)段階は下記の数式４を用いて現在ブロックの動きを正規化し、
【００４４】
【数４】
ここで、動きの大きさ順に整列されたn×n(n＞0)個の隣接したブロックの中で、所定数のs個のブロックを除外したブロックの動きの大きさの集合を[t1、t2、...、tn×n-s]とする場合に、tは現在ブロックの動きの大きさを、tiは集合に属する任意のブロックの大きさを、(ai、bi)はtiを有するブロックの映像内の位置を各々示す２次元連続映像の３次元映像変換方法を提供する。
【００４５】
本願第２９発明は、本願第１６または第１７発明において、(b)段階後に、(b5)正規化する現在ブロックに隣接したブロックの各々に対し、現在ブロックとの動きの大きさに対する類似性及び現在ブロックからの距離に比例して加重値を設定する段階と、(b6)現在ブロックに垂直方向に隣接したブロックであれば水平方向に隣接したブロックよりさらに大きい加重値を設定する段階と、(b7)現在ブロックと隣接したブロックとを加重平均する段階と、(b8)加重平均値を現在ブロックの動きベクトルとする段階とを備える２次元連続映像の３次元映像変換方法を提供する。
【００４６】
本願第３０発明は、連続する２次元映像を３次元映像に変換する２次元連続映像の３次元映像変換装置であって、所定大きさのブロック単位に分割された現在映像の各ブロックに対して、前映像フレームを用いて動きベクトルを測定するブロック動き測定部と、現在映像の動き特性に基づいて各ブロックの動きベクトルから水平視差を得る水平視差生成部と、各ブロックを各々の水平視差に基づいて水平方向に移動させ、現在映像に対応する合成映像を生成する映像生成部と、現在映像内の各ブロック単位で有する輝度特性を用い、隣接するブロックが、同一物体を表示しているか否かを判別し、判別結果に従って合成映像を後処理する後処理部と、現在映像と後処理された合成映像とからなる３次元映像を表示する出力部とを備える２次元連続映像の３次元映像変換装置を提供する。
【００４７】
本願第３１発明は、連続する２次元映像を用いて３次元映像を生成するシステムに用いられ、現映像の動きを抽出して作られた視差映像を後処理する後処理方法であって、(a) 所定大きさのブロック単位に分割された現映像の各ブロックに対する視差値を、視差映像及び最大視差値を用いて求め、全てのブロックに対する視差値からなる視差マップを生成する段階と、(b) 各ブロックに対して垂直方向に隣接するブロックとの輝度特性を比較し、輝度特性が似ているブロックの群をフィルタリングマスクとして決定する段階と、(c) 各ブロックの視差値を、該フィルタリングマスク内のブロックから得た新しい視差値に代え、視差マップを修正する段階と、(d) 現映像と修正された視差マップとを用い、視差映像を再構成する段階とを備える３次元映像の後処理方法を提供する。
【００４８】
本願第３２発明は、本願第３１発明において、(a)段階は、(a1)現映像のブロックの大きさと、現映像のブロックの動きを前映像で探索する時の探索領域の大きさとを用いて最大視差値を計算する段階と、(a2)入力された現在ブロックに対して、０乃至最大視差値間の視差値を代入し、現映像と視差映像との間の絶対平均誤差を計算する段階と、(a3)計算された絶対平均誤差が最小となる視差値を、現在ブロックの視差値とする段階とを備え、現映像の全てのブロックに対して(a2)及び(a3)段階を遂行して視差マップを生成する３次元映像の後処理方法を提供する。
【００４９】
本願第３３発明は、本願第３１発明において、(b)段階は、(b1)入力された現在ブロックに対し、所定数の隣接するブロックとの輝度特性差を計算する段階と、(b2)現在ブロックと垂直に隣接するブロックとの類似性を検査する段階と、(b3)類似性があれば、現在ブロックと垂直に隣接するブロックとの各々の位置と視差値とを記憶する段階と、(b4)現在ブロックを垂直に隣接するブロックに変更し、再び(b2)段階に進行する段階とを備え、現映像の全てのブロックに対して(b1)〜(b4)段階を遂行し、各ブロックに対して(b3)段階で記憶されるブロックの群を、フィルタリングマスクに決定する次元映像の後処理方法を提供する。
【００５０】
本願第３４発明は、本願第３３発明において、(b1)段階で輝度特性差は、現在ブロックと隣接するブロックとの間の最小絶対平均誤差である３次元映像の後処理方法を提供する。
【００５１】
本願第３５発明は、本願第３３発明において、(b3)段階で記憶される視差値がない場合、(d1) (b1)段階で計算された所定数の隣接するブロックとの輝度特性差を用いて類似性がある少なくとも２個の隣接するブロックを抽出し、抽出されたブロックと現在ブロックとの視差値の中で中間視差値を選択する段階と、(d2)中間視差値を現在ブロックの視差値とする段階とをさらに含み、現映像でフィルタリングマスクを有しないブロックに対して(d1)及び(d2)段階を遂行し、視差マップを修正する３次元映像の後処理方法を提供する。
【００５２】
本願第３６発明は、本願第３３乃至第３５発明のいずれかにおいて、差値は(a)段階で生成された視差マップを参照して得られる３次元映像の後処理方法を提供する。
【００５３】
本願第３７発明は、本願第３１発明において、(c)段階は、(c1)入力された現在ブロックに対するフィルタリングマスク内のブロックを視差値の大きさ順に整列する段階と、(c2)整列されたブロックの中で中間視差値を抽出し、フィルタリングマスク内の全てのブロックの視差値を中間視差値に代える段階とを備え、現映像のフィルタリングマスクを有するブロックに対し、(c1)及び(c2)段階を遂行して視差マップを修正する３次元映像の後処理方法を提供する。
【００５４】
【発明の実施の形態】
以下、本発明による２次元連続映像の３次元映像変換装置の構成及び動作を、添付した図面を参照して説明する。
【００５５】
図３は、第１実施形態例に係る２次元連続映像の３次元映像変換装置の機能ブロック図である。第１実施形態例の３次元映像変換装置は、アナログ-デジタル変換器(ADC)300、映像ブロック部310、前フレーム蓄積部320、ブロック動き測定部330、水平視差生成部340、合成映像生成部350、後処理部360、出力部の左／右側映像決定部370、第1及び第2デジタル-アナログ変換器(DAC)382及び384よりなる。
【００５６】
ここで、前記水平視差生成部340は、水平視差変換部342、水平視差調整部344及び動き特性決定部346を有している。前記合成映像生成部350は、ブロック水平移動部352、ブロック合成部354及び補間部356を有している。
【００５７】
本発明は、二つのカメラ、即ち立体カメラを使用せず、TV、VCR、CD、HDTV、DVD等の映像再生装置を通じて、立体映像の視聴可能な単眼ビデオカメラで撮影した２次元連続映像を用いて３次元映像を生成する技術である。本発明による２次元連続映像の３次元映像変換装置は、単眼ビデオカメラで撮影された２次元連続映像で連続する二つの映像間の動きベクトルを測定した後、これより水平視差を生成する。現映像から水平視差によって水平方向に移動した新しい映像を生成することによって、現映像と新しい映像とからなる３次元映像を生成する。
【００５８】
図３を参照すれば、ADC変換器300は、単眼ビデオカメラで撮影された連続する２次元映像を入力端子INを通して取り込み、アナログ形態の２次元映像信号をデジタル信号に変換する。映像ブロック部310は、デジタル信号に変換された現在映像を、所定大きさのブロック単位に分割する。ここで、所定大きさはn×n画素サイズであって、nは４または８であることが望ましい。このように、映像をブロック化する理由は、映像内で動く主物体とほとんど動かない背景とを区分して動きを推定するためである。前フレーム蓄積部320は、映像ブロック部310でブロック化された現在映像の以前映像フレームを蓄積する。
【００５９】
ブロック動き測定部330は、映像ブロック部310からブロック化した現在映像を受け取り、前フレーム蓄積部320から前映像フレームを受け取る。ブロック動き測定部330は、所定大きさのブロック単位で分割された現在映像の各ブロックに対して、前映像フレームの探索領域からの動きを推定する。即ち、前映像フレームの各相応するブロックを用いて動きの量及び方向、即ち動きベクトルを測定する。
【００６０】
連続する二つの映像間の動きを容易に測定するために、本実施形態ではブロック整合方法を使用した。この方法によって、ブロック動き測定部330は、入力された現在ブロックと同じ中心位置を有し、現在ブロックより大きい第２ブロックと、前フレームにおける探索領域とを抽出し、探索領域から第２ブロックと類似のブロックを検出し、類似のブロックと現在ブロックとの中心位置間の差を現在ブロックに対する動きとして測定する。ここで、第２ブロックは少なくとも現在ブロックを取り囲む程度の大きさを有し、探索領域は少なくとも現在ブロックの２倍より大きいべきである。ブロック整合方法は、探索領域の制限とブロック内の画素値の類似性を利用するので、測定された動きが映像内の物体の実際の動きと同一でない場合もあるが、測定が容易であり、他の方法に比べて全ての画素に対する動きベクトルを与える長所がある。
【００６１】
一方、ブロック動き測定部330と水平視差生成部340との間には、動き正規化部(図示せず)を設けてもよい。動き正規化部は、ブロック動き測定部330で各ブロックの動きが測定された現在映像を受け取り、各ブロックで測定された動きを他の周辺ブロックの動きと相関性を有するように正規化する。
【００６２】
前述したブロック整合方法は、探索領域を限定して二つのブロック間の画素の類似性を比較するので、映像内の物体の実際の動きと異なる結果が出る場合もある。これを補完するためにはフィルタリングが必要である。動き正規化部は、ブロック動き測定部330で測定された現在ブロックの動きの大きさと、現在ブロックに隣接したブロックの動きの大きさとを加重平均計算した値を、現在ブロックの動きの大きさに代えることによって、各ブロックの動きの大きさをフィルタリングする。ここで、隣接したブロック各々に対して、現在ブロックとの動きの大きさに対する類似性及び現在ブロックからの距離に比例して加重値が設定されることが望ましい。また、以後に説明される合成映像生成部350で各ブロックが水平方向に移動することを考えると、現在ブロックに垂直方向に隣接したブロックに対して、水平方向に隣接したブロックよりさらに大きい加重値が設定されることがさらに望ましい。
【００６３】
また図３を参照すると、水平視差生成部340は、ブロック動き測定部330で各ブロックの動きベクトルが測定された現在映像を受け取り、現在映像の動き特性によって各ブロックの動きベクトルから水平視差を得る。
【００６４】
具体的には、水平視差変換部342は、ブロック動き測定部330で測定された各ブロックの動きベクトルを視差値に変換する。本実施形態例においては、動きベクトルの大きさを計算し、計算された値を視差値に見なす簡単な変換方法を使用する。ここで、視差値は以後に生成される合成映像と現在映像が一対を成して３次元映像としてディスプレーされる場合に、二つの映像により生じる水平視差に当る。
【００６５】
水平視差調整部344は、所定制御信号に応答して水平視差変換部342から変換された各ブロックの水平視差を調整する。このように水平視差を調整する理由は、現在映像を撮影したカメラの動きの有無と、現在映像内の主対象物体の動きの有無とに基づいて水平視差を調整し、人間の視差で認識可能な３次元映像を生成するためである。
【００６６】
具体的には、水平視差調整部344は、所定の制御信号に応答して前記水平視差を最大水平視差値から減算し、その結果を各ブロックの水平視差として出力したり、水平視差変換部342から出力された水平視差をそのまま出力する。ここで、最大水平視差値はブロック動き測定部330で決定される値である。また、水平視差調整部344は、水平視差を調整する前に先立ち、各ブロックの水平視差が所定の最大視差値を超過しないようにスケーリングする。
【００６７】
動き特性決定部346は、ブロック動き測定部330で測定された各ブロックの動きベクトルから現在映像の動き特性を決定し、その結果によって前記制御信号を発生する。具体的には、各ブロックの動きベクトルを分析して現在映像の動きの大きさを所定の基準値と比較し、全体動きが基準値より大きい場合に前記制御信号を発生する。
【００６８】
ここで、所定の基準値は、現在映像を撮影したカメラが動き、現在映像内の主対象物体が動く時に全体動きの大きさを示す値である。カメラが動きがあるということは、映像内の背景が動くと見なしうるので、映像内の背景及び主対象物体が動く場合には全体の動きはほとんどなくなる。従って、この時には、水平視差調整部344は、水平視差変換部342から出力された水平視差をそのまま出力し、その外の場合に対しては最大水平視差値から減算した値を出力する。
【００６９】
映像生成部350は、水平視差生成部340から各ブロックの水平視差を有する現在映像を受け取り、各ブロックを各々の水平視差によって水平方向に移動させて現在映像に対応する合成映像を生成する。
【００７０】
具体的には、ブロック水平移動部352は、現在映像内の全てのブロックの位置を各ブロックの水平視差分だけ右側水平方向に移動させる。ブロック合成部354は、ブロック水平移動部352から移動した各ブロックを合成して合成映像を生成する。合成映像補間部356は、ブロック合成部354で生成された合成映像で現在映像の各ブロックにより満たされない領域を補間する。
【００７１】
後処理部360は、合成映像補間部356と共に新しい映像の質を向上するために所定の後処理を遂行する。前述したブロック整合方法による動きの推定と新しい映像の生成時に、生成された新しい映像内にブロックが現れたり、エッジ領域で画質が低下し得る。これを補完するために所定の後処理、例えばメジアンフィルターを用いたフィルタリングなどを遂行する。本発明で示す望ましい一実施例による後処理部については、後で具体的に説明する。
【００７２】
出力部に当る左／右側映像決定部370は、後処理部360から合成映像を、ADC変換器300から現在映像をそれぞれ受け取り、現在映像と合成映像とからなる３次元映像を表示する。この時、左／右側映像決定部370は、現在映像と合成映像との一方を左側映像信号として出力し、他の一つを右側映像信号として出力する。この信号は、第1及び第2DAC変換器382及び384を通じてアナログ映像信号に各々変換され、出力端子OUT1及びOUT2を通じて表示される。左側映像信号は人の左側の目に、右側映像信号は人の右側の目にそれぞれ表示される。
【００７３】
基本的に、左／右側映像決定部370は、両眼視差の中で正の視差に基づいて現在映像を左側目に、合成映像を右側目に表示する。但し、表示方式は限定されないし、合成映像を生成する時に水平移動方法と、深度感を与えようとする方向が負か正かによって変わりうる。
【００７４】
例えば、ブロック水平移動部352で現在映像内の全てのブロックの位置を各ブロックの水平視差分だけ左側水平方向に移動させれば、負の視差に基づいて現在映像と合成映像とが表示される。しかし、立体感を大きくするために負の視差をたくさん与えれば、人が目の疲労を感じるので負の視差の映像を長時間表示し難い。従って、本発明では正の視差で表示することを基本とする。
【００７５】
前述したことによると、本発明は両眼視差を用いたステレオ技術に属する。ここで、本発明の理解のために両眼視差の原理を簡略に説明する。
【００７６】
図５（ａ）及び図５（ｂ）は、両眼視差の原理を概念的に示す図面であって、図５（ａ）は正の視差を、図５（ｂ）は負の視差を各々示す。図５（ａ）及び図５（ｂ）で、画面上に二つの映像、即ち現映像と新しい映像とを表示すると、各々の映像は人の右側目と左側目に映じる。画面上の二つの映像の対応点であるaとa’は両目の位置のbとb’に対応するが、人は二つの映像の対応点が点Pの位置にあると認識する。即ち、この時人が画面上に物体があると実際に認識する位置は、図５（ａ）及び図５（ｂ）の点Ｐの位置である。点Ｐの位置は三角形△Paa’と△Pbb’が相似形であるので、比例式により容易に求めうる。
【００７７】
従って、視差がある二つの映像、即ち現映像と新しい映像よりなる３次元映像を画面上に表示すれば、人は深度感を認識できる。図５（ａ）のような正の視差の場合、人は点Ｐの位置が画面の後にあると認識し、図５（ｂ）のような負の視差の場合に、人は点Ｐの位置が画面の前にあると認識する。
【００７８】
本発明で生成された新しい映像は、現映像から水平視差ほど水平方向に移動した映像である。従って、現映像内物体の動きが垂直成分を有しても自然なステレオ映像が生成される。
【００７９】
図４は本発明による２次元連続映像の３次元映像変換方法を説明するためのフローチャートである。図４を参照して図３に示した装置が遂行する本発明による３次元映像変換方法を説明する。
【００８０】
まず、連続するアナログ形態の２次元映像信号は、ADC変換器300を通じてデジタル信号に変換される(第400段階)。次に、デジタル信号に変換された現在映像は、映像ブロック部310を通じて所定大きさのブロック単位で分割される(第410段階)。ここで、所定大きさはn×n画素大きさであって、nは４または８であることが望ましい。
【００８１】
第410段階後に、前映像フレーム蓄積部320に蓄積された前映像フレームを用い、現在映像の各ブロックに対して動きの量と方向、即ち動きベクトルがブロック動き測定部330を通じて測定される(第420段階)。連続する二つの映像間の動きベクトルを測定するための好ましい方法として、例えば公知の光流測定法やMPEG(Motion Picture Coding Experts Group)I、IIで用いられるブロック整合方法が挙げられる。また処理速度の向上のために、ブロック整合方法の中でも計算量が小さなPHODS(Parallel hierarchical one-dimensional search)方法を使用することも好ましい。
【００８２】
第420段階において、連続する二つの映像間の動きを推定するための望ましい方法として、ブロック整合方法が挙げられる。この方法によって、まず、動きを測定しようとしている現在ブロックと同じ中心位置を有し、現在ブロックより大きい第２ブロックを現在映像から抽出する。次に、前フレームから探索領域を抽出する。探索領域で第２ブロックと類似のブロックを検出し、似ているブロックと現在ブロックとの中心位置間の差を計算する。ここで、計算された差は現在ブロックの動きとして測定される。第２ブロックは少なくとも現在ブロックを取り囲む程度の大きさを有し、探索領域は少なくともブロックの二倍より大きいことが好ましい。
【００８３】
図６は、ブロック別に動きを測定するために用いられるブロック整合方法を説明するための図面である。
【００８４】
図６を参照して、本実施形態例で用いるブロック整合方法を詳細に説明する。
【００８５】
まず、連続する２次元映像、例えば、N1×N2大きさの映像のk番目映像において、各ブロックの大きさをn1×n2(ここで、n1＞0、n2＞0の正数)とする。このブロックの大きさを取り囲むさらに大きいブロックを、マクロブロックとし、その大きさを2n1×2n2とする。次いで次の方法でブロック整合方法を使用する。
【００８６】
1. k番目映像602より(a、b)=(n1/2、n2/2)を中心とするブロックBを得る。
【００８７】
2. k番目映像602よりブロックBと同じ中心位置を有しブロックBより大きいマクロブロックM(図示せず)を抽出する。
【００８８】
3. k-1番目映像604より(a、b)を中心とする探索領域Wを抽出する。ここで、探索領域の大きさはw1×w2でありw1＞2n1、w2＞2n2である。
【００８９】
4.探索領域Wより(n1/2、n2/2)を中心とするマクロブロックM’(図示せず)を抽出する。
【００９０】
5.ブロックMとM’間の最小絶対平均誤差(MAD:Minimum Mean Absolute Difference)を求める。ここで、最小絶対平均誤差はブロックMの平均画素値とブロックM’の平均画素値との差を示す。
【００９１】
6. MADを前MADと比較して小さければこの時のMADを新しいMADとし、探索領域におけるこの時のマクロブロックM’の中心位置(r、c)を記憶する。もし、マクロブロックM’の中心位置が(n1/2、n2/2)であれば、この際のMADを初期MADとする。
【００９２】
7.探索領域WのマクロブロックM’を、行に沿って所定のオフセット(offset＞0)分だけ水平方向に移動させる。
【００９３】
8.移動したマクロブロックM’が探索領域Wを外れれば段階9に進行し、外れなければ段階5に進行する。
【００９４】
9.マクロブロックM’を探索領域W内の新しい位置(a、b)=(a+offset、n2/2)に移動させ、マクロブロックM’が探索領域Wを外れれば段階10に進行し、外れなければ段階5に進行する。
【００９５】
10. 段階6で最終的に記憶された(r、c)からブロックBの動き(u、v)=(a-r、b-c)を求め、段階11に進行する。
【００９６】
11. ブロックBを水平方向にブロックの大きさ分だけ移動して(a、b)=(a、b+n1)を中心とする。もしブロックBがk番目映像の領域を外れれば段階12に進行し、外れなければ段階2に進行する。
【００９７】
12. ブロックBを垂直方向にブロックの大きさほど移動して(a、b)=(a+n1、b)を中心とする。もしブロックBがk番目映像の領域を外れれば全てのブロックに対するブロック整合を遂行したので終了し、そうでなければ段階2に進行する。
【００９８】
前述した過程の中で、実際にはブロック整合は、現映像のブロックに代えて第２ブロックに当るマクロブロックを用い、これより得られた動きを現映像のブロックの動きとした。その理由は現映像のブロックをそのまま使用すると、次のような問題があるからである。第１に、ブロックが小さいほど映像内の物体の実際の動きとは違う結果をもたらしうる。第２に、隣接するブロック間には動きの相関性がある確率が大きいが、ブロック整合の結果はそうでない場合がある。
【００９９】
従って、このような問題を解決するために、本発明はブロック整合方法で動きを測定するときに第２ブロックのマクロブロックを利用する。これにより、次のような長所を得る。第１に、現在映像と前映像との間に比較するブロックの大きさが大きくなれば、ブロック内の特異点を有する確率が大きくなるので、映像内の物体の実際の動きと相対的に近くなる。第２に、マクロブロック間に重なる部分が生じるので、隣接するブロックの各々測定された動きが互いに高い相関性を持つ。これにより、新しい映像を生成する時、映像が割れることを防止する。
【０１００】
第420段階後に、現在映像の各ブロックで測定された動きを、周辺ブロックの動きと相関性を有するように正規化する段階を考慮できる(図示せず)。
【０１０１】
第420段階で推定された各ブロックの動きは、周辺ブロックの動きとは異なる動きを有しうる。これをそのまま放置すれば、新しい映像を生成する場合に映像の質が低下するおそれがある。これを防止するために、各ブロックの動きが周辺ブロックの動きと非常に異なる場合に推定される各ブロックの動きを正規化する。正規化は次の仮定を前提とする。第１に、映像で任意の画素位置(a、b)におけるブロックの動きと隣接したブロックとの相関性はブロック間の距離が近いほど大きい。第２に、現在ブロックの動きに似ている動きほど相関性が大きい。
【０１０２】
このような仮定下で各ブロックの動きを正規化する一つの方法として、まず、正規化する現在ブロックに隣接したブロックの各々に対して、現在ブロックの動きの大きさに対する類似性及び現在ブロックからの距離に比例して加重値を設定する。次に、現在ブロックと隣接したブロックを加重平均する。加重平均値を現在ブロックの動きの大きさとして代える。
【０１０３】
次の数式５は前述した方法により現在ブロックの動きの大きさを計算する式を示す。
【０１０４】
【数５】
次の数式６は具現の便宜のために簡単に現在ブロックの動きの大きさを計算する式を示す。
【数６】
数式５及び６においては、動きの大きさ順に整列されたn×n(n＞0)個の前記隣接したブロックの中で、所定数のs個のブロックを除外したブロックの動きの大きさ集合を[t1、t2、...、tn×n-s]で示す。tは前記現在ブロックの動きの大きさを、tiは前記集合に属する任意のブロックの大きさを、(ai、bi)は前記tiを有するブロックの映像内の位置を各々示す。
【０１０５】
しかし、実際に各ブロックの動きを正規化する前述した方法をそのまま適用するのではなく、垂直方向に隣接したブロックに対してさらに加重値を適用する。即ち、各ブロックの動きを正規化する他の方法として、まず、正規化する現在ブロックに隣接したブロック各々に対して、現在ブロックの動きの大きさに対する類似性及び現在ブロックからの距離に比例して加重値を設定する。次に、現在ブロックに垂直方向に隣接したブロックであれば、水平方向に隣接したブロックよりさらに大きい加重値を設定する。次に、現在ブロックと隣接したブロックを加重平均する。加重平均値は、現在ブロックの動きの大きさとして代える。
【０１０６】
このように、加重値を垂直方向により与える理由は、以後の段階で各ブロックが新しい映像に水平方向に移動することを考えるからである。即ち、各ブロックが水平方向に移動するとき、上下に隣接したブロックと動きの大きさが違えば、新しい映像の画質が大きく低下する。特に、各ブロックの垂直エッジ付近で映像がたくさん割れる。従って、垂直方向に隣接したブロックにさらに多い加重値を与える必要がある。
【０１０７】
図７（ａ）及び図７（ｂ）は推定された動きの正規化過程で、隣接したブロックに加重値を適用した例を示す図面である、図７（ａ）は現在ブロックからの距離に比例して隣接したブロックに加重値を適用した例を、図７（ｂ）は垂直方向に隣接したブロックに加重値をさらに適用した例を各々示す。
【０１０８】
また図４を参照すれば、第420段階で現在映像の各ブロックに対する動きベクトルが測定されれば、水平視差生成部340を通じて各ブロックの動きベクトルから水平視差が得られる(第430段階)。
【０１０９】
第430段階は具体的に次の段階よりなる。まず、第420段階で測定された各ブロックの動きベクトルが、水平視差変換部342により水平視差に変換される(第432段階)。水平視差を求める方法として、動きベクトルの大きさを計算し、計算された値を水平視差と見なす簡単な方法を使用する。ここで、水平視差は以後に生成される合成映像と現在映像とが一対を成して３次元映像として表示される場合に、二つの映像により生じる視差に当る。次の数式７は各ブロックの水平視差pxを求める計算式を示す。
【０１１０】
【数７】
数式７のように、水平視差pxは動きベクトルVx、Vyの大きさである。
【０１１１】
次に、動き特性決定部346により現在映像の動き特性が決定される(第434段階)。動き特性に決定する一方法として、各ブロックの動きベクトルを分析して現在映像の全体動きの大きさを所定の基準値と比較し、その結果を現在映像の動き特性と見なす。ここで、所定の基準値は現在映像を撮影するカメラが動き、現在映像内の主対象物体が動く場合のに全体動きの大きさを示す。
【０１１２】
次に、第432段階で得られた水平視差が、水平視差調整部344により現在映像の動き特性によって調整される(第436段階)。このように水平視差を調整する理由は、現在映像を撮影したカメラの動きの有無と現在映像内の主対象物体の動きの有無に基づいて視差を調整し、人間の視差で認識可能な３次元映像を生成するためである。水平視差を調整する一方法として、現在映像の全体動きが所定の基準値以下であれば、第432段階で得られた元来の水平視差をそのまま維持し、所定の基準値より大きければ、第432段階で得られた水平視差を最大水平視差から減算して、その結果を各ブロックの水平視差とする。
【０１１３】
ここで、最大水平視差は第420段階で決定される値である。また、第436段階で水平視差を調整する前に、各ブロックの水平視差は所定の最大視差値を超過しないようにスケーリングされる。次の数式８は後者の場合に水平視差pxを求める計算式を示す。
【０１１４】
【数８】
数式８で、pxmaxはブロック動き測定部330で決定される値である。
【０１１５】
第430段階後に、現在映像の各ブロックは、映像生成部350により各々の水平視差に基づいて水平方向に移動され、現在映像に対応する合成映像が生成される(第440段階)。
【０１１６】
第440段階は具体的に次の段階よりなる。まず、現在映像内の全てのブロックの位置は、ブロック水平移動部352により各ブロックの水平視差分だけ右側水平方向に移動する(第442段階)。第442段階で水平移動した全てのブロックの画素データがブロック合成部354を通じて合成されて合成映像が生成される(第444段階)。
【０１１７】
図８（ａ）及び図８（ｂ）は図４に示した方法においてブロック水平移動過程を説明するための概念図である。図８（ａ）はまず移動されるブロックB1の水平視差px1が次の移動されるブロックB2の水平視差px2より大きい場合のブロック水平移動を、図８（ｂ）はまず移動されるブロックB1の水平視差px1が次に移動するブロックB2の水平視差px2より小さい場合のブロック水平移動を、各々示す。図面で、「●」はブロック内画素の位置を示し、Bi、pxiはi番目ブロックの水平視差pxiを示す。また、説明を簡単にするために、各ブロックが例えば８×８画素大きさで構成される場合に、一つのスキャンラインだけを例示している。
【０１１８】
図８（ａ）で水平視差px1が水平視差px2より大きい場合に、例えば水平視差px1が３で水平視差px2が１とすれば、ブロックB1の全ての画素はまず３ほど水平移動する。反面、ブロックB2の場合には３番目画素から１ほど水平移動する。即ち、ブロックB2の場合に最初の二つの画素は移動しない。図８（ｂ）で水平視差px1が水平視差px2より小さい場合に、例えば水平視差px1が１で水平視差px2が３とすれば、ブロックB1とブロックB2の全ての画素は各々１と３ほど水平移動する。しかし、図８（ｂ）に示したようにブロックB1とブロックB2は水平視差が違うので、ブロックB1が満たされた後２個の画素が満たされないままでブロックB2が満たされるようになり、空いている画素が発生する。
【０１１９】
第444段階後に、前述したようにブロック水平移動過程を経て合成された合成映像で、各ブロックにより満たされない領域が補間部356を通じて補間される(第446段階)。即ち、合成映像には、現在映像の各ブロックが他の水平視差によって水平移動することにより、図８（ｂ）のように空いている画素が発生する。空いている画素に適当な画素値を付与する補間方法には、特に限定されず、線形補間法、双線形補間法、加重補間法などの種々の方法を用いることができる。また、容易な補間方法として、空いている画素を最も近い左側または右側に満たされた画素の値で同一に満たすことが挙げられる。図８（ｂ）では、画素a1または画素a2の値を利用する。本実施形態例では、計算量が最も小さいこの方法を使用した。
【０１２０】
第440段階後に、合成映像補間部356と共に新しい映像の質を上げるために、後処理部360により所定の後処理を遂行する(第450段階)。前述したブロック整合方法による動きの測定と新しい映像の生成時に、生成された新しい映像内にブロックが現れたり、エッジ領域で画質が低下する。これを防ぐために所定の後処理、例えばメジアンフィルターを用いたフィルタリングなどを遂行する。本発明で提示する望ましい一実施例による後処理部の動作は以後に具体的に説明する。
【０１２１】
第450段階後に、現在映像と合成映像を一対とする３次元映像を表示するために、左／右側映像決定部370を通じて左／右側映像が決定される(第460段階)。現在映像と合成映像との一方は左側目に表示され、他方は右側目に表示されることによって、両眼視差の原理により人は立体感を感じる。最後に、この映像はデジタル信号であるので、第１及び第２DAC変換器382及び384により各々アナログ信号に変換されて表示される(第470段階)。なお、前述した過程を経てモニター等の表示装置に表示された３次元映像を鑑賞するためには、３次元映像と同期させる立体めがねも必要である。
【０１２２】
映像の深度は動きの量と関係がある。カメラが動き、かつ撮像画面の動きがない場合、動きの量は映像の深度と反比例する。近い物体は動きが大きくて遠い物体は相対的に動きが小さい。また、カメラが固定されていて映像内に動く物体がある場合、近い物体は速く動き、遠い物体はゆっくり動く。本実施形態例では、この原理を適用し、正の視差及び負の視差に基づいて第460段階で左／右側映像を決定する。
【０１２３】
今まで本発明による２次元連続映像の３次元映像変換装置及び方法に対して説明した。簡略に整理すれば、２次元−３次元または単眼−ステレオ映像変換において、現映像よりブロック単位で動きベクトルを求めた後、これを用いて結局視差を求め、現映像を視差ほど水平に移動させて視差映像を生成することによって、現映像と視差映像とからなるステレオ映像を生成する。
【０１２４】
しかし、現映像からブロック単位で求めた動きベクトルは不正確な結果を出す恐れがある。即ち、動きを用いた視差マップは、動き自体の不正確性のため、現映像内物体等の実際の輪郭とよく整合しない。特に、動きベクトルを水平方向だけの視差値に変換する場合に、視差値は動きベクトルの大きさを反映するため、もし現映像内同一物体に当るブロックに相異なる視差値が割当されれば、映像は垂直方向に割れる現象を示す。
【０１２５】
従って、隣接するブロック間の視差値を適切に調節し、ステレオ映像生成時に垂直方向に映像内物体の輪郭が割れる現象を防止する視差映像の後処理が必要である。前述のように、図３で合成映像生成部350の後に後処理部360が実行され、図４で合成映像生成段階440後に後処理段階450が実行される。これについて詳細に説明する。
【０１２６】
本発明の後処理方法は、現映像内でブロック単位で有する輝度特性を用い、隣接するブロック間において同一物体の表示の可否を判別する。判別結果によって得られる可変大きさのフィルタリングマスクを用い、現映像の各ブロックの視差値を適切に調整し、調整された視差値によって視差映像を再構成する。
【０１２７】
また、以後に説明する本発明の後処理方法は、前述した本発明による２次元連続映像の３次元映像変換装置及び方法に望ましく適用されるが、視差映像を生成する他の３次元映像変換装置にももちろん適用できる。
【０１２８】
図９は、本実施形態例による後処理方法を説明するためのフローチャートである。
【０１２９】
現映像の動きを抽出して作られた視差映像を後処理するために、まず、現映像、視差映像及び最大視差限界値を用いて現映像からブロック単位で視差値を求め、全てのブロックに対する視差値からなる視差マップを生成する(第900段階)。
【０１３０】
元来、視差映像は、現映像の各ブロックに対する視差値により作られた映像であるが、本発明ではこの視差映像がどう作られたか分からないので、まず、第900段階で所定大きさのブロック単位で分割された現映像の各ブロックに対する視差値を、視差映像と最大視差限界値とを用いて求める。ここで、最大視差限界値は、現映像のブロックの大きさと、現映像のブロックの動きとを前映像で探索し、探索領域の大きさを用いて計算された値である。各ブロックに対する視差値は、最小絶対平均誤差(MAD)計算方法により求められる。
【０１３１】
次に、第900段階で生成された視差マップに対して実際に後処理を遂行する。
【０１３２】
現映像の各ブロックに対して垂直方向に隣接するブロックとの輝度特性を比較し、輝度特性が似ているブロックの群をフィルタリングマスクとして決定する(第920段階)。例えば、現在ブロックに対して所定数の隣接したブロックとの最小絶対平均誤差(MAD)を求め、現在ブロックと下側ブロックとの最小絶対平均誤差(MAD)が最も小さければ、このブロックをある物体の輪郭またはある物体の内部と見なす。最小絶対平均誤差(MAD)が最も小さな条件を満足させられなくなるまで、現在ブロックを垂直方向に隣接するブロックと順次比較する。これ以上輝度特性が似ているブロックがなければ、それまでのブロックの群を一つのフィルタリングマスクとして決定する。
【０１３３】
第920段階後に、現映像の各ブロックの視差値を該フィルタリングマスクを用いて新しい視差値に代え、視差マップを修正する(第940段階)。具体的に、新しい視差値は第920段階で決定された各ブロックのフィルタリングマスク内のブロックを視差値の大きさ順に整列させた後、整列されたブロックの中で中間視差値を利用する。
【０１３４】
最後に、現映像と修正された視差マップとを用いて視差映像を再構成する(第960段階)。第920段階で視差マップが修正されると、現映像を修正された視差マップによって再び水平マッピングして視差映像を再構成し、後処理された視差映像を生成する。
【０１３５】
図１０及び図１１は、図９に示した本実施形態例による後処理方法を詳細に説明するためのフローチャートである。図１０を参照して、図９に示した各段階を詳細に説明すれば次の通りである。
【０１３６】
第900段階は具体的に次の段階よりなる。
【０１３７】
まず、最大視差値を計算する(第902段階)。ブロック推定方法により現映像の各ブロックの動きベクトルを測定し、これよりステレオ映像生成のために使用する視差を計算する場合に、もし現映像のブロックの大きさを知っており、かつ現映像のブロックの動きを前映像で探索したときに探索領域の大きさを知っていれば、最大視差値を計算できる。最大視差値(MD:Maximum Disparity)は次の数式９のように表される。
【０１３８】
【数９】
数式９で、Bはブロックの大きさを、Wは探索領域の大きさを各々示す。
【０１３９】
第902段階後に、入力された現映像の現在ブロックに対して、視差値に従う最小絶対平均誤差(MAD)を計算する(第904段階)。現映像ブロック推定方法により求められた視差映像を用いて現映像のブロック単位で視差値を計算するために、現映像と視差映像間の絶対平均誤差を計算する。絶対平均誤差を求める計算式は次の数式１０の通りである。
【０１４０】
【数１０】
数式１０で、Bはブロック内領域を、d1は視差値を各々示す。この時、視差値d1は第902段階で計算された最大視差値(MD)を超過できない。第904段階は、即ち現在ブロックに対し、数式６に0乃至最大視差値(MD)間の視差値d1を代入して絶対平均誤差を計算する。
【０１４１】
第904段階後に、現在ブロックに対して視差値を決定する(第906段階)。即ち、第904段階で計算された絶対平均誤差が最小絶対平均誤差(MAD)となる視差値d1を現在ブロックの視差値として決定する。
【０１４２】
第906段階後に、第904段階と第906段階を経た現在ブロックが映像の最後ブロックかどうかを判断し(第910段階)、そうでなければ第904段階に再び進行して現映像の次のブロックに対する視差値を求める。第910段階で現映像の全てのブロックに対する視差値を求めたことと見なされれば、この視差値よりなる現映像の視差マップが生成される。
【０１４３】
次に、第920段階は具体的に次の段階よりなる。
【０１４４】
まず、隣接するブロックとの輝度特性差を計算する(第922段階)。輝度特性差は、現在ブロックと隣接するブロックとの間の最小絶対平均誤差(MAD)に当る。現映像で現在ブロックをBi、jで示す。ここで、添字iはi番目行を、添字jはj番目列を各々意味する。初期にi、jは各々0であり、現在ブロックBi、jに対して隣るブロックとしてBi、jを除外した7個の隣接したブロックを選択する。
【０１４５】
現在ブロックBi、jと、選択された隣接するブロックとの間の輝度特性を比較する計算式は、次の数式１１の通りである。
【０１４６】
【数１１】
第922段階後に、現在ブロックBi、jと垂直に隣接するブロックとの類似性を検査し、(第924段階)、検査結果に基づいて垂直方向に類似しているかどうかを判断する(第926段階)。
【０１４７】
第922段階で計算された現在ブロックBi、jと７個の隣接するブロック間の最小絶対平均誤差(MAD)の中で、もし下側ブロックBi+1、jとのMADのNEXT#DIFF(Bi、j)の値が最も小さければ、これは垂直方向に置かれているこの二つのブロックが他の全てのブロックに比べて輝度特性が最も似ていることを意味する。また、この二つのブロックが映像内で同一物体または同一背景である可能性が高いことを意味する。
【０１４８】
第926段階で現在ブロックBi、jが下側のブロックBi+1、jと類似性があると判断されれば、現在ブロックBi、jと下側のブロックBi+1、jとの各々の位置と視差値とを記憶し、記憶された視差値の個数Nをカウントする(第928段階)。ここで、視差値は第900段階で生成された視差マップを参照して得られる。
【０１４９】
第928段階後に、再び垂直に隣接するブロックと輝度特性が似ているかどうかを確認するために、現在ブロックBi、jを下側のブロックBi+1、jに位置変更させた後、再び第924段階に進行する。第924〜928段階は現在ブロックBi、jに対してこれ以上輝度特性が似ているブロックがなくなるまで例えば、映像の最後行に到達するまでずっと遂行される。
【０１５０】
第926段階でこれ以上現在ブロックBi、jが下側のブロックBi+1、jと類似性がないと判断されれば、第928段階でカウントされた視差値の個数Nが少なくても1より大きいかどうかを判断する(第929段階)。現在ブロックBi、jに対して少なくとも下側のブロックBi+1、jが類似性があれば、フィルタリングマスクを求めうる。フィルタリングマスクは、第926段階後に記憶される輝度特性が似ているブロック等の群に相当する。
【０１５１】
次に、第940段階は具体的に次の段階よりなる。
【０１５２】
まず、現在ブロックBi、jに対するフィルタリングマスク内のブロックを視差値の大きさ順に整列する(第942段階)。即ち、第929段階でカウントされた視差値の個数Nが少なくとも1より大きければ、フィルタリングマスク内のブロックを視差値の大きさ順に整列する。
【０１５３】
第942段階後に、整列されたブロックの中で中間視差値を抽出し、現在ブロックを含んでフィルタリングマスク内の全てのブロックの視差値を中間視差値に代える(第944段階)。この時、視差マップも修正される。
【０１５４】
このような視差マップの修正は、前述した視差値の個数Nが少なくとも１より大きい場合にだけ行われる。即ち、前述した第926段階の最初において、現在ブロックBi、jと７個の隣接するブロック間との最小絶対平均誤差(MAD)の中で、現在ブロックBi、jと下側のブロックBi+1、jとのMADのNEXT#DIFF(Bi、j)の値が最も小さければ、カウントされる視差値の個数Nは0になり、前述した第940段階が遂行されない。
【０１５５】
第929段階で視差値の個数Nが０であれば、追加的な段階980を遂行する。
【０１５６】
具体的に、第922段階で計算された現在ブロックBi、jと隣接するブロックとの輝度特性差を用いて、類似性がある少なくとも２個の隣接するブロックを抽出し、抽出されたブロックと現在ブロックBi、jの視差値の中で中間視差値を選択する(第982段階)。
【０１５７】
例えば、現在ブロックBi、jに対して対角線方向への輝度特性を考慮するために次の数式１２を定義する。
【０１５８】
【数１２】
数式１２で、ULLR(Bi、j)、URLL(Bi、j)及びHORIZON(Bi、j)の各々は、現在ブロックBi、jに対して対角線方向にある二つのブロックの最小絶対平均誤差(MAD)の合計を示す。
【０１５９】
このULLR(Bi、j)、URLL(Bi、j)及びHORIZON(Bi、j)の中で最も小さな値を選択する。もし、ULLR(Bi、j)が最も小さな値を有すれば、現在ブロック(Bi、j)を含んでBi-1、j-1及びBi、jの視差値の中で中間値を選択し、現在ブロックBi、jの視差値とする。また、視差マップ値も修正される。もし、URLL(Bi、j)が最も小さな値を有すれば、現在ブロックBi、jを含んでBi-1、j+1及びBi+1、j-1の視差値の中で中間値を選択し、現在ブロックBi、jの視差値とする。また、視差マップ値も修正される。もし、HORIZON(Bi、j)が最も小さな値を有すれば、現在ブロックBi、jを含んでBi、j-1及びBi、j+1の視差値の中で中間値を選択し、現在ブロックBi、jの視差値とする。また、視差マップ値も修正される。
【０１６０】
最後に、前述した第940段階または第980段階を経た現在ブロックが映像の最後のブロックかどうかを判断する(第950段階)。最後のブロックでなければ第920段階に再び移行して視差マップを修正する。現映像の全てのブロックに対し、新しい視差値が割当てられて視差マップが修正されれば、現映像と修正された視差マップを用いて視差映像を再構成する(第960段階)。
【０１６１】
図１２〜図１４は、視差映像と本実施形態例により得られた後処理された視差映像との比較例を示す図面であり、図１５〜図１７は、視差映像と本実施形態例により得られた後処理された視差映像との他の比較例を示す図面である。この図面で図１２及び図１５は現映像を、図１３及び図１６は視差映像を、図１４及び図１７は本実施形態例により後処理された視差映像を各々示す。
【０１６２】
この図面で分かるように、後処理されない視差映像は、垂直方向に物体の輪郭がとぎれている(特に、直線部分を参照)。しかし、後処理された視差映像は、垂直方向に物体の輪郭がとぎれていないので、現映像の画質をそのまま維持する。
【０１６３】
今まで説明した本発明による後処理方法は、これを遂行する後処理フィルターに適用できる。後処理フィルターは、可変的サイズのマスクを有するフィルターであって、マスクの大きさは隣接するブロック間の輝度特性を考慮して決定され、これは同一物体判別可否に重要な特性になる。
【０１６４】
【発明の効果】
以上、説明したように、本発明による２次元連続映像の３次元映像変換装置及び方法は、映像の領域別に深度感を有し、従来の技術では解決できないカメラの動きや映像内物体の垂直方向の動き、速い動きが発生しても、自然な立体感を有し、人間の視差で認識可能な３次元映像を生成する。
【０１６５】
また、本発明による２次元連続映像の３次元映像変換装置及び方法は二つのカメラ、即ち立体カメラを使用せず、単眼ビデオカメラで撮影した２次元映像を用いて３次元映像を生成するので、TV、VCR、DVD、HDTV、CDなどの映像再生装置を通じて立体映像を視聴可能にし、内視鏡、超音波を用いた医療分野にも適用して立体で映像を判読させることによって診断効率を向上させ、このような応用分野以外にも、立体でアニメーションを作るエンターテイメント分野を含んで様々な領域で容易に適用できる利点がある。
【０１６６】
また、本発明による後処理方法は、現映像内でブロック単位で有する輝度特性を用いて隣接するブロック間の同一物体表示可否を判別して、その結果によって視差映像を後処理することによって、視差映像の質を改善させて結局、自然なステレオ映像を生成させる効果がある。
【図面の簡単な説明】
【図１】修正時間差を用いた従来の３次元映像生成方法を説明するためのフローチャートである。
【図２】図１に示した方法で左／右側映像を決定する過程を説明するための概念図である。
【図３】本発明による２次元連続映像の３次元映像変換装置の望ましい一実施例によるブロック図である。
【図４】本発明による２次元連続映像の３次元映像変換方法の望ましい一実施例によるフローチャートである。
【図５】両眼視差の原理を概念的に示す図面である。
【図６】ブロック別動き測定のために用いられるブロック整合方法を説明するための図面である。
【図７】推定された動きの正規化過程で隣接したブロックに加重値を適用した例を示す図面である。
【図８】図４に示した方法でブロック水平移動過程を説明するための概念図である。
【図９】本発明による後処理方法を説明するためのフローチャートである。
【図１０】図１に示した本発明による後処理方法を詳細に説明するためのフローチャートである。
【図１１】視差映像と本発明により得られた後処理された視差映像の比較例を示す図面である。
【図１２】視差映像と本発明により得られた後処理された視差映像の比較例を示す図面である。
【図１３】視差映像と本発明により得られた後処理された視差映像の比較例を示す図面である。
【図１４】視差映像と本発明により得られた後処理された視差映像の比較例を示す図面である。
【図１５】視差映像と本発明により得られた後処理された視差映像の他の比較例を示す図面である。
【図１６】視差映像と本発明により得られた後処理された視差映像の他の比較例を示す図面である。
【図１７】視差映像と本発明により得られた後処理された視差映像の他の比較例を示す図面である。
【発明の属する技術分野】
本発明は３次元映像を生成する装置及び方法に係り、特に連続する２次元映像の動きを用いる、２次元連続映像の３次元映像変換装置及び方法に関する。
【０００２】
【従来の技術】
図１は修正時間差を用いた従来の３次元映像生成方法を説明するためのフローチャートである。
【０００３】
従来の３次元映像生成方法の中の一つとして、三洋電機株式会社が修正時間差(MTD:Modified Time Difference)を用いた方法を提供している。図１に示すように、まず、連続する２次元映像から動く領域が抽出される(第100段階)。抽出された領域の動き速度及び方向が抽出される(第110段階)。現在映像の動き速度及び方向に基づいて、以前のある映像フレームより遅延方向及び遅延時間が決定される(第120段階)。決定された遅延方向及び遅延時間によって遅延された映像と現在映像が、人の左／右側の目でどの側の目に各々ディスプレーされるかが決定される(第130段階)。
【０００４】
図２は図１に示した方法で左／右側映像を決定する過程を説明するための概念図である。図２は、連続する２次元映像を撮影するカメラが固定され、映像内の物体(■)が動いている場合に、左／右側映像を決定する過程を示す。修正時間差を用いた前記方法によれば、左側の目に時間遅延された映像を示すことによって人に両眼視差を提供する。反面、物体(■)が左側に動いている時、左側の目に現映像を見せ、右側の目に時間遅延された映像を見せることによって前述したことと反対の両眼視差を提供する。
【０００５】
前述した修正時間差を用いた従来の３次元映像生成方法は次のような問題点がある。
【０００６】
第１に、現映像の動き情報にだけ基づいて前フレームの中である映像を遅延された映像として選択するので、現映像の領域別に有している他の深度は無視される問題点がある。このように領域別に有している他の深度を無視することによって、結果的に立体映像を鑑賞するときの深度感が不十分になる。例えば、動く物体に対しては立体感を感じられるが、画面の背景のような動きが少ない物体に対しては立体感を感じられない。
【０００７】
第２に、現映像と遅延された映像間に物体の動きが垂直成分を有する時、修正時間差を用いた従来の方法で３次元映像を生成すれば、水平視差から深度感を得る人間の視覚構造との不一致のため、目の疲労感が生じる問題点がある。
【０００８】
第３に、現映像内物体の動き量が非常に大きい場合、多数個の前フレームの中のあるフレームが遅延された映像として選択されても、この時の現映像と遅延された映像に生成される立体映像は視差が大きいため、人間の視差認識の限界を抜け出す問題点がある。
【０００９】
一方、２次元映像から３次元映像を生成する方法は、基本的に、単眼ビデオカメラにより撮影された２次元映像と、これに対応する他の一枚の映像を作って３次元映像を生成することである。ここで、他の一枚の映像をどう作るかが重要である。もし、作られた他の一枚の映像が単眼映像内にある物体の実際の動きをまともに反映しておらず、物体の輪郭が不鮮明である等画質が低下した映像であれば、自然な３次元映像を生成できない問題点を招く。
【００１０】
【発明が解決しようとする課題】
本発明が解決しようとする技術的課題は、２次元映像の動きを測定した後に、動き特性によって水平視差に変換して新しい映像を生成することによって、映像の領域別に深度感を有し、現映像内の物体の動きが垂直成分を有しても自然な立体感を有し、また現映像内の物体の動き量が非常に大きくても人間の視差で認識可能な３次元映像を生成する、動き視差の水平視差への変換を用いた２次元連続映像の３次元映像変換装置を提供することにある。
【００１１】
本発明が解決しようとする他の技術的課題は、前記３次元映像変換装置が遂行する３次元映像変換方法を提供することにある。
【００１２】
本発明が解決しようとするさらに他の技術的課題は、現映像内でブロック単位で有する輝度特性を用いて隣接するブロック間の同一物体表示可否を判別し、この結果によって視差映像を後処理することによって、視差映像の質を改善させ、自然なステレオ映像を生成させる、２次連続映像を用いた３次元映像生成時の後処理方法を提供することにある。
【００１３】
【課題を解決するための手段】
前記の課題を解決するために、連続する２次元映像を３次元映像に変換する本発明による２次元連続映像の３次元映像変換装置は、所定大きさのブロック単位に分割された現在映像の各ブロックに対して、以前映像フレームを用いて動きベクトルを測定するブロック動き測定部、現在映像の動き特性によって前記各ブロックの動きベクトルから水平視差を得る水平視差生成部、各ブロックを各々の前記水平視差によって水平方向に移動させて、現在映像に対応した合成映像を生成する映像生成部及び、現在映像と合成映像よりなる３次元映像をディスプレーする出力部より構成されることが望ましい。
【００１４】
前記他の課題を解決するために、連続する２次元映像を３次元映像に変換する２次元連続映像の３次元映像変換方法は、(a) 入力された現在映像を所定大きさのブロック単位に分割する段階、(b) 現在映像の各ブロックに対して以前映像フレームを用いて動きベクトルを測定する段階、(c) 現在映像の動き特性によって各ブロックの動きベクトルから水平視差を得る段階、(d) 各ブロックを各々の水平視差によって水平方向に移動させて現在映像に対応した合成映像を生成する段階及び、(e) 現在映像と合成映像よりなる３次元映像をディスプレーする段階よりなることが望ましい。
【００１５】
前記のさらに他の課題を解決するために、連続する単眼映像を用いてステレオ映像を生成するシステムで現映像の動きを抽出して作られた視差映像を後処理する後処理方法は、(a) 所定大きさのブロック単位で分割された前記現映像の各ブロックに対する視差値を前記視差映像及び最大視差値を用いて求め、全てのブロックに対する視差値よりなる視差マップを生成する段階、(b) 各ブロックに対して垂直方向に隣接するブロックとの輝度特性を比較し、輝度特性が似ているブロックの群をフィルタリングマスクとして決定する段階、(c) 各ブロックの視差値を該フィルタリングマスク内のブロックより得た新しい視差値に代えて、視差マップを修正する段階と、(d) 現映像と修正された視差マップを用いて視差映像を再構成する段階よりなることが望ましい。
【００１６】
すなわち、本願第１発明は、連続する２次元映像を３次元映像に変換する２次元連続映像の３次元映像変換装置であって、所定大きさのブロック単位に分割された現在映像の各ブロックに対して、前映像フレームを用いて動きベクトルを測定するブロック動き測定部と、現在映像の動き特性によって各ブロックの動きベクトルから水平視差を得る水平視差生成部と、各ブロックを各々の水平視差に基づいて水平方向に移動させて、現在映像に対応した合成映像を生成する映像生成部と、現在映像と合成映像とからなる３次元映像を表示する出力部とを備える２次元連続映像の３次元映像変換装置を提供する。
【００１７】
本願第２発明は、本願第１発明において、ブロック動き測定部は、入力された現在ブロックと同じ中心位置を有し、かつ現在ブロックより大きいブロックを第２ブロックとするとき、前フレーム上の探索領域から第２ブロックと類似のブロックを検出し、類似のブロックと現在ブロックとの中心位置間の差を現在ブロックに対する動きとして測定する２次元連続映像の３次元映像変換装置を提供する。
【００１８】
本願第３発明は、本願第２発明において、探索領域は少なくとも現在ブロックの二倍である２次元連続映像の３次元映像変換装置を提供する。
【００１９】
本願第４発明は、本願第１発明において、水平視差生成部は、ブロック動き測定部で測定された各ブロックの動きベクトルを水平視差に変換する水平視差変換部と、水平視差変換部で変換された水平視差を、所定の制御信号に応答して調整する水平視差調整部と、各ブロックの動きベクトルに基づいて現在映像の動き特性を決定し、動き特性に基づいて制御信号を発生する動き特性決定部とを備える２次元連続映像の３次元映像変換装置を提供する。
【００２０】
本願第５発明は、本願第４発明において、水平視差変換部は、動きベクトルの大きさを計算し、その値を前記水平視差と見なす２次元連続映像の３次元映像変換装置を提供する。
【００２１】
本願第６発明は、本願第４発明において、水平視差調整部は、水平視差変換部で変換された水平視差をそのまま出力するかまたは、制御信号に応答して水平視差を最大水平視差から減算し、その結果を前記各ブロックの水平視差として出力し、最大水平視差は、ブロック動き測定部により決定する２次元連続映像の３次元映像変換装置を提供する。
【００２２】
本願第７発明は、本願第４発明において、動き特性決定部は、各ブロックの動きベクトルを分析して現在映像の全体動きの大きさを所定の基準値と比較し、全体動きが基準値より大きい場合に制御信号を発生し、所定の基準値は、現在映像を撮影するカメラが動き、かつ現在映像内の主対象物体が動く場合に、全体動きの大きさを示す２次元連続映像の３次元映像変換装置を提供する。
【００２３】
本願第８発明は、本願第１発明において、映像生成部は、現在映像内における全てのブロックの位置を各ブロックの水平視差分、一方の水平方向に移動させるブロック水平移動部と、ブロック水平移動部で移動した全てのブロックを合成して合成映像を生成するブロック合成部とを備える２次元連続映像の３次元映像変換装置を提供する。
【００２４】
本願第９発明は、本願第８発明において、映像生成部は、ブロック合成部で生成した合成映像において、全てのブロックにより満たされない領域を補間するブロック補間部をさらに含む２次元連続映像の３次元映像変換装置を提供する。
【００２５】
本願第１０発明は、本願第１発明において、出力部は、現在映像と合成映像との一方を左側映像信号として出力し、他方を右側映像信号として出力する左／右側映像決定部を備え、左側映像信号は左側の目に対し表され、右側映像信号は右側の目に対し表される２次元連続映像の３次元映像変換装置を提供する。
【００２６】
本願第１１発明は、本願第１発明において、３次元映像変換装置は、現在映像を所定大きさのブロック単位に分割してブロック動き測定部に出力する映像ブロック部と、前映像フレームを蓄積し、ブロック動き測定部に送出する前フレーム蓄積部とをさらに含む２次元連続映像の３次元映像変換装置を提供する。
【００２７】
本願第１２発明は、本願第１発明において、３次元映像変換装置は、ブロック動き測定部により測定された各ブロックの動きを周辺ブロックの動きと相関性を有するように正規化する動き正規化部をさらに含む２次元連続映像の３次元映像変換装置を提供する。
【００２８】
本願第１３発明は、本願第１２発明において、動き正規化部は、ブロック動き測定部で測定された現在ブロックの動きの大きさと、現在ブロックに隣接したブロックの動きの大きさとを加重平均した値を現在ブロックの動きの大きさとする２次元連続映像の３次元映像変換装置を提供する。
【００２９】
本願第１４発明は、本願第１３発明において、隣接したブロックの各々に対する加重値は、現在ブロックの動きの大きさに対する類似性及び現在ブロックからの距離に比例して設定される２次元連続映像の３次元映像変換装置を提供する。
【００３０】
本願第１５発明は、本願第１３発明において、隣接したブロックの各々に対する加重値は、現在ブロックの動きの大きさに対する類似性及び現在ブロックからの距離に比例して設定され、かつ現在ブロックに垂直方向に隣接したブロックに対する加重値が、現在ブロックに水平方向に隣接したブロックよりさらに大きく設定される２次元連続映像の３次元映像変換装置を提供する。
【００３１】
本願第１６発明は、連続する２次元映像を３次元映像に変換する２次元連続映像の３次元映像変換方法であって、(a) 入力された現在映像を所定大きさのブロック単位に分割する段階と、(b) 現在映像の各ブロックに対し、前映像フレームを用いて動きベクトルを測定する段階と、(c) 現在映像の動き特性に基づいて前記各ブロックの動きベクトルから水平視差を得る段階と、(d) 各ブロックを各々の前記水平視差に基づいて水平方向に移動させ、現在映像に対応した合成映像を生成する段階と、(e) 現在映像と合成映像とからなる３次元映像をディスプレーする段階とを備える２次元連続映像の３次元映像変換方法を提供する。
【００３２】
本願第１７発明は、本願第１６発明において、(b)段階は、(b1)ブロック動きを推定する現在ブロックと同じ中心位置を有し、現在ブロックより大きい第２ブロックを現在映像から抽出する段階と、(b2)前フレームから探索領域を抽出する段階と、(b3)探索領域から第２ブロックと類似のブロックを検出する段階と、(b4)類似のブロックと現在ブロックとの中心位置間の差を計算する段階とを備え、中心位置の差を、現在ブロックに対する動きとして測定する２次元連続映像の３次元映像変換方法を提供する。
【００３３】
本願第１８発明は、本願第１７発明において、探索領域は、少なくとも現在ブロックの二倍である２次元連続映像の３次元映像変換方法を提供する。
【００３４】
本願第１９発明は、本願第１６発明において、(c)段階は、(c1)各ブロックの動きベクトルを水平視差に変換する段階と、(c2)現在映像の動き特性を決定する段階と、(c3)動き特性に基づいて水平視差を調整する段階とを備える２次元連続映像の３次元映像変換方法を提供する。 本願第２０発明は、本願第１９発明において、(c1)段階は、動きベクトルの大きさを計算し、その値を水平視差とする２次元連続映像の３次元映像変換方法を提供する。
【００３５】
本願第２１発明は、本願第１９発明において、(c2)段階は、各ブロックの動きベクトルを分析して現在映像の全体動きの大きさを所定の基準値と比較し、比較結果に基づいて動き特性を決定し、現在映像を撮影するカメラが動き、かつ現在映像内の主対象物体が動く場合に、所定の基準値は全体動きの大きさを示す２次元連続映像の３次元映像変換装置を提供する。
【００３６】
本願第２２発明は、本願第２１発明において、(c3)段階は、現在映像の全体動きが所定の基準値を超えていない場合、(c1)段階で得た水平視差をそのまま出力する段階と、現在映像の全体動きが所定の基準値を超えていれば、水平視差を最大水平視差から減算し、減算結果を各ブロックの水平視差として出力する段階とを備え、最大水平視差を(b)段階で決定する２次元連続映像の３次元映像変換方法を提供する。
【００３７】
本願第２３発明は、本願第１６発明において、(d)段階は、(d1)現在映像内の全てのブロックの位置を各ブロックの水平視差の分、一方の水平方向に移動させる段階と、(d2)移動した全てのブロックを合成して合成映像を生成する段階とを備える２次元連続映像の３次元映像変換方法を提供する。
【００３８】
本願第２４発明は、本願第２３発明において、(d)段階は、合成映像において全てのブロックにより満たされない領域を補間する段階をさらに含む２次元連続映像の３次元映像変換方法を提供する。
【００３９】
本願第２５発明は、本願第１６発明において、(e)段階は、現在映像と合成映像との一方を左側の目に対して表示し、他方を右側の目に対して表示する２次元連続映像の３次元映像変換方法を提供する。
【００４０】
本願第２６発明は、本願第１６または第１７発明において、(b)段階後に、(b5)正規化する現在ブロックに隣接したブロックの各々に対して、現在ブロックとの動きの大きさに対する類似性及び現在ブロックからの距離に比例して加重値を設定する段階と、(b6)現在ブロックと隣接したブロックとを加重平均する段階と、(b7)加重平均値を現在ブロックの動きベクトルとする段階とを備える２次元連続映像の３次元映像変換方法を提供する。
【００４１】
本願第２７発明は、本願第２６発明において、(b5)〜(b7)段階は下記の数式３を用いて現在ブロックの動きを正規化し、
【００４２】
【数３】
【００４３】
本願第２８発明は、本願第２６発明において、(b5)〜(b7)段階は下記の数式４を用いて現在ブロックの動きを正規化し、
【００４４】
【数４】
【００４５】
本願第２９発明は、本願第１６または第１７発明において、(b)段階後に、(b5)正規化する現在ブロックに隣接したブロックの各々に対し、現在ブロックとの動きの大きさに対する類似性及び現在ブロックからの距離に比例して加重値を設定する段階と、(b6)現在ブロックに垂直方向に隣接したブロックであれば水平方向に隣接したブロックよりさらに大きい加重値を設定する段階と、(b7)現在ブロックと隣接したブロックとを加重平均する段階と、(b8)加重平均値を現在ブロックの動きベクトルとする段階とを備える２次元連続映像の３次元映像変換方法を提供する。
【００４６】
本願第３０発明は、連続する２次元映像を３次元映像に変換する２次元連続映像の３次元映像変換装置であって、所定大きさのブロック単位に分割された現在映像の各ブロックに対して、前映像フレームを用いて動きベクトルを測定するブロック動き測定部と、現在映像の動き特性に基づいて各ブロックの動きベクトルから水平視差を得る水平視差生成部と、各ブロックを各々の水平視差に基づいて水平方向に移動させ、現在映像に対応する合成映像を生成する映像生成部と、現在映像内の各ブロック単位で有する輝度特性を用い、隣接するブロックが、同一物体を表示しているか否かを判別し、判別結果に従って合成映像を後処理する後処理部と、現在映像と後処理された合成映像とからなる３次元映像を表示する出力部とを備える２次元連続映像の３次元映像変換装置を提供する。
【００４７】
本願第３１発明は、連続する２次元映像を用いて３次元映像を生成するシステムに用いられ、現映像の動きを抽出して作られた視差映像を後処理する後処理方法であって、(a) 所定大きさのブロック単位に分割された現映像の各ブロックに対する視差値を、視差映像及び最大視差値を用いて求め、全てのブロックに対する視差値からなる視差マップを生成する段階と、(b) 各ブロックに対して垂直方向に隣接するブロックとの輝度特性を比較し、輝度特性が似ているブロックの群をフィルタリングマスクとして決定する段階と、(c) 各ブロックの視差値を、該フィルタリングマスク内のブロックから得た新しい視差値に代え、視差マップを修正する段階と、(d) 現映像と修正された視差マップとを用い、視差映像を再構成する段階とを備える３次元映像の後処理方法を提供する。
【００４８】
本願第３２発明は、本願第３１発明において、(a)段階は、(a1)現映像のブロックの大きさと、現映像のブロックの動きを前映像で探索する時の探索領域の大きさとを用いて最大視差値を計算する段階と、(a2)入力された現在ブロックに対して、０乃至最大視差値間の視差値を代入し、現映像と視差映像との間の絶対平均誤差を計算する段階と、(a3)計算された絶対平均誤差が最小となる視差値を、現在ブロックの視差値とする段階とを備え、現映像の全てのブロックに対して(a2)及び(a3)段階を遂行して視差マップを生成する３次元映像の後処理方法を提供する。
【００４９】
本願第３３発明は、本願第３１発明において、(b)段階は、(b1)入力された現在ブロックに対し、所定数の隣接するブロックとの輝度特性差を計算する段階と、(b2)現在ブロックと垂直に隣接するブロックとの類似性を検査する段階と、(b3)類似性があれば、現在ブロックと垂直に隣接するブロックとの各々の位置と視差値とを記憶する段階と、(b4)現在ブロックを垂直に隣接するブロックに変更し、再び(b2)段階に進行する段階とを備え、現映像の全てのブロックに対して(b1)〜(b4)段階を遂行し、各ブロックに対して(b3)段階で記憶されるブロックの群を、フィルタリングマスクに決定する次元映像の後処理方法を提供する。
【００５０】
本願第３４発明は、本願第３３発明において、(b1)段階で輝度特性差は、現在ブロックと隣接するブロックとの間の最小絶対平均誤差である３次元映像の後処理方法を提供する。
【００５１】
本願第３５発明は、本願第３３発明において、(b3)段階で記憶される視差値がない場合、(d1) (b1)段階で計算された所定数の隣接するブロックとの輝度特性差を用いて類似性がある少なくとも２個の隣接するブロックを抽出し、抽出されたブロックと現在ブロックとの視差値の中で中間視差値を選択する段階と、(d2)中間視差値を現在ブロックの視差値とする段階とをさらに含み、現映像でフィルタリングマスクを有しないブロックに対して(d1)及び(d2)段階を遂行し、視差マップを修正する３次元映像の後処理方法を提供する。
【００５２】
本願第３６発明は、本願第３３乃至第３５発明のいずれかにおいて、差値は(a)段階で生成された視差マップを参照して得られる３次元映像の後処理方法を提供する。
【００５３】
本願第３７発明は、本願第３１発明において、(c)段階は、(c1)入力された現在ブロックに対するフィルタリングマスク内のブロックを視差値の大きさ順に整列する段階と、(c2)整列されたブロックの中で中間視差値を抽出し、フィルタリングマスク内の全てのブロックの視差値を中間視差値に代える段階とを備え、現映像のフィルタリングマスクを有するブロックに対し、(c1)及び(c2)段階を遂行して視差マップを修正する３次元映像の後処理方法を提供する。
【００５４】
【発明の実施の形態】
以下、本発明による２次元連続映像の３次元映像変換装置の構成及び動作を、添付した図面を参照して説明する。
【００５５】
図３は、第１実施形態例に係る２次元連続映像の３次元映像変換装置の機能ブロック図である。第１実施形態例の３次元映像変換装置は、アナログ-デジタル変換器(ADC)300、映像ブロック部310、前フレーム蓄積部320、ブロック動き測定部330、水平視差生成部340、合成映像生成部350、後処理部360、出力部の左／右側映像決定部370、第1及び第2デジタル-アナログ変換器(DAC)382及び384よりなる。
【００５６】
ここで、前記水平視差生成部340は、水平視差変換部342、水平視差調整部344及び動き特性決定部346を有している。前記合成映像生成部350は、ブロック水平移動部352、ブロック合成部354及び補間部356を有している。
【００５７】
本発明は、二つのカメラ、即ち立体カメラを使用せず、TV、VCR、CD、HDTV、DVD等の映像再生装置を通じて、立体映像の視聴可能な単眼ビデオカメラで撮影した２次元連続映像を用いて３次元映像を生成する技術である。本発明による２次元連続映像の３次元映像変換装置は、単眼ビデオカメラで撮影された２次元連続映像で連続する二つの映像間の動きベクトルを測定した後、これより水平視差を生成する。現映像から水平視差によって水平方向に移動した新しい映像を生成することによって、現映像と新しい映像とからなる３次元映像を生成する。
【００５８】
図３を参照すれば、ADC変換器300は、単眼ビデオカメラで撮影された連続する２次元映像を入力端子INを通して取り込み、アナログ形態の２次元映像信号をデジタル信号に変換する。映像ブロック部310は、デジタル信号に変換された現在映像を、所定大きさのブロック単位に分割する。ここで、所定大きさはn×n画素サイズであって、nは４または８であることが望ましい。このように、映像をブロック化する理由は、映像内で動く主物体とほとんど動かない背景とを区分して動きを推定するためである。前フレーム蓄積部320は、映像ブロック部310でブロック化された現在映像の以前映像フレームを蓄積する。
【００５９】
ブロック動き測定部330は、映像ブロック部310からブロック化した現在映像を受け取り、前フレーム蓄積部320から前映像フレームを受け取る。ブロック動き測定部330は、所定大きさのブロック単位で分割された現在映像の各ブロックに対して、前映像フレームの探索領域からの動きを推定する。即ち、前映像フレームの各相応するブロックを用いて動きの量及び方向、即ち動きベクトルを測定する。
【００６０】
連続する二つの映像間の動きを容易に測定するために、本実施形態ではブロック整合方法を使用した。この方法によって、ブロック動き測定部330は、入力された現在ブロックと同じ中心位置を有し、現在ブロックより大きい第２ブロックと、前フレームにおける探索領域とを抽出し、探索領域から第２ブロックと類似のブロックを検出し、類似のブロックと現在ブロックとの中心位置間の差を現在ブロックに対する動きとして測定する。ここで、第２ブロックは少なくとも現在ブロックを取り囲む程度の大きさを有し、探索領域は少なくとも現在ブロックの２倍より大きいべきである。ブロック整合方法は、探索領域の制限とブロック内の画素値の類似性を利用するので、測定された動きが映像内の物体の実際の動きと同一でない場合もあるが、測定が容易であり、他の方法に比べて全ての画素に対する動きベクトルを与える長所がある。
【００６１】
一方、ブロック動き測定部330と水平視差生成部340との間には、動き正規化部(図示せず)を設けてもよい。動き正規化部は、ブロック動き測定部330で各ブロックの動きが測定された現在映像を受け取り、各ブロックで測定された動きを他の周辺ブロックの動きと相関性を有するように正規化する。
【００６２】
前述したブロック整合方法は、探索領域を限定して二つのブロック間の画素の類似性を比較するので、映像内の物体の実際の動きと異なる結果が出る場合もある。これを補完するためにはフィルタリングが必要である。動き正規化部は、ブロック動き測定部330で測定された現在ブロックの動きの大きさと、現在ブロックに隣接したブロックの動きの大きさとを加重平均計算した値を、現在ブロックの動きの大きさに代えることによって、各ブロックの動きの大きさをフィルタリングする。ここで、隣接したブロック各々に対して、現在ブロックとの動きの大きさに対する類似性及び現在ブロックからの距離に比例して加重値が設定されることが望ましい。また、以後に説明される合成映像生成部350で各ブロックが水平方向に移動することを考えると、現在ブロックに垂直方向に隣接したブロックに対して、水平方向に隣接したブロックよりさらに大きい加重値が設定されることがさらに望ましい。
【００６３】
また図３を参照すると、水平視差生成部340は、ブロック動き測定部330で各ブロックの動きベクトルが測定された現在映像を受け取り、現在映像の動き特性によって各ブロックの動きベクトルから水平視差を得る。
【００６４】
具体的には、水平視差変換部342は、ブロック動き測定部330で測定された各ブロックの動きベクトルを視差値に変換する。本実施形態例においては、動きベクトルの大きさを計算し、計算された値を視差値に見なす簡単な変換方法を使用する。ここで、視差値は以後に生成される合成映像と現在映像が一対を成して３次元映像としてディスプレーされる場合に、二つの映像により生じる水平視差に当る。
【００６５】
水平視差調整部344は、所定制御信号に応答して水平視差変換部342から変換された各ブロックの水平視差を調整する。このように水平視差を調整する理由は、現在映像を撮影したカメラの動きの有無と、現在映像内の主対象物体の動きの有無とに基づいて水平視差を調整し、人間の視差で認識可能な３次元映像を生成するためである。
【００６６】
具体的には、水平視差調整部344は、所定の制御信号に応答して前記水平視差を最大水平視差値から減算し、その結果を各ブロックの水平視差として出力したり、水平視差変換部342から出力された水平視差をそのまま出力する。ここで、最大水平視差値はブロック動き測定部330で決定される値である。また、水平視差調整部344は、水平視差を調整する前に先立ち、各ブロックの水平視差が所定の最大視差値を超過しないようにスケーリングする。
【００６７】
動き特性決定部346は、ブロック動き測定部330で測定された各ブロックの動きベクトルから現在映像の動き特性を決定し、その結果によって前記制御信号を発生する。具体的には、各ブロックの動きベクトルを分析して現在映像の動きの大きさを所定の基準値と比較し、全体動きが基準値より大きい場合に前記制御信号を発生する。
【００６８】
ここで、所定の基準値は、現在映像を撮影したカメラが動き、現在映像内の主対象物体が動く時に全体動きの大きさを示す値である。カメラが動きがあるということは、映像内の背景が動くと見なしうるので、映像内の背景及び主対象物体が動く場合には全体の動きはほとんどなくなる。従って、この時には、水平視差調整部344は、水平視差変換部342から出力された水平視差をそのまま出力し、その外の場合に対しては最大水平視差値から減算した値を出力する。
【００６９】
映像生成部350は、水平視差生成部340から各ブロックの水平視差を有する現在映像を受け取り、各ブロックを各々の水平視差によって水平方向に移動させて現在映像に対応する合成映像を生成する。
【００７０】
具体的には、ブロック水平移動部352は、現在映像内の全てのブロックの位置を各ブロックの水平視差分だけ右側水平方向に移動させる。ブロック合成部354は、ブロック水平移動部352から移動した各ブロックを合成して合成映像を生成する。合成映像補間部356は、ブロック合成部354で生成された合成映像で現在映像の各ブロックにより満たされない領域を補間する。
【００７１】
後処理部360は、合成映像補間部356と共に新しい映像の質を向上するために所定の後処理を遂行する。前述したブロック整合方法による動きの推定と新しい映像の生成時に、生成された新しい映像内にブロックが現れたり、エッジ領域で画質が低下し得る。これを補完するために所定の後処理、例えばメジアンフィルターを用いたフィルタリングなどを遂行する。本発明で示す望ましい一実施例による後処理部については、後で具体的に説明する。
【００７２】
出力部に当る左／右側映像決定部370は、後処理部360から合成映像を、ADC変換器300から現在映像をそれぞれ受け取り、現在映像と合成映像とからなる３次元映像を表示する。この時、左／右側映像決定部370は、現在映像と合成映像との一方を左側映像信号として出力し、他の一つを右側映像信号として出力する。この信号は、第1及び第2DAC変換器382及び384を通じてアナログ映像信号に各々変換され、出力端子OUT1及びOUT2を通じて表示される。左側映像信号は人の左側の目に、右側映像信号は人の右側の目にそれぞれ表示される。
【００７３】
基本的に、左／右側映像決定部370は、両眼視差の中で正の視差に基づいて現在映像を左側目に、合成映像を右側目に表示する。但し、表示方式は限定されないし、合成映像を生成する時に水平移動方法と、深度感を与えようとする方向が負か正かによって変わりうる。
【００７４】
例えば、ブロック水平移動部352で現在映像内の全てのブロックの位置を各ブロックの水平視差分だけ左側水平方向に移動させれば、負の視差に基づいて現在映像と合成映像とが表示される。しかし、立体感を大きくするために負の視差をたくさん与えれば、人が目の疲労を感じるので負の視差の映像を長時間表示し難い。従って、本発明では正の視差で表示することを基本とする。
【００７５】
前述したことによると、本発明は両眼視差を用いたステレオ技術に属する。ここで、本発明の理解のために両眼視差の原理を簡略に説明する。
【００７６】
図５（ａ）及び図５（ｂ）は、両眼視差の原理を概念的に示す図面であって、図５（ａ）は正の視差を、図５（ｂ）は負の視差を各々示す。図５（ａ）及び図５（ｂ）で、画面上に二つの映像、即ち現映像と新しい映像とを表示すると、各々の映像は人の右側目と左側目に映じる。画面上の二つの映像の対応点であるaとa’は両目の位置のbとb’に対応するが、人は二つの映像の対応点が点Pの位置にあると認識する。即ち、この時人が画面上に物体があると実際に認識する位置は、図５（ａ）及び図５（ｂ）の点Ｐの位置である。点Ｐの位置は三角形△Paa’と△Pbb’が相似形であるので、比例式により容易に求めうる。
【００７７】
従って、視差がある二つの映像、即ち現映像と新しい映像よりなる３次元映像を画面上に表示すれば、人は深度感を認識できる。図５（ａ）のような正の視差の場合、人は点Ｐの位置が画面の後にあると認識し、図５（ｂ）のような負の視差の場合に、人は点Ｐの位置が画面の前にあると認識する。
【００７８】
本発明で生成された新しい映像は、現映像から水平視差ほど水平方向に移動した映像である。従って、現映像内物体の動きが垂直成分を有しても自然なステレオ映像が生成される。
【００７９】
図４は本発明による２次元連続映像の３次元映像変換方法を説明するためのフローチャートである。図４を参照して図３に示した装置が遂行する本発明による３次元映像変換方法を説明する。
【００８０】
まず、連続するアナログ形態の２次元映像信号は、ADC変換器300を通じてデジタル信号に変換される(第400段階)。次に、デジタル信号に変換された現在映像は、映像ブロック部310を通じて所定大きさのブロック単位で分割される(第410段階)。ここで、所定大きさはn×n画素大きさであって、nは４または８であることが望ましい。
【００８１】
第410段階後に、前映像フレーム蓄積部320に蓄積された前映像フレームを用い、現在映像の各ブロックに対して動きの量と方向、即ち動きベクトルがブロック動き測定部330を通じて測定される(第420段階)。連続する二つの映像間の動きベクトルを測定するための好ましい方法として、例えば公知の光流測定法やMPEG(Motion Picture Coding Experts Group)I、IIで用いられるブロック整合方法が挙げられる。また処理速度の向上のために、ブロック整合方法の中でも計算量が小さなPHODS(Parallel hierarchical one-dimensional search)方法を使用することも好ましい。
【００８２】
第420段階において、連続する二つの映像間の動きを推定するための望ましい方法として、ブロック整合方法が挙げられる。この方法によって、まず、動きを測定しようとしている現在ブロックと同じ中心位置を有し、現在ブロックより大きい第２ブロックを現在映像から抽出する。次に、前フレームから探索領域を抽出する。探索領域で第２ブロックと類似のブロックを検出し、似ているブロックと現在ブロックとの中心位置間の差を計算する。ここで、計算された差は現在ブロックの動きとして測定される。第２ブロックは少なくとも現在ブロックを取り囲む程度の大きさを有し、探索領域は少なくともブロックの二倍より大きいことが好ましい。
【００８３】
図６は、ブロック別に動きを測定するために用いられるブロック整合方法を説明するための図面である。
【００８４】
図６を参照して、本実施形態例で用いるブロック整合方法を詳細に説明する。
【００８５】
まず、連続する２次元映像、例えば、N1×N2大きさの映像のk番目映像において、各ブロックの大きさをn1×n2(ここで、n1＞0、n2＞0の正数)とする。このブロックの大きさを取り囲むさらに大きいブロックを、マクロブロックとし、その大きさを2n1×2n2とする。次いで次の方法でブロック整合方法を使用する。
【００８６】
1. k番目映像602より(a、b)=(n1/2、n2/2)を中心とするブロックBを得る。
【００８７】
2. k番目映像602よりブロックBと同じ中心位置を有しブロックBより大きいマクロブロックM(図示せず)を抽出する。
【００８８】
3. k-1番目映像604より(a、b)を中心とする探索領域Wを抽出する。ここで、探索領域の大きさはw1×w2でありw1＞2n1、w2＞2n2である。
【００８９】
4.探索領域Wより(n1/2、n2/2)を中心とするマクロブロックM’(図示せず)を抽出する。
【００９０】
5.ブロックMとM’間の最小絶対平均誤差(MAD:Minimum Mean Absolute Difference)を求める。ここで、最小絶対平均誤差はブロックMの平均画素値とブロックM’の平均画素値との差を示す。
【００９１】
6. MADを前MADと比較して小さければこの時のMADを新しいMADとし、探索領域におけるこの時のマクロブロックM’の中心位置(r、c)を記憶する。もし、マクロブロックM’の中心位置が(n1/2、n2/2)であれば、この際のMADを初期MADとする。
【００９２】
7.探索領域WのマクロブロックM’を、行に沿って所定のオフセット(offset＞0)分だけ水平方向に移動させる。
【００９３】
8.移動したマクロブロックM’が探索領域Wを外れれば段階9に進行し、外れなければ段階5に進行する。
【００９４】
9.マクロブロックM’を探索領域W内の新しい位置(a、b)=(a+offset、n2/2)に移動させ、マクロブロックM’が探索領域Wを外れれば段階10に進行し、外れなければ段階5に進行する。
【００９５】
10. 段階6で最終的に記憶された(r、c)からブロックBの動き(u、v)=(a-r、b-c)を求め、段階11に進行する。
【００９６】
11. ブロックBを水平方向にブロックの大きさ分だけ移動して(a、b)=(a、b+n1)を中心とする。もしブロックBがk番目映像の領域を外れれば段階12に進行し、外れなければ段階2に進行する。
【００９７】
12. ブロックBを垂直方向にブロックの大きさほど移動して(a、b)=(a+n1、b)を中心とする。もしブロックBがk番目映像の領域を外れれば全てのブロックに対するブロック整合を遂行したので終了し、そうでなければ段階2に進行する。
【００９８】
前述した過程の中で、実際にはブロック整合は、現映像のブロックに代えて第２ブロックに当るマクロブロックを用い、これより得られた動きを現映像のブロックの動きとした。その理由は現映像のブロックをそのまま使用すると、次のような問題があるからである。第１に、ブロックが小さいほど映像内の物体の実際の動きとは違う結果をもたらしうる。第２に、隣接するブロック間には動きの相関性がある確率が大きいが、ブロック整合の結果はそうでない場合がある。
【００９９】
従って、このような問題を解決するために、本発明はブロック整合方法で動きを測定するときに第２ブロックのマクロブロックを利用する。これにより、次のような長所を得る。第１に、現在映像と前映像との間に比較するブロックの大きさが大きくなれば、ブロック内の特異点を有する確率が大きくなるので、映像内の物体の実際の動きと相対的に近くなる。第２に、マクロブロック間に重なる部分が生じるので、隣接するブロックの各々測定された動きが互いに高い相関性を持つ。これにより、新しい映像を生成する時、映像が割れることを防止する。
【０１００】
第420段階後に、現在映像の各ブロックで測定された動きを、周辺ブロックの動きと相関性を有するように正規化する段階を考慮できる(図示せず)。
【０１０１】
第420段階で推定された各ブロックの動きは、周辺ブロックの動きとは異なる動きを有しうる。これをそのまま放置すれば、新しい映像を生成する場合に映像の質が低下するおそれがある。これを防止するために、各ブロックの動きが周辺ブロックの動きと非常に異なる場合に推定される各ブロックの動きを正規化する。正規化は次の仮定を前提とする。第１に、映像で任意の画素位置(a、b)におけるブロックの動きと隣接したブロックとの相関性はブロック間の距離が近いほど大きい。第２に、現在ブロックの動きに似ている動きほど相関性が大きい。
【０１０２】
このような仮定下で各ブロックの動きを正規化する一つの方法として、まず、正規化する現在ブロックに隣接したブロックの各々に対して、現在ブロックの動きの大きさに対する類似性及び現在ブロックからの距離に比例して加重値を設定する。次に、現在ブロックと隣接したブロックを加重平均する。加重平均値を現在ブロックの動きの大きさとして代える。
【０１０３】
次の数式５は前述した方法により現在ブロックの動きの大きさを計算する式を示す。
【０１０４】
【数５】
【数６】
【０１０５】
しかし、実際に各ブロックの動きを正規化する前述した方法をそのまま適用するのではなく、垂直方向に隣接したブロックに対してさらに加重値を適用する。即ち、各ブロックの動きを正規化する他の方法として、まず、正規化する現在ブロックに隣接したブロック各々に対して、現在ブロックの動きの大きさに対する類似性及び現在ブロックからの距離に比例して加重値を設定する。次に、現在ブロックに垂直方向に隣接したブロックであれば、水平方向に隣接したブロックよりさらに大きい加重値を設定する。次に、現在ブロックと隣接したブロックを加重平均する。加重平均値は、現在ブロックの動きの大きさとして代える。
【０１０６】
このように、加重値を垂直方向により与える理由は、以後の段階で各ブロックが新しい映像に水平方向に移動することを考えるからである。即ち、各ブロックが水平方向に移動するとき、上下に隣接したブロックと動きの大きさが違えば、新しい映像の画質が大きく低下する。特に、各ブロックの垂直エッジ付近で映像がたくさん割れる。従って、垂直方向に隣接したブロックにさらに多い加重値を与える必要がある。
【０１０７】
図７（ａ）及び図７（ｂ）は推定された動きの正規化過程で、隣接したブロックに加重値を適用した例を示す図面である、図７（ａ）は現在ブロックからの距離に比例して隣接したブロックに加重値を適用した例を、図７（ｂ）は垂直方向に隣接したブロックに加重値をさらに適用した例を各々示す。
【０１０８】
また図４を参照すれば、第420段階で現在映像の各ブロックに対する動きベクトルが測定されれば、水平視差生成部340を通じて各ブロックの動きベクトルから水平視差が得られる(第430段階)。
【０１０９】
第430段階は具体的に次の段階よりなる。まず、第420段階で測定された各ブロックの動きベクトルが、水平視差変換部342により水平視差に変換される(第432段階)。水平視差を求める方法として、動きベクトルの大きさを計算し、計算された値を水平視差と見なす簡単な方法を使用する。ここで、水平視差は以後に生成される合成映像と現在映像とが一対を成して３次元映像として表示される場合に、二つの映像により生じる視差に当る。次の数式７は各ブロックの水平視差pxを求める計算式を示す。
【０１１０】
【数７】
【０１１１】
次に、動き特性決定部346により現在映像の動き特性が決定される(第434段階)。動き特性に決定する一方法として、各ブロックの動きベクトルを分析して現在映像の全体動きの大きさを所定の基準値と比較し、その結果を現在映像の動き特性と見なす。ここで、所定の基準値は現在映像を撮影するカメラが動き、現在映像内の主対象物体が動く場合のに全体動きの大きさを示す。
【０１１２】
次に、第432段階で得られた水平視差が、水平視差調整部344により現在映像の動き特性によって調整される(第436段階)。このように水平視差を調整する理由は、現在映像を撮影したカメラの動きの有無と現在映像内の主対象物体の動きの有無に基づいて視差を調整し、人間の視差で認識可能な３次元映像を生成するためである。水平視差を調整する一方法として、現在映像の全体動きが所定の基準値以下であれば、第432段階で得られた元来の水平視差をそのまま維持し、所定の基準値より大きければ、第432段階で得られた水平視差を最大水平視差から減算して、その結果を各ブロックの水平視差とする。
【０１１３】
ここで、最大水平視差は第420段階で決定される値である。また、第436段階で水平視差を調整する前に、各ブロックの水平視差は所定の最大視差値を超過しないようにスケーリングされる。次の数式８は後者の場合に水平視差pxを求める計算式を示す。
【０１１４】
【数８】
【０１１５】
第430段階後に、現在映像の各ブロックは、映像生成部350により各々の水平視差に基づいて水平方向に移動され、現在映像に対応する合成映像が生成される(第440段階)。
【０１１６】
第440段階は具体的に次の段階よりなる。まず、現在映像内の全てのブロックの位置は、ブロック水平移動部352により各ブロックの水平視差分だけ右側水平方向に移動する(第442段階)。第442段階で水平移動した全てのブロックの画素データがブロック合成部354を通じて合成されて合成映像が生成される(第444段階)。
【０１１７】
図８（ａ）及び図８（ｂ）は図４に示した方法においてブロック水平移動過程を説明するための概念図である。図８（ａ）はまず移動されるブロックB1の水平視差px1が次の移動されるブロックB2の水平視差px2より大きい場合のブロック水平移動を、図８（ｂ）はまず移動されるブロックB1の水平視差px1が次に移動するブロックB2の水平視差px2より小さい場合のブロック水平移動を、各々示す。図面で、「●」はブロック内画素の位置を示し、Bi、pxiはi番目ブロックの水平視差pxiを示す。また、説明を簡単にするために、各ブロックが例えば８×８画素大きさで構成される場合に、一つのスキャンラインだけを例示している。
【０１１８】
図８（ａ）で水平視差px1が水平視差px2より大きい場合に、例えば水平視差px1が３で水平視差px2が１とすれば、ブロックB1の全ての画素はまず３ほど水平移動する。反面、ブロックB2の場合には３番目画素から１ほど水平移動する。即ち、ブロックB2の場合に最初の二つの画素は移動しない。図８（ｂ）で水平視差px1が水平視差px2より小さい場合に、例えば水平視差px1が１で水平視差px2が３とすれば、ブロックB1とブロックB2の全ての画素は各々１と３ほど水平移動する。しかし、図８（ｂ）に示したようにブロックB1とブロックB2は水平視差が違うので、ブロックB1が満たされた後２個の画素が満たされないままでブロックB2が満たされるようになり、空いている画素が発生する。
【０１１９】
第444段階後に、前述したようにブロック水平移動過程を経て合成された合成映像で、各ブロックにより満たされない領域が補間部356を通じて補間される(第446段階)。即ち、合成映像には、現在映像の各ブロックが他の水平視差によって水平移動することにより、図８（ｂ）のように空いている画素が発生する。空いている画素に適当な画素値を付与する補間方法には、特に限定されず、線形補間法、双線形補間法、加重補間法などの種々の方法を用いることができる。また、容易な補間方法として、空いている画素を最も近い左側または右側に満たされた画素の値で同一に満たすことが挙げられる。図８（ｂ）では、画素a1または画素a2の値を利用する。本実施形態例では、計算量が最も小さいこの方法を使用した。
【０１２０】
第440段階後に、合成映像補間部356と共に新しい映像の質を上げるために、後処理部360により所定の後処理を遂行する(第450段階)。前述したブロック整合方法による動きの測定と新しい映像の生成時に、生成された新しい映像内にブロックが現れたり、エッジ領域で画質が低下する。これを防ぐために所定の後処理、例えばメジアンフィルターを用いたフィルタリングなどを遂行する。本発明で提示する望ましい一実施例による後処理部の動作は以後に具体的に説明する。
【０１２１】
第450段階後に、現在映像と合成映像を一対とする３次元映像を表示するために、左／右側映像決定部370を通じて左／右側映像が決定される(第460段階)。現在映像と合成映像との一方は左側目に表示され、他方は右側目に表示されることによって、両眼視差の原理により人は立体感を感じる。最後に、この映像はデジタル信号であるので、第１及び第２DAC変換器382及び384により各々アナログ信号に変換されて表示される(第470段階)。なお、前述した過程を経てモニター等の表示装置に表示された３次元映像を鑑賞するためには、３次元映像と同期させる立体めがねも必要である。
【０１２２】
映像の深度は動きの量と関係がある。カメラが動き、かつ撮像画面の動きがない場合、動きの量は映像の深度と反比例する。近い物体は動きが大きくて遠い物体は相対的に動きが小さい。また、カメラが固定されていて映像内に動く物体がある場合、近い物体は速く動き、遠い物体はゆっくり動く。本実施形態例では、この原理を適用し、正の視差及び負の視差に基づいて第460段階で左／右側映像を決定する。
【０１２３】
今まで本発明による２次元連続映像の３次元映像変換装置及び方法に対して説明した。簡略に整理すれば、２次元−３次元または単眼−ステレオ映像変換において、現映像よりブロック単位で動きベクトルを求めた後、これを用いて結局視差を求め、現映像を視差ほど水平に移動させて視差映像を生成することによって、現映像と視差映像とからなるステレオ映像を生成する。
【０１２４】
しかし、現映像からブロック単位で求めた動きベクトルは不正確な結果を出す恐れがある。即ち、動きを用いた視差マップは、動き自体の不正確性のため、現映像内物体等の実際の輪郭とよく整合しない。特に、動きベクトルを水平方向だけの視差値に変換する場合に、視差値は動きベクトルの大きさを反映するため、もし現映像内同一物体に当るブロックに相異なる視差値が割当されれば、映像は垂直方向に割れる現象を示す。
【０１２５】
従って、隣接するブロック間の視差値を適切に調節し、ステレオ映像生成時に垂直方向に映像内物体の輪郭が割れる現象を防止する視差映像の後処理が必要である。前述のように、図３で合成映像生成部350の後に後処理部360が実行され、図４で合成映像生成段階440後に後処理段階450が実行される。これについて詳細に説明する。
【０１２６】
本発明の後処理方法は、現映像内でブロック単位で有する輝度特性を用い、隣接するブロック間において同一物体の表示の可否を判別する。判別結果によって得られる可変大きさのフィルタリングマスクを用い、現映像の各ブロックの視差値を適切に調整し、調整された視差値によって視差映像を再構成する。
【０１２７】
また、以後に説明する本発明の後処理方法は、前述した本発明による２次元連続映像の３次元映像変換装置及び方法に望ましく適用されるが、視差映像を生成する他の３次元映像変換装置にももちろん適用できる。
【０１２８】
図９は、本実施形態例による後処理方法を説明するためのフローチャートである。
【０１２９】
現映像の動きを抽出して作られた視差映像を後処理するために、まず、現映像、視差映像及び最大視差限界値を用いて現映像からブロック単位で視差値を求め、全てのブロックに対する視差値からなる視差マップを生成する(第900段階)。
【０１３０】
元来、視差映像は、現映像の各ブロックに対する視差値により作られた映像であるが、本発明ではこの視差映像がどう作られたか分からないので、まず、第900段階で所定大きさのブロック単位で分割された現映像の各ブロックに対する視差値を、視差映像と最大視差限界値とを用いて求める。ここで、最大視差限界値は、現映像のブロックの大きさと、現映像のブロックの動きとを前映像で探索し、探索領域の大きさを用いて計算された値である。各ブロックに対する視差値は、最小絶対平均誤差(MAD)計算方法により求められる。
【０１３１】
次に、第900段階で生成された視差マップに対して実際に後処理を遂行する。
【０１３２】
現映像の各ブロックに対して垂直方向に隣接するブロックとの輝度特性を比較し、輝度特性が似ているブロックの群をフィルタリングマスクとして決定する(第920段階)。例えば、現在ブロックに対して所定数の隣接したブロックとの最小絶対平均誤差(MAD)を求め、現在ブロックと下側ブロックとの最小絶対平均誤差(MAD)が最も小さければ、このブロックをある物体の輪郭またはある物体の内部と見なす。最小絶対平均誤差(MAD)が最も小さな条件を満足させられなくなるまで、現在ブロックを垂直方向に隣接するブロックと順次比較する。これ以上輝度特性が似ているブロックがなければ、それまでのブロックの群を一つのフィルタリングマスクとして決定する。
【０１３３】
第920段階後に、現映像の各ブロックの視差値を該フィルタリングマスクを用いて新しい視差値に代え、視差マップを修正する(第940段階)。具体的に、新しい視差値は第920段階で決定された各ブロックのフィルタリングマスク内のブロックを視差値の大きさ順に整列させた後、整列されたブロックの中で中間視差値を利用する。
【０１３４】
最後に、現映像と修正された視差マップとを用いて視差映像を再構成する(第960段階)。第920段階で視差マップが修正されると、現映像を修正された視差マップによって再び水平マッピングして視差映像を再構成し、後処理された視差映像を生成する。
【０１３５】
図１０及び図１１は、図９に示した本実施形態例による後処理方法を詳細に説明するためのフローチャートである。図１０を参照して、図９に示した各段階を詳細に説明すれば次の通りである。
【０１３６】
第900段階は具体的に次の段階よりなる。
【０１３７】
まず、最大視差値を計算する(第902段階)。ブロック推定方法により現映像の各ブロックの動きベクトルを測定し、これよりステレオ映像生成のために使用する視差を計算する場合に、もし現映像のブロックの大きさを知っており、かつ現映像のブロックの動きを前映像で探索したときに探索領域の大きさを知っていれば、最大視差値を計算できる。最大視差値(MD:Maximum Disparity)は次の数式９のように表される。
【０１３８】
【数９】
【０１３９】
第902段階後に、入力された現映像の現在ブロックに対して、視差値に従う最小絶対平均誤差(MAD)を計算する(第904段階)。現映像ブロック推定方法により求められた視差映像を用いて現映像のブロック単位で視差値を計算するために、現映像と視差映像間の絶対平均誤差を計算する。絶対平均誤差を求める計算式は次の数式１０の通りである。
【０１４０】
【数１０】
【０１４１】
第904段階後に、現在ブロックに対して視差値を決定する(第906段階)。即ち、第904段階で計算された絶対平均誤差が最小絶対平均誤差(MAD)となる視差値d1を現在ブロックの視差値として決定する。
【０１４２】
第906段階後に、第904段階と第906段階を経た現在ブロックが映像の最後ブロックかどうかを判断し(第910段階)、そうでなければ第904段階に再び進行して現映像の次のブロックに対する視差値を求める。第910段階で現映像の全てのブロックに対する視差値を求めたことと見なされれば、この視差値よりなる現映像の視差マップが生成される。
【０１４３】
次に、第920段階は具体的に次の段階よりなる。
【０１４４】
まず、隣接するブロックとの輝度特性差を計算する(第922段階)。輝度特性差は、現在ブロックと隣接するブロックとの間の最小絶対平均誤差(MAD)に当る。現映像で現在ブロックをBi、jで示す。ここで、添字iはi番目行を、添字jはj番目列を各々意味する。初期にi、jは各々0であり、現在ブロックBi、jに対して隣るブロックとしてBi、jを除外した7個の隣接したブロックを選択する。
【０１４５】
現在ブロックBi、jと、選択された隣接するブロックとの間の輝度特性を比較する計算式は、次の数式１１の通りである。
【０１４６】
【数１１】
【０１４７】
第922段階で計算された現在ブロックBi、jと７個の隣接するブロック間の最小絶対平均誤差(MAD)の中で、もし下側ブロックBi+1、jとのMADのNEXT#DIFF(Bi、j)の値が最も小さければ、これは垂直方向に置かれているこの二つのブロックが他の全てのブロックに比べて輝度特性が最も似ていることを意味する。また、この二つのブロックが映像内で同一物体または同一背景である可能性が高いことを意味する。
【０１４８】
第926段階で現在ブロックBi、jが下側のブロックBi+1、jと類似性があると判断されれば、現在ブロックBi、jと下側のブロックBi+1、jとの各々の位置と視差値とを記憶し、記憶された視差値の個数Nをカウントする(第928段階)。ここで、視差値は第900段階で生成された視差マップを参照して得られる。
【０１４９】
第928段階後に、再び垂直に隣接するブロックと輝度特性が似ているかどうかを確認するために、現在ブロックBi、jを下側のブロックBi+1、jに位置変更させた後、再び第924段階に進行する。第924〜928段階は現在ブロックBi、jに対してこれ以上輝度特性が似ているブロックがなくなるまで例えば、映像の最後行に到達するまでずっと遂行される。
【０１５０】
第926段階でこれ以上現在ブロックBi、jが下側のブロックBi+1、jと類似性がないと判断されれば、第928段階でカウントされた視差値の個数Nが少なくても1より大きいかどうかを判断する(第929段階)。現在ブロックBi、jに対して少なくとも下側のブロックBi+1、jが類似性があれば、フィルタリングマスクを求めうる。フィルタリングマスクは、第926段階後に記憶される輝度特性が似ているブロック等の群に相当する。
【０１５１】
次に、第940段階は具体的に次の段階よりなる。
【０１５２】
まず、現在ブロックBi、jに対するフィルタリングマスク内のブロックを視差値の大きさ順に整列する(第942段階)。即ち、第929段階でカウントされた視差値の個数Nが少なくとも1より大きければ、フィルタリングマスク内のブロックを視差値の大きさ順に整列する。
【０１５３】
第942段階後に、整列されたブロックの中で中間視差値を抽出し、現在ブロックを含んでフィルタリングマスク内の全てのブロックの視差値を中間視差値に代える(第944段階)。この時、視差マップも修正される。
【０１５４】
このような視差マップの修正は、前述した視差値の個数Nが少なくとも１より大きい場合にだけ行われる。即ち、前述した第926段階の最初において、現在ブロックBi、jと７個の隣接するブロック間との最小絶対平均誤差(MAD)の中で、現在ブロックBi、jと下側のブロックBi+1、jとのMADのNEXT#DIFF(Bi、j)の値が最も小さければ、カウントされる視差値の個数Nは0になり、前述した第940段階が遂行されない。
【０１５５】
第929段階で視差値の個数Nが０であれば、追加的な段階980を遂行する。
【０１５６】
具体的に、第922段階で計算された現在ブロックBi、jと隣接するブロックとの輝度特性差を用いて、類似性がある少なくとも２個の隣接するブロックを抽出し、抽出されたブロックと現在ブロックBi、jの視差値の中で中間視差値を選択する(第982段階)。
【０１５７】
例えば、現在ブロックBi、jに対して対角線方向への輝度特性を考慮するために次の数式１２を定義する。
【０１５８】
【数１２】
【０１５９】
このULLR(Bi、j)、URLL(Bi、j)及びHORIZON(Bi、j)の中で最も小さな値を選択する。もし、ULLR(Bi、j)が最も小さな値を有すれば、現在ブロック(Bi、j)を含んでBi-1、j-1及びBi、jの視差値の中で中間値を選択し、現在ブロックBi、jの視差値とする。また、視差マップ値も修正される。もし、URLL(Bi、j)が最も小さな値を有すれば、現在ブロックBi、jを含んでBi-1、j+1及びBi+1、j-1の視差値の中で中間値を選択し、現在ブロックBi、jの視差値とする。また、視差マップ値も修正される。もし、HORIZON(Bi、j)が最も小さな値を有すれば、現在ブロックBi、jを含んでBi、j-1及びBi、j+1の視差値の中で中間値を選択し、現在ブロックBi、jの視差値とする。また、視差マップ値も修正される。
【０１６０】
最後に、前述した第940段階または第980段階を経た現在ブロックが映像の最後のブロックかどうかを判断する(第950段階)。最後のブロックでなければ第920段階に再び移行して視差マップを修正する。現映像の全てのブロックに対し、新しい視差値が割当てられて視差マップが修正されれば、現映像と修正された視差マップを用いて視差映像を再構成する(第960段階)。
【０１６１】
図１２〜図１４は、視差映像と本実施形態例により得られた後処理された視差映像との比較例を示す図面であり、図１５〜図１７は、視差映像と本実施形態例により得られた後処理された視差映像との他の比較例を示す図面である。この図面で図１２及び図１５は現映像を、図１３及び図１６は視差映像を、図１４及び図１７は本実施形態例により後処理された視差映像を各々示す。
【０１６２】
この図面で分かるように、後処理されない視差映像は、垂直方向に物体の輪郭がとぎれている(特に、直線部分を参照)。しかし、後処理された視差映像は、垂直方向に物体の輪郭がとぎれていないので、現映像の画質をそのまま維持する。
【０１６３】
今まで説明した本発明による後処理方法は、これを遂行する後処理フィルターに適用できる。後処理フィルターは、可変的サイズのマスクを有するフィルターであって、マスクの大きさは隣接するブロック間の輝度特性を考慮して決定され、これは同一物体判別可否に重要な特性になる。
【０１６４】
【発明の効果】
以上、説明したように、本発明による２次元連続映像の３次元映像変換装置及び方法は、映像の領域別に深度感を有し、従来の技術では解決できないカメラの動きや映像内物体の垂直方向の動き、速い動きが発生しても、自然な立体感を有し、人間の視差で認識可能な３次元映像を生成する。
【０１６５】
また、本発明による２次元連続映像の３次元映像変換装置及び方法は二つのカメラ、即ち立体カメラを使用せず、単眼ビデオカメラで撮影した２次元映像を用いて３次元映像を生成するので、TV、VCR、DVD、HDTV、CDなどの映像再生装置を通じて立体映像を視聴可能にし、内視鏡、超音波を用いた医療分野にも適用して立体で映像を判読させることによって診断効率を向上させ、このような応用分野以外にも、立体でアニメーションを作るエンターテイメント分野を含んで様々な領域で容易に適用できる利点がある。
【０１６６】
また、本発明による後処理方法は、現映像内でブロック単位で有する輝度特性を用いて隣接するブロック間の同一物体表示可否を判別して、その結果によって視差映像を後処理することによって、視差映像の質を改善させて結局、自然なステレオ映像を生成させる効果がある。
【図面の簡単な説明】
【図１】修正時間差を用いた従来の３次元映像生成方法を説明するためのフローチャートである。
【図２】図１に示した方法で左／右側映像を決定する過程を説明するための概念図である。
【図３】本発明による２次元連続映像の３次元映像変換装置の望ましい一実施例によるブロック図である。
【図４】本発明による２次元連続映像の３次元映像変換方法の望ましい一実施例によるフローチャートである。
【図５】両眼視差の原理を概念的に示す図面である。
【図６】ブロック別動き測定のために用いられるブロック整合方法を説明するための図面である。
【図７】推定された動きの正規化過程で隣接したブロックに加重値を適用した例を示す図面である。
【図８】図４に示した方法でブロック水平移動過程を説明するための概念図である。
【図９】本発明による後処理方法を説明するためのフローチャートである。
【図１０】図１に示した本発明による後処理方法を詳細に説明するためのフローチャートである。
【図１１】視差映像と本発明により得られた後処理された視差映像の比較例を示す図面である。
【図１２】視差映像と本発明により得られた後処理された視差映像の比較例を示す図面である。
【図１３】視差映像と本発明により得られた後処理された視差映像の比較例を示す図面である。
【図１４】視差映像と本発明により得られた後処理された視差映像の比較例を示す図面である。
【図１５】視差映像と本発明により得られた後処理された視差映像の他の比較例を示す図面である。
【図１６】視差映像と本発明により得られた後処理された視差映像の他の比較例を示す図面である。
【図１７】視差映像と本発明により得られた後処理された視差映像の他の比較例を示す図面である。
Claims (37)
- 連続する２次元映像を３次元映像に変換する２次元連続映像の３次元映像変換装置であって、
所定大きさのブロック単位に分割された現在映像の各ブロックに対して、前映像フレームを用いて動きベクトルを測定するブロック動き測定部と、
前記現在映像の動き特性によって前記各ブロックの動きベクトルから水平視差を得る水平視差生成部と、
前記各ブロックを各々の前記水平視差に基づいて水平方向に移動させて、前記現在映像に対応した合成映像を生成する映像生成部と、
前記現在映像と前記合成映像とからなる３次元映像を表示する出力部とを備える、２次元連続映像の３次元映像変換装置。 - 前記ブロック動き測定部は、
入力された現在ブロックと同じ中心位置を有し、かつ前記現在ブロックより大きいブロックを第２ブロックとするとき、前記前フレーム上の探索領域から前記第２ブロックと類似のブロックを検出し、前記類似のブロックと前記現在ブロックとの中心位置間の差を前記現在ブロックに対する動きとして測定する、請求項１に記載の２次元連続映像の３次元映像変換装置。 - 前記探索領域は少なくとも前記現在ブロックの二倍である、請求項２に記載の２次元連続映像の３次元映像変換装置。
- 前記水平視差生成部は、
前記ブロック動き測定部で測定された前記各ブロックの動きベクトルを水平視差に変換する水平視差変換部と、
前記水平視差変換部で変換された前記水平視差を、所定の制御信号に応答して調整する水平視差調整部と、
前記各ブロックの動きベクトルに基づいて前記現在映像の動き特性を決定し、前記動き特性に基づいて前記制御信号を発生する動き特性決定部と、
を備える、請求項１に記載の２次元連続映像の３次元映像変換装置。 - 前記水平視差変換部は、
前記動きベクトルの大きさを計算し、その値を前記水平視差と見なす、請求項４に記載の２次元連続映像の３次元映像変換装置。 - 前記水平視差調整部は、
前記水平視差変換部で変換された前記水平視差をそのまま出力するかまたは、前記制御信号に応答して前記水平視差を最大水平視差から減算し、その結果を前記各ブロックの水平視差として出力し、
前記最大水平視差は、前記ブロック動き測定部により決定する、請求項４に記載の２次元連続映像の３次元映像変換装置。 - 前記動き特性決定部は、
前記各ブロックの動きベクトルを分析して前記現在映像の全体動きの大きさを所定の基準値と比較し、前記全体動きが前記基準値より大きい場合に前記制御信号を発生し、
前記所定の基準値は、前記現在映像を撮影するカメラが動き、かつ前記現在映像内の主対象物体が動く場合に、前記全体動きの大きさを示す、請求項４に記載の２次元連続映像の３次元映像変換装置。 - 前記映像生成部は、
前記現在映像内における前記全てのブロックの位置を前記各ブロックの水平視差分、一方の水平方向に移動させるブロック水平移動部と、
前記ブロック水平移動部で移動した全てのブロックを合成して前記合成映像を生成するブロック合成部と、
を備える、請求項１に記載の２次元連続映像の３次元映像変換装置。 - 前記映像生成部は、
前記ブロック合成部で生成した前記合成映像において、前記全てのブロックにより満たされない領域を補間するブロック補間部をさらに含む、請求項８に記載の２次元連続映像の３次元映像変換装置。 - 前記出力部は、
前記現在映像と前記合成映像との一方を左側映像信号として出力し、他方を右側映像信号として出力する左／右側映像決定部を備え、
前記左側映像信号は左側の目に対し表され、前記右側映像信号は右側の目に対し表される、請求項１に記載の２次元連続映像の３次元映像変換装置。 - 前記３次元映像変換装置は、
前記現在映像を前記所定大きさのブロック単位に分割して前記ブロック動き測定部に出力する映像ブロック部と、
前記前映像フレームを蓄積し、前記ブロック動き測定部に送出する前フレーム蓄積部とをさらに含む、請求項１に記載の２次元連続映像の３次元映像変換装置。 - 前記３次元映像変換装置は、
前記ブロック動き測定部により測定された各ブロックの動きを周辺ブロックの動きと相関性を有するように正規化する動き正規化部をさらに含む、請求項１に記載の２次元連続映像の３次元映像変換装置。 - 前記動き正規化部は、
前記ブロック動き測定部で測定された現在ブロックの動きの大きさと、前記現在ブロックに隣接したブロックの動きの大きさとを加重平均した値を前記現在ブロックの動きの大きさとする、請求項１２に記載の２次元連続映像の３次元映像変換装置。 - 前記隣接したブロックの各々に対する加重値は、
前記現在ブロックの動きの大きさに対する類似性及び前記現在ブロックからの距離に比例して設定される、請求項１３に記載の２次元連続映像の３次元映像変換装置。 - 前記隣接したブロックの各々に対する加重値は、
前記現在ブロックの動きの大きさに対する類似性及び前記現在ブロックからの距離に比例して設定され、かつ前記現在ブロックに垂直方向に隣接したブロックに対する加重値が、前記現在ブロックに水平方向に隣接したブロックよりさらに大きく設定される、請求項１３に記載の２次元連続映像の３次元映像変換装置。 - 連続する２次元映像を３次元映像に変換する２次元連続映像の３次元映像変換方法であって、
(a) 入力された現在映像を所定大きさのブロック単位に分割する段階と、
(b) 前記現在映像の各ブロックに対し、前映像フレームを用いて動きベクトルを測定する段階と、
(c) 前記現在映像の動き特性に基づいて前記各ブロックの動きベクトルから水平視差を得る段階と、
(d) 前記各ブロックを各々の前記水平視差に基づいて水平方向に移動させ、前記現在映像に対応した合成映像を生成する段階と、
(e) 前記現在映像と前記合成映像とからなる３次元映像をディスプレーする段階とを備える、２次元連続映像の３次元映像変換方法。 - 前記(b)段階は、
(b1)ブロック動きを推定する現在ブロックと同じ中心位置を有し、前記現在ブロックより大きい第２ブロックを前記現在映像から抽出する段階と、
(b2)前記前フレームから探索領域を抽出する段階と、
(b3)前記探索領域から前記第２ブロックと類似のブロックを検出する段階と、
(b4)前記類似のブロックと前記現在ブロックとの中心位置間の差を計算する段階とを備え、 前記中心位置の差を、前記現在ブロックに対する動きとして測定する、請求項１６に記載の２次元連続映像の３次元映像変換方法。 - 前記探索領域は、少なくとも前記現在ブロックの二倍である、請求項１７に記載の２次元連続映像の３次元映像変換方法。
- 前記(c)段階は、
(c1)前記各ブロックの動きベクトルを水平視差に変換する段階と、
(c2)前記現在映像の動き特性を決定する段階と、
(c3)前記動き特性に基づいて前記水平視差を調整する段階とを備える、請求項１６に記載の２次元連続映像の３次元映像変換方法。 - 前記(c1)段階は、
前記動きベクトルの大きさを計算し、その値を前記水平視差とする、請求項１９に記載の２次元連続映像の３次元映像変換方法。 - 前記(c2)段階は、
前記各ブロックの動きベクトルを分析して前記現在映像の全体動きの大きさを所定の基準値と比較し、比較結果に基づいて前記動き特性を決定し、
前記現在映像を撮影するカメラが動き、かつ前記現在映像内の主対象物体が動く場合に、前記所定の基準値は前記全体動きの大きさを示す、請求項１９に記載の２次元連続映像の３次元映像変換装置。 - 前記(c3)段階は、
前記現在映像の全体動きが所定の基準値を超えていない場合、前記(c1)段階で得た前記水平視差をそのまま出力する段階と、
前記現在映像の全体動きが前記所定の基準値を超えていれば、前記水平視差を最大水平視差から減算し、減算結果を前記各ブロックの水平視差として出力する段階とを備え、
前記最大水平視差を前記(b)段階で決定する、請求項２１に記載の２次元連続映像の３次元映像変換方法。 - 前記(d)段階は、
(d1)前記現在映像内の前記全てのブロックの位置を前記各ブロックの水平視差の分、一方の水平方向に移動させる段階と、
(d2)移動した全てのブロックを合成して前記合成映像を生成する段階とを備える、請求項１６に記載の２次元連続映像の３次元映像変換方法。 - 前記(d)段階は、
前記合成映像において前記全てのブロックにより満たされない領域を補間する段階をさらに含む、請求項２３に記載の２次元連続映像の３次元映像変換方法。 - 前記(e)段階は、
前記現在映像と前記合成映像との一方を左側の目に対して表示し、他方を右側の目に対して表示する、請求項１６に記載の２次元連続映像の３次元映像変換方法。 - 前記(b)段階後に、
(b5)正規化する現在ブロックに隣接したブロックの各々に対して、前記現在ブロックとの動きの大きさに対する類似性及び前記現在ブロックからの距離に比例して加重値を設定する段階と、
(b6)前記現在ブロックと前記隣接したブロックとを加重平均する段階と、
(b7)加重平均値を前記現在ブロックの動きベクトルとする段階と、
を備える、請求項１６または請求項１７に記載の２次元連続映像の３次元映像変換方法。 - 前記(b5)〜(b7)段階は下記の数式１を用いて前記現在ブロックの動きを正規化し、
- 前記(b5)〜(b7)段階は下記の数式２を用いて前記現在ブロックの動きを正規化し、
- 前記(b)段階後に、
(b5)正規化する現在ブロックに隣接したブロックの各々に対し、前記現在ブロックとの動きの大きさに対する類似性及び前記現在ブロックからの距離に比例して加重値を設定する段階と、
(b6)前記現在ブロックに垂直方向に隣接したブロックであれば水平方向に隣接したブロックよりさらに大きい加重値を設定する段階と、
(b7)前記現在ブロックと前記隣接したブロックとを加重平均する段階と、
(b8)加重平均値を前記現在ブロックの動きベクトルとする段階と、
を備える、請求項１６または請求項１７に記載の２次元連続映像の３次元映像変換方法。 - 連続する２次元映像を３次元映像に変換する２次元連続映像の３次元映像変換装置であって、
所定大きさのブロック単位に分割された現在映像の各ブロックに対して、前映像フレームを用いて動きベクトルを測定するブロック動き測定部と、
前記現在映像の動き特性に基づいて前記各ブロックの動きベクトルから水平視差を得る水平視差生成部と、
前記各ブロックを各々の前記水平視差に基づいて水平方向に移動させ、前記現在映像に対応する合成映像を生成する映像生成部と、
前記現在映像内の各ブロック単位で有する輝度特性を用い、隣接するブロックが、同一物体を表示しているか否かを判別し、判別結果に従って前記合成映像を後処理する後処理部と、
前記現在映像と前記後処理された合成映像とからなる３次元映像を表示する出力部と、
を備える、２次元連続映像の３次元映像変換装置。 - 連続する２次元映像を用いて３次元映像を生成するシステムに用いられ、現映像の動きを抽出して作られた視差映像を後処理する後処理方法であって、
(a) 所定大きさのブロック単位に分割された前記現映像の各ブロックに対する視差値を、前記視差映像及び最大視差値を用いて求め、全てのブロックに対する視差値からなる視差マップを生成する段階と、
(b) 前記各ブロックに対して垂直方向に隣接するブロックとの輝度特性を比較し、輝度特性が似ているブロックの群をフィルタリングマスクとして決定する段階と、
(c) 前記各ブロックの視差値を、該フィルタリングマスク内のブロックから得た新しい視差値に代え、前記視差マップを修正する段階と、
(d) 前記現映像と前記修正された視差マップとを用い、前記視差映像を再構成する段階と、を備える、３次元映像の後処理方法。 - 前記(a)段階は、
(a1)前記現映像のブロックの大きさと、前記現映像のブロックの動きを前映像で探索する時の探索領域の大きさとを用いて前記最大視差値を計算する段階と、
(a2)入力された現在ブロックに対して、０乃至前記最大視差値間の視差値を代入し、前記現映像と前記視差映像との間の絶対平均誤差を計算する段階と、
(a3)計算された絶対平均誤差が最小となる視差値を、前記現在ブロックの視差値とする段階とを備え、
前記現映像の全てのブロックに対して前記(a2)及び(a3)段階を遂行して前記視差マップを生成する、請求項３１に記載の３次元映像の後処理方法。 - 前記(b)段階は、
(b1)入力された現在ブロックに対し、所定数の隣接するブロックとの輝度特性差を計算する段階と、
(b2)前記現在ブロックと垂直に隣接するブロックとの類似性を検査する段階と、
(b3)前記類似性があれば、前記現在ブロックと前記垂直に隣接するブロックとの各々の位置と視差値とを記憶する段階と、
(b4)前記現在ブロックを前記垂直に隣接するブロックに変更し、再び前記(b2)段階に進行する段階とを備え、
前記現映像の全てのブロックに対して前記(b1)〜(b4)段階を遂行し、各ブロックに対して前記(b3)段階で記憶される前記ブロックの群を、前記フィルタリングマスクに決定する、請求項３１に記載の３次元映像の後処理方法。 - 前記(b1)段階で前記輝度特性差は、
前記現在ブロックと前記隣接するブロックとの間の最小絶対平均誤差である、請求項３３に記載の３次元映像の後処理方法。 - 前記(b3)段階で記憶される前記視差値がない場合、
(d1)前記(b1)段階で計算された前記所定数の隣接するブロックとの輝度特性差を用いて類似性がある少なくとも２個の隣接するブロックを抽出し、抽出されたブロックと前記現在ブロックとの視差値の中で中間視差値を選択する段階と、
(d2)前記中間視差値を前記現在ブロックの視差値とする段階とをさらに含み、
前記現映像でフィルタリングマスクを有しないブロックに対して前記(d1)及び前記(d2)段階を遂行し、前記視差マップを修正する、請求項３３に記載の３次元映像の後処理方法。 - 前記差値は前記(a)段階で生成された前記視差マップを参照して得られる、請求項３３乃至請求項３５中いずれか一つに記載の３次元映像の後処理方法。
- 前記(c)段階は、
(c1)入力された現在ブロックに対するフィルタリングマスク内のブロックを視差値の大きさ順に整列する段階と、
(c2)整列されたブロックの中で中間視差値を抽出し、前記フィルタリングマスク内の全てのブロックの視差値を前記中間視差値に代える段階とを備え、
前記現映像のフィルタリングマスクを有するブロックに対し、前記(c1)及び前記(c2)段階を遂行して前記視差マップを修正する、請求項３１に記載の３次元映像の後処理方法。
Applications Claiming Priority (6)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1019970077734A KR100263935B1 (ko) | 1997-12-30 | 1997-12-30 | 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법 |
| KR1019970077736A KR100292379B1 (ko) | 1997-12-30 | 1997-12-30 | 단안 영상을 이용한 스테레오 영상 생성시의 후처리방법 |
| KR1997P77734 | 1998-01-21 | ||
| KR1019980001722A KR100304662B1 (ko) | 1998-01-21 | 1998-01-21 | 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치 및 방법 |
| KR1998P1722 | 1998-01-21 | ||
| KR1997P77736 | 1998-01-21 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JPH11275604A JPH11275604A (ja) | 1999-10-08 |
| JP4056154B2 true JP4056154B2 (ja) | 2008-03-05 |
Family
ID=27349660
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP37430398A Expired - Lifetime JP4056154B2 (ja) | 1997-12-30 | 1998-12-28 | ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法 |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US6314211B1 (ja) |
| JP (1) | JP4056154B2 (ja) |
| NL (1) | NL1010920C2 (ja) |
Families Citing this family (101)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8396328B2 (en) | 2001-05-04 | 2013-03-12 | Legend3D, Inc. | Minimal artifact image sequence depth enhancement system and method |
| US7907793B1 (en) | 2001-05-04 | 2011-03-15 | Legend Films Inc. | Image sequence depth enhancement system and method |
| KR100307883B1 (ko) * | 1998-04-13 | 2001-10-19 | 박호군 | 정합화소수를이용한유사도측정방법및이를구현하기위한장치 |
| US6674877B1 (en) * | 2000-02-03 | 2004-01-06 | Microsoft Corporation | System and method for visually tracking occluded objects in real time |
| US7254265B2 (en) * | 2000-04-01 | 2007-08-07 | Newsight Corporation | Methods and systems for 2D/3D image conversion and optimization |
| DE10016074B4 (de) * | 2000-04-01 | 2004-09-30 | Tdv Technologies Corp. | Verfahren und Vorrichtung zur Erzeugung von 3D-Bildern |
| US6868191B2 (en) * | 2000-06-28 | 2005-03-15 | Telefonaktiebolaget Lm Ericsson (Publ) | System and method for median fusion of depth maps |
| US8750382B2 (en) * | 2001-01-23 | 2014-06-10 | Kenneth Martin Jacobs | System and method for calculating 3Deeps action specs motion estimation from the motion vectors in an MPEG file |
| US10742965B2 (en) | 2001-01-23 | 2020-08-11 | Visual Effect Innovations, Llc | Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials |
| US9781408B1 (en) | 2001-01-23 | 2017-10-03 | Visual Effect Innovations, Llc | Faster state transitioning for continuous adjustable 3Deeps filter spectacles using multi-layered variable tint materials |
| US9286941B2 (en) | 2001-05-04 | 2016-03-15 | Legend3D, Inc. | Image sequence enhancement and motion picture project management system |
| US8401336B2 (en) | 2001-05-04 | 2013-03-19 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with augmented computer-generated elements |
| US8897596B1 (en) | 2001-05-04 | 2014-11-25 | Legend3D, Inc. | System and method for rapid image sequence depth enhancement with translucent elements |
| DE10128530A1 (de) * | 2001-06-13 | 2002-12-19 | Basf Ag | Kühlmittel für Kühlsysteme in Brennstoffzellenantrieben enthaltend Azolderivate |
| US20050187433A1 (en) * | 2001-07-26 | 2005-08-25 | Given Imaging Ltd. | In-vivo imaging device providing constant bit rate transmission |
| US9113846B2 (en) | 2001-07-26 | 2015-08-25 | Given Imaging Ltd. | In-vivo imaging device providing data compression |
| US6809745B1 (en) * | 2001-10-01 | 2004-10-26 | Adobe Systems Incorporated | Compositing two-dimensional and 3-dimensional images |
| JP5020458B2 (ja) * | 2001-11-24 | 2012-09-05 | フェニックス スリーディー インコーポレイテッド | 二次元画像列からの立体画像列の生成 |
| US7715591B2 (en) * | 2002-04-24 | 2010-05-11 | Hrl Laboratories, Llc | High-performance sensor fusion architecture |
| IL150131A (en) | 2002-06-10 | 2007-03-08 | Rafael Advanced Defense Sys | A method for turning a series of monoscopic images into a series of stereoscopic images |
| WO2004025963A1 (en) * | 2002-09-13 | 2004-03-25 | Karl Storz Imaging, Inc. | Video recording and image capture device |
| KR100751422B1 (ko) * | 2002-12-27 | 2007-08-23 | 한국전자통신연구원 | 스테레오스코픽 비디오 부호화 및 복호화 방법, 부호화 및복호화 장치 |
| IL155175A (en) * | 2003-03-31 | 2012-01-31 | Given Imaging Ltd | A diagnostic device that uses information thinning |
| KR100524077B1 (ko) * | 2003-11-13 | 2005-10-26 | 삼성전자주식회사 | 중간 영상 합성을 위한 시간적 평활화 장치 및 방법 |
| US20050148861A1 (en) * | 2003-11-26 | 2005-07-07 | Vijay Ramanathan | Methods and systems for image selection and display |
| US10251532B2 (en) * | 2004-03-20 | 2019-04-09 | Karl Storz Imaging, Inc. | Method and system for using a variable direction of view endoscope with a robotic endoscope holder |
| FR2870071B1 (fr) | 2004-05-05 | 2006-12-08 | Centre Nat Rech Scient Cnrse | Procede de traitement de donnees d'images, par reduction de bruit d'image, et camera integrant des moyens de mise en oeuvre de ce procede |
| FR2873213A1 (fr) * | 2004-07-13 | 2006-01-20 | Canon Res Ct France S A S Soc | Procede et dispositif d'obtention d'un signal stereoscopique |
| FR2873214B1 (fr) * | 2004-07-13 | 2008-10-10 | Canon Res Ct France S A S Soc | Procede et dispositif d'obtention d'un signal stereoscopique |
| US7602141B2 (en) * | 2004-10-15 | 2009-10-13 | Lifesize Communications, Inc. | Battery operated speakerphone and charging stand |
| US20060232550A1 (en) * | 2005-04-15 | 2006-10-19 | Buckner Nathan C | Integrated mouse in remote control |
| US20060248210A1 (en) * | 2005-05-02 | 2006-11-02 | Lifesize Communications, Inc. | Controlling video display mode in a video conferencing system |
| KR100720722B1 (ko) * | 2005-06-21 | 2007-05-22 | 삼성전자주식회사 | 중간영상 생성방법 및 이 방법이 적용되는 입체영상디스플레이장치 |
| JP5194343B2 (ja) * | 2005-08-08 | 2013-05-08 | 株式会社日立製作所 | 情報再生装置及び情報再生方法 |
| KR100739730B1 (ko) * | 2005-09-03 | 2007-07-13 | 삼성전자주식회사 | 3ｄ 입체 영상 처리 장치 및 방법 |
| EP1768387B1 (en) * | 2005-09-22 | 2014-11-05 | Samsung Electronics Co., Ltd. | Image capturing apparatus with image compensation and method therefor |
| US8125508B2 (en) * | 2006-01-24 | 2012-02-28 | Lifesize Communications, Inc. | Sharing participant information in a videoconference |
| US20070171275A1 (en) * | 2006-01-24 | 2007-07-26 | Kenoyer Michael L | Three Dimensional Videoconferencing |
| US8120638B2 (en) * | 2006-01-24 | 2012-02-21 | Lifesize Communications, Inc. | Speech to text conversion in a videoconference |
| WO2008041167A2 (en) * | 2006-10-02 | 2008-04-10 | Koninklijke Philips Electronics N.V. | Method and filter for recovery of disparities in a video stream |
| CA2627999C (en) * | 2007-04-03 | 2011-11-15 | Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada | Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images |
| US8633962B2 (en) * | 2007-06-22 | 2014-01-21 | Lifesize Communications, Inc. | Video decoder which processes multiple video streams |
| US8139100B2 (en) | 2007-07-13 | 2012-03-20 | Lifesize Communications, Inc. | Virtual multiway scaler compensation |
| KR101336951B1 (ko) * | 2007-11-02 | 2013-12-04 | 삼성전자주식회사 | 휴대 단말기 및 그 파노라마 이미지 촬영 모드 수행 방법 |
| US20090219383A1 (en) * | 2007-12-21 | 2009-09-03 | Charles Gregory Passmore | Image depth augmentation system and method |
| KR101520619B1 (ko) * | 2008-02-20 | 2015-05-18 | 삼성전자주식회사 | 스테레오 동기화를 위한 스테레오스코픽 영상의 시점 결정방법 및 장치 |
| US20110115790A1 (en) * | 2008-08-26 | 2011-05-19 | Enhanced Chip Technology Inc | Apparatus and method for converting 2d image signals into 3d image signals |
| JP5035195B2 (ja) * | 2008-09-25 | 2012-09-26 | Ｋｄｄｉ株式会社 | 画像生成装置及びプログラム |
| US20100110160A1 (en) * | 2008-10-30 | 2010-05-06 | Brandt Matthew K | Videoconferencing Community with Live Images |
| JP2010130495A (ja) * | 2008-11-28 | 2010-06-10 | Toshiba Corp | 立体情報出力装置及び立体情報出力方法 |
| US8456510B2 (en) * | 2009-03-04 | 2013-06-04 | Lifesize Communications, Inc. | Virtual distributed multipoint control unit |
| US8643695B2 (en) * | 2009-03-04 | 2014-02-04 | Lifesize Communications, Inc. | Videoconferencing endpoint extension |
| JP5257248B2 (ja) * | 2009-06-03 | 2013-08-07 | ソニー株式会社 | 画像処理装置および方法、ならびに画像表示装置 |
| KR101631270B1 (ko) * | 2009-06-19 | 2016-06-16 | 삼성전자주식회사 | 의사 난수 필터를 이용한 영상 필터링 방법 및 장치 |
| TWI422213B (zh) * | 2009-07-29 | 2014-01-01 | Mstar Semiconductor Inc | 影像畫面偵測裝置及其方法 |
| US20110025830A1 (en) | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating stereoscopic content via depth map creation |
| WO2011014419A1 (en) | 2009-07-31 | 2011-02-03 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for creating three-dimensional (3d) images of a scene |
| US9380292B2 (en) | 2009-07-31 | 2016-06-28 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for generating three-dimensional (3D) images of a scene |
| EP2293586A1 (en) * | 2009-08-04 | 2011-03-09 | Samsung Electronics Co., Ltd. | Method and system to transform stereo content |
| US9083958B2 (en) * | 2009-08-06 | 2015-07-14 | Qualcomm Incorporated | Transforming video data in accordance with three dimensional input formats |
| US9131279B2 (en) * | 2009-08-06 | 2015-09-08 | Qualcomm Incorporated | Preparing video data in accordance with a wireless display protocol |
| US8629899B2 (en) * | 2009-08-06 | 2014-01-14 | Qualcomm Incorporated | Transforming video data in accordance with human visual system feedback metrics |
| US8350891B2 (en) * | 2009-11-16 | 2013-01-08 | Lifesize Communications, Inc. | Determining a videoconference layout based on numbers of participants |
| JP6013920B2 (ja) | 2010-02-15 | 2016-10-25 | トムソン ライセンシングＴｈｏｍｓｏｎ Ｌｉｃｅｎｓｉｎｇ | ビデオコンテンツを処理するための装置および方法 |
| JP2012009010A (ja) * | 2010-05-25 | 2012-01-12 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法および画像表示装置 |
| EP2393298A1 (en) | 2010-06-03 | 2011-12-07 | Zoltan Korcsok | Method and apparatus for generating multiple image views for a multiview autostereoscopic display device |
| KR101385514B1 (ko) * | 2010-06-08 | 2014-04-16 | 주식회사 에스칩스 | 깊이 맵 정보를 이용한 입체 영상 변환 방법 및 장치 |
| JP2012010212A (ja) * | 2010-06-28 | 2012-01-12 | Casio Comput Co Ltd | 画像表示装置及びプログラム |
| US9344701B2 (en) | 2010-07-23 | 2016-05-17 | 3Dmedia Corporation | Methods, systems, and computer-readable storage media for identifying a rough depth map in a scene and for determining a stereo-base distance for three-dimensional (3D) content creation |
| JP5675197B2 (ja) * | 2010-07-26 | 2015-02-25 | オリンパスイメージング株式会社 | 表示装置 |
| JP2012089931A (ja) * | 2010-10-15 | 2012-05-10 | Sony Corp | 情報処理装置、情報処理方法およびプログラム |
| CN102457738B (zh) * | 2010-11-01 | 2014-08-20 | 深圳Tcl新技术有限公司 | 一种2d图像转3d图像的装置及方法 |
| WO2012061549A2 (en) | 2010-11-03 | 2012-05-10 | 3Dmedia Corporation | Methods, systems, and computer program products for creating three-dimensional video sequences |
| US20120120190A1 (en) * | 2010-11-16 | 2012-05-17 | Hung-Chia Lee | Display device for use in a frame sequential 3d display system and related 3d display system |
| US20120120191A1 (en) * | 2010-11-17 | 2012-05-17 | Hung-Chia Lee | Image processor for use in a frame sequential 3d display system and related 3d display system |
| US8274552B2 (en) | 2010-12-27 | 2012-09-25 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
| US10200671B2 (en) | 2010-12-27 | 2019-02-05 | 3Dmedia Corporation | Primary and auxiliary image capture devices for image processing and related methods |
| US20130120528A1 (en) * | 2011-01-09 | 2013-05-16 | Thomson Licensing | Video processing apparatus and method for detecting a temporal synchronization mismatch |
| US8730232B2 (en) | 2011-02-01 | 2014-05-20 | Legend3D, Inc. | Director-style based 2D to 3D movie conversion system and method |
| US9628769B2 (en) | 2011-02-15 | 2017-04-18 | Thomson Licensing Dtv | Apparatus and method for generating a disparity map in a receiving device |
| US9282321B2 (en) | 2011-02-17 | 2016-03-08 | Legend3D, Inc. | 3D model multi-reviewer system |
| US9407904B2 (en) | 2013-05-01 | 2016-08-02 | Legend3D, Inc. | Method for creating 3D virtual reality from 2D images |
| US9113130B2 (en) | 2012-02-06 | 2015-08-18 | Legend3D, Inc. | Multi-stage production pipeline system |
| US9241147B2 (en) | 2013-05-01 | 2016-01-19 | Legend3D, Inc. | External depth map transformation method for conversion of two-dimensional images to stereoscopic images |
| US9288476B2 (en) | 2011-02-17 | 2016-03-15 | Legend3D, Inc. | System and method for real-time depth modification of stereo images of a virtual reality environment |
| TR201103444A2 (tr) | 2011-04-08 | 2012-10-22 | Vestel Elektron�K Sanay� Ve T�Caret A.�. | 2D imgeden 3D imge oluşturmak için yöntem ve aygıt. |
| GB2490886B (en) * | 2011-05-13 | 2017-07-05 | Snell Advanced Media Ltd | Video processing method and apparatus for use with a sequence of stereoscopic images |
| US20140218488A1 (en) * | 2011-05-17 | 2014-08-07 | Max-Planck-Gesellschaft Zur Forderung Der Wissenschaften E.V | Methods and device for processing digital stereo image content |
| US9113140B2 (en) | 2011-08-25 | 2015-08-18 | Panasonic Intellectual Property Management Co., Ltd. | Stereoscopic image processing device and method for generating interpolated frame with parallax and motion vector |
| US20130176300A1 (en) * | 2012-01-10 | 2013-07-11 | Thomson Licensing | Disparity maps in uniform areas |
| TWI497978B (zh) * | 2012-03-16 | 2015-08-21 | Au Optronics Corp | 立體影像顯示方法 |
| US9007365B2 (en) | 2012-11-27 | 2015-04-14 | Legend3D, Inc. | Line depth augmentation system and method for conversion of 2D images to 3D images |
| US9547937B2 (en) | 2012-11-30 | 2017-01-17 | Legend3D, Inc. | Three-dimensional annotation system and method |
| DE102013100344A1 (de) * | 2013-01-14 | 2014-07-17 | Conti Temic Microelectronic Gmbh | Verfahren zur Bestimmung von Tiefenkarten aus Stereobildern mit verbesserter Tiefenauflösung im Fernbereich |
| US9007404B2 (en) | 2013-03-15 | 2015-04-14 | Legend3D, Inc. | Tilt-based look around effect image enhancement method |
| US9438878B2 (en) | 2013-05-01 | 2016-09-06 | Legend3D, Inc. | Method of converting 2D video to 3D video using 3D object models |
| FR3011429A1 (fr) * | 2013-09-27 | 2015-04-03 | Orange | Codage et decodage video par heritage d'un champ de vecteurs de mouvement |
| US20150381972A1 (en) * | 2014-06-30 | 2015-12-31 | Microsoft Corporation | Depth estimation using multi-view stereo and a calibrated projector |
| US9609307B1 (en) | 2015-09-17 | 2017-03-28 | Legend3D, Inc. | Method of converting 2D video to 3D video using machine learning |
| US10349032B2 (en) * | 2016-09-30 | 2019-07-09 | Veoneer Us, Inc. | Vehicle occupant head positioning system |
| CN113822925B (zh) * | 2021-08-01 | 2023-12-19 | 国网江苏省电力有限公司徐州供电分公司 | 一种异步双目相机的深度估计方法及系统 |
Family Cites Families (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| FR2700654B1 (fr) * | 1993-01-19 | 1995-02-17 | Thomson Csf | Procédé d'estimation de disparité entre les images monoscopiques constituant une image stéréoscopiques. |
| JP2846840B2 (ja) * | 1994-07-14 | 1999-01-13 | 三洋電機株式会社 | ２次元映像から３次元映像を生成する方法 |
| DE69528946T2 (de) * | 1994-09-22 | 2003-10-02 | Sanyo Electric Co | Verfahren zum Umsetzen von zweidimensionalen Bildern in dreidimensionale Bilder |
| US6384859B1 (en) * | 1995-03-29 | 2002-05-07 | Sanyo Electric Co., Ltd. | Methods for creating an image for a three-dimensional display, for calculating depth information and for image processing using the depth information |
| JP3128467B2 (ja) | 1995-04-11 | 2001-01-29 | 三洋電機株式会社 | ２次元映像を３次元映像に変換する方法 |
| US5619256A (en) * | 1995-05-26 | 1997-04-08 | Lucent Technologies Inc. | Digital 3D/stereoscopic video compression technique utilizing disparity and motion compensated predictions |
| KR100335617B1 (ko) | 1995-12-14 | 2002-10-31 | 삼성전자 주식회사 | 3차원 입체영상 합성방법 |
| KR980001746A (ko) | 1996-06-28 | 1998-03-30 | 이정민 | 돌출면부에 손잡이가 형성된 합성수지 병뚜껑 |
| US6043838A (en) * | 1997-11-07 | 2000-03-28 | General Instrument Corporation | View offset estimation for stereoscopic video coding |
-
1998
- 1998-12-28 JP JP37430398A patent/JP4056154B2/ja not_active Expired - Lifetime
- 1998-12-29 US US09/222,713 patent/US6314211B1/en not_active Expired - Lifetime
- 1998-12-30 NL NL1010920A patent/NL1010920C2/nl not_active IP Right Cessation
Also Published As
| Publication number | Publication date |
|---|---|
| NL1010920A1 (nl) | 1999-07-01 |
| NL1010920C2 (nl) | 2000-12-04 |
| JPH11275604A (ja) | 1999-10-08 |
| US6314211B1 (en) | 2001-11-06 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP4056154B2 (ja) | ２次元連続映像の３次元映像変換装置及び方法並びに３次元映像の後処理方法 | |
| JP6027034B2 (ja) | 立体映像エラー改善方法及び装置 | |
| JP7036599B2 (ja) | 奥行き情報を用いて全方向視差を圧縮したライトフィールドを合成する方法 | |
| JP3593466B2 (ja) | 仮想視点画像生成方法およびその装置 | |
| US8867823B2 (en) | Virtual viewpoint image synthesizing method and virtual viewpoint image synthesizing system | |
| US7260274B2 (en) | Techniques and systems for developing high-resolution imagery | |
| JP4939639B2 (ja) | 画像処理装置、画像処理方法、プログラム及び記録媒体 | |
| US20130069942A1 (en) | Method and device for converting three-dimensional image using depth map information | |
| US8421847B2 (en) | Apparatus and method for converting two-dimensional video frames to stereoscopic video frames | |
| KR100517517B1 (ko) | 중간 시점 영상 합성 방법 및 그를 적용한 3ｄ 디스플레이장치 | |
| JP2013527646A5 (ja) | ||
| JPH0927969A (ja) | 複数画像の中間像生成方法及び視差推定方法および装置 | |
| JP2007053621A (ja) | 画像生成装置 | |
| KR100263935B1 (ko) | 운동 시차의 수평 시차로의 변환을 이용한 2차원 연속 영상의 3차원 영상 변환장치 및 방법 | |
| JP5627498B2 (ja) | 立体画像生成装置及び方法 | |
| KR19990057669A (ko) | 가상 스테레오 영상을 이용한 2차원 연속 영상의 3차원 영상 변환 장치 및 방법 | |
| KR101050135B1 (ko) | 광류 정보를 이용한 중간 영상 생성 방법 | |
| US9736456B1 (en) | Two dimensional to three dimensional video conversion | |
| Kim et al. | Object-based stereoscopic conversion of MPEG-4 encoded data | |
| JP5255522B2 (ja) | 表示・撮影装置 | |
| KR100304662B1 (ko) | 2차원 영상 시퀀스를 이용한 스테레오 영상 생성장치 및 방법 | |
| JP5431393B2 (ja) | 立体画像生成装置及び方法 | |
| Ohm et al. | Object-based system for stereoscopic videoconferencing with viewpoint adaptation | |
| Jiang et al. | Synthesis of stereoscopic 3D videos by limited resources of range images | |
| Wu et al. | Directional interpolation for field-sequential stereoscopic video |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050215 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20050301 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20050316 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20071120 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20071211 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20101221 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20111221 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20121221 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20131221 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| EXPY | Cancellation because of completion of term |