JP3971277B2 - 二次元映像の立体化装置及び方法 - Google Patents

二次元映像の立体化装置及び方法 Download PDF

Info

Publication number
JP3971277B2
JP3971277B2 JP2002267343A JP2002267343A JP3971277B2 JP 3971277 B2 JP3971277 B2 JP 3971277B2 JP 2002267343 A JP2002267343 A JP 2002267343A JP 2002267343 A JP2002267343 A JP 2002267343A JP 3971277 B2 JP3971277 B2 JP 3971277B2
Authority
JP
Japan
Prior art keywords
image
filter
shading
unit
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002267343A
Other languages
English (en)
Other versions
JP2003196639A (ja
Inventor
文▲チョル▼ 金
永濬 朴
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Publication of JP2003196639A publication Critical patent/JP2003196639A/ja
Application granted granted Critical
Publication of JP3971277B2 publication Critical patent/JP3971277B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/00—3D [Three Dimensional] image rendering
    • G06T15/50—Lighting effects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G06T11/20—Drawing from basic elements, e.g. lines or circles
    • G06T11/203—Drawing of straight lines or curves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/20—Image enhancement or restoration by the use of local operators

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Image Processing (AREA)
  • Studio Circuits (AREA)

Description

【０００１】
【発明の属する技術分野】
本発明は二次元映像の立体化装置及び方法に係り、さらに詳しくは入力映像の輪郭部にシェーディング（shading）効果を与えることによって立体化映像を生成する装置及び方法に関する。
【０００２】
【従来の技術】
現在幅広く使用されているアドビ（Adobe）社のフォートショップはＲＧＢやＣＩＥ-Ｌａｂフォーマットで作成されたイメージをフィルタリングして二次元イメージを立体化する方式を使用している。しかし、イメージの立体化過程においてユーザーが直接に照明の方向及び利得を調整すべきなので原画像の特性を正しく反映できない問題点がある。また、フィルタリングされたイメージは立体的に表現されるものの白黒イメージで表現されるという短所がある。一方、リヌックス用グラフィックツールであるＧＩＭＰ(GNU Image Manipulation Program)はフォートショップと同一な方式を採択しており、ＲＧＢにフォーマットされたイメージについてだけ立体化が可能である。
【０００３】
このような立体化ツールは原画像に存在する照明効果に基づき原画像を立体化する方式ではなく、ユーザーが照明方向及び利得を選択して原画像から新たなイメージを作り出す方式である。また、ぶれ（blurring）及び雑音防止機能がなく、画像毎に手動で照明方向及び利得を調整すべきなので動映像に対する立体化は不可能であるという短所がある。
【０００４】
【発明が解決しようとする課題】
本発明は前述した課題に鑑みてなされたもので、その目的は二次元の静止映像及び動映像から原映像の照明特性が反映された立体化映像を生成するための装置及び方法を提供するところにある。
【０００５】
【課題を解決するための手段】
前述した技術的課題を達成するための本発明に係る二次元映像の立体化装置は、入力映像から照明方向を推定して前記入力映像に対するシェーディング映像（shading image）を生成する生成部、及び前記入力映像と前記シェーディング映像を合成して立体化映像を出力する合成部と、を有する。
【０００６】
前記生成部は、前記入力映像をそれぞれ違う方向性を有する複数のフィルタによってフィルタリングして前記フィルタそれぞれに対応する基本シェーディング映像を出力するフィルタリング部と、前記基本シェーディング映像それぞれについて正の画素値を抽出する正数抽出部と、前記入力映像の画素値と前記基本シェーディング映像それぞれについて抽出された前記正の画素値の差異値を算出する減算部と、それぞれの前記基本シェーディング映像について算出された前記差異値の平均値を算出する平均値計算部と、前記平均値が最小の前記基本シェーディング映像を出力する前記フィルタを選択するフィルタ選択部を備え、前記フィルタリング部は前記フィルタ選択部で選択された前記フィルタによって前記入力映像をフィルタリングして前記シェーディング映像を出力する。
【０００７】
前記フィルタリング部はそれぞれ違う方向性を有する複数のフィルタ係数が保存されるフィルタ保存部と、前記入力映像を複数の前記フィルタ係数について順次にフィルタリングして前記フィルタ係数それぞれに対応する基本シェーディング映像を出力するフィルタ部を有する。
【０００８】
前記生成部は前記入力映像について前記フィルタ選択部で選択された前記フィルタと以前に選択された前記フィルタが違う場合に前記入力映像に対する最小平均値と前記入力映像の以前に入力された少なくとも一つ以上の映像に対する前記最小平均値との差が所定の基準値以下ならば既存のフィルタを維持するよう制御するフィルタ調節部をさらに備える。
【０００９】
前記フィルタ調節部は前記フィルタ選択部から前記入力映像及び前記入力映像以前に入力された映像に対する前記最小平均値を入力され保存する最小平均値保存部と、前記フィルタ選択部から選択された前記フィルタと以前に選択された前記フィルタが違う場合に前記入力映像の最小平均値と前記入力映像の以前に入力された少なくとも一つ以上の映像に対する前記最小平均値との差が所定の基準値以下ならば既存のフィルタを維持させる制御信号を出力する比較部と、を有する。
【００１０】
望ましくは、本発明に係る二次元映像の立体化装置は、前記シェーディング映像の画質を改善する画質改善部を備える。前記画質改善部は、前記シェーディング映像から雑音信号を除去する雑音除去部と、雑音が除去された前記シェーディング映像を拡散時はぶれ部と、前記シェーディング映像のシェーディング対比値を調整する利得調節部と、を有する。
【００１１】
前記雑音除去部は前記シェーディング映像の高周波領域で発生する前記雑音信号を除去するフィルタであることが望ましい。また、前記ぶれ部は前記シェーディング映像を水平及び/または垂直に拡散させる５タブ低域通過フィルタであることが望ましい。
【００１２】
望ましくは、本発明に係る二次元映像の立体化装置は、前記立体化映像が表示可能な色領域を外れる場合に前記立体化映像を表示可能な前記色領域内に変換するマッピング部をさらに備える。前記マッピング部は前記立体化映像の輝度及び彩度を前記色領域の境界色と最も近接した輝度及び彩度に変換する。
【００１３】
一方、二次元映像の立体化方法は、入力映像から照明方向を推定して前記映像に対するシェーディング映像を生成する段階と、前記入力映像と前記シェーディング映像映像を合成して立体化映像を出力する段階と、を備える。
【００１４】
前記生成段階は、前記入力映像をそれぞれ違う方向性を有する複数のフィルタによってフィルタリングして前記フィルタそれぞれに対応する基本シェーディング映像を出力する段階と、前記基本シェーディング映像それぞれについて正の画素値を抽出する段階と、前記入力映像の画素値と前記基本シェーディング映像それぞれについて抽出された前記正の画素値の差異値を算出する段階と、それぞれの前記基本シェーディング映像について算出された前記差異値の平均値を算出する段階と、前記平均値が最小の前記基本シェーディング映像を出力する前記フィルタを選択する段階と、選択された前記フィルタによって前記入力映像をフィルタリングして前記シェーディング映像を出力する段階と、を備える。
【００１５】
前記基本シェーディング映像出力段階は前記入力映像をそれぞれ違う方向性を有する複数のフィルタ係数について順次にフィルタリングして前記フィルタ係数それぞれに対応する基本シェーディング映像を出力することが望ましい。
【００１６】
前記生成段階は、前記入力映像について前記フィルタ選択部で選択された前記フィルタと以前に選択された前記フィルタが違う場合に前記入力映像に対する最小平均値と前記入力映像の以前に入力された少なくとも一つ以上の映像に対する前記最小平均値との差が所定の基準値以下ならば既存のフィルタを維持するよう制御する段階をさらに備える。
【００１７】
本発明に係る二次元映像の立体化方法は、前記合成段階前に、前記シェーディング映像の画質を改善する段階をさらに備えることが望ましい。前記画質改善段階は、前記シェーディング映像から雑音信号を除去する段階と、雑音が除去された前記シェーディング映像を拡散させる段階と、前記シェーディング映像のシェーディング対比値を調整する段階と、を有する。前記雑音除去段階は前記シェーディング映像の高周波領域で発生する前記雑音信号を除去する。また、前記拡散段階は前記シェーディング映像を水平及び/または垂直に拡散させる。
【００１８】
本発明に係る二次元映像の立体化方法は、前記立体化映像が表示可能な色領域を外れる場合に前記立体化映像を表示可能な前記色領域内に変換する段階をさらに備えることが望ましい。前記変換段階は前記立体化映像の輝度及び彩度を前記色領域の境界色と最も近接した輝度及び彩度に変換する。
【００１９】
これにより、入力映像の照明方向によって相異なるフィルタを使用して生成されたシェーディング映像と入力映像を合成することによって簡単に立体化映像を生成することができる。ひいては、入力映像の照明方向によるフィルタの選択時以前映像について選択されたフィルタを考慮することによって、動映像に対する立体化映像の生成が可能である。
【００２０】
【発明の実施の形態】
以下、添付した図面に基づき本発明に係る二次元映像の立体化装置及び方法を詳述する。各図面において同一な参照番号は同一な構成要素を示す。
図１は本発明に係る二次元映像の立体化装置に対する望ましい実施例の構成を示したブロック図であり、図６は本発明に係る二次元映像の立体化方法の流れ図である。
【００２１】
図１及び図６を参照すれば、本発明に係る二次元映像の立体化装置１００は、生成部１１０、画質改善部１２０、加算部１３０、及びマッピング部１４０を有する。
【００２２】
生成部１１０は入力映像Ｉ(ｘ、ｙ)から照明方向を推定して入力映像に対するシェーディング映像Ｆｓｅｌ(ｘ、ｙ)を生成する。
生成部１１０の詳細な構成は図２に示されている。図２を参照すれば、生成部１１０はフィルタリング部２００、正数抽出部２１０、減算部２２０、平均値計算部２３０、フィルタ選択部２４０、及びフィルタ調節部２５０を有する。
【００２３】
フィルタリング部２００は入力映像を複数のフィルタ係数についてフィルタリングしてそれぞれのフィルタ係数に対応する基本シェーディング映像を出力する(Ｓ４００)。フィルタリング部２００はフィルタ保存部２０２及びフィルタ部２０４を備える。フィルタ保存部２０２にはそれぞれ違う方向性を有するフィルタ係数が保存される。フィルタ部２０４はフィルタ保存部２０２から順次にフィルタ係数を選択して入力映像をフィルタリングして基本シェーディング映像を出力する。
【００２４】
これとは違って、図３に示した通り、フィルタリング部２００はそれぞれ違う方向性を有するフィルタ２００-１ないし２００-ｎで構成されうる。この場合、入力映像はそれぞれのフィルタ２００-１ないし２００-ｎに入力される。それぞれのフィルタ２００-１ないし２００-ｎは図２を参照して説明したフィルタ保存部２０２に保存されているフィルタ係数によるフィルタリング動作を行なう。フィルタ２００-１ないし２００-ｎは一般の二次元帯域通過フィルタまたは高域通過フィルタが使用される。フィルタ保存部２０２に保存されるフィルタ係数はそれぞれのフィルタ２００-１ないし２００-ｎの特性値である。図３に示した他の構成要素の動作は図２に示した同一な参照番号の構成要素の動作と同一である。
【００２５】
図４には二次元帯域通過フィルタに当たる畳み込みフィルタのフィルタ係数及び各行列に対する照明方向が示されている。フィルタリングされた映像の照明方向はフィルタ定数(-１、１)の対称的位置によって決まる。フィルタの次元が３×３の場合総８方向のフィルタ２００-１ないし２００-ｎを構成することができ、このようなフィルタに対するフィルタ係数がフィルタ保存部２０２に保存される。
【００２６】
入力映像の立体感を極大化するためには入力映像に内包されている照明方向と同じ方向性を有するフィルタを選択すべきである。フィルタ部２０４はフィルタ保存部２０２に保存されているフィルタ係数を順次に選択し、これを入力映像に印加してフィルタリングされた信号Ｆｉ(ｘ、ｙ)を出力する。フィルタリング部２００が複数のフィルタ２００-１ないし２００-ｎで構成されている場合、入力映像は順次にまたは同時にそれぞれのフィルタ２００-１ないし２００-ｎに入力される。
【００２７】
３×３畳み込みフィルタ行列Ｅｉによってフィルタリングされた入力映像Ｉ(ｘ、ｙ)に対する基本シェーディング映像Ｆｉ(ｘ、ｙ)の関係は次の式を満足する。
【００２８】
【数１】
Figure 0003971277
【００２９】
ここで、(ｘ、ｙ)は垂直及び水平軸上におけるピクセルの位置である。
【００３０】
正数抽出部２１０は基本シェーディング映像それぞれについて正の画素値を抽出する(Ｓ４０５)。使用されるフィルタ係数またはフィルタ２００-１ないし２００―ｎの特性上入力映像の輪郭の前後または上下で最大の正数または負数信号を有する基本シェーディング映像が生成される。一般に入力映像の照明方向と一致するフィルタ係数またはフィルタ２００-１ないし２００-ｎによって生成された基本シェーディング映像の正数出力部分に対する入力映像の輝度信号が負数出力部分に対する入力映像の輝度信号より高い。すなわち、入力映像の画素信号でそれに該当する基本シェーディング映像は減算信号の全体エネルギーが小さいほど照明方向とあてはまるフィルタ係数またはフィルタと言える。
【００３１】
減算部２２０は入力映像の画素値と基本シェーディング映像それぞれについて抽出された正の画素値の差異値を算出する(Ｓ４１０)。減算部２２０の出力信号Ｍｄｉｆは次の式によって得られる。
【００３２】
【数２】
Figure 0003971277
【００３３】
平均値計算部２３０は次の数式によってそれぞれの基本シェーディング映像について算出された差異値の平均値Ｍｉを算出する(Ｓ４１５)。
【００３４】
【数３】
Figure 0003971277
【００３５】
[数２]及び[数３]においてＰ、Ｑはそれぞれ水平及び垂直方向の画素数であり、Ｆｉ、ｐｏｓは正数抽出部２１０から出力される信号である。
【００３６】
フィルタ選択部２４０は平均値が最小の基本シェーディング映像を出力するフィルタ係数またはフィルタを選択する(Ｓ４２０)。フィルタ選択部２４０で選択されたフィルタ係数またはフィルタが入力映像の照明方向と一致するフィルタ係数またはフィルタである。もし、図２に示したようなフィルタリング部２００が適用されれば、フィルタ選択部２４０はフィルタ部２０４に入力映像の照明方向と一致するフィルタ係数のインデックスを選択させる信号を出力する。これとは違って、図３に示したようなフィルタリング部２００が適用されれば、フィルタ選択部２４０はフィルタリング部２００に入力映像の照明方向と一致するフィルタを選択させる信号を出力する。この場合、フィルタリング部２００にはマルチプレクサまたはスイッチが備えられてフィルタ選択部２４０の制御信号に応じてそれぞれのフィルタ２００-１ないし２００-ｎから出力される基本シェーディング信号のうちいずれか一つを選択して出力するようにすることもできる。
【００３７】
一方、生成部１１０はフィルタ調節部２５０をさらに備える。入力映像の照明方向推定時前後フレーム間のイメージが全体的に極めて似ているが、度々テキスト挿入または雑音などによって以前フレームとは違う方向性のフィルタが選択される場合が発生する。このような現象は動映像において特に問題になり、イメージの種類に応じて度々観察者をして出力イメージ間でジッター現象を感じさせる。フィルタ調節部２５０はこのような現象について適応的に対処するための構成要素である。
【００３８】
フィルタ調節部２５０は、入力映像についてフィルタ選択部２４０で選択されたフィルタ係数またはフィルタが以前に選択されたフィルタ係数またはフィルタと違う場合にフィルタ係数またはフィルタを変更するか否かを決定する。フィルタ調節部２５０は最小平均値保存部２５２及び比較部２５４を有する。最小平均値保存部２５２はフィルタ選択部２４０から入力された入力映像及び入力映像以前に入力された映像に対する最小平均値を保存する。
【００３９】
比較部２５４は以前に入力された映像について選択されたフィルタ係数のインデックスまたはフィルタの識別情報と現在の入力映像について選択されたフィルタ係数のインデックスまたはフィルタの識別情報を比較する(Ｓ４２５)。比較部２５４はフィルタ係数のインデックスまたはフィルタの識別情報が相異なると現在の入力映像に対する最小平均値と以前に入力された映像に対する最小平均値の差が基準値を越えるかを判断する(Ｓ４３０)。最小平均値の差が基準値を越える場合、著しい画像の変化があると判断して現在の入力映像について選択されたフィルタ係数またはフィルタを選択する(Ｓ４４０)。これとは違って、最小平均値の差が基準値以下ならば以前に選択されたフィルタ係数またはフィルタを維持する(Ｓ４４５)。
【００４０】
フィルタリング部２００は、フィルタ調節部４５０によって決定されたフィルタ係数またはフィルタによって入力映像をフィルタリングしてシェーディング映像を生成する(Ｓ４４５)。
【００４１】
画質改善部１２０は生成部１１０から出力されるシェーディング映像の画質を改善する(Ｓ４５０)。画質改善部１２０は雑音除去部１２２、ぶれ部１２４及び利得調節部１２６を有する。
【００４２】
雑音除去部１２２はシェーディング映像の高周波領域で発生する雑音信号を除去するフィルタで構成される。ぶれ部１２４は雑音が除去されたシェーディング映像を拡散させる。ぶれ部１２４は二次元ぶれを通してシェーディング信号を拡散させたり水平及び垂直方向それぞれに対する分離ぶれを通してシェーディング信号を拡散させる。ぶれ部１２４は５タブ低域通過フィルタ(１、２、３、２、１)が用いられ、場合によって他の種類のフィルタ使用が可能である。
【００４３】
画質改善前のシェーディング映像と雑音除去部１２２及びぶれ部１２４を通して画質が改善されたシェーディング映像Ｆｐ(ｘ、ｙ)は次の式を満足する。
【００４４】
【数４】
Figure 0003971277
【００４５】
利得調節部１２６は画質改善されたシェーディング映像のシェーディング対比値を調整する。合成部１３０は入力映像とシェーディング映像映像を合成して立体化映像を出力する(Ｓ４５５)。合成部１３０から出力される最終的な立体化映像は次の式を満足する。
【００４６】
【数５】
Figure 0003971277
【００４７】
ここで、ｇは利得率である。
【００４８】
マッピング部１４０は立体化映像が表示可能な色領域を外れる場合に立体化映像を表示可能な色領域内に変換する(Ｓ４６０)。合成部１３０から出力される立体化映像Ｏ＊(ｘ、ｙ)が表示装置の信号範囲を越える場合が発生する恐れがある。この場合、単純に立体化映像をクリッピングする場合映像が所望しない色にマッピングされ入力映像の色と不調和をなす。マッピング部１４０は立体化映像が表示装置の信号範囲を越える場合、その色の色相(Hue)は維持し、輝度Ｄｙと彩度Ｄｃを適当に加減することによって表示装置の色領域の境界色のうち最も類似した近似色を探してくれる。図５には色相が同一な場合にＹＣｂＣｒ形式の入力映像に対する変換原理が示されている。
【００４９】
本発明に係る二次元イメージの立体化装置及び方法は、ＲＧＢ、ＹＣｂＣｒ、ＹＩＱ、ＹＵＶ、ＣＩＥ-Ｌａｂ、ＣＩＥ-ＬＵＶなどに変換された全ての映像に適用可能である。但し、入力映像がＲＧＢ形式の場合は３チャネル全て適用すべきである一方、その他の映像、すなわちＹＣｂＣｒのように輝度Ｙ及び二つの色彩Ｃｂ、Ｃｒで表現された映像の場合は輝度信号(ＹやＬ-成分)だけでマッピング部１４０に入力される映像を生成し、マッピング時は信号の色彩成分(例えば、ＹＣｂＣｒの場合Ｃｂ、ＣＲ)がさらに求められる。
【００５０】
【発明の効果】
以上述べた通り、本発明に係る二次元映像の立体化装置及び方法によれば、入力映像の照明方向によって相異なるフィルタを使用して生成されたシェーディング映像を入力映像と合成することによって簡単に立体化映像を生成することができる。また、入力映像の照明方向によるフィルタの選択時以前映像について選択されたフィルタを考慮することによって、動き映像に対する立体化映像の生成が可能である。
【００５１】
以上代表的な実施の形態を通して本発明について詳細に説明したが、本発明の属する技術分野において通常の知識を持つ者は前述した実施の形態について本発明の範疇を逸脱しない範囲内で多様な変形が可能であることが理解できろう。従って、本発明の権利範囲は説明された実施の形態に限られてはいけなく、特許請求の範囲だけではなく本特許請求の範囲と均等なものによって定められるべきである。
【図面の簡単な説明】
【図１】 本発明に係る二次元映像の立体化装置に対する望ましい実施の形態の構成を示したブロック図
【図２】 本発明に係る二次元映像の立体化装置に備えられる生成部の詳細な構成を示したブロック図
【図３】 本発明に係る二次元映像の立体化装置に備えられる生成部の他の実施例に対する詳細な構成を示したブロック図
【図４】 二次元帯域通過フィルタに該当する畳み込みフィルタのフィルタ係数及び各行列に対する照明方向を示した図
【図５】 色相が同一な場合にＹＣｂＣｒ形式の入力映像に対する変換原理を示した図
【図６】 本発明に係る二次元映像の立体化方法の流れ図
【符号の説明】
１００ 立体化装置
１１０ 生成部
１２０ 画質改善部
１３０ 加算部
１４０ マッピング部
２００ フィルタリング部
２０２ フィルタ保存部
２１０ 正数抽出部
２２０ 減算部
２３０ 平均値計算部
２４０ フィルタ選択部
２５０ フィルタ調節部

Claims (21)

  1. 入力映像をそれぞれ違う方向性を有する複数のフィルタによってフィルタリングして基本シェーディング映像を生成し、前記入力映像の画素値と前記基本シェーディング映像の画素値との差異値の平均値が最小である前記基本シェーディング映像を出力する前記フィルタを選択し、前記選択されたフィルタによって前記入力映像から照明方向を推定して前記入力映像に対するシェーディング映像を生成する生成部と、前記入力映像と前記シェーディング映像を合成して立体化映像を出力する合成部と、を備えることを特徴とする二次元映像の立体化装置。
  2. 前記生成部は、前記入力映像をそれぞれ違う方向性を有する複数のフィルタによってフィルタリングして前記フィルタそれぞれに対応する基本シェーディング映像を出力するフィルタリング部と、前記基本シェーディング映像それぞれについて正の画素値を抽出する正数抽出部と、前記入力映像の画素値と前記基本シェーディング映像それぞれについて抽出された前記正の画素値の差異値を算出する減算部と、それぞれの前記基本シェーディング映像について算出された前記差異値の平均値を算出する平均値計算部と、前記平均値が最小の前記基本シェーディング映像を出力する前記フィルタを選択するフィルタ選択部を備え、前記フィルタリング部は前記フィルタ選択部で選択された前記フィルタによって前記入力映像をフィルタリングして前記シェーディング映像を出力することを特徴とする請求項１に記載の二次元映像の立体化装置。
  3. 前記フィルタリング部は、それぞれ違う方向性を有する複数のフィルタ係数が保存されるフィルタ保存部と、前記入力映像を複数の前記フィルタ係数について順次にフィルタリングして前記フィルタ係数それぞれに対応する基本シェーディング映像を出力するフィルタ部と、を備えることを特徴とする請求項２に記載の二次元映像の立体化装置。
  4. 前記生成部は、前記入力映像について前記フィルタ選択部で選択された前記フィルタと以前に選択された前記フィルタが違う場合に前記入力映像に対する最小平均値と前記入力映像の以前に入力された少なくとも一つ以上の映像に対する前記最小平均値との差が所定の基準値以下ならば既存のフィルタを維持するよう制御するフィルタ調節部をさらに備えることを特徴とする請求項２に記載の二次元映像の立体化装置。
  5. 前記フィルタ調節部は、前記フィルタ選択部から前記入力映像及び前記入力映像以前に入力された映像に対する前記最小平均値を入力され保存する最小平均値保存部と、前記フィルタ選択部から選択された前記フィルタと以前に選択された前記フィルタが違う場合に前記入力映像の最小平均値と前記入力映像の以前に入力された少なくとも一つ以上の映像に対する前記最小平均値との差が所定の基準値以下ならば既存のフィルタを維持するようにする制御信号を出力する比較部と、を備えることを特徴とする請求項４に記載の二次元映像の立体化装置。
  6. 前記シェーディング映像の画質を改善する画質改善部をさらに備えることを特徴とする請求項１に記載の二次元映像の立体化装置。
  7. 前記画質改善部は、前記シェーディング映像から雑音信号を除去する雑音除去部と、雑音が除去された前記シェーディング映像を拡散させるぶれ部と、及び前記シェーディング映像のシェーディング対比値を調整する利得調節部と、を備えることを特徴とする請求項６に記載の二次元映像の立体化装置。
  8. 前記雑音除去部は、前記シェーディング映像の高周波領域で発生する前記雑音信号を除去するフィルタであることを特徴とする請求項７に記載の二次元映像の立体化装置。
  9. 前記ぶれ部は、前記シェーディング映像を水平及び/または垂直に拡散させる５タブ低域通過フィルタであることを特徴とする請求項７に記載の二次元映像の立体化装置。
  10. 前記立体化映像が表示可能な色領域を外れる場合に前記立体化映像を表示可能な前記色領域内に変換するマッピング部をさらに備えることを特徴とする請求項１に記載の二次元映像の立体化装置。
  11. 前記マッピング部は、前記立体化映像の輝度及び彩度を前記色領域の境界色と最も近接した輝度及び彩度に変換することを特徴とする請求項１０に記載の二次元映像の立体化装置。
  12. 入力映像をそれぞれ違う方向性を有する複数のフィルタによってフィルタリングして基本シェーディング映像を生成し、前記入力映像の画素値と前記基本シェーディング映像の画素値との差異値の平均値が最小である前記基本シェーディング映像を出力する前記フィルタを選択し、前記選択されたフィルタによって前記入力映像から照明方向を推定して前記映像に対するシェーディング映像を生成する段階と、前記入力映像と前記シェーディング映像を合成して立体化映像を出力する段階と、を備えることを特徴とする二次元映像の立体化方法。
  13. 前記生成段階は、前記入力映像をそれぞれ違う方向性を有する複数のフィルタによってフィルタリングして前記フィルタそれぞれに対応する基本シェーディング映像を出力する段階と、前記基本シェーディング映像それぞれについて正の画素値を抽出する段階と、前記入力映像の画素値と前記基本シェーディング映像それぞれについて抽出された前記正の画素値との差異値を算出する段階と、それぞれの前記基本シェーディング映像について算出された前記差異値の平均値を算出する段階と、前記平均値が最小の前記基本シェーディング映像を出力する前記フィルタを選択する段階と、選択された前記フィルタによって前記入力映像をフィルタリングして前記シェーディング映像を出力する段階と、を備えることを特徴とする請求項１２に記載の二次元映像の立体化方法。
  14. 前記基本シェーディング映像出力段階は、前記入力映像をそれぞれ違う方向性を有する複数のフィルタ係数について順次にフィルタリングして前記フィルタ係数それぞれに対応する基本シェーディング映像を出力することを特徴とする請求項１３に記載の二次元映像の立体化方法。
  15. 前記生成段階は、前記入力映像について前記フィルタ選択部で選択された前記フィルタと以前に選択された前記フィルタと違う場合に前記入力映像に対する最小平均値と前記入力映像の以前に入力された少なくとも一つ以上の映像に対する前記最小平均値との差が所定の基準値以下ならば既存のフィルタを維持するよう制御する段階をさらに備えることを特徴とする請求項１３に記載の二次元映像の立体化方法。
  16. 前記合成段階前、前記シェーディング映像の画質を改善する段階をさらに備えることを特徴とする請求項１２に記載の二次元映像の立体化方法。
  17. 前記画質改善段階は、前記シェーディング映像から雑音信号を除去する段階と、雑音が除去された前記シェーディング映像を拡散させる段階と、前記シェーディング映像のシェーディング対比値を調整する段階と、を備えることを特徴とする請求項１６に記載の二次元映像の立体化方法。
  18. 前記雑音除去段階は、前記シェーディング映像の高周波領域で発生する前記雑音信号を除去することを特徴とする請求項１７に記載の二次元映像の立体化方法。
  19. 前記拡散段階は、前記シェーディング映像を水平及び/または垂直に拡散させることを特徴とする請求項１７に記載の二次元映像の立体化方法。
  20. 前記立体化映像が表示可能な色領域を外れる場合、前記立体化映像を表示可能な前記色領域内に変換する段階をさらに備えることを特徴とする請求項１２に記載の二次元映像の立体化方法。
  21. 前記変換段階は、前記立体化映像の輝度及び彩度を前記色領域の境界色と最も近接した輝度及び彩度に変換することを特徴とする請求項２０に記載の二次元映像の立体化方法。
JP2002267343A 2001-12-11 2002-09-12 二次元映像の立体化装置及び方法 Expired - Fee Related JP3971277B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR2001-078255 2001-12-11
KR10-2001-0078255A KR100450836B1 (ko) 2001-12-11 2001-12-11 이차원 영상의 입체화 장치 및 방법

Publications (2)

Publication Number Publication Date
JP2003196639A JP2003196639A (ja) 2003-07-11
JP3971277B2 true JP3971277B2 (ja) 2007-09-05

Family

ID=19716894

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002267343A Expired - Fee Related JP3971277B2 (ja) 2001-12-11 2002-09-12 二次元映像の立体化装置及び方法

Country Status (4)

Country Link
US (1) US7319798B2 (ja)
JP (1) JP3971277B2 (ja)
KR (1) KR100450836B1 (ja)
CN (1) CN100530245C (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013080439A1 (ja) * 2011-11-28 2013-06-06 パナソニック株式会社 立体画像処理装置及び立体画像処理方法

Families Citing this family (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20040018858A (ko) * 2002-08-27 2004-03-04 한국전자통신연구원 시각 피로 감소를 위한 스테레오 영상의 초점심도 조정장치 및 그 방법
US7095409B2 (en) * 2003-04-30 2006-08-22 Pixar Shot shading method and apparatus
KR100607072B1 (ko) * 2004-06-21 2006-08-01 최명렬 2차원 영상신호를 3차원 영상신호로 변환하는 장치 및 방법
US8464175B2 (en) * 2004-12-09 2013-06-11 Microsoft Corporation Journal display having three dimensional appearance
KR100642499B1 (ko) * 2005-12-02 2006-11-10 주식회사 애트랩 광 네비게이션 장치 및 이의 동작 방법
KR100769195B1 (ko) * 2006-02-09 2007-10-23 엘지.필립스 엘시디 주식회사 액정 표시장치의 구동장치 및 구동방법
US8164594B2 (en) 2006-05-23 2012-04-24 Panasonic Corporation Image processing device, image processing method, program, storage medium and integrated circuit
KR100873638B1 (ko) 2007-01-16 2008-12-12 삼성전자주식회사 영상 처리 방법 및 장치
CA2627999C (en) * 2007-04-03 2011-11-15 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry Through The Communications Research Centre Canada Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
US8599247B2 (en) * 2008-01-30 2013-12-03 Samsung Electronics Co., Ltd. Stereoscopic image system employing an electronic controller which controls the polarization plane rotator in synchronization with an output image of the display device
US8259992B2 (en) * 2008-06-13 2012-09-04 International Business Machines Corporation Multiple audio/video data stream simulation method and system
US8289318B1 (en) 2008-08-29 2012-10-16 Adobe Systems Incorporated Determining three-dimensional shape characteristics in a two-dimensional image
KR20100099896A (ko) 2009-03-04 2010-09-15 삼성전자주식회사 메타데이터 생성 방법 및 장치, 그 메타데이터를 이용하여 영상을 처리하는 방법 및 장치
US8311355B2 (en) * 2009-06-05 2012-11-13 Apple Inc. Skin tone aware color boost for cameras
KR101701342B1 (ko) 2009-08-14 2017-02-01 삼성전자주식회사 적응적인 루프 필터링을 이용한 비디오의 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US8488663B2 (en) * 2009-09-23 2013-07-16 Maxlinear, Inc. Impulse noise mitigation under out-of-band interference conditions
KR101845231B1 (ko) * 2011-06-14 2018-04-04 삼성전자주식회사 영상 처리 장치 및 방법
US9164723B2 (en) * 2011-06-30 2015-10-20 Disney Enterprises, Inc. Virtual lens-rendering for augmented reality lens
JP5983373B2 (ja) * 2012-12-07 2016-08-31 富士通株式会社 画像処理装置、情報処理方法及びプログラム
CN107801015A (zh) * 2017-10-19 2018-03-13 成都旭思特科技有限公司 基于低通滤波器的图像处理方法

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4695130A (en) * 1983-09-30 1987-09-22 Antonio Medina Camera flash attachment for three dimensional imaging systems
US4896150A (en) * 1988-04-18 1990-01-23 Brotz Gregory R Three-dimensional imaging system
US5136390A (en) * 1990-11-05 1992-08-04 Metavision Corporation Adjustable multiple image display smoothing method and apparatus
US6347163B2 (en) * 1994-10-26 2002-02-12 Symbol Technologies, Inc. System for reading two-dimensional images using ambient and/or projected light
US5408537A (en) * 1993-11-22 1995-04-18 At&T Corp. Mounted connector pin test using image processing
US5500684A (en) * 1993-12-10 1996-03-19 Matsushita Electric Industrial Co., Ltd. Chroma-key live-video compositing circuit
US5796426A (en) * 1994-05-27 1998-08-18 Warp, Ltd. Wide-angle image dewarping method and apparatus
JP3630187B2 (ja) 1995-03-13 2005-03-16 カシオ計算機株式会社 画像処理装置、及び、画像処理方法
US5870097A (en) * 1995-08-04 1999-02-09 Microsoft Corporation Method and system for improving shadowing in a graphics rendering system
US6016150A (en) * 1995-08-04 2000-01-18 Microsoft Corporation Sprite compositor and method for performing lighting and shading operations using a compositor to combine factored image layers
JP3203160B2 (ja) * 1995-08-09 2001-08-27 三菱電機株式会社 ボリューム・レンダリング装置及び方法
US5737031A (en) * 1996-07-30 1998-04-07 Rt-Set System for producing a shadow of an object in a chroma key environment
WO1998004087A1 (fr) * 1996-07-18 1998-01-29 Sanyo Electric Co., Ltd. Dispositif et procede pour convertir des signaux video bidimensionnels en signaux video tridimensionnels
US6115022A (en) * 1996-12-10 2000-09-05 Metavision Corporation Method and apparatus for adjusting multiple projected raster images
NO304715B1 (no) * 1997-05-06 1999-02-01 Dimensions As FremgangsmÕte ved bildebehandling
US5993001A (en) * 1997-06-05 1999-11-30 Joslin Diabetes Center, Inc. Stereoscopic imaging system for retinal examination with remote examination unit
US6771264B1 (en) * 1998-08-20 2004-08-03 Apple Computer, Inc. Method and apparatus for performing tangent space lighting and bump mapping in a deferred shading graphics processor
US6078638A (en) * 1998-09-30 2000-06-20 Siemens Corporate Research, Inc. Pixel grouping for filtering cone beam detector data during 3D image reconstruction
US6342885B1 (en) * 1998-11-12 2002-01-29 Tera Recon Inc. Method and apparatus for illuminating volume data in a rendering pipeline
KR100321897B1 (ko) * 1998-12-22 2002-05-13 박남은 입체영상이미지변환방법및그장치
KR100464796B1 (ko) * 1999-11-24 2005-01-05 이배근 입체영상 제작방법
US6441817B1 (en) * 1999-11-29 2002-08-27 Xerox Corporation Methods and apparatuses for performing Z-buffer granularity depth calibration in graphics displays of three-dimensional scenes
JP4501205B2 (ja) * 2000-02-08 2010-07-14 日亜化学工業株式会社 画像表示装置の補正システムおよび補正方法
KR100360487B1 (ko) * 2000-02-28 2002-11-13 삼성전자 주식회사 2차원 얼굴 영상의 3차원 얼굴 모델로의 텍스쳐 매핑 방법및 그 장치
US6757888B1 (en) * 2000-09-08 2004-06-29 Corel Inc. Method and apparatus for manipulating data during automated data processing
US6487432B2 (en) * 2000-12-04 2002-11-26 Ge Medical Systems Global Technologies Company Llc Method and system for selecting and displaying medical image data
JP2002191058A (ja) * 2000-12-20 2002-07-05 Olympus Optical Co Ltd ３次元画像取得装置および３次元画像取得方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2013080439A1 (ja) * 2011-11-28 2013-06-06 パナソニック株式会社 立体画像処理装置及び立体画像処理方法
JP5303692B1 (ja) * 2011-11-28 2013-10-02 パナソニック株式会社 立体画像処理装置及び立体画像処理方法
US9129439B2 (en) 2011-11-28 2015-09-08 Panasonic Intellectual Property Management Co., Ltd. Three-dimensional image processing apparatus and three-dimensional image processing method

Also Published As

Publication number Publication date
KR20030047552A (ko) 2003-06-18
US7319798B2 (en) 2008-01-15
CN100530245C (zh) 2009-08-19
US20030108251A1 (en) 2003-06-12
KR100450836B1 (ko) 2004-10-01
JP2003196639A (ja) 2003-07-11
CN1426024A (zh) 2003-06-25

Similar Documents

Publication Publication Date Title
JP3971277B2 (ja) 二次元映像の立体化装置及び方法
CN109844800B (zh) 虚拟化妆装置和虚拟化妆方法
US8059911B2 (en) Depth-based image enhancement
KR101625362B1 (ko) 입력 이미지 데이터를 출력 이미지 데이터로 변환하기 위한 방법, 입력 이미지 데이터를 출력 이미지 데이터로 변환하기 위한 이미지 변환 유닛, 이미지 프로세싱 장치, 디스플레이 디바이스
CA2627999C (en) Generation of a depth map from a monoscopic color image for rendering stereoscopic still and video images
TWI476731B (zh) 影像處理裝置、影像處理方法、及程式
US5818975A (en) Method and apparatus for area selective exposure adjustment
US7755670B2 (en) Tone-conversion device for image, program, electronic camera, and tone-conversion method
JP5121294B2 (ja) 画像処理方法、画像処理装置、プログラム、記録媒体および集積回路
JP2007110576A (ja) 被写体像データの色補正装置およびその制御方法
US20090091643A1 (en) Image-Acquisition Apparatus
JP3959909B2 (ja) ホワイトバランス調整方法及び調整装置
KR20090091207A (ko) 디지털 이미지들에서의 동적 범위를 부스팅하기 위한 장치 및 방법들
JP2001126075A (ja) 画像処理方法および装置並びに記録媒体
EP0868089A2 (en) An image processing system
KR20070090224A (ko) 전자 색 이미지 채도 처리 방법
JP2003331287A (ja) 画像強調を色に関連付ける方法および装置
JPWO2008105222A1 (ja) ノイズ低減装置、ノイズ低減方法、及びノイズ低減プログラム
CN110264413B (zh) 一种图像处理方法、装置、电子设备及存储介质
US20180350050A1 (en) Method and system for generating an output image from a plurality of corresponding input image channels
KR101668829B1 (ko) 공간 주파수 상에서 인간 시각 특성이 반영된 텍스처 향상 방법 및 장치
JP4159984B2 (ja) サンプルレート変換の間の色キー保存
JP2600573B2 (ja) カラー画像の彩度強調方法及び装置
JP2005531943A (ja) デジタル画像における色にじみアーティファクトの低減方法
JP2002140700A (ja) カラー画像処理方法および処理装置

Legal Events

Date Code Title Description
A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060411

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060711

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060926

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20061226

A602 Written permission of extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A602

Effective date: 20070104

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20070109

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070515

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070607

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110615

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120615

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130615

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees