JP6131256B6 - 映像処理装置及びその映像処理方法 - Google Patents
映像処理装置及びその映像処理方法 Download PDFInfo
- Publication number
- JP6131256B6 JP6131256B6 JP2014530592A JP2014530592A JP6131256B6 JP 6131256 B6 JP6131256 B6 JP 6131256B6 JP 2014530592 A JP2014530592 A JP 2014530592A JP 2014530592 A JP2014530592 A JP 2014530592A JP 6131256 B6 JP6131256 B6 JP 6131256B6
- Authority
- JP
- Japan
- Prior art keywords
- text
- depth
- mask
- detected
- image
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000003672 processing method Methods 0.000 title claims description 12
- 230000000875 corresponding Effects 0.000 claims description 19
- 238000009499 grossing Methods 0.000 claims description 17
- 238000001514 detection method Methods 0.000 claims description 12
- 238000000034 method Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 7
- 238000010586 diagram Methods 0.000 description 13
- 230000003044 adaptive Effects 0.000 description 5
- 230000000694 effects Effects 0.000 description 5
- 238000001914 filtration Methods 0.000 description 4
- 239000011521 glass Substances 0.000 description 4
- 238000004364 calculation method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000000737 periodic Effects 0.000 description 2
- 230000000007 visual effect Effects 0.000 description 2
- 208000003464 Asthenopia Diseases 0.000 description 1
- 208000002173 Dizziness Diseases 0.000 description 1
- 210000000887 Face Anatomy 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000006011 modification reaction Methods 0.000 description 1
- 230000000877 morphologic Effects 0.000 description 1
- 230000002093 peripheral Effects 0.000 description 1
- 238000007781 pre-processing Methods 0.000 description 1
- 230000001737 promoting Effects 0.000 description 1
- 239000000758 substrate Substances 0.000 description 1
- 230000001360 synchronised Effects 0.000 description 1
- 230000001131 transforming Effects 0.000 description 1
Images
Description
本発明は、映像処理装置及びその映像処理方法に関し、より詳細には、3D映像を提供する映像処理装置及びその映像処理方法に関する。
最近、より臨場感のある視聴のために、3Dディスプレイ装置に対する開発への取り組みが加速化している。それにより、従来は映画館で主に視聴していた3D映像を家庭でもテレビのような一般のディスプレイ装置を用いて視聴することができるようになった。
一方、3D映像で映画タイトル、ゲームスコアのようにオーバーレイ(overlaid)テキストは、ユーザに関心を提供する部分である。しかし、既存のステレオマッチングアルゴリズム(stereo matching algorithms)によってオーバーレイテキストに対する正確なディスパリティを算出することは困難である。
それによる空間的なディスパリティ不一致は、テキスト歪み及びフリッカーの原因となる。このような問題点は、テキスト領域でより目立つようになる。それにより、テキスト領域におけるディスパリティ不一致を解消するための方策が求められる。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、3D映像に含まれたテキスト領域のデプスを補正することができる映像処理装置及びその映像処理方法を提供することにある。
以上のような目的を達成するための本発明の一実施形態に係る映像処理装置は、入力された3D映像のデプスを推定するデプス推定部と、前記3D映像に含まれたテキスト領域を検出するテキスト領域検出部と、前記検出されたテキスト領域に対応するテキストマスクを生成するマスク生成部と、前記推定されたデプス及び前記生成されたテキストマスクに基づいて前記テキスト領域のデプスを補正するデプス補正部とを含む。
なお、前記デプス補正部は、前記推定されたデプスに基づいて前記テキスト領域のデプスを第1デプス値に補正してよい。
ここで、前記第1デプス値は、下記数式によって算出されてよい。
なお、前記デプス補正部は、前記デプスの補正されたテキスト領域にデプステンポラルスムージング(depth temporal smoothing)処理を行ってよい。
なお、前記テキスト領域検出部は、テキストライン及びテキストカラーを検出し、検出されたテキストライン及びテキストカラーに基づいてテキスト領域を検出してよい。
なお、前記マスク生成部は、前記検出されたテキストラインによってマスクを拡張し、前記検出されたテキストカラーによって前記拡張されたマスクをフィルタリングして前記テキストマスクを生成してよい。
なお、前記デプス推定部は、前記推定されたデプスに基づいてデプスマップ(depth map)を生成し、前記デプス補正部は、前記デプスマップで前記テキスト領域に対応するデプス値を補正してよい。
一方、本発明の一実施形態に係る映像処理方法は、入力された3D映像のデプスを推定するステップと、前記3D映像に含まれたテキスト領域を検出するステップと、前記検出されたテキスト領域に対応するテキストマスクを生成するステップと、前記推定されたデプス及び前記生成されたテキストマスクに基づいて前記テキスト領域のデプスを補正するステップとを含む。
なお、前記デプスを補正するステップは、前記推定されたデプスに基づいて前記テキスト領域のデプスを第1デプス値に補正してよい。
ここで、前記第1デプス値は、下記数式によって算出されてよい。
なお、前記デプスの補正されたテキスト領域にデプステンポラルスムージング(depth temporal smoothing)処理を行うステップを更に含んでよい。
なお、前記テキスト領域を検出するステップは、テキストライン及びテキストカラーを検出し、検出されたテキストライン及びテキストカラーに基づいてテキスト領域を検出してよい。
なお、前記テキストマスクを生成するステップは、前記検出されたテキストラインによってマスクを拡張し、前記検出されたテキストカラーによって前記拡張されたマスクをフィルタリングして前記テキストマスクを生成してよい。
なお、前記デプスを推定するステップは、前記推定されたデプスに基づいてデプスマップ(depth map)を生成し、前記デプスを補正するステップは、前記デプスマップで前記テキスト領域に対応するデプス値を補正してよい。
以上説明したように、本発明によれば、3D映像を視聴する視聴者の便宜性を向上させることができる。
以下に添付図面を参照しながら、本発明の好適な実施形態について詳細に説明する。
図1及び図9は、本発明が適用されるテキスト領域のエラー状態について説明するための図である。
最近、多くの電子装置は、ステレオビデオ再生機能を提供する。このような装置のサイズは小型モバイルフォンで大型テレビパネルまで、多様である。2D映像と違って、3Dステレオコンテンツは不適切なディスパリティが目の緊張及び疲れをもたらすおそれがあるため、スクリーンサイズに適するように容易にスケーリングすることができない。よって、全ての3Dステレオコンテンツは、視聴者の不都合を防止するために、既存のディスプレイサイズ及び視聴距離を採択する必要がある。
一般に、ディスパリティはステレオスコピックワーピング(warping)によって調整されてよい。この場合、デプスマップは、左眼及び右眼イメージの間の対応部分を検出することで推定される。同一の接近方式が、オートステレオスコピックディスプレイに対するビュー補間に適用され、全ての中間ビューは既存の最左側、最右側ビュー及び対応するデプスマップから同期化されてよい。
一方、周期的なパターン及び薄い前景オブジェクトを有するイメージは、ステレオマッチングアルゴリズムに対して共通したエラーソースになる。ディスパリティ推定エラーは、ステレオスコピックワーピング後に深刻な視覚的な欠陥を引き起こすおそれがある。
オブジェクトの歪み及びフリッカーは、特に、人の顔、テキスト及びロゴ等のような高い突出性(saliency)領域で目立つ。
特に、オーバーレイテキストは、背景イメージと互いに異なるデプスを有する周期的なパターン及び文字のストローク近くに位置するため、ステレオマッチングに対するステレオスコピックイメージのうち、最も難しい部分の1つである。
一般的に、テキスト領域に対する不正確及び/または不一致のデプス推定は、歪み及びフリッカーを引き起こす。このような欠陥は、ユーザに眩暈を引き起こしたり、集中を妨げたり、とある時にはテキストが読み取れなくなるときもある。
図1は、3D映像のテキスト領域で発生するフリッカー現象を示す図である。
図9は、3D映像のテキスト領域で発生する歪み現象を示す図である。
それにより、本発明では、3D映像のテキスト領域で発生するフリッカー及び歪み現象を軽減させる方策が提案される。
図2は、本発明の理解を促すための両眼に写る物体に対するディスパリティについて説明するための図である。
図2において、Vは3Dディスプレイと視聴者との間の距離を示し、Dはオブジェクトがスクリーンから仮想で飛び出たり窪んで見える距離を示し、Eは視聴者間の両眼距離を示す。このとき、両眼に写る物体に対するディスパリティは下記の数式(1)のように表現されてよい。
図3は、本発明の一実施形態に係る映像処理装置の構成を示すブロック図である。
図3に示すように、映像処理装置100は、受信部110と、デプス推定部120と、テキスト領域検出部130及びデプス補正部140を含む。
受信部110は、3D映像信号を受信する。
ここで、3D映像は、ステレオ映像であってよい。ステレオ映像とは、1つの被写体を別の角度から撮影した2つの映像、すなわち、左眼映像及び右眼映像を含む。このようなステレオ映像は、多様なソースから提供されてよい。一例として、受信部110は、放送局チャネルのようなソースからステレオ映像を有線または無線で受信することができる。この場合、受信部110は、チューナ部、復調部、等化部のような多様な構成要素を備えることができる。
または、受信部110は、DVD、ブルーレイディスク、メモリカード等のような各種記録媒体を再生できる記録媒体再生ユニットから再生されたステレオ映像を受信することもでき、カメラから撮影されたステレオ映像を直接受信することもできる。この場合、受信部110は、USBインターフェース等のような各種インターフェースを具備する形態で実現されてよい。
または、受信部110は、ウェブサーバのような外部サーバからステレオ映像を受信することも可能である。
または、3D映像は、2D/3D切り替え技法に応じて、2D映像を基板として生成された映像であってよい。それについての詳細な説明は、省略する。
デプス推定部120は、左眼映像及び右眼映像に基づいて、映像内に存在する客体に関するデプス情報を推定する。ここで、デプス(depth)情報とは、映像内に存在する客体の3次元距離情報を示すものとして、デプスマップまたはデプス映像と称してよい。
例えば、被写体とカメラとの間の距離、被写体と被写体の映像とが結像する記録媒体間の距離等のように、立体感の情報を示す情報を意味する。すなわち、左眼映像と右眼映像との間の互いに対応するポイント間の距離差が大きい場合、その分だけより立体感が増大するようになる。デプスマップとは、このような深さの変化状態を1つの映像で構成したものとして、左眼及び右眼映像で互いにマッチングするポイント間の距離の大きさに応じて異なるグレイレベルで表現されてよい。例えば、デプスマップで明るく表示された部分は立体感の大きい部分であり、暗く表示された部分は立体感の小さい部分を意味する。
具体的に、デプス推定部120は、映像を構成する各ピクセルごとに、0から255の間の値でデプス値を表現し、映像内に存在する客体の3次元距離情報を示してよい。例えば、黒/白を基準に表すとき、黒(低い値)が視聴者から遠いところを表し、白(高い値)が視聴者から近いところを表してよい。
一方、デプス推定部120は、デプスマップを生成するために、左眼及び右眼映像で互いにマッチングするポインタを探すステレオマッチング作業を行うことができる。この場合、適応的な加重値を適用してステレオマッチングを行うこともできる。
例えば、左眼映像と右眼映像とは、1つの被写体を互いに異なる時点で撮影した映像であるため、視覚の差による映像の差が生じるおそれがある。例えば、左眼映像では被写体のエッジ部分と背景とが重なって写り、右眼映像ではやや離れた場合等である。よって、被写体を基準に一定範囲内のピクセル値を有するピクセルに対しては加重値をアップし、範囲から外れたピクセル値を有するピクセルに対しては加重値をダウンした適応的な加重値を適用することができる。それにより、左眼映像及び右眼映像のそれぞれに対して適応的な加重値を適用した後に、その結果を比較し、マッチング可否を決定することができる。このように、適応的な加重値を用いると、正しい適応点であるにもかかわらず、低い相関関係を有すると判定されることを防止することができるようになるため、マッチングの精度が向上される。
一方、図示はしていないが、映像処理装置100には、デプスマップ生成のための演算の負担を軽減するためのダウンスケーラ部(図示せず)が更に含まれてよい。すなわち、ダウンスケーラ部(図示せず)は、受信部110を介して受信された映像をダウンスケーリングしてデプス推定部120に提供することで、演算負担を軽減させることができるようになる。
テキスト領域検出部130は、3D映像に含まれたテキスト領域を検出する。ここで、テキスト領域は、字幕領域、OSDに含まれたテキスト領域、放送会社Logo領域等、オーバーレイテキスト領域であってよい。
テキスト領域検出部130は、既に検出されたテキストフレームに対してテキストローカライゼーション(localization)を行うことができる。ここで、テキストフレームは、入力される映像の中で、固定された間隔で配置された部分または圧縮されたドメイン部分を検出することで検出されてよい。
テキスト領域検出部130は、検出されたテキストフレームに対してエッジ抽出等の前処理を行い、前処理されたフレームのハフ変換(Hough Transform)等の線形抽出過程を通じて線形部分を抽出することで、テキストが含まれた領域を抽出することができる。
具体的に、テキスト領域検出部130は、テキストライン及びテキストカラーを検出し、検出されたテキストライン及びテキストカラーに基づいてテキスト領域を検出することができる。ここで、テキスト領域は、四角状で抽出されてよいが、それに限定されるものではない。
テキスト領域の検出のために、テキスト領域検出部130は、例えば、テキスト領域の検出するために、テキストライン集合接近方法を利用してよい。ここで、ラインは、Wu et al.(V. Wu、R. Manmatha、and E. M. Riseman、“Textfinder: An automatic System to detect and recognize text in images、” IEEE Trans. Pattern Anal. Mach. Intell.、vol. 21、no. 11、pp. 1224−1229、Nov. 1999.)に開示された方法と類似する固定された垂直エッジの密度に応じて検出されてよい。
1.垂直エッジ検出
垂直エッジを検出するために、以下の数式(2)のようにイメージ1の垂直成分Gyを算出する。
垂直エッジを検出するために、以下の数式(2)のようにイメージ1の垂直成分Gyを算出する。
安定的なエッジ検出のために、確率モデルを利用する。エッジ確率Ep(x、y)は、以下の数式(4)のようにアップデートされる。
2.テキストライン検出
各水平ラインに対してエッジ密度EDを算出する。関数ED(y)は中間フィルタを用いて処理される。
各水平ラインに対してエッジ密度EDを算出する。関数ED(y)は中間フィルタを用いて処理される。
テキストラインに対して、垂直エッジに関連して同一の確率モデルを利用する。
ライン閾値は、ED(y)のRMSとして定義される。ライン確率Lpが0.5より大きい連続的なイメージラインはテキストラインを形成するのに組み合わせられ、最後にテキストラインは最小及び最大のラインの高さに応じてフィルタリングされる。
3.テキストカラー検出
テキストカラーを検出するために入力されたイメージカラー量子化を適用し、RGBカラー空間を256カラーのパレット(Pallete)に変換する、各カラーc及びテキストライン内側CD in(c)に、テキストラインの外側CD out(c)の等しい領域でカラー密度を算出する。ここで、cはカラーテキストのカラーであってよい。
テキストカラーを検出するために入力されたイメージカラー量子化を適用し、RGBカラー空間を256カラーのパレット(Pallete)に変換する、各カラーc及びテキストライン内側CD in(c)に、テキストラインの外側CD out(c)の等しい領域でカラー密度を算出する。ここで、cはカラーテキストのカラーであってよい。
一方、本発明の別の実施形態によると、テキスト領域に含まれたテキストを抽出し、テキストに対してデプスを補正することも可能である。この場合、テキストは、テキスト領域に対してモーフォロジーオペレーションまたは区域基盤処理等を通じて行われてよい。
デプス補正部140は、推定されたデプス及び生成されたテキストマスクに基づいてテキスト領域のデプスを補正する。
具体的に、デプス補正部140は、推定されたデプス及び生成されたテキストマスクに基づいてテキスト領域のデプスを均一の第1デプス値に補正することができる。すなわち、テキスト領域内に含まれたそれぞれのテキストに対するデプス感が相互異なることがないように表現されるように、均一のデプス値を付与することができる。
この場合、デプス補正部140は、デプス推定部120で推定されたテキスト領域のデプス値のうち、最も大きい値にテキスト領域のデプスを均一に設定することができる。
なお、デプス補正部140は、場合によって、周辺領域のデプス値を考慮することもできる。すなわち、テキスト領域が周辺の背景映像と異質にならず、不連続に表現されないように、周辺の背景映像のデプス値と類似する値にデプスを設定することができる。すなわち、推定されたテキスト領域のデプス値のうち、背景映像のデプス値と最も類似する値にテキスト領域のデプスを設定することも可能である。
なお、デプス補正部140は、デプスの補正されたテキスト領域に対してフリッカを軽減させるために、デプステンポラルスムージング(depth temporal smoothing)処理を行うことができる。
デプス補正部140については、図4を参照して詳細に説明する。
一方、図示はしていないが、映像処理装置100は映像処理部(図示せず)、3D映像生成部(図示せず)及びディスプレイ部(図示せず)を更に含んでよい。
映像処理部(図示せず)は、テキスト領域のデプスの補正されたデプスマップに基づいて、補正された左眼映像と右眼映像とをそれぞれクロップ(crop)した後、互いに重畳して3D映像を生成することができる。
3D映像生成部(図示せず)は、左眼映像及び右眼映像を互いに対応する大きさにクロップして3D映像を生成する。ここで、3D映像とは、クロップされた左眼映像及び右眼映像が重畳して生成した1つの3D映像ファイルを意味してよく、クロップされた左眼映像及び右眼映像のそれぞれが保存されたファイルを意味してよい。
ディスプレイ部(図示せず)は、3D映像生成部(図示せず)から出力されるデータを用いて3D映像をディスプレイする。すなわち、3D映像生成部(図示せず)でクロップされた左眼及び右眼映像を重畳して1つの3D映像を生成した場合には、その3D映像を直ちにディスプレイすることができる。または、クロップされた左眼映像及び右眼映像を別途に出力する場合、出力された2つの映像を重畳して3D映像形態で出力することができる。
一例として、ディスプレイ部(図示せず)は、3D映像を空間的に区分して出力し、メガネかけなくても、被写体との距離感を感じられるようになり、3D映像として認識することができる。この場合、ディスプレイ部(図示せず)は、パララックスベアラ(Parallax Barrier)技術またはレンチキュラー(Lenticular)技術によるディスプレイパネルで実現されてよい。または、ディスプレイ部(図示せず)は、左眼及び右眼映像を交互に出力し、立体感を感じられるように実現することもできる。すなわち、本映像処理装置は、非メガネシステム及びメガネシステムのいずれでも実現可能である。
一方、上述の実施形態では、左眼映像及び右眼映像に基づいてテキスト領域のデプスを補正するものとして説明したが、それは一実施形態に過ぎない。本発明の別の実施形態によると、2D映像に対してテキスト領域を検出した後、テキスト領域に対するデプス値を均一に割り当てた後、左眼及び右眼映像を生成することも可能である。
図4は、本発明の一実施形態に係るデプス補正部の細部構成を示すブロック図である。
図4に示すように、デプス補正部140は、マスク生成部141及びテキスト領域デプス補正部142を含む。
マスク生成部141は、テキスト領域検出部130から検出されたテキストラインによってマスクを拡張し、検出されたテキストカラーによって拡張されたマスクをフィルタリングしてテキスト領域に対応するマスクを生成することができる。
図5は、本発明の一実施形態によってテキストマスクを生成する方法について説明するための図である。
図5の(a)に示すように、オーバーレイテキストを有する入力映像に、図5の(b)に示すように、オーバーレイテキストを含むテキスト領域に対応するテキストマスクを生成してテキスト領域に対するデプスを補正することができる。
テキストマスクは、次のような繰り返しプロセスによって生成される。
1.垂直エッジマスク拡張
2.テキストカラーによるマスクフィルタリング
ここで、繰り返しプロセスは、テキストラインの内側のテキストマスクが安定すると終了する。安定した結果のために、上述のようにテキストマスクに対する同一の確率モデルを適用することができる。
2.テキストカラーによるマスクフィルタリング
ここで、繰り返しプロセスは、テキストラインの内側のテキストマスクが安定すると終了する。安定した結果のために、上述のようにテキストマスクに対する同一の確率モデルを適用することができる。
テキスト領域デプス補正部142は、マスク生成部141で生成されたマスクを用いてテキスト領域のデプスを均一の値に設定することができる。
テキスト領域デプス補正部142は、上述のように、テキスト領域に対して算出されたデプス値のうち、最大値にテキスト領域のデプスを均一に設定することもできるが、場合によっては、以下のように多様な方式でデプスを設定することも可能である。
例えば、0を含むデフォルト値、背景映像に含まれた客体のうち、最も高いデプス値または平均値より所定の値だけ大きいデプス値、テキスト領域の中央におけるデプス値または境界におけるデプス値、ユーザによって入力された値等をテキスト領域のデプス値に設定することもできる。
なお、1つのフレーム内にテキスト領域が複数個である場合には、複数のテキスト領域のそれぞれに異なるデプス値を設定したり、同一のデプス値を設定することができる。
具体的に、全イメージ領域が同一のデプス値を有するとしたら、SAD(sum of absolute difference method)の最小値を検索して探すことができる。この場合、全テキスト領域に対するステレオマッチングは、ウィンドウベースマッチングより改善された結果を提供することができる。
左眼イメージL(x、y)及び右眼イメージR(x、y)及び対応するバイナリテキストマスクT(x、y)が与えられると、テキストdに対するデプス値を補正し、次の数式(5)のように最小化するようになる。
テキストマスクが理想的であり、全てのテキストピクセルが同一のデプスを有する場合、最小SAD値は小さく、0に近くならなければならない。言い換えると、最小SAD値が相対的に大きい場合、テキストマスクは不適切だったり、テキストが互いに異なるデプス値を有してよい。両方の場合に、デプス補正は更なるエラーを引き起こすおそれがあるため望ましくない。このようなテキストは、デプス補正が安全であることを保障することができる。
スムージング処理部143は、デプス値の補正されたテキスト領域に対してデプステンポラルスムージング(depth temporal smoothing)処理を行うことができる。
スムージング処理部143は、デプス値の補正されたテキスト領域の内部で一定ではないデプス値をスムージング処理し、デプス変動によるテキストフリッカを除去したり、補正されたデプス値と背景領域のデプス値との差によるテキスト領域の境界で歪みを解消するために、スムージング処理を行うことができる。
スムージング処理部143は、デプス値の補正されたテキスト領域に対して、メディアンフィルタ(median Filter)、加重平均フィルタ(weighted average Filter)、マキシマムフィルタ(maximum filter)等のようなスムージングフィルタを適用し、スムージング処理を行うことができる。
以下の数式(6)は、スムージング処理の一例を示す。
図7は、本発明の一実施形態に係るアルゴリズムについて説明するためのブロック図である。
図7に示すように、まず、左眼及び右眼映像が入力されると、ステレオデプスを推定してデプスマップを生成する。
なお、入力された左眼及び右眼映像でオーバーレイテキスト領域を検出する。
次に、検出されたオーバーレイテキスト領域に対応するテキストマスクを生成する。
次に、推定されたデプス及び生成されたテキストマスクに基づいてテキスト領域のデプスを補正してデプスマップを補正する。
このように補正されたデプスマップは、3D映像のデプス調整のような多様な機能に利用されてよい。
図8は、本発明の一実施形態に係る映像処理方法について説明するためのフローチャートである。
図8に示す映像処理方法によると、まず、入力された3D映像のデプスを推定する(S810)。
更に、3D映像に含まれたテキスト領域を検出する(S820)。
なお、検出されたテキスト領域に対応するテキストマスクを生成する(S830)。
続いて、推定されたデプス及び生成されたテキストマスクに基づいてテキスト領域のデプスを補正する(S840)。
一方、テキスト領域のデプスを補正するステップS840では、ステップS810で推定されたデプスに基づいてテキスト領域のデプスを第1デプス値に補正することができる。
この場合、第1デプス値は、上述の数式(6)によって算出されてよい
なお、第1デプスが補正されたテキスト領域にデプステンポラルスムージング(depth temporal smoothing)処理を行うことができる。
なお、第1デプスが補正されたテキスト領域にデプステンポラルスムージング(depth temporal smoothing)処理を行うことができる。
なお、テキスト領域を検出するステップS820では、テキストライン及びテキストカラーを検出し、検出されたテキストライン及びテキストカラーに基づいてテキスト領域を検出してよい。
なお、テキストマスクを生成するステップS830では、検出されたテキストラインによってマスクを拡張し、検出されたテキストカラーによって拡張されたマスクをフィルタリングしてテキストマスクを生成することができる。
なお、デプスを推定するステップS810では、推定されたデプスに基づいてデプスマップ(Depth map)を生成することができる。この場合、デプスを補正するステップS840では、生成されたデプスマップでテキスト領域に対応するデプス値を補正することができる。
それにより、3D映像のテキスト領域に発生する歪み及びフリッカを軽減することができるようになる。
一方、本発明は、2D映像及びデプス情報に基づいてマルチビュー映像を生成する場合にも同様に適用されてよい。
上述の多様の実施形態に係るディスプレイ装置の制御方法や、メガネ装置の制御方法は、ソフトウェアで生成されて映像処理装置に搭載されてよい。
具体的には、本発明の一実施形態に係る映像処理装置には、入力された3D映像のデプスを推定するステップと、3D映像に含まれたテキスト領域を検出するステップと、検出されたテキスト領域に対応するテキストマスクを生成するステップと、推定されたデプス及び生成されたテキストマスクに基づいてテキスト領域のデプスを補正するステップとを行うプログラムが保存された非一時的な読み取り可能な媒体が設置されてよい。
非一時的な読み取り可能な媒体とは、レジスタやキャッシュ、メモリ等のように短い間だけデータを保存する媒体ではなく、半永久的にデータを保存し、機器によって読み取り(Reading)が可能な媒体を意味する。具体的には、上述の多様なアプリケーションまたはプログラムは、CDやDVD、ハードディスク、ブルーレイディスク、USB、メモリカード、ROM等のような非一時的な読み取り可能な媒体に保存されて提供されてよい。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明は以上の実施形態に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的趣旨の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
Claims (10)
- 前記デプス補正部は、
前記デプスの補正されたテキスト領域にデプステンポラルスムージング(depth temporal smoothing)処理を行うことを特徴とする請求項1に記載の映像処理装置。 - 前記テキスト領域検出部は、
テキストライン及びテキストカラーを検出し、検出されたテキストライン及びテキストカラーに基づいてテキスト領域を検出することを特徴とする請求項1に記載の映像処理装置。 - 前記マスク生成部は、
前記検出されたテキストラインによってマスクを拡張し、前記検出されたテキストカラーによって前記拡張されたマスクをフィルタリングして前記テキストマスクを生成することを特徴とする請求項3に記載の映像処理装置。 - 前記3D映像のデプスを推定し、前記推定されたデプスに基づいてデプスマップ(depth map)を生成するデプス推定部を更に含み、
前記デプス補正部は、
前記デプスマップで前記テキスト領域に対応するデプス値を補正することを特徴とする請求項1に記載の映像処理装置。 - 前記デプスの補正されたテキスト領域にデプステンポラルスムージング(depth temporal smoothing)処理を行うステップを更に含むことを特徴とする請求項6に記載の映像処理方法。
- 前記テキスト領域を検出するステップは、
テキストライン及びテキストカラーを検出し、検出されたテキストライン及びテキストカラーに基づいてテキスト領域を検出することを特徴とする請求項6に記載の映像処理方法。 - 前記テキストマスクを生成するステップは、
前記検出されたテキストラインによってマスクを拡張し、前記検出されたテキストカラーによって前記拡張されたマスクをフィルタリングして前記テキストマスクを生成することを特徴とする請求項8に記載の映像処理方法。 - 前記3D映像のデプスを推定し、前記推定されたデプスに基づいてデプスマップ(depth map)を生成するステップを更に含み、
前記デプスを補正するステップは、
前記デプスマップで前記テキスト領域に対応するデプス値を補正することを特徴とする請求項6に記載の映像処理方法。
Applications Claiming Priority (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US201161534533P | 2011-09-14 | 2011-09-14 | |
US61/534,533 | 2011-09-14 | ||
KR1020120091368A KR101975247B1 (ko) | 2011-09-14 | 2012-08-21 | 영상 처리 장치 및 그 영상 처리 방법 |
KR10-2012-0091368 | 2012-08-21 | ||
PCT/KR2012/007362 WO2013039347A1 (ko) | 2011-09-14 | 2012-09-14 | 영상 처리 장치 및 그 영상 처리 방법 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2014534657A JP2014534657A (ja) | 2014-12-18 |
JP6131256B2 JP6131256B2 (ja) | 2017-05-17 |
JP6131256B6 true JP6131256B6 (ja) | 2017-08-02 |
Family
ID=
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101975247B1 (ko) | 영상 처리 장치 및 그 영상 처리 방법 | |
US9398289B2 (en) | Method and apparatus for converting an overlay area into a 3D image | |
JP6024110B2 (ja) | 画像処理装置、画像処理方法、プログラム、端末装置及び画像処理システム | |
JP2014103689A (ja) | 立体映像エラー改善方法及び装置 | |
JP2013527646A5 (ja) | ||
US8913107B2 (en) | Systems and methods for converting a 2D image to a 3D image | |
KR20110015452A (ko) | 입체 이미지의 블러 향상 | |
US8982187B2 (en) | System and method of rendering stereoscopic images | |
CN103081476A (zh) | 利用深度图信息转换三维图像的方法和设备 | |
EP3434012A1 (en) | Dibr with depth map preprocessing for reducing visibility of holes by locally blurring hole areas | |
CN107636728A (zh) | 用于确定图像的深度图的方法和装置 | |
KR101797035B1 (ko) | 오버레이 영역의 3d 영상 변환 방법 및 그 장치 | |
TWI491244B (zh) | 調整物件三維深度的方法與裝置、以及偵測物件三維深度的方法與裝置 | |
JP5127973B1 (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
JP6377155B2 (ja) | 多視点映像処理装置及びその映像処理方法 | |
WO2012120880A1 (ja) | 立体画像出力装置及び立体画像出力方法 | |
CN102447863A (zh) | 一种多视点立体视频字幕处理方法 | |
JP6131256B6 (ja) | 映像処理装置及びその映像処理方法 | |
JP2013546281A (ja) | エネルギー値を用いたイメージ処理装置およびそのイメージ処理方法、並びにディスプレイ方法 | |
JP2012175370A (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
CN102487447B (zh) | 调整物件三维深度的方法与装置、以及检测物件三维深度的方法与装置 | |
KR101080988B1 (ko) | 최적시차 3d 영상물 제작방법, 그리고, 기록매체 | |
KR20120087738A (ko) | 입체영상 디스플레이 시스템, 입체영상 디스플레이 방법 및 입체영상 처리 장치 | |
Lin et al. | Hole filling using multiple frames and iterative texture synthesis with illumination compensation | |
JP2012049880A (ja) | 画像処理装置、画像処理方法及び画像処理システム |