JP5011431B2 - 映像信号処理装置および処理方法ならびに映像表示装置 - Google Patents
映像信号処理装置および処理方法ならびに映像表示装置 Download PDFInfo
- Publication number
- JP5011431B2 JP5011431B2 JP2010284701A JP2010284701A JP5011431B2 JP 5011431 B2 JP5011431 B2 JP 5011431B2 JP 2010284701 A JP2010284701 A JP 2010284701A JP 2010284701 A JP2010284701 A JP 2010284701A JP 5011431 B2 JP5011431 B2 JP 5011431B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- video
- sharpening
- video signal
- circuit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/172—Processing image signals image signals comprising non-image signal components, e.g. headers or format information
- H04N13/183—On-screen display [OSD] information, e.g. subtitles or menus
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Controls And Circuits For Display Device (AREA)
Description
本発明の実施形態は、映像信号処理装置および処理方法ならびに映像表示装置に関する。
多視差信号から立体映像信号を生成する際に、視域を拡大する処理において視域拡大のための並べ替えを行いタイル画像に変換する。その後、視域境界の劣化を改善するためにタイル画像を画像メモリに格納し、視域境界改善処理を行っていた。そのため、外付けメモリが必要となり製造コストが増大するという問題があった。
本発明が解決しようとする課題は、製造コストが増大するのを抑制することのできる映像信号処理装置および処理方法ならびに映像表示装置を提供することである。
本実施形態の映像信号処理装置は、入力映像信号に関する多視差映像を鮮鋭化する処理を行う鮮鋭化処理回路と、鮮鋭化する処理が行われた多視差映像の視域境界を改善する処理を行う視域境界改善処理回路と、視域境界を改善する処理が行われた多視差映像に対して視域を拡大する処理を行う視域拡大処理回路と、を備えていることを特徴とする。
以下に図面を参照して実施形態を説明する。
(第1実施形態)
第1実施形態の映像表示装置を図1に示す。この実施形態の映像表示装置は、映像信号処理部100と、表示パネル200とを備えている。表示パネル200は、マトリクス状に配列された画素を有する表示部(図示せず)を備えており、例えば、液晶表示パネル、プラズマディスプレイパネル等の平面表示パネルである。さらに、表示パネル200は、上記表示部に対向するように配置され、上記画素からの光線を制御する複数の射出瞳を有する光線制御素子(図示せず)も備えている。光線制御素子は、一般的にはパララクスバリア或いは視差バリアとも称せられ、光線制御素子の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差(水平視差)のみを与える場合には、複数のスリットを有するスリット板或いはレンチキュラーシート(シリンドリカルレンズアレイ)が用いられ、上下視差(垂直視差)も含める場合には、ピンホールアレイ或いはフライアイレンズアレイが用いられる。すなわち、スリット板のスリット、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、フライアイレンズアレイのフライアイレンズが各射出瞳となる。なお、本実施形態および後述する第2乃至第5実施形態においては、表示パネル200は、複数の射出瞳を有する光線制御素素子を備えているが、パララックスバリアを透過型液晶表示装置などにより電子式に発生させ、バリアパターンの形状や位置などを電子的に可変制御する表示パネルを用いてもよく、3次元映像表示用の映像が表示可能な表示パネルであればよい。
第1実施形態の映像表示装置を図1に示す。この実施形態の映像表示装置は、映像信号処理部100と、表示パネル200とを備えている。表示パネル200は、マトリクス状に配列された画素を有する表示部(図示せず)を備えており、例えば、液晶表示パネル、プラズマディスプレイパネル等の平面表示パネルである。さらに、表示パネル200は、上記表示部に対向するように配置され、上記画素からの光線を制御する複数の射出瞳を有する光線制御素子(図示せず)も備えている。光線制御素子は、一般的にはパララクスバリア或いは視差バリアとも称せられ、光線制御素子の各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差(水平視差)のみを与える場合には、複数のスリットを有するスリット板或いはレンチキュラーシート(シリンドリカルレンズアレイ)が用いられ、上下視差(垂直視差)も含める場合には、ピンホールアレイ或いはフライアイレンズアレイが用いられる。すなわち、スリット板のスリット、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、フライアイレンズアレイのフライアイレンズが各射出瞳となる。なお、本実施形態および後述する第2乃至第5実施形態においては、表示パネル200は、複数の射出瞳を有する光線制御素素子を備えているが、パララックスバリアを透過型液晶表示装置などにより電子式に発生させ、バリアパターンの形状や位置などを電子的に可変制御する表示パネルを用いてもよく、3次元映像表示用の映像が表示可能な表示パネルであればよい。
映像信号処理部100は、入力信号処理回路101と、多視差映像生成回路102と、奥行き情報推定回路103と、鮮鋭化処理回路104と、視域境界改善処理回路105と、警告メッセージ挿入処理回路106と、ディザ処理回路107と、視域拡大処理回路108と、を備えている。
入力信号処理回路101に放送またはネットワークを介して映像信号が入力される。この映像信号は、符号化された2次元映像信号または符号化された多視差映像信号である。入力信号処理回路101は、入力された映像信号が符号化された2次元映像信号である場合には復号化し、この復号化された2次元映像信号を多視差映像生成回路102および奥行き情報推定回路103に送出する。また、入力された映像信号が符号化された多視差映像信号である場合には復号化し、この復号化された多視差映像信号(多視差映像)を鮮鋭化処理回路104に送出する。
奥行き情報推定回路102は、入力信号処理回路101から送られてきた2次元映像信号による2次元映像の奥行き情報を公知の方法を用いて推定する。例えば、フレーム間の動き情報等を用いて、2次元映像の奥行き情報を推定する。
多視差信号生成回路103は、奥行き情報推定回路102で得られた奥行き情報を用いて、2次元映像信号から、3次元映像表示に用いられる複数の視差映像(多視差映像)を生成する。多視差映像は、表示パネル200の射出瞳それぞれに対応する画素を有し、各画素には、複数の視差映像が含まれている。
一般に、多視差映像を生成する処理では、視聴者の視点が移動しても3次元映像が不自然に見えないように、各視差映像が連続的に変化するように多視差映像にクロストークを入れる設計になっている。そのため視域内で映像を見ていても映像が多重となり鮮鋭感が失われる。そこで、これを防止するために、本実施形態では、入力信号処理回路101を介して送られてきた多視差映像、または多視差映像生成回路103によって生成された多視差映像は、鮮鋭化処理回路104において、鮮鋭化処理が行われる。
鮮鋭化処理回路104は、表示パネル200における光線制御素子の光線特性(例えば、シリンドカルレンズの光線劣化特性)、すなわち表示パネル200の輝度プロファイルに応じた、入力された多視差映像の各画素に含まれる複数の視差映像に対して鮮鋭化係数を用いて重み付けを行い、鮮鋭化された多視差映像を作成する。なお、レンズの光線劣化特性(表示パネルの輝度プロファイル)は、使用する表示パネルにより一意に決まり、鮮鋭化係数は表示パネル200の輝度プロファイルに応じて決定される。この鮮鋭化処理について、図2乃至図4を参照して更に詳しく説明する。
鮮鋭化処理回路104の一具体例を図2に示す。この具体例の鮮鋭化処理回路104は、制御回路104aと、鮮鋭化係数用メモリ104bと、フィルタ回路(演算回路)104cとを備えている。鮮鋭化係数用メモリ104bには、鮮鋭化処理の重み付けに用いられる鮮鋭化係数が記憶される。例えば、多視差映像が9個の視差映像から構成される場合には、鮮鋭化処理回路104から出力される鮮鋭化された9個の視差映像のそれぞれに対して、鮮鋭化処理回路104に入力される9個の視差映像に関する9個の鮮鋭化係数が存在する。すなわち、81(=9×9)個の鮮鋭化係数Kij(i=1〜9、j=1〜9)が鮮鋭化係数用メモリ104bに記憶されている。
入力信号処理回路101または多視差映像生成回路103から多視差映像の垂直基準信号V、多視差映像の水平基準信号H、データイネーブル信号DEが制御回路104aに送られるとともに、映像データDATAがフィルタ回路104cに送られる。すると、制御回路104aは、現在の入力データDATAがどの画素のどの視差映像であるかを検出し、鮮鋭化係数用メモリ104bに指令信号を送る。すると、鮮鋭化係数用メモリ104bから上記視差映像に関する鮮鋭化係数が読み出される。そして、これらの読み出された鮮鋭化係数と、上記視差映像のデータDATAとを用いてフィルタ回路104cにおいて、演算することにより、鮮鋭化処理された多視差映像がフィルタ回路104cから出力される。
次に、フィルタ回路104cにおける演算について図3を参照して説明する。図3は、フィルタ回路104cの一具体例の構成を示すブロック図である。この具体例のフィルタ回路104cは、画素単位で演算を行い、nを2以上の整数とするとき、n個の視差映像、すなわち#1視差映像〜#n視差映像を処理するものである。そして、ラッチ回路2011〜201nと、乗算器2021〜202nと、加算器2031〜203nと、ラッチ回路2041〜204nとを備えている。
ラッチ回路201i(i=1,・・・,n)は、制御回路104aによって検出された画素を構成する#i視差画像の画素値Diを保持する。今、jを1からnまでの任意の整数とし、鮮鋭化処理回路104の出力である鮮鋭化された多視差画像における、制御回路104aによって検出された上記画素に対応する画素を構成する#j視差画像の画素値をPjとする。
乗算器202i(i=1,・・・,n)は、鮮鋭化係数用メモリ104bから読み出された鮮鋭化係数Kijと、上記画素値Diとをそれぞれ乗算し、積KijDiを出力する。
加算器203j(j=1,・・・,n)は、上記乗算器2021〜202nの出力K1jD1〜KnjDnの和を演算し、上記#j視差画像の画素値Pjとする。すなわち、画素値Pjは以下の式を用いて演算されることになる。
ラッチ回路201j(j=1,・・・,n)は、加算器203jの出力Pjを保持する。
このような演算を、多視差画像を構成する各画素に対して行うことにより、鮮鋭化された多視差画像が得られる。
なお、上記演算は、主に多重像となる前後の視差映像に対して重み付けを行っている。また、鮮鋭化係数Kij(i=1〜n、j=1〜n)は、以下の条件を満たしている。
−2≦Kij<2
K1j+・・・+Knj=1 (j=1,・・・,n)
K1j+・・・+Knj=1 (j=1,・・・,n)
このようにして鮮鋭化された多視差映像は、視域境界改善処理回路105に送られる。視域境界改善処理回路105では、後段で行われる視域拡大処理回路108で発生する視域境界の段差を改善するためのブレンド処理を行う。視域拡大処理は、例えば、特開2009−239665号公報で示されているように、映像の領域ごとに、各視差画像の並べ順を変える。これは視聴者から見る映像を表示する表示パネルの角度によって画像の領域ごとに視差映像の並びを変えることにより実現する。従って、各画像領域の切り替わり目が段差となる。この時、段差が発生する画素番号が分かっている。よって鮮鋭化処理回路104において行われる鮮鋭化処理と同等の構成を用いてブレンド処理が行うことができる。すなわち、図4に示すように、制御回路105aと、ブレンド係数を記憶するブレンド係数メモリ105bと、フィルタ回路105cとを用いて、主に段差を発生する画素に対してブレンド処理を行うことにより、視域境界を改善することができる。
このようにして視域境界が改善された多視差映像は、警告メッセージ挿入処理回路106に送られ、警告メッセージが挿入される。この警告メッセージは、逆視領域で視聴している視聴者に対し注意を行うメッセージである。逆視領域とは、生成された多視差映像においては、視差映像が例えば右目用、左目用に生成され横一列に並べられているが、ある視聴場所では、右目用と左目用の画像が逆に見え二重像の様に見えてしまう。特に生成された多視差画像の画素の両端で生じる。
そこで、警告メッセージ挿入回路106では、各画素の両端の視差画像に警告メッセージを挿入する。これにより、正常な視域領域では警告メッセージは認識できず、逆視領域のみ認識できるようになる。この時、警告メッセージ挿入回路106に入力される多視差映像は、各画素において各視差画像順に並ばれているため容易に挿入することができる。
警告表示挿入回路106により警告メッセージか挿入された多視差映像は、ディザ回路107により画質改善が行われる。
ディザ回路107は、一般的に知られているディザ回路であり、量子化の誤差を最小にするべくサンプルデータに意図的に追加される誤った信号、データを加算する。このディザ処理には公知の方法が用いられる。なお、本実施形態においては、ディザ処理の効果を得るためには視差映像間で行うのではなく画素間で行う。ディザ回路107においても、画像が視差映像順に入力されているため容易に画素間でディザ処理を行うことができる。
次に、ディザ回路107から出力された多視差画像は、視域拡大処理回路108に送られる。そして、視域拡大処理回路108に視域拡大のために、視差画像の並べ替えが行われる。
この視域拡大処理回路108において行われる視域拡大処理について図5乃至図7を参照して説明する。視域拡大処理回路108の一具体例を図5に示す。この具体例の視域拡大処理回路108は、制御回路108aと、視域拡大係数用メモリ108bと、フィルタ回路108cとを備えている。
視域拡大係数用メモリ108bには、視域拡大処理の重み付けに用いられる視域拡大係数が記憶される。例えば、多視差映像が9個の視差映像から構成される場合には、視域拡大処理回路108から出力される視域が拡大された9個の視差映像のそれぞれに対して、視域拡大処理回路108に入力される9個の視差映像に関する9個の視域拡大係数が存在する。すなわち、81(=9×9)個の視域拡大係数Lij(i=1〜9、j=1〜9)が視域拡大係数用メモリ108bに記憶されている。
制御回路108aおよびフィルタ回路108cはそれぞれ、図2に示す鮮鋭化処理回路104の具体例で説明した制御回路104aおよびフィルタ回路104cと同じ構成および同じ機能を有しており、重み付けに用いられる係数がKijではなく、Kijとは異なる係数Lijが用いられる。これは、各画素の視差配列を並べ替えることにより視域を拡大する。なお、視域拡大係数Lij(i=1〜n、j=1〜n)も、鮮鋭化係数Kij(i=1〜n、j=1〜n)と同じく以下の条件を満たす。
−2≦Lij<2
L1j+・・・+Lnj=1 (j=1,・・・,n)
L1j+・・・+Lnj=1 (j=1,・・・,n)
図6に視域拡大処理が行われる前の多視差映像205を表示パネル200に表示する場合の例を示す。この多視差映像205は9個の視差映像、すなわち#1視差映像〜#9視差映像から構成される。図6に示すように、多視差映像205においては、m個の射出瞳にそれぞれ対応する画素は、#1視差映像、・・・、#9視差映像の順に配列された構成となっている。図6における123456789はそれぞれ、#1視差映像、・・・、#9視差映像の番号を示している。
視域拡大処理は、視聴者が正常に見える視域を広げる処理である。特に、表示パネルに対し、左右に動ける領域を拡大し、視聴者が動いても不自然ではなく連続的に3次元画像が見えるようにする処理である。この視域拡大処理によって各画素における視差映像が並べ替えられる。視域拡大処理回路108によって行われた視域拡大処理後の多視差映像205Aを表示パネル200に表示する場合の例を図7に示す。図7に示す多視差映像205Aは、5個の画像領域2101〜2105を有し、多視差映像205Aの中心となる画像領域2103においては、各画素は、#1視差映像、・・・、#9視差映像の順に配列された構成を有している。しかし、画像領域2103の左の画素領域2102においては、各画素は、#2視差映像、#3視差映像、#4視差映像、#5視差映像、#6視差映像、#7視差映像、#8視差映像、#9視差映像、#1視差映像の順に配列された構成を有している。多視差映像205Aの左端の画像領域2101においては、各画素は#3視差映像、#4視差映像、#5視差映像、#6視差映像、#7視差映像、#8視差映像、#9視差映像、#1視差映像、#2視差映像の順に配列された構成を有している。すなわち、中心の画像領域から向かって左に行くにつれて、右目用の視差映像が中央方向に移動される。
また、画像領域2103の右の画素領域2104においては、各画素は、#9視差映像、#1視差映像、#2視差映像、#3視差映像、#4視差映像、#5視差映像、#6視差映像、#7視差映像、#8視差映像の順に配列された構成を有している。多視差映像205Aの右端の画像領域2105においては、各画素は、#8視差映像、#9視差映像、#1視差映像、#2視差映像、#3視差映像、#4視差映像、#5視差映像、#6視差映像、#7視差映像の順に配列された構成を有している。すなわち、中心の画像領域から向かって右に行くにつれて、左目用の視差映像が中央方向に移動される。
視域拡大処理回路108によって視域拡大処理が行われた多視差映像は、表示パネル200に送られ、3次元映像が表示される。
以上説明したように、第1実施形態においては、視域境界改善処理を行った後に視域拡大処理が行われ、この視域拡大処理によって視差映像の並べ替えを行った多視差映像を表示パネルに表示する。このため、視域拡大処理後にタイル画像に変換する必要がないので、視域境界の劣化を改善するための多視差映像を記憶する外付けメモリが不要となり製造コストが増大するのを抑制することができる。
また、第1実施形態においては、表示パネルの輝度プロファイルより画像の鮮鋭化を行い、視域拡大し、視域境界での段差を防止しているので、高画質化を実現することができる。
なお、本実施形態および後述する第2乃至第5実施形態に係る映像信号処理部は、表示パネルを有する映像表示装置に用いられているが、表示パネルを有しない映像記録再生装置、例えばDVDプレヤー等に用いることができる。
(第2実施形態)
次に、第2実施形態による映像表示装置について図8を参照して説明する。図8は第2実施形態の映像表示装置を示すブロック図である。この第2実施形態の映像表示装置は、図1に示す第1実施形態に係る映像信号処理部100を映像信号処理部100Aに置き換えた構成となっている。この映像信号処理部100Aは、映像信号処理部100から警告メッセージ挿入処理回路106およびディザ処理回路107を削除した構成となっている。このため、視域拡大処理回路108は、視域改善処理回路105によって視域境界改善処理が行われた多視差映像に対して視域拡大処理を行う。また、第1実施形態と同様に視域拡大処理回路108から出力された多視差映像を表示パネル200によって表示する。
次に、第2実施形態による映像表示装置について図8を参照して説明する。図8は第2実施形態の映像表示装置を示すブロック図である。この第2実施形態の映像表示装置は、図1に示す第1実施形態に係る映像信号処理部100を映像信号処理部100Aに置き換えた構成となっている。この映像信号処理部100Aは、映像信号処理部100から警告メッセージ挿入処理回路106およびディザ処理回路107を削除した構成となっている。このため、視域拡大処理回路108は、視域改善処理回路105によって視域境界改善処理が行われた多視差映像に対して視域拡大処理を行う。また、第1実施形態と同様に視域拡大処理回路108から出力された多視差映像を表示パネル200によって表示する。
この第2実施形態も第1実施形態と同様に、製造コストが増大するのを抑制することができるとともに、高画質化を実現することができる。
(第3実施形態)
次に、第3実施形態による映像表示装置について図9を参照して説明する。図9は第3実施形態の映像表示装置を示すブロック図である。この第3実施形態の映像表示装置は、図1に示す第1実施形態に係る映像信号処理部100を映像信号処理部100Bに置き換えた構成となっている。この映像信号処理部100Bは、映像信号処理部100において、鮮鋭化処理回路104、視域境界改善処理回路105、ディザ処理回路107および視域拡大処理回路108を削除するとともに、鮮鋭化処理、視域境界改善処理、および視域拡大処理を行う、鮮鋭化/視域境界改善処理/視域拡大処理回路109を新たに設けた構成となっている。そして、この実施形態においては、警告メッセージ挿入処理回路106は、入力信号処理回路101を介して送られてきた多視差映像、または多視差映像生成回路103によって生成された多視差映像に警告メッセージを挿入する。この警告メッセージが挿入された多視差映像に、鮮鋭化/視域境界改善処理/視域拡大処理回路109によって鮮鋭化処理、視域境界改善処理、および視域拡大処理が行われる。
次に、第3実施形態による映像表示装置について図9を参照して説明する。図9は第3実施形態の映像表示装置を示すブロック図である。この第3実施形態の映像表示装置は、図1に示す第1実施形態に係る映像信号処理部100を映像信号処理部100Bに置き換えた構成となっている。この映像信号処理部100Bは、映像信号処理部100において、鮮鋭化処理回路104、視域境界改善処理回路105、ディザ処理回路107および視域拡大処理回路108を削除するとともに、鮮鋭化処理、視域境界改善処理、および視域拡大処理を行う、鮮鋭化/視域境界改善処理/視域拡大処理回路109を新たに設けた構成となっている。そして、この実施形態においては、警告メッセージ挿入処理回路106は、入力信号処理回路101を介して送られてきた多視差映像、または多視差映像生成回路103によって生成された多視差映像に警告メッセージを挿入する。この警告メッセージが挿入された多視差映像に、鮮鋭化/視域境界改善処理/視域拡大処理回路109によって鮮鋭化処理、視域境界改善処理、および視域拡大処理が行われる。
なお、鮮鋭化/視域境界改善処理/視域拡大処理回路109から出力された多視差映像を表示パネル200によって表示する。
この第3実施形態も第1実施形態と同様に、製造コストが増大するのを抑制することができるとともに、高画質化を実現することができる。
(第4実施形態)
次に、第4実施形態による映像表示装置について図10を参照して説明する。図10は第4実施形態の映像表示装置を示すブロック図である。この第4実施形態の映像表示装置は、図1に示す第1実施形態に係る映像信号処理部100を映像信号処理部100Cに置き換えた構成となっている。この映像信号処理部100Cは、映像信号処理部100において、グラフィックス生成回路121と、多視差映像を生成する多視差映像生成回路122と、映像/GFXブレンド処理回路123とを新たに設けた構成となっている。グラフィックス生成回路121は、グラフィックデータ(GFX)およびその奥行き情報Depthならびにブレンド情報αに基づいてグラフィックスを生成する。多視差映像生成回路122は、グラフィックス生成回路121によって生成されたグラフィックスを受け、このグラフィックスに関する多視差映像を生成する。映像/GFXブレンド処理回路123は、映像信号に関する多視差映像と、グラフィックスに関する多視差映像とをブレンドする処理を行う。ブレンド処理はよく知られているように、ブレンド情報αを用いて行われる。なお、グラフィックス生成回路121によって生成されたグラフィックスが多視差映像である場合には、このグラフィックスは、多視差映像生成回路122を通らないで、映像/GFXブレンド処理回路123に直接送られる。
次に、第4実施形態による映像表示装置について図10を参照して説明する。図10は第4実施形態の映像表示装置を示すブロック図である。この第4実施形態の映像表示装置は、図1に示す第1実施形態に係る映像信号処理部100を映像信号処理部100Cに置き換えた構成となっている。この映像信号処理部100Cは、映像信号処理部100において、グラフィックス生成回路121と、多視差映像を生成する多視差映像生成回路122と、映像/GFXブレンド処理回路123とを新たに設けた構成となっている。グラフィックス生成回路121は、グラフィックデータ(GFX)およびその奥行き情報Depthならびにブレンド情報αに基づいてグラフィックスを生成する。多視差映像生成回路122は、グラフィックス生成回路121によって生成されたグラフィックスを受け、このグラフィックスに関する多視差映像を生成する。映像/GFXブレンド処理回路123は、映像信号に関する多視差映像と、グラフィックスに関する多視差映像とをブレンドする処理を行う。ブレンド処理はよく知られているように、ブレンド情報αを用いて行われる。なお、グラフィックス生成回路121によって生成されたグラフィックスが多視差映像である場合には、このグラフィックスは、多視差映像生成回路122を通らないで、映像/GFXブレンド処理回路123に直接送られる。
この第4実施形態においては、映像/GFXブレンド処理回路123は、多視差映像生成回路102と、鮮鋭化処理回路104との間に設けられる。このため、入力信号処理回路101を介して送られてきた多視差映像または多視差映像生成回路103によって生成された多視差映像は、映像/GFXブレンド処理回路123に送られる。そして、映像/GFXブレンド処理回路123によってブレンド処理された多視差映像は鮮鋭化処理回路104に送られて、鮮鋭化処理が行われる。以下の処理は第1実施形態で説明した場合と同様に行う。
この第4実施形態も第1実施形態と同様に、製造コストが増大するのを抑制することができるとともに、高画質化を実現することができる。
(第5実施形態)
次に、第5実施形態による映像表示装置について図11を参照して説明する。図11は第5実施形態の映像表示装置を示すブロック図である。この第5実施形態の映像表示装置は、図10に示す第4実施形態に係る映像信号処理部100Cを映像信号処理部100Dに置き換えた構成となっている。この映像信号処理部100Dは、映像信号処理部100Cにおいて、映像/GFXブレンド処理回路123を、鮮鋭化処理回路104と視域境界改善処理回路105との間に設けられる。このため、映像/GFXブレンド処理回路123は、鮮鋭化処理回路104によって鮮鋭化処理された多視差映像と、グラフィックスの多視差映像とをブレンド処理し、ブレンド処理された多視差映像を視域境界改善処理回路105に送る。以下の処理は第1実施形態で説明した場合と同様に行う。
次に、第5実施形態による映像表示装置について図11を参照して説明する。図11は第5実施形態の映像表示装置を示すブロック図である。この第5実施形態の映像表示装置は、図10に示す第4実施形態に係る映像信号処理部100Cを映像信号処理部100Dに置き換えた構成となっている。この映像信号処理部100Dは、映像信号処理部100Cにおいて、映像/GFXブレンド処理回路123を、鮮鋭化処理回路104と視域境界改善処理回路105との間に設けられる。このため、映像/GFXブレンド処理回路123は、鮮鋭化処理回路104によって鮮鋭化処理された多視差映像と、グラフィックスの多視差映像とをブレンド処理し、ブレンド処理された多視差映像を視域境界改善処理回路105に送る。以下の処理は第1実施形態で説明した場合と同様に行う。
この第5実施形態も第4実施形態と同様に、製造コストが増大するのを抑制することができるとともに、高画質化を実現することができる。
本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。
100 映像信号処理部
100A 映像信号処理部
100B 映像信号処理部
100C 映像信号処理部
100D 映像信号処理部
101 入力信号処理回路
102 多視差映像生成回路
103 奥行き情報推定回路
104 鮮鋭化処理回路
105 視域境界改善処理回路
106 警告メッセージ挿入回路
107 ディザ処理回路
108 視域拡大処理回路
109 鮮鋭化/視域境界改善/視域拡大処理回路
121 グラフィックス生成回路
122 多視差映像生成回路
123 映像/GFXブレンド処理回路
200 表示パネル
100A 映像信号処理部
100B 映像信号処理部
100C 映像信号処理部
100D 映像信号処理部
101 入力信号処理回路
102 多視差映像生成回路
103 奥行き情報推定回路
104 鮮鋭化処理回路
105 視域境界改善処理回路
106 警告メッセージ挿入回路
107 ディザ処理回路
108 視域拡大処理回路
109 鮮鋭化/視域境界改善/視域拡大処理回路
121 グラフィックス生成回路
122 多視差映像生成回路
123 映像/GFXブレンド処理回路
200 表示パネル
Claims (16)
- 入力映像信号に関する多視差映像を鮮鋭化する処理を行う鮮鋭化処理回路と、
鮮鋭化する処理が行われた多視差映像において、視域拡大のための並べ替え後の画素の並びに基づいて、段差が発生する画像領域の画素に対してブレンド係数を用いてブレンド処理を行うことにより、前記多視差映像の視域境界を改善する処理を行う視域境界改善処理回路と、
視域境界を改善する処理が行われた多視差映像に対して、前記段差が発生する画像領域ごとに、視域拡大係数を用いて各視差画像の並び順を換えることにより、視域を拡大する処理を行う視域拡大処理回路と、
を備えていることを特徴とする映像信号処理装置。 - 前記鮮鋭化処理回路は、前記入力映像信号を表示する表示パネルの輝度プロファイルを用いて前記多視差映像を鮮鋭化することを特徴とする請求項1記載の映像信号処理装置。
- 視聴位置が逆視領域に位置していることを知らせる警告メッセージを、鮮鋭化する処理が行われた前記多視差映像に挿入する処理を行う警告メッセージ挿入処理回路を更に備えていることを特徴とする請求項1記載の映像信号処理装置。
- 前記鮮鋭化処理回路は、前記表示パネルの輝度プロファイルによって決まる前記鮮鋭化係数を記憶するメモリと、前記鮮鋭化係数および前記多視差映像に基づいて、鮮鋭化処理の演算を行う演算回路とを備えていることを特徴とする請求項2記載の映像信号処理装置。
- 前記入力映像信号を用いて、入力映像の奥行き情報を推定する奥行き情報推定回路と、前記奥行き情報を用いて、前記入力映像信号から前記多視差映像を生成する第1多視差映像生成回路と、を更に備えていることを特徴とする請求項1記載の映像信号処理装置。
- グラフィックス、このグラフィックスの奥行き情報、およびブレンド情報に基づいて前記グラフィックスの多視差映像を生成する第2多視差映像生成回路と、
前記第1多視差映像生成回路によって生成された多視差映像に、前記第2視差映像生成回路によって生成された多視差映像を、前記ブレンド情報を用いてブレンドする処理を行うブレンド処理回路と、
を更に備え、
前記ブレンド処理回路によってブレンド処理された多視差映像は前記鮮鋭化処理回路に入力されることを特徴とする請求項5記載の映像信号処理装置。 - グラフィックス、このグラフィックスの奥行き情報、およびブレンド情報に基づいて前記グラフィックスの多視差映像を生成する第2多視差映像生成回路と、
前記鮮鋭化処理回路によって鮮鋭化処理された多視差映像に、前記第2視差映像生成回路によって生成された多視差映像を、前記ブレンド情報を用いてブレンドする処理を行うブレンド処理回路と、
を更に備え、
前記ブレンド処理回路によってブレンド処理された多視差映像は前記視域境界改善処理回路に入力されることを特徴とする請求項5記載の映像信号処理装置。 - 前記視域境界改善処理回路は、前記ブレンド係数を記憶するメモリ回路と、段差が発生する画像領域の画素に対して前記ブレンド係数を用いてブレンド処理を行うフィルタ回路と、を有していることを特徴とする請求項1記載の映像信号処理装置。
- 入力映像信号に関する多視差映像を鮮鋭化する処理を行うステップと、
鮮鋭化する処理が行われた多視差映像において、視域拡大のための並べ替え後の画素の並びに基づいて、段差が発生する画像領域の画素に対してブレンド係数を用いてブレンド処理を行うことにより、前記多視差映像の視域境界を改善する処理を行うステップと、
視域境界を改善する処理が行われた多視差映像に対して、前記段差が発生する画像領域ごとに、視域拡大係数を用いて各視差画像の並び順を換えることにより、視域を拡大する処理を行うステップと、
を備えていることを特徴とする映像信号処理方法。 - 前記多視差映像を鮮鋭化する処理を行うステップは、前記入力映像信号を表示する表示パネルの輝度プロファイルを用いて行うことを特徴とする請求項9記載の映像信号処理方法。
- 視聴位置が逆視領域に位置していることを知らせる警告メッセージを、鮮鋭化する処理が行われた前記多視差映像に挿入する処理を行うステップを更に備えていることを特徴とする請求項9記載の映像信号処理方法。
- 前記多視差映像を鮮鋭化する処理を行うステップは、前記表示パネルの輝度プロファイルによって決まる前記鮮鋭化係数を記憶するステップと、前記鮮鋭化係数および前記多視差映像に基づいて、鮮鋭化処理の演算を行うステップとを備えていることを特徴とする請求項10記載の映像信号処理方法。
- 前記入力映像信号を用いて、入力映像の奥行き情報を推定するステップと、前記奥行き情報を用いて、前記入力映像信号から前記多視差映像を生成するステップと、を更に備えていることを特徴とする請求項9記載の映像信号処理方法。
- 入力映像信号に関する多視差映像を鮮鋭化する処理を行う鮮鋭化処理回路と、
鮮鋭化する処理が行われた多視差映像において、視域拡大のための並べ替え後の画素の並びに基づいて、段差が発生する画像領域の画素に対してブレンド係数を用いてブレンド処理を行うことにより、前記多視差映像の視域境界を改善する処理を行う視域境界改善処理回路と、
視域境界を改善する処理が行われた多視差映像に対して、前記段差が発生する画像領域ごとに、視域拡大係数を用いて各視差画像の並び順を換えることにより、視域を拡大する処理を行う視域拡大処理回路と、
視域を拡大する処理が行われた多視差映像を表示する表示パネルと、
を備えていることを特徴とする映像表示装置。 - 前記鮮鋭化処理回路は、前記表示パネルの輝度プロファイルを用いて前記多視差映像を鮮鋭化する処理を行うことを特徴とする請求項14記載の映像表示装置。
- 前記視域境界改善処理回路は、前記ブレンド係数を記憶するメモリ回路と、段差が発生する画像領域の画素に対して前記ブレンド係数を用いてブレンド処理を行うフィルタ回路と、を有していることを特徴とする請求項14記載の映像表示装置。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010284701A JP5011431B2 (ja) | 2010-12-21 | 2010-12-21 | 映像信号処理装置および処理方法ならびに映像表示装置 |
US13/198,438 US20120154554A1 (en) | 2010-12-21 | 2011-08-04 | Video signal processing apparatus, processing method, and video display apparatus |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010284701A JP5011431B2 (ja) | 2010-12-21 | 2010-12-21 | 映像信号処理装置および処理方法ならびに映像表示装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012122307A Division JP2012213188A (ja) | 2012-05-29 | 2012-05-29 | 映像信号処理装置および処理方法ならびに映像表示装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012134740A JP2012134740A (ja) | 2012-07-12 |
JP5011431B2 true JP5011431B2 (ja) | 2012-08-29 |
Family
ID=46233874
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010284701A Expired - Fee Related JP5011431B2 (ja) | 2010-12-21 | 2010-12-21 | 映像信号処理装置および処理方法ならびに映像表示装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120154554A1 (ja) |
JP (1) | JP5011431B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5571257B2 (ja) * | 2011-12-19 | 2014-08-13 | 富士フイルム株式会社 | 画像処理装置、方法およびプログラム |
JP5818674B2 (ja) * | 2011-12-21 | 2015-11-18 | 株式会社東芝 | 画像処理装置、方法、及びプログラム、並びに、画像表示装置 |
CN104185987B (zh) | 2012-03-27 | 2017-03-08 | 皇家飞利浦有限公司 | 具有位置追踪的多用户自动立体显示 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3512096B2 (ja) * | 1996-01-10 | 2004-03-29 | 株式会社リコー | 立体視用画像の合成処理装置 |
JP2000209614A (ja) * | 1999-01-14 | 2000-07-28 | Sony Corp | 立体映像システム |
GB0119176D0 (en) * | 2001-08-06 | 2001-09-26 | Ocuity Ltd | Optical switching apparatus |
JP3788974B2 (ja) * | 2003-02-25 | 2006-06-21 | 株式会社東芝 | 三次元画像表示装置及び画像表示方法 |
JP4331224B2 (ja) * | 2007-03-29 | 2009-09-16 | 株式会社東芝 | 三次元画像表示装置及び三次元画像の表示方法 |
JP2009080578A (ja) * | 2007-09-25 | 2009-04-16 | Toshiba Corp | 多視点データ生成装置、方法及びプログラム |
WO2010035443A1 (ja) * | 2008-09-26 | 2010-04-01 | パナソニック株式会社 | 映像信号処理装置及び映像信号処理方法 |
JP5627860B2 (ja) * | 2009-04-27 | 2014-11-19 | 三菱電機株式会社 | 立体映像配信システム、立体映像配信方法、立体映像配信装置、立体映像視聴システム、立体映像視聴方法、立体映像視聴装置 |
JP5418093B2 (ja) * | 2009-09-11 | 2014-02-19 | ソニー株式会社 | 表示装置および制御方法 |
JP5002670B2 (ja) * | 2010-03-19 | 2012-08-15 | 株式会社東芝 | 画像処理装置及び画像読取装置 |
US8340415B2 (en) * | 2010-04-05 | 2012-12-25 | Microsoft Corporation | Generation of multi-resolution image pyramids |
-
2010
- 2010-12-21 JP JP2010284701A patent/JP5011431B2/ja not_active Expired - Fee Related
-
2011
- 2011-08-04 US US13/198,438 patent/US20120154554A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20120154554A1 (en) | 2012-06-21 |
JP2012134740A (ja) | 2012-07-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4403162B2 (ja) | 立体画像表示装置および立体画像の作製方法 | |
EP2377325B1 (en) | Image based 3d video format | |
JP4328311B2 (ja) | 三次元画像表示用多視点画像の作成方法およびプログラム | |
US8884952B2 (en) | 3D display apparatus and method for processing image using the same | |
US20100171811A1 (en) | Method and device for the creation of pseudo-holographic images | |
US20140368612A1 (en) | Image processing apparatus and method | |
US9210409B2 (en) | Three-dimensional image display apparatus and image processing apparatus | |
JP2008228199A (ja) | 立体画像表示装置及び立体画像表示方法並びに立体画像用データの構造 | |
JP2007506172A (ja) | 3次元画像ディスプレイの画面に3次元画像を描画するシステム及び方法 | |
EP1807806A1 (en) | Disparity map | |
US20150365645A1 (en) | System for generating intermediate view images | |
Schwerdtner et al. | Dresden 3D display (D4D) | |
JP5011431B2 (ja) | 映像信号処理装置および処理方法ならびに映像表示装置 | |
US9967537B2 (en) | System for generating intermediate view images | |
CN106559662B (zh) | 多视图图像显示设备及其控制方法 | |
JP2012213188A (ja) | 映像信号処理装置および処理方法ならびに映像表示装置 | |
JP5931062B2 (ja) | 立体画像処理装置、立体画像処理方法、及びプログラム | |
JP5127973B1 (ja) | 映像処理装置、映像処理方法および映像表示装置 | |
US9681115B2 (en) | In-painting method for 3D stereoscopic views generation using left and right images and a depth map | |
US20110102543A1 (en) | Pixel data transformation method and apparatus for three dimensional display | |
KR101980275B1 (ko) | 다시점 영상 디스플레이 장치 및 디스플레이 방법 | |
KR101912242B1 (ko) | 3d 디스플레이 장치 및 그 영상 처리 방법 | |
US20110063293A1 (en) | Image processor | |
Zinger et al. | iGLANCE project: free-viewpoint 3D video | |
TWI452893B (zh) | 立體影像顯示方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20120511 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20120604 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150608 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150608 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |