JP5017445B2

JP5017445B2 - 視差画像変換装置

Info

Publication number: JP5017445B2
Application number: JP2010263225A
Authority: JP
Inventors: 田雅弘山
Original assignee: Toshiba Corp
Current assignee: Toshiba Corp
Priority date: 2010-11-26
Filing date: 2010-11-26
Publication date: 2012-09-05
Anticipated expiration: 2030-11-26
Also published as: US20120133644A1; US8890933B2; JP2012114766A

Description

本発明の実施形態は、視差画像変換装置に関する。

近年、送信された符号化された２次元画像信号を受信し復号化した後、この復号化された２次元画像信号から多視差画像に変換する視差画像変換装置が提案されている。

また、奥行き情報を有しない２次元画像にメニュー等の設定画面であるＯＳＤ（オンスクリーンディスプレイ）を重ねて表示することが行われている。

しかし、２次元画像信号を用いて画像を表示する際に奥行き情報が必要な表示装置、例えば裸眼式立体画像表示装置では、ＯＳＤをどのように表示するかは十分に検討されていなかった。

特開２０００−７８６１１号公報

本発明が解決しようとする課題は、多視差画像にＯＳＤを重ねた表示を可能にする視差画像変換装置を提供することである。

本実施形態の視差画像変換装置は、第１画像信号に関する第１多視差画像を生成する第１多視差画像生成部と、ＯＳＤの画像に関する、第２画像信号、奥行き情報、およびブレンド情報を受信し、前記ブレンド情報を前記奥行き情報に基づいて変更し、この変更されたブレンド情報と、前記第２画像信号と、前記奥行き情報とに基づいて、前記ＯＳＤの画像に関する第２多視差画像を生成する第２多視差画像生成部と、前記変更されたブレンド情報を用いて、前記第１多視差画像と前記第２多視差画像を合成する合成部と、を備えていることを特徴とする。

一実施形態による視差画像変換装置を示すブロック図。２次元画像信号にＯＳＤの画像信号を重ねて合成した表示した画像。図２に示す２次元画像から奥行き情報を生成する場合を説明する図。図４（ａ）、４（ｂ）はそれぞれ左目用および右目の視差画像を示す図。ＯＳＤの画像のブレンド情報を説明する図。図６（ａ）、６（ｂ）はそれぞれ、図５に示すブレンド情報を用いて合成した左目用および右目の視差画像を示す図。一実施形態において用いられるＯＳＤの画像のブレンド情報を説明する図。図８（ａ）、８（ｂ）はそれぞれ、一実施形態において用いられるＯＳＤの画像の左目用および右目用のブレンド情報を説明する図。図９（ａ）、９（ｂ）はそれぞれ、図８（ａ）、８（ｂ）で説明したブレンド情報を用いて合成した左目用および右目用の視差画像を示す図。一実施形態における回路インタフェースの一具体例の構成を示す図。画像データとＯＳＤデータの伝送方法の第１例を示す図。画像データとＯＳＤデータの伝送方法の第２例を示す図。画像データとＯＳＤデータの伝送方法の第３例を示す図。

以下に図面を参照して実施形態を説明する。

一実施形態による視差画像変換装置を図１に示す。本実施形態の視差画像変換装置１０は、回路インタフェース１２と、奥行き情報生成部１４と、第１多視差画像生成部１６と、第２多視差画像生成部１８と、合成回路１９と、を備えている。

回路インタフェース１２は、画像信号処理部２で受信した画像信号を第１多視差画像生成部１６に送り、ＯＳＤ描画部４によって描画され生成された例えばメニュー等のＯＳＤ（オンスクリーンディスプレイ）を第２多視差画像生成部１８に送る。

画像信号処理部２で受信される画像信号は、放送またはネットワークを介して入力される、符号化された２次元画像信号であるかまたは符号化された多視差画像信号である。画像信号処理部２では、これらの符号化された、２次元画像信号または多視差画像信号を復号化し、復号化された２次元画像信号または多視差画像信号を生成する。復号化された２次元画像信号にＯＳＤを単に重ねて合成し、表示パネル２０に表示すると、例えば図２に示すようになる。図２において、符号４４で示す「ＣＨ１３１」がＯＳＤを表す。このＯＳＤ４４は、図２において、チャネル番号を示している。

奥行き情報生成部１４は、復号化された２次元画像信号または多視差画像信号を解析し、画像の奥行き情報（デプス情報）を生成する。例えば、図２に示す２次元画像から物体（例えば「猫」）４０の奥行き情報を生成する。この奥行き情報の生成は、周知の方法を用いて行う。この方法は、例えば、図２に示す背景領域４２と、それ以外の領域の像４０の信号に分離し、２次元画像の動きベクトルと、上記背景領域４２の動きベクトルから、背景領域４２の代表動きベクトルを算出し、上記２次元画像の動きベクトルから上記代表動きベクトルを減算することで相対動きベクトルを算出し、この相対動きベクトルを用いて、図３に示すように２次元画像信号の画像４０の奥行き情報を生成する。なお、奥行き情報は、手前にあると示されている物体（例えば図２に示す物体４０）のほうが、奥にあるとされる物体（例えば、図２示す背景４２）よりも大きな値となる。

第１多視差画像生成部１６は、奥行き情報生成部１４で生成された奥行き情報を用いて、多視差画像を生成する。例えば、本実施形態の視差画像変換装置がめがね式の立体画像表示装置に用いられた場合は２視差画像を生成し、裸眼式立体画像表示装置に用いられた場合は例えば９方向から見た多視差画像、すなわち中央を含め９視差画像を生成する。第１多視差画像生成部１６では奥行き情報が大きな、手前にあるとされる物体（例えば図２に示す物体４０）に関する、例えば左の方向から見た視差画像としては、その物体４０は背景４２にある物体よりも右側にずれて見えるので、右側にずらすような処理を画像に対して行うことにより、左の方向から見た視差画像を生成する。また、右の方向から見た視差画像としては、左側にずらすような処理を画像に対して行うことにより、右の方向から見た視差画像を生成する。このようにして、２視差画像、または水平方向に左から右にかけて９個の位置から見た９視差画像を生成する。このように、視差画像を生成する際に物体の位置をずらす処理を行うことは、本来ならばその背景の画像が見えるはずであるが、入力された画像にその情報はないため、単に画像を歪ませる処理となる。なお、第１多視差画像生成部１６は、画像信号受信処理部２から回路インタフェース１２を介して送信される画像信号に奥行き情報が含まれている場合には、奥行き情報生成部１４によって生成された奥行き情報を用いずに、画像信号（破線で示す画像信号）を用いて、多視差画像を生成する。

ＯＳＤ描画部４は、例えば、メニュー等の設定画像であるＯＳＤを描画または設定する。このＯＳＤには、メニュー等の設定画像の他に、グラフィック画像等も含まれている。そして、本実施形態では、表示パネルに表示した場合にＯＳＤの領域を目立たせるために、ＯＳＤの領域を飛び出して表示させるので、ＯＳＤには、奥行き情報を含んでいる。また、ＯＳＤには、奥行き情報の他に、各画素における、Ｒ（赤）、Ｇ（緑）、およびＢ（青）の輝度値と、ブレンド情報αとを含んでいる。このブレンド情報αはいわゆるαブレンド（アルファブレンド）に用いられる情報（値）であり、ＯＳＤの画像が背景とブレンドする度合いを示し、ｎビットで表現される場合には０≦α≦２^ｎ−１の範囲の整数値をとる。なお、奥行き情報は、ＯＳＤの描画または設定時にＯＳＤ描画部４に入力しても良いし、ＯＳＤ描画部４においてソフトウェアを用いて作成してもよい。また、ＯＳＤに含まれる奥行き情報はユーザがメニュー画面上で操作することにより、修正または変更されるように構成してもよい。このように構成することにより、表示したときのＯＳＤの飛び出し状態が、ユーザが所望するものとなるようにすることができる。

ＯＳＤ描画部４で描画または設定されたＯＳＤは、回路インタフェース１２を介して第２多視差画像生成部１８に送られる。

第２多視差画像生成部１８は、回路インタフェース１２を介して送られてきたＯＳＤに基づいて、このＯＳＤに含まれる奥行き情報を用いて、第１多視差画像生成部１６によって生成されたと同じ視差数を有する多視差画像を生成する。例えば、ＯＳＤが、図２においてチャネル番号を示す「ＣＨ１３１」であり、かつ第１多視差画像生成部１６によって生成される視差画像が２視差画像である場合には、２視差画像として、ＯＳＤ描画部４で描画または設定された、元のＯＳＤの画像から、変形させるフィルタを用いて左目用の視差画像（図４（ａ））と、右目用の視差画像（図４（ｂ））を作成する。なお、図４（ａ）、４（ｂ）は、ＯＳＤの画像を含む一部分の画像を取り出して作成した視差画像を示す。左目用の視差画像としては、ＯＳＤの画像４４を示す矩形領域を右の方向にずらし、右目用の視差画像としては、ＯＳＤの画像４４を示す矩形領域を左の方向にずらす。このとき、背景はずらさないので、ＯＳＤの画像４４と背景との継ぎ目のところは、歪みを起こさせることになる。この歪みにより矩形領域のエッジ部分は、ぼやけたみにくい画像となってしまう。ただし、奥行き情報に関しては、例えば図２に示す画像４０に対しての奥行き情報と、ＯＳＤ４４についての奥行き情報とが独立して存在している。しかし、第２視差画像生成部１８による視差画像の生成は、ＯＳＤの画像４４に対してはＯＳＤ用の奥行き情報を使用するため、背景４２には歪みを発生することはない。

本実施形態では、上記歪みによるＯＳＤの画像を示す領域のエッジ部分にぼやけた見にくい画像が生じるのを防止するために、第２多視差画像生成部１８によって生成された、ＯＳＤの多視差画像を、第１多視差画像生成部１６によって生成された多視差画像に合成する際に、ブレンド情報αを用いて合成する。

この合成は、合成回路１９において行われる。ブレンド情報αを用いて、ＯＳＤを示す領域４４の視差画像と背景４２とを単純にブレンドすると、ブレンド情報αは、図５に示すＯＳＤ描画部４で描画または設定された元のＯＳＤの画像を示す領域における値と、図４（ａ）、４（ｂ）に示す視差画像のＯＳＤの領域における値とは、異なっている。このため、図６（ａ）に示すように、ＯＳＤの画像４４が無い部分まで背景４２が置き換えられてしまうことによる黒い部分が生じたり、図６（ｂ）に示すように、ＯＳＤの画像４４自体が欠けてしまう現象が起こる。

そこで、本実施形態では、ＯＳＤの画像の奥行き情報に関しては、背景よりも手前となる領域、すなわち奥行き情報として大きな値を有する領域５０として、図４（ａ）、４（ｂ）に示すＯＳＤの画像４４よりも、図７に示すように、画面において左右方向（画面の水平方向）に広げた範囲に取る。これは例えば、奥行き情報のデータ（値）を左方向にずらしたデータと、右方向にずらしたデータの、それぞれの最大値を取ることで、左右方向に広げた範囲をとった奥行き情報が実現できる。また、当該左右方向に広げた奥行き情報を示すデータ（値）が、ＯＳＤ描画部４に予め設定されていてもよい。当該データは例えば、ＯＳＤデータ作成時に設定される。これにより、奥行き情報の値の変化点５２は、ＯＳＤの画像におけるブレンド情報αが０、つまり画像が透明となる部分に位置する。なお、図７において、領域５４は、画面における奥行き情報が領域５０よりも小さい領域を示している。したがって、領域５０として、ＯＳＤの画像４４よりも画面において左右方向に広げた範囲に取ることは、ＯＳＤの画像のブレンド情報αが０となる領域に領域５０を広げることを意味し、更に、ＯＳＤの奥行き情報に基づいて、ＯＳＤの画像のブレンド情報αが修正または変更されることを意味する。

したがって、第２多視差画像生成部１８においては、上記ＯＳＤの奥行き情報に基づいて、多視差画像が生成されるが、このとき、各視差画像において、上記奥行き情報に基づいて左右方向に移動された（ずらされた）ＯＳＤの画像の領域に、ＯＳＤの奥行き情報に基づいてブレンド情報αが修正または変更される。例えば、第２多視差画像生成部１８において、左目用の視差画像および右目用の視差画像を生成した場合の、ＯＳＤの奥行き情報に基づいた修正または変更されたブレンド情報αを、図８（ａ）、８（ｂ）にそれぞれ示す。なお、図８（ａ）、８（ｂ）において、符号５６はブレンド値αが０でない領域を示し、符号５８は、修正または変更されたブレンド情報αが０となる領域と０でない領域の境界を示す。

このように、本実施形態においては、多視差画像を生成する際の画像の変形が適用されるのは画像が透明の部分、すなわちブレンド情報αが０となる領域となり、ＯＳＤの画像４４を示す矩形領域が変形することは無い。

合成回路１９においては、第２多視差画像生成部１８においてＯＳＤの奥行き情報に基づいて修正または変更されたブレンド情報αを用いて、第１多視差画像生成部１６によって生成された多視差画像と、第２多視差画像生成部１８によって生成されたＯＳＤに関する多視差画像とを合成し、合成された多視差画像を生成する。その合成は、各多視差画像の各画素に対して、以下の式を用いて行われる。
ここで、ＭをＯＳＤの奥行き情報に基づいて修正または変更されたブレンド情報αの最大値、Ａを第１多視差画像生成部１６によって生成された多視差画像における画素の画素値（輝度値）、Ｂを第１多視差画像生成部１６によって生成された多視差画像における画素の画素値、Ｃを合成回路１９において合成された多視差画像における画素の画素値である。例えば、ブレンド情報αがｎビットで表現される場合には、Ｍ＝２^ｎ−１となる。

このようにして合成された多視差画像は、合成回路１９において、立体画像表示用の画像に並び替えられ、表示パネル２０に送られて表示される。表示パネル２０に表示された、立体画像表示用の画像は、矩形領域４４のエッジ部分は元の画像のきれいなエッジが保たれたままとなり、欠けたりすることもなく、不要な色が付くこともないＯＳＤのブレンドが実現された画像となる。例えば、本実施形態において、左目用として合成された視差画像を図９（ａ）に示し、右目用として合成された視差画像を図９（ｂ）に示す。図９（ａ）、９（ｂ）からわかるように、ＯＳＤについても自然できれいな立体画像を生成することができる。

次に、本実施形態における、画像データとＯＳＤデータの伝送方法について、図１０乃至図１３を参照して説明する。図１０は、図１に示す本実施形態における回路インタフェース１２の一具体例の構成を示す図である。この具体例の回路インタフェース１２は、多重部１２Ａと、分離部１２Ｂとを備えている。多重部１２Ａは、書き込み制御回路１２Ａ_１と、フレームメモリ１２Ａ_２と、読み出し制御回路１２Ａ_３と、を有している。また、分離部１２Ｂは、書き込み制御回路１２Ｂ_１と、フレームメモリ１２Ｂ_２と、読み出し制御回路１２Ｂ_３と、を有している。

書き込み制御回路１２Ａ_１は、画像信号処理部２から送られてくる画像信号と、ＯＳＤ描画部４において描画または設定されたＯＳＤの画像信号とを受信し、それぞれの画像信号をフレームメモリ１２Ａ_２の所定の領域にフレーム毎に書き込む。画像信号処理部２から送られてくる画像信号には、Ｒ（赤）、Ｇ（緑）、Ｂ（青）の信号値を含まれているので、これらのＲ、Ｇ、Ｂの信号値からなるフレームがフレームメモリ１２Ａ_２の所定の領域に書き込まれる。また、画像信号処理部２から送られてくる画像信号に、各画素に対する奥行き情報が含まれている場合には、この奥行き情報に関するフレームがフレームメモリ１２Ａ_２の所定の領域に書き込まれる。

また、ＯＳＤ描画部４から送られてくるＯＳＤの画像信号には、Ｒ、Ｇ、Ｂの信号値の他に、ブレンド情報αと、奥行き情報とが含まれている。このため、ＯＳＤの画像信号に関しては、Ｒ、Ｇ、Ｂの信号値、ブレンド情報α、および奥行き情報に関するフレームがフレームメモリ１２Ａ_２の所定の領域に書き込まれる。なお、後述するように、ＯＳＤのブレンド情報αは、ＯＳＤのＲ、Ｇ、Ｂの信号値とともに、１フレームを構成してもよいし、奥行き情報とともに１フレームを構成してもよい。

フレームメモリ１２Ａ_２に書き込まれた画像信号は、読み出し制御回路１２Ａ_３によって、フレーム毎に順次読み出され、分離部１２Ｂの書き込む制御回路１２Ｂ_１に送られる。この書き込み制御回路１２Ｂ_１は、入力されたフレーム毎の画像信号をフレームメモリ１２Ｂ_２の所定領域に書き込む。フレームメモリ１２Ｂ_２に書き込まれた画像信号は、読み出し制御回路１２Ｂ_３によって、フレーム毎に順次読み出され、第１多視差画像生成部１６または第２多視差画像生成部１８に送られる。

回路インタフェース１２において、ＨＤＭＩ（High-Definition Multimedia Interface)規格が用いられる場合には、Ｒ、Ｇ、Ｂの３つの信号値の伝送が可能である。このため、図１１に示すように、画像信号処理部２からの画像信号が奥行き情報を含む画像信号、例えば、３次元画像信号である場合には、この画像信号に関するＲ、Ｇ、Ｂの信号値からなるフレーク５１と、この画像信号に関する奥行き情報からなるフレーム５２と、ＯＳＤの画像に関するＲ、Ｇ、Ｂの信号値からなるフレーク５３と、ＯＳＤの画像の奥行き情報およびブレンド情報αからなるフレーム５４とにそれぞれ分けられる。画像信号をこれらのフレームに分ける処理は、書き込み制御回路１２Ａ１によって行われ、それぞれのフレーム５１、５２、５３、５４はそれぞれ、フレームメモリ１２Ａ_２の所定の領域に書き込まれる。これにより、フレーム数を増やすことなく伝送を行うことができる。なお、図１１において、符号６１は水平ブランキング期間を示し、符号６３は水平走査期間を示し、符号７０は一画像走査期間を示し、符号７１は垂直ブランキング期間を示し、符号７３は垂直走査期間を示す。

なお、画像信号処理部２からの画像信号に奥行き情報を情報が含まれない画像信号、例えば２次元画像信号である場合には、図１２に示すように、この画像信号に関するＲ、Ｇ、Ｂの信号値からなるフレーク５１と、ＯＳＤの画像に関するブレンド情報αからなるフレーム５５と、ＯＳＤの画像に関するＲ、Ｇ、Ｂの信号値からなるフレーク５３と、ＯＳＤの画像の奥行き情報からなるフレーム５６とにそれぞれ分けられてもよい。この場合もフレーム数を増やすことなく伝送を行うことができる。

これに対して、回路インタフェース１２において、ＬＶＤＳ（Low Voltage Differential Signaling)が用いられる場合には、３５ビットデータが伝送できるので、Ｒ、Ｇ、Ｂの３信号値とブレンド情報αを各８ビット、合計３２ビットで伝送してもよい。この場合、図１３に示すように、画像信号処理部２からの画像信号に関するＲ、Ｇ、Ｂの信号値からなるフレーク５１と、この画像信号に関する奥行き情報からなるフレーム５２と、ＯＳＤの画像に関するＲ、Ｇ、Ｂの信号値およびブレンド情報αからなるフレーク５７と、ＯＳＤの画像の奥行き情報からなるフレーム５６とにそれぞれ分けられる。この場合も、フレーム数を増やすことなく、従来の伝送路の形式を変更せずに伝送することができる。

以上説明したように、本実施形態によれば、多視差画像にＯＳＤを重ねた表示を可能にすることができる。

また、本実施形態の視差画像変換装置１０は、映像記録再生装置、例えばＤＶＤプレイヤー等に用いることができる。

なお、本実施形態の視差画像変換装置は、表示パネル２０を含んでいてもよい。また、画像信号処理部２およびＯＳＤ描画部４の少なくとも一方を含んでいてもよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

２画像信号処理部
４ＯＳＤ描画部
１０視差画像変換装置
１２回路インタフェース
１４奥行き情報生成部
１６第１多視差画像生成部
１８第２多視差画像生成部
１９合成部
２０表示パネル

Claims

第１画像信号に関する第１多視差画像を生成する第１多視差画像生成部と、
ＯＳＤの画像に関する、第２画像信号、奥行き情報、およびブレンド情報を受信し、前記ブレンド情報を前記奥行き情報に基づいて変更し、前記第２画像信号と、前記奥行き情報とに基づいて、前記ＯＳＤの画像に関する第２多視差画像を生成する第２多視差画像生成部と、
前記変更されたブレンド情報を用いて、前記第１多視差画像と前記第２多視差画像を合成する合成部であって、前記第１多視差画像と前記第２多視差画像を合成する際に、前記ＯＳＤの画像の変更前のブレンド情報αが０となる領域を画面の水平方向に移動させることにより前記変更されたブレンド情報が０となる領域を得る合成回路と、
を備えていることを特徴とする視差画像変換装置。
前記第１画像信号から前記第１画像信号に関する奥行き情報を生成する奥行き情報生成部を更に備え、
前記第１多視差画像生成部は、前記第１画像信号に奥行き情報が含まれていない場合に、前記奥行き情報生成部によって生成された奥行き情報を用いて前記第１多視差画像を生成することを特徴とする請求項１記載の視差画像変換装置。
前記第１多視差画像生成部は、前記第１画像信号に奥行き情報が含まれている場合に、前記第１画像信号に含まれている前記奥行き情報を用いて前記第１多視差画像を生成することを特徴とする請求項１記載の視差画像変換装置。
前記第１画像信号、前記第２画像信号、前記ＯＳＤに関する奥行き情報、および前記ＯＳＤに関するブレンド情報を受信し、前記第１画像信号を前記第１多視差画像生成部に送り、前記第２画像信号、前記ＯＳＤに関する奥行き情報、および前記ＯＳＤに関するブレンド情報を前記第２多視差画像生成部に送る回路インタフェースを更に備えていることを特徴とする請求項１乃至３のいずれかに記載の視差画像変換装置。
前記第１画像信号が奥行き情報を含んでいる場合には、前記回路インタフェースは、前記第１画像信号のＲ、Ｇ、Ｂの信号値に関する第１フレームと、前記第１画像信号の奥行き情報に関する第２フレームと、前記ＯＳＤの画像のＲ、Ｇ、Ｂの信号値に関する第３フレームと、前記ＯＳＤの画像の奥行き情報およびブレンド情報に関する第４フレームと、に分けて処理を行うことを特徴とする請求項４記載の視差画像変換装置。
前記第１画像信号が奥行き情報を含んでいる場合には、前記回路インタフェースは、前記第１画像信号のＲ、Ｇ、Ｂの信号値に関する第１フレームと、前記第１画像信号の奥行き情報に関する第２フレームと、前記ＯＳＤの画像のＲ、Ｇ、Ｂの信号値およびブレンド情報に関する第３フレームと、前記ＯＳＤの画像の奥行き情報に関する第４フレームと、に分けて処理を行うことを特徴とする請求項４記載の視差画像変換装置。
前記第１画像信号が奥行き情報を含んでいない場合には、前記回路インタフェースは、前記第１画像信号のＲ、Ｇ、Ｂの信号値に関する第１フレームと、前記ＯＳＤの画像のブレンド情報に関する第２フレームと、前記ＯＳＤの画像のＲ、Ｇ、Ｂの信号値に関する第３フレームと、前記ＯＳＤの画像の奥行き情報に関する第４フレームと、に分けて処理を行うことを特徴とする請求項４記載の視差画像変換装置。
前記合成部によって合成された画像を表示する表示パネルを更に備えていることを特徴とする請求項１乃至７のいずれかに記載の視差画像変換装置。