JP4997327B2 - 多視差画像受信装置 - Google Patents

Description

本発明の実施形態は、多視差画像受信装置に関する。

近年、多視差画像（３次元画像）受信装置が開発され、販売されている。しかし、３次元画像用のソフトの量は少ない。そこで、送信された符号化された２次元画像信号を受信し復号化した後、この復号化された２次元画像信号から多視差画像を生成し、この多視差画像を表示する多視差画像受信装置が提案されている。

また、入力データが、奥行き情報を有しない２次元画像データ、２次元画像に奥行き情報を付加した３次元データ、または視差画像データのいずかであることを判別し、それぞれに対応した３次元画像を生成する立体表示装置が提案されている。しかし、この立体表示装置は、放送またはネットワークを介して配信された画像から多視差画像を生成することについては、開示されていない。

特開２００６−１１５１５１号公報

本発明が解決しようとする課題は、放送またはネットワークを介して配信された画像を受信して多視差画像に変換して表示するとともに、入力された多視差画像を表示に適した多視差画像に変換して表示することができ、かつ電源がオンされたときに鮮明な立体感のある画像を表示することのできる多視差画像受信装置を提供することである。

本実施形態による多視差画像受信装置は、マトリクス状に配列された画素を有する平面表示部と、前記平面表示部に対向するように配置され前記画素からの光線を制御する複数の射出瞳を有する光線制御素子とを備えた表示装置に表示される立体画像用の多視差画像を、受信された画像信号に基づいて生成する多視差画像受信装置であって、画像信号を受信する画像信号受信処理部と、前記画像信号受信処理部によって受信された前記画像信号に基づいて第１の多視差画像を生成する多視差画像生成部と、多視差画像信号を受信し、第２の多視差画像に変換する多視差画像受信変換部と、電源がオンされた場合に前記表示装置に表示するためのメッセージを含む第３の多視差画像を生成するメッセージ生成部と、電源がオンされた場合に前記第３の多視差画像を選択して出力し、その後は制御信号に基づいて、前記第１または第２の多視差画像を選択して出力する選択部と、前記選択部から出力された多視差画像を立体画像表示用の画像に変換する立体画像変換部と、を備え、前記第３の多視差画像に含まれる前記メッセージは視聴者が、正常な立体画像を見える領域外にいることを前記視聴者に知らせる画像を含み、前記画素からの光線が前記光線制御素子によって制御されることにより前記メッセージは正常な立体画像を見える領域の範囲内にいる視聴者には見えないように表示されることを特徴とする。

第１実施形態による多視差画像受信装置を示すブロック図。 ２次元画像の例を示す図。 図２に示す２次元画像から奥行き情報を生成する場合を説明する図。 １２８０×７２０の解像度を有する９個の視差画像を３８４０×２１６０の解像度を有する画面に表示した場合を示す図。 ９個の視差画像を図４に示す画面に表示した場合の画素配列を示す図。 ９視差画像信号３ａ、３ｂ、３ｃ、３ｄの１画面に配置された９視差画像３０ａ〜３０ｉを分離した場合を示す図。 図６に示す９個の視差画像３０ａ〜３０ｉを１２８０×７２０の画面に表示した場合の画素配列を示す図。 第２実施形態による多視差画像受信装置を示すブロック図。

本実施形態の多視差画像受信装置は、画像信号を受信する画像信号受信処理部と、前記画像信号受信処理部によって受信された前記画像信号に基づいて第１の多視差画像を生成する多視差画像生成部と、多視差画像信号を受信し、第２の多視差画像に変換する多視差画像受信変換部と、電源がオンされたときに表示装置に表示するためのメッセージを含む第３の多視差画像を生成するメッセージ生成部と、電源がオンされたときに前記第３の多視差画像を選択して出力し、その後は制御信号に基づいて、前記第１または第２の多視差画像を選択して出力する選択部と、前記選択部から出力された多視差画像を立体画像表示用の画像に変換する立体画像変換部と、を備えている。

（第１実施形態）
第１実施形態による多視差画像受信装置を図１に示す。本実施形態の多視差画像受信装置は、画像信号受信処理部４と、奥行き情報生成部６と、多視差画像生成部８と、多視差画像受信変換部１０と、メッセージ生成部１２と、選択部１４と、制御部１６と、立体画像変換部１８と、平面表示装置２０とを備えている。

平面表示装置２０は、マトリクス状に配列された画素を有する表示パネル（平面表示部）２０ａと、この表示パネル２０ａに対向するように配置され、上記画素からの光線を制御する複数の射出瞳を有する光線制御素子２０ｂと、を備えている。表示パネル２０ａとしては、例えば液晶パネル、プラズマディスプレイパネル等を用いることができる。光線制御素子２０ｂは、一般的にはパララクスバリア或いは視差バリアとも称せられ、光線制御素子２０ｂの各射出瞳は、同一位置でも角度により異なる画像が見えるように光線を制御している。具体的には、左右視差（水平視差）のみを与える場合には、複数のスリットを有するスリット板或いはレンチキュラーシート（シリンドリカルレンズアレイ）が用いられ、上下視差（垂直視差）も含める場合には、ピンホールアレイ或いはレンズアレイが用いられる。すなわち、スリット板のスリット、シリンドリカルレンズアレイのシリンドリカルレンズ、ピンホールアレイのピンホール、レンズアレイのレンズが各射出瞳となる。なお、本実施形態および後述する第２実施形態においては、平面表示装置は、複数の射出瞳を有する光線制御素素子を備えていたが、パララックスバリアを透過型液晶表示装置などにより電子式に発生させ、バリアパターンの形状や位置などを電子的に可変制御する平面表示装置を用いてもよく、後述する立体画像用表示用の画像が表示可能な表示装置であればよい。

画像信号受信処理部４は、放送またはネットワークを介して入力される、符号化された２次元画像信号２または符号化された多視差画像信号３ａを受信して復号化し、復号化された２次元画像信号または多視差画像信号を生成する。復号化された２次元画像信号を表示すると、例えば図２に示すようになる。

奥行き情報生成部１２は、復号化された２次元画像信号または多視差画像信号を解析し、画像の奥行き情報（デプス情報）を生成する。例えば、図２に示す２次元画像から物体４０の奥行き情報を生成する。この奥行き情報の生成は、周知の方法、例えば、特開２０００−２６１８２８号公報に記載の方法を用いて行う。この方法は、図２に示す背景領域４２と、それ以外の領域の像４０の信号に分離し、２次元画像の動きベクトルと、上記背景領域４２の動きベクトルから、背景領域４２の代表動きベクトルを算出し、上記２次元画像の動きベクトルから上記代表動きベクトルを減算することで相対動きベクトルを算出し、この相対動きベクトルを用いて、図３に示すように２次元画像信号の画像４０の奥行き情報を生成する。
多視差画像生成部８は、奥行き情報生成部６で生成された奥行き情報を用いて、例えば９方向から見た多視差画像を生成する。多視差画像生成部８では奥行き情報が手前にあると示されている物体（例えば図２に示す物体４０）については、例えば左の方向から見た視差画像としては、その物体４０は背景４２にある物体よりも右側にずれて見えるので、右側にずらすような処理を画像に対して施すことにより、左の方向から見た視差画像を生成する。このようにして、水平方向に左から右にかけて９個の位置から見た視差画像を生成する。物体の位置をずらす処理を行うことは、本来ならばその背景の画像が見えるはずであるが、入力された画像にその情報はないため、単に画像を歪めるような処理となる。なお、多視差画像生成部８は、画像信号受信処理部４から送信される画像信号に奥行き情報が含まれている場合には、奥行き情報生成部６によって生成された奥行き情報を用いずに、画像信号（破線で示す画像信号）を用いて、多視差画像を生成する。

多視差画像受信変換部１０は、例えば、入力された多視差画像信号３ａ、３ｂ、３ｃ、３ｄを表示パネル２０の表示に適した多視差画像に変換して出力する。例えば、入力された多視差画像信号の視差数をＮ、平面表示装置２０の表示に適した視差数をｎとしたとき、Ｎ＞ｎの場合には入力された多視差画像信号を間引いて視差数がｎの多視差画像として出力し、Ｎ＜ｎの場合には入力された多視差画像信号を用いて補間することにより視差数がｎの多視差画像を生成して出力し、Ｎ＝ｎの場合は、入力された多視差画像信号をそのまま多視差画像として出力する。なお、多視差画像信号３ａ、３ｂ、３ｃ、３ｄは、放送またはネットワークを介して配信された画像信号であってもよいし、再生されたビデオ画像信号、またはＰＣ（Personal Computer）で生成した多視差画像信号であってもよい。したがって、多視差画像受信変換部１０は、入力された多視差画像信号３ａ、３ｂ、３ｃ、３ｄが符号化された画像信号の場合は復号化し、この復号化された多視差画像信号を、表示するのに適した多視差画像に変換して出力する。本実施形態においては、多視差画像受信変換部１０は、多視差画像信号３ａ、３ｂ、３ｃ、３ｄがそれぞれ入力されるための端子、すなわち４個の入力端子を備えている。

メッセージ生成部１２は、電源がオンされたときに、平面表示装置２０に表示するための鮮明な多視差画像を生成し、この多視差画像中には、正常な立体画像が見える領域（視域）の範囲外に視聴者がいる場合に、それを知らせるメッセージを含んでいる。このメッセージは、言葉を含む画像であってもよいし、警告画像であってもよい。そして、このメッセージは、視域内にいる視聴者には見えないように、表示する。すなわち、表示パネル２０から視域外に出射される光線の出射元の画素からメッセージの信号が出力されるようにする。なお、メッセージ生成部１２は、予め平面表示装置２０に表示するための鮮明な多視差画像を記憶しておき、電源がオンされたときに、この記憶していたメッセージ付きの多視差画像を出力するようにしてもよい。

選択部１４は、制御部１６からの制御信号に基づいて、多視差画像生成部８から出力された多視差画像、多視差画像受信変換部１０から出力された多視差画像のいずれかの多視差画像を選択し、この選択された多視差画像と、メッセージ生成部１２によって生成された多視差画像とを立体画像変換部１８に送出する。

制御部１６は、視聴者が操作することにより発生する信号、例えば図示しないリモートコントローラを操作することにより発生される信号（例えば、赤外線による信号）に基づいて制御信号を発生し、この制御信号によって制御部選択部１４を制御することができるとともに、電源がオンされたときに、メッセージ生成部１２によって生成された多視差画像を選択して立体画像変換部１８に送出する。

立体画像変換部１８は、選択部１４を介して送出された多視差画像を、平面表示装置２０の射出瞳ごとに各視差画像の構成要素である画素を並び替えて立体画像表示用の画像を平面表示装置２０に送る。なお、各視差画像が３個のサブ画素（例えば、Ｒ（赤）、Ｇ（緑）、Ｂ（青））から構成されている場合には、画素単位の情報をサブ画素単位で並び替える処理を行って立体画像表示用の画像を生成する。また、特開２００６−９８７７９号公報に示すように、視差画像のうち実際に必要な部分のみをまとめることにより視差画像の伝送や圧縮に向くフォーマット（例えば、タイル画像）に変換してもよい。

平面表示装置２０は、立体画像変換部１８から送られくる立体画像表示用の画像を表示する。

多視差画像生成部８で生成される多視差画像は原理的に擬似的な立体画像となる。一方、９台のカメラで撮影した画像や、ＣＧ（コンピーターグラフィックス）で画像を生成する場合は、９方向から見た画像を忠実に得ることができるため、これがそのまま平面表示装置２０で表示すれば、よりきれいな立体画像を見ることができる。

今、多視差画像信号３ａ、３ｂ、３ｃ、３ｄを９視差の画像信号とすると、９視差画像信号は、単純には通常の画像（２次元画像）の９視差分の画像となり、画素数は通常の画像の９倍の画素数が必要となる。例えば、通常の画像が１２８０×７２０の画素数の場合は、この９倍の画像、例えば縦横３倍ずつとすると、図４に示す３８４０×２１６０画素を有する画像が、多視差画像受信変換部１０の４個の入力端子に入力される。ちょうどこれは、フルハイビジョンテレビ（１９２０×１０８０）の４倍となっており、フルハイビジョンテレビの画像伝送ができるＨＤＭＩ(High-Definition Mutimedia Interface)やＤＶＩ(Degital Visual Interface)の端子４つで受信することができる。図４に示す画像は９個の視差画像３０ａ〜３０ｉからなっており、それぞれの視差画像３０ｊ（ｊ＝ａ，・・・，ｉ）を図４に示す画像として表示した場合の画素配列を図５に示す。記号ｊ（ｌ、ｋ）は、視差画像３０ｊのｌ列ｋ行の画素の輝度値を示す。

また、例えば表示パネル２０の解像度が６４０×３６０である場合は９個分で１９２０×１０８０の画素に配置することができる。つまりＨＤＭＩ端子ひとつで９視差の画像が収まる。本実施形態における画像受信処理部４の入力端子はＨＤＭＩ端子ひとつの場合の例である。ここに通常の画像と９視差画像（この場合は６４０×３６０が９個）の画像を受信する。画像受信処理部４でＯＳＤ（オンスクリーンディスプレー）を重ねたり、グラフィックスを嵌め込むなどしてもよい。この画像受信処理部４の出力、あるいは多差画像受信変換部１０に入力される９視差画像信号３ａ、３ｂ、３ｃ、３ｄの１画面に配置された９視差画像３０ａ〜３０ｉを分離し、図６に示すような形にする。この場合、図６に示す９個の視差画像３０ａ〜３０ｉの画素配列を図７に示す。記号ｊ（ｌ、ｋ）は、視差画像３０ｊのｌ列ｋ行の画素の輝度値を示す。

次に、本実施形態の多視差画像受信装置の動作を説明する。

まず、本実施形態の多視差画像受信装置の電源がオンされると、メッセージ生成部１２によって生成されたメッセージを含む多視差画像が制御部１６によって選択されて、立体画像変換部１８に送られ、立体画像変換部１８によって立体画像表示用の画像に変換され、平面表示装置２０によって立体画像が表示される。このとき、表示される立体画像は、メッセージ生成部１２によって生成された鮮明な多視差画像に基づいているので、鮮明な立体感のある画像となる。また、メッセージ生成部１２によって生成されたメッセージを含む多視差画像には、正常な立体画像が見える領域（視域）の範囲外に視聴者がいる場合に、それを知らせるメッセージを含んでいるので、視聴者が視域外にいるときには、それを視聴者が知ることが可能となり、視聴者が視域で視聴することができ、正常な立体画像を見ることを可能にする。

なお、メッセージ生成部１２によって生成されたメッセージを含む多視差画像による立体画像の表示は、電源がオンされてから所定の時間表示し、その後に、多視差画像生成部８または多視差画像受信変換部１０から出力された多視差画像を選択するように制御部１６が制御してもよい。

また、メッセージ生成部１２によって生成された多視差画像による立体画像の表示中に、視聴者が例えばリモートコントローラを操作することにより、多視差画像生成部８または多視差画像受信変換部１０から出力された多視差画像を選択するように制御部１６を制御してもよい。

なお、視域外に視聴者がいる場合を知らせるメッセージは、多視差画像生成部８または多視差画像受信変換部１０から出力された多視差画像が選択された後も平面表示装置２０で表示されるようにしてもよい。

制御部１６によって、多視差画像生成部８または多視差画像受信変換部１０から出力された多視差画像が選択されると、この選択された多視差画像が立体画像変換部１８によって立体画像表示用の画像に変換され、立体画像が平面表示装置２０によって表示される。

以上説明したように、本実施形態によれば、放送またはネットワークを介して配信された画像を受信して多視差画像に変換して表示するとともに、入力された多視差画像を表示に適した多視差画像に変換して表示することができ、かつ電源がオンされたときに鮮明な立体感のある画像を表示することができる。すなわち、通常の画像入力に対しても、多視差画像入力に対しても、良好な立体画像を作成し、表示することができる。

通常の放送や現行のＤＶＤなどでは、このような画像を入手することはできない。しかし、本実施形態においては、通常の放送や現行のＤＶＤなどからの画像信号に基づいて、多視差画像生成部８で擬似的ではあるが多視差画像を生成して立体画像を表示することができるとともに、例えば、ＰＣで生成した多視差画像を受信して、鮮明な立体感を持った画像を表示することができる。

（第２実施形態）
次に、第２実施形態による多視差画像受信装置を図８に示す。この第２実施形態の多視差画像受信装置は、図１に示す第１実施形態において、メッセージ生成部１２によって生成されたメッセージを含む多視差画像を選択部１４に入力する代わりに、多視差画像受信変換部１０に入力するように構成されている。

本実施形態においては、電源がオンされると、メッセージ生成部１２によって生成されたメッセージを含む多視差画像が多視差画像受信変換部１０に送られ、制御部１６によって選択されて、立体画像変換部１８に送られ、立体画像変換部１８によって立体画像表示用の画像に変換され、平面表示装置２０によって立体画像が表示される。このとき、表示される立体画像は、メッセージ生成部１２によって生成された鮮明な多視差画像に基づいているので、鮮明な立体感のある画像となる。また、メッセージ生成部１２によって生成されたメッセージを含む多視差画像には、正常な立体画像が見える領域（視域）の範囲外に視聴者がいる場合に、それを知らせるメッセージを含んでいるので、視聴者が視域外にいるときには、それを視聴者が知ることが可能となり、視聴者が視域で視聴することができ、正常な立体画像を見ることを可能にする。

なお、メッセージ生成部１２によって生成されたメッセージを含む多視差画像による立体画像の表示は、電源がオンされてから所定の時間表示し、その後に、多視差画像生成部８から出力される多視差画像（メッセージ生成部１２によって生成された多視差画像を含まない多視差画像）または多視差画像受信変換部１０から出力された多視差画像を選択するように制御部１６が制御してもよい。

また、メッセージ生成部１２によって生成された多視差画像による立体画像の表示中に、視聴者が例えばリモートコントローラを操作することにより、多視差画像生成部８から出力される多視差画像（メッセージ生成部１２によって生成された多視差画像を含まない多視差画像）または多視差画像受信変換部１０から出力された多視差画像を選択するように制御部１６を制御してもよい。

なお、視域外に視聴者がいる場合を知らせるメッセージは、多視差画像生成部８から出力される多視差画像（メッセージ生成部１２によって生成された多視差画像を含まない多視差画像）または多視差画像受信変換部１０から出力された多視差画像が選択された後も平面表示装置２０で表示されるようにしてもよい。

以上説明したように、本実施形態も第１実施形態と同様に、放送またはネットワークを介して配信された画像を受信して多視差画像に変換して表示するとともに、入力された多視差画像を表示に適した多視差画像に変換して表示することができ、かつ電源がオンされたときに鮮明な立体感のある画像を表示することができる。すなわち、通常の画像入力に対しても、多視差画像入力に対しても、良好な立体画像を作成し、表示することができる。

また、上記第１および第２実施形態の多視差画像受信装置は、表示装置を備えていたが、表示装置を有しない映像記録再生装置、例えばＤＶＤプレイヤー等に用いることができる。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これらの実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これらの実施形態やその変形は、発明の範囲や要旨に含まれると同様に、特許請求の範囲に記載された発明とその均等の範囲に含まれるものである。

２ ２次元画像信号
３ａ、３ｂ、３ｃ、３ｄ 多視差画像信号
４ 画像信号受信部
６ 奥行き情報生成部
８ 多視差画像生成部
１０ 多視差画像受信変換部
１２ メッセージ生成部
１４ 選択部
１６ 制御部
１８ 立体画像変換部
２０ 平面表示装置
２０ａ 表示パネル
２０ｂ 光線制御素子

Claims (10)

1. マトリクス状に配列された画素を有する平面表示部と、前記平面表示部に対向するように配置され前記画素からの光線を制御する複数の射出瞳を有する光線制御素子とを備えた表示装置に表示される立体画像用の多視差画像を、受信された画像信号に基づいて生成する多視差画像受信装置であって、
   画像信号を受信する画像信号受信処理部と、
   前記画像信号受信処理部によって受信された前記画像信号に基づいて第１の多視差画像を生成する多視差画像生成部と、
   多視差画像信号を受信し、第２の多視差画像に変換する多視差画像受信変換部と、
   電源がオンされた場合に前記表示装置に表示するためのメッセージを含む第３の多視差画像を生成するメッセージ生成部と、
   電源がオンされた場合に前記第３の多視差画像を選択して出力し、その後は制御信号に基づいて、前記第１または第２の多視差画像を選択して出力する選択部と、
   前記選択部から出力された多視差画像を立体画像表示用の画像に変換する立体画像変換部と、
   を備え、
   前記第３の多視差画像に含まれる前記メッセージは視聴者が、正常な立体画像を見える領域外にいることを前記視聴者に知らせる画像を含み、前記画素からの光線が前記光線制御素子によって制御されることにより前記メッセージは正常な立体画像を見える領域の範囲内にいる視聴者には見えないように表示されることを特徴とする多視差画像受信装置。
2. 前記メッセージ生成部から出力された前記第３の多視差画像は前記選択部に前記多視差画像受信変換部を介さずに入力されることを特徴とする請求項１記載の多視差画像受信装置。
3. 前記メッセージ生成部から出力された前記第３の多視差画像は、前記多視差画像受信変換部を介して前記選択部に入力されることを特徴とする請求項１記載の多視差画像受信装置。
4. 前記画像信号受信処理部によって受信された前記画像信号は、放送またはネットワークによって配信された２次元画像信号であることを特徴とする請求項１乃至３のいずれかに記載の多視差画像受信装置。
5. 前記画像信号受信処理部によって受信された前記画像信号から奥行き情報を生成する奥行き情報生成部を更に備え、前記多視差画像生成部は前記奥行き情報生成部に生成された奥行き情報を用いて多視差画像を生成することを特徴とする請求項１乃至４のいずれかに記載の多視差画像受信装置。
6. 視聴者が操作するリモートコントローラによって発生される信号に基づいて、前記制御信号を発生する制御部を更に備えていることを特徴とする請求項１乃至５のいずれかに記載の多視差画像受信装置。
7. 前記第３の多視差画像を記憶する記憶部を備える請求項１記載の多視差画像受信装置。
8. マトリクス状に配列された画素を有する平面表示部と、前記平面表示部に対向するように配置され前記画素からの光線を制御する複数の射出瞳を有する光線制御素子とを備えた表示装置に表示される立体画像用の多視差画像を、入力された画像を処理することにより生成する画像処理装置であって、
   入力された画像信号に基づいて生成される第１の多視差画像と、入力された多視差画像を第２の多視差画像と、前記表示装置に表示するためのメッセージを含む第３の多視差画像のうちから、電源がオンされた場合に前記第３の多視差画像を選択して出力し、その後は制御信号に基づいて前記第１または第２の多視差画像を選択して出力する選択部と、
   前記選択部から出力された多視差画像を立体画像表示用の画像に変換する立体画像変換部と、
   を備え、
   前記多視差画像に含まれる前記メッセージは視聴者が正常な立体画像を見える領域外にいることを前記視聴者に知らせる画像を含み、前記画素からの光線が前記光線制御素子によって制御されることにより前記メッセージは正常な立体画像を見える領域の範囲内にいる視聴者には見えないように表示されることを特徴とする画像処理装置。
9. 前記メッセージを含む多視差画像を記憶する記憶部を備える請求項８記載の画像処理装置。
10. 受信した多視差画像信号を多視差画像に変換する多視差画像変換部を備え、
    前記メッセージを含む多視差画像は前記多視差画像変換部を介さずに前記選択部に入力される請求項８または請求項９記載の画像処理装置。