WO2006019039A1

WO2006019039A1 - 画像データ表示装置

Info

Publication number: WO2006019039A1
Application number: PCT/JP2005/014761
Authority: WO
Inventors: Yasuaki Tokumo; Toshio Nomura
Original assignee: Sharp Kabushiki Kaisha
Priority date: 2004-08-18
Filing date: 2005-08-11
Publication date: 2006-02-23
Also published as: JP4467574B2; JPWO2006019039A1; EP1781046A4; CN101006733B; EP1781046A1; US20080106550A1; CN101006733A; US7859529B2

Abstract

　制御部１０３では、表示画像の位置情報をもとに、復号部１０２で復号された３次元画像データを立体的に表示するか（３次元表示モード）、平面的に表示するか（２次元表示モード）を選択し、表示部１０４に表示モードとして通知する。具体的には、入力された位置情報＝表示アドレスを監視し、時間的に変化のない場合、すなわち、画像データの表示位置が変化しない場合、表示モードとして３次元表示モードを選択する。一方、時間的に変化のある場合、すなわち、スクロールによって画像データの表示位置が変化している場合、表示モードとして２次元表示モードを選択する。こうして、３次元画像データのスクロール表示時に、効率的にディスプレイ上に画像データを表示する画像データ表示装置を提供する。

Description

画像データ表示装置

技術分野

[0001] 本発明は、 3次元画像符号化データを再生し、ディスプレイ上に表示する技術に関し、より詳細には、 3次元画像データのスクロール表示時に、効率的に画像データをディスプレイ上に表示する画像データ表示装置に関するものである。

背景技術

[0002] 従来、 3次元画像を表示する様々な方法が提案されてきた。その中でも一般的に用いられているのは両眼視差を利用する「2眼式」と呼ばれるものである。すなわち、両眼視差を持った左眼用画像と右眼用画像を用意し、それぞれ独立に左右の眼に投影することにより立体視を行う。

[0003] 図 23は、この 2眼式の代表的なものの 1つである「時分割方式」を説明するための概念図である。

この時分割方式では、図 23のように、左眼用画像と右眼用画像が垂直 1ラインおきに交互にならんだ形に配置され、左眼用画像を表示するフィールドと右眼用画像を表示するフィールドを交互に切り替えて表示するものである。左眼用画像及び右眼用画像は通常の 2次元表示時に比べて垂直解像度が半分になっている。観察者はディスプレイの切り替え周期に同期して開閉するシャツタ式のメガネを着用する。ここで使用するシャツタは、左眼用画像が表示されて、る時は左眼側が開、て右眼側が閉じ、右眼用画像が表示されている時は左眼側が閉じて右眼側が開く。このようにすることにより左眼用画像は左眼だけで、右眼用画像は右眼だけで観察されることになり、立体視を行うことができる。

図 24は、 2眼式のもう 1つの代表的な方式である「パララタスノリア方式」を説明するための概念図である。図 24 (a)は、視差が生じる原理を示す図である。一方、図 24 ( b)は、パララタスノリア方式で表示される画面を示す図である。

[0004] 図 24 (b)に示すような左眼用画像と右眼用画像のペアがストライプ状に並んだ画像を、図 24 (a)に示すように、画像表示パネル 2401に表示し、この画像に対応した間隔でスリットを持ついわゆるパララクスバリア 2402をその前面に置くことにより、左眼用画像は左眼 2403だけで、右眼用画像は右眼 2404だけで観察することにより立体視を行う。

[0005] 「時分割方式」、「パララタスノリア方式」に限らず、一般に 3次元画像を立体視する場合、表示されている画像の内容、あるいは表示の仕方によって、立体視のし易さが違ってくる。例えば、動画像データであれば、動きの激しい映像、あるいは早送り等の特殊再生時には、 1つのフレームの表示時間が短くなるため、個人差はあるものの、立体視による内容の把握が困難になる場合がある。後述する特許文献 1において開示されて!ヽる「立体動画像圧縮符号化装置及び立体動画像復号再生装置」では、 3次元画像の再生において、高速再生時には 2次元画像として表示する例があげられている。

[0006] 上記立体動画像圧縮符号化装置および立体動画像復号再生装置における高速再生時の動作にっ、て簡単に説明する。

符号化装置では、まず、カメラ等より入力された左眼用画像データと右眼用画像データから基準画像データを作成する。次に、作成した基準画像データと左眼用画像データおよび右眼用画像データとの差分を求め、それぞれ左眼用差分データおよび右眼用差分データとして出力する。これら基準画像データ、左眼用差分データおよび右眼用差分データを圧縮符号化し、多重化することにより 3次元画像符号化データを作成している。

[0007] 復号再生装置では、まず、圧縮された 3次元画像符号化データを、基準画像データ、左眼用差分データおよび右眼用差分データに分離する。通常再生時には、基準画像データ、左眼用差分データおよび右眼用差分データすベてを復号し、基準画像データと左眼用差分データより左眼用画像を作成し、基準画像データと右眼用差分データより右眼用画像データを作成する。これら左眼用画像データおよび右眼用画像データを用いて、 3次元画像として再生する。一方、高速再生時には、基準画像データのみを復号し、 2次元画像としてその基準画像を再生する。

[0008] ところで、静止画像データの場合にもあてはまるが、画像データの解像度が表示デイスプレイの解像度より大き、場合、そのままでは画像データの一部のみしか表示することができない。そのため、画像データの所望の領域を表示するためのスクロールが必要となる。例えば、地図画像データのような、空間解像度の非常に大きい画像を表示する場合には、スクロール機能は必須である。最近では、携帯電話、 PDA等にも画像表示のための小型ディスプレイが備えられて、るが、このようなモパイル機器で画像を表示する場合にも必要な機能である。

特許文献 1：特開平 7— 327242号公報

発明の開示

発明が解決しょうとする課題

[0009] し力しながら、 3次元画像データを 3次元表示のままディスプレイに表示しながらスクロール表示した場合、特にスクロールの速度が増すにつれて、相対的に画面の動きが早くなるため、立体視するのが困難になり、表示されている画像の内容を把握するのが困難になるという問題があった。

[0010] また、従来は、 3次元画像データを構成する場合、図 25に示すように、画像全体 (この例では 1280画素 X 960画素）が 1つの左目用画像データ 2501と 1つの右目用画像データ 2502とから構成されているため、空間解像度の大きい画像を処理する場合には、画像メモリ等のリソースが非常に多く必要になると、う問題があつた。

[0011] 本発明は、上記課題を解決するためになされたものであって、 3次元画像データのスクロール表示時に、効率的にディスプレイ上に画像データを表示する画像データ表示装置を提供することを目的とする。

課題を解決するための手段

[0012] 本発明は、入力された 3次元画像データの立体的表示と平面的表示を切り換え可能とする画像データ表示装置であって、 3次元表示モードと 2次元表示モードの選択を制御する制御手段と、前記制御手段の表示モードの選択に基づいて、 3次元画像データを 2次元画像データに変換する画像変換手段と、前記制御手段の表示モードの選択に基づ!、て、 3次元表示と 2次元表示を切り換えて表示できる表示手段とを備え、前記制御手段は、 3次元画像データの表示位置が変化している場合に、 2次元表示モードを選択することを特徴とする。

[0013] 本発明は、入力された 3次元画像データの立体的表示と平面的表示を切り換え可能とする画像データ表示装置であって、 3次元表示モードと 2次元表示モードの選択を制御する制御手段と、前記制御手段の表示モードの選択に基づいて、 3次元画像データを 2次元画像データに変換する画像変換手段と、前記制御手段の表示モードの選択に基づ!、て、 3次元表示と 2次元表示を切り換えて表示できる表示手段とを備え、前記制御手段は、 3次元画像データの表示位置が所定の速度以上で変化して V、る場合に、 2次元表示モードを選択することを特徴とする。

[0014] ここで、前記画像変換手段は、前記制御手段が 2次元表示モードを選択した場合、前記 3次元画像データに含まれる複数の視点画像データから 1つの視点画像データを選択して 2次元画像データに変換することを特徴とする。

[0015] また、前記 3次元画像データは、 Μ Χ ί^@ (Μ≥1、 N≥l)の複数のブロック力構成され、前記ブロックは複数の視点画像データを含むことを特徴とする。

発明の効果

[0016] 本発明によれば、 3次元画像データの表示位置が変化して、る場合、例えば 3次元画像データのスクロール表示時や、 3次元動画像が移動しているときに、制御手段が 2次元表示モードに切り換え、 3次元画像を 2次元表示画像データに変換して表示する構成としたので、ユーザは、何ら操作を行うことなぐ表示画像が移動しているときに表示画像を立体視する必要がなくなるため、容易に内容を把握することができる。図面の簡単な説明

[0017] [図 1]本発明の第 1の実施形態における画像データ表示装置の概略構成を示す機能ブロック図である。

[図 2]蓄積部に蓄積されている 3次元画像全体を示した図である。

[図 3]3次元画像符号ィ匕データの構成を示した図である。

[図 4]3次元画像符号ィヒデータに含まれる 3次元表示制御情報オブジェクト、および画像情報オブジェクトの詳細を示した図である。

[図 5]復号部の内部構成を示すブロック図である。

[図 6]画像復号部で復号された復号画像データ、および並べ替え部で出力される 3 次元画像データを示した図である。

[図 7]並べ替え部の動作を説明するための図である。 [図 8]蓄積部に蓄積されている 3次元画像全体を示した図である。

[図 9]フレームメモリの初期状態を示した図である。

[図 10]初期状態力も左下にスクロールした場合のフレームメモリの状態を示した図である。

[図 11]初期状態力も右下にスクロールした場合のフレームメモリの状態を示した図である。

[図 12]更新されたフレームメモリの状態を示した図である。

[図 13]表示部の内部構成を示すブロック図である。

[図 14]画像変換部に入力される 3次元画像データを示した図である。

[図 15]画像変換部で変換後の 2次元画像データを示した図である。

[図 16]画像変換部に入力される 3次元画像データを示した図である。

[図 17]本発明の第 2の実施形態における画像データ表示装置の概略構成を示す機能ブロック図である。

[図 18]復号部の内部構成を示すブロック図である。

[図 19]表示用画像生成部の内部構成を示すブロック図である。

[図 20]フレームメモリの初期状態を示した図である。

[図 21]初期状態力左下にスクロールした場合のフレームメモリの状態を示した図である。

[図 22]初期状態力左下にスクロールした場合のフレームメモリの状態を示した図である。

[図 23]時分割方式による 3次元画像表示を説明するための概念図である。

[図 24]ノララクスノリア方式による 3次元画像表示を説明するための概念図である。

[図 25]従来の 3次元画像データの構成を示す図である。

符号の説明

101 蓄積部

102 復号部

103 制御部

104 表示部 301 ヘッダ情報オブジェクト

302 3次元表示制御情報オブジェクト

303 画像情報オブジェクト

501 データ読出部

502 3次元表示制御情報解析部

503 画像復号部

504 並べ替え部

505 メモリコントローラ

506 フレームメモリ

801 原点

901 表示画像領域

1001 表示画像領域

1101 表示画像領域

1301 スィッチ

1301 A 接点 A

130 IB 接点 B

1302 画像変換部

1303 ディスプレイ

1701 復号部

1702 表示用画像生成部

1703 表示部

1901 メモリコントローラ

1902 スィッチ

1902A 接点 A

1902B 接点 B

1903 並べ替え部

1904 画像変換部

2001 表示画像領域 2101 表示画像領域

2201 領域

2202 領域

2203 領域

2204 領域

2401 画像表示ノネノレ

2402 パララクスバリア

2403 左眼

2404 右眼

2501 左目用画像データ

2502 右目用画像データ

2503 表示領域

2504 領域

2505 領域

発明を実施するための最良の形態

[0019] 以下、本発明の実施形態を図面とともに説明する。なお、図面において同一部分には同一の符号を付し、その説明は繰り返さない。

[0020] [第 1の実施形態]

図 1は、本発明の第 1の実施形態における画像データ表示装置の概略構成を示す機能ブロック図である。

本実施形態における画像データ表示装置は、蓄積部 101、復号部 102、制御部 1

03、および表示部 104から構成される。

[0021] 蓄積部 101は、 3次元画像符号化データが記録された記録媒体、該記録媒体に記録されている 3次元画像符号ィ匕データの読出しを制御するための制御回路等力構成される。記録媒体としては、 SDカード、コンパクトフラッシュ（登録商標)カード等の半導体メディア、 CD、 DVD等のディスクメディア、あるいはハードディスク等、何であつてもよい。

[0022] 復号部 102では、表示画像の位置情報をもとに、蓄積部 101から読み出した 3次元画像符号化データを復号し、復号された 3次元画像データを表示部 104に出力する。なお、表示画像の位置情報とは、 3次元画像全体に対して、表示しょうとしている画像の位置を特定するための情報であり、アドレス等を表しているものとする。

[0023] 制御部 103では、表示画像の位置情報をもとに、復号部 102で復号された 3次元画像データを立体的に表示するか（3次元表示モード）、平面的に表示するか（2次元表示モード)を選択し、表示部 104に表示モードとして通知する。

[0024] 表示部 104は、外部からの入力により 3次元表示モード Z2次元表示モードが切り替え可能なディスプレイを備え、制御部 103から通知される表示モードにしたがって、復号された 3次元画像データを立体的、もしくは平面的にディスプレイに表示する。なお、本実施形態における立体表示の方式は、「パララタスノリア方式」を用いることとする。

[0025] まず、蓄積部 101に蓄積されている 3次元画像符号ィ匕データについて、図 2、図 3、および図 4を用いて説明する。

[0026] 図 2は、蓄積部 101に蓄積されている 3次元画像全体 (静止画)を示した図である。

1280画素 X 960画素からなる 3次元画像全体は、 160画素 X 120画素力らなる 8 X 8 = 64個のブロックに分割され、ブロック単位で左目用画像データおよび右目用画像データを左右に配置した構成となっている。各ブロックの画像データは、 JPEG圧縮方式により符号化され、配置情報 (左右)等とともに後述する 3次元画像符号ィ匕データを構成し、蓄積部 101に蓄積されている。なお、分割単位である「160画素 X 12 0画素」は、あくまでも例であって、これに限定されるものではない。

[0027] 図 3は、 3次元画像符号化データの構成を示した図である。 3次元画像符号化データは、ヘッダ情報オブジェクト 301、 3次元表示制御情報オブジェクト 302、および画像情報オブジェクト 303より構成される。ここでは、 3次元表示制御情報オブジェクト 3 02のあとに、複数の画像情報オブジェクト 303が続く構成としたが、無論、複数に分割されずに、まとまった 1つの画像情報オブジェクトであってもよい。

[0028] 図 4は、 3次元画像符号ィ匕データに含まれる 3次元表示制御情報オブジェクト 302、および画像情報オブジェクト 303の詳細を示した図である。

図 4 (a)は、 3次元表示制御情報オブジェクト 302の詳細を示した図である。 3次元表示制御情報オブジェクト 302には、オブジェクト固有の ID (Object ID = 0xl2)、オブジェクト全体のサイズ（Object Size = 256byte)、および 3次元表示制御情報として、画像配置情報、サンプリング情報、および 2次元選択画像情報が格納されている。

[0029] 画像配置情報は、複数の視点より撮影された画像データがどのように配置されてヽるかを示す情報であり、（水平方向の視点数，垂直方向の視点数)で表される。例えば、 2つの視点より撮影された画像データが水平 (左右）に配置されている場合、画像配置情報 = (2, 1)となる。垂直 (上下）に配置されている場合、画像配置情報 = ( 1, 2)となる。

[0030] サンプリング情報は、それぞれの視点画像データの水平方向および垂直方向のサンプリング比を示すものであり、（水平方向のサンプリング比，垂直方向のサンプリング比）で表される。例えば、水平方向の解像度のみ 1Z2となるようにサンプリングした場合、サンプリング情報 = (1/2, 1)となる。垂直方向の解像度のみ 1Z2となるようにサンプリングした場合は、サンプリング情報 = (1, 1Z2)となる。本実施形態では、それぞれの視点画像データを用いてパララタスノリア方式の 3次元ディスプレイに表示する場合に、画像アスペクト比を調整するためにサンプリング情報が用いられる。なお、サンプリング情報からは、アスペクト比の他に、原画像データ（サンプリング前の画像データ）に対する縮小率も求まるが、本実施形態では、特にこの情報は利用しない。

[0031] また、 2次元選択画像情報は、複数の視点より撮影された画像データのうち 1視点の画像データを選択するための情報であり、 2次元選択画像情報 = (水平方向の視点番号，垂直方向の視点番号)となる。例えば、水平 (左右）に配置された (画像配置情報 = (2, 1) ) 2つの視点より撮影された画像データから、左側の画像データを選択する場合、 2次元選択画像情報 = (1, 1)となる。同様に、右側の画像データを選択する場合、 2次元選択画像情報 = (2, 1)となる。

[0032] 本実施形態では、画像配置情報 = (2, 1)、サンプリング情報 = (1/2, 1)、 2次元選択画像情報 = (1, 1)である。

[0033] 図 4 (b)は、画像情報オブジェクト 303の詳細を示した図である。画像情報オブジェタト 303には、オブジェクト固有の ID (Object ID = 0x13)、オブジェクト全体のサイズ（Object Size = 20480byte)、および符号化データとして JPEG圧縮データが格納されている。

[0034] 次に、復号部 102の動作について詳細に説明する。

図 5は、復号部 102の内部構成を示すブロック図である。復号部 102は、データ読出部 501、 3次元表示制御情報解析部 502、画像復号部 503、並べ替え部 504、メモリコントローラ 505、およびフレームメモリ 506から構成される。

[0035] データ読出部 501では、表示画像の位置情報をもとに、蓄積部 101から 3次元画像符号化データを読出し、 3次元画像符号化データに含まれる各オブジェクトの分離を行う。具体的には、読み出された 3次元画像符号ィ匕データのヘッダ情報オブジェクト 301を解析し、ヘッダ情報オブジェクト 301に続くオブジェクト種別を判定する。次に、各オブジェクトの Object IDを参照することによって、 Object ID力0x12の場合には 3次元表示制御情報解析部 502へ、 Object IDが 0x13の場合には画像復号部 503へ送ることによって 3次元画像符号ィ匕データの分離を行う。

[0036] 3次元表示制御情報解析部 502では、データ読出部 501より送られてきた 3次元表示制御情報オブジェクト 302を解析し、 3次元表示制御情報として、画像配置情報、サンプリング情報、および 2次元選択画像情報を出力する。ここでは、 2つの視点画像データが水平 (左右）に配置されていることを示す画像配置情報 = (2, 1)、水平方向のみ解像度が 1Z2であることを示すサンプリング情報 = (1Z2, 1)、および 1視点の画像データを選択する際に左側の視点画像データを選択することを示す 2次元選択画像情報 = (1, 1)を出力する。

[0037] 画像復号部 503では、データ読出部 501より送られてきた画像情報オブジェクト 30 3を解析し、オブジェクト内に格納されている JPEG圧縮データの復号処理を行い、復号画像データを並べ替え部 504に出力する。

[0038] 図 6は、画像復号部 503で復号された復号画像データ（図 6 (a) )、および並べ替え部 504で出力される 3次元画像データ（図 6 (b) )を示した図である。

³次元表示制御情報解析部 502で解析されたように、画像復号部 503で復号された復号画像データは、左目用画像データと右目用画像データが、それぞれ水平方向の解像度が 1Z2となるようにサンプリングされ、左右に配置された構成となっている。

[0039] 図 7は、並べ替え部 504の動作を説明するための図である。並べ替え部 504では、まず、図 7 (a)で示されるように、復号画像データをストライプ状に分割する。次に、分割された左眼用画像データ Ll、 L2、 L3 ' · ·、および右眼用画像データ Rl、 R2、 R3 • · ·、を、 Ll、 Rl、 L2、 R2、 L3、 R3 " '、のように左眼用画像データと右眼用画像データが交互に配置するように並べ替える（図 7 (b) )。この結果、図 6 (b)で示した 3次元画像データが得られ、パララクスバリア方式の 3次元ディスプレイにおいて正しく立体表示することが可能となる。

[0040] メモリコントローラ 505、およびフレームメモリ 506について、図 8、図 9、図 10、図 11 、および図 12を参照しながら説明する。

[0041] 図 8は、蓄積部 101に蓄積されている 3次元画像全体を示した図である。すでに説明したように、 1280画素 X 960画素力らなる 3次元画像全体 ίま、 160画素 X 120画素のブロックに分割されている。ここで、 3次元画像の左上を原点 801とし、水平方向に X座標、垂直方向に Υ座標をとるものとする。また、原点 801より数えて、水平方向に i番目（i=0, 1, 2, · · ·)、垂直方向に j番目（j = 0, 1, 2, · · ·)のブロックを Bijとする（図 8中では、一部の記載を省略)。

[0042] フレームメモリ 506は、並べ替え部 504で出力された復号済みの 3次元画像データを一時的に保持しておくためのメモリであり、ブロック 9個分の 3次元画像データを保持することができる。例えば、図 8における領域 A (ブロック B22、ブロック B32、ブロック B42、ブロック B23、ブロック B33、ブロック B43、ブロック B24、ブロック B34、およびブロック B44からなる領域）、あるいは領域 B (ブロック B33、ブロック B43、ブロック B53、ブロック B34、ブロック B44、ブロック B54、ブロック B35、ブロック B45、およびブロック B55からなる領域)などを保持することが可能である。このとき、領域 Aの左上 (ブロック B22の左上）の座標は（320, 240)、領域 Bの左上（ブロック B33の左上）の座標は（480, 360)である。

[0043] メモリコントローラ 505は、並べ替え部 504で並べ替えられた 3次元画像データをフレームメモリ 506〖こ書き込むととも〖こ、ディスプレイに表示すべき 3次元画像データをフレームメモリ 506から読み出して出力する。さらに、メモリコントローラ 505は、 3次元画像全体のうち、どの部分がフレームメモリ 506に保持されているかを示す位置情報の管理、およびフレームメモリ 506に保持されている 3次元画像データのどの部分をディスプレイに表示するかを示す位置情報の管理を行う。本実施形態では、これら 2 つの位置情報のうち、前者をベースアドレス、後者を表示オフセットと呼ぶこととする。

[0044] 図 9は、フレームメモリ 506の初期状態を示した図である。図 8におけるブロック B33 が表示画像領域 901として選択され、その周辺 8ブロックを合わせた合計 9ブロック（ブロック B22、ブロック B32、ブロック B42、ブロック B23、ブロック B33、ブロック B43 、ブロック B24、ブロック B34、およびブロック B44)の 3次元画像データがフレームメモリ 506に格糸内されて!ヽる。このとき、メモリコントローラ 505は、ベースアドレスとして、フレームメモリに格納されている 3次元画像データの先頭アドレス、すなわちブロック B22の先頭アドレス（320, 240)、表示オフセットとして、図 9中に矢印で示した、ベースアドレスからのオフセット（160, 120)を保持している。

なお、ここでは、表示画像領域 901と分割ブロックの大きさを同一としたが、これに限定されるものではなぐ異なっていても同様に適用可能である。

[0045] 図 10は、初期状態（図 9)力も左下にスクロールした場合のフレームメモリ 506の状態を示した図である。

フレームメモリ 506には、初期状態と同様、ブロック B22、ブロック B32、ブロック B4 2、ブロック B23、ブロック B33、ブロック B43、ブロック B24、ブロック B34、およびブロック B44の 3次元画像データが格納され、ベースアドレスは（320, 240)、表示画像領域 1001を示す表示オフセットは（70, 190)である。

[0046] このように、表示画像領域 1001がフレームメモリ 506の境界に達していない場合、言い換えれば、まだフレームメモリ 506内を上下左右どの方向にもスクロールできる場合、フレームメモリ 506の内容、およびベースアドレスは更新されず、表示オフセットのみが更新される。

[0047] 図 11 (a)は、初期状態（図 9)力も右下にスクロールした場合のフレームメモリ 506の状態を示した図である。

フレームメモリ 506には、初期状態と同様、ブロック B22、ブロック B32、ブロック B4 2、ブロック B23、ブロック B33、ブロック B43、ブロック B24、ブロック B34、およびブロック B44の 3次元画像データが格納され、ベースアドレスは（320, 240)、表示画像領域 1101を示す表示オフセットは（320, 240)である。図 10とは、表示画像領域 11 01がフレームメモリ 506の境界と重なっている点が異なる。この場合、上方向および左方向にはさらにスクロールが可能である力右方向および下方向には、復号済みの 3次元画像データが無いため、このままではスクロールすることができない。このため、フレームメモリ 506、ベースアドレス、および表示オフセットの更新が行われる。

[0048] あるいは、図 11 (b)で示されるように、フレームメモリ 506よりも小さい、斜線部で示される領域 1102を設定し、表示画像領域 1101が領域 1102の内側を移動して、る場合にはフレームメモリ 506、ベースアドレス、および表示オフセットの更新はおこなわず、表示画像領域 1101が領域 1102の境界に達したときに、フレームメモリ 506、ベースアドレス、および表示オフセットの更新をおこなうようにしてもよい。

[0049] 図 12は、更新されたフレームメモリ 506の状態を示した図である。

フレームメモリ 506には、表示画像領域 1101に対応するブロック B44を中心とした 9ブロック（ブロック B33、ブロック B43、ブロック B53、ブロック B34、ブロック B44、ブロック B54、ブロック B35、ブロック B45、およびブロック B55)の 3次元画像データが格納されている。また、ベースアドレスは、 B33の先頭アドレス（480, 360)に、表示オフセットは（160, 120)に更新される。

[0050] フレームメモリ 506の内容を更新する場合、基本的には、新たにデータ読出部 501 より対応するブロックの 3次元画像符号化データを読出し、画像復号部 503、並べ替え部 504で復号後、メモリコントローラ 505によって、フレームメモリ 506に 3次元画像データが書き込まれる。

[0051] しかしながら、上で説明した例では、 9つのブロックのうち、ブロック B33、ブロック B4

3、ブロック B34、およびブロック B44の 4つのブロックについては、既に復号済みであり、フレームメモリ 506内の格納位置が変わっただけである。そのため、これら復号済みのブロックについては、再度復号処理を行うのではなぐメモリコントローラ 505 によって、既に復号された 3次元画像データをフレームメモリ 506内でコピーするようにしてもよい。あるいは、 9つのブロックそれぞれの表示位置（表示オフセット等）を示すテーブルを別に用意し、格納位置が変わったブロックについては、対応するテーブル内の値を変更することによって管理してもよい。例えば、ブロック B44については、対応するテーブル内の表示オフセットを（320, 240)力ら（160, 120)に変更するだけでよい。同様に、ブロック B33については、対応するテーブル内の表示オフセットを（160, 120)から（0, 0)に変更するだけでよい。

[0052] 次に、制御部 103の動作について詳細に説明する。

制御部 103では、表示画像の位置情報をもとに、復号部 102で復号された 3次元画像データを立体的に表示するか（3次元表示モード）、平面的に表示するか（2次元表示モード)を選択し、表示部 104に表示モードとして通知する。具体的には、入力された位置情報 =表示アドレスを監視し、時間的に変化のない場合、すなわち、画像データの表示位置が変化しな!、場合、表示モードとして 3次元表示モードを選択する。一方、時間的に変化のある場合、すなわち、スクロールによって画像データの表示位置が変化してヽる場合、表示モードとして 2次元表示モードを選択する。

[0053] あるいは、所定の閾値を設け、位置情報の変化の割合が閾値以下の場合、すなわち、ゆっくりとしたスクロールの場合には、表示モードとして 3次元表示モードを選択し、閾値以上の場合、すなわち、比較的速いスクロールの場合には、表示モードとして 2次元表示モードを選択するようにしてもょ、。

[0054] 次に、表示部 104の動作について詳細に説明する。

図 13は、表示部 104の内部構成を示すブロック図である。表示部 104は、スィッチ 1301、接点 1301A、接点 1301B、画像変換部 1302、およびディスプレイ 1303カゝら構成される。

[0055] 表示部 104への入力は、制御部 103より通知される表示モード（3次元表示モード Z2次元表示モード）、復号部 102の出力である 3次元表示制御情報、および 3次元画像データである。

[0056] 表示モードが 3次元表示モードの場合、スィッチ 1301は、接点 1301 Aに接続し、 3 次元画像データがディスプレイ 1303に 3次元画像として立体表示される。

表示モードが 2次元表示モードの場合、スィッチ 1301は、接点 1301Bに接続し、画像変換部 1302で 3次元画像データを 2次元画像データに変換したのち、ディスプレイ 1303に 2次元画像として表示される。

[0057] 画像変換部 1302では、 3次元表示制御情報をもとに 3次元画像データから 2次元画像データへの変換が行われる。画像変換部 1302の動作について図 14、および図 15を用いて説明する。図 14は、画像変換部 1302に入力される 3次元画像データであり、 Ll、 Rl、 L2、 R2、 L3、 R3の順に、左目用画像データと右目用画像データが交互にストライプ上に並んで配置されている。画像変換部 1302では、まず、 3次元表示制御情報に含まれる画像配置情報 = (2, 1)を用いて、 3次元画像データから、左目用画像データ、もしくは右目用画像データを選択し、抽出する。次に、 3次元表示制御情報に含まれるサンプリング情報 = (1/2, 1)を用いて、解像度の変換を行

[0058] 図 15は、画像変換部 1302で変換後の 2次元画像データを示した図である。図 15 ( a)は、左目用画像データを選択した場合の出力画像、図 15 (b)は、右目用画像データを選択した場合の出力画像を示している。図 15 (a)、または図 15 (b)で示した 2 次元画像データは、ディスプレイ 1303に 2次元画像として表示される。

[0059] ここで、左目用画像データを選択するか、右目用画像データを選択するかにっヽては、 3次元表示制御情報の 2次元選択画像情報を用いてもよいし、常に左目用画像データを抽出する等、固定的に選択するようにしてもょ、。

[0060] また、表示部 104への入力として、図 14で示したように、左から Ll、 Rl、 L2、 R2、 L3、 R3の順に各視点画像データが並んでいるものとした力スクロールの仕方によつては、図 16で示すように、左から Rl、 L2、 R2、 L3、 R3、 L4の順に各視点画像データが並ぶ場合もある。例えば、左目用画像データを抽出する場合、前者（図 14)の場合、左から数えて奇数番目（1番目、 3番目、 5番目）のストライプであるのに対して、後者 (図 16)の場合、左から数えて偶数番目（2番目、 4番目、 6番目）のストライプとなり、抽出する位置が異なる。これは、スクロールの単位を画素単位としていることに起因するものである力そうではなぐスクロールの単位を視点数の整数倍となるように制限をカ卩えてもよい。その結果、表示部 104への入力は、図 14で示した形式の画像データに制限され、画像変換部 1302の処理が簡略化されるとともに、視点画像データ抽出における、左目用画像データと右目用画像データの反転を防ぐことができる本実施形態の場合、水平方向の視点数が 2であるため、水平方向のスクロールの単位を 2の整数倍とすることで、処理を簡略ィ匕することができる。

[0061] [第 2の実施形態]

次に、本発明の第 2の実施形態における画像データ表示装置について説明する。図 17は、本発明の第 2の実施形態における画像データ表示装置の概略構成を示す機能ブロック図である。

本実施形態における画像データ表示装置は、蓄積部 101、復号部 1701、制御部 103、表示用画像生成部 1702、および表示部 1703より構成される。

[0062] 蓄積部 101は、第 1の実施形態と同様であり、 3次元画像符号化データが記録された記録媒体、記録媒体に記録されて！ヽる 3次元画像符号化データの読出しを制御するための制御回路等力構成される。

復号部 1701では、表示画像の位置情報をもとに、蓄積部 101から読み出した 3次元画像符号化データを復号し、復号された 3次元画像データを表示用画像生成部 1 702に出力する。

[0063] 制御部 103は、第 1の実施形態と同様であり、表示画像の位置情報をもとに、復号部 1701で復号された 3次元画像データを立体的に表示するか（3次元表示モード）、平面的に表示するか（2次元表示モード)を選択し、表示用画像生成部 1702および表示部 1703に表示モードとして通知する。

表示用画像生成部 1702では、制御部 103から通知される表示モードにしたがって、復号部 1701で復号された 3次元画像データから、表示部 1703で表示可能な画像データを生成し、出力する。

[0064] 表示部 1703は、外部からの入力により 3次元表示モード Z2次元表示モードが切り替え可能なディスプレイであり、制御部 103から通知される表示モードにしたがって、復号された 3次元画像データを立体的、もしくは平面的にディスプレイに表示する。なお、本実施形態における立体表示の方式は、「パララタスノリア方式」を用いることとする。

なお、蓄積部 101、および制御部 103については、第 1の実施形態と同様であるため、詳細な説明は省略する。

[0065] まず、復号部 1701の動作について詳細に説明する。図 18は、復号部 1701の内部構成を示すブロック図である。復号部 1701は、データ読出部 501、 3次元表示制御情報解析部 502、および画像復号部 503から構成される。

[0066] データ読出部 501では、表示画像の位置情報をもとに、蓄積部 101から 3次元画像符号化データを読出し、 3次元画像符号化データに含まれる各オブジェクトの分離を行う。

[0067] 3次元表示制御情報解析部 502では、データ読出部 501より送られてきた 3次元表示制御情報オブジェクト 302を解析し、 3次元表示制御情報として、画像配置情報、サンプリング情報、および 2次元選択画像情報を出力する。ここでは、第 1の実施形態と同様に、 2つの視点画像データが水平 (左右）に配置されていることを示す画像配置情報 = (2, 1)、水平方向のみ解像度が 1Z2であることを示すサンプリング情報 = (1/2, 1)、および 1視点の画像データを選択する際に左側の視点画像データを選択することを示す 2次元選択画像情報 = (1, 1)を出力することとする。

[0068] 画像復号部 503では、データ読出部 501より送られてきた画像情報オブジェクト 30 3を解析し、オブジェクト内に格納されている JPEG圧縮データの復号処理を行い、復号画像データを出力する。ここでは、図 6 (a)で示されるように、左目用画像データと右目用画像データが左右に配置された構成の画像データを出力する。

[0069] 次に、表示用画像生成部 1702の動作について詳細に説明する。

図 19は、表示用画像生成部 1702の内部構成を示すブロック図である。表示用画像生成部 1702は、メモリコントローラ 1901、フレームメモリ 506、スィッチ 1902、並ベ替え部 1903、および画像変換部 1904から構成される。

[0070] 蓄積部 101には、第 1の実施形態と同様、図 8で示されるように、 3次元画像全体が 160画素 X 120画素のブロックに分割され、ブロックごとに符号化され、蓄積されている。

[0071] フレームメモリ 506は、復号部 1701で出力された復号済みの 3次元画像データを一時的に保持しておくためのメモリであり、第 1の実施形態と同様、ブロック 9個分を保持することができる。メモリコントローラ 1901は、復号部 1701で復号された 3次元画像データをフレームメモリ 506に書き込むとともに、表示に必要な 1または複数のブロックの 3次元画像データをフレームメモリ 506から読み出して出力する。

[0072] 図 20は、フレームメモリ 506の初期状態を示した図である。図 8におけるブロック B3 3が表示画像領域 2001として選択され、その周辺 8ブロックを合わせた合計 9ブロック（ブロック B22、ブロック B32、ブロック B42、ブロック B23、ブロック B33、ブロック B4 3、ブロック B24、ブロック B34、およびブロック B44)の 3次元画像データがフレームメモリ 506に格納されている。第 1の実施形態では、ブロックごとにパララタスノリア方式のディスプレイで表示可能な形式（図 6 (b)もしくは図 7 (b) )に並べ替えられた 3次元画像データが格納されていた力本実施形態では、ブロックごとに左目用画像データと右目用画像データが左右に配置された形式（図 6 (a)もしくは図 7 (a) )で格納されている点が異なる。

[0073] スィッチ 1902は、制御部 103より入力される表示モードが 3次元表示モードの場合、接点 1902Aに接続し、メモリコントローラ 1901より入力される 3次元画像データは、並べ替え部 1903に入力される。一方、表示モードが 2次元表示モードの場合、スィツチ 1902は、接点 1902Bに接続し、 3次元画像データは、画像変換部 1904に入力される。

[0074] 並べ替え部 1903では、 3次元表示制御情報、位置情報、およびメモリコントローラ 1901より入力される 1または複数のブロックの 3次元画像データをもとに、表示位置の 3次元画像データを、 3次元表示モードすなわちパララクスバリア方式の 3次元ディスプレイで表示可能な形式（図 6 (b)もしくは図 7 (b) )に並べ替えを行い、表示画像データとして出力する。

[0075] 画像変換部 1904では、 3次元表示制御情報、位置情報、およびメモリコントローラ 1901より入力される 1または複数のブロックの 3次元画像データをもとに、表示位置の 3次元画像データを、 2次元表示モードで表示可能な形式 (例えば、図 15 (a)、図 15 (b)など）の画像データに変換し、表示画像データとして出力する。変換方法は、図 15で示される変換方法に限定されるわけではなぐ図 14における Ll、 L2、 L3より、補間画像 Ll，（L1と L2より作成）、 L2，（L2と L3より作成）、 L3' (L3と L4 (右隣のブロックの画像データ）より作成）を作成し、 Ll、 Ll '、 L2、 L2'、 L3、 L3'を表示画像データとして出力するようにしてもょヽ。

ここで、図 20、図 21を参照しながら、表示用画像生成部 1702の動作を簡単に説明する。

[0076] フレームメモリ 506が初期状態（図 20)の場合、表示画像領域 2001 =分割ブロック B33なので、メモリコントローラ 1901は、ブロック B33のみをフレームメモリ 506から読み出して出力する。

[0077] 表示モードが 3次元表示モードの場合、スィッチ 1902が接点 1902Aに接続することによって、読み出されたブロック B33の 3次元画像データは、並べ替え部 1903に入力される。並べ替え部 1903では、 3次元表示制御情報をもとに、図 7 (a)から図 7 ( b)の形式に並べ替えが行われ、表示部 1703に出力される。この場合、並べ替え部 1 903の動作は、第 1の実施形態における並べ替え部 504の動作と同じである。

[0078] 表示モードが 2次元表示モードの場合、スィッチ 1902が接点 1902Bに接続することによって、読み出されたブロック B33の 3次元画像データは、画像変換部 1904に入力される。画像変換部 1904では、 3次元表示制御情報をもとに、図 15 (a)もしくは図 15 (b)の形式に変換され、表示部 1703に出力される。この場合、画像変換部 19 04の動作は、第 1の実施形態における画像変換部 1302の動作と同じである。

[0079] 図 21は、初期状態（図 20)力も左下にスクロールした場合のフレームメモリ 506の状態を示した図である。表示画像領域 2101は、複数の分割ブロック (ブロック B23、ブロック B33、ブロック B24、およびブロック B34)にまたがつているため、メモリコントローラ 1901は、これら 4つのブロックをフレームメモリ 506から読み出して出力する。

[0080] 表示モードが 3次元表示モードの場合、スィッチ 1902が接点 1902Aに接続することによって、読み出された 4つのブロックの 3次元画像データは、並べ替え部 1903に入力される。並べ替え部 1903では、位置情報および 3次元表示制御情報をもとに、パララタスノリア方式のディスプレイで表示可能な図 7 (b)の形式に並べ替えを行うが、この際、ー且 4つすベてのブロックを図 7 (b)の形式に並べ替えを行い、その後、表示画像領域 2101に対応する画像データを切り出し、表示部 1703に出力してもよいし、必要な領域のみ並べ替えを行うようにしてもよい。例えば、本実施形態のように、左目用画像データと右目用画像データが左右に並んで配置されている場合には、表示画像領域 2101の左右に位置する画像データの一部のみが必要であり、上下に位置する画像データは不要であるため、処理を簡略ィ匕することができる。図 22は、図 21におけるブロック 23、ブロック 33、ブロック 24およびブロック 34の部分を拡大した図である。表示画像領域 2101に対応する画像データを表示するためには、左目用画像データとして斜線部で示された領域 2201および領域 2203、右目用画像データとして領域 2202および領域 2204が必要な領域となる。

[0081] 表示モードが 2次元表示モードの場合、スィッチ 1902が接点 1902Bに接続することによって、読み出された 4つのブロックの 3次元画像データは、画像変換部 1904に入力される。画像変換部 1904では、位置情報および 3次元表示制御情報をもとに、図 15 (a)もしくは図 15 (b)の形式に並べ替えを行うが、この際、ー且 4つすベてのブロックの変換を行い、その後、表示画像領域 2101に対応する画像データを切り出し、表示部 1703に出力してもよいし、必要な領域のみ変換を行うようにしてもよい。例えば、本実施形態のように、左目用画像データと右目用画像データが左右に並んで配置されている場合には、表示画像領域 2101の左右に位置する画像データの一部のみが必要であり、上下に位置する画像データは不要であるため、処理を簡略化することができる。この場合も同様に、図 22〖こおける領域 2201〜2204力 S必要となる。あるいは、 2次元表示モード時に表示する画像データを左目用画像データとするのか右目用画像データとするのかが分力つている場合には、さらに簡略ィ匕することができる。例えば、左目用画像データであれば領域 2201および領域 2203、右目用画像データであれば領域 2202および領域 2204のみが必要となる。

[0082] 以上、第 1および第 2の実施形態について説明したが、本実施形態における画像データ表示装置において、 2次元画像として表示する場合、表示部 104または表示部 1703を 2次元表示モードに切り換えて表示する構成としたが、左目用画像データと右目用画像データを同一にし、 3次元表示モードにて 2次元表示を実現するようにしてちよい。

[0083] また、本実施形態における画像データ表示装置では、 2つの視点画像データから構成される 3次元画像データの例を示したが、 3視点以上の画像データから構成される 3次元画像データの場合であっても同様に適用可能である。 [0084] また、本実施形態における画像データ表示装置では、 3次元静止画像データのスクロールの例を示した力静止画像データに限らず、動画像データの場合であっても同様に適用可能である。動画像データの場合、スクロール表示時だけでなぐ動きの度合いを検出し、動きが激しい場合には 3次元表示をせずに、 2次元画像データに変換し 2次元表示するようにしてもよい。動き検出に関しては、例えば、 MPEG— 4、 H. 263規格で圧縮された符号化データであれば、例えば、符号化データ中に含まれる動きベクトルの値を利用することによって検出が可能である。また、画面内の一部の領域がスクロールするような映像 (例えば、 3Dゲームの画面など）の場合に、スクロール表示されて、る部分のみを 2次元表示するようにしてもょ、。

[0085] また、本実施形態における画像復号部 503では、分割ブロックの復号処理を時分割で実行する構成とした力複数 (例えばフレームメモリ 506に格納できるブロック数と同じ数)の画像復号部を備えることによって、複数のブロックの復号処理を並列に実行するようにしてもよヽ。

[0086] また、本実施形態では、図 2で示されるように、画像全体が複数のブロックに分割され、各ブロックが左目用画像データおよび右目用画像データから構成される 3次元画像データのスクロール表示の例を示した力画像全体が複数のブロックに分割されず、図 25で示されるように 1つの左目用画像データと 1つの右目用画像データ力も構成される場合においても本発明は適用可能である。その場合、表示領域 2503 (画像全体に対する中央部分）に対応する部分 (左目用画像データとして領域 2504、右目用画像データとして領域 2505)のみの復号を行い、 3次元画像データあるいは 2次元画像データとして表示してもよヽし、ー且画像全体を復号した後に表示領域を切り出して 3次元画像データある、は 2次元画像データとして表示するようにしてもょ、。

[0087] さらに、本実施形態における画像データ表示装置では、記録媒体に記録されて、る 3次元画像符号ィ匕データを読出し、読み出された 3次元画像符号化データを復号した後に表示する構成としたが、本発明は、有線 Z無線を問わず、外部の手段により復号された 3次元画像データを受信し、表示する形態においても同様に適用可能である。

Claims

請求の範囲

[1] 入力された 3次元画像データの立体的表示と平面的表示を切り換え可能とする画像データ表示装置であって、

3次元表示モードと 2次元表示モードの選択を制御する制御手段と、

前記制御手段の表示モードの選択に基づ!/、て、 3次元画像データを 2次元画像データに変換する画像変換手段と、

前記制御手段の表示モードの選択に基づ!/、て、 3次元表示と 2次元表示を切り換えて表示できる表示手段とを備え、

前記制御手段は、 3次元画像データの表示位置が変化している場合に、 2次元表示モードを選択することを特徴とする画像データ表示装置。

[2] 入力された 3次元画像データの立体的表示と平面的表示を切り換え可能とする画像データ表示装置であって、

前記制御手段は、 3次元画像データの表示位置が所定の速度以上で変化して、る場合に、 2次元表示モードを選択することを特徴とする画像データ表示装置。

[3] 前記画像変換手段は、前記制御手段が 2次元表示モードを選択した場合、前記 3 次元画像データに含まれる複数の視点画像データから 1つの視点画像データを選択して 2次元画像データに変換することを特徴とする請求項 1または 2に記載の画像データ表示装置。

[4] 前記 3次元画像データは、 Μ Χ ί^@ (Μ≥1、 N≥l)の複数のブロック力構成され、前記ブロックは複数の視点画像データを含むことを特徴とする請求項 1または 2に記載の画像データ表示装置。