WO2004004363A1

WO2004004363A1 - 画像符号化装置、画像送信装置および画像撮影装置

Info

Publication number: WO2004004363A1
Application number: PCT/JP2003/008301
Authority: WO
Inventors: Hiroyuki Katata; Toshio Nomura; Tadashi Uchiumi; Norio Ito; Shuichi Watanabe
Original assignee: Sharp Kabushiki Kaisha
Priority date: 2002-06-28
Filing date: 2003-06-30
Publication date: 2004-01-08
Also published as: JP2009194920A; JP4877852B2; JPWO2004004363A1; AU2003244155A1

Abstract

入力されたパノラマ画像をタイル分割部（１２）で小画面の画像（タイル）に分割し、符号化部（１４）で各タイルを独立に符号化することでデータ量を削減すると共に、管理情報付加部（１６）ではタイルの符号化データの全符号化データ内での指定時刻における位置を示す情報を指定時刻にランダムアクセスするための管理情報として付加することで、パノラマ画像の一部を取り出して、容量の小さい伝送路でも送信することを可能とする画像符号化装置、画像送信装置および画像撮影装置を提供する。したがって、効率良くパノラマ画像を蓄積あるいは電送する動画像符号化・復号装置、および簡単に動画のパノラマ立体画像を得る撮影装置を構成できる。

Description

明細書画像符号化装置、画像送信装置および画像撮影装置技術分野

本発明は、パノラマ立体画像などの画像データを符号ィヒ ·復号する画像符号化装置、画像送信装置および画像撮影装置に関するものである。背景技術

従来より、パノラマ立体画像を表示装置に表示する際に、左目用パノラマ画像と右目用パノラマ画像を表示して、ユーザはそれぞれの目でそれぞれの画像を見てパノラマ立体画像を視認できるようにする。この場合に、パノラマ画像全体を表示装置の画面に表示するのでは、画像が大きすぎたり歪んでいたりして細部が分からない場合があるので、ユーザの好みの箇所を拡大 ·縮小して表示するのが通常である。

そのような技術に関し、データ処理によってパノラマ画像から指定領域を抽出し、視点の異なる 2枚の静止画像を合成して立体画像を表示する方法として、一般に図 2 4に示されるような構成をとる技術がある。

[図 2 4の構成の動作説明]

図 2 4において、領域指定手段 aは、ユーザがパノラマ画像中の任意の矩形領域を指定するための手段であり、指定した矩形領域を指定する信号を画像抽出手段 bに出力する。

画像抽出手段 bは、左目用パノラマ画像、右目用パノラマ画像から、指定された矩形領域（左目用画像、右目用画像）を抽出する手段である。

立体表示手段 cは、抽出された左目用画像、右目用画像を立体表示する手段であり、種々の方式の立体画像ディスプレイがある。図 2 5は、左目用パノラマ画像、右目用パノラマ画像を示す。また、図 2 6は、図 2 5のようなパノラマ立体画像を撮影する、それぞれが組み合わさつて左右に回転する左目用カメラ Lと右目用カメラ Rとそれらの撮影視野 L 1 (実線で示した範囲）と R 1 (点線で示した範囲）および実際の撮影領域 f を示す。

上記のように指定領域を抽出して表示するパノラマ画像では、パノラマ画像を表すための画素数（解像度）が、一般の画像に比べて大きい。例えば標準デジ夕ルテレビ画像の解像度が 7 2 0 x 4 8 0画素であるのに対して、パノラマ画像の解像度は例えば 6 0 0 0 x 4 8 0画素となる。したがって、このようなパノラマ画像を蓄積あるいは伝送する場合、データ量が膨大となることが非常に問題となる。

また、前記図 2 6に示したカメラは左右に動かすことで広視野の画像を撮影するものであるため、動きのある被写体には適さない。したがって、動画のパノラマ立体画像を簡単に得ることが出来なかった。

本発明はこのような問題を解決し、効率良くパノラマ画像を蓄積あるいは伝送可能にする画像符号ィヒ装置または画像送信装置を提供することを目的とし、および簡単に動画のパノラマ立体画像を得ることを可能とする撮像装置を提供することを目的とする。発明の開示

本発明は、上記の目的を達成するため、次の構成を有する。

本発明の第 1の要旨は、画像を入力する画像入力手段と、入力された画像を小画面に分割する分割手段と、各小画面画像を符号化する符号化手段と、符号化情報に小画面画像の符号化データの全符号化データ内での位置を示す情報を付加する管理情報付加手段とを有することを特徴とする画像符号化装置である。

本発明の第 2の要旨は、画像の縮小処理をする画像縮小手段と、縮小画像を符号ィ匕する縮小画像符号化手段とを有することを特徴とする要旨 1に記載の画像符号化装置である。

本発明の第 3の要旨は、画像情報が動画像情報であり、符号化情報への付加情報には、小画面画像の指定時刻の位置を示す情報を含むことを特徴とする要旨 1 または要旨 2に記載の画像符号ィヒ装置である。

本発明の第 4の要旨は、画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号ィヒデ一夕を検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを送信する送信手段とを有することを特徴とする画像送信装置である。

本発明の第 5の要旨は、画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化デ一夕から指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号ィヒデータを復号する復号手段と、復号された小画面画像デー夕のうちの所定領域を切り出す切り出し手段と、切り出された所定領域の画像データを再符号化する再符号化手段と、再符号化された所定領域の画像デー夕を送信する送信手段とを有することを特徴とする画像送信装置である。

本発明の第 6の要旨は、切り出された所定領域の画像データを合成する合成手段を有し、合成データを再符号化手段で再符号化して、送信手段から送信することを特徴とする要旨 5に記載の画像送信装置である。

本発明の第 7の要旨は、送信手段は、小画面画像に分割する前の画像の所定の縮小画像を送信することを特徴とする要旨 5または要旨 6に記載の画像送信装置である。

本発明の第 8の要旨は、 2以上の撮影手段を有し、 2つの撮影手段をペアにして立体視用の画像を撮影し、ペアの撮影手段の撮影画像で立体画像の画像データを作成することを特徴とする画像撮影装置である。

本発明の第 9の要旨は、 3以上の撮影手段を有し、 2つの撮影手段をペアにして立体視用の画像を撮影し、各ペアで互いに異なる方向の立体画像を撮影し、各ペアの撮影手段の撮影画像で立体画像の画像データを作成するものであり、 1つの撮影手段は他の撮影手段と複数のペアを構成することを特徴とする画像撮影装置である。

本発明の第 1 0の要旨は、画像入力手段に、左目用画像、右目用画像からなる立体視用の画像データを入力することを特徴とする要旨 1から要旨 3のうちのいずれか 1に記載の画像符号化装置である。

本発明の第 1 1の要旨は、画像入力手段に、要旨 8または要旨 9の作成立体画像を入力することを特徴とする要旨 1から要旨 3のうちのいずれか 1に記載の画像符号化装置である。

本発明の第 1 2の要旨は、入力する立体視用画像データには、立体視用の画像が何の種類の画像からなるかを示す情報と、各画像の方向を示す情報とが付加情報として付加されていることを特徴とする要旨 1 1に記載の画像符号化装置である。

本発明においては、効率良くパノラマ画像を蓄積あるいは伝送する動画像符号化 '復号装置、および簡単に動画のパノラマ立体画像を得る撮影装置を構成できる。図面の簡単な説明

図 1は、本発明の第 1の実施形態に係る符号化装置、送信装置、および受信装置の全体システム説明図である。

図 2は、第 1の実施形態に係る符号化装置を示すプロック図である。

図 3は、第 1の実施形態に係る左目用、右目用の各パノラマ画像を分割した例の説明図である。図 4は、図 3の左目用パノラマ画像を動画像にした場合の各フレームの説明図である。

図 5は、パノラマ動画像を M P E G— 4で符号化する場合の例の説明である。図 6は、管理情報の結合された各タイルの符号化データの例の説明図である。図 7は、管理情報の例を示す図表であって、（ 1 )は符号化データへのタイムァクセステーブルの説明図、（2 )は指定時刻へのランダムアクセステーブルの説明図である。

図 8は、第 1の実施の形態の送信装置を示すプロック図である。

図 9は、パノラマ画像と表示位置の関係を説明する図である。

図 1 0は、第 2の実施形態の受信装置を示すブロック図である。

図 1 1は、 2個の全方位カメラを使用した視野および撮影範囲の説明図である。図 1 2は、全方位カメラ 1による画像と、全方位カメラ 2による画像のデ一夕例を示す。

図 1 3は、図 1 2の画像をタイル分割した例を示す。

図 1 4は、各タイルの符号化デ一夕を蓄積する例を示す。

図 1 5は、全方位カメラで立体視が可能なようにカメラを配置した例を示す。図 1 6は、全方位力メラ 1 , 2 , 3による画像の例を示す。

図 1 7は、図 1 6の画像をタイル分割した例を示す。

図 1 8は、各タイルの符号化データを管理情報と共に蓄積する例を示す。

図 1 9は、第 4実施形態の送信装置のブロック図である。

図 2 0は、左目用と右目用の切り出し画像を合成した画像の例の説明図である。図 2 1は、左目用と右目用の切り出し画像に縮小パノラマ画像を合成した画像の例の説明図である。

図 2 2は、左目用と右目用の切り出し画像に縮小パノラマ画像を合成した画像の他の例の説明図である。

図 2 3は、左目用と右目用の切り出し画像に縮小パノラマ画像を合成した画像であってパディング領域を埋めた例の説明図である。

図 2 4は、一般の視点の異なる 2枚の静止画像を合成して立体画像を表示する方法の説明図である。

図 2 5は、左目用パノラマ画像、右目用パノラマ画像例を示す。

図 2 6は、パノラマ立体画像を撮影する左おのカメラの説明図である。

図 2 7は、第 1の実施形態の受信装置を示すブロック図である。発明を実施するための最良の形態

以下、図面を参照して本発明の実施の形態について説明する。

[第 1の実施の形態]

図 1は第 1の実施の形態の全体的なシステム構成図である。

図 1に示すように、本発明における第 1の実施の形態は、パノラマ画像を符号化する符号化装置（A)、符号化デ一夕を蓄積する蓄積装置（D) と、蓄積された符号化データの一部を取り出し、受信装置に送信する送信装置 (B) と、送信装置（B) に対してパノラマ画像の表示位置を指定し、送信装置からの符号ィヒデ一タを受信して復号 ·表示する受信装置（C) とから成るパノラマ画像送受信システムである。図 1において符号（E)は有線あるいは無線のネットワークである。図 2は第 1の実施の形態の符号化装置（A) を示すブロック図である。図 2の符号化装置（A) は、パノラマ画像を撮影 'デジタル化し、パノラマ画像を入力する入力部（画像入力手段） 1 0と、入力されたパノラマ画像を該パノラマ画像の全体よりも小さい矩形等の領: ¾であって複数画素からなる小画面の画像（以下「タイル」という）に分割するタイル分割部（分割手段） 1 2と、分割された各タイルを符号化する符号化部（符号化手段） 1 4と、各タイルへのアクセスおよびタイル内の指定時間へのランダムアクセスを行うための管理情報を、符号化データに付加する管理情報付加部（管理情報付加手段） 1 6とを有して構成される。図 3は図 2のタイル分割部 12でパノラマ画像を分割した例を示す。ここで、 Lは左目用パノラマ画像、 Rは右目用パノラマ画像とし、それぞれが 5個のタイルに分割されたものとする。分割されたタイルの番号を 0, 1, 2, 3, 4とし、左目用パノラマ画像のタィルに1^丁0〜丁4、右目用パノラマ画像のタイルに RT 0〜RT4と記号を付ける。各パノラマ画像のサイズが 6000x480画素の場合、各タイルの大きさは 12 0 0x480画素となる。

なお、ここでは各パノラマ画像を水平 5個 X垂直 1個のタイルに分割したが、タイル分割の方法はこれに限るものではなく、例えば水平 10個 X垂直 3個のようにより細かく分割しても良いし、各タイルの大きさを可変としても良い。

図 2の符号化部 14は各タイルを圧縮符号化する部分である。符号化方式として、パノラマ画像が静止画の場合は J PEG, J PEG2000など静止画用の国際標準方式、パノラマ画像が動画（パノラマ動画像）の場合は MP EG— 2， MPEG— 4など動画用の国際標準方式が用いられる。もちろん、国際標準方式以外の独自方式を用いても良い。

また、前記パノラマ動画像の場合、図 3の各タイルは 1枚の画像ではなく所定時間間隔で表示する複数のフレームからなる。図 4に、パノラマ動画像の左目用画像（左目用パノラマ動画像）をタイル分割した例を示す。 f 0, f 1, f 2, · · · は動画の各フレームを示し、例えばタイル LT1は LT1 ί 0， LTl f l, L T 1 f 2, · · 'のように時間的に連続した複数のフレームから構成される。パノラマ動画像を MP EG— 4で符号化する場合の例を図 5に示す。 MPEG 一 4ではコマ落しを用いることが出来るため、符号化されるフレームは LT1 f 0, LT 1 f 3, LT 1 f 5, LT 1 f 10のようにフレーム番号が飛び飛びになっている。また、この例では LT 1 f 0をフレーム内符号化フレ一ム（ Iフレーム）、 LTl f l Oを LTl f 0の復号フレームから予測符号化するフレーム（P フレーム）、 LT 1 f 3, LTl f 5を LT f O, LTf l 0の復号フレームから両方向予測符号化するフレーム（Bフレーム）として符号ィ匕している。このような符号ィ匕方式で符号ィ匕されたデ一夕にランダムアクセスする場合、後で述べるように、アクセスしたいフレームの近傍（直前または直後）の Iフレームから復号を行う。

図 2の管理情報付加部 1 6で付加される管理情報について説明する。管理情報の結合された各タイルの符号ィヒデ一夕の例を図 6に示す。また、この管理情報の例（表 1 ) を図 7に示す。

各タイルの符号化データは、管理情報と共に図 6に示すように結合されて蓄積されるが、この時、各タイルへのアクセスを可能とするための情報が管理情報である。パノラマ動画像の場合は、タイルへのアクセスと共に、タイル内の指定時刻の符号ィ匕デ一夕へのランダムアクセスを可能とする情報も含まれる。

図 7の表 1 ( 1 )は、各タイルの符号化データへのアクセスを行うための管理情報（全符号化デ一夕内での各タイルの符号化データの位置を示す情報を含む）の 1例のタイルアクセステーブルある。例えばタイル L T 2の符号化データは、図 6のデ一夕の先頭から B 2バイト目（位置を示す情報に相当）に存在することを示している。表 1 ( 1 ) にはさらに、タイル内での指定時刻へのアクセスを行うための情報（ランダムアクセステ一ブル）へのポインタが記載されている。例えば T 2の符号化データの場合、指定時刻へのアクセステーブルは管理情報内のアドレス P 2にあることが示される。

また、前記図 7の表 1 ( 2 ) は、指定時刻へのアクセステーブル (ランダムァクセステ一ブル）の例である。この表において時刻 t 1 , t 2 , t 3 , · · 'は等間隔に設定されていても良いし、任意の時間間隔であっても良い。例えば時刻 t 3に対応する符号化データは、タイルの符号ィ匕データの先頭から B t 3ノ rト目に存在し、その位置から I t 3バイト遡った位置に Iフレームの符号化データがあることが示されている。復号装置においてタイルの復号データを時刻 t 3から表示したい場合、まず、先頭から（B T 3— I t 3 )バイト目にある Iフレームの符号化データを復号する。次に、順次 Pフレームや Bフレームを復号しつつ復号したバイ卜数をカウン卜し、 I t 3バイトだけ復号した時点で表示を開始すれば、指定した時刻 t 3の表示が行われる。

以上のようにして、膨大なデータ量を持つパノラマ画像が効率よく符号化され、蓄積される。本発明の符号化データは、パノラマ画像をタイルに分割し、各タイルの符号ィ匕デ一夕へのアクセスを容易にするための情報を符号化データと共に蓄積するため、後述するように、符号化データの一部を取り出すことが可能となる。

[その他のアクセス方法]

( a) テレビ電話、インターネットによるストリ一ミング等、通信用途では符号化データがバケツト化されており、各バケツトのヘッダ情報に Iフレームの先頭を含むか否かを示す情報が組込まれている楊合がある。この時、例えば図 7の表

1 ( 2 ) には、指定時刻 t iとそれに対応するパケットの先頭までのバイト数 B i ( iは正の整数）が書かれている。

指定時刻が t 3の場合、デコーダは指定時刻 t 3のバケツトにアクセスした後、バケツトが Iフレームの先頭を含むか否かをチェックしながら符号ィヒデータを読み進み、 Iフレームを含んだパケットから復号 ·表示を開始する。（それ以前のパケットは読み捨てる）

( b ) 前記の（a ) で、パケットの先頭までのバイト数を明示せず、パケット番号のみを表 1 ( 2 ) に書いておくこともできる。この場合、一つの符号化データ内のパケットの長さ（バイト数など）を固定とし、符号化デ一夕のヘッダ情報にパケットの長さを書いておく。

デコーダにて、パケット番号とパケットのバイト数から、指定時刻のパケットの先頭までのバイト数を計算することによって、指定時刻のデータにアクセスすることが可能となる。指定時刻のパケットにアクセスした後の動作は前記 ( a ) と同様である。

[その他の蓄積方法]

図 6では管理情報と符号化情報が結合されて蓄積されている状態を示しているが、管理情報は符号化情報とは別ファイルとして分離して蓄積してもかまわない。また、指定時刻へのアクセスのための情報は、前記図 7の表 1 ( 2 ) のような管理情報中ではなく、各タイルの符号ィ匕データのヘッダ情報に含まれていても良い。その場合、図 7の表 1 ( 1 ) の 3列目（タイル内での指定時刻へのアクセスを行うための情報へのポインタ）は必要が無くなる。

さらに、管理情報、各タイルの符号化データを全て別ファイルとしても良い。この時、例えば図 7の表 1 ( 1 ) の 2列目には先頭からのバイト数の代わりに、各タイルの符号化データのファイル名が書かれる。また、各タイルへのアクセスはフアイル名を基に行われる。

図 8は第 1の実施の形態の送信装置を示す。図 8の送信装置は、符号化デ一夕に含まれる管理情報を分離する管理情報分離部（管理情報分離手段） 2 0と、受信装置（C) などから表示位置（指定位置）および表示サイズを入力し、これに対応するタイルを指定するタイル指定部 2 2と、管理情報と表示位置およびサイズを基に管理情報を解析する解析部 2 4と、解析結果を元に符号化データをランダムアクセスするランダムアクセス部（検索手段) 2 6と、ランダムアクセスされた符号化データの一部を送信する送信部 2 8とから構成される。

図 8に示す前記管理情報分離部 2 0は、図 6のように蓄積されたデータから、管理情報を分離する。

また、図 8に示す前記タイル指定部 2 2は、受信部から送られてきた表示位置およびサイズ（パノラマ動画像の場合は、さらに表示時刻）を入力し、表示位置に対応するタイルを求める。

図 9はパノラマ画像と表示位置の関係を説明する図である。表示位置およびサィズはパノラマ画像中の座標（a , b ) および水平 ·垂直サイズ（x， y) でそれぞれ表される。通常、受信装置のディスプレイで表示できる画像サイズは固定であるため、サイズ（X , y) を固定とし、受信装置（C) からは表示位置（a , b ) のみを送信装置（B) に伝えるようにしても良い。また、受信部側（受信装置 (C) 側）で表示位置を入力し易くするために、パノラマ画像の縮小データを予め送信しておいても良い。この場合は、符号化装置 (A) にてパノラマ画像縮小部（画像縮小手段）をさらに備え、入力されたパノラマ画像を縮小し、縮小されたパノラマ画像を符号化部 1 4にて符号化し、図 6 のデータと共に蓄積しておく。送信装置（A) は蓄積された符号化データから、縮小されたパノラマ画像の符号化データを取り出し受信装置（C) に送信する。受信装置（C) ではこの符号化データを復号して、縮小パノラマ画像を確認しつつ、所望の表示位置、表示サイズを送信装置に伝えれば良い。パノラマ画像が動画の場合は、上記の縮小パノラマ画像も動画となっており、受信装置は表示位置、表示サイズと共に、表示時刻 tも指定する。例えば、受信装置で縮小パノラマ動画像を再生し、再生中に所望の表示領域を決定することで、その時の再生時刻を表示時刻 tとして指定する。

図 8のタイル指定部 2 2は、表示位置およびサイズ（および表示時刻）に基づいて表示位置に対応するタイルを求める。表示位置（a , b)、サイズ（X , y ) を図 9のように選択した場合、指定されるタイルは夕イリレ番号 1および 2となる。このようなタイルの指定は受信装置（C) 側で行っても良い。その場合は、夕ィル指定部 2 2は送信装置（B) ではなく、受信装置（C) に備えられ、表示位置およびサイズの代わりに指定するタイルのタイル番号を受信装置から送信装置に通知することとなる。

図 8の解析部 2 4は、前記図 7の表 1のような管理情報のテーブルと指定されたタイルの情報（および表示時刻）に従って、左目用パノラマ画像、右目用パノラマ画像の各々について、指定されたタイルの符号化情報が、蓄積された符号ィ匕データの先頭から何バイト目に存在するかを解析する。

図 8のランダムアクセス部 2 6は、上記解析結果に基づいて蓄積された符号化データをランダムアクセスし、指定されたタイルに対応する符号化データを取り出す。パノラマ動画像の場合は、指定されたタイルの符号ィ匕データのうち、表示時刻の直前の Iフレーム以降の符号ィ匕デ一夕が取り出される。 [その他のアクセス方法]に例示した方法でランダムアクセステーブルが作成されている場合は、表示時刻からパケットを読み捨てていき、 Iフレームを含むバケツトが見つかった時点以降の符号化データが取り出される。あるいは、表示時刻のフレームを必ず表示したい場合は、表示時刻から逆方向にパケットを読みながら、 Iフレームを含むバケツトを探し、 Iフレームを含むバケツ卜が見つかった時点以降の符号化データを取り出すようにしても良い。

図 8の送信部（送信手段） 2 8は、取り出された符号化デ一夕を受信装置に送信する。図 2 7は本実施の形態の受信装置の例を示す。表示位置 ·サイズ決定部 4 0は、パノラマ画像の一部を表示領域として決定し、送信装置に通知する部分である。パノラマ動画像の場合は、表示位置、サイズの他に指定時刻も合わせて通知する。復号部（復号手段） 3 0は送信された符号ィ匕データを復号する部分である。一般に送信された符号化データは、表示領域を含む 1以上のタイルに対応しているため、切り出し部（切り出し手段） 3 2にて表示領域を切り出す処理が必要となる。切り出し部 3 2は、表示位置 ·サイズ決定部 4 0で決定した情報に基づき、復号されたタイルの中から必要な表示領域を切り出して、切り出された画像を立体ディスプレイ等に出力し、表示する。パノラマ動画像の場合に、指定時刻の直前の Iフレーム以降の符号化データが送信されているときは、切り出し部 3 2は指定時刻のフレームが復号されるまで、画像を出力しないようにすることもできる。このような処理を行うため、送信装置からは、表 2 ( 1 ) に示す「直前の Iフレームまでのバイト数」が受信装置に通知されているものとする。以上のようにして、第 1の実施の形態によれば、パノラマ画像のうち、受信装置で表示したい部分を空間的、時間的に指定し、蓄積された符号化データの一部を取り出して送信することができるため、容量の小さい伝送路においてもパノラマ画像を容易に送信し、表示することが可能となる。

[第 2の実施の形態] 前記第 1の実施の形態とは異なり、他の実施の形態としての本発明の第 2の実施の形態では、送信装置（B) は、符号化装置（A) で作成したパノラマ画像の符号化データを全て受信装置（C) に送信するようにしてもよい。あるいは、大容量の記録媒体を用いて（介在させて）前記符号化デ一夕を受信装置（C) に渡しても良い。そして、受信装置（C) に全ての符号化データを蓄積する。

通常、受信装置（C) 側のディスプレイは解像度が低く、蓄積したパノラマ画像を全て表示できないため、図 1 0のように、受信装置（C) に第 1の実施の形態における送信装置と同様の管理情報分離部 2 0、タイル指定部 2 2、解析部 2 4、ランダムアクセス部 2 6を設け、さらに、符号化デ一夕を復号する復号部 3 0を設け、パノラマ画像の一部表示位置 ·サイズ、表示時刻を指定して、管理情報の解析、ランダムアクセス、符号ィ匕デ一夕の一部の復号をし、ディスプレイなど表示部への表示を行う。

[第 3の実施の形態]

本発明の符号化装置におけるパノラマ画像入力部としては、前記図 2 6に示したような回転カメラの代わりに全方位カメラ（撮影手段）を使用できる。以下、これにより、立体パノラマ動画像の撮影を容易にできるものを第 3の実施の形態として説明する。本実施形態では、複数の全方位カメラを使用して立体パノラマ画像を得るようにする。

2個の全方位カメラを使用した場合について図 1 1〜図 1 4に基き説明する。 2個の全方位カメラを使用し、各カメラで左目用パノラマ画像、右目用パノラマ画像をそれぞれ得る場合、図 1 1に示すように、他の力メラが視野に干渉して、立体視が可能な範囲は Aと Cの範囲になる。一方、範囲 Dと Bでは立体視ができない。

このようなパノラマ画像に必要な付加情報（立体視用画像が何の種類の画像からなるかを示す情報と各画像の方向を示す情報とを付加）としては、カメラの夕イブ（全方位カメラ 2個から成ることを示す）と、全方位カメラ 1を左目用、全方位カメラ 2を右目用とした時の正面位置に対応する座標（F(l， 2)と表す）と、全方位カメラ 2を左目用、全方位カメラ 1を右目用とした時の正面位置に対応する座標 (F(2, 1)と表す）と、 A, B, C, Dの範囲を示す情報とがある。ここで、 A, B, C, Dの範囲を示す情報は、全方位カメラの特性、カメラの夕イブと F (1, 2)、 F (2, 1) などから導くことができるため付加情報として必須ではないが、導くための処理量を削減したり、コンテンツに合わせて範囲を可変にする等の理由から付加情報に含めて明示するようにしても良い。

図 12は、全方位カメラ 1による画像と、全方位カメラ 2による画像のデータ例を示す。

範囲 Aと Cで、右目用デ一夕と左目用デ一夕の関係が入れ替わる。範囲 B、 D のデータは全て片目用（平面表示用）のデータとなる。

図 13は、図 12の画像をタイル分割した例を示す。

全方位カメラ 1の左目用画像はタイル LT0， LT1、右目用画像はタイル R TO, RT1、片目用画像はタイル MTO, MT1に分割される。また、全方位カメラ 2も同様に左目用画像はタイル LT2, LT3、右目用画像はタイル RT 2, RT3、片目用画像はタイル MT 2， MT 3に分割される。

図 14は、各タイルの符号化データを管理情報と共に蓄積する例を示す。管理情報には第 1の実施形態で説明したタイルアクセステ一ブル、ランダムアクセステーブルと共に、前述した付加情報が含まれる。付加情報のうち、 F (1， 2)、 F (2， 1) を図 13のようなパノラマ画像上の水平方向の画素位置（一次元座標）で表現する場合は、 F (1, 2) の画素位置は範囲 Aの中央（タイル LT1 の左端の画素位置）、 F (2, 1) の画素位置は範囲 Cの中央（タイル RT 1の左端の画素位置）となる。このような表現では、 F (1， 2) の画素位置とパノラマ画像の水平画素数から F (2, 1) を求めることが出来るため、付加情報には F (1, 2) の情報のみを含めるようにすることもできる。

この例では、全方位カメラ 1の符号化データは、少なくとも全方位で平面表示 T JP2003/008301

できるように全てのタイルの符号化デ一夕を記録する。

また、全方位カメラ 2の符号化データは、立体視可能な領域についてのみ符号化デ一夕を記録する。すなわち、 MT 2， MT 3は符号化しない、あるいは MT 2 , MT 3の符号ィヒデ一夕は記録しないようにする。

なお、上記の例では片目用画像のタイル MT 2 , MT 3を落としていたが、符号化データのうちで片目用画像を利用する場合で、他のカメラを写しこんでいないタイルのデータを利用することもできる。つまり、全方位カメラ 1では、範囲 Bのタイル MT 0を落とし、範囲 Dのタイル MT 1を残し、全方位カメラ 2では範囲 Bのタイル MT 2を残し、範囲 Dのタイル MT 3を落とす。

タイルへの分割方法、符号化データの組み合わせ方法は上記の例に限るものではない。例えば、一つのタイルが範囲 Aと範囲 Bの両方にまたがるように分割してもかまわない。また、一部のタイルを落す例を述べたが、全てのタイルを符号化するようにしてもよい。

次に、 3個の全方位カメラを使用した場合について説明する。

図 1 5は、全ての方位で立体視が可能なように 3個の全方位力メラを配置した例を示す。

このようなパノラマ画像に必要な付加情報としては、カメラのタイプ（全方位カメラ 3個から成ることを示す）と、全方位カメラ 1を左目用、全方位カメラ 2 を右目用とした時の正面位置に対応する座標 (F ( 1 , 2 ) と表す）と、全方位カメラ 2を左目用、全方位カメラ 3を右目用とした時の正面位置に対応する座檫 (F ( 2 , 3 ) ) と表す）と、カメラ 3を左目用、カメラ 1を右目用とした時の正面位置に対応する座標 (F ( 3 , 1 ) と表す）と、 E, F , Gの範囲を示す情報とがある。ここで E， F , Gの情報は前述の A, B , C , Dと同様、付加情報に必須ではないが、処理量削減等のために付加情報に含めて明示するようにしてもよい。

図 1 6は、全方位カメラ 1， 2， 3による画像の例を示す。 1

範囲 E， F , Gで、右目用データと左目用データの関係および使用するカメラの組み合わせが異なる。

図 1 7は、図 1 6の画像をタイル分割した例を示す。

また、図 1 8は、各タイルの符号化データを管理情報と共に蓄積する例を示す。管理情報には第 1の実施形態で説明したタイルアクセステーブル、ランダムァクセステ一ブルと共に、前述した付加情報が含まれる。付加情報のうち、 F ( 1， 2 )、 F ( 2 , 3 )、 F ( 3 , 1 ) を図 1 7のようなパノラマ画像上の水平方向の画素位置（一次元座標）で表現する場合は、全方位カメラを 2個用いた場合と同様に、 F ( 1 , 2 ) のみを付加情報に含めるようにすることもできる。

なお、図 1 8の例ではタイル MT 2〜MT 5の符号ィ匕を行わず、これらに対応する符号化デ一夕は記録しない。

このように第 3の実施の形態においては、全方位カメラを複数用いることで立体パノラマ動画像の撮影を容易に行うことが可能となり、また、タイルの一部を符号化しないことで蓄積または伝送される符号化データ量を削減することが可能となる。

[第 4の実施の形態]

第 1の実施の形態で説明した送信装置では、一般に表示位置 ·サイズに対応したタイルが複数あるため、伝送データに無駄が発生する。本発明の第 4の実施の形態では図 1 9の送信装置のように、復号部 3 0で復号したデ一夕を切り出し部 3 2で表示位置 ·サイズの部分を切り出して合成部（合成手段） 3 4で合成画像を作成する。そして、再符号化部（再符号化手段） 3 6で合成画像を再符号化して送信部 2 8により送信する。このように必要な部分の復号画像を切り出し合成し再符号化して送信し、データ量を最少にする。

合成画像には、例えば、図 2 0に示すように左目用と右目用の切り出し画像を左右くっ付けた状態の 1フレームの合成画像にすることができる。

また、図 2 1に示すように、全体画像が確認できるように縮小したパノラマ画像も、切り出した左右の画像の上側に付けるなどした 1フレームの合成画像とすることができる。

また、図 2 2に示すように、縮小パノラマ画像を左右の切り出し画像の先頭に付けるようにした合成画像にしても良い。

さらに、図 2 3に示すように、左右の切り出し画像と縮小パノラマ画像の 3つの画像を合成したとき、一般には余りの領域が生じる。余りの部分についてはパデイングによってデ一夕（ダミーデータ）を埋め、全体として矩形の画像を作成する。

いずれの場合にも、合成した画像を受信装置で分離するための情報を符号化データのヘッダ部分などに付加することとなる。あるいは、このような情報はへッダ部分ではなく管理情報に含めるようにしても良い。

前記図 1 9などに説明したように、合成画像を再符号ィ匕 ·送信するのは受信装置側で 1つの符号化データを扱えばすむというメリットがある。しかし、合成の処理を省略したい場合は受信装置側で複数符号化データを扱えるようにしても良い。その場合、送信装置では縮小画像や切り出した左右の画像を独立に符号して送信する。

前記図 9の説明では、表示位置（a , b)と表示サイズ（x , y)を受信装置から送信装置に通知する方法を述べたが、パノラマ画像の表示領域を指定する方法はこれに限るものではない。前記図 1 9などによる本発明の実施の形態では、切り取り位置（A，B)、切り取りサイズ（X, Y)および表示サイズ（X , y )を指定する方法を用いても良い。ここで、送信装置がパノラマ画像から切り取る領域は、切り取り位置 (A，B)、切り取りサイズ (Χ, Υ)で表され、受信装置にて実際に表示されるサイズは (X, y)で表すものとする。例えば、（X, Y)が（X , y)より大きい場合は切り取られた領域が（ X， y )のサイズに縮小され符号化されて受信装置に送られる。逆に、（X, Y)が（x， y)より小さい場合は切り取られた領域が（X , y)のサィズに拡大され符号化されて受信装置に送られる。このようにすることで、パノラマ画像の表示画像がズームインしたりズームァゥトするような効果を得ることが可能となる。

以上説明したとおり本発明によれば、効率良くパノラマ画像を蓄積あるいは伝送する動画像符号化 ·復号装置、および簡単に動画のパノラマ立体画像を得る撮影装置を構成できる。産業上の利用可能性

本発明に係る画像符号化装置、画像送信装置および画像撮影装置は、立体画像特に画素数が多く（解像度の高い）膨大なデータ量のパノラマ静止画像もしくはパノラマ立体動画像を効率良く符号化して蓄積し、ネットワークの経由により伝送し復号することにより、そのパノラマ立体画像を表示装置の画面に表示させることを可能にするもので、容量の小さな伝送路においてパノラマ画像を容易に送信し表示させることに適している。また、本発明に係る画像撮影装置は、複数の全方位力メラでパノラマ画像を得ることに適している。

Claims

請求の範囲

1 . 画像を入力する画像入力手段と、

入力された画像を小画面に分割する分割手段と、

各小画面画像を符号ィヒする符号化手段と、

符号化情報に小画面画像の符号ィヒデ一夕の全符号化データ内での位置を示す情報を付加する管理情報付加手段とを有することを特徴とする画像符号ィヒ装置。

2 . 画像の縮小処理をする画像縮小手段と、縮小画像を符号化する縮小画像符号化手段とを有することを特徴とする請求の範囲第 1項記載の画像符号化装置。

3 . 画像情報が動画像情報であり、符号化情報への付加情報には、小画面画像の指定時刻の位置を示す情報を含むことを特徴とする請求の範囲第 1項または第 2項に記載の画像符号化装置。

4. 画像が分割された小画面画像の符号化データの全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化デ一夕から指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを送信する送信手段とを有することを特徴とする画像送信装置。

5 . 画像が分割された小画面画像の符号ィヒデ一夕の全符号化データ内での位置を含む管理情報が付加された符号化情報から管理情報を分離する管理情報分離手段と、分離した管理情報に基き全符号化データから指定位置に基づく小画面画像の符号化データを検索する検索手段と、検索された指定位置に基づく小画面画像の符号化データを復号する復号手段と、復号された小画面画像データのうちの所定領域を切り出す切り出し手段と、切り出された所定領域の画像デ一夕を再符号化する再符号化手段と、再符号化された所定領域の画像データを送信する送信手段とを有することを特徴とする画像送信装置。

6 . 切り出された所定領域の画像データを合成する合成手段を有し、合成デー夕を再符号化手段で再符号化 _uして、送信手段から送信することを特徴とする請求の範囲第 5項に記載の画像送信装置。

7 . 送信手段は、小画面画像に分割する前の画像の所定の縮小画像を送信することを特徴とする請求項範囲第 5項または第 6項に記載の画像送信装置。

8 . 2以上の撮影手段を有し、 2つの撮影手段をペアにして立体視用の画像を撮影し、ペアの撮影手段の撮影画像で立体画像の画像データを作成することを特徴とする画像撮影装置。 "

9 . 3以上の撮影手段を有し、 2つの撮影手段をペアにして立体視用の画像を撮影し、各ペアで互いに異なる方向の立体画像を撮影し、各ペアの撮影手段の撮影画像で立体画像の画像デ一夕を作成するものであり、 1つの撮影手段は他の撮影手段と複数のペアを構成することを特徴とする画像撮影装置。

1 0 . 画像入力手段に、左目用画像、右目用画像からなる立体視用の画像データを入力することを特徴とする請求の範囲第 1項から第 3項のうちのいずれか 1 項に記載の画像符号ィヒ装置。

1 1 . 画像入力手段に、請求の範囲第 8項または第 9項の作成立体画像を入力することを特徵とする請求の範囲第 1項から第 3項のうちのいずれか 1項に記載の画像符号化装置。

1 2 . 入力する立体視用画像データには、立体視用の画像が何の種類の画像からなるかを示す情報と、各画像の方向を示す情報とが付加情報として付加されていることを特徴とする請求の範囲第 1 1項に記載の画像符号化装置。