JP6108546B2 - 付加情報挿入装置、付加情報抽出装置、付加情報挿入プログラム、及び付加情報抽出プログラム - Google Patents

Description

本発明は、インテグラルフォトグラフィ方式の立体画像に付加情報を挿入する付加情報挿入装置及び付加情報挿入プログラム、並びに立体画像情報から付加情報を抽出する付加情報抽出装置及び付加情報抽出プログラムに関する。

従来、任意の視点から自由に立体画像（立体再生像）を見ることが可能な立体テレビジョン方式の一つとして、平面状あるいは曲面状に配列されたレンズ群を用いた、いわゆるインテグラルフォトグラフィ（Integral Photography）方式（以下、ＩＰ方式と呼ぶ場合がある）の立体画像撮影装置及び立体画像表示装置が知られている（特許文献１参照）。

ここで、特許文献１に記載されるＩＰ方式について、図７を参照して概要を説明する。
撮影側において高解像度カメラ１１２（例えば、４Ｋ解像度のカメラ）は、被写体から出た光をレンズアレイ１１１越しに撮影する。これにより、高解像度カメラ１１２は、レンズアレイ１１１の仕様に従い並んだ各々の要素レンズにより結像した光学像（要素画像）で構成されるインテグラル画像をインテグラル画像データ（撮影画像データ）として記録する。

続いて、表示側において高解像度の液晶パネル１４２は、高解像度カメラ１１２が記録したインテグラル画像データを表示する。そして、観察者は、撮影で使用したものと同じ仕様のレンズアレイ１４１を通して液晶パネル１４２を観察する。これにより、撮影側の被写体空間と同じような光線が表示側の観察者の目前で再現され、観察者は、視点を移動させても移動後の視点位置に応じた被写体の立体画像を観察することができる。

特開２００７−０７１９２２号公報

しかしながら、レンズアレイに用いる要素レンズは円形のため要素画像もおおよそ円形となり、要素レンズを出来る限り隙間無く配列したとしてもインテグラル画像データには要素画像外の情報であり、被写体の立体画像の表示には必要のない領域（非表示領域）が存在する。その為、インテグラル画像データは、この非表示領域に着目すれば、この領域を構成する画素数分のデータが無駄になっていた。

本発明はかかる点に鑑みてなされたものであって、インテグラルフォトグラフィ方式において、被写体の立体画像の表示には必要のない領域（非表示領域）を有効に活用できる付加情報挿入装置、付加情報抽出装置、付加情報挿入プログラム、及び付加情報抽出プログラムを提供することを課題とする。

前記課題を解決するために本発明の一態様による付加情報挿入装置は、レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データに、立体画像の表示に関連するサービスに用いる付加情報を挿入する付加情報挿入装置であって、付加情報挿入部を備える構成とした。

ここで、インテグラル画像データは、レンズアレイの仕様（要素レンズの形状、要素レンズの配列方法等）に対応する要素画像の領域に属する画素の情報と、要素画像外の領域に属する画素の情報とを含んで構成される。

このような構成を備える付加情報挿入装置は、付加情報挿入部が、立体画像の表示に不要な要素画像外の領域に属する画素の情報が格納される位置に付加情報を挿入する。

また、本発明の一態様による付加情報抽出装置は、レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データから、立体画像の表示に関連するサービスに用いる付加情報を抽出する付加情報抽出装置であって、付加情報抽出部を備える構成とした。

このような構成を備える付加情報抽出装置は、付加情報抽出部が、立体画像の表示に不要な要素画像外の領域に属する画素の情報が格納された位置から付加情報を抽出する。

本発明の一態様によれば、被写体の立体画像の表示に不要な要素画像外の領域に属する画素の情報が格納される位置に付加情報を挿入するので、この領域（非表示領域）を有効に活用することができる。その為、観察者に対して、被写体の立体画像の表示に関連するサービスを新たな領域を確保することなく提供することができる。

また、本発明の一態様によれば、被写体の立体画像の表示に不要な要素画像外の領域に属する画素の情報が格納された位置から付加情報を抽出するので、この領域（非表示領域）を有効に活用することができる。その為、観察者に対して、被写体の立体画像の表示に関連するサービスを新たな領域を確保することなく提供することができる。

実施形態に係る付加情報挿入装置、及び付加情報抽出装置の概略ブロック図である。 実施形態に係るレンズアレイの構成を説明するための図であり、図２（ａ）は俵積み配列のレンズアレイを示し、図２（ｂ）は正方配列のレンズアレイを示す。 実施形態に係る付加情報挿入画素特定部の処理を説明するための図であり、図３（ａ）は俵積み配列のレンズアレイを用いる場合に要素画像外となる画素を示し、図３（ｂ）は正方配列のレンズアレイを用いる場合に要素画像外となる画素を示す。 実施形態に係る俵積み配列のレンズアレイを用いる表示装置にインテグラル画像データが表示された状態を例示したものであり、図４（ａ）は表示パネル全体を示し、図４（ｂ）は表示パネルの一部を拡大したものである。 実施形態に係る撮影装置が有する撮像部の表面にインテグラル画像が投影された状態を示す図であり、図５（ａ）が俵積み配列のレンズアレイを用いた場合を示し、図５（ｂ）が正方配列のレンズアレイを用いた場合を示す。 実施形態に係るインテグラル画像データＧのイメージ図であり、図６（ａ）が俵積み配列のレンズアレイを用いた場合を示し、図６（ｂ）が正方配列のレンズアレイを用いた場合を示す。 従来技術におけるインテグラルフォトグラフィ方式の概略図であり、図７（ａ）は撮影側を示し、図７（ｂ）は表示側を示す。

以下、本発明の実施するための形態を、適宜図面を参照しながら詳細に説明する。
各図は、本発明を十分に理解できる程度に、概略的に示してあるに過ぎない。よって、本発明は、図示例のみに限定されるものではない。また、参照する図面における寸法は、説明を明確にするために誇張して表現されている場合がある。なお、各図において、共通する構成要素や同様な構成要素については、同一の符号を付し、それらの重複する説明を省略する。

［実施形態］
≪実施形態に係る付加情報挿入抽出システムの構成≫
付加情報挿入抽出システム１は、ＩＰ方式を用いた立体画像の表示システムにおいて、撮影データ（インテグラル画像データ）に付加情報を挿入・抽出することで、立体画像の表示に関連するサービスを実現するものである。
付加情報挿入抽出システム１は、撮影装置１０と、付加情報挿入装置２０と、付加情報抽出装置３０と、表示装置４０と、付加情報実行装置５０とを備えている。以下、各装置の構成について詳細に説明する。

＜撮影装置＞
撮影装置１０は、レンズアレイ１１及び高解像度（例えば、４Ｋ解像度、８Ｋ解像度）の撮像部１２（例えば、ＣＭＯＳイメージセンサ）を有するＩＰ方式用の公知の高感度カメラである。ここで、「４Ｋ解像度」は、画素数（横×縦）が「３８４０×２１６０（約８００万画素）」である。一方、「８Ｋ解像度」は、画素数（横×縦）が「７６８０×４３２０（約３３００万画素）」である。なお、「８Ｋ解像度」は、スーパーハイビジョンと呼ばれることも多い。

図２にレンズアレイ１１の構成を示す。レンズアレイ１１は、要素画像を形成するものである。レンズアレイ１１は、形状やサイズが同様の要素レンズＬが、規則的に配列されている。図２（ａ）に示す俵積み配列のレンズアレイ１１ａ（１１）は、要素レンズＬの水平方向（横方向）に対する並びが１列おきに要素レンズＬの半径分だけずれている。一方、図２（ｂ）に示す正方配列のレンズアレイ１１ｂ（１１）は、隣接する要素レンズＬの中心が、垂直方向（縦方向）及び水平方向（横方向）で一致している。図２（ａ）に示す俵積み配列は、図２（ｂ）に示す正方配列に比べて要素レンズＬ間の隙間が少なく密度の高い配置である。なお、本実施形態では、要素レンズＬの形状として真円形を想定するが、楕円形であってもよい。なお、表示装置４０が有するレンズアレイ４１は、レンズアレイ１１と同様の仕様である。

撮像部１２は、レンズアレイ１１で形成した要素画像を撮像するものである。撮像部１２は、解像度に対応した複数の画素センサ（撮像素子）を備えて構成される。そして、撮像部１２は、レンズアレイ１１の仕様に従い並んだ各々の要素レンズＬにより結像した光学像（要素画像）で構成されるインテグラル画像が表面に投影される。そして、撮像部１２は、表面に投影されたインテグラル画像を撮像し、撮像したインテグラル画像の色情報をインテグラル画像データＧとして付加情報挿入装置２０に出力する。

＜付加情報挿入装置＞
付加情報挿入装置２０は、インテグラル画像データＧに付加情報Ｆを挿入するものである。付加情報挿入装置２０は、付加情報挿入画素特定部２１と、付加情報挿入部２２と、付加情報符号化部２３と、を備えている。付加情報挿入画素特定部２１、付加情報挿入部２２、付加情報符号化部２３は、ＣＰＵ（Central Processing Unit）が図示しないＲＯＭ等に格納されたプログラムをＲＡＭ（Random Access Memory）に展開することにより実現するプログラム実行処理や、専用回路等により実現される。これらの機能がプログラム実行処理により実現される場合、「○○部」を「○○手段」と呼ぶ場合がある。

（付加情報挿入画素特定部）
付加情報挿入画素特定部２１は、付加情報Ｆを挿入する場所をインテグラル画像データＧの中から特定するものである。付加情報挿入画素特定部２１には、撮影装置１０からインテグラル画像データＧが入力される。

付加情報挿入画素特定部２１は、インテグラル画像データＧが表示装置４０により表示される場合における要素画像外に属する画素の位置を特定する。図３に表示パネル４２にインテグラル画像データＧが表示された状態を示す。図３では、要素画像の領域に属する画素をドットなし（白色）で表し、要素画像外の領域に属する画素をドット模様で表している。撮影側でレンズアレイ１１に用いる要素レンズＬは円形のため、光学像（要素画像）もおおよそ円形となり、要素レンズＬを出来る限り隙間無く配列したとしてもドット模様の画素で示す領域が発生してしまう。付加情報挿入画素特定部２１は、要素画像外の領域に属する画素（ドット模様で表された画素）の位置を特定する。

付加情報挿入画素特定部２１が要素画像外に属する画素の位置を特定する方法は、種々の方法を用いることができる。例えば、付加情報挿入画素特定部２１は、表示装置４０の要素画像外の領域に属する画素の位置を情報として管理しておいてもよいし、また、表示装置４０のレンズアレイ４１の配列方法や表示パネル４２の解像度を用いて計算により要素画像外の領域に属する画素の位置を算出してもよい。本実施形態では、付加情報挿入画素特定部２１が要素画像外の領域に属する画素の位置を情報として管理しているものとする。そして、付加情報挿入画素特定部２１は、要素画像外の領域に属する画素（ドット模様で表された画素）の位置を付加情報挿入部２２に出力する。

（付加情報挿入部）
付加情報挿入部２２は、付加情報挿入画素特定部２１が特定したインテグラル画像データＧの場所に、付加情報Ｆを挿入するものである。
付加情報挿入部２２には、撮影装置１０からインテグラル画像データ１０が入力される。また、付加情報挿入部２２には、付加情報挿入画素特定部２１から要素画像外の領域に属する画素の位置Ｉが入力される。また、付加情報挿入部２２には、付加情報Ｆが入力される。付加情報Ｆは、例えば、インテグラル画像データ１０の撮影者により入力される。なお、付加情報Ｆは、予め付加情報挿入装置２０内に格納されているようにしてもよい。

ここで、付加情報Ｆは、データの種類や内容が限定されるものではなく、広範なデータを想定している。例えば、付加情報Ｆは、インテグラル画像データＧの種類を示す情報、撮影時期、撮影場所、撮影者等を示すメタデータや、種々の装置を動作させるためのトリガーとして予め決められたコマンドであってもよい。

付加情報挿入部２２は、入力されたインテグラル画像データＧの要素画像外の領域に属する画素の位置Ｉ（図３のドット模様で表された画素）に付加情報Ｆを挿入する。付加情報挿入部２２は、付加情報Ｆを複数の画素にまたがって挿入するようにしてもよい。
そして、付加情報挿入部２２は、付加情報Ｆが挿入された（付加情報が含まれた）インテグラル画像データＧ_Ｆ及び付加情報Ｆを挿入した画素の位置Ｉ_Ｆを付加情報符号化部２３に出力する。

（付加情報符号化部）
付加情報符号化部２３は、付加情報Ｆが挿入されたインテグラル画像データＧ_Ｆを符号化するものである。付加情報符号化部２３には、付加情報挿入部２２から、付加情報Ｆが挿入されたインテグラル画像データＧ_Ｆ及び付加情報Ｆを挿入した画素の位置Ｉ_Ｆが入力される。

付加情報符号化部２３は、公知の符号化方式を用いてインテグラル画像データＧ_Ｆを符号化する。符号化の方式は、例えば、付加情報挿入装置２０と付加情報抽出装置３０とをつなぐ回線（有線や無線を含む）のビットレートなどを考慮して決定するのがよい。これにより、インテグラル画像データＧ_Ｆの情報量を圧縮することができる。

例えば、付加情報符号化部２３は、リアルタイムでインテグラル画像データＧ_Ｆを符号化する場合に、ＭＰＥＧ−２を用いて情報量を１／３８〜１／１００程度に圧縮したり、ＭＰＥＧ−４ ＡＶＣ／Ｈ．２６４を用いて情報量を１／１００〜１／２００程度に圧縮する。なお、付加情報符号化部２３は、複数個で構成されることにより高い解像度のインテグラル画像データＧ_Ｆを回線のビットレートに合わせて圧縮することも可能である。

また、インテグラル画像データＧ_Ｆに含まれる付加情報Ｆが符号化前のデータと復号化後のデータとが完全に一致しなければならない場合（例えば、メタデータやコマンドであった場合）、付加情報符号化部２３は、少なくとも付加情報Ｆについては可逆圧縮の符号化方式を用いるようにする。その場合、例えば、付加情報符号化部２３は、インテグラル画像データＧ_Ｆを幾つかの領域に分割し、付加情報Ｆが含まれる領域を可逆圧縮の符号化方式を用い、それ以外の領域を非可逆圧縮の符号化方式を用いる。

そして、付加情報符号化部２３は、符号化されたインテグラル画像データＧ_ＦＣを付加情報抽出装置３０の付加情報復号化部３１に出力する。また、付加情報符号化部２３は、付加情報Ｆを挿入した画素の位置Ｉ_Ｆをインテグラル画像データＧ_ＦＣのサイド情報として付加情報抽出装置３０の付加情報復号化部３１に出力する。

＜付加情報抽出装置＞
付加情報抽出装置３０は、インテグラル画像データＧから付加情報Ｆを抽出するものである。付加情報抽出装置３０は、付加情報復号化部３１と、付加情報抽出部３２と、を備えている。付加情報復号化部３１、及び付加情報抽出部３２は、ＣＰＵ（Central Processing Unit）が図示しないＲＯＭ等に格納されたプログラムをＲＡＭ（Random Access Memory）に展開することにより実現するプログラム実行処理や、専用回路等により実現される。これらの機能がプログラム実行処理により実現される場合、「○○部」を「○○手段」と呼ぶ場合がある。

（付加情報復号化部）
付加情報復号化部３１は、付加情報Ｆが挿入されたインテグラル画像データＧ_Ｆを復号化するものである。付加情報復号化部３１には、付加情報挿入装置２０の付加情報符号化部２３から符号化されたインテグラル画像データＧ_ＦＣが入力される。また、付加情報復号化部３１には、付加情報符号化部２３から、付加情報Ｆが挿入された画素の位置Ｉ_Ｆが入力される。

付加情報復号化部３１は、付加情報符号化部２３が用いた符号化に対応する復号化方式を用いて、符号化されたインテグラル画像データＧ_ＦＣを復号化する。復号化方式は、公知のものを用いることができる。そして、付加情報復号化部３１は、復号化したインテグラル画像データＧ_Ｆ及び付加情報Ｆが挿入された画素の位置Ｉ_Ｆを付加情報抽出部３２に出力する。

（付加情報抽出部）
付加情報抽出部３２は、インテグラル画像データＧの特定の場所から、付加情報Ｆを抽出するものである。付加情報抽出部３２には、付加情報復号化部３１から復号化されたインテグラル画像データＧ_Ｆ及び付加情報Ｆが挿入された画素の位置Ｉ_Ｆが入力される。

付加情報抽出部３２は、入力されたインテグラル画像データＧ_Ｆの位置Ｉ_Ｆから付加情報Ｆを抽出する。そして、付加情報抽出部３２は、付加情報Ｆを抽出した後のインテグラル画像データＧ_Ｆを表示装置４０に出力する。また、付加情報抽出部３２は、抽出した付加情報Ｆを付加情報実行装置５０に出力する。

＜表示装置＞
表示装置４０は、レンズアレイ４１及び高解像度（例えば、４Ｋ解像度、８Ｋ解像度）の表示パネル４２を有するＩＰ方式用の公知のディスプレイである。レンズアレイ４１の仕様は、撮影装置１０が有するレンズアレイ１１と同様である。

表示装置４０には、付加情報抽出部３２からインテグラル画像データＧ_Ｆが入力される。表示装置４０は、表示パネル４２に入力されたインテグラル画像データＧ_Ｆを表示する。図４に、俵積み配列のレンズアレイ４１を用いる表示パネル４２にインテグラル画像データＧ_Ｆが表示された状態を例示する。図４では、要素レンズの形状に対応してそれぞれが円形であり、被写体の立体画像の表示に必要な複数の要素画像が表示されると共に、被写体の立体画像の表示には必要のない領域（黒色の領域）が要素画像間に表示されている。本実施形態に係る付加情報Ｆは、後者の黒色の領域に挿入されていた。

そして、観察者は、レンズアレイ４１を通して表示パネル４２を観察することにより、撮影側の被写体空間と同じような光線が観察者の目前で再現される。観察者は、視点を移動させても移動後の視点位置に応じた被写体の立体画像を観察することができる。

＜付加情報実行装置＞
付加情報実行装置５０は、付加情報Ｆの種類や内容に基づいた種々の処理を実行するものである。付加情報実行装置５０には、付加情報抽出部３２から付加情報Ｆが入力される。ここで、付加情報Ｆは、データの種類や内容が限定されるものではなく広範なデータを想定している。その為、付加情報実行装置５０は、入力される付加情報Ｆを実行可能であればよく、その構成は特に限定されるものではない。例えば、付加情報Ｆが音響、照明等を制御するコマンドである場合に、付加情報実行装置５０は、音響装置や照明装置であってよい。また、付加情報Ｆが画像ファイルである場合に、付加情報実行装置５０は、表示装置であってよい。また、付加情報Ｆがメタデータである場合に、付加情報実行装置５０は、例えば、ＰＣ（Personal Computer）、ＰＤＦ（Personal Digital Assistant）、多機能携帯電話機であってよい。なお、付加情報実行装置５０は、表示装置４０や付加情報抽出装置３０の一部として構成されてもよい。

以上のように、本実施形態に係る付加情報挿入装置２０は、インテグラル画像データＧの中で要素画像外の領域に属する画素を特定し、特定した画素に付加情報を挿入する。その為、本実施形態に係る付加情報挿入装置２０は、インテグラル画像データＧの中の被写体の立体画像の表示には必要のない領域を有効に活用することができる。

また、本実施形態に係る付加情報抽出装置３０は、インテグラル画像データＧの中で要素画像外の領域に属する画素から付加情報を抽出する。その為、本実施形態に係る付加情報抽出装置３０は、インテグラル画像データＧの中の被写体の立体画像の表示には必要のない領域を有効に活用することができる。

［変形例］
以上、本発明の実施形態について説明したが、本発明はこれに限定されるものではなく、特許請求の範囲の趣旨を変えない範囲で実施することができる。

実施形態に係る付加情報挿入装置２０は、撮影装置１０とは別個の構成にしていたが、撮影装置１０の一部として構成されてもよい。
また、実施形態に係る付加情報抽出装置３０は、表示装置４０とは別個の構成にしていたが、表示装置４０の一部として構成されてもよい。

付加情報挿入部２２は、付加情報Ｆを挿入した画素の位置Ｉ_Ｆをインテグラル画像データＧ_Ｆのある決められた画素（例えば、）に挿入して、インテグラル画像データＧ_Ｆに含めるようにしてもよい。この場合、付加情報抽出部３２は、最初にこの決められた画素の位置を参照し、付加情報Ｆを挿入した画素の位置Ｉ_Ｆを取得してから、位置Ｉ_Ｆに従って付加情報Ｆを抽出する。

また、付加情報抽出部３２には、付加情報挿入装置２０の付加情報挿入部２２から付加情報Ｆを挿入した画素の位置Ｉ_Ｆが入力されずに、付加情報抽出部３２がすべての要素画像外の領域に属する画素の位置を参照して、付加情報Ｆを抽出するようにしてもよい。

また、付加情報抽出部３２は、付加情報Ｆを抽出した後、付加情報Ｆが挿入されていた部分に特定の色の情報を挿入するようにしてもよい。これにより、表示装置４０で付加情報Ｆを抽出した後のインテグラル画像データＧを表示する場合に、付加情報Ｆが挿入されていた画素で想定外のエラーが発生することを防止することできる。

また、実施形態に係る付加情報挿入画素特定部２１は、要素画像外の領域に属する画素の位置を情報として管理していたが、要素画像外の領域に属する画素の位置を計算により算出するようにしてもよい。具体的には、付加情報挿入画素特定部２１は、要素画像の中心画素位置からみたある画素の相対的な位置が、要素画像の半径（要素レンズの半径）Ｒよりも遠くに位置するときには、要素画像外の領域に属する画素であると特定する。

レンズアレイ４１の配列方法が俵積み配列の場合を想定すると、前記した計算には、例えば以下の式１、式２、及び式３を用いることができる。式１は要素画像の中心画素位置を算出するものであり、式２は要素画像の中心画素位置からみた相対位置での画素位置であり、式３はある画素の中心画素位置からみた相対的な距離が要素レンズ半径よりも遠くに位置するか否かを判定するためのものである。

ここで、（ｉ，ｊ）_ｍ，ｎは、要素画像（ｍ，ｎ）の中心画素位置を示す。ｍ（正の整数）は要素画像の行を識別するための番号であり、ｎ（正の整数）は要素画像の列を識別するための番号である。また、ｉ（自然数）は表示パネル４２の水平方向の画素位置を示し、ｊ（自然数）は表示パネル４２の垂直方向の画素位置を示す。また、Ｍ（自然数）は水平方向及び垂直方向に対する最大画素数である。

ここで、（ｕ，ｖ）は、要素画像（ｍ，ｎ）の中心画素からみた相対位置を示す。また、（ｍ％２）は、ｍを２で割った時の余りを示す。また、（ｉ´，ｊ´）は、要素画像（ｍ，ｎ）の中心画素から相対位置（ｕ，ｖ）での画素位置を示す。

ここで、Ｒは要素画像の半径（要素レンズの半径）である。

なお、ＩＰ方式においては、撮影装置１０が有するレンズアレイ１１の仕様と表示装置４０の仕様とを対応させ、また、撮影装置１０が有する撮像部１２の仕様と表示パネル４２の仕様とを対応させる。その為、実施形態では付加情報挿入画素特定部２１が、インテグラル画像データＧが表示装置４０により表示される場合における要素画像外に属する画素の位置を特定していたが、撮影装置１０が有するレンズアレイ１１の仕様に従い並んだ各々の要素レンズＬにより光学像（要素画像）が投影されない領域に属する画素センサが検出した色情報をインテグラル画像データＧから特定するようにしてもよい。以下、詳細に説明する。

図１に示す撮影装置１０の撮像部１２は、前記した通り、解像度に対応した複数の画素センサ（撮像素子）を備えて構成される。そして、撮像部１２は、レンズアレイ１１の仕様に従い並んだ各々の要素レンズＬにより結像した光学像（要素画像）で構成されるインテグラル画像が表面に投影される。図５に撮像部１２の表面にインテグラル画像が投影された状態を示す。

図５では、要素レンズＬにより結像した光学像（要素画像）が投影された領域（ドットない領域）を符号１２ａで示し、光学像（要素画像）が投影されない領域（ドット模様の領域）を符号１２ｂで示している。なお、破線の升目は、各々の画素センサ（撮像素子）が要素レンズＬにより結像した光学像（要素画像）を検出する領域を示している。そして、撮像部１２は、表面に投影されたインテグラル画像を撮像し、撮像したインテグラル画像の色情報をインテグラル画像データＧとして付加情報挿入装置２０に出力する。

続いて、図６にインテグラル画像データＧのイメージ図を示す。図６に示す升目は、各々の画素センサが検出した色情報に対応する。
ドットなし（白色）の升目は、要素レンズＬにより結像した光学像（要素画像）を示す色情報である。つまり、図５で光学像（要素画像）が投影された領域１２ａに属する画素センサが検出した色情報がドットなしの升目で表されている。このドットなしの升目（要素画像を示す情報）は、表示装置４０側で立体画像を表示するのに必要な情報である。

一方、ドット模様の升目は、光学像外（要素画像外）を示す色情報である。つまり、図５で光学像（要素画像）が投影されない領域１２ｂに属する画素センサが検出した色情報がドット模様の升目で表されている。このドット模様の升目は、表示装置４０側で立体画像を表示するのに不要な領域である。

そして、図６のインテグラル画像データＧの概略イメージは、インテグラル画像データＧが表示装置４０により表示される状態を示す図３に対応する。その為、実施形態では付加情報挿入画素特定部２１が、インテグラル画像データＧが表示装置４０により表示される場合における要素画像外に属する画素の位置を特定していたが、撮影装置１０が有するレンズアレイ１１の仕様に従い並んだ各々の要素レンズＬにより光学像（要素画像）が投影されない領域に属する画素センサが検出した色情報をインテグラル画像データＧから特定するようにしてもよい。

このように、本発明の一態様による付加情報挿入装置は、レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データに、立体画像の表示に関連するサービスに用いる付加情報を挿入する付加情報挿入装置であって、付加情報挿入部を備える構成とした。この付加情報挿入装置は、付加情報挿入画素特定部が、要素画像外の領域に属する画素の情報が格納される位置に前記付加情報を挿入する。

ここで、インテグラル画像データは、前記レンズアレイの仕様（要素レンズの形状、要素レンズの配列方法等）に対応する要素画像の領域に属する画素の情報と、要素画像外の領域に属する画素の情報とを含んで構成される。

また、本発明の一態様による付加情報挿入プログラムは、レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データに、立体画像の表示に関連するサービスに用いる付加情報を挿入する付加情報挿入装置としてコンピュータを機能させる付加情報挿入プログラムであって、前記コンピュータを、付加情報挿入手段として機能させる。

この付加情報挿入プログラムは、付加情報挿入手段として機能するコンピュータが、要素画像外の領域に属する画素の情報が格納される位置に付加情報を挿入する。

本発明の一態様によれば、被写体の立体画像の表示に不要な要素画像外の領域に属する画素の情報が格納される位置に付加情報を挿入するので、この領域（非表示領域）を有効に活用することができる。その為、観察者に対して、被写体の立体画像の表示に関連するサービスを新たな領域を確保することなく提供することができる。

また、本発明の一態様による付加情報挿入装置は、付加情報挿入画素特定部をさらに備える構成とした。この付加情報挿入装置は、付加情報挿入画素特定部が要素画像の中心画素位置からレンズアレイを構成する要素レンズの半径の距離より遠くにある画素を要素画像外の領域に属する画素であると特定する。そして、この付加情報挿入装置は、付加情報挿入部が、付加情報挿入画素特定部が特定した画素の情報が格納される位置に付加情報を挿入する。

本発明の一態様によれば、レンズアレイを構成する要素レンズの半径から要素画像外の領域に属する画素を特定するので、立体画像の表示に不要な要素画像外の領域に属する画素を容易に算出することができる。

また、本発明の一態様による付加情報挿入装置は、付加情報符号化部をさらに備える構成とした。そして、この付加情報挿入装置は、付加情報符号化部が、復号化時に情報の欠落がない可逆な方式を用いて、インテグラル画像データの付加情報が挿入された場所を少なくとも符号化する。

本発明の一態様によれば、復号化時に情報の欠落がない可逆な方式を用いて付加情報を符号化するので、ビットレートなどを考慮してインテグラル画像データを符号化しなければならない場合に、情報の欠落が許されない情報を付加情報として挿入することができる。

また、本発明の一態様による付加情報抽出装置は、レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データから、立体画像の表示に関連するサービスに用いる付加情報を抽出する付加情報抽出装置であって、付加情報抽出部を備える構成とした。この付加情報抽出装置は、要素画像外の領域に属する画素の情報が格納された位置から前記付加情報を抽出する。

また、本発明の一態様による付加情報抽出プログラムは、レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データから、立体画像の表示に関連するサービスに用いる付加情報を抽出する付加情報抽出装置としてコンピュータを機能させる付加情報抽出プログラムであって、前記コンピュータを、付加情報抽出手段として機能させる。

この付加情報抽出プログラムは、付加情報抽出手段として機能するコンピュータが、要素画像外の領域に属する画素の情報が格納された位置から付加情報を抽出する。

本発明の一態様によれば、立体画像の表示に不要な要素画像外の領域に属する画素の情報が格納された位置から付加情報を抽出するので、この領域（非表示領域）を有効に活用することができる。その為、観察者に対して、被写体の立体画像の表示に関連するサービスを新たな領域を確保することなく提供することができる。

１ 付加情報挿入抽出システム
１０ 撮影装置
１１ レンズアレイ
１２ 撮像部
２０ 付加情報挿入装置
２１ 付加情報挿入画素特定部
２２ 付加情報挿入部
２３ 付加情報符号化部
３０ 付加情報抽出装置
３１ 付加情報復号化部
３２ 付加情報抽出部
４０ 表示装置
４１ レンズアレイ
４２ 表示パネル
５０ 付加情報実行装置

Claims (6)

1. レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データに、立体画像の表示に関連するサービスに用いる付加情報を挿入する付加情報挿入装置であって、
   前記インテグラル画像データは、
   前記レンズアレイの仕様に対応する要素画像の領域に属する画素の情報と、要素画像外の領域に属する画素の情報とを含んで構成され、
   前記要素画像外の領域に属する画素の情報が格納される位置に、前記付加情報を挿入する付加情報挿入部、
   を備えることを特徴とする付加情報挿入装置。
2. 前記要素画像の中心画素位置から前記レンズアレイを構成する要素レンズの半径の距離より遠くにある画素を前記要素画像外の領域に属する画素であると特定する付加情報挿入画素特定部をさらに備え、
   前記付加情報挿入部は、前記付加情報挿入画素特定部が特定した画素の情報が格納される位置に前記付加情報を挿入する、
   ことを特徴とする請求項１に記載の付加情報挿入装置。
3. 復号化時に情報の欠落がない可逆な方式を用いて、前記インテグラル画像データの前記付加情報が挿入された場所を少なくとも符号化する付加情報符号化部をさらに備える、
   ことを特徴とする請求項１又は請求項２に記載の付加情報挿入装置。
4. レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データから、立体画像の表示に関連するサービスに用いる付加情報を抽出する付加情報抽出装置であって、
   前記インテグラル画像データは、
   前記レンズアレイの仕様に対応する要素画像の領域に属する画素の情報と、要素画像外の領域に属する画素の情報とを含んで構成され、
   前記要素画像外の領域に属する画素の情報が格納された位置から前記付加情報を抽出する付加情報抽出部、
   を備えることを特徴とする付加情報抽出装置。
5. レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データに、立体画像の表示に関連するサービスに用いる付加情報を挿入する付加情報挿入装置としてコンピュータを機能させる付加情報挿入プログラムであって、
   前記インテグラル画像データは、
   前記レンズアレイの仕様に対応する要素画像の領域に属する画素の情報と、要素画像外の領域に属する画素の情報とを含んで構成され、
   前記コンピュータを、
   前記要素画像外の領域に属する画素の情報が格納される位置に、前記付加情報を挿入する付加情報挿入手段、
   として機能させるための付加情報挿入プログラム。
6. レンズアレイを利用した立体画像の表示に用いるインテグラルフォトグラフィ方式のインテグラル画像データから、立体画像の表示に関連するサービスに用いる付加情報を抽出する付加情報抽出装置としてコンピュータを機能させる付加情報抽出プログラムであって、
   前記インテグラル画像データは、
   前記レンズアレイの仕様に対応する要素画像の領域に属する画素の情報と、要素画像外の領域に属する画素の情報とを含んで構成され、
   前記コンピュータを、
   前記要素画像外の領域に属する画素の情報が格納された位置から前記付加情報を抽出する付加情報抽出手段、
   として機能させるための付加情報抽出プログラム。