以下、図面を参照しながら、この発明の実施の形態について説明する。以下、記録装置、再生装置、編集装置の順に説明する。
A.記録装置
図1は、記録装置100の構成例を示している。この記録装置100は、制御部101と、ユーザ操作部102と、表示部103と、画像データ取り込み部104と、画像データ処理部105と、エンコーダ106と、ファイル生成部107と、ファイル書き込み部108とを有している。
制御部101は、記録装置100の各部の動作を制御する。ユーザ操作部102および表示部103は、ユーザインタフェースを構成しており、制御部101に接続されている。ユーザ操作部102は、記録装置100の図示しない筐体に配置されたキーまたはボタン、あるいは表示部103の表示面に配置されたタッチパネル等により構成されている。表示部103は、記録装置100の図示しない筐体に配置されたLCD(Liquid Crystal Display)等の表示素子により構成されている。
画像データ取り込み部104は、立体視用画像を表示するための、互いに異なる視点で被写体を撮像して得られた複数の画像データ、この実施の形態においては左右の視点で被写体を撮像して得られた左右の画像データを取り込む。
この画像データ取り込み部104は、例えば、カメラにより構成される。1台のカメラにより構成される場合、アダプタ(レンズスプリッタ、ミラーなど)を用いることで、左右の画像データを、合成された状態で一度の撮像で得ることが可能となる。また、1台のカメラにより構成される場合、当該一台のカメラを左右の視点に順次移動させて撮像を行うことで、左右の画像データを順次得ることが可能となる。また、2台のカメラにより構成される場合、当該2台のカメラを左右の視点に配置して撮像を行うことで、左右の画像データを同時に得ることができる。
また、画像データ取り込み部104は、例えば、画像データを入力する端子により構成される。当該端子には、他の装置で生成された左右の画像データが入力される。この左右の画像データには、カメラで撮像して得られた左右の画像データ、あるいはCG(Computer Graphics)により生成された左右の画像データ等も含まれる。
画像データ処理部105は、画像データ取り込み部104で取り込まれた左右の画像データを合成して合成画像データを生成する。この画像データ処理部105では、例えば、各ラインの左側に左側画像データが配置され、各ラインの右側に右側画像が配置されて、合成画像データが生成される。
エンコーダ106は、画像データ104で取り込まれた左右の画像データから選択された一方の画像データ(左右の画像データを代表する代表画像データである単一の画像データ)に対して、JPEGの圧縮符号化を施し、第1の圧縮符号化データを生成する。また、エンコーダ106は、画像データ処理部105で生成された合成画像データに対して、JPEGの圧縮符号化を施し、第2の圧縮符号化データを生成する。
ファイル生成部107は、エンコーダ106で生成された第1の圧縮符号化データを含む第1の画像ファイルを、DCF基本ファイルとして生成する。また、ファイル生成部107は、エンコーダ106で生成された第2の圧縮符号化データを含む第2の画像ファイルを、DCF拡張画像ファイルとして生成する。
ここで、図2を参照して、DCF基本ファイルとDCF拡張画像ファイルとの関係を説明する。DCF基本ファイルおよびDCF拡張画像ファイルは、同一のDCFディレクトリの下に存在する。なお、DCFディレクトリは、図示しないが、ルートディレクトリの下に存在するDCIMというディレクトリの下に存在している。
DCFファイル(DCF基本ファイル、DCF拡張画像ファイル等)のファイル名は、図3に示すように、「4個の文字+4桁の数字+拡張子」により構成される。4個の文字は、アルファベットの大文字、数字、アンダーバーを組み合わせた任意の文字列であり、自由文字という。4桁の数字は0001〜9999の番号であり、ファイル番号という。また、DCF基本ファイルの拡張子は「JPG」とされ、DCF拡張画像ファイルの拡張子は「JPG」、「THM」以外とされる。
同一DCFディレクトリ内にあり、同一ファイル番号を持つファイル群をDCFオブジェクトという。ファイル生成部107で生成される上述のDCF基本ファイルおよびDCF拡張画像ファイルは、DCFオブジェクトを構成するようにファイル名が付される。例えば、図2に示すように、DCF基本ファイル(第1の画像ファイル)のファイル名が「ABCD0001.JPG」であるとき、DCF拡張画像ファイル(第2の画像ファイル)のファイル名は「EFGH0001.XXX」のようにファイル番号が同一のものとされる。
図4は、DCF基本ファイルとDCF拡張画像ファイルの構成例を示している。DCF基本ファイル(第1の画像ファイル)は、SOI(Start Of Image)と、メタデータと、JPEG圧縮画像データ(第1の圧縮符号化データ)と、EOI(End Of Image)とからなっている。メタデータには、撮影条件等の画像情報、単一の画像データが左右の画像データのうちのいずれであるかを示す情報(代表した画像の情報)、およびDCF拡張画像ファイルのファイル名が含まれている。
また、DCF拡張画像ファイル(第2の画像ファイル)は、SOIと、メタデータと、JPEG圧縮画像データ(第2の圧縮符号化データ)と、EOIとからなっている。メタデータには、撮影条件等の画像情報、立体視情報、上述のDCF基本ファイルに含める単一の画像データとして、左右の画像データのうちのいずれが望まれるかを示す情報(代表して欲しい画像の情報)、およびDCF基本ファイルのファイル名が含まれている。
なお、上述したように、DCF拡張画像ファイルのメタデータに含まれる「代表して欲しい画像の情報」と、DCF基本ファイルのメタデータに含まれる「代表した画像の情報」とは、一致しないこともある。
上述したように、DCF基本ファイルのメタデータおよびDCF拡張画像ファイルのメタデータに単一の画像データが左右の画像データのうちのいずれであるかを示す代表画像情報が含まれているので、単一の画像データが左右の画像データのうちのいずれであるかを、メタデータから容易に把握可能となる。
また、上述したように、DCF基本ファイルのメタデータにDCF拡張画像ファイルのファイル名が含まれていると共に、DCF拡張画像ファイルのメタデータにDCF基本ファイルのファイル名が含まれているので、DCF基本ファイルのメタデータからDCF拡張画像ファイルのファイル名を容易に把握可能となり、同様に、DCF拡張画像ファイルのメタデータからDCF基本ファイルのファイル名を容易に把握可能となる。
図1に戻って、ファイル書き込み部108は、ファイル生成部107で生成された第1の画像ファイル(DCF基本ファイル)および第2の画像ファイル(DCF拡張画像ファイル)を、メモリカード109に、関連付けて書き込む。この場合、第1の画像ファイルおよび第2の画像ファイルは、メモリカード109の同一のDCFディレクトリ内に書き込まれる。メモリカード109は、記録媒体を構成している。
図1に示す記録装置100の動作を説明する。
画像データ取り込み部104では、左右の視点で被写体を撮像して得られた左右の画像データの取り込みが行われる。この画像データ取り込み部104で取り込まれた左右の画像データは画像データ処理部105に供給される。この画像データ処理部105では、左右の画像データが合成されて合成画像データが生成される。
画像データ取り込み部104で取り込まれた左右の画像データのうち一方の画像データは、当該左右の画像データを代表する代表画像データ(単一の画像データ)としてエンコーダ106に供給される。また、画像データ処理部105で生成された合成画像データは、エンコーダ106に供給される。このエンコーダ106では、単一の画像データに対して、JPEGの圧縮符号化が施され、第1の圧縮符号化データが生成される。また、このエンコーダ106では、合成画像データに対して、JPEGの圧縮符号化が施され、第2の圧縮符号化データが生成される。
エンコーダ106で生成された第1の圧縮符号化データおよび第2の圧縮符号化データはファイル生成部107に供給される。ファイル生成部107では、第1の圧縮符号化データ(JPEG圧縮画像データ)を含む第1の画像ファイルが、DCF基本ファイルとして生成される。この場合、図4に示すように、第1の圧縮符号化データに、画像情報、代表した画像の情報、DCF拡張画像ファイルのファイル名等を含むメタデータが付加され、さらに前後にSOI,EOIが付加されることで、DCF基本ファイル(第1の画像ファイル)が生成される。
また、ファイル生成部107では、第2の圧縮符号化データ(JPEG圧縮画像データ)を含む第2の画像ファイルが、DCF拡張画像ファイルとして生成される。この場合、図4に示すように、第2の圧縮符号化データに、画像情報、立体視情報、代表して欲しい画像の情報、DCF基本ファイルのファイル名等を含むメタデータが付加され、さらに前後にSOI,EOIが付加されることで、DCF拡張画像ファイル(第2の画像ファイル)が生成される。
ファイル生成部107で生成される第1の画像ファイル(DCF基本ファイル)および第2の画像ファイル(DCF拡張画像ファイル)は、ファイル書き込み部108に供給される。ファイル書き込み部108では、ファイル生成部107で生成された第1の画像ファイルおよび第2の画像ファイルが、メモリカード109に関連付けされて、書き込まれる。この場合、第1の画像ファイルおよび第2の画像ファイルは、メモリカード109の同一のDCFディレクトリ内に書き込まれる。
上述したように、図1に示す記録装置100においては、左右の画像データを含む第2の画像ファイル(DCF拡張画像ファイル)の他に、単一の画像データを含む第1の画像ファイル(DCF基本ファイル)が記録されている。そのため、立体視用画像の表示が可能な再生装置にあっては、第2の画像ファイルを用いて、立体視用画像の表示を良好に行うことができ、一方、立体視用画像の表示が不可能な再生装置にあっては、第1の画像ファイルを用いて、良好な画像表示が可能となる。
また、図1に示す記録装置100においては、第1の画像ファイル(DCF基本ファイル)に含まれる単一の画像データは、第2の画像ファイル(DCF拡張画像ファイル)に含まれる左右の画像データから選択された一方の画像データである。そのため、画像データ取り込み部104では、左右の画像データだけを取り込めばよく、単一の画像データ専用の画像データの取り込みは不要となる。
なお、図1に示す記録装置100においては、ファイル生成部107では、第1の画像ファイルがDCF基本ファイルとして生成され、第2の画像ファイルがDCF拡張画像ファイルとして生成されるものを示したが、第1の画像ファイルおよび第2の画像ファイルのうち、いずれをDCF基本ファイルとし、いずれをDCF拡張画像ファイルとするかを、ユーザが選択可能に構成することもできる。この場合、ユーザは、ユーザ操作部102により選択操作を行う。
第2の画像ファイルをDCF基本ファイルとし、第1の画像ファイルをDCF拡張画像ファイルとする旨の選択がされた場合、ファイル生成部107では、上述の動作とは逆に、第1の画像ファイルがDCF拡張画像ファイルとして生成され、第2の画像ファイルがDCF基本ファイルとして生成される。この場合、例えば、立体視画像の表示が可能で、最初にDCF基本ファイルが再生される再生装置にあっては、左右の画像データが含まれる第2の画像ファイルが最初に再生されることとなり、立体視画像の表示が迅速に行われるようになる。
図5のフローチャートは、図1の記録装置100の制御部101における記録制御の一例を示している。
制御部101は、ステップST1において、記録制御を開始し、その後に、ステップST2に移る。そして、制御部101は、ステップST2において、画像データ取り込み部104により、左画像データの取り込みを行う。その後、制御部101は、ステップST3において、画像データ取り込み部104により、右画像データの取り込みを行う。
次に、制御部101は、ステップST4において、画像データ処理部105により、左右の画像データを合成した合成画像データを生成する。その後、制御部101は、ステップST5において、エンコーダ106により、ステップST4で生成した合成画像データに対してJPEGの圧縮符号化を行い、第2の圧縮符号化データ(JPEG圧縮画像データ)を生成する。
次に、制御部101は、ステップST6において、ステップST5で生成した第2の圧縮符号化データを含む第2の画像ファイルを、DCF拡張画像ファイル(拡張子は「XXX」)、あるいはDCF基本ファイル(拡張子は「JPG」)として生成する。そして、制御部101は、ステップST7において、ファイル書き込み部108により、ステップST6で生成した第2の画像ファイルを、メモリカード109内の所定のDCFディレクトリに書き込む。
次に、制御部101は、ステップST8において、エンコーダ106により、ステップST2で取り込んだ左画像データ、あるいはステップST3で取り込んだ右画像データに対してJPEGの圧縮符号化を行い、第1の圧縮符号化データ(JPEG圧縮画像データ)を生成する。
次に、制御部101は、ステップST9において、ステップST8で生成した第1の圧縮符号化データを含む第1の画像ファイルを、DCF基本ファイル(拡張子は「JPG」)、あるいはDCF拡張画像ファイル(拡張子は「XXX」)として生成する。そして、制御部101は、ステップST10において、ファイル書き込み部108により、ステップST9で生成した第1の画像ファイルを、メモリカード109内の、上述した所定のDCFディレクトリに書き込む。
制御部101は、ステップST10の処理の後、ステップST11において、記録制御を終了する。
B.再生装置
図6は、再生装置200の構成例を示している。この再生装置200は、制御部201と、ユーザ操作部202と、表示部203と、ファイル読み出し部204と、ファイル分解部206と、デコーダ207と、画像データ処理部208と、ディスプレイ209とを有している。
制御部201は、再生装置200の各部の動作を制御する。ユーザ操作部202および表示部203は、ユーザインタフェースを構成しており、制御部201に接続されている。ユーザ操作部202は、再生装置200の図示しない筐体に配置されたキーまたはボタン、あるいは表示部203の表示面に配置されたタッチパネル等により構成されている。表示部203は、再生装置200の図示しない筐体に配置されたLCD等の表示素子により構成されている。
メモリカード205は、記録媒体を構成している。このメモリカード205は、上述した記録装置100におけるメモリカード109に対応したものである。このメモリカード205には、単一の画像データを含む第1の画像ファイルと、左右の画像データを含む第2の画像ファイルとが、関連付けされて記録されている。例えば、第1の画像ファイルはDCF基本ファイルあるいはDCF拡張画像ファイルであり、これに対して第2の画像ファイルはDCF拡張画像ファイルあるいはDCF基本ファイルであり、これら第1の画像ファイルおよび第2の画像ファイルは、DCFオブジェクトを構成した状態で、メモリカード205に記録されている。
ファイル読み出し部204は、メモリカード205が装着されるとき、当該メモリカード205からファイル管理情報を読み出し、制御部201に供給する。制御部201は、当該管理情報に基づいて、メモリカード205に記録されているファイルのファイル名を表示する表示信号を表示部203に供給し、当該表示部203にファイル名を表示させる。ユーザは、ユーザ操作部202により、表示部203に表示されているファイル名を参照して、再生すべきDCFオブジェクトを選択できる。
ファイル読み出し部204は、上述のようにユーザが選択したDCFオブジェクトに係るDCFファイルを読み出す。ファイル読み出し部204は、再生制御に応じて、第1の画像ファイルおよび第2の画像ファイルいずれか、あるいは双方を読み出す。なお、上述したように、第1の画像ファイルがDCF基本ファイルで第2の画像ファイルがDCF拡張画像ファイルである場合と、その逆の場合とがある。再生制御の詳細については、後述する。
ファイル分解部206は、ファイル読み出し部204で読み出されたDCFファイル(DCF基本ファイル、DCF拡張画像ファイル)を分解し、メタデータを制御部201に供給し、JPEG圧縮画像データを、必要に応じて、デコーダ207に供給する。デコーダ207は、ファイル分解部206から供給されるJPEG圧縮画像データに対して復号化を行って、画像データを得る。ここで、JPEG圧縮画像データが第1の画像ファイルに含まれる第1の圧縮符号化データである場合、デコーダ207では、単一の画像データが得られる。一方、JPEG圧縮画像データが第2の画像ファイルに含まれる第2の圧縮符号化データである場合、デコーダ207では、合成画像データ、従って左右の画像データが得られる。
画像データ処理部208は、デコーダ207で得られる画像データが左右の画像データである場合、当該左右の画像データの画素の並べ替え等の処理、つまり立体視用画像を表示するための画像データを得る処理を行う。ディスプレイ209は、例えば、LCD、PDP等により構成されるフラットパネルディスプレイである。このディスプレイ209は、デコーダ部207で得られる単一の画像データによる画像、あるいは、画像データ処理部208で得られる画像データによる立体視用画像を表示する。
図6に示す再生装置200の動作を説明する。
ファイル読み出し部204では、ユーザが選択したDCFオブジェクトに係るDCFファイル(DCF基本ファイル、DCF拡張画像ファイル)の読み出しが行われる。この場合、ファイル読み出し部204では、再生制御に応じて、第1の画像ファイルおよび第2の画像ファイルのいずれかあるいは双方が読み出される。ここで、第1の画像ファイルには単一の画像データが含まれており、第2の画像ファイルには左右の画像データが含まれている。ファイル読み出し部204で読み出されたDCFファイルはファイル分解部206に供給される。
ファイル分解部206では、ファイル読み出し部204で読み出されたDCFファイルが分解され、メタデータおよびJPEG圧縮画像データが得られる。メタデータは制御部201に供給される。制御部201は、当該メタデータから、ファイル読み出し部204で読み出されたDCFファイルについての種々の情報を得ることができる。JPEG圧縮画像データは、必要に応じて、デコーダ207に供給される。すなわち、JPEG圧縮画像データが左右の画像データに係る第2の圧縮符号化データである場合には必ずデコーダ207に供給されるが、JPEG圧縮画像データが単一の画像データに係る第1の圧縮符号化データである場合、当該単一の画像データによる画像を表示する場合のみ、デコーダ207に供給される。
デコーダ207では、ファイル分解部206から供給されるJPEG圧縮画像データに対して復号化が行われ、画像データが得られる。ここで、JPEG圧縮画像データが第1の画像ファイルに含まれる第1の圧縮符号化データである場合、デコーダ207では、単一の画像データが得られる。一方、JPEG圧縮画像データが第2の画像ファイルに含まれる第2の圧縮符号化データである場合、デコーダ207では、合成画像データ、従って左右の画像データが得られる。
デコーダ207で得られる単一の画像データは、画像データ処理部208で処理されることなくディスプレイ209に供給される。そして、ディスプレイ209には、当該単一の画像データによる画像(静止画像)が表示される。また、デコーダ207で得られる左右の画像データは画像データ処理部208に供給される。画像データ処理部208では、左右の画像データの画素の並べ替え処理等が行われて、立体視用画像を表示するための画像データが得られる。この画像データはディスプレイ209に供給され、当該ディスプレイ209には、立体視用画像(静止画像)が表示される。
図7のフローチャートは、図6の再生装置200の制御部201における再生制御の一例を示している。なお、この再生制御例は、メモリカード205に、第1の画像ファイルがDCF基本ファイルとして記録されており、第2の画像ファイルがDCF拡張画像ファイルとして記録されている場合に適用される。
制御部201は、ステップST21において、再生制御を開始し、その後に、ステップST22に移る。そして、制御部201は、ステップST22において、画像データ読み出し部204により、メモリカード205からDCF基本ファイル(第1の画像ファイル)の読み出しを行う。
次に、制御部201は、ステップST23において、ファイル分解部206により、ステップST22で読み出したDCF基本ファイルを分解し、メタデータおよびJPEG圧縮画像データ(第1の圧縮符号化データ)を得る。また、制御部201は、ステップST23において、デコーダ207により、第1の圧縮符号化データを復号化(デコード)して、単一の画像データを得る。そして、制御部201は、ステップST24において、ディスプレイ209に、ステップST23で得られた単一の画像データによる画像(静止画像)を表示する。
次に、制御部201は、ステップST25において、メモリカード205に対応するDCF拡張画像ファイル(自機で立体表示再生可能)があるか否かを判定する。DCF拡張画像ファイルが存在する場合、上述の図4に示すように、DCF基本ファイルのメタデータに当該DCF拡張画像ファイルのファイル名等が含まれている。したがって、制御部201は、DCF基本ファイルのメタデータに基づいて、メモリカード205に対応するDCF拡張画像ファイルがあるか否かを判定できる。
制御部201は、DCF拡張画像ファイルがあると判定するとき、ステップST26において、ファイル読み出し部204により、メモリカード205からDCF拡張画像ファイルを読み出す。そして、制御部201は、ステップST27において、ファイル分解部206により、ステップST26で読み出したDCF拡張画像ファイルを分解し、メタデータおよびJPEG圧縮画像データ(第2の圧縮符号化データ)を得る。また、制御部201は、ステップST27において、デコーダ207により、第2の圧縮符号化データを復号化(デコード)して、左右の画像データを得る。
次に、制御部201は、ステップST28において、画像データ処理部208により、ステップST27で得られた左右の画像データを処理し、立体視用画像を表示するための画像データを得る。そして、制御部201は、ステップST29において、ディスプレイ209に、ステップST28で得られた画像データによる立体視用画像(静止画像)を表示する。このとき、ディスプレイ209における画像表示は、単一の画像データ(代表画像データ)による画像の表示から、左右の画像データによる立体視用画像の表示に変わる。
制御部201は、ステップST29の処理の後、ステップST30において、再生制御を終了する。なお、上述のステップST25でDCF拡張画像ファイルがないと判定するとき、制御部201は、直ちに、ステップST30に移り、再生制御を終了する。
なお、図7のフローチャートに示す再生制御例では、単一の画像データ(代表画像データ)による画像の表示から、左右の画像データによる立体視用画像の表示に自動的に移行するものを示した。しかし、立体視用画像の表示モードのオンオフの設定をユーザが行えるものも考えられる。その場合、ステップST24で単一の画像データによる画像表示を行った後に、立体視用画像の表示モードがオンであるか否かを判定し、オンである場合のみステップST25に進み、オフである場合にはステップST30に進むように制御が行われるようにしてもよい。
図8のフローチャートは、図6の再生装置200の制御部201における再生制御の他の例を示している。なお、この再生制御例は、メモリカード205に、第1の画像ファイルがDCF基本ファイルとして記録されており、第2の画像ファイルがDCF拡張画像ファイルとして記録されている場合に適用される。
制御部201は、ステップST41において、再生制御を開始し、その後に、ステップST42に移る。そして、制御部201は、ステップST42において、画像データ読み出し部204により、メモリカード205からDCF基本ファイル(第1の画像ファイル)の読み出しを行う。
次に、制御部201は、ステップST43において、ファイル分解部206により、ステップST42で読み出したDCF基本ファイルを分解し、メタデータおよびJPEG圧縮画像データ(第1の圧縮符号化データ)を得る。そして、制御部201は、ステップST44において、ステップST43で得られたメタデータに基づいて、メモリカード205に対応するDCF拡張画像ファイル(自機で立体表示再生可能)があるか否かを判定する。
制御部201は、DCF拡張画像ファイルがあると判定するとき、ステップST45において、ファイル読み出し部204により、メモリカード205からDCF拡張画像ファイルを読み出す。そして、制御部201は、ステップST46において、ファイル分解部206により、ステップST45で読み出したDCF拡張画像ファイルを分解し、メタデータおよびJPEG圧縮画像データ(第2の圧縮符号化データ)を得る。また、制御部201は、ステップST46において、デコーダ207により、第2の圧縮符号化データを復号化(デコード)して、左右の画像データを得る。
次に、制御部201は、ステップST47において、画像データ処理部208により、ステップST46で得られた左右の画像データを処理し、立体視用画像を表示するための画像データを得る。そして、制御部201は、ステップST48において、ディスプレイ209に、ステップST47で得られた画像データによる立体視用画像(静止画像)を表示する。
制御部201は、ステップST48の処理の後、ステップST49において、再生制御を終了する。なお、上述のステップST44でDCF拡張画像ファイルがないと判定するとき、制御部201は、ステップST50において、デコーダ207により、ステップST43で得られた第1の圧縮符号化データを復号化(デコード)して、単一の画像データを得る。そして、制御部201は、ステップST51において、ディスプレイ209に、ステップST50で得られた単一の画像データによる画像(静止画像)を表示する。その後、制御部201は、ステップST49において、再生制御を終了する。
なお、図8のフローチャートに示す再生制御例では、DCF拡張画像データが存在する場合、左右の画像データによる立体視用画像の表示を自動的に行うものを示した。しかし、立体視用画像の表示モードのオンオフの設定をユーザが行えるものも考えられる。その場合、ステップST43の処理の後に、立体視用画像の表示モードがオンであるか否かを判定し、オンである場合のみステップST44に進み、オフである場合にはステップST50に進むように制御が行われるようにしてもよい。
図9のフローチャートは、図6の再生装置200の制御部201における再生制御のさらに他の例を示している。なお、この再生制御例は、メモリカード205に、第1の画像ファイルがDCF基本ファイルとして記録されており、第2の画像ファイルがDCF拡張画像ファイルとして記録されている場合に適用される。
制御部201は、ステップST61において、再生制御を開始し、その後に、ステップST62に移る。そして、制御部201は、ステップST62において、画像データ読み出し部204により、メモリカード205からDCF拡張画像ファイル(第2の画像ファイル)の読み出しを行う。
次に、制御部201は、ステップST63において、ファイル分解部206により、ステップST62で読み出したDCF拡張画像ファイルを分解し、メタデータおよびJPEG圧縮画像データ(第2の圧縮符号化データ)を得る。そして、制御部201は、ステップST64において、ステップST63で得られたメタデータに基づいて、ステップST62で読み出したDCF拡張画像ファイルが、左右の画像データを含む第2の画像ファイルであるか否かを確認する。
第2の画像ファイルであるとの確認がとれたとき、制御部201は、ステップST65において、デコーダ207により、ステップST63で得られた第2の圧縮符号化データを復号化(デコード)して、左右の画像データを得る。
次に、制御部201は、ステップST66において、画像データ処理部208により、ステップST65で得られた左右の画像データを処理し、立体視用画像を表示するための画像データを得る。そして、制御部201は、ステップST67において、ディスプレイ209に、ステップST66で得られた画像データによる立体視用画像(静止画像)を表示する。
制御部201は、ステップST67の処理の後、ステップST68において、再生制御を終了する。なお、上述のステップST64で第2の画像ファイルであるとの確認がとれないとき、直ちに、ステップST68に移り、再生制御を終了する。
図10のフローチャートは、立体視用画像の表示が不可能な再生装置の制御部における再生制御の一例を示している。なお、この再生制御例は、メモリカード205に、第1の画像ファイルがDCF基本ファイルとして記録されていることを前提としている。
制御部は、ステップST81において、再生制御を開始し、その後に、ステップST82に移る。そして、制御部は、ステップST82において、メモリカード205からDCF基本ファイル(第1の画像ファイル)の読み出しを行う。
次に、制御部は、ステップST83において、ステップST82で読み出したDCF基本ファイルを分解し、メタデータおよびJPEG圧縮画像データ(第1の圧縮符号化データ)を得る。また、制御部は、ステップST83において、第1の圧縮符号化データを復号化(デコード)して、単一の画像データを得る。そして、制御部は、ステップST84において、ディスプレイに、ステップST83で得られた単一の画像データによる画像(静止画像)を表示し、その後に、ステップST85において、再生制御を終了する。
このように、メモリカード205には、左右の画像データを含む第2の画像ファイルの他に、単一の画像データを含む第1の画像ファイルが記録されているので、立体視用画像の表示が可能な再生装置にあっては立体視用の画像を表示でき、一方、立体視用画像の表示が不可能な再生装置においても良好な画像表示を行うことができる。
図11のフローチャートは、図6の再生装置200の制御部201における再生制御の別の例を示している。なお、この再生制御例は、メモリカード205に、第1の画像ファイルがDCF基本ファイルで第2の画像ファイルがDCF拡張画像ファイルとして記録されている場合、あるいは第1の画像ファイルがDCF拡張画像ファイルで第2の画像ファイルがDCF基本ファイルとして記録されている場合のいずれにも適用される。
制御部201は、ステップST101において、再生制御を開始し、その後に、ステップST102に移る。そして、制御部201は、ステップST102において、画像データ読み出し部204により、メモリカード205からDCF基本ファイルの読み出しを行う。
次に、制御部201は、ステップST103において、ファイル分解部206により、ステップST102で読み出したDCF基本ファイルを分解し、メタデータおよびJPEG圧縮画像データを得る。そして、制御部201は、ステップST104において、ステップST103で得られたメタデータに基づいて、ステップST102で読み出したDCF基本ファイルが第1の画像ファイルであるか第2の画像ファイルであるかを判定する。上述したように、第1の画像ファイルには単一の画像データに係る第1の圧縮符号化データが含まれており、第2の画像ファイルには左右の画像データに係る第2の圧縮符号化データが含まれている。
制御部201は、第1の画像ファイルであると判定するとき、ステップST105において、デコーダ207により、ステップST103で得られたJPEG圧縮画像データ(第1の圧縮符号化データ)を復号化(デコード)して、単一の画像データを得る。そして、制御部201は、ステップST106において、ディスプレイ209に、ステップST105で得られた単一の画像データによる画像(静止画像)を表示する。
次に、制御部201は、ステップST107において、メモリカード205に対応するDCF拡張画像ファイルがあるか否かを判定する。DCF拡張画像ファイルが存在する場合、D上述の図4に示すように、CF基本ファイルのメタデータに当該DCF拡張画像ファイルのファイル名等が含まれている。したがって、制御部201は、DCF基本ファイルのメタデータに基づいて、メモリカード205に対応するDCF拡張画像ファイルがあるか否かを判定できる。
制御部201は、DCF拡張画像ファイルがあると判定するとき、ステップST108において、ファイル読み出し部204により、メモリカード205からDCF拡張画像ファイルを読み出す。そして、制御部201は、ステップST109において、ファイル分解部206により、ステップST108で読み出したDCF拡張画像ファイルを分解し、メタデータおよびJPEG圧縮画像データ(第2の圧縮符号化データ)を得る。
次に、制御部201は、ステップST110において、デコーダ207により、ステップST109で得られた第2の圧縮符号化データを復号化(デコード)して、左右の画像データを得る。そして、制御部201は、ステップST111において、画像データ処理部208により、ステップST110で得られた左右の画像データを処理し、立体視用画像を表示するための画像データを得る。
次に、制御部201は、ステップST112において、ディスプレイ209に、ステップST111で得られた画像データによる立体視用画像(静止画像)を表示する。そして、制御部201は、ステップST112の処理の後に、ステップST113において、再生制御を終了する。
なお、上述のステップST107でDCF拡張画像ファイルがないと判定するとき、制御部201は、直ちに、ステップST113に移り、再生制御を終了する。また、上述のステップST104で第2の画像ファイルであると判定するとき、制御部201は、直ちに、ステップST110に移り、以下、上述したように、第2の圧縮符号化データを復号化(デコード)して、左右の画像データを得、この左右の画像データを処理して立体視用画像を表示するための画像データを得、ディスプレイ209に立体視用画像(静止画像)を表示する。
上述したように、図6に示す再生装置200においては、メモリカード205から、第1、第2の画像ファイルまたは第2の画像ファイルを適宜読み出し、画像表示を行うことができる。
C.編集装置
図12は、編集装置300の構成例を示している。この編集装置300は、制御部301と、ユーザ操作部302と、表示部(ディスプレイ)303と、ファイル読み出し/書き込み部304と、ファイル分解/生成部305と、デコーダ/エンコーダ306と、画像データ処理部307とを有している。この編集装置300は、例えば、パーソナルコンピュータにより構成される。
制御部301は、編集装置300の各部の動作を制御する。ユーザ操作部302および表示部303は、ユーザインタフェースを構成しており、制御部301に接続されている。ユーザ操作部302は、編集装置300の図示しない筐体に配置されたキーまたはボタン、あるいは表示部303の表示面に配置されたタッチパネル等により構成されている。表示部303は、LCD、PDP等のフラットパネルディスプレイにより構成されている。
メモリカード308は、記録媒体を構成している。このメモリカード308は、上述した記録装置100におけるメモリカード109に対応したものである。このメモリカード308には、単一の画像データを含む第1の画像ファイルと、左右の画像データを含む第2の画像ファイルとが、関連付けされて記録されている。例えば、第1の画像ファイルはDCF基本ファイルあるいはDCF拡張画像ファイルであり、これに対して第2の画像ファイルはDCF拡張画像ファイルあるいはDCF基本ファイルであり、これら第1の画像ファイルおよび第2の画像ファイルは、DCFオブジェクトを構成した状態で、メモリカード308に記録されている。
ファイル読み出し/書き込み部304は、メモリカード308が装着されるとき、当該メモリカード308からファイル管理情報を読み出し、制御部301に供給する。制御部301は、当該管理情報に基づいて、メモリカード308に記録されているファイルのファイル名を表示する表示信号を表示部303に供給し、当該表示部303にファイル名を表示させる。ユーザは、ユーザ操作部302により、表示部303に表示されているファイル名を参照して、編集すべきDCFオブジェクトを選択できる。
ファイル読み出し/書き込み部304は、上述のようにユーザが選択したDCFオブジェクトに係るDCFファイルを読み出す。ファイル読み出し/書き込み部304は、編集制御に応じて、第1の画像ファイルおよび第2の画像ファイルのいずれかあるいは双方を読み出す。なお、上述したように、第1の画像ファイルがDCF基本ファイルで第2の画像ファイルがDCF拡張画像ファイルである場合と、その逆の場合とがある。
また、ファイル読み出し/書き込み部304は、ファイル分解/生成部305で生成された第1の画像ファイルおよび第2の画像ファイルを、メモリカード308に書き込む。この場合、当該第1の画像ファイルおよび第2の画像ファイルを、上述したようにメモリカード308から読み出される第1の画像ファイルおよび第2の画像ファイルと同じファイル名として上書きしてもよく、あるいは上述したようにメモリカード308から読み出される第1の画像ファイルおよび第2の画像ファイルとは異なるファイル名として別個のDCFオブジェクトとして書き込むようにしてもよい。
ファイル分解/生成部305は、ファイル読み出し/書き込み部304で読み出されたDCFファイル(DCF基本ファイル、DCF拡張画像ファイル)を分解し、メタデータおよびJPEG圧縮画像データを得る。また、ファイル分解/生成部305は、デコーダ/エンコーダ306で生成された単一の画像データに係る第1の圧縮符号化データを含む第1の画像ファイルを生成すると共に、デコーダ/エンコーダ306で生成された左右の画像データに係る第2の圧縮符号化データを含む第2の画像ファイルを生成する。
この場合、第1、第2の画像ファイルの種類(DCF基本ファイル、DCF拡張画像ファイル)は、上述したようにファイル読み出し/書き込み部304によってメモリカード308から読み出されるDCFファイルと同様の関係とされる。また、第1、第2の画像ファイルのファイル名は、上述したようにファイル読み出し/書き込み部304によりメモリカード308から読み出されるDCFファイルのファイル名と同じ(上書きの場合)、あるいは別(別個のDCFオブジェクトとして書き込む場合)とされる。
デコーダ/エンコーダ306は、ファイル分解/生成部305で得られたJPEG圧縮画像データ(左右の画像データに係る第2の圧縮符号化データ)に対して復号化(デコード)を行って、編集対象としての左右の画像データを得る。また、デコーダ/エンコーダ306は、画像データ処理部307で編集処理された左右の画像データから選択された一方の画像データ(左右の画像データを代表する代表画像データである単一の画像データ)に対して、JPEGの圧縮符号化を施し、第1の圧縮符号化データを生成する。また、デコーダ/エンコーダ306は、画像データ処理部307で編集処理された左右の画像データを合成して合成画像データを得、当該合成画像データに対してJPEGの圧縮符号化を施し、第2の圧縮符号化データを生成する。
画像データ処理部307は、デコーダ/エンコーダ306で得られた編集対象としての左右の画像データに対して編集処理を施し、編集処理後の左右の画像データをデコーダ/エンコーダ306に供給する。編集処理は、例えば、画像の一部を切り出す処理、画像の一部を拡大する処理、画像を縮小する処理、画像の明度、彩度、色相等を変更する処理などである。
図12に示す編集装置300の動作を説明する。
ファイル読み出し/書き込み部304では、ユーザが選択したDCFオブジェクトに係るDCFファイル(DCF基本ファイル、DCF拡張画像ファイル)の読み出しが行われる。この場合、ファイル読み出し/書き込み部304では、編集制御に応じて、第2の画像ファイルだけ、あるいは第1の画像ファイルおよび第2の画像ファイルの双方が読み出される。なお、上述したように、第1の画像ファイルがDCF基本ファイルで第2の画像ファイルがDCF拡張画像ファイルである場合と、その逆の場合とがある。ファイル読み出し/書き込み部304で読み出されたDCFファイルはファイル分解/生成部305に供給される。
ファイル分解/生成部305では、ファイル読み出し/書き込み部304で読み出されたDCFファイルが分解され、メタデータおよびJPEG圧縮画像データが得られる。メタデータは制御部301に供給される。制御部301は、当該メタデータから、ファイル読み出し/書き込み部304で読み出されたDCFファイルについての種々の情報を得ることができる。ファイル分解/生成部305で得られたJPEG圧縮画像データ(第2の圧縮符号化データ)はデコーダ/エンコーダ306に供給される。
デコーダ/エンコーダ306では、ファイル分解/生成部305から供給されるJPEG圧縮画像データに対して復号化(デコード)が行われ、編集対象としての左右の画像データが得られる。デコーダ/エンコーダ306で得られる左右の画像データは、画像データ処理部307に供給される。画像データ処理部307では、左右の画像データに対して、編集処理が行われる。この編集処理は、例えば、表示部(ディスプレイ)303に、左右の画像データのいずれか、あるいは双方を表示した状態で、ユーザ操作に応じて行われる。編集処理後の左右の画像データは、デコーダ/エンコーダ306に供給される。
デコーダ/エンコーダ306では、編集処理後の左右の画像データから選択された一方の画像データ(左右の画像データを代表する代表画像データである単一の画像データ)に対して、JPEGの圧縮符号化が施され、第1の圧縮符号化データを生成される。また、デコーダ/エンコーダ306では、編集処理後の左右の画像データに対して、JPEGの圧縮符号化が施され、第2の圧縮符号化データが生成される。デコーダ/エンコーダ306で生成された第1の圧縮符号化データおよび第2の圧縮符号化データはファイル分解/生成部305に供給される。
ファイル分解/生成部305では、第1の圧縮符号化データ(JPEG圧縮画像データ)を含む第1の画像ファイルおよび第2の圧縮符号化データ(JPEG圧縮画像データ)を含む第2の画像ファイルが生成される。この場合、第1、第2の画像ファイルの種類(DCF基本ファイル、DCF拡張画像ファイル)は、上述したようにファイル読み出し/書き込み部304によってメモリカード308から読み出されるDCFファイルと同様の関係とされる。また、第1、第2の画像ファイルのファイル名は、上述したようにファイル読み出し/書き込み部304によりメモリカード308から読み出されるDCFファイルのファイル名と同じ(上書きの場合)、あるいは別(別個のDCFオブジェクトとして書き込む場合)とされる。
ファイル分解/生成部305で生成される第1の画像ファイルおよび第2の画像ファイルは、ファイル読み出し/書き込み部304に供給される。ファイル読み出し/書き込み部304では、第1の画像ファイルおよび第2の画像ファイルが、メモリカード308に関連付けされて、書き込まれる。この場合、第1の画像ファイルおよび第2の画像ファイルは、メモリカード308の同一のDCFディレクトリ内に書き込まれる。
図13のフローチャートは、図12の編集装置300の制御部301における編集制御の一例を示している。なお、この編集制御例は、メモリカード308に、第1の画像ファイルがDCF基本ファイルで第2の画像ファイルがDCF拡張画像ファイルとして記録されている場合、あるいは第1の画像ファイルがDCF拡張画像ファイルで第2の画像ファイルがDCF基本ファイルとして記録されている場合のいずれにも適用される。
制御部301は、ステップST121において、編集制御を開始し、その後に、ステップST122に移る。そして、制御部301は、ステップST122において、画像データ読み出し/書き込み部304により、メモリカード308からDCF基本ファイルの読み出しを行う。また、制御部301は、ステップST122において、ファイル分解/生成部305により、読み出したDCF基本ファイルを分解し、メタデータおよびJPEG圧縮画像データを得る。
次に、制御部301は、ステップST123において、ステップST122で得られたメタデータに基づいて、ステップST122で読み出したDCF基本ファイルが第1の画像ファイルであるか第2の画像ファイルであるかを判定する。上述したように、第1の画像ファイルには単一の画像データに係る第1の圧縮符号化データが含まれており、第2の画像ファイルには左右の画像データに係る第2の圧縮符号化データが含まれている。
制御部301は、第1の画像ファイルであると判定するとき、ステップST124において、画像データ読み出し/書き込み部304により、メモリカード308からDCF拡張画像ファイルの読み出しを行う。また、制御部301は、ステップST124において、ファイル分解/生成部305により、読み出したDCF拡張画像ファイルを分解し、メタデータおよびJPEG圧縮画像データ(第2の圧縮符号化データ)を得る。制御部301は、ステップST124の処理の後に、ステップST125に移る。なお、制御部301は、ステップST123で第2の画像ファイルであると判定するときは、直ちに、ステップST125に移る。
制御部301は、ステップST125において、ステップST125で得られた第2の圧縮符号化データを復号化(デコード)して、編集対象としての左右の画像データを得る。そして、制御部301は、ステップST126において、左画像データおよび右画像データの編集を行う。この場合、左右の画像データの整合性がとれるように編集が行われる。
次に、制御部301は、ステップST127において、デコーダ/エンコーダ306により、ステップST126において編集された左右の画像データを合成した合成画像データを生成する。その後、制御部301は、ステップST128において、デコーダ/エンコーダ306により、合成画像データに対してJPEGの圧縮符号化を行い、第2の圧縮符号化データ(JPEG圧縮画像データ)を生成する。
次に、制御部301は、ステップST129において、ファイル分解/生成部305により、ステップST128で生成した第2の圧縮符号化データを含む第2の画像ファイルを、DCF拡張画像ファイル(拡張子は「XXX」)、あるいはDCF基本ファイル(拡張子は「JPG」)として生成する。そして、制御部301は、ステップST130において、ファイル読み出し/書き込み部304により、ステップST129で生成した第2の画像ファイルを、メモリカード308内の所定のDCFディレクトリに書き込む。
次に、制御部301は、ステップST131において、画像データ処理部307で編集処理された後の左右の画像データから選択された一方の画像データ(左右の画像データを代表する代表画像データである単一の画像データ)に対して、JPEGの圧縮符号化を行い、第1の圧縮符号化データ(JPEG圧縮画像データ)を生成する。そして、制御部301は、ステップST132において、ステップST131で生成した第1の圧縮符号化データを含む第1の画像ファイルを、DCF基本ファイル(拡張子は「JPG」)、あるいはDCF拡張画像ファイル(拡張子は「XXX」)として生成する。
次に、制御部301は、ステップST133において、ファイル読み出し/書き込み部304により、ステップST132で生成した第1の画像ファイルを、メモリカード308内の、上述した所定のDCFディレクトリに書き込む。
制御部301は、ステップST133の処理の後、ステップST154において、編集制御を終了する。
上述したように、図12に示す編集装置300においては、メモリカード308から第2の画像ファイルが読み出され、この第2の画像ファイルに含まれる左右の画像データに対して編集処理が施された後、編集処理後の左右の画像データが含まれた第2の画像ファイルが生成され、また、編集処理後の左右の画像データから選択された単一の画像データが含まれた第1の画像ファイルが生成され、これら第1、第2の画像ファイルがメモリカード308に書き込まれる。このように、図12に示す編集装置300においては、編集処理後の単一の画像データとして、編集処理後の左右の画像データから選択されたものを用いるものであり、編集処理後の第1の画像ファイルに含まれる単一の画像データと、第2の画像ファイルに含まれる左右の画像データとは整合性のとれたものとなる。
なお、上述実施の形態においては、互いに異なる視点で被写体を撮像して得られた複数の画像データとして、左右の視点で被写体を撮像して得られた左右の画像データを示したが、これに限定されるものではない。すなわち、互いに異なる視点で被写体を撮像して得られた複数の画像データとして、左右の視点で被写体を撮像して得られた左右の画像データの他に、さらに多くの視点で被写体を撮像して得られた画像データが含まれるようにしてもよい。また、上述実施の形態においては、左右の画像データのうち一方を選択して単一の画像データとしたものであるが、単一の画像データは、左右の画像データとは別個に得るようにしてもよい。
また、上述実施の形態においては、DCFオブジェクトとしてメモリカードに記載されたDCF基本ファイルおよびDCF拡張画像ファイルの消去、コピーについては説明していないが、これらDCF基本ファイルおよびDCF拡張画像ファイルは、一括して消去あるいはコピーされるように制御される。
また、上述実施の形態においては、単一の画像データを含む第1の画像ファイルおよび左右の画像データを含む第2の画像ファイルを、DCFファイル(DCF基本ファイル、DCF拡張画像ファイル)として、記録媒体に記録するものを示したが、記録形式は、これに限定されない。ただし、第1の画像ファイルと第2の画像ファイルとを関連づけて記録する必要がある。
100・・・記録装置、101・・・制御部、102・・・ユーザ操作部、103・・・表示部、104・・・画像データ取り込み部、105・・・画像データ処理部、106・・・エンコーダ、107・・・ファイル生成部、108・・・ファイル書き込み部、109・・・メモリカード、200・・・再生装置、201・・・制御部、202・・・ユーザ操作部、203・・・表示部、204・・・ファイル読み出し部、205・・・メモリカード、206・・・ファイル分解部、207・・・デコーダ、208・・・画像データ処理部、209・・・ディスプレイ、300・・・編集装置、301・・・制御部、302・・・ユーザ操作部、303・・・表示部(ディスプレイ)、304・・・ファイル読み出し/書き込み部、305・・・ファイル分解/生成部、306・・・デコーダ/エンコーダ、307・・・画像データ処理部