JPWO2013099571A1 - 視差調整装置、画像処理装置、フレームフォーマット - Google Patents

Abstract

撮像により得られた左眼用画像および右眼用画像の視差調整を行う視差調整部と、前記視差調整に関するメタデータを前記左眼用画像および右眼用画像を含む画像データと関連付けるデータ処理部と、を備える視差調整装置。
【選択図】図６

Description

本開示は、視差調整装置、画像処理装置、フレームフォーマットに関する。

近日、左目用画像（Ｌ画像）および右目用画像（Ｒ画像）を表示することによりユーザに立体視画像を知覚させることが可能な３Ｄ表示装置が流通している。このような３Ｄ表示装置により表示された立体視画像では、実世界と輻輳角が同じであっても焦点距離が異なること、また、表示時と撮像記録時の基線長や輻輳角が異なることなどが視覚疲労の要因となる。特に、画像内の一部分が過度に飛び出している場合や、動画表示中に不用意に対象物が飛び出したときのように視差の変化が大きい場合にはユーザの負担が重くなる。

このような観点から、快適な３Ｄ表示を行うための技術が研究されている。例えば、特許文献１には、Ｌ画像および／またはＲ画像を水平方向にシフトさせることにより、Ｌ画像およびＲ画像の視差調整を行う視差変換装置が開示されている。具体的には、対象物の知覚位置がスクリーンの手前側である場合、Ｒ画像を右に、Ｌ画像を左にシフトさせることにより、対象物の知覚位置をスクリーンに近づけることができる。すなわち、飛び出し感を抑えることができる。同様に、対象物の知覚位置がスクリーンの奥側である場合、Ｒ画像を左に、Ｌ画像を右にシフトさせることにより、対象物の知覚位置をスクリーンに近づけることができる。すなわち、飛び出し感を強調する事ができる。

上記のような３Ｄ表示のための記録においては、通常、Ｌ画像およびＲ画像のみが記録され、２Ｄ表示用の専用の２Ｄ画像が記録されることはほとんどない。このため、２Ｄ表示装置は、３Ｄ表示のために記録された画像から２Ｄ表示を行うために、Ｌ画像またはＲ画像を表示することが一般的である。

特開２０１１−５５０２２号公報

しかし、上述した視差調整は幾つかの弊害を伴う。例えば、視差調整におけるシフト量は時間軸方向で異なるので、Ｌ画像またはＲ画像のみを２Ｄ表示装置で表示すると、静止しているはずの被写体が左右に揺れて（移動して）見え、ユーザにとって不快な２Ｄ画像となってしまう。

また、視差調整済みの画像を、視差調整機能を有する３Ｄ表示装置で２重に視差調整を行うと、特に１度目と２度目の視差調整アルゴリズムが異なる場合、予期しない画像または不適切な３Ｄ画像になるなど、画像が破綻してしまうことが懸念される。また、視差調整前のＬ画像またはＲ画像の水平中心位置や、視差調整前のＬ画像とＲ画像の位置関係が分からないと、画像処理を適切に行うことが困難である場合も生じ得る。

そこで、本開示では、左眼用画像および右眼用画像の視差調整による弊害を解消するための、新規かつ改良された視差調整装置、画像処理装置、フレームフォーマットを提案する。

本開示によれば、撮像により得られた左眼用画像および右眼用画像の視差調整を行う視差調整部と、前記視差調整に関するメタデータを前記左眼用画像および右眼用画像を含む画像データと関連付けるデータ処理部と、を備える視差調整装置が提供される。

また、本開示によれば、左眼用画像および右眼用画像を含む画像データ、および、前記画像データと関連付けられた、前記左眼用画像および前記右眼用画像に対する視差調整に関するメタデータを取得するデータ取得部と、前記メタデータに基づいて前記左眼用画像または前記右眼用画像の一領域を抽出する画像抽出部と、を備える画像処理装置が提供される。

また、本開示によれば、撮像により得られた左眼用画像および右眼用画像に対する視差調整に関するメタデータ、および、前記左眼用画像および右眼用画像を含む画像データからなる、データフォーマットが提供される。

以上説明したように本開示によれば、左眼用画像および右眼用画像の視差調整による弊害を解消することが可能である。

本開示の実施形態による画像処理システムの構成を示した説明図である。 ３Ｄ表示の原理を示した説明図である。 快適エリアを示した説明図である。 快適エリアを示した説明図である。 ＬＲ画像の均等シフトの概要を示した説明図である。 視差調整が施されたＬ画像またはＲ画像に基づく２Ｄ表示の具体例を示した説明図である。 本開示の実施形態による撮像装置の構成を示した機能ブロック図である。 視差調整メタデータの構成例を示した説明図である。 視差調整メタデータの構成例を示した説明図である。 視差調整メタデータの構成例を示した説明図である。 視差調整メタデータの変形例を示した説明図である。 本開示の実施形態による撮像装置の動作を示したフローチャートである。 本開示の実施形態による再生装置の構成を示した機能ブロック図である。 本開示の実施形態による表示装置の構成を示した機能ブロック図である。 ２Ｄ表示のための画像処理を示した説明図である。 再視差調整部による２Ｄ表示のための動作を示したフローチャートである。 再視差調整部による３Ｄ表示のための動作を示したフローチャートである。 応用例による画像の切り出しを示した説明図である。 応用例による画像の切り出しの具体例を示した説明図である。

以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。

また、本明細書及び図面において、実質的に同一の機能構成を有する複数の構成要素を、同一の符号の後に異なるアルファベットを付して区別する場合もある。ただし、実質的に同一の機能構成を有する複数の構成要素の各々を特に区別する必要がない場合、同一符号のみを付する。

また、以下に示す項目順序に従って本開示を説明する。
１．画像処理システムの構成
２．撮像装置の構成および動作
３．再生装置および表示装置の構成
４．２Ｄ表示のための画像処理
５．３Ｄ表示のための画像処理
６．応用例
７．むすび

＜１．画像処理システムの構成＞
図１は、本開示の実施形態による画像処理システムの構成を示した説明図である。図１に示したように、本開示の実施形態による画像処理システムは、撮像装置２０と、再生装置３０と、表示装置４０と、を備える。

撮像装置２０は、被写体から発せられる光を電気的な画像信号に変換する撮像部を有する。より詳細には、本開示の実施形態による撮像装置２０は、図１に示したように、撮像部２２Ｌおよび撮像部２２Ｒを有する。撮像部２２Ｌは、３Ｄ表示のためのＬ画像を取得し、撮像部２２Ｒは、３Ｄ表示のためのＲ画像を取得する。

ここで、本開示の実施形態による撮像装置２０は、ＬＲ画像の視差を調整し、視差調整に関するメタデータをＬＲ画像と共にエンコードしてデータストリームを生成する。そして、撮像装置２０は、視差調整に関するメタデータおよびＬＲ画像を含むデータストリームを記録メディアに記録する。

なお、図１においてはＬＲ画像の視差を調整する視差調整装置の一例として撮像装置２０を示しているが、視差調整装置は撮像装置２０に限定されない。例えば、視差調整装置は、ＰＣ（Ｐｅｒｓｏｎａｌ Ｃｏｍｐｕｔｅｒ）、家庭用映像処理装置（ＤＶＤレコーダ、ビデオデッキなど）、ＰＤＡ（Ｐｅｒｓｏｎａｌ Ｄｉｇｉｔａｌ Ａｓｓｉｓｔａｎｔｓ）、家庭用ゲーム機器、家電機器などの情報処理装置であってもよい。また、視差調整装置は、スマートフォン、携帯電話、ＰＨＳ（Ｐｅｒｓｏｎａｌ Ｈａｎｄｙｐｈｏｎｅ Ｓｙｓｔｅｍ）、携帯用音楽再生装置、携帯用映像処理装置、携帯用ゲーム機器などの情報処理装置であってもよい。

再生装置３０は、視差調整に関するメタデータおよびＬＲ画像を含むデータストリームが記録された記録メディアからデータストリームを読出し、読み出したデータストリームに基づき、３Ｄ表示用または２Ｄ表示用の再生処理を行う。そして、再生装置３０により得られた再生データは、表示装置４０や記録機器に伝送される。

なお、再生装置３０がデータストリームを読み出す記録メディアは、再生装置３０が内蔵する記録メディアであってもよいし、撮像装置２０に設けられた記録メディアであってもよいし、着脱可能な記録メディアであってもよい。

表示装置４０は、３Ｄ表示機能、および２Ｄ表示機能を有する。例えば、表示装置４０は、再生装置３０から伝送される再生データに基づいて３Ｄ表示または２Ｄ表示を行うことが可能である。また、表示装置４０は、記録メディアに記録されたデータストリームに基づいて３Ｄ表示または２Ｄ表示を行うことも可能である。

なお、再生装置３０および表示装置４０は画像処理装置の一例であり、図１においては再生装置３０として家庭用映像処理装置を示し、表示装置４０としてＴＶ表示装置を示しているが、再生装置３０および表示装置４０などの画像処理装置はかかる例に限定されない。例えば、画像処理装置は、撮像装置の一例として列挙したような情報処理装置であってもよい。

（３Ｄ表示の概略）
ここで、３Ｄ表示の概略を説明する。表示装置４０にＬ画像とＲ画像が表示され、ユーザの左眼にＬ画像が見え、ユーザの右眼にＲ画像が見えている時、Ｌ画像とＲ画像の視差に基づきユーザは画像を立体的に知覚することができる。この点について、図２を参照してより具体的に説明する。

図２は、３Ｄ表示の原理を示した説明図である。ユーザは、ユーザの右眼とＲ画像の対象物を結ぶ直線、およびユーザの左眼とＬ画像の対象物を結ぶ直線の交差位置に対象物が存在するように知覚する。このため、図２に示したように、交差位置が表示装置４０の表示面よりも手前側である場合には飛び出し感が得られ、交差位置が表示装置４０の表示面よりも奥側である場合には奥行き感が得られる。

このような３Ｄ表示では、実世界と輻輳角が同じであっても焦点距離が異なること、また、表示時と撮像記録時の基線長や輻輳角が異なることなどが視覚疲労の要因となる。特に、画像内の一部分が過度に飛び出している場合や、動画表示中に不用意に対象物が飛び出したときのように視差の変化が大きい場合にはユーザの負担が重くなる。

このため、図３Ａに示したように、ユーザによる対象物の知覚位置はユーザがＬＲ画像を無理なく融像可能な快適エリア内であることが好ましい。一方、図３Ｂに示したように、ユーザによる対象物の知覚位置が快適エリアより手前の破綻エリア内である場合にはユーザの負担が重くなり、ユーザによる対象物の知覚位置が快適エリアより奥側である場合には立体感が得られ難い。

このような観点から、快適な３Ｄ表示を行うための技術が研究されている。例えば、特開２０１１−５５０２２号公報には、Ｌ画像および／またはＲ画像を水平方向にシフトさせることにより、Ｌ画像およびＲ画像の視差調整を行う視差変換装置が開示されている。この視差調整は、Ｌ画像のみのシフト、Ｒ画像のみのシフト、または、Ｌ画像およびＲ画像の均等シフトにより実現される。ＬＲ画像の中心軸を移動させないために、ＬＲ画像の均等シフトが最も一般的である。以下、図４を参照し、ＬＲ画像の均等シフトについて簡単に説明する。

図４は、ＬＲ画像の均等シフトの概要を示した説明図である。図４に示したように、調整量＞Ｘである場合、Ｌ画像およびＲ画像が対象物を全体的に奥側に移動させる方向にＸ／２ずつシフトされる。一方、調整量＜Ｘである場合、Ｌ画像およびＲ画像が対象物を全体的に手前側に移動させる方向にＸ／２ずつシフトされる。

なお、各ＬＲ画像に対する適切な調整量の算出方法は特に限定されないが、例えば特開２０１１−５５０２２号公報に開示されているような公知の方法により算出可能であるので、ここでの詳細な説明を省略する。

（背景）
上記のような３Ｄ表示のための記録においては、通常、Ｌ画像およびＲ画像のみが記録され、２Ｄ表示用の専用の２Ｄ画像が記録されることはほとんどない。このため、表示装置は、３Ｄ表示のために記録された画像から２Ｄ表示を行うために、Ｌ画像またはＲ画像を表示することが一般的である。

しかし、上述した視差調整は幾つかの弊害を伴う。例えば、視差調整における調整量は時間軸方向で異なるので、Ｌ画像またはＲ画像のみを表示すると、静止しているはずの被写体が左右に揺れて（移動して）見え、ユーザにとって不快な２Ｄ画像となってしまう。以下、図５を参照してこの点について具体的に説明する。

図５は、視差調整が施されたＬ画像またはＲ画像に基づく２Ｄ表示の具体例を示した説明図である。より詳細には、図５Ａは、本来の２Ｄ記録による表示の具体例を示し、図５Ｂは、視差調整が施されたＬ画像の具体例を示している。

図５Ａに示したように、本来の２Ｄ記録による表示では、被写体が静止していれば被写体の画角内での位置は固定である。一方、視差調整が施されたＬ画像では、図５Ｂに示したように、被写体が静止していても、視差調整により、画角内での被写体の位置が時間軸に従い移動してしまう。具体的には、１番目のＬ画像の調整量Ｘ_１／２は０であるが、２番目以降のＬ画像の調整量Ｘ_２／２〜調整量Ｘ_６／２は、−４、−８、−１２、−１６、−２０と変化するので、ユーザにとって不快な２Ｄ画像となってしまう。

また、視差調整済みの画像を、視差調整機能を有する表示装置で２重に視差調整を行うと、特に１度目と２度目の視差調整アルゴリズムが異なる場合、予期しない画像または不適切な３Ｄ画像になるなど、画像が破綻してしまうことが懸念される。また、視差調整前のＬ画像またはＲ画像の水平中心位置や、視差調整前のＬ画像とＲ画像の位置関係が分からないと、画像処理を適切に行うことが困難である場合も生じ得る。

そこで、上記事情を一着眼点にして本開示の実施形態を創作するに至った。本開示の実施形態によれば、上述したようなＬ画像およびＲ画像の視差調整による弊害を解消することが可能である。以下、このような本開示の実施形態による撮像装置２０、再生装置３０、および表示装置４０について順次詳細に説明する。なお、以下では対象が動画である場合を想定して説明を進めるが、本開示の実施形態は静止画にも適用可能である。

＜２．撮像装置の構成および動作＞
図６は、本開示の実施形態による撮像装置２０の構成を示した機能ブロック図である。図６に示したように、撮像装置２０は、撮像部２２Ｌおよび撮像部２２Ｒと、記録メディア２８と、画像処理部２１０Ｌおよび画像処理部２１０Ｒと、視差調整部２２０と、エンコード処理部２３０と、記録部２４０と、３Ｄ表示部２５０と、を備える。

撮像部２２は、光を集光する撮影レンズおよびズームレンズなどの撮像光学系２４、およびＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）またはＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）などの撮像素子２６を備える。撮像光学系２４は、被写体から発せられる光を集光して撮像素子２６に被写体像を形成し、撮像素子２６は、形成された被写体像を電気的な画像信号に変換する。左眼用の撮像部２２Ｌで得られたＬ画像の画像信号は画像処理部２１０Ｌに出力され、右眼用の撮像部２２Ｒで得られたＲ画像の画像信号は画像処理部２１０Ｒに出力される。

画像処理部２１０は、撮像部２２から入力される画像に対し、現像処理、補正処理、解像度変換（スケーリング）処理、ノイズリダクション処理などを施す。画像処理部２１０Ｌおよび２１０Ｒにより処理されたＬＲ画像ペアは、視差調整部２２０に出力される。なお、ＬＲ画像ペアは、紐付けされているＬ画像およびＲ画像の組であり、時分割で送られてもよい。

視差調整部２２０は、特開２０１１−５５０２２号公報に記載されているようなアルゴリズムにより、入力されるＬＲ画像ペアのシフト量、すなわち視差調整量を算出する。その後、視差調整部２２０は、算出した調整量に従ってＬＲ画像の双方またはＬＲ画像の一方を水平方向にシフトさせて切り出す。なお、視差調整部２２０は、切り出し前画像に存在しない領域がある場合には黒埋めに差し替える、あるいは画像端部をコピーしてもよい。

そして、視差調整部２２０は、視差調整後のＬＲ画像ペアと、視差調整に関する情報をエンコード処理部２３０に出力する。なお、視差調整部２２０は、事前に設定された画像をシフトさせてもよい。また、上記では、視差調整の方法として画像をシフトして切り出す方法を説明したが、視差調整の方法はかかる例に限定されない。

エンコード処理部２３０は、時間方向に蓄積されたＬＲ画像ペアと、後述の視差調整メタデータが関連付けられるように所定の圧縮フォーマットでエンコードを行い、ＬＲ画像ペアおよび視差調整メタデータを含むデータストリームを生成するデータ処理部である。なお、動画圧縮フォーマットの一例としてはＡＶＣＨＤ Ｖｅｒ２．０で作成された「ＡＶＣＨＤ ３Ｄ」があり、静止画圧縮フォーマットの一例としてはＭＰＯ（Ｍｕｌｔｉ−Ｐｉｃｔｕｒｅ Ｆｏｒｍａｔ）形式がある。

記録部２４０は、エンコード処理部２３０によって得られたデータストリームを記録メディア２８に記録する。なお、記録メディア２８は、不揮発性メモリ、磁気ディスク、光ディスク、およびＭＯ（Ｍａｇｎｅｔｏ Ｏｐｔｉｃａｌ）ディスクなどの記憶媒体であってもよい。不揮発性メモリとしては、例えば、フラッシュメモリ、ＳＤカード、マイクロＳＤカード、ＵＳＢメモリ、ＥＥＰＲＯＭ（Ｅｌｅｃｔｒｉｃａｌｌｙ Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ Ｒｅａｄ−Ｏｎｌｙ Ｍｅｍｏｒｙ）、ＥＰＲＯＭ（Ｅｒａｓａｂｌｅ Ｐｒｏｇｒａｍｍａｂｌｅ ＲＯＭ）があげられる。また、磁気ディスクとしては、ハードディスクおよび円盤型磁性体ディスクなどがあげられる。また、光ディスクとしては、ＣＤ（Ｃｏｍｐａｃｔ Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｃ）およびＢＤ（Ｂｌｕ−Ｒａｙ Ｄｉｓｃ（登録商標））などがあげられる。

３Ｄ表示部２５０は、視差調整部２２０から出力されたＬＲ画像ペアを直接、または、ＳＲＡＭやＤＲＡＭのようなシステム汎用メモリ（図示せず。）に一端保持した後に表示する。

（視差調整メタデータ）
ここで、エンコード処理部２３０によるエンコードの過程で得られる視差調整メタデータについて詳細に説明する。視差調整メタデータは、視差調整部２２０によって行われた視差調整の内容を示すデータであり、以下に説明するように、多様な形態で実現され得る。

図７Ａは、視差調整メタデータの第１の構成例を示した説明図である。図７Ａに示したように、第１の構成例による視差調整メタデータは、視差調整が行われたか否かを示すフラグ１ビットと、Ｌ画像側の調整量を示す１０ビットと、Ｒ画像側の調整量を示す１０ビットの計２１ビットからなる。

視差調整が行われたか否かは、２種類の状態により表現できるので、視差調整が行われたか否かを示すフラグは１ビットで構成される。また、図７Ａに示したように、各画像の調整量を示すために１０ビットのデータを配置することにより、−５１２〜５１１までを表現することが可能である。なお、調整量は、一般的には２の補数により表現されるが、表現方法は特に限定されず、ストレートバイナリや１の補数などの任意の表現を用いることも可能である。

図７Ｂは、視差調整メタデータの第２の構成例を示した説明図である。図７Ｂに示したように、第２の構成例による視差調整メタデータは、視差調整が行われたか否かを示すフラグ１ビットと、視差調整が行われた画像を示す２ビットと、調整量を示す１０ビットとの計１３ビットからなる。例えば、視差調整が行われた画像を示す２ビットは、調整量をＸとすると、以下の内容を示してもよい。

００：Ｒｅｓｅｒｖｅｄ（任意の値を設定可能）
０１：Ｌ画像をＸピクセル移動。Ｒ画像はオリジナル。
１０：Ｒ画像をＸピクセル移動。Ｌ画像はオリジナル。
１１：Ｌ画像をＸ／２ピクセル移動。Ｒ画像をＸ／２ピクセル移動。

このように、視差調整が行われた画像を２ビットで表現することにより、視差調整メタデータのデータ量を抑制することが可能である。

図７Ｃは、視差調整メタデータの第３の構成例を示した説明図である。図７Ｃに示したように、第３の構成例による視差調整メタデータは、視差調整が行われたか否かを示すフラグ１ビットと、調整量を示す１０ビットの計１１ビットからなる。第３の構成例では、最も一般的なＬＲ均等シフトを用いることが暗示的に規定されている場合に利用可能である。例えば、メーカなどで視差調整の方法が単一であり、視差調整の方法を区別する必要が無い場合に有効である。

なお、図７Ａ〜図７Ｃに示した各用途のビット数は一例に過ぎず、適宜変更可能である。また、視差調整が行われた画像を示すビットや調整量を示すビットの各々は連結されていなくてもよく、メタデータ中に分散して配置されてもよい。また、視差調整が行われない場合、視差調整メタデータ中の調整量を示すためのデータ部分に、他の情報を示すデータが配置されてもよい。以下、この点について図８を参照して説明する。

図８は、視差調整メタデータの変形例を示した説明図である。図８に示したように、変形例による視差調整メタデータは、調整量を示す１０ビットと、視差調整の対象画像を示す２ビットと、１０ビットのデータ部分が示す調整量の性質を示すフラグ１ビットの計１３ビットからなる。

具体的には、フラグ１ビットは、「１」である場合、実際に視差調整が行われたこと、および、１０ビットのデータ部分が示す調整量が実際に行われた視差調整での調整量であることを示す。一方、フラグ１ビットは、「０」である場合、視差調整が行われなかったこと、および、１０ビットのデータ部分が示す調整量が推奨される視差調整量であることを示す

このように、視差調整が行われない場合に他の情報を示すデータを視差調整メタデータに配置することにより、視差調整メタデータのデータ領域を有効活用することが可能である。

以上、視差調整メタデータの第１の構成例〜第３の構成例、および変形例を説明した。上述した視差調整メタデータは、ＬＲ画像ペア（フィールド、フレーム毎）と１対１に関連付けられることが理想的であるが、任意の時間単位のＬＲ画像ペアと関連付けられてもよい。例えば、ＭＰＥＧフォーマットにおいてはＧＯＰ単位で視差調整メタデータが関連付けられてもよい。すなわち、エンコード処理部２３０により生成されるデータストリームは、任意の画像フォーマットに適合し、視差調整の内容を示す視差調整メタデータが含まれていればよく、圧縮フォーマットは特に限定されない。

また、上記では視差調整メタデータが視差調整の有無を示すフラグ１ビットを含む例を説明したが、視差調整メタデータは視差調整の有無を示すフラグ１ビットを含まなくてもよい。この場合、１０ビットのデータ部分の示す調整量が０である場合には視差調整が行われておらず、０以外である場合には視差調整が行われていると判断することが可能である。

（撮像装置の動作）
続いて、図９を参照し、本開示の実施形態による撮像装置２０の動作を整理する。

図９は、本開示の実施形態による撮像装置２０の動作を示したフローチャートである。なお、図９においては１つのＬＲ画像ペアに対する動作例を示しているが、動画が対象である場合、撮像装置２０は図９に示す処理を繰り返してもよいし、一定量のＬＲペア画像を蓄積してからエンコード処理を行ってもよい。

まず、視差調整部２２０は、図９に示したように事前の設定内容に従い視差調整を行うか否かを判断する（Ｓ５０４）。そして、視差調整部２２０は、視差調整を行わないと判断した場合、ＬＲ画像ペアの視差を調整せずにそのまま出力する（Ｓ５０８：スルー処理）。

一方、視差調整部２２０は、視差調整を行う場合、自動視差調整を行うか、手動視差調整を行うかを判断する（Ｓ５１２）。そして、視差調整部２２０は、手動視差調整を行う場合、別途設定されている調整量でＬＲ画像の視差調整を行う（Ｓ５１６）。

また、視差調整部２２０は、自動視差調整を行う場合、入力されたＬＲ画像ペアから最適な視差調整量を算出し（Ｓ５２０）、算出した視差調整量でＬＲ画像ペアの視差を調整する（Ｓ５２４）。

Ｓ５０８、Ｓ５１６またはＳ５２４における処理の後、視差調整部２２０は、後段のエンコード処理部２３０のために、ＬＲ画像ペアと、視差調整の内容を示す視差調整メタデータを出力する（Ｓ５２８）。

＜３．再生装置および表示装置の構成＞
以上、本開示の実施形態による撮像装置２０の構成および動作を説明した。続いて、本開示の実施形態による再生装置３０および表示装置４０の構成を説明する。

（再生装置の構成）
図１０は、本開示の実施形態による再生装置３０の構成を示した機能ブロック図である。図１０に示したように、本開示の実施形態による再生装置３０は、読出部３１０と、デコード処理部３２０と、再視差調整部３３０と、通信処理部３４０と、を備える。

読出部３１０は、記録メディア２８から、視差調整メタデータを含むフォーマットで記録されたデータストリームを読出し、データストリームをデコード処理部３２０に出力する。

デコード処理部３２０は、データストリームをＬ画像、Ｒ画像および視差調整メタデータに変換し、Ｌ画像、Ｒ画像および視差調整メタデータを再視差調整部３３０に出力する。なお、デコード処理部３２０は、２Ｄ表示のためには、Ｌ画像またはＲ画像の一方と、視差調整メタデータを再視差調整部３３０に出力してもよい。

再視差調整部３３０は、別途設定されている動作設定に従い、ＬＲ画像ペアを必要に応じて再度視差調整し、視差調整後のＬＲ画像ペアを通信処理部３４０へ出力する。この再視差調整部３３０による処理は、出力する画像が２Ｄ画像か３Ｄ画像かによって異なる。２Ｄ画像を出力する場合の処理については「４．２Ｄ表示のための画像処理」において説明し、３Ｄ画像を出力する場合の処理については「５．３Ｄ表示のための画像処理」において詳細に説明する。なお、再視差調整部３３０は、再視差調整後の視差調整メタデータも通信処理部３４０へ出力してもよい。

通信処理部３４０は、再視差調整部３３０から入力される画像などを無線または有線などの任意の伝送フォーマットに変換し、電波または有線ケーブルなどの伝送媒体を介して表示装置４０や記録機器４２に送信される。なお、既存の伝送フォーマットとしては、有線ではＨＤＭＩ、ＳＡＴＡ、ＩＥＥＥ１３９４Ａ／Ｂ、ＵＳＢ等であり、無線では、無線ＬＡＮ（ＩＥＥＥ ８０２．１１）やＷｉＭＡＸ、携帯電話で用いられている各種規格があるが、本実施形態で利用する伝送フォーマットは特に限定されない。

なお、再生装置３０は、再視差調整部３３０で処理されたＬＲ画像ペアに対してさらに画像処理、編集を行うための構成や、ＬＲ画像ペアを記録する構成を有してもよい。

（表示装置の構成）
図１１は、本開示の実施形態による表示装置４０の構成を示した機能ブロック図である。図１１に示したように、本開示の実施形態による表示装置４０は、読出部４１０と、通信処理部４１２と、デコード処理部４２０と、再視差調整部４３０と、表示部４４０と、を備える。

読出部４１０は、記録メディア２８から、視差調整メタデータを含むフォーマットで記録されたデータストリームを読出し、データストリームをデコード処理部３２０に出力する。通信処理部４１２は、再生装置３０などから無線または有線で送信されたデータストリームを受信し、データストリームをデコード処理部３２０に出力する。このような読出部４１０および通信処理部４１２は、視差調整メタデータを取得するデータ取得部の一例である。

デコード処理部４２０は、データストリームをＬ画像、Ｒ画像および視差調整メタデータに変換し、Ｌ画像、Ｒ画像および視差調整メタデータを再視差調整部４３０に出力する。なお、デコード処理部４２０は、表示部４４０が２Ｄ表示を行う場合、Ｌ画像またはＲ画像の一方と、視差調整メタデータを再視差調整部４３０に出力してもよい。

再視差調整部４３０は、別途設定されている動作設定に従い、ＬＲ画像ペアを必要に応じて再度視差調整し、視差調整後のＬＲ画像ペアを表示部４４０に表示させる。この再視差調整部４３０による処理は、出力する画像が２Ｄ画像か３Ｄ画像かによって異なる。２Ｄ画像を出力する場合の処理については「４．２Ｄ表示のための画像処理」において説明し、３Ｄ画像を出力する場合の処理については「５．３Ｄ表示のための画像処理」において詳細に説明する。なお、表示装置４０が再視差調整部４３０を有さない場合、デコード処理部４２０で得られたＬ画像およびＲ画像は表示部４４０に直接出力される。また、本実施形態による再視差調整部４３０は、既に行われた視差調整がキャンセルされるようにＬ画像またはＲ画像を抽出する画像抽出部、あるいは視差調整キャンセル部としても動作する。

表示部４４０は、再視差調整部４３０から入力される画像を表示する。例えば、表示部４４０は、再視差調整部４３０からＬ画像およびＲ画像が入力される場合、Ｌ画像およびＲ画像を用いて３Ｄ表示を行う。また、表示部４４０は、再視差調整部４３０からＬ画像またはＲ画像が入力される場合、Ｌ画像またはＲ画像を用いて２Ｄ表示を行う。

＜４．２Ｄ表示のための画像処理＞
以上、本開示の実施形態による再生装置３０および表示装置４０の構成を説明した。続いて、表示装置４０の再視差調整部４３０により行われる２Ｄ表示のための画像処理について詳細に説明する。なお、以下では、ＬＲ均等シフトにより視差調整が行われたＬＲ画像ペアで２Ｄ表示を行うための処理を説明する。また、表示装置４０の再視差調整部４３０により行われる画像処理は、再生装置３０の再視差調整部３３０による画像処理にも援用可能である。

図１２は、２Ｄ表示のための画像処理を示した説明図である。単眼の２Ｄカメラで、静止している被写体を固定された画角で撮影を行う場合、図１２Ａに示すように、時間軸に関係なく画角内の被写体の位置は固定している。このため、表示装置４０などで当該画像を表示した場合、被写体は画像内で静止している。

しかし、撮像装置２０のような２眼の３Ｄカメラで視差調整記録されたＬＲ画像ペアのうちのＬ画像（Ｒ画像であってもよい。）を２Ｄ画像として代用する場合、被写体が静止していても、視差調整量Ｘｉ（ｉは、フレームやフィールドに対応する画像番号である。）に応じてＬ画像はＸｉ／２のシフトが行われている。このため、単にＬ画像を２Ｄ画像として代用すると、図１２Ｂに示すように、静止しているはずの被写体の画角内での位置が時間軸に従い移動してしまう。

本開示の実施形態による再視差調整部４３０は、このような視差調整による弊害を、以下に説明する処理により改善することが可能である。

視差調整メタデータに記録されている視差調整量は、水平移動量または記録時の切り出し位置のずらし量に等しい。例えば、図１２Ｂの２番目の画像は、調整量Ｘ_２／２＝−４ピクセルであるので、記録時の水平座標原点より４ピクセル外側から切り出されている。

そこで、２Ｄ表示の場合、記録時の視差調整前の水平座標原点が表示エリアの左上隅になるように処理を行えば、すなわち、視差調整によるシフトをキャンセルすれば、画角内の被写体の位置は固定され、好ましい２Ｄ表示を実現できる。なお、視差調整前の水平座標原点が表示エリアの左上隅になる場合、視差調整前の水平座標中心も表示エリアの中心に固定される。

上記の処理のために、再視差調整部４３０は、視差調整済みのＬ画像を、図１２Ｃに示すように「−Ｘｉ／２」で表現される切り出し開始位置Ｙｉから切り出す。ただし、記録済み画像の水平画素数は例えば１９２０画素で固定されているので、切り出し開始位置Ｙｉが４ピクセルである場合、切り出し後の画像の水平方向には１９１６画素しか存在しない。このため、再視差調整部４３０は、図１２Ｄに示した切り出し後の画像のように、水平画素数１９２０画素に足りない領域（図面右方）には黒埋めを行い、画像の水平画素数を１９２０にする。なお、再視差調整部４３０は、黒埋めでなく、端部の画像コピーにより画像の水平画素数を１９２０にしてもよい。

図１２Ｂと図１２Ｄの比較から理解されるように、本開示の実施形態によれば、静止している被写体の画角内での位置を固定することが可能となる。なお、説明の便宜上、図１２Ｄでは黒帯を強調しているが、水平画素数１９２０に対し、実際の視差調整量Ｘｉは最大でプラスマイナス１００ピクセル程度、Ｘｉ／２は５０ピクセル程度であるので、１９２０画素に対して２％程度の黒帯は２Ｄ表示においてほとんど支障はない。

また、上記では視差調整量が負である例を説明したが、視差調整量が正である場合も考え方は同様である。視差調整量が正である場合、記録時の水平座標原点より右側（画像内側）から画像が切り出されているので、左側に黒埋め領域を含む結果となる。

（再視差調整部の動作）
以上、再視差調整部４３０による２Ｄ表示のための画像処理を説明した。続いて、図１３を参照し、再視差調整部４３０による２Ｄ表示のための動作を整理する。

図１３は、再視差調整部４３０による２Ｄ表示のための動作を示したフローチャートである。なお、図１３においては１つのＬＲ画像ペアに対する動作例を示しているが、動画が対象である場合、撮像装置２０は図１３に示す処理を繰り返してもよい。

まず、再視差調整部４３０は、図１３に示したように、デコードされたメタデータから視差調整メタデータを抽出する（Ｓ６０４）。続いて、再視差調整部４３０は、視差調整メタデータに基づき、入力されたＬ画像またはＲ画像が視差調整済み画像であるか否かを判断する（Ｓ６０８）。そして、再視差調整部４３０は、入力画像が視差調整されていないと判断した場合、入力画像を加工せずに表示部４４０に表示させる（Ｓ６１２）。なお、再視差調整部４３０にＬＲ画像ペアが入力される場合、再視差調整部４３０は、Ｌ画像またはＲ画像を選択して表示部４４０に表示させてもよい。

一方、再視差調整部４３０は、入力画像が視差調整されており、かつ、ＬＲ均等シフトにより視差調整されている場合（Ｓ６１６）、視差調整メタデータの示す調整量に基づいて視差調整をキャンセルするための上述した方法により視差を再調整する（Ｓ６２０）。なお、ＬＲ画像ペアがＬＲ均等シフト以外の方法により視差調整されている場合、再視差調整部４３０は、Ｌ画像またはＲ画像のうちで水平シフトされていない側の画像を選択して表示部４４０に表示させる（Ｓ６１２）。

＜５．３Ｄ表示のための画像処理＞
以上、２Ｄ表示のための画像処理について説明した。続いて、図１４を参照し、表示装置４０の再視差調整部４３０により行われる３Ｄ表示のための画像処理について詳細に説明する。なお、表示装置４０の再視差調整部４３０により行われる画像処理は、再生装置３０の再視差調整部３３０による画像処理にも援用可能である。

図１４は、再視差調整部４３０による３Ｄ表示のための動作を示したフローチャートである。なお、図１４においては１つのＬＲ画像ペアに対する動作例を示しているが、動画が対象である場合、撮像装置２０は図１４に示す処理を繰り返してもよい。

まず、再視差調整部４３０は、図１４に示したように、デコードされたメタデータから視差調整メタデータを抽出する（Ｓ７０４）。続いて、再視差調整部４３０は、別途設定されている動作設定に基づき、再視差調整を行うか否かを判断する（Ｓ７０８）。そして、再視差調整部４３０は、再視差調整を行わない場合、デコードされたＬＲ画像ペアをそのまま表示部４４０に出力する（Ｓ７１２）。

一方、再視差調整部４３０は、視差調整を行うと判断し、かつ、デコードされたＬＲ画像ペアが視差調整されていない場合（Ｓ７１６）、特開２０１１−５５０２２号公報に記載されているようなアルゴリズムにより、ＬＲ画像ペアの視差調整量を算出し、ＬＲ画像ペアの視差調整を行う（Ｓ７２０）。

また、再視差調整部４３０は、視差調整を行うと判断し、かつ、デコードされたＬＲ画像ペアが視差調整されている場合（Ｓ７１６）、２重に視差調整を行っても問題無いか否かを判断する（Ｓ７２４）。そして、再視差調整部４３０は、例えばメーカーノートなどの別途記録されたメタデータなどに基づいて２重に視差調整を行っても問題無いと判断した場合、特開２０１１−５５０２２号公報に記載されているようなアルゴリズムにより再視差調整を行う（Ｓ７２０）。

一方、再視差調整部４３０は、２重に視差調整を行うと問題が生じ得ると判断した場合、別途設定されている動作設定に従い、以下のいずれかの処理を行う（Ｓ７２８）。
ａ）「４．２Ｄ表示のための画像処理」で説明した方法によりＬＲ画像ペアの視差調整をキャンセルする処理を行ってから再度視差調整を行う（Ｓ７３２）。
ｂ）再視差調整を行わず、デコードされたＬＲ画像ペアをそのまま表示部４４０に出力する（Ｓ７３６）

上記のａ）またはｂ）により、２重の視差調整により予期しない映像、不適切な３Ｄ映像が表示されることを回避できる。

＜６．応用例＞
以上、本開示の実施形態を説明した。上記の「４．２Ｄ表示のための画像処理」で説明した画像処理によれば、画像端部に黒帯領域が表示される。そこで、応用例として、画面に黒帯領域が表示されないように２Ｄ表示を行うための画像処理を説明する。

一般的に、撮像装置２０のような記録装置によって最大視差調整量、すなわちシフト量の幅は固有であるので、視差調整メタデータに最大視差調整量を示すデータも配置されるものとする。また、以下では、Ｌ画像（１９２０×１０８０）の最大視差調整量がプラスマイナス５０ピクセルである例を考える。

図１５は、応用例による画像の切り出しを示した説明図である。図１５において、黒丸Ｈは記録時の視差調整前の水平座標原点を示し、白丸は水平座標原点から１９２０画素の画像を記録する場合の水平座標中心（画角の中心、水平座標原点から９６０画素）を示す。また、図１５においては破線の領域が記録されている画像領域を示し、太線が切り出される画像領域を示す。

具体的には、図１５Ａでは、Ｌ画像に−５０ピクセルの視差調整が施されているので、視差調整前の水平座標原点Ｈより外側（左側）５０ピクセルの位置から破線で示される画像領域が存在する。また、図１５Ｂでは、Ｌ画像に視差調整が施されていないので、記録時の水平座標原点と破線で示される画像領域の水平端が一致している。また、図１５Ｃでは、Ｌ画像に５０ピクセルの視差調整が施されているので、視差調整前の水平座標原点Ｈより内側（右側）５０ピクセルの位置から破線で示される画像領域が存在する。

再視差調整部４３０は、このような破線で示される画像領域内で共通かつ最大の領域を切り出す。ここで、最大視差調整量がプラスマイナス５０ピクセルであるから、水平方向では、１９２０−５０×２＝１８２０ピクセルの領域を切り出すことが可能である。すなわち、この領域は、どのように視差調整が施されていても存在している画角範囲であるので、この領域を常に切り出せば、視差調整の影響を受けず、切り出した画像の水平中心を記録時の水平座標中心に保つことが可能となる。

さらに、水平１８２０画素を切り出す場合、アスペクト比を考慮すると、垂直ライン数は１８２０×１０８０／１９２０＝１０２４である。このため、垂直方向の切り出し範囲は、１０８０−１０２４＝５６ラインを上下均等に割り当てた２８ラインずつ画像領域の内側の領域である。

このようなアスペクト比を考慮した画像の切り出し範囲を図１５Ａ〜図１５Ｃにおいて実線で示した。図１５Ａでは、視差調整量Ｘｉ／２＝−５０であるから、水平方向の切り出し開始位置は、視差調整をキャンセルする値（５０）＋最大視差調整量の絶対値（５０）を加算した１００ピクセルである。図１５Ｃでは、視差調整量Ｘｉ／２＝５０であるから、水平方向の切り出し開始位置は、視差調整をキャンセルする値（−５０）＋最大視差調整量の絶対値（５０）を加算した０ピクセルである。図１５Ｂでは、視差調整量Ｘｉ／２＝０であるから、水平方向の切り出し開始位置は、視差調整をキャンセルする値（０）＋最大視差調整量の絶対値（５０）を加算した５０ピクセルである。

なお、再視差調整部４３０は、視差調整量が他の値であっても同様に、（−１）×視差調整量＋最大視差調整量の絶対値を演算することにより水平方向の切り出し開始位置を算出することが可能である。

また、上記では最大視差調整量が左右で同一の値である例を説明したが、最大視差調整量が左右で異なる場合にも同様に処理可能である。例えば、再視差調整部４３０は、調整量が左最大の場合と右最大の場合で切り出し可能な共通の領域を求め、その領域内で、視差調整前の水平座標中心が切り出し後の画像の水平中心となるように、視差調整前の水平座標中心を基準に左右均等なサイズで切り出しを行ってもよい。

さらに、再視差調整部４３０は、上記のようにして切り出した画像領域を表示サイズの１９２０×１０８０に拡大する拡大処理部としての機能を有する。

例えば、図１６Ａに示したようにＬ画像に視差調整が施されている場合、再視差調整部４３０は、図１６Ｂに示すように、調整量が左最大の場合と右最大の場合で切り出し可能な共通の領域を切り出す。そして、再視差調整部４３０は、図１６Ｃに示したように、切り出した画像領域を表示サイズに拡大する。

かかる構成により、視差調整前の画像中心と表示時の画像中心が一致するので、視差調整済みのＬ画像を用いても、黒帯や揺れのない２Ｄ表示を実現することができる。

＜７．むすび＞
以上説明したように、本開示の実施形態によれば、Ｌ画像およびＲ画像の視差調整による弊害を解消することが可能である。例えば、本開示の実施形態によれば、視差調整が施されたＬ画像またはＲ画像を用いて２Ｄ表示を行う場合に、Ｌ画像またはＲ画像に施された視差調整をキャンセルすることができるので、画像の揺れを抑制することが可能である。また、視差調整の内容を示す視差調整メタデータをＬＲ画像ペアと関連付けることにより、視差調整前のＬ画像とＲ画像の位置関係を用いる多様な処理を実現することが可能となる。また、視差調整を行わない場合でも、共通の視差調整メタデータのフォーマットを用いて対応することが可能である。

なお、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。

例えば、上記では視差調整メタデータの用途の一例として再視差調整を説明したが、視差調整メタデータの用途は再視差調整に限定されない。視差調整メタデータは、視差調整前のＬ画像およびＲ画像の中心位置や水平位置を用いる多様な処理に用いることが可能である。

また、本明細書の撮像装置２０、再生装置３０、表示装置４０の処理における各ステップは、必ずしもフローチャートとして記載された順序に沿って時系列に処理する必要はない。例えば、撮像装置２０、再生装置３０、表示装置４０の処理における各ステップは、フローチャートとして記載した順序と異なる順序で処理されても、並列的に処理されてもよい。

また、撮像装置２０、再生装置３０、表示装置４０に内蔵されるＣＰＵ、ＲＯＭおよびＲＡＭなどのハードウェアを、上述した撮像装置２０、再生装置３０、表示装置４０の各構成と同等の機能を発揮させるためのコンピュータプログラムも作成可能である。また、該コンピュータプログラムを記憶させた記憶媒体も提供される。

また、以下のような構成も本開示の技術的範囲に属する。
（１）
撮像により得られた左眼用画像および右眼用画像の視差調整を行う視差調整部と、
前記視差調整に関するメタデータを前記左眼用画像および右眼用画像を含む画像データと関連付けるデータ処理部と、
を備える、視差調整装置。
（２）
前記視差調整部は、前記左眼用画像のシフト処理、前記右眼用画像のシフト処理、または、前記左眼用画像および前記右眼用画像の双方のシフト処理により前記視差調整を行う、前記（１）に記載の視差調整装置。
（３）
前記メタデータは、前記視差調整が行われたか否かを示すデータを含む、前記（１）または（２）に記載の視差調整装置。
（４）
前記メタデータは、前記左眼用画像のシフト量、および前記右眼用画像のシフト量を示すデータを含む、前記（３）に記載の視差調整装置。
（５）
前記視差調整が行われない場合、前記メタデータ中のシフト量を示すためのデータ部分は、他の情報を示すデータを含む、前記（４）に記載の視差調整装置。
（６）
前記メタデータは、前記左眼用画像および前記右眼用画像のうちで前記視差調整部により前記視差調整が行われた対象画像を示すデータと、前記対象画像のシフト量を示すデータを含む、前記（２）に記載の視差調整装置。
（７）
前記視差調整部は、前記左眼用画像および前記右眼用画像の双方のシフト処理により前記視差調整を行い、
前記メタデータは、前記視差調整が行われたか否かを示すデータと、前記左眼用画像および前記右眼用画像のシフト量を示すデータを含む、前記（１）に記載の視差調整装置。
（８）
左眼用画像および右眼用画像を含む画像データ、および、前記画像データと関連付けられた、前記左眼用画像および前記右眼用画像に対する視差調整に関するメタデータを取得するデータ取得部と、
前記メタデータに基づいて前記左眼用画像または前記右眼用画像の一領域を抽出する画像抽出部と、
を備える、画像処理装置。
（９）
前記メタデータは、前記左眼用画像および前記右眼用画像に対する前記視差調整が行われたか否かを示すデータを含み、
前記画像抽出部は、前記視差調整が行われたことを前記メタデータが示す場合には前記抽出を行い、前記視差調整が行われなかったことを前記メタデータが示す場合には前記抽出を行わない、前記（８）に記載の画像処理装置。
（１０）
前記視差調整は、前記左眼用画像のシフト処理、前記右眼用画像のシフト処理、または、前記左眼用画像および前記右眼用画像の双方のシフト処理を含み、
前記メタデータは、前記左眼用画像のシフト量、および前記右眼用画像のシフト量を示すデータを含み、
前記画像抽出部は、前記左眼用画像または前記右眼用画像から、前記メタデータが示す前記左眼用画像または前記右眼用画像のシフト量に応じた領域を抽出する、前記（８）または（９）に記載の画像処理装置。
（１１）
前記視差調整は、前記左眼用画像および前記右眼用画像の双方のシフト処理であり、
前記メタデータは、前記視差調整が行われたか否かを示すデータと、前記左眼用画像および前記右眼用画像のシフト量を示すデータを含み、
前記画像抽出部は、前記左眼用画像または前記右眼用画像から、前記メタデータが示す前記左眼用画像および前記右眼用画像のシフト量に応じた領域を抽出する、前記（８）に記載の画像処理装置。
（１２）
前記抽出部は、前記左眼用画像または前記右眼用画像から、前記左眼用画像または前記右眼用画像の水平方向長から前記左眼用画像および前記右眼用画像のシフト量の幅を減じて得られる水平方向長以下の領域を抽出し、
前記画像処理装置は、
前記画像抽出部により抽出された領域を拡大する拡大処理部をさらに備える、前記（１０）または（１１）に記載の画像処理装置。
（１３）
撮像により得られた左眼用画像および右眼用画像に対する視差調整に関するメタデータ、および、前記左眼用画像および右眼用画像を含む画像データからなる、データフォーマット。
（１４）
撮像により得られた左眼用画像および右眼用画像の視差調整を行うことと、
前記視差調整に関するメタデータを前記左眼用画像および右眼用画像を含む画像データと関連付けることと、
を含む、視差調整方法。
（１５）
左眼用画像および右眼用画像を含む画像データ、および、前記画像データと関連付けられた、前記左眼用画像および前記右眼用画像に対する視差調整に関するメタデータを取得することと、
前記メタデータに基づいて前記左眼用画像または前記右眼用画像の一領域を抽出することと、
を含む、画像処理方法。
（１６）
コンピュータを、
撮像により得られた左眼用画像および右眼用画像の視差調整を行う視差調整部と、
前記視差調整に関するメタデータを前記左眼用画像および右眼用画像を含む画像データと関連付けるデータ処理部と、
として機能させるための、プログラム。
（１７）
コンピュータを、
左眼用画像および右眼用画像を含む画像データ、および、前記画像データと関連付けられた、前記左眼用画像および前記右眼用画像に対する視差調整に関するメタデータを取得するデータ取得部と、
前記メタデータに基づいて前記左眼用画像または前記右眼用画像の一領域を抽出する画像抽出部と、
として機能させるための、プログラム。

２０ 撮像装置
２２ 撮像部
２４ 撮像光学系
２６ 撮像素子
２８ 記録メディア
３０ 再生装置
４０ 表示装置
２１０ 画像処理部
２２０ 視差調整部
２３０ エンコード処理部
２４０ 記録部
２５０ 表示部
３１０ 読出部
３２０ デコード処理部
３３０ 再視差調整部
３４０ 通信処理部
４１０ 読出部
４１２ 通信処理部
４２０ デコード処理部
４３０ 再視差調整部
４４０ 表示部

Claims (13)

1. 撮像により得られた左眼用画像および右眼用画像の視差調整を行う視差調整部と、
   前記視差調整に関するメタデータを前記左眼用画像および右眼用画像を含む画像データと関連付けるデータ処理部と、
   を備える、視差調整装置。
2. 前記視差調整部は、前記左眼用画像のシフト処理、前記右眼用画像のシフト処理、または、前記左眼用画像および前記右眼用画像の双方のシフト処理により前記視差調整を行う、請求項１に記載の視差調整装置。
3. 前記メタデータは、前記視差調整が行われたか否かを示すデータを含む、請求項１または２に記載の視差調整装置。
4. 前記メタデータは、前記左眼用画像のシフト量、および前記右眼用画像のシフト量を示すデータを含む、請求項３に記載の視差調整装置。
5. 前記視差調整が行われない場合、前記メタデータ中のシフト量を示すためのデータ部分は、他の情報を示すデータを含む、請求項４に記載の視差調整装置。
6. 前記メタデータは、前記左眼用画像および前記右眼用画像のうちで前記視差調整部により前記視差調整が行われた対象画像を示すデータと、前記対象画像のシフト量を示すデータを含む、請求項２に記載の視差調整装置。
7. 前記視差調整部は、前記左眼用画像および前記右眼用画像の双方のシフト処理により前記視差調整を行い、
   前記メタデータは、前記視差調整が行われたか否かを示すデータと、前記左眼用画像および前記右眼用画像のシフト量を示すデータを含む、請求項１に記載の視差調整装置。
8. 左眼用画像および右眼用画像を含む画像データ、および、前記画像データと関連付けられた、前記左眼用画像および前記右眼用画像に対する視差調整に関するメタデータを取得するデータ取得部と、
   前記メタデータに基づいて前記左眼用画像または前記右眼用画像の一領域を抽出する画像抽出部と、
   を備える、画像処理装置。
9. 前記メタデータは、前記左眼用画像および前記右眼用画像に対する前記視差調整が行われたか否かを示すデータを含み、
   前記画像抽出部は、前記視差調整が行われたことを前記メタデータが示す場合には前記抽出を行い、前記視差調整が行われなかったことを前記メタデータが示す場合には前記抽出を行わない、請求項８に記載の画像処理装置。
10. 前記視差調整は、前記左眼用画像のシフト処理、前記右眼用画像のシフト処理、または、前記左眼用画像および前記右眼用画像の双方のシフト処理を含み、
    前記メタデータは、前記左眼用画像のシフト量、および前記右眼用画像のシフト量を示すデータを含み、
    前記画像抽出部は、前記左眼用画像または前記右眼用画像から、前記メタデータが示す前記左眼用画像または前記右眼用画像のシフト量に応じた領域を抽出する、請求項８に記載の画像処理装置。
11. 前記視差調整は、前記左眼用画像および前記右眼用画像の双方のシフト処理であり、
    前記メタデータは、前記視差調整が行われたか否かを示すデータと、前記左眼用画像および前記右眼用画像のシフト量を示すデータを含み、
    前記画像抽出部は、前記左眼用画像または前記右眼用画像から、前記メタデータが示す前記左眼用画像および前記右眼用画像のシフト量に応じた領域を抽出する、請求項８に記載の画像処理装置。
12. 前記抽出部は、前記左眼用画像または前記右眼用画像から、前記左眼用画像または前記右眼用画像の水平方向長から前記左眼用画像および前記右眼用画像のシフト量の幅を減じて得られる水平方向長以下の領域を抽出し、
    前記画像処理装置は、
    前記画像抽出部により抽出された領域を拡大する拡大処理部をさらに備える、請求項１０に記載の画像処理装置。
13. 撮像により得られた左眼用画像および右眼用画像に対する視差調整に関するメタデータ、および、前記左眼用画像および右眼用画像を含む画像データからなる、データフォーマット。
    
    
    

Images