JP6779554B1 - 画像を出力する方法、プログラム及び装置 - Google Patents

Abstract

【課題】複数の画像を組み合わせて処理する画像処理において、１つのレンズで撮影した画像に他のレンズなどが写り込んだ領域がある場合に、その写り込んだ領域を他のレンズで撮影した画像を用いて処理する技術を提供する。【解決手段】本開示の一実施形態は、コンピュータが、立体視画像の撮像に用いられる併設された第１の光学系及び第２の光学系のうちの前記第１の光学系により撮像された第１の画像に変更を加えた画像を出力する方法を提供する。この方法は、前記第１の画像に写り込んだ前記第２の光学系の外形の像に対応した部分画像であって、前記第２の光学系により撮像された画像の一部である部分画像を特定することと、前記第１の画像に基づいて前記部分画像に変換を施した変換画像を取得することと、前記第１の画像の前記像を前記変換画像に置き換えることとを含む。【選択図】図５

Description

本発明は、画像を出力する方法、プログラム及び装置に関する。

従来、２つのカメラで撮影した画像をステレオ視に用いることが行われている。一方、魚眼レンズなどの広角レンズを用いて撮影した画像を用いることで、より広域の情報を得ることができる。そこで、それぞれ広角レンズを備える複数のカメラで撮影した画像を用いて、ステレオ視を得る、又は、３次元情報を得ることが提案されている。

特許文献１は、それぞれ魚眼レンズを有する３つ以上のカメラを用いて３次元位置を算出する撮像装置を開示する。この撮像装置では、各カメラのレンズの直径は概ね同じであり、光軸中心を互いに平行にかつ隣り合う２つのレンズが近接して、それらのカメラが配置される。視野角が１８０°ある魚眼レンズを有する複数のカメラ、例えば第１カメラと第２カメラとを近接して配置することで、第１カメラのレンズや本体が、第２カメラで撮影した画像に写り込む。そこで、特許文献１の撮像装置では、この写り込んだ領域の画素の全てにおいて、各画素値を、他の複数の画像の画素値から算出した平均画素値を用いて補完する。

特開２０１５−１３３６９１号公報

上記特許文献１の技術では、３つ以上のカメラを用いることで、複数点の三次元位置を算出することを主眼としている。映画、風景などの動画を簡便に３Ｄゴーグルなどに違和感なく表示させ、かつコスト面などを考慮して、最小限の２つのカメラで撮影した画像を用いて、上記写り込んだ領域の処理を行うことが望まれる。開示の技術は、２つのカメラで撮影した画像を組み合わせて処理する画像処理において、１つのカメラで撮影した画像に他のカメラのレンズなどが写り込んだ領域がある場合に、その写り込んだ領域を他のレンズで撮影した画像を用いて適切に置き換えることで、より違和感のない映像を取得するように処理する技術を提供することを目的とする。

本発明の実施形態の一態様は、コンピュータが立体視画像の撮像に用いられる併設された第１の光学系及び第２の光学系のうちの前記第１の光学系により撮像された第１の画像に変更を加えた画像を出力する方法によって例示される。本方法は、前記第１の画像に写り込んだ前記第２の光学系の外形の像に対応した部分画像であって、前記第２の光学系により撮像された画像の一部である部分画像を特定することと、前記第１の画像に基づいて前記部分画像に変換を施した変換画像を取得することと、前記第１の画像の前記像を前記変換画像に置き換えることとを含む。

本発明の実施形態の他の態様は、上記方法をコンピュータに実行させる画像出力プログラムによっても例示される。さらにまた、本発明の実施形態の更なる他の態様は、上記方法により生産された画像を記憶した記憶媒体を生産する方法によっても例示される。さらに、本発明の実施形態の更なる別の他の態様は、上記方法により生産された画像を含む映像を生産する方法によっても例示される。

開示の技術によれば、２つのカメラで撮影した画像を組み合わせて処理する画像処理において、１つのカメラで撮影した画像に他のカメラのレンズなどが写り込んだ領域がある場合に、その写り込んだ領域を他のレンズで撮影した画像を用いて適切に置き換えることで、より違和感のない映像を取得することが可能になる。

図１は、第１の実施形態に係る映像システムの構成を示す概略構成図であり、その制御構成を示すブロック図である。 図２は、図１の映像システムにおいて併設された２つのカメラで撮影した画像フレームの一例を示す。 図３は、図２の画像フレームを分解して表した模式図であり、図３Ａは図２の左側の画像の各領域を示す模式図であり、図３Ｂは図２の右側の画像の各領域を示す模式図である。 図４は、図１の映像システムでの２つのカメラの一方で撮影した画像を、他方のカメラで撮影した画像の一部を用いて変更する流れを概念的に示す模式図であり、図４Ａは一方のカメラで撮影した画像を示し、図４Ｂは一方のカメラで撮影した画像への他方のカメラの写り込み領域に対応する、他方のカメラで撮影した画像の部分画像を示す図であり、図４Ｃは図４Ｂの部分画像を用いて一方のカメラで撮影した画像の写り込み領域を置換するところを示す図であり、図４Ｄは図４Ｃでの置換後の一方のカメラで撮影した画像を示す図であり、図４Ｅは図４Ａないし図４Ｃと同様の処理を他方のカメラで撮影した画像に適用した後の画像を示す図である。 図５は、図４Ｂの部分画像の処理を説明するための模式図であり、図５Ａは写り込み領域の一部の境界線と部分画像の一部の境界線を示す。図５Ｂは写り込み領域のその境界線に合わせるように部分画像のその境界線を歪曲させるところを示す。図５Ｃは、部分画像が不自然に画像合成された例を示す。図５Ｄは、部分画像を歪曲させることにより、自然な画像合成の例を示す図である。 図６は、図１の映像システムの画像出力装置での処理のフローチャートである。 図７は、図１の映像システムの画像出力装置での、オペレータからの指示に基づく処理のフローチャートである。 図８は、第２の実施形態に係る映像システムの構成を示す概略構成図であり、その制御構成を示すブロック図である。 図９は、第３の実施形態に係る映像システムの構成を示す概略構成図であり、その制御構成を示すブロック図である。 図１０Ａから図１０Ｅは、２つのカメラの設定のずれの具体例を説明する図である。 図１１は、第４の実施形態に係る映像システムの構成を示す概略構成図であり、その制御構成を示すブロック図である。

以下、本発明に係る実施形態を添付図に基づいて説明する。同一の部品（又は構成）には同一の符号を付してあり、それらの名称及び機能も同じである。したがって、それらについての詳細な説明は繰返さない。

なお、本明細書においては、画像に関連して、「領域」という語と「部分画像」或いは単に「画像」という語が用いられているが、これらの語は、画像の領域を示す語であり同義の語とし用いられている点に留意すべきである。

図１は、第１の実施形態に係る、画像編集装置１０を含む映像システムＳ１の構成を示す図である。映像システムＳ１は、ステレオ視画像つまり立体視画像を提供することができる。

画像編集装置１０は、情報処理装置つまりコンピュータである。画像編集装置１０は、制御部２０を備える。制御部２０は、立体視画像の撮像に用いられる併設された２つの光学系により撮影された画像に変更を加えて、変更後のつまり修正済みの画像を出力する。２つの光学系は、２つのカメラ１２、１４を備え、第１のカメラ１２の第１の光学系と、第２のカメラ１４の第２の光学系とからなる。第１のカメラ１２と第２のカメラ１４とを備えて、カメラユニット１６は構成されている。制御部２０は、これらの光学系により撮影された画像つまり画像フレーム（図２参照）を処理して、例えば立体視画像をもたらすことができる。ここでは、２つのカメラ１２、１４の各々のレンズ１２Ｌ、１４Ｌは魚眼レンズであり、視野角が略１８０°ある。しかし、レンズ１２Ｌ、１４Ｌはそのような魚眼レンズに限定されず、種々の広角レンズ、例えば視野角が１５０°のレンズ又は視野角が２００°のレンズであってもよい。ここでは、レンズ１２Ｌ、１４Ｌの直径は概ね同じである。カメラ１２、１４は、図１に模式的に示すように、光軸中心を互いに平行にかつ隣り合う２つのレンズが近接して、配置される。なお、カメラユニット１６は、画像編集装置１０に有線でつながっても、無線で、例えばネットワークＮを介してつながってもよい。

カメラ１２、１４は、ドラマなどの映像を撮影するために、車両の外部を撮影するために、或いは、コンサートなどのイベントの映像を撮影するために、撮影装置として設置されることができる。カメラ１２、１４としては、Charged-Coupled Devices（ＣＣＤ）、Metal-Oxide-Semiconductor（ＭＯＳ）あるいはComplementary Metal-Oxide-Semiconductor（ＣＭＯＳ）等のイメージセンサを用いた撮影装置が用いられ得る。

制御部２０は、画像編集装置１０の作動などを制御する制御手段の一例である。制御部２０は、ＣＰＵと、主記憶部とを有し、プログラムにより情報処理を実行する。ＣＰＵはプロセッサともいう。ただし、ＣＰＵは、単一のプロセッサに限定される訳ではなく、マルチプロセッサ構成であってもよい。また、単一のソケットで接続される単一のＣＰＵがマルチコア構成を有していてもよい。上記各部の少なくとも一部の処理は、ＣＰＵ以外のプロセッサ、例えば、Digital Signal Processor(ＤＳＰ)、Graphics Processing Unit（ＧＰＵ）等の専用プロセッサで行われてもよい。また、上記各部の少なくとも一部の処理は、集積回路（ＩＣ）、その他のディジタル回路であってもよい。また、上記各部の少なくとも一部にアナログ回路が含まれてもよい。制御部２０の主記憶部は主記憶装置の一例である。制御部２０におけるＣＰＵは、その主記憶部に実行可能に展開されたコンピュータプログラムを実行し、各種機能を提供する。制御部２０における主記憶部は、ＣＰＵが実行するコンピュータプログラム及び／又はデータ等を記憶する。制御部２０における主記憶部は、Dynamic Random Access Memory（ＤＲＡＭ）、Static Random Access Memory（ＳＲＡＭ）、Read Only Memory（ＲＯＭ）等である。

制御部２０は、記憶部２２と接続されている。記憶部２２は、所謂外部記憶部であり、制御部２０の主記憶部を補助する記憶領域として使用され、制御部２０のＣＰＵが実行するコンピュータプログラム及び／又はデータ等を記憶する。記憶部２２は、ハードディスクドライブ、Solid State drive（ＳＳＤ）等である。ここでは、記憶部２２に、後述する機能モジュールを実現する画像出力プログラムが記憶されている。

画像編集装置１０は、更に、通信部２４を備えている。通信部２４を介して、画像編集装置１０は、インターネット等のネットワークＮに接続し、外部の装置（例えば画像出力装置４０）と通信可能である。

制御部２０は、画像取得部２００１、特定部２００２、変換部２００３、置換部２００４、指示調整部２００５、出力部２００６の各機能モジュールを含む。変換部２００３は、色彩処理部２００７及び歪曲処理部２００８の各機能モジュールを含む。各機能モジュールは、例えば、主記憶部及び／又は記憶部２２に記憶されたプログラムを、特に画像出力プログラムを、制御部２０つまりそのうちのＣＰＵによって実行することで実現される。ただし、機能モジュールの一部は、他のプロセッサ、ディジタル回路、またはアナログ回路等のハードウェアであってもよい。各機能モジュールは、部、機能部又は手段と言い換えることができる。

画像取得部２００１は、カメラ１２、１４で撮影した画像を含む画像フレームを取得する。第１のカメラ１２により撮影された第１の画像と、第２のカメラ１４により撮影された第２の画像は統合されて一体的な画像フレームＦを構成することができる。画像フレームＦは、記憶部２２の元データ領域２２０１に記憶される。

ここで、第１の画像と第２の画像とを一体的に含む画像フレームＦの一例を図２に示す。画像フレームＦは、第１の画像Ｐ１２と第２の画像Ｐ１４とを含む。画像フレームＦでは、第１の画像Ｐ１２の右側に第２の画像Ｐ１４が位置付けられている。これらの画像Ｐ１２、Ｐ１４の位置関係は、カメラユニット１６の第１のカメラ１２と第２のカメラ１４との位置関係に従う。なお、第１の画像Ｐ１２と第２の画像Ｐ１４との取扱いは、上記の例に限定されない。

図２の第１の画像Ｐ１２及び第２の画像Ｐ１４のそれぞれにおいて、周囲の黒部分は非撮影領域であり、非撮影領域の内側の略円形の部分は撮影領域であり、撮影領域の一部に写り込み領域がある。

図３は、図２の画像フレームを分解して表した模式図であり、図３Ａは図２の左側の画像の各領域を示す模式図であり、図３Ｂは図２の右側の画像の各領域を示す模式図である。図２の画像Ｐ１２、Ｐ１４のそれぞれにおける非撮影領域、撮影領域及び写り込み領域は、それぞれが模式図である図３Ａ及び図３Ｂの画像の領域Ａ、Ｂ及びＣのそれぞれに対応する。

図２、図３Ａ、図３Ｂに示すように、第１の光学系の第１のカメラ１２のレンズ１２Ｌ及び第２の光学系の第２のカメラ１４のレンズ１４Ｌはそれぞれ魚眼レンズであり、前述のように配置されているので、第１の画像Ｐ１２には、第２の光学系のカメラ１４及び／又はレンズ１４Ｌなどが映り込んだ領域Ｃがあり、第２の画像Ｐ１４には、第１の光学系のカメラ１２及びレンズ１２Ｌなどが映り込んだ領域Ｃがある。これらの映り込み領域Ｃは立体視画像の生成にとって好ましくなく、これを実質的に正規の画像（写り込んだ領域がない場合の画像）にするように修正変更を加えることが望まれる。そこでその変更用に、制御部２０は特定部２００２、変換部２００３、置換部２００４の各機能モジュールを備える。以下では、特段断らない限り、画像フレームＦのうちの、第１の光学系の第１のカメラ１２により撮影された第１の画像Ｐ１２の変更を一例として各機能部の説明などを行い、第２の光学系の第２のカメラ１４により撮影された第２の画像Ｐ１４の変更についての重複説明を省略する。

特定部２００２は、一方の光学系により撮影された画像に写り込んだ他方の光学系の外形の像に対応した部分画像であって、他方の光学系により撮像された画像の一部である部分画像を特定することを実行する。具体的には、特定部２００２は、第１の光学系により撮影された第１の画像Ｐ１２に写り込んだ第２の光学系の外形の像に対応した部分画像Ｄであって、第２の光学系により撮像された画像Ｐ１４の一部である部分画像Ｄを特定する。なお、第１の画像Ｐ１２に写り込んだ第２の光学系の外形の像は、第１の画像Ｐ１２の上記写り込み領域Ｃの部分画像に相当する。

図４Ａに、第１の光学系により撮影された第１の画像Ｐ１２の模式図（図３Ａ参照）を示す。図４Ａの第１の画像Ｐ１２には、写り込み領域Ｃが右端、つまり第２の光学系側にある。この第１の画像Ｐ１２の写り込み領域Ｃに相当する部分画像Ｄは第２の画像Ｐ１４では第２の画像Ｐ１４の写り込み領域Ｃに重ならず、第２の画像Ｐ１４の模式図（図３Ｂ参照）に相当する図４Ｂの部分画像Ｄに対応する。

図４Ａの第１の画像Ｐ１２の写り込み領域Ｃに対する第２の画像Ｐ１４の部分画像Ｄを特定することを、特定部２００２は行う。特定部２００２による部分画像Ｄの特定は、第１の画像Ｐ１２及び第２の画像Ｐ１４をそれぞれ画像解析することで行われてもよい。画像解析は、学習済み機械学習モデルが用いられてもよい。あるいは、第１の光学系及び第２の光学系の種類に対応して予め定められた領域の情報を部分画像Ｄの領域と定めることを、特定部２００２は行ってもよい。つまり、予め第１の光学系と第２の光学系の特性を調べておいて、その特性データに基づいて演算処理することで部分画像Ｄが特定されてもよい。

本実施形態では、予め第１の光学系と第２の光学系の特性を調べておいて、その特性データが記憶部２２の特性領域２２０２に記憶されている。特定部２００２は、特性領域２２０２の特性データに基づいて演算処理することで部分画像Ｄを特定する。こうして特定される部分画像Ｄは、第２の光学系つまり第２のカメラ１４が存在しないとした場合に、第１の画像Ｐ１２に含まれることとなる画像を形成する元となる被写体を撮像した画像を含む。なお、部分画像Ｄの特定は他の方法により行われてもよい。

変換部２００３は、変更される画像に基づいて部分画像に変換を施した変換画像を取得することを実行する。具体的には、変換部２００３は、第１の画像Ｐ１２に基づいて、第２の画像Ｐ１４の部分画像Ｄに変換を施した変換済みの部分画像Ｄ１を取得する。変換部２００３の色彩処理部２００７は、第１の画像Ｐ１２における第２の光学系の外形の像つまり写り込み領域Ｃの近傍の画像の色相、明度又は彩度に基づいて、第２の画像Ｐ１４の部分画像Ｄの色相、明度又は彩度を変更することを実行する。このようにすることによって、第１の画像Ｐ１２と、第２の画像Ｐ１４の部分画像Ｄとが、違和感なく合成される。

変換部２００３の歪曲処理部２００８は、第１の画像Ｐ１２における第２の光学系の外形の像つまり写り込み領域Ｃの近傍の画像と、第２の画像Ｐ１４の部分画像Ｄとが滑らかに接続されるように部分画像Ｄを歪曲させることを実行する。このようにすることによって、第１の画像Ｐ１２と、第２の画像Ｐ１４の部分画像Ｄとが、滑らかに合成される。

色彩処理部２００７は、変更の対象となっている第１の画像Ｐ１２における写り込み領域Ｃの近傍の画像の色相、明度又は彩度に基づいて、変換後の部分画像Ｄ１を当て嵌めたときに所定の一体感又は連続性を、それを見た者に抱かせるように所定のプログラムに従って部分画像Ｄの色相、明度又は彩度を変更する。

歪曲処理部２００８は、特性領域２２０２に記憶されている第１の光学系と第２の光学系の特性、例えば視野域のずれなどを考慮し、部分画像Ｄを歪曲させる。ここでは、特性領域２２０２に記憶されている第１の光学系と第２の光学系の特性に基づいてこれらの変換処理は実行される。しかし、これらの変換処理つまり色彩処理及び／又は歪曲処理は、第１の光学系の第１の画像Ｐ１２及び第２の光学系の第２の画像Ｐ１４と、それらを用いた手作業などでの変換処理後の画像データとを教師データとして学習した人工知能により実行されてもよい。

置換部２００４は、第１の画像Ｐ１２の前述の第２の光学系の像つまり写り込み領域Ｃを、変換部２００３により変換された部分画像つまり変換済みの部分画像Ｄ１に置き換えることを実行する。図４Ｃに示すように、第１の画像の写り込み領域Ｃを、変換済みの部分画像Ｄ１に置き換えること、つまり、画像Ｂと部分画像Ｄ１との画像合成が実行される。既に、変換部２００３により色彩処理と歪曲処理とが部分画像Ｄに対してなされて変換済みの部分画像Ｄ１が作成されているので、ここでの置き換えは単に変換済みの部分画像Ｄ１を嵌め込むことで成し遂げることができる。これにより、第１の画像Ｐ１２は、修正変更されて、第２の光学系が無かったとしたときの画像と略同じ自然な画像Ｐ１２ｍとなることができる（図４Ｄ参照）。

図４Ｅは、図４Ａないし図４Ｃと同様の処理を他方のカメラ１４で撮影した画像Ｐ１４に適用して変更した後の第２の画像Ｐ１４ｍを示す図である。画像フレームＦｍは、変更後の第１の画像Ｐ１２ｍと変更後の第２の画像Ｐ１４ｍとを含む。

ここで、歪曲処理部２００８による部分画像Ｄの歪曲処理について、図５に基づいて説明する。

図５Ａは、第１の画像Ｐ１２における写り込み領域Ｃの一部の境界線Ｐ１２Ｌと、それに対応する第２の画像Ｐ１４における部分画像Ｄの一部の境界線ＤＬとを並べて示す。図５Ａから、第２の画像Ｐ１４における部分画像Ｄを、第１の画像Ｐ１２における写り込み領域Ｃに当て嵌めようとしても、ずれがあり、置換する場合に連続性に問題があることが理解できよう。この問題を解消するべく、部分画像Ｄの境界線ＤＬを、特に図５Ａで破線の円で囲んだ境界線ＤＬの部分を、図５Ｂに示すように写り込み領域Ｃの境界線Ｐ１２Ｌに適合させるように部分画像Ｄ全体を矢印Ｙ１方向に歪曲させる処理を、歪曲処理は実行する。この処理のために、特性領域２２０２に記憶されている変換行列式などが用いられ得る。

図５Ｃは、画像Ｂに存在する木Ｔと、部分画像Ｄ１ａに存在する木Ｔａとの境において、画像合成のずれが生じている例を示している。この場合、部分画像Ｄ１ａを矢印Ｙ２方向に拡大するように歪曲処理を施して部分画像Ｄ１ｂとすることにより、画像Ｂに存在する木Ｔと部分画像Ｄ１ｂに存在する木Ｔｂとが滑らかに接続される。

以上のような部分画像Ｄ１への歪曲処理は、画像Ｂと部分画像Ｄ１ａのペアに対して、画像Ｂとオペレータが歪曲処理を施した部分画像Ｄ１ｂのペアを教師データとして、機械学習プロセスを通して機械学習モデルに学習を行わせることで学習済モデルを構築することによっても、達成することができる。

また、部分画像Ｄ１の領域が画像Ｂの領域に重なるように、部分画像Ｄの境界線ＤＬを画像Ｂ側にややシフトさせることで、部分画像Ｄ１の領域をやや拡大してもよい。この場合、部分画像Ｄ１の境界ＤＬの近傍の透明度が、画像Ｂの方向に滑らかに高くなるようにすることによって、画像Ｂと部分画像Ｄ１とが滑らかに接続されるようにしてもよい。

上述のように、第２の光学系により撮影された第２の画像Ｐ１４に関しても、第１の画像Ｐ１２を用いて同様の修正変更が行われる。これにより、変更後の第１の画像Ｐ１２ｍと変更後の第２の画像Ｐ１４ｍとを備える変更後の画像フレームＦｍを得ることができる（図４参照）。変更後の画像フレームは、記憶部２２の処理済み領域２２０３に記憶される。なお、この変更後の画像フレームは、連続的に記憶されて、例えば３０画像フレーム／秒で立体映像の提供に用いられるとよい。

なお、ある画像フレームに施された変換を他の画像フレームに施してもよい。或いは、映像のシーンを解析し、略同じシーンに含まれる画像フレームに対しては、そのシーンの１つの画像フレームに適用した変換を他の画像フレームに適用するようにしてもよい。

指示調整部２００５は、オペレータから画像出力装置４０などを介して指示を受け取り、その指示に応じた画像調整を行う。例えば、オペレータは変更後の画像フレームを用いて立体映像を見たときに、その映像に違和感を覚えたとき、修正の指示を画像出力装置４０から画像編集装置１０に送信することができる。このためのアプリケーションプログラムが画像出力装置４０にインストールされている。この修正の指示は、部分画像Ｄの領域を拡大又は縮小する指示に相当する。そこで、画像編集装置１０の制御部２０の指示調整部２００５は、修正の指示を受け取ると、その指示に応じて部分画像Ｄの領域を拡大又は縮小する指令を作成し、特定部２００２に送信する。これにより、特定部２００２は初期設定により定まる部分画像Ｄではなく、指令に基づいて定まる部分画像Ｄを特定することができる。修正の指示は、単に「修正」という指示でもよく、この場合、まず一方に例えば拡大する側に修正を行い、更に修正の指示を受けたときに初期設定よりも縮小する側に修正を行ってもよい。修正の指示の段階で、拡大又は縮小に相当する値をオペレータが選択可能であってもよい。なお、画像出力装置４０は、所謂ユーザ端末つまりコンピュータであり、携帯電話、スマートフォン、車載器などであり得、ＣＰＵなどの制御部、記憶部などを備える。好ましくは、画像出力装置４０は、立体画像の視聴に用いられるゴーグル装置又はそれに準ずる装置であるとよい。

出力部２００６は、変更後の第１の画像Ｐ１２ｍと変更後の第２の画像Ｐ１４ｍとを含む変更後の画像フレームを出力することを実行する。図１の画像出力装置４０の表示部（画面）４０Ｄには、出力部２００６により出力された変更後の画像フレームに基づいて再生された立体視画像が表示され得る。

ここで、制御部２０による上記画像処理を図６のフローチャートに基づいて更に説明する。なお、ステップＳ６０１は画像取得部２００１での処理ステップであり得、ステップＳ６０３は特定部２００２での処理ステップであり得、ステップＳ６０５は変換部２００３での処理ステップであり得、ステップＳ６０７は置換部２００４の処理ステップであり得、ステップＳ６０９は出力部２００６の処理ステップであるとよい。なお、以下では、第１の画像Ｐ１２についてのみ説明するが、第２の画像Ｐ１４についても同様である。

画像フレームが取得されると（ステップＳ６０１）、その写り込み領域Ｃに対して上記処理が実行される。画像フレームＦの第１の画像Ｐ１２については、同画像フレームＦの第２の画像Ｐ１４において部分画像Ｄを特定することが行われる（ステップＳ６０３）。そして、特定された部分画像Ｄに対して前述の変換処理が行われて、変換済みの部分画像Ｄ１が取得される（ステップＳ６０５）。変換処理は、上記色彩処理及び／又は上記歪曲処理を含む。そして、変換済みの部分画像Ｄ１で第１の画像Ｐ１２の写り込み領域Ｃを置換することが行われる（ステップＳ６０７）。その結果得られた変更後の第１の画像Ｐ１２ｍを含む変更後の画像フレームＦｍは、ここでは画像出力装置４０等に向けて出力される（ステップＳ６０９）。

図７のフローチャートは、図６における部分画像を特定するステップＳ６０３の中で実行され得る処理を示している。

画像出力装置４０を介してオペレータからの指示を受け取ると（ステップＳ７０１）、その指示に応じた部分画像Ｄの拡張又は縮小が実行される（ステップＳ７０３）。これにより特定部２００２で特定される部分画像Ｄの領域を、上述のように拡大したり縮小したりすることができる。また、既に述べたように、部分画像Ｄと画像Ｂとが滑らかに接続されるように、部分画像Ｄと画像Ｂとが重なる部分において、部分画像Ｄの透明度を滑らかに変化させてもよい。

以上説明したように、第１の実施形態の画像編集装置１０によれば、２つの光学系の一方の画像の写り込み領域を他方の画像の部分画像を用いて処理する際に、より自然な画像を得ることができる。

次に、第２の実施形態について説明する。第２の実施形態については、重複説明をできるだけ避けるべく、第１の実施形態との差異を以下で主に説明し、その他の説明を省略する。なお、第２実施形態でも、第１の実施形態と同じように、既に説明した変更等が同様に可能である。

図８に、第２の実施形態の、撮像システムＳ２の構成を示す。撮像システムＳ２は、２つの光学系を備えるカメラユニット１６を備えた画像編集装置１０Ａと、その画像編集装置１０Ａから提供された画像フレームを処理して立体視画像を出力する画像出力装置５０を備える。画像出力装置５０は、本開示の画像出力装置に相当し、上記画像編集装置１０と概ね同じ構成を備える。ただし、画像出力装置５０は、もっぱら立体映像のオーサリングを担当するオペレータが操作する画像出力装置４０と異なり、立体映像を視聴するユーザが用いる装置であり、ここでは特にゴーグル装置である。

画像編集装置１０Ａには、第１のカメラ１２と第２のカメラ１４とを備えるカメラユニット１６が接続されている。画像編集装置１０Ａは、上記画像編集装置１０と同様に、制御部２０Ａと、記憶部２２Ａと、通信部２４Ａとを備える。制御部２０Ａは上記制御部２０と同様の構成を有し、記憶部２２Ａは上記記憶部２２と同様の構成を有し、通信部２４Ａは上記通信部２４と同様の構成を有する。制御部２０Ａは、画像取得部２００１と、送信部２０１０との各機能モジュールを備える。各機能モジュールは、例えば、主記憶部及び／又は記憶部２２Ａに記憶されたプログラムを制御部２０ＡつまりそのうちのＣＰＵによって実行することで実現される。

制御部２０Ａの画像取得部２００１は、カメラユニット１６により撮影された第１の画像Ｐ１２と第２の画像Ｐ１４とを含む画像フレームＦを取得する。そして、送信部２０１０はその画像フレームを、ネットワークＮを介して画像出力装置５０に送信する。画像取得部２００１は記憶部２２Ａの元データ領域２２０１に取得した画像フレームを記憶することができる。なお、画像フレームは、ネットワークに代えて、記憶媒体を介して画像出力装置５０に提供されてもよいことは言うまでもない。この点は、既に述べた他の実施形態においても同様である。

画像出力装置５０は、コンピュータとしての構成を備え、制御部２０Ｂと、記憶部２２Ｂと、通信部２４Ｂとを備える。制御部２０Ｂは上記制御部２０と同様の構成を有し、記憶部２２Ｂは上記記憶部２２と同様の構成を有し、通信部２４Ｂは上記通信部２４と同様の構成を有する。制御部２０Ｂは、画像取得部２００１、特定部２００２、変換部２００３、置換部２００４、指示調整部２００５、出力部２００６の各機能モジュールを含む。制御部２０Ｂの変換部２００３は、色彩処理部２００７及び歪曲処理部２００８の各機能モジュールを含む。各機能モジュールは、例えば、主記憶部及び／又は記憶部２２Ｂに記憶されたプログラム（例えば画像出力プログラム）を制御部２０ＢつまりそのうちのＣＰＵによって実行することで実現される。

画像出力装置５０は、更に画像フレーム（図２参照）を表示する表示部５０Ｄを備える。表示部５０Ｄは、立体視画像を表示するゴールグル型モニタを備える。画像出力装置５０は、更に入力部５０Ｉを備え、ユーザからの指示を入力することができる。ユーザからの指示は、制御部２０Ｂの指示調整部２００５により取得される。なお、入力部５０Ｉは、リモートコントローラであってもよく、またアイドラッキング機能部など体の一部（例えば目）の動きで入力する機能部を含んでもよい。この場合、この機能部は、制御部２０Ｂによって実現されるとよい。

画像出力装置５０の制御部２０Ｂの画像取得部２００１は、画像編集装置１０から送信された画像フレームＦを取得する。これにより、制御部２０Ｂは上記機能モジュールを備えるので、第１の実施形態の画像編集装置１０と同様に、画像取得部２００１、特定部２００２、色彩処理部２００７及び歪曲処理部２００８を含む変換部２００３、置換部２００４及び／又は指示調整部２００５の各々の上記処理を行い、変更後の画像Ｐ１４ｍを含む変更後の画像フレームを生成することができる。そして、制御部２０Ｂの出力部２００６は、生成した処理済み画像フレームＦｍを表示部５０Ｄに出力する。

このように、画像編集装置１０で画像フレームを処理するのではなく、画像出力装置５０において、撮影した画像Ｐ１２、Ｐ１４を含む、レンズなどが映りこんだ画像フレームを処理して、変更後の画像フレームを出力してもよい。そして、その画像フレームを用いて立体映像を提供することができる。

なお、上記実施形態で用いたカメラユニット１６は、２つのカメラ１２、１４が当初から一体的に統合されたユニットである。しかし、カメラユニット１６は、２つの独立したカメラを並べて設置することで構成されてもよい。この場合についての第３の実施形態を、次に説明する。

第３の実施形態についても、重複説明をできるだけ避けるべく、第１の実施形態との差異を以下で主に説明し、その他の説明を省略する。なお、第３の実施形態でも、第１の実施形態と同じように、既に説明した変更等が同様に可能である。

図９は、第３の実施形態の映像システムＳ３の構成を示す図である。映像システムＳ３は、カメラユニット１６Ａからの画像を取得して編集する画像編集装置１０Ｂを含み、カメラユニット１６Ａの構成及び画像編集装置１０Ｂの機能の点で、第１の実施形態の映像システムＳ１と相違する。

カメラユニット１６Ａは、独立した２つのカメラをそれぞれ所定位置に取り付けることで、２つの光学系を備えることができる。カメラユニット１６Ａは、ホルダー１６Ｈを備える。そのホルダー１６Ｈの第１ホルダー部に第１のカメラ１２Ａがねじ等の機械的接続手段で設置及び固定され、同様に、ホルダー１６Ｈの第２ホルダー部に第２のカメラ１４Ａがねじ等の機械的接続手段で設置及び固定される。カメラ１２Ａ、１４Ａは独立したカメラであること以外、カメラ１２、１４のそれぞれと同じ構成を備える。

ホルダー１６Ｈは、カメラ１２Ａ、１４Ａを並列配置し、よって立体視野像を得るのに適する画像を取得するように、設計されている。つまり、カメラユニット１６Ａのホルダー１６Ｈは、そこに設置されたカメラ１２Ａ、１４Ａを、第１及び第２の実施形態のカメラ１２、１４と同じように一体的に機能させることを可能にするように形成された第１及び第２のホルダーの位置関係、寸法などを有する。

図１０Ａに、カメラ１２Ａの光軸のベクトルＶ１２とカメラ１４Ａの光軸のベクトルＶ１４との関係を示す。なお、図１０Ａにおいて、ベクトルＶｂは、カメラ１２Ａの光軸のベクトルＶ１２とカメラ１４Ａの光軸のベクトルＶ１４のそれぞれの始点を通るベクトルである。

図１０Ｂは、カメラ１４Ａの光軸のベクトルＶ１４とベクトルＶｂとで形成される仮想的な平面Ｈ１２が示されている。

図１０Ｃは、カメラ１２Ａの光軸のベクトルＶ１２が、平面Ｈ１２上に存在し、かつカメラ１２Ａの光軸のベクトルＶ１２とカメラ１４Ａの光軸のベクトルＶ１４とが、略平行である状態を示している。図１０Ｃの状態で、カメラ１２とカメラ１４Ａとが、映像を撮影することで、違和感のない立体映像が人間に知覚される。

図１０Ｄは、カメラ１２Ａの光軸のばらつきを示す図である。カメラ１２Ａの光軸のベクトルＶ１２ａは、平面Ｈ１２の下側に角度δ１だけ傾いている。このような光軸のベクトルＶ１２ａを有する場合、カメラ１２Ａとカメラ１４Ａとで撮影された映像は、人間の左右の目による知覚を混乱させることがあるため、人間にとって、違和感を抱かせる映像となってしまうことがある。また、カメラ１２Ａの光軸のベクトルＶ１２が平面Ｈ１２上に存在するものの、内側に角度δ２だけ傾いたベクトルＶ１２ｂが示されている。カメラ１２Ａがこのような光軸のベクトルＶ１２ｂを有する場合、カメラ１２Ａとカメラ１４Ａとで撮影された映像は、人間の左右の目による知覚を混乱させることは少ないものの、一方の画像において他方のレンズの映り込みの領域がより大きくなるため、この点において好ましいものではない。なお、ベクトルのずれは、以上の例に限定されるものではない。

したがって、図１０Ｄに示されるようなカメラ１２Ａの光軸のベクトルＶ１２ａ又はベクトルＶ１２ｂが存在する場合には、カメラ１２Ａ及びカメラ１４Ａとの物理的な位置関係を、映像の撮影の開始の前において、予め調整しておくように、カメラの操作者に促すことが望ましい。

図１０Ｅは、カメラ１２Ａの光軸のベクトルＶ１２が、平面Ｈ１２上に存在し、かつカメラ１２Ａの光軸のベクトルＶ１２とカメラ１４Ａの光軸のベクトルＶ１４とが、略平行である状態を示している。しかしながら、平面Ｈ１２は水平線Ｈを含まないため、平面Ｈ１２が水平面を形成していない。図１０Ｅの状態で、カメラ１２Ａとカメラ１４Ａとが、映像を撮影する場合には、人間にとってそれほど違和感のない立体映像が人間に知覚されるが、同じ被写体に対する左右の映像に高低差が発生する場合がある。この場合には、予めカメラ１２Ａとカメラ１４Ａとの総体的な上下関係を調整するか、ベクトルＶｂが水平となるように調整することが望ましい。撮影された後であれば、左右の映像の高低差を是正するように、映像の誤差を調整することが望ましい。

このように、図１０Ｅに示した状態の場合には、ホルダー１６Ｈへのカメラ１２Ａ、１４Ａの取付誤差が存在することがある。カメラ１２Ａのレンズの光軸のベクトルＶ１２と、カメラ１４Ａのレンズの光軸のベクトルＶ１４とは、略平行であってもカメラのこの取り付け状態によって垂直方向に誤差が存在することがある。この誤差を上記画像処理に反映させるように、画像編集装置１０Ｂの制御部２０は、上記機能モジュール２００１〜２００８に加えて、更に機能モジュールであるキャリブレーション部２００９を備える。これらの機能モジュールの各々は、例えば、主記憶部及び／又は記憶部２２に記憶されたプログラムを、特に画像出力プログラムを、制御部２０つまりそのうちのＣＰＵによって実行することで実現される。ただし、機能モジュールの一部は、例えばキャリブレーション部２００９は、他のプロセッサ、ディジタル回路、またはアナログ回路等のハードウェアであってもよい。

カメラ１２Ａ、１４Ａで撮影した画像には、第１及び第２の実施形態のカメラ１２、１４で撮影した画像と同様に、図９でのそれらの上下のずれなどが生じる。この他、図１０に示したように、カメラ１２Ａ、１４Ａで撮影した画像には、カメラ１２Ａ、１４Ａの相対的な位置ずれ、各カメラ１２Ａ、１４Ａの姿勢のゆがみなどに起因したずれ（以下、「カメラずれ」という。）も生じ得る。そこで、キャリブレーション部２００９は、画像編集装置１０Ｂの起動時など所定の時期に、作動し、そのカメラずれを補正する。ここでは、キャリブレーション部２００９は、所定の時期にのみ作動して、以下の補正値を算出し、その補正値を継続して特定部２００２及び／又は変換部２００３に使用させる。しかし、キャリブレーション部２００９は、ユーザからのキャリブレーション希望入力に従い作動してもよい。そして、キャリブレーション部は、ユーザに対して、カメラの位置を修正するよう促してもよい。

キャリブレーション部２００９は、所定の時期に、画像取得部２００１が取得したカメラ１２Ａ、１４Ａで撮影した画像を含む画像フレームを取得し、第１のカメラ１２Ａにより撮影された画像と、第２のカメラ１４Ａにより撮影された画像とを比べて、補正値を算出する。まず、キャリブレーション部２００９は、第１のカメラ１２Ａにより撮影された画像と、第２のカメラ１４Ａにより撮影された画像とにおいて、共通の特異点を、好ましくは複数の、更に好ましくは３つ以上の特異点を同定する。これは、既知の画像認識技術により行われ得る。そして、その特異点のずれつまりカメラずれを、カメラユニット１６Ａにおいて初期設定された初期値に近づける、好ましくは一致させるような補正値を算出する。この補正値の算出のためのプログラム及び／又はデータが画像編集装置１０Ｂの記憶部２２に記憶されている。なお、キャリブレーション部２００９は、特異点の代わりに、カメラ１２Ａ、１４Ａにマーカーを表示させて撮影させることで得たマーカー画像部を利用して、その演算を行ってもよい。

キャリブレーション部２００９が算出したカメラずれの補正値は、ここでは、変換部２００３での処理に用いられる。例えば、変換部２００３の歪曲処理部２００８での歪曲処理において用いられる上記変換行列式に、そのカメラずれの補正値は組み込まれる。

カメラずれの補正値は、カメラ１２Ａ、１４Ａのレンズ１２Ｌ、１４Ｌによる明るさの違い、視野域の違いも考慮したものであってもよい。したがって、カメラずれの補正値は、変換部２００３の色彩処理部２００７での処理においても用いられ得る。

なお、キャリブレーション部２００９により算出された補正値は、特定部２００２による部分画像の特定処理にも用いられるとよい。これにより、部分画像の特定される範囲を、最小限にとどめることができ、よって制御部２０による演算処理の負担の軽減を図ることができる。

したがって、第３の実施形態の映像システムＳ３の画像編集装置１０Ｂは、カメラユニット１６Ａで撮影した画像を、カメラ１２Ａ、１４Ａに由来するカメラずれを処理しつつ、画像編集の上記処理を行い、変更後の画像フレームを出力することを実行する。これにより、図９の画像出力装置４０の表示部４０Ｄには、出力された変更後の画像フレームに基づいて再生された立体視画像がより好適に表示され得る。

次に、第４の実施形態について説明する。第４の実施形態については、重複説明をできるだけ避けるべく、第２及び第３の実施形態との差異を以下で主に説明し、その他の説明を省略する。なお、第４の実施形態でも、上記実施形態と同じように、既に説明した変更等が同様に可能である。

図１１に、第４の実施形態の、撮像システムＳ４の構成を示す。撮像システムＳ４は、第３の実施形態で説明したカメラユニット１６Ａと、第２の実施形態で説明した画像編集装置１０Ａと、その画像編集装置１０Ａから提供された画像フレームを処理して立体視画像を出力する画像出力装置５０Ａを備える。画像出力装置５０Ａは、第２の実施形態で説明した画像出力装置５０と、制御部２０Ｂが機能モジュールである上記キャリブレーション部２００９を更に備える点で相違する。

映像システムＳ４の画像編集装置１０Ａは、カメラユニット１６Ａのカメラ１２Ａ、１４Ａで撮影した画像を含む画像フレームを画像出力装置５０Ａに提供する。画像出力装置５０Ａは、第２の実施形態で説明した画像フレームの処理に際して、第３の実施形態で説明したように、キャリブレーション部２００９での処理も実行する。キャリブレーション部２００９は、ここでは、画像出力装置５０Ａでの画像処理の最初の所定の時期にのみ起動し得るが、その他の時期に、例えばユーザからのキャリブレーション希望入力に従い作動してもよい。なお、画像出力装置５０Ａのキャリブレーション部２００９も、上記説明から理解できるように、例えば、主記憶部及び／又は記憶部２２Ｂに記憶されたプログラムを制御部２０ＢつまりそのうちのＣＰＵによって実行することで実現される。

そして、画像出力装置５０Ａのキャリブレーション部２００９で算出したカメラずれの補正値は、特定部２００２での処理及び／又は変換部２００３での処理に用いられ得る。したがって、画像出力装置５０Ａの制御部２０Ｂは、より好適に、変更後の画像フレームを生成することができる。そして、制御部２０Ｂの出力部２００６は、生成した処理済み画像フレームを表示部５０Ｄに出力する。

なお、上記第３及び第４の実施形態で説明したキャリブレーション部２００９による処理は、第１の実施形態の画像編集装置１０での処理及び第２の実施形態での画像出力装置５０での処理のそれぞれに組み込まれてもよい。

上記の４つの実施形態はあくまでも一例であって、本開示はその要旨を逸脱しない範囲内で適宜変更して実施しうる。本開示において説明した処理や手段は、技術的な矛盾が生じない限りにおいて、自由に組み合わせて実施することができる。

また、１つの装置が行うものとして説明した処理が、複数の装置によって分担して実行されてもよい。例えば、コンピュータである画像編集装置１０、１０Ｂ及び画像出力装置５０、５０Ａは１つのコンピュータである必要はなく、複数のコンピュータを備える映像システムとして構成されてもよい。あるいは、異なる装置が行うものとして説明した処理が、１つの装置によって実行されても構わない。コンピュータシステムにおいて、各機能をどのようなハードウェア構成によって実現するかは柔軟に変更可能である。

本開示は、上記の実施形態で説明した機能を実装したコンピュータプログラムをコンピュータに供給し、当該コンピュータが有する１つ以上のプロセッサがプログラムを読み出して実行することによっても実現可能である。このようなコンピュータプログラムは、コンピュータのシステムバスに接続可能な非一時的なコンピュータ可読記憶媒体によってコンピュータに提供されてもよいし、ネットワークを介してコンピュータに提供されてもよい。非一時的なコンピュータ可読記憶媒体は、例えば、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスクドライブ（ＨＤＤ）等）、光ディスク（ＣＤ−ＲＯＭ、ＤＶＤディスク、ブルーレイディスク等）など任意のタイプのディスク、読み込み専用メモリ（ＲＯＭ）、ランダムアクセスメモリ（ＲＡＭ）、ＥＰＲＯＭ、ＥＥＰＲＯＭ、磁気カード、フラッシュメモリ、光学式カード、電子的命令を格納するために適した任意のタイプの媒体を含む。

なお、上記制御部２０又は２０Ｂによる上記処理つまり方法により生産された画像（例えば上記変更後の第１の画像Ｐ１２ｍを含む変更後の画像フレームＦｍ）を画像編集装置１０、１０Ｂ又は画像出力装置５０、５０Ａにおいて記憶媒体に記憶させて、その記憶媒体を例えば流通させることができる。この記憶媒体を生産する方法も、本開示は提供する。この場合の記憶媒体は、上記した種々の記憶媒体であり得る。

また、上記実施形態では、画像処理について説明したが、上記処理済み画像Ｐ１２ｍ、Ｐ１４ｍを含む変更後の画像フレームＦｍを連続して含む映像が画像出力装置４０又は画像出力装置５０、５０Ａで提供される。この映像を生産する方法も本開示は含む。

なお、本明細書及び図面では、広角レンズを用いて結像された画像を略円形で例示し、この画像に対しての処理について説明を行った。しかしながら、略円形で示した画像は、例示であって、この略円形の画像の周辺の部分の画像を拡大するなどして、略四角形などの画像に歪曲させた画像に対して本明細書及び図面で説明した画像処理を同様に適用してもよいことは言うまでもない。

以上の図１から図１１に示す実施形態に関し、さらに以下の付記を開示する。
（付記１）
コンピュータが、
立体視画像の撮像に用いられる併設された第１の光学系及び第２の光学系のうちの前記第１の光学系により撮像された第１の画像に変更を加えた画像を出力する方法であって、
前記第１の画像に写り込んだ前記第２の光学系の外形の像に対応した部分画像であって、前記第２の光学系により撮像された画像の一部である部分画像を特定することと、
前記第１の画像に基づいて前記部分画像に変換を施した変換画像を取得することと、
前記第１の画像の前記像を前記変換画像に置き換えることと
を含む方法。
（付記２）
前記部分画像は、前記第２の光学系が存在しないとした場合に、前記第１の画像に含まれることとなる画像を形成する元となる被写体を撮像した画像を含む、
付記１に記載の方法。
（付記３）
前記変換画像を取得することは、
前記第１の画像における前記第２の光学系の外形の像の近傍の画像の色相、明度又は彩度に基づいて、前記部分画像の色相、明度又は彩度を変更すること
を含む付記１又は付記２に記載の方法。
（付記４）
前記変換画像を取得することは、
前記第１の画像における前記第２の光学系の外形の像の近傍の画像と、前記部分画像とが滑らかに接続されるように前記部分画像を歪曲させること
を含む付記１から３のいずれか１つに記載の方法。
（付記５）
前記部分画像を特定することは、
前記第１の光学系及び第２の光学系の種類に対応してあらかじめ定められた領域の情報を前記部分画像の領域と定めること
を含む付記１から４のいずれか１つに記載の方法。
（付記６）
前記部分画像の領域を拡大又は縮小する指示を、オペレータから受け取ること
を更に有する付記１から５のいずれか１つに記載の方法。
（付記７）
付記１から６のいずれか１つに記載の方法をコンピュータに実行させる画像出力プログラム。
（付記８）
付記７に記載のプログラムをインストールした画像出力装置。
（付記９）
付記１から６のいずれか１つに記載の方法により生産された画像を記憶した記憶媒体を生産する方法。
（付記１０）
付記１から６のいずれか１つに記載の方法により生産された画像を含む映像を生産する方法。

Ｓ１、Ｓ２、Ｓ３、Ｓ４ 映像システム
１０、１０Ａ、１０Ｂ 画像編集装置
５０、５０Ａ 画像出力装置
１２ 第１のカメラ（第１の光学系）
１４ 第２のカメラ（第２の光学系）
１６、１６Ａ カメラユニット
２０、２０Ａ、２０Ｂ 制御部
２２、２２Ａ、２２Ｂ 記憶部
２４、２４Ａ、２４Ｂ 通信部

Claims (11)

1. コンピュータが、
   立体視画像の撮像に用いられる併設された第１の光学系及び第２の光学系のうちの前記第１の光学系により撮像された第１の画像に変更を加えた画像を出力する方法であって、
   前記第１の画像に写り込んだ前記第２の光学系の外形の像に対応した部分画像であって、前記第２の光学系により撮像された画像の一部である部分画像を特定することと、
   前記第１の画像に基づいて前記部分画像に変換を施した変換画像を取得することと、
   前記第１の画像の前記像を前記変換画像に置き換えることと
   を含み、
   前記変換画像を取得することは、
   前記第１の画像における前記第２の光学系の外形の像の近傍の画像の色相、明度又は彩度に基づいて、前記部分画像の色相、明度又は彩度を変更すること
   をむ方法。
2. コンピュータが、
   立体視画像の撮像に用いられる併設された第１の光学系及び第２の光学系のうちの前記第１の光学系により撮像された第１の画像に変更を加えた画像を出力する方法であって、
   前記第１の画像に写り込んだ前記第２の光学系の外形の像に対応した部分画像であって、前記第２の光学系により撮像された画像の一部である部分画像を特定することと、
   前記第１の画像に基づいて前記部分画像に変換を施した変換画像を取得することと、
   前記第１の画像の前記像を前記変換画像に置き換えることと
   を含み、
   前記部分画像を特定することは、
   前記第１の光学系及び第２の光学系の特性データを用いて特定された領域の情報を前記部分画像の領域と定めること
   をむ方法。
3. コンピュータが、
   立体視画像の撮像に用いられる併設された第１の光学系及び第２の光学系のうちの前記第１の光学系により撮像された第１の画像に変更を加えた画像を出力する方法であって、
   前記第１の画像に写り込んだ前記第２の光学系の外形の像に対応した部分画像であって、前記第２の光学系により撮像された画像の一部である部分画像を特定することと、
   前記第１の画像に基づいて前記部分画像に変換を施した変換画像を取得することと、
   前記第１の画像の前記像を前記変換画像に置き換えることと、
   前記部分画像の領域を拡大又は縮小する指示を、オペレータから受け取ることと
   を含む方法。
4. 前記部分画像は、前記第２の光学系が存在しないとした場合に、前記第１の画像に含まれることとなる画像を形成する元となる被写体を撮像した画像を含む、
   請求項１ないし3のうちいずれか１項に記載の方法。
5. 前記変換画像を取得することは、
   前記第１の画像における前記第２の光学系の外形の像の近傍の画像と、前記部分画像とが滑らかに接続されるように前記部分画像を歪曲させること
   を含む請求項１から４のいずれか１項に記載の方法。
6. 前記変換画像を取得することは、
   前記部分画像が前記像の近傍の画像に重なるように前記部分画像の境界を前記像の近傍の前記画像にシフトさせ前記部分画像の前記境界の近傍の透明度を前記像から前記像の外側であって前記像の近傍の前記画像の方向に滑らかに高くなるようにすること
   を含む請求項１から５のいずれか１項に記載の方法。
7. 前記コンピュータが、
   所定の時期に、前記第１の光学系及び前記第２の光学系のそれぞれで撮像された画像を取得して、前記第１の光学系により撮像された画像と、前記第２の光学系により撮像された画像とを比べて、前記第１の光学系と前記第２の光学系とのずれの補正値を算出すること
   を更に含み、
   前記変換は、算出した前記補正値を用いて実行される、
   請求項１から６のいずれか１項に記載の方法。
8. コンピュータが、
   立体視画像の撮像に用いられる併設された第１の光学系及び第２の光学系のうちの前記第１の光学系により撮像された第１の画像に変更を加えた画像を出力する方法であって、
   所定の時期に、前記第１の光学系及び前記第２の光学系のそれぞれで撮像された画像を取得して、前記第１の光学系により撮像された画像と、前記第２の光学系により撮像された画像とを比べて、前記第１の光学系と前記第２の光学系とのずれの補正値を算出することと、
   前記第１の画像に写り込んだ前記第２の光学系の外形の像に対応した部分画像であって、前記第２の光学系により撮像された画像の一部である部分画像を特定することと、
   算出した前記補正値を用いつつ、前記第１の画像に基づいて前記部分画像に変換を施して、変換画像を取得することと、
   前記第１の画像の前記像を前記変換画像に置き換えることと
   を含む、方法。
9. 請求項１から８のいずれか１項に記載の方法をコンピュータに実行させる画像出力プログラム。
10. 請求項９に記載のプログラムをインストールした画像出力装置。
11. 請求項１から８のいずれか１項に記載の方法により前記画像を生産する方法。