JP6155471B2 - 画像生成装置、撮像装置および画像生成方法 - Google Patents

Description

本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に関する。

特許文献１は、主撮像部と従撮像部とを備え、３Ｄ画像を生成するデジタルカメラを開示する。このデジタルカメラは、主撮像部から得られる主画像信号と従撮像部から得られる従画像信号との間に生じる視差を抽出する。そして、抽出した視差に基づき、主画像信号から新たな従画像信号を生成し、主画像信号と新たな従画像信号とで３Ｄ画像を生成する。

特許文献２は、左右の撮影倍率が異なった状態でステレオ撮影を行うことができるステレオカメラを開示する。このステレオカメラは、第１の画像データを生成する第１の撮像手段と、第１の画像データよりも画角が広い第２の画像データを生成する第２の撮像手段とを有する。そして、第２の画像データから、第１の画像データに対応する範囲を第３の画像データとして切り出し、第１の画像データと第３の画像データとでステレオ画像データを生成する。

また、特許文献１、２は、主撮像部（第１の撮像手段）は光学ズーム機能を備え、従撮像部（第２の撮像手段）は光学ズーム機能を備えず電子ズーム機能を備えた構成を開示している。

特開２００５−２０６０６号公報 特開２００５−２１０２１７号公報

本開示は、光学的特性および撮像素子の仕様が異なる一対の撮像部で撮像される一対の画像または動画から、品質の良い立体視用の画像または動画を得るのに有効な画像生成装置および撮像装置を提供する。

本開示の画像生成装置は、画角合わせ部と、補間画素生成部と、視差情報生成部と、画像生成部と、を備える。画角合わせ部は、第１画像信号と、第１画像信号よりも高解像度であって第１画像信号以上の画角を有する第２画像信号と、が入力され、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。補間画素生成部は、第１画像信号を高解像度化するための補間画素を生成するように構成されている。視差情報生成部は、補間画素を用いて高解像度化された第１画像信号と、切り出し画像信号と、に基づき視差情報を生成するように構成されている。画像生成部は、視差情報に基づき、高解像度化された第１画像信号から新たな画像信号を生成するように構成されている。

本開示の撮像装置は、第１撮像部と、第２撮像部と、画角合わせ部と、補間画素生成部と、視差情報生成部と、画像生成部と、を備える。第１撮像部は、第１画像を撮像して第１画像信号を出力するように構成されている。第２撮像部は、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成されている。画角合わせ部は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成されている。補間画素生成部は、第１画像信号を高解像度化するための補間画素を生成するように構成されている。視差情報生成部は、補間画素を用いて高解像度化された第１画像信号と、切り出し画像信号と、に基づき視差情報を生成するように構成されている。画像生成部は、視差情報に基づき、高解像度化された第１画像信号から新たな画像信号を生成するように構成されている。

また、本開示の撮像装置は、補間フレーム生成部をさらに備える。そして、第１撮像部は、第１画像信号を動画信号として出力することができるように構成されている。第２撮像部は、第２画像信号を第１画像信号よりも高解像度かつ低フレームレートの動画信号として出力することができるように構成されている。補間フレーム生成部は、切り出し画像信号を高フレームレート化するための補間フレームを生成するように構成されている。視差情報生成部は、高解像度化された第１画像信号と、補間フレームを用いて高フレームレート化された切り出し画像信号と、に基づき視差情報を生成するように構成されている。

本開示の画像生成方法は、第１画像信号に基づき、第１画像信号よりも高解像度であって第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、第１画像信号を高解像度化するための補間画素を生成し、補間画素を用いて高解像度化された第１画像信号と、切り出し画像信号と、に基づき視差情報を生成し、視差情報に基づき、高解像度化された第１画像信号から新たな画像信号を生成する。

図１は、実施の形態１における撮像装置の外観図である。 図２は、実施の形態１における撮像装置の回路構成を概略的に示す図である。 図３は、実施の形態１における撮像装置の立体動画撮影時の動作を説明するフローチャートである。 図４は、実施の形態１における撮像装置の構成を機能毎にブロック分けして示す図である。 図５は、実施の形態１における撮像装置の画像信号の処理の流れの一例を概略的に示す図である。 図６Ａは、実施の形態１における撮像装置で撮像された第１画像の一例を示す図である。 図６Ｂは、実施の形態１における撮像装置で撮像された第２画像の一例を示す図である。 図７は、実施の形態１における撮像装置で撮影された第１画像と第２画像の各画素の発生時刻の差を概略的に示す図である。

以下、適宜図面を参照しながら、実施の形態を詳細に説明する。但し、必要以上に詳細な説明は省略する場合がある。例えば、既によく知られた事項の詳細説明や実質的に同一の構成に対する重複説明を省略する場合がある。これは、以下の説明が不必要に冗長になるのを避け、当業者の理解を容易にするためである。

なお、添付図面および以下の説明は、当業者が本開示を十分に理解するために提供されるのであって、これらにより特許請求の範囲に記載の主題を限定することは意図されていない。

（実施の形態１）
以下、図１〜図７を用いて、実施の形態１を説明する。

［１−１．構成］
図１は、実施の形態１における撮像装置１１０の外観図である。撮像装置１１０は、モニター１１３と、第１レンズ部１１１を有する撮像部（以下、「第１撮像部」と記す）と、第２レンズ部１１２を有する撮像部（以下、「第２撮像部」と記す）と、を備えている。撮像装置１１０は、このように複数の撮像部を有し、それぞれの撮像部で静止画撮像および動画撮影が可能である。

第１レンズ部１１１は、第１撮像部の撮像方向が前方を向くように、撮像装置１１０の本体前方に設けられている。

モニター１１３は、開閉可能に撮像装置１１０本体に設けられ、撮像画像を表示するためのディスプレイ（図１には示さず）を有する。ディスプレイは、モニター１１３を開いたとき、第１撮像部の撮像方向とは反対側の面、すなわち撮像装置１１０の後方にいる使用者（図示せず）が観測できる側に、備えられている。

第２レンズ部１１２は、モニター１１３の、ディスプレイの設置側と反対側に配置され、モニター１１３を開いたときに第１撮像部と同じ方向を撮像できるように構成されている。

撮像装置１１０では、第１撮像部を主たる撮像部とし、第２撮像部を従たる撮像部とする。そして、図１に示すように、モニター１１３を開いた状態にすることで、これら２つの撮像部を用いて、立体視用の静止画（以下、「立体画像」と記す）の撮像および立体視用の動画（以下、「立体動画」と記す）の撮影が可能である。主たる第１撮像部は光学ズーム機能を有し、使用者は、このズーム機能を任意のズーム倍率に設定して静止画撮像または動画撮影が可能である。

本実施の形態では、右眼視点の画像を第１撮像部で撮像し、左眼視点の画像を第２撮像部で撮像する例を説明する。したがって、図１に示すように、撮像装置１１０では、撮像方向に向かって右側に第１レンズ部１１１が配置され、撮像方向に向かって左側に第２レンズ部１１２が配置されている。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１撮像部で左眼視点の画像を撮像し、第２撮像部で右眼視点の画像を撮像するように構成してもよい。以下、第１撮像部で撮像した画像を「第１画像」とし、第２撮像部で撮像した画像を「第２画像」とする。

なお、従たる第２撮像部が有する第２レンズ部１１２は、第１レンズ部１１１と比較して口径が小さく、光学ズーム機能も備えていない。そのため、第２撮像部は、設置に必要な容積が第１撮像部と比較して小さく、モニター１１３に搭載することができる。

本実施の形態では、第１撮像部で撮像される右眼視点の画像を、立体画像を構成する右眼用画像としてそのまま用いることはせず、また、第２撮像部で撮像される左眼視点の画像を、立体画像を構成する左眼用画像として用いることをしない。詳細は後述するが、本実施の形態では、第１撮像部で撮像された第１画像と第２撮像部で撮像された第２画像とをそれぞれ高画質化し、高画質化した後の画像を比較することにより視差量を算出し、算出した視差量にもとづき立体画像を生成する。

この視差量とは、第１画像と第２画像とを同一画角にして重ね合わせたときに生じる被写体の位置のずれの大きさのことである。このずれは、第１撮像部と第２撮像部との配置位置の違い（視差）により生じる。自然な立体感を有する立体画像を生成するためには、第１撮像部の光軸と第２撮像部の光軸とが、人の視差方向と同様に地面に対して水平になるように、かつ左右の眼の離間幅と同程度離間するように、設定されていることが望ましい。

そのために、撮像装置１１０では、第１レンズ部１１１と第２レンズ部１１２とを、使用者が撮像装置１１０を正常に保持（立体画像を撮像する状態で保持）したときに、それぞれの光学中心が実質的に同一の水平面（地面に水平な面）上に位置するように、配置する。また、第１レンズ部１１１の光学中心と第２レンズ部１１２の光学中心との距離が、３０ｍｍ以上６５ｍｍ以下となるようにそれぞれの配置位置を設定する。

また、自然な立体感を有する立体画像を生成するためには、第１レンズ部１１１および第２レンズ部１１２は、それぞれの配置位置から被写体までの距離が互いに実質的に等しいことが望ましい。そのために、撮像装置１１０では、第１レンズ部１１１および第２レンズ部１１２を、エピポーラ拘束（Ｅｐｉｐｏｌａｒ Ｃｏｎｓｔｒａｉｎｔ）を実質的に満足するように配置する。すなわち、第１レンズ部１１１および第２レンズ部１１２を、それぞれの光学中心が、第１撮像部が有する撮像素子または第２撮像部が有する撮像素子の撮像面に実質的に平行な１つの平面上に位置するように、配置する。

なお、これらの条件は、厳密に満たされなければならない、というわけではなく、実用上問題が生じない範囲での誤差は許容される。また、仮にこれらの条件が満足されなくとも、画像の拡大縮小、回転、平行移動等を計算で行うアフィン変換を実行することにより、これらの条件を満足する画像に変換することも可能である。そして、アフィン変換を施した画像を用いて視差量を算出すればよい。

また、撮像装置１１０では、第１撮像部の光軸と第２撮像部の光軸とが互いに平行になるように第１レンズ部１１１および第２レンズ部１１２を配置する（以下、「平行法」と記す）。しかし、第１撮像部の光軸と第２撮像部の光軸とが所定の一点で交差するように第１レンズ部１１１および第２レンズ部１１２を配置（以下、「交差法」と記す）してもよい。また、平行法で撮像された画像を、アフィン変換により、交差法で撮像されたかのような画像に変換することも可能である。

なお、これらの条件が満たされた状態で撮像される第１画像および第２画像では、被写体の位置はエピポーラ拘束条件を実質的に満たす。この場合、後述する立体画像の生成過程において、一方の画像（例えば、第１画像）で被写体の位置が確定すると、他方の画像（例えば、第２画像）での被写体の位置は比較的容易に算出できるので、立体画像の生成過程における演算量を軽減できる。逆に、これらの条件で満たされない項目が増えるほど、アフィン変換等の演算量が増えるので、立体画像の生成過程における演算量は増大する。

図２は、実施の形態１における撮像装置１１０の回路構成を概略的に示す図である。

撮像装置１１０は、第１撮像部である第１撮像ユニット２００、第２撮像部である第２撮像ユニット２１０、ＣＰＵ２２０、ＲＡＭ２２１、ＲＯＭ２２２、加速度センサ２２３、ディスプレイ２２５、エンコーダー２２６、記憶装置２２７、入力装置２２４を有する。

第１撮像ユニット２００は、第１レンズ群２０１、第１撮像素子である第１ＣＣＤ（Ｃｈａｒｇｅ Ｃｏｕｐｌｅｄ Ｄｅｖｉｃｅ）２０２、第１Ａ／Ｄ変換ＩＣ２０３、および第１アクチュエーター２０４を備える。

第１レンズ群２０１は、図１に示した第１レンズ部１１１に相当し、光学ズームが可能なズームレンズおよびフォーカス調節が可能なフォーカスレンズ、を含む複数のレンズで構成される光学系である。さらに、第１レンズ群２０１には、第１ＣＣＤ２０２で受光する光の量（光量）を調節する光学式の絞り（図示せず）が備えられている。第１レンズ群２０１を通して取り込まれた光は、第１レンズ群２０１で光学ズーム、フォーカスおよび光量の各調節がなされた後、第１ＣＣＤ２０２の撮像面に被写体像として結像する。この画像が第１画像である。

第１ＣＣＤ２０２は、撮像面で受光した光を電気信号に変換して出力するように構成されている。この電気信号は、光の強さ（光量）に応じて電圧値が変化するアナログ信号である。

第１Ａ／Ｄ変換ＩＣ２０３は、第１ＣＣＤ２０２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第１画像信号である。

第１アクチュエーター２０４は、第１レンズ群２０１に含まれるズームレンズおよびフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。

本実施の形態では、第１撮像ユニット２００は、第１画像を「水平方向の画素数１，９２０、垂直方向の画素数１，０８０」の画像信号にして出力するものとして、以下の説明を行う。また、第１撮像ユニット２００は、静止画の撮像だけでなく、動画撮影も可能に構成されており、一般的な動画と同様のフレームレート（例えば、６０Ｈｚ）での動画撮影を行うことができる。したがって、第１撮像ユニット２００では、高品質で滑らかな動画を撮影することが可能である。なお、フレームレートとは、単位時間（例えば、１秒間）に撮像する画像の枚数のことであり、フレームレートを６０Ｈｚにして動画撮影すると、１秒間に６０枚の画像が連続して撮像される。

なお、第１画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。

第２撮像ユニット２１０は、第２レンズ群２１１、第２撮像素子である第２ＣＣＤ２１２、第２Ａ／Ｄ変換ＩＣ２１３、および第２アクチュエーター２１４を備える。

第２レンズ群２１１は、図１に示した第２レンズ部１１２に相当し、フォーカス調節が可能なフォーカスレンズを含む複数のレンズで構成される光学系である。第２レンズ群２１１を通して取り込まれた光は、第２レンズ群２１１でフォーカスの調節がなされた後、第２ＣＣＤ２１２の撮像面に被写体像として結像する。この画像が第２画像である。

なお、第２レンズ群２１１は、上述したように光学ズーム機能を備えていない。そのため、光学ズームレンズではなく単焦点レンズを有する。また、第２レンズ群２１１は、第１レンズ群２０１よりも小型のレンズ群から構成され、第２レンズ群２１１の対物レンズには、第１レンズ群２０１の対物レンズよりも口径が小さいものが用いられている。これにより、第２撮像ユニット２１０を第１撮像ユニット２００よりも小型化し、撮像装置１１０全体を小型化して使い勝手（携帯性、操作性）を向上するとともに、第２撮像ユニット２１０の配置位置に関する自由度を高めている。これにより、図１に示したように、第２撮像ユニット２１０をモニター１１３に搭載することができる。

第２ＣＣＤ２１２は、第１ＣＣＤ２０２と同様に、撮像面で受光した光をアナログの電気信号に変換して出力するように構成されている。ただし、本実施の形態における第２ＣＣＤ２１２は、第１ＣＣＤ２０２よりも高い解像度を有する。したがって、第２画像の画像信号は、第１画像の画像信号よりも解像度が高く、画素数が多い。これは、第２画像の画像信号の一部を取り出して使用するためである。これらの詳細は後述する。

第２Ａ／Ｄ変換ＩＣ２１３は、第２ＣＣＤ２１２から出力されるアナログの電気信号を、デジタルの電気信号に変換するように構成されている。このデジタル信号が第２画像信号である。

第２アクチュエーター２１４は、第２レンズ群２１１に含まれるフォーカスレンズを駆動するように構成されたモータを有する。このモータは、ＣＰＵ２２０から出力される制御信号により制御される。

本実施の形態では、第２撮像ユニット２１０は、第２画像を「水平方向の画素数７，６８０、垂直方向の画素数４，３２０」の画像信号にして出力するものとして、以下の説明を行う。また、第２撮像ユニット２１０は、第１撮像ユニット２００と同様に、静止画の撮像だけでなく、動画撮影も可能に構成されている。ただし、第２画像信号は第１画像信号よりも解像度が高く、画素数が多いため、第２撮像ユニット２１０における動画撮影の際のフレームレートは、第１撮像ユニット２００での動画撮影の際のフレームレートよりも低い（例えば、３０Ｈｚ）。

なお、第２画像の画素数および動画撮影時のフレームレートは何ら上述の数値に限定されるものではなく、撮像装置１１０の仕様等に応じて適切に設定することが望ましい。

なお、本実施の形態では、撮像素子の撮像面に結像した被写体像を電気信号に変換し、Ａ／Ｄ変換ＩＣから画像信号として出力する一連の動作を「撮像」とする。第１撮像部では第１画像を撮像して第１画像信号を出力し、第２撮像部では第２画像を撮像して第２画像信号を出力する。

なお、本実施の形態では、第１撮像素子および第２撮像素子にＣＣＤを用いる例を説明したが、第１撮像素子および第２撮像素子は、受光した光を電気信号に変換する撮像素子であればよく、例えば、ＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）等であってもよい。

ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２２は、ＣＰＵ２２０を動作させるプログラムやパラメータ等の各種データが記憶されており、それらのデータをＣＰＵ２２０が任意に読み出すことができるように構成されている。ＲＯＭ２２２は、不揮発性型の半導体記憶素子で構成され、撮像装置１１０の電源がオフになっても、記憶されたデータは保持される。

入力装置２２４は、使用者の指示を受け付けることができるように構成された入力装置の総称である。入力装置２２４には、例えば、使用者が操作する電源ボタンや設定ボタン等の各種ボタン、タッチパネル、レバー等が含まれる。本実施の形態では、タッチパネルがディスプレイ２２５に設けられている例を説明する。しかし、入力装置２２４は、何らこれらの構成に限定されるものではなく、例えば音声入力装置を備えていてもよく、あるいは、全ての入力操作をタッチパネルで行う構成や、逆にタッチパネルを備えず全ての入力操作をボタンやレバー等で行う構成であってもよい。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２２０は、ＲＯＭ２２２から読み出したプログラムやパラメータ、入力装置２２４で受け付けられた使用者の指示、等にもとづき動作し、撮像装置１１０全体の制御、および各種演算処理を行うように構成されている。この各種演算処理には、第１画像信号および第２画像信号に関する画像信号処理が含まれる。この画像信号処理の詳細は後述する。

本実施の形態では、ＣＰＵ２２０にマイクロコンピューターを用いているが、例えば、マイクロコンピューターに代えてＦＰＧＡ（Ｆｉｅｌｄ Ｐｒｏｇｒａｍｍａｂｌｅ Ｇａｔｅ Ａｒｒａｙ）を用い、同様の動作を行うように構成してもよい。

ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２２１は、揮発性型の半導体記憶素子で構成され、ＣＰＵ２２０からの指示にもとづき、ＣＰＵ２２０を動作させるプログラムの一部、プログラム実行時のパラメータ、使用者の指示、等を一時的に記憶するように構成されている。ＲＡＭ２２１に記憶されたデータは、ＣＰＵ２２０が任意に読み出すことができ、ＣＰＵ２２０の指示によって任意に書き換えが可能である。

加速度センサ２２３は、一般的に用いられている加速度検出センサであり、撮像装置１１０の動きや姿勢の変化を検出するように構成されている。加速度センサ２２３では、例えば、撮像装置１１０が地面に対して平行に保たれているかどうか、が検出され、この検出結果はディスプレイ２２５に表示される。したがって、使用者はその表示を見ることで、撮像装置１１０が地面に対して水平に保たれているかどうか、すなわち、撮像装置１１０が立体画像の撮像に適した状態（姿勢）にあるかどうか、を判断することができる。これにより、使用者は、撮像装置１１０を適切な姿勢に保って立体画像の撮像や立体動画の撮影を行うことができる。

なお、撮像装置１１０は、加速度センサ２２３での検出結果にもとづき手振れ補正等の光学系制御を行う構成であってもよい。また、加速度センサ２２３は、３軸方向のジャイロスコープ（３軸ジャイロセンサ）であってもよく、複数のセンサを組み合わせて用いる構成であってもよい。

ディスプレイ２２５は、一般に用いられている液晶ディスプレイパネルで構成され、図１に示したモニター１１３に搭載されている。ディスプレイ２２５は、上述したタッチパネルが表面に取り付けられており、画像表示と使用者の指示受け付けを同時に行うことができるように構成されている。ディスプレイ２２５に表示される画像には、（１）撮像装置１１０で撮像中の画像（第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号にもとづく画像）、（２）記憶装置２２７に記憶されている画像信号にもとづく画像、（３）ＣＰＵ２２０で信号処理された画像信号にもとづく画像、（４）撮像装置１１０の各種設定項目を表示するメニュー表示画面、等がある。ディスプレイ２２５には、これらの画像が選択的に、または複数の画像を互いに重畳した画像が、表示される。なお、ディスプレイ２２５は、何ら上述の構成に限定されるものではなく、薄型で低消費電力の画像表示装置であればよく、例えばＥＬ（Ｅｌｅｃｔｒｏ Ｌｕｍｉｎｅｓｃｅｎｃｅ）パネル等で構成されていてもよい。

エンコーダー２２６は、撮像装置１１０で撮像した画像にもとづく画像信号や撮像した画像に関連する情報を、所定の方式で符号化（エンコード）するように構成されている。これは、データ量を低減して記憶装置２２７に記憶するためである。この符号化の方式は、一般的に用いられている画像圧縮方式であり、例えば、ＭＰＥＧ−２や、Ｈ．２６４／ＭＰＥＧ−４ ＡＶＣ、等である。

記憶装置２２７は、任意に書き換えが可能な比較的大容量の記憶装置であるハードディスクドライブ（ＨＤＤ）で構成され、エンコーダー２２６で符号化されたデータ等を読み出し可能に記憶するように構成されている。また、記憶装置２２７に記憶するデータには、ＣＰＵ２２０で生成された立体画像の画像信号、立体画像の表示に必要な情報、が含まれる。なお、記憶装置２２７は、第１撮像ユニット２００または第２撮像ユニット２１０から出力される画像信号を、符号化処理を施さずにそのまま記憶するように構成されていてもよい。また、記憶装置２２７は、何らＨＤＤに限定されるものではなく、例えば、半導体記憶素子を内蔵したメモリーカードや光ディスク等の着脱可能な記憶媒体に記憶する構成であってもよい。

［１−２．動作］
以上のように構成された撮像装置１１０について、その動作を以下に説明する。

以下、本実施の形態では、撮像装置１１０の第１撮像ユニット２００および第２撮像ユニット２１０において、立体動画の撮影を行うときの動作を説明する。したがって、特に断りが無い限り、第１画像、第２画像は、ともに動画であるものとする。なお、撮像装置１１０で立体画像（静止画）の撮像を行うときは、第１画像、第２画像は共に静止画であるので、その場合は、後述するフレームレートの変換に関する動作は行われない。

図３は、実施の形態１における撮像装置１１０の立体動画撮影時の動作を説明するフローチャートである。

立体動画の撮影を行うとき、撮像装置１１０では主に以下の動作を行う。

第１撮像ユニット２００から第１画像信号が、第２撮像ユニット２１０から第２画像が、それぞれ出力される（ステップＳ１０１）。

第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から切り出して（ステップＳ１０３）、切り出し画像信号を生成する（ステップＳ１０５）。

第１画像信号および切り出し画像信号のそれぞれに関して動き検出を行う（ステップＳ１０７）。

切り出し画像信号にもとづき第１画像信号を高解像度化する（ステップＳ１０９）。

切り出し画像信号を、第１画像信号のフレームレートに合わせて高フレームレート化する（ステップＳ１１１）。

高解像度化された第１画像信号と、高フレームレート化された切り出し画像信号とから、視差情報を生成する（ステップＳ１１３）。

視差情報にもとづき、高解像度化された第１画像信号から新たな第２画像信号を生成する。高解像度化された第１画像信号を右眼用画像信号とし、新たな第２画像信号を左眼用画像信号とする立体画像信号を出力（または、記憶装置２２７に記憶）する（ステップＳ１１５）。

使用者に動画撮影の終了が指示されるまで、一連の動作を繰り返す（ステップＳ１１７）。

なお、「画角（Ａｎｇｌｅ ｏｆ ｖｉｅｗ）」とは、画像として撮像される範囲のことであり、一般的には角度で表現される。

次に、撮像装置１１０で立体動画撮影をしているときに行われる主な動作を、機能毎にブロック分けして説明する。また、各機能ブロックで画像信号がどのように処理されるのかを、一例を挙げて図面に示す。

図４は、実施の形態１における撮像装置１１０の構成を機能毎にブロック分けして示す図である。

図５は、実施の形態１における撮像装置１１０の画像信号の処理の流れの一例を概略的に示す図である。

撮像装置１１０の構成を、立体動画の撮影をしているときに動作する主な機能で分けて示すと、撮像装置１１０は、図４に示すように、第１撮像部３００、第２撮像部３１０、画像信号処理部３２０、表示部３４０、入力部３５０、の５つのブロックに大別することができる。

第１撮像部３００は、第１光学部３０１、第１撮像素子３０２、第１Ａ／Ｄ変換部３０３、第１光学制御部３０４、を備える。第１撮像部３００は、図２に示した第１撮像ユニット２００に相当する。また、第１光学部３０１は第１レンズ群２０１に、第１撮像素子３０２は第１ＣＣＤ２０２に、第１Ａ／Ｄ変換部３０３は第１Ａ／Ｄ変換ＩＣ２０３に、第１光学制御部３０４は第１アクチュエーター２０４に、それぞれ相当する。重複するのでこれらの説明は省略する。

第２撮像部３１０は、第２光学部３１１、第２撮像素子３１２、第２Ａ／Ｄ変換部３１３、第２光学制御部３１４、を備える。第２撮像部３１０は、図２に示した第２撮像ユニット２１０に相当する。また、第２光学部３１１は第２レンズ群２１１に、第２撮像素子３１２は第２ＣＣＤ２１２に、第２Ａ／Ｄ変換部３１３は第２Ａ／Ｄ変換ＩＣ２１３に、第２光学制御部３１４は第２アクチュエーター２１４に、それぞれ相当する。重複するのでこれらの説明は省略する。

ここでは、一例として図５に示すように、第１撮像部３００は、画素数が１９２０×１０８０、フレームレートが６０Ｈｚの第１画像信号を出力し、第２撮像部３１０は、画素数が７６８０×４３２０、フレームレートが３０Ｈｚの第２画像信号を出力するものとして、以下の説明を行う。

なお、図５に示す数値は、単に一例を挙げたものに過ぎず、本実施の形態は何らこれらの数値に限定されるものではない。

表示部３４０は、図２に示したディスプレイ２２５に相当する。入力部３５０は、図２に示した入力装置２２４に相当する。入力部３５０に含まれるタッチパネルは、表示部３４０の表面に取り付けられており、表示部３４０では、画像の表示と使用者の指示受け付けを同時に行うことができる。重複するのでこれらの説明は省略する。

画像信号処理部３２０は、図２に示したＣＰＵ２２０に相当する。

なお、ＣＰＵ２２０では、撮像装置１１０全体の制御や各種演算処理が行われるが、図４には、撮像装置１１０で立体動画撮影を行うときにＣＰＵ２２０で行われる演算処理（画像信号処理）および制御動作に関連する主な機能のみをブロック分けして示しており、他の動作に関する機能は省略している。これは、撮像装置１１０で立体動画を撮影するときの動作を分かりやすく示すためである。

なお、画像信号処理部３２０として図４に示す各機能ブロックは、ＣＰＵ２２０で行われる演算処理および制御動作の主なものを機能別に分けて示しているに過ぎず、ＣＰＵ２２０の内部が図４に示す各機能ブロックに物理的に分けられているわけではない。しかし、以下では便宜的に画像信号処理部３２０が図４に示す各部を有するものとして説明を行う。

なお、ＣＰＵ２２０は、図４に示す各機能ブロックに相当する電子回路を備えたＩＣまたはＦＰＧＡで構成してもよい。

画像信号処理部３２０は、図４に示すように、画角合わせ部３２１、フレームメモリ３２２、３２３、動き検出部３２４、３２５、動き補正部３２６、補間画素生成部３２７、補間フレーム生成部３２８、信頼性情報生成部３２９、視差情報生成部３３０、画像生成部３３１、撮像制御部３３２、を有する。

画角合わせ部３２１は、第１撮像部３００から出力される第１画像信号および第２撮像部３１０から出力される第２画像信号が入力される。そして、撮像範囲が互いに等しいと判断される画像信号を各入力画像信号から取り出す。

第１撮像部３００では光学ズームによる撮像が可能であり、第２撮像部３１０では単焦点レンズによる撮像が行われる。第１光学部３０１が広角端のときの第１画像の画角が第２画像の画角以下になるように各撮像部が設定されていれば、第２画像に撮像される範囲には、常に第１画像に撮像される範囲が含まれることになる。

そこで、画角合わせ部３２１では、第１画像として撮像された範囲（画角）に相当する部分を第２画像信号から取り出す。以下、第２画像信号から取り出された画像信号を「切り出し画像信号」と呼称し、切り出し画像信号による画像を「切り出し画像」と呼称する。したがって、切り出し画像は、画角合わせ部３２１において第１画像の撮像範囲に等しいと判断された範囲の画像になる。

切り出し画像信号として第２画像信号から取り出す範囲を特定する際の手順について、図面を用いて説明する。

図６Ａは、実施の形態１における撮像装置１１０で撮像された第１画像の一例を示す図である。図６Ｂは、実施の形態１における撮像装置１１０で撮像された第２画像の一例を示す図である。

なお、図６Ａには、第１光学部３０１の光学ズーム機能のズーム倍率を上げて撮像された第１画像を示す。図６Ａ、図６Ｂに示す通り、ズーム倍率を上げて撮像された第１画像よりも、撮像の際に光学ズームができない第２画像の方が、画角が広く、この第２画像には第１画像よりも広い範囲が撮像されている。

画像信号処理部３２０の撮像制御部３３２は、第１光学制御部３０４を介して第１光学部３０１の光学ズームを制御する。したがって、画像信号処理部３２０は、第１画像が撮像されたときの第１光学部３０１のズーム倍率を、第１画像の付帯情報として取得することができる。一方、第２光学部３１１では光学ズームができないので、第２画像を撮像するときのズーム倍率は固定されている。画角合わせ部３２１は、これらの情報に基づいて第１画像と第２画像との画角の差を算出し、その算出結果にもとづき第２画像信号から第１画像の撮像範囲（画角）に相当する領域を特定して切り出す。

このとき、画角合わせ部３２１は、第１画像の画角に相当する領域よりもやや広い範囲（例えば、１０％程度広い範囲）をまず切り出す。これは、第１画像の中心と第２画像の中心との間に若干のずれが生じる可能性があるためである。

次に、画角合わせ部３２１は、この切り出した範囲に対して、一般に用いられているパターンマッチングを行い、第１画像の撮像範囲に相当する領域を特定して再度切り出す。これにより、比較的負荷の軽い演算処理で高速に切り出し画像信号を生成することができる。なお、画角や解像度が互いに異なる２枚の画像を比較して撮像範囲が互いに共通する領域を特定するパターンマッチング等の手法は、一般に知られた手法であるので、説明を省略する。

このようにして、画角合わせ部３２１は、第１画像信号の撮像範囲に実質的に等しい領域を第２画像信号から取り出し、切り出し画像信号を生成する。図６Ａ、図６Ｂに示す例では、図６Ｂに破線で示す画素数３８４０×２１６０の領域が、こうして切り出された領域である。なお、この切り出し画像信号のフレームレートは、図５に示すように、第２画像信号と同じフレームレート（例えば、３０Ｈｚ）である。

なお、第１光学部３０１と第２光学部３１１との配置位置の違い（視差）により、第１画像と第２画像とでは画像内における被写体の位置に差が生じる。そのため、第２画像における第１画像に対応する領域が、第１画像に完全に合致する可能性は低い。したがって、画角合わせ部３２１でパターンマッチングを行う際は、第１画像信号と類似度が最も大きくなる領域を第２画像信号において探索し、その領域を第２画像信号から取り出して切り出し画像信号とすることが望ましい。

そして、画角合わせ部３２１は、切り出し画像信号と第１画像信号を後段に出力する。なお、第１画像と第２画像の画角が互いに等しいときには、第２画像信号をそのまま切り出し画像信号として用いることもある。

なお、画角合わせ部３２１における動作は、何ら上述した動作に限定されるものではない。例えば、第１画像の画角が第２画像の画角より広ければ、第１画像信号から第２画像の撮像範囲に相当する領域を取り出して切り出し画像信号を生成するように動作してもよい。また、第１画像と第２画像とで撮像範囲に差があるときには、撮像範囲が互いに等しい領域を第１画像信号と第２画像信号とのそれぞれから取り出して後段に出力するように動作してもよい。

なお、本実施の形態は、画角合わせ部３２１において第１画像信号と第２画像信号との比較に用いる手法を、何らパターンマッチングに限定するものではなく、その他の比較・照合手法を用いて切り出し画像信号を生成してもよい。

画角合わせ部３２１から出力される切り出し画像信号（例えば、図６Ｂに示す画素数３８４０×２１６０の画像信号）はフレームメモリ３２３に記憶され、第１画像信号（例えば、図６Ａに示す画素数１９２０×１０８０の画像信号）はフレームメモリ３２２に記憶される。

このとき、各画像信号は、付帯情報として、各画素の発生時刻（撮像時刻）を有する。グローバルシャッター方式（１枚の画像撮像時において、撮像部が備える全ての受光素子が同時刻に受光する方式）では、各画素の発生時刻（撮像時刻）は実質的に互いに等しい。しかし、ローリングシャッター方式（１枚の画像撮像時において、撮像部が備える行列状に配置された受光素子の一方の辺から他方の辺に向かって順次受光が行われる方式）では、画素の配置位置に応じて発生時刻（撮像時刻）に差が生じる。したがって、第１画像と第２画像の一方もしくは双方がローリングシャッター方式で撮像された場合、第１画像と第２画像とでは、同じ被写体であっても撮像時刻に差が生じる可能性がある。

この撮像時刻の差について図面を用いて説明する。

図７は、実施の形態１における撮像装置１１０で撮影された第１画像と第２画像の各画素の発生時刻の差を概略的に示す図である。

なお、第１画像はフレームレート６０Ｈｚで撮影された動画であり、第２画像はフレームレート３０Ｈｚで撮影された動画であり、第１画像、第２画像共にローリングシャッター方式で撮像されているものとして説明する。また、図７に「Ａ１」で示す画素は図６Ａに「Ａ１」で示す画素を表し、図７に「Ａ２」で示す画素は図６Ｂに「Ａ２」で示す画素を表す。また、「Ａ１」で示す画素と「Ａ２」で示す画素は実質的に同じ被写体（領域）を表しており、互いに対応しているものとする。また、図６Ａ、６Ｂでは画素「Ａ１」、「Ａ２」を四角い枠で囲っているが、この枠は便宜的に示しているものであり、この枠の中央にある画素が画素「Ａ１」、「Ａ２」であるものとする。

なお、第１画像は第２画像よりも画素数が少ないため、第１画像の１つの画素に対応する領域は第２画像では複数の画素となるが、ここでは便宜的に画素「Ａ１」と画素「Ａ２」とは互いに対応しているものとする。

第１画像を撮像するときに１枚目の第１画像（時刻０／６０秒に撮像が開始される第１画像）において画素「Ａ１」が発生するまでの時間ｔ１は、第２画像を撮像するときの１枚目の第２画像（時刻０／６０秒に撮像が開始される第２画像）における画素「Ａ２」が発生するまでの時間ｔ２よりも短い。第１画像のフレームレートが６０Ｈｚ、第２画像のフレームレートが３０Ｈｚであれば、１枚の第２画像を撮像する間に２枚の第１画像が撮像されるので、実質的にｔ２＝２×ｔ１となる。

したがって、画素「Ａ２」の位置によっては、１枚目の第１画像における画素「Ａ１」の発生時刻よりも、２枚目の第１画像（時刻１／６０秒に撮像が開始される第１画像）における画素「Ａ１」の発生時刻の方が、画素「Ａ２」の発生時刻に時間的に近くなる。

このように、フレームレートが異なる２つの画像を比較するときは、各画素の発生時刻が重要になる。そのため、本実施の形態では、付帯情報として、各画素の発生時刻（撮像時刻）を画像信号とともにフレームメモリに記憶する。

なお、フレームメモリ３２２、３２３は、複数フレーム分の画像信号を読み出し可能に記憶するように構成された画像信号用の記憶装置であり、例えばＤＲＡＭ等の高速動作が可能な半導体記憶素子で構成される。また、フレームメモリ３２２、３２３は、ＣＰＵ２２０の内部に設ける構成であってもよいが、ＲＡＭ２２１の一部をフレームメモリ３２２、３２３として用いる構成であってもよい。

なお、各画素の発生時刻（撮像時刻）は、各画素が付帯情報として有する構成でもよいが、先頭の画素だけに発生時刻（撮像時刻）を付帯させ、残りの画素に関しては、先頭の画素からの発生順番にもとづき算出する構成としてもよい。

動き検出部３２４は、フレームメモリ３２２に記憶された第１画像信号にもとづき、動き検出を行う。動き検出部３２５は、フレームメモリ３２３に記憶された第２画像信号にもとづき、動き検出を行う。

動き検出部３２４、３２５は、１画素マッチング、または複数の画素の集まりで行うブロックマッチングにより、画素毎、またはブロック毎に、静止しているか、動いているかの判定を行う。動いていると判定された画素またはブロックに関しては、その画素またはブロックの近傍の領域を探索して、オプティカルフローや動きベクトル（ＭＥ：Ｍｏｔｉｏｎ Ｅｓｔｉｍａｔｅ）の検出を行う。動き検出自体は一般に知られた手法であるので、詳細な説明は省略する。

動き補正部３２６は、動き検出部３２４から出力される第１画像信号に関する動き検出の結果、および、動き検出部３２５から出力される切り出し画像信号に関する動き検出の結果を取得し、これらの動き検出の結果にもとづき動き補正の補正値を算出する。この補正値は、例えば、２つの動き検出の結果の加算平均から求める構成であってもよく、または２つの動き検出の結果の最大値または最小値から求める構成であってもよく、あるいはその他の手法で求める構成であってもよい。そして、本実施の形態では、この補正値にもとづき、第１画像信号および切り出し画像信号の動き補正が行われる。

補間画素生成部３２７は、第１画像信号と切り出し画像信号とを比較し、第１画像を高解像度化するための補間画素を生成する。補間画素生成部３２７は、第１画像信号と切り出し画像信号とを、互いに対応する画素毎またはブロック毎に比較し、切り出し画像信号にもとづき、第１画像信号を高解像度化するための補間画素信号を生成する。生成された補間画素信号は第１画像信号の対応する場所に挿入され、また、この補間により不自然な領域が生じないように第１画像信号にも修正を加えて、第１画像信号を高解像度化する。

これにより、第１画像信号は、切り出し画像信号と実質的に同じ解像度になるように高解像度化される。例えば、図５に示す例では、画素数１９２０×１０８０の第１画像信号は、この高解像度化処理により、切り出し画像信号と同解像度の、画素数３８４０×２１６０の画像信号に補正される。

なお、補間画素生成部３２７は、第１画像信号と切り出し画像信号とを互いに比較する際、上述の画像信号に付帯された各画素の発生時刻（撮像時刻）を参照し、時刻的に最も近い画素またはブロック同士を比較するように構成されることが望ましい。また、第１画像信号との比較に、動き補正部３２６で算出された補正値にもとづく動き補正がなされた切り出し画像信号を用い、より精度の高い補間画素信号を生成するように構成してもよい。

補間フレーム生成部３２８は、フレームメモリ３２３に記憶された切り出し画像信号を、フレームメモリ３２３に書き込むときの倍の速度で読み出す。これにより、読み出された切り出し画像信号の１フレーム期間は１／３０秒から１／６０秒に短縮される。あわせて、補間フレーム生成部３２８は、動き補正部３２６から出力される動き補正の補正値および切り出し画像信号にもとづき、２つの時間的に連続する切り出し画像信号の間に挿入する補間画像信号（補間フレーム）を生成する。

これにより、切り出し画像信号は、第１画像信号と実質的に同じフレームレートに高フレームレート化される。例えば、図５に示す例では、フレームレート３０Ｈｚの切り出し画像信号は、この高フレームレート化処理により、フレームレート６０Ｈｚの画像信号に補正される。

補間画素生成部３２７で高解像度化された第１画像信号は、フレームメモリ３２２に再度記憶され、補間フレーム生成部３２８で高フレームレート化された切り出し画像信号は、フレームメモリ３２３に再度記憶される。

動き補正、補間画素を生成して画像信号を高解像度化する手法、および補間フレームを生成して画像信号を高フレームレート化する手法は、それぞれ一般に知られた手法であるので、詳細な説明は省略する。

信頼性情報生成部３２９は、上述の画像信号に付帯された各画素の発生時刻（撮像時刻）および、動き補正部３２６から出力される動き補正の補正値を用いて、画素毎に信頼性情報を生成する。例えば、図７に示した例ではｔ２がｔ１の２倍に近い程、画素毎の信頼度を高くする。また、画素毎の動き補正の補正値が小さい程、画素毎の信頼度を高くする。こうして得られる信頼度が信頼性情報である。

なお、信頼性情報生成部３２９では、各画素に信頼性情報を付帯してもよいが、例えば、隣接する複数の画素で構成されるブロック毎に信頼性情報を付帯してもよい。

視差情報生成部３３０は、高解像度化された第１画像信号、および高フレームレート化された切り出し画像信号にもとづいて、視差情報を生成する。視差情報生成部３３０は、高解像度化された第１画像信号と高フレームレート化された切り出し画像信号とを互いに比較し、互いに対応する被写体が２つの画像信号間でどの程度ずれているかを、画素単位、または複数の画素からなるブロック単位で、算出する。この「ずれの量（ずれ量）」は、視差方向、例えば撮像が行われたとき地面に対して水平となる方向、で算出する。この「ずれ量」を１枚の画像（高解像度化された第１画像信号にもとづく画像、または、高フレームレート化された切り出し画像信号にもとづく画像）の全域において算出し、算出対象となる画像の画素またはブロックに対応付けたものが、視差情報（デプスマップ）となる。

撮像装置１１０では、高解像度化された第１画像信号（例えば、右眼用画像信号）から、視差情報にもとづき、対となる画像信号（例えば、左眼用画像信号）を生成する。したがって、視差情報に補正を加えることで、生成される立体画像の立体感を調整することが可能である。そこで、立体画像の立体感を増す、あるいは抑制する、等の立体感の調整ができるように、視差情報生成部３３０において、視差情報に補正を加えられるように構成してもよい。

また、例えば、上述の信頼性情報にもとづき視差情報を補正してもよい。例えば、信頼性が低い画像に関しては立体感を少なくするように視差情報を補正することで、生成される立体画像の品質をより高めることも可能である。

また、視差情報生成部３３０は、比較に用いる画像信号の画素を間引いて画素数（信号量）を削減し、視差情報の算出に必要な演算量を低減する構成であってもよい。

視差情報生成部３３０では、動き補正後の画像信号にもとづきステレオマッチング等の処理を行うことで、動きのある被写体に関しても精度を高めて視差情報を生成することができる。

画像生成部３３１は、視差情報生成部３３０から出力される視差情報にもとづいて、高解像度化された第１画像信号から新たな第２画像信号（図４、図５には、「生成画像信号」と記す）を生成する。この新たな第２画像信号は、高解像度化された第１画像信号と同仕様の画像信号、例えば、図５に示す例では画素数３８４０×２１６０、フレームレート６０Ｈｚの画像信号、として生成される。

本実施の形態では、この高解像度化された第１画像信号を右眼用画像信号とし、画像生成部３３１で視差情報にもとづき生成される新たな第２画像信号を左眼用画像信号とする立体画像信号を、画像信号処理部３２０から出力する。

この立体画像信号は、例えば記憶装置２２７に記憶され、また、この立体画像信号にもとづく立体画像は表示部３４０に表示される。

なお、視差を有する２枚の画像から視差情報（ずれ量）を算出する手法、および視差情報にもとづき新たな画像信号を生成する手法は公知であり、例えば上述の特許文献１等に記載されているので、詳細な説明は省略する。

なお、第１光学部３０１のズーム倍率および第２撮像素子３１２の解像度は、第１光学部３０１を望遠端（テレ端）にしたときの切り出し画像信号の解像度が第１画像信号の解像度以上となるように、設定することが望ましい。これは、第１光学部３０１を望遠端にしたときに、切り出し画像信号が第１画像信号よりも低解像度になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではない。

なお、第２光学部３１１は、第１光学部３０１を広角端（ワイド端）にしたときの画角に実質的に等しいか、さらに広い画角を有するように構成することが望ましい。これは、第１光学部３０１を広角端にしたときに、第１画像が第２画像よりも広い画角になることを防止するためである。しかし、本実施の形態は何らこの構成に限定されるものではなく、第１光学部３０１を広角端にしたときの第１画像の画角が第２画像よりも広い画角であってもよい。

［１−３．効果等］
以上のように、本実施の形態において、撮像装置１１０は、第２画像信号よりも高いフレームレートで第１画像を撮像して第１画像信号を出力するように構成された第１撮像部３００と、第１画像以上の画角を有する第２画像を、第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部３１０と、画像信号処理部３２０とを備える。画像信号処理部３２０は、画角合わせ部３２１と、補間画素生成部３２７と、補間フレーム生成部３２８と、視差情報生成部３３０と、画像生成部３３１と、を備える。画角合わせ部３２１は、第１画像信号に基づき、第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成される。補間画素生成部３２７は、第１画像信号を高解像度化するための補間画素を、第１画像信号と切り出し画像信号とに基づいて生成するように構成される。補間フレーム生成部３２８は、切り出し画像信号を高フレームレート化するための補間フレームを生成するように構成される。視差情報生成部３３０は、補間画素を用いて高解像度化された第１画像信号と、補間フレームを用いて高フレームレート化された切り出し画像信号と、に基づき視差情報を生成するように構成される。画像生成部３３１は、視差情報に基づき、高解像度化された第１画像信号から新たな画像信号を生成するように構成される。

良好な品質の立体画像を取得（生成）するためには、対となる右眼用画像と左眼用画像とを撮像する際に、画角（撮像範囲）、解像度（画素数）、ズーム倍率等の撮像条件を互いに揃え、できるだけ等しい状態にすることが望ましい。

しかしながら、撮像素子には、光を電気信号に変える際の特性にばらつきが生じやすく、そのため、互いに同じ仕様の撮像素子同士を比較しても、明るさと出力信号との関係を示すガンマ特性等にばらつきが生じることがある。したがって、たとえ互いに等しい機能（性能）の光学系と撮像素子を用いて一対の撮像部を構成したとしても、対となる右眼用画像と左眼用画像には、明るさ、コントラスト、ホワイトバランス等に差が生じることがある。

このように、互いに等しい仕様で一対の撮像部を構成したとしても、視差を除いて完全に同じ状態となる右眼用画像と左眼用画像とを取得することは困難である。

加えて、良好な品質の立体動画を取得（生成）するためには、対となる右眼用画像と左眼用画像とを、互いに等しいフレームレートで動画撮影することが望ましい。

しかしながら、本実施の形態の撮像装置１１０では、上述したように、第１撮像部３００と第２撮像部３１０とで、光学系の仕様が互いに異なる。また、第１撮像部３００と第２撮像部３１０とでは、撮像素子の仕様も互いに異なる。さらには、第１撮像部３００と第２撮像部３１０とで、動画撮影の際のフレームレートも互いに異なる。

したがって、撮像装置１１０では、第１撮像部３００で撮像した第１画像をそのまま右眼用画像とし、第２撮像部３１０で撮像した第２画像をそのまま左眼用画像としても、良好な品質の立体画像（立体動画）を得ることは困難である。

そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１撮像部３００で撮像した第１画像を高解像度化して右眼用画像とし、高解像度化した第１画像から視差情報を用いて生成した画像を左眼用画像として、立体画像（立体動画）を生成する。

これにより、光学的な特性、ガンマ特性、フレームレート等の撮像条件が互いに等しい理想的な一対の撮像部で撮像（または動画撮影）された右眼用画像と左眼用画像に実質的に等しい右眼用画像と左眼用画像を生成することが可能になる。したがって、本実施の形態の撮像装置１１０では、良好な品質の立体動画を生成することができる。

なお、視差情報は、第１画像と第２画像とを互いに比較することで生成されるが、このとき生成される視差情報の精度が高くなければ、視差情報にもとづき生成される画像の品質を高くすることは困難である。

視差情報を精度良く生成するためには、第１画像と第２画像との比較を精度良く行うことが重要であり、そのためには、比較する画像同士で、画角（撮像範囲）、解像度（画素数）、フレームレート等が互いにできるだけ等しいことが望ましい。

そこで、本実施の形態では、撮像装置１１０を上述した構成とし、第１画像信号にもとづき第２画像信号から切り出し画像信号を生成し、切り出し画像信号を第１画像信号のフレームレートにあわせて高フレームレート化する。また、第１画像信号を、切り出し画像信号の解像度にあわせて高解像度化する。

そして、高解像度化された第１画像信号と、高フレームレート化された切り出し画像信号とを用いて、視差情報を生成する。

これにより、撮像装置１１０では、精度の高い視差情報を生成することができ、質の高い視差情報にもとづき、質の高い立体画像（または立体動画）を生成することができる。

（他の実施の形態）
以上のように、本出願において開示する技術の例示として、実施の形態１を説明した。しかしながら、本開示における技術は、これに限定されず、変更、置き換え、付加、省略等を行った実施の形態にも適用できる。また、上記実施の形態１で説明した各構成要素を組み合わせて、新たな実施の形態とすることも可能である。

そこで、以下、他の実施の形態を例示する。

本実施の形態では、撮像装置１１０を、第１撮像部３００で第１画像を撮像し、第２撮像部３１０で第２画像を撮像するように構成する例を説明したが、例えば、第１撮像部３００に代えて第１画像入力部を備え、第２撮像部３１０に代えて第２画像入力部を備え、第１画像入力部を通して第１画像を取得し、第２画像入力部を通して第２画像を取得するように構成してもよい。

本実施の形態では、第１撮像部３００で撮像した第１画像を高解像度化して右眼用画像とし、高解像度化した第１画像から視差情報を用いて生成した画像を左眼用画像として、立体画像（立体動画）を生成する構成を説明したが、例えば、第１撮像部３００で撮像した第１画像を高解像度化して左眼用画像とし、高解像度化した第１画像から視差情報を用いて生成した画像を右眼用画像として、立体画像（立体動画）を生成する構成としてもよい。あるいは、高フレームレート化された切り出し画像信号から新たな第１画像信号を生成する構成であってもよい。

なお、第１光学部３０１（第１レンズ群２０１）および第２光学部３１１（第２レンズ群２１１）は、何ら実施の形態１に示した構成に限定されるものではない。例えば、フォーカス調節が可能なフォーカスレンズに代えて、フォーカス調節が不要なパンフォーカス（ディープフォーカス）のレンズを用いる構成でもよい。また、第２光学部３１１に、第２撮像素子３１２（第２ＣＣＤ２１２）で受光する光量を調節する光学式の絞りを備える構成としてもよい。

また、第２光学部３１１に、単焦点レンズに代えて光学ズームレンズを備える構成としてもよい。その場合、例えば、撮像装置１１０で立体画像（立体動画）の撮像を行うときには、自動的に第２光学部３１１が広角端になるように構成してもよい。

また、第１光学部３０１を望遠端（テレ端）にしたときに、切り出し画像信号が第１画像信号よりも低解像度になるように、撮像装置１１０を構成してもよい。その場合、例えば、動き補正部３２６から出力される動き補正の補正値等にもとづき、切り出し画像信号よりも高い解像度に第１画像信号を高解像度化するように補間画素生成部３２７を構成してもよい。あるいは、第１光学部３０１のズーム倍率を上げていく過程で切り出し画像信号の解像度が第１画像信号の解像度以下となったときに、立体画像から通常画像に撮像モードが自動で変わるように撮像装置１１０を構成してもよい。

また、補間画素生成部３２７は、切り出し画像信号の解像度が所定の解像度以下になったときに、切り出し画像信号の解像度にかかわらず、第１画像信号の解像度を所定の解像度まで高解像度化する構成であってもよい。さらには、切り出し画像の解像度が所定の解像度以上であっても、第１画像信号の高解像度化を所定の解像度にとどめ、常に同じ解像度（所定の解像度）で右眼用画像信号（または左眼用画像信号）を生成する構成であってもよい。その場合、高解像度化された第１画像信号と切り出し画像信号とで解像度（画素数）が異なる状況が発生するので、高解像度化された第１画像信号と切り出し画像信号のいずれか一方の画素数を他方に合わせて削減する、あるいは、双方の画素数を共に同じにする、等の画素数補正をして視差情報の生成を行うように視差情報生成部３３０を構成してもよい。

なお、第２レンズ部１１２の配置位置は何ら図１に示した位置に限定されるものではなく、立体画像の撮像が行える範囲であればどこに配置してもよい。例えば、第２レンズ部１１２を第１レンズ部１１１の近傍に配置してもよい。

なお、モニター１１３が立体画像の撮像に適した位置まで開いたときにオン状態になり、それ以外ではオフになるスイッチを撮像装置１１０に設け、そのスイッチがオンになったときのみ立体画像の撮像または立体動画の撮影ができるように撮像装置１１０を構成してもよい。

なお、撮像装置１１０では、高解像度化された第１画像を単独の画像信号として用いてもよく、高フレームレート化された切り出し画像信号（または、第２画像信号）を単独の画像信号として用いてもよい。あるいは、第１撮像部３００から出力される第１画像信号をそのまま用いてもよく、第２撮像部３１０から出力される第２画像信号をそのまま用いてもよい。

なお、実施の形態に示した具体的な数値は、単に実施の形態における一例を示したものに過ぎず、本開示はこれらの数値に何ら限定されるものではない。各数値は画像表示装置の仕様等にあわせて最適な値に設定することが望ましい。

本開示は、複数の撮像部を有し、立体視用の画像を撮像可能な撮像装置に適用可能である。具体的には、立体視用の画像を撮像可能な、デジタルビデオカメラ、デジタルスチルカメラ、カメラ機能付き携帯電話、スマートフォン等に本開示は適用可能である。

１１０ 撮像装置
１１１ 第１レンズ部
１１２ 第２レンズ部
１１３ モニター
２００ 第１撮像ユニット
２０１ 第１レンズ群
２０２ 第１ＣＣＤ
２０３ 第１Ａ／Ｄ変換ＩＣ
２０４ 第１アクチュエーター
２１０ 第２撮像ユニット
２１１ 第２レンズ群
２１２ 第２ＣＣＤ
２１３ 第２Ａ／Ｄ変換ＩＣ
２１４ 第２アクチュエーター
２２０ ＣＰＵ
２２１ ＲＡＭ
２２２ ＲＯＭ
２２３ 加速度センサ
２２４ 入力装置
２２５ ディスプレイ
２２６ エンコーダー
２２７ 記憶装置
３００ 第１撮像部
３０１ 第１光学部
３０２ 第１撮像素子
３０３ 第１Ａ／Ｄ変換部
３０４ 第１光学制御部
３１０ 第２撮像部
３１１ 第２光学部
３１２ 第２撮像素子
３１３ 第２Ａ／Ｄ変換部
３１４ 第２光学制御部
３２０ 画像信号処理部
３２１ 画角合わせ部
３２２，３２３ フレームメモリ
３２４，３２５ 動き検出部
３２６ 動き補正部
３２７ 補間画素生成部
３２８ 補間フレーム生成部
３２９ 信頼性情報生成部
３３０ 視差情報生成部
３３１ 画像生成部
３３２ 撮像制御部
３４０ 表示部
３５０ 入力部

Claims (11)

1. 第１画像信号と、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号と、が入力され、前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成された画角合わせ部と、
   前記第１画像信号を高解像度化するための補間画素を生成するように構成された補間画素生成部と、
   前記補間画素を用いて高解像度化された前記第１画像信号と、前記切り出し画像信号と、に基づき視差情報を生成するように構成された視差情報生成部と、
   前記視差情報に基づき、前記高解像度化された第１画像信号から新たな画像信号を生成するように構成された画像生成部と、
   を備える画像生成装置。
2. 補間フレーム生成部をさらに備え、
   前記画角合わせ部は、動画信号である前記第１画像信号と、前記第１画像信号よりも高解像度かつ低フレームレートの動画信号である前記第２画像信号を受け付けるように構成され、
   前記補間フレーム生成部は、前記切り出し画像信号を高フレームレート化するための補間フレームを生成するように構成され、
   前記視差情報生成部は、前記高解像度化された第１画像信号と、前記補間フレームを用いて高フレームレート化された前記切り出し画像信号と、に基づき前記視差情報を生成するように構成された、
   請求項１に記載の画像生成装置。
3. 前記補間画素生成部は、前記第１画像信号を前記切り出し画像信号の解像度と実質的に等しい解像度に高解像度化する前記補間画素、を生成するように構成され、
   前記補間フレーム生成部は、前記切り出し画像信号を前記第１画像信号のフレームレートと実質的に等しいフレームレートに高フレームレート化する前記補間フレーム、を生成するように構成された
   請求項２に記載の画像生成装置。
4. 第１画像を撮像して第１画像信号を出力するように構成された第１撮像部と、
   前記第１画像以上の画角を有する第２画像を、前記第１画像よりも高解像度で撮像して第２画像信号を出力するように構成された第２撮像部と、
   前記第１画像信号に基づき、前記第２画像信号の少なくとも一部を切り出して切り出し画像信号を生成するように構成された画角合わせ部と、
   前記第１画像信号を高解像度化するための補間画素を生成するように構成された補間画素生成部と、
   前記補間画素を用いて高解像度化された前記第１画像信号と、前記切り出し画像信号と、に基づき視差情報を生成するように構成された視差情報生成部と、
   前記視差情報に基づき、前記高解像度化された第１画像信号から新たな画像信号を生成するように構成された画像生成部と、
   を備える撮像装置。
5. 補間フレーム生成部をさらに備え、
   前記第１撮像部は、前記第１画像信号を動画信号として出力することができるように構成され、
   前記第２撮像部は、前記第２画像信号を前記第１画像信号よりも高解像度かつ低フレームレートの動画信号として出力することができるように構成され、
   前記補間フレーム生成部は、前記切り出し画像信号を高フレームレート化するための補間フレームを生成するように構成され、
   前記視差情報生成部は、前記高解像度化された第１画像信号と、前記補間フレームを用いて高フレームレート化された前記切り出し画像信号と、に基づき前記視差情報を生成するように構成された、
   請求項４に記載の撮像装置。
6. 前記補間画素生成部は、前記第１画像信号を前記切り出し画像信号の解像度と実質的に等しい解像度に高解像度化する前記補間画素、を生成するように構成され、
   前記補間フレーム生成部は、前記切り出し画像信号を前記第１画像信号のフレームレートと実質的に等しいフレームレートに高フレームレート化する前記補間フレーム、を生成するように構成された
   請求項５に記載の撮像装置。
7. 前記第１撮像部は、光学的なズーム機能を有する第１光学部と、前記第１光学部を透過した光を電気信号に変換して前記第１画像信号を出力するように構成された第１撮像素子と、を備え、
   前記第２撮像部は、前記第１光学部以上の画角を有する第２光学部と、前記第２光学部を透過した光を前記第１撮像素子よりも高い解像度で電気信号に変換して前記第２画像信号を出力するように構成された第２撮像素子と、を備え、
   前記第１撮像部および前記第２撮像部は、前記ズーム機能を望遠端の状態にしたときに撮像される前記第１画像信号に基づき生成される前記切り出し画像信号の解像度が、前記第１画像信号の解像度以上になるように構成され、
   前記補間画素生成部は、前記第１画像信号を前記切り出し画像信号の解像度と実質的に等しい解像度に高解像度化するための前記補間画素、を生成するように構成された、
   請求項５に記載の撮像装置。
8. 前記第２光学部は、前記第１光学部を広角端にしたときの画角に実質的に等しい画角を有するように構成された、
   請求項７に記載の撮像装置。
9. 第１画像信号に基づき、前記第１画像信号よりも高解像度であって前記第１画像信号以上の画角を有する第２画像信号から、少なくとも一部を切り出して切り出し画像信号を生成し、
   前記第１画像信号を高解像度化するための補間画素を生成し、
   前記補間画素を用いて高解像度化された前記第１画像信号と、前記切り出し画像信号と、に基づき視差情報を生成し、
   前記視差情報に基づき、前記高解像度化された第１画像信号から新たな画像信号を生成する、
   画像生成方法。
10. 動画信号である前記第１画像信号と、前記第１画像信号よりも高解像度かつ低フレームレートの動画信号である前記第２画像信号を受け付け、
    前記切り出し画像信号を高フレームレート化するための補間フレームを生成し、
    前記高解像度化された第１画像信号と、前記補間フレームを用いて高フレームレート化された前記切り出し画像信号と、に基づき前記視差情報を生成する、
    請求項９に記載の画像生成方法。
11. 前記第１画像信号を、前記切り出し画像信号の解像度と実質的に等しい解像度に高解像度化するように、前記補間画素を生成し、
    前記切り出し画像信号を、前記第１画像信号のフレームレートと実質的に等しいフレームレートに高フレームレート化するように、前記補間フレームを生成する、
    請求項１０に記載の画像生成方法。

Images