JP5536283B2 - 画像加工装置、複眼撮像装置、画像加工方法及びプログラム - Google Patents

Description

本発明は、画像加工装置、複眼撮像装置、画像加工方法及びプログラムに関する。

従来、複数の撮像部を備え、立体視画像を生成する複眼撮像装置が提案されている。複眼撮像装置は、複数の撮像部でそれぞれ生成された複数の視点画像に基づいて立体視画像を生成し、この立体視画像を立体視表示用モニタに表示する。

複眼撮像装置で撮像された立体視画像の立体感はユーザの両眼の距離や立体視表示用モニタからユーザまでの距離に左右されるので、複眼撮像装置の立体視機能については個人差が大きいという問題がある。そのため、複眼撮像装置では、ユーザの操作に従って複数の視点画像の視差が調整可能になっており、これにより立体視画像の立体感が調整される。

そこで、立体視画像を表示させるディスプレイの種類にかかわらず、最初に視差量調整を行ったユーザの意図に合った視差量調整を行う技術が提案されている（特開２００５−７３０１２号公報参照）。この技術によれば、視差量の変更要求に基づき視差量の調整に関する情報が作成され、これをディスプレイの種類に依存しない単位の情報に変換して記録される。そして、記録された情報が読み出されると、この情報に基づいて視差量の調整に関する情報が作成され、この情報に基づいて立体表示用の画像が生成される。

また、特開２００４−２２１７００号公報では、立体視画像を表示している間にユーザの意図にあった視差を特定する技術が提案されている。特開２００４−２２１７００号公報に記載の技術によれば、表示装置に表示された立体視画像の限界視差がユーザの指示に従って特定され、立体視画像を表示する前に適正視差が実現されるように画像処理が行われる。

しかし、特開２００５−７３０１２号公報及び特開２００４−２２１７００号公報に記載の技術は何れも最初の段階に問題がある場合、例えば、撮像部で得られた複数の視点画像から求められる視差量自体に問題がある場合、視差調整対象を検出できなくなってしまうような場合では、特開２００５−７３０１２号公報及び特開２００４−２２１７００号公報の技術を用いても、適切に視差調整を行うことができない。そこで、適切な視差調整が行われずに画面に画像が表示された場合、画面に表示されている画像の視差量がどの程度なのかをユーザに把握させる技術が提案されている（例えば特開２００８−１０３８２０号公報参照）。

特開２００８−１０３８２０号公報では、立体画像データを含む動画像データを再生する際に、視差の分布を一目で判断可能とする技術が提案されている。この技術によれば、視差の大きさを一定の範囲ごとに色を変えることによって視差の大きさをユーザに認識させることで、ユーザが立体画像を含む動画像を視認した際の生体への悪影響が未然に防止される。

しかしながら、特開２００８−１０３８２０号公報に記載の技術では、ユーザに対して視差量を一目で判断させることはできるものの、その視差量が異常であるか否かを把握させることが困難である、という問題点があった。

本発明は、このような実情を鑑みて提案されたものであり、視差量の異常を簡便かつ高精度に把握することができる画像加工装置、複眼撮像装置、画像加工方法及びプログラムを提供することを目的とする。

上記目的を達成するために、本発明の第１の態様の画像加工装置を、複数の視点から同一の被写体を連続的に撮影して得られた連続フレーム画像を取得する画像取得手段と、前記画像取得手段によって取得された前記連続フレーム画像を構成する複数のフレーム画像の各々に基づいて前記複数のフレーム画像の各々についての視差量を取得する視差量取得手段と、前記画像取得手段によって取得された連続フレーム画像を構成しているフレーム画像を立体視画像として視認されるように表示する表示手段と、前記フレーム画像に対する視差量の加工を指示する加工指示情報を受け付ける受付手段と、前記表示手段に表示される前記フレーム画像に対して、前記受付手段によって受け付けられた加工指示情報により指示された視差量の加工を施し、該フレーム画像の前後の複数のフレーム画像に対して、該前後のフレーム画像が該表示されるフレーム画像から離れるほど該指示された視差量より徐々に小さくなるように視差量の加工を施す加工手段と、前記加工手段による視差量の加工が指示された前記フレーム画像が前記表示手段に表示されている間、前記視差量取得手段によって取得された視差量に関する視差量関連情報と該視差量が異常であるか否かを判断するための指標とを対応付けて表示するように前記表示手段を制御する制御手段と、を含んで構成した。

また、本発明の第２の態様の画像加工装置を、第１の態様の画像加工装置において、前記視差量取得手段が、前記フレーム画像内において視差量の取得対象の被写体像として予め定められた被写体像に基づいて視差量を取得するものとした。

また、本発明の第３の態様の画像加工装置を、第２の態様の画像加工装置において、前記予め定められた被写体像を、前記フレーム画像内の所定値以上の空間周波数を有する被写体像としたものとした。

また、本発明の第４の態様の画像加工装置を、第１〜第３の何れかの態様の画像加工装置において、前記制御手段が、更に、前記加工手段による視差量の加工が指示された前記フレーム画像が前記表示手段に表示されている間、視差量の許容限界を表す情報と、視差量の経時変化を表す情報と、該視差量の経時変化を表す情報において現在表示されているフレーム画像の視差が確認可能な情報とを対応付けて表示するように前記表示手段を制御するものとした。

また、本発明の第５の態様の画像加工装置を、第４の態様の画像加工装置において、前記視差量の許容限界を表す情報及び前記視差量の経時変化を表す情報を、被写体像の奥行き側及び手前側の各々に対応させたものとした。

また、本発明の第６の態様の画像加工装置を、第１〜第５の何れかの態様の画像加工装置において、前記視差量取得手段によって取得された視差量の一定期間の変動が所定値よりも大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定する異常判定手段を更に含み、前記制御手段が、更に、前記異常判定手段で視差量が異常であると判定された場合に該視差量に対応するフレーム画像の表示に同期して警告を表示するように前記表示手段を制御するものとした。

また、本発明の第７の態様の画像加工装置を、第６の態様の画像加工装置において、前記異常判定手段により前記視差量に異常がないと判定された場合に、第１の視差調整を行い、前記異常判定手段により前記視差量に異常があると判定された場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う視差調整手段を更に含み、前記制御手段が、更に、前記加工手段によって加工が施される対象とされた前記フレーム画像が前記表示手段に表示される場合、前記視差調整手段によって前記視差調整が行われた前記フレーム画像が表示されるように前記表示手段を制御するものとした。

また、本発明の第８の態様の画像加工装置を、第７の態様の画像加工装置において、前記視差調整手段が、前記異常判定手段により前記視差量に異常があると判定された場合、予め定められた視差量最大変化量の範囲内で視差調整を行うものとした。

また、本発明の第９の態様の画像加工装置を、第７または第８の態様の画像加工装置において、前記視差調整手段が、前記異常判定手段により前記視差量に異常があると判定された場合、前フレームでの視差量を用いて視差調整を行うものとした。

また、本発明の第１０の態様の画像加工装置を、第７〜第８の何れかの態様の画像加工装置において、前記視差調整手段が、前記異常判定手段により前記視差量に異常があると判定された場合、視差調整頻度を低下させるものとした。

また、本発明の第１１の態様の複眼撮像装置を、第１〜第１０の何れかの態様の画像加工装置と、前記連続フレーム画像を、複数の視点から同一の被写体を連続フレームで撮像することにより生成する撮像手段と、を含んで構成した。

また、本発明の第１２の態様の画像加工方法を、複数の視点から同一の被写体を連続的に撮影して得られた連続フレーム画像を取得し、取得された前記連続フレーム画像を構成する複数のフレーム画像の各々に基づいて前記複数のフレーム画像の各々についての視差量を取得し、取得された連続フレーム画像を構成しているフレーム画像を立体視画像として視認されるように表示し、前記フレーム画像に対する視差量の加工を指示する加工指示情報を受け付け、表示される前記フレーム画像に対して、受け付けられた加工指示情報により指示された視差量の加工を施し、該フレーム画像の前後の複数のフレーム画像に対して、該前後のフレーム画像が該表示されるフレーム画像から離れるほど該指示された視差量より徐々に小さくなるように視差量の加工を施し、視差量の加工が指示された前記フレーム画像が表示されている間、取得された視差量に関する視差量関連情報と該視差量が異常であるか否かを判断するための指標とを対応付けて表示するものとした。

また、本発明の第１３の態様のプログラムを、複数の視点から同一の被写体を連続的に撮影して得られた連続フレーム画像を取得する画像取得手段、前記画像取得手段によって取得された前記連続フレーム画像を構成する複数のフレーム画像の各々に基づいて前記複数のフレーム画像の各々についての視差量を取得する視差量取得手段、前記画像取得手段によって取得された連続フレーム画像を構成しているフレーム画像を立体視画像として視認されるように表示手段に表示させる手段、前記フレーム画像に対する視差量の加工を指示する加工指示情報を受け付ける受付手段、前記表示手段に表示される前記フレーム画像に対して、前記受付手段によって受け付けられた加工指示情報により指示された視差量の加工を施し、該フレーム画像の前後の複数のフレーム画像に対して、該前後のフレーム画像が該表示されるフレーム画像から離れるほど該指示された視差量より徐々に小さくなるように視差量の加工を施す加工手段、及び、前記加工手段による視差量の加工が指示された前記フレーム画像が前記表示手段に表示されている間、前記視差量取得手段によって取得された視差量に関する視差量関連情報と該視差量が異常であるか否かを判断するための指標とを対応付けて表示させるように前記表示手段を制御する制御手段としてコンピュータを機能させるためのものとした。

本発明によれば、視差量の異常を簡便かつ高精度に把握することができる、という効果が得られる。

画像再生加工装置の概略を示す斜視図である。 画像再生加工装置の表示装置側の概略構成を示すブロック図である。 立体視用の画像ファイルのファイルフォーマットを示す図である。 画像再生加工装置の液晶シャッタ眼鏡側の概略構成を示すブロック図である。 第１の基本形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。 第１の視差量取得ルーチンを示すフローチャートである。 第２の視差量取得ルーチンを示すフローチャートである。 視差量表示画面の表示例を示す模式図である。 モニタに表示されたフレームに視差量表示画面を重畳させた状態の一例を示す図であり、視差量が正常の場合の例を示す。 モニタに表示されたフレームに視差量表示画面を重畳させた状態の一例を示す図であり、視差量が異常の場合の例を示す。 第１のハンチング有無判定ルーチンを示すフローチャートである。 第２のハンチング有無判定ルーチンを示すフローチャートである。 第１の実施の形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。 第１の実施の形態に係る画像再生加工装置の変形例を示す構成図である。 第２の基本形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。 第２の実施の形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。 図１５に示すフローチャートの続きである。 第３の基本形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。 第３の実施の形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。 図１８に示すフローチャートの続きである。 第４の基本形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。 視差調整対象をＧＵＩでマーキングした状態を示す図である。 視差調整対象をＧＵＩでマーキングした状態を示す図である。 視差調整対象をＧＵＩでマーキングした状態を示す図である。 第４の実施の形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。 図２２に示すフローチャートの続きである。 複眼カメラの正面側斜視図である。 複眼カメラの背面側斜視図である。 複眼カメラの内部構成を示す概略ブロック図である。 撮影部の構成を示す図である。 モニタの構成を示す図である。 レンチキュラーシートの構成を示す図である。 左目用及び右目用画像に対する３次元処理を説明するための図である。 視差関連情報の一例を示す図である。 視差関連情報を説明するための図である。 視差関連情報を説明するための図である。

［第１の基本形態］
図１は、後述する本発明の第１の実施の形態の前提となる第１の基本形態に係る画像再生加工装置１０の概略を示す図である。

図１に示すように、画像再生加工装置１０は、立体視画像を表示する表示装置１２及び液晶シャッタ眼鏡１４を備えている。また、表示装置１２は、各種表示を行うモニタ１２Ａを備えている。更に、表示装置１２は、電源を投入する際に押圧操作される電源ボタン１３Ａ、立体視画像を再生する際に押圧操作される再生開始ボタン１３Ｂ、立体視画像の再生を停止する際に押圧操作される再生停止ボタン１３Ｃ、ユーザに選択させる情報を含むメニュー画面をモニタ１２Ａに表示する際に押圧操作されるメニューボタン１３Ｄ、モニタ１２Ａに表示された情報がユーザによって選択され、選択された情報を取り消す際に押圧操作されるキャンセルボタン１３Ｅ、モニタ１２Ａに表示された情報がユーザによって選択され、選択された情報を確定する際に押圧操作される確定ボタン１３Ｆ、及びモニタ１２Ａに表示された情報を選択する際に操作される十字キー１３Ｇを含んで構成された操作部１３を備えている。

なお、本第１の基本形態では、左目用画像Ｇ１と右目用画像Ｇ２とを交互に表示装置１２に表示すると共に、左目用画像Ｇ１が表示されたときに液晶シャッタ眼鏡１４の右目の液晶シャッタが透過状態、右目用画像Ｇ２が表示されたときに液晶シャッタ眼鏡１４の左目の液晶シャッタが透過状態となるように交互に液晶シャッタを駆動する方式で立体視画像として視認されるように３次元立体映像を再生する形態を例に挙げて説明する。なお、本第１の基本形態では、液晶シャッタ眼鏡１４を使用して３次元立体映像を再生する画像再生加工装置を一例として説明するが、これに限るものではなく、例えば、偏光フィルタ眼鏡を用いて３次元立体映像を再生するものを適用するようにしてもよいし、眼鏡を用いない方式で３次元立体映像を再生する方式の画像再生加工装置を適用するようにしてもよい。また、本第１の基本形態では、再生開始ボタン１３Ｂを長押し（例えば１秒以上の押圧操作）により後述する３Ｄ動画編集ルーチンが実行される。

図２は、本第１の基本形態に係る画像再生加工装置１０の表示装置１２側の概略構成を示すブロック図である。

表示装置１２は、同期通信部１６、画像処理部１８、圧縮／伸長処理部２０、フレームメモリ２２、メディア制御部２４、内部メモリ２６、３次元処理部２８、表示制御部３０、及びＣＰＵ３２を備えており、これらはバスＢＵＳを介して相互に接続されている。また、メディア制御部２４には記録メディア３４が、表示制御部３０にはモニタ１２Ａが各々接続されている。更に、ＣＰＵ３２には、操作部１３が接続されている。

同期通信部１６は、液晶シャッタ眼鏡１４の左右の液晶シャッタの駆動と、表示装置１２に表示する左目用及び右目用のそれぞれの画像とを同期させるための信号の送信及び受信を行う。

画像処理部１８は、表示すべき画像を表す画像データに対して、ホワイトバランス調整、階調補正、シャープネス補正、色補正等の各種画像処理を施す。

圧縮／伸長処理部２０は、画像処理部１８によって処理が施された画像データに対して、例えば、ＪＰＥＧやＭＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルＦ０を作成したり、再生する際に圧縮された画像データを伸長する処理を行う。画像ファイルＦ０は、左目用画像Ｇ１及び右目用画像Ｇ２の画像データを有しており、更に、例えばＥｘｉｆフォーマットに基づく、基線長、輻輳角及び撮影日時等の付帯情報、及び視点位置を表す視点情報を含んでいる。

図３は、立体視用の画像ファイルのファイルフォーマットを示す図である。立体視用の画像ファイルＦ０は、左目用画像Ｇ１の付帯情報Ｈ１、左目用画像Ｇ１の視点情報Ｓ１、左目用画像Ｇ１の画像データ、右目用画像Ｇ２の付帯情報Ｈ２、右目用画像Ｇ２の視点情報Ｓ２，及び右目用画像Ｇ２の画像データが格納されてなる。また、図示はしないが、左目用画像Ｇ１及び右目用画像Ｇ２についての付帯情報、視点情報及び画像データの前後には、データの開始位置及び終了位置を表す情報が含まれる。

付帯情報Ｈ１，Ｈ２には、左目用画像Ｇ１及び右目用画像Ｇ２の撮影日、基線長、及び輻輳角の情報が含まれる。付帯情報Ｈ１，Ｈ２には、左目用画像Ｇ１及び右目用画像Ｇ２のサムネイル画像も含まれる。なお、視点情報としては、例えば左側の撮影部から順に付与した視点位置の番号を用いることができる。

フレームメモリ２２は、画像データに対して、画像処理部１８が行う処理を行う各種処理を行う際に使用する作業用メモリである。

メディア制御部２４は、記録メディア３４に対してアクセスして例えば画像ファイルの書き込みと読み込みの制御を行う。

内部メモリ２６は、例えば表示装置１２における各種設定を表す情報、及びＣＰＵ３２が実行するプログラムを記憶する。

３次元処理部２８は、記録メディア３４に記憶された画像データを読み出して、同期通信部１６による液晶シャッタ眼鏡１４と通信によって得られる同期信号に同期して、立体視画像を表示させるための左目用画像Ｇ１と、右目用画像Ｇ２とを交互に表示することにより立体視画像ＧＲが表示されるように表示制御部３０を制御する。また、３次元処理部２８は、画像データにフレーム毎の視差情報が記録されていない場合に、主要被写体を検出して、フレーム毎の視差を算出する処理を行う。また、３次元処理部２８は、左目用画像Ｇ１及び右目用画像Ｇ２の視差を調整することもできる。ここで、視差とは、左目用画像Ｇ１及び右目用画像Ｇ２の双方に含まれる被写体の、左目用画像Ｇ１及び右目用画像Ｇ２の横方向、すなわち基線に沿った方向における画素位置のずれ量をいう。視差を調整することにより、立体視画像ＧＲに含まれる被写体の立体感を適切なものとすることができる。

表示制御部３０は、立体視する場合には、３次元処理部２８の制御によって左目用画像Ｇ１と、右目用画像Ｇ２とを交互にモニタ１２Ａに表示させる。

図４は、第１の基本形態に係る画像再生加工装置１０の液晶シャッタ眼鏡１４側の概略構成を示すブロック図である。

液晶シャッタ眼鏡１４は、同期通信部３６、液晶シャッタ駆動部３８、右目用液晶シャッタ４０、及び左目用液晶シャッタ４２を備える。

同期通信部３６は、左右の液晶シャッタの駆動と、表示装置１２に表示される左右それぞれの画像とを同期させるための信号を通信する。

液晶シャッタ駆動部３８は、同期通信部３６による表示装置１２と通信することによって得られる同期信号に同期して、右目用液晶シャッタ４０及び左目用液晶シャッタ４２の駆動を制御する。これによって、左目用画像Ｇ１が表示装置１２のモニタ１２Ａに表示されているときに、右目用液晶シャッタ４０が透過状態、左目用液晶シャッタ４２が遮蔽状態となり、右目用画像Ｇ２が表示装置１２のモニタ１２Ａに表示されているときに、左目用液晶シャッタ４２が透過状態、右目用液晶シャッタ４０が遮蔽状態となり、立体視画像が再生される。

以上のように構成された表示装置１２では、ＣＰＵ３２によって次の３Ｄ動画編集ルーチンが実行される。なお、３Ｄ動画編集ルーチンのプログラムは内部メモリ２６に予め記憶されている。

（３Ｄ動画編集ルーチン）
図５は、３Ｄ動画編集ルーチンを示すフローチャートである。なお、ここでは、錯綜を回避するために、本３Ｄ動画編集ルーチンにおいて実際に実施する編集メニューとして、カット、結合、リサイズ、クロップ、回転、色調補正、画像（静止画／動画／文字など）の重ね合わせ、フレームレート変換、インターレース変換、リバース、フェードイン／アウト、モザイク、フォーマット変換などの予め定められた複数の編集メニューのうちの何れかがユーザによって既に指定されている場合について説明する。

ステップ１００では、３Ｄ動画の編集開始の指示が再生開始ボタン１３Ｂを介して入力されると、３次元動画編集を開始して、ステップ１０２へ進む。ステップ１０２では、記録メディア３４に記憶されている編集対象の動画データ（連続フレーム）を構成している画像ファイルＦ０の左目用画像Ｇ１及び右目用画像Ｇ２に基づく視差量を３次元処理部２８に取得させる。ここでは、第１又は第２の視差量取得ルーチンが実行され、３次元処理部３０は次の処理を行う。

（視差量の取得）
図６は、第１の視差量取得ルーチンを示すフローチャートである。３次元処理部２８は、最初に、複数画像、すなわち記録メディア３４に記憶されている画像ファイルＦ０の左目用画像Ｇ１及び右目用画像Ｇ２における同一の人物の顔領域をそれぞれ検出し、これらの顔領域の座標を示す顔検出座標を取得し（ステップ２００）、取得した顔検出座標の座標差分を算出し（ステップ２０２）、座標差分から視差量を算出する（ステップ２０４）。

図７は、第２の視差量取得ルーチンを示すフローチャートである。３次元処理部２８は、最初に、複数画像、すなわち記録メディア３４に記憶されている画像ファイルＦ０の左目用画像Ｇ１及び右目用画像Ｇ２における同一のオブジェクトをそれぞれ検出し、これらのオブジェクトを特定する特徴点の座標である特徴点座標を取得し（ステップ２１０）、取得した特徴点座標の座標差分を算出し（ステップ２１２）、座標差分から視差量を算出する（ステップ２１４）。そして、第１又は第２の視差量取得ルーチンが終了すると、図５に示すステップ１０４へ進む。

（視差量の表示）
ステップ１０４では、上記ステップ１０２の処理によって得られた視差量とその視差量が異常であるか否かを判断するための指標とを対比可能にモニタ１２Ａに表示した後、ステップ１０６に進む。図８には、モニタ１２Ａに視差量と指標とが対比可能に表示された状態の一例が示されている。図８に示すように、本実施の形態に係る表示装置１２のモニタ１２Ａには、フレーム内の奥行き方向で対称なオブジェクト（被写体像）についての視差量の許容限界範囲を規定する凹側許容限界ライン４０１（許容限界範囲の最大値を示す直線画像）及び凸側許容限界ライン４０２（許容限界範囲の最小値を示す直線画像）を含む視差量表示画面４０がモニタ１２Ａに表示される。そして、上記対称なオブジェクトのうちの奥行き側のオブジェクトである凹側オブジェクトの視差量４１０の経時変化を示す奥行き側視差量グラフ４０３、及び上記対称なオブジェクトのうちの手前側のオブジェクトである凸側オブジェクトの視差量４１１の経時変化を示す手前側視差量グラフ４０４が凹側許容限界ライン及び凸側許容限界ラインと対比可能に視差量表示画面４０に重ねて表示される。また、現時点でモニタ１２Ａに表示されているフレームに基づく視差量に対応する箇所に目印が視差量表示画面４０に重ねて表示される。従って、目印は、モニタ１２Ａでフレームの表示が進むに従って位置が変化する。図８に示す例では、目印は、視差量表示画面４０の左端４０５（動画再生開始点を示す位置）から右端４０６（動画再生終了点を示す位置）にかけてフレームの表示速度と同じ速度で移動する。また、図８に示す例では、目印として、凹側視差量許容限界ライン４０７、凸側視差量許容限界ライン４０８、奥行き側視差量グラフ４０３、及び手前側視差量グラフ４０４を縦断する縦断ライン４０９（目印、現在の表示位置）を適用しているが、これに限らず、少なくとも奥行き側視差量グラフ及び手前側視差量グラフについて、現時点でモニタ１２Ａに表示されているフレームに基づく視差量に対応する箇所が視覚的に特定可能な表示形態の目印であれば如何なる目印であっても良い。参照符号４１２はクロスポイントを示す。

このように、視差量表示画面４０に奥行き側視差量グラフ及び手前側視差量グラフが重ねて表示されることで、ユーザ（例えば３Ｄ動画の編集者）は、奥行き側視差量グラフ及び手前側視差量グラフの少なくとも一方が凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内に収まっていなければ視差量が許容限界範囲を超えていると判断することができ、奥行き側視差量グラフ及び手前側視差量グラフの少なくとも一方が凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内に収まっていれば視差量が許容限界範囲を超えていないと判断することができる。なお、許容限界範囲は、フレームの想定表示サイズによって変動するので、想定表示サイズを変更してその変更結果を奥行き側視差量グラフ及び手前側視差量グラフに反映させるようにしても良い。

ステップ１０６では、一例として図９Ａおよび図９Ｂに示すように、モニタ１２Ａに、編集対象の動画データに含まれるフレームを表示すると共に、視差量表示画面４０をフレームの一部に重畳させて表示する。

次のステップ１０８では、現時点でモニタ１２Ａに表示されているフレームについて３次元処理部２８で取得された視差量に異常があるか否かを判定し、異常があると判定した場合はステップ１１０に進み、異常がないと判定した場合はステップ１１４へ進む。本ステップ１０８では、（１）視差量にハンチングがあるか、（２）視差量が許容限界か、（３）視差調整対象を見失って検出できなくなったかのいずれか１つに基づいて視差量の異常が判定される。

（１）ハンチング有無の判定
ＣＰＵ３２は、ステップ１０８において、次に示す第１又は第２のハンチング有無判定ルーチンを実行する。なお、第１及び第２のハンチング有無判定ルーチンのプログラムは、内部メモリ２６に予め記憶されている。

図１０は、第１のハンチング有無判定ルーチンを示すフローチャートである。ＣＰＵ３２は、３次元処理部２８で得られた一定期間の視差量を取得し（ステップ２２０）、取得した視差量のばらつきＳを算出する（ステップ２２２）。そして、ＣＰＵ３２は、ばらつきＳがハンチング閾値Ｔより小さい（Ｓ＜Ｔ）か否かを判定する（ステップ２２４）。Ｓ＜Ｔの場合はハンチングがない（視差量に異常がない）と判定して図５のステップ１１４へ進み、Ｓ＜Ｔでない場合はハンチングがある（視差量に異常がある）と判定して図５のステップ１１０へ進む。

図１１は、第２のハンチング有無判定ルーチンを示すフローチャートである。ＣＰＵ３２は、３次元処理部２８で得られた現フレームと前フレームの視差量の変化量Ｄを取得する（ステップ２３０）。そして、ＣＰＵ３２は、変化量Ｄがハンチング閾値Ｔより小さい（Ｄ＜Ｔ）かを判定する（ステップ２３２）。Ｄ＜Ｔの場合はハンチングがない（視差量に異常がない）と判定して図５のステップ１１４へ進み、Ｄ＜Ｔでない場合はハンチングがある（視差量に異常がある）と判定して図５のステップ１１０へ進む。

（２）視差量の許容限界判定
ＣＰＵ３２は、ステップ１０８において、視差量が予め定められた許容限界値に達しているかを判定してもよい。ここで、許容限界とは、立体視画像に表される物体の飛び出し過ぎ又は凹みすぎを表す視差量の閾値をいう。視差量が許容限界値に達している場合はステップ１１０へ進み、視差量が許容限界に達していない場合はステップ１１４へ進む。

（３）視差調整対象の判定
ＣＰＵ３２は、ステップ１０８において、視差調整対象を見失って検出できなくなったか否かを判定してもよい。視差調整対象とは、例えば人物の顔などの画面の中心位置付近にあるオブジェクト、複数の特徴点などが該当する。

ここでは、ＣＰＵ３２は、視差調整対象が例えば１０フレーム検出されなかった場合は視差調整対象を見失ったと判定して制御手段としてのステップ１１０へ進み、視差調整対象が１０フレーム検出されていない場合はステップ１１４へ進む。なお、「１０フレーム」は一例に過ぎず、その他のフレーム数であってもよい。これにより、視差調整対象を見失った場合、視差調整制御を切り替えるので、３次元動画再生の視差調整を安定化させることができる。

（視差量異常情報の表示）
ステップ１１０では、一例として図９Ｂに示すように、モニタ１２Ａに、視差量に異常があることを示す視差量異常情報４５０（一例として図９Ｂに示す「ＮＧ」との視差量警告を示す文字）をフレームに重畳させて表示する。これにより、ユーザは、現時点で表示されているフレームに基づく視差量が異常であることを容易に把握することができる。なお、本実施の形態では、可視表示を例に挙げて説明しているが、これに限らず、視差量に異常があることを可聴表示しても良い。また、可視表示と可聴表示とを併用しても良い。

（視差調整制御の切り替え）
次のステップ１１２では、ＣＰＵ３２は、視差調整制御を別の制御に切り替えた後、ステップ１１４に進む。本ステップ１１２では、第１及び第２の切り替え処理のうちのいずれか１つの処理が実行される。

第１の切り替え処理として、ＣＰＵ３２は、フレーム毎の視差量最大変化量を定義して３次元処理部２８に設定することで、フレーム毎の視差量の変化量に制限をかける。これにより、視差量最大変化量の範囲内で視差調整が行われて、視差量の急激な変化を抑制できるので、３次元動画再生の視差調整を安定化させることが可能になる。

また、第２の切り替え処理として、ＣＰＵ３２は、当該フレームでの視差調整をスキップ（当該フレームでの視差調整を禁止）して、前フレームでの視差調整をそのまま継続させる。つまり、前フレームでの視差量を使用する。これにより、視差量に異常があった場合でも、視差調整をスキップできるので、３次元動画再生の視差調整を安定化させることができる。

ステップ１１４では、ＣＰＵ３２は、３次元処理部２８に視差調整を実施させて、視差調整された左目用画像Ｇ１及び右目用画像Ｇ２を表示制御部３０に出力し、ステップ１１６へ進む。

ステップ１１６では、ＣＰＵ３２は、現時点で表示されているフレームに対して、ユーザによって予め指定された編集を実施する。なお、本ステップ１１６では、１コマ単位のフレームについてユーザの指示操作に従って編集を実施しているが、これに限らず、複数のフレームをまとめて編集するようにしても良い。

次のステップ１１８では、ＣＰＵ３２は、再生停止ボタン１３Ｃにより動画再生停止の指示が入力されたかを判定し、肯定判定の場合は本ルーチンを終了し、否定判定の場合は次のフレームの処理に移行し、再びステップ１０６へ戻る。

以上のように、画像再生加工装置１０では、加工が施される対象とされたフレームがモニタ１２Ａに表示される間、視差量（奥行き側視差量グラフ及び手前側視差量グラフ）とその視差量が異常であるか否かを判断するための指標（凹側許容限界ライン、凸側許容限界ライン、及び目印）とが対比可能に表示されるように制御しているので、視差量の異常を簡便かつ高精度に把握することができる。

また、画像再生加工装置１０では、実際に編集を実施する前の段階で編集対象とされている動画データを構成しているフレームの視差量の異常を把握することができるので、視差量が異常な箇所の修正を容易に行うことができる。

なお、ＣＰＵ３２は、ハンチングを検出した場合、視差調整を実施した後（ステップ１０８終了後）ハンチングの有無を示すハンチング情報を記録メディア３４に記録してもよい。これにより、動画情報にハンチングの有無が付加されるので、再度の動画再生時にハンチング情報を利用することができ、再度の３次元動画再生時の視差調整を安定化させることができる。また、ステップ１０４では、（１）ハンチング有無の判定、（２）視差量の許容限界判定、（３）視差調整対象の判定のいずれか１つが実行される場合について説明したが、（１）から（３）のいずれか２つまたはすべてを実行してもよい。

［第１の実施の形態］
次に、上記第１の基本形態を前提にした本発明の第１の実施の形態について説明する。なお、ここでは、上述した同一の部位については同一の符号を付し、その詳細な説明は省略する。

図１２は、本第１の実施の形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。なお、以下では、上述した３Ｄ動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、上述した３Ｄ動画編集ルーチンと異なる点を説明する。

本第１の実施の形態に係る３Ｄ動画編集ルーチンでは、ＣＰＵ３２は、図１２に示すようにステップ１１０の処理を実行した後、ステップ１１３Ａへ進む。ステップ１１３Ａでは、受付手段としての操作部１３によって視差量の調整を行う指示が受け付けられたか否かを判定し、肯定判定となった場合にはステップ１１３Ｂに移行する一方、否定判定となった場合にはステップ１１３Ｃに移行する。視差量の調整を行う指示は、例えば操作部１３のメニューボタン１３Ｄが押圧操作されることによって実現される。なお、本ステップ１１３Ａにおいて肯定判定となった場合には現時点でモニタ１２Ａに表示されている奥行き側視差量グラフ及び手前側視差量グラフのうちの何れか（例えば奥行き側視差量グラフ）が点滅表示される。本第１の実施の形態に係る表示装置１２では、点滅表示されたグラフが視差量の調整対象のグラフとして選択されていることをユーザに視覚的に伝達するようにしているが、これに限らず、現時点で何れのグラフが選択された状態にあるかを音声でユーザに伝達するようにしても良い。例えば、奥行き側視差量グラフが選択された状態にある場合は「現在、上側のグラフが選択されています。」との音声を出力し、手前側視差量グラフが選択された状態にある場合は「現在、下側のグラフが選択されています。」との音声を出力するようにしても良い。また、以上のような可視表示及び可聴表示を組み合わせることによって現在何れのグラフが選択されているかをユーザに伝達するようにしても良い。

ステップ１１３Ｃでは、視差量の調整を行わない条件として予め定められた条件（例えば、上記ステップ１０８又は上記ステップ１１０の処理の実行が終了してから所定時間（例えば３秒）経過した、との条件）を満足したか否かを判定し、否定判定となった場合にはステップ１１３Ａに移行する一方、肯定判定となった場合にはステップ１１６に移行する。

ステップ１１３Ｂでは、奥行き側視差量グラフ及び手前側視差量グラフのうち、視差量の調整対象となるグラフが指定されたか否かを判定し、肯定判定となった場合にはステップ１１３Ｄに移行する一方、否定判定となった場合にはステップ１１３Ｅに移行する。上記ステップ１１３Ｂの処理によって視差量の調整対象となるグラフが指定されると、現時点で点滅表示されているグラフの表示形態が、視差量の調整対象となるグラフとして指定されたことを示す表示形態（例えば、破線で停止表示される形態）に変更される。なお、視差量の調整対象となるグラフは、例えば、奥行き側視差量グラフ及び手前側視差量グラフの何れかが十字キー１３Ｇの左右方向のキーが押圧操作されることによって選択され、選択された状態で確定ボタン１３Ｆが押圧操作されることによって指定（確定）される。しかし、視差量の調整対象となるグラフの指定方法は、これに限定されるものではない。例えば、モニタ１２Ａにタッチパネルを設け、ユーザがタッチパネルを介して点滅表示状態のグラフに触れることによって、その触れたグラフを視差量の調整対象となるグラフとして指定するようにしても良い。

ステップ１１３Ｅでは、視差量の調整を行わない条件として予め定められた条件（例えば、上記ステップ１１３Ａの処理の実行が終了してから所定時間（例えば３秒）経過した、との条件）を満足したか否かを判定し、否定判定となった場合にはステップ１１３Ｂに移行する一方、肯定判定となった場合にはステップ１１６に移行する。

ステップ１１３Ｄでは、操作部１３を介して視差量の調整量を取得したか否かを判定する。視差量の調整量は、例えば、十字キー１３Ｇの上方向のキー又は下方向のキーが押圧操作されることによって取得される。つまり、十字キー１３Ｇの上方向のキー又は下方向のキーに対する押圧操作量が視差量の調整量に相当しており、十字キー１３Ｇの上方向のキー又は下方向のキーに対する押圧操作量が視差量の調整量として取得される。また、本第２の実施形態に係る表示装置１２では、視差量の調整対象となるグラフが指定されてから十字キー１３Ｇの上方向のキー又は下方向のキーが押圧操作されると、その押圧操作に対応して、視差量の調整対象として指定されたグラフが変形する。具体的には、ＣＰＵ３２が、視差量の調整対象となるグラフを、十字キー１３Ｇの上方向のキー又は下方向のキーの押圧操作に対応して、目印の縦断ラインを中心にして左右方向（動画開始点側及び動画終了点側）に離れるほど変形量が予め定められた割合で小さくなるように（目印からの距離に反比例するように）変形させる制御を行う。

なお、視差量の調整量の取得方法は、十字キー１３Ｇの上方向のキー又は下方向のキーの押圧操作による方法に限定されるものではない。この他にも例えば、モニタ１２Ａにタッチパネルを設け、ユーザがタッチパネルを介して、視差量の調整対象として指定されたグラフにおける目印の部分に触れ、触れた部分を所定の位置（例えば凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内の所定の位置）まで移動させて移動先でタッチパネルへの接触を止めることによって確定した移動量を視差量の調整量として取得しても良い。

ステップ１１３Ｄにおいて肯定判定となった場合には加工手段としてのステップ１１３Ｆに移行する一方、否定判定となった場合にはステップ１１３Ｇに移行する。ステップ１１３Ｇでは、現時点で視差量の調整対象とされているグラフの指定が解除されたか否かを判定し、肯定判定となった場合にはステップ１１３Ｂに移行する一方、否定判定となった場合にはステップ１１３Ｄに移行する。なお、グラフの指定の解除は、例えば、キャンセルボタン１３Ｅを押圧操作することによって実現される。

ステップ１１３Ｆでは、上記ステップ１１３Ｂの処理によって指定されているグラフを対象にして、上記ステップ１１３Ｄの処理によって取得された調整量に基づいて３次元処理部２８に視差調整を実施させる。よって、３次元処理部２８は、現時点で表示されているフレームについて、上記ステップ１１３Ｄの処理によって取得された調整量分の視差調整を実施すると共に、現時点で表示されているフレームの前後に連なっているフレームについての視差量を調整する。具体的には、それらのフレームについて、現時点で視差量の調整対象とされているグラフにおける目印の部分の変形方向と同じ方向に変形し、且つ、目印を中心にしてグラフの左右方向（動画開始点側及び動画終了点側）に離れるほどグラフの変形量が予め定められた割合で徐々に小さくなる（目印からの距離に反比例する）のに伴って視差量も小さくなるように視差調整を実施する。これにより、視差量の調整対象となるグラフにおける目印の部分に対応するフレーム（現在表示されているフレーム）についての視差量のみならず、そのフレームの前後に連なるフレームについての視差量も違和感なく調整される。

このように上記ステップ１１３Ｂ，１１３Ｄ，１１３Ｆの処理が実行されることによって、例えば、奥行き側視差量グラフが凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内に収まっていない場合（凹側許容限界ラインの上方に位置している場合）には奥行き側視差量グラフを視差量の調整対象となるグラフとして指定してから、十字キー１３Ｇの下方向のキーを押圧操作することによって奥行き側視差量グラフにおける目印の部分を凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内に収めることが可能となる。また、手前側視差量グラフが凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内に収まっていない場合（凸側許容限界ラインの下方に位置している場合）には手前側視差量グラフを視差量の調整対象となるグラフとして指定してから、十字キー１３Ｇの上方向のキーを押圧操作することによって手前側視差量グラフにおける目印の部分を凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内に収めることが可能となる。

ステップ１１３Ｈでは、視差量の調整を行わない条件として予め定められた条件（例えば、上記ステップ１１３Ｆの処理の実行が終了してから所定時間（例えば３秒）経過した、との条件）を満足したか否かを判定し、否定判定となった場合にはステップ１１３Ａに移行する一方、肯定判定となった場合にはステップ１１６に移行する。

なお、本第１の実施の形態では、奥行き側視差量グラフ又は手前側視差量グラフにおける目印の部分を中心にしてユーザの操作に応じて視差量を調整する場合の形態例を挙げて説明したが、これに限らず、視差量表示画面４０に表示されている奥行き側視差量グラフ又は手前側視差量グラフについて、視差量の許容限界範囲を超えている箇所を指定し、第１の基本形態で説明した「第１の切り替え処理」を用いて視差調整を行うようにしても良い。この場合、本第１の実施の形態に係る３Ｄ動画編集ルーチンのステップ１１３Ａ〜１１３Ｈの処理に代えて、３次元処理部２８に対して「第１の切り替え処理」を用いた視差調整を実施させれば良い。なお、この場合においても、視差調整の箇所として指定したところを中心にしてグラフの左右方向に離れるほどグラフの変動量が予め定められた割合で徐々に小さくなるように視差調整を実施することで、視差量の調整対象となるグラフにおける目印の部分に対応するフレーム（現在表示されているフレーム）についての視差量のみならず、そのフレームの前後に連なるフレームについての視差量も違和感なく調整される。

また、本第１の実施の形態では、表示装置１２の操作部１３が操作されることによって視差量の調整を行う指示（ステップ１１３Ａ）、視差量の調整対象となるグラフの指定（ステップ１１３Ｂ）、視差量の調整量の指示（ステップ１１３Ｄ）、及び調整対象グラフの指定の解除（ステップ１１３Ｇ）を行う場合の形態例を挙げて説明したが、これらを、例えば図１３に示すリモートコントローラ５０を用いて行っても良い。リモートコントローラ５０は、表示装置１２に対して無線信号を発信する発信部５１を備えている。また、リモートコントローラ５０は、表示装置１２に対して電源ボタン１３Ａと同様に機能する電源ボタン５２Ａと、表示装置１２に対して再生開始ボタン１３Ｂと同様に機能する再生開始ボタン５２Ｂと、表示装置１２に対して再生停止ボタン１３Ｃと同様に機能する再生停止ボタン５２Ｃと、表示装置１２に対してメニューボタン１３Ｄと同様に機能するメニューボタン５２Ｄと、表示装置１２に対してキャンセルボタン１３Ｅと同様に機能するキャンセルボタン５２Ｅと、表示装置１２に対して確定ボタン１３Ｆと同様に機能する確定ボタン５２Ｆと、表示装置１２に対して十字キー１３Ｇと同様に機能する十字キー５２Ｇとを含んで構成された操作部５２を備えている。このように構成されたリモートコントローラ５０は、操作部５２が操作されることによって受け付けられた指示を無線信号にして表示装置１２に送信する。

一方、表示装置１２は、更に信号受信部３５を含んで構成されている。信号受信部３５は、リモートコントローラ５０によって送信された無線信号を受信するものであり、バスＢＵＳに接続されている。これにより、ＣＰＵ３２は、信号受信部３５で受信された無線信号に含まれる各種指示を把握することができる。従って、このように構成された画像再生加工装置１０では、リモートコントローラ５０の操作部５２を介して受け付けられた指示として、視差量の調整を行う指示（ステップ１１３Ａ）、視差量の調整対象となるグラフの指定（ステップ１１３Ｂ）、視差量の調整量の指示（ステップ１１３Ｄ）、及び調整対象グラフの指定の解除（ステップ１１３Ｇ）をＣＰＵ３２が把握することができるので、本第１の実施の形態と同様の作用及び効果を得ることができる。

また、本第１の実施の形態では、視差量調整の実施及び３Ｄ動画編集ルーチンのステップ１１６の処理を併せて「３Ｄ動画編集」としたが、これに限らず、３Ｄ動画編集ルーチンからステップ１１６を除去して、「視差量調整の実施」を「３Ｄ動画編集」としても良い。

［第２の基本形態］
次に、後述する本発明の第２の実施の形態の前提となる第２の基本形態について説明する。なお、第１の実施の形態と同一の部位については同一の符号を付し、その詳細な説明は省略する。

図１４は、本第２の基本形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。なお、以下では、第１の実施の形態に係る３Ｄ動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、第１の実施の形態に係る３Ｄ動画編集ルーチンと異なる点を説明する。

本第２の基本形態に係る３Ｄ動画編集ルーチンでは、ＣＰＵ３２は、図１４に示すようにステップ１００の処理を実行した後、ステップ２５０へ進む。ステップ２５０では、操作部１３を介して編集メニューの指示が受け付けられる。本ステップ２５０において、ユーザによって指示される編集メニューは、カット、結合、リサイズ、クロップ、回転、色調補正、画像（静止画／動画／文字など）の重ね合わせ、フレームレート変換、インターレース変換、リバース、フェードイン／アウト、モザイク、フォーマット変換などの予め定められた複数の編集メニューのうちの何れかである。

次のステップ２５２では、上記ステップ２５０の処理によって受け付けられた編集メニューに従って編集を実施した後、ステップ２５４へ進む。ステップ２５４では、３次元処理部２８に対して、上記ステップ２５２の処理によって編集された編集済みの動画データを構成している全フレームの各々を対象にして、視差量を取得させた後、ステップ１０４に移行する。ここでは、上記第１の実施の形態で説明した第１又は第２の視差量取得ルーチンが実行される。

ＣＰＵ３２は、ステップ１０４の処理を実行した後、ステップ２５６へ進む。ステップ２５６では、上記ステップ２５２の処理によって編集された編集済みの動画データを対象にして３次元動画再生を開始する。

ＣＰＵ３２は、ステップ１１４の処理を実行した後、ステップ２５８へ進み、３次元動画再生を終了するための条件として予め定められた条件（例えば、再生停止ボタン１３Ｃにより動画再生停止の指示が入力された、との条件、又は上記ステップ２５２の処理によって編集された編集済みの動画データを構成している全てのフレームの再生を終了した、との条件）を満足したか否かを判定し、否定判定となった場合にはステップ１０６へ戻る一方、肯定判定となった場合にはステップ２６０へ進む。ステップ２６０では、本３Ｄ動画編集ルーチンを終了するための条件として予め定められた条件（例えば、３次元動画再生を終了してから所定時間経過した、との条件）を満足したか否かを判定し、否定判定となった場合にはステップ２５０へ戻る一方、肯定判定となった場合には本ルーチンを終了する。

以上のように、本第２の基本形態に係る画像再生加工装置１０では、実際に編集を実施した後に編集済みの動画データを構成しているフレームの視差量の異常を把握することができるので、視差量が異常な箇所の修正を含めた再編集を行うことができる。

［第２の実施の形態］
次に、上記第２の基本形態を前提にした本発明の第２の実施の形態について説明する。なお、ここでは、上述した同一の部位については同一の符号を付し、その詳細な説明は省略する。

図１５及び図１６は、本第２の実施の形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。なお、以下では、上記第１の実施の形態に係る３Ｄ動画編集ルーチンと同一の処理及び上記第２の基本形態に係る３Ｄ動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、上記第２の基本形態に係る３Ｄ動画編集ルーチンと異なる点を説明する。

本第２の実施の形態に係る３Ｄ動画編集ルーチンは、上記第２の基本形態に係る３Ｄ動画編集ルーチンに比べ、ステップ１１２，１１４を除去した点、及び上記第１の実施の形態に係る３Ｄ動画編集ルーチンのステップ１１３Ａ〜１１３Ｈを設けた点が異なっている。

ステップ１０８では、否定判定となった場合にステップ１１３Ａに移行する一方、肯定判定となった場合にはステップ１１０に移行する。ＣＰＵ３２は、ステップ１１０の処理の実行を終了すると、ステップ１１３Ａに移行し、ステップ１１３Ａ〜１１３Ｈの処理を実行する。ステップ１１３Ｃ，１１３Ｅ，１１３Ｈでは、肯定判定となった場合にステップ２５８に移行する。

なお、本第２の実施の形態では、奥行き側視差量グラフ又は手前側視差量グラフにおける目印の部分を中心にしてユーザの操作に応じて視差量を調整する場合の形態例を挙げて説明したが、これに限らず、視差量表示画面４０に表示されている奥行き側視差量グラフ又は手前側視差量グラフについて、視差量の許容限界範囲を超えている箇所を指定し、第１の基本形態で説明した「第１の切り替え処理」を用いて視差調整を行うようにしても良い。

また、本第２の実施の形態では、表示装置１２の操作部１３が操作されることによって視差量の調整を行う指示（ステップ１１３Ａ）、視差量の調整対象となるグラフの指定（ステップ１１３Ｂ）、視差量の調整量の指示（ステップ１１３Ｄ）、及び調整対象グラフの指定の解除（ステップ１１３Ｇ）を行う場合の形態例を挙げて説明したが、これらを、例えば図１３に示すリモートコントローラ５０を用いて行っても良い。

また、本第２の実施の形態では、視差量調整の実施及び３Ｄ動画編集ルーチンのステップ２５２の処理を併せて「３Ｄ動画編集」としたが、これに限らず、３Ｄ動画編集ルーチンからステップ２５２を除去して、「視差調整の実施」を「３Ｄ動画編集」としても良い。この場合、ステップ２５４では、編集済み動画データに代えて動画データから視差量を取得する処理を実行することになる。

［第３の基本形態］
次に、後述する本発明の第３の実施の形態の前提となる第３の基本形態について説明する。なお、第１及び第２の実施の形態と同一の部位については同一の符号を付し、その詳細な説明は省略する。

図１７は、本第３の基本形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。なお、以下では、第２の実施の形態に係る３Ｄ動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、第２の実施の形態に係る３Ｄ動画編集ルーチンと異なる点を説明する。

本第３の基本形態に係る３Ｄ動画編集ルーチンでは、ＣＰＵ３２は、図１７に示すようにステップ２５６の処理を実行した後、ステップ３００へ進む。ステップ３００では、インデックス番号ｉ＝０を設定した後、ステップ１０６へ進み、ステップ１０６の処理を実行した後、ステップ３０２へ進む。ステップ３０２では、現時点で表示されているフレームについての視差量を取得した後、ステップ３０４へ進む。ステップ３０４では、ｉを１インクリメント（ｉ＝ｉ＋１）した後、ステップ１０８へ進む。

ＣＰＵ３２は、ステップ１１０の処理を実行した後、ステップ３０６Ａへ進む。ステップ３０６Ａでは、インデックス番号ｉが視差調整頻度Ｎ以上（ｉ≧Ｎ）であるかを判定する。そして、ｉ≧Ｎである場合はステップ３０６Ｂへ進み、ｉ＝０に設定した後、ステップ１１４へ進み、ｉ≧Ｎでない場合はステップ１１４を飛ばしてステップ２５８へ進む。

このため、インデックス番号ｉがＮ未満である場合は、ステップ１０６，３０２，１０８，１１０，３０６（ステップ３０６Ａ），２５８が繰り返し実行され、視差調整（ステップ１１４）が行われない。また、インデックス番号ｉがＮに達すると、ステップ１０８，１１０，３０６（ステップ３０６Ａ，３０６Ｂ）を経て、ステップ１１４に進むので、視差調整が実施される。したがって、視差に異常があった場合、フレーム毎に視差調整するのではなく、Ｎフレームにつき１回だけ視差調整するので、視差調整の頻度を減少して、視差調整の変化を緩やかにすることができる。

［第３の実施の形態］
次に、上記第３の基本形態を前提にした本発明の第３の実施の形態について説明する。なお、ここでは、上述した同一の部位については同一の符号を付し、その詳細な説明は省略する。

図１８及び図１９は、本第３の実施の形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。なお、以下では、上記第２の実施の形態に係る３Ｄ動画編集ルーチンと同一の処理及び上記第３の基本形態に係る３Ｄ動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、上記第３の基本形態に係る３Ｄ動画編集ルーチンと異なる点を説明する。

本第３の実施の形態に係る３Ｄ動画編集ルーチンは、上記第３の基本形態に係る３Ｄ動画編集ルーチンに比べ、ステップ１１４を除去した点、及び上記第１の実施の形態に係る３Ｄ動画編集ルーチンのステップ１１３Ａ〜１１３Ｈを設けた点が異なっている。

ステップ１０８では、否定判定となった場合にステップ１１３Ａに移行する一方、肯定判定となった場合にはステップ１１０に移行する。ＣＰＵ３２は、ステップ３０６Ｂの処理の実行を終了すると、ステップ１１３Ａに移行し、ステップ１１３Ａ〜１１３Ｈの処理を実行する。ステップ１１３Ｃ，１１３Ｅ，１１３Ｈでは、肯定判定となった場合にステップ２５８に移行する。

なお、本第３の実施の形態では、奥行き側視差量グラフ又は手前側視差量グラフにおける目印の部分を中心にしてユーザの操作に応じて視差量を調整する場合の形態例を挙げて説明したが、これに限らず、視差量表示画面４０に表示されている奥行き側視差量グラフ又は手前側視差量グラフについて、視差量の許容限界範囲を超えている箇所を指定し、第１の基本形態で説明した「第１の切り替え処理」を用いて視差調整を行うようにしても良い。

また、本第３の実施の形態では、表示装置１２の操作部１３が操作されることによって視差量の調整を行う指示（ステップ１１３Ａ）、視差量の調整対象となるグラフの指定（ステップ１１３Ｂ）、視差量の調整量の指示（ステップ１１３Ｄ）、及び調整対象グラフの指定の解除（ステップ１１３Ｇ）を行う場合の形態例を挙げて説明したが、これらを、例えば図１３に示すリモートコントローラ５０を用いて行っても良い。

また、本第３の実施の形態では、視差量調整の実施及び３Ｄ動画編集ルーチンのステップ２５２の処理を併せて「３Ｄ動画編集」としたが、これに限らず、３Ｄ動画編集ルーチンからステップ２５２を除去して、「視差調整の実施」を「３Ｄ動画編集」としても良い。この場合、ステップ２５４では、編集済み動画データに代えて動画データから視差量を取得する処理を実行することになる。

［第４の基本形態］
次に、後述する本発明の第４の実施の形態の前提となる第４の基本形態について説明する。なお、第１〜第３の実施の形態と同一の部位については同一の符号を付し、その詳細な説明は省略する。

図２０は、本第４の基本形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。なお、以下では、第３の実施の形態に係る３Ｄ動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、第３の実施の形態に係る３Ｄ動画編集ルーチンと異なる点を説明する。

本第４の基本形態に係る３Ｄ動画編集ルーチンでは、ＣＰＵ３２は、図２０に示すようにステップ１０６の処理を実行した後、ステップ３５０へ進む。ステップ３５０では、記録メディア３４に記憶されている画像ファイルＦ０の左目用画像Ｇ１及び右目用画像Ｇ２に基づく基本視差量を３次元処理部２８に取得させて、ステップ３５２へ進む。ここで、基本視差量とは、デフォルトオブジェクトの視差量をいい、例えば画面中心に最も近いオブジェクトの視差量をいう。

ステップ３５２では、３次元処理部２８で取得された基本視差量に異常があるか否かを判定する。ここでは、図１８に示すステップ１０８と同じ処理が実行される。そして、基本視差量に異常がある場合はステップ１１０へ進み、異常がない場合はステップ３５４へ進む。

ステップ３５４では、ＣＰＵ３２は、基本視差量を用いて視差調整を実施するように３次元処理部２８を制御して、ステップ３６０へ進む。本ステップ３５４の処理に応じて、３次元処理部２８は、左目用画像Ｇ１及び右目用画像Ｇ２の基本視差量を用いて視差調整を行い、視差調整された左目用画像Ｇ１及び右目用画像Ｇ２を表示制御部３０に出力する。

一方、ＣＰＵ３２は、ステップ１１０の処理を実行した後、ステップ３５６へ進む。ステップ３５６では、３次元処理部２８に他のオブジェクトの視差量を取得させて、ステップ３５８へ進む。他のオブジェクトとしては、例えば、デフォルトオブジェクト以外の人物の顔などが該当する。

ステップ３５８では、他のオブジェクトの視差量を用いて視差調整を実施するように３次元処理部２８を制御する。このとき、３次元処理部２８は、「他のオブジェクト」として、「Ｚ方向においてデフォルトオブジェクトに近いオブジェクト」又は「２次元座標においてデフォルトオブジェクトに近いオブジェクト」を選択し、選択したオブジェクトの視差量を用いて視差調整を行い、視差調整されたオブジェクトを表示制御部３０に出力する。ここでは、記録メディア３４に記憶されている画像ファイルＦ０の左目用画像Ｇ１及び右目用画像Ｇ２と同一の平面を２次元座標（Ｘ，Ｙ）で表し、この面（基線）に垂直な方向をＺ方向とする。

よって、「Ｚ方向においてデフォルトオブジェクトに近いオブジェクト」は、２次元座標において近いか否かは問われないが、デフォルトオブジェクトと立体感が最も近いオブジェクトである。このため、３次元処理部２８は、当該オブジェクトの視差量を用いて視差調整を行うことで、視差量の急激な変化を抑制でき、その結果、安定して視差調整を行うことができる。

また、「２次元座標においてデフォルトオブジェクトに近いオブジェクト」は、デフォルトオブジェクトの立体感に近いか否かは問わないが、２次元座標上でデフォルトオブジェクトに最も近いオブジェクトである。このため、３次元処理部２８は、当該オブジェクトの視差量を用いて視差調整を行うことで、これまでの視差調整対象に近いオブジェクトで視差調整を行うことができ、その結果、安定して視差調整を行うことができる。そして、以上のような処理を経て、ステップ３６０へ進む。

ステップ３６０では、視差調整対象をＧＵＩ（Graphical User Interface）でマーキングしてモニタ１２Ａに表示させて、ステップ２５８へ進む。ここでは、視差調整対象である人物の顔に対して、例えば図２１Ａに示すように四角で囲んでもよいし、図２１Ｂに示すように丸で囲んでもよいし、図２１Ｃに示すように星印をつけてもよい。

ステップ２５８では、ＣＰＵ３２は、再生停止ボタン１３Ｃにより動画再生停止の指示が入力されたかを判定し、肯定判定の場合は本ルーチンを終了し、否定判定の場合は次のフレームの処理に移行し、再びステップ１０６へ戻る。

以上のように、第４の基本形態の画像再生加工装置１０は、デフォルトオブジェクトの基本視差量に異常がある場合又はデフォルトオブジェクトを見失った場合でも、視差調整対象を他のオブジェクトに切り替えてから視差調整を行うので、３次元動画再生の視差調整を安定化させることができる。

［第４の実施の形態］
次に、上記第４の基本形態を前提にした本発明の第４の実施の形態について説明する。なお、ここでは、上述した同一の部位については同一の符号を付し、その詳細な説明は省略する。

図２２及び図２３は、本第４の実施の形態に係る３Ｄ動画編集ルーチンを示すフローチャートである。なお、以下では、上記第３の実施の形態に係る３Ｄ動画編集ルーチンと同一の処理及び上記第４の基本形態に係る３Ｄ動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、上記第４の基本形態に係る３Ｄ動画編集ルーチンと異なる点を説明する。

本第４の実施の形態に係る３Ｄ動画編集ルーチンは、上記第４の基本形態に係る３Ｄ動画編集ルーチンに比べ、ステップ３５６，３５８を除去した点、及び上記第１の実施の形態に係る３Ｄ動画編集ルーチンのステップ１１３Ａ〜１１３Ｈを設けた点が異なっている。

ＣＰＵ３２は、ステップ１１０の処理を終了すると、ステップ１１３Ａに移行し、ステップ１１３Ａ〜１１３Ｈの処理を実行する。ステップ１１３Ｃ，１１３Ｅ，１１３Ｈでは、肯定判定となった場合にステップ３６０に移行する。

なお、本第４の実施の形態では、奥行き側視差量グラフ又は手前側視差量グラフにおける目印の部分を中心にしてユーザの操作に応じて視差量を調整する場合の形態例を挙げて説明したが、これに限らず、視差量表示画面４０に表示されている奥行き側視差量グラフ又は手前側視差量グラフについて、視差量の許容限界範囲を超えている箇所を指定し、第１の基本形態で説明した「第１の切り替え処理」を用いて視差調整を行うようにしても良い。

また、本第４の実施の形態では、表示装置１２の操作部１３が操作されることによって視差量の調整を行う指示（ステップ１１３Ａ）、視差量の調整対象となるグラフの指定（ステップ１１３Ｂ）、視差量の調整量の指示（ステップ１１３Ｄ）、及び調整対象グラフの指定の解除（ステップ１１３Ｇ）を行う場合の形態例を挙げて説明したが、これらを、例えば図１３に示すリモートコントローラ５０を用いて行っても良い。

また、本第４の実施の形態では、視差量調整の実施及び３Ｄ動画編集ルーチンのステップ２５２の処理を併せて「３Ｄ動画編集」としたが、これに限らず、３Ｄ動画編集ルーチンからステップ２５２を除去して、「視差調整の実施」を「３Ｄ動画編集」としても良い。この場合、ステップ２５４では、編集済み動画データに代えて動画データから視差量を取得する処理を実行することになる。

［第５の実施の形態］
次に、図面を参照して本発明の第５の実施の形態について説明する。図２４は本発明の実施の形態に係る複眼カメラ３０１の正面側斜視図、図２５は背面側斜視図である。

複眼カメラ３０１の上部には、レリーズボタン３０２、電源ボタン３０３及びズームレバー３０４が備えられている。複眼カメラ３０１の正面には、フラッシュ３０５及び２つの撮影部３２１Ａ、３２１Ｂのレンズが配設されている。また、複眼カメラ３０１の背面には、各種表示を行う液晶モニタ（以下単に「モニタ」いう。）３０７及び第１及び第２の実施の形態で説明した再生開始ボタン１３Ｂ及び再生停止ボタン１３Ｃとしても機能するボタンを含む各種操作ボタン３０８が配設されている。

図２６は、複眼カメラ３０１の内部構成を示す概略ブロック図である。複眼カメラ３０１は、２つの撮影部３２１Ａ、３２１Ｂ、撮影制御部３２２、画像処理部３２３、圧縮／伸長処理部３２４、フレームメモリ３２５、メディア制御部３２６、内部メモリ３２７、表示制御部３２８、及びＣＰＵ３３５を備えており、これらはバスＢＵＳを介して相互に接続されている。また、メディア制御部３２６には記録メディア３２９が、表示制御部３２８にはモニタ３０７が各々接続されている。更に、ＣＰＵ３３５には、レリーズボタン３０２、電源ボタン３０３、ズームレバー３０４及び操作ボタン３０８を含んで構成された入力部３３４が接続されている。なお、撮影部３２１Ａ、３２１Ｂは、被写体を見込む輻輳角を持って、あらかじめ定められた基線長となるように配置されている。また、輻輳角及び基線長の情報は内部メモリ３２７に記憶されている。

図２７は、撮影部３２１Ａ、３２１Ｂの構成を示す図である。図２７に示すように撮影部３２１Ａ、３２１Ｂは、レンズ３１０Ａ、３１０Ｂ、絞り３１１Ａ、３１１Ｂ、シャッタ３１２Ａ、３１２Ｂ、撮像素子３１３Ａ、３１３Ｂ、アナログフロントエンド（ＡＦＥ）３１４Ａ、３１４Ｂ及びＡ／Ｄ変換部３１５Ａ，３１５Ｂをそれぞれ備える。

レンズ３１０Ａ，３１０Ｂは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズを有している。レンズ３１０Ａ，３１０Ｂの位置は、撮影制御部３２２のＡＦ処理部３２２ａにより得られる合焦データ及び図２４及び図２５に示したズームレバー３０４が操作された場合に得られるズームデータに基づいて、不図示のレンズ駆動部により調整される。

絞り３１１Ａ，３１１Ｂは、撮影制御部３２２のＡＥ処理部３２２ｂにより得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。

シャッタ３１２Ａ，３１２Ｂはメカニカルシャッタであり、不図示のシャッタ駆動部により、ＡＥ処理部３２２ｂにより得られるシャッタスピードに応じて駆動される。

撮像素子３１３Ａ，３１３Ｂは、多数の受光素子を２次元状に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、撮像素子３１３Ａ，３１３Ｂの前面にはＲ，Ｇ，Ｂ各色のフィルタが規則的に配列されたカラーフィルタが配設されている。

ＡＦＥ３１４Ａ，３１４Ｂは、撮像素子３１３Ａ，３１３Ｂから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、及びアナログ撮影信号のゲインを調節する処理（以下「アナログ処理」という。）を施す。

Ａ／Ｄ変換部３１５Ａ，３１５Ｂは、ＡＦＥ３１４Ａ，３１４Ｂによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部３２１Ａにより取得されるデジタルの画像データにより表される画像を左目用画像Ｇ１、撮影部３２１Ｂにより取得される画像データにより表される画像を右目用画像Ｇ２とする。

撮影制御部３２２は、上述のようにＡＦ処理部３２２ａ及びＡＥ処理部３２２ｂを有している。ＡＦ処理部３２２ａは、レリーズボタン３０２が半押し操作されると、測距センサから測距情報を取得し、レンズ３１０Ａ，３１０Ｂの焦点位置を決定し、撮影部３２１Ａ，３２ｌＢに出力する。ＡＥ処理部３２２ｂは、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部３２１Ａ，３２１Ｂに出力する。

なお、ＡＦ処理部３２２ａによる焦点位置の検出方式としては、測距情報を用いたアクティブ方式に限らず、画像のコントラストを利用して合焦位置を検出するパッシブ方式を用いてもよい。

撮影制御部３２２は、レリーズボタン３０２が操作されない状態では、撮影範囲を確認させるための、左目用画像Ｇ１及び右目用画像Ｇ２の本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次生成させるように撮影部３２１Ａ，３２１Ｂを制御する。そして、撮影制御部３２２は、レリーズボタン３０２が全押し操作されると、本撮影を開始すべく、左目用画像Ｇ１及び右目用画像Ｇ２の本画像を生成するように撮影部３２１Ａ，３２１Ｂを制御する。

以上の説明は静止画モードの場合であるが、本第５の実施の形態では、動画撮影モードにも設定可能である。動画撮影モードの場合、レリーズボタン３０２が押圧されると動画撮影が開始され、フレーム毎に左目用画像Ｇ１及び右目用画像Ｇ２が生成され、再びレリーズボタン３０２が押圧されると動画撮影が停止する。

画像処理部３２３は、撮影部３２１Ａ，３２１Ｂが取得した左目用画像Ｇ１及び右目用画像Ｇ２のデジタルの画像データに対して、ホワイトバランス調整、階調補正、シャープネス補正、及び色補正等の画像処理を施す。

圧縮／伸長処理部３２４は、画像処理部３２３によって処理が施された左目用画像Ｇ１及び右目用画像Ｇ２の本画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルＦ０を生成する。この立体視用の画像ファイルＦ０は、左目用画像Ｇ１及び右目用画像Ｇ２の画像データを有しており、更に、Ｅｘｉｆフォーマット等に基づく、基線長、輻輳角及び撮影日時等の付帯情報、及び視点位置を表す視点情報を含んでいる。

フレームメモリ３２５は、撮影部３２１Ａ，３２１Ｂが取得した左目用画像Ｇ１及び右目用画像Ｇ２を表す画像データに対して、前述の画像処理部３２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。

メディア制御部３２６は、記録メディア３２９にアクセスして画像ファイル等の書き込みと読み込みの制御を行う。

内部メモリ３２７は、複眼カメラ３０１において設定される各種定数、及びＣＰＵ３３５が実行するプログラム等を記憶する。

表示制御部３２８は、立体視する場合に、フレームメモリ３２５又は記録メディア３２９に記録されている立体視画像ＧＲをモニタ３０７に表示させる。

図２８は、モニタ３０７の構成を示す分解斜視図である。図２８に示すように、モニタ３０７は、ＬＥＤにより発光するバックライトユニット３４０及び各種表示を行うための液晶パネル３４１を積層し、液晶パネル３４１の表面にレンチキュラーシート３４２を取り付けることにより構成されている。

図２９は、レンチキュラーシートの構成を示す図である。図２９に示すようにレンチキュラーシート３４２は、複数のシリンドリカルレンズ３４３を基線に沿った方向に並列に並べることにより構成されている。

また、複眼カメラ３０１は、３次元処理部３３０を備えている。３次元処理部３３０は、左目用画像Ｇ１及び右目用画像Ｇ２をモニタ３０７に立体視表示させるために、左目用画像Ｇ１及び右目用画像Ｇ２に対して３次元処理を行って立体視画像ＧＲを生成する。

図３０は、左目用画像Ｇ１及び右目用画像Ｇ２に対する３次元処理を説明するための図である。図３０に示すように３次元処理部３３０は、左目用画像Ｇ１及び右目用画像Ｇ２の各々を基線に対して垂直方向に短冊状に切り取り、レンチキュラーシート３４２におけるシリンドリカルレンズ３４３のそれぞれに、位置が対応する短冊状に切り取った左目用画像Ｇ１及び右目用画像Ｇ２が交互に配置されるように３次元処理を行って、立体視画像ＧＲを生成する。立体視画像ＧＲを構成する左目用画像Ｇ１及び右目用画像Ｇ２の画像対は、各々１つのシリンドリカルレンズに対応して配置される。

また、３次元処理部３３０は、左目用画像Ｇ１及び右目用画像Ｇ２の視差を調整することもできる。ここで、視差とは、左目用画像Ｇ１及び右目用画像Ｇ２の双方に含まれる被写体の、左目用画像Ｇ１及び右目用画像Ｇ２の横方向、すなわち基線に沿った方向における画素位置のずれ量をいう。視差を調整することにより、立体視画像ＧＲに含まれる被写体の立体感を適切なものとすることができる。

また、３次元処理部３３０は、リアルタイムで撮影部３２１Ａ、３２１Ｂで得られた左目用画像Ｇ１及び右目用画像Ｇ２の視差を調整してもよいし、記録メディア３２９に予め記録されている左目用画像Ｇ１及び右目用画像Ｇ２の視差を調整してもよい。

以上のように構成された複眼カメラ３０１では、第１〜第４の実施の形態で説明した３Ｄ動画編集ルーチンが実行される。なお、第１及び第２の視差調整ルーチンのプログラムは内部メモリ３２７に予め記憶されている。

なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された事項の範囲内で設計変更されたものについても適用可能である。

例えば、上述した第１〜第４の実施の形態において、視差量を直接取得する代わりに、一例として図３１に示すような視差関連情報を取得してもよい。

図３２Ａ及び図３２Ｂは視差関連情報を説明するための図である。視差関連情報は、毎フレームの左目画像（左目用画像Ｇ１）及び右目画像（右目用画像Ｇ２）について、特徴点Ａの座標群、特徴顔Ａの座標群、特徴顔Ｂの座標群、ハンチング有無などの情報が該当する。そして、これらの視差関連情報を用いて視差調整を行ってもよい。

本第５の実施の形態では、モニタ３０７に立体視画像を表示する場合の形態例を挙げて説明したが、これに限らず、例えば、図１に示す表示装置１２と複眼カメラ３０１とを有線若しくは無線で通信可能となるように接続し、複眼カメラ３０１によって生成された左目用画像Ｇ１及び右目用画像Ｇ２を表示装置１２に送信し、表示装置１２にて複眼カメラ３０１から送信された左目用画像Ｇ１及び右目用画像Ｇ２に基づく３次元立体画像を表示するようにしても良い。この場合、ユーザは、例えば表示装置１２に表示された３次元立体画像を視認しながら複眼カメラ３０１の操作ボタン３０８を操作することによって画像データの編集や視差量の調整を行うことができる。また、表示装置１２と複眼カメラ３０１とが接続された場合であっても表示装置１２の記録メディア３４に記録されている画像データに対して編集や視差量の調整を行うことは可能である。この場合、図１３に示すリモートコントローラ５０又は表示装置１２の操作部１３を用いて画像データの編集や視差量の調整を行えば良い。

なお、上記第１〜第４の実施の形態では、液晶シャッタ眼鏡１４を使用して立体視画像をユーザに視認させ、上記第５の実施の形態では、レンチキュラーシート４２を用いることによって立体視画像をユーザに視認させる場合の形態例を挙げて説明したが、これに限らず、例えば、上記第１〜第４の実施の形態で説明した表示装置１２のモニタ１２Ａにレンチキュラーシート４２を適用すると共に、上記第５の実施の形態で説明したように立体視画像ＧＲを生成してモニタ１２Ａに表示することにより、ユーザに対して液晶シャッタ眼鏡１４を使用させずに立体視画像を視認させるようにしてもよいし、また、上記第５の実施の形態で説明した複眼カメラ３０１のモニタ３０７にレンチキュラーシート３４２を設けることに代えて、左目用画像Ｇ１と右目用画像Ｇ２とを交互にモニタ３０７に表示すると共に、上記第１〜第４の実施の形態で説明したように液晶シャッタ眼鏡１４を使用することにより立体視画像をユーザに視認させるようにしてもよい。

また、上記各実施の形態では、同一の人物の顔領域に基づいて視差量を取得する形態例を挙げて説明したが、これに限らず、例えば、犬や猫などのペットの顔領域であったり、特定の動物や植物の特徴部分の輪郭であったり、生き物以外の物（例えば、自動車、電車、及び建物など）の特徴部分の輪郭を視差量の取得対象として適用してもよい。この場合、取得対象の画像の特徴を示す特徴量データが格納されたパターンマッチング用の画像辞書を予め用意しておき、この画像辞書を用いて取得対象を特定し、特定した取得対象の視差量を算出する形態例が挙げられる。なお、画像辞書は、ユーザによってカスタマイズされる形態のものが好ましい。この場合、ユーザが視差量の取得対象として指定した事物を示す画像の特徴を示す特徴量データの画像辞書への追加登録及び画像辞書からの削除を可能とする画像辞書が例示できる。

また、視差量の取得対象を、フレーム内の所定値以上の空間周波数を有する被写体像としても良い。この場合、例えば、フレーム毎に所定値の空間周波数（エッジ成分）で規定された閉曲線で囲まれた領域（閉曲線領域）に基づく被写体像としてもよいし、フレーム毎に所定空間周波数を超える空間周波数（所定値）の空間周波数で規定された閉曲線領域に基づく被写体像としてもよい。なお、この被写体像は、フレーム内における所定空間周波数以上の空間周波数で規定された閉曲線領域そのものであってもよいし、所定値の空間周波数で規定された閉曲線領域を取り囲む最小矩形や最小円形などの幾何学形状内の領域であってもよいし、閉曲線領域を所定のアルゴリズムに従って変形させて得られた領域であってもよい。このように、視差量の取得対象は、フレーム毎の予め定められた被写体像であれば如何なるものであってもよい。

また、上記各実施の形態では、フレーム内の奥行き側及び手前側で比較的視差量の大きなオブジェクトである凹側オブジェクト及び凸側オブジェクトについての視差量を取得し、取得した視差量の経時変化をオブジェクト毎にグラフ化して表示する場合の形態例を挙げて説明したが、これに限らず、フレーム内の何れか１つのオブジェクトの視差量を取得してその視差量の経時変化をグラフ化して表示しても良いし、フレーム内の３つ以上のオブジェクトの視差量を取得してそれらの視差量の個々の経時変化をグラフ化して表示しても良い。

また、上記各実施の形態では、視差量の経時変化をグラフ化して表現したが、これに限らず、数値化して表現しても良い。この場合、異常な視差量として予め定められた視差量を示した数値を対比可能に併せて表示すれば良い。また、視差量をグラフ化して表示すると共に、その表示に併せて視差量を示した数値を表示しても良い。この場合、視差量を示す数値を現時点で表示されているフレームに関するものにすることが好ましい。これにより、現時点で表示されているフレームに含まれるオブジェクトの視差量が異常であるか否かをより一層容易に把握することが可能となる。

また、上記各実施の形態では、モニタ１２Ａに表示されたフレームに重ねて視差量表示画面４０を表示させる場合の形態例を挙げて説明したが、これに限らず、再生されるフレームと視差量表示画面４０とを別々のモニタで表示しても良い。この場合、視差量表示画面４０内に示される目印を、現時点で表示されているフレームに含まれるオブジェクトに基づく視差量を特定する位置に表示することが好ましい。

また、上記各実施の形態では、視差量を示したグラフと視差量が異常であるか否かを判断するための指標（許容限界ライン）とを直接対比する形態例を挙げて説明したが、視差量を示したグラフと視差量が異常であるか否かを判断するための指標とを交互に表示させる間接対比としても良い。この場合、高速に交互に表示させることで実質的に直接対比とすることができる。

日本国特許出願２０１１−１２６２９５号の開示はその全体が参照により本明細書に取り込まれる。

本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。

Claims (13)

1. 複数の視点から同一の被写体を連続的に撮影して得られた連続フレーム画像を取得する画像取得手段と、
   前記画像取得手段によって取得された前記連続フレーム画像を構成する複数のフレーム画像の各々に基づいて前記複数のフレーム画像の各々についての視差量を取得する視差量取得手段と、
   前記画像取得手段によって取得された連続フレーム画像を構成しているフレーム画像を立体視画像として視認されるように表示する表示手段と、
   前記フレーム画像に対する視差量の加工を指示する加工指示情報を受け付ける受付手段と、
   前記表示手段に表示される前記フレーム画像に対して、前記受付手段によって受け付けられた加工指示情報により指示された視差量の加工を施し、該フレーム画像の前後の複数のフレーム画像に対して、該前後のフレーム画像が該表示されるフレーム画像から離れるほど該指示された視差量より徐々に小さくなるように視差量の加工を施す加工手段と、
   前記加工手段による視差量の加工が指示された前記フレーム画像が前記表示手段に表示されている間、前記視差量取得手段によって取得された視差量に関する視差量関連情報を該視差量が異常であるか否かを判断するための指標とを対応付けて表示するように前記表示手段を制御する制御手段と、
   を含む画像加工装置。
2. 前記視差量取得手段は、前記フレーム画像内において視差量の取得対象の被写体像として予め定められた被写体像に基づいて視差量を取得する請求項１に記載の画像加工装置。
3. 前記予め定められた被写体像を、前記フレーム画像内の所定値以上の空間周波数を有する被写体像とした請求項２に記載の画像加工装置。
4. 前記制御手段は、更に、前記加工手段による視差量の加工が指示された前記フレーム画像が前記表示手段に表示されている間、視差量の許容限界を表す情報と、視差量の経時変化を表す情報と、該視差量の経時変化を表す情報において現在表示されているフレーム画像の視差が確認可能な情報とを対応付けて表示するように前記表示手段を制御する請求項１〜請求項３の何れか１項に記載の画像加工装置。
5. 前記視差量の許容限界を表す情報及び前記視差量の経時変化を表す情報を、被写体像の奥行き側及び手前側の各々に対応させた請求項４に記載の画像加工装置。
6. 前記視差量取得手段によって取得された視差量の一定期間の変動が所定値よりも大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも１つの場合に、前記視差量に異常があると判定する異常判定手段を更に含み、
   前記制御手段は、更に、前記異常判定手段で視差量が異常であると判定された場合に該視差量に対応するフレーム画像の表示に同期して警告を表示するように前記表示手段を制御する、
   請求項１〜請求項５の何れか１項に記載の画像加工装置。
7. 前記異常判定手段により前記視差量に異常がないと判定された場合に、第１の視差調整を行い、前記異常判定手段により前記視差量に異常があると判定された場合に、前記第１の視差調整の制御と異なる第２の視差調整の制御に切り替えて視差調整を行う視差調整手段を更に含み、
   前記制御手段は、更に、前記加工手段によって加工が施される対象とされた前記フレーム画像が前記表示手段に表示される場合、前記視差調整手段によって前記視差調整が行われた前記フレーム画像が表示されるように前記表示手段を制御する、
   請求項６に記載の画像加工装置。
8. 前記視差調整手段は、前記異常判定手段により前記視差量に異常があると判定された場合、予め定められた視差量最大変化量の範囲内で視差調整を行う、
   請求項７に記載の画像加工装置。
9. 前記視差調整手段は、前記異常判定手段により前記視差量に異常があると判定された場合、前フレームでの視差量を用いて視差調整を行う、
   請求項７又は請求項８に記載の画像加工装置。
10. 前記視差調整手段は、前記異常判定手段により前記視差量に異常があると判定された場合、視差調整頻度を低下させる、
    請求項７〜請求項９の何れか１項に記載の画像加工装置。
11. 請求項１〜請求項１０の何れか１項に記載の画像加工装置と、
    前記連続フレーム画像を、複数の視点から同一の被写体を連続フレームで撮像することにより生成する撮像手段と、
    を含む複眼撮像装置。
12. 複数の視点から同一の被写体を連続的に撮影して得られた連続フレーム画像を取得し、
    取得された前記連続フレーム画像を構成する複数のフレーム画像の各々に基づいて前記複数のフレーム画像の各々についての視差量を取得し、
    取得された連続フレーム画像を構成しているフレーム画像を立体視画像として視認されるように表示し、
    前記フレーム画像に対する視差量の加工を指示する加工指示情報を受け付け、
    表示される前記フレーム画像に対して、受け付けられた加工指示情報により指示された視差量の加工を施し、該フレーム画像の前後の複数のフレーム画像に対して、該前後のフレーム画像が該表示されるフレーム画像から離れるほど該指示された視差量より徐々に小さくなるように視差量の加工を施し、
    視差量の加工が指示された前記フレーム画像が表示されている間、取得された視差量に関する視差量関連情報と該視差量が異常であるか否かを判断するための指標とを対応付けて表示する、
    画像加工方法。
13. コンピュータを、
    複数の視点から同一の被写体を連続的に撮影して得られた連続フレーム画像を取得する画像取得手段、
    前記画像取得手段によって取得された前記連続フレーム画像を構成する複数のフレーム画像の各々に基づいて前記複数のフレーム画像の各々についての視差量を取得する視差量取得手段、
    前記画像取得手段によって取得された連続フレーム画像を構成しているフレーム画像を立体視画像として視認されるように表示手段に表示させる手段、
    前記フレーム画像に対する視差量の加工を指示する加工指示情報を受け付ける受付手段、
    前記表示手段に表示される前記フレーム画像に対して、前記受付手段によって受け付けられた加工指示情報により指示された視差量の加工を施し、該フレーム画像の前後の複数のフレーム画像に対して、該前後のフレーム画像が該表示されるフレーム画像から離れるほど該指示された視差量より徐々に小さくなるように視差量の加工を施す加工手段、及び
    前記加工手段による視差量の加工が指示された前記フレーム画像が前記表示手段に表示されている間、前記視差量取得手段によって取得された視差量に関する視差量関連情報と該視差量が異常であるか否かを判断するための指標とを対応付けて表示させるように前記表示手段を制御する制御手段として機能させるためのプログラム。

Images