JP5536283B2 - 画像加工装置、複眼撮像装置、画像加工方法及びプログラム - Google Patents
画像加工装置、複眼撮像装置、画像加工方法及びプログラム Download PDFInfo
- Publication number
- JP5536283B2 JP5536283B2 JP2013519420A JP2013519420A JP5536283B2 JP 5536283 B2 JP5536283 B2 JP 5536283B2 JP 2013519420 A JP2013519420 A JP 2013519420A JP 2013519420 A JP2013519420 A JP 2013519420A JP 5536283 B2 JP5536283 B2 JP 5536283B2
- Authority
- JP
- Japan
- Prior art keywords
- parallax
- image
- amount
- parallax amount
- frame
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/122—Improving the 3D impression of stereoscopic images by modifying image signal contents, e.g. by filtering or adding monoscopic depth cues
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
- H04N13/106—Processing image signals
- H04N13/128—Adjusting depth or disparity
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/207—Image signal generators using stereoscopic image cameras using a single 2D image sensor
- H04N13/211—Image signal generators using stereoscopic image cameras using a single 2D image sensor using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/327—Calibration thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/30—Image reproducers
- H04N13/332—Displays for viewing with the aid of special glasses or head-mounted displays [HMD]
- H04N13/341—Displays for viewing with the aid of special glasses or head-mounted displays [HMD] using temporal multiplexing
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
- H04N13/20—Image signal generators
- H04N13/204—Image signal generators using stereoscopic image cameras
- H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Stereoscopic And Panoramic Photography (AREA)
Description
本発明は、画像加工装置、複眼撮像装置、画像加工方法及びプログラムに関する。
従来、複数の撮像部を備え、立体視画像を生成する複眼撮像装置が提案されている。複眼撮像装置は、複数の撮像部でそれぞれ生成された複数の視点画像に基づいて立体視画像を生成し、この立体視画像を立体視表示用モニタに表示する。
複眼撮像装置で撮像された立体視画像の立体感はユーザの両眼の距離や立体視表示用モニタからユーザまでの距離に左右されるので、複眼撮像装置の立体視機能については個人差が大きいという問題がある。そのため、複眼撮像装置では、ユーザの操作に従って複数の視点画像の視差が調整可能になっており、これにより立体視画像の立体感が調整される。
そこで、立体視画像を表示させるディスプレイの種類にかかわらず、最初に視差量調整を行ったユーザの意図に合った視差量調整を行う技術が提案されている(特開2005−73012号公報参照)。この技術によれば、視差量の変更要求に基づき視差量の調整に関する情報が作成され、これをディスプレイの種類に依存しない単位の情報に変換して記録される。そして、記録された情報が読み出されると、この情報に基づいて視差量の調整に関する情報が作成され、この情報に基づいて立体表示用の画像が生成される。
また、特開2004−221700号公報では、立体視画像を表示している間にユーザの意図にあった視差を特定する技術が提案されている。特開2004−221700号公報に記載の技術によれば、表示装置に表示された立体視画像の限界視差がユーザの指示に従って特定され、立体視画像を表示する前に適正視差が実現されるように画像処理が行われる。
しかし、特開2005−73012号公報及び特開2004−221700号公報に記載の技術は何れも最初の段階に問題がある場合、例えば、撮像部で得られた複数の視点画像から求められる視差量自体に問題がある場合、視差調整対象を検出できなくなってしまうような場合では、特開2005−73012号公報及び特開2004−221700号公報の技術を用いても、適切に視差調整を行うことができない。そこで、適切な視差調整が行われずに画面に画像が表示された場合、画面に表示されている画像の視差量がどの程度なのかをユーザに把握させる技術が提案されている(例えば特開2008−103820号公報参照)。
特開2008−103820号公報では、立体画像データを含む動画像データを再生する際に、視差の分布を一目で判断可能とする技術が提案されている。この技術によれば、視差の大きさを一定の範囲ごとに色を変えることによって視差の大きさをユーザに認識させることで、ユーザが立体画像を含む動画像を視認した際の生体への悪影響が未然に防止される。
しかしながら、特開2008−103820号公報に記載の技術では、ユーザに対して視差量を一目で判断させることはできるものの、その視差量が異常であるか否かを把握させることが困難である、という問題点があった。
本発明は、このような実情を鑑みて提案されたものであり、視差量の異常を簡便かつ高精度に把握することができる画像加工装置、複眼撮像装置、画像加工方法及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明の第1の態様の画像加工装置を、複数の視点から同一の被写体を連続的に撮影して得られた連続フレーム画像を取得する画像取得手段と、前記画像取得手段によって取得された前記連続フレーム画像を構成する複数のフレーム画像の各々に基づいて前記複数のフレーム画像の各々についての視差量を取得する視差量取得手段と、前記画像取得手段によって取得された連続フレーム画像を構成しているフレーム画像を立体視画像として視認されるように表示する表示手段と、前記フレーム画像に対する視差量の加工を指示する加工指示情報を受け付ける受付手段と、前記表示手段に表示される前記フレーム画像に対して、前記受付手段によって受け付けられた加工指示情報により指示された視差量の加工を施し、該フレーム画像の前後の複数のフレーム画像に対して、該前後のフレーム画像が該表示されるフレーム画像から離れるほど該指示された視差量より徐々に小さくなるように視差量の加工を施す加工手段と、前記加工手段による視差量の加工が指示された前記フレーム画像が前記表示手段に表示されている間、前記視差量取得手段によって取得された視差量に関する視差量関連情報と該視差量が異常であるか否かを判断するための指標とを対応付けて表示するように前記表示手段を制御する制御手段と、を含んで構成した。
また、本発明の第2の態様の画像加工装置を、第1の態様の画像加工装置において、前記視差量取得手段が、前記フレーム画像内において視差量の取得対象の被写体像として予め定められた被写体像に基づいて視差量を取得するものとした。
また、本発明の第3の態様の画像加工装置を、第2の態様の画像加工装置において、前記予め定められた被写体像を、前記フレーム画像内の所定値以上の空間周波数を有する被写体像としたものとした。
また、本発明の第4の態様の画像加工装置を、第1〜第3の何れかの態様の画像加工装置において、前記制御手段が、更に、前記加工手段による視差量の加工が指示された前記フレーム画像が前記表示手段に表示されている間、視差量の許容限界を表す情報と、視差量の経時変化を表す情報と、該視差量の経時変化を表す情報において現在表示されているフレーム画像の視差が確認可能な情報とを対応付けて表示するように前記表示手段を制御するものとした。
また、本発明の第5の態様の画像加工装置を、第4の態様の画像加工装置において、前記視差量の許容限界を表す情報及び前記視差量の経時変化を表す情報を、被写体像の奥行き側及び手前側の各々に対応させたものとした。
また、本発明の第6の態様の画像加工装置を、第1〜第5の何れかの態様の画像加工装置において、前記視差量取得手段によって取得された視差量の一定期間の変動が所定値よりも大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも1つの場合に、前記視差量に異常があると判定する異常判定手段を更に含み、前記制御手段が、更に、前記異常判定手段で視差量が異常であると判定された場合に該視差量に対応するフレーム画像の表示に同期して警告を表示するように前記表示手段を制御するものとした。
また、本発明の第7の態様の画像加工装置を、第6の態様の画像加工装置において、前記異常判定手段により前記視差量に異常がないと判定された場合に、第1の視差調整を行い、前記異常判定手段により前記視差量に異常があると判定された場合に、前記第1の視差調整の制御と異なる第2の視差調整の制御に切り替えて視差調整を行う視差調整手段を更に含み、前記制御手段が、更に、前記加工手段によって加工が施される対象とされた前記フレーム画像が前記表示手段に表示される場合、前記視差調整手段によって前記視差調整が行われた前記フレーム画像が表示されるように前記表示手段を制御するものとした。
また、本発明の第8の態様の画像加工装置を、第7の態様の画像加工装置において、前記視差調整手段が、前記異常判定手段により前記視差量に異常があると判定された場合、予め定められた視差量最大変化量の範囲内で視差調整を行うものとした。
また、本発明の第9の態様の画像加工装置を、第7または第8の態様の画像加工装置において、前記視差調整手段が、前記異常判定手段により前記視差量に異常があると判定された場合、前フレームでの視差量を用いて視差調整を行うものとした。
また、本発明の第10の態様の画像加工装置を、第7〜第8の何れかの態様の画像加工装置において、前記視差調整手段が、前記異常判定手段により前記視差量に異常があると判定された場合、視差調整頻度を低下させるものとした。
また、本発明の第11の態様の複眼撮像装置を、第1〜第10の何れかの態様の画像加工装置と、前記連続フレーム画像を、複数の視点から同一の被写体を連続フレームで撮像することにより生成する撮像手段と、を含んで構成した。
また、本発明の第12の態様の画像加工方法を、複数の視点から同一の被写体を連続的に撮影して得られた連続フレーム画像を取得し、取得された前記連続フレーム画像を構成する複数のフレーム画像の各々に基づいて前記複数のフレーム画像の各々についての視差量を取得し、取得された連続フレーム画像を構成しているフレーム画像を立体視画像として視認されるように表示し、前記フレーム画像に対する視差量の加工を指示する加工指示情報を受け付け、表示される前記フレーム画像に対して、受け付けられた加工指示情報により指示された視差量の加工を施し、該フレーム画像の前後の複数のフレーム画像に対して、該前後のフレーム画像が該表示されるフレーム画像から離れるほど該指示された視差量より徐々に小さくなるように視差量の加工を施し、視差量の加工が指示された前記フレーム画像が表示されている間、取得された視差量に関する視差量関連情報と該視差量が異常であるか否かを判断するための指標とを対応付けて表示するものとした。
また、本発明の第13の態様のプログラムを、複数の視点から同一の被写体を連続的に撮影して得られた連続フレーム画像を取得する画像取得手段、前記画像取得手段によって取得された前記連続フレーム画像を構成する複数のフレーム画像の各々に基づいて前記複数のフレーム画像の各々についての視差量を取得する視差量取得手段、前記画像取得手段によって取得された連続フレーム画像を構成しているフレーム画像を立体視画像として視認されるように表示手段に表示させる手段、前記フレーム画像に対する視差量の加工を指示する加工指示情報を受け付ける受付手段、前記表示手段に表示される前記フレーム画像に対して、前記受付手段によって受け付けられた加工指示情報により指示された視差量の加工を施し、該フレーム画像の前後の複数のフレーム画像に対して、該前後のフレーム画像が該表示されるフレーム画像から離れるほど該指示された視差量より徐々に小さくなるように視差量の加工を施す加工手段、及び、前記加工手段による視差量の加工が指示された前記フレーム画像が前記表示手段に表示されている間、前記視差量取得手段によって取得された視差量に関する視差量関連情報と該視差量が異常であるか否かを判断するための指標とを対応付けて表示させるように前記表示手段を制御する制御手段としてコンピュータを機能させるためのものとした。
本発明によれば、視差量の異常を簡便かつ高精度に把握することができる、という効果が得られる。
[第1の基本形態]
図1は、後述する本発明の第1の実施の形態の前提となる第1の基本形態に係る画像再生加工装置10の概略を示す図である。
図1は、後述する本発明の第1の実施の形態の前提となる第1の基本形態に係る画像再生加工装置10の概略を示す図である。
図1に示すように、画像再生加工装置10は、立体視画像を表示する表示装置12及び液晶シャッタ眼鏡14を備えている。また、表示装置12は、各種表示を行うモニタ12Aを備えている。更に、表示装置12は、電源を投入する際に押圧操作される電源ボタン13A、立体視画像を再生する際に押圧操作される再生開始ボタン13B、立体視画像の再生を停止する際に押圧操作される再生停止ボタン13C、ユーザに選択させる情報を含むメニュー画面をモニタ12Aに表示する際に押圧操作されるメニューボタン13D、モニタ12Aに表示された情報がユーザによって選択され、選択された情報を取り消す際に押圧操作されるキャンセルボタン13E、モニタ12Aに表示された情報がユーザによって選択され、選択された情報を確定する際に押圧操作される確定ボタン13F、及びモニタ12Aに表示された情報を選択する際に操作される十字キー13Gを含んで構成された操作部13を備えている。
なお、本第1の基本形態では、左目用画像G1と右目用画像G2とを交互に表示装置12に表示すると共に、左目用画像G1が表示されたときに液晶シャッタ眼鏡14の右目の液晶シャッタが透過状態、右目用画像G2が表示されたときに液晶シャッタ眼鏡14の左目の液晶シャッタが透過状態となるように交互に液晶シャッタを駆動する方式で立体視画像として視認されるように3次元立体映像を再生する形態を例に挙げて説明する。なお、本第1の基本形態では、液晶シャッタ眼鏡14を使用して3次元立体映像を再生する画像再生加工装置を一例として説明するが、これに限るものではなく、例えば、偏光フィルタ眼鏡を用いて3次元立体映像を再生するものを適用するようにしてもよいし、眼鏡を用いない方式で3次元立体映像を再生する方式の画像再生加工装置を適用するようにしてもよい。また、本第1の基本形態では、再生開始ボタン13Bを長押し(例えば1秒以上の押圧操作)により後述する3D動画編集ルーチンが実行される。
図2は、本第1の基本形態に係る画像再生加工装置10の表示装置12側の概略構成を示すブロック図である。
表示装置12は、同期通信部16、画像処理部18、圧縮/伸長処理部20、フレームメモリ22、メディア制御部24、内部メモリ26、3次元処理部28、表示制御部30、及びCPU32を備えており、これらはバスBUSを介して相互に接続されている。また、メディア制御部24には記録メディア34が、表示制御部30にはモニタ12Aが各々接続されている。更に、CPU32には、操作部13が接続されている。
同期通信部16は、液晶シャッタ眼鏡14の左右の液晶シャッタの駆動と、表示装置12に表示する左目用及び右目用のそれぞれの画像とを同期させるための信号の送信及び受信を行う。
画像処理部18は、表示すべき画像を表す画像データに対して、ホワイトバランス調整、階調補正、シャープネス補正、色補正等の各種画像処理を施す。
圧縮/伸長処理部20は、画像処理部18によって処理が施された画像データに対して、例えば、JPEGやMPEG等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルF0を作成したり、再生する際に圧縮された画像データを伸長する処理を行う。画像ファイルF0は、左目用画像G1及び右目用画像G2の画像データを有しており、更に、例えばExifフォーマットに基づく、基線長、輻輳角及び撮影日時等の付帯情報、及び視点位置を表す視点情報を含んでいる。
図3は、立体視用の画像ファイルのファイルフォーマットを示す図である。立体視用の画像ファイルF0は、左目用画像G1の付帯情報H1、左目用画像G1の視点情報S1、左目用画像G1の画像データ、右目用画像G2の付帯情報H2、右目用画像G2の視点情報S2,及び右目用画像G2の画像データが格納されてなる。また、図示はしないが、左目用画像G1及び右目用画像G2についての付帯情報、視点情報及び画像データの前後には、データの開始位置及び終了位置を表す情報が含まれる。
付帯情報H1,H2には、左目用画像G1及び右目用画像G2の撮影日、基線長、及び輻輳角の情報が含まれる。付帯情報H1,H2には、左目用画像G1及び右目用画像G2のサムネイル画像も含まれる。なお、視点情報としては、例えば左側の撮影部から順に付与した視点位置の番号を用いることができる。
フレームメモリ22は、画像データに対して、画像処理部18が行う処理を行う各種処理を行う際に使用する作業用メモリである。
メディア制御部24は、記録メディア34に対してアクセスして例えば画像ファイルの書き込みと読み込みの制御を行う。
内部メモリ26は、例えば表示装置12における各種設定を表す情報、及びCPU32が実行するプログラムを記憶する。
3次元処理部28は、記録メディア34に記憶された画像データを読み出して、同期通信部16による液晶シャッタ眼鏡14と通信によって得られる同期信号に同期して、立体視画像を表示させるための左目用画像G1と、右目用画像G2とを交互に表示することにより立体視画像GRが表示されるように表示制御部30を制御する。また、3次元処理部28は、画像データにフレーム毎の視差情報が記録されていない場合に、主要被写体を検出して、フレーム毎の視差を算出する処理を行う。また、3次元処理部28は、左目用画像G1及び右目用画像G2の視差を調整することもできる。ここで、視差とは、左目用画像G1及び右目用画像G2の双方に含まれる被写体の、左目用画像G1及び右目用画像G2の横方向、すなわち基線に沿った方向における画素位置のずれ量をいう。視差を調整することにより、立体視画像GRに含まれる被写体の立体感を適切なものとすることができる。
表示制御部30は、立体視する場合には、3次元処理部28の制御によって左目用画像G1と、右目用画像G2とを交互にモニタ12Aに表示させる。
図4は、第1の基本形態に係る画像再生加工装置10の液晶シャッタ眼鏡14側の概略構成を示すブロック図である。
液晶シャッタ眼鏡14は、同期通信部36、液晶シャッタ駆動部38、右目用液晶シャッタ40、及び左目用液晶シャッタ42を備える。
同期通信部36は、左右の液晶シャッタの駆動と、表示装置12に表示される左右それぞれの画像とを同期させるための信号を通信する。
液晶シャッタ駆動部38は、同期通信部36による表示装置12と通信することによって得られる同期信号に同期して、右目用液晶シャッタ40及び左目用液晶シャッタ42の駆動を制御する。これによって、左目用画像G1が表示装置12のモニタ12Aに表示されているときに、右目用液晶シャッタ40が透過状態、左目用液晶シャッタ42が遮蔽状態となり、右目用画像G2が表示装置12のモニタ12Aに表示されているときに、左目用液晶シャッタ42が透過状態、右目用液晶シャッタ40が遮蔽状態となり、立体視画像が再生される。
以上のように構成された表示装置12では、CPU32によって次の3D動画編集ルーチンが実行される。なお、3D動画編集ルーチンのプログラムは内部メモリ26に予め記憶されている。
(3D動画編集ルーチン)
図5は、3D動画編集ルーチンを示すフローチャートである。なお、ここでは、錯綜を回避するために、本3D動画編集ルーチンにおいて実際に実施する編集メニューとして、カット、結合、リサイズ、クロップ、回転、色調補正、画像(静止画/動画/文字など)の重ね合わせ、フレームレート変換、インターレース変換、リバース、フェードイン/アウト、モザイク、フォーマット変換などの予め定められた複数の編集メニューのうちの何れかがユーザによって既に指定されている場合について説明する。
図5は、3D動画編集ルーチンを示すフローチャートである。なお、ここでは、錯綜を回避するために、本3D動画編集ルーチンにおいて実際に実施する編集メニューとして、カット、結合、リサイズ、クロップ、回転、色調補正、画像(静止画/動画/文字など)の重ね合わせ、フレームレート変換、インターレース変換、リバース、フェードイン/アウト、モザイク、フォーマット変換などの予め定められた複数の編集メニューのうちの何れかがユーザによって既に指定されている場合について説明する。
ステップ100では、3D動画の編集開始の指示が再生開始ボタン13Bを介して入力されると、3次元動画編集を開始して、ステップ102へ進む。ステップ102では、記録メディア34に記憶されている編集対象の動画データ(連続フレーム)を構成している画像ファイルF0の左目用画像G1及び右目用画像G2に基づく視差量を3次元処理部28に取得させる。ここでは、第1又は第2の視差量取得ルーチンが実行され、3次元処理部30は次の処理を行う。
(視差量の取得)
図6は、第1の視差量取得ルーチンを示すフローチャートである。3次元処理部28は、最初に、複数画像、すなわち記録メディア34に記憶されている画像ファイルF0の左目用画像G1及び右目用画像G2における同一の人物の顔領域をそれぞれ検出し、これらの顔領域の座標を示す顔検出座標を取得し(ステップ200)、取得した顔検出座標の座標差分を算出し(ステップ202)、座標差分から視差量を算出する(ステップ204)。
図6は、第1の視差量取得ルーチンを示すフローチャートである。3次元処理部28は、最初に、複数画像、すなわち記録メディア34に記憶されている画像ファイルF0の左目用画像G1及び右目用画像G2における同一の人物の顔領域をそれぞれ検出し、これらの顔領域の座標を示す顔検出座標を取得し(ステップ200)、取得した顔検出座標の座標差分を算出し(ステップ202)、座標差分から視差量を算出する(ステップ204)。
図7は、第2の視差量取得ルーチンを示すフローチャートである。3次元処理部28は、最初に、複数画像、すなわち記録メディア34に記憶されている画像ファイルF0の左目用画像G1及び右目用画像G2における同一のオブジェクトをそれぞれ検出し、これらのオブジェクトを特定する特徴点の座標である特徴点座標を取得し(ステップ210)、取得した特徴点座標の座標差分を算出し(ステップ212)、座標差分から視差量を算出する(ステップ214)。そして、第1又は第2の視差量取得ルーチンが終了すると、図5に示すステップ104へ進む。
(視差量の表示)
ステップ104では、上記ステップ102の処理によって得られた視差量とその視差量が異常であるか否かを判断するための指標とを対比可能にモニタ12Aに表示した後、ステップ106に進む。図8には、モニタ12Aに視差量と指標とが対比可能に表示された状態の一例が示されている。図8に示すように、本実施の形態に係る表示装置12のモニタ12Aには、フレーム内の奥行き方向で対称なオブジェクト(被写体像)についての視差量の許容限界範囲を規定する凹側許容限界ライン401(許容限界範囲の最大値を示す直線画像)及び凸側許容限界ライン402(許容限界範囲の最小値を示す直線画像)を含む視差量表示画面40がモニタ12Aに表示される。そして、上記対称なオブジェクトのうちの奥行き側のオブジェクトである凹側オブジェクトの視差量410の経時変化を示す奥行き側視差量グラフ403、及び上記対称なオブジェクトのうちの手前側のオブジェクトである凸側オブジェクトの視差量411の経時変化を示す手前側視差量グラフ404が凹側許容限界ライン及び凸側許容限界ラインと対比可能に視差量表示画面40に重ねて表示される。また、現時点でモニタ12Aに表示されているフレームに基づく視差量に対応する箇所に目印が視差量表示画面40に重ねて表示される。従って、目印は、モニタ12Aでフレームの表示が進むに従って位置が変化する。図8に示す例では、目印は、視差量表示画面40の左端405(動画再生開始点を示す位置)から右端406(動画再生終了点を示す位置)にかけてフレームの表示速度と同じ速度で移動する。また、図8に示す例では、目印として、凹側視差量許容限界ライン407、凸側視差量許容限界ライン408、奥行き側視差量グラフ403、及び手前側視差量グラフ404を縦断する縦断ライン409(目印、現在の表示位置)を適用しているが、これに限らず、少なくとも奥行き側視差量グラフ及び手前側視差量グラフについて、現時点でモニタ12Aに表示されているフレームに基づく視差量に対応する箇所が視覚的に特定可能な表示形態の目印であれば如何なる目印であっても良い。参照符号412はクロスポイントを示す。
ステップ104では、上記ステップ102の処理によって得られた視差量とその視差量が異常であるか否かを判断するための指標とを対比可能にモニタ12Aに表示した後、ステップ106に進む。図8には、モニタ12Aに視差量と指標とが対比可能に表示された状態の一例が示されている。図8に示すように、本実施の形態に係る表示装置12のモニタ12Aには、フレーム内の奥行き方向で対称なオブジェクト(被写体像)についての視差量の許容限界範囲を規定する凹側許容限界ライン401(許容限界範囲の最大値を示す直線画像)及び凸側許容限界ライン402(許容限界範囲の最小値を示す直線画像)を含む視差量表示画面40がモニタ12Aに表示される。そして、上記対称なオブジェクトのうちの奥行き側のオブジェクトである凹側オブジェクトの視差量410の経時変化を示す奥行き側視差量グラフ403、及び上記対称なオブジェクトのうちの手前側のオブジェクトである凸側オブジェクトの視差量411の経時変化を示す手前側視差量グラフ404が凹側許容限界ライン及び凸側許容限界ラインと対比可能に視差量表示画面40に重ねて表示される。また、現時点でモニタ12Aに表示されているフレームに基づく視差量に対応する箇所に目印が視差量表示画面40に重ねて表示される。従って、目印は、モニタ12Aでフレームの表示が進むに従って位置が変化する。図8に示す例では、目印は、視差量表示画面40の左端405(動画再生開始点を示す位置)から右端406(動画再生終了点を示す位置)にかけてフレームの表示速度と同じ速度で移動する。また、図8に示す例では、目印として、凹側視差量許容限界ライン407、凸側視差量許容限界ライン408、奥行き側視差量グラフ403、及び手前側視差量グラフ404を縦断する縦断ライン409(目印、現在の表示位置)を適用しているが、これに限らず、少なくとも奥行き側視差量グラフ及び手前側視差量グラフについて、現時点でモニタ12Aに表示されているフレームに基づく視差量に対応する箇所が視覚的に特定可能な表示形態の目印であれば如何なる目印であっても良い。参照符号412はクロスポイントを示す。
このように、視差量表示画面40に奥行き側視差量グラフ及び手前側視差量グラフが重ねて表示されることで、ユーザ(例えば3D動画の編集者)は、奥行き側視差量グラフ及び手前側視差量グラフの少なくとも一方が凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内に収まっていなければ視差量が許容限界範囲を超えていると判断することができ、奥行き側視差量グラフ及び手前側視差量グラフの少なくとも一方が凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内に収まっていれば視差量が許容限界範囲を超えていないと判断することができる。なお、許容限界範囲は、フレームの想定表示サイズによって変動するので、想定表示サイズを変更してその変更結果を奥行き側視差量グラフ及び手前側視差量グラフに反映させるようにしても良い。
ステップ106では、一例として図9Aおよび図9Bに示すように、モニタ12Aに、編集対象の動画データに含まれるフレームを表示すると共に、視差量表示画面40をフレームの一部に重畳させて表示する。
次のステップ108では、現時点でモニタ12Aに表示されているフレームについて3次元処理部28で取得された視差量に異常があるか否かを判定し、異常があると判定した場合はステップ110に進み、異常がないと判定した場合はステップ114へ進む。本ステップ108では、(1)視差量にハンチングがあるか、(2)視差量が許容限界か、(3)視差調整対象を見失って検出できなくなったかのいずれか1つに基づいて視差量の異常が判定される。
(1)ハンチング有無の判定
CPU32は、ステップ108において、次に示す第1又は第2のハンチング有無判定ルーチンを実行する。なお、第1及び第2のハンチング有無判定ルーチンのプログラムは、内部メモリ26に予め記憶されている。
CPU32は、ステップ108において、次に示す第1又は第2のハンチング有無判定ルーチンを実行する。なお、第1及び第2のハンチング有無判定ルーチンのプログラムは、内部メモリ26に予め記憶されている。
図10は、第1のハンチング有無判定ルーチンを示すフローチャートである。CPU32は、3次元処理部28で得られた一定期間の視差量を取得し(ステップ220)、取得した視差量のばらつきSを算出する(ステップ222)。そして、CPU32は、ばらつきSがハンチング閾値Tより小さい(S<T)か否かを判定する(ステップ224)。S<Tの場合はハンチングがない(視差量に異常がない)と判定して図5のステップ114へ進み、S<Tでない場合はハンチングがある(視差量に異常がある)と判定して図5のステップ110へ進む。
図11は、第2のハンチング有無判定ルーチンを示すフローチャートである。CPU32は、3次元処理部28で得られた現フレームと前フレームの視差量の変化量Dを取得する(ステップ230)。そして、CPU32は、変化量Dがハンチング閾値Tより小さい(D<T)かを判定する(ステップ232)。D<Tの場合はハンチングがない(視差量に異常がない)と判定して図5のステップ114へ進み、D<Tでない場合はハンチングがある(視差量に異常がある)と判定して図5のステップ110へ進む。
(2)視差量の許容限界判定
CPU32は、ステップ108において、視差量が予め定められた許容限界値に達しているかを判定してもよい。ここで、許容限界とは、立体視画像に表される物体の飛び出し過ぎ又は凹みすぎを表す視差量の閾値をいう。視差量が許容限界値に達している場合はステップ110へ進み、視差量が許容限界に達していない場合はステップ114へ進む。
CPU32は、ステップ108において、視差量が予め定められた許容限界値に達しているかを判定してもよい。ここで、許容限界とは、立体視画像に表される物体の飛び出し過ぎ又は凹みすぎを表す視差量の閾値をいう。視差量が許容限界値に達している場合はステップ110へ進み、視差量が許容限界に達していない場合はステップ114へ進む。
(3)視差調整対象の判定
CPU32は、ステップ108において、視差調整対象を見失って検出できなくなったか否かを判定してもよい。視差調整対象とは、例えば人物の顔などの画面の中心位置付近にあるオブジェクト、複数の特徴点などが該当する。
CPU32は、ステップ108において、視差調整対象を見失って検出できなくなったか否かを判定してもよい。視差調整対象とは、例えば人物の顔などの画面の中心位置付近にあるオブジェクト、複数の特徴点などが該当する。
ここでは、CPU32は、視差調整対象が例えば10フレーム検出されなかった場合は視差調整対象を見失ったと判定して制御手段としてのステップ110へ進み、視差調整対象が10フレーム検出されていない場合はステップ114へ進む。なお、「10フレーム」は一例に過ぎず、その他のフレーム数であってもよい。これにより、視差調整対象を見失った場合、視差調整制御を切り替えるので、3次元動画再生の視差調整を安定化させることができる。
(視差量異常情報の表示)
ステップ110では、一例として図9Bに示すように、モニタ12Aに、視差量に異常があることを示す視差量異常情報450(一例として図9Bに示す「NG」との視差量警告を示す文字)をフレームに重畳させて表示する。これにより、ユーザは、現時点で表示されているフレームに基づく視差量が異常であることを容易に把握することができる。なお、本実施の形態では、可視表示を例に挙げて説明しているが、これに限らず、視差量に異常があることを可聴表示しても良い。また、可視表示と可聴表示とを併用しても良い。
ステップ110では、一例として図9Bに示すように、モニタ12Aに、視差量に異常があることを示す視差量異常情報450(一例として図9Bに示す「NG」との視差量警告を示す文字)をフレームに重畳させて表示する。これにより、ユーザは、現時点で表示されているフレームに基づく視差量が異常であることを容易に把握することができる。なお、本実施の形態では、可視表示を例に挙げて説明しているが、これに限らず、視差量に異常があることを可聴表示しても良い。また、可視表示と可聴表示とを併用しても良い。
(視差調整制御の切り替え)
次のステップ112では、CPU32は、視差調整制御を別の制御に切り替えた後、ステップ114に進む。本ステップ112では、第1及び第2の切り替え処理のうちのいずれか1つの処理が実行される。
次のステップ112では、CPU32は、視差調整制御を別の制御に切り替えた後、ステップ114に進む。本ステップ112では、第1及び第2の切り替え処理のうちのいずれか1つの処理が実行される。
第1の切り替え処理として、CPU32は、フレーム毎の視差量最大変化量を定義して3次元処理部28に設定することで、フレーム毎の視差量の変化量に制限をかける。これにより、視差量最大変化量の範囲内で視差調整が行われて、視差量の急激な変化を抑制できるので、3次元動画再生の視差調整を安定化させることが可能になる。
また、第2の切り替え処理として、CPU32は、当該フレームでの視差調整をスキップ(当該フレームでの視差調整を禁止)して、前フレームでの視差調整をそのまま継続させる。つまり、前フレームでの視差量を使用する。これにより、視差量に異常があった場合でも、視差調整をスキップできるので、3次元動画再生の視差調整を安定化させることができる。
ステップ114では、CPU32は、3次元処理部28に視差調整を実施させて、視差調整された左目用画像G1及び右目用画像G2を表示制御部30に出力し、ステップ116へ進む。
ステップ116では、CPU32は、現時点で表示されているフレームに対して、ユーザによって予め指定された編集を実施する。なお、本ステップ116では、1コマ単位のフレームについてユーザの指示操作に従って編集を実施しているが、これに限らず、複数のフレームをまとめて編集するようにしても良い。
次のステップ118では、CPU32は、再生停止ボタン13Cにより動画再生停止の指示が入力されたかを判定し、肯定判定の場合は本ルーチンを終了し、否定判定の場合は次のフレームの処理に移行し、再びステップ106へ戻る。
以上のように、画像再生加工装置10では、加工が施される対象とされたフレームがモニタ12Aに表示される間、視差量(奥行き側視差量グラフ及び手前側視差量グラフ)とその視差量が異常であるか否かを判断するための指標(凹側許容限界ライン、凸側許容限界ライン、及び目印)とが対比可能に表示されるように制御しているので、視差量の異常を簡便かつ高精度に把握することができる。
また、画像再生加工装置10では、実際に編集を実施する前の段階で編集対象とされている動画データを構成しているフレームの視差量の異常を把握することができるので、視差量が異常な箇所の修正を容易に行うことができる。
なお、CPU32は、ハンチングを検出した場合、視差調整を実施した後(ステップ108終了後)ハンチングの有無を示すハンチング情報を記録メディア34に記録してもよい。これにより、動画情報にハンチングの有無が付加されるので、再度の動画再生時にハンチング情報を利用することができ、再度の3次元動画再生時の視差調整を安定化させることができる。また、ステップ104では、(1)ハンチング有無の判定、(2)視差量の許容限界判定、(3)視差調整対象の判定のいずれか1つが実行される場合について説明したが、(1)から(3)のいずれか2つまたはすべてを実行してもよい。
[第1の実施の形態]
次に、上記第1の基本形態を前提にした本発明の第1の実施の形態について説明する。なお、ここでは、上述した同一の部位については同一の符号を付し、その詳細な説明は省略する。
次に、上記第1の基本形態を前提にした本発明の第1の実施の形態について説明する。なお、ここでは、上述した同一の部位については同一の符号を付し、その詳細な説明は省略する。
図12は、本第1の実施の形態に係る3D動画編集ルーチンを示すフローチャートである。なお、以下では、上述した3D動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、上述した3D動画編集ルーチンと異なる点を説明する。
本第1の実施の形態に係る3D動画編集ルーチンでは、CPU32は、図12に示すようにステップ110の処理を実行した後、ステップ113Aへ進む。ステップ113Aでは、受付手段としての操作部13によって視差量の調整を行う指示が受け付けられたか否かを判定し、肯定判定となった場合にはステップ113Bに移行する一方、否定判定となった場合にはステップ113Cに移行する。視差量の調整を行う指示は、例えば操作部13のメニューボタン13Dが押圧操作されることによって実現される。なお、本ステップ113Aにおいて肯定判定となった場合には現時点でモニタ12Aに表示されている奥行き側視差量グラフ及び手前側視差量グラフのうちの何れか(例えば奥行き側視差量グラフ)が点滅表示される。本第1の実施の形態に係る表示装置12では、点滅表示されたグラフが視差量の調整対象のグラフとして選択されていることをユーザに視覚的に伝達するようにしているが、これに限らず、現時点で何れのグラフが選択された状態にあるかを音声でユーザに伝達するようにしても良い。例えば、奥行き側視差量グラフが選択された状態にある場合は「現在、上側のグラフが選択されています。」との音声を出力し、手前側視差量グラフが選択された状態にある場合は「現在、下側のグラフが選択されています。」との音声を出力するようにしても良い。また、以上のような可視表示及び可聴表示を組み合わせることによって現在何れのグラフが選択されているかをユーザに伝達するようにしても良い。
ステップ113Cでは、視差量の調整を行わない条件として予め定められた条件(例えば、上記ステップ108又は上記ステップ110の処理の実行が終了してから所定時間(例えば3秒)経過した、との条件)を満足したか否かを判定し、否定判定となった場合にはステップ113Aに移行する一方、肯定判定となった場合にはステップ116に移行する。
ステップ113Bでは、奥行き側視差量グラフ及び手前側視差量グラフのうち、視差量の調整対象となるグラフが指定されたか否かを判定し、肯定判定となった場合にはステップ113Dに移行する一方、否定判定となった場合にはステップ113Eに移行する。上記ステップ113Bの処理によって視差量の調整対象となるグラフが指定されると、現時点で点滅表示されているグラフの表示形態が、視差量の調整対象となるグラフとして指定されたことを示す表示形態(例えば、破線で停止表示される形態)に変更される。なお、視差量の調整対象となるグラフは、例えば、奥行き側視差量グラフ及び手前側視差量グラフの何れかが十字キー13Gの左右方向のキーが押圧操作されることによって選択され、選択された状態で確定ボタン13Fが押圧操作されることによって指定(確定)される。しかし、視差量の調整対象となるグラフの指定方法は、これに限定されるものではない。例えば、モニタ12Aにタッチパネルを設け、ユーザがタッチパネルを介して点滅表示状態のグラフに触れることによって、その触れたグラフを視差量の調整対象となるグラフとして指定するようにしても良い。
ステップ113Eでは、視差量の調整を行わない条件として予め定められた条件(例えば、上記ステップ113Aの処理の実行が終了してから所定時間(例えば3秒)経過した、との条件)を満足したか否かを判定し、否定判定となった場合にはステップ113Bに移行する一方、肯定判定となった場合にはステップ116に移行する。
ステップ113Dでは、操作部13を介して視差量の調整量を取得したか否かを判定する。視差量の調整量は、例えば、十字キー13Gの上方向のキー又は下方向のキーが押圧操作されることによって取得される。つまり、十字キー13Gの上方向のキー又は下方向のキーに対する押圧操作量が視差量の調整量に相当しており、十字キー13Gの上方向のキー又は下方向のキーに対する押圧操作量が視差量の調整量として取得される。また、本第2の実施形態に係る表示装置12では、視差量の調整対象となるグラフが指定されてから十字キー13Gの上方向のキー又は下方向のキーが押圧操作されると、その押圧操作に対応して、視差量の調整対象として指定されたグラフが変形する。具体的には、CPU32が、視差量の調整対象となるグラフを、十字キー13Gの上方向のキー又は下方向のキーの押圧操作に対応して、目印の縦断ラインを中心にして左右方向(動画開始点側及び動画終了点側)に離れるほど変形量が予め定められた割合で小さくなるように(目印からの距離に反比例するように)変形させる制御を行う。
なお、視差量の調整量の取得方法は、十字キー13Gの上方向のキー又は下方向のキーの押圧操作による方法に限定されるものではない。この他にも例えば、モニタ12Aにタッチパネルを設け、ユーザがタッチパネルを介して、視差量の調整対象として指定されたグラフにおける目印の部分に触れ、触れた部分を所定の位置(例えば凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内の所定の位置)まで移動させて移動先でタッチパネルへの接触を止めることによって確定した移動量を視差量の調整量として取得しても良い。
ステップ113Dにおいて肯定判定となった場合には加工手段としてのステップ113Fに移行する一方、否定判定となった場合にはステップ113Gに移行する。ステップ113Gでは、現時点で視差量の調整対象とされているグラフの指定が解除されたか否かを判定し、肯定判定となった場合にはステップ113Bに移行する一方、否定判定となった場合にはステップ113Dに移行する。なお、グラフの指定の解除は、例えば、キャンセルボタン13Eを押圧操作することによって実現される。
ステップ113Fでは、上記ステップ113Bの処理によって指定されているグラフを対象にして、上記ステップ113Dの処理によって取得された調整量に基づいて3次元処理部28に視差調整を実施させる。よって、3次元処理部28は、現時点で表示されているフレームについて、上記ステップ113Dの処理によって取得された調整量分の視差調整を実施すると共に、現時点で表示されているフレームの前後に連なっているフレームについての視差量を調整する。具体的には、それらのフレームについて、現時点で視差量の調整対象とされているグラフにおける目印の部分の変形方向と同じ方向に変形し、且つ、目印を中心にしてグラフの左右方向(動画開始点側及び動画終了点側)に離れるほどグラフの変形量が予め定められた割合で徐々に小さくなる(目印からの距離に反比例する)のに伴って視差量も小さくなるように視差調整を実施する。これにより、視差量の調整対象となるグラフにおける目印の部分に対応するフレーム(現在表示されているフレーム)についての視差量のみならず、そのフレームの前後に連なるフレームについての視差量も違和感なく調整される。
このように上記ステップ113B,113D,113Fの処理が実行されることによって、例えば、奥行き側視差量グラフが凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内に収まっていない場合(凹側許容限界ラインの上方に位置している場合)には奥行き側視差量グラフを視差量の調整対象となるグラフとして指定してから、十字キー13Gの下方向のキーを押圧操作することによって奥行き側視差量グラフにおける目印の部分を凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内に収めることが可能となる。また、手前側視差量グラフが凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内に収まっていない場合(凸側許容限界ラインの下方に位置している場合)には手前側視差量グラフを視差量の調整対象となるグラフとして指定してから、十字キー13Gの上方向のキーを押圧操作することによって手前側視差量グラフにおける目印の部分を凹側許容限界ラインと凸側許容限界ラインとで挟まれる範囲内に収めることが可能となる。
ステップ113Hでは、視差量の調整を行わない条件として予め定められた条件(例えば、上記ステップ113Fの処理の実行が終了してから所定時間(例えば3秒)経過した、との条件)を満足したか否かを判定し、否定判定となった場合にはステップ113Aに移行する一方、肯定判定となった場合にはステップ116に移行する。
なお、本第1の実施の形態では、奥行き側視差量グラフ又は手前側視差量グラフにおける目印の部分を中心にしてユーザの操作に応じて視差量を調整する場合の形態例を挙げて説明したが、これに限らず、視差量表示画面40に表示されている奥行き側視差量グラフ又は手前側視差量グラフについて、視差量の許容限界範囲を超えている箇所を指定し、第1の基本形態で説明した「第1の切り替え処理」を用いて視差調整を行うようにしても良い。この場合、本第1の実施の形態に係る3D動画編集ルーチンのステップ113A〜113Hの処理に代えて、3次元処理部28に対して「第1の切り替え処理」を用いた視差調整を実施させれば良い。なお、この場合においても、視差調整の箇所として指定したところを中心にしてグラフの左右方向に離れるほどグラフの変動量が予め定められた割合で徐々に小さくなるように視差調整を実施することで、視差量の調整対象となるグラフにおける目印の部分に対応するフレーム(現在表示されているフレーム)についての視差量のみならず、そのフレームの前後に連なるフレームについての視差量も違和感なく調整される。
また、本第1の実施の形態では、表示装置12の操作部13が操作されることによって視差量の調整を行う指示(ステップ113A)、視差量の調整対象となるグラフの指定(ステップ113B)、視差量の調整量の指示(ステップ113D)、及び調整対象グラフの指定の解除(ステップ113G)を行う場合の形態例を挙げて説明したが、これらを、例えば図13に示すリモートコントローラ50を用いて行っても良い。リモートコントローラ50は、表示装置12に対して無線信号を発信する発信部51を備えている。また、リモートコントローラ50は、表示装置12に対して電源ボタン13Aと同様に機能する電源ボタン52Aと、表示装置12に対して再生開始ボタン13Bと同様に機能する再生開始ボタン52Bと、表示装置12に対して再生停止ボタン13Cと同様に機能する再生停止ボタン52Cと、表示装置12に対してメニューボタン13Dと同様に機能するメニューボタン52Dと、表示装置12に対してキャンセルボタン13Eと同様に機能するキャンセルボタン52Eと、表示装置12に対して確定ボタン13Fと同様に機能する確定ボタン52Fと、表示装置12に対して十字キー13Gと同様に機能する十字キー52Gとを含んで構成された操作部52を備えている。このように構成されたリモートコントローラ50は、操作部52が操作されることによって受け付けられた指示を無線信号にして表示装置12に送信する。
一方、表示装置12は、更に信号受信部35を含んで構成されている。信号受信部35は、リモートコントローラ50によって送信された無線信号を受信するものであり、バスBUSに接続されている。これにより、CPU32は、信号受信部35で受信された無線信号に含まれる各種指示を把握することができる。従って、このように構成された画像再生加工装置10では、リモートコントローラ50の操作部52を介して受け付けられた指示として、視差量の調整を行う指示(ステップ113A)、視差量の調整対象となるグラフの指定(ステップ113B)、視差量の調整量の指示(ステップ113D)、及び調整対象グラフの指定の解除(ステップ113G)をCPU32が把握することができるので、本第1の実施の形態と同様の作用及び効果を得ることができる。
また、本第1の実施の形態では、視差量調整の実施及び3D動画編集ルーチンのステップ116の処理を併せて「3D動画編集」としたが、これに限らず、3D動画編集ルーチンからステップ116を除去して、「視差量調整の実施」を「3D動画編集」としても良い。
[第2の基本形態]
次に、後述する本発明の第2の実施の形態の前提となる第2の基本形態について説明する。なお、第1の実施の形態と同一の部位については同一の符号を付し、その詳細な説明は省略する。
次に、後述する本発明の第2の実施の形態の前提となる第2の基本形態について説明する。なお、第1の実施の形態と同一の部位については同一の符号を付し、その詳細な説明は省略する。
図14は、本第2の基本形態に係る3D動画編集ルーチンを示すフローチャートである。なお、以下では、第1の実施の形態に係る3D動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、第1の実施の形態に係る3D動画編集ルーチンと異なる点を説明する。
本第2の基本形態に係る3D動画編集ルーチンでは、CPU32は、図14に示すようにステップ100の処理を実行した後、ステップ250へ進む。ステップ250では、操作部13を介して編集メニューの指示が受け付けられる。本ステップ250において、ユーザによって指示される編集メニューは、カット、結合、リサイズ、クロップ、回転、色調補正、画像(静止画/動画/文字など)の重ね合わせ、フレームレート変換、インターレース変換、リバース、フェードイン/アウト、モザイク、フォーマット変換などの予め定められた複数の編集メニューのうちの何れかである。
次のステップ252では、上記ステップ250の処理によって受け付けられた編集メニューに従って編集を実施した後、ステップ254へ進む。ステップ254では、3次元処理部28に対して、上記ステップ252の処理によって編集された編集済みの動画データを構成している全フレームの各々を対象にして、視差量を取得させた後、ステップ104に移行する。ここでは、上記第1の実施の形態で説明した第1又は第2の視差量取得ルーチンが実行される。
CPU32は、ステップ104の処理を実行した後、ステップ256へ進む。ステップ256では、上記ステップ252の処理によって編集された編集済みの動画データを対象にして3次元動画再生を開始する。
CPU32は、ステップ114の処理を実行した後、ステップ258へ進み、3次元動画再生を終了するための条件として予め定められた条件(例えば、再生停止ボタン13Cにより動画再生停止の指示が入力された、との条件、又は上記ステップ252の処理によって編集された編集済みの動画データを構成している全てのフレームの再生を終了した、との条件)を満足したか否かを判定し、否定判定となった場合にはステップ106へ戻る一方、肯定判定となった場合にはステップ260へ進む。ステップ260では、本3D動画編集ルーチンを終了するための条件として予め定められた条件(例えば、3次元動画再生を終了してから所定時間経過した、との条件)を満足したか否かを判定し、否定判定となった場合にはステップ250へ戻る一方、肯定判定となった場合には本ルーチンを終了する。
以上のように、本第2の基本形態に係る画像再生加工装置10では、実際に編集を実施した後に編集済みの動画データを構成しているフレームの視差量の異常を把握することができるので、視差量が異常な箇所の修正を含めた再編集を行うことができる。
[第2の実施の形態]
次に、上記第2の基本形態を前提にした本発明の第2の実施の形態について説明する。なお、ここでは、上述した同一の部位については同一の符号を付し、その詳細な説明は省略する。
次に、上記第2の基本形態を前提にした本発明の第2の実施の形態について説明する。なお、ここでは、上述した同一の部位については同一の符号を付し、その詳細な説明は省略する。
図15及び図16は、本第2の実施の形態に係る3D動画編集ルーチンを示すフローチャートである。なお、以下では、上記第1の実施の形態に係る3D動画編集ルーチンと同一の処理及び上記第2の基本形態に係る3D動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、上記第2の基本形態に係る3D動画編集ルーチンと異なる点を説明する。
本第2の実施の形態に係る3D動画編集ルーチンは、上記第2の基本形態に係る3D動画編集ルーチンに比べ、ステップ112,114を除去した点、及び上記第1の実施の形態に係る3D動画編集ルーチンのステップ113A〜113Hを設けた点が異なっている。
ステップ108では、否定判定となった場合にステップ113Aに移行する一方、肯定判定となった場合にはステップ110に移行する。CPU32は、ステップ110の処理の実行を終了すると、ステップ113Aに移行し、ステップ113A〜113Hの処理を実行する。ステップ113C,113E,113Hでは、肯定判定となった場合にステップ258に移行する。
なお、本第2の実施の形態では、奥行き側視差量グラフ又は手前側視差量グラフにおける目印の部分を中心にしてユーザの操作に応じて視差量を調整する場合の形態例を挙げて説明したが、これに限らず、視差量表示画面40に表示されている奥行き側視差量グラフ又は手前側視差量グラフについて、視差量の許容限界範囲を超えている箇所を指定し、第1の基本形態で説明した「第1の切り替え処理」を用いて視差調整を行うようにしても良い。
また、本第2の実施の形態では、表示装置12の操作部13が操作されることによって視差量の調整を行う指示(ステップ113A)、視差量の調整対象となるグラフの指定(ステップ113B)、視差量の調整量の指示(ステップ113D)、及び調整対象グラフの指定の解除(ステップ113G)を行う場合の形態例を挙げて説明したが、これらを、例えば図13に示すリモートコントローラ50を用いて行っても良い。
また、本第2の実施の形態では、視差量調整の実施及び3D動画編集ルーチンのステップ252の処理を併せて「3D動画編集」としたが、これに限らず、3D動画編集ルーチンからステップ252を除去して、「視差調整の実施」を「3D動画編集」としても良い。この場合、ステップ254では、編集済み動画データに代えて動画データから視差量を取得する処理を実行することになる。
[第3の基本形態]
次に、後述する本発明の第3の実施の形態の前提となる第3の基本形態について説明する。なお、第1及び第2の実施の形態と同一の部位については同一の符号を付し、その詳細な説明は省略する。
次に、後述する本発明の第3の実施の形態の前提となる第3の基本形態について説明する。なお、第1及び第2の実施の形態と同一の部位については同一の符号を付し、その詳細な説明は省略する。
図17は、本第3の基本形態に係る3D動画編集ルーチンを示すフローチャートである。なお、以下では、第2の実施の形態に係る3D動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、第2の実施の形態に係る3D動画編集ルーチンと異なる点を説明する。
本第3の基本形態に係る3D動画編集ルーチンでは、CPU32は、図17に示すようにステップ256の処理を実行した後、ステップ300へ進む。ステップ300では、インデックス番号i=0を設定した後、ステップ106へ進み、ステップ106の処理を実行した後、ステップ302へ進む。ステップ302では、現時点で表示されているフレームについての視差量を取得した後、ステップ304へ進む。ステップ304では、iを1インクリメント(i=i+1)した後、ステップ108へ進む。
CPU32は、ステップ110の処理を実行した後、ステップ306Aへ進む。ステップ306Aでは、インデックス番号iが視差調整頻度N以上(i≧N)であるかを判定する。そして、i≧Nである場合はステップ306Bへ進み、i=0に設定した後、ステップ114へ進み、i≧Nでない場合はステップ114を飛ばしてステップ258へ進む。
このため、インデックス番号iがN未満である場合は、ステップ106,302,108,110,306(ステップ306A),258が繰り返し実行され、視差調整(ステップ114)が行われない。また、インデックス番号iがNに達すると、ステップ108,110,306(ステップ306A,306B)を経て、ステップ114に進むので、視差調整が実施される。したがって、視差に異常があった場合、フレーム毎に視差調整するのではなく、Nフレームにつき1回だけ視差調整するので、視差調整の頻度を減少して、視差調整の変化を緩やかにすることができる。
[第3の実施の形態]
次に、上記第3の基本形態を前提にした本発明の第3の実施の形態について説明する。なお、ここでは、上述した同一の部位については同一の符号を付し、その詳細な説明は省略する。
次に、上記第3の基本形態を前提にした本発明の第3の実施の形態について説明する。なお、ここでは、上述した同一の部位については同一の符号を付し、その詳細な説明は省略する。
図18及び図19は、本第3の実施の形態に係る3D動画編集ルーチンを示すフローチャートである。なお、以下では、上記第2の実施の形態に係る3D動画編集ルーチンと同一の処理及び上記第3の基本形態に係る3D動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、上記第3の基本形態に係る3D動画編集ルーチンと異なる点を説明する。
本第3の実施の形態に係る3D動画編集ルーチンは、上記第3の基本形態に係る3D動画編集ルーチンに比べ、ステップ114を除去した点、及び上記第1の実施の形態に係る3D動画編集ルーチンのステップ113A〜113Hを設けた点が異なっている。
ステップ108では、否定判定となった場合にステップ113Aに移行する一方、肯定判定となった場合にはステップ110に移行する。CPU32は、ステップ306Bの処理の実行を終了すると、ステップ113Aに移行し、ステップ113A〜113Hの処理を実行する。ステップ113C,113E,113Hでは、肯定判定となった場合にステップ258に移行する。
なお、本第3の実施の形態では、奥行き側視差量グラフ又は手前側視差量グラフにおける目印の部分を中心にしてユーザの操作に応じて視差量を調整する場合の形態例を挙げて説明したが、これに限らず、視差量表示画面40に表示されている奥行き側視差量グラフ又は手前側視差量グラフについて、視差量の許容限界範囲を超えている箇所を指定し、第1の基本形態で説明した「第1の切り替え処理」を用いて視差調整を行うようにしても良い。
また、本第3の実施の形態では、表示装置12の操作部13が操作されることによって視差量の調整を行う指示(ステップ113A)、視差量の調整対象となるグラフの指定(ステップ113B)、視差量の調整量の指示(ステップ113D)、及び調整対象グラフの指定の解除(ステップ113G)を行う場合の形態例を挙げて説明したが、これらを、例えば図13に示すリモートコントローラ50を用いて行っても良い。
また、本第3の実施の形態では、視差量調整の実施及び3D動画編集ルーチンのステップ252の処理を併せて「3D動画編集」としたが、これに限らず、3D動画編集ルーチンからステップ252を除去して、「視差調整の実施」を「3D動画編集」としても良い。この場合、ステップ254では、編集済み動画データに代えて動画データから視差量を取得する処理を実行することになる。
[第4の基本形態]
次に、後述する本発明の第4の実施の形態の前提となる第4の基本形態について説明する。なお、第1〜第3の実施の形態と同一の部位については同一の符号を付し、その詳細な説明は省略する。
次に、後述する本発明の第4の実施の形態の前提となる第4の基本形態について説明する。なお、第1〜第3の実施の形態と同一の部位については同一の符号を付し、その詳細な説明は省略する。
図20は、本第4の基本形態に係る3D動画編集ルーチンを示すフローチャートである。なお、以下では、第3の実施の形態に係る3D動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、第3の実施の形態に係る3D動画編集ルーチンと異なる点を説明する。
本第4の基本形態に係る3D動画編集ルーチンでは、CPU32は、図20に示すようにステップ106の処理を実行した後、ステップ350へ進む。ステップ350では、記録メディア34に記憶されている画像ファイルF0の左目用画像G1及び右目用画像G2に基づく基本視差量を3次元処理部28に取得させて、ステップ352へ進む。ここで、基本視差量とは、デフォルトオブジェクトの視差量をいい、例えば画面中心に最も近いオブジェクトの視差量をいう。
ステップ352では、3次元処理部28で取得された基本視差量に異常があるか否かを判定する。ここでは、図18に示すステップ108と同じ処理が実行される。そして、基本視差量に異常がある場合はステップ110へ進み、異常がない場合はステップ354へ進む。
ステップ354では、CPU32は、基本視差量を用いて視差調整を実施するように3次元処理部28を制御して、ステップ360へ進む。本ステップ354の処理に応じて、3次元処理部28は、左目用画像G1及び右目用画像G2の基本視差量を用いて視差調整を行い、視差調整された左目用画像G1及び右目用画像G2を表示制御部30に出力する。
一方、CPU32は、ステップ110の処理を実行した後、ステップ356へ進む。ステップ356では、3次元処理部28に他のオブジェクトの視差量を取得させて、ステップ358へ進む。他のオブジェクトとしては、例えば、デフォルトオブジェクト以外の人物の顔などが該当する。
ステップ358では、他のオブジェクトの視差量を用いて視差調整を実施するように3次元処理部28を制御する。このとき、3次元処理部28は、「他のオブジェクト」として、「Z方向においてデフォルトオブジェクトに近いオブジェクト」又は「2次元座標においてデフォルトオブジェクトに近いオブジェクト」を選択し、選択したオブジェクトの視差量を用いて視差調整を行い、視差調整されたオブジェクトを表示制御部30に出力する。ここでは、記録メディア34に記憶されている画像ファイルF0の左目用画像G1及び右目用画像G2と同一の平面を2次元座標(X,Y)で表し、この面(基線)に垂直な方向をZ方向とする。
よって、「Z方向においてデフォルトオブジェクトに近いオブジェクト」は、2次元座標において近いか否かは問われないが、デフォルトオブジェクトと立体感が最も近いオブジェクトである。このため、3次元処理部28は、当該オブジェクトの視差量を用いて視差調整を行うことで、視差量の急激な変化を抑制でき、その結果、安定して視差調整を行うことができる。
また、「2次元座標においてデフォルトオブジェクトに近いオブジェクト」は、デフォルトオブジェクトの立体感に近いか否かは問わないが、2次元座標上でデフォルトオブジェクトに最も近いオブジェクトである。このため、3次元処理部28は、当該オブジェクトの視差量を用いて視差調整を行うことで、これまでの視差調整対象に近いオブジェクトで視差調整を行うことができ、その結果、安定して視差調整を行うことができる。そして、以上のような処理を経て、ステップ360へ進む。
ステップ360では、視差調整対象をGUI(Graphical User Interface)でマーキングしてモニタ12Aに表示させて、ステップ258へ進む。ここでは、視差調整対象である人物の顔に対して、例えば図21Aに示すように四角で囲んでもよいし、図21Bに示すように丸で囲んでもよいし、図21Cに示すように星印をつけてもよい。
ステップ258では、CPU32は、再生停止ボタン13Cにより動画再生停止の指示が入力されたかを判定し、肯定判定の場合は本ルーチンを終了し、否定判定の場合は次のフレームの処理に移行し、再びステップ106へ戻る。
以上のように、第4の基本形態の画像再生加工装置10は、デフォルトオブジェクトの基本視差量に異常がある場合又はデフォルトオブジェクトを見失った場合でも、視差調整対象を他のオブジェクトに切り替えてから視差調整を行うので、3次元動画再生の視差調整を安定化させることができる。
[第4の実施の形態]
次に、上記第4の基本形態を前提にした本発明の第4の実施の形態について説明する。なお、ここでは、上述した同一の部位については同一の符号を付し、その詳細な説明は省略する。
次に、上記第4の基本形態を前提にした本発明の第4の実施の形態について説明する。なお、ここでは、上述した同一の部位については同一の符号を付し、その詳細な説明は省略する。
図22及び図23は、本第4の実施の形態に係る3D動画編集ルーチンを示すフローチャートである。なお、以下では、上記第3の実施の形態に係る3D動画編集ルーチンと同一の処理及び上記第4の基本形態に係る3D動画編集ルーチンと同一の処理については同一のステップ番号を付して説明を省略し、上記第4の基本形態に係る3D動画編集ルーチンと異なる点を説明する。
本第4の実施の形態に係る3D動画編集ルーチンは、上記第4の基本形態に係る3D動画編集ルーチンに比べ、ステップ356,358を除去した点、及び上記第1の実施の形態に係る3D動画編集ルーチンのステップ113A〜113Hを設けた点が異なっている。
CPU32は、ステップ110の処理を終了すると、ステップ113Aに移行し、ステップ113A〜113Hの処理を実行する。ステップ113C,113E,113Hでは、肯定判定となった場合にステップ360に移行する。
なお、本第4の実施の形態では、奥行き側視差量グラフ又は手前側視差量グラフにおける目印の部分を中心にしてユーザの操作に応じて視差量を調整する場合の形態例を挙げて説明したが、これに限らず、視差量表示画面40に表示されている奥行き側視差量グラフ又は手前側視差量グラフについて、視差量の許容限界範囲を超えている箇所を指定し、第1の基本形態で説明した「第1の切り替え処理」を用いて視差調整を行うようにしても良い。
また、本第4の実施の形態では、表示装置12の操作部13が操作されることによって視差量の調整を行う指示(ステップ113A)、視差量の調整対象となるグラフの指定(ステップ113B)、視差量の調整量の指示(ステップ113D)、及び調整対象グラフの指定の解除(ステップ113G)を行う場合の形態例を挙げて説明したが、これらを、例えば図13に示すリモートコントローラ50を用いて行っても良い。
また、本第4の実施の形態では、視差量調整の実施及び3D動画編集ルーチンのステップ252の処理を併せて「3D動画編集」としたが、これに限らず、3D動画編集ルーチンからステップ252を除去して、「視差調整の実施」を「3D動画編集」としても良い。この場合、ステップ254では、編集済み動画データに代えて動画データから視差量を取得する処理を実行することになる。
[第5の実施の形態]
次に、図面を参照して本発明の第5の実施の形態について説明する。図24は本発明の実施の形態に係る複眼カメラ301の正面側斜視図、図25は背面側斜視図である。
次に、図面を参照して本発明の第5の実施の形態について説明する。図24は本発明の実施の形態に係る複眼カメラ301の正面側斜視図、図25は背面側斜視図である。
複眼カメラ301の上部には、レリーズボタン302、電源ボタン303及びズームレバー304が備えられている。複眼カメラ301の正面には、フラッシュ305及び2つの撮影部321A、321Bのレンズが配設されている。また、複眼カメラ301の背面には、各種表示を行う液晶モニタ(以下単に「モニタ」いう。)307及び第1及び第2の実施の形態で説明した再生開始ボタン13B及び再生停止ボタン13Cとしても機能するボタンを含む各種操作ボタン308が配設されている。
図26は、複眼カメラ301の内部構成を示す概略ブロック図である。複眼カメラ301は、2つの撮影部321A、321B、撮影制御部322、画像処理部323、圧縮/伸長処理部324、フレームメモリ325、メディア制御部326、内部メモリ327、表示制御部328、及びCPU335を備えており、これらはバスBUSを介して相互に接続されている。また、メディア制御部326には記録メディア329が、表示制御部328にはモニタ307が各々接続されている。更に、CPU335には、レリーズボタン302、電源ボタン303、ズームレバー304及び操作ボタン308を含んで構成された入力部334が接続されている。なお、撮影部321A、321Bは、被写体を見込む輻輳角を持って、あらかじめ定められた基線長となるように配置されている。また、輻輳角及び基線長の情報は内部メモリ327に記憶されている。
図27は、撮影部321A、321Bの構成を示す図である。図27に示すように撮影部321A、321Bは、レンズ310A、310B、絞り311A、311B、シャッタ312A、312B、撮像素子313A、313B、アナログフロントエンド(AFE)314A、314B及びA/D変換部315A,315Bをそれぞれ備える。
レンズ310A,310Bは、被写体に焦点を合わせるためのフォーカスレンズ、ズーム機能を実現するためのズームレンズ等の複数の機能別レンズを有している。レンズ310A,310Bの位置は、撮影制御部322のAF処理部322aにより得られる合焦データ及び図24及び図25に示したズームレバー304が操作された場合に得られるズームデータに基づいて、不図示のレンズ駆動部により調整される。
絞り311A,311Bは、撮影制御部322のAE処理部322bにより得られる絞り値データに基づいて、不図示の絞り駆動部により絞り径の調整が行われる。
シャッタ312A,312Bはメカニカルシャッタであり、不図示のシャッタ駆動部により、AE処理部322bにより得られるシャッタスピードに応じて駆動される。
撮像素子313A,313Bは、多数の受光素子を2次元状に配列した光電面を有しており、被写体光がこの光電面に結像して光電変換されてアナログ撮影信号が取得される。また、撮像素子313A,313Bの前面にはR,G,B各色のフィルタが規則的に配列されたカラーフィルタが配設されている。
AFE314A,314Bは、撮像素子313A,313Bから出力されるアナログ撮影信号に対して、アナログ撮影信号のノイズを除去する処理、及びアナログ撮影信号のゲインを調節する処理(以下「アナログ処理」という。)を施す。
A/D変換部315A,315Bは、AFE314A,314Bによりアナログ処理が施されたアナログ撮影信号をデジタル信号に変換する。なお、撮影部321Aにより取得されるデジタルの画像データにより表される画像を左目用画像G1、撮影部321Bにより取得される画像データにより表される画像を右目用画像G2とする。
撮影制御部322は、上述のようにAF処理部322a及びAE処理部322bを有している。AF処理部322aは、レリーズボタン302が半押し操作されると、測距センサから測距情報を取得し、レンズ310A,310Bの焦点位置を決定し、撮影部321A,32lBに出力する。AE処理部322bは、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部321A,321Bに出力する。
なお、AF処理部322aによる焦点位置の検出方式としては、測距情報を用いたアクティブ方式に限らず、画像のコントラストを利用して合焦位置を検出するパッシブ方式を用いてもよい。
撮影制御部322は、レリーズボタン302が操作されない状態では、撮影範囲を確認させるための、左目用画像G1及び右目用画像G2の本画像よりも画素数が少ないスルー画像を、所定時間間隔(例えば1/30秒間隔)にて順次生成させるように撮影部321A,321Bを制御する。そして、撮影制御部322は、レリーズボタン302が全押し操作されると、本撮影を開始すべく、左目用画像G1及び右目用画像G2の本画像を生成するように撮影部321A,321Bを制御する。
以上の説明は静止画モードの場合であるが、本第5の実施の形態では、動画撮影モードにも設定可能である。動画撮影モードの場合、レリーズボタン302が押圧されると動画撮影が開始され、フレーム毎に左目用画像G1及び右目用画像G2が生成され、再びレリーズボタン302が押圧されると動画撮影が停止する。
画像処理部323は、撮影部321A,321Bが取得した左目用画像G1及び右目用画像G2のデジタルの画像データに対して、ホワイトバランス調整、階調補正、シャープネス補正、及び色補正等の画像処理を施す。
圧縮/伸長処理部324は、画像処理部323によって処理が施された左目用画像G1及び右目用画像G2の本画像を表す画像データに対して、例えば、JPEG等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルF0を生成する。この立体視用の画像ファイルF0は、左目用画像G1及び右目用画像G2の画像データを有しており、更に、Exifフォーマット等に基づく、基線長、輻輳角及び撮影日時等の付帯情報、及び視点位置を表す視点情報を含んでいる。
フレームメモリ325は、撮影部321A,321Bが取得した左目用画像G1及び右目用画像G2を表す画像データに対して、前述の画像処理部323が行う処理を含む各種処理を行う際に使用する作業用メモリである。
メディア制御部326は、記録メディア329にアクセスして画像ファイル等の書き込みと読み込みの制御を行う。
内部メモリ327は、複眼カメラ301において設定される各種定数、及びCPU335が実行するプログラム等を記憶する。
表示制御部328は、立体視する場合に、フレームメモリ325又は記録メディア329に記録されている立体視画像GRをモニタ307に表示させる。
図28は、モニタ307の構成を示す分解斜視図である。図28に示すように、モニタ307は、LEDにより発光するバックライトユニット340及び各種表示を行うための液晶パネル341を積層し、液晶パネル341の表面にレンチキュラーシート342を取り付けることにより構成されている。
図29は、レンチキュラーシートの構成を示す図である。図29に示すようにレンチキュラーシート342は、複数のシリンドリカルレンズ343を基線に沿った方向に並列に並べることにより構成されている。
また、複眼カメラ301は、3次元処理部330を備えている。3次元処理部330は、左目用画像G1及び右目用画像G2をモニタ307に立体視表示させるために、左目用画像G1及び右目用画像G2に対して3次元処理を行って立体視画像GRを生成する。
図30は、左目用画像G1及び右目用画像G2に対する3次元処理を説明するための図である。図30に示すように3次元処理部330は、左目用画像G1及び右目用画像G2の各々を基線に対して垂直方向に短冊状に切り取り、レンチキュラーシート342におけるシリンドリカルレンズ343のそれぞれに、位置が対応する短冊状に切り取った左目用画像G1及び右目用画像G2が交互に配置されるように3次元処理を行って、立体視画像GRを生成する。立体視画像GRを構成する左目用画像G1及び右目用画像G2の画像対は、各々1つのシリンドリカルレンズに対応して配置される。
また、3次元処理部330は、左目用画像G1及び右目用画像G2の視差を調整することもできる。ここで、視差とは、左目用画像G1及び右目用画像G2の双方に含まれる被写体の、左目用画像G1及び右目用画像G2の横方向、すなわち基線に沿った方向における画素位置のずれ量をいう。視差を調整することにより、立体視画像GRに含まれる被写体の立体感を適切なものとすることができる。
また、3次元処理部330は、リアルタイムで撮影部321A、321Bで得られた左目用画像G1及び右目用画像G2の視差を調整してもよいし、記録メディア329に予め記録されている左目用画像G1及び右目用画像G2の視差を調整してもよい。
以上のように構成された複眼カメラ301では、第1〜第4の実施の形態で説明した3D動画編集ルーチンが実行される。なお、第1及び第2の視差調整ルーチンのプログラムは内部メモリ327に予め記憶されている。
なお、本発明は、上述した実施の形態に限定されるものではなく、特許請求の範囲に記載された事項の範囲内で設計変更されたものについても適用可能である。
例えば、上述した第1〜第4の実施の形態において、視差量を直接取得する代わりに、一例として図31に示すような視差関連情報を取得してもよい。
図32A及び図32Bは視差関連情報を説明するための図である。視差関連情報は、毎フレームの左目画像(左目用画像G1)及び右目画像(右目用画像G2)について、特徴点Aの座標群、特徴顔Aの座標群、特徴顔Bの座標群、ハンチング有無などの情報が該当する。そして、これらの視差関連情報を用いて視差調整を行ってもよい。
本第5の実施の形態では、モニタ307に立体視画像を表示する場合の形態例を挙げて説明したが、これに限らず、例えば、図1に示す表示装置12と複眼カメラ301とを有線若しくは無線で通信可能となるように接続し、複眼カメラ301によって生成された左目用画像G1及び右目用画像G2を表示装置12に送信し、表示装置12にて複眼カメラ301から送信された左目用画像G1及び右目用画像G2に基づく3次元立体画像を表示するようにしても良い。この場合、ユーザは、例えば表示装置12に表示された3次元立体画像を視認しながら複眼カメラ301の操作ボタン308を操作することによって画像データの編集や視差量の調整を行うことができる。また、表示装置12と複眼カメラ301とが接続された場合であっても表示装置12の記録メディア34に記録されている画像データに対して編集や視差量の調整を行うことは可能である。この場合、図13に示すリモートコントローラ50又は表示装置12の操作部13を用いて画像データの編集や視差量の調整を行えば良い。
なお、上記第1〜第4の実施の形態では、液晶シャッタ眼鏡14を使用して立体視画像をユーザに視認させ、上記第5の実施の形態では、レンチキュラーシート42を用いることによって立体視画像をユーザに視認させる場合の形態例を挙げて説明したが、これに限らず、例えば、上記第1〜第4の実施の形態で説明した表示装置12のモニタ12Aにレンチキュラーシート42を適用すると共に、上記第5の実施の形態で説明したように立体視画像GRを生成してモニタ12Aに表示することにより、ユーザに対して液晶シャッタ眼鏡14を使用させずに立体視画像を視認させるようにしてもよいし、また、上記第5の実施の形態で説明した複眼カメラ301のモニタ307にレンチキュラーシート342を設けることに代えて、左目用画像G1と右目用画像G2とを交互にモニタ307に表示すると共に、上記第1〜第4の実施の形態で説明したように液晶シャッタ眼鏡14を使用することにより立体視画像をユーザに視認させるようにしてもよい。
また、上記各実施の形態では、同一の人物の顔領域に基づいて視差量を取得する形態例を挙げて説明したが、これに限らず、例えば、犬や猫などのペットの顔領域であったり、特定の動物や植物の特徴部分の輪郭であったり、生き物以外の物(例えば、自動車、電車、及び建物など)の特徴部分の輪郭を視差量の取得対象として適用してもよい。この場合、取得対象の画像の特徴を示す特徴量データが格納されたパターンマッチング用の画像辞書を予め用意しておき、この画像辞書を用いて取得対象を特定し、特定した取得対象の視差量を算出する形態例が挙げられる。なお、画像辞書は、ユーザによってカスタマイズされる形態のものが好ましい。この場合、ユーザが視差量の取得対象として指定した事物を示す画像の特徴を示す特徴量データの画像辞書への追加登録及び画像辞書からの削除を可能とする画像辞書が例示できる。
また、視差量の取得対象を、フレーム内の所定値以上の空間周波数を有する被写体像としても良い。この場合、例えば、フレーム毎に所定値の空間周波数(エッジ成分)で規定された閉曲線で囲まれた領域(閉曲線領域)に基づく被写体像としてもよいし、フレーム毎に所定空間周波数を超える空間周波数(所定値)の空間周波数で規定された閉曲線領域に基づく被写体像としてもよい。なお、この被写体像は、フレーム内における所定空間周波数以上の空間周波数で規定された閉曲線領域そのものであってもよいし、所定値の空間周波数で規定された閉曲線領域を取り囲む最小矩形や最小円形などの幾何学形状内の領域であってもよいし、閉曲線領域を所定のアルゴリズムに従って変形させて得られた領域であってもよい。このように、視差量の取得対象は、フレーム毎の予め定められた被写体像であれば如何なるものであってもよい。
また、上記各実施の形態では、フレーム内の奥行き側及び手前側で比較的視差量の大きなオブジェクトである凹側オブジェクト及び凸側オブジェクトについての視差量を取得し、取得した視差量の経時変化をオブジェクト毎にグラフ化して表示する場合の形態例を挙げて説明したが、これに限らず、フレーム内の何れか1つのオブジェクトの視差量を取得してその視差量の経時変化をグラフ化して表示しても良いし、フレーム内の3つ以上のオブジェクトの視差量を取得してそれらの視差量の個々の経時変化をグラフ化して表示しても良い。
また、上記各実施の形態では、視差量の経時変化をグラフ化して表現したが、これに限らず、数値化して表現しても良い。この場合、異常な視差量として予め定められた視差量を示した数値を対比可能に併せて表示すれば良い。また、視差量をグラフ化して表示すると共に、その表示に併せて視差量を示した数値を表示しても良い。この場合、視差量を示す数値を現時点で表示されているフレームに関するものにすることが好ましい。これにより、現時点で表示されているフレームに含まれるオブジェクトの視差量が異常であるか否かをより一層容易に把握することが可能となる。
また、上記各実施の形態では、モニタ12Aに表示されたフレームに重ねて視差量表示画面40を表示させる場合の形態例を挙げて説明したが、これに限らず、再生されるフレームと視差量表示画面40とを別々のモニタで表示しても良い。この場合、視差量表示画面40内に示される目印を、現時点で表示されているフレームに含まれるオブジェクトに基づく視差量を特定する位置に表示することが好ましい。
また、上記各実施の形態では、視差量を示したグラフと視差量が異常であるか否かを判断するための指標(許容限界ライン)とを直接対比する形態例を挙げて説明したが、視差量を示したグラフと視差量が異常であるか否かを判断するための指標とを交互に表示させる間接対比としても良い。この場合、高速に交互に表示させることで実質的に直接対比とすることができる。
日本国特許出願2011−126295号の開示はその全体が参照により本明細書に取り込まれる。
本明細書に記載された全ての文献、特許出願、および技術規格は、個々の文献、特許出願、および技術規格が参照により取り込まれることが具体的かつ個々に記された場合と同程度に、本明細書中に参照により取り込まれる。
Claims (13)
- 複数の視点から同一の被写体を連続的に撮影して得られた連続フレーム画像を取得する画像取得手段と、
前記画像取得手段によって取得された前記連続フレーム画像を構成する複数のフレーム画像の各々に基づいて前記複数のフレーム画像の各々についての視差量を取得する視差量取得手段と、
前記画像取得手段によって取得された連続フレーム画像を構成しているフレーム画像を立体視画像として視認されるように表示する表示手段と、
前記フレーム画像に対する視差量の加工を指示する加工指示情報を受け付ける受付手段と、
前記表示手段に表示される前記フレーム画像に対して、前記受付手段によって受け付けられた加工指示情報により指示された視差量の加工を施し、該フレーム画像の前後の複数のフレーム画像に対して、該前後のフレーム画像が該表示されるフレーム画像から離れるほど該指示された視差量より徐々に小さくなるように視差量の加工を施す加工手段と、
前記加工手段による視差量の加工が指示された前記フレーム画像が前記表示手段に表示されている間、前記視差量取得手段によって取得された視差量に関する視差量関連情報を該視差量が異常であるか否かを判断するための指標とを対応付けて表示するように前記表示手段を制御する制御手段と、
を含む画像加工装置。 - 前記視差量取得手段は、前記フレーム画像内において視差量の取得対象の被写体像として予め定められた被写体像に基づいて視差量を取得する請求項1に記載の画像加工装置。
- 前記予め定められた被写体像を、前記フレーム画像内の所定値以上の空間周波数を有する被写体像とした請求項2に記載の画像加工装置。
- 前記制御手段は、更に、前記加工手段による視差量の加工が指示された前記フレーム画像が前記表示手段に表示されている間、視差量の許容限界を表す情報と、視差量の経時変化を表す情報と、該視差量の経時変化を表す情報において現在表示されているフレーム画像の視差が確認可能な情報とを対応付けて表示するように前記表示手段を制御する請求項1〜請求項3の何れか1項に記載の画像加工装置。
- 前記視差量の許容限界を表す情報及び前記視差量の経時変化を表す情報を、被写体像の奥行き側及び手前側の各々に対応させた請求項4に記載の画像加工装置。
- 前記視差量取得手段によって取得された視差量の一定期間の変動が所定値よりも大きい場合、前記視差量が予め定められた許容限界値に達した場合、及び前記視差量の取得対象を検出できなくなった場合の少なくとも1つの場合に、前記視差量に異常があると判定する異常判定手段を更に含み、
前記制御手段は、更に、前記異常判定手段で視差量が異常であると判定された場合に該視差量に対応するフレーム画像の表示に同期して警告を表示するように前記表示手段を制御する、
請求項1〜請求項5の何れか1項に記載の画像加工装置。 - 前記異常判定手段により前記視差量に異常がないと判定された場合に、第1の視差調整を行い、前記異常判定手段により前記視差量に異常があると判定された場合に、前記第1の視差調整の制御と異なる第2の視差調整の制御に切り替えて視差調整を行う視差調整手段を更に含み、
前記制御手段は、更に、前記加工手段によって加工が施される対象とされた前記フレーム画像が前記表示手段に表示される場合、前記視差調整手段によって前記視差調整が行われた前記フレーム画像が表示されるように前記表示手段を制御する、
請求項6に記載の画像加工装置。 - 前記視差調整手段は、前記異常判定手段により前記視差量に異常があると判定された場合、予め定められた視差量最大変化量の範囲内で視差調整を行う、
請求項7に記載の画像加工装置。 - 前記視差調整手段は、前記異常判定手段により前記視差量に異常があると判定された場合、前フレームでの視差量を用いて視差調整を行う、
請求項7又は請求項8に記載の画像加工装置。 - 前記視差調整手段は、前記異常判定手段により前記視差量に異常があると判定された場合、視差調整頻度を低下させる、
請求項7〜請求項9の何れか1項に記載の画像加工装置。 - 請求項1〜請求項10の何れか1項に記載の画像加工装置と、
前記連続フレーム画像を、複数の視点から同一の被写体を連続フレームで撮像することにより生成する撮像手段と、
を含む複眼撮像装置。 - 複数の視点から同一の被写体を連続的に撮影して得られた連続フレーム画像を取得し、
取得された前記連続フレーム画像を構成する複数のフレーム画像の各々に基づいて前記複数のフレーム画像の各々についての視差量を取得し、
取得された連続フレーム画像を構成しているフレーム画像を立体視画像として視認されるように表示し、
前記フレーム画像に対する視差量の加工を指示する加工指示情報を受け付け、
表示される前記フレーム画像に対して、受け付けられた加工指示情報により指示された視差量の加工を施し、該フレーム画像の前後の複数のフレーム画像に対して、該前後のフレーム画像が該表示されるフレーム画像から離れるほど該指示された視差量より徐々に小さくなるように視差量の加工を施し、
視差量の加工が指示された前記フレーム画像が表示されている間、取得された視差量に関する視差量関連情報と該視差量が異常であるか否かを判断するための指標とを対応付けて表示する、
画像加工方法。 - コンピュータを、
複数の視点から同一の被写体を連続的に撮影して得られた連続フレーム画像を取得する画像取得手段、
前記画像取得手段によって取得された前記連続フレーム画像を構成する複数のフレーム画像の各々に基づいて前記複数のフレーム画像の各々についての視差量を取得する視差量取得手段、
前記画像取得手段によって取得された連続フレーム画像を構成しているフレーム画像を立体視画像として視認されるように表示手段に表示させる手段、
前記フレーム画像に対する視差量の加工を指示する加工指示情報を受け付ける受付手段、
前記表示手段に表示される前記フレーム画像に対して、前記受付手段によって受け付けられた加工指示情報により指示された視差量の加工を施し、該フレーム画像の前後の複数のフレーム画像に対して、該前後のフレーム画像が該表示されるフレーム画像から離れるほど該指示された視差量より徐々に小さくなるように視差量の加工を施す加工手段、及び
前記加工手段による視差量の加工が指示された前記フレーム画像が前記表示手段に表示されている間、前記視差量取得手段によって取得された視差量に関する視差量関連情報と該視差量が異常であるか否かを判断するための指標とを対応付けて表示させるように前記表示手段を制御する制御手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013519420A JP5536283B2 (ja) | 2011-06-06 | 2012-04-23 | 画像加工装置、複眼撮像装置、画像加工方法及びプログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011126295 | 2011-06-06 | ||
JP2011126295 | 2011-06-06 | ||
JP2013519420A JP5536283B2 (ja) | 2011-06-06 | 2012-04-23 | 画像加工装置、複眼撮像装置、画像加工方法及びプログラム |
PCT/JP2012/060863 WO2012169288A1 (ja) | 2011-06-06 | 2012-04-23 | 画像加工装置、複眼撮像装置、画像加工方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP5536283B2 true JP5536283B2 (ja) | 2014-07-02 |
JPWO2012169288A1 JPWO2012169288A1 (ja) | 2015-02-23 |
Family
ID=47295859
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013519420A Expired - Fee Related JP5536283B2 (ja) | 2011-06-06 | 2012-04-23 | 画像加工装置、複眼撮像装置、画像加工方法及びプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20140104382A1 (ja) |
JP (1) | JP5536283B2 (ja) |
CN (1) | CN103597822A (ja) |
WO (1) | WO2012169288A1 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101996658B1 (ko) | 2013-06-19 | 2019-07-04 | 엘지디스플레이 주식회사 | 입체영상표시장치와 이의 구동방법 |
JP2016131276A (ja) * | 2015-01-13 | 2016-07-21 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム、及び、内視鏡システム |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001126070A (ja) * | 1999-10-28 | 2001-05-11 | Atr Media Integration & Communications Res Lab | 注目領域抽出装置およびそれを用いた自動構図決定装置 |
JP2004349736A (ja) * | 2003-05-08 | 2004-12-09 | Sharp Corp | 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体 |
JP2005142819A (ja) * | 2003-11-06 | 2005-06-02 | Univ Waseda | 立体映像評価装置および立体映像チューナ |
JP2010278878A (ja) * | 2009-05-29 | 2010-12-09 | Fujifilm Corp | 立体画像表示装置及びその表示画像切替方法 |
WO2010150554A1 (ja) * | 2009-06-26 | 2010-12-29 | パナソニック株式会社 | 立体視画像表示装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003018619A (ja) * | 2001-07-03 | 2003-01-17 | Olympus Optical Co Ltd | 立体映像評価装置およびそれを用いた表示装置 |
JP4133683B2 (ja) * | 2003-08-26 | 2008-08-13 | シャープ株式会社 | 立体画像記録装置、立体画像記録方法、立体画像表示装置および立体画像表示方法 |
CN100349467C (zh) * | 2004-05-13 | 2007-11-14 | 三洋电机株式会社 | 立体图像处理方法及立体图像处理装置 |
KR101311896B1 (ko) * | 2006-11-14 | 2013-10-14 | 삼성전자주식회사 | 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치 |
US8330802B2 (en) * | 2008-12-09 | 2012-12-11 | Microsoft Corp. | Stereo movie editing |
JP5434231B2 (ja) * | 2009-04-24 | 2014-03-05 | ソニー株式会社 | 画像情報処理装置、撮像装置、画像情報処理方法およびプログラム |
JP4934701B2 (ja) * | 2009-06-30 | 2012-05-16 | 株式会社日立製作所 | ステレオ画像処理装置およびステレオ画像処理方法 |
WO2011123178A1 (en) * | 2010-04-01 | 2011-10-06 | Thomson Licensing | Subtitles in three-dimensional (3d) presentation |
EP2375763A2 (en) * | 2010-04-07 | 2011-10-12 | Sony Corporation | Image processing apparatus and image processing method |
US20110273437A1 (en) * | 2010-05-04 | 2011-11-10 | Dynamic Digital Depth Research Pty Ltd | Data Dependent Method of Configuring Stereoscopic Rendering Parameters |
JP2012009010A (ja) * | 2010-05-25 | 2012-01-12 | Mitsubishi Electric Corp | 画像処理装置、画像処理方法および画像表示装置 |
JP5420076B2 (ja) * | 2010-06-30 | 2014-02-19 | 富士フイルム株式会社 | 再生装置、複眼撮像装置、再生方法及びプログラム |
JP5420075B2 (ja) * | 2010-06-30 | 2014-02-19 | 富士フイルム株式会社 | 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置 |
US8587518B2 (en) * | 2010-12-23 | 2013-11-19 | Tektronix, Inc. | Disparity cursors for measurement of 3D images |
KR101824040B1 (ko) * | 2011-07-29 | 2018-01-31 | 엘지이노텍 주식회사 | 백라이트 유닛 및 표시 장치 |
-
2012
- 2012-04-23 CN CN201280027741.8A patent/CN103597822A/zh active Pending
- 2012-04-23 JP JP2013519420A patent/JP5536283B2/ja not_active Expired - Fee Related
- 2012-04-23 WO PCT/JP2012/060863 patent/WO2012169288A1/ja active Application Filing
-
2013
- 2013-12-04 US US14/096,694 patent/US20140104382A1/en not_active Abandoned
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001126070A (ja) * | 1999-10-28 | 2001-05-11 | Atr Media Integration & Communications Res Lab | 注目領域抽出装置およびそれを用いた自動構図決定装置 |
JP2004349736A (ja) * | 2003-05-08 | 2004-12-09 | Sharp Corp | 立体画像処理装置、立体画像処理プログラムおよびそのプログラムを記録した記録媒体 |
JP2005142819A (ja) * | 2003-11-06 | 2005-06-02 | Univ Waseda | 立体映像評価装置および立体映像チューナ |
JP2010278878A (ja) * | 2009-05-29 | 2010-12-09 | Fujifilm Corp | 立体画像表示装置及びその表示画像切替方法 |
WO2010150554A1 (ja) * | 2009-06-26 | 2010-12-29 | パナソニック株式会社 | 立体視画像表示装置 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2012169288A1 (ja) | 2015-02-23 |
WO2012169288A1 (ja) | 2012-12-13 |
US20140104382A1 (en) | 2014-04-17 |
CN103597822A (zh) | 2014-02-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2012011341A1 (ja) | 撮像装置、その制御方法およびプログラム | |
US8199147B2 (en) | Three-dimensional display apparatus, method, and program | |
JP5963422B2 (ja) | 撮像装置、表示装置、コンピュータプログラムおよび立体像表示システム | |
JP5420076B2 (ja) | 再生装置、複眼撮像装置、再生方法及びプログラム | |
JP5295426B2 (ja) | 複眼撮像装置、その視差調整方法及びプログラム | |
US20120320163A1 (en) | Three-dimensional imaging device and method, as well as program | |
JP5420075B2 (ja) | 立体画像再生装置、その視差調整方法、視差調整プログラム、及び撮影装置 | |
JP5647740B2 (ja) | 視差調節装置及び方法、撮影装置、再生表示装置 | |
US20140176686A1 (en) | Image processing device, image capturing apparatus, and method for adjusting disparity amount | |
WO2011152167A1 (ja) | 立体画像制御装置ならびにその動作制御方法およびその動作制御プログラム | |
JP6036840B2 (ja) | 撮像装置、画像処理装置、撮像装置の制御プログラムおよび画像処理装置の制御プログラム | |
KR20140109868A (ko) | 화상 처리 장치, 화상 처리 방법, 및 비일시적 컴퓨터 판독가능 기억 매체 | |
JP5840022B2 (ja) | 立体画像処理装置、立体画像撮像装置、立体画像表示装置 | |
JPWO2012026185A1 (ja) | 撮像装置およびその動作制御方法 | |
JP5536283B2 (ja) | 画像加工装置、複眼撮像装置、画像加工方法及びプログラム | |
JP2012178688A (ja) | 立体画像撮影装置 | |
JP2012015619A (ja) | 立体表示装置及び立体撮影装置 | |
US9124866B2 (en) | Image output device, method, and recording medium therefor | |
JP2016054415A (ja) | 立体撮像装置および立体撮像プログラム | |
JP2015029215A (ja) | 立体画像処理装置 | |
JP5638985B2 (ja) | 撮像装置および撮像プログラム | |
JP2016054416A (ja) | 立体画像処理装置、立体撮像装置、立体表示装置および立体画像処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140401 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140423 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5536283 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |