JP5547356B2 - 撮影装置、方法、記憶媒体及びプログラム - Google Patents

撮影装置、方法、記憶媒体及びプログラム Download PDF

Info

Publication number
JP5547356B2
JP5547356B2 JP2014507463A JP2014507463A JP5547356B2 JP 5547356 B2 JP5547356 B2 JP 5547356B2 JP 2014507463 A JP2014507463 A JP 2014507463A JP 2014507463 A JP2014507463 A JP 2014507463A JP 5547356 B2 JP5547356 B2 JP 5547356B2
Authority
JP
Japan
Prior art keywords
range
unit
frame
detected
subject
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014507463A
Other languages
English (en)
Other versions
JPWO2013145820A1 (ja
Inventor
俊太 江郷
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2014507463A priority Critical patent/JP5547356B2/ja
Application granted granted Critical
Publication of JP5547356B2 publication Critical patent/JP5547356B2/ja
Publication of JPWO2013145820A1 publication Critical patent/JPWO2013145820A1/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/239—Image signal generators using stereoscopic image cameras using two 2D image sensors having a relative position equal to or related to the interocular distance
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B35/00—Stereoscopic photography
    • G03B35/08—Stereoscopic photography by simultaneous recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/106—Processing image signals
    • H04N13/128—Adjusting depth or disparity
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/302—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays
    • H04N13/31—Image reproducers for viewing without the aid of special glasses, i.e. using autostereoscopic displays using parallax barriers
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/30—Image reproducers
    • H04N13/398—Synchronisation thereof; Control thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/243—Image signal generators using stereoscopic image cameras using three or more 2D image sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • H04N13/246—Calibration of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N2013/0074—Stereoscopic image analysis
    • H04N2013/0081—Depth or disparity estimation from stereoscopic image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

本発明は、撮影装置、方法、記憶媒体及びプログラムに関する。
本願は２０１２年３月２０日出願の日本出願第２０１２−０８２５５８号の優先権を主張すると共に、その全文を参照により本明細書に援用する。
従来、被写体及び背景あるいはカメラからの距離の異なる複数の被写体に対応する両眼視差変異量を左右画像上での画素位置の変異として求める両眼視差検出方法が提案されている（例えば、特開平２−１００５８９号公報参照）。この方法では、両眼視差を求める際に、左右画像を２次元フーリエ変換し、その位相項のシフトマッチングによりいくつかの視差変位量の候補を算出した後に、左右画像のそれぞれについて被写体の輪郭抽出及び領域決定を行い、これらの境界点の内側の点と外側の数点において２次元フーリエ変換を利用して求めた変位量候補との対応をとって、異なった視差量を持つ被写体と背景とが混在するようなステレオ画像の両眼視差量を求めている。
また、輻輳角と最遠距離、最近距離との位置関係を変化させ、例えば画像間の視差の平均値を相殺するように画像をずらすことによって、画像全体を均一に見易くする多視点画像表示方法が提案されている（例えば、特開平１０−３２８４０号公報参照）。
しかしながら、特開平２−１００５８９号公報の方法を立体視用の動画に適用し、１フレーム毎に両眼視差量を求めると、フレーム間での両眼視差量の変化が大きくなった場合に、立体視し難い動画となってしまう、という問題がある。
また、特開平１０−３２８４０号公報の方法では、立体視し易い画像を得るために、輻輳角を変化させるための機構が必要である、という問題がある。
本発明は、上記問題を鑑み、複雑な機構を備えることなく、フレーム間の視差量の変化を低減して、視認し易い立体視動画を得ることができる撮影装置、方法、記憶媒体及びプログラムを提供することを目的とする。
上記目的を達成するために、本発明の一態様に係る撮影装置は、異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影する複数の撮影手段と、前記複数の撮影手段のいずれか１つにより撮影されたフレームの各々の画像から被写体を検出する検出手段と、前記検出手段により複数の被写体が検出された場合に、複数の被写体が検出されたフレームの各々について検出された被写体の各々と前記撮影手段との距離に関する値の最大値と最小値との差で表されるレンジを算出するレンジ算出手段と、前記レンジ算出手段によりレンジが算出された特定フレームのレンジと、前記特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、前記特定フレームのレンジを調整する調整手段と、レンジと視差量との予め定めた関係に基づいて、前記レンジ算出手段により算出されたレンジまたは前記調整手段により調整されたレンジに対応する視差量を算出する視差量算出手段と、前記視差量算出手段により算出された視差量に基づいて、前記撮影手段の各々により撮影された複数の視点画像からフレームの各々に対応する立体画像を生成する立体画像生成手段と、前記立体画像生成手段により生成された立体画像を記録手段に記録するように制御する記録制御手段と、を含んで構成されている。
本態様の撮影装置によれば、撮影手段により、異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影する。これにより、立体視動画を撮影することができる。そして、検出手段が、前記複数の撮影手段のいずれか１つにより撮影されたフレームの各々の画像から被写体を検出し、レンジ算出手段が、前記検出手段により複数の被写体が検出された場合に、複数の被写体が検出されたフレームの各々について検出された被写体の各々と前記撮影手段との距離に関する値の最大値と最小値との差で表されるレンジを算出する。このレンジに基づいて、視差量算出手段により、フレーム毎の視差量が算出されるが、フレーム間でのレンジの変動が大きい場合にはフレーム間の視差量の変動も大きくなり、視認し難い立体視動画となってしまう。
そこで、調整手段が、前記特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、前記特定フレームのレンジを調整し、視差量算出手段が、レンジと視差量との予め定めた関係に基づいて、前記レンジ算出手段により算出されたレンジまたは前記調整手段により調整されたレンジに対応する視差量を算出する。そして、立体画像生成手段が、前記視差量算出手段により算出された視差量に基づいて、前記撮影手段の各々により撮影された複数の視点画像からフレームの各々に対応する立体画像を生成し、記録制御手段が、前記立体画像生成手段により生成された立体画像を記録手段に記録するように制御する。
このように、特定フレームから検出された被写体の各々と撮影手段との距離に関する値に基づくレンジと、特定フレームの１つ前または後のフレームのレンジとの差が大きい場合には、その差が小さくなるように特定フレームのレンジを調整し、レンジから適切な視差量を算出し、視差量に応じて画像を補正して記録するため、輻輳角を調整するための複雑な機構を備えることなく、フレーム間の視差量の変化を低減して、視認し易い立体視動画を得ることができる。
なお、本態様の撮影装置において、前記記録制御手段は、前記立体画像に対応付けて、前記調整手段により調整されたレンジに対応する視差量を前記記録手段に記録するように制御するようにしても良い。これにより、動画ファイルに視差量を示す情報を付加させることができる。
また、本態様の撮影装置は、前記立体画像の表示形式を示す情報の入力を受け付ける受付手段をさらに備えてもよく、前記立体画像生成手段は、前記受付手段により受け付けられた情報が示す立体画像の表示形式に適合する形式で立体画像を生成するようにしても良い。これにより、ユーザが所望する立体画像の表示形式で動画ファイルを記録することができる
また、本態様の撮影装置は、接続されている表示機器から立体画像の表示形式を示す情報を入力する入力手段をさらに備えてもよく、前記立体画像生成手段は、前記入力手段により入力された情報が示す立体画像の表示形式に適合する形式で立体画像を生成するようにしても良い。これにより、表示機器に応じた立体画像の表示形式で動画ファイルを記録することができる。
また、本態様の撮影装置において、前記距離に関する値を、検出された被写体の各々と前記撮影手段との距離、または検出された被写体の各々の視差とするようにしても良い。被写体の各々の視差は、被写体と撮影手段との距離が遠いほど小さくなり、近いほど大きくなるため、被写体の各々と撮影手段との距離に関する値といえる。レンジ算出手段において、被写体の各々と撮影手段との距離を算出した場合には、その距離の最大値と最小値との差で表される被写体距離レンジが算出され、被写体の各々の視差を算出した場合には、その視差の最大値と最小値との差で表される視差レンジが算出される。
また、前記調整手段は、被写体が検出されていない未検出フレームであって、該未検出フレームの１つ前または後に撮影されたフレームで被写体が検出されている未検出フレームについては、当該未検出フレームのレンジと前記１つ前または後に撮影されたフレームのレンジとの差が前記予め定めた閾値を超えたとみなして、当該未検出フレームのレンジを調整するようにしても良い。１つ前または後に撮影されたフレームのレンジの算出に用いられた被写体が未検出フレームから検出されなかった場合には、レンジが大きく変動する可能性が高いため、特定フレームのレンジを調整することで、フレーム間の視差量の変化を低減することができる。
また、前記レンジ算出手段は、前記検出手段により検出された被写体のフレーム間の移動量を算出し、該移動量が予め定めた所定移動量を超える被写体を除外して、前記レンジを算出することができる。このように、フレーム間でのレンジの大きな変動を招く可能性が高い移動量の大きな被写体を、予めレンジの算出に用いないように除外しておくことで、フレーム間の視差量の変化を低減することができる。
また、前記レンジ算出手段は、前記被写体の移動方向が前記撮影手段の光軸方向であって、かつ前記移動量が予め定めた所定移動量を超える被写体を除外するようにしても良い。レンジは、被写体と撮影手段との距離に関する値の最大値と最小値との差であるので、被写体と撮影手段との距離が大きく変動する光軸方向へ移動する被写体を対象とするものである。
また、本態様の撮影装置は、前記検出手段により検出する被写体を予め登録しておく登録手段を含んで構成することができ、前記レンジ算出手段は、前記登録手段により登録された被写体が前記検出手段により検出された場合に、該登録された被写体を用いて前記レンジを算出するようにしても良い。これにより、特に注視したい被写体を予め登録しておき、注視したい被写体についてフレーム間の視差量の変化を低減して、視認し易い立体視動画を得ることができる。
また、本発明の撮影装置は、前記検出手段により検出する被写体を予め登録しておく登録手段を含んで構成することができ、前記レンジ算出手段は、前記移動量が予め定めた所定移動量を超える被写体であって、かつ前記登録手段により登録されていない被写体を除外して、前記レンジを算出したり、前記登録手段により登録された被写体であれば、前記移動量が予め定めた所定移動量を超える場合でも、前記レンジの算出から除外しないようにしたりするようにしても良い。
また、前記視差量算出手段は、前記検出手段により検出された被写体が１つの場合には、該被写体をクロスポイントとして視差量を算出し、前記検出手段により被写体が検出されなかった場合には、予め定めた所定点をクロスポイントとして視差量を算出するようにしても良い。
また、本発明の別の態様に係る撮影方法は、異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影するように複数の撮影手段の各々を制御する撮影制御ステップ、前記複数の撮影手段のいずれか１つにより撮影されたフレームの各々の画像から被写体を検出する検出ステップと、前記検出ステップにより複数の被写体が検出された場合に、複数の被写体が検出されたフレームの各々について検出された被写体の各々と前記撮影手段との距離に関する値の最大値と最小値との差で表されるレンジを算出するレンジ算出ステップと、前記レンジ算出ステップによりレンジが算出された特定フレームのレンジと、前記特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、前記特定フレームのレンジを調整する調整ステップと、レンジと視差量との予め定めた関係に基づいて、前記レンジ算出ステップにより算出されたレンジまたは前記調整ステップにより調整されたレンジに対応する視差量を算出する視差量算出ステップと、前記視差量算出ステップにより算出された視差量に基づいて、前記撮影手段の各々により撮影された複数の視点画像からフレームの各々に対応する立体画像を生成する立体画像生成ステップと、前記立体画像生成ステップにより生成された立体画像を記録手段に記録するように制御する記録制御ステップとを含んでいる。
本発明のさらに別の態様に係る記憶媒体は、コンピュータに撮影処理を実行させるプログラムを記憶した持続性のコンピュータ可読記憶媒体であって、前記撮影処理が、前記複数の撮影手段のいずれか１つにより撮影されたフレームの各々の画像から被写体を検出する検出ステップと、前記検出ステップにより複数の被写体が検出された場合に、複数の被写体が検出されたフレームの各々について検出された被写体の各々と前記撮影手段との距離に関する値の最大値と最小値との差で表されるレンジを算出するレンジ算出ステップと、前記レンジ算出ステップによりレンジが算出された特定フレームのレンジと、前記特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、前記特定フレームのレンジを調整する調整ステップと、レンジと視差量との予め定めた関係に基づいて、前記レンジ算出ステップにより算出されたレンジまたは前記調整ステップにより調整されたレンジに対応する視差量を算出する視差量算出ステップと、前記視差量算出ステップにより算出された視差量に基づいて、前記撮影手段の各々により撮影された複数の視点画像からフレームの各々に対応する立体画像を生成する立体画像生成ステップと、前記立体画像生成ステップにより生成された立体画像を記録手段に記録するように制御する記録制御ステップと、を含んでいる。
また、本発明のさらに別の態様に係る撮影プログラムは、コンピュータを、異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影する複数の撮影手段のいずれか１つにより撮影されたフレームの各々の画像から被写体を検出する検出手段と、前記検出手段により複数の被写体が検出された場合に、複数の被写体が検出されたフレームの各々について検出された被写体の各々と前記撮影手段との距離に関する値の最大値と最小値との差で表されるレンジを算出するレンジ算出手段と、前記レンジ算出手段によりレンジが算出された特定フレームのレンジと、前記特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、前記特定フレームのレンジを調整する調整手段と、レンジと視差量との予め定めた関係に基づいて、前記レンジ算出手段により算出されたレンジまたは前記調整手段により調整されたレンジに対応する視差量を算出する視差量算出手段と、前記視差量算出手段により算出された視差量に基づいて、前記撮影手段の各々により撮影された複数の視点画像からフレームの各々に対応する立体画像を生成する立体画像生成手段と、前記立体画像生成手段により生成された立体画像を記録手段に記録するように制御する記録制御手段と、として機能させる。
以上説明したように、本発明の態様によれば、輻輳角を調整するための複雑な機構を備えることなく、フレーム間の視差量の変化を低減して、視認し易い立体視動画を得ることができる、という効果が得られる。
実施の形態の複眼デジタルカメラの正面側斜視図である。 実施の形態の複眼デジタルカメラの背面側斜視図である。 実施の形態の複眼デジタルカメラの内部構成を示す概略ブロック図である。 実施の形態の複眼デジタルカメラにおいて被写体距離レンジの算出を説明するための概念図である。 実施の形態の複眼デジタルカメラにおいて被写体距離レンジの算出を説明するための概念図である。 実施の形態の複眼デジタルカメラにおいて視差量を説明するための被写体と撮影部との位置関係を示す概念図、 実施の形態の複眼デジタルカメラにおいて視差量を説明するための左画像及び右画像を示す概念図である。 視差量を説明するための立体視画像を示す概念図である。 視差量と被写体距離レンジとの関係を示すグラフの一例である。 視差量と被写体距離レンジとの関係を示すテーブルの一例である。 第１の実施の形態における動画撮影処理ルーチンの内容を示すフローチャートである。 第２の実施の形態における動画撮影処理ルーチンの内容を示すフローチャートである。 第３の実施の形態における動画撮影処理ルーチンの内容を示すフローチャートである。 第４の実施の形態における動画撮影処理ルーチンの内容を示すフローチャートである。 第５の実施の形態における動画撮影処理ルーチンの内容を示すフローチャートである。 実施の形態の複眼デジタルカメラの別例を示す斜視図である。 実施の形態の複眼デジタルカメラの別例の内部構成を示す概略ブロック図である。
以下、図面を参照して、本発明の実施の形態を詳細に説明する。なお、本実施の形態では、本発明の撮影装置を、動画撮影モードを備えた複眼デジタルカメラに適用した場合について説明する。
〔第１の実施の形態〕
図１は、第１の実施の形態の複眼デジタルカメラ１の正面側斜視図、図２は背面側斜視図である。図１に示すように、複眼デジタルカメラ１の上部には、レリーズボタン２、電源ボタン３、及びズームレバー４が備えられている。また、複眼デジタルカメラ１の正面には、フラッシュ５及び２つの撮影部２１Ａ、２１Ｂのレンズが配設されている。また、複眼デジタルカメラの１の背面には、各種表示を行う液晶モニタ７、及び各種操作ボタン８が配設されている。
図３は、複眼デジタルカメラ１の内部構成を示す概略ブロック図である。図３に示すように、複眼デジタルカメラ１は、２つの撮影部２１Ａ、２１Ｂ、撮影制御部２２、画像処理部２３、圧縮／伸長処理部２４、フレームメモリ２５、メディア制御部２６、内部メモリ２７、表示制御部２８、３次元処理部３０、オブジェクト検出部４１、被写体距離レンジ算出部４２、被写体距離レンジ調整部４３、視差量算出部４４、及び接続部４５を備えている。なお、撮影部２１Ａ、２１Ｂは、被写体を見込む輻輳角を持って、予め定められた基線長となるように配置されている。なお、輻輳角及び基線長の情報は内部メモリ２７に記憶されている。
撮影制御部２２は、不図示のＡＦ処理部及びＡＥ処理部からなる。静止画撮影モードが選択されている場合には、ＡＦ処理部はレリーズボタン２の半押し操作により撮影部２１Ａ、２１Ｂが取得したプレ画像に基づいて、合焦領域を決定すると共に、レンズの焦点位置を決定し、撮影部２１Ａ、２１Ｂに出力する。ＡＥ処理部は、プレ画像に基づいて絞り値とシャッタ速度とを決定し、撮影部２１Ａ、２１Ｂに出力する。また、レリーズボタン２の全押し操作により、撮影部２１Ａに対して左画像、撮影部２１Ｂに対して右画像の本画像を取得させる本撮影の指示を行う。
また、撮影制御部２２は、動画撮影モードが選択されている場合には、レリーズボタン２の全押し操作により、上記の静止画撮影モードにおける処理を連続して行うように撮影部２１Ａ及び撮影部２１Ｂに指示する。なお、静止画撮影モード及び動画撮影モードのいずれの場合も、レリーズボタン２が操作される前は、撮影制御部２２は、撮影範囲を確認させるための本画像よりも画素数が少ないスルー画像を、所定時間間隔（例えば１／３０秒間隔）にて順次取得させる指示を撮影部２１Ａ、２１Ｂに対して行う。
画像処理部２３は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像のデジタルの画像データに対して、ホワイトバランスを調整する処理、階調補正、シャープネス補正、及び色補正等の画像処理を施す。
圧縮／伸長処理部２４は、画像処理部２３によって処理が施された左画像及び右画像を表す画像データに対して、例えば、ＪＰＥＧ等の圧縮形式で圧縮処理を行い、立体視用の画像ファイルを生成する。この立体視用の画像ファイルには、左画像及び右画像の画像データを含み、Ｅｘｉｆフォーマット等に基づいて、基線長、輻輳角、及び撮影日時等の付帯情報、並びに視点位置を表す視点情報が格納される。
フレームメモリ２５は、撮影部２１Ａ、２１Ｂが取得した左画像及び右画像を表す画像データに対して、前述の画像処理部２３が行う処理を含む各種処理を行う際に使用する作業用メモリである。
メディア制御部２６は、記録メディア２９にアクセスして画像ファイル等の書き込み及び読み込みの制御を行う。
内部メモリ２７は、複眼デジタルカメラ１において設定される各種定数、及びＣＰＵ３５が実行するプログラム等を記憶する。
表示制御部２８は、撮影時においてフレームメモリ２５に格納された左画像及び右画像から生成された立体視用画像を液晶モニタ７に表示させたり、記録メディア２９に記録されている左画像及び右画像、または立体視用画像を液晶モニタ７に表示させたりする。
３次元処理部３０は、左画像及び右画像をモニタ７に立体視表示を行うために、左画像及び右画像に３次元処理を行って立体視用画像を生成する。
オブジェクト検出部４１は、取得された左画像または右画像から適切なオブジェクトを検出する。オブジェクトは、撮影対象領域に存在する被写体を示す画像である。「適切な」オブジェクトとは、左画像または右画像内において、エッジが立っている（輪郭が比較的鮮明である）オブジェクト等とすることができる。また、左画像及び右画像の各々から対応するオブジェクトを検出し、そのオブジェクトの視差の値が所定範囲内のものを検出するようにしてもよい。
また、オブジェクト検出部４１は、２フレーム目以降の画像からオブジェクトを検出する際には、過去のフレームの画像から検出されたオブジェクトの位置情報等を利用して、対応するオブジェクトを追跡することにより、現フレームからオブジェクトを検出する。
被写体距離レンジ算出部４２は、左画像または右画像から検出されたオブジェクトの各々について、オブジェクトを示す被写体と本装置（撮影部２１Ａ、２１Ｂ）との距離を三角測量等の手法により算出し、その距離の最大値と最小値との差を被写体距離レンジとして算出する。例えば、図４Ａに示すように、左画像または右画像からオブジェクトＯ１、Ｏ２、Ｏ３が検出され、オブジェクトＯ１、Ｏ２、Ｏ３の各々に対応する被写体Ｓ１、Ｓ２、Ｓ３と複眼デジタルカメラ１とが図４Ｂに示す位置関係にあったとする。複眼デジタルカメラ１と被写体Ｓ１との距離をＬ１、被写体Ｓ２との距離をＬ２、被写体Ｓ３との距離をＬ３とすると、複眼デジタルカメラ１と被写体との距離の最大値はＬ１、最小値はＬ２となるため、被写体距離レンジＲは、Ｒ＝Ｌ１−Ｌ２と算出される。
被写体距離レンジ調整部４３は、前フレームの画像について算出された被写体距離レンジと、現フレームの画像について算出された被写体距離レンジとの差が、予め定めた閾値を超えるか否かを判定し、超える場合には、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が小さくなるように、現フレームの被写体距離レンジを調整する。後述するように、各フレームの視差量は被写体距離レンジに基づいて算出されるため、フレーム間で被写体距離レンジの大きな変動は、フレーム間の視差量の大きな変動となる。フレーム間で視差量が大きく変動した場合には、視認し難い動画となってしまうため、視差量の変動が大きくならないように被写体距離レンジを調整するものである。例えば、現フレームの被写体距離レンジをＲｍ、１つ前のフレームの被写体距離レンジをＲｍ−１とすると、調整後の現フレームの被写体距離レンジＲｍ’を、Ｒｍ’＝α×Ｒｍ＋（１−α）×Ｒｍ−１ （０＜α＜１）として求めることができる。なお、調整後の現フレームの被写体距離レンジＲｍ’の求め方はこれに限定されず、Ｒｍに所定値を加減算するなどＲｍとＲｍ−１との差が小さくなるような調整方法であればよい。
視差量算出部４４は、被写体距離レンジと被写体距離レンジに対応する適切な視差量との予め定めた関係に基づいて、算出された被写体距離レンジまたは調整された被写体距離レンジから現フレームの視差量を算出する。
ここで、視差量について説明する。例えば、複眼デジタルカメラ１（撮影部２１Ａ及び２１Ｂ）との位置関係が図５Ａに示すような被写体Ｓ１、及び被写体Ｓ２を撮影して、図５Ｂに示すような左画像５０Ｌ、及び右画像５０Ｒが得られたとする。左画像５０Ｌからは、被写体Ｓ１に対応するオブジェクトＯ１Ｌ、及び被写体Ｓ２に対応するオブジェクトＯ２Ｌが検出され、右画像５０Ｒからは、被写体Ｓ１に対応するオブジェクトＯ１Ｒ、及び被写体Ｓ２に対応するオブジェクトＯ２Ｒが検出される。図６に示すように、左画像５０Ｌと右画像５０Ｒとを重ね合わせることで立体視画像５０となる。図６では、左画像５０Ｌに含まれるオブジェクトＯ１Ｌと右画像５０Ｒに含まれるオブジェクトＯ１Ｒとが一致するように、すなわちオブジェクトＯ１がクロスポイントとなるように、左画像５０Ｌと右画像５０Ｒとが重ね合わされている。オブジェクトＯ２ＬとオブジェクトＯ２Ｒとは、距離Ｐだけずれている。このＰが視差量であり、視差量Ｐを変更することで、立体視画像の立体感を強調したり緩和したりすることができる。
次に、視差量と被写体距離レンジとの関係について説明する。被写体距離レンジが小さい場合には、複眼デジタルカメラ１から最も遠くに存在する最遠の被写体と最も近くに存在する最近の被写体との相対的な視差が小さくなる。一方、被写体距離レンジが大きい場合には、最遠の被写体と最近の被写体との相対的な視差が大きくなる。そこで、適切な立体感を有する立体視画像が得られるように、被写体距離レンジが小さい場合には視差量を大きくし、被写体距離レンジが大きい場合には視差量を小さくする。この関係に基づいて、所定の大きさの表示画面で立体視画像を表示するのに適した視差量が被写体距離レンジに応じて決定される。例えば、図７に示すように、横軸に被写体距離レンジ、縦軸に視差量をとったグラフとして、表示画面のサイズ毎に視差量と被写体距離レンジとの関係を定めておくことができる。また、図８に示すように、画素単位での視差量と被写体距離レンジとを対応させたテーブルとして、視差量と被写体距離レンジとの関係を定めておいてもよい。
視差量算出部４４では、図７や図８に示すような、視差量と被写体距離レンジとの予め定めた関係に基づいて、被写体距離レンジ算出部４２で算出された被写体距離レンジ、または被写体距離レンジ調整部４３で調整された被写体距離レンジに対応する視差量を算出する。例えば、図７及び図８において、表示画面サイズが３インチ、算出または調整された被写体距離レンジが０．３ｍの場合には、視差量は４０画素となる。本実施の形態では、視差量算出部４４で算出される視差量は、最近の被写体を示すオブジェクトについての視差量である。すなわち、図６に示すように、左画像と右画像とを重ね合わせる際には、左画像の最近の被写体を示すオブジェクトと右画像の最近の被写体を示すオブジェクトとの距離が、算出された視差量だけずれて重ね合わされることになる。
また、視差量算出部４４は、オブジェクト検出部４１でオブジェクトが１つしか検出されなかった場合には、検出されたオブジェクトをクロスポイントとして視差量を算出する。また、オブジェクト検出部４１でオブジェクトが検出されなかった場合には、予め定めた所定点をクロスポイントとして視差量を算出する。
接続部４５は、表示機器と接続するためのインタフェースを備えている。接続部４５は、複眼デジタルカメラ１に表示機器が接続されると、ＣＰＵ３５の制御に基づいて、撮影部２１Ａ、２１Ｂにより撮影されている画像、または内部メモリ２７あるいは記録メディア２９に記録されている画像情報を当該表示機器に送信して当該画像情報が示す画像を表示させる。なお、複眼デジタルカメラ１と表示機器とは、状況に応じて任意の通信規格で接続され、接続方式は有線であっても無線であっても良い。
次に、図９を参照して、第１の実施の形態の複眼デジタルカメラ１において実行される動画撮影処理ルーチンについて説明する。本ルーチンは、ユーザにより操作ボタン８が操作されて、動画撮影モードが選択されることによりスタートする。
ステップＳ１００で、ＣＰＵ３５は、３Ｄ設定操作があったか否かを判定する。ここでは、３Ｄ設定は、表示する際に使用されるディスプレイのディスプレイサイズ、３Ｄ動画像の収録方式、及び３Ｄ強度等の立体画像の表示形式の設定である。収録方式は、サイドバイサイド（Ｓｉｄｅ−ｂｙ−Ｓｉｄｅ）方式、ラインバイライン（Ｌｉｎｅ−ｂｙ−Ｌｉｎｅ）方式等である。この際、ＣＰＵ３５は、ユーザにより入力部３４を介する所定の入力操作があった場合に、３Ｄ設定操作があったと判定する。ステップＳ１００で３Ｄ設定操作があったと判定された場合、ステップＳ１０２で、ＣＰＵ３５は、設定操作に応じた３Ｄ設定を示す情報を内部メモリ２７に記憶する。なお、ここで記憶された３Ｄ設定を示す情報は、後述するステップＳ１３０で動画ファイルを記録する際に使用される。
ステップＳ１０４で、撮影部２１Ａ及び２１Ｂにより撮影されたスルー画像の取り込みを開始する。
次に、ステップＳ１０６で、ＣＰＵ３５は、レリーズボタン２が押下されるなど、動画像の記録開始を指示する撮影操作があったか否かを判定する。ステップＳ１０６で撮影操作がなかったと判定された場合には、ステップＳ１００に移行する。一方、ステップＳ１０６で撮影操作があったと判定された場合には、ＣＰＵ３５は、ステップＳ１０８へ移行し、撮影操作がない場合には、撮影操作があるまで本ステップの判定を繰り返す。
ステップＳ１０８では、ＣＰＵ３５は、撮影部２１Ａ及び２１Ｂにより本撮影の状態で取得された左画像及び右画像を１フレーム分取り込む。次に、ステップＳ１１０で、ＣＰＵ３５は、上記ステップＳ１０８で取り込んだ左画像及び右画像から一方を選択して、選択した画像（以下、「選択画像」ともいう。）から適切なオブジェクトを検出する。
次に、ステップＳ１１２で、ＣＰＵ３５は、上記ステップＳ１１０で複数のオブジェクトが検出されたか否かを判定する。ステップＳ１１２で複数のオブジェクトが検出されたと判定された場合には、ステップＳ１１４へ移行し、１つのオブジェクトしか検出されなかった場合、またはオブジェクトが検出されなかったと判定された場合には、ステップＳ１２２へ移行する。
ステップＳ１１４では、ＣＰＵ３５は、選択画像から検出されたオブジェクトの各々について、オブジェクトを示す被写体と複眼デジタルカメラ１との距離を三角測量等の手法により算出し、その距離の最大値と最小値との差を被写体距離レンジとして算出する。
次に、ステップＳ１１６で、ＣＰＵ３５は、ステップＳ１１４で算出した現フレームの被写体距離レンジと、前フレームにおいて同様にして算出した被写体距離レンジとの差が、予め定めた閾値を超えるか否かを判定することにより、フレーム間の被写体距離レンジの変化が大きいか否かを判定する。
ステップＳ１１６でフレーム間の被写体距離レンジの変化が大きいと判定された場合には、ステップＳ１１８へ移行し、ＣＰＵ３５は、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が小さくなるように、現フレームの被写体距離レンジを調整して、ステップＳ１２０へ移行する。
上記ステップＳ１１６で、フレーム間の被写体距離レンジの変化が大きくないと判定された場合には、ステップＳ１１８をスキップしてステップＳ１２０へ移行する。また、現フレームが１フレーム目で、前フレームが存在しない場合にも、本ステップで否定されてステップＳ１２０へ移行する。
ステップＳ１２０では、ＣＰＵ３５は、例えば図７や図８に示すような、被写体距離レンジと被写体距離レンジに対応する適切な視差量との予め定めた関係に基づいて、上記ステップＳ１１８で被写体レンジが調整された場合には、調整された被写体距離レンジに対応する現フレームの視差量を算出し、上記ステップＳ１１８で被写体レンジが調整されていない場合には、上記ステップＳ１１４で算出された被写体距離レンジに対応する現フレームの視差量を算出して、ステップＳ１２４へ移行する。
一方、上記ステップＳ１１２で複数のオブジェクトが検出されなかったと判定されてステップＳ１２２へ移行した場合には、ＣＰＵ３５は、クロスポイントに基づいて視差量を算出する。すなわち、ステップＳ１２２では、ＣＰＵ３５は、オブジェクトが１つしか検出されなかった場合にはそのオブジェクトをクロスポイントとして視差量を算出する一方、オブジェクトが検出されなかった場合には予め定められた点をクロスポイントとして視差量を算出して、ステップＳ１２４へ移行する。
ステップＳ１２４で、ＣＰＵ３５は、ステップＳ１２２で算出した視差量に基づいて、選択画像について補正を行う。補正の方法は、例えば、各画素を、視差量に応じた距離だけ左右方向に平行移動させる方法である。なお、ステップＳ１２４において、ステップＳ１１０で選択されなかった画像（以下、「非選択画像」ともいう。）について補正を行っても良い。非選択画像を補正する場合には、選択画像を補正する場合とは反対の方向に非選択画像を平行移動させる。また、選択画像及び非選択画像の双方を補正するようにしても良い。選択画像及び非選択画像の双方を補正する場合には、選択画像及び非選択画像を各々左右方向の相反する方向に、視差量に応じた距離の１／２ずつ平行移動させる。さらに、補正を行う際、必要に応じて、上記左右方向への平行移動によって左画像及び右画像の相互間で対応する領域が存在しなくなった領域（画像の端部の領域）のトリミングを行う。
そして、ステップＳ１２６で、ＣＰＵ３５は、ステップＳ１２４で補正した画像を内部メモリ２７に記録する。このように、被写体距離レンジの変化に応じて最適な視差量になるように補正した画像を各々記録しておき、動画ファイルを表示機器に送信する際に最適な視差量に補正した動画ファイルを送信することで、表示機器側において画像を補正する負荷が軽減されつつ最適な３Ｄ動画を再生させることができる。なお、補正した画像を記録する際、ステップＳ１２２で算出された視差量を対応付けて記録しても良い。
ステップＳ１２８では、ＣＰＵ３５は、レリーズボタン２が再び押下されるなど、動画像の記録停止を指示する撮影終了操作があったか否かを判定する。ステップＳ１２８で撮影終了操作がないと判定された場合には、ステップＳ１０８へ戻り、ＣＰＵ３５は、次のフレームを取り込んでステップＳ１０８乃至Ｓ１２６の処理を繰り返す。ステップＳ１２８で撮影終了操作があったと判定された場合には、ステップＳ１３０へ移行して、ＣＰＵ３５は、撮影部２１Ａ及び２１Ｂにより撮影されたフレーム数分のフレーム毎の左画像、右画像（ステップＳ１２４において画像を補正した場合には、補正した画像）、及び視差量のデータから、フレームの各々に対応する立体画像を生成して１つのファイルとし、ヘッダ情報を付加した動画ファイルとして記録メディア２９に記録して、処理を終了する。
この際、ＣＰＵ３５は、ステップＳ１０２で設定した３Ｄ設定に応じた立体画像の表示形式に適合する形式で立体画像を生成して得られた動画ファイルを記録する。例えば、動画ファイルにおいて、設定されているディスプレイサイズに応じて画素サイズを変更したり、設定されている３Ｄ強度に応じて左右の画像のずらし量を示す情報を動画ファイルに付加したりする。また、３Ｄ動画像の収録方式に応じて、例えばサイドバイサイド方式が設定されている場合には、２枚の画像を左右方向に並べた状態で１フレームとして記録し、ラインバイライン方式が設定されている場合には、左右の各々の画像の色を変換した上で、短冊状に切り取られた各々の画像が交互に並べられるように画像変換して記録する。このように、ステップＳ１０２でユーザ操作により入力された情報に基づいて３Ｄ設定を行い、当該３Ｄ設定に基づいて動画ファイルを記録することで、ユーザが所望する任意の３Ｄ設定で動画ファイルを記録することができる。
以上説明したように、第１の実施の形態の複眼デジタルカメラによれば、フレーム毎に被写体距離レンジを算出し、算出された現フレームの被写体距離レンジと前フレームの被写体距離レンジとの差が大きい場合には、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が小さくなるように現フレームの被写体距離レンジを調整して、被写体距離レンジから適切な視差量を算出するため、輻輳角を調整するための複雑な機構を備えることなく、フレーム間の視差量の変化を低減して、視認し易い立体視動画を得ることができる。
なお、ステップＳ１２４及びＳ１２６の処理が行われるタイミングは、ステップＳ１２２で視差量を算出した直後のタイミングに限定されず、ステップＳ１３０の撮影終了時に動画ファイルを記憶するタイミングであっても良い。この場合には、動画ファイルを保存するタイミングで全フレームについて補正を行い、また、ステップＳ１３０と同様に、ステップＳ１０２で設定した３Ｄ設定に応じた立体画像の表示形式となるように各々の画像から動画ファイルを生成して記録するようにしても良い。
〔第２の実施の形態〕
次に、第２の実施の形態について説明する。第２の実施の形態では、前フレームの被写体距離レンジの算出に用いたオブジェクトが現フレームから検出されなかった場合に、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が大きいとみなして、現フレームの被写体距離レンジを調整する場合について説明する。なお、第２の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１の構成と同様であるので、同一の符号を付して説明を省略する。
ここで、図１０を参照して、第２の実施の形態の複眼デジタルカメラ１において実行される動画撮影処理ルーチンについて説明する。本ルーチンは、ユーザにより操作ボタン８が操作されて、動画撮影モードが選択されることによりスタートする。なお、第１の実施の形態の動画撮影処理と同一の処理については、同一の符号を付して、詳細な説明を省略する。
ステップＳ１００乃至ステップＳ１０８を経て、ＣＰＵ３５は、左画像及び右画像を１フレーム分取り込む。次に、ステップＳ２００で、上記ステップＳ１０８で取り込んだ左画像または右画像から適切なオブジェクトを検出する。また、ＣＰＵ３５は、オブジェクトの位置情報等を用いて、前フレームの左画像または右画像から検出されたオブジェクトを、現フレームの左画像または右画像において追跡する。
次に、ステップＳ１１２で、上記ステップＳ２００で複数のオブジェクトが検出されたと判定された場合には、ステップＳ１１４へ移行して、ＣＰＵ３５は、オブジェクトを示す被写体と複眼デジタルカメラ１との距離の最大値と最小値との差を被写体距離レンジとして算出する。
次に、ステップＳ２０２で、ＣＰＵ３５は、上記ステップＳ２００のオブジェクトの追跡結果に基づいて、前フレームで被写体距離レンジの算出に用いられたオブジェクトの追跡に失敗したか否かを判定する。前フレームから検出されたオブジェクトが、フレームアウトや他のオブジェクトによるオクルージョン等によって、現フレームから検出されなかった場合には、オブジェクトの追跡に失敗したと判定する。ステップＳ２０２で、前フレームで被写体距離レンジの算出に用いられたオブジェクトの追跡に失敗したと判定された場合には、上記ステップＳ１１４で算出された被写体距離レンジは、前フレームで算出された被写体距離レンジに対して大きく変動している可能性が高い。そこで、ＣＰＵ３５は、前フレームの被写体距離レンジの算出に用いられたオブジェクトの追跡に失敗した場合には、ステップＳ１１８へ移行して、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が小さくなるように、現フレームの被写体距離レンジを調整する。一方、前フレームの被写体距離レンジの算出に用いたオブジェクトの追跡に失敗しなかった場合には、ステップＳ１１８をスキップして、ＣＰＵ３５は、被写体距離レンジの調整を行うことなくステップＳ１２０へ移行して、被写体距離レンジから視差量を算出する。
以降、第１の実施の形態と同様に、ＣＰＵ３５は、ステップＳ１２０乃至ステップＳ１３０の処理を実行して、処理を終了する。
以上説明したように、第２の実施の形態の複眼デジタルカメラによれば、前フレームの被写体距離レンジの算出に用いたオブジェクトの追跡に失敗した場合には、現フレームの被写体距離レンジと前フレームの被写体距離レンジとの差が大きいとみなして、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が小さくなるように現フレームの被写体距離レンジを調整することができる。
〔第３の実施の形態〕
次に、第３の実施の形態について説明する。第３の実施の形態では、移動量の大きなオブジェクトを被写体距離レンジの算出に用いないように除外する場合について説明する。なお、第３の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１の構成と同様であるので、同一の符号を付して説明を省略する。
ここで、図１１を参照して、第３の実施の形態の複眼デジタルカメラ１において実行される動画撮影処理ルーチンについて説明する。本ルーチンは、ユーザにより操作ボタン８が操作されて、動画撮影モードが選択されることによりスタートする。なお、第１及び第２の実施の形態の動画撮影処理と同一の処理については、同一の符号を付して、詳細な説明を省略する。
ステップＳ１００乃至ステップＳ１０８を経て、ＣＰＵ３５は、左画像及び右画像を１フレーム分取り込む。次に、ステップＳ２００で、ＣＰＵ３５は、上記ステップＳ１０８で取り込んだ左画像または右画像から適切なオブジェクトを検出する。また、オブジェクトの位置情報等を用いて、前フレームの左画像または右画像から検出されたオブジェクトを、現フレームの左画像または右画像において追跡する。
次に、ステップＳ３００で、ＣＰＵ３５は、上記ステップＳ２００のオブジェクトの追跡結果に基づいて、追跡されたオブジェクトの移動方向が、撮影部の光軸方向か否かを判定する。撮影部の光軸方向は、オブジェクトの検出及び追跡に用いた画像が左画像の場合には、撮影部２１Ａの光軸方向であり、右画像の場合には、撮影部２１Ｂである。そして、ＣＰＵ３５は、移動方向が光軸方向のオブジェクトについて、フレーム間での移動量を算出し、その移動量を予め定めた所定移動量と比較することにより、移動量が大きいオブジェクトが存在するか否かを判定する。ステップＳ３００で移動量が大きいオブジェクトが存在すると判定された場合には、ステップＳ３０２へ移行し、ＣＰＵ３５は、移動量が大きいオブジェクトを、上記ステップＳ２００で検出及び追跡されたオブジェクトから除外して、ステップＳ１１２へ移行する。移動量が大きいオブジェクトに対応する被写体は、移動速度が速いため、被写体と複眼デジタルカメラ１との距離がフレーム間で大きく変動する。このような被写体を示すオブジェクトを被写体距離レンジの算出に用いると、被写体距離レンジが大きく変動してしまうため、被写体距離レンジの算出に用いられないように除外するものである。
一方、ステップＳ３００で移動量が大きいオブジェクトが存在しないと判定された場合には、ステップＳ３０２をスキップして、ステップＳ１１２へ移行する。ステップＳ１１２では、ＣＰＵ３５は、上記ステップＳ３０２で除外されたオブジェクトを除いて、複数のオブジェクトが検出されたか否かを判定し、以降、第１の実施の形態と同様に、ステップＳ１１４乃至ステップＳ１３０の処理を実行して、処理を終了する。
以上説明したように、第３の実施の形態の複眼デジタルカメラによれば、フレーム間での被写体距離レンジの大きな変動を招く可能性が高い移動量の大きなオブジェクトを、予め被写体距離レンジの算出に用いないように除外しておくことで、フレーム間での被写体距離レンジの変動を低減することができる。
〔第４の実施の形態〕
次に、第４の実施の形態について説明する。第４の実施の形態では、ユーザが特に注視したいオブジェクトを予め選択して登録しておく場合について説明する。なお、第４の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１の構成と同様であるので、同一の符号を付して説明を省略する。
ここで、図１２を参照して、第４の実施の形態の複眼デジタルカメラ１において実行される動画撮影処理ルーチンについて説明する。本ルーチンは、ユーザにより操作ボタン８が操作されて、動画撮影モードが選択されることによりスタートする。なお、第１の実施の形態の動画撮影処理と同一の処理については、同一の符号を付して、詳細な説明を省略する。
ステップＳ１００乃至ステップＳ１０２を経て、ステップＳ１０４で、ＣＰＵ３５は、スルー画像を取り込み、次に、ステップＳ４００で、ユーザにより、特に注視するオブジェクト（以下、「選択オブジェクト」）を選択する操作が行われたか否かを判定する。選択オブジェクトは、液晶モニタ７に表示された画像上で、操作ボタン８を操作してカーソルを移動させ、該当のオブジェクト上で決定ボタンを押下するなどして選択することができる。
次に、ステップＳ４０２で、ＣＰＵ３５は、上記ステップＳ４００で選択された選択オブジェクトについて、輪郭や特徴量等の情報を抽出して、所定の記憶領域に登録する。選択オブジェクトは複数登録されてもよい。
次に、ステップＳ１０６乃至ステップＳ１１２を経て、ステップＳ１１２で複数のオブジェクトが検出されたと判定された場合には、ステップＳ４０４へ移行し、ＣＰＵ３５は、検出されたオブジェクトと上記ステップＳ４０２で登録した選択オブジェクトの情報とを比較して、検出されたオブジェクトに選択オブジェクトが含まれるか否かを判定する。ステップＳ４０４で選択オブジェクトが含まれると判定された場合には、ステップＳ４０６へ移行し、ステップＳ４０４で選択オブジェクトが含まれないと判定された場合には、ステップＳ１１４へ移行する。
ステップＳ４０６では、ＣＰＵ３５は、選択オブジェクトを用いて被写体距離レンジを算出する。選択オブジェクトが複数登録されており、かつ複数の選択オブジェクトが検出された場合には、検出された選択オブジェクトの各々を示す被写体と複眼デジタルカメラ１との距離の最大値と最小値との差を被写体距離レンジとして算出することができる。また、検出された複数のオブジェクトに選択オブジェクトが１つしか含まれていなかった場合には、選択オブジェクトと選択オブジェクト以外のオブジェクトのうちの１つのオブジェクトとを用いて被写体距離レンジを算出する。選択オブジェクト以外のオブジェクトからは、そのオブジェクトが示す被写体と複眼デジタルカメラ１との距離が最大または最小となるオブジェクトや、選択オブジェクトを示す被写体との距離が最大または最小となる被写体に対応するオブジェクト等を用いることができる。
以降、第１の実施の形態と同様に、ＣＰＵ３５は、ステップＳ１１６乃至ステップＳ１３０の処理を実行して、処理を終了する。なお、検出されたオブジェクトが選択オブジェクト１つだけの場合には、ステップＳ１１２で否定判定されてステップＳ１２２へ移行し、その選択オブジェクトをクロスポイントとする視差量を算出する。
以上説明したように、第４の実施の形態の複眼デジタルカメラによれば、特に注視したいオブジェクトを用いて被写体距離レンジを算出し、また、フレーム間での被写体距離レンジの変動が大きくならないように調整するため、特定のオブジェクトに注視して視認する際に、視認し易い立体視動画を得ることができる。
〔第５の実施の形態〕
次に、第５の実施の形態について説明する。第５の実施の形態では、複眼デジタルカメラ１に表示機器が接続されている場合に、その表示機器の立体画像の表示形式示す情報を入力して、この情報に基づいて動画ファイルを作成して記録する場合について説明する。なお、第５の実施の形態の複眼デジタルカメラの構成は、第１の実施の形態の複眼デジタルカメラ１の構成と同様であるので、同一の符号を付して説明を省略する。
ここで、図１３を参照して、第５の実施の形態の複眼デジタルカメラ１において実行される動画撮影処理ルーチンについて説明する。本ルーチンは、ユーザにより操作ボタン８が操作されて、動画撮影モードが選択されることによりスタートする。なお、第１の実施の形態の動画撮影処理と同一の処理については、同一の符号を付して、詳細な説明を省略する。
ステップＳ５００で、ＣＰＵ３５は、複眼デジタルカメラ１に３Ｄ対応の表示機器が接続されているか否かを判定する。３Ｄ対応の表示機器が接続されている場合、ステップＳ５０２へ移行し、接続されていない場合、ステップＳ１０４へ移行する。ステップＳ５０２で、ＣＰＵ３５は、接続されている表示機器から機器情報を取得する。この機器情報には、３Ｄ設定に関する情報が含まれている。３Ｄ設定に関する情報は、表示する際に使用されるディスプレイのディスプレイサイズや、表示可能な３Ｄ動画像の収録方式や、設定可能な３Ｄ強度等である。ステップＳ５０４で、ＣＰＵ３５は、ステップＳ５０２で取得した機器情報に応じて３Ｄ設定を示す情報を内部メモリ２７に記憶する。
ステップＳ１０４乃至ステップＳ１２８を経て、ステップＳ１３０では、ＣＰＵ３５は、撮影されたフレーム数分のフレーム毎の左画像、右画像、及び視差量のデータから、フレームの各々に対応する立体画像を生成して１つのファイルとし、ヘッダ情報を付加した動画ファイルとして記録メディア２９に記録して、処理を終了する。この際、ＣＰＵ３５は、ステップＳ５０４で設定した３Ｄ設定に応じた立体画像の表示形式に適合する形式で立体画像を生成して得られた動画ファイルを記録する。このように、ステップＳ５０４で表示機器により入力された情報に基づいて３Ｄ設定を行い、当該３Ｄ設定に基づいて動画ファイルを記録することで、複眼デジタルカメラ１に表示機器を接続するだけで当該表示機器に最適な３Ｄ設定で動画ファイルを記録することができる。
なお、上記第５の実施の形態のステップＳ５００乃至Ｓ５０４の処理を、第１乃至第４の実施の形態のステップＳ１００及びＳ１０２と置き換え、ステップＳ１３０においてステップＳ５０４で設定した３Ｄ設定に応じた立体画像の表示形式となるようにして動画ファイルを記録するようにしても良い。
また、上記第１乃至第５の実施の形態では、被写体と撮影手段との距離に関する値として、被写体の各々と撮影手段との距離を算出し、その距離の最大値と最小値との差で表される被写体距離レンジを算出する場合について説明したが、これに限られず、被写体と撮影手段との距離に関する値として、被写体の各々の視差を算出し、その視差の最大値と最小値との差で表される視差レンジを算出するようにしてもよい。この場合、図３に示す被写体距離レンジ算出部４２及び被写体距離レンジ調整部４３に替えて、視差レンジ算出部及び視差レンジ調整部を設けるようにするとよい。
視差レンジ算出部では、視差マップを生成し、オブジェクト検出部４１で検出されたオブジェクト毎の視差を求め、視差の最大値と最小値との差から視差レンジを算出する。なお、選択オブジェクトが登録されている場合には、選択オブジェクトの視差を用いて視差レンジを算出する。視差マップの生成は、まず、左画像と右画像とに対してステレオマッチングを行って、例えば左画像を基準として、左画像上の画素（ｘ１，ｙ１）に対応する右画像上の対応画素（ｘ２，ｙ２）を抽出する。左画像上の画素（ｘ１，ｙ１）と右画像上の対応画素（ｘ２，ｙ２）との視差ｄは、ｄ＝ｘ２−ｘ１と計算でき、この視差ｄを、基準とした左画像の画素位置（ｘ１，ｙ１）に格納して生成する。そして、検出されたオブジェクトと視差マップとを対応させて、オブジェクトの位置に対応する視差マップ上の画素位置に格納された視差を、そのオブジェクトの視差として求める。オブジェクトの位置に対応する領域内の複数の画素位置に異なる視差が格納されている場合には、その領域内の視差の平均値や最頻値等を、そのオブジェクトの視差として求めることができる。
視差レンジ調整部は、被写体距離レンジ調整部４３での処理と同様の処理により、前フレームの画像について算出された視差レンジと、現フレームの画像について算出された視差レンジとの差が、予め定めた閾値を超えるか否かを判定し、超える場合には、前フレームの視差レンジと現フレームの視差レンジとの差が小さくなるように、現フレームの視差レンジを調整する。
視差量算出部４４は、視差レンジと視差レンジに対応する適切な視差量との予め定めた関係に基づいて、算出された視差レンジまたは調整された視差レンジから現フレームの視差量を算出する。上記で述べたように、視差量と被写体距離レンジとの関係は、被写体距離レンジが小さい場合には、複眼デジタルカメラ１から最も遠くに存在する最遠の被写体と最も近くに存在する最近の被写体との相対的な視差が小さくなり、被写体距離レンジが大きい場合には、最遠の被写体と最近の被写体との相対的な視差が大きくなる。そこで、適切な立体感を有する立体視画像が得られるように、被写体距離レンジが小さい場合には視差量を大きくし、被写体距離レンジが大きい場合には視差量を小さくする。ここで、被写体距離レンジが小さい場合には視差レンジも小さく、被写体距離が大きい場合には視差レンジも大きい。従って、視差レンジと視差量との関係は、被写体距離レンジと視差量との関係と同様に定めておくことができる。例えば、図７に示すようなグラフとして視差レンジと視差量との関係を定めておく場合には、横軸を視差レンジ（画素）とすればよい。
また、上記第１乃至第５の実施の形態は、適宜組み合わせて実行することができる。第３の実施の形態と第４の実施の形態とを組み合わせる場合には、移動量が大きいオブジェクトであっても、選択オブジェクトであれば除外しないようにすることもできるし、選択オブジェクトであっても、移動量が大きいオブジェクトであれば除外するようにすることもできる。
また、上記実施の形態では、前フレームの被写体距離レンジと現フレームの被写体距離レンジとの差が大きいか否かを判定して、現フレームの被写体距離レンジを調整する場合について説明したが、所定フレーム分の画像を取得して、各フレームの被写体距離レンジを算出した後に、特定フレームの被写体距離レンジを、その特定フレームの１つ後に撮影されたフレームの被写体距離レンジと比較することで、特定フレームの被写体距離レンジの調整の可否を判断するようにしてもよい。
また、上記実施の形態では、最近の被写体の視差量を求める場合について説明したが、第４の実施の形態のように選択オブジェクトを選択する場合には、選択オブジェクトの視差量を求めるようにしてもよい。
また、本実施の形態では、撮影部を２つ備えた構成の複眼デジタルカメラについて説明したが、撮影部を３つ以上備えた構成において、３つ以上の画像を取得する場合にも同様に適用することができる。この場合、複数の画像から任意に２つの画像を組み合わせて、上記実施の形態と同様の処理を行えばよい。
また、図３に示した各ブロックをハードウエアにより構成してもよいし、各ブロックの機能をソフトウエアにより実現するように構成してもよいし、ハードウエアとソフトウエアとの組み合わせにより構成してもよい。ソフトウエアにより構成する場合には、本実施の形態の動画撮影処理ルーチンをプログラム化して、そのプログラムをＣＰＵにより実行するようにするとよい。プログラムは、記憶媒体に記憶して提供することもできるし、サーバ等の記憶装置に記憶しておき、ネットワークを介してダウンロードにより提供することもできる。
以上、本発明の撮影装置の実施形態として、デジタルカメラについて説明してきたが、撮影装置の構成はこれに限定されない。本発明のその他の実施形態としては、例えば、内蔵型又は外付け型のＰＣ用カメラ、或いは、以下に説明するような、撮影機能を有する携帯端末装置とすることができる。
本発明の一実施形態である携帯端末装置としては、例えば、携帯電話機やスマートフォン、ＰＤＡ（Personal Digital Assistants）、携帯型ゲーム機が挙げられる。以下、スマートフォンを例に挙げ、図面を参照しつつ、詳細に説明する。
図１４は、本発明の一実施形態であるスマートフォン７０の外観を示すものである。図１４に示すスマートフォン７０は、平板状の筐体７２を有し、筐体７２の一方の面に表示部としての表示パネル７４Ａと、入力部としての操作パネル７４Ｂとが一体となった表示入力部７４を備えている。また、筐体７２は、スピーカ７６と、マイクロホン７８と、操作部８０と、カメラ部８２とを備えている。なお、筐体７２の構成はこれに限定されず、例えば、表示部と入力部とが独立した構成を採用したり、折り畳み構造やスライド機構を有する構成を採用したりすることもできる。
図１５は、図１４に示すスマートフォン７０の構成を示すブロック図である。図１５に示すように、スマートフォンの主たる構成要素として、無線通信部８４と、表示入力部７４と、通話部８６と、操作部８０と、カメラ部８２と、記憶部８８と、外部入出力部９０と、ＧＰＳ（Global Positioning System）受信部９２と、モーションセンサ部９４と、電源部９６と、主制御部９８とを備える。また、スマートフォン７０の主たる機能として、基地局装置ＢＳと移動通信網ＮＷとを介した移動無線通信を行う無線通信機能を備える。
無線通信部８４は、主制御部９８の指示にしたがって、移動通信網ＮＷに収容された基地局装置ＢＳに対し無線通信を行うものである。係る無線通信を使用して、音声データ、画像データ等の各種ファイルデータ、電子メールデータなどの送受信や、Ｗｅｂデータやストリーミングデータなどの受信を行う。
表示入力部７４は、主制御部９８の制御により、画像（静止画像および動画像）や文字情報などを表示して視覚的にユーザに情報を伝達するとともに、表示した情報に対するユーザ操作を検出する、いわゆるタッチパネルであって、表示パネル７４Ａと、操作パネル７４Ｂとを備える。
表示パネル７４Ａは、ＬＣＤ（Liquid Crystal Display）、ＯＥＬＤ（Organic Electro-Luminescence Display）などを表示デバイスとして用いたものである。操作パネル７４Ｂは、表示パネル７４Ａの表示面上に表示される画像を視認可能に載置され、ユーザの指や尖筆によって操作される一又は複数の座標を検出するデバイスである。係るデバイスをユーザの指や尖筆によって操作すると、操作に起因して発生する検出信号を主制御部９８に出力する。次いで、主制御部９８は、受信した検出信号に基づいて、表示パネル７４Ａ上の操作位置（座標）を検出する。
図１４に示すように、本発明の一実施形態として例示しているスマートフォン７０の表示パネル７４Ａと操作パネル７４Ｂとは一体となって表示入力部７４を構成しているが、操作パネル７４Ｂが表示パネル７４Ａを完全に覆うような配置となっている。係る配置を採用した場合、操作パネル７４Ｂは、表示パネル７４Ａ外の領域についても、ユーザ操作を検出する機能を備えてもよい。換言すると、操作パネル７４Ｂは、表示パネル７４Ａに重なる重畳部分についての検出領域（以下、表示領域と称する）と、それ以外の表示パネル７４Ａに重ならない外縁部分についての検出領域（以下、非表示領域と称する）とを備えていてもよい。
なお、表示領域の大きさと表示パネル７４Ａの大きさとを完全に一致させても良いが、両者を必ずしも一致させる必要は無い。また、操作パネル７４Ｂが、外縁部分と、それ以外の内側部分の２つの感応領域を備えていてもよい。更に、外縁部分の幅は、筐体７２の大きさなどに応じて適宜設計されるものである。更にまた、操作パネル７４Ｂで採用される位置検出方式としては、マトリクススイッチ方式、抵抗膜方式、表面弾性波方式、赤外線方式、電磁誘導方式、静電容量方式などが挙げられ、いずれの方式を採用することもできる。
通話部８６は、スピーカ７６やマイクロホン７８を備え、マイクロホン７８を通じて入力されたユーザの音声を主制御部９８にて処理可能な音声データに変換して主制御部９８に出力したり、無線通信部８４あるいは外部入出力部９０により受信された音声データを復号してスピーカ７６から出力するものである。また、図１４に示すように、例えば、スピーカ７６を表示入力部７４が設けられた面と同じ面に搭載し、マイクロホン７８を筐体７２の側面に搭載することができる。
操作部８０は、キースイッチなどを用いたハードウェアキーであって、ユーザからの指示を受け付けるものである。例えば、図１４に示すように、操作部８０は、スマートフォン７０の筐体７２の側面に搭載され、指などで押下されるとオンとなり、指を離すとバネなどの復元力によってオフ状態となる押しボタン式のスイッチである。
記憶部８８は、主制御部９８の制御プログラムや制御データ、アプリケーションソフトウェア、通信相手の名称や電話番号などを対応づけたアドレスデータ、送受信した電子メールのデータ、ＷｅｂブラウジングによりダウンロードしたＷｅｂデータや、ダウンロードしたコンテンツデータを記憶し、またストリーミングデータなどを一時的に記憶するものである。また、記憶部８８は、スマートフォン内蔵の内部記憶部８８Ａと着脱自在な外部メモリスロットを有する外部記憶部８８Ｂにより構成される。なお、記憶部８８を構成するそれぞれの内部記憶部８８Ａと外部記憶部８８Ｂは、フラッシュメモリタイプ（flash memory type）、ハードディスクタイプ（hard disk type）、マルチメディアカードマイクロタイプ（multimedia card micro type）、カードタイプのメモリ（例えば、ＭｉｃｒｏＳＤ（登録商標）メモリ等）、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）などの格納媒体を用いて実現される。
外部入出力部９０は、スマートフォン７０に連結される全ての外部機器とのインタフェースの役割を果たすものであり、他の外部機器に通信等（例えば、ユニバーサルシリアルバス（ＵＳＢ）、ＩＥＥＥ１３９４など）又はネットワーク（例えば、インターネット、無線ＬＡＮ、ブルートゥース（Bluetooth）（登録商標）、ＲＦＩＤ（Radio Frequency Identification）、赤外線通信（Infrared Data Association：ＩｒＤＡ）（登録商標）、ＵＷＢ（Ultra Wideband）（登録商標）、ジグビー（ZigBee）（登録商標）など）により直接的又は間接的に接続するためのものである。
スマートフォン７０に連結される外部機器としては、例えば、有／無線ヘッドセット、有／無線外部充電器、有／無線データポート、カードソケットを介して接続されるメモリカード（Memory card）やＳＩＭ（Subscriber Identity Module Card）／ＵＩＭ（User Identity Module Card）カード、オーディオ・ビデオＩ／Ｏ（Input/Output）端子を介して接続される外部オーディオ・ビデオ機器、無線接続される外部オーディオ・ビデオ機器、有／無線接続されるスマートフォン、有／無線接続されるパーソナルコンピュータ、有／無線接続されるＰＤＡ、有／無線接続されるパーソナルコンピュータ、イヤホンなどがある。外部入出力部は、このような外部機器から伝送を受けたデータをスマートフォン７０の内部の各構成要素に伝達することや、スマートフォン７０の内部のデータが外部機器に伝送されるようにすることができる。
ＧＰＳ受信部９２は、主制御部９８の指示にしたがって、ＧＰＳ衛星ＳＴ１〜ＳＴｎから送信されるＧＰＳ信号を受信し、受信した複数のＧＰＳ信号に基づく測位演算処理を実行し、当該スマートフォン７０の緯度、経度、高度からなる位置を検出する。ＧＰＳ受信部９２は、無線通信部８４や外部入出力部９０（例えば、無線ＬＡＮ）から位置情報を取得できる時には、その位置情報を用いて位置を検出することもできる。
モーションセンサ部９４は、例えば、３軸の加速度センサなどを備え、主制御部９８の指示にしたがって、スマートフォン７０の物理的な動きを検出する。スマートフォン７０の物理的な動きを検出することにより、スマートフォン７０の動く方向や加速度が検出される。係る検出結果は、主制御部９８に出力されるものである。
電源部９６は、主制御部９８の指示にしたがって、スマートフォン７０の各部に、バッテリ（図示しない）に蓄えられる電力を供給するものである。
主制御部９８は、マイクロプロセッサを備え、記憶部８８が記憶する制御プログラムや制御データにしたがって動作し、スマートフォン７０の各部を統括して制御するものである。また、主制御部９８は、無線通信部８４を通じて、音声通信やデータ通信を行うために、通信系の各部を制御する移動通信制御機能と、アプリケーション処理機能を備える。
アプリケーション処理機能は、記憶部８８が記憶するアプリケーションソフトウェアにしたがって主制御部９８が動作することにより実現するものである。アプリケーション処理機能としては、例えば、外部入出力部９０を制御して対向機器とデータ通信を行う赤外線通信機能や、電子メールの送受信を行う電子メール機能、Ｗｅｂページを閲覧するＷｅｂブラウジング機能などがある。
また、主制御部９８は、受信データやダウンロードしたストリーミングデータなどの画像データ（静止画像や動画像のデータ）に基づいて、映像を表示入力部７４に表示する等の画像処理機能を備える。画像処理機能とは、主制御部９８が、上記画像データを復号し、係る復号結果に画像処理を施して、画像を表示入力部７４に表示する機能のことをいう。
更に、主制御部９８は、表示パネル７４Ａに対する表示制御と、操作部８０、操作パネル７４Ｂを通じたユーザ操作を検出する操作検出制御とを実行する。
表示制御の実行により、主制御部９８は、アプリケーションソフトウェアを起動するためのアイコンや、スクロールバーなどのソフトウェアキーを表示したり、あるいは電子メールを作成するためのウィンドウを表示したりする。なお、スクロールバーとは、表示パネル７４Ａの表示領域に収まりきれない大きな画像などについて、画像の表示部分を移動する指示を受け付けるためのソフトウェアキーのことをいう。
また、操作検出制御の実行により、主制御部９８は、操作部８０を通じたユーザ操作を検出したり、操作パネル７４Ｂを通じて、上記アイコンに対する操作や、上記ウィンドウの入力欄に対する文字列の入力を受け付けたり、あるいは、スクロールバーを通じた表示画像のスクロール要求を受け付ける。
更に、操作検出制御の実行により主制御部９８は、操作パネル７４Ｂに対する操作位置が、表示パネル７４Ａに重なる重畳部分（表示領域）か、それ以外の表示パネル７４Ａに重ならない外縁部分（非表示領域）かを判定し、操作パネル７４Ｂの感応領域や、ソフトウェアキーの表示位置を制御するタッチパネル制御機能を備える。
また、主制御部９８は、操作パネル７４Ｂに対するジェスチャ操作を検出し、検出したジェスチャ操作に応じて、予め設定された機能を実行することもできる。ジェスチャ操作とは、従来の単純なタッチ操作ではなく、指などによって軌跡を描いたり、複数の位置を同時に指定したり、あるいはこれらを組み合わせて、複数の位置から少なくとも１つについて軌跡を描く操作を意味する。
カメラ部８２は、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）やＣＣＤ（Charge-Coupled Device）などの撮像素子を用いて電子撮影するデジタルカメラである。また、カメラ部８２は、主制御部９８の制御により、撮像によって得た画像データを例えばＪＰＥＧ（Joint Photographic coding Experts Group）などの圧縮した画像データに変換し、記憶部８８に記録したり、入出力部９０や無線通信部８４を通じて出力したりすることができる。図１４に示すにスマートフォン７０において、カメラ部８２は表示入力部７４と同じ面に搭載されているが、カメラ部８２の搭載位置はこれに限らず、表示入力部７４の背面に搭載されてもよいし、あるいは、複数のカメラ部８２が搭載されてもよい。なお、複数のカメラ部８２が搭載されている場合には、撮影に供するカメラ部８２を切り替えて単独にて撮影したり、あるいは、複数のカメラ部８２を同時に使用して撮影したりすることもできる。
また、カメラ部８２はスマートフォン７０の各種機能に利用することができる。例えば、表示パネル７４Ａにカメラ部８２で取得した画像を表示することや、操作パネル７４Ｂの操作入力のひとつとして、カメラ部８２の画像を利用することができる。また、ＧＰＳ受信部９２が位置を検出する際に、カメラ部８２からの画像を参照して位置を検出することもできる。更には、カメラ部８２からの画像を参照して、３軸の加速度センサを用いずに、或いは、３軸の加速度センサと併用して、スマートフォン７０のカメラ部８２の光軸方向を判断することや、現在の使用環境を判断することもできる。勿論、カメラ部８２からの画像をアプリケーションソフトウェア内で利用することもできる。
その他、静止画又は動画の画像データにＧＰＳ受信部９２により取得した位置情報、マイクロホン７８により取得した音声情報（主制御部等により、音声テキスト変換を行ってテキスト情報となっていてもよい）、モーションセンサ部９４により取得した姿勢情報等などを付加して記憶部８８に記録したり、入出力部９０や無線通信部８４を通じて出力したりすることもできる。

Claims (15)

  1. 異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影する複数の撮影手段と、
    前記複数の撮影手段のいずれか１つにより撮影されたフレームの各々の画像から被写体を検出する検出手段と、
    前記検出手段により複数の被写体が検出された場合に、複数の被写体が検出されたフレームの各々について検出された被写体の各々と前記撮影手段との距離に関する値の最大値と最小値との差で表されるレンジを算出するレンジ算出手段と、
    前記レンジ算出手段によりレンジが算出された特定フレームのレンジと、前記特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、前記特定フレームのレンジを調整する調整手段と、
    レンジと視差量との予め定めた関係に基づいて、前記レンジ算出手段により算出されたレンジまたは前記調整手段により調整されたレンジに対応する視差量を算出する視差量算出手段と、
    前記視差量算出手段により算出された視差量に基づいて、前記撮影手段の各々により撮影された複数の視点画像からフレームの各々に対応する立体画像を生成する立体画像生成手段と、
    前記立体画像生成手段により生成された立体画像を記録手段に記録するように制御する記録制御手段と、
    を含み、
    前記検出手段は更に、検出対象フレームの前のフレームで検出された被写体が前記検出対象フレームで検出されたか否かを判定し、前記判定の結果に基づいて、前記レンジ算出手段がレンジの算出を行うか、又は前記調整手段がレンジの調整を行う、撮影装置。
  2. 前記記録制御手段は、前記立体画像に対応付けて、前記調整手段により調整されたレンジに対応する視差量を前記記録手段に記録するように制御する
    請求項１記載の撮影装置。
  3. 前記立体画像の表示形式を示す情報の入力を受け付ける受付手段をさらに備え、
    前記立体画像生成手段は、前記受付手段により受け付けられた情報が示す立体画像の表示形式に適合する形式で立体画像を生成する
    請求項１または２記載の撮影装置。
  4. 接続されている表示機器から立体画像の表示形式を示す情報を入力する入力手段をさらに備え、
    前記立体画像生成手段は、前記入力手段により入力された情報が示す立体画像の表示形式に適合する形式で立体画像を生成する
    請求項１乃至３の何れか１項記載の撮影装置。
  5. 前記距離に関する値を、検出された被写体の各々と前記撮影手段との距離、または検出された被写体の各々の視差とした
    請求項１乃至４の何れか１項記載の撮影装置。
  6. 前記検出手段により、前記検出対象フレームの前のフレームで検出された被写体が前記検出対象フレームで検出されなかった場合、前記調整手段は、前記検出対象フレームのレンジと前記前のフレームのレンジとの差が前記予め定めた閾値を超えたとみなして、前記検出対象フレームのレンジを調整する
    請求項１乃至５の何れか１項記載の撮影装置。
  7. 前記検出手段により、前記検出対象フレームの前のフレームで検出された被写体が前記検出対象フレームで検出された場合、前記レンジ算出手段は、前記検出手段により検出された被写体のフレーム間の移動量を算出し、該移動量が予め定めた所定移動量を超える被写体を除外して、前記レンジを算出する
    請求項１乃至６の何れか１項記載の撮影装置。
  8. 前記レンジ算出手段は、前記被写体の移動方向が前記撮影手段の光軸方向であって、かつ前記移動量が予め定めた所定移動量を超える被写体を除外する
    請求項７記載の撮影装置。
  9. 前記検出手段により検出する被写体を予め登録しておく登録手段を含み、
    前記レンジ算出手段は、前記登録手段により登録された被写体が前記検出手段により検出された場合に、該登録された被写体を用いて前記レンジを算出する
    請求項１乃至６の何れか１項記載の撮影装置。
  10. 前記検出手段により検出する被写体を予め登録しておく登録手段を含み、
    前記レンジ算出手段は、前記移動量が予め定めた所定移動量を超える被写体であって、かつ前記登録手段により登録されていない被写体を除外して、前記レンジを算出する
    請求項７または８記載の撮影装置。
  11. 前記検出手段により検出する被写体を予め登録しておく登録手段を含み、
    前記レンジ算出手段は、前記登録手段により登録された被写体であれば、前記移動量が予め定めた所定移動量を超える場合でも、前記レンジの算出から除外しない
    請求項７または８記載の撮影装置。
  12. 前記視差量算出手段は、前記検出手段により検出された被写体が１つの場合には、該被写体をクロスポイントとして視差量を算出し、前記検出手段により被写体が検出されなかった場合には、予め定めた所定点をクロスポイントとして視差量を算出する
    請求項１乃至１１の何れか１項記載の撮影装置。
  13. 異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影するように複数の撮影手段の各々を制御する撮影制御ステップと、
    前記複数の撮影手段のいずれか１つにより撮影されたフレームの各々の画像から被写体を検出する検出ステップと、
    前記検出ステップにより複数の被写体が検出された場合に、複数の被写体が検出されたフレームの各々について検出された被写体の各々と前記撮影手段との距離に関する値の最大値と最小値との差で表されるレンジを算出するレンジ算出ステップと、
    前記レンジ算出ステップによりレンジが算出された特定フレームのレンジと、前記特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、前記特定フレームのレンジを調整する調整ステップと、
    レンジと視差量との予め定めた関係に基づいて、前記レンジ算出ステップにより算出されたレンジまたは前記調整ステップにより調整されたレンジに対応する視差量を算出する視差量算出ステップと、
    前記視差量算出ステップにより算出された視差量に基づいて、前記撮影手段の各々により撮影された複数の視点画像からフレームの各々に対応する立体画像を生成する立体画像生成ステップと、
    前記立体画像生成ステップにより生成された立体画像を記録手段に記録するように制御する記録制御ステップと、
    を含み、
    前記検出ステップは、検出対象フレームの前のフレームで検出された被写体が前記検出対象フレームで検出されたか否かを判定することを更に含み、前記判定の結果に基づいて、前記レンジ算出ステップを行うか、又は前記調整ステップを行う、撮影方法。
  14. コンピュータに撮影処理を実行させるプログラムを記憶した持続性のコンピュータ可読記憶媒体であって、前記撮影処理が、前記複数の撮影手段のいずれか１つにより撮影されたフレームの各々の画像から被写体を検出する検出ステップと、
    前記検出ステップにより複数の被写体が検出された場合に、複数の被写体が検出されたフレームの各々について検出された被写体の各々と前記撮影手段との距離に関する値の最大値と最小値との差で表されるレンジを算出するレンジ算出ステップと、
    前記レンジ算出ステップによりレンジが算出された特定フレームのレンジと、前記特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、前記特定フレームのレンジを調整する調整ステップと、
    レンジと視差量との予め定めた関係に基づいて、前記レンジ算出ステップにより算出されたレンジまたは前記調整ステップにより調整されたレンジに対応する視差量を算出する視差量算出ステップと、
    前記視差量算出ステップにより算出された視差量に基づいて、前記撮影手段の各々により撮影された複数の視点画像からフレームの各々に対応する立体画像を生成する立体画像生成ステップと、
    前記立体画像生成ステップにより生成された立体画像を記録手段に記録するように制御する記録制御ステップと、
    を含み、
    前記検出ステップは、検出対象フレームの前のフレームで検出された被写体が前記検出対象フレームで検出されたか否かを判定することを更に含み、前記判定の結果に基づいて、前記レンジ算出ステップを行うか、又は前記調整ステップを行う、記憶媒体。
  15. コンピュータを、
    異なる複数の視点の各々から同一の撮影対象を１フレームずつ連続して撮影する複数の撮影手段のいずれか１つにより撮影されたフレームの各々の画像から被写体を検出する検出手段と、
    前記検出手段により複数の被写体が検出された場合に、複数の被写体が検出されたフレームの各々について検出された被写体の各々と前記撮影手段との距離に関する値の最大値と最小値との差で表されるレンジを算出するレンジ算出手段と、
    前記レンジ算出手段によりレンジが算出された特定フレームのレンジと、前記特定フレームより１つ前または後に撮影されたフレームのレンジとの差が予め定めた閾値を超えた場合に、該差が小さくなるように、前記特定フレームのレンジを調整する調整手段と、
    レンジと視差量との予め定めた関係に基づいて、前記レンジ算出手段により算出されたレンジまたは前記調整手段により調整されたレンジに対応する視差量を算出する視差量算出手段と、
    前記視差量算出手段により算出された視差量に基づいて、前記撮影手段の各々により撮影された複数の視点画像からフレームの各々に対応する立体画像を生成する立体画像生成手段と、
    前記立体画像生成手段により生成された立体画像を記録手段に記録するように制御する記録制御手段と、
    として機能させ、前記検出手段が更に、検出対象フレームの前のフレームで検出された被写体が前記検出対象フレームで検出されたか否かを判定し、前記判定の結果に基づいて、前記レンジ算出手段がレンジの算出を行うか、又は前記調整手段がレンジの調整を行うよう機能させるためのプログラム。
JP2014507463A 2012-03-30 2013-01-22 撮影装置、方法、記憶媒体及びプログラム Expired - Fee Related JP5547356B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2014507463A JP5547356B2 (ja) 2012-03-30 2013-01-22 撮影装置、方法、記憶媒体及びプログラム

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2012082558 2012-03-30
JP2012082558 2012-03-30
PCT/JP2013/051215 WO2013145820A1 (ja) 2012-03-30 2013-01-22 撮影装置、方法、記憶媒体及びプログラム
JP2014507463A JP5547356B2 (ja) 2012-03-30 2013-01-22 撮影装置、方法、記憶媒体及びプログラム

Publications (2)

Publication Number Publication Date
JP5547356B2 true JP5547356B2 (ja) 2014-07-09
JPWO2013145820A1 JPWO2013145820A1 (ja) 2015-12-10

Family

ID=49259106

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014507463A Expired - Fee Related JP5547356B2 (ja) 2012-03-30 2013-01-22 撮影装置、方法、記憶媒体及びプログラム

Country Status (4)

Country Link
US (1) US20140333724A1 (ja)
JP (1) JP5547356B2 (ja)
CN (1) CN104185985A (ja)
WO (1) WO2013145820A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104506841A (zh) * 2014-12-31 2015-04-08 宇龙计算机通信科技(深圳)有限公司 一种多摄像头终端的3d文件制作、播放方法及装置
CN107368491B (zh) * 2016-05-12 2023-07-25 富泰华工业（深圳）有限公司 影像制作系统及方法
CN109564382B (zh) * 2016-08-29 2021-03-23 株式会社日立制作所 拍摄装置以及拍摄方法
CN112954295B (zh) * 2016-09-01 2023-08-04 松下知识产权经营株式会社 多视点摄像系统、三维空间重构系统及三维空间识别系统
JP7294776B2 (ja) * 2018-06-04 2023-06-20 オリンパス株式会社 内視鏡プロセッサ、表示設定方法、表示設定プログラムおよび内視鏡システム
CN110062170B (zh) * 2019-05-29 2021-12-24 维沃移动通信有限公司 图像处理方法、装置、移动终端及存储介质

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02100589A (ja) * 1988-10-07 1990-04-12 Nippon Telegr & Teleph Corp <Ntt> 両眼視差検出方法
JPH1032840A (ja) * 1996-04-05 1998-02-03 Matsushita Electric Ind Co Ltd 多視点画像伝送方法および多視点画像表示方法
WO2011121818A1 (ja) * 2010-03-30 2011-10-06 富士フイルム株式会社 複眼撮像装置、その視差調整方法及びプログラム
WO2012026185A1 (ja) * 2010-08-24 2012-03-01 富士フイルム株式会社 撮像装置およびその動作制御方法
JP2012054862A (ja) * 2010-09-03 2012-03-15 Sony Corp 画像処理装置および画像処理方法
WO2012086298A1 (ja) * 2010-12-24 2012-06-28 富士フイルム株式会社 撮影装置、方法及びプログラム

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6118475A (en) * 1994-06-02 2000-09-12 Canon Kabushiki Kaisha Multi-eye image pickup apparatus, and method and apparatus for measuring or recognizing three-dimensional shape
US6163337A (en) * 1996-04-05 2000-12-19 Matsushita Electric Industrial Co., Ltd. Multi-view point image transmission method and multi-view point image display method
DE69730565T2 (de) * 1996-06-26 2005-02-03 Matsushita Electric Industrial Co., Ltd., Kadoma Gerät zur Erzeugung eines stereoskopischen bewegenden Bildes mittels Computergraphik
US6895181B2 (en) * 2002-08-27 2005-05-17 Olympus Corporation Camera and distance measuring method thereof
KR101311896B1 (ko) * 2006-11-14 2013-10-14 삼성전자주식회사 입체 영상의 변위 조정방법 및 이를 적용한 입체 영상장치
KR101345303B1 (ko) * 2007-03-29 2013-12-27 삼성전자주식회사 스테레오 또는 다시점 영상의 입체감 조정 방법 및 장치
US8390674B2 (en) * 2007-10-10 2013-03-05 Samsung Electronics Co., Ltd. Method and apparatus for reducing fatigue resulting from viewing three-dimensional image display, and method and apparatus for generating data stream of low visual fatigue three-dimensional image
US8509519B2 (en) * 2009-07-29 2013-08-13 Intellectual Ventures Fund 83 Llc Adjusting perspective and disparity in stereoscopic image pairs

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH02100589A (ja) * 1988-10-07 1990-04-12 Nippon Telegr & Teleph Corp <Ntt> 両眼視差検出方法
JPH1032840A (ja) * 1996-04-05 1998-02-03 Matsushita Electric Ind Co Ltd 多視点画像伝送方法および多視点画像表示方法
WO2011121818A1 (ja) * 2010-03-30 2011-10-06 富士フイルム株式会社 複眼撮像装置、その視差調整方法及びプログラム
WO2012026185A1 (ja) * 2010-08-24 2012-03-01 富士フイルム株式会社 撮像装置およびその動作制御方法
JP2012054862A (ja) * 2010-09-03 2012-03-15 Sony Corp 画像処理装置および画像処理方法
WO2012086298A1 (ja) * 2010-12-24 2012-06-28 富士フイルム株式会社 撮影装置、方法及びプログラム

Also Published As

Publication number Publication date
WO2013145820A1 (ja) 2013-10-03
JPWO2013145820A1 (ja) 2015-12-10
CN104185985A (zh) 2014-12-03
US20140333724A1 (en) 2014-11-13

Similar Documents

Publication Publication Date Title
US9332208B2 (en) Imaging apparatus having a projector with automatic photography activation based on superimposition
US9167224B2 (en) Image processing device, imaging device, and image processing method
JP5547356B2 (ja) 撮影装置、方法、記憶媒体及びプログラム
JP5901781B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5901782B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
JP5889441B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US9596455B2 (en) Image processing device and method, and imaging device
JP5901801B2 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP5740045B2 (ja) 画像処理装置及び方法並びに撮像装置
JP5833254B2 (ja) 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
US9288472B2 (en) Image processing device and method, and image capturing device
JPWO2014045689A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法
JP2017041887A (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5564633B2 (ja) 立体画像表示制御装置、これを備える撮像装置、及び立体画像表示制御方法
JPWO2014106916A1 (ja) 画像処理装置、撮像装置、プログラム及び画像処理方法

Legal Events

Date Code Title Description
TRDD Decision of grant or rejection written
A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20140417

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140422

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140514

R150 Certificate of patent or registration of utility model

Ref document number: 5547356

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees