JP5235798B2 - 撮影装置及びその制御方法 - Google Patents

撮影装置及びその制御方法 Download PDF

Info

Publication number
JP5235798B2
JP5235798B2 JP2009147791A JP2009147791A JP5235798B2 JP 5235798 B2 JP5235798 B2 JP 5235798B2 JP 2009147791 A JP2009147791 A JP 2009147791A JP 2009147791 A JP2009147791 A JP 2009147791A JP 5235798 B2 JP5235798 B2 JP 5235798B2
Authority
JP
Japan
Prior art keywords
image
panoramic
subject
shooting
warning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009147791A
Other languages
English (en)
Other versions
JP2011004340A (ja
Inventor
宗之 大島
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2009147791A priority Critical patent/JP5235798B2/ja
Priority to US12/814,996 priority patent/US20100321470A1/en
Priority to CN2010102101780A priority patent/CN101930162A/zh
Publication of JP2011004340A publication Critical patent/JP2011004340A/ja
Application granted granted Critical
Publication of JP5235798B2 publication Critical patent/JP5235798B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B17/00—Details of cameras or camera bodies; Accessories therefor
    • G03B17/18—Signals indicating condition of a camera member or suitability of light
    • G—PHYSICS
    • G03—PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03B—APPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B37/00—Panoramic or wide-screen photography; Photographing extended surfaces, e.g. for surveying; Photographing internal surfaces, e.g. of pipe
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50—Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/58—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/583—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/5838—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using colour
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
    • H04N23/632—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters for displaying or modifying preview images prior to image capturing, e.g. variety of image resolutions or capturing parameters
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/63—Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633—Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/634—Warning indications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/698—Control of cameras or camera modules for achieving an enlarged field of view, e.g. panoramic image capture
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/907—Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • H04N9/8227—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal the additional signal being at least another television signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N2101/00—Still video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/67—Focus control based on electronic image sensor signals
    • H04N23/673—Focus control based on electronic image sensor signals based on contrast or high frequency components of image signals, e.g. hill climbing method

Description

本発明は、複数の視点から被写体を撮影してパノラマ画像を生成する撮影装置及びその制御方法に関するものである。
近年、ＣＣＤイメージセンサなどの固体撮像素子で撮像した被写体光をデジタルの画像データに変換し、内蔵メモリやメモリカードなどの記録媒体に記録するデジタルカメラが普及している。このようなデジタルカメラの１つとして、撮影光学系及び固体撮像素子からなる撮像部を複数備えた複眼撮影装置が良く知られている（特許文献１参照）。
複眼撮影装置は、各撮像部により撮影方向の異なる複数の画像を同時に取得し、各画像を、これら各画像同士が重なり合うオーバーラップ領域で重ね合わせるように合成してパノラマ画像を生成する（特許文献２参照）。
特開平７−６７０２０号公報 特開平１０−１７８５６４号公報
ところで、複眼撮影装置の各撮像部は、同一の被写体を異なる視点から撮像しているので、各撮像部により取得された各画像には視差が生じている。ここで、視差とは、いろいろな定義が可能であるが、例えば、各画像の同じ点（対応点）を表す画素のずれ量である。この視差の大きさは、複眼撮影装置から被写体までの距離が短くなるのに従って大きくなる。このため、各画像のオーバーラップ領域に、複眼撮影装置に極端に近い被写体が含まれていると、視差の影響により、この被写体がずれた状態で２重に表示されるようなパノラマ画像の合成不良が発生する（図１２（Ｂ）参照）。
本発明は上記問題を解決するためのものであり、視差の影響による合成不良の発生を回避することができる撮影装置及びその制御方法を提供することを目的とする。
上記目的を達成するために、本発明の撮影装置は、撮影指示がなされた場合に、パノラマ静止画像を撮影して記録媒体に記録する静止画撮影モードと、記録媒体から読み出されたパノラマ静止画像を表示する再生モードとを有し、撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段と、撮影指示を行うための操作手段と、静止画撮影モード時に撮影指示がなされた場合に、各撮像手段により得られた各撮影画像を合成してパノラマ静止画像を生成する画像合成手段と、撮影待機状態時に、各撮影画像をそれぞれ表示し、再生モード時に記録媒体から読み出されたパノラマ静止画像を表示する表示手段と、各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出手段と、オーバーラップ領域内で、各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定手段と、被写体距離測定手段の測定結果が予め定めたしきい値未満である場合に作動され、画像合成手段により生成されるパノラマ静止画像中の被写体に不具合が生じることを示す警告パターンを、表示手段に表示されている被写体に重ね合わせて表示する警告手段と、静止画撮影モード時に警告手段が作動している場合は、操作手段からの撮影指示を無効にする撮影指示無効手段と、を備えるものである。
また、本発明の撮影装置は、撮影指示がなされた場合に、パノラマ静止画像を撮影して記録媒体に記録する静止画撮影モードと、記録媒体から読み出されたパノラマ静止画像を表示する再生モードとを有し、撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段と、静止画撮影モード時に撮影指示がなされた場合に、各撮像手段により得られた各撮影画像を合成してパノラマ静止画像を生成する画像合成手段と、撮影待機状態時に、各撮影画像をそれぞれ表示し、再生モード時に記録媒体から読み出されたパノラマ静止画像を表示する表示手段と、各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出手段と、オーバーラップ領域内で、各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定手段と、被写体距離測定手段の測定結果が予め定めたしきい値未満である場合に作動され、画像合成手段により生成されるパノラマ静止画像中の被写体に不具合が生じることを示す警告パターンを、表示手段に表示されている被写体に重ね合わせて表示する警告手段と、静止画撮影モード時に警告手段が作動していない場合は、撮影指示を自動的に発する自動撮影制御手段と、を備えるものである。
また、本発明の撮影装置は、撮影指示がなされた場合に、パノラマ静止画像を撮影して記録媒体に記録する静止画撮影モードと、記録媒体から読み出されたパノラマ静止画像を表示する再生モードとを有し、撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段と、静止画撮影モード時に撮影指示がなされた場合に、各撮像手段により得られた各撮影画像を合成してパノラマ画像を生成する画像合成手段と、撮影待機状態時に、各撮影画像をそれぞれ表示し、再生モード時に記録媒体から読み出されたパノラマ静止画像を表示する表示手段と、各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出手段と、オーバーラップ領域内で、各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定手段と、被写体距離測定手段の測定結果が予め定めたしきい値未満である場合に作動され、画像合成手段により生成されるパノラマ静止画像中の被写体に不具合が生じることを示す警告パターンを、表示手段に表示されている被写体に重ね合わせて表示する警告手段と、静止画撮影モード時に警告手段が作動している場合は、画像合成手段により生成されたパノラマ静止画像に対して、当該パノラマ静止画像が不良であることを示す警告情報を付与する警告情報付与手段と、を備えるものである。
再生モード時に、記録媒体から読み出されたパノラマ静止画像に警告情報が付与されている場合には、当該パノラマ静止画像と共に警告情報を表示手段に表示させる第１表示制御手段を備えることが好ましい。また、再生モード時に、警告情報が付与されているパノラマ画像の表示を行わないように表示手段を制御する第２表示制御手段を備えることが好ましい。
また、本発明の撮影装置は、撮影指示がなされた場合に、パノラマ動画像の撮影を行い１つのパノラマ動画像をなす複数のパノラマフレーム画像を記録媒体に記録する動画撮影モードと、記録媒体から読み出された１つのパノラマ動画像をなす複数のパノラマフレーム画像を連続的に表示してパノラマ動画像を再生する再生モードとを有し、撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段と、動画撮影モード時に撮影指示がなされた場合に、各撮像手段によりそれぞれ連続して得られる各フレーム画像同士を合成することによって１つのパノラマ動画像をなす複数のパノラマフレーム画像を連続的に生成する画像合成手段と、撮影待機状態時に、各フレーム画像をそれぞれ表示し、再生モード時に記録媒体から読み出された複数のパノラマフレーム画像を連続的に表示する表示手段と、各フレーム画像から、当該各フレーム画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出手段と、オーバーラップ領域内で、各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定手段と、被写体距離測定手段の測定結果が予め定めたしきい値未満である場合に作動され、画像合成手段により生成されるパノラマフレーム画像中の被写体に不具合が生じることを示す警告パターンを、表示手段に表示されている被写体に重ね合わせて表示する警告手段と、動画撮影モード時に警告手段が作動している場合は、画像合成手段により生成されたパノラマフレーム画像が記録媒体に記録されないように、パノラマフレーム画像の記録媒体への記録を制御する記録制御手段と、を備えるものである。
動画撮影モード時に警告手段が作動している場合は、画像合成手段により生成されたパノラマフレーム画像に対して、当該パノラマフレーム画像が不良であることを示す警告情報を付与する警告情報付与手段を備え、記録制御手段は、動画撮影モード時に警告手段が作動している場合は、記録媒体にパノラマフレーム画像を記録しないことに代えて、警告情報が付与されたパノラマフレーム画像を記録媒体に記録することが好ましい。
また、再生モード時に、記録媒体から読み出されたパノラマフレーム画像に警告情報が付与されている場合には、当該パノラマフレーム画像と共に警告情報を表示手段に表示させる第１表示制御手段を備えることが好ましい。また、再生モード時に、警告情報が付与されているパノラマフレーム画像の表示を行わないように表示手段を制御する第２表示制御手段を備えることが好ましい。また、第２表示制御手段は、表示手段が記録媒体から読み出されたパノラマフレーム画像を連続的に表示する場合、警告情報が付与されているパノラマフレーム画像をスキップするように表示手段を制御することが好ましい。また、警告情報が付与されているパノラマフレーム画像の前後の良好なパノラマフレーム画像から、補間フレーム画像を生成する補間フレーム画像生成手段を備え、第２表示制御手段は、スキップするパノラマフレーム画像の代わりに、補間フレーム画像を表示手段に表示させることも好ましい。
また、被写体距離測定手段は、オーバーラップ領域の画像に基づき、被写体及び各撮像手段をそれぞれ結ぶ各直線と、各撮像手段間を結ぶ直線とがそれぞれなす角度を求めるとともに、求めた角度と既知の各撮像手段間の距離とに基づいて、ステレオ測距の原理により被写体距離を算出することが好ましい。
本発明の撮影装置の制御方法は、静止画撮影モード時に操作手段に対する操作で撮影指示がなされた場合に、各撮像手段より得られた各撮影画像を合成してパノラマ静止画像を生成する画像合成ステップと、撮影待機状態時に、各撮影画像をそれぞれ表示手段に表示する表示ステップと、各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出ステップと、オーバーラップ領域内で、各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定ステップと、被写体距離測定ステップの測定結果が予め定めたしきい値未満である場合に、画像合成ステップにより生成されるパノラマ静止画像中の被写体に不具合が生じることを示す警告パターンを、表示部に表示されている被写体に重ね合わせて表示する警告ステップと、静止画撮影モード時に警告ステップによって警告パターンの表示を行っている場合は、操作手段からの撮影指示を無効にする撮影指示無効ステップと、を有するものである。
また、本発明の撮影装置の制御方法は、静止画撮影モード時に撮影指示がなされた場合に、各撮像手段より得られた各撮影画像を合成してパノラマ静止画像を生成する画像合成ステップと、撮影待機状態時に、各撮影画像をそれぞれ表示手段に表示する表示ステップと、各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出ステップと、オーバーラップ領域内で、各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定ステップと、被写体距離測定ステップの測定結果が予め定めたしきい値未満である場合に、画像合成ステップにより生成されるパノラマ静止画像中の被写体に不具合が生じることを示す警告パターンを、表示部に表示されている被写体に重ね合わせて表示する警告ステップと、静止画撮影モード時に警告手段によって警告パターンの表示を行っていない場合は、撮影指示を自動的に発する自動撮影制御ステップと、を有するものである。
また、本発明の撮影装置の制御方法は、静止画撮影モード時に撮影指示がなされた場合に、各撮像手段より得られた各撮影画像を合成してパノラマ静止画像を生成する画像合成ステップと、撮影待機状態時に、各撮影画像をそれぞれ表示手段に表示する表示ステップと、各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出ステップと、オーバーラップ領域内で、各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定ステップと、被写体距離測定ステップの測定結果が予め定めたしきい値未満である場合に、画像合成ステップにより生成されるパノラマ静止画像中の被写体に不具合が生じることを示す警告パターンを、表示部に表示されている被写体に重ね合わせて表示する警告ステップと、静止画撮影モード時に警告ステップによって警告パターンの表示を行っている場合は、画像合成ステップにより生成されたパノラマ静止画像に対して、当該パノラマ静止画像が不良であることを示す警告情報を付与する警告情報付与ステップと、を有するものである。
また、本発明の撮影装置の制御方法は、動画撮影モード時に撮影指示がなされた場合に、各撮像手段によりそれぞれ連続して得られる各フレーム画像同士を合成することによって１つのパノラマ動画像をなす複数のパノラマフレーム画像を連続的に生成する画像合成ステップと、撮影待機状態時に、各フレーム画像をそれぞれ表示手段に表示する表示ステップと、各フレーム画像から、当該各フレーム画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出ステップと、オーバーラップ領域内で、各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定ステップと、被写体距離測定ステップの測定結果が予め定めたしきい値未満である場合に、画像合成ステップにより生成されるパノラマフレーム画像中の被写体に不具合が生じることを示す警告パターンを、表示部に表示されている被写体に重ね合わせて表示する警告ステップと、動画撮影モード時に警告ステップによって警告パターンの表示を行っている場合は、画像合成手段により生成されたパノラマフレーム画像が記録媒体に記録されないように、パノラマフレーム画像の記録媒体への記録を制御する記録制御ステップと、を有するものである。
本発明の撮影装置及びその制御方法は、複数の撮像手段により得られた各撮影画像を合成してパノラマ画像を形成する前に、各撮影画像のオーバーラップ領域内で各撮像手段に最も近い被写体（最至近被写体）までの被写体距離が所定のしきい値未満である場合、ライブビュー画像中の最至近被写体に警告パターンを重ね合わせて表示するようにしたので、視差の影響によりパノラマ画像が不良になることを警告することができる。また、この場合には、問題となる最至近被写体を容易に判別することができるので、最至近被写体がオーバーラップ領域内に入らないようにフレーミング行うことが容易となり、さらに、この最至近被写体との間に距離をおくようにユーザを促すことができる。その結果、パノラマ画像の不良の発生を回避することができる。
本発明の複眼撮影装置の正面斜視図である。 複眼撮影装置の背面斜視図である。 複眼撮影装置の電気的構成を示すブロック図である。 オーバーラップ領域の検出処理を説明するための説明図である。 ステレオ測距による被写体距離の算出を説明するための説明図である。 パノラマ静止画像ファイルの構成を説明するための説明図である。 パノラマ動画像ファイルの構成を説明するための説明図である。 ＣＰＵの機能ブロック図である。 静止画像の撮影処理の流れを説明するためのフローチャートである。 ＬＣＤに表示されるライブビュー像を説明するための説明図である。 静止画像の再生表示処理の流れを説明するためのフローチャートである。 ＬＣＤに再生表示される静止画像を説明するための説明図である。 ＬＣＤに表示されるＩＮＤＥＸ画像を説明するための説明図である。 動画像の撮影処理の流れを説明するためのフローチャートである。 動画像の再生表示処理の流れを説明するための説明図である。 中間フレームの生成を行う他実施形態における、動画像の再生表示処理の流れを説明するための説明図である。
図１に示すように、複眼撮影装置（複眼カメラ）１０のカメラ本体１１の前面には、左右一対の第１及び第２撮像部１２，１３、ストロボ発光部１４等が設けられている。両撮像部１２，１３は、互いの光軸が略平行または逆ハ字状となるように、所定間隔を隔てて設けられている。カメラ本体１１の上面には、シャッタボタン（操作手段）１５、電源スイッチ１６が設けられている。
図２に示すように、カメラ本体１１の背面には、液晶ディスプレイ（ＬＣＤ）１８、操作部１９が設けられている。ＬＣＤ１８は、撮影待機状態時には電子ビューファインダとして機能し、ライブビュー像（スルー画ともいう）を表示する。なお、ライブビューとは、各撮像部１２，１３（イメージセンサ）で撮像した画像をすぐにＬＣＤ１８に表示することである。また、画像再生時にはメモリカード（記録媒体）２０に記録されている画像データに基づき、ＬＣＤ１８に画像が再生表示される。
操作部１９は、モード切替スイッチ２２、メニューボタン２３、十字キー２４、実行キー２５などから構成されている。モード切替スイッチ２２は、複眼撮影装置１０の動作モードを切り替える際に操作される。動作モードは、広角のパノラマ静止画像を撮影する静止画撮影モード、広角のパノラマ動画像を撮影する動画撮影モード、撮影により得られたパノラマ画像をＬＣＤ１８に再生表示する再生モードがある。
メニューボタン２３は、ＬＣＤ１８にメニュー画面や複眼撮影装置１０の設定画面を表示する際などに操作される。十字キー２４は、メニュー画面や設定画面内に表示されるカーソルを移動する際などに操作される。実行キー２５は、カメラの設定を確定する際などに操作される。
複眼撮影装置１０の設定は、自動撮影設定、撮影操作無効設定、不良フレーム記録禁止設定、不良画像再生禁止設定などがある。自動撮影設定は、撮影により良好なパノラマ静止画像を得られる場合に、シャッタボタン１５の押下操作に関係なく、自動的に撮影を行う設定である。
撮影操作無効設定は、撮影を実行したときに良好なパノラマ静止画像が得られない場合に、シャッタボタン１５の押下操作を無効にする設定である。不良フレーム記録禁止設定は、動画撮影時に得られたパノラマ動画像のフレーム画像（以下、パノラマフレーム画像という）が不良である場合、この不良フレーム画像の記録を禁止する設定である。不良画像再生禁止設定は、画像再生時に再生するパノラマ画像（パノラマ静止画像、パノラマフレーム画像）が不良である場合、このパノラマ画像の再生を禁止する設定である。
カメラ本体１１の底面には、図示は省略するが、メモリカード２０が着脱自在に装填されるカードスロットと、このカードスロットの開口を開閉する装填蓋とが設けられている。
図３に示すように、ＣＰＵ２７は、シャッタボタン１５及び操作部１９からの入力信号に基づき、図示しないＲＯＭから読み出した各種プログラムやデータを逐次実行することで、複眼撮影装置１０の各部を統括的に制御する。
ＳＤＲＡＭ２８は、ＣＰＵ２７が処理を実行するためのワークメモリとして機能する。ＶＲＡＭ２９は、連続した２フィールド画分を記憶するライブビュー用のメモリエリアがあり、表示用の画像データを一時的に記憶する。
第１撮像部１２は、撮影レンズ３１が組み込まれたレンズユニット３２、ＣＣＤイメージセンサ（以下、ＣＣＤという）３３、ＡＦＥ（アナログフロントエンド）３４などから構成される。なお、ＣＣＤの代わりにＭＯＳ型のイメージセンサを用いてもよい。
レンズユニット３２には、図示しないズーム機構、フォーカス機構、絞り装置が組み込まれている。ズーム機構は、撮影レンズ３１を移動してズーミングを行う。フォーカス機構は、撮影レンズ３１に組み込まれたフォーカスレンズを移動してピント合せを行う。絞り装置は、図示しない絞りを調節することで、ＣＣＤ３３に入射する被写体光の強度を調節する。ズーム機構，フォーカス機構，絞り装置は、レンズドライバ３５を介してＣＰＵ２７によって動作制御される。
撮影レンズ３１の背後には、多数のフォトダイオードが受光面に並べられたＣＣＤ３３が配置され、撮影レンズ３１からの被写体光を電気的な撮像信号に変換して出力する。ＣＣＤ３３には、ＣＰＵ２７によって制御されるＣＣＤドライバ３６が接続されている。ＣＣＤドライバ３６は、ＴＧ（Timing Generator）３７からの同期パルスによって駆動され、ＣＣＤ３３の電荷蓄積時間と電荷読み出し転送タイミングを制御する。
ＣＣＤ３３から出力された撮像信号は、ＡＦＥ３４に入力される。ＡＦＥ３４は、ＣＤＳ（相関二重サンプリング）回路、ＡＧＣ（自動ゲイン調整アンプ）、Ａ／Ｄ変換器から構成され、ＴＧ３７からの同期パルスが入力されることで、ＣＣＤ３３の電荷読み出し転送動作と同期して作動する。ＣＤＳ回路は、相関二重サンプリングを行って撮像信号からノイズを除去する。ＡＧＣ回路は、ＣＰＵ２７によって設定される撮影感度に応じたゲインで撮像信号を増幅する。Ａ／Ｄ変換器は、ＡＧＣ回路からのアナログの撮像信号をデジタル画像信号（以下、左画像信号という）に変換し、変換した左画像信号を画像入力コントローラ３９へ送る。
第２撮像部１３は、第１撮像部１２と同じ構成であり、レンズユニット４１、ＣＣＤ４２、ＡＦＥ４３、レンズドライバ４４、ＣＣＤドライバ４５、ＴＧ４６などから構成され、右画像信号を画像入力コントローラ３９へ送る。
ＣＰＵ２７には、バス４８を介して、ＳＤＲＡＭ２８、ＶＲＡＭ２９、画像入力コントローラ３９、信号処理回路４９、ＡＦ検出回路５０、ＡＥ／ＡＷＢ検出回路５１、オーバーラップ領域検出回路（以下、単に領域検出回路という）５２、被写体距離演算回路５３、画像処理回路５４、表示回路５５、圧縮・伸張処理回路５６、メディアコントローラ５７等が接続されている。
画像入力コントローラ３９は、所定容量のバッファを有しており、第１及び第２撮像部１２，１３からそれぞれ出力された左右画像信号を蓄積し、それぞれ１フレーム分の左右画像信号が蓄積されたときに、１フレーム分の画像に対応する左右画像信号を信号処理回路４９へ送る。
信号処理回路４９は、画像入力コントローラ３９からの左右画像信号に対して階調変換、ホワイトバランス補正、γ補正処理、ＹＣ変換処理などの各種処理を施すことで、それぞれ１フレームの画像に対応する左右画像データを生成し、これらをＶＲＡＭ２９に記憶する。
ＡＦ検出回路５０は、画像入力コントローラ３９からの左右画像信号に基づき、左右画像ごとにコントラストを評価したＡＦ評価値を算出する。ＣＰＵ２７は、ＡＦ検出回路５０からのＡＦ評価値に基づき、レンズドライバ３５，４４を制御して、撮影レンズ３１のピント調節を行う。
ＡＥ／ＡＷＢ検出回路５１は、左右画像信号に基づき、被写体輝度の検出と、ホワイトバランス補正に用いられるＷＢ評価値の算出とを行う。ＣＰＵ２７は、ＡＥ／ＡＷＢ検出回路５１からの被写体輝度情報に基づき、レンズドライバ３５，４４やＣＣＤドライバ３６，４５を制御して、露出制御を行う。また、ＣＰＵ２７は、ＡＥ／ＡＷＢ検出回路５１からのＷＢ評価値に基づき、被写体像のホワイトバランスが適正となるように、信号処理回路４９を制御する。
図４に示すように、領域検出回路５２は、ＶＲＡＭ２９に記憶された左画像データに基づく左画像と、右画像データに基づく右画像とが互いに重なり合うオーバーラップ領域（図中太線で囲まれた領域）５９を検出する。オーバーラップ領域５９は、各撮像部１２，１３の間隔、ズーム倍率などによって一義的に決まる。これらパラメータのうち、各撮像部１２，１３の間隔は固定値である。このため、領域検出回路５２には、ズーム倍率を変化させた際のオーバーラップ領域５９の範囲を示すデータを予め記憶したＲＯＭ（図示せず）が設けられている。領域検出回路５２は、ズーム倍率に基づき、ＲＯＭを参照して左右画像データのオーバーラップ領域５９を決定する。なお、オーバーラップ領域５９を求める方法は、上述の方法に限定されるものではなく、各種方法を用いてよい。
被写体距離演算回路５３は、複眼撮影装置１０からオーバーラップ領域５９に含まれる被写体までの被写体距離を算出する。具体的に、被写体距離演算回路５３は、オーバーラップ領域５９内の全画素について、個々の画素に対応する被写体上の点までの被写体距離をステレオ測距の原理を用いて算出する。以下、図５を用いてステレオ測距の原理を説明する。
図５において、実空間を表す座標として（ｘ，ｙ，ｚ）を用い、画像面［２台のカメラ（第１及び第２撮像部１２，１３に相当）の撮像面］上の位置を示す座標としてＸ，Ｙを用いる。ただし、２台のカメラを区別するために、左カメラの画像面上の位置を示す座標として（ＸＬ ，ＹＬ ）を用い、右カメラの画像面上の位置を表す座標として，（ＸＲ ，ＹＲ ）を用いる。ｘ軸とＸＡ 軸、ｘ軸とＸＢ 軸、ｙ軸とＹＡ 軸、ｙ軸とＹＢ 軸は互いに平行であり、ｚ軸と左右カメラの光軸とは平行であるとする。実空間上における座標系の原点を左右カメラの主点の中点Ｃにとり、主点間の距離を基線長と呼び、その長さを２ａで表す。また、主点と画像面との距離（焦点距離）をｆで表す。
また、実空間上の点ｐが左画像面上の点ＰＬ （ＸＬ ，ＹＬ ）、右画像面上のＰＲ （ＸＲ ，ＹＲ ）にそれぞれ投影されたとする。ステレオ測距では、画像面における点ＰＬ 、ＰＲ を決定し、３角測量の原理で点ｐの実空間上の座標（ｘ，ｙ，ｚ）を求める。ここでは、左右カメラの光軸が同一平面上にあり、ｘ軸とＸＡ ，ＸＢ 軸を平行にとっていることから、ＹＬ とＹＲ は同じ値をとる。画像面上の座標（ＸＬ ，ＹＬ ）、（ＸＲ ，ＹＲ ）と実空間内の座標（ｘ，ｙ，ｚ）との関係は、下記式（１）あるいは式（２）のいずれかの式で求められる。なお、ｄ=ＸＬ −ＸＲ は視差を示す。
式（１）
Figure 0005235798
式（２）
Figure 0005235798
ａ＞０であるので、式（２）から、ＸＬ ＞ＸＲ かつＹＬ ＝ＹＲ となる。これは、一方の画像面上の１点に対応する他方の画像面上での対応点は、エピポーラ線Ｅである同じ走査線上、かつＸＬ ＞ＸＲ の範囲に存在することを表す。従って、一方の画像面の１点に対応した他方の画像面上の点は、対応点が存在する可能性のある直線上における小領域についてのみ画像の類似性を評価した結果に基づき、検出すればよい。つまり、通常の対応点検出では、オーバーラップ全領域に対して探索（類似性の評価）を行うが、今回のようにカメラの光軸が平行である場合、探索範囲を限定することができる。このように、２つのカメラを用いることにより、点ｐの座標（ｘ，ｙ，ｚ）が求められるので、撮影対象までの被写体距離を求めることができる。
図３に戻って、被写体距離演算回路５３は、オーバーラップ領域５９内の全画素について、それぞれステレオ測距を行い、被写体距離を求めた後、各画素の位置座標と被写体距離との関係を示す被写体距離データを生成する。
画像処理回路５４は、画像合成処理部６１とパターン重ね合わせ処理部（以下、単に重ね合わせ処理部という）６２とを備えている。画像合成処理部６１は、撮影指示がなされた時に、ＶＲＡＭ２９に格納されている左右画像データをオーバーラップ領域５９で重ね合わせるように合成して、１つのパノラマ画像データ（図１２参照）を生成する。なお、パノラマ画像データを生成する方法は、例えば、特開平９−９１４０７号公報などに記載されている方法が知られている。
重ね合わせ処理部６２は、本発明の警告手段に相当するものであり、画像合成処理部６１によるパノラマ画像データの生成が実行されたときに、パノラマ画像データの合成不良が発生するおそれがある場合に作動する。パノラマ画像データの合成不良とは、複眼撮影装置１０から十分に離れている被写体（風景など）でマッチングをとって合成した場合、オーバーラップ領域５９内にある、複眼撮影装置１０に極端に近い被写体が、視差の影響により２重に表示されたり、消失してしまうことである（図１２（Ｂ）参照）。重ね合わせ処理部６２は、ＶＲＡＭ２９に格納されている左右画像データに、警告用のゼブラパターン（図１０参照）を重ね合わせる重ね合わせ処理を実行する。ゼブラパターンは、オーバーラップ領域５９内で最も複眼撮影装置１０に近い被写体（以下、最至近被写体という）に重ね合わせられる。
圧縮・伸張処理回路５６は、画像合成処理部６１から送られる非圧縮のパノラマ画像データに圧縮処理を行い、所定のファイル形式の圧縮パノラマ画像データを生成する。また、圧縮・伸張処理回路５６は、画像再生時にはメモリカード２０に記録された圧縮パノラマ画像データに伸張処理を行い、非圧縮のパノラマ画像データを生成する。メディアコントローラ５７は、メモリカード２０に対するパノラマ画像データの記録、及び読み出しを制御する。
パノラマ静止画像の画像ファイルは、例えばＥｘｉｆに準拠したＪＰＥＧ形式である。また、パノラマ動画像の画像ファイルは、例えば１フレーム毎のＪＰＥＧ画像がまとめられたＭｏｔｉｏｎ ＪＰＥＧ形式である。
図６に示すように、パノラマ静止画像ファイル６４のＥｘｉｆヘッダ６５には、付帯情報が格納されている。付帯情報には、撮影日、撮影機種名、サムネイル画像、最短被写体距離情報、合成不良警告情報などが含まれる。最短被写体距離情報は、最至近被写体までの被写体距離を表す。合成不良警告情報は、パノラマ画像データの合成不良が発生している場合に付帯される。
図７に示すように、パノラマ動画像ファイル６６の先頭には撮影日、撮影機種情報、サムネイル画像などが格納されたファイルヘッダ６７が設けられ、続いてパノラマ動画像ファイル６６を構成するパノラマフレーム画像データが一定時間毎に格納される。また、各画像データには、上述の最短被写体撮影距離や合成不良警告情報などを含む付帯情報が付帯されている。この付帯情報はフレームヘッダ６８に格納される。合成不良警告情報は、合成不良を起こしたパノラマフレーム画像データに付帯される。
図３に戻って、表示回路５５は、ＶＲＡＭ２９からの左右画像データまたは圧縮・伸張処理回路７６で伸張された非圧縮パノラマ画像データに対し所定の信号処理を施して画像表示用の信号を生成し、これを一定のタイミングでＬＣＤ１８へ出力する。これにより、ＬＣＤ１８には、静止画及び動画撮影モード時に、各撮像部１２，１３で撮像されたライブビュー像（左ライブビュー像、右ライブビュー像）がリアルタイムに２画面表示される（図１０参照）。また、ＬＣＤ１８には、再生モード時に、メモリカード２０から読み出されたパノラマ静止画像あるいは動画像が再生表示される。
表示回路５５には、インジケータ表示部７０と、枠表示部７１と、警告マーク表示部（第１表示制御手段）７２とが設けられている。インジケータ表示部７０は、上述の被写体距離データからリアルタイムで求められた最短被写体距離情報、あるいはパノラマ画像データに付帯されている最短被写体距離情報に基づき、最短被写体距離を示すインジケータ７３（図１０、図１２参照）をＬＣＤ１８のインジケータ表示領域に表示する。
枠表示部７１は、領域検出回路５２の検出結果に基づき、オーバーラップ領域５９を示す枠７４（図１０参照）をそれぞれ左右ライブビュー像に重ねてＬＣＤ１８に表示する。また、枠表示部７１は、最短被写体距離が所定のしきい値以上となる場合には枠７４を青色で表示するとともに、しきい値未満となる場合には枠７４を赤色で表示する。
警告マーク表示部７２は、再生モード時において、圧縮・伸張処理回路７６からの非圧縮パノラマ画像データに合成不良警告情報が付帯されている場合に作動する。警告マーク表示部７２は、合成不良が発生していること示す合成不良警告マーク（以下、単に警告マークという、図１２参照）７５を、ＬＣＤ１８の警告マーク表示領域に表示する。
図８に示すように、ＣＰＵ２７は、ＲＯＭから読み出した各種プログラムやデータを逐次実行することで、最短被写体距離特定部７７、合成不良警告制御部７８、撮影制御部７９、記録制御部８０、再生制御部８１として機能する。
最短被写体距離特定部７７は、被写体距離演算回路５３とともに本発明の被写体距離測定手段を構成するものであり、被写体距離演算回路５３から取得した被写体距離データに基づき、最短被写体距離を特定する。最短被写体距離は、例えば、被写体距離データに含まれる被写体距離の中で最小値を選択してもよい。また、被写体距離データに含まれる各画素の位置座標及び被写体距離に基づき、最至近被写体を構成する画素を特定し、特定した各画素における被写体距離の平均値として求めてもよい。
合成不良警告制御部７８は、最短被写体距離特定部７７が特定した最短被写体距離が所定のしきい値未満となる場合、ＶＲＡＭ２９に記録されている左右画像の最至近被写体にゼブラパターンが重ね合わせられるように、重ね合わせ処理部６２を制御する。
撮影制御部７９は、本発明の自動撮影制御手段及び撮影指示無効手段に相当するものであり、静止画撮影に係る制御を行う。撮影制御部７９は、上述の自動撮影設定がＯＮされ、かつ最短被写体距離がしきい値以上である場合に、シャッタボタン１５の押下操作に関係なく自動的に撮影指示を発行する。また、撮影制御部７９は、上述の撮影操作無効設定がＯＮされ、かつ最短被写体距離がしきい値未満である場合に、シャッタボタン１５の押下操作によりなされた撮影指示を無効にする。
記録制御部８０は、本発明の警告情報付与手段及び記録制御手段に相当するものであり、パノラマ画像データの圧縮伸張処理、付帯情報の格納、及び圧縮画像データのメモリカード２０への記録に係る制御を行う。記録制御部８０は、合成不良を起こしたパノラマ画像データ（以下、不良画像データという）に合成不良警告情報が付帯されるように、圧縮・伸張処理回路５６を制御する。また、記録制御部８０は、動画撮影モード時に不良フレーム記録禁止設定がＯＮされている場合、不良フレーム画像データの記録を行わないように、圧縮・伸張処理回路５６及びメディアコントローラ５７を制御する。
再生制御部８１は、本発明の第２表示制御手段に相当するものであり、表示回路５５によるパノラマ静止画像やパノラマ動画像の再生表示を制御する。再生制御部８１は、不良画像再生禁止設定がＯＮされている場合、合成不良警告情報が付帯されているパノラマ画像データの再生表示を行わないように、表示回路５５を制御する。
次に、図９のフローチャートを用いて複眼撮影装置１０のパノラマ静止画像撮影処理について説明する。電源スイッチ１６をＯＮすると、ＣＰＵ２７がＲＯＭから制御プログラムをロードし、複眼撮影装置１０の動作制御を開始する。次いで、操作部１９のメニューボタン２３、十字キー２４、実行キー２５などを用いて複眼撮影装置１０の設定操作を行うと、自動撮影設定、撮影操作無効設定、不良フレーム記録禁止設定、不良画像再生禁止設定がそれぞれＯＮまたはＯＦＦされる。
パノラマ静止画像の撮影を行う場合には、モード切替スイッチ２２を静止画撮影モードに設定する。各撮像部１２，１３の撮影レンズ３１を介して入射された被写体光は、ＣＣＤ３３，４２において光電変換され、さらにＡＦＥ３４，４３においてデジタル画像信号に変換される。各撮像部１２，１３から出力された左右画像信号は、画像入力コントローラ３９を介して信号処理回路４９に送られて各種の画像処理を施される。こうして１フレーム分の左右画像データがＶＲＡＭ２９に記録される。
左右画像データの記録後、ＣＰＵ２７は、領域検出回路５２に対してオーバーラップ領域検出指令を発する。この検出指令を受けて、領域検出回路５２は、ＶＲＡＭ２９に記録された左右画像データのオーバーラップ領域５９を検出し、この検出結果をＣＰＵ２７に送る。ＣＰＵ２７は、オーバーラップ領域検出結果を受けて、被写体距離演算回路５３に対してオーバーラップ領域検出結果を送るとともに、被写体距離算出指令を発する。
被写体距離演算回路５３は、被写体距離算出指令を受けて、上述の図５を用いて説明したように、左右画像データとオーバーラップ領域検出結果に基づき、オーバーラップ領域５９内の各画素毎にそれぞれ被写体距離を求めて、被写体距離データを生成する。被写体距離演算回路５３は、生成した被写体距離データをＣＰＵ２７に送る。
ＣＰＵ２７の最短被写体距離特定部７７は、被写体距離演算回路５３から入力された被写体距離データに基づき最短被写体距離を特定し、最短被写体距離情報を合成不良警告制御部７８に送る。合成不良警告制御部７８は、最短被写体距離特定部７７から取得した最短被写体距離情報と、しきい値とを比較する。
［最短被写体距離≧しきい値］
最短被写体距離がしきい値以上の場合、ＣＰＵ２７は、表示回路５５に対してオーバーラップ領域検出結果及び最短被写体距離情報を送るとともに、ライブビュー像表示指令を発する。表示回路５５は、ライブビュー像表示指令を受けて、ＶＲＡＭ２９から左右画像データを読み出し、左右ライブビュー像をＬＣＤ１８に表示させる。
図１０（Ａ）に示すように、ＬＣＤ１８に左右ライブビュー像が２画面表示される。この際に、インジケータ表示部７０は、ＣＰＵ２７から取得した最短被写体距離情報に基づき、インジケータ７３をインジケータ表示領域に表示する。インジケータ７３には、最短被写体距離を示す被写体距離バー７３ａと、しきい値を示すしきい値バー７３ｂとが表示される。また、枠表示部７１は、ＣＰＵ２７から取得したオーバーラップ領域検出結果に基づき、オーバーラップ領域５９を示す青色（黒色ベタ塗りで表示）の枠７４をそれぞれ左右ライブビュー像に重ね合わせて表示する。これにより、ＬＣＤ１８の表示画面で最短被写体距離、及びこの最短被写体距離がしきい値未満か否かを確認しながらフレーミングを行うことができる。
図９に戻って、自動撮影設定がＯＦＦされている場合、シャッタボタン１５の半押し操作に応答して、ＡＦ検出回路５０及びＡＥ／ＡＷＢ検出回路５１が作動して焦点制御や露出制御などの撮影準備処理が行われ、撮影準備状態となる。
撮影準備の完了後、シャッタボタン１５の全押し操作に応答して被写体の撮影が実行される。ＣＣＤ３３，４２からそれぞれ１フレーム分の画像信号が読み出され、ＡＦＥ３４，４３及び信号処理回路４９にて所定の信号処理が施され、左右画像データがＶＲＡＭ２９に記録される。その後、ＣＰＵ２７は、画像合成処理部６１に対して画像合成指令を発する。
画像合成処理部６１は、画像合成指令を受けて、ＶＲＡＭ２９から左右画像データを読み出して合成し、パノラマ静止画像データを形成する。その後、パノラマ静止画像データは圧縮・伸張処理回路５６に送られる。圧縮・伸張処理回路５６は、記録制御部８０からの圧縮指令を受けて、パノラマ静止画像データに対して、ＪＰＥＧ形式に従いデータ圧縮処理を施す。圧縮画像データ（パノラマ静止画像ファイル６４）は、メディアコントローラ５７を経由してメモリカード２０へ記録される。
自動撮影設定がＯＮされている場合、撮影制御部７９は、複眼撮影装置１０の各部に対して撮影指示を発する。この撮影指示を受けて、撮影準備処理、ＣＣＤ３３，４２からの画像信号の読み出し、各種信号処理、左右画像データのＶＲＡＭ２９への記録、パノラマ静止画像データの生成及び圧縮、圧縮画像データ（パノラマ静止画像ファイル６４）のメモリカード２０への記録が順番に実行される。このように自動撮影設定がＯＮされている場合は、良好なパノラマ画像だけをメモリカード２０に記録することができる。
［最短被写体距離＜しきい値］
一方、最短被写体距離がしきい値未満の場合、合成不良警告制御部７８は、最初に、被写体距離データに含まれる各画素の位置座標及び被写体距離などに基づき、最至近被写体を構成する画素を特定する。例えば、最至近被写体が木である場合、この木を構成する画素の被写体距離αは、ほぼ同じ大きさになる。これに対して、最至近被写体の後方にある被写体（図１０中の山や家など）を構成する画素の被写体距離βは、αよりもはるかに大きい値となるので、木を構成する画素を特定することができる。次いで、合成不良警告制御部７８は、重ね合わせ処理部６２に対して、特定した各画素の位置座標データを送るとともに、重ね合わせ処理指令を発する。
重ね合わせ処理部６２は、重ね合わせ処理指令を受けて、ＶＲＡＭ２９に格納されている左右画像データを読み出す。次いで、重ね合わせ処理部６２は、合成不良警告制御部７８から取得した位置座標データに基づき、左右画像データにそれぞれ重ね合わせ処理を施して、最至近被写体を構成する画素領域にゼブラパターンを重ね合わせる。重ね合わせ処理が施された左右画像データは、ＶＲＡＭ２９に再度記録される。
重ね合わせ処理の終了後、ＣＰＵ２７は、表示回路５５に対して、オーバーラップ領域検出結果及び最短被写体距離情報を送るとともに、ライブビュー像表示指令を発して、左右ライブビュー像をＬＣＤ１８に表示させる。
図１０（Ｂ）に示すように、ＬＣＤ１８には、左右画像の最至近被写体がゼブラパターンで表示される。また、インジケータ７３の被写体距離バー７３ａが、しきい値よりも値が小さくなる位置で表示されるとともに、枠７４が赤色（網掛け処理で表示）で表示される。これにより、撮影を実行したときに、パノラマ画像データの合成不良が発生することを警告することができる。このため、最至近被写体がオーバーラップ領域５９内に入らないようにフレーミングを行う、あるいは最至近被写体から離れるように、ユーザを促すことができる。その結果、視差の影響による合成不良の発生を回避することができる。
図９に戻って、撮影操作無効設定がＯＮされている場合、シャッタボタン１５が押下されたとしても、撮影制御部７９は、シャッタボタン１５からの撮影指示を無効化する。これにより、合成不良の発生を防止することができ、さらに不良画像データのメモリカード２０への記録が防止される。
撮影操作無効設定がＯＦＦされている場合、シャッタボタン１５の半押し操作に応答して撮影準備処理が行われ、さらにシャッタボタン１５の全押し操作に応答して被写体の撮影が実行される。これにより、上述したようにパノラマ静止画像データが生成される。
パノラマ静止画像データの生成後、記録制御部８０は、圧縮・伸張処理回路５６に対して圧縮指令及び警告情報付与指令を発する。圧縮・伸張処理回路５６は、圧縮指令を受けて、圧縮画像データを生成するとともに、警告情報付与指令を受けて、圧縮画像データのＥｘｉｆヘッダ６５に合成不良警告情報を記録する。圧縮画像データ（パノラマ静止画像ファイル６４）は、メディアコントローラ５７を経由してメモリカード２０へ記録される。以下、静止画撮影モードが終了するまで、上述の処理が繰り返し実行される。
［再生モード（パノラマ静止画像）］
図１１に示すように、メモリカードに記録されたパノラマ静止画像の再生表示を行う場合には、モード切替スイッチ２２を再生モードに設定する。再生モードが設定されると、ＣＰＵ２７からのサムネイル画像表示指令に応じて、メモリカード２０から、各圧縮画像データのサムネイル画像が読み出されて表示回路５５へ送られる。これにより、ＬＣＤ１８に、各画像データのサムネイル画像を順番に並べたＩＮＤＥＸ画像が表示される。
十字キー２４や実行キー２５を操作して再生すべき画像が選択されると、ＣＰＵ２７からの画像読出し指令に応じて、選択した圧縮画像データが、メディアコントローラ５７を介して、メモリカード２０から圧縮・伸張処理回路５６へ送られる。圧縮・伸張処理回路５６は、ＣＰＵ２７からの伸張指令を受けて、圧縮画像データを非圧縮のパノラマ静止画像データに変換し、変換したパノラマ静止画像データを表示回路５５へ送る。
再生制御部８１は、パノラマ静止画像データに合成不良警告情報が付帯されていない場合、あるいは、合成不良警告情報が付帯されているが、不良画像再生禁止設定がＯＦＦされている場合、表示回路５５に対して再生表示指令を発する。表示回路５５は、ＣＰＵ２７からの再生表示指令を受けて、パノラマ静止画像をＬＣＤ１８に表示させる。
図１２（Ａ）に示すように、合成不良警告情報が付帯されていないパノラマ静止画像データの場合、ＬＣＤ１８には良好なパノラマ静止画像が表示される。また、インジケータ表示部７０は、パノラマ静止画像データに付帯されている最短被写体距離情報に基づき、インジケータ７３をインジケータ表示領域に表示する。
（Ｂ）に示すように、合成不良警告情報が付帯されている不良画像データの場合、パノラマ静止画像内の最至近被写体がゼブラパターンで表示される。また、警告マーク表示部７２により、警告マーク７５がＬＣＤ１８の警告マーク表示領域に表示される。これにより、不良画像であることが容易に判別可能となる。
図１１に戻って、再生制御部８１は、パノラマ静止画像データに合成不良警告情報が付帯されており、さらに不良画像再生禁止設定がＯＮされている場合、表示回路５５に対してエラーメッセージ表示指令を発する。表示回路５５は、ＣＰＵ２７からのエラーメッセージ表示指令を受けて、例えば「合成不良が発生しています。」といったエラーメッセージをＬＣＤ１８に表示させる。これにより、不良画像を見る時間を削減することができるので、効率的な画像視聴を行うことができる。
以下、再生モードが設定されている間、再生すべき画像の選択操作がなされる度に、上述の処理が繰り返し実行される。
なお、図１３に示すように、ＬＣＤ１８に、各圧縮画像データのサムネイル画像８５を順番に並べたＩＮＤＥＸ画像８６を表示する際に、合成不良警告情報が付帯されている画像データのサムネイル画像８５に警告マーク８７を重ねて表示してもよい。これにより、良好なパノラマ静止画像だけを選択することができるので、効率的な画像視聴を行うことができる。
次に図１４のフローチャートを用いて複眼撮影装置１０のパノラマ動画像撮影処理について説明する。モード切替スイッチ２２を動画撮影モードに設定すると、上述のパノラマ静止画像撮影処理で説明したように、ＬＣＤ１８に左右ライブビュー像が２画面表示される。この状態でシャッタボタン１５が全押しされるとパノラマ動画像の撮影が開始され、一定のフレームレート（例えば、３０フレーム／秒）で被写体の撮影が開始される。撮影により得られた左右フレーム画像データは、順次ＶＲＡＭ２９に取り込まれる。
上述のパノラマ静止画像撮影処理と同様に、新たな左右フレーム画像データがＶＲＡＭ２９に取り込まれる度に、オーバーラップ領域５９の検出処理、被写体距離の算出処理、最短被写体距離の特定処理、最短被写体距離がしきい値未満であるか否かの判定処理が順番に実行される。この判定処理で最短被写体距離がしきい値以上となった場合、ＣＰＵ２７からの指令に基づき、画像合成処理部６１は、判定処理済みの左右フレーム画像データからパノラマフレーム画像データを生成して圧縮・伸張処理回路５６へ送る。
一方、最短被写体距離がしきい値未満となった場合、ＣＰＵ２７からの指令に基づき、重ね合わせ処理部６２は、左右フレーム画像データに対してゼブラパターンの重ね合わせ処理を施すとともに、画像合成処理部６１は、重ね合わせ処理済みの左右フレーム画像データからパノラマフレーム画像データを生成して圧縮・伸張処理回路５６に送る。圧縮・伸張処理回路５６は、記録制御部８０からの圧縮指令を受けて、画像合成処理部６１から逐次入力されるパノラマフレーム画像データに対してデータ圧縮処理を逐次施す。
この際に、記録制御部８０は、データ圧縮処理を施すパノラマフレーム画像データが不良フレーム画像データであり、かつ不良フレーム記録禁止設定がＯＦＦされている場合、圧縮・伸張処理回路５６に対して警告情報付与指令を発する。圧縮・伸張処理回路５６は、警告情報付与指令を受けて、不良フレーム画像データのフレームヘッダ６８に合成不良警告情報を記録する。データ圧縮処理が施された圧縮フレーム画像データは、メモリカード２０に所定のファイル形式（図７参照）で逐次記録される。
また、記録制御部８０は、パノラマフレーム画像データが不良フレーム画像データであり、かつ不良フレーム記録禁止設定がＯＮされている場合、圧縮・伸張処理回路５６及びメディアコントローラ５７に対してスキップ指令を発する。圧縮・伸張処理回路５６及びメディアコントローラ５７は、スキップ指令を受けて、不良フレーム画像データのメモリカード２０への記録を行わない。これにより、メモリカード２０の記録容量の無駄な消費が防止される。なお、不良フレーム記録禁止設定がＯＮされている場合は、最短被写体距離がしきい値未満であると判定された時点で左右フレーム画像データを削除してもよい。
以下、シャッタボタン１５が再度全押しされて、パノラマ動画像撮影処理が終了するまで、上述の各処理が繰り返し実行される。１回の動画撮影で得られた各圧縮フレーム画像データは、上述したように、１つのパノラマ動画像ファイル６６としてメモリカード２０に記録される。
［再生モード（パノラマ動画像）］
メモリカード２０に記録されたパノラマ動画像の再生表示を行う場合には、モード切替スイッチ２２を再生モードに設定する。再生モードが設定されると、上述のパノラマ静止画像再生表示時と同様にして、ＬＣＤ１８に、各パノラマ動画像ファイル６６のサムネイル画像を順番に並べたＩＮＤＥＸ画像が表示される。
十字キー２４などを操作して再生すべき画像が選択されると、ＣＰＵ２７からの画像読出し指令に応じて、選択したパノラマ動画像ファイル６６を構成する圧縮フレーム画像データがメモリカード２０から読み出されて、圧縮・伸張処理回路５６に逐次送られる。圧縮・伸張処理回路５６は、ＣＰＵ２７からの伸張指令を受けて、圧縮フレーム画像データを非圧縮のパノラマフレーム画像データに逐次変換して表示回路５５に出力する。
再生制御部８１は、不良画像再生禁止設定がＯＦＦされている場合、パノラマフレーム画像データが表示回路５５に入力される度に、表示回路５５に対して再生表示指令を行う。
図１５（Ａ）に示すように、表示回路５５は、再生制御部８１からの再生表示指令を受けて、パノラマフレーム画像をＬＣＤ１８に連続的に表示させる。この際に、警告マーク表示部７２は、パノラマフレーム画像データに合成不良警告情報が付帯されている場合、警告マーク８８を不良フレーム画像（図中第３フレーム及び第４フレーム）に重ね合わせて表示させる。
一方、再生制御部８１は、パノラマフレーム画像データに合成不良警告情報が付帯されており、さらに不良画像再生禁止設定がＯＮされている場合、この不良フレーム画像データが表示回路５５に入力されたときに、表示回路５５に対してスキップ指令を行う。
図１５（Ｂ）に示すように、表示回路５５は、スキップ指令を受けて、不良フレーム画像データの再生表示をスキップする。これにより、例えば、第３及び第４フレームの画像データが不良フレーム画像データであった場合、ＬＣＤ１８に、第２フレームの画像が再生表示された後、第３及び第４フレームの画像をスキップして、第５フレームの画像が再生表示される。これにより、不良画像を見る時間を削減することができる。
以下、再生モードが設定されている間、再生すべき動画像ファイルの選択操作がなされる度に、上述の処理が繰り返し実行される。
次に本発明の第２実施形態について説明を行う。第２実施形態では、動画再生時に不良フレーム画像の再生表示をスキップする際に、この不良フレーム画像の代わりに中間フレーム（補間フレーム）画像を生成してＬＣＤ１８に表示する。なお、第２実施形態において、上記第１実施形態と機能・構成上同一のものについては、同一符号を付してその説明は省略する。
図１６に示すように、圧縮・伸張処理回路５６には、中間フレーム生成回路（補間フレーム画像生成手段）８９が接続されている。中間フレーム生成回路８９は、動画像再生時に不良画像再生禁止設定がＯＮされ、かつ圧縮・伸張処理回路５６により伸張されたパノラマフレーム画像データが不良フレーム画像データである場合に作動する。中間フレーム生成回路８９は、不良フレーム画像データの前後の良好なパノラマフレーム画像データから、中間フレーム画像データを生成する。
例えば、中間フレーム生成回路８９は、前後の良好なパノラマフレーム画像データを解析し、人物、建造物または車などの主要被写体の輪郭を特徴点として抽出する。次いで、特徴点の重複する部分が共通の主要被写体であると判定し、前フレーム画像と後フレーム画像の主要被写体の座標の平均をとることで、中間フレーム画像における主要被写体の座標を算出する。そして、前後のパノラマフレーム画像データから、主要被写体の周辺部の画像を合成して、中間フレーム画像データを生成する。
生成された中間フレーム画像データは、不良フレーム画像データに置き換えて、表示回路５５へ出力される。例えば、第３及び第４フレームの画像データが不良フレーム画像データであった場合、第２及び第５フレームの画像データ９０，９１から中間フレーム画像データ９２が生成されて表示回路５５へ出力される。このため、ＬＣＤ１８には、第２フレームの画像が表示された後、第２及び第３フレームの画像の代わりに、中間フレーム画像が表示される。これにより、フレームスキップによる動解像度の低下を抑制することができる。また、フレームの欠落によるブラックアウトを回避することができる。
上記第１実施形態では、各撮影モード時に最短被写体距離が所定のしきい値未満となる場合、最至近被写体の画像にゼブラパターンを重ね合わせているが、この最至近被写体の判別を容易に行うことが可能であればその表示方法は特に限定されず、ゼブラパターン以外の各種パターンを重ね合わせたり、最至近被写体の画像を赤色表示あるいは点滅表示したりしてもよい。また、ＬＣＤ１８に各種の警告メッセージを表示してもよい。
上記第１実施形態では、被写体距離演算回路５３がステレオ測距の原理によって被写体距離を算出する場合を例に説明を行ったが、被写体距離を求める方法は特に限定されず、周知の各種の方法を用いてよい。
上記第１実施形態では、ＬＣＤ１８に表示する警告マーク７５，８７，８８として「！」を例に挙げて説明を行ったが、マークの種類は特に限定はされない。また、警告マーク７５，８７，８８の表示位置や大きさも適宜変更してよい。さらに、警告マーク７５，８７，８８として、不良画像であること示す警告メッセージを表示してもよい。
上記第２実施形態では、スキップする不良フレーム画像の代わりに中間フレーム画像を生成してＬＣＤ１８に表示しているが、中間フレーム画像の生成を行う代わりに、例えば、不良フレーム画像の前の良好なパノラマフレーム画像の表示をフリーズしてもよい。
上記第１実施形態では、オーバーラップ領域５９内の最至近被写体の数が１つの場合を例に挙げて説明を行ったが、例えば、複眼撮影装置１０に極端に近い位置に複数の人（人以外でも可）が横一列に並んでいるような場合には、これら全てを最至近被写体としてゼブラパターンなどで表示してもよい。
上記第１実施形態では、最短被写体距離がしきい値未満となるときに、ライブビュー像中の最至近被写体をゼブラパターンで表示しているが、最至近被写体を、例えば網掛けパターン、最至近被写体を囲む枠パターンなどの各種の警告パターンで表示してもよい。また、この場合には、警告パターンを点滅表示させてもよい。
上記第１実施形態では、最短被写体距離がしきい値未満となるときに、最至近被写体をゼブラパターンで表示しているが、例えば、しいき値未満の被写体距離にある全ての被写体をゼブラパターンなどで表示してもよい。また、この場合には、被写体距離の大きさに応じて、表示するパターンの種類（ゼブラパターン、網掛けパターン等）や色などを変えてもよい。
上記各実施形態では、複眼撮影装置を例に挙げて説明を行ったが、複数のカメラユニットと、各カメラユニットの制御及び信号処理を行う本体とから構成される撮影装置など、複数の撮像部により得られた画像に基づきパノラマ画像を生成する各種撮影装置に本発明を適用することができる。
１０ 複眼撮影装置
１２ 第１撮像部
１３ 第２撮像部
１８ ＬＣＤ
２７ ＣＰＵ
５２ オーバーラップ領域検出回路
５９ オーバーラップ領域
６１ 画像合成処理部
６２ パターン重ね合わせ処理部
６５ 表示回路
７２ 警告マーク表示部
７７ 最短被写体距離特定部
７８ 合成不良警告制御部
７９ 撮影制御部
８０ 記録制御部
８１ 再生制御部

Claims (16)

  1. 撮影指示がなされた場合に、パノラマ静止画像を撮影して記録媒体に記録する静止画撮影モードと、前記記録媒体から読み出された前記パノラマ静止画像を表示する再生モードとを有し、
    撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段と、
    撮影指示を行うための操作手段と、
    前記静止画撮影モード時に撮影指示がなされた場合に、前記各撮像手段により得られた各撮影画像を合成してパノラマ静止画像を生成する画像合成手段と、
    撮影待機状態時に、前記各撮影画像をそれぞれ表示し、前記再生モード時に前記記録媒体から読み出されたパノラマ静止画像を表示する表示手段と、
    前記各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出手段と、
    前記オーバーラップ領域内で、前記各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定手段と、
    前記被写体距離測定手段の測定結果が予め定めたしきい値未満である場合に作動され、前記画像合成手段により生成される前記パノラマ静止画像中の前記被写体に不具合が生じることを示す警告パターンを、前記表示手段に表示されている前記被写体に重ね合わせて表示する警告手段と、
    前記静止画撮影モード時に前記警告手段が作動している場合は、前記操作手段からの撮影指示を無効にする撮影指示無効手段と、
    を備えることを特徴とする撮影装置。
  2. 撮影指示がなされた場合に、パノラマ静止画像を撮影して記録媒体に記録する静止画撮影モードと、前記記録媒体から読み出された前記パノラマ静止画像を表示する再生モードとを有し、
    撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段と、
    前記静止画撮影モード時に撮影指示がなされた場合に、前記各撮像手段により得られた各撮影画像を合成してパノラマ静止画像を生成する画像合成手段と、
    撮影待機状態時に、前記各撮影画像をそれぞれ表示し、前記再生モード時に前記記録媒体から読み出されたパノラマ静止画像を表示する表示手段と、
    前記各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出手段と、
    前記オーバーラップ領域内で、前記各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定手段と、
    前記被写体距離測定手段の測定結果が予め定めたしきい値未満である場合に作動され、前記画像合成手段により生成される前記パノラマ静止画像中の前記被写体に不具合が生じることを示す警告パターンを、前記表示手段に表示されている前記被写体に重ね合わせて表示する警告手段と、
    前記静止画撮影モード時に前記警告手段が作動していない場合は、撮影指示を自動的に発する自動撮影制御手段と、
    を備えることを特徴とする撮影装置。
  3. 撮影指示がなされた場合に、パノラマ静止画像を撮影して記録媒体に記録する静止画撮影モードと、前記記録媒体から読み出された前記パノラマ静止画像を表示する再生モードとを有し、
    撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段と、
    前記静止画撮影モード時に撮影指示がなされた場合に、前記各撮像手段により得られた各撮影画像を合成してパノラマ画像を生成する画像合成手段と、
    撮影待機状態時に、前記各撮影画像をそれぞれ表示し、再生モード時に前記記録媒体から読み出されたパノラマ静止画像を表示する表示手段と、
    前記各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出手段と、
    前記オーバーラップ領域内で、前記各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定手段と、
    前記被写体距離測定手段の測定結果が予め定めたしきい値未満である場合に作動され、前記画像合成手段により生成される前記パノラマ静止画像中の前記被写体に不具合が生じることを示す警告パターンを、前記表示手段に表示されている前記被写体に重ね合わせて表示する警告手段と、
    前記静止画撮影モード時に前記警告手段が作動している場合は、前記画像合成手段により生成された前記パノラマ静止画像に対して、当該パノラマ静止画像が不良であることを示す警告情報を付与する警告情報付与手段と、
    を備えることを特徴とする撮影装置。
  4. 前記再生モード時に、前記記録媒体から読み出された前記パノラマ静止画像に前記警告情報が付与されている場合には、当該パノラマ静止画像と共に前記警告情報を前記表示手段に表示させる第１表示制御手段を備えることを特徴とする請求項３記載の撮影装置。
  5. 前記再生モード時に、前記警告情報が付与されている前記パノラマ画像の表示を行わないように前記表示手段を制御する第２表示制御手段を備えることを特徴とする請求項３記載の撮影装置。
  6. 撮影指示がなされた場合に、パノラマ動画像の撮影を行い１つのパノラマ動画像をなす複数のパノラマフレーム画像を記録媒体に記録する動画撮影モードと、前記記録媒体から読み出された１つのパノラマ動画像をなす複数のパノラマフレーム画像を連続的に表示してパノラマ動画像を再生する再生モードとを有し、
    撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段と、
    前記動画撮影モード時に撮影指示がなされた場合に、前記各撮像手段によりそれぞれ連続して得られる各フレーム画像同士を合成することによって１つのパノラマ動画像をなす複数のパノラマフレーム画像を連続的に生成する画像合成手段と、
    撮影待機状態時に、前記各フレーム画像をそれぞれ表示し、再生モード時に前記記録媒体から読み出された複数のパノラマフレーム画像を連続的に表示する表示手段と、
    前記各フレーム画像から、当該各フレーム画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出手段と、
    前記オーバーラップ領域内で、前記各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定手段と、
    前記被写体距離測定手段の測定結果が予め定めたしきい値未満である場合に作動され、前記画像合成手段により生成される前記パノラマフレーム画像中の前記被写体に不具合が生じることを示す警告パターンを、前記表示手段に表示されている前記被写体に重ね合わせて表示する警告手段と、
    前記動画撮影モード時に前記警告手段が作動している場合は、前記画像合成手段により生成された前記パノラマフレーム画像が前記記録媒体に記録されないように、前記パノラマフレーム画像の前記記録媒体への記録を制御する記録制御手段と、
    を備えることを特徴とする撮影装置。
  7. 前記動画撮影モード時に前記警告手段が作動している場合は、前記画像合成手段により生成された前記パノラマフレーム画像に対して、当該パノラマフレーム画像が不良であることを示す警告情報を付与する警告情報付与手段を備え、
    前記記録制御手段は、前記動画撮影モード時に前記警告手段が作動している場合は、前記記録媒体に前記パノラマフレーム画像を記録しないことに代えて、前記警告情報が付与された前記パノラマフレーム画像を前記記録媒体に記録することを特徴とする請求項６記載の撮影装置。
  8. 前記再生モード時に、前記記録媒体から読み出された前記パノラマフレーム画像に前記警告情報が付与されている場合には、当該パノラマフレーム画像と共に前記警告情報を前記表示手段に表示させる第１表示制御手段を備えることを特徴とする請求項７記載の撮影装置。
  9. 前記再生モード時に、前記警告情報が付与されている前記パノラマフレーム画像の表示を行わないように前記表示手段を制御する第２表示制御手段を備えることを特徴とする請求項７記載の撮影装置。
  10. 前記第２表示制御手段は、前記表示手段が前記記録媒体から読み出された前記パノラマフレーム画像を連続的に表示する場合、前記警告情報が付与されている前記パノラマフレーム画像をスキップするように前記表示手段を制御することを特徴とする請求項９記載の撮影装置。
  11. 前記警告情報が付与されている前記パノラマフレーム画像の前後の良好な前記パノラマフレーム画像から、補間フレーム画像を生成する補間フレーム画像生成手段を備え、
    前記第２表示制御手段は、スキップする前記パノラマフレーム画像の代わりに、前記補間フレーム画像を前記表示手段に表示させることを特徴とする請求項１０記載の撮影装置。
  12. 前記被写体距離測定手段は、前記オーバーラップ領域の画像に基づき、前記被写体及び前記各撮像手段をそれぞれ結ぶ各直線と、前記各撮像手段間を結ぶ直線とがそれぞれなす角度を求めるとともに、求めた前記角度と既知の前記各撮像手段間の距離とに基づいて、ステレオ測距の原理により前記被写体距離を算出することを特徴とする請求項１ないし１１のいずれか１項に記載の撮影装置。
  13. 撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段を備え、パノラマ静止画像を撮影して記録媒体に記録する静止画撮影モードと、前記記録媒体から読み出された前記パノラマ静止画像を表示手段に表示する再生モードとを有する撮影装置の制御方法において、
    静止画撮影モード時に操作手段に対する操作で撮影指示がなされた場合に、前記各撮像手段より得られた各撮影画像を合成してパノラマ静止画像を生成する画像合成ステップと、
    撮影待機状態時に、前記各撮影画像をそれぞれ表示手段に表示する表示ステップと、
    前記各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出ステップと、
    前記オーバーラップ領域内で、前記各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定ステップと、
    前記被写体距離測定ステップの測定結果が予め定めたしきい値未満である場合に、前記画像合成ステップにより生成される前記パノラマ静止画像中の前記被写体に不具合が生じることを示す警告パターンを、前記表示部に表示されている前記被写体に重ね合わせて表示する警告ステップと、
    前記静止画撮影モード時に前記警告ステップによって警告パターンの表示を行っている場合は、前記操作手段からの撮影指示を無効にする撮影指示無効ステップと、
    を有することを特徴とする撮影装置の制御方法。
  14. 撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段を備え、パノラマ静止画像を撮影して記録媒体に記録する静止画撮影モードと、前記記録媒体から読み出された前記パノラマ静止画像を表示手段に表示する再生モードとを有する撮影装置の制御方法において、
    静止画撮影モード時に撮影指示がなされた場合に、前記各撮像手段より得られた各撮影画像を合成してパノラマ静止画像を生成する画像合成ステップと、
    撮影待機状態時に、前記各撮影画像をそれぞれ表示手段に表示する表示ステップと、
    前記各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出ステップと、
    前記オーバーラップ領域内で、前記各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定ステップと、
    前記被写体距離測定ステップの測定結果が予め定めたしきい値未満である場合に、前記画像合成ステップにより生成される前記パノラマ静止画像中の前記被写体に不具合が生じることを示す警告パターンを、前記表示部に表示されている前記被写体に重ね合わせて表示する警告ステップと、
    前記静止画撮影モード時に前記警告手段によって警告パターンの表示を行っていない場合は、撮影指示を自動的に発する自動撮影制御ステップと、
    を有することを特徴とする撮影装置の制御方法。
  15. 撮影レンズによって結像された被写体像を光電変換により撮像する複数の撮像手段を備え、パノラマ静止画像を撮影して記録媒体に記録する静止画撮影モードと、前記記録媒体から読み出された前記パノラマ静止画像を表示手段に表示する再生モードとを有する撮影装置の制御方法において、
    静止画撮影モード時に撮影指示がなされた場合に、前記各撮像手段より得られた各撮影画像を合成してパノラマ静止画像を生成する画像合成ステップと、
    撮影待機状態時に、前記各撮影画像をそれぞれ表示手段に表示する表示ステップと、
    前記各撮影画像から、当該各撮影画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出ステップと、
    前記オーバーラップ領域内で、前記各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定ステップと、
    前記被写体距離測定ステップの測定結果が予め定めたしきい値未満である場合に、前記画像合成ステップにより生成される前記パノラマ静止画像中の前記被写体に不具合が生じることを示す警告パターンを、前記表示部に表示されている前記被写体に重ね合わせて表示する警告ステップと、
    前記静止画撮影モード時に前記警告ステップによって警告パターンの表示を行っている場合は、前記画像合成ステップにより生成された前記パノラマ静止画像に対して、当該パノラマ静止画像が不良であることを示す警告情報を付与する警告情報付与ステップと、
    を有することを特徴とする撮影装置の制御方法。
  16. 撮影指示がなされた場合に、パノラマ動画像の撮影を行い１つのパノラマ動画像をなす複数のパノラマフレーム画像を記録媒体に記録する動画撮影モードと、前記記録媒体から読み出された１つのパノラマ動画像をなす複数のパノラマフレーム画像を表示手段に連続的に表示してパノラマ動画像を再生する再生モードとを有する撮影装置の制御方法において、
    前記動画撮影モード時に撮影指示がなされた場合に、前記各撮像手段によりそれぞれ連続して得られる各フレーム画像同士を合成することによって１つのパノラマ動画像をなす複数のパノラマフレーム画像を連続的に生成する画像合成ステップと、
    撮影待機状態時に、前記各フレーム画像をそれぞれ前記表示手段に表示する表示ステップと、
    前記各フレーム画像から、当該各フレーム画像同士で重なり合うオーバーラップ領域を検出するオーバーラップ領域検出ステップと、
    前記オーバーラップ領域内で、前記各撮像手段に最も近い位置にある被写体までの被写体距離を測定する被写体距離測定ステップと、
    前記被写体距離測定ステップの測定結果が予め定めたしきい値未満である場合に、前記画像合成ステップにより生成される前記パノラマフレーム画像中の前記被写体に不具合が生じることを示す警告パターンを、前記表示部に表示されている前記被写体に重ね合わせて表示する警告ステップと、
    前記動画撮影モード時に前記警告ステップによって警告パターンの表示を行っている場合は、前記画像合成手段により生成された前記パノラマフレーム画像が前記記録媒体に記録されないように、前記パノラマフレーム画像の前記記録媒体への記録を制御する記録制御ステップと、
    を有することを特徴とする撮影装置の制御方法。
JP2009147791A 2009-06-22 2009-06-22 撮影装置及びその制御方法 Expired - Fee Related JP5235798B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2009147791A JP5235798B2 (ja) 2009-06-22 2009-06-22 撮影装置及びその制御方法
US12/814,996 US20100321470A1 (en) 2009-06-22 2010-06-14 Imaging apparatus and control method therefor
CN2010102101780A CN101930162A (zh) 2009-06-22 2010-06-22 成像设备及其控制方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009147791A JP5235798B2 (ja) 2009-06-22 2009-06-22 撮影装置及びその制御方法

Publications (2)

Publication Number Publication Date
JP2011004340A JP2011004340A (ja) 2011-01-06
JP5235798B2 true JP5235798B2 (ja) 2013-07-10

Family

ID=43353967

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009147791A Expired - Fee Related JP5235798B2 (ja) 2009-06-22 2009-06-22 撮影装置及びその制御方法

Country Status (3)

Country Link
US (1) US20100321470A1 (ja)
JP (1) JP5235798B2 (ja)
CN (1) CN101930162A (ja)

Families Citing this family (49)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20160360121A1 (en) * 2009-11-09 2016-12-08 Yi-Chuan Cheng Portable device with successive extension zooming capability
EP2423873B1 (en) * 2010-08-25 2013-12-11 Lakeside Labs GmbH Apparatus and Method for Generating an Overview Image of a Plurality of Images Using a Reference Plane
WO2012033005A1 (ja) * 2010-09-08 2012-03-15 日本電気株式会社 撮影装置および撮影方法
JP5561214B2 (ja) * 2011-03-15 2014-07-30 オムロン株式会社 画像処理装置および画像処理プログラム
US9390530B2 (en) 2011-05-27 2016-07-12 Nokia Technologies Oy Image stitching
US9160914B2 (en) * 2011-06-28 2015-10-13 Inview Technology Corporation User control of the visual performance of a compressive imaging system
JP5003840B1 (ja) * 2011-10-31 2012-08-15 オムロン株式会社 画像処理装置および画像処理プログラム
JP5865388B2 (ja) 2011-11-07 2016-02-17 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
US9560274B2 (en) 2011-11-07 2017-01-31 Sony Corporation Image generation apparatus and image generation method
WO2013069049A1 (ja) 2011-11-07 2013-05-16 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
JP5659305B2 (ja) 2011-11-07 2015-01-28 株式会社ソニー・コンピュータエンタテインメント 画像生成装置および画像生成方法
CN102645837B (zh) * 2012-04-09 2015-02-11 广东步步高电子工业有限公司 一种应用于安装有前、后摄像头的移动手持设备的全景图像拍摄和处理方法
US9448813B2 (en) 2012-05-24 2016-09-20 Microsoft Technology Licensing, Llc Entry points to image-related applications in a mobile device
JP6006014B2 (ja) * 2012-06-21 2016-10-12 オリンパス株式会社 顕微鏡、顕微鏡システム及び画像合成方法
JP6031874B2 (ja) * 2012-07-27 2016-11-24 株式会社リコー 撮像システム
JP5833254B2 (ja) * 2012-11-14 2015-12-16 富士フイルム株式会社 画像処理装置、撮像装置、画像処理方法及び画像処理プログラム
KR101988313B1 (ko) * 2013-01-04 2019-06-12 엘지전자 주식회사 이동 단말기 및 이의 제어 방법, 및 이의 기록 매체
CN103916582B (zh) * 2013-01-07 2017-09-29 华为技术有限公司 一种图像处理方法及装置
EP2779629B1 (en) 2013-03-13 2018-12-26 Samsung Electronics Co., Ltd. Electronic device and method for processing image
KR102124188B1 (ko) 2013-03-13 2020-06-26 삼성전자주식회사 이미지를 처리하는 전자장치 및 방법
US20140282721A1 (en) * 2013-03-15 2014-09-18 Samsung Electronics Co., Ltd. Computing system with content-based alert mechanism and method of operation thereof
KR102070776B1 (ko) 2013-03-21 2020-01-29 엘지전자 주식회사 디스플레이 장치 및 그 제어 방법
WO2014181324A1 (en) 2013-05-05 2014-11-13 Trax Technology Solutions Pte Ltd. System and method of monitoring retail units
JP6232759B2 (ja) 2013-06-07 2017-11-22 ソニー株式会社 情報処理装置、接近対象物通知方法及びプログラム
DE102013211271A1 (de) * 2013-06-17 2014-12-18 Robert Bosch Gmbh System und Verfahren zum Zusammenfügen mittels mehrerer optischer Sensoren aufgenommener Bilder
KR102047704B1 (ko) * 2013-08-16 2019-12-02 엘지전자 주식회사 이동 단말기 및 이의 제어 방법
TWI611692B (zh) * 2013-09-18 2018-01-11 佳能企業股份有限公司 電子裝置及影像顯示方法
US20150193909A1 (en) * 2014-01-09 2015-07-09 Trax Technology Solutions Pte Ltd. Method and device for panoramic image processing
WO2015114621A1 (en) 2014-02-02 2015-08-06 Trax Technology Solutions Pte. Ltd. System and method for panoramic image processing
JP6467787B2 (ja) 2014-05-27 2019-02-13 株式会社リコー 画像処理システム、撮像装置、画像処理方法およびプログラム
US10402777B2 (en) 2014-06-18 2019-09-03 Trax Technology Solutions Pte Ltd. Method and a system for object recognition
KR102145542B1 (ko) * 2014-08-14 2020-08-18 삼성전자주식회사 촬영 장치, 복수의 촬영 장치를 이용하여 촬영하는 촬영 시스템 및 그 촬영 방법
KR102222073B1 (ko) * 2014-08-29 2021-03-04 삼성전자주식회사 촬영 방법 및 전자 장치
CN104601954B (zh) * 2015-01-13 2017-11-07 广州杰赛科技股份有限公司 一种全景图像拼接装置、方法及监控系统
US10536633B2 (en) 2015-02-06 2020-01-14 Panasonic Intellectual Property Management Co., Ltd. Image processing device, imaging system and imaging apparatus including the same, and image processing method
GB2535706A (en) * 2015-02-24 2016-08-31 Nokia Technologies Oy Device with an adaptive camera array
TW201637432A (zh) * 2015-04-02 2016-10-16 Ultracker Technology Co Ltd 即時影像縫合裝置及即時影像縫合方法
CN105430375B (zh) * 2015-11-11 2017-09-15 深圳进化动力数码科技有限公司 一种检测全景摄像机的拼接适用距离的方法和装置
EP3470776A4 (en) * 2016-06-08 2019-04-17 Sony Corporation PICTURE CONTROL DEVICE AND METHOD AND VEHICLE
CN106067947A (zh) * 2016-07-25 2016-11-02 深圳市金立通信设备有限公司 一种拍照方法及终端
CN106231095B (zh) * 2016-07-28 2019-08-16 努比亚技术有限公司 图片合成装置及方法
CN106713716B (zh) * 2017-01-23 2020-03-31 努比亚技术有限公司 一种双摄像头的拍摄控制方法和装置
CN107509069A (zh) * 2017-09-29 2017-12-22 歌尔科技有限公司 三维图像采集设备及方法
CN108495032B (zh) * 2018-03-26 2020-08-04 Oppo广东移动通信有限公司 图像处理方法、装置、存储介质及电子设备
JP6664082B2 (ja) * 2018-03-27 2020-03-13 パナソニックＩｐマネジメント株式会社 画像処理システム、画像処理装置および画像処理方法
CN109246360B (zh) * 2018-11-23 2021-01-26 维沃移动通信（杭州）有限公司 一种提示方法及移动终端
CN109831627A (zh) * 2019-02-22 2019-05-31 维沃移动通信有限公司 一种拍照方法及终端设备
WO2021229752A1 (ja) * 2020-05-14 2021-11-18 日本電気株式会社 画像記憶装置、画像記憶方法、及びプログラム
US20220375031A1 (en) * 2021-05-18 2022-11-24 Microsoft Technology Licensing, Llc Geospatial Image Processing for Targeted Data Acquisition

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3054002B2 (ja) * 1993-09-01 2000-06-19 キヤノン株式会社 複眼撮像装置
JPH10178564A (ja) * 1996-10-17 1998-06-30 Sharp Corp パノラマ画像作成装置及び記録媒体
JP3478686B2 (ja) * 1996-11-15 2003-12-15 キヤノン株式会社 複眼撮像装置
JP2000350196A (ja) * 1999-06-04 2000-12-15 Toshiba Corp 工業用テレビジョンシステム及びその撮像装置
US6788333B1 (en) * 2000-07-07 2004-09-07 Microsoft Corporation Panoramic video
JP2003098424A (ja) * 2001-09-25 2003-04-03 Fujitsu Ten Ltd 画像処理測距装置
JPWO2004107762A1 (ja) * 2003-05-30 2006-07-20 富田　誠次郎 撮影方法及び撮影装置
US20050185047A1 (en) * 2004-02-19 2005-08-25 Hii Desmond Toh O. Method and apparatus for providing a combined image
FR2870023B1 (fr) * 2004-03-23 2007-02-23 Alain Nicolas Piaton Procede de recherche d'informations, moteur de recherche et microprocesseur pour la mise en oeuvre du procede
JPWO2008053649A1 (ja) * 2006-11-02 2010-02-25 コニカミノルタホールディングス株式会社 広角画像取得方法及び広角ステレオカメラ装置
US7697053B2 (en) * 2006-11-02 2010-04-13 Eastman Kodak Company Integrated display having multiple capture devices
JP2008197540A (ja) * 2007-02-15 2008-08-28 Funai Electric Co Ltd 広角撮像装置
JP2009284309A (ja) * 2008-05-23 2009-12-03 Casio Comput Co Ltd 撮像装置、表示制御プログラム及び表示制御方法
US8213782B2 (en) * 2008-08-07 2012-07-03 Honeywell International Inc. Predictive autofocusing system

Also Published As

Publication number Publication date
US20100321470A1 (en) 2010-12-23
CN101930162A (zh) 2010-12-29
JP2011004340A (ja) 2011-01-06

Similar Documents

Publication Publication Date Title
JP5235798B2 (ja) 撮影装置及びその制御方法
JP4787180B2 (ja) 撮影装置及び撮影方法
JP5101101B2 (ja) 画像記録装置及び画像記録方法
JP2009219020A (ja) 撮影装置、撮像装置の制御方法及び撮像装置の制御プログラム
JP2005073164A (ja) 映像信号出力方法及びデジタルカメラ
JP5228354B2 (ja) ディジタルカメラ
JP4799501B2 (ja) 撮影装置、撮影装置の制御方法およびプログラム
JP2015053741A (ja) 画像再生装置
JP2006303961A (ja) 撮像装置
US9532034B2 (en) Three-dimensional imaging apparatus and three-dimensional image display method
JP2007299339A (ja) 画像再生装置および方法並びにプログラム
JP4033456B2 (ja) デジタルカメラ
JP2010141609A (ja) 撮像装置
JP2007116372A (ja) デジタルカメラ
JP2010263270A (ja) 撮像装置
JP4887461B2 (ja) ３次元画像撮像装置及び３次元画像表示方法
JP7134601B2 (ja) 画像処理装置、画像処理方法、撮像装置及び撮像装置の制御方法
JP5332668B2 (ja) 撮像装置および被写体検出プログラム
JP2010050599A (ja) 電子カメラ
JPH11224324A (ja) 画像信号処理方法及び装置
JP2008301014A (ja) 撮影装置および方法並びにプログラム
JP2008048152A (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP2004186919A (ja) デジタルカメラ
JP2022186598A (ja) 情報処理装置、撮像装置、情報処理方法および制御方法、プログラム
JP2000307934A (ja) 撮像方法および撮像装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20111207

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20121108

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20121114

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20121218

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20130227

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20130326

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20160405

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees