JP6522768B2 - 撮像装置および撮像方法 - Google Patents

撮像装置および撮像方法 Download PDF

Info

Publication number
JP6522768B2
JP6522768B2 JP2017543001A JP2017543001A JP6522768B2 JP 6522768 B2 JP6522768 B2 JP 6522768B2 JP 2017543001 A JP2017543001 A JP 2017543001A JP 2017543001 A JP2017543001 A JP 2017543001A JP 6522768 B2 JP6522768 B2 JP 6522768B2
Authority
JP
Japan
Prior art keywords
main subject
subject
distance
imaging device
imaging
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2017543001A
Other languages
English (en)
Other versions
JPWO2017056757A1 (ja
Inventor
文雄 中丸
文雄 中丸
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2017056757A1 publication Critical patent/JPWO2017056757A1/ja
Application granted granted Critical
Publication of JP6522768B2 publication Critical patent/JP6522768B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B7/00Mountings, adjusting means, or light-tight connections, for optical elements
    • G02B7/28Systems for automatic generation of focusing signals
    • G02B7/34Systems for automatic generation of focusing signals using different areas in a pupil plane
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/18Focusing aids
    • G03B13/30Focusing aids indicating depth of field
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B13/00Viewfinders; Focusing aids for cameras; Means for focusing for cameras; Autofocus systems for cameras
    • G03B13/32Means for focusing
    • G03B13/34Power focusing
    • G03B13/36Autofocus systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/194Segmentation; Edge detection involving foreground-background segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/80Analysis of captured images to determine intrinsic or extrinsic camera parameters, i.e. camera calibration
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • H04N23/611Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • H04N23/635Region indicators; Field of view indicators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/672Focus control based on electronic image sensor signals based on the phase difference signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • H04N23/675Focus control based on electronic image sensor signals comprising setting of focusing regions
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/69Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming
    • GPHYSICS
    • G03PHOTOGRAPHY; CINEMATOGRAPHY; ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ELECTROGRAPHY; HOLOGRAPHY
    • G03BAPPARATUS OR ARRANGEMENTS FOR TAKING PHOTOGRAPHS OR FOR PROJECTING OR VIEWING THEM; APPARATUS OR ARRANGEMENTS EMPLOYING ANALOGOUS TECHNIQUES USING WAVES OTHER THAN OPTICAL WAVES; ACCESSORIES THEREFOR
    • G03B2206/00Systems for exchange of information between different pieces of apparatus, e.g. for exchanging trimming information, for photo finishing

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Optics & Photonics (AREA)
  • Studio Devices (AREA)
  • Focusing (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Automatic Focus Adjustment (AREA)

Description

この発明は,撮像装置および撮像方法に関する。
オートフォーカスのカメラ(カメラ機能のついた携帯電話,スマートフォンを含む)を用いて撮影を行う場合には,オートフォーカスエリアが設定され,その設定されたエリア内に主要被写体が位置決めされる。また,スポーツのプレーヤなどを撮影する場合などのように,複数の移動する被写体を撮影する場合に適する撮影方法(特許文献1),複数台のカメラを用いて被写体を撮影するカメラ制御システム(特許文献2)なども考えられている。さらに,撮像装置の外部に設けたフォーカス指示装置で指定した被写体に対して高精度にフォーカスを合わせるもの(特許文献3),動画撮影中でも被写体に対して高速に焦点を合わせるもの(特許文献4),被写体が目視しにくい状況でも被写体に対して正確に合焦するもの(特許文献5),フォーカス時間を短縮するもの(特許文献6)などもある。
特許第5472506号 特開2000-83246号公報 特開2014-206583号公報 特開2011-75735号公報 特開2009-8842号公報 特開2009-8842号公報
単にオートフォーカスエリア内の被写体にピントを合わせるのでは,主要被写体がオートフォーカスエリアから外れた場合には,主要被写体以外の被写体にピントが合ってしまう。特許文献1,2,4に記載のものにおいても,主要被写体がオートフォーカスエリアから外れたり,主要被写体が他の被写体の陰となったりすると,他の被写体にピントが合ってしまい,主要被写体にピントを合わせようとしてもすぐにピントを合わせることができない。また,特許文献3に記載のものでは,画像上において被写体を特定しフォーカスしているが,フォーカスに時間がかかることがある。また,特許文献5に記載のものにおいては,被写体までの距離を算出し,その距離にもとづいてフォーカスするが,時間がかかってしまうことがある。さらに,特許文献6に記載のものは,主要被写体の位置を検出することはない。
この発明は,比較的正確にかつ,比較的短時間で主要被写体にピントを合わせることを目的とする。
第1の発明による撮像装置は,実空間における主要被写体の位置を特定する位置特定情報を取得する位置特定情報取得手段,撮像範囲を撮像して撮像画像を得る撮像手段,撮像手段によって得られた撮像画像における主要被写体を認識する主要被写体認識手段,位置特定情報取得手段において取得された位置特定情報によって特定される位置の前後に規定される範囲を,範囲内に存在する被写体にピントを合わせて撮像するピント合致対象範囲として,フォーカスレンズの移動を制限させる合焦制御手段,合焦制御手段の制御によりフォーカスレンズを駆動させるフォーカス手段,および主要被写体認識手段によって認識された主要被写体の主要被写体像を,フォーカス手段によって駆動させられたフォーカスレンズにより受光面に合焦させて撮像手段によって撮像させる撮像制御手段を備えていることを特徴とする。
第1の発明は,撮像方法も提供している。すなわち,この方法は,位置特定情報取得手段が,実空間における主要被写体の位置を特定する位置特定情報を取得し,撮像手段が,撮像範囲を撮像して撮像画像を得,主要被写体認識手段が,撮像手段によって得られた撮像画像における主要被写体を認識し,合焦制御手段が,位置特定情報取得手段において取得された位置特定情報によって特定される位置の前後に規定される範囲を,範囲内に存在する被写体にピントを合わせて撮像するピント合致対象範囲として,フォーカスレンズの移動を制限させ,フォーカス手段が,合焦制御手段の制御によりフォーカスレンズを駆動させ,撮像制御手段が,主要被写体認識手段によって認識された主要被写体の主要被写体像を,フォーカス手段によって駆動させられたフォーカスレンズにより受光面に合焦させて撮像手段によって撮像させるものである。
第1の位置検出用撮像装置によって主要被写体が撮像された場合に,第1の位置検出用撮像装置から主要被写体までの距離を表す第1の距離データおよび第1の位置検出用撮像装置と主要被写体とのなす角を表す第1の角度データが第1の位置検出用撮像装置により送信される場合には,位置特定情報取得手段は,第1の位置検出用撮像装置により送信された第1の距離データおよび第1の角度データを受信する第1の受信手段,ならびに第1の受信手段によって受信した第1の距離データおよび第1の角度データに基づいて主要被写体の位置を特定する位置情報を算出する第1の算出手段を備えることが好ましい。
撮像手段の被写界深度が深いほどピント合致対象範囲を広げることが好ましい。
主要被写体の動き量を検出する検出手段をさらに備えてもよい。その場合,たとえば,検出手段によって検出された動き量が,しきい値以上の場合、ピント合致対象範囲を広げる。
第2の位置検出用撮像装置によって主要被写体が撮像された場合に,第2の位置検出用撮像装置から主要被写体までの距離を表す第2の距離データおよび第2の位置検出用撮像装置と主要被写体とのなす角を表す第2の角度データが第2の位置検出用撮像装置により送信される場合には,第1の受信手段は,たとえば,第1の位置検出用撮像装置により送信された第1の距離データおよび第1の角度データならびに第2の位置検出用撮像装置により送信された第2の距離データおよび第2の角度データを受信し,第1の算出手段は,たとえば,第1の受信手段によって受信した第1の距離データおよび第1の角度データの組ならびに第2の距離データおよび第2の角度データの組の少なくとも一方の組に基づいて主要被写体の位置を特定する位置特定情報を算出する。
位置検出装置によって主要被写体の位置が検出され,主要被写体の位置を表す位置特定情報が位置検出装置により送信される場合には,位置特定情報取得手段は,たとえば,位置検出装置により送信された位置特定情報を受信する第2の受信手段を備えていることが好ましい。
フォーカス手段は,たとえば,主要被写体認識手段によって主要被写体が認識されたことに応じて,認識された主要被写体を含むAFエリアを設定し,主要被写体認識手段によって主要被写体が認識されなかったことに応じて,あらかじめ定められているエリアをAFエリアとして設定し,フォーカスレンズを駆動させて,設定されたAFエリア内に存在する被写体にピントを合わせるようにしてもよい。
フォーカス手段は,たとえば,主要被写体認識手段によって主要被写体が認識されたことに応じて,認識された主要被写体を含むAFエリアを設定し,主要被写体認識手段によって主要被写体が認識されなかったことに応じて,位置特定情報取得手段において取得した位置特定情報によって特定される位置に基づいてAFエリアを設定し,フォーカスレンズを駆動させて,設定されたAFエリア内に存在する被写体にピントを合わせる。
第1の被写体位置検出用撮像装置によって撮像された主要被写体の位相差から主要被写体までの距離が算出されていることが好ましい。
AF指令を入力するAF指令入力手段,およびAF指令入力手段からAF指令が入力されたことにより,撮像手段によって得られた撮像画像において規定されるAFエリアに含まれる被写体を主要被写体と決定する主要被写体決定手段をさらに備えてもよい。この場合,位置特定情報取得手段は,たとえば,主要被写体決定手段によって決定された主要被写体の実空間における位置を特定する位置特定情報を取得するものとなろう。
撮像手段によって得られた撮像画像を表示画面に表示する表示装置,主要被写体までの距離を算出する距離算出手段,および距離算出手段によって算出された距離を,主要被写体に関連づけて表示画面に表示させる表示制御手段をさらに備えてもよい。
位置特定情報取得手段において取得する位置特定情報は,たとえば,実空間における主要被写体および副被写体のそれぞれの位置を特定する。この場合,撮像手段によって得られた撮像画像から副被写体を認識する副被写体認識手段をさらに備えてもよい。また,距離算出手段は,たとえば,主要被写体までの距離および副被写体までの距離をそれぞれ算出し,表示制御手段は,たとえば,距離算出手段によって算出された距離を,対応する主要被写体または副被写体に関連づけて表示画面に表示させる。
距離算出手段によって算出された主要被写体までの距離と,フォーカスレンズがピントを合わせている位置までの距離と,の残りの距離を算出する残距離算出手段をさらに備えてもよい。この場合,表示制御手段は,たとえば,残距離算出手段によって算出された残距離を主要被写体に関連づけて表示画面に表示させることが好ましい。
位置特定情報取得手段において取得する位置特定情報は,たとえば,実空間における主要被写体および副被写体のそれぞれの位置を特定する。この場合,撮像手段によって得られた撮像画像から副被写体を認識する副被写体認識手段をさらに備えてもよい。距離算出手段は,たとえば,主要被写体までの距離および副被写体までの距離をそれぞれ算出する。また,距離算出手段によって算出された主要被写体までの距離とフォーカスレンズがピントを合わせている位置までの距離との残りの距離および距離算出手段によって算出された副被写体までの距離とフォーカスレンズがピントを合わせている位置までの距離との残りの距離を算出する残距離算出手段をさらに備えてもよい。さらに,表示制御手段は,残距離算出手段によって算出された残距離を,対応する主要被写体または副被写体に関連づけて表示画面に表示させることが好ましい。
主要被写体認識手段によって認識した主要被写体の実空間における位置を算出する位置算出手段,位置算出手段によって算出された位置と,位置特定情報取得手段によって取得された位置特定情報によって特定される主要被写体の実空間における位置と,の間に不一致があるかどうかを判定する不一致判定手段,および不一致判定手段によって不一致と判定されたことにより,主要被写体認識手段による主要被写体の認識を再度行わせる認識制御手段をさらに備えてもよい。
位置特定情報取得手段は,たとえば,複数の位置特定情報を取得する。その場合,複数の位置特定情報によって特定される主要被写体の実空間における複数の位置と,位置算出手段によって算出された位置とに基づいて,認識制御手段により行わせられた主要被写体の認識の信頼度を算出する信頼度算出手段をさらに備えてもよい。そして,信頼度算出手段により算出された信頼度がしきい値以上の場合に,フォーカス手段により移動を制限してフォーカスレンズを駆動させることが好ましい。
撮像手段によって得られた撮像画像から副被写体を認識する副被写体認識手段,および主要被写体認識手段によって認識された主要被写体および副被写体認識手段によって認識された副被写体の実空間における位置を算出する位置算出手段をさらに備えてもよい。位置特定情報取得手段において取得する位置特定情報は,たとえば,実空間における主要被写体および副被写体のそれぞれの位置を特定するものである。この場合,位置算出手段によって算出された位置と位置特定情報取得手段において取得された位置特定情報によって表される位置との間に不一致があるかどうかを判定する不一致判定手段,ならびに不一致判定手段によって不一致であると判定された位置に存在する主要被写体および副被写体の少なくとも一方について主要被写体認識手段および副被写体認識手段の少なくとも一方による認識処理を再度行わせる認識制御手段をさらに備えてもよい。
位置特定情報取得手段は,たとえば,主要被写体に付けられた位置検出装置により送信される位置特定情報を受信する。
第1の位置検出用撮像装置によって撮像された主要被写体の大きさまたは主要被写体の顔の大きさと第1の位置検出用撮像装置の焦点距離とから主要被写体までの距離が算出されていることが好ましい。
第2の発明による撮像装置は,実空間における主要被写体の位置を特定する位置特定情報を取得する位置特定情報取得手段,撮像範囲を撮像して撮像画像を得る撮像手段,位置特定情報取得手段によって特定される位置に存在する主要被写体が撮像手段の被写界深度に入る絞り値に,絞りを制御する絞り制御手段,および絞り制御手段によって制御される絞りを用いて,撮像手段によって主要被写体を撮像させる撮像制御手段を備えていることを特徴とする。
第2の発明は,撮像方法も提供している。すなわち,その方法は,位置特定情報取得手段が,実空間における主要被写体の位置を特定する位置特定情報を取得し,撮像手段が,撮像範囲を撮像して撮像画像を得,絞り制御手段が,位置特定情報取得手段によって特定される位置に存在する主要被写体が撮像手段の被写界深度に入る絞り値に,絞りを制御し,撮像制御手段が,絞り制御手段によって制御される絞りを用いて,撮像手段によって主要被写体を撮像させるものである。
撮像手段によって得られた撮像画像から主要被写体を認識する主要被写体認識手段,位置特定情報取得手段において取得された位置特定情報によって特定される位置の前後に規定される範囲を,範囲内に存在する被写体にピントを合わせて撮像するピント合致対象範囲として,フォーカスレンズの移動を制限させる合焦制御手段,および合焦制御手段の制御によりフォーカスレンズを駆動させるフォーカス手段をさらに備えてもよい。その場合,撮像制御手段は,主要被写体認識手段によって認識された主要被写体の主要被写体像を,フォーカス手段によって駆動させられたフォーカスレンズにより受光面に合焦させて絞り制御手段によって制御された絞りを用いて,撮像手段によって撮像させることが好ましい。
第1の発明によると,実空間における主要被写体の位置を特定する位置特定情報が取得される。取得された位置特定情報によって特定される位置の前後に規定される範囲を,その範囲内に存在する被写体にピントを合わせて撮像するピント合致対象範囲としてフォーカスレンズの移動が制限させられる。撮像範囲が撮像され,得られた撮像画像における主要被写体が認識され,その認識された主要被写体の主要被写体像が,フォースレンズによって受光面に合焦させられる。実空間における主要被写体の位置が特定されているので,比較的簡単に主要被写体にピントを合わせることができる。とくに,フォーカスレンズは,位置特定情報によって特定される位置の前後に規定されるピント合致対象範囲に存在する被写体にピントを合わせて撮像するように移動が制限されているので,比較的短時間で主要被写体にピントを合わせて,主要被写体像を合焦させることができる。
第2の発明によると,実空間における主要被写体の位置を特定する位置特定情報が取得され,位置特定情報によって特定される位置に存在する主要被写体が撮像手段の被写界深度に入る絞り値に絞りが制御される。その絞りを用いて主要被写体が撮像される。第2の発明においても,主要被写体が被写界深度に入るので,比較的簡単に主要被写体像を合焦させることができる。
カメラ装置の電気的構成を示すブロック図である。 カメラ装置の処理手順を示すフローチャートである。 カメラ装置の処理手順を示すフローチャートである。 移動領域を示している。 移動領域を示している。 表示画面の一例である。 表示画面の一例である。 移動領域を示している。 移動領域を示している。 移動領域を示している。 移動領域を示している。 表示画面一例である。 カメラ装置の処理手順を示すフローチャートである。 カメラ装置の処理手順を示すフローチャートである。 表示画面の一例である。 表示画面の一例である 表示画面の一例である。 表示画面の一例である カメラ装置の処理手順を示すフローチャートである。 カメラ装置の処理手順を示すフローチャートである。 移動領域を示している。 移動領域を示している。 信頼性判定の処理手順を示すフローチャートである。 移動領域を示している。 移動領域を示している。 表示画面の一例である。 表示画面の一例である。 顔の大きさと身長と被写体距離との関係を示すテーブルである。 顔の大きさと身長と被写体距離との関係を示すテーブルである。 カメラ装置の処理手順を示すフローチャートである。 カメラ装置の処理手順を示すフローチャートである。
図1は,この発明の実施例を示すもので,カメラ装置の電気的構成を示すブロック図である。
カメラ装置の全体の動作は,制御装置1によって統括される。
カメラ装置には,絞りモータ5によって制御される絞り4が含まれている。絞りモータ5は,制御装置1によって制御される。また,カメラ装置には,フォーカスモータ8によって制御されるフォーカスレンズ7が含まれている。フォーカスモータ8も,制御装置1によって制御される。
被写体が撮像されると被写体像がフォーカスレンズ7によってCCD(Charge Coupled Device)10の受光面に結像する。CCD10から被写体像を表す映像信号が出力され,A/D(アナログ/ディジタル)変換回路11においてディジタル画像データに変換される。ディジタル画像データは,ディジタル処理回路12においてガンマ補正,白バランス調整などの所定のディジタル処理が行われる。
ディジタル処理回路12から出力されたディジタル画像データは,表示制御装置13に与えられ,表示制御装置13によって表示装置14が制御されることにより,撮像された被写体像が表示装置14の表示画面に表示される。また,ディジタル画像データが出力インターフェイス(図示略)から外部の記録装置に与えられることにより,撮像されたディジタル画像データが記録装置に記録される。
カメラ装置には,AF(オートフォーカス)指令ボタン2が設けられている。AF指令ボタン2からのAF(オートフォーカス)指令は,制御装置1に与えられる。また,カメラ装置には,所定のデータを記憶するメモリ6および様々な指令を制御装置1に与えるための入力装置9も含まれている。さらに,カメラ装置は,他のカメラ装置等と通信することができ,その通信のためにカメラ装置には,通信装置3が設けられている。通信装置3を用いて他のカメラ装置との間でデータ通信が可能となる。
図2および図3は,カメラ装置の処理手順を示すフローチャートである。図4は,カメラ装置が用いられている状態を示している。
図4を参照して,この実施例においては,複数台のカメラ装置Aおよびカメラ装置Bが用いられる。複数台のカメラ装置Aおよびカメラ装置Bを用いて共通の主要被写体が撮像される。カメラ装置Aおよびカメラ装置Bのいずれも図1に示した電気的構成を有している。図4では,2台のカメラ装置AおよびBが利用されているが,3台以上のカメラ装置が用いられてもよいのはいうまでもない。
カメラ装置Aおよびカメラ装置Bのいずれも100m×100mの移動領域40内に存在する主要被写体OAを撮影するものとする。移動領域40自体は必ずしも規定されていなくともよく,カメラ装置Aおよびカメラ装置Bの実空間における位置ならびに主要被写体OAの実空間上における位置が分かればよい。また,主要被写体以外の被写体(副被写体)が存在する場合には,その主要被写体以外の被写体の実空間上における位置が分かればよい。主要被写体OAは移動領域40内を移動するが,必ずしも移動しなくともよい。主要被写体OAの特徴を表すデータ(主要被写体が人物であるとすると,目の位置,鼻の位置,口の位置,手足の長さなど主要被写体を特定するデータ)は,カメラ装置Aおよびカメラ装置Bのメモリ6にあらかじめ記憶されている。このデータにより,撮像した被写体が,主要被写体OAかどうかがカメラ装置Aおよびカメラ装置Bにおいて判断できる。移動領域40は,座標で表すことができ,図4において横方向をX方向,縦方向をY方向とすると,移動領域40の四隅C1,C2,C3およびC4のそれぞれの座標は,(0,0),(100,0),(0,100)および(100,100)となる。カメラ装置Aは,座標(0,40)で特定される位置に設置され,その位置から移動領域40内の被写体を撮像する。カメラ装置Bは,座標(50,100)で特定される位置に設置され,その位置から移動領域40内の被写体を撮像する。カメラ装置Aおよびカメラ装置Bのいずれも,それらの座標(0,40)および座標(50,100)で特定される位置以外の位置に設置されてもよい。
図2および図3に示す処理手順は,カメラ装置Aおよびカメラ装置Bに共通のものであるが,カメラ装置A(撮像装置)についての処理手順であるとする。
カメラ装置Aのユーザは,カメラ装置Aの入力装置9を用いて,カメラ装置Aに主要被写体OAの移動領域40の範囲を設定する(ステップ21)。さらに,カメラ装置Aのユーザは,カメラ装置Aの設置位置(0,40)をカメラ装置Aに設定する(ステップ22)。
カメラ装置AのCCD10(撮像手段)によって,移動領域40(撮像範囲)が撮像され,主要被写体OAが撮像される(ステップ23)。撮像によって得られた撮像画像において,記憶されている主要被写体OAの特徴を表すデータを利用して,主要被写体OAが制御装置1(主要被写体認識手段)によって検出される(ステップ24)(撮像画像における主要被写体の認識)。すると,検出された主要被写体OAにピントが合うように(ステップ25),カメラ装置Aの制御装置1によってフォーカスモータ8が制御される。フォーカスモータ8によってフォーカスレンズ7の位置が制御される。
主要被写体OAにピントが合うようにフォーカスレンズ7の位置が決めされると,そのフォーカスレンズ7の位置,フォーカスレンズ7の焦点距離などを用いてカメラ装置Aから主要被写体OAまでの距離が制御装置1によって算出される。カメラ装置Aから主要被写体OAまでの距離に基づいて主要被写体OAの実空間における位置が制御装置1によって算出される(ステップ26)。図4に示すように,主要被写体OAは,たとえば,カメラ装置Aの前方に50mの距離にある場合には,主要被写体OAの実空間上の位置は(50,40)と算出される。
ステップ21からステップ26までの処理は,カメラ装置Bにおいても行われ,カメラ装置Bから主要被写体OAまでの距離はカメラ装置Bの前方に60mの距離にあり,主要被写体OAの実空間の位置は(50,40)と算出される。
カメラ装置Aにおいて,主要被写体OAの位置が算出されると,その算出された主要被写体OAの位置を表すデータがカメラ装置Aの通信装置3を用いて他のカメラ装置Bに送信される(ステップ27)。同様に,他のカメラ装置Bにおいて,実空間における主要被写体OAの位置が算出されると,その算出された主要被写体OAの位置を表すデータ(実空間における主要被写体OAの位置を特定する位置特定情報)が他のカメラ装置Bにより送信され,カメラ装置Aの通信装置3(位置特定情報取得手段)によって受信される(ステップ28)(位置特定情報の取得)。
カメラ装置Aにおいて主要被写体OAが検出されていると(ステップ29でYES),AF(オートフォーカス)エリアが,制御装置1によって,撮像範囲のうち,主要被写体OAが存在する主要被写体エリアに設定される(ステップ30)。
図6は,AFエリア51が主要被写体エリアに設定された様子を示している。
図6は,表示装置14の表示画面50を示している。その表示画面50に撮像された主要被写体OA(主要被写体像)が表示されている。主要被写体OAが検出されることにより,主要被写体OAを含むエリアがAFエリア51として設定される。AFエリア51内に表示される被写体像が合焦するようにフォーカスレンズ7の位置が決めされる。
主要被写体OAが検出されていないと(ステップ29でNO),AFエリア51は,あらかじめ設定されたエリア,たとえば中央のエリアに設定される(ステップ31)。
図7は,AFエリア51があらかじめ設定されたエリアに設定された様子を示している。
AFエリア51は,表示装置14の表示画面50の中央に設定されている。中央に設定されているAFエリア51に表示される被写体像が合焦するようにフォーカスレンズ7が位置決めされることとなる。
主要被写体OAが検出されていない場合に(ステップ29でNO),AFエリア51をあらかじめ設定されたエリアに設定するのではなく,カメラ装置Bから主要被写体OAの位置を示すデータを受信しているから,そのデータによって特定される位置にAFエリア51を設定するようにしてもよい。
AFエリア51が設定されると,他のカメラ装置Bから送信されたデータによって表される主要被写体OAの位置(50,40)の前後{カメラ装置Aから見て主要被写体OAの位置(50,40)の前後}に規定される範囲が制御装置1によってピント合致対象範囲とされる(ステップ32)。ピント合致対象範囲は,カメラ装置Aが,その範囲内に存在する被写体にピントを合わせて撮像する範囲をいい,他のカメラ装置Bから送信されたデータによって表される主要被写体OAの位置(位置特定情報取得手段において取得された位置情報によって特定される位置)の前後に規定される範囲をいう。このピント合致対象範囲にピントが合うように,カメラ装置Aのフォーカスレンズ7の移動が制御装置1(合焦制御手段)によって制限させられる(ステップ32)。
図4を参照して,主要被写体OAの位置は(50,40)で表され,カメラ装置Aにおけるピント合致対象範囲RAは,たとえば,(45,40)から(55,40)の範囲とされる。
カメラ装置Bにおいても同様の処理が行われ,カメラ装置Bにおけるピント合致対象範囲RBは,たとえば,(50,35)から(50,45)の範囲とされる。カメラ装置Bにおけるピント合致対象範囲RBは,カメラ装置Bが撮像する場合に利用されるものであるため,カメラ装置Bから主要被写体OAを撮像する場合に,主要被写体OAの前後の範囲となる。
カメラ装置Aにおいてピント合致対象範囲RAが設定されると,フォーカスレンズ7の移動が制限されて,主要被写体OAの主要被写体像が,フォーカスモータ8(フォーカス手段)によって移動させられたフォーカスレンズ7でCCD10の受光面に合焦させられ,主要被写体OAが制御装置1(撮像制御手段)の制御のもとにCCD10(撮像装置)によって,撮像させられる。これにより,主要被写体OAにピントが合わせられて,主要被写体OAが撮像される(ステップ33)。カメラ装置Aに終了指令が与えられなければ(ステップ34でNO),ステップ23からの処理が繰り返される。
同様に他のカメラ装置Bにおいても,ピント合致対象範囲RBが設定されると,フォーカスレンズ7の移動が制限されて,主要被写体OAの主要被写体像が,フォーカスモータ8(フォーカス手段)によって移動させられたフォーカスレンズ7でCCD10の受光面に合焦させられ,主要被写体OAが制御装置1(撮像制御手段)の制御のもとにCCD10(撮像装置)によって,撮像させられる。
この実施例においては,フォーカスレンズ7の移動は,主要被写体OAの位置の前後の範囲にピントが合うように制限されているため,主要被写体OAとカメラ装置Aまたはカメラ装置Bの間に主要被写体OA以外の邪魔な被写体が入ってしまっても,その主要被写体OA以外の邪魔な被写体にピントが合ってしまうことが未然に防止される。邪魔な被写体が除かれた場合には,迅速に主要被写体OAにピントが合うように制御できる。
また,この実施例では,主要被写体OAの位置をカメラ装置A以外のカメラ装置Bから取得し,取得した位置を利用してピント合致対象範囲RAおよびRBを規定しているが,カメラ装置Bから取得せずに,カメラ装置Aにおいて算出された主要被写体OAの位置を利用してピント合致対象範囲RAおよびRBを規定するようにしてもよい。さらに,カメラ装置が3台以上ある場合には,カメラ装置A以外の2台以上のカメラ装置から主要被写体OAの位置を表すデータを受信して,その受信したデータによって表される主要被写体OAの位置の前後にピント合致対象範囲が規定されてもよい。複数のデータを利用して主要被写体OAの位置が分かるので,その位置の精度が高くなる。
さらに,上述した実施例においては,主要被写体OAであるかどうかについては,カメラ装置Aおよびカメラ装置Bのそれぞれにあらかじめ記憶されている特徴データを利用して判断している。カメラ装置Aおよびカメラ装置Bにおいて撮像された被写体像が複数存在した場合には,複数の被写体像を表すデータを他のカメラ装置に送信し,受信したカメラ装置において,受信したデータによって表される複数の被写体像と,撮像によって得られた被写体像とを一致させる処理が行われる。一致した複数の被写体像のうち,あらかじめ記憶されている特徴データを用いて,複数の被写体像のそれぞれが認識(被写体像が人物像であれば,それぞれの人物が誰か)される。この一致処理においては,カメラ装置Aとカメラ装置Bとは画角および撮像方向が異なるので,他のカメラ装置から送信された画像データについては画角および撮像方向変換処理が行われ,同じ位置から撮像された場合に得られる画像データが用いられることとなろう。
さらに,カメラ装置Aで撮像された主要被写体OA(他の被写体が存在する場合には,他の被写体についても同様)とカメラ装置Bで撮像された主要被写体OAとが同一かどうかは,主要被写体OAが人物の場合には,主要被写体OAをあらゆる角度から撮像しておき,複数の色,模様などのパターンマッチング,主要被写体OAに付けられた背番号,ゼッケン番号などの番号の検出,主要被写体OAに付けられた被写体を認識するためのアルファベットなどの文字,文字列の検出などを利用してもよい。
また,カメラ装置Aおよびカメラ装置Bの設置位置は,カメラ装置Aまたはカメラ装置BにGPS(Global Positioning System)を利用して検出するようにしてもよい。
図5は,被写体OAが移動した場合の例を示している。
主要被写体OAが(50,40)で特定される位置から(80,70)で特定される位置に移動したものとする。
主要被写体OAの移動後に主要被写体OAがカメラ装置Aおよびカメラ装置Bでそれぞれ撮像し,主要被写体OAにピントが合わせられる。カメラ装置Aにおいては,フォーカスレンズ7の移動量にもとづいてカメラ装置Aから主要被写体OAまでの距離が85mであることが分かる。また,カメラ装置AのCCD10の受光面における主要被写体OAの移動前の位置から移動後の位置への変動から,移動角度αが分かる。移動後の主要被写体OAの位置は,(85×Cosα+0,85×Sinα+40)となる。また,カメラ装置Bにおいても,フォーカスレンズ7の移動量にもとづいてカメラ装置Aから主要被写体OAまでの距離が42mであることが分かる。また,カメラ装置BのCCD10の受光面における主要被写体OAの移動前の位置から移動後の位置への変動から,移動角度βが分かる。移動後の主要被写体OAの位置は,(42×Sinβ+50,100−42×Cosβ)となる。
このように,主要被写体OAの位置が,カメラ装置から主要被写体OAまでの距離およびカメラ装置と主要被写体OAとのなす角で表される場合には,たとえば,カメラ装置B(第1の位置検出用撮像装置)からカメラ装置Aに,それらの距離および角をそれぞれ表す距離データおよび角度データが送信される。送信された距離データ(第1の距離データ)および角度データ(第2の角度データ)がカメラ装置A(撮像装置)の通信装置3(第1の受信手段)によって受信され,カメラ装置Aの制御装置1(第1の算出手段)によって受信した距離データおよび角度データから主要被写体OAの位置を特定する位置情報(80,70)が算出される。
主要被写体OAの位置は,距離データ,角度データを利用せずに移動領域40における空間座標演算とテーブルとを利用するようにしてもよい。いずれにしても,主要被写体OAの位置が,カメラ装置Aからカメラ装置Bに与えられ,かつカメラ装置Bからカメラ装置Aに与えられればよい。
上述の実施例では,カメラ装置Aおよびカメラ装置Bの両方において主要被写体OAが撮像されているが,カメラ装置Aおよびカメラ装置Bの少なくとも一方で主要被写体OAが撮像されるようにしてもよい。たとえば,カメラ装置Aでのみ主要被写体OAが撮像される場合には,カメラ装置Bは主要被写体OAの位置を検出するためのものでもよい。そのようにして検出された位置を表すデータがカメラ装置Bからカメラ装置Aに送信される。
さらに,上述の実施例ではピント合致対象範囲RAおよびRBは,主要被写体OAの位置の前後5mの範囲に設定されているが,カメラ装置Aまたはカメラ装置Bの被写界深度に応じてピント合致対象範囲RAおよびRBの範囲を変更してもよい。被写界深度が浅い場合には,ピント合致対象範囲RAおよびRBの範囲を狭くし,被写界深度が深い場合には,ピント合致対象範囲RAおよびRBの範囲を広くしてもよい。たとえば,絞り4がF4.0,フォーカスレンズ7の焦点距離が100mmの場合には,主要被写体OAまでの距離が50mの場合,ピント合致対象範囲RAおよびRBは30mから70m,絞り4がF2.0,フォーカスレンズ7の焦点距離が100mmの場合には,主要被写体OAまでの距離が50mの場合,ピント合致対象範囲RAおよびRBは40mから60m,絞り4がF2.0,フォーカスレンズ7の焦点距離が400mmの場合には,主要被写体OAまでの距離が50mの場合,ピント合致対象範囲RAおよびRBは45mから55mとする。
さらに,図2および図3の処理が繰り返されることにより,主要被写体OAが周期的に撮像され,主要被写体OAが移動している場合には,主要被写体OAの撮像周期と主要被写体OAの移動量とに基づいて,主要被写体OAの動き量(速さ)がカメラ装置Aの制御装置1(被写体の動き量を検出する検出手段)およびカメラ装置Bの制御装置1において算出される。主要被写体OAの動き量が,しきい値以上の場合には,フォーカスレンズ7の移動範囲が狭すぎるとピントが合わなくなるので,ピント合致対象範囲RAおよびRBを広くする。逆に主要被写体OAの動き量が,しきい値未満の場合には,ピント合致対象範囲RAおよびRBを狭くする。
カメラ装置Aのフォーカスレンズ7の移動範囲が制限される場合には,他のカメラ装置Bから取得される主要被写体OAの位置の取得周期および位置の変化量に基づいて主要被写体OAの動き量が算出される。たとえば,他のカメラ装置Bから得られる位置の取得周期が1秒,そのときの位置の変化量が1m,オートフォーカスの駆動周期が0.1秒とすると,主要被写体OAまでの距離が50mの場合,ピント合致対象範囲RAは48mから52mとする。また,他のカメラ装置Bから得られる位置の取得周期が1秒,そのときの位置の変化量が2m,オートフォーカスの駆動周期が0.1秒とすると,主要被写体OAまでの距離が50mの場合,ピント合致対象範囲RAは45mから55mとする。さらに,他のカメラ装置Bから得られる位置の取得周期が1秒,そのときの位置の変化量が2m,オートフォーカスの駆動周期が0.2秒とすると,主要被写体OAまでの距離が50mの場合,ピント合致対象範囲RAは40mから60mとする。
また,カメラ装置Aでの主要被写体OAまでの距離の履歴を用いて主要被写体OAの動き量を算出することもできる。主要被写体OAまでの距離が49mから50mに変化した場合であって,オートフォーカスの駆動周期が0.2秒の場合には,ピント合致対象範囲RAは48mから52mとする。主要被写体OAまでの距離が48mから50mに変化した場合であって,オートフォーカスの駆動周期が0.1秒の場合には,ピント合致対象範囲RAは47mから53mとする。
図8および図9は,他の実施例を示している。図8および図9は,3台のカメラ装置A,カメラ装置Bおよびカメラ装置Cを利用して主要被写体OAを撮像するものである。
図8を参照して,移動領域40には,主要被写体OAのほかに被写体OBが存在している。被写体OBは,(20,70)で特定される位置にいる。また,カメラ装置Aおよびカメラ装置Bのほかにカメラ装置Cが設置されている。カメラ装置Aおよびカメラ装置Bは,上述した実施例と同様に,それぞれ(0,40)および(50,100)に設置されており,カメラ装置Cは(70,0)に設置されている。
カメラ装置A,カメラ装置Bおよびカメラ装置Cのそれぞれにおいて主要被写体OAが撮像され,それぞれのカメラ装置A,カメラ装置Bおよびカメラ装置Cから主要被写体OAまでの距離およびカメラ装置と主要被写体OAとのなす角をそれぞれ表す距離データおよび角度データが得られる。カメラ装置B(第1の位置検出用撮像装置)からカメラ装置A(撮像装置)に距離データ(第1の距離データ)および角度データ(第1の角度データ)が送信され,かつカメラ装置C(第2の位置検出用撮像装置)からカメラ装置Aに距離データ(第2の距離データ)および角度データ(第2の角度データ)が送信される。カメラ装置Bから送信された距離データ(第1の距離データ)および角度データ(第1の角度データ)がならびにカメラ装置Cから送信された距離データ(第2の距離データ)および角度データ(第2の角度データ)が,カメラ装置Aの通信装置3(第1の受信手段)で受信され,カメラ装置Bから送信された距離データ(第1の距離データ)および角度データ(第1の角度データ)の組ならびにカメラ装置Cから送信された距離データ(第2の距離データ)および角度データ(第2の角度データ)の組の少なくとも一方の組に基づいて,主要被写体OAの位置を特定する位置特定情報をカメラ装置Aの制御装置(第1の算出手段)1によって算出するようにしてもよい。両方の組を用いて主要被写体OAの位置が算出される場合には,両方の組のそれぞれから主要被写体OAの位置を算出し,得られた位置の平均を主要被写体OAの位置とすることができる。
また,カメラ装置Bおよびカメラ装置Cのそれぞれから,主要被写体OAの位置を表すデータがカメラ装置Aに送信されてもよい。カメラ装置Aの制御装置1は,カメラ装置Bから送信された主要被写体OAの位置を表すデータを利用して主要被写体OAの位置を検出してもよいし,カメラ装置Cから送信された主要被写体OAの位置を表すデータを利用して主要被写体OAの位置を検出してもよいし,カメラ装置Bおよびカメラ装置Cのそれぞれから送信された主要被写体OAの位置を表す2つのデータを利用して主要被写体OAの位置を検出してもよい。2つのデータを利用して主要被写体OAの位置を検出する場合には,2つのデータによって表される位置の平均の位置が主要被写体OAの位置とされよう。
図9は,主要被写体OAおよび被写体OBが移動した様子を示している。
主要被写体OAは,(50,40)で特定される位置から(80,70)で特定される位置に移動し,かつ被写体OBは,(20,70)で特定される位置から(20,48)に特定される位置に移動したものとする。
この場合,カメラ装置Aと主要被写体OAとの間に被写体OBが入り込んでしまうが,カメラ装置Bと主要被写体OAとの間には被写体OBは入らず,カメラ装置Cと主要被写体OAとの間にも被写体OBは入らないものとする。カメラ装置Aは,主要被写体OAの位置を検出できないが,カメラ装置Bおよびカメラ装置Cは主要被写体OAの位置を検出できる。カメラ装置Aのみでは,主要被写体OAにピントを合わせることができず,被写体OBにピントが合ってしまうことがあるが,この実施例では,カメラ装置Bおよびカメラ装置Cから主要被写体OAの位置を表すデータがカメラ装置Aに送信され,主要被写体OAの近傍にピントが合うように,カメラ装置Aのフォーカスレンズ7の移動を制限される。このために,オートフォーカスにより,被写体OBにピントが合ってしまうことが未然に防止され,カメラ装置Aでは,カメラ装置Bおよびカメラ装置Cから送信されたデータを用いて主要被写体OAのいる位置にピントを合わせておくことができる。被写体OBがさらに移動し,カメラ装置Aが主要被写体OAを撮像できるようになると,カメラ装置Aは,迅速に主要被写体OAにピントを合わせることができるようになる。
図10および図11は,他の実施例を示している。
図10および図11におけるカメラ装置Cは,移動領域40を上方から撮像できる位置に設置されている。図10および図11では,カメラ装置Cは,移動領域40のほぼ中央(実質的に中央と見做せる位置)に設置されているが,ほぼ中央に設置されなくともよい。
図10を参照して,移動領域40には,複数の被写体OC,OD,OE,OFおよびOGが存在する。カメラ装置Cは,複数の被写体OC,OD,OE,OFおよびOGのうち,所望の被写体(主要被写体となる)の位置を検出し,その位置を表すデータをカメラ装置Aに送信する。カメラ装置Aからの指示によって決定される被写体の位置がカメラ装置Cによって検出されてもよい。
カメラ装置Cから送信された位置を表すデータがカメラ装置Aにおいて受信されると,そのデータにもとづいて決定される位置までの距離がカメラ装置Aにおいて算出され,フォーカス合致対象範囲が決定される。たとえば,カメラ装置Cからカメラ装置Aに被写体OEの位置(50,70)を表すデータが送信されると,図11に示すように,カメラ装置Aでは,被写体OEまでの距離(たとえば,58m)が算出され,カメラ装置Aから53mから63mの範囲がフォーカス合致対象範囲と決定される。その範囲でピントが合うように,カメラ装置Aのフォーカスレンズ7の移動が制限される。
図12は,図11に示す移動領域40をカメラ装置Aで撮像した場合のカメラ装置Aの表示装置14の表示画面50の一例である。
カメラ装置Aによって被写体OF,OEおよびOGが撮像されている。カメラ装置Cからカメラ装置Aに被写体OEの位置(50,70)を表すデータが送信されると,被写体OEが主要被写体と判断され,その主要被写体が存在するエリアにAFエリア51が設定されることとなる。AFエリア51内に存在する被写体OEにピントが合うようになる。
また,被写体が後ろ向きとなったり,下を向いたりすると,被写体認識できないことがある。すべてのカメラ装置において被写体が認識されないと,被写体の位置情報が無くなってしまう。このような事態を防止するために,オートフォーカスしていない被写体に対しても被写体認識された被写体の位相差量を取得して,被写体までの距離を算出しておくことが好ましい。図12の場合では,被写体OF,OEおよびOGが撮像されており,それぞれの被写体の被写体像の位相差量を算出し,算出した位相差量から被写体OF,OEおよびOGまでの距離を算出することができる。これにより,被写体の位置情報を取得できる可能性が高くなる。
図13および図14は,他の実施例を示すもので,カメラ装置Aの処理手順を示すフローチャートである。
この処理手順は,移動領域40に複数の被写体が存在する場合に,主要被写体を切替えるものである。複数の被写体が移動領域40において移動しており,主要被写体を追従している場合に追従する主要被写体を切替えることができる。もっとも,被写体は移動していなくともよい。
図8に示すように,移動領域40にカメラ装置A,カメラ装置Bおよびカメラ装置Cが設置されているものとする。3台のカメラ装置A,BおよびCが利用されているが,2台または4台以上のカメラ装置が利用されていてもよい。移動領域40には被写体OAと被写体OBとが存在するものとする。
カメラ装置Aのユーザによって,被写体OAが存在している移動領域40およびカメラ装置Aの設定位置がカメラ装置Aに設定され(ステップ61,62),カメラ装置Aによって,移動領域40が撮像される(ステップ63)。カメラ装置AのAF指令ボタン2(AF指令入力手段)によってカメラ装置AにAF指令が入力されると(ステップ64でYES),カメラ装置AのAFエリア内に含まれている被写体について被写体認識が行なわれ,カメラ装置AのAFエリア内に被写体認識された被写体が含まれているかどうかが確認される(ステップ65)。具体的には,カメラ装置Aには,移動領域40内に存在する被写体OAを認識できる特徴データと被写体OBを認識できる特徴データとがあらかじめメモリ6に記憶されており,そのあらかじめ記憶されている特徴データによってAFエリア内に存在している被写体が被写体OAまたは被写体OBとして認識されたかどうかが確認される。
カメラ装置AのAFエリア内に被写体認識された被写体が含まれている場合には(ステップ65でYES),AFエリア内に含まれている被写体が主要被写体であるとカメラ装置Aに含まれる制御装置1(主要被写体決定手段)によって決定される(ステップ67)。たとえば,AFエリア内に被写体OAが含まれていると制御装置1によって判断されると,被写体OAが主要被写体であると制御装置1によって決定され,AFエリア内に被写体OBが含まれていると制御装置1によって判断されると,被写体OBが主要被写体であると制御装置1によって決定される。
移動領域40に存在し,かつ被写体認識されている被写体OAおよび被写体OBの位置をそれぞれ表すデータ(位置特定情報)が,被写体OAについてのもの,被写体OBについてのものであることを示す識別データとともに他のカメラ装置Bおよびカメラ装置Cからカメラ装置Aに送信される。カメラ装置Aでは,他のカメラ装置Bおよびカメラ装置Cから送信された位置を表すデータおよび識別データを,通信装置3(位置特定情報取得手段)によって受信する(ステップ68)。被写体OAおよび被写体OBのいずれかが主要被写体になるのであり,決定された主要被写体の実空間における位置を特定する位置特定情報が受信されることとなる。カメラ装置Aにおいては,主要被写体と決定された被写体OAまたは被写体OBの位置データによって表される位置の前後がピント合致対象範囲と制御装置1によって決定され,制御装置1(合焦制御手段)によってフォーカスレンズ7の移動範囲が制御される(ステップ69)。フォーカスレンズ7がフォーカスモータ8(フォーカス手段)によって制御され,決定された主要被写体にピントが合わせられる(ステップ30)。このようにして,所望の被写体を主要被写体と決定することができる。
カメラ装置AのAFエリア内に被写体認識された被写体が含まれていない場合には(ステップ65でNO),あらかじめ定められているAFエリア内に含まれている被写体にピントが合うようにフォーカスレンズ7が位置決めされるオートフォーカス処理が行なわれる(ステップ66)。
再びAF指令がカメラ装置Aに入力されると,ステップ65からの処理が繰り返される。主要被写体に変更したい被写体をAFエリアに入るようにカメラ装置Aのカメラアングルを変更することにより,主要被写体に変更することができる。
図15および図16は,変形例を示している。
図15は,カメラ装置Aの表示画面50の一例である。
移動領域40には,図10に示すように,被写体OC,OD,OE,OFおよびOGが含まれているものとする。
図14ステップ68に示すように,他のカメラ装置Bなどから被写体OC,OD,OE,OFおよびOGの位置を表すデータが,それらの被写体OC,OD,OE,OFおよびOGを識別する識別データとともにカメラ装置Aに送信され,カメラ装置Aにおいて,位置を表すデータおよび識別データが受信される。例えば,被写体OEが主要被写体であり,被写体OE以外の被写体が副被写体と捉えることができる。受信した位置を表すデータとカメラ装置Aの設置位置を用いてカメラ装置Aの制御装置1(距離算出手段)によって,カメラ装置Aから被写体OC,OD,OE,OFおよびOGのそれぞれの被写体までの距離が算出される(距離算出手段による主被写体までの距離と副被写体までの距離との算出)。表示装置14の表示画面50には,表示制御装置13(表示制御手段)によって,カメラ装置Aから被写体OC,OD,OE,OFおよびOGのそれぞれの被写体までの距離を表示する距離表示領域52が形成される。制御装置1(主被写体認識手段,副被写体認識手段)によって主被写体OEと副被写体OC,ODおよびOGが認識される。距離表示領域52に,カメラ装置Aから被写体OC,OD,OE,OFおよびOGのそれぞれの被写体までの距離が表示される。カメラ装置Aにおいて被写体が認識され,かつその被写体までの距離を算出できた場合に,その被写体までの距離が表示され,かつその被写体に対応して「Y」の文字が表示されている。カメラ装置Aにおいて被写体が認識されない,あるいは被写体までの距離を算出できない場合には,その被写体に対応して「N」の文字が表示されている。「Y」の文字が表示されている被写体(図15に示す例では被写体OC,OD,OEおよびOG)を主要被写体とする場合(図13ステップ65においてAFエリアに被写体を含ませる場合など)には,その主要被写体の存在する位置の前後にピント合致対象範囲が規定されるので,その主要被写体とカメラ装置Aとの間に他の被写体が入ってしまっても,他の被写体にピントがあってしまうことが未然に防止される。
さらに,図15に示す距離表示領域52においては,主要被写体とされている被写体(被写体OE)については明暗が反転表示されている。このために,カメラ装置Aのユーザは,被写体のうち,どの被写体が,主要被写体かどうかが比較的簡単にわかる。
図16は,表示装置14の表示画面50の一例である。
図16に示す例では,図15に示す例と同様に,カメラ装置A以外の他のカメラ装置から,移動領域40に存在する被写体の位置を示すデータおよび被写体の識別データが送信され,カメラ装置Aにおいて受信される。受信した位置データとカメラ装置Aの設置位置とから被写体の位置がカメラ装置Aの制御装置1によって算出される。カメラ装置Aにおいて撮像されている被写体(図16に示す例では,主被写体OEならびに副被写体OFおよびOG)が表示画面50に表示され,その表示されている被写体の下に,表示制御装置13(表示制御手段)によって,カメラ装置Aからの距離が括弧内に表示される。主要被写体OEの存在する位置の前後にピント合致対象範囲が規定されるので,その主要被写体OEとカメラ装置Aとの間に他の被写体が入ってしまっても,他の被写体にピントがあってしまうことが未然に防止される。
さらに,図15に示すものにおいても,主要被写体とされている被写体(被写体OE)については明暗が反転表示されている。このために,カメラ装置Aのユーザは,被写体のうち,どの被写体が,主要被写体かどうかが比較的簡単にわかる。
図15に示すように距離表示領域52の距離表示と,図16に示すように被写体の下への距離表示とを併用してもよい。
図17および図18は,他の変形例を示している。
図17は,図15に対応するもので,表示装置14の表示画面50の一例である。
図17に示す例では,表示画面50には,距離表示領域52Aが表示される。図15に示す例と同様に,他のカメラ装置Bなどから移動領域40に含まれている被写体OC,OD,OE,OFおよびOGの位置を示すデータおよびその位置に存在する被写体の識別データがカメラ装置Aに送信される。カメラ装置Aにおいては,それらの位置を示すデータおよび識別データを受信し,カメラ装置Aの設置位置を利用して,カメラ装置Aから主被写体OEならびに副被写体OC,OD,OFおよびOGの位置のそれぞれの被写体までの距離がカメラ装置Aの制御装置1において算出される。また,カメラ装置Aの制御装置1において,現在ピントがあっている被写体までの距離がフォーカスレンズ7の位置にもとづいて算出される。現在ピントがあっている被写体までの距離と,主被写体OEならびに副被写体OC,OD,OFおよびOGのそれぞれの位置(制御装置1によって副被写体OC,OD,OFおよびOGが認識される。制御装置1が副被写体認識手段となる)までの残りの距離が制御装置1(残距離算出手段)によって算出される。算出された残りの距離が,それぞれの被写体OC,OD,OE,OFおよびOGに対応して距離表示領域52Aに表示される。被写体までの残り距離が分かるので,カメラ装置Aのユーザは,ユーザ自身で被写体にピントを合わせる場合などでも比較的簡単に所望の被写体にピントを合わせることができる。
図18は,図16に対応するもので,表示装置14の表示画面50の一例である。
図18に示す例においても,図17に示す例と同様に,被写体までの残り距離がカメラ装置Aの制御装置1によって算出される。算出された残り距離が被写体に関連づけて表示される。図18に示す例でも被写体までの残り距離が分かるので,カメラ装置Aのユーザは,ユーザ自身で被写体にピントを合わせる場合などでも比較的簡単に所望の被写体にピントを合わせることができる。
図17および図18のいずれの例においても,主要被写体として決定されている被写体については,残り距離等について明暗が反転されて表示されている。
図15から図18において,主要被写体は,被写体OEであるが,その他の被写体OGなどは副被写体と定義することができ,主要被写体OEだけでなく,副被写体についてもカメラ装置Aから副被写体までの距離および残り距離が算出され,かつ表示されている。主要被写体OEを副被写体OGなどに変更する場合にも,これらの距離および残り距離を利用できる。
図19から図22は,他の実施例を示すものである。この実施例では,移動領域40に含まれている被写体の位置関係が,異常かどうかが判定される。異常と判定されると,その異常と判定された被写体について再認識処理が行なわれる。被写体認識の精度が向上する。
図19および図20は,カメラ装置Aの処理手順を示すフローチャートである。図21および図22は,移動領域40ならびにカメラ装置A,カメラ装置Bおよびカメラ装置Cの関係を示している。図21および図22においては,被写体OEが主要被写体であるとする。
カメラ装置Aにおいて,主要被写体OEの移動領域40が設定され(ステップ71),カメラ装置Aの設置位置が設定される(ステップ72)。移動領域40がカメラ装置Aにおいて撮像され(ステップ73),撮像画像からすべての被写体OC,OD,OE,OFおよびOGがカメラ装置Aに記憶されている特徴データを利用して検出され(ステップ74),検出されたすべての被写体OC,OD,OE,OFおよびOGのボケ量が算出され(ステップ75),算出されたボケ量から,すべての被写体OC,OD,OE,OFおよびOGの位置がカメラ装置Aの制御装置1によって算出される(ステップ76)。算出されたすべての被写体OC,OD,OE,OFおよびOGの位置を表す位置データおよび被写体の識別データが他のカメラ装置Bおよびカメラ装置Cに送信される(ステップ77)。また,他のカメラ装置Bおよびカメラ装置Cから送信されたすべての被写体OC,OD,OE,OFおよびOGの位置データおよび識別データが,カメラ装置Aにおいて受信される(ステップ78)。
カメラ装置Aにおいて算出された被写体OC,OD,OE,OFおよびOGの位置と,カメラ装置Bまたはカメラ装置Cにおいて算出され,カメラ装置Bまたはカメラ装置Cから送信された位置を表すデータによって表される被写体OC,OD,OE,OFおよびOGの位置と,が,不一致であり,異常かどうかが,カメラ装置Aの制御装置1(不一致判定手段)において判定される(ステップ79)。少なくとも主要被写体OEの位置が,異常かどうかが制御装置1(不一致判定手段)によって判定されればよい。もちろん,上述のように,主要被写体OE以外の副被写体OC,OD,OFおよびOGの位置が不一致かどうかを制御装置1によって判定してもよい。異常の場合には,異常と考えられる被写体の位置および被写体の識別データがカメラ装置Aから他のカメラ装置Bおよびカメラ装置Cに送信される。また,他のカメラ装置Bまたはカメラ装置Cにおいて被写体の位置が異常と考えられた場合には,他のカメラ装置Bまたはカメラ装置Cからカメラ装置に,位置が異常と考えられる被写体の位置および被写体の識別データが送信され,カメラ装置Aにおいて受信される(ステップ80)。位置が異常と判断された被写体については,カメラ装置Aにおいて再認識処理が行なわれる(ステップ81)。他のカメラ装置Bおよびカメラ装置Cにおいてもカメラ装置Aと同様に位置が異常と判断された被写体について,制御装置1(認識制御手段)によって再認識処理が行なわれる。再認識処理において得られた結果が,前回の結果と異なる結果となった場合には,その結果を示す被写体の識別データおよび被写体の位置データが,他のカメラ装置に送信される。
被写体の位置が異常かどうかは,同一被写体が同一位置に存在するかどうかにもとづいて判断される。あらかじめ定められたしきい値内の距離に同一被写体が存在すると考えられれば,同一被写体が同一位置に存在すると判断される。また,同一位置に存在すると考えられる被写体の数が,カメラ装置によって異なる場合には位置が異常と判断される。
図21を参照して,カメラ装置Aでは被写体OEを被写体OEと認識し,かつ被写体OEの位置を(48,69)と算出したものとする。同様に,カメラ装置Bでは被写体OEを被写体OEと認識し,かつ被写体OEの位置を(51,70)と算出したものとする。また,カメラ装置Cでは被写体OEを被写体OCと誤認識し,被写体OCと誤認識した被写体OCの位置を(51,71)と算出したものとする。カメラ装置Aおよびカメラ装置Bにおいて認識された被写体OEとカメラ装置Cにおいて認識された被写体OCとが,ほぼ同じ位置に存在することとなり,カメラ装置Aでは主要被写体OEの位置が異常と判断され,主要被写体OEの再認識処理が行なわれる。
図20に戻って,カメラ装置Aにおいて,主要被写体の信頼性が制御装置1(信頼度算出手段)によって判定される(ステップ82)。主要被写体の信頼性とは,主要被写体OEについての位置の確からしさ,主要被写体OEと判断された被写体が実際の主要被写体OEであると判断される確からしさについてのことである。
主要被写体OEについて信頼性がある場合には(ステップ83でYES),その主要被写体OEの位置の前後の位置がピント合致対象範囲に設定され,そのピント合致対象範囲にピントが合うように,フォーカスレンズ7の移動が制御される(ステップ84)。主要被写体OEについての信頼性が無い場合には(ステップ83でNO),ステップ84の処理はスキップされる。主要被写体OEについてピントが合わせられる(ステップ85)。終了指令が与えられなければ(ステップ86でNO),再びステップ73からの処理が繰り返される。
また,図22に示すように,カメラ装置Aにおいて,主要被写体OEを主要被写体OEと判断し,位置(48,69)と算出し,被写体OGを被写体OGと判断し,位置(21,71)と算出したとする。また,カメラ装置Bにおいて,主要被写体OEを主要被写体OEとし,位置(51,70)と算出したとする。さらに,カメラ装置Cにおいて,主要被写体OEを被写体OGと誤判断し,位置(52,73)と算出したとする。ほぼ同一位置に異なる被写体OEとOGとが存在することとなるので,カメラ装置Aにおいて,再認識処理(ステップ81)が行なわれる。また,カメラ装置Aにおいて算出された被写体OGの位置(21,71)とカメラ装置Cにおいて誤認識された被写体OGの位置(52,73)との間に差がありすぎるので,カメラ装置Aにおいて被写体OGについて再認識処理が行なわれる。このように副被写体OGについても再認識処理が行われてもよい。カメラ装置Bおよびカメラ装置Cにおいても,カメラ装置Aと同様に,被写体OEおよびOGについて再認識処理が行なわれるのはいうまでもない。
図23は,信頼性判定処理手順(図20ステップ82の処理手順)のフローチャートである。
図21も参照して,主要被写体についての認識率が第1のしきい値以上かどうかが判定される(ステップ91)。主要被写体についての認識率とは,複数のカメラ装置において主要被写体であると認識された数の割合であり,(主要被写体と認識されたカメラ装置の数)/(複数のカメラ装置の数)となる。図21に示す例では,カメラ装置Aおよびカメラ装置Bは主要被写体OEを主要被写体OEと認識し,カメラ装置Cは主要被写体OEを被写体OGと認識しているから,主要被写体についての認識率は2/3となる。
主要被写体OEについての認識率が第1のしきい値以上であれば(ステップ91でYES),主要被写体OEとほぼ同一位置に存在すると考えられる被写体のそれぞれのカメラ装置での最大検出被写体数(被写体として検出された最大数)が得られる。最大検出被写体数は,特定の被写体であると認識する必要はなく,被写体であることの数が分かればよく,カメラ装置A,カメラ装置Bおよびカメラ装置Cのそれぞれのカメラ装置ごとに同一位置に存在するとして検出された被写体数の数である。たとえば,カメラ装置A,カメラ装置Bおよびカメラ装置Cのそれぞれにおいて,(50,70)の位置にそれぞれ一つの被写体を検出するため,最大検出被写体数は1となる。つづいて,主要被写体OEとほぼ同一位置に存在する認識被写体数が検出される。認識被写体数は,ほぼ同一位置に存在する被写体のうち,主要被写体OEであると認識された数である。(50,70)の位置に存在する主要被写体について,カメラ装置Aおよびカメラ装置Bは主要被写体OEと認識し,カメラ装置Cは主要被写体OGと認識しているから,認識被写体数は2となる。このようにして検出された最大検出被写体数が,認識被写体数以下かどうかが判定される(ステップ92)。最大検出被写体数が認識被写体数以下であれば(ステップ92でYES),主要被写体を主要被写体と判定しているカメラ装置の数が多いので,信頼性がありと判断される(ステップ94)。
最大検出被写体数が認識被写体数より多ければ(ステップ92でNO),主要被写体OEが存在する位置とほぼ同じ位置における主要被写体OE認識率が算出される。カメラ装置Aおよびカメラ装置Bが主要被写体OEと認識し,カメラ装置Cは被写体OGと認識しているので,認識率は2/3となる。この認識率が第2のしきい値以上であれば(ステップ93でYES),信頼性ありと判断される(ステップ94)。
主要被写体OEの認識率が第1のしきい値未満である(ステップ91でNO),あるいは,主要被写体のほぼ同一位置における認識率が第2のしきい値未満である場合には(ステップ93でNO),信頼性なしと判断される(ステップ95)。
上述の実施例では,主要被写体OEについての信頼性が判断されているが,主要被写体OEだけでなく,その他の副被写体OCなどについても同様に制御装置1によって信頼性を判定してもよい。
図24および図25は,変形例を示している。
移動領域40の位置(15,10),(75,15),(50,70),(80,50)および(20,70)に,被写体OC,OD,OE,OFおよびOGが存在するとする。これらの被写体OC,OD,OE,OFおよびOGのそれぞれには,位置検出装置{発信機,GPS(Global Positioning System)装置など}100が付けられている。位置検出装置100からは,存在する位置が送信される。被写体OC,OD,OE,OFおよびOGのそれぞれに付けられている位置検出装置100から,被写体OC,OD,OE,OFおよびOGのそれぞれの位置を表すデータおよびその位置の被写体を識別するデータが送信され,カメラ装置Aの通信装置3(位置特定情報受信手段)において受信される。受信した位置を表すデータおよび被写体を識別するデータから,主要被写体OEまでの距離(58m)がカメラ装置Aにおいて算出される。このようにカメラ装置Aから主要被写体OEまでの距離が算出されると,その主要被写体OEの前後にピント合致対象範囲が設定され,カメラ装置Aのフォーカスレンズ7の移動範囲が制限される。
図26および図27は,変形例を示すもので,表示装置14の表示画面50を示している。図28および図29は,顔の大きさまたは身長と被写体までの距離との関係を示している。
図26は,撮像された被写体の顔の大きさを利用して被写体までの距離を算出する場合に利用されるものである。
被写体OE,OFおよびOGが検出されたものとする。それぞれの被写体OE,OFおよびOGの中から,それぞれ顔の領域102,101および103がカメラ装置Aの制御装置1によって検出される。検出された顔の大きさ(画素数)から,被写体OE,OFおよびOGのそれぞれの被写体までの距離が制御装置1によって算出される。フォーカスレンズ7の焦点距離が100mmの場合には,図28に示すテーブルが利用され,フォーカスレンズ7の焦点距離が400mmの場合には,図29に示すテーブルが利用される。フォーカスレンズ7の焦点距離に対応したテーブルが記憶されており,フォーカスレンズ7の焦点距離に対応したテーブルを利用して,検出された顔の領域の大きさ(画素数)から被写体までの距離が算出される。
図27は,撮像された被写体の身長を利用して被写体までの距離を算出する場合に利用されるものである。
被写体OE,OFおよびOGが検出されたものとする。それぞれの被写体OE,OFおよびOGの中から,それぞれの身長HE,HFおよびHGがカメラ装置Aの制御装置1によって検出される。検出された身長(画素数)から,被写体OE,OFおよびOGのそれぞれの被写体までの距離が制御装置1によって算出される。フォーカスレンズ7の焦点距離が100mmの場合には,図28に示すテーブルが利用され,フォーカスレンズ7の焦点距離が400mmの場合には,図29に示すテーブルが利用される。フォーカスレンズ7の焦点距離に対応したテーブルが記憶されており,フォーカスレンズ7の焦点距離に対応したテーブルを利用して,検出された身長(画素数)から被写体までの距離が算出される。
顔の大きさ,身長だけでなく,足の長さ,胴の長さ,目の大きさなどを利用して被写体までの距離を算出してもよい。また,被写体が人物の場合,大きさ測定用のマーカーを被写体に付け,そのマーカーを利用して被写体までの距離を算出してもよい。さらに,顔の大きさ,身長などが被写体のそれぞれにおいてあらかじめ分かっている場合には,その分かっている顔の大きさ,身長などでテーブルを変更したり,補正したりしてもよい。
図30および図31は,他の実施例を示すもので,カメラ装置Aの処理手順示すフローチャートである。
主要被写体の移動領域40が設定され(ステップ111),カメラ装置Aの設置位置が設定される(ステップ112)。撮像された画像の中からカメラ装置Aの制御装置1によって主要被写体が認識される。カメラ装置Aによって移動領域40が撮像され(ステップ113),AF指令ボタン2からAF指令が入力されると(ステップ114),主要被写体の位置を表すデータおよび主要被写体の識別データが,他のカメラ装置から送信され,その送信された位置を表すデータおよび主要被写体の識別データがカメラ装置Aにおいて受信される(ステップ115)。
主要被写体が,カメラ装置Aの被写界深度に入るように絞り4の絞り値が制御装置1によって決定され(ステップ116),決定された絞り値となるように,絞りモータ5が制御装置1(絞り制御手段)によって制御される(ステップ117)。
他のカメラ装置から送信された主要被写体の位置を表すデータにもとづいて決定される位置の被写体にピントが合うように,フォーカスレンズ7の位置が制御装置1によって算出され(ステップ118),その算出された位置にフォーカスレンズ7がフォーカスモータ8によって移動させられる(ステップ119)。AF指令がカメラ装置Aに入力されると,再びステップ115の処理から繰り返される。
カメラ装置Aにオートフォーカス機能を有してなくとも,主要被写体にピントを合わせることができる。もちろん,カメラ装置Aにオートフォーカス機能を有していても,上述のように被写界深度に入るように絞りの絞り値を制御するようにしてもよい。
1 制御装置(主要被写体認識手段,合焦制御手段,撮像制御手段,第1の算出手段,検出手段,距離算出手段,表示制御手段,副被写体認識手段,残距離算出手段,位置算出手段,不一致算出手段,認識制御手段,信頼度算出手段,絞り制御手段)
2 AF指令ボタン(AF指令入力手段)
3 通信装置(位置特定情報取得手段,第1の受信手段,第2の受信手段)
8 フォーカスモータ(フォーカス手段)
10 CCD(撮像手段)
14 表示装置
A カメラ装置(撮像装置)
B,C カメラ装置(第1の位置検出用撮像装置)

Claims (21)

  1. 実空間における主要被写体の位置を特定する位置特定情報を取得する位置特定情報取得手段,
    撮像範囲を撮像して撮像画像を得る撮像手段,
    上記撮像手段によって得られた撮像画像における主要被写体を認識する主要被写体認識手段,
    上記位置特定情報取得手段において取得された位置特定情報によって特定される位置の前後に規定される範囲を,上記範囲内に存在する被写体にピントを合わせて撮像するピント合致対象範囲として,フォーカスレンズの移動を制限させる合焦制御手段,
    上記合焦制御手段の制御によりフォーカスレンズを駆動させるフォーカス手段,および
    上記主要被写体認識手段によって認識された主要被写体の主要被写体像を,上記フォーカス手段によって駆動させられたフォーカスレンズにより受光面に合焦させて上記撮像手段によって撮像させる第1の撮像制御手段,
    を備えた撮像装置であって,
    第1の位置検出用撮像装置によって主要被写体が撮像された場合に,上記第1の位置検出用撮像装置から主要被写体までの距離を表す第1の距離データおよび上記第1の位置検出用撮像装置と主要被写体とのなす角を表す第1の角度データが上記第1の位置検出用撮像装置により送信され,
    上記位置特定情報取得手段は,
    上記第1の位置検出用撮像装置により送信された上記第1の距離データおよび上記第1の角度データを受信する第1の受信手段,ならびに
    上記第1の受信手段によって受信した上記第1の距離データおよび上記第1の角度データに基づいて主要被写体の位置を特定する位置情報を算出する第1の算出手段,
    を備えた撮像装置。
  2. 上記撮像手段の被写界深度が深いほど上記ピント合致対象範囲を広げる,
    請求項1に記載の撮像装置。
  3. 上記主要被写体の動き量を検出する検出手段をさらに備え,
    上記検出手段によって検出された動き量が,しきい値以上の場合、上記ピント合致対象範囲を広げる,
    請求項1に記載の撮像装置。
  4. 第2の位置検出用撮像装置によって主要被写体が撮像された場合に,上記第2の位置検出用撮像装置から主要被写体までの距離を表す第2の距離データおよび上記第2の位置検出用撮像装置と主要被写体とのなす角を表す第2の角度データが上記第2の位置検出用撮像装置により送信され,
    上記第1の受信手段は,
    上記第1の位置検出用撮像装置により送信された上記第1の距離データおよび上記第1の角度データならびに上記第2の位置検出用撮像装置により送信された上記第2の距離データおよび上記第2の角度データを受信し,
    上記第1の算出手段は,
    上記第1の受信手段によって受信した上記第1の距離データおよび上記第1の角度データの組ならびに上記第2の距離データおよび上記第2の角度データの組の少なくとも一方の組に基づいて主要被写体の位置を特定する位置特定情報を算出する,
    請求項1に記載の撮像装置。
  5. 位置検出装置によって主要被写体の位置が検出され,主要被写体の位置を表す位置特定情報が上記位置検出装置により送信され,
    上記位置特定情報取得手段は,
    上記位置検出装置により送信された位置特定情報を受信する第2の受信手段を備えている,
    請求項1に記載の撮像装置。
  6. 上記フォーカス手段は,
    上記主要被写体認識手段によって上記主要被写体が認識されたことに応じて,認識された主要被写体を含むAFエリアを設定し,上記主要被写体認識手段によって上記主要被写体が認識されなかったことに応じて,あらかじめ定められているエリアをAFエリアとして設定し,フォーカスレンズを駆動させて,設定されたAFエリア内に存在する被写体にピントを合わせる,
    請求項1に記載の撮像装置。
  7. 上記フォーカス手段は,
    上記主要被写体認識手段によって主要被写体が認識されたことに応じて,認識された上記主要被写体を含むAFエリアを設定し,上記主要被写体認識手段によって上記主要被写体が認識されなかったことに応じて,上記位置特定情報取得手段において取得した位置特定情報によって特定される位置に基づいてAFエリアを設定し,フォーカスレンズを駆動させて,設定されたAFエリア内に存在する被写体にピントを合わせる,
    請求項1に記載の撮像装置。
  8. 上記第1の位置検出用撮像装置によって撮像された上記主要被写体の位相差に基づいて上記主要被写体までの距離が算出されている,
    請求項1に記載の撮像装置。
  9. AF指令を入力するAF指令入力手段,および
    上記AF指令入力手段からAF指令が入力されたことにより,上記撮像手段によって得られた撮像画像において規定されるAFエリアに含まれる被写体を上記主要被写体と決定する主要被写体決定手段をさらに備え,
    上記位置特定情報取得手段は,
    上記主要被写体決定手段によって決定された上記主要被写体の実空間における位置を特定する位置特定情報を取得する,
    請求項1に記載の撮像装置。
  10. 上記撮像手段によって得られた撮像画像を表示画面に表示する表示装置,
    上記主要被写体までの距離を算出する距離算出手段,および
    上記距離算出手段によって算出された距離を,上記主要被写体に関連づけて上記表示画面に表示させる表示制御手段,
    をさらに備えた請求項1に記載の撮像装置。
  11. 上記位置特定情報取得手段において取得する位置特定情報は,
    実空間における主要被写体および副被写体のそれぞれの位置を特定し,
    上記撮像手段によって得られた撮像画像から副被写体を認識する副被写体認識手段をさらに備え,
    上記距離算出手段は,
    上記主要被写体までの距離および副被写体までの距離をそれぞれ算出し,
    上記表示制御手段は,
    上記距離算出手段によって算出された距離を,対応する主要被写体または副被写体に関連づけて上記表示画面に表示させる,
    請求項10に記載の撮像装置。
  12. 上記距離算出手段によって算出された主要被写体までの距離と,フォーカスレンズがピントを合わせている位置までの距離と,の残りの距離を算出する残距離算出手段をさらに備え,
    上記表示制御手段は,
    上記残距離算出手段によって算出された残距離を主要被写体に関連づけて上記表示画面に表示させる,
    請求項10に記載の撮像装置。
  13. 上記位置特定情報取得手段において取得する位置特定情報は,
    実空間における主要被写体および副被写体のそれぞれの位置を特定し,
    上記撮像手段によって得られた撮像画像から副被写体を認識する副被写体認識手段をさらに備え,
    上記距離算出手段は,
    主要被写体までの距離および副被写体までの距離をそれぞれ算出し,
    上記距離算出手段によって算出された主要被写体までの距離とフォーカスレンズがピントを合わせている位置までの距離との残りの距離および上記距離算出手段によって算出された副被写体までの距離とフォーカスレンズがピントを合わせている位置までの距離との残りの距離を算出する残距離算出手段をさらに備え,
    上記表示制御手段は,
    上記残距離算出手段によって算出された残距離を,対応する主要被写体または副被写体に関連づけて上記表示画面に表示させる,
    請求項12に記載の撮像装置。
  14. 上記主要被写体認識手段によって認識した主要被写体の実空間における位置を算出する位置算出手段,
    上記位置算出手段によって算出された位置と,上記位置特定情報取得手段によって取得された位置特定情報によって特定される主要被写体の実空間における位置と,の間に不一致があるかどうかを判定する不一致判定手段,および
    上記不一致判定手段によって不一致と判定されたことにより,上記主要被写体認識手段による主要被写体の認識を再度行わせる認識制御手段,
    をさらに備えた請求項1に記載の撮像装置。
  15. 上記位置特定情報取得手段は,複数の位置特定情報を取得し,
    複数の位置特定情報によって特定される主要被写体の実空間における複数の位置と,上記位置算出手段によって算出された位置とに基づいて,上記認識制御手段により行わせられた主要被写体の認識の信頼度を算出する信頼度算出手段をさらに備え,
    上記信頼度算出手段により算出された信頼度がしきい値以上の場合に,上記フォーカス手段により移動を制限してフォーカスレンズを駆動させる,
    請求項14に記載の撮像装置。
  16. 上記撮像手段によって得られた撮像画像から副被写体を認識する副被写体認識手段,および
    上記主要被写体認識手段によって認識された主要被写体および上記副被写体認識手段によって認識された副被写体の実空間における位置を算出する位置算出手段をさらに備え,
    上記位置特定情報取得手段において取得する位置特定情報は,実空間における主要被写体および副被写体のそれぞれの位置を特定し,
    上記位置算出手段によって算出された位置と上記位置特定情報取得手段において取得された位置特定情報によって表される位置との間に不一致があるかどうかを判定する不一致判定手段,ならびに
    上記不一致判定手段によって不一致であると判定された位置に存在する主要被写体および副被写体の少なくとも一方について上記主要被写体認識手段および上記副被写体認識手段の少なくとも一方による認識処理を再度行わせる認識制御手段,
    をさらに備えた請求項1に記載の撮像装置。
  17. 上記位置特定情報取得手段は,
    主要被写体に付けられた位置検出装置により送信される位置特定情報を受信する,
    請求項1に記載の撮像装置。
  18. 上記第1の位置検出用撮像装置によって撮像された主要被写体の大きさまたは主要被写体の顔の大きさと上記第1の位置検出用撮像装置の焦点距離とから主要被写体までの距離が算出されている,
    請求項1に記載の撮像装置。
  19. 上記位置特定情報取得手段によって特定される位置に存在する主要被写体が上記撮像手段の被写界深度に入る絞り値に,絞りを制御する絞り制御手段,および
    上記絞り制御手段によって制御される絞りを用いて,上記撮像手段によって上記主要被写体を撮像させる第2の撮像制御手段,
    をさらに備えた請求項1に記載の撮像装置。
  20. 位置特定情報取得手段が,実空間における主要被写体の位置を特定する位置特定情報を取得し,
    撮像手段が,撮像範囲を撮像して撮像画像を得,
    主要被写体認識手段が,上記撮像手段によって得られた撮像画像から上記主要被写体を認識し,
    合焦制御手段が,上記位置特定情報取得手段において取得された位置特定情報によって特定される位置の前後に規定される範囲を,上記範囲内に存在する被写体にピントを合わせて撮像するピント合致対象範囲として,フォーカスレンズの移動を制限させ,
    フォーカス手段が,上記合焦制御手段の制御によりフォーカスレンズを駆動させ,
    撮像制御手段が,上記主要被写体認識手段によって認識された主要被写体の主要被写体像を,上記フォーカス手段によって駆動させられたフォーカスレンズにより受光面に合焦させて上記撮像手段によって撮像させる撮像方法であって
    第1の位置検出用撮像装置によって主要被写体が撮像された場合に,上記第1の位置検出用撮像装置から主要被写体までの距離を表す第1の距離データおよび上記第1の位置検出用撮像装置と主要被写体とのなす角を表す第1の角度データが上記第1の位置検出用撮像装置により送信され,
    上記位置特定情報取得手段は,
    第1の受信手段によって,上記第1の位置検出用撮像装置により送信された上記第1の距離データおよび上記第1の角度データを受信し,
    上記第1の受信手段によって受信した上記第1の距離データおよび上記第1の角度データに基づいて主要被写体の位置を特定する位置情報を算出する,
    撮像方法。
  21. 絞り制御手段が,上記位置特定情報取得手段によって特定される位置に存在する主要被写体が上記撮像手段の被写界深度に入る絞り値に,絞りを制御し,
    撮像制御手段が,上記絞り制御手段によって制御される絞りを用いて,上記撮像手段によって上記主要被写体を撮像させる,
    請求項20に記載の撮像方法。

JP2017543001A 2015-09-30 2016-08-15 撮像装置および撮像方法 Active JP6522768B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2015193023 2015-09-30
JP2015193023 2015-09-30
PCT/JP2016/073842 WO2017056757A1 (ja) 2015-09-30 2016-08-15 撮像装置および撮像方法

Publications (2)

Publication Number Publication Date
JPWO2017056757A1 JPWO2017056757A1 (ja) 2018-04-26
JP6522768B2 true JP6522768B2 (ja) 2019-05-29

Family

ID=58423173

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017543001A Active JP6522768B2 (ja) 2015-09-30 2016-08-15 撮像装置および撮像方法

Country Status (4)

Country Link
US (1) US10389932B2 (ja)
JP (1) JP6522768B2 (ja)
CN (1) CN108139561B (ja)
WO (1) WO2017056757A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068578A (ko) * 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
JP7249285B2 (ja) 2017-03-21 2023-03-30 マジック リープ, インコーポレイテッド 空間光変調器を照明するための方法、デバイス、およびシステム
JP6960755B2 (ja) * 2017-03-27 2021-11-05 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
DE102017211038A1 (de) * 2017-06-29 2019-01-03 Robert Bosch Gmbh Verfahren zum Einstellen einer Kamera
JP7324639B2 (ja) * 2019-07-23 2023-08-10 日本放送協会 被写体位置推定装置、フォーカス補助装置、及び、それらのプログラム
JP7289754B2 (ja) 2019-08-08 2023-06-12 キヤノン株式会社 制御装置、制御方法、及びプログラム
JP2021032964A (ja) * 2019-08-20 2021-03-01 エスゼット ディージェイアイ テクノロジー カンパニー リミテッドSz Dji Technology Co.,Ltd 制御装置、撮像システム、制御方法、及びプログラム
CN110737276B (zh) * 2019-11-06 2023-03-31 达闼机器人股份有限公司 预警方法、巡逻机器人及计算机可读存储介质

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5843600B2 (ja) 1977-11-18 1983-09-28 松下電器産業株式会社 送風機
JPH06337346A (ja) * 1993-05-28 1994-12-06 Nikon Corp 自動合焦装置
JP2000083246A (ja) * 1998-09-04 2000-03-21 Canon Inc カメラ制御システム、カメラ制御方法、およびその処理を実行するプログラムを記憶した記録媒体
JP2005167517A (ja) * 2003-12-01 2005-06-23 Olympus Corp 画像処理装置、画像処理装置のキャリブレーション方法及び画像処理プログラム
CN1716078B (zh) * 2004-06-03 2012-03-28 佳能株式会社 图像拾取设备和图像拾取方法
JP2006018246A (ja) * 2004-06-03 2006-01-19 Canon Inc 撮像装置及び撮像方法
JP2006311345A (ja) * 2005-04-28 2006-11-09 Fuji Photo Film Co Ltd デジタルカメラ
JP4207980B2 (ja) * 2006-06-09 2009-01-14 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP2009008842A (ja) 2007-06-27 2009-01-15 Fujifilm Corp 撮影システム、撮影装置、方法およびプログラム
JP2010093422A (ja) * 2008-10-06 2010-04-22 Canon Inc 撮像装置
JP2011075735A (ja) 2009-09-30 2011-04-14 Canon Inc 撮像装置
JP5865120B2 (ja) * 2012-02-27 2016-02-17 株式会社ザクティ 電子カメラ
JP2013213903A (ja) 2012-04-02 2013-10-17 Xacti Corp 撮像装置
JP5991755B2 (ja) * 2012-11-16 2016-09-14 キヤノン株式会社 自動焦点検出装置およびその制御方法
JP6112925B2 (ja) * 2013-03-15 2017-04-12 オリンパス株式会社 表示機器及び表示方法
JP5472506B2 (ja) 2013-03-19 2014-04-16 住友電気工業株式会社 複数の移動対象物の追跡撮影システム及び撮影制御方法
JP6108925B2 (ja) 2013-04-11 2017-04-05 オリンパス株式会社 撮像装置、フォーカス調整システム、フォーカス指示装置、フォーカス調整方法、及びプログラム
WO2015141185A1 (ja) * 2014-03-20 2015-09-24 日本電気株式会社 撮像制御装置、撮像制御方法および記録媒体
CN103986877B (zh) * 2014-05-29 2017-09-26 宇龙计算机通信科技(深圳)有限公司 一种图像获取终端和图像获取方法

Also Published As

Publication number Publication date
CN108139561A (zh) 2018-06-08
WO2017056757A1 (ja) 2017-04-06
US20180205875A1 (en) 2018-07-19
JPWO2017056757A1 (ja) 2018-04-26
US10389932B2 (en) 2019-08-20
CN108139561B (zh) 2020-09-15

Similar Documents

Publication Publication Date Title
JP6522768B2 (ja) 撮像装置および撮像方法
TWI521255B (zh) 自動對焦方法、其自動對焦裝置和其影像擷取裝置
JP5178553B2 (ja) 撮像装置
CN105659580B (zh) 一种自动对焦方法、装置及电子设备
JP4218720B2 (ja) 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
KR101580545B1 (ko) 화상처리장치, 촬상장치, 제어 방법 및 기록 매체
CN107005655B (zh) 图像处理方法
US20110096142A1 (en) Imaging device, imaging method, and imaging system
US8520130B2 (en) Image capturing apparatus and auto-focus control method thereof
CN106101522A (zh) 使用非光场成像设备获得光场数据的方法和设备
JP2005130468A (ja) 撮像装置及びその制御方法
KR20150004989A (ko) 삼차원 영상 획득 장치 및 이를 이용한 영상 처리 방법
KR20150107597A (ko) 제스처 인식 장치 및 제스처 인식 장치의 제어 방법
JP2009522683A (ja) ステレオカメラを装着した移動端末機を利用した虹彩認識システム及び虹彩認識方法
JP2006270274A (ja) 被写体認識装置、および被写体認識方法
WO2009100778A1 (en) Improved rotation independent face detection.
US11496668B2 (en) Image capture apparatus and control method thereof
JP2005266520A (ja) 撮像装置および撮像方法
US20130076868A1 (en) Stereoscopic imaging apparatus, face detection apparatus and methods of controlling operation of same
JP2010066728A (ja) 撮像装置および撮像装置の制御方法
JP2009092747A (ja) 撮像装置、および撮像方法
KR101026327B1 (ko) 다중 경통을 이용한 빠른 자동 초점 장치 및 초점 조절 방법
JP2014039165A (ja) 追尾機能付き撮影装置
JPWO2017134881A1 (ja) 情報処理装置、情報処理方法、及びプログラム
JP6702736B2 (ja) 撮像制御装置および撮像装置の制御方法、プログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20171205

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20171205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20180925

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20190416

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20190424

R150 Certificate of patent or registration of utility model

Ref document number: 6522768

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250