JP7009142B2

JP7009142B2 - 撮像装置および画像処理方法

Info

Publication number: JP7009142B2
Application number: JP2017188179A
Authority: JP
Inventors: 努小笠原
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2017-09-28
Filing date: 2017-09-28
Publication date: 2022-01-25
Anticipated expiration: 2037-09-28
Also published as: JP2019068117A; US10977780B2; US20190096047A1

Description

本発明は、複数の画像のリサイズおよび位置合わせ処理に関する。

撮像装置には複眼カメラや、瞳分割型撮像素子等を有するカメラがある。一方で、通信環境の進歩によりカメラとスマートフォンとの通信も浸透しつつある。複数の画像を取得し、これらを単に並べて画像表示を行うだけでなく、複数の画像を関連付けることにより、使い勝手や画質の向上を図ることができる。撮影条件の異なる複数の画像の合成処理を行う装置として、複数枚の画像の合成によってノイズを低減し、広角で撮影された画像に対する重みを小さくすることにより解像度の劣化を抑える装置が開示されている（特許文献１）。また同一のカメラにおいて異なる焦点距離で撮影された複数の画像に対し、被写体画像が同じ大きさになるように変倍して合成する装置が開示されている（特許文献２）。

特開２０１６－１６７２３４号公報特開２００２－９４７６５号公報

ところで、複数の画像を合成する際には画像同士の位置合わせが必要であり、用途によっては位置合わせの速度や精度を要求される場合がある。複眼カメラのように、１つの装置内に複数の撮像系を備える場合には画像同士の位置関係が予め判っている。しかし、レンズ装置をカメラ本体部に着脱可能な構成では、接続のたびに位置関係を把握する必要がある。

また静止画の連写や動画撮影、ライブビュー撮影では、短い周期で連続的に画像が取得されるので、位置合わせの処理に時間がかかると、撮影の周期（コマ速、レートに対応する時間間隔）を長くする必要がある。特に、位置合わせの対象となる２枚の画像に写る被写体の画像サイズが異なる場合、位置合わせ前に被写体の画像サイズを合わせることが必要である。被写体の画像サイズの差が把握できていない場合には、位置合わせの対象画像の画像サイズとして複数の画像サイズを設定して位置合わせを行う必要があるため、さらに処理時間がかかる。また、撮影時の構図に複数の類似被写体が存在する場合には、予め被写体のサイズの差を把握できていないと、誤判別の可能性が高まる。つまり、大きさの異なる被写体同士が同一の被写体であると判断される可能性がある。さらには、連続的に撮像される複数の画像を取得する場合に位置合わせ処理を毎回実行すると、装置の消費電力が増加する。
本発明は、複数の画像データのリサイズおよび位置合わせの処理を、より正確にかつ短時間で行うことを目的とする。

本発明の一実施形態の撮像装置は、第１の画像データを出力する第１の撮像手段と、前記第１の撮像手段から出力された前記第１の画像データを処理する処理手段を有する撮像装置であって、当該撮像装置とは別装置である第２の撮像装置で撮像された第２の画像データを取得する通信手段を有し、前記処理手段は、前記第２の画像データのヘッダ情報から、前記第２の画像データを撮像する際に用いた撮像光学系の焦点距離、前記第２の画像データの画素数および前記第２の撮像装置に対応する被写体までの第２の距離情報を取得して、前記第１の画像データを撮像する際に用いた撮像光学系の焦点距離、前記第１の画像データの画素数、当該撮像装置に対応する被写体までの第１の距離情報、前記第２の画像データを撮像する際に用いた撮像光学系の焦点距離、前記第２の画像データの画素数および前記第２の距離情報に基づいて、前記第１の画像データの被写体の座標と前記第２の画像データの前記被写体の座標を合わせるための演算を行う。

本発明によれば、複数の画像データのリサイズおよび位置合わせの処理を、より正確にかつ短時間で行うことができる。

本実施形態の撮像装置の構成図である。本実施形態における複数の撮像装置の使用方法を説明する図である。本実施形態の撮影画像のとり扱いを説明する図である。本実施形態の位置合わせ処理の説明図である。本実施形態の動作シーケンスの説明図である。本実施形態の処理を説明するフローチャートである。第２実施形態を説明する図である。第３実施形態を説明する図である。

以下に、本発明の各実施形態を、添付図面にしたがって詳細に説明する。以下の実施形態では、通信可能な複数の撮像装置により撮像される画像を逐次に重ねて表示し、また第１の撮像装置を記録用とし、第２の撮像装置を被写体検出用として使い分ける際に、高速に位置合わせを行う例を説明する。

［第１実施形態］
図１は本実施形態の撮像装置の構成図である。画像処理装置１００を適用したデジタルカメラの構成例を示す。撮影レンズ部１０は撮像光学系を構成するフォーカスレンズ等の光学部材を備える。シャッタ１２は絞り機能を備える機械式シャッタである。撮像素子１４は、撮影レンズ部１０およびシャッタ１２を含む撮像光学系により結像された光学像を光電変換し、電気信号を出力する。Ａ／Ｄ（アナログ／デジタル）変換器１６は撮像素子１４の出力するアナログ信号をデジタル信号に変換する。

タイミング発生回路１８は撮像素子１４、Ａ／Ｄ変換器１６にクロック信号や制御信号を供給する回路であり、メモリ制御回路２２およびシステム制御部５０により制御される。タイミング発生回路１８により、例えば撮像素子１４のリセットタイミングを制御することで電子シャッタとしての蓄積時間制御が可能であり、これは動画撮影等に使用可能である。

画像処理回路２０は、Ａ／Ｄ変換器１６からのデータ或いはメモリ制御回路２２からのデータに対して、所定の画素補間処理や色変換処理、ＡＷＢ（オートホワイトバランス）処理等を行う。また画像処理回路２０は画像の切り出しや変倍処理を行うことで電子ズーム機能を実現する。画像処理回路２０は、撮像された画像データを用いて所定の演算処理を行う。その演算結果に基づいてシステム制御部５０が露光制御部４０、フォーカス制御部４２、フラッシュ４８に対してＡＥ（自動露光）処理、ＡＦ（オートフォーカス）処理、ＥＦ（フラッシュ調光）処理を行う。

メモリ制御回路２２は、Ａ／Ｄ変換器１６、タイミング発生回路１８、画像処理回路２０、メモリ３０、圧縮・伸長回路３２を制御する。Ａ／Ｄ変換器１６の出力データは画像処理回路２０、メモリ制御回路２２を介して、或いはメモリ制御回路２２を直接介して、メモリ３０に書き込まれる。

画像表示部２８はＬＣＤ（液晶表示装置）等の表示デバイスを備える。メモリ３０に書き込まれた表示用の画像データは、メモリ制御回路２２を介して画像表示部２８の画面に表示される。撮像された画像データが画像表示部２８により逐次表示されて、電子ビユーファインダ機能が実現される。また画像表示部２８は、システム制御部５０の指令によって任意に表示のＯＮ／ＯＦＦ制御が可能であり、表示のＯＦＦ制御によって電力消費量を大幅に低減できる。

撮影された静止画像や動画像のデータはメモリ３０に格納される。メモリ３０は、所定枚数の静止画像や所定時間の動画像の格納に十分な記憶量を有し、静止画像の連続撮影（連写）やパノラマ撮影の場合でも、高速かつ大量の画像データの書き込みが可能である。メモリ３０は、システム制御部５０の作業領域としても使用可能である。圧縮・伸長回路３２は、適応離散コサイン変換（ＡＤＣＴ）等により画像データの圧縮処理や伸長処理を行う。圧縮処理または伸長処理を終えたデータはメモリ３０に記憶される。

露光制御部４０は絞り機能を備えるシャッタ１２を制御し、フラッシュ４８と連動することによりフラッシュ調光機能を有する。フォーカス制御部４２は撮影レンズ部１０の焦点検出および焦点調節の制御と測距処理を行う。ズーム制御部４４は撮影レンズ部１０のズーム制御を行う。各制御部４０、４２、４４はシステム制御部５０の指令にしたがってそれぞれが担当する制御を行う。ＴＴＬ（スルー・ザ・レンズ）方式により、撮像画像データから画像処理回路２０が演算した演算結果に基づき、露光制御およびＡＦ制御が行われる。フラッシュ４８は閃光発光部を備え、ＡＦ補助光の投光機能を有する。システム制御部５０の指令にしたがって発光動作が行われる。

システム制御部５０は撮像装置全体を制御する中枢部であり、ＣＰＵ（中央演算処理装置）を備える。ＣＰＵはメモリからプログラムを読み出して実行することで様々な処理を行う。ユーザが使用する操作部材として、モードダイアルスイッチ６０、シャッタスイッチ６２および６４、表示切替スイッチ６６、ズームスイッチ７２を例示する。操作部７０はその他のスイッチやダイアル、タッチパネル、視線検知によるポインティングデバイス、音声認識装置等から構成される。

モードダイアルスイッチ６０は、各機能モードの切り替え設定時に使用される。シャッタスイッチ６２はシャッタレリーズボタンの操作途中でＯＮとなり、第１スイッチ信号ＳＷ１が発生する。ＳＷ１により、ＡＦ処理、ＡＥ処理、ＡＷＢ処理等の開始がシステム制御部５０へ指示される。さらにシャッタスイッチ６４がシャッタレリーズボタンの操作完了でＯＮになると、第２スイッチ信号ＳＷ２が発生する。ＳＷ２により撮像動作の開始がシステム制御部５０へ指示される。例えばフラッシュ撮影の場合、ＥＦ処理後に、ＡＥ処理で決定された露光時間に亘って撮像素子１４が露光される。露光期間中にフラッシュ発光が行われ、露光期間終了と同時に露光制御部４０により遮光動作が行われる。撮像素子１４の露光が終了し、撮像素子１４から読み出された信号を記録媒体２００に書き込む記録処理までの一連の処理が実行される。より具体的には、Ａ／Ｄ変換器１６、メモリ制御回路２２を介してメモリ３０に画像データを書き込む処理と、画像処理回路２０やメモリ制御回路２２による現像処理が行われる。そしてメモリ３０から現像処理後の画像データを読み出し、圧縮・伸長回路３２にて圧縮する処理、さらに記録媒体２００への画像データの記録処理等が行われる。

表示切替スイッチ６６は、画像表示部２８の表示切替に使用されるスイッチであり、画像表示部２８への電流供給を遮断することにより節電が可能である。ズームスイッチ７２は、ユーザが撮像画像の倍率変更指示を行う際に使用するスイッチであり、撮像画角を望遠側に変更させるテレ（ＴＥＬＥ）スイッチと、広角側に変更させるワイド（ＷＩＤＥ）スイッチからなる。ズームスイッチ７２の操作にしたがってシステム制御部５０は、ズーム制御部４４に指令を与え、撮影レンズ部１０の撮像画角を変更することで、光学ズーム制御を行う。またズームスイッチ７２の操作信号は、画像処理回路２０による画像の切り出しや、画素補間処理等による撮像画角の電子的なズーミング変更のトリガ信号ともなる。

被写体検出部７４は、画像処理回路２０と連携したパターンマッチング、特徴点抽出等の公知の方法で被写体を検出する。被写体の例として、人物の顔領域が検出されるものとし、被写体検出部７４は顔領域の座標（領域情報）、目の座標等を出力するが、他の被写体領域を検出してもよい。

電源部８６は、一次電池、二次電池、またはＡＣアダプタ等であり、撮像装置の動作に必要な電源を供給する。インタフェース（Ｉ／Ｆ）部９０は撮像装置と、メモリカードやハードディスク等の記録媒体２００との間で信号伝送を行う。コネクタ９２は記録媒体２００と接続されるカメラ本体部のコネクタである。記録媒体２００は、半導体メモリや磁気ディスク等から構成される記録部２０４と、インタフェース（Ｉ／Ｆ）部２０５、コネクタ２０６を備える。コネクタ２０６、９２によって記録媒体２００とカメラ本体部とが電気的に接続される。

光学ファインダ１０４は、ユーザがレンズ部を通して構図等の確認を行うために設けられた、覗き込み型の接眼ファインダである。ユーザは画像表示部２８による電子ビユーファインダ機能を使用せず、光学ファインダ１０４のみを用いて撮影が可能である。通信部１１０は、所定の通信形態（ＵＳＢ、ＩＥＥＥ１３９４、ＬＡＮ、無線通信等）により外部装置との間でデータを送受する。コネクタ（または無線通信の場合にはアンテナ）１１２は、通信部１１０により外部装置との通信接続を行う。画像処理装置１００内の各構成部についてはハードウェアで構成してもよいし、その一部あるいは全部をソフトウェアモジュールとして構成してもよい。

図２を参照して、複数の撮像装置の使用方法について説明する。２台のカメラを使用する例として、メイン機２０１と、その上に搭載されるサブ機２０２から成る接続形態を示す。メイン機２０１およびサブ機２０２の構成は図１に示す通りであり、ユーザは主にメイン機２０１を操作し、メイン機２０１とサブ機２０２との間で無線通信２０３が行われるものとする。例えば、画像情報や記録されるファイルヘッダ情報の送受信を行うための通信方法には無線ＬＡＮ（ＩＥＥＥ８０２．１１規格のデバイス間通信等）を用いた方法がある。

一例として、メイン機２０１はズーム機能をもち、高解像度で低ノイズ等の高画質な撮影が可能であり、主に一眼レフカメラやミラーレスカメラ等が使用される。サブ機２０２は単焦点で広角の撮像光学系を備え、赤外線カットフィルタは無く、読出しレートを下げて長秒時露光を行うカメラである。このカメラは、例えば構図確認用のコンパクトカメラであって、メイン機２０１に写りこまない被写体を検出し、ユーザが本来撮影したい主被写体以外の被写体を除去するために使用される。あるいはトイカメラ、スマートフォンに搭載されたカメラ等を使用してもよい。

メイン機２０１とサブ機２０２との間の通信によって取得可能な情報は、それらの組み合わせや、静止画撮影か動画撮影（あるいはライブビユー撮影）かにより異なる。静止画撮影の場合、撮影情報が記録されるファイルヘッダには一般的な規格があり、規格に基づいて記録された情報を取得可能である。また、規格上で焦点距離や画像サイズ等のように、公開されて誰でも閲覧できる情報と、メーカーごとに独自に記録する用途が限定された情報がある。後者の情報として、追加の撮影条件やカメラで検出した情報等を記録することが可能である。また動画撮影の場合、静止画と同等の情報が記録されるファイルヘッダに関する規格はないため、予め情報の送受が可能な仕組みを搭載していない限り、取得可能な情報の内容や取得手段が限定される。

撮像された画像の表示については、構図確認の用途として、メイン機２０１で撮像された画像と、サブ機２０２で撮像された画像とを重ねて表示する方法がある。またサブ機２０２の用途が、メイン機２０１に写りこまない周辺の被写体等の検出である場合、表示画像としてはメイン機２０１で撮像された画像のみとし、サブ機２０２で撮像された画像のデータは内部処理のみで使用される。

説明を簡単にするため、メイン機２０１の表示部や操作部材等のみを使用する例を説明したが、サブ機２０２の表示部や操作部材等を使用することで、より使い易くしてもよい。あるいはメイン機２０１とサブ機２０２の各表示部や各操作部材の特徴を活かして併用することで、使い勝手を改善可能である。メイン機２０１とサブ機２０２との通信は、無線通信に限らず、アクセサリシュー等のコネクタ部を介して有線通信で行ってもよい。また同等の性能をもつ２台のカメラを組み合わせた実施形態や、３台以上のカメラを組み合わせた実施形態でも構わない。

図３を参照して、本実施形態における撮影画像のとり扱いについて説明する。メイン機２０１を望遠で多画素とし、サブ機２０２を広角で少画素とする。図３（Ａ）は、メイン機２０１の撮影画像例を示し、図３（Ｂ）はサブ機２０２の撮影画像例を示す。画面の大きさに関し、図３（Ａ）の画像サイズを対角線の２分の１に相当する長さｉ１で示し、図３（Ｂ）の画像サイズを対角線の２分の１に相当する長さｉ２で示しており、「ｉ１＞ｉ２」である。また、メイン機２０１の方がサブ機２０２よりも望遠であるので、サブ機２０２に比べて被写体の画像サイズが相対的に大きい。つまり、メイン機２０１で撮影した被写体の画像サイズと、サブ機２０２で撮影した被写体の画像サイズとの差が大きい。

図３（Ｃ）に示すメイン機２０１の撮影画像３０１には、メイン機２０１に近い第１被写体である家３０２の画像と、メイン機２０１から遠い第２被写体である家３０３の画像が含まれる。図３（Ｄ）に示すサブ機２０２の撮影画像３１１では、サブ機２０２に近い家３１２と、サブ機２０２から遠い家３１３が写っている。家３１２は第１被写体（家３０２）に相当し、家３１３は第２被写体（家３０３）に相当する。２つの画像の位置合わせは、輪郭のある被写体のエッジを用いて行われる。図３（Ｅ）は位置合わせ後の２つの画像を重ねたときの画像を示す模式図である。画像のリサイズ後にメイン機２０１による画像３２１を、サブ機２０２による画像３２２に貼りつけた状態を示している。

ここで、システム制御部５０が行う、被写体画像の大きさを合わせるためのリサイズの計算について説明する。メイン機２０１の焦点距離をｆ１、サブ機２０２の焦点距離をｆ２、メイン機２０１の対角画素数をｉ１、サブ機２０２の対角画素数をｉ２と表記する。リサイズ比率をＸと表記すると、下記式（１）により算出される。
Ｘ＝（ｆ１／ｆ２）×（ｉ１／ｉ２）・・・（１）
Ｘの値が１より大きい場合、メイン機２０１の撮影画像を縮小し、Ｘの値が１より小さい場合、サブ機２０２の撮影画像を縮小して被写体の画像を同サイズに変更した上で位置合わせが行われる。２つの画像のアスペクト比が異なる場合には対角方向の画像サイズにより比率を計算する必要がある。２つの画像のアスペクト比が同じである場合には水平方向または垂直方向の画像サイズにより比率を計算できる。リサイズ処理では、複数の画像における被写体の画像を同サイズに変更する比率を算出してサイズ変更が行われる。

図４を参照して、画像処理回路２０およびシステム制御部５０が行う位置合わせ処理について説明する。図４はメイン画像４０１を左側に示し、サブ画像４１１を右側に示す模式図である。位置合わせは、画像を構成する複数のブロック（矩形領域）のうち、被写体画像のエッジが検出されたブロックを用いて行われる。撮像光学系の焦点距離と記録画素数により被写体画像の大小を把握する処理が行われ、大小関係に従ってリサイズされたメイン画像４０１は、複数のブロック４０２に分割される。システム制御部５０は各ブロック内で被写体画像のエッジの有無を判断する。ブロック４０３は、エッジが検出されたブロックの１つである。このブロック４０３を用いて、サブ画像４１１に対して順次に差分絶対値和（ＳＡＤ：ＳｕｍｏｆＡｂｓｏｌｕｔｅＤｉｆｆｅｒｅｎｃｅ）を算出する処理が行われる。差分絶対値和が最も小さい位置において被写体が一致したと判断することができる。システム制御部５０は差分絶対値和の演算を、被写体画像のエッジが検出された全てのブロックに対して実行していき（矢印４１２参照）、多数決論理等で誤判定結果を除外して正確な座標位置を特定する。

位置合わせの方法には、ブロックごとに出力された座標位置に従って画像を貼りつける方法や、ブロックごとに出力された座標位置から画像中心や周辺等の代表的な動きベクトルを算出してアフィン変換等の幾何変形を行う方法がある。位置合わせ前に実行されるリサイズについては焦点距離と記録画素数に基づいて粗い精度で行われ、その後の位置合わせ処理の実行時に、より詳細なリサイズが高精度に行われる。

図５を参照して、本実施形態の動作シーケンスを説明する。本実施形態では、メイン機２０１がサブ機２０２から画像データを定期的に受信し、メイン機２０１の表示画面に各機の撮像画像をライブ画像として重ねて表示する例を説明する。図５は各機の撮影フレーム５０１および５０２、フラグ５０３、各機の動作状態５０４および５０５、画像の表示位置５０６、各機の表示フレーム５０７および５０８を示す。時間軸の向きは図５の左から右方向とする。

一例として、メイン機２０１が３０ｆｐｓ（frames per second）で画像データを取得し、サブ機２０２が１０ｆｐｓで画像データを取得するものとする。また、位置合わせに要する時間は、メイン機２０１の１フレーム期間である３３ｍｓ（ミリ秒）に収まらず、３フレームに相当する時間がかかるものとする。図５にてサブ機２０２の撮影フレーム５０１はアルファベットＡ～Ｆで区別し、メイン機２０１の撮影フレーム５０２は算用数字１～１９で区別するとともに、メイン機２０１のフレーム番号を基準として説明する。フラグ５０３は位置合わせの実施の要否を示すフラグであり、撮影開始や焦点距離変更等のタイミングを示す。サブ機２０２の状態５０４には、現像Ａ～Ｅの処理を示し、それぞれ撮影フレーム５０１のフレームＡ～Ｅに対応する。メイン機２０１の状態５０５には、受信Ａ～Ｅの処理を示し、それぞれ撮影フレーム５０１のフレームＡ～Ｅに対応しており、現像２、現像１１はそれぞれ撮影フレーム５０２のフレーム２と１１に対応する。また、位置合わせ（１）は最初の位置合わせ処理の期間を表し、位置合わせ（２）はその次の位置合わせ処理の期間を表す。表示位置５０６には、非合成、表示位置（１）、表示位置（２）を示す。サブ機２０２の表示フレーム５０７はアルファベットＢ～Ｅで区別し、メイン機２０１の表示フレーム５０８は算用数字１～１７で区別する。

まず電源投入時点からの動作について説明する。サブ機２０２の撮影フレーム５０１とメイン機２０１の撮影フレーム５０２との時間的関係において、メイン機２０１がフレーム２の画像データを取得しているタイミングではサブ機２０２が最初のフレームＡの画像データを取得している。電源投入時点では位置合わせが行われていないので、フラグ５０３が立った状態（フラグ値をＦと記す）である。サブ機２０２とメイン機２０１が共に画像データを取得すると、各機は現像Ａ、現像２の処理をそれぞれ行う。現像処理の終了後、サブ機２０２はメイン機２０１に画像送信を行う。受信Ａはメイン機２０１がフレームＡの画像データを受信するタイミングを示す。受信Ａの後にフラグ５０３の値がＦから所定値（Ｔと記す）に変化し、ここで初めて位置合わせ（リサイズを含む）の実行が可能となる。位置合わせ（１）の期間中、画像同士の位置合わせ処理が行われる。位置合わせ（１）の処理が終了すると、その時点の最新のフレームであるフレーム６とフレームＢの各画像が表示位置（１）にて重ねて表示される。尚、それ以前にはメイン機２０１による画像（表示フレーム１～５）が単独で表示されることとし、表示位置（１）の決定後に、初めてメイン機２０１とサブ機２０２による各画像が所望の位置にて重畳表示可能となる。

次に、焦点距離の変更時の動作について説明する。メイン機２０１の焦点距離変更が完了した時点は、メイン機２０１のフレーム９の完了のタイミングであり、フラグ５０３の値がＴからＦに変化する。その直後に位置合わせが可能な画像の組み合わせは、メイン機２０１のフレーム１１の画像およびサブ機２０２のフレームＤの画像である。サブ機２０２の現像Ｄと、メイン機２０１の現像１１が行われ、現像終了後にサブ機２０２はメイン機２０１への画像送信を行う。受信Ｄでメイン機２０１が画像データの受信し、受信Ｄが完了したタイミングで、フラグ５０３の値がＦからＴに変化する。このときに位置合わせ（リサイズを含む）の実行が可能となる。位置合わせ（２）の期間中、画像同士の位置合わせ処理が行われる。位置合わせ処理が終了すると、その時点の最新フレームであるフレームＥとフレーム１５の各画像が表示位置（２）にて重ねて表示される。

焦点距離が変化した時点においてメイン機２０１の画像はフレーム１０の画像であり、表示位置（２）への変更時点はフレーム１５を表示するタイミングである。その間の５フレーム（サブ表示フレームＣ，Ｃ，Ｄ，Ｄ，Ｄおよびメイン表示フレーム１０から１４）では画像がずれたまま表示されることになる。本実施形態では、画像がずれたまま表示される期間の総時間を短縮するために、以下の処理を行う。

図６のフローチャートを参照して、本実施形態における画像処理を説明する。以下の処理はメイン機２０１のＣＰＵが主体となって実行される。まず、メイン機２０１とサブ機２０２からの２画像のデータを取得する処理が行われる（Ｓ６０１）。次に、焦点距離と記録画素数がヘッダ情報として取得される（Ｓ６０２）。メイン機２０１の焦点距離が変更されたか否かの判定処理が実行される（Ｓ６０３）。ここで、焦点距離が変更されたと判定された場合、Ｓ６０４の処理に進み、焦点距離が変更されていないと判定された場合にはＳ６０６に移行する。

Ｓ６０４では各画像で被写体の画像が同サイズとなるようにリサイズ処理が行われた後、位置合わせ処理が行われる（Ｓ６０５）。位置合わせ処理の結果により表示位置が更新され、画像合成処理が行われる（Ｓ６０６）。そして画像合成結果である画像の表示処理が行われて表示画像が更新される（Ｓ６０７）。

Ｓ６０３からＳ６０６へ移行する場合には、表示位置を更新せずに画像合成処理が行われ、画像合成結果である画像が表示される（Ｓ６０７）。Ｓ６０８で電源のＯＦＦ操作が検出された場合、一連の処理を終了し、電源のＯＦＦ操作が検出されなかった場合にはＳ６０１に戻って処理を続行する。

以上のように、記録画像のファイルヘッダ情報である焦点距離と記録画素数を取得することにより、位置合わせの対象である２画像に写る被写体の大小関係を予め把握することが可能となる。すなわち、予め大小関係が把握できていない場合にはリサイズと位置合わせを毎回繰り返す必要があるのに対し、本実施形態では位置合わせを繰り返す回数を減らすことができる。また本実施形態によれば、焦点距離が変更されたことを検出し、適時にリサイズと位置合わせをやり直すことが可能となる。

［第２実施形態］
図７を参照して、本発明の第２実施形態を説明する。本実施形態にて第１実施形態と同様の事項については説明を省略し、主に相違点を説明する。このような説明の省略の仕方は後述の実施形態でも同じである。図７は、メイン機７０１とサブ機７０２で主被写体７０３を撮影する例を示す模式図である。メイン機７０１と主被写体７０３との距離（被写体距離）をｄ１と表記し、サブ機７０２と主被写体７０３との距離をｄ２と表記する。メイン機７０１の焦点距離をｆ１、サブ機７０２の焦点距離をｆ２、メイン機７０１の対角画素数をｉ１、サブ機７０２の対角画素数をｉ２と表記する。

撮影対象である主被写体７０３の画像の大きさを合わせるために実行されるリサイズ処理では、各機の焦点距離ｆ１、ｆ２と対角画素数ｉ１、ｉ２と被写体距離ｄ１、ｄ２を用いて、リサイズ比率（Ｙと記す）が下記式（２）から算出される。
Ｙ＝（ｆ１／ｆ２）×（ｉ１／ｉ２）／（ｄ１／ｄ２）・・・（２）
Ｙの値が１より大きい場合、メイン機７０１により撮像された画像を縮小し、またＹの値が１より小さい場合、サブ機７０２により撮像された画像を縮小して被写体の画像を同サイズに変更した上で、位置合わせが行われる。

図６を参照して、第１実施形態との相違点を説明する。Ｓ６０２でシステム制御部５０は焦点距離、対角画素数、被写体距離の情報を取得し、Ｓ６０３にて焦点距離もしくは被写体距離、または焦点距離および被写体距離が変化したかどうかを判定する。焦点距離もしくは被写体距離が変化し、または焦点距離および被写体距離が変化したと判定された場合、Ｓ６０４に進み、画像処理回路２０がリサイズ比率Ｙを算出してリサイズ処理を行い、Ｓ６０５で位置合わせ処理を行う。

本実施形態では、各機の焦点距離と記録画素数に加え、各機から被写体までの距離情報を取得することにより、メイン機の撮影位置とサブ機の撮影位置が異なる場合でも被写体の大きさを把握することが可能となる。また、メイン機とサブ機の撮影位置が同じであったとしても、特に被写体がカメラから近距離に存在する場合には視差が生じ得る。そのため、本実施形態では、被写体距離情報を監視することにより、被写体距離が変化したタイミングを検出して位置合わせをやり直すことができる。位置合わせ前に行うリサイズ処理については各機の焦点距離と記録画素数に基づいて行い、その妥当性を判断するために被写体距離を利用してもよい。

［第３実施形態］
図８を参照して、本発明の第３実施形態を説明する。図８（Ａ）は、アスペクト比が異なる複数の画像においてイメージサークルが揃っている状態を示す模式図である。イメージサークル８０１を示す枠内に、３種類の画像８０２から８０４を例示する。アスペクト比「Ｎ：Ｍ」は、水平方向においてＮで垂直方向においてＭである比率を表す。画像８０２は、アスペクト比が「４：３」である第１の画角で撮像される画像である。画像８０３は、アスペクト比が「３：２」である第２の画角で撮像される画像である。画像８０４は、アスペクト比が「１６：９」である第３の画角で撮像される画像である。別途に取得される焦点距離が同じ場合にアスペクト比が異なっていても対角画素数が同じであるため、被写体サイズは同じになる。

図８（Ｂ）は、イメージサークルが異なる状態での３つの画像を例示する。画像８０２は、その対角部がイメージサークル８０１に適合するアスペクト比「４：３」の画像であり、静止画撮影時の基準となる画角をもつ。撮像素子の水平画素数が十分でない場合、例えば対角部がイメージサークルに適合する「１６：９」の画角で撮像される画像が得られない場合がある。その場合には、画像８１１に示すように、「４：３」の画角をもつ画像の上下方向の所定範囲を除去することによって、「１６：９」の画角をもつ画像が得られる。さらには、電子式像ブレ補正機能を有する撮像装置等では、画像データを記録する領域の周辺に画素群を有し、画像の切り出し範囲を変更することによって防振（像ブレ補正）処理を行う。撮像素子の周辺画素数が足りない場合には、画像８１２に示すように、記録領域の周辺の画像を切り出す処理が行われる。画像８１１、８１２のように、それらの対角部がイメージサークル８０１と揃っていない場合には画角が変わるため、実質的な焦点距離が変更されたことと等価である。ファイルのヘッダに記録される焦点距離が、周辺画素の切り出しを考慮せずに、イメージサークルと揃っていない場合には、被写体の大きさを正しく把握することができない。そこでシステム制御部５０は画角の差異を示す情報を付加情報として、撮像後の画像データと関連づける処理を行う。この付加情報に基づき、イメージサークル８０１とカット処理後の画角（対角）との関係から、各機の画像における被写体サイズの関係を正確に把握することができる。

本実施形態では、各機の焦点距離と記録画素数に加えて、イメージサークルおよびカット処理後の画角（対角）との関係を把握することで、より正確なリサイズが可能である。アスペクト比が異なる画像あるいは電子式像ブレ補正等で画角が狭くなった画像であっても、２画像間で被写体サイズの大小関係を把握できる。

以上の実施形態によれば、異なる撮像手段から得られる複数の画像の位置合わせを行う際に予め被写体サイズを把握できる。よって、位置合わせの繰り返し回数を減らし、処理時間を短縮できる。また、大きさの異なる類似被写体同士で位置合わせが行われる可能性を低減できる。さらには、撮影条件の変化を検出して位置合わせの要否を判断し、必要なタイミングで位置合わせを実施することで、装置の駆動電力を低減できる。

２０画像処理回路
５０システム制御部
１００画像処理装置
２０１，７０１メイン機
２０２，７０２サブ機

Claims

第１の画像データを出力する第１の撮像手段と、前記第１の撮像手段から出力された前記第１の画像データを処理する処理手段を有する撮像装置であって、
当該撮像装置とは別装置である第２の撮像装置で撮像された第２の画像データを取得する通信手段を有し、
前記処理手段は、前記第２の画像データのヘッダ情報から、前記第２の画像データを撮像する際に用いた撮像光学系の焦点距離、前記第２の画像データの画素数および前記第２の撮像装置に対応する被写体までの第２の距離情報を取得して、前記第１の画像データを撮像する際に用いた撮像光学系の焦点距離、前記第１の画像データの画素数、当該撮像装置に対応する被写体までの第１の距離情報、前記第２の画像データを撮像する際に用いた撮像光学系の焦点距離、前記第２の画像データの画素数および前記第２の距離情報に基づいて、前記第１の画像データの被写体の座標と前記第２の画像データの前記被写体の座標を合わせるための演算を行う
ことを特徴とする撮像装置。
前記処理手段は、前記第１の画像データと前記第２の画像データにおける被写体の大小関係が変化した場合に、前記演算を行う
ことを特徴とする請求項１に記載の撮像装置。
前記処理手段は、前記第１の画像データを撮像する際に用いた撮像光学系の焦点距離、前記第１の画像データの画素数、前記第１の距離情報、前記第２の画像データを撮像する際に用いた撮像光学系の焦点距離、前記第２の画像データの画素数および前記第２の距離情報に基づいて、前記第１の画像データと前記第２の画像データにおける同一の被写体を同サイズに変更する比率を算出し、前記比率を用いて前記第１の画像データと前記第２の画像データの少なくとも一方のリサイズを行い、前記第１の画像データに含まれる被写体の座標と前記第２の画像データに含まれる同一の被写体の座標との位置合わせを行う
ことを特徴とする請求項１または２に記載の撮像装置。
前記処理手段は、前記第１の画像データを撮像する際に用いた撮像光学系の焦点距離が変更されたときに前記リサイズおよび前記位置合わせを行う
ことを特徴とする請求項３に記載の撮像装置。
前記処理手段は、前記第１の距離情報および前記第２の距離情報の少なくとも一方が変化したときに前記リサイズおよび位置合わせを行う
ことを特徴とする請求項３または４に記載の撮像装置。
前記第１の画像データは、前記第２の画像データとは異なる画角で撮影された画像データであり、
前記処理手段は、前記画角の差異を示す情報を付加情報として前記第１の画像データと前記第２の画像データの少なくとも一方と関連づける処理を行う
ことを特徴とする請求項１から５のいずれか１項に記載の撮像装置。
前記処理手段は、前記リサイズおよび前記位置合わせを行った前記第１の画像データおよび前記第２の画像データを合成し、合成された画像のデータを表示装置に出力する
ことを特徴とする請求項３から５のいずれか１項に記載の撮像装置。
前記第１の画像データを撮像する際に用いた撮像光学系の焦点距離は、前記第２の画像データを撮像する際に用いた撮像光学系の焦点距離よりも長い
ことを特徴とする請求項１から７のいずれか１項に記載の撮像装置。
第１の画像データを出力する第１の撮像手段と、前記第１の撮像手段から出力された前記第１の画像データを処理する処理手段を有する撮像装置にて実行される画像処理方法であって、
当該撮像装置とは別装置である第２の撮像装置で撮像された第２の画像データを取得する工程と、
前記第２の画像データのヘッダ情報から、前記第２の画像データを撮像する際に用いた撮像光学系の焦点距離、前記第２の画像データの画素数および前記第２の撮像装置に対応する被写体までの第２の距離情報を取得する工程と、
前記第１の画像データを撮像する際に用いた撮像光学系の焦点距離、前記第１の画像データの画素数、当該撮像装置に対応する被写体までの第１の距離情報、前記第２の画像データを撮像する際に用いた撮像光学系の焦点距離、前記第２の画像データの画素数および前記第２の距離情報に基づいて、前記第１の画像データの被写体の座標と前記第２の画像データの前記被写体の座標を合わせるための演算を行う工程と、を有する
ことを特徴とする画像処理方法。