JP6003613B2

JP6003613B2 - 補助撮像装置

Info

Publication number: JP6003613B2
Application number: JP2012275790A
Authority: JP
Inventors: 洋紀矢澤; 豊岩崎; 知巳高階; 司村田; 秀貴佐々木; 芳之山陸; 祐司國米
Original assignee: Nikon Corp
Current assignee: Nikon Corp
Priority date: 2012-12-18
Filing date: 2012-12-18
Publication date: 2016-10-05
Anticipated expiration: 2032-12-18
Also published as: JP2014120994A

Description

本発明は、補助撮像装置に関する。

複数台のカメラを電気的に接続して連動させることが知られている（例えば、特許文献１参照）。
［先行技術文献］
［特許文献］
［特許文献１］特開２００２−１２２９３５号公報

しかしながら、上記技術においては複数台のカメラを連動させて撮像するものであり、個々のカメラの撮像条件は、撮影者がカメラ毎に設定することになり、煩雑であるという課題がある。

本発明の第１の態様においては、撮像者の操作により撮像を行う主撮像装置を被写体として含む被写体空間を撮像する撮像部と、前記撮像部による撮像に基づいて、前記被写体空間に含まれる前記主撮像装置および他の被写体の空間位置情報を取得する空間情報取得部と、前記空間情報取得部により取得された前記空間位置情報に基づいて、前記主撮像装置の撮像に用いられる撮像情報を前記主撮像装置に出力する情報出力部とを備える補助撮像装置を提供する。

なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。

撮像システムの構成を模式的に示す。図１の上面図を示す。主撮像装置１０のブロック図を示す。補助撮像装置２０のブロック図を示す。主撮像装置１０および補助撮像装置２０の動作を示すフローチャートである。図５のステップＳ２０２のシーケンスを示すフローチャートである。他のフローチャートの例を示す他の補助撮像装置２２の例を示す。

以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。

図１は、撮像システムの構成を模式的に示す。図２は、図１の上面図である。撮像システムは、撮像者３２により保持される主撮像装置１０と、自律移動する補助撮像装置２０とを備える。補助撮像装置２０は、主撮像装置１０を被写体として含む被写体空間を撮像して、各被写体の空間位置情報を生成する。

図１および図２において、補助撮像装置２０は、ステレオカメラを用いて撮像者３２と、被写体３０である子供３４、女性３６、および、花壇３８を含む空間を撮像して、視差画像を生成する。補助撮像装置２０は、視差画像に基づいて、被写体空間における、撮像者３２、子供３４、女性３６、および、花壇３８の空間位置情報を取得する。補助撮像装置２０は、空間位置情報に基づいて、主撮像装置１０から子供３４までの距離４２、主撮像装置１０から女性３６までの距離４４、および主撮像装置１０から花壇までの距離４６を算出する。

図３は、主撮像装置１０のブロック図を示す。主撮像装置１０は、撮像用の機器であり、撮像者３２の操作により被写体３０を撮像して画像を生成する。主撮像装置１０は、例えば、レンズ交換式カメラ、レンズ固定式カメラ、カメラ付き携帯端末等である。主撮像装置１０は、撮像部１０２、操作部１０４、通信部１０６、発光部１０８、表示部１１２、センサ１１４、記憶部１１６、および、制御部１２０を有する。

撮像部１０２は、撮像者３２の操作により被写体３０を撮像して画像を生成する。撮像部１０２は、ＣＣＤ又はＣＭＯＳなどの素子に光束を入射・結像させて画像情報を生成する撮像手段であってよく、例えば、横３０００画素、縦２０００画素を有してよい。

撮像部１０２は、単焦点レンズ、又は、ズームレンズを含んでよく、これらのレンズはオートフォーカス機構を備えてよい。また、撮像部１０２は、交換可能な機能の異なる複数のレンズを備えてよい。また、複数の撮像部１０２が、主撮像装置１０に設けられてもよい。撮像部１０２は、撮像した被写体３０の画像自体を示す画像情報および撮像時の撮像条件情報を含む撮像情報を、制御部１２０を介して記憶部１１６に記憶する。撮像条件情報には、撮像部１０２でフォーカスを合せるべきレンズの位置を示すフォーカス位置情報、使用するレンズの画角情報、撮像時の絞り値情報、およびズーム情報等が含まれる。

操作部１０４は、主撮像装置１０の任意の場所に設けられ、撮像者３２からの操作の入力を受け付ける。操作部１０４は、例えば、レリーズボタンを用いた撮像部１０２に対する撮像指示、および、電源のＯＮ／ＯＦＦを含む様々な操作の入力を受け付ける。操作部１０４は、補助撮像装置２０に対する指示を入力して、補助撮像装置２０の移動および撮像等を遠隔操作してよい。操作部１０４は、例えば、操作ボタン、操作レバー、タッチパネル、および、キーボード等の操作部材を含む。

通信部１０６は、補助撮像装置２０と無線通信を行う。通信部１０６は、例えば、ＵＷＢ（ＵｌｔｒａＷｉｄｅＢａｎｄ）、ＺｉｇＢｅｅ（登録商標）、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、３Ｇ、および／又は、ＬＴＥ等の無線通信規格に準拠して通信する。

発光部１０８は、主撮像装置１０の被写体側の一面に設けられた照明である。発光部１０８は、制御部１２０からの指示に応じて、フラッシュ光を出力する。発光部１０８は、キセノン管等のフラッシュライト又はＬＥＤ等を含んでよい。

表示部１１２は、主撮像装置１０の一面に設けられる表示インターフェイスであり、例えば、液晶表示装置、又は、有機ＥＬ表示装置等を含む。表示部１１２は、例えば、撮像部１０２が撮像した画像、又は、ライブビュー画像を表示する。また、表示部１１２は、タッチパネル機能を有しており、表示部１１２は、撮像者３２の入力を受け付ける。

センサ１１４は、主撮像装置１０の位置に関する情報を検出する。センサ１１４は、屋内に設置されたＧＰＳ送信機からのＧＰＳ電波を受信する室内用ＧＰＳセンサ、および／又は、人工衛星からのＧＰＳ電波を受信する屋外用ＧＰＳセンサを含む。センサ１１４は、これにより主撮像装置１０の室内および／又は屋外での空間位置情報を取得する。

センサ１１４は、さらに姿勢センサ、加速度センサ、および／又は、方位センサ等を含んでよく、これにより主撮像装置１０の光軸の向きを取得してよい。センサ１１４は、空間位置情報、および光軸方向の情報を制御部１２０を介して記憶部１１６に記憶する。

記憶部１１６は、撮像部１０２が撮像した撮像情報を格納する。記憶部１１６は、制御部１２０から出力される情報、および、センサ１１４から出力された空間位置情報、光軸方向の情報を格納する。

制御部１２０は、ＣＰＵ等を含み、撮像部１０２、操作部１０４、通信部１０６、発光部１０８、表示部１１２、および、記憶部１１６に接続されて、主撮像装置１０を総合的に制御する。

制御部１２０は、撮像部１０２が撮像する被写体空間を特定する。この場合に、制御部１２０は、記憶部１１６から読み出した主撮像装置１０の空間位置情報、および、光軸方向の情報に基づいて、被写体空間の主撮像装置１０の空間位置を原点とした撮像方向を特定する。さらに、制御部１２０は、記憶部１１６から読み出した使用するレンズの画角情報、および、ズーム情報に基づいて、特定した撮像方向における被写体空間を特定する。

また、制御部１２０は、撮像部１０２が生成した画像の中から主要被写体を特定する。制御部１２０は、例えば、撮像部１０２により生成された画像に示される被写体のうち、フォーカスポイントが合っている被写体を主撮像装置１０の主要被写体と特定する。ここで、フォーカスポイントとは、フォーカスを合せたい被写体を撮像者３２が指定するために表示部１１２に表示されるマークである。制御部１２０は、さらに画像中における主要被写体の中心位置から、主撮像装置１０の光軸方向に対する主要被写体の方向を特定する。

制御部１２０は、被写体空間を特定する情報としての被写体空間情報を制御部１２０を介して記憶部１１６に記憶する。さらに制御部１２０は、特定した主要被写体の方向を、主要被写体を特定する主要被写体情報として制御部１２０を介して記憶部１１６に記憶する。

図４は、補助撮像装置２０のブロック図を示す。補助撮像装置２０は、主撮像装置１０とは別体であって、ステレオカメラを搭載した自律移動可能な機器であり、例えば、小型車両、又は、小型回転翼航空機等であってよい。以下、本実施形態では、補助撮像装置２０が小型回転翼航空機である場合を例に説明する。補助撮像装置２０は、三次元撮像部２０２、移動部２０４、通信部２０６、センサ２０８、記憶部２１０、および、制御部２２０を有する。

三次元撮像部２０２の一例は、二眼のステレオカメラである。二眼のレンズに対応して、ＣＣＤまたはＣＭＯＳなどの撮像素子が一対設けられる。三次元撮像部２０２は、これら撮像素子に光束を入射・結像させて画像情報を生成する。三次元撮像部２０２のレンズは、主撮像装置１０が使用するレンズよりも広角であることが好ましい。三次元撮像部２０２は、垂直方向および／又は水平方向に向きを変えることができてよい。

三次元撮像部２０２は、主撮像装置１０の空間位置情報、および被写体空間情報に基づいて主撮像装置１０の撮像位置を特定して、主撮像装置１０を被写体として含む被写体空間を撮像して、視差画像情報を生成する。三次元撮像部２０２は、視差画像情報として制御部２２０を介して記憶部２１０に記憶する。

移動部２０４は、制御部２２０からの指示に基づいて、可動部材を駆動させて補助撮像装置２０を移動する。移動部２０４は、例えば、回転翼２０３を回転させるモータを駆動するための駆動回路を有しており、これにより補助撮像装置２０は飛行する。移動部２０４は、制御部２２０から、移動方向および移動距離を含む移動量の情報を受け取り、当該移動量に応じて補助撮像装置２０を移動する。

通信部２０６は、主撮像装置１０の通信部１０６と無線通信を行う。通信部２０６は、例えば、ＵＷＢ、ＺｉｇＢｅｅ（登録商標）、Ｗｉ−Ｆｉ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、３Ｇ、および／又は、ＬＴＥ等の無線通信規格に準拠して通信する。

センサ２０８は、補助撮像装置２０の位置に関する情報を取得する。センサ２０８は、屋内に設置されたＧＰＳ送信機からのＧＰＳ電波を受信する室内用ＧＰＳセンサ、および／又は、人工衛星からのＧＰＳ電波を受信する屋外用ＧＰＳセンサを含み、これにより補助撮像装置２０の室内および／又は屋外での空間位置情報を取得する。

センサ２０８は、姿勢センサ、加速度センサ、および／又は、方位センサ等を含み、これにより補助撮像装置２０の光軸の向きの情報を取得する。センサ２０８は、取得した空間位置情報、および、光軸方向の情報を制御部２２０を介して記憶部２１０に記憶する。

記憶部２１０は、主撮像装置１０から受け取った主撮像装置１０の空間位置情報と被写体空間情報を格納する。記憶部２１０は、三次元撮像部２０２から出力された視差画像情報、および、センサ２０８から出力された補助撮像装置２０の空間位置情報、および、光軸方向の情報を格納する。

制御部２２０は、ＣＰＵ等を含み、三次元撮像部２０２、移動部２０４、通信部２０６、センサ２０８、および、記憶部２１０に接続されて、補助撮像装置２０を総合的に制御する。制御部２２０は、移動量特定部２２２、空間情報取得部２２４、主要被写体取得部２２６、および、情報出力部２２８を含む。

移動量特定部２２２は、補助撮像装置２０の移動量を特定する。移動量特定部２２２は、レリーズボタンが半押しされた場合に取得する被写体空間情報と、主撮像装置１０の空間位置情報に基づいて、主撮像装置１０を被写体として含む被写体空間が撮像できる位置を算出する。移動量特定部２２２は、現在位置から算出した位置へ移動するための移動量を特定する。なお、移動量には、補助撮像装置２０が移動すべき方向と距離が含まれる。移動量特定部２２２は、当該特定された移動量に基づいて移動部２０４を駆動して、補助撮像装置２０を移動させる。

空間情報取得部２２４は、記憶部２１０から視差画像情報を読み出す。空間情報取得部２２４は、視差画像情報に含まれる左右一対の画像をパターンマッチングして、補助撮像装置２０を原点として、それぞれの画素までの距離を算出する。空間情報取得部２２４は、算出した距離を対応した画素にマッピングした距離画像情報を作成する。距離画像情報は、補助撮像装置２０の位置を原点とした被写体空間に含まれる主撮像装置１０と他の被写体との空間位置情報の一例である。なお、他の被写体には、制御部１２０で特定された主要被写体が含まれる。

主要被写体取得部２２６は、主撮像装置１０の制御部１２０により特定された主要被写体を特定する情報を取得する。主要被写体取得部２２６は、主撮像装置１０のレリーズボタンが半押しされた場合に、通信部１０６より発信される主要被写体情報を通信部２０６を介して取得する。

情報出力部２２８は、主撮像装置１０と補助撮像装置２０との空間位置の差、および、それぞれの撮像装置の光軸方向の差から、補助撮像装置２０の位置を原点とした距離画像情報を、主撮像装置１０の位置を原点とした距離画像情報に換算する。さらに、情報出力部２２８は、換算した距離画像情報に基づいて、主撮像装置１０の撮像に用いられるフォーカス距離情報を算出して主撮像装置１０へ出力する。なお、フォーカス距離情報は、補助撮像装置２０から主撮像装置１０へ送信される撮像情報の一例である。補助撮像装置２０から主撮像装置１０へ送信される撮像情報の他の例は、主要被写体が主撮像装置１０の被写界深度に入る絞り値に関する情報、主撮像装置１０で撮影した画像にボケを付与するボケ付与情報等である。

図５は、主撮像装置１０および補助撮像装置２０の動作を示すフローチャートである。図５のフローチャートは、主撮像装置１０および補助撮像装置２０の電源が投入された場合に開始する。

主撮像装置１０の制御部１２０は、操作部１０４によりレリーズボタンが半押しされたことが検知されるまで待機する（Ｓ１０２：ＮＯ）。操作部１０４によりレリーズボタンが半押しされたことが検知された場合に（Ｓ１０２：ＹＥＳ）、制御部１２０は、通常の撮像動作として、オートフォーカスを行うとともに、モードに応じた絞り値を設定したり、シャッタスピード等の撮像条件を設定する（Ｓ１０４）。制御部１２０は、当該条件を撮像条件情報として、センサ１１４から取得した主撮像装置１０の空間位置情報と共に、記憶部１１６に記憶する。制御部１２０は、予め定められた時間の間にフォーカス位置情報を取得することができないときは、フォーカス位置情報に無効な値を割り当てて、その他の撮像条件情報とともに記憶部１１６に記憶する。フォーカス位置情報を取得することができない場合の例は、被写体３０が単一色で平板上である等、コントラストが表れづらい対象であることが挙げられる。

制御部１２０は、主撮像装置１０の被写体空間、および主要被写体を特定する。図２に示した例において、制御部１２０は、子供３４、女性３６、および花壇３８を含む空間を被写体空間と特定する。また、制御部１２０は、フォーカスポイントが合っている子供３４を主要被写体として特定する。制御部１２０は、被写体空間情報、および、主要被写体情報を制御部１２０を介して記憶部１１６に記憶する。

制御部１２０は、さらに、記憶部１１６に記憶されている主撮像装置１０の空間位置情報、被写体空間情報、および主要被写体情報を含む被写体情報を通信部１０６を介して発信する（Ｓ１０６）。この場合に、制御部１２０は、被写体情報に、互いに通信すべき補助撮像装置２０の識別情報をさらに含めてもよい。

補助撮像装置２０の移動量特定部２２２が通信部２０６を介して被写体情報を受信した場合に、補助撮像装置２０が主撮像装置１０と主要被写体を含む被写体空間の三次元画像を撮像するシーケンスが動作する（Ｓ２０２）。被写体情報に補助撮像装置２０の識別情報が含まれる場合に、当該識別情報が整合した場合に上記シーケンスを開始して、整合しない場合にはシーケンスを開始しないようにしてもよい。

ステップＳ２０２に続いて、空間情報取得部２２４は、三次元撮像部２０２で撮像された視差画像情報を取得して、画素に対応した被写体までの距離を算出する。これにより、空間情報取得部２２４は、補助撮像装置２０の位置を原点とした被写体の距離画像情報を取得する（Ｓ２０４）。空間情報取得部２２４は、当該距離画像情報を主要被写体取得部２２６に出力する。

主要被写体取得部２２６は、空間情報取得部２２４から距離画像情報を取得するとともに、被写体情報に含まれる主撮像装置１０の空間位置情報、および、主要被写体情報を取得する。主要被写体取得部２２６は、補助撮像装置２０の空間位置情報、主撮像装置１０の空間位置情報、および、主要被写体情報に基づいて、距離画像情報に含まれる主要被写体を特定する。主要被写体取得部２２６は、主要被写体を特定する情報を距離画像情報に付与し、情報出力部２２８へ出力する。

情報出力部２２８は、距離画像情報の各画素の位置を、主撮像装置１０の位置を原点とした距離に換算する。情報出力部２２８は、換算した距離および主要被写体を特定する情報に基づいて、主撮像装置１０を原点とした主要被写体までの距離を算出する。情報出力部２２８は、主撮像装置１０を原点とした主要被写体までの距離を示すフォーカス距離情報を作成する（Ｓ２０６）。情報出力部２２８は、フォーカス距離情報を通信部２０６を介して主撮像装置１０へ送信する（Ｓ２０８）。

図２に示した例において、情報出力部２２８は、主撮像装置１０の空間位置を原点とした距離画像情報に基づいて、主撮像装置１０から主要被写体である子供３４までの距離４２を算出する。情報出力部２２８は、算出した距離４２に基づいて、主撮像装置１０を原点とした子供３４までの距離を示すフォーカス距離情報を作成して主撮像装置１０へ送信する。主撮像装置１０の制御部１２０は、通信部１０６を介してフォーカス距離情報を取得する。

制御部１２０は、記憶部１１６に有効なフォーカス位置情報が記憶されているか否かを判断する（Ｓ１０８）。制御部１２０は、有効なフォーカス位置情報が記憶されていると判断した場合（Ｓ１０８：ＹＥＳ）、制御部１２０は、撮像者３２によってフォーカス位置を補正する設定がされているか否かを判断する（Ｓ１１０）。なお、補正したい旨の入力は、表示部１１２から入力される。表示部１１２は、当該入力を受け付けて、フォーカス位置を補正する設定がされる。

制御部１２０は、フォーカス位置を補正する設定がされていると判断した場合（Ｓ１１０：ＹＥＳ）、制御部１２０は、記憶部１１６に記憶されているフォーカス位置情報を、補助撮像装置２０から取得したフォーカス距離情報に補正する（Ｓ１１２）。制御部１２０は、操作部１０４からフォーカス位置を補正しない設定がされていると判断した場合（Ｓ１１０：ＮＯ）、ステップＳ１１２をスキップして処理をステップＳ１１４へ進める。

上記ステップＳ１０８において、有効なフォーカス位置情報が記憶されていない、すなわち記憶部１１６のフォーカス位置情報が無効な値である判断した場合（Ｓ１０８：ＮＯ）、制御部１２０は、補助撮像装置２０から取得したフォーカス距離情報を撮像条件情報として記憶部１１６に記憶する（Ｓ１１２）。

制御部１２０は、操作部１０４によりレリーズボタンが全押しされたことが検知されるまで待機する（Ｓ１１４：Ｎｏ）。操作部１０４によりレリーズボタンが全押しされたことが検知された場合に（Ｓ１１４：Ｙｅｓ）、制御部１２０は、記憶部１１６に記憶された撮像条件情報を読み出して、読み出した撮像条件に基づいて、撮像部１０２で主要被写体を含むシーンを撮像する（Ｓ１１６）。以上により図５に示すフローチャートが終了する。

図５に示す実施形態において、補助撮像装置２０のレンズは、主撮像装置１０よりも広角であるので、補助撮像装置２０は、主撮像装置１０では撮像範囲に入らない被写体３０の輪郭を含む画像を生成できる。そのため、主撮像装置１０においてフォーカス位置情報が取得できなかった場合であっても、補助撮像装置２０は、フォーカス距離情報を取得でき、当該情報を主撮像装置１０へ送信することによって、フォーカス位置情報を補正できる。

さらに、フォーカス位置情報が取得しづらい、望遠でコントラストの表れにくい被写体３０を撮像する場合において、撮像者３２は、補助撮像装置２０が算出するフォーカス距離情報で補正する設定を、あらかじめ行うことができる。当該設定によって撮像者３２は、主撮像装置１０が算出したフォーカス位置情報ではなく、補助撮像装置２０が算出するフォーカス距離情報で、被写体３０を撮像できる。

図６は、図５のステップＳ２０２の撮像シーケンスを示すフローチャートである。当該フローチャートは、移動量特定部２２２が被写体情報を取得したことにより開始する。

移動量特定部２２２は、主撮像装置１０から被写体情報に含まれる主撮像装置１０の空間位置情報、および、被写体空間情報を取得する（Ｓ３０２）。移動量特定部２２２は、空間位置情報、および、被写体空間情報に基づいて、主撮像装置１０を被写体として含みながら、主撮像装置１０の被写体空間を撮像できる空間的な位置を算出する（Ｓ３０４）。

移動量特定部２２２は、センサ２０８で取得されて記憶部２１０に記憶されている、補助撮像装置２０の空間位置情報を取得する（Ｓ３０６）。移動量特定部２２２は、ステップＳ３０４にて算出した位置と、ステップＳ３０６で取得された位置との差分から、補助撮像装置２０の移動量を特定し、移動部２０４に受け渡す（Ｓ３０８）。移動部２０４は、当該移動量に対応して回転翼２０３等を駆動して、補助撮像装置２０を上記位置まで移動させて、撮像方向を向かせる。（Ｓ３１０）。

補助撮像装置２０は、主撮像装置１０を被写体として含む被写体空間をステレオカメラで撮像する（Ｓ３１２）。これにより図６のフローチャートが終了する。

図５に示す実施形態によれば、補助撮像装置２０を用いて主撮像装置１０と主要被写体を含む被写体空間を撮像して空間位置情報を生成することによって、主撮像装置１０を原点とした主要被写体までの距離を正確に算出できる。補助撮像装置２０は、算出した当該距離に基づいて主要被写体のフォーカス距離情報を作成する。補助撮像装置２０は、当該フォーカス距離情報を主撮像装置１０に出力でき、主撮像装置１０は、当該フォーカス距離情報に基づいて、主要被写体の撮像条件を補正できる。

なお、図５に示す実施形態において、補助撮像装置２０を用いて主撮像装置１０のフォーカス位置情報を補正したが、補正される撮像条件はフォーカス位置情報に限られない。補正される撮像条件の他の例は、絞り値を示す絞り値情報である。

この場合に、上記ステップＳ２０６において、上記ステップＳ２０４で算出した位置情報から、主撮像装置１０から見た主要被写体の奥行きを算出する。例えば、図２に示す例において、補助撮像装置２０は、位置情報に基づいて、主撮像装置１０から見た子供３４の奥行き５２、同じく女性３６の奥行き５４、同じく花壇３８の奥行き５６を算出する。

補助撮像装置２０は、主撮像装置１０のレンズの画角情報、および、主要被写体の上記奥行きに基づいて、当該主要被写体が被写界深度内に入る主撮像装置１０の絞り値を算出する。補助撮像装置２０は、絞り値を示す絞り値情報を主撮像装置１０に出力する。主撮像装置１０は、補助撮像装置２０から取得した絞り値情報が示す絞り値が、主撮像装置１０で現在設定されている絞り値も大きいか否かを判断する。主撮像装置１０は、補助撮像装置２０から取得した絞り値の方が大きい場合に、主撮像装置１０の絞り値を、補助撮像装置２０から取得した絞り値に補正する。

図７は、他のフローチャートの例を示す。図７に示すフローチャートにおいて、補助撮像装置２０により補正される撮像条件のさらに他の例として、ボケ付与情報が用いられる。図７のフローチャートにおいて図４と同じステップについては同じ番号を付して説明を省略する。

図７において、ステップＳ１０４で、撮像条件を設定した後に、主撮像装置１０の制御部１２０は、操作部１０４によりレリーズボタンが全押しされたことが検知されるまで待機する（Ｓ１１０：Ｎｏ）。操作部１０４によりレリーズボタンが全押しされたことが検知された場合に（Ｓ１１０：Ｙｅｓ）、制御部１２０は、撮像部１０２で主要被写体を含むシーンを撮像するとともに（Ｓ１１２）、記憶部１１６に記憶されている主撮像装置１０の空間位置情報、被写体空間情報、および、主要被写体情報を含む被写体情報を通信部１０６を介して発信する（Ｓ１０６）。

ステップＳ２０８において、情報出力部２２８は、距離画像情報を取得すると、主撮像装置１０の位置を原点とした距離画像情報に換算する。情報出力部２２８は、換算した距離画像情報に基づいて、主撮像装置１０から被写体までの距離を算出する。情報出力部２２８は、算出した被写体までの距離に基づいて、主要被写体と同じ被写体深度内にある被写体にはボケを付与せずに、被写体深度外にある被写体にボケを付与するボケ付与情報を作成する（Ｓ２１０）。また、ボケ付与情報は、被写体が被写体深度から離れるに従い大きなボケが付与されるように作成される。情報出力部２２８は、通信部２０６を介して主撮像装置１０へ送信する（Ｓ２１０）。

図２に示した例において、情報出力部２２８は、主撮像装置１０を原点とした距離画像情報に基づいて、被写体空間における主撮像装置１０から子供３４、女性３６、および花壇３８の各部分に対応した距離を算出する。情報出力部２２８は、算出した距離に基づいてボケ付与情報を作成して、主撮像装置１０へ送信する。

撮像者３２は、生成された画像にボケを追加する補正を行いたい場合に、ボケを付与する指示を表示部１１２を介して入力する。表示部は、当該入力を受け付けて、制御部１２０に送信する。主撮像装置１０の制御部１２０は、ボケを付与する指示を受信すると、ボケ付与情報を参照して、撮像して生成した画像にボケを追加する補正を行う（Ｓ１１４）。これにより図７のフローチャートが終了する。

図７に示す実施形態によれば、主撮像装置１０の絞り値に関わらず、主撮像装置１０で生成した撮像画像に後からボケを付与することができる。よって、撮像者３２はパンフォーカスで被写体空間を撮像しておけば、後から任意の距離の被写体に対してボケを付与することができる。

図７に示す実施形態は、主撮像装置１０で生成した撮像画像に後からボケが付与される。これに代えてまたはこれに加えて、主撮像装置１０で生成した撮像画像のボケを少なくするように補正されてもよい。この場合に、主撮像装置１０は、補助撮像装置２０が撮像した撮像画像を取得して、当該撮像画像を用いて主撮像装置１０で生成した撮像画像のボケを少なくするように画像処理する。この場合に、主撮像装置１０は上記ボケ付与情報に基づいて、主撮像装置１０の主要被写体の被写体深度内のボケを小さくするように画像処理してもよい。

図８は、他の補助撮像装置２２の例を示す。補助撮像装置２２は、車輪２５４で自走する小型車両である。補助撮像装置２２に搭載された撮像部２５２は、水平方向および垂直方向に向きを変えることができる。

本実施形態において、移動量特定部２２２は、空間位置情報、および、被写体空間情報に基づいて、主撮像装置１０を被写体として含みながら、主撮像装置１０の被写体空間を撮像できる空間的な位置を算出するが、更に、主撮像装置１０の光軸に対して垂直となる方向で撮像できることを条件として位置を算出してもよい。補助撮像装置２０は、主撮像装置１０の光軸に対して垂直となる方向から撮像することによって、主撮像装置１０の光軸方向に重なりあった被写体の空間位置情報が把握しやすくなる。

一方、移動量特定部２２２は、主撮像装置１０の光軸に対して垂直となる方向で撮像できることに代えて、撮像者３２の後方から主撮像装置１０の光軸に一致、または平行な光軸で撮像できる位置を算出してもよい。補助撮像装置２０は、主撮像装置１０が生成する画像の全てを含む空間の空間位置情報を把握することができる。

本実施形態において、補助撮像装置２０は、主撮像装置１０を含む被写体空間を撮像して主撮像装置１０の被写体の空間位置情報を作成する例を示したが、主撮像装置１０を含まない被写体空間を撮像して空間位置情報を作成してもよい。その場合、補助撮像装置２０は、主撮像装置１０の位置情報から撮像した被写体空間中の主撮像装置１０の位置を特定して、主撮像装置１０の被写体の空間位置情報を作成する。

本実施形態において、補助撮像装置２０としてステレオカメラを用いた例を示したが、補助撮像装置２０として、ライトフィールドカメラを用いてもよい。この場合に、補助撮像装置２０が撮像して作成する空間位置情報は、ライトフィールドカメラにより撮像された奥行き情報を含む。

以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。

特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。

１０主撮像装置、２０補助撮像装置、２２補助撮像装置、３０被写体、３２撮像者、３４子供、３６女性、３８花壇、４２、４４、４６距離、５２、５４、５６奥行き、１０２撮像部、１０４操作部、１０６通信部、１０８発光部、１１２表示部、１１４センサ、１１６記憶部、１２０制御部、２０２三次元撮像部、２０３回転翼、２０４移動部、２０６通信部、２０８センサ、２１０記憶部、２２０制御部、２２２移動量特定部、２２４空間情報取得部、２２６主要被写体取得部、２２８情報出力部、２５２撮像部、２５４車輪

Claims

撮像者の操作により撮像を行う主撮像装置を被写体として含む被写体空間を撮像する撮像部と、
前記撮像部による撮像に基づいて、前記被写体空間に含まれる前記主撮像装置および他の被写体の空間位置情報を取得する空間情報取得部と、
前記空間情報取得部により取得された前記空間位置情報に基づいて、前記主撮像装置の撮像に用いられる撮像情報を前記主撮像装置に出力する情報出力部と
を備える補助撮像装置。
前記主撮像装置の主要被写体を特定する情報を取得する主要被写体取得部をさらに備え、
前記撮像部は、前記主要被写体も前記被写体として含む被写体空間を撮像し、
前記空間情報取得部は、前記他の被写体として前記主要被写体の空間位置情報を取得する請求項１に記載の補助撮像装置。
前記情報出力部は、前記空間情報取得部により取得された前記主撮像装置および前記主要被写体の前記空間位置情報に基づいて、前記主撮像装置から前記主要被写体までの距離に関する情報を前記撮像情報として前記主撮像装置に出力する請求項２に記載の補助撮像装置。
前記情報出力部は、前記空間情報取得部により取得された前記主撮像装置および前記主要被写体の前記空間位置情報に基づいて、前記主要被写体が前記主撮像装置の被写界深度に入る絞り値を前記撮像情報として前記主撮像装置に出力する請求項２に記載の補助撮像装置。
前記情報出力部は、前記空間情報取得部により取得された前記空間位置情報に基づいて、前記主要被写体とは異なる被写体にボケを付与する情報を前記撮像情報として前記主撮像装置に出力する請求項２に記載の補助撮像装置。