JP5999089B2

JP5999089B2 - 撮影装置

Info

Publication number: JP5999089B2
Application number: JP2013517945A
Authority: JP
Inventors: 望藤原
Original assignee: NEC Corp
Current assignee: NEC Corp
Priority date: 2011-05-27
Filing date: 2012-05-11
Publication date: 2016-09-28
Anticipated expiration: 2032-05-11
Also published as: WO2012165123A1; US20140098200A1; EP2717096A1; EP2717096A4; JPWO2012165123A1

Description

本発明は、撮影装置、撮影選択方法および記録媒体に関し、特には、立体視用画像データを生成するための撮影装置、撮影選択方法および記録媒体に関する。

近年、３Ｄ（3 Dimensional）映像が急速に広まりつつある。

３Ｄ映像を作成するには、人間の目線と同様に水平方向に視差分ずれた位置から左眼用カメラと右眼用カメラとを用いて、右目用映像と左目用映像を生成する必要がある。

左眼用カメラが右眼用カメラと水平方向に視差分ずれた位置に配置された撮影装置では、撮影装置が例えば９０度傾けられた場合、２つのカメラは鉛直方向にずれてしまい、水平方向での視差分のずれが無くなり、立体視用画像データを生成できなくなる。

特許文献１には、カメラ本体が９０度傾けられても、左眼用カメラと右眼用カメラとを水平方向に視差分ずれた位置に配置可能な複眼カメラが記載されている。

特許文献１に記載の複眼カメラは、左眼用カメラと右眼用カメラとを共通の軸を中心として略９０度回転させる公転機構を有する。このため、カメラ本体を９０度傾けて撮影が行われる場合には、公転機構を用いて左眼用カメラと右眼用カメラとを略９０度回転させた状態で撮影を行うことで、左眼用カメラと右眼用カメラとを水平方向に視差分ずれた位置に配置することが可能になる。

特開２００９−１７７５６５号公報

特許文献１に記載の複眼カメラは、左眼用カメラと右眼用カメラとを回転する公転機構という可動部を有する。可動部は、例えば、接触箇所の摩耗が原因で正常に動作しなくなるおそれがあり、故障の原因となる可能性が高い。

このため、カメラ本体が９０度傾けられても、左眼用カメラと右眼用カメラとを水平方向に視差分ずれた位置関係にする手法として、左眼用カメラと右眼用カメラとを回転する可動部を必要としない手法が望まれるという課題があった。

本発明の目的は、上記課題を解決可能な撮影装置、撮影選択方法および記録媒体を提供することである。

本発明の撮影装置は、
矩形状の１つの面に設けられた３つ以上の撮影手段と、
自装置の傾きを検出する検出手段と、
前記検出手段の検出結果に基づいて、前記３つ以上の撮影手段の中から、前記検出手段が傾きを検出した状況で地面と平行な水平方向にずれている２つの撮影手段を選択する制御手段と、を含み、
前記３つ以上の撮影手段は、第１の撮影手段と、前記矩形状の１つの面を囲む４つの辺のうちの１つの辺を基準として、該基準となる１つの辺に平行な方向である第１の方向に前記第１の撮影手段から第１の距離離れた位置に配置された第２の撮影手段と、前記基準となる１つの辺に垂直な方向である第２の方向に前記第１の撮影手段から第２の距離離れた位置に配置された第３の撮影手段とを有する。

本発明によれば、左眼用カメラと右眼用カメラとを回転する可動部を必要とせずに、撮影装置が９０度傾けられても左眼用カメラと右眼用カメラとを水平方向に視差分ずれた位置関係にすることが可能になる。

本発明の一実施形態の撮影装置１を示したブロック図である。撮影装置１の正面図である。決定情報の一例を示した図である。撮影装置１の動作を説明するためのフローチャートである。カメラ１１とカメラ１２とカメラ１３と傾きセンサ１４と制御部１５からなる撮影装置を示したブロック図である。追加カメラ６１が追加された撮影装置１の正面図である。決定情報７１の一例を示した図である。

以下、本発明の一実施形態を図面を参照して説明する。

図１は、本発明の一実施形態の撮影装置１を示したブロック図である。図２は、撮影装置１の正面図である。

撮影装置１は、例えば、携帯電話機またはスマートフォンである。なお、撮影装置１は、携帯電話機またはスマートフォンに限らず、例えば、携帯型ゲーム機、タブレット型ＰＣ（Personal Computer）、ノート型ＰＣ、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Data Assistance，Personal Digital Assistants：個人向け携帯型情報通信機器）、タブレット、または、３Ｄ用撮影装置でもよい。

撮影装置１は、カメラ１１、１２および１３と、傾きセンサ１４と、制御部１５と、を含む。

カメラ１１は、一般的に第１撮影手段と呼ぶことができる。カメラ１１は、撮影装置１の正面１ａに設けられており、被写体２を撮影した場合に撮影画像データ１１１を生成する。

カメラ１２は、一般的に第２撮影手段と呼ぶことができる。カメラ１２は、撮影装置１の正面１ａに設けられており、被写体２を撮影した場合に撮影画像データ１２１を生成する。

カメラ１２は、水平方向においてカメラ１１とずれた場所に設けられている。本実施形態では、カメラ１２は、基準状態で、水平方向においてカメラ１１と距離ｒ１ずれており垂直方向ではカメラ１１とずれていない場所に設けられている。なお、本実施形態では、基準状態として、撮影装置１の横方向Ａが水平方向となっており撮影装置１の縦方向Ｂが鉛直方向となっている状態が用いられる。また、距離ｒ１は０よりも大きい値である。

カメラ１３は、一般的に第３撮影手段と呼ぶことができる。カメラ１３は、撮影装置１の正面１ａに設けられており、被写体２を撮影した場合に撮影画像データ１３１を生成する。

カメラ１３は、垂直方向においてカメラ１１とずれた場所に設けられている。本実施形態では、カメラ１３は、基準状態で、垂直方向においてカメラ１１と距離ｒ２ずれており水平方向ではカメラ１１とずれていない場所に設けられている。なお、距離ｒ２は０よりも大きい値である。また、距離ｒ２は距離ｒ１よりも長くてもよいし短くてもよいし等しくてもよい。

傾きセンサ１４は、一般的に検出手段と呼ぶことができる。

傾きセンサ１４は、撮影装置１の傾きを検出する。傾きセンサ１４は、例えば重力センサを有し、重力の向きに対する撮影装置１の傾き、例えば、重力が、底面１ｂ（図２参照）側に向いているか、右側面１ｃ側に向いているか、上面１ｄ側に向いているか、左側面１ｅ側に向いているか、を検出する。

本実施形態では、撮影装置１が基準状態にあるときの撮影装置１の傾きを０度とし、撮影装置１を正面１ａから見たときに、撮影装置１が、基準状態から正面１ａの法線を軸にして反時計回りに回転していくときの回転角度を、撮影装置１の傾きとして用いる。

本実施形態では、傾きセンサ１４は、撮影装置１の傾きが０度以上４５度未満または３１５度以上３６０度未満のとき、重力が底面１ｂ側に向いていると判断する。また、傾きセンサ１４は、撮影装置１の傾きが４５度以上１３５度未満のとき、重力が右側面１ｃ側に向いていると判断する。また、傾きセンサ１４は、撮影装置１の傾きが１３５度以上２２５度未満のとき、重力が上面１ｄ側に向いていると判断する。また、傾きセンサ１４は、撮影装置１の傾きが２２５度以上３１５度未満のとき、重力が左側面１ｅ側に向いていると判断する。

制御部１５は、一般的に制御手段と呼ぶことができる。

制御部１５は、傾きセンサ１４の検出結果に基づいて、カメラ１１〜１３の中から、撮影装置１の傾きが検出された状況で水平方向にずれている２つのカメラを、立体視用画像データを生成するために用いる２つの撮影実行カメラとして選択する。なお、撮影実行カメラは、一般的に撮影実行手段と呼ぶことができる。

本実施形態では、制御部１５は、傾きセンサ１４の検出結果に基づいて、撮影装置１の傾きが検出された状況で水平方向にずれている、カメラ１１および１２、または、カメラ１１および１３を、２つの撮影実行カメラとして選択する。

例えば、制御部１５は、傾きセンサ１４の検出結果が、撮影装置１の傾きが０度である旨を示す場合には、カメラ１１および１２を２つの撮影実行カメラとして選択する。また、制御部１５は、傾きセンサ１４の検出結果が、撮影装置１の傾きが９０度である旨を示す場合には、カメラ１１および１３を２つの撮影実行カメラとして選択する。

制御部１５は、２つの撮影実行カメラのそれぞれが生成した撮影画像データ（以下「選択画像データ」と称する）を基に立体視用画像データを生成する。

なお、制御部１５は、傾きセンサ１４の検出結果に基づいて、２つの選択画像データのうち右目用画像データとする選択画像データと、２つの選択画像データのうち左目用画像データとする選択画像データと、を決定する。

制御部１５は、格納部１５ａと処理部１５ｂとを含む。

格納部１５ａは、選択画像データと、立体視用画像データと、撮影装置１の傾きと撮影実行カメラと右目用画像データと左目画像データとの関係を示した決定情報と、を格納する。

図３は、決定情報の一例を示した図である。

図３において、決定情報３１は、重力の向きが底面１ｂ側となる撮影装置１の傾きの状況では、カメラ１１および１２が撮影実行カメラとなり、撮影画像データ１１１が右目用画像データとなり、撮影画像データ１２１が左目用画像データとなることを示す。この場合、撮影画像データ１１１および１２１が選択画像データとなり、カメラ１１が右眼用カメラとなり、カメラ１２が左目用カメラとなる。

また、決定情報３１は、重力の向きが右側面１ｃ側となる撮影装置１の傾きの状況では、カメラ１１および１３が撮影実行カメラとなり、撮影画像データ１１１が右目用画像データとなり、撮影画像データ１３１が左目用画像データとなることを示す。この場合、撮影画像データ１１１および１３１が選択画像データとなり、カメラ１１が右眼用カメラとなり、カメラ１３が左目用カメラとなる。

また、決定情報３１は、重力の向きが上面１ｄ側となる撮影装置１の傾きの状況では、カメラ１１および１２が撮影実行カメラとなり、撮影画像データ１２１が右目用画像データとなり、撮影画像データ１１１が左目用画像データとなることを示す。この場合、撮影画像データ１１１および１２１が選択画像データとなり、カメラ１２が右眼用カメラとなり、カメラ１１が左目用カメラとなる。

また、決定情報３１は、重力の向きが左側面１ｅ側となる撮影装置１の傾きの状況では、カメラ１１および１３が撮影実行カメラとなり、撮影画像データ１３１が右目用画像データとなり、撮影画像データ１１１が左目用画像データとなることを示す。この場合、撮影画像データ１１１および１３１が選択画像データとなり、カメラ１３が右眼用カメラとなり、カメラ１１が左目用カメラとなる。

処理部１５ｂは、撮影装置１を制御する。例えば、処理部１５ｂは、傾きセンサ１４の検出結果と格納部１５ａ内の決定情報３１とを用いて、撮影実行カメラと右目用画像データと左目用画像データとを決定する。

次に、動作を説明する。

図４は、撮影装置１の動作を説明するためのフローチャートである。

処理部１５ｂは、操作スイッチ（不図示）を介してユーザの開始指示を受け取ると、傾きセンサ１４を動作させて、撮影装置１の傾きを検出する（ステップＳ４０１）。

続いて、処理部１５ｂは、傾きセンサ１４の検出結果を受け取り、格納部１５ａ内の決定情報３１を参照し、傾きセンサ１４の検出結果に応じて、２つの撮影実行カメラと、右目用画像データと左目用画像データと、を決定する（ステップＳ４０２）。

例えば、傾きセンサ１４の検出結果が、重力の向きが底面１ｂ側となる撮影装置１の傾きの状況（一例としては、撮影装置１の傾きが０度）を示す場合には、処理部１５ｂは、カメラ１１および１２を撮影実行カメラとして選択し、撮影画像データ１１１を右目用画像データとし、撮影画像データ１２１を左目用画像データとする決定を行う。

続いて、処理部１５ｂは、ステップＳ４０２で決定した２つの撮影実行カメラを動作させて（ステップＳ４０３）、被写体２を撮影させる。

続いて、処理部１５ｂは、２つの撮影実行カメラからの右目用画像データと左目用画像データとを基に立体視用画像データを生成する（ステップＳ４０４）。

例えば、処理部１５ｂは、右目用画像データと左目用画像データとを３Ｄ画像用のファイル形式、一例としてはCIPA（Camera & Imaging Products Association）マルチピクチャフォーマット形式で合成して立体視用画像データを生成する。

処理部１５ｂは、３Ｄの静止画を撮影する際には、ステップＳ４０４の終了に伴い静止画の撮影を終了する。

なお、処理部１５ｂは、３Ｄ動画を撮影する際には、ステップＳ４０４を終了すると処理をステップＳ４０１に戻す。このため、３Ｄ動画の撮影中に撮影装置１の向き（傾き）が変わると、引き続き３Ｄ動画の撮影が継続されるように撮影実行カメラが切り替わる。処理部１５ｂは、操作スイッチ（不図示）を介してユーザの終了指示を受け取ると、３Ｄ動画の撮影を終了する。

次に、本実施形態の効果を説明する。

本実施形態によれば、傾きセンサ１４は、撮影装置１の傾きを検出する。制御部１５は、傾きセンサ１４の検出結果に基づいて、カメラ１１〜１３の中から、傾きセンサ１４が傾きを検出した状況で水平方向にずれている２つのカメラを選択する。

このため、撮影装置１が傾いていても、水平方向での視差分のずれを有する２つのカメラを選択することが可能になる。よって、撮影装置１の向きに関わらず、良好な３Ｄ撮影が可能になる。

このため、例えば撮影装置１が携帯電話機である場合、縦画面表示を行っている場合でも横画面表示を行っている場合でも、どちらでも３Ｄ撮影が可能となる。なお、この効果は、カメラ１１とカメラ１２とカメラ１３と傾きセンサ１４と制御部１５からなる撮影装置でも奏する。図５は、カメラ１１とカメラ１２とカメラ１３と傾きセンサ１４と制御部１５からなる撮影装置を示したブロック図である。

また、本実施形態では、カメラ１２は水平方向においてカメラ１１とずれた場所に設けられ、カメラ１３は垂直方向においてカメラ１１とずれた位置に設けられている。制御部１５は、傾きセンサ１４の検出結果に基づいて、撮影装置１の傾きが検出された状況で水平方向にずれている、カメラ１１および１２、または、カメラ１１および１３を選択する。

この場合、３つのカメラを用いた状況において、撮影装置１が傾いていても、水平方向での視差分のずれを有する２つのカメラを選択することが可能になる。

また、本実施形態では、制御部１５は、さらに、選択された２つのカメラ（撮影実行カメラ）のそれぞれが生成した撮影画像データを基に立体視用画像データを生成する。

この場合、撮影装置１の向きに関わらず、立体視用画像データを生成することが可能になる。

なお、上記実施形態において、処理部１５ｂは、選択された２つのカメラ（撮影実行カメラ）のそれぞれが生成した撮影画像データの品質が異なる場合に、それら撮影画像データの品質の差を小さくしてもよい。

例えば、２つの撮影実行カメラの仕様（スペック）が異なる場合、２つの撮影実行カメラのそれぞれが生成した撮影画像データの品質（例えば、画像の明るさ、画素数、または、撮影範囲の広さ）が異なる可能性がある。

このため、処理部１５ｂは、例えば、２つの撮影実行カメラのそれぞれが生成した撮影画像データにて特定される画像の明るさが一致または明るさの差が小さくなるように、撮影画像データを補正する。

また、処理部１５ｂは、例えば、２つの撮影実行カメラのそれぞれが生成した撮影画像データの画素数が一致または画素数の差が小さくなるように、撮影画像データを補正する。

また、処理部１５ｂは、例えば、２つの撮影実行カメラのそれぞれが生成した撮影画像データにて特定される撮影範囲の広さが一致または撮影範囲の広さの差が小さくなるように、撮影画像データを補正する。

この場合、立体視用画像データの品質を向上することが可能になる。

なお、上記実施形態において、傾きセンサ１４は重力センサを用いて撮影装置１の傾きを検出したが、傾きセンサ１４は、重力センサの代わりに加速度センサまたはジャイロセンサを有し、加速度センサまたはジャイロセンサを用いて、撮影装置１の傾きを検出してもよい。

また、上記実施形態では、撮影手段として３つのカメラ１１〜１３を用いたが、撮影手段の数は３以上であってもよい。

例えば、撮影装置１の正面１ａに設けられており、被写体２を撮影した場合に撮影画像データ６１１を生成するカメラ（以下「追加カメラ」と称する）が、第４撮影手段として追加されてもよい。

図６は、追加カメラ６１が追加された撮影装置１の正面図である。

図６において、追加カメラ６１は、水平方向および垂直方向のそれぞれにおいてカメラ１１とずれた場所に設けられている。本実施形態では、追加カメラ６１は、基準状態で、水平方向および鉛直方向のそれぞれについてカメラ１１と距離ｒ１および距離ｒ２ずれた場所に設けられている。

なお、追加カメラ６１が存在する状況では、格納部１５ａは、決定情報３１の代わりに決定情報７１を格納する。また、処理部１５ｂは、傾きセンサ１４の検出結果と格納部１５ａ内の決定情報７１とを用いて、撮影実行カメラと右目用画像データと左目用画像データとを決定する。

図７は、決定情報７１の一例を示した図である。

図７において、決定情報７１は、重力の向きが底面１ｂ側となる撮影装置１の傾きの状況では、カメラ１１および１２が撮影実行カメラとなり、撮影画像データ１１１が右目用画像データとなり、撮影画像データ１２１が左目用画像データとなることを示す。この場合、撮影画像データ１１１および１２１が選択画像データとなり、カメラ１１が右眼用カメラとなり、カメラ１２が左目用カメラとなる。

また、決定情報７１は、重力の向きが右側面１ｃ側となる撮影装置１の傾きの状況では、カメラ１２および６１が撮影実行カメラとなり、撮影画像データ１２１が右目用画像データとなり、撮影画像データ６１１が左目用画像データとなることを示す。この場合、撮影画像データ１２１および６１１が選択画像データとなり、カメラ１２が右眼用カメラとなり、カメラ６１が左目用カメラとなる。

また、決定情報７１は、重力の向きが上面１ｄ側となる撮影装置１の傾きの状況では、カメラ６１および１３が撮影実行カメラとなり、撮影画像データ６１１が右目用画像データとなり、撮影画像データ１３１が左目用画像データとなることを示す。この場合、撮影画像データ６１１および１３１が選択画像データとなり、カメラ６１が右眼用カメラとなり、カメラ１３が左目用カメラとなる。

また、決定情報７１は、重力の向きが左側面１ｅ側となる撮影装置１の傾きの状況では、カメラ１３および１１が撮影実行カメラとなり、撮影画像データ１３１が右目用画像データとなり、撮影画像データ１１１が左目用画像データとなることを示す。この場合、撮影画像データ１３１および１１１が選択画像データとなり、カメラ１３が右眼用カメラとなり、カメラ１１が左目用カメラとなる。

処理部１５ｂは、傾きセンサ１４の検出結果を受け取ると、格納部１５ａ内の決定情報７１を参照し、傾きセンサ１４の検出結果に応じて、２つの撮影実行カメラと、右目用画像データと左目用画像データと、を決定する。

例えば、傾きセンサ１４の検出結果が、重力の向きが右側面１ｃ側となる撮影装置１の傾きの状況（一例としては、撮影装置１の傾きが９０度）を示す場合には、処理部１５ｂは、カメラ１２および６１を撮影実行カメラとして選択し、撮影画像データ１２１を右目用画像データとし、撮影画像データ６１１を左目用画像データとする決定を行う。

その後、処理部１５ｂは、２つの撮影実行カメラを動作させ、２つの撮影実行カメラからの右目用画像データと左目用画像データとを基に立体視用画像データを生成する。

この場合、処理部１５ｂは、傾きセンサ１４の検出結果に基づいて、傾きセンサ１４が傾きを検出した状況で水平方向にずれている、カメラ１１および１２、または、カメラ１２および１３、または、カメラ１４および６１、または、カメラ６１および１１を選択する。このため、４つのカメラを用いた状況において、撮影装置１が傾いていても、水平方向での視差分のずれを有する２つのカメラを選択することが可能になる。また、４つのカメラのうち撮影時に上側に存在する２つのカメラを、撮影実行カメラとして使用することが可能になる。

また、撮影装置１は、３つ以上のカメラに接続されたコンピュータにて実現されてもよい。この場合、コンピュータは、コンピュータにて読み取り可能なＣＤ−ＲＯＭ（Compact Disk Read Only Memory）のような記録媒体に記録されたプログラムを読込み実行して、傾きセンサ１４および制御部１５として機能する。記録媒体は、ＣＤ−ＲＯＭに限らず適宜変更可能である。

以上、実施形態を参照して本願発明を説明したが、本願発明は上記実施形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

この出願は、２０１１年５月２７日に出願された日本出願特願２０１１−１１９２００を基礎とする優先権を主張し、その開示の全てをここに取り込む。

１撮影装置
１１〜１３、６１カメラ
１４傾きセンサ
１５制御部
１５ａ格納部
１５ｂ処理部

Claims

矩形状の１つの面に設けられた３つ以上の撮影手段と、
自装置の傾きを検出する検出手段と、
前記検出手段の検出結果に基づいて、前記３つ以上の撮影手段の中から、前記検出手段が傾きを検出した状況で地面と平行な水平方向にずれている２つの撮影手段を選択する制御手段と、を含み、
前記３つ以上の撮影手段は、第１の撮影手段と、前記矩形状の１つの面を囲む４つの辺のうちの１つの辺を基準として、該基準となる１つの辺に平行な方向である第１の方向に前記第１の撮影手段から第１の距離離れた位置に配置された第２の撮影手段と、前記基準となる１つの辺に垂直な方向である第２の方向に前記第１の撮影手段から第２の距離離れた位置に配置された第３の撮影手段とを有し、
前記第１の距離と前記第２の距離は同等である、撮影装置。
前記３つ以上の撮影手段は、前記第３の撮影手段から前記第１の方向に前記第１の距離離れた位置と、前記第２の撮影手段から前記第２の方向に前記第２の距離離れた位置とが重なる位置に第４の撮影手段をさらに有する、請求項１に記載の撮影装置。
前記制御手段は、さらに、選択された２つの撮影手段のそれぞれが生成した撮影画像データを基に立体視用画像データを生成する、請求項１または請求項２に記載の撮影装置。
前記制御手段は、さらに、選択された２つの撮影手段のそれぞれが生成した撮影画像データの品質が異なる場合に、該撮影画像データの品質の差を小さくする、請求項１から３のいずれか１項に記載の撮影装置。