以下、本発明につき図面を参照しつつ詳細に説明する。なお、以下の説明により本発明が限定されるものではない。また、以下の説明における構成要素には、当業者が容易に想定できるもの、実質的に同一のもの、いわゆる均等の範囲のものが含まれる。以下においては、電子機器として携帯電話端末を例として説明するが、本発明の適用対象は携帯電話端末に限定されるものではなく、三次元(3D)画像表示機能および画像撮影機能の少なくとも一方を備える各種装置、例えば、PHS(Personal Handy-phone System)、PDA、ポータブルナビゲーション装置、パーソナルコンピュータ、ゲーム機等に対しても本発明は適用できる。また、三次元(3D)画像表示機能のみを有する電子機器の場合は、携帯電子機器に限定されず、テレビ、モニタ等、固定型の各種装置にも用いることができる。
図1は、本発明の携帯電子機器の一実施形態である携帯電話端末1の外観を示す正面図であり、携帯電話端末1は、薄板状の筐体12を有する。携帯電話端末1は、筐体12の表面に、タッチパネル2と、ボタン20、ボタン22及び入力デバイス24からなる入力部3と、レシーバ7と、マイク8と、カメラ16と、が配置されている。タッチパネル2は、板状の筐体12の面積が最も広い面に配置されている。また、入力部3も、筐体12のタッチパネル2が配置されている面の、長手方向の一方の端部に配置されている。入力部3は、短手方向の一方から他方に向かって、ボタン20、入力デバイス24、ボタン22の順で配置されている。また、レシーバ7は、筐体12のタッチパネル2が配置されている面の長手方向の他方の端部、つまり、入力部3が配置されている端部とは反対側の端部に配置されている。また、マイク8は、筐体12のタッチパネル2が配置されている面の長手方向の一方の端部、つまり、入力部3が配置されている端部に配置されている。また、カメラ16は、タッチパネル2が配置されている面とは反対側の面に配置されている。
タッチパネル2は、文字、図形、画像等を表示するとともに、指、スタイラス、ペン(ペンの先端、棒状部材の先端)等(以下、単に「指」という)を用いてタッチパネル2に対して行われる各種動作を検出する。例えば、携帯電話端末1は、利用者から文字の入力を受け付けるために、タッチパネル2上に仮想キーボードを表示させる。携帯電話端末1は、タッチパネル2上に仮想キーボードを表示させた状態で、指によってタッチパネル2に入力される各種動作を検出し、仮想キーボードのどのキーが押下されたか、接触されたかを検出し、押下、接触を検出したキーを入力したキーとすることで、文字入力を行うことができる。また、タッチパネル2は、文字の入力によらず、表示させている画像と、指によってタッチパネル2に対して行われる各種動作とに基づいて、各種操作の入力を検出し、入力された操作に基づいて各種制御を行う。
入力部3は、ボタン20、22が押下された場合に、押下されたボタンに対応する機能を起動させる。また、入力部3は、入力デバイス24に入力された動作も操作として検出し、入力された操作に基づいて各種制御を行う。例えば、入力デバイス24は、方向指示操作や決定操作を検出する。入力デバイス24は、タッチパッド、光学式入力デバイス、4方及び中央にボタンを備える入力デバイス等で構成される。
カメラ16は、画像を撮影する撮影装置であり、図2に示すように、撮影窓52と光学系54と受光部58と撮影角度調整機構59とを有する。撮影窓52は、筐体12のタッチパネル2が配置されている面とは反対側の面に露出して配置されている。撮影窓52は、透明な部材で構成されており、筐体12の外部の光から入射する光を内部に入射(案内)させる。光学系54は、撮影窓52から筐体12内部に入射した光を受光部58に案内するレンズ等の光学部材で構成されている。なお、光学系54は、撮影窓52から入射した光のうち、所定の角度範囲(撮影領域)から入射した光を選択的に受光部58に案内する。受光部58は、撮影領域の画像情報を取得する装置であり、受光面にフォトダイオードをマトリックス状に配列させた撮像素子(CMOSイメージセンサ、CCDイメージセンサ等)を備える。受光部58は、受光面に画像が結像されると、撮像素子で結像された画像を読み取り、読み取った画像を電子データである画像情報に変換する。撮影角度調整機構59は、光学系54の角度を調整し、撮影窓52から入射し、受光部58に入射される光の範囲を調整する。つまり、撮影角度調整機構59は、光軸の位置を調整する。撮影角度調整機構59は、光学系54の少なくとも1つのレンズの位置を調整する機構、光学系54の全体の向きを調整する機構等で構成される。また、撮影角度調整機構59は、撮影領域の移動に伴い、受光部58の位置も移動させる。なお、撮影角度調整機構59は、手振れ補正処理も行うことができるようにしてもよい。
カメラ16は、以上のような構成であり、撮影窓52から入射した撮影領域の光を光学系54で受光部58に案内し、受光部58で結像された光を読み取ることで、撮影領域の画像を取得する。また、カメラ16は、撮影角度調整機構59で撮影領域の角度を調整することができる。なお、カメラ16は、これらの機能に加え、オートフォーカス機能やズーム機能も備えている。
次に、携帯電話端末1の機能と制御部との関係を説明する。図3は、図1に示す携帯電話端末1の機能の概略構成を示すブロック図である。図3に示すように携帯電話端末1は、タッチパネル2と、入力部3と、電源部5と、通信部6と、レシーバ7と、マイク8と、記憶部9と、主制御部10と、RAM(Random Access Memory)11と、カメラ16と、加速度センサ18と、地磁気センサ19と、を有する。なお、本実施形態では、加速度センサ18と、地磁気センサ19と、カメラ16のオートフォーカス機能と、これらで取得した情報を処理する制御部の該当機能と、の組み合わせが相対位置取得部となる。
タッチパネル2は、表示部2Bと、表示部2Bに重畳されたタッチセンサ2Aとを有する。タッチセンサ2Aは、指を用いてタッチパネル2に対して行われた各種動作を、動作が行われた場所のタッチパネル2上での位置とともに検出する。タッチセンサ2Aによって検出される動作には、指をタッチパネル2の表面に接触させる動作や、指をタッチパネル2の表面に接触させたまま移動させる動作や、指をタッチパネル2の表面から離す動作が含まれる。なお、タッチセンサ2Aは、感圧式、静電式等のいずれの検出方式を採用していてもよい。表示部2Bは、例えば、液晶ディスプレイ(LCD、Liquid Crystal Display)や、有機EL(Organic Electro−Luminescence)パネル等で構成され、文字、図形、画像等を表示する。また、表示部2Bは、複数の画像を重ねて表示させて三次元(3D)画像、つまり利用者が立体視できる画像を表示できる。つまり、表示部2Bは、複数の画像を重ねて表示させることで三次元(3D)画像を表示できる。
入力部3は、上述したようにボタン20、22と、入力デバイス24とを有する。ボタン20、22は、物理的な入力(押下)を通じて利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部10へ送信する。また、入力デバイス24も、利用者の操作を受け付け、受け付けた操作に対応する信号を主制御部10へ送信する。
電源部5は、蓄電池または外部電源から得られる電力を、主制御部10を含む携帯電話端末1の各機能部へ供給する。通信部6は、基地局によって割り当てられるチャネルを介し、基地局との間でCDMA方式等による無線信号回線を確立し、基地局との間で電話通信及び情報通信を行う。レシーバ7は、電話通信における相手側の音声や着信音等を出力する。マイク8は、利用者等の音声を電気的な信号へ変換する。
記憶部9は、例えば、不揮発性メモリや磁気記憶装置であり、主制御部10での処理に利用されるプログラムやデータを保存する。具体的には、記憶部9は、メールの送受信や閲覧のためのメールプログラム9Aや、WEBページの閲覧のためのブラウザプログラム9Bや、カメラ16で画像を撮影するためのカメラプログラム9Cや、加速度センサ18や地磁気センサ19等の検出結果に基づいて自身の位置または自身と被写体との相対位置を検出するための位置検出プログラム9Dや、3D(三次元)画像として表示可能な画像を撮影するためおよび3D画像を表示するための3D(三次元)画像処理プログラム9Eや、各種プログラムを実行する際に用いる各種条件を対応付けた処理条件テーブル9Fや、撮影等により取得された画像が格納された画像フォルダ9Gを記憶する。また、記憶部9には、携帯電話端末1の基本的な機能を実現するオペレーティングシステムプログラムや、氏名、電話番号、メールアドレス等が登録されたアドレス帳データ等の他のプログラムやデータも記憶される。また、記憶部9には、タッチパネル2に入力された入力操作に基づいて制御動作、処理を決定するプログラム等も記憶される。なお、制御動作、処理とは、携帯電話端末1で実行する各種動作、処理が含まれ、例えば、カーソル、ポインタの移動、画面の表示切替、文字入力処理、各種アプリケーションの起動処理、終了処理がある。
ここで、図4は、画像フォルダに記憶されるデータの一例を示す説明図である。画像フォルダ9Gには、図4に示すように、複数の画像データが記憶されており、夫々の画像データに対して、フォルダ名、ファイル名、座標情報が対応付けられている。なお、画像ファイル9Gには、同一の被写体について撮影した画像データが同じフォルダ名で対応付けられ、記憶されている。また、座標情報は、被写体と撮影位置との相対位置の情報であり、同じフォルダに対応付けられている画像データは、同一軸で算出された座標情報が対応付けられている。
主制御部10は、例えば、CPU(Central Processing Unit)であり、携帯電話端末1の動作を統括的に制御する。具体的には、主制御部10は、記憶部9に記憶されているデータを必要に応じて参照しつつ、記憶部9に記憶されているプログラムを実行して、タッチパネル2、入力部3、通信部6、カメラ16、加速度センサ18、地磁気センサ19等を制御することによって各種処理を実行する。主制御部10は、記憶部9に記憶されているプログラムや、処理を実行することによって取得/生成/加工されたデータを、一時的な記憶領域を提供するRAM11に必要に応じて展開する。なお、主制御部10が実行するプログラムや参照するデータは、通信部6による無線通信でサーバ装置からダウンロードすることとしてもよい。
カメラ16は、上述したように画像を撮影する撮影窓52が、筐体12から露出して配置されており、撮影領域の画像を取得する撮像機構である。
加速度センサ18は、筐体12に加わる加速度を検出する検出器である。ここで、加速度センサ18としては、種々の方法で加速度を検出する検出器を用いることができ、例えば、静電容量の変化や、ピエゾ抵抗の変化、相対位置の変化等で加速度を検出する検出器を用いることができる。また、加速度センサ18は、加速度の大きさに加え加速度の方向を検出する。加速度センサ18は、操作者が筐体12を移動させたり振ったりする際に筐体12に作用する加速度を検出し、検出した加速度情報を主制御部10に送る。主制御部10は、位置検出部プログラム9Dを実行し、加速度センサ18の検出結果を解析することで、具体的には検出した加速度の情報を積算することで筐体12の姿勢の変化量や移動距離を算出し、携帯電話端末1(筐体12)の移動を検出することができる。
地磁気センサ19は、筐体12の向きを検出する検出器である。地磁気センサ19は、互いに直交する3つの方向における地磁気の向きを検出する。ここで、地磁気を検出する検出器としては、ホール素子、MR素子、MI素子、フラックスゲート素子等を用いることができる。地磁気センサ19は、検出した3つの方向における地磁気の向きの検出結果を主制御部10に送る。主制御部10は、位置検出部プログラム9Dを実行し、地磁気センサ19の検出結果を解析することで携帯電話端末1(筐体12)の向き(方角)を検出することができる。
次に、図5から図7を用いて、撮影動作の一例について説明する。図5は、携帯電話端末の撮影動作時の処理の一例を示すフロー図である。図6は、携帯電話端末の撮影動作を説明するための説明図である。図7は、携帯電話端末の撮影動作表示される画面の一例を示す説明図である。図5に示す処理は、携帯電話端末1により三次元画像で表示可能な画像を撮影する撮影動作の一例である。図5に示す処理手順は、カメラプログラム9C、位置検出プログラム9D、3D画像処置プログラム9Eが提供する機能に基づいて繰り返し実行される。より具体的には、カメラプログラム9Cが提供する機能(画像撮影機能)、位置検出プログラム9Dが提供する機能(位置検出機能)により取得した各種検出結果および画像を3D画像処置プログラム9Eが提供する機能に基づいて、解析してカメラプログラム9Cが提供する機能(撮影機能)の動作を制御し、被写体の撮影を行う。携帯電話端末1は、三次元画像の撮影を行う機能を起動する指示が入力された場合、図5に示す処理を行う。
携帯電話端末1は、ステップS12として各センサを起動させる。具体的には、加速度センサ18と、地磁気センサ19を起動させる。携帯電話端末1は、ステップS12で各センサを起動させたら、ステップS14としてカメラ16を起動させる。なお、ステップS12とステップS14の処理は、同時に行っても、逆の順序で行ってもよい。また、既に起動されている場合は、処理を行わなくてもよい。
携帯電話端末1は、ステップS14でカメラ16を起動させたら、ステップS16として、画像を撮影する。つまり、1枚目の画像を取得する。携帯電話端末1は、取得した画像のデータをRAM11、記憶部9等に一時的に保存する。携帯電話端末1は、ステップS16で画像を取得したら、ステップS18で撮影位置情報を取得する。具体的には、携帯電話端末1は、加速度センサ18、地磁気センサ19で検出した情報で筐体12の位置を検出し、さらにカメラ16のフォーカス機能で自身(筐体12)と被写体との距離を検出し、相対的な位置関係(相対位置)の情報を取得する。なお、携帯電話端末1は、最初に検出した相対位置を基準の相対位置とする。携帯電話端末1は、取得した撮影位置情報を一時的に保存する。
携帯電話端末1は、ステップS18で撮影位置情報を取得したら、ステップS20として、現在位置情報を取得する。具体的には、携帯電話端末1は、ステップS16と同様に各センサから取得した情報に基づいて、現在の相対位置の情報を取得する。
携帯電話端末1は、ステップS20で現在の位置情報を取得したら、ステップS22として立体視に適した位置であるかを判定する。つまり、撮影した画像とこれから撮影する画像とで被写体の立体画像を表示することが可能な状態であるかを判定する。例えば、携帯電話端末1は、撮影時の位置からの自身(筐体12)の移動距離を算出し、撮影時の位置と現在の位置と被写体とで構成される二等辺三角形(被写体と撮影時の位置を結んだ線と、被写体と現在の位置とを結んだ線と、が長さの等しい三角形)の頂角を算出し、当該頂角が立体視に適した角度であるかを判定する。
携帯電話端末1は、ステップS22で立体視に適した位置ではない(No)と判定したら、ステップS20に進む。つまり、携帯電話端末1は、立体視に適した位置に移動するまで、ステップS20とステップS22の処理を繰り返す。なお携帯電話端末1は、立体視に適した位置ではないと判定したら、1枚目の画像から撮影しなおしてもよい。つまり、ステップS22でNoと判定したら、ステップS16に進むようにしてもよい。携帯電話端末1は、ステップS22で立体視に適した位置である(Yes)と判定したら、ステップS24として画像(2枚目の画像)を撮影する。つまり、ステップS16で撮影した画像と共に表示することで前記被写体の3D画像を表示できる画像を撮影する。携帯電話端末1は、ステップS24で撮影した2枚目の画像のデータおよび2枚目の画像のデータの撮影位置情報(直近のステップS20で取得した情報)を一時的に記憶する。また、携帯電話端末1は、撮影した2枚の画像をタッチパネル2に重ねて表示させ、三次元画像のプレビュー表示を行ってもよい。
携帯電話端末1は、ステップS24で画像を撮影したら、ステップS26として、画像を調整する。具体的には、ステップS16で撮影した1枚目の画像とステップS24で撮影した2枚目の画像とを比較し、いずれか一方の画像のみに含まれる周囲の景色等を切り取り、2つの画像に含まれる被写体、景色等を同一の構成とする。
携帯電話端末1は、ステップS26で画像の調整を行ったら、ステップS28として、撮影指示ありかを判定する。なお、撮影指示とは、画像を撮影するトリガーとなる操作であり、いわゆるシャッタ操作である。携帯電話端末1は、ステップS28で撮影指示なし(No)、つまり、シャッタが押されていないと判定したら、ステップS16に進み、上記処理を繰り返す。なお、この際、携帯電話端末1は、一時的に記憶していた撮影データおよび撮影位置情報を破棄(消去)する。
携帯電話端末1は、ステップS28で撮影指示あり(Yes)と判定したら、ステップS30として、撮影した画像と位置情報を記憶部9の画像フォルダ9Gに保存する。なお、携帯電話端末1は、タッチパネル2に撮影した画像および撮影した画像を保存するかの問い合わせ画像を表示させ、利用者による保存指示を検出したら画像を保存してもよい。携帯電話端末1は、ステップS30の保存処理を行ったら、本処理を終了する。
例えば、図6に示すように、携帯電話端末1aに示す位置で被写体80の画像を撮影した場合、携帯電話端末1aの位置と、携帯電話端末1aと被写体80との距離81を検出する。その後、矢印82に示す移動で携帯電話端末1bに示す位置まで移動したら、携帯電話端末1は、その移動を検出しつつ、携帯電話端末1aで取得した画像と三次元画像を構成できる画像が撮影できる位置かを判定する。ここで、携帯電話端末1aは、地磁気センサ19で向きの変化を検出しつつ、加速度センサ18で加速度を検出することで矢印82方向の移動を検出することができる。つまり、携帯電話端末1aは、地磁気センサ19で地磁気86に対する向きの変化を検出することで、自身(筐体)の絶対座標に対する向きの変化を検出する。携帯電話端末1aは、加速度センサ18で自身(筐体)に作用する加速度と自身(筐体)の向きとを用いて計算を行うことで、自身(筐体)のX方向移動距離87とY方向移動距離88とθ方向の回転とを検出する。携帯電話端末1は、このようにして算出した自身の移動と被写体80との距離を用いることで相対的な移動と相対位置(座標情報)を算出することができる。
携帯電話端末1は、位置84にいるときに三次元画像を構成できる画像が撮影できる位置であると判定した場合、2枚目の画像を撮影し、その後、シャッタが押されたかを判定する。シャッタが押されることなく携帯電話端末1がさらに移動した場合、携帯電話端末1は、当該2枚の画像を破棄し、再度1枚目の画像を撮影する。このように、携帯電話端末1は、シャッタが押されるまで、画像の取得と破棄を繰り返すことで、シャッタが押された位置の三次元画像を取得することができる。例えば、図7に示すように、被写体の三次元画像90を取得することができる。なお、図7のタッチパネル2に表示されているバー92は、カメラ16の調整可能な撮影角度の幅を示す指標であり、目印94は、どの位置の撮影角度で撮影を行ったかを示す印である。
このように、携帯電話端末1は、加速度センサ18と地磁気センサ19とを用いて、自身(筐体12、携帯電話端末1)の移動、つまり被写体との相対位置を検出することで、1枚目の画像と2枚目の画像との相対関係を高い精度で検出することができる。これにより、より好適に被写体の三次元画像を撮影可能な位置で画像を取得することができる。また、1台の携帯電話端末1で三次元表示が可能な画像データの組み合わせを撮影することができる。
また、携帯電話端末1は、画像データ同士の座標情報(被写体と撮影位置との相対位置の情報)を併せて保存することができる。これにより、三次元表示に用いる画像間の関係が明確となり、好適に三次元画像を表示することができる。
また、上記実施形態では、シャッタが押される前に三次元画像を構成する2つの画像データを取得したがこれには限定されない。例えば、シャッタが押された位置で1枚目の画像の撮影を行い、その後、利用者に移動の指示を行い、適切な相対位置を検出した場合2枚目の画像を撮影するようにしてもよい。この場合、細かい移動方向や筐体12の向きの指示をタッチパネル2に表示させることで、自身を適切な位置に移動させることができる。また、短時間で三次元画像の撮影が可能となる。
また、上記実施形態では、2枚の画像で1つの三次元画像を表示させる場合としたが、さらに多くの枚数で1つの三次元画像を表示させるようにしてもよい。この場合、携帯電話端末1は、必要な相対位置の画像を対応する枚数分撮影することで、複数枚の画像データで構成される三次元画像を撮影することができる。
また、上記実施形態では、1つの三次元画像を撮影する場合として説明したがこれに限定されない。携帯電話端末1は、複数枚の三次元画像を表示できるように画像の撮影を行うことができる。つまり1つの被写体を異なる複数の角度から見た場合の三次元画像を表示できる画像も撮影することができる。
以下、図8を用いて説明する。ここで、図8は、携帯電話端末の撮影動作時の処理の一例を示すフロー図である。図8に示す処理手順も図5に示す処理手順と同様に、カメラプログラム9C、位置検出プログラム9D、3D画像処置プログラム9Eが提供する機能に基づいて繰り返し実行される。また、図8に示す処理のうち、図5に示す処理と同様の処理は同様のステップ番号を付す。
携帯電話端末1は、ステップS12として各センサを起動させる。具体的には、加速度センサ18と、地磁気センサ19を起動させる。携帯電話端末1は、ステップS12で各センサを起動させたら、ステップS14としてカメラ16を起動させる。
携帯電話端末1は、ステップS14でカメラ16を起動させたら、ステップS50として、撮影の開始指示を検出する。具体的には、携帯電話端末1は、利用者からの撮影指示開始指示(シャッタ)の押下等を検出する。
携帯電話端末1は、ステップS50で撮影の開始指示を検出したら、ステップS16として画像の撮影を行う。つまり、画像を取得する。携帯電話端末1は、取得した画像のデータをRAM11、記憶部9等に一時的に保存する。携帯電話端末1は、ステップS16で画像を取得したら、ステップS18として撮影位置情報、つまり相対的な位置関係(相対位置)の情報を取得する。携帯電話端末1は、最初に検出した相対位置を基準の相対位置とする。携帯電話端末1は、取得した撮影位置情報を一時的に保存する。
携帯電話端末1は、ステップS18で撮影位置情報を取得したら、ステップS20として、現在位置情報を取得する。具体的には、携帯電話端末1は、ステップS16と同様に各センサから取得した情報に基づいて、現在の相対位置の情報を取得する。
携帯電話端末1は、ステップS20で現在の位置情報を取得したら、ステップS52として画像を撮影するかを判定する。ここで、画像を撮影するかの判定の基準は、種々の設定とすることができる。例えば、既に取得した画像との組み合わせで立体視に適した位置である場合に画像の撮影を行う設定や、一定被写体とのなす角が基準の位置に対して一定角度となった場合に撮影を行う設定等とすることができる。
携帯電話端末1は、ステップS52で画像を取得する(Yes)と判定したら、ステップS16に進む。このように携帯電話端末1は、画像を撮影すると判定する毎に画像の撮影と撮影位置情報を取得する。携帯電話端末1は、ステップS52で画像を取得しない(No)、つまり画像を撮影する位置にいないと判定したら、ステップS54として、撮影完了かを判定する。ここで、撮影完了かの判定の基準も、種々の設定とすることができる。例えば、相対位置が設定した角度分移動した場合、撮影が完了したと判定する設定や、利用者が入力した終了指示を検出した場合、撮影が完了したと判定する設定等とすることができる。
携帯電話端末1は、ステップS54で撮影完了ではない(No)と判定したら、ステップS20に進み、再び現在位置情報を取得し、画像の撮影を行うかを判定する。携帯電話端末1は、ステップS54で撮影完了である(Yes)と判定したら、ステップS56として、保存処理を行う。具体的には、携帯電話端末1は、撮影した画像と位置情報を記憶部9の画像フォルダ9Gに保存する。なお、携帯電話端末1は、タッチパネル2に撮影した画像および撮影した画像を保存するかの問い合わせ画像を表示させ、利用者による保存指示を検出したら画像を保存してもよい。携帯電話端末1は、ステップS56の保存処理を行ったら、本処理を終了する。
携帯電話端末1は、このように、連続的に画像の撮影を行い、さらに画像データと撮影位置情報(相対位置)とを対応付けることで、異なる角度の複数の画像を撮影することができる。これにより、1つの被写体を異なる複数の角度から見た三次元画像を表示できる画像データを撮影することができる。またそれぞれの画像データに相対位置情報を対応付けて保存することで、それぞれの相対位置の角度において適切な画像を組み合わせて三次元画像を作成することができる。
また、連続的に画像の撮影を行うことで、被写体の全周(360度)のいずれの向きの三次元画像でも表示できる画像データの組み合わせを撮影することも可能となる。
また、上記実施形態では、静止画で画像を撮影したが、動画で画像を撮影してもよい。つまり、画像を取得した全てのコマの画像を保存してもよい。この場合は、動画で撮影した画像の各コマに対してそれぞれ相対位置情報を対応付けて記憶する。このように、取得した全コマを保存することで、より多くの組み合わせで三次元画像を表示することが可能となり、より細かい角度での三次元画像の表示が可能となる。
以下、図9から図12を用いて撮影動作の好適な一例について説明する。ここで、図9は、携帯電話端末の撮影動作を説明するための説明図である。図10は、携帯電話端末の撮影動作表示される画面の一例を示す説明図である。図11は、携帯電話端末の撮影動作を説明するための説明図である。図12は、携帯電話端末の撮影動作表示される画面の一例を示す説明図である。携帯電話端末1は、画像撮影時に被写体の位置を検出し、撮影領域を調整することが好ましい。具体的には、画像を解析して画像内における被写体の位置を特定し、被写体が撮影可能な方向にカメラの向き(撮影領域の角度)を調整することが好ましい。
例えば、図9に示すように、被写体102が携帯電話端末1の正面、つまり、被写体102が中心線101に重なる位置にいる場合、カメラ16は、撮影領域103を移動させずにそのまま画像を撮影する。図9に示す状態で画像を取得すると、携帯電話端末1のタッチパネル2には、図10に示すように、中央に被写体104が配置された画像が表示される。つまり、被写体104が中央に位置する画像が撮影することができる。なお、携帯電話端末1は、画像処理を行い被写体104の顔106の位置を抽出することで、被写体104の位置を特定することができる。また、タッチパネル2には、カメラ16の調整可能な撮影角度の幅を示す指標であるバー108と、どの位置の撮影角度で撮影を行ったかを示す印である目印110も表示される。なお、図10では、撮影領域を移動させていないため、目印110は、バー108の中央を指した状態で表示される。
次に、図11に示すように、被写体102が携帯電話端末1の正面にいない場合、つまり、被写体102が中心線101に重なる位置にいない場合、カメラ16は、被写体102の位置に併せて撮影領域103aを移動させて画像を撮影する。図11では、撮影領域を図中左側に所定角度移動させる。具体的には、撮影角度調整機構59で光学系56aと受光部58aとなる位置関係とし撮影領域103aを撮影可能な状態とする。図11に示す状態で画像を取得すると、携帯電話端末1のタッチパネル2には、図12に示すように、中央に被写体104aが配置された画像が表示される。このように、撮影角度調整機構59により各部を移動させ撮影領域103aとすることで、被写体104aが中央に位置する画像が撮影することができる。また、タッチパネル2には、カメラ16の調整可能な撮影角度の幅を示す指標であるバー108と、どの位置の撮影角度で撮影を行ったかを示す印である目印110aも表示される。図12では、撮影領域を移動させているため、目印110aは、バー108の中央よりも左側の位置に表示される。
このように、被写体の位置に応じて撮影領域を調整することで、相対位置がずれ、中心線101上に被写体がいない場合も被写体が画像の中央に配置された画像を撮影することができる。これにより、被写体が画像に含まれない状態となり、被写体の三次元画像を作成できない状態となることを抑制することができる。
また、撮影領域の調整範囲と、現状の撮影領域との関係を画面上に表示させることで、利用者に中心線と被写体とのずれを通知することができる。これにより、調整可能な範囲内に被写体を維持することができる。
なお、本実施形態では顔認識で被写体の位置を特定したがこれに限定されない。例えば、直近の画像との差分に基づいて、相対位置のずれを検出してもよい。また、ユーザが指定した位置を被写体の位置として認識し、その位置の画像の形状を特定して被写体を特定してもよい。
また、上記実施形態では、カメラ16の撮影領域を機械的に調整し、被写体が画像の中央(所定の範囲)となるように調整したがこれには限定されない。携帯電話端末1は、予め撮影領域の一部のみを画像の取得領域とし、つまり画像をトリミングして取得し、相対位置のずれに応じて画像をトリミングする位置を変化させるようにしてもよい。この方法を用いることでも、被写体を画像の所定位置に維持することができる。
また、携帯電話端末1は、主制御部10でカメラプログラム10Cの処理を実行することで、焦点距離、倍率(ズーム)露出量等の撮影条件を調整し、撮影した画像の被写体の明るさ、大きさ等を同等とすることが好ましい。これにより、三次元画像を表示させるために画像を重ねたときに違和感が生じることを抑制することができる。
また、携帯電話端末1は、GPS装置(GPS位置取得部)を搭載し、GPS(Global Positioning System)を用いて位置情報を取得し、地磁気センサで筐体の向きを取得することで、位置情報を取得してもよい。つまり、相対位置取得部として、GPS装置と地磁気センサとを組み合わせた構成を用いることもできる。この場合は、GPS装置で自身の絶対位置を検出し、地磁気センサで筐体の向きを検出することで、相対位置を検出することができる。なお筐体と被写体との距離(被写体までの距離)は、プリセットで所定値を決めておいても、現実の距離に基づいて利用者が入力してもよい。
次に、図13および図14を用いて、撮影した画像を三次元表示させる際の動作の一例について説明する。ここで、図13は、携帯電話端末の表示動作時の処理の一例を示すフロー図である。図14は、携帯電話端末の表示動作を説明するための説明図である。図13に示す処理は、携帯電話端末1により三次元画像を表示させる表示動作の一例である。図13に示す処理手順は、3D画像処置プログラム9Eが提供する機能に基づいて繰り返し実行される。
まず、携帯電話端末1は、三次元画像を表示させる指示が入力され、表示させる対象の被写体(画像フォルダ)が特定されると、ステップS70として、表示角度を決定する。つまり、表示対象の被写体の表示角度を決定する。なお、表示角度は、利用者の操作や、予め設定された条件に基づいて決定する。
携帯電話端末1は、ステップS70で表示角度を決定したら、ステップS72として、表示する画像を2枚決定する。つまり、携帯電話端末1は、決定した表示角度で画像フォルダ9Gに記憶されている座標情報(相対位置の情報)に基づいて被写体の三次元画像を表示できる画像の組み合わせを決定する。携帯電話端末1は、ステップS72で2枚の画像を決定したら、ステップS74として、決定した2枚の画像をタッチパネル2に表示させる。具体的には、2枚の画像を重ねて表示させ、被写体の三次元画像を表示させる。
携帯電話端末1は、ステップS74で三次元画像を表示させたら、ステップS76として操作があるかを判定する。携帯電話端末1は、ステップS76で操作あり(Yes)と判定したら、ステップS78として回転操作かを判定する。つまり被写体の表示角度を変更する操作であるかを判定する。
携帯電話端末1は、ステップS78で回転操作である(Yes)と判定したら、ステップS70に進む。このように、携帯電話端末1は、表示角度を変更する操作が入力されたら、その操作に基づいて再び表示角度を決定し、その角度の被写体の三次元画像を表示させる。
携帯電話端末1は、ステップS78で回転操作ではない(No)と判定したら、ステップS80として、対応した操作を行う。つまり、入力された操作に対応した処理を実行する。携帯電話端末1は、ステップS80の処理を行ったらステップS82に進む。
携帯電話端末1は、ステップS76で操作なし(No)と判定したらまたはステップS80の処理を行ったら、ステップS82として表示終了かを判定する。つまり、三次元画像の表示を終了するかを判定する。携帯電話端末1は、ステップS82で表示終了ではない(No)と判定したら、ステップS76に進み、操作が入力されたかを再び判定し、上述した処理を繰り返す。携帯電話端末1は、ステップS82で表示終了である(Yes)と判定したら、三次元画像の表示を終了し、本処理を終了する。
図14を用いて具体的な一例を説明する。携帯電話端末1は、図14に示すように、タッチパネル2に被写体を所定角度で表示させる三次元画像120を表示させている状態で、指Fで矢印121の操作を入力すると、被写体を回転させる操作が入力されたと判定する。携帯電話端末1は、指Fで入力された操作に基づいて被写体の回転量を算出し、被写体を表示させる角度を決定する。その後決定させた角度で三次元画像を表示可能な画像の組み合わせを決定し、決定した画像の組み合わせをタッチパネル2に表示させる。これにより、携帯電話端末1は、タッチパネル2に被写体を画像120から矢印124方向に所定角度回転させた状態の三次元画像122を表示することができる。
このように携帯電話端末1は、1つの被写体を異なる相対位置で撮影した複数の画像データと当該画像データの座標情報とを記憶し、決定した表示角度と画像データの座標情報とに基づいて、複数の画像データの中から2枚の画像データを決定し、その決定した2枚の画像データを重ねて表示することで、被写体が任意の角度で表示された三次元画像を表示することができる。
これにより、種々の角度の被写体の三次元画像を表示することができ、被写体の形状をより好適に把握することができる。また、実際の画像を選択するのみで、三次元画像を表示できるため、複雑な三次元の形状データ等を解析する必要がなく、簡単な制御で三次元画像を表示することができる。また、実際の撮影画像を用いることでより違和感の無い三次元画像を表示することができる。
なお、図13および図14は、1つの被写体について複数の角度で三次元画像を表示可能な画像データの組み合わせを記憶している場合の表示方法である。画像の組み合わせが1つの場合は、その画像を組み合わせてタッチパネルに表示させればよい。また、上記実施形態では、2つの画像を組み合わせて三次元画像を表示させたがこれには限定されず。3枚以上の画像を組み合わせて三次元画像を表示させてもよい。このように、3枚以上の画像を組み合わせて(重ねて)表示させることで、タッチパネル2を見る角度を変えると異なる状態で浮き出る画像を表示させることもできる。
また、表示させる画像データは自身で撮影した画像データに限定されず、1つの被写体を異なる角度で撮影した複数の画像データと当該画像データの座標情報との組み合わせを外部から取得し、取得したデータを用いて、当該被写体の三次元画像を表示させてもよい。また、本実施形態では、1つの被写体の複数の画像データを画像フォルダ9Gに記憶させたが、本発明はこれに限定されず、外部の記憶装置から通信等で画像データ及び座標データを取得しても良い。なおこの場合もRAM等に一時的に記憶しつつ処理をする。
また、上記実施形態では、既存の装置構成で実現可能であり、装置構成を簡単にできるため、カメラのオートフォーカス機能(絞りの調整機能)で算出した焦点距離を用いて筐体と被写体との距離を検出したがこれに限定されず、被写体との距離を算出する種々の機能を用いることができる。例えば、赤外線センサ、超音波センサ等、対象物との距離を算出する種々の距離検出手段を用いることができる。
また、上記の実施形態では、表示部としてタッチパネルを有する電子機器に本発明を適用する例について説明したが、本発明は、表示手段として、タッチセンサが重畳されていない単なる表示パネルを有する電子機器に適用することもできる。
また、上記実施形態では、三次元画像を撮影する機能と三次元画像を表示させる機能とを両方持つ携帯電話端末として説明したが、これには限定されない。上記実施形態の三次元画像を撮影する機能および三次元画像を表示させる機能の少なくとも一方を備える電子機器であれば、各種適用が可能である。