JP4635477B2 - 画像撮影装置、擬似３次元画像生成方法、及び、プログラム - Google Patents

Description

本発明は、擬似３次元画像を撮影する画像撮影装置、画像撮影方法及び画像撮影プログラムに関する。

近年、インターネットのホームページなどに、被写体の複数の視点からの画像データを連続的に切り替えて表示させることにより擬似３次元画像を表示する構成があった。擬似３次元画像は、閲覧者に被写体を擬似３次元的に見せることができる。

従来、擬似３次元画像は、被写体にマークした点などを用いて撮影者などの人間が被写体を撮影する複数の視点を決め、その被写体をその複数の視点からデジタルカメラにより撮影し、その撮影された画像データを連続的に切り替えて表示させていた。例えば、視点を水平方向に移動させる場合、デジタルカメラの位置を固定する台を用意し、垂直方向などにずれないように、被写体を中心としてデジタルカメラを３６０度回転して撮影していた。

また、撮影者が被写体を少数の視点からデジタルカメラにより撮影し、その画像データを補完する画像データをコンピュータにより計算し、撮影された画像データと補完された画像データとを表示させる構成もあった（例えば、特許文献１参照）。
特開２００２−９５０１１号公報

しかし、人間が複数の視点を決めることは大変面倒であるとともに、決定された視点位置に、デジタルカメラの撮影位置を合せることが困難となるおそれがあった。
また、特許文献１のように、補完する画像データを計算することは、高い演算処理能力を有する機器が要求される。例えば、演算処理能力の高いパソコンなどにより行う必要があり、比較的演算処理能力の低いデジタルカメラなどで行うことには無理があった。つまり、補完処理を無くす又は軽減するために、多くの視点から画像データを撮影することが好ましく、その撮影を容易にする要請がある。

本発明の課題は、擬似３次元画像用の画像の撮影において、被写体を撮影する複数視点の撮影位置を容易に決定することである。

上記課題を解決するために、請求項１に記載の発明は、撮像手段と、特定の被写体について擬似３次元画像を生成するための複数の視点からの輪郭データを記憶する輪郭データ記憶手段と、表示手段と、前記輪郭データ記憶手段に記憶された複数の視点からの輪郭データのうち特定の視点からの輪郭データを読み出し、前記撮像手段によって撮像されているスルー画像に重畳して前記表示手段に表示するよう制御する第１の表示制御手段と、 前記第１の表示制御手段によって前記スルー画像と輪郭データとが表示されているときに、記録指示を検出する指示検出手段と、記憶手段と、前記指示検出手段によって記録指示が検出された時の撮像画像と前記第１の表示制御手段によって表示されていた輪郭データとを関連付けて前記記憶手段に記憶するよう制御する記憶制御手段と、前記第１の表示制御手段による制御から前記記憶制御手段までの制御を繰返すことにより、前記複数の視点全てについて輪郭データと撮像画像とが対応付けられて記憶されたか否かを判断する判断手段と、この判断手段により肯定と判断されると、前記記憶制御手段による制御により記憶された撮像画像に含まれる被写体画像の擬似３次元画像を生成する生成手段とを備えることを特徴とする。

また、請求項２に記載の発明は、請求項１記載の発明において、前記複数の視点全てについて撮像された撮像画像に含まれる被写体画像について各視点の間から見た視点の被写体画像の補充画像を、前記撮像画像を用いて生成する補充画像生成手段をさらに備え、前記作成手段は、前記記憶制御手段による制御により記憶された撮像画像に含まれる被写体画像とに加え、前記補充画像生成手段によって生成された補充画像を含んだ擬似３次元画像を作成することを特徴とする。

また、請求項３に記載の発明は、請求項１または２記載の発明において、前記擬似３次元画像データのアニメーション再生を指示する再生指示手段と、この再生指示手段によってアニメーション再生が指示されると、前記生成手段によって生成された擬似３次元画像を前記表示手段にアニメーション再生するよう制御する第２の表示制御手段とをさらに備えることを特徴とする。

また、請求項４に記載の発明は、請求項３記載の発明において、前記アニメーション再生とは前記擬似３次元画像を回転させるように再生するものであり、回転方向を指示する回転方向指示手段をさらに備え、前記第２の表示制御手段は、前記擬似３次元画像を、前記回転方向指示手段によって指示された回転方向でアニメーション再生するよう制御することを特徴とする。

また、請求項５に記載の発明は、請求項４記載の発明において、前記第２の表示制御手段は、更に前記擬似３次元画像が回転表示可能な方向を前記表示手段に表示するように制御することを特徴とする。

また、請求項６に記載の発明は、請求項４または５記載の発明において、前記第２の表示制御手段は、更に現在前記回転方向指示手段によって指示されている回転方向を前記表示部に表示するように制御することを特徴とする。

また、請求項７に記載の発明は、予め複数の視点からの輪郭データが記憶された輪郭データ記憶部から特定の視点からの輪郭データを読み出し、撮像されているスルー画像に重畳して表示部に表示するよう制御する表示制御ステップと、前記表示制御ステップにて前記スルー画像と輪郭データとが表示されているときに、記録指示を検出する指示検出ステップと、前記指示検出ステップにて記録指示が検出された時の撮像画像と前記表示制御ステップにて表示されていた輪郭データとを関連付けて記憶部に記憶するよう制御する記憶制御ステップと、前記表示制御ステップでの制御から前記記憶制御ステップでの制御までを繰返すことにより、前記複数の視点全てについて輪郭データと撮像画像とが対応付けられて記憶されたか否かを判断する判断ステップと、この判断ステップにて肯定と判断されると、前記記憶制御ステップでの制御により記憶された撮像画像に含まれる被写体画像の擬似３次元画像を生成する生成ステップとを含むことを特徴とする。

また、請求項８に記載の発明は、表示部と、予め複数の視点からの輪郭データが記憶された輪郭データ記憶部とを備えたコンピュータを、前記輪郭データ記憶部から特定の視点からの輪郭データを読み出し、撮像されているスルー画像に重畳して前記表示部に表示するよう制御する表示制御手段、前記表示制御手段によって前記スルー画像と輪郭データとが表示されているときに、記録指示を検出する指示検出手段、前記指示検出手段によって記録指示が検出された時の撮像画像と前記表示制御手段によって表示されていた輪郭データとを関連付けて記憶部に記憶するよう制御する記憶制御手段、前記表示制御手段による制御から前記記憶制御手段による制御まで繰返すことにより、前記複数の視点全てについて輪郭データと撮像画像とが対応付けられて記憶されたか否かを判断する判断手段、この判断手段によって肯定と判断されると、前記記憶制御手段による制御により記憶された撮像画像に含まれる被写体画像の擬似３次元画像を生成する生成手段として機能させることを特徴とする。

本発明によれば、擬似３次元画像用の特定の被写体の各視点の輪郭データのうち特定の輪郭データをスルー画像とともに重畳して表示させるので、撮影者は、表示画面内の被写体画像の視点位置を輪郭データの視点の位置に容易に合わせることができ、擬似３次元画像の複数視点の画像を撮影することができる。

以下、添付図面を参照して本発明に係る実施の形態を説明する。

本実施の形態は、擬似３次元画像の複数視点からの被写体位置を撮影者である操作者に教示する複数のフレームを用いて、操作者に被写体を撮影させ、その撮影された複数の画像データにより擬似３次元画像を作成する構成である。
先ず、図１及び図２を参照して、本実施の形態の装置構成を説明する。図１は、本実施の形態のデジタルカメラ１の外観を示す斜視図であり、（ａ）が主に前面の構成を示す斜視図であり、（ｂ）が主に背面の構成を示す斜視図であり、（ｃ）が主に底面の構成を示す斜視図である。図２は、デジタルカメラ１の内部構成を示すブロック図である。

図１（ａ）に示すように、デジタルカメラ１は、略矩形の薄板状ボディの前面に、撮影レンズ１９１と、セルフタイマランプ２と、光学ファインダ窓３と、ストロボ発光部４とが配設され、上面には電源キー１２１とシャッタキー１２２とが配設される。

撮影レンズ１９１は、薄型のボディに搭載するために例えば単焦点レンズで且つ固定焦点であるものとし、ズーム動作や合焦動作は行なわないものとするが、これに限るものではなく、ズーム動作や合焦動作を行う構成でもよい。
電源キー１２１は、操作者が１回押圧操作する毎に電源をオン／オフするキーである。シャッタキー１２２は、撮影モード時にレリーズを指示する一方で、メニュー選択などでは設定／実行を指示するキーとしても機能するものとする。

また、図１（ｂ）に示すように、デジタルカメラ１の背面には、モードスイッチ（ＳＷ）１２３と、メニューキー１２４と、十字キー１２５と、光学ファインダ窓３に対応する光学ファインダ５と、ストロボチャージランプ６と、表示部１４とが配設される。

モードスイッチ１２３は、例えばスライドスイッチにより構成され、撮影モード「Ｒ」と再生モード「Ｐ」とを切換える。
メニューキー１２４は、各種メニュー選択時に操作する。
表示部１４は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてモニタ表示を行なう一方で、再生モード時には選択した画像を再生表示する。また、表示部１４は、入力ペン１２６によるタッチ入力により各種入力を行うタッチパネルとしての機能も設けられる。

さらに、図１（ｃ）に示すように、このボディ下面には蓋付きのメモリカードスロット１２７が設けられ、このデジタルカメラ１の記録媒体であるメモリカードが着脱自在に装着されるものとする。また、外部機器と通信するためのケーブルを接続するための通信用コネクタ１２８も設けられる。

次に、図２を参照して、デジタルカメラ１の内部構成を説明する。デジタルカメラ１は、各部を中央制御するＣＰＵ（Central Processing Unit）１１と、操作者からの入力を受付ける操作部１２と、情報を一時的に記憶するＲＡＭ（Random Access Memory）１３と、情報を表示する表示部１４と、情報が記憶されたＲＯＭ（Read Only Memory）１５と、情報を読み書き可能に記憶する不揮発性のFlash ROM（Flash Read Only Memory）１６と、着脱可能な記録媒体に情報を記録する外部記憶部１７と、外部機器との通信を制御する通信部１８と、画像を撮影して画像データを出力する撮像部１９とを備えて構成され、各部はバス２０により接続されている。

ＣＰＵ１１は、ＲＯＭ１５に記憶されている各種プログラムの中から指定されたプログラムを必要に応じてＲＡＭ１３のワークエリアに展開するなどし、ＲＡＭ１３上のプログラムを読み込んで実行することにより各種制御を実行する。

操作部１２は、電源キー１２１、シャッタキー１２２、モードＳＷ１２３、メニューキー１２４、十字キー１２５などの各種キーを備えて、さらに表示部１４と一体となったタッチパネル部を備える。そして、これらのキーなどが入力された場合には、その入力信号をＣＰＵ１１へ出力する。タッチパネルの入力には、入力ペン１２６などが用いられる。

表示部１４は、液晶表示するＬＣＤ（Liquid Crystal Display）と、その表示制御部などで構成され、ＣＰＵ１１からの表示信号に従って、画面表示を行う。また、ＬＣＤに限るものではなく、ＥＬディスプレイ（ElectroLuminescent Display）などの他の表示方式としてもよい。また、表示部１４は、撮影モード時に電子ファインダとして機能し、撮像部１９により撮像されて出力された画像データがビデオ信号に変換されて表示される。

ＲＡＭ１３は、プログラムを展開するためのプログラムエリア、操作部１２から入力されるデータやＣＰＵ１１による各種処理結果などを保存するためのデータエリアなどが形成される。ＲＯＭ１５には、各種システムプログラム及びアプリケーションプログラム並びに各種データが記憶され、例えば、後述するフレーム撮影プログラムなどが記憶される。Flash ROM１６には、読み書きが要求される各種データが読み書き可能に記憶され、例えば、後述するフレームデータなどが記憶される。

外部記憶部１７は、メモリカードスロット１２７への着脱及びデータ読み書きが可能な記録媒体としての半導体メモリなどのメモリカードに、各種データを記録／読み出しする。通信部１８は、赤外線通信、コネクタ通信及び無線ＬＡＮ通信方式などにより、画像データなどのデータを外部機器と送受信し、本実施の形態では通信用コネクタ１２８を有する。

撮像部１９は、撮影レンズ１９１などの光学系と、ＣＣＤ（Charge Coupled Device）などの撮像素子と、撮像素子から出力された画像を画像処理する画像処理部とを備える。撮影レンズ１９１などの光学系を介して入射された被写体の像の光束が撮像素子に入射され、その撮像素子から画像データの電気信号として出力され、その電気信号が画像処理部によりデジタル化処理、画素補完処理、γ補正処理などを含む画像処理が施されて、デジタルの画像データとして出力される。

また、ＪＰＥＧ（Joint Photographic Expert Group）方式などの圧縮方式で画像データを圧縮及び解凍する圧縮処理部が、専用ＬＳＩなどの形で別に設けられていてもよい。

なお、これらの構成はデジタルカメラにおける代表的な構成例を示したに過ぎず、他の構成を有するものであってもよいことはいうまでもない。例えば、デジタルカメラとしては薄型でなくてもよい。
また、画像撮影装置としては、デジタルカメラに限るものではなく、画像撮影機能を有する携帯電話、ＰＨＳ（Personal Handyphone System）、ＰＤＡ（Personal Digital Assistants）などでもよい。

ここで、デジタルカメラ１における撮影動作を簡単に説明する。先ず、デジタルカメラ１には、被写体を撮影する撮影モードと、撮影された画像データを再生する再生モードとが用意され、モードＳＷ１２３により切り替えられる。撮影モードが選択されている場合、表示部１４には、通常、撮影レンズ１９１に入射されているスルー画像が随時表示され、また実際に撮影動作が行われた場合には、直前に撮影された画像が表示される。また、再生モードが選択されている場合には、すでに撮影されてFlash ROM１６や外部記憶部１７に記憶されている画像などが再生表示される。

操作者は、表示部１４を見て、その表示部１４の画面に基づいてデジタルカメラ１を動かして視点などを調整する。そして、撮影したい画像が表示されたタイミングで、シャッタキー１２２が操作者により押下される。そして、撮像部１９により撮影された画像データが出力され、ＲＡＭ１３に記憶される。また、その画像データを保存する場合に、その画像データがFlash ROM１６に記憶され、又は外部記憶部１７に記憶される。

次に、図３〜図６を参照して、デジタルカメラ１を用いた画像撮影方法を説明する。図３は、フレーム撮影処理を示すフローチャートである。図４は、フレーム撮影処理の撮影実行モードにおける処理例を示す図である。図５は、被写体のフレームへの位置合せ例を示す図である。図６は、フレーム撮影処理の修正モードにおける処理例を示す図である。

前述したように、デジタルカメラ１には、撮影モードと再生モードとが存在する。そして、撮影モードには、通常の撮影の撮影モードと、本実施の形態の特徴を示すフレーム撮影モードとが含まれる。以下、フレーム撮影モード選択時にデジタルカメラ１において実行されるフレーム撮影処理を説明する。

デジタルカメラ１において、擬似３次元画像の撮影のためのフレーム撮影処理が実行される。ここでは、被写体が自動車であり、視点が被写体を中心として３６０度回転した場合の８方向であるものとして説明する。この８方向の視点から撮影された画像を順に切り替えて表示部１４に表示させることにより、擬似３次元のアニメーションとして被写体を表示させることができる。しかし、被写体の種類や、視点の数及び向きは、この例に限るものではない。例えば、被写体を人物の頭部などの他のものとする構成でもよく、視点を垂直方向のみ、又は水平及び垂直方向などに移動させる構成でもよい。これらの画像の保存ファイル形式や画像の再生方法については、後ほど詳述する。

また、予め、Flash ROM１６に、被写体の種類ごとに、複数のフレームデータからなるフレーム群データが記憶されているものとする。その記憶されるフレーム群データは、デジタルカメラ１において修正又は新規作成されたデータであったり、外部機器や通信ネットワーク上のフレームデータ提供サーバなどから通信部１８を介して取得されたデータなどである。

ＣＰＵ１１は、擬似３次元画像の撮影のためのフレーム撮影処理の実行指示が操作部１２の十字キー１２５及びメニューキー１２４を介して入力されたことなどをトリガとして、ＲＯＭ１５に格納されたフレーム撮影プログラムを読み出してＲＡＭ１３に格納し、そのフレーム撮影プログラムとＣＰＵ１１との協働によりフレーム撮影処理が実行される。フレーム撮影処理において、特に言及しない場合、処理の主体はＣＰＵ１１であるとする。

図３に示すように、先ず、操作部１２を介して、操作者から入力されるモードの種類が受付けられる（ステップＳ１）。モードは、フレームを用いて撮影実行する撮影実行モードと、既存のフレームデータを修正する修正モードと、フレームデータを新規作成する新規作成モードとである。そして、ステップＳ１において入力されたモードの種類が判別される（ステップＳ２）。

入力されたモードが撮影実行モードである場合（ステップＳ２；撮影実行モード）、操作部１２を介して、操作者から選択入力される、撮影に用いるフレームの種類が受付けられる（ステップＳ３）。フレームの種類とは、種々の被写体に応じてあらかじめフレーム群データに記憶されているフレームの組であって、ある被写体の擬似３次元画像を得るために、操作者がその被写体を撮影しなければならない所定のアングルからのその被写体の輪郭を表わすデータをいう。そして、このフレームの種類を選択するとは、すなわち、あらかじめフレーム群データに記憶されているフレームの種類（フレームの組）のうち、操作者が撮影を行う被写体に合ったタイプのフレームの種類（フレームの組）を選択することをいう。例えば、被写体がＲＶ型の自動車である場合、ＲＶ型の自動車用のフレームが選択入力される。また、被写体の種類を選択すると、その被写体の種類に合わせて、自動的にフレームの種類が選択される構成としてもよい。さらに、被写体の種類とフレームの種類とが１対１の関係になっていない構成としてもよい。例えば、被写体の種類１つにつき複数のタイプのフレームの種類が対応していて、操作者がそれらのいずれかを選べるような構成でもよい。

そして、ステップＳ３において選択されたフレームの種類における、最初又は次のフレームデータがFlash ROM１６に記憶されたフレーム群データから読み出される（ステップＳ４）。最初にステップＳ４を通る場合には、最初のフレームデータが読み出され、その後ステップＳ６で各フレームについての撮影が行われて、ステップＳ４からＳ７のループが繰り返されることによって、所定の順で、次に撮影を行なうべきフレームデータが読み出される。そして、フレームデータが読み出されると、表示部１４には、撮像部１９から現に取り込まれているスルー画像データがリアルタイムに表示されて電子ファインダとして機能すると共に、前記ステップＳ４において読み出されたフレームデータが、このスルー画像に重畳するように表示され、操作者がスルー画像をフレームに合わせこむことができるような表示がなされる（ステップＳ５）。

操作者は、表示部１４の画像を見て、フレームデータと被写体とが同位置になるようにデジタルカメラ１を動かす。フレームデータと被写体が同位置になれば、擬似３次元画像作成のためにデジタルカメラ１が適切な視点に移動されたということである。

そして、フレームデータと被写体が概ね同位置になる視点で、操作部１２のシャッタキー１２２の押下入力に応じて、撮像部１９により被写体が撮影されてその画像データがＲＡＭ１３を介してFlash ROM１６に記憶される（ステップＳ６）。そして、ステップＳ３において選択されたフレームの種類に対応し、かつステップＳ４において読み出されたフレームデータが、そのフレーム種類のフレーム群データの最後のデータであるか否かが判別される（ステップＳ７）。

フレームデータが最後のデータでない場合（ステップＳ７；ＮＯ）、ステップＳ４に移行される。フレームデータが最後のデータである場合（ステップＳ７；ＹＥＳ）、ステップＳ３で選択されたフレームの種類のフレームを用いて撮影された一連の画像データが擬似３次元画像の各コマに対応付けられて擬似３次元画像が作成され、その擬似３次元画像のデータがFlash ROM１６又は外部記憶部１７に記憶され（ステップＳ８）、フレーム撮影処理が終了される。なお、撮影された画像データから擬似３次元画像を作成して保存する処理については、後述する。

また、入力されたモードが修正モードである場合（ステップＳ２；修正モード）、操作部１２を介して、操作者から選択入力される、修正対象のフレームの種類が受付けられる（ステップＳ９）。そして、ステップＳ９において選択されたフレームの種類の最初の又は次のフレームデータがFlash ROM１６に記憶されたフレーム群データから読み出される（ステップＳ１０）。最初にステップＳ１０を通る場合には、最初のフレームデータが読み出され、その後所定の順で、次に撮影を行なうべきフレームデータが読み出される。そして、フレームデータが読み出されると、表示部１４には、撮像部１９から現に取り込まれているスルー画像データがリアルタイムに表示されて電子ファインダとして機能すると共に、前記ステップＳ４において読み出されたフレームデータとともに表示部１４に表示される（ステップＳ１１）。

操作者は、表示部１４の画像を見て、フレームデータと被写体とが同位置になるようにデジタルカメラ１を動かすなどして修正入力を行いやすい視点位置に合せ、さらに表示中のフレームデータを操作部１２の入力ペン１２６などを用いて修正入力する。

そして、操作部１２を介して入力される修正入力情報に基づいて、表示部１４に表示されるフレームが修正される（ステップＳ１２）。そして、ステップＳ９において選択されたフレームの種類に対応し、かつステップＳ１２において修正されたフレームデータが、そのフレーム種類のフレーム群データの最後のデータであるか否かが判別される（ステップＳ１３）。

フレームデータが最後のデータでない場合（ステップＳ１３；ＮＯ）、ステップＳ１０に移行される。フレームデータが最後のデータである場合（ステップＳ１３；ＹＥＳ）、ステップＳ９において選択されたフレームの種類の修正された一連のフレームデータがフレーム群データの各コマに対応付けられて、修正後のフレーム群データとしてFlash ROM１６に記憶され（ステップＳ１４）、フレーム修正モードの処理が終了される。これにより操作者は引き続きこの修正されたフレームを用いて撮影実行モードで実際の撮影を行うことができるようになる。この場合、具体的には、操作者は再度操作部１２から撮影実行モードを指定し、ステップＳ３のフレーム種類選択入力処理において、上記ステップＳ１４で記憶された、修正済みのフレームを選択することによって、この修正済みのフレームを用いた撮影を行うことができる。

また、入力されたモードが新規作成モードである場合（ステップＳ２；新規作成モード）、操作部１２を介して、操作者から入力される、新規作成するフレームの種類が受付けられる（ステップＳ１５）。そして、撮像部１９により撮像された電子ファインダとしての被写体の画像が表示部１４に表示される（ステップＳ１６）。

そして、操作部１２のシャッタキー１２２を介して被写体の画像データが撮影される（ステップＳ１７）。そして、ステップＳ１５において選択されたフレームの種類に対応する撮影枚数の画像データの撮影が終了されたか否かが判別される（ステップＳ１８）。撮影が終了されていない場合（ステップＳ１８；ＮＯ）、ステップＳ１６に移行される。ステップＳ１６〜Ｓ１８は、擬似３次元画像における表示順に対応して、各視点順に撮影される。

撮影が終了された場合（ステップＳ１８；ＹＥＳ）、ステップＳ１７において撮影された画像データが順に表示部１４に表示され、操作部１２を介して被写体のフレームが順に複数入力される（ステップＳ１９）。操作者は、表示部１４の画像を見て、操作部１２の入力ペン１２６を用いて被写体をなぞることにより、新規なフレームデータを入力する。

そして、ステップＳ１９において入力された複数の新規のフレームデータが、一まとめにされ、新規のフレーム群データとしてFlash ROM１６に記憶され（ステップＳ２０）、フレーム新規作成モードの処理が終了される。これにより操作者は引き続きこの新規作成されたフレームを用いて撮影実行モードで実際の撮影を行うことができるようになる。この場合、具体的には、操作者は再度操作部１２から撮影実行モードを指定し、ステップＳ３のフレーム種類選択入力処理において、上記ステップＳ１４で記憶された、新規作成フレームを選択することによって、この新規作成されたフレームを用いた撮影を行うことができる。

また、前述したモードスイッチ１２３によって再生モードが選択されている場合には、上述したフレーム撮影処理において作成及び記憶された擬似３次元画像のデータを読み出して表示部１４に表示・再生する『擬似３次元再生モード』の処理を行わせることが可能である。この擬似３次元再生モードについては後ほど詳しく説明する。

次に、図４を参照して、フレーム撮影処理の撮影実行モードにおける具体的な処理例を説明する。ここでは、操作者の愛車の擬似三次元画像を作成する場合を説明する。その愛車は、２ドアクーペタイプとし、被写体を３６０度水平に８方向から撮影するためのフレーム群データＦ１〜Ｆ６がFlash ROM１６に予め記憶されているものとする。

先ず、図４の（１）において、フレーム撮影処理のステップＳ３に対応して、操作者が複数ある車種の中から、２ドアクーペタイプを操作部１２を介して選択入力する。２ドアクーペタイプの選択により、（２）において、フレーム群データＦ１〜Ｆ６から２ドアクーペタイプの車のフレーム群データＦ３が選択されて、Flash ROM１６から読み出される。

そして、（３）において、ステップＳ３〜７に対応して、操作者により、表示部１４に表示された視点１方向のフレームに被写体の愛車を同位置にされ、そのフレームの視点からの愛車が操作部１２のシャッタキー１２２押下により撮影され、この過程が８方向について繰り返される。具体的には、図５に示すように、例えば、フレームデータＦ３７内に愛車Ｐ０を入れるように位置合せして撮影される。このようにして、フレーム群データＦ３のフレームデータＦ３１〜Ｆ３８を順次用いて、８方向の視点からの８枚の愛車の画像データＰ３１〜Ｐ３８が順に撮影される。

そして、（４）において、ステップＳ８に対応して、撮影済みの８枚の愛車の画像データＰ３１〜Ｐ３８に基づいて擬似３次元画像が作成され、その擬似３次元画像のデータがFlash ROM１６に記憶される。

次に、図６を参照して、フレーム撮影処理の修正モードにおける具体的な処理例を説明する。ここでは、図４において説明した２ドアクーペタイプの既存のフレーム群データＦ３と形状が異なる愛車を操作者が所有している場合を例にとって説明する。具体的には、図６の（５）に示すように、愛車の取り付けパーツ部分Ａ，Ｂが既存のフレーム群データＦ３３と異なっており、操作者が、既存のフレーム群データＦ３を愛車の形状に対応するように修正する場合を説明する。図４で説明した２ドアクーペタイプのフレーム群データＦ３がFlash ROM１６に予め記憶されているものとする。

先ず、図４の（１）と同様にして、フレーム撮影処理のステップＳ９に対応して、操作者により２ドアクーペタイプが操作部１２を介して選択入力される。２ドアクーペタイプの選択により、（２）において、２ドアクーペタイプの車のフレームデータＦ３が選択されて、Flash ROM１６から読み出される。

そして、（５）に示すように愛車のパーツ部分Ａ，Ｂの部分を修正するに当たり、（６）において、ステップＳ１０に対応して、１方向のフレームデータが読み出される。ここでは、一例として（６）のフレームデータＦ３３を修正する場合を示す。（７）において、ステップＳ１１，１２に対応して、操作者により、表示部１４に表示されたフレームデータＦ３３に被写体の愛車を重ねるようにして、そのフレームデータＦ３３と愛車画像との異なるパーツ部分Ａ，Ｂが操作部１２の入力ペン１２６により書き足されて、フレームデータＦ３３ａに修正される。

また、（７）においてフレームデータＦ３３が修正された場合、そのフレームデータＦ３３ａと左右対称なフレームデータＦ３５は自動的に左右反転され、（８）に示すように、フレームデータＦ３５ａに修正される構成でもよい。このようにして、（９）に示すように、ステップＳ１０〜Ｓ１３が繰り返し実行されて、８方向の視点からの８枚の愛車のフレームデータが修正される。

そして、ステップＳ１４に対応して、修正済みの８つのフレームデータＦ３１ａ〜Ｆ３８ａがFlash ROM１６に記憶される。その修正済みのフレームデータＦ３１ａ〜Ｆ３８ａを用いた撮影は、図４の（１）〜（４）と同様にして行われる。

次に、図３のフローチャート中、撮影実行モードの処理でのステップＳ８、および、図４の（４）と図６の（４）でそれぞれ示されている、擬似３次元画像作成処理および記憶処理について説明する。図７は、撮影実行モードの処理中の擬似３次元画像作成処理および記憶処理を示すフローチャートである。

本図において、まず、ステップＳ１０１で、擬似３次元画像として記憶する画像ファイルに必要な画像枚数が決定される。この枚数は、例えば、所定の枚数があらかじめ定められていて、メモリ中から読み出してくることによって決定することができる。あるいはまた、再生時のフレームレートと映像の再生時間などから決定しても良い。例えば、１秒に３０コマの画像が必要となるような動画フォーマットで記録する場合、車全体を２秒で一回転させる動画を作成する場合は６０コマの画像が必要となることが判るし、１秒に４コマといった粗いフレームレートを用いて車全体を４秒で１周させるような動画を作る場合は１６コマの画像があれば良いことがわかる。

そして次に、ステップＳ１０２で、ステップＳ１０１で決定された画像の数（コマ数）と、フレームを用いた撮影で得られた画像の数（図３のステップＳ４からステップＳ７をループして得られた画像の数）とを比較する。そして、ステップＳ１０１で求められた、必要な画像の数に対して画像が不足しているか否かが判断される。

画像が足りていた場合（ステップＳ１０２：ＮＯ）は、特にこれ以上画像を増やす必要がないので、直ちにステップＳ１０４へ処理を進める。一方、画像数が不足していた場合（ステップＳ１０２：ＹＥＳ）は、ステップＳ１０３で、不足している画像を演算により求めて、撮影データに追加するようにする。

具体的には、例えば、図４の（３）のＰ３２とＰ３３のように、隣り合ったフレームによって撮影された２つの画像を用いて、その間の角度の画像を求める。この場合、Ｐ３２とＰ３３のそれぞれのフレームに、あらかじめ対応する点の位置が複数記憶されていて、この情報から、当該フレームを用いて撮影した画像同士の対応する画素が決定されて、これに基づいて補間処理を行って、Ｐ３２とＰ３３の間のフレームの画像を求めるやり方が可能である。

また、上述のステップＳ１０１からステップＳ１０３までの処理については、ある選択されたフレームセットに対して、予めどのような補間を行うかが定められているような構成としてもよい。すなわち、２ドアクーペタイプのフレームを選択した場合、これに対して用いるフレームセットは、例えばＦ３１〜Ｆ３８のように定まるから、Ｆ３１とＦ３２との間の角度の画像について、各画素ごとに、Ｆ３１の画素とＦ３２の画素を用いた画像合成の式が定められていて、Ｐ３１〜Ｐ３８の撮影が終了すると、この合成の式に基づいて必要な画像を順次得るような構成にしておくことも可能である。

このようにして、必要な数の画像が得られたら、ステップＳ１０４で所定のフォーマットに加工して、Flash ROM１６あるいは内部ＲＡＭ１３、外部記憶部１７などの記憶部に、必要に応じて記憶される。

図８に上記「所定のフォーマット」の例として、現在公知になっている種々の動画ファイルフォーマットを示した。本図に示したように、ウィンドウズ（登録商標）などのパソコン上で再生することのできる動画フォーマットは多数知られており、これらのフォーマットにして保存することで、デジタルカメラ１のみでなく、コンピュータの記憶部にファイルをコピーして、コンピュータ上で再生させられるようにすることも可能である。

そして、さらにステップＳ１０５で、ＣＰＵ１１は必要に応じて付加情報を記憶させる。付加情報としては、例えば、各種動画フォーマットのヘッダ情報などが考えられる。また、例えば、動画ファイルの各コマ画像が、撮影によって得られた画像なのか、ステップＳ１０３での演算処理によって得られた画像なのかを識別することのできる情報を、動画ファイルに付加して、若しくは動画ファイルとは別のファイルに記憶させておくこととしてもよい。また、各コマ画像が、どのフレームを用いて撮影した画像なのかを識別できる情報を付加情報として記憶させておくこととしても良い。

以上の説明では、作成された所定のフォーマットの動画ファイルをFlash ROM１６等のカメラ内部の記憶部に記憶させることとしているが、これに限らず、例えば、通信用コネクタ１２８を介して接続された外部機器や、通信用コネクタ１２８を介して接続されたネットワークを経由した先に存在する、ネットワークコンピュータ、モバイル端末、無線通信用機器、ネットワークサーバなどの種々の機器に、作成された動画ファイルを送信するようにしてもよい。

また、本図７に示した擬似３次元画像作成・記憶処理を、上記で説明したようにデジタルカメラ１で行う構成とせず、通信用コネクタ１２８を介して接続された外部機器や、通信用コネクタ１２８を介して接続されたネットワークを経由した先に存在する、ネットワークコンピュータ、モバイル端末などの機器で行うようにしてもよい。

次に、このようにして生成された擬似３次元画像の再生方法について説明する。図９は擬似３次元画像の再生方法の一例を示す図である。

例えば、デジタルカメラ１のモードスイッチ１２３を、再生モード「Ｐ」側に切り換える操作がされると、デジタルカメラ１の表示部１４に、図９の（１）に示すようなサムネイル一覧画面が表示される。

このサムネイル一覧画面は、現在デジタルカメラ１に記憶されていて再生可能な画像が、縮小サイズで一覧形式にされて表示されるものである。すなわち、各サムネイル画像２０１ａ、２０１ｂ、２０１ｃ・・・は、それぞれ、デジタルカメラ１に記憶されている画像を縮小したサムネイル画像であり、これらのいずれかを選択すると、図９の（２）に示すように、フルサイズの画像が表示されるようになっている。

ここで、デジタルカメラ１に記憶されている画像のうち、擬似３次元画像として記憶されているものには、擬似３次元画像であることを示すアイコン２０２ａ、２０２ｂ、２０２ｃ・・・が付されて表示される。

そして、ユーザは、例えば十字キー１２５や入力ペン１２６などを用いて、これらのサムネイル画像のうち、再生表示を希望する画像を選択する。

ユーザが、サムネイル画像２０１ｃのように、擬似３次元画像として記憶されていることがアイコン２０２ａによって示されているサムネイル画像を選択すると、図９の（２）のように、擬似３次元画像が再生される。ここでは、表示部１４に画像を全画面表示する方法を例示してある。擬似３次元画像は、上述のように、すでに撮影し記憶された、愛車の各方向からの画像を順番に並べた動画ファイルになっているので、この動画ファイルを図９の（２）のように表示部１４に全画面で表示することによって、愛車が、立体的に回転しているような映像を再生することが可能である。具体的には、図９の（２）の表示例２０３ａ、２０３ｂ、２０３ｃのように、愛車を各方向から撮影した画像が順に表示されるような動画が表示される。

また、図１０のような擬似３次元画像の再生を行うようにしても良い。本図１０の例は、ユーザが十字キー１２５などによって、回転させる方向や回転量を指示できるようにした例である。

図９の（１）で、ユーザがある擬似３次元画像のサムネイル画像を選択して、その擬似３次元画像の再生を指示すると、まず、デジタルカメラ１の表示部１４に、愛車の撮影画像のうち、ある方向からの撮影画像が表示される。このときの様子が、図１０の表示例２１０ａに示してある。

ここで、本図１０に係る表示方法では、矢印アイコン２１１ａ、２１２ａ、２１３ａ、２１４ａが表示され、この画像が、ユーザによって回転可能であることが示される。

ここで、ユーザが例えば十字キー１２５の右方向矢印を押下すると（２１１ａ）、自車画像が少し反時計回りに回転して表示例２１０ｂのように表示される。そして、さらに十字キー１２５を押しつづけていると、愛車がさらに半時計回りに回転していくように画像が表示され、ユーザが十字キー１２５の押下をやめてはじめて、回転の表示が停止し、そのときの表示画像で止まる。

この、愛車が回転しているように表示させるためには、十字キー１２５が押されている間、現在表示している擬似３次元画像の動画を表示しつづけるようにすればよい。また、その際のフレームレートは、通常のフレームレートで表示しても良いし、人間の操作による表示を行う観点から、フレームレートを変化させて表示するようにしても良い。

さらに、このように画像を回転させている間、ユーザが操作しているキーについて、例えば矢印アイコン２１１ｂのように強調表示するなどしてもよい。このようにすることで、ユーザは、現在自分が何のキーを操作しているか、また、自分の思っているのと違うキーを操作してしまっているようなことがないか、などを画面を見ながらチェックすることができる。

同様に、表示例２１０ｂの状態で、ユーザが十字キー１２５の左方向矢印を押下すると（２１２ｂ）、擬似３次元画像表示が、時計回りに少しだけ回転して、表示例２１０ａのように表示される。また、同様に、表示例２１０ａの状態でユーザが十字キー１２５の左方向矢印を押下すると（２１２ａ）、擬似３次元画像表示が、反時計回りに少しだけ回転して、表示例２１０ｃのように表示され、また、表示例２１０ｃの状態で、ユーザが十字キー１２５の右方向矢印を押下すると（２１１ｃ）、擬似３次元画像表示が、時計回りに少しだけ回転して、表示例２１０ａのように表示される。

このように擬似３次元画像をユーザのキー操作に応じて回転させるように表示することで、ユーザの好みの再生を簡単に実現することができる。

また、その他の再生方法として、デジタルカメラ１とは別の表示手段を用いることも可能である。将来的に例えば、中央の表示部を囲むように周囲の数方向（例えば８方向）に映写機を備え付けたような、立体表示装置を用いて、本発明の擬似３次元画像を表示させることも可能である。この場合、例えば、８方向の映写機から、図４の（３）のＰ３１、Ｐ３２、・・・、Ｐ３８の各方向からの撮影画像を映写することで、中心に愛車を立体的に浮き上がらせて表示させたり、これらの映写機で表示する画像を、各映写機の表示画像をずらしたままで、Ｐ３１＝＞Ｐ３２＝＞Ｐ３３＝＞・・・＝＞Ｐ３８と、順次切り換えて映写していくことで、あたかも中心部で愛車が回転しているように表示させるようなことも可能である。また、本発明の擬似３次元画像を、ヘッドマウント型のディスプレイに表示させて、３次元的な愛車の画像をユーザが見られるようにすることとしても良い。

なお、この矢印アイコン２１１ａ、２１２ａ、２１３ａ、２１４ａの形状は、矢印などのように、方向性のあるものに限られず、単に、当該画像が擬似３次元画像であって、ユーザが回転させられるものであることを示すアイコンであってもよい。

また、この矢印アイコン２１１ａ、２１２ａ、２１３ａ、２１４ａのうち、操作可能なもの、すなわち、矢印方向に回転させるための画像が存在しているもののみをハイライト表示するなどすることとして、ユーザにどの方向の回転が可能であるかわかりやすく表示するようにしてもよい。

また、上記実施形態では、十字キー１２５をユーザが操作することによって画像が回転することとしたが、その他にも、タッチパネル画面上の矢印アイコン部分を直接タッチすることによって操作するようにしてもよい。

以上、本実施の形態によれば、フレーム撮影処理の撮影実行モードにおいて、擬似３次元画像を得るために必要な、擬似３次元画像の各視点の被写体位置を示すフレームデータを、撮像部１９から現に取り込まれているスルー画像データとともにこれに重畳するように表示部１４に表示させるので、操作者は、表示部画面内の被写体位置をフレーム位置に容易に合わせることができ、擬似３次元画像の複数視点の画像データを撮影することができ、擬似３次元画像を簡単に撮影することができるようになる。

また、フレーム撮影処理の修正モードにおいて、擬似３次元画像の各視点の被写体位置を示すフレームデータを、撮像部１９から現に取り込まれているスルー画像データとともに表示部１４に表示させるので、操作者は、表示部１４画面内の被写体と修正前のフレームデータとに基づいて、フレーム群データの複数視点のフレームデータを容易に修正入力して記憶させることができる。

また、フレーム撮影処理の新規作成モードにおいて、撮影された被写体の画像データを表示部１４に表示させるので、操作者は、表示部１４画面内の被写体に基づいて、新規フレームデータを容易に新規作成入力し、フレーム群データの複数視点の新規フレームデータを作成及び記憶することができる。

なお、上記実施の形態で説明した詳細な部分は上記内容に限定されるものではなく、適宜変更可能である。

例えば、本実施の形態において説明した方法以外の補完処理を行う構成としてもよい。例えば、撮影された画像のうち隣接するものの間で、被写体上に複数の共通点をマークし、撮影された複数の画像データ同士の前記共通点の位置関係に基づいて補完するような手法がすでに周知であり、このような構成を用いることとしてもよい。また、画像認識や輪郭抽出などの周知技術から、画像を分析するなどして、複数の画像の位置関係を定めて補間処理を行うこととしてもよい。

また、本実施の形態のフレーム撮影処理の新規作成モードにおいて、被写体の画像データを全視点数分一通り撮影し終えてから、フレームデータをまとめて入力する構成であったが、画像データを１つ撮影した後にフレームデータを操作者に入力させ、この処理を全視点数分繰り返す構成でもよい。また、新規作成モードにおいて、被写体の各視点からの撮影順をランダムとし、フレームデータの入力時にフレームデータを入力させるとともに、その入力されたフレームデータの、擬似３次元画像の表示順に対応する順番を入力させ、その順番に基づいてフレーム群データを作成する構成でもよい。さらに、修正モードでは、すでに本装置に記憶されているフレームをスルー画像と重ね合わせて表示させながら、順次各フレームを修正する構成をとっていたが、単に表示部１４上に、各フレームデータを線画やフレーム内を塗りつぶすなどの方法で表示して、そのフレームデータの画像を見ながら操作者がフレームデータを修正し、修正フレームが完成した後で、実際の撮影を行う際に初めてスルー画像と重ね合わせて表示させるようにしても良い。また、修正モードで、先にすべてのフレームを修正してしまうのではなく、１つのフレームを修正するたびに、シャッタキーを押して、現在写っている映像を撮影してしまう構成にすることも可能である。

また、上記実施形態では、各フレームデータがデジタルカメラ１のFlash ROM１６に記憶されている場合を説明したが、例えば、ＷＥＢカメラのように、カメラ本体に記憶手段を有さず、フレームデータや撮影画像データを、通信用コネクタ１２８を介して外部の機器と送受信する動作をするようなカメラとして、本発明を実施することも可能である。このように本発明を実施する場合は、図７に示した、撮影画像と撮影画像の間の角度の画像を補間等によって獲得する処理や、図８の各種フォーマットの擬似３次元画像データを生成する処理についても、デジタルカメラ本体で行う必要はなく、デジタルカメラ１と通信で結ばれた、外部のＰＣやサーバなどの機器がこれらの処理を行うような、「撮像システム」として実現することも可能である。そして、これらのデータの送受信は、例えば、十字キー１２５などの操作によって実行が指示されるように構成したり、シャッタキー１２２を操作されたときに画像データを送信するように構成することで実現できる。

本発明に係る実施の形態のデジタルカメラ１の外観を示す斜視図であり、（ａ）が主に前面の構成を示す斜視図であり、（ｂ）が主に背面の構成を示す斜視図であり、（ｃ）が主に底面の構成を示す斜視図である。 デジタルカメラ１の内部構成を示すブロック図である。 フレーム撮影処理を示すフローチャートである。 フレーム撮影処理の撮影実行モードにおける処理例を示す図である。 被写体のフレームへの位置合せ例を示す図である。 フレーム撮影処理の修正モードにおける処理例を示す図である。 擬似３次元画像作成処理および記憶処理の処理例を示す図である。 擬似３次元画像のフォーマット例を示す図である。 擬似３次元画像の再生処理の一例を示す図である。 擬似３次元画像の再生処理の他の例を示す図である。

符号の説明

１…デジタルカメラ
２…セルフタイマランプ
３…光学ファインダ窓
４…ストロボ発光部
５…光学ファインダ
６…ストロボチャージランプ
１１…ＣＰＵ
１２…操作部
１２１…電源キー
１２２…シャッタキー
１２３…モードＳＷ
１２４…メニューキー
１２５…十字キー
１２６…入力ペン
１２７…メモリカードスロット
１２８…通信用コネクタ
１３…ＲＡＭ
１４…表示部
１５…ＲＯＭ
１６…Flash ROM
１７…外部記憶部
１８…通信部
１９…撮像部
１９１…撮影レンズ
２０…バス

Claims (8)

1. 撮像手段と、
   特定の被写体について擬似３次元画像を生成するための複数の視点からの輪郭データを記憶する輪郭データ記憶手段と、
   表示手段と、
   前記輪郭データ記憶手段に記憶された複数の視点からの輪郭データのうち特定の視点からの輪郭データを読み出し、前記撮像手段によって撮像されているスルー画像に重畳して前記表示手段に表示するよう制御する第１の表示制御手段と、
   前記第１の表示制御手段によって前記スルー画像と輪郭データとが表示されているときに、記録指示を検出する指示検出手段と、
   記憶手段と、
   前記指示検出手段によって記録指示が検出された時の撮像画像と前記第１の表示制御手段によって表示されていた輪郭データとを関連付けて前記記憶手段に記憶するよう制御する記憶制御手段と、
   前記第１の表示制御手段による制御から前記記憶制御手段までの制御を繰返すことにより、前記複数の視点全てについて輪郭データと撮像画像とが対応付けられて記憶されたか否かを判断する判断手段と、
   この判断手段により肯定と判断されると、前記記憶制御手段による制御により記憶された撮像画像に含まれる被写体画像の擬似３次元画像を生成する生成手段と
   を備えることを特徴とする撮影装置。
2. 前記複数の視点全てについて撮像された撮像画像に含まれる被写体画像について各視点の間から見た視点の被写体画像の補充画像を、前記撮像画像を用いて生成する補充画像生成手段をさらに備え、
   前記作成手段は、前記記憶制御手段による制御により記憶された撮像画像に含まれる被写体画像とに加え、前記補充画像生成手段によって生成された補充画像を含んだ擬似３次元画像を作成することを特徴とする請求項１記載の画像撮影装置。
3. 前記擬似３次元画像データのアニメーション再生を指示する再生指示手段と、
   この再生指示手段によってアニメーション再生が指示されると、前記生成手段によって生成された擬似３次元画像を前記表示手段にアニメーション再生するよう制御する第２の表示制御手段と
   をさらに備えることを特徴とする請求項１または２記載の画像撮影装置。
4. 前記アニメーション再生とは前記擬似３次元画像を回転させるように再生するものであり、
   回転方向を指示する回転方向指示手段をさらに備え、
   前記第２の表示制御手段は、前記擬似３次元画像を、前記回転方向指示手段によって指示された回転方向でアニメーション再生するよう制御することを特徴とする請求項３記載の画像撮影装置。
5. 前記第２の表示制御手段は、更に前記擬似３次元画像が回転表示可能な方向を前記表示手段に表示するように制御することを特徴とする請求項４記載の画像撮影装置。
6. 前記第２の表示制御手段は、更に現在前記回転方向指示手段によって指示されている回転方向を前記表示部に表示するように制御することを特徴とする請求項４または５記載の画像撮影装置。
7. 予め複数の視点からの輪郭データが記憶された輪郭データ記憶部から特定の視点からの輪郭データを読み出し、撮像されているスルー画像に重畳して表示部に表示するよう制御する表示制御ステップと、
   前記表示制御ステップにて前記スルー画像と輪郭データとが表示されているときに、記録指示を検出する指示検出ステップと、
   前記指示検出ステップにて記録指示が検出された時の撮像画像と前記表示制御ステップにて表示されていた輪郭データとを関連付けて記憶部に記憶するよう制御する記憶制御ステップと、
   前記表示制御ステップでの制御から前記記憶制御ステップでの制御までを繰返すことにより、前記複数の視点全てについて輪郭データと撮像画像とが対応付けられて記憶されたか否かを判断する判断ステップと、
   この判断ステップにて肯定と判断されると、前記記憶制御ステップでの制御により記憶された撮像画像に含まれる被写体画像の擬似３次元画像を生成する生成ステップと
   を含むことを特徴とする擬似３次元画像生成方法。
8. 表示部と、予め複数の視点からの輪郭データが記憶された輪郭データ記憶部とを備えたコンピュータを、
   前記輪郭データ記憶部から特定の視点からの輪郭データを読み出し、撮像されているスルー画像に重畳して前記表示部に表示するよう制御する表示制御手段、
   前記表示制御手段によって前記スルー画像と輪郭データとが表示されているときに、記録指示を検出する指示検出手段、
   前記指示検出手段によって記録指示が検出された時の撮像画像と前記表示制御手段によって表示されていた輪郭データとを関連付けて記憶部に記憶するよう制御する記憶制御手段、
   前記表示制御手段による制御から前記記憶制御手段による制御まで繰返すことにより、前記複数の視点全てについて輪郭データと撮像画像とが対応付けられて記憶されたか否かを判断する判断手段、
   この判断手段によって肯定と判断されると、前記記憶制御手段による制御により記憶された撮像画像に含まれる被写体画像から前記複数の視点から閲覧することが可能な擬似３次元画像を生成する生成手段
   として機能させることを特徴とするプログラム。