JP4262013B2

JP4262013B2 - 画像処理方法および画像生成装置

Info

Publication number: JP4262013B2
Application number: JP2003204669A
Authority: JP
Inventors: 昭宏片山; 誠廣田; 国安山中
Original assignee: Canon Inc
Current assignee: Canon Inc
Priority date: 2003-07-31
Filing date: 2003-07-31
Publication date: 2009-05-13
Anticipated expiration: 2023-07-31
Also published as: US7657055B2; US20050024507A1; JP2005050033A

Description

【０００１】
【発明の属する技術分野】
複数の撮影画像から任意の視点からの画像を再構成するものに関する。
【０００２】
【従来の技術】
従来より、撮影した画像から任意視点の画像を生成する試みが行われてきた。例えば、ステレオ計測の技術を用いて２枚以上の画像から対象物の形状を求め、コンピュータグラフィックス（以下、ＣＧ）の技術を用いて任意視点位置の画像を生成するという手法である。しかし、この方法は、２枚以上の画像において対応する点を同定する必要があり、条件によってはその作業が非常に困難なため、生成画像の画質が低いという問題があった。これに対して、イメージベースト・レンダリング（ＩＢＲ）と呼ばれる技術、特に空間中を飛来する光線を獲得し、それを用いて任意視点の画像を生成する手法は、画像（画像はカメラのレンズを通過する光線を記録したものである）を撮影する際のカメラの位置、姿勢を計測しておけば、原理的に正しい任意視点画像を生成できるという利点がある。この基本原理は以下のとおりである。
【０００３】
図３１（ａ）はＣＣＤカメラで物体を撮影しているところを模式的に表したものである。通常の撮像面はＣＣＤであるが、説明の都合上、レンズ中心に対して対称に折り返した仮想面を撮像面と仮定し、さらに説明を単純化するために、撮像面は１次元ラインセンサで構成されていると考える。図３１（ｂ）に示すように、直線Ｌ上の任意の視点での多視点画像を得ることができる場合、視点位置Ｑで観察できる画像の画素ｉの色は画素ｉと視点位置Ｑを結ぶ直線が直線Ｌと交差する点Ｒを視点位置とする画像の画素ｉ’の色と同じである。従って、再構成したい画像の全ての画素に対して、この対応関係を求めることにより、撮影していない全く新規な視点位置での画像を再構成できる。このような手法の代表例である“ＬｉｇｈｔＦｉｅｌｄＲｅｎｄｅｒｉｎｇ”（Ｍ．ＬｅｖｏｙａｎｄＰ．Ｈａｎｒａｈａｎ著，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ９６，３１−４２頁１９９６年発行）では、図３２に示すように格子上の各位置にカメラを配置して画像を撮影し、光線を獲得している。
【０００４】
【特許文献１】
特開平１０−０９７６４２
【非特許文献１】
“ＬｉｇｈｔＦｉｅｌｄＲｅｎｄｅｒｉｎｇ”（Ｍ．ＬｅｖｏｙａｎｄＰ．Ｈａｎｒａｈａｎ著，Ｐｒｏｃ．ＳＩＧＧＲＡＰＨ９６，３１−４２頁１９９６年発行）
【０００５】
【発明が解決しようとする課題】
しかしながら、上記の例では、光線を獲得するためにあらかじめ複数の視点位置で画像を撮影し、それらの画像を一旦記憶装置に格納し、それを用いて任意視点の画像を生成しているため、複数の画像を格納するための記憶エリアを確保しておく必要があった。特に、撮影画像の枚数が、生成する任意視点画像の画質に影響するため，高画質に再現しようとすれば、多数の画像を撮影する必要があり、その結果，撮影画像を記憶しておく記録装置の容量も膨大なものとなっていた。このことはパソコンのような大容量の記録装置を接続可能な機器においては何とか対応可能であるが、例えば、小型のデジタルカメラのような機器においてはメモリ容量に制限があるため、非常に大きな問題となる。
【０００６】
また、イメージベースト・レンダリング技術を用いてデジタルカメラのような撮影装置を構成する場合、例えば、ユーザがスタートボタンを押して画像再構成が開始されると、現在どのような状況にあるのか、また、いつになったら処理が終了するかなどが把握できず、これを使用するユーザにストレスを与えるという問題が生じる。
【０００７】
本発明は上記点に鑑みてなされたものであり、撮影に使用するメモリ容量の低減を図ることを目的とする。
【０００８】
また、本発明は、ユーザのストレスを軽減することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、本発明は以下の構成を有することを特徴とする。
【００１０】
本願請求項１記載の発明は、複数の撮影画像から任意の視点からの画像を再構成する画像処理方法であって、視点位置を設定する設定工程と、撮影画像を入力する入力工程と、前記撮影画像から、前記設定された視点位置からの画像を再構成するために必要な光線データを抽出する抽出工程とを備え、前記再構成画像が生成できるまで、前記入力工程と前記抽出工程を繰り返すようにし、さらに前記再構成画像の生成状況を報知する工程を有することを特徴とする。
【００１１】
本願請求項９記載の発明は、複数の撮影画像から任意の視点からの画像を再構成する画像処理方法であって、視点位置を設定する設定工程と、撮影画像を入力する入力工程と、前記撮影画像から、前記設定された視点位置からの画像を再構成するために必要な光線データを抽出する抽出工程と、再構成途中と前記撮影画像とを表示部に切り替え表示する表示工程とを備えることを特徴とする。
【００１２】
【発明の実施の形態】
（第１の実施形態）
以下、本願発明の第１の実施形態に係る撮影装置の図を参照しながら詳細に説明する。
【００１３】
図１は第１の実施形態に係る撮影装置のブロック図である。
【００１４】
図１において、１は撮影レンズ、２は絞り機能を具備するシャッタ、３はＣＣＤ等により光学像を電気信号に変換する撮像素子、４はレンズや絞りや撮像素子を含む撮像部の一部、５はガンマ補正等の公知のカメラ信号処理を行うプロセス回路、６はプロセス回路５のアナログ出力をデジタル信号化するＡ／Ｄ変換器、７はＡ／Ｄ変換器６より出力された画像データを記憶するメモリ、８は再構成画像の情報を設定する再構成画像情報設定手段、９は再構成画像情報設定手段８の情報から再構成に必要となる光線情報を算出して保持し、判定手段１３から通知された光線情報を保持している光線情報から削除し、さらに保持している光線情報をメモリ１４に出力する再構成用光線情報算出手段、１０はカメラの位置・姿勢を計測するためのカメラ位置・姿勢計測手段、１１は撮影にしているカメラの情報（撮影エリアの画角、撮像素子の画素数など）を獲得するカメラ情報取得手段、１２はカメラ情報取得手段１１の情報とカメラ位置・姿勢計測手段からの情報をもとにカメラが獲得している光線情報を算出する実カメラ光線情報算出手段、１３は再構成用光線情報算出手段９の出力する光線情報が実カメラ光線情報算出手段１２の出力する光線情報に含まれているか否かを判定し、一部でも含まれている場合は含まれている光線の情報を画素抽出手段１９および再構成用光線情報算出手段９に通知する判定手段、１４は再構成用光線情報算出手段９の情報を記憶するメモリ、２２は画素抽出手段１９の情報を記録するメモリ、２１はメモリ２２の情報を表示する表示手段、２３はメモリ２２に記録された情報を外部の記憶装置（ハードディスクやコンパクトフラッシュ（Ｒ）、その他の外部メモリ、ＣＤ−ＲやＤＶＤ−Ｒなどの記録メディア）とやりとりするためのインターフェース、２４はハードディスクやメモリカード、ＣＤやＤＶＤなどの外部記録装置である。これらの各手段は不図示のコントローラにより制御されている。
【００１５】
図２は、本実施形態の処理の流れを示すフローチャートである。ステップＳ１にて撮影にかかわる各種初期設定が行われ、ステップＳ２にて再構成したい位置Ｇｐ・姿勢Ｇｄにおける光線情報Ｇｒの算出が行われる。ここで光線情報Ｇｒは、位置Ｇｐを通過する光線のうち、設定された再構成画像の画角と画素数によって決まる直線の集合として表現される。３次元空間中の直線（光線）Ｌ_ｉｊの式は、視点位置Ｇ_Ｐ＝（ｘ_Ｐ，ｙ_Ｐ，ｚ_Ｐ）、撮像面上の各画素の位置Ｅ_ｉｊ＝（ｘ_ｉｊ，ｙ_ｉｊ，ｚ_ｉｊ）とすると、
【外１】

【００１６】
で与えられる。ただし、
【外２】

【００１７】
（式１）中の分母のうち、１つが０ならば、その項に関係する軸を除いた２軸で規定される平面上の直線となり、２つが０ならばそれらに関係する軸を除いた軸に直交する直線となる。例えば、ｘ_ｉｊ−ｘ_Ｐ＝０ならばＹＺ平面に平行な直線となり、ｘ_ｉｊ−ｘ_Ｐ＝ｙ_ｉｊ−ｙ_Ｐ＝０ならばＺ軸に平行な直線となる。仮想カメラの撮像面の総画素数がＮ個であれば、直線もＮ本存在する。仮想カメラの撮像面の各画素の位置は、仮想カメラの姿勢、仮想カメラの画角と撮像面の画素数、１画素のサイズが分かれば、仮想カメラの光学中心（再構成画像の視点位置）に対する相対的な位置として計算できる。これら視点及び画素位置の具体的な求め方は後に詳述する。次にステップＳ４にて画像を実際に撮影する。ステップＳ５ではステップＳ４で撮影した際のカメラの画角、画素数やカメラの位置Ｃｑ・姿勢Ｃｄを取得し、ステップＳ６にてＣｑの位置及び撮像面の各画素の位置を算出する。ステップＳ７ではカメラで獲得された光線情報Ｃｒ（視点位置と撮像面の各画素の位置とで表現される直線）とＧｒを比較し、Ｃｒの一部でもＧｒに含まれていたならばステップＳ８に進み、まったく含まれていなければステップＳ３に戻る。光線群Ｃｒの一部がＧｒに含まれているかどうかの判定は、（式１）で与えられるＧｒの各直線の式に、Ｓ６で求めた視点位置と撮像面の各画素位置を代入し、その式を満足するかどうかを見ればよい。そして、式を満足するならば含まれる（光線が一致する）、満足しなければ含まれないと判定する。ステップＳ８ではＧｒに含まれているＣｒの光線の色（画素値）を獲得し、撮影済みの光線情報の処理を行う。ステップＳ９では、再構成したい画像を構成するすべての画素について画素値を特定したならば処理を終了し、そうでなければステップＳ４に戻って、前述の処理を繰り返す。この一連の処理により、再構成画像を獲得することが可能となる。特に、再構成画像を得るために大容量の記憶手段を必要としていた従来手法に比べて、画像を撮影して必要な画素値のみを抽出し別のメモリに記録することにより、撮影用のメモリ７の容量が画像１枚分ですむというメリットが生まれる。
【００１８】
図３は各種設定処理を説明するためのフローチャートである。ステップＳ３１では、撮影に関するさまざまな情報を初期設定値として与える。たとえば、画素値の出力ビット数、アイリス、シャッタースピードなど、通常のデジタルカメラで行われている初期化処理と同様のことを行う。本実施形態では、画像獲得の際に画角や画素数などのカメラ情報を毎回取得するようにしているので必要ないが、画角や画素数が固定のカメラの場合は、この時点で画角や画素数を設定することも可能である。
【００１９】
図４は画像獲得処理Ｓ４の処理の流れを示すフローチャートである。ステップＳ４０にて、撮影に使用しているカメラの画角や撮像部の画素数などの情報が取得される。もし、画角や画素数が撮影中に変化しないということであれば、初期設定で与えられた画角と画素数をそのまま使用すればよい。その場合はこのステップを削除することが可能である。次に、ステップＳ４１にて１枚分の画像が撮影され、ステップＳ４２にてγ補正処理、ステップＳ４３にてＡ／Ｄ変換、ステップＳ４４にて色補正、歪補正などが行われ、ステップＳ４５にて補正処理されたディジタルデータをカメラ内部のバッファメモリに格納する。
【００２０】
図５は画素値獲得処理Ｓ８の流れを示すフローチャートである。まず、ステップＳ５１にて光線情報Ｃｒのうち、Ｇｒに含まれている光線（Ｇｒ中の光線と一致する光線）情報をリスト化する。次にステップＳ５２においてリストの先頭の光線情報に対応する撮影画像中の画素を特定し、ステップＳ５３にてその画素値を抽出する。ステップＳ５４にてメモリ２２中の対応する位置に（たとえば、注目した光線が再構成画像中の（ｉ、ｊ）画素に相当する場合は、メモリ２２中の再構成画像の（ｉ、ｊ）画素に対応する部分に）その画素値を記録する。ステップＳ５５では、後に、再構成に必要な光線群のうち、獲得済みの光線情報が識別できるように今獲得した画素にマークをつける。これは１画素を例えば４バイトで記録することにしておき、画素値（ＲＧＢ）に３バイト、識別情報に残り１バイト中の１ビットを割り当て、そこにマークすることで実現できる。この処理を終えると、リストの先頭の光線情報を削除し、次の光線情報に着目する。もし、次に光線情報が存在しなければ（ステップＳ５７）、画素値獲得処理を終了し、メインルーチンのステップＳ９に戻る。そうでない場合は、ステップＳ５２に戻る。
【００２１】
Ｓ５１においてＧｒに含まれる光線情報をリスト化する際は、メモリ２２を参照しながら、既に獲得済みの光線（メモリ中の対応する位置にマークがついたもの）に関しては除外する。または、再構成に必要な光線情報Ｇｒのうち、既に獲得済みのものを除外した光線情報Ｈｒを生成しておき、Ｃｒとの比較にはＨｒを用いることで、光線を重複して求めることがなくなり、効率化が図れる。
【００２２】
これらの一連処理により、ある時点で撮影された画像に含まれる、再構成に必要な光線（画素）情報を抽出することができる。
【００２３】
図６は、ステップＳ３３で設定される情報を説明するための図である。ステップＳ３３で設定される情報としては、基準座標系、再構成画像の姿勢、視点位置、画素数、画角の５つである。これらの情報の設定に関して図７を用いて説明する。カメラには位置・姿勢センサが内蔵あるいは外付けにされており、時々刻々とその時点での位置・姿勢に対する相対的な位置姿勢を出力する。まず、ステップＳ７１にて基準座標系の設定を行う。これは基準座標系設定ボタンを用意しておき、設定ボタンが押されると、その時点でのカメラの光学中心の位置を原点とした、カメラの光軸をＺ軸、カメラの撮像面（ＣＣＤ）の横方向をＸ軸、縦方向をＹ軸とする基準座標系が設定される。この様子を図８に示す。実際のカメラでは光学中心（原点）Ｏの後方に撮像面が存在するが、ここでは原点Ｏに対して折り返した位置に仮想撮像面１００を考える。これはコンピュータ・グラフィックスやコンピュータ・ビジョンの分野でよく用いられる表現方法であり、このように考えても、一般性は保たれる。基準座標系の設定が終わると、図６のように基準座標系の欄に、設定が終わったことが分かるように「設定済」という文字あるいはマークなどが表示される。基準座標系が設定されると、カメラに内蔵されたセンサからは、基準座標系に対する相対的な位置・姿勢が出力される。次にステップＳ７２において、再構成画像の姿勢を設定する。カメラに内蔵されたセンサからは、基準座標系に対する位置・姿勢情報が出力されているので、再構成画像の姿勢決定モードにおいて、カメラの姿勢を所望の姿勢に変更して設定ボタンを押すことにより、基準座標系上での姿勢が決定され、その値が、「姿勢」の欄に表示される。再構成画像の姿勢は、ｚ＝−ｆに基準の撮像面があると考え、基準座標系の各軸（Ｘ、Ｙ、Ｚ）に対する回転量で表記する。例えば、図８では基準座標系の各軸をそれぞれ（θ，φ，ρ）回転させると再構成画像の姿勢になることを示している。次に、ステップＳ７３において再構成画像の視点位置を設定する。これは、基準座標系の原点からの距離を直接入力することにより行う。ここでは、基準座標系でのＸ、Ｙ、Ｚの値がそれぞれ（ｕ，ｖ，ｗ）と入力されたものとする。このように与えた位置と姿勢は、再構成画像座標系（再構成画像の視点位置、すなわち仮想カメラの光学中心を原点とする基準座標系と同様な座標系）を考え、基準座標系を再構成画像座標系に一致させる時の平行移動量と回転量に相当する。ステップＳ７４にて画素数（解像度）の設定を行う。画素数は、例えば、「ＶＧＡ」「ＸＧＡ」「ＳＸＧＡ」・・・「その他」の中から選択する。「その他」が選ばれた場合は、任意の画素数を直接入力する。その後、ステップＳ８５において画角の設定を行う。画角に関しても、画素数の時と同様にあらかじめ代表的な値を選択できるようにし、その他を選んだときのみ任意の値を入力できるようにする。画角には水平、垂直の２種類の画角が設定可能であるが、ＣＣＤの１画素のアスペクト比および縦横の画素数が既知であれば、水平または垂直方向の画角のどちらか一方を決めれば、自ずから他の画角も決定される。それ故、ここでは、水平画角のみを設定する。
【００２４】
図８は、カメラが基準座標系に対して、Ｘ、Ｙ、Ｚ軸の周りに（θ，φ，ρ）だけ回転し、（ｕ，ｖ，ｗ）だけ平行移動したときのカメラの各画素位置の求め方を説明するための図である。基準座標系を設定したときのカメラの撮像面１００はＺ＝‐ｆ（ｆは焦点距離）の位置に存在する。また、一画素の縦横の大きさをそれぞれｐ、ｑ、縦画角、横画角をそれぞれω_ｘ，ω_ｙ、縦横の画素数をそれぞれｍ、ｎとすると、基準座標系における撮像面の（ｉ、ｊ）画素１１０の位置（ただし、（０、０）は左上隅とする）は、
【外３】

【００２５】
となる。また、以下の関係が成り立つ。
【外４】

【００２６】
従って、（式２）は（式４）のように書くことができる。
【外５】

【００２７】
任意の位置・姿勢にあるカメラの各画素の位置（ｘ’，ｙ’，ｚ’）は、（式４）で与えられる各画素の位置に回転と平行移動を施すことにより求めることができる。
図９に示すように座標系を仮定すると、Ｚ軸中心の回転Ｒ_ｚ、Ｘ軸中心の回転Ｒ_ｘ、Ｙ軸中心の回転Ｒ_ｙはそれぞれ次式のように表せる。
【外６】

【００２８】
Ｚ軸回転→Ｘ軸回転→Ｙ軸回転という３つの回転変換を掛け合わせると最終的な回転変換Ｒが次式のように表現できる。
【外７】

【００２９】
従って、任意の位置・姿勢にあるカメラの各画素の位置（ｘ’，ｙ’，ｚ’）は、基準座標系上では、
【外８】

【００３０】
となる。また、そのときのカメラの視点位置は（ｕ，ｖ，ｗ）となる。
【００３１】
以上述べたように、最初に所望の視点位置を入力し、その視点位置で画像を再構成するために必要な光線情報を計算し、その光線を収集していくというプロセスを経ることにより、従来よりも少ないメモリ量で画像の再構成が行えるという効果が生じる。
【００３２】
また、基準座標系に対する回転と平行移動により移動後の画素位置を演算することにより、単純な演算で求めることができ、演算の高速化が図れる。
【００３３】
（第２の実施形態）
図１０は撮像部３をＣＣＤタイプからＣＭＯＳセンサ２７に変更した場合のブロック構成図である。これ以降のその他の実施形態を含め、図中の同じ番号を有するブロックは特に断らない限り同一の機能を有するものとし、説明を省略する。
【００３４】
ＣＭＯＳセンサは画素単位に値を出力することができるため、画素抽出手段１９よりＣＭＯＳセンサに直接画素を特定するアドレスを出力して対応する画素値を受け取り、プロセス５、Ａ／Ｄ変換６を経てメモリ２２に格納することが可能である。
【００３５】
このように撮像部にＣＭＯＳセンサを利用することにより、撮影画像を一時記憶しておくメモリが不要となるためハードウェアを小型化、低コスト化できるというメリットがある。ただし、ＣＭＯＳセンサはあくまでも一例であり、画素単位でデータを出力できる他のセンサを用いることが可能であることは言うまでもない。
【００３６】
また、撮像素子として画素数が１画素のみのＣＣＤを利用するの場合も、ＣＭＯＳセンサの場合と同じように撮影画像を一時記憶しておくメモリが不要になるため、この方法によってもハードウェアを小型化、低コスト化できる。
【００３７】
（第３の実施形態）
第１の実施形態、第２の実施形態では、再構成画像を表示するための表示手段を設けていないため、再構成をスタートすると現在どのような状況にあるか、どこまで再構成が済んでいるかといったことが把握できない。そこで、この実施形態では、図１１に示すように、モニタ手段２８を設け、撮影中の画像と再構成されている画像とをユーザが切り替えて表示することができるようにしたものである。もちろん、第２の実施形態に対して同様のモニタ手段を設けることが可能であることは言うまでもない。
【００３８】
図１２はモニタ手段２８のブロック構成図である。図中、２０はメモリ７とメモリ２２とに格納されている情報を切り替える切替表示手段、２１は切替表示手段２０からの情報を可視化する表示手段である。
【００３９】
ここでは、撮影中の生の画像と再構成途中の画像とを切り替えるようにしているが、再構成画像のみを表示するようにしてもよい。また、撮影中もユーザの指示により、あるいはタイマーを設けて一定時間毎に再構成途中の画像と撮影画像とを切り替えて表示することも可能である。画像再構成中は、頻繁に再構成途中の画像を確認することが多いと思われるので、切り替え用のスイッチを撮影装置につけておくと便利である。特に、１回の操作により切替のできる押しボタン、スライダー、ダイヤル式のスイッチが望ましい。
【００４０】
また、再構成画像を直接観察できなくても、生成状況を示すインジケータを付加しておけば、どの程度再構成されたかが分かるので、ユーザのストレスを軽減できる。インジケータは、全体の何パーセントが再構成されたかを数値（テキスト）で示してもよいし、棒グラフのようなもので視覚的に示してもよい。
【００４１】
また、再構成が終了した時にブザーなどでユーザに通知するとユーザは出来上がりのタイミングを気にせずに撮影に専念できるというメリットが生じる。
【００４２】
（第４の実施形態）
第３の実施形態では再構成途中の画像を表示できるようにしたが、光線が獲得できていない画素は値が未定となり、表示できないので、例えば、図１３（ａ）のように表示される。ただし、ここではタイル状のブロックを１画素（１本の光線）と見なして便宜的に表している。光線の取得が進むと最終的には図１３（ｂ）のように表示されるが、途中の段階では、（ａ）のように部分的に再構成された画像となる。そこで、図１３（ａ）の画像を補間して表示することにより、途中結果の画像をより高画質に表現する。通常は、再構成に必要な光線を全て取得するまで処理が続けられるが、この補間処理によって十分に高画質な再構成画像が得られれば、それ以上処理を続ける必要は無い。この場合、光線を取得する時間が短縮されるため、より高速な画像再構成が可能となる。
【００４３】
図１４は、第３の実施形態のモニタ手段２８を一部変更したときのブロック構成図である。１０１１はメモリ２２の情報を使って未定画素値を推定する補間手段であり、補間結果の画像を切替制御手段２０に出力する。切替制御手段２０では、ユーザの指示、あるいはタイマーなどにより一定時間毎に撮影画像情報（メモリ７）と再構成画像情報（メモリ２２）と補間画像情報とを切り替えて表示手段２１に出力し、表示手段２１では切替制御手段２０からの情報を可視化する。もし、補間画像の品質が十分であると判断できれば、この時点で再構成処理を終了する。この判断はユーザ自身が補間画像を見ながら行ってもよいし、取得できた光線の数を基準にしてもよい。光線の数を基準にする場合は、例えば再構成に必要な光線全体の２／３の光線が獲得できれば、あとは補間処理で補うなどの方法が考えられる。
【００４４】
補間処理に関しては、一般的なキュービック補間やバイリニア補間などを用いることができる。また、再構成に必要な光線とは若干異なるが、近接した位置で獲得される光線を近似値として利用してもよい。例えば、正確には、カメラを数ｃｍ移動させて撮影した時の光線が必要である場合、カメラを移動させずに、今撮影した画像の中からその光線に近いものを選んで代用する。
【００４５】
また、補間処理などを使って再構成が終了したときにブザーなどで通知するとユーザは出来上がりのタイミングを気にせずに撮影に専念できる。
【００４６】
このように補間処理を導入することで、画像再構成に要する時間を短縮でき、効率的な撮影が可能になるというメリットがある。
【００４７】
（第５の第５の実施形態）
図１３（ａ）のように再構成が進行している時、ユーザは再構成後の画像を予測することが可能である。通常、画像再構成は１画面分行われるが、被写体によっては１画面全てを再構成する必要は無いかもしれない。例えば、写っている「パソコン」の部分が十分に再構成できていれば、すなわち、ユーザの望む部分だけ高速に画像を再構成したほうがユーザのニーズに合致しているかもしれない。そこで、本実施形態では、ユーザに画面中の再構成して欲しい領域を指定することが可能な手段について述べる。
【００４８】
図３３は、第４の実施形態に対して領域設定手段３３０１と解像度指定手段３３０２を追加した場合のブロック構成図である。領域設定手段３３０１は再構成画像中の部分領域を設定し、解像度指定手段３３０２は必要に応じてそれぞれの部分領域に対して再構成する画像の解像度を指定する。再構成用光線情報算出手段３３１０は、再構成画像情報設定手段８、メモリ１４、領域設定手段３３０１、解像度指定手段３３０２からの情報をもとに必要な光線情報を算出する。
【００４９】
図１５（ａ）は、領域設定手段３３０１と解像度指定手段３３０２を説明するために示したカメラの概観（背面部分の一例）である。１５０１はスタートボタン、１５０２は電源ボタン、１５０３はモードセレクトボタン、１５０４は選択されたモードにおいて次のデータに移るためのボタン、１５０５は選択されたモードにおいて前のデータに戻るボタン、１５０６は設定ボタンである。モードセレクトボタン１５０３に関しては実施形態６にて説明するため、ここでは割愛する。１５０７はファインダー、１５０８は撮影データあるいは再構成中の画像あるいは補間された画像などを表示するためのディスプレイ、１５０９は再構成領域を指定するための形状を指示するボタンで、例えば、モードが領域設定にセットされた状態で矢印を押すと順に「丸」⇒「四角」⇒多角形⇒・・・と変化し、その形状がディスプレイ１５０８に表示される。図１５（ｂ）にその様子を示す。ここでは、「円」が指定された状態である。１５１０と１５１１はそれぞれ表示された図形（ここでは円）を縮小または拡大するためのボタンであり、このボタンを操作することにより、領域の大きさを設定する。１５１２は表示された図形を上下左右に移動させるためのボタンである。このボタン１５１２を操作して希望する位置に図形（円）をあわせ、設定ボタン１５０６を押すと領域が確定される。こうして領域が指定されるとこれ以降は指定された領域内のみが再構成される。ここでは、指定可能な領域の形状として、円や多角形に関して述べたが、任意の形状を指定できるようにしてよい。任意形状を指定する場合は、画面中に「点」を配置し、それを直線あるいは曲線でつなぐというユーザインタフェースにすればよい。
【００５０】
また、場合によっては、目的の被写体のみ高解像度であればその周囲の解像度はあまり高くなくてもよいが、無ければ困るといった状況も存在する。解像度指定手段３３０２は、このような状況に対処するための設定領域内の解像度を指定する手段である。解像度の設定に関しては、図１６（ａ）に示すように、再構成している画像を、高解像度に再現したい部分のみ再帰的に分割して解像度を上げる。ここでは周囲に比べて指定された領域１６０１の方が縦横それぞれ２倍ずつ解像度が高くなっている。具体的な操作として、設定領域の解像度の指定は、モードセレクトボタン１５０３で解像度の設定を選び、ボタン１５１２を操作することでプリセットされていた解像度を呼び出してセットすることにより行う。この例では指定領域の解像度を周囲に比べて縦横２倍の解像度に設定したが、この例に限らず任意の倍率に設定してもよい。ただし、設定する際に解像度を２のべき乗倍（クワッド・ツリー構造）になるように選ぶと処理が簡単になる。
【００５１】
本実施形態では、再構成画像中の指定できる領域は１箇所として説明したが、もちろんこれに限らず、複数箇所でもよい。その場合は、前記の指定処理を必要な領域の数だけ行えばよい。
【００５２】
また、複数の領域を指定した場合の解像度の指定も、それぞれ異ならせて行っても、指定領域内すべてを同一の解像度にしてもよい。また、複数の領域を指定する際に、指定した領域Ａの内部に新たに領域Ｂを指定することも可能である。この場合、領域Ｂの解像度を高く、領域Ａの解像度は中程度に、その他の領域は低解像度に設定すれば、ユーザの注目している領域に近いほど高解像度に画像生成できる。
【００５３】
以上述べたように、ユーザに再構成する領域を指定するためのユーザインタフェースを撮影装置に付加することにより、希望の領域のみを再構成することができ、全体の処理速度が向上させることができる。
【００５４】
（第６の実施形態）
図１７は、第３の実施形態にモード設定手段１５と未撮影エリア情報算出手段１６と表示手段１７を追加した場合の実施形態を表している。
【００５５】
モード設定手段１５は、図１９のモードセレクトボタン１５０３と連動する。例えば、モードセレクトボタン１５０３を押すと、ディスプレイ１５０８にモード情報が表示され、もう一度押すと消える。モードとしては、ディスプレイ１５０８に撮影中の画像を表示するか再構成中の画像を表示するかあるいは表示をオフにするかを示すモード、未撮影領域をディスプレイ１５１２に表示／非表示するモード、領域設定や解像度を指定するモードなどがある。各モードが表示されているときに、ボタン１５０４を押すと順にモードの種類が変更され、ボタン１５０６を押すと表示されたモードに固定され、この状態で１５０４、１５０５を操作するとそのモードの設定情報を変更できる。たとえば、数値入力の際にはあらかじめ決められたステップでそれぞれ値を加算、減算し、数値以外のデータの場合は、あらかじめ決められた順番のデータをそれぞれ順方向、逆方向に変更する。設定されたモードが撮影画像の表示であれば、ディスプレイ１５０８に撮影画像を表示し、再構成中の画像を表示する設定であれば再構成中の画像を表示し、そうでなければ、１５０８の表示はオフにする。また、未撮影エリア情報表示がエリア表示モードの場合は、ディスプレイ１５１２に未撮影エリアを表示し、表示モードが未取得光線情報の表示であれば未取得光線情報を表示し、そうでなければ表示をオフにする。ここではディスプレイ１５０８のほかに別途ディスプレイ１５１２を設けたが、ディスプレイ１５０８に両者の画像やモード情報を切り替えて表示することにより、ディスプレイ１５１２を削減することができる。
ここで図１７の表示手段１７とディスプレイ１５１２とは同じものである。
【００５６】
次に未撮影エリア情報の表示方法について説明する。未撮影エリア情報の表示方法としては、
（ａ）３次元空間（をレンダリングしたもの）の中に、撮影が必要な地点に色をつけて表示するとともにカメラの位置をその中で示す。
（ｂ）３次元空間（をレンダリングしたもの）の中に、未取得の光線を表示するとともに実際に撮影しているカメラの位置をその中で示す。
（ｃ）撮影しているカメラに対して相対的にどの方向にどの程度移動し、カメラの姿勢をどのように保ったらよいかというナビゲーション情報を表示する。
（ｄ）（ａ）〜（ｃ）に関して音声で情報を知らせる。
等がある。
【００５７】
図１８は上記（ａ）の場合を説明するための図である。１５１２は未撮影エリア情報を表示するためのディスプレイ、図中の１４２、１４４はそれぞれ３次元空間を平面図（Ｙ＝０）と立面図（Ｚ＝ｚ１）で表したもの、１４１、１４５の★印は３次元空間におけるカメラの位置を平面図および立面図中に記したもの、１４２をはじめとする色のついた部分（網がかかった部分）は未撮影エリアを表している。ただし、カメラの３次元空間中の位置を（ｘ１、ｙ１、ｚ１）とする。立面図はＺ＝ｚ１の平面であるので、カメラの移動にともなって表示される未撮影エリア情報が変化する。撮影者はこれらの情報を参照しながら、カメラを未撮影エリアに移動させ、必要な光線を獲得する。図１８では、カメラの姿勢情報は表現されていないため、光線の獲得は全ての方向にカメラを向けて撮影する必要がある。これを改善するために、別途、カメラの姿勢に関する表示を設けることも可能である。このときの表示方法としては、視点位置を先端とする角錐で、その地点で獲得が必要な光線を囲むように表示すれば、カメラをどの方向に向ければよいかが把握できるので、効率的な光線の獲得が可能となる。別の例を図２０にしめす。図中の１５１は３次元シーンに未撮影エリアを重畳表示したもの、１５２は重畳された未撮影エリア、１５３は平面図（Ｙ＝０）上で示した未撮影エリア、１５４と１５６はカメラの位置、１５５は平面図（Ｙ＝０）、１５７は立面図（Ｚ＝ｚ１）である。この例では、図１８の平面図、立面図に加えて、３次元シーン中に未撮影エリアを重畳したものを表示する。この３次元シーンは現時点でのカメラの映像を利用し、これに未撮影エリアを重畳して生成する。このように表示することで、見ているシーンに対してどのようにカメラを移動させればよいかが直感的に分かるので、さらに効率的なカメラの移動が可能となり、光線の獲得が容易となる。
【００５８】
図２１は上記（ｂ）の場合を説明するための図である。説明を簡単にするために、９本の光線を獲得すると画像再構成が終了すると仮定する。そして、ここでは１本のみ光線が獲得されている状況を示している。図中の２１１は未撮影光線情報、２１２はＹ＝０平面に投影した未撮影光線情報、２１３（図中の８個の黒丸）はＺ＝ｚ１で切った断面における未撮影光線情報を表している。このように表示することで、カメラをどの位置に持っていけば光線が取得できるかが一目でわかるため、効率的な光線情報の取得が可能となる。また、直接獲得すべき光線を示すことで、カメラをどの方向に向ければよいかも直感的に把握できる。
【００５９】
図２２は矢印によるナビゲーションの様子を示している。２２０はカメラを移動すべき方向を示す矢印、２２１はカメラの光軸を含む水平面において、カメラをどの方向に向ければよいかを示す水平角度メータ、２２２は光軸を含む垂直面においてカメラをどの方向に向ければよいかを示す垂直角度メータである。２２０の矢印に沿ってカメラを移動しながら、２２１中の矢印が光軸（円の中心を通る線分２２３）と一致するように、かつ、２２２中の矢印が光軸（線分２２４）と一致するようにカメラの方向を制御することにより、効率的に光線を獲得することができる。
【００６０】
また、上記（ｄ）の音声によるナビゲーションは、例えば、
・「前方３ｍ直進」という音声に従って移動すると目的の地点で「止まれ」という合図
・「右に回転」という音声に従って回転すると目的の角度で「止まれ」という合図
・「上方向に回転」という音声に従って回転すると目的の角度で「止まれ」という合図
というように音声に従って移動・回転すると目的の光線が獲得できるというものである。この例はあくまでも一例であり、この他の指示を行ってもよい。
【００６１】
以上述べたように、未撮影光線情報を提示する手段を設け、ユーザを誘導することにより、効率的にかつ短時間に目的の光線群を取得することが可能となる。
【００６２】
（第７の実施形態）
実際に撮影を行っている場合に、不意の侵入物が撮影されることも考えられる。侵入物が存在すると本来の光線が獲得できていないということであるから、このような場合には撮影を無効にしてやり直すことが必要である。本実施形態では、侵入物に対する対処の方法について述べる。
【００６３】
侵入物が存在する場合の対処法として、
１．ユーザが侵入物を認識して、一時的に撮影を無効にし、侵入物が写る前の状態までカメラを移動してやり直す。
２．侵入物の自動判定手段を設けて、フィードバック制御する。
が考えられる。ただし、侵入物が検知されても、獲得すべき光線に影響を与えなければ、獲得した光線や現在の撮影をキャンセルする必要はない。
【００６４】
まず、１に関しては、ユーザが侵入物を発見した時点から、例えば数秒前の状態まで獲得した光線情報をキャンセルし、そこから撮影しなおすという方法である。獲得した光線情報と一緒にタイムコードなどを同時に記録しておけば、侵入物発見時のタイムコードと比較して、それよりもたとえば５秒前に戻すというように、以前の状態に復帰することができる。ただし、発見が遅れる場合もあり得るので、何秒前に戻すかは任意に設定できるようにするのが好ましい。
【００６５】
図２３は、第６の実施形態に侵入物警告手段２３１を設けた場合の例である。モード設定手段１５により、ユーザが侵入物警告手段（ボタン）を押したときに何秒前に戻すかという情報が設定され、ボタンが押されると判定手段１３を介してその秒数分だけ獲得した光線をキャンセルする。光線がキャンセルされるとキャンセルされた光線に対応する未撮影エリア表示に関わるデータもリセットされる。光線を獲得する処理の再開であるが、侵入物警告手段を再度押すと光線獲得が再開されるようにしてもよいし、ある秒数だけ経過した後に再開されるようにしてもよい。
【００６６】
図２４は、侵入物の検知をユーザが行うのではなく、自動処理にて行う場合の実施形態である。２５は侵入物検知手段、２６は切り替え制御手段、２７は表示手段、２８は音声再生手段である。侵入物検知手段２５が侵入物を検知すると、判定手段１３に対して獲得した光線をある時間分だけキャンセルするように指示を出す。この時間はモード設定手段によりあらかじめ設定された時間である。侵入物が検知されて処理が一時中断されるとその状況、例えば「侵入物あり」などというように表示手段２７に視覚的に表示されるか、または音声再生手段２８にて同様の警告がなされる。ここで切替制御手段２６は、侵入物が存在する場合に、ディスプレイに表示するか、音声で警告するか、あるいは両者を同時に利用するかを制御する。
【００６７】
侵入物検知手段２５の動作について説明する。例えば、現在撮影している画像の１フレーム前の画像を保持しておき、現在の画像との間で動きベクトルを求める。対象物が静止している場合、カメラの移動による対象物の動きベクトルはおおよそ求めることができるので、その動きと明らかに異なる動きをしている物体が存在すれがそれが侵入物であると判定することができる。また、これ以外にも画面中の色（カラー）が大きく変化した場合も侵入物の存在を疑うことができる。
【００６８】
以上述べたように、不意の侵入物を検知する手段を持つことにより、再構成したあとで邪魔なものが写りこんでいたというような不具合を解消でき、再構成に必要な光線を効率的に獲得することが可能となる。
【００６９】
（第８の実施形態）
実際の撮影時には何らかの事情により、撮影（再構成）を一時中断しなければならない場合もある。そのような場合への対処法としてリジューム機能を付加した実施形態を図２５に示す。
【００７０】
１８は撮影状態記憶手段であり、再構成途中の画像および獲得された光線情報、再構成に必要な各種パラメータを外部Ｉ／Ｆ２３に出力し、外部記憶装置２４に格納する。
【００７１】
また、途中から処理を再開する場合には、外部Ｉ／Ｆ２３を介して外部記憶装置２４から再構成に必要な各種パラメータ、再構成画像、獲得済み光線情報などの情報を読み出し、メモリ１４とメモリ２２にセットする。
【００７２】
このような構成にすることにより、不意の中断にも対処でき、目的の画像再構成を効率よく行うことができる。
【００７３】
（第９の実施形態）
第１の実施形態では再構成画像の視点位置を３次元空間中の位置として直接入力する方法をとったが、本実施形態ではより簡便な視点位置設定方法を提供する。
【００７４】
図２６は、再構成画像用視点位置設定手段２６１を第８の実施形態に付加した場合の実施形態である。ここでは視点位置の設定方法として、
１．３次元位置を直接入力する
２．単眼カメラを２度利用してステレオ撮影し、位置・姿勢を求める
３．エビポーララインを利用して、位置・姿勢を指示する
４．ステレオカメラで計測し、位置・姿勢を支持する
などがある。１に関しては第１の実施形態にて述べたので、本実施形態では２〜４について説明する。
【００７５】
図２７は単眼カメラを利用して再構成画像の視点位置・姿勢を指示する処理のフローチャートである。まず、再構成画像の視点位置に何らかの目標物（目印）となるようなものが存在する場合は、ステップＳ２７１で目標物（目印）を特定する。次にステップＳ２７２にて光軸が目標物を貫通するように撮影する。このときのカメラの位置と姿勢を利用してローカル座標系を設定する。設定の方法は第１の実施形態で説明した方法と同様の方法を用いればよいため、ここでは省略する。次にステップＳ２７３にてカメラを移動させて撮影する。このときも同様に光軸が目標物を貫通するように撮影する。ここで、１回目に撮影した位置と２回目に撮影した位置との間の距離はステレオ計測を行う際のベースラインとなるため、ある程度大きくとるほうが位置精度が向上する。ステップＳ２７４において１回目と２回目の撮影の位置・姿勢からステレオ計測により、ローカル座標系での目標物の位置を算出する。そして算出された位置を再構成画像の視点位置にする。姿勢に関しては、第１の実施形態と同様の方法、すなわち、カメラを所望の姿勢に保ち、その時のカメラの姿勢センサが出力する姿勢を再構成画像の姿勢とすればよい。ステップＳ２７５にて決定された再構成画像の視点位置と姿勢を再構成画像視点位置・姿勢設定手段に出力する。
【００７６】
次に、生成したい再構成画像の視点位置に目標物（特徴点、目印など）がない場合の方法について述べる。例えば、空中の一点を視点位置にしたい場合、第一の地点で空中の一点を決定すればその空中の一点をカメラの光軸が通過するように設定することは可能であるが、場所をかえると何も目印がないため第二の地点からその一点を特定することは難しい。従って、この「空中の一点」をターゲットにして、異なる２地点間でのステレオ計測により位置を求めることは難しい。そこで、第一の地点で「空中の一点」を決定し、その点を光軸が貫通するようにカメラをセットして、その時の位置と姿勢を記憶する。そして、第二の地点にカメラを移動させたときには、第一地点のカメラの光軸（直線）を第二の地点でのカメラ映像に重畳して表示する。この様子を図２８を利用して説明する。図２８（ａ）は第二地点でのカメラの映像に第一地点でのカメラの光軸を重畳した画像を表している。図中の２８１０は第一地点でのカメラの光軸、２８２０は現在のカメラの光軸（ここでは撮像面の中心を貫通する法線を仮定している）である。第一地点で決定された一点はこの直線２８１０上に存在する。図２８（ｂ）は図２８（ａ）とは異なる地点でのカメラで撮影された画像であり、光軸２８２０が直線２８１０上に存在するようにカメラを移動させたものである。このように直線上の一点を光軸２８２０と一致させることにより「空中の一点」を特定することができ、その時のカメラの位置・姿勢と第一地点でのカメラの位置・姿勢とからステレオ計測により位置を算出することができる。姿勢は第１の実施形態と同様の方法で指定できる。
【００７７】
以上述べたように、第二地点では、第一地点におけるカメラの光軸２８１０上の点を特定すればよいため、何も目印がないときに比べて「空中の一点」を特定しやすくなり、再構成画像の視点位置・姿勢を設定する作業が楽になる。
【００７８】
また、３次元空間中の一点を指定する作業は、カメラをステレオカメラに変更すれば、よりダイレクトに行うことが可能となる。ステレオカメラの場合は、例えばファインダ内で立体視が可能な状態にしておき、空間中に何らかのマークやポインタなどを表示する。このマークやポインタを移動させて３次元空間中の一点を指定することにより、簡便に空間中の一点を指定することが可能となる。指定された一点の位置はステレオカメラを使っているので容易に算出することができる。姿勢の指定は、第１の実施形態と同様の方法により可能である。マークの移動に関しては、前後上下左右の６方向に移動させるボタンなどをカメラに備えてもよいし、カメラの光軸上の点を指定すると仮定すれば前後のみの２つのボタンを装備するだけでよい。ここでは、ファインダ内で立体視できるようにしたが、レンチキュラ・シートをディスプレイ１５０８あるいは１５１２に採用することにより立体視できるようにしてもよい。
【００７９】
以上述べたように、カメラをステレオカメラに変更することにより、よりダイレクトに３次元空間中の一点を指定することが可能となり、作業効率が格段に向上する。また、２眼存在することにより、本来の目的である光線の獲得も１眼に比べてより効率的に短時間に行うことが可能となる。光線の獲得処理としては、一度に２地点分の光線が獲得できると考えれば、第１の実施形態で説明した処理を２回行うことにより対処できる。
【００８０】
（第１０の実施形態）
再構成画像の視点位置・姿勢と再構成画像の画角、画素数とを決定すると、必要な光線群が特定される。しかし、再構成画像の視点位置と実際にカメラで撮影可能な場所とが大きく離れていると、必要な光線を獲得するためには、広い範囲を動き回って撮影しなければならない。図２９にこの様子を示す。図中の２９１０は再構成画像の視点位置、２９２０は視点位置２９１０から少し離れたときに必要な光線を獲得するためにカメラを移動させなければならない領域、２９３０は２９２０よりも視点位置２９１０から離れた地点での光線を獲得するために必要なカメラの移動範囲を表している。この様に、視点位置から離れるに従い、カメラを移動させる領域が広くなるため、再構成画像の視点位置を設定するさいに、例えば、自分のいる位置において光線をすべて獲得するとすればどの程度移動しなければならないかをユーザにフィードバックできれば、獲得不可能な光線を含む視点位置を設定することがなく、効率的である。すなわち、再構成途中で獲得不可能な光線が含まれていることに気が付き、再度視点位置を変更して同様のことを繰り返すなどの失敗がなくなる。
【００８１】
そこで、図２９の錐体を視点位置設定に連携して撮影画像中に表示するように、第１の実施形態の再構成画像の画角、解像度（画素数）、視点位置、姿勢を設定する処理に変更を加える（図３０参照）。ここで、ステップＳ７６は設定された位置・姿勢・画角を元に撮影範囲を錐体として表示するステップ、ステップＳ７７はここまでに設定された再構成画像の位置・姿勢・画角が適切であるかを（撮影可能かどうか）を判定し、不適切であればステップＳ７２に戻り、適切ならばメインルーチンに戻る。
【００８２】
錐体の表示に関しては、錐体を半透明の薄い色で表示すれば、全体の中でどの程度の領域を移動しなければならないかが直感的に把握できる。また、カメラに内蔵の位置・姿勢センサの出力を用いれば、錐体の大きさ（カメラを移動させなければならない範囲）を数値データとして求めることも可能であり、この数値データを錐体の表示と同時に表示（重畳表示あるいは別の場所あるいは別モニタに表示）すればより具体的にユーザは移動範囲を認識できる。
【００８３】
以上述べたように、本構成を用いて視点設定の際に必要な光線群を示す錐体や移動範囲の数値データなどを表示することにより、直感的にカメラを移動させる範囲を把握できるため、無理な視点位置の設定などがなくなり、効率的な再構成画像の獲得が実現できるという利点がある。
【００８４】
（第１１の実施形態）
第１０の実施形態では、実際にカメラの移動範囲を錐体として表示することにより、無理な視点位置の設定を避けるように誘導したが、それ以外にも、撮影時にこの錐体の外側にカメラが移動したら警告することにより、無駄なカメラの移動を抑制することができる。すなわち、再構成に必要な光線はすべてこの錐体の内部に存在するため、カメラの移動をこの錐体の内部に限定すればより効率的に光線の獲得が可能になる。警告の方法としては、撮影中の画像を表示している画面または未撮影領域を表示している画面上に例えば「範囲外」「ＥＲＲＯＲ！」などのメッセージを出す、あるいは、音声で錐体の外部に移動したことを警告する、あるいは両者を同時に行うようにすればよい。また、警告の際に、錐体の内部に誘導するように表示すると警告がより効果的になる。例えば、錐体の内部に向けて矢印を出したり、その方向を音声で再生したりすればよい。また、錐体自体は、表示してもしなくてもよいが、表示すれば、未撮影領域を表示する際の補助的な情報として利用できる。あるいは、光線の獲得に従い、この錐体の該当部分の色を変更することにより、未撮影領域表示にも利用可能である。
【００８５】
以上述べたように、再構成画像の視点位置・姿勢・画角で規定される錐体の外部にカメラが移動したら警告することにより、無駄なカメラの動きを抑制でき、効率的な光線の獲得が可能になる。
【００８６】
（第１２の実施形態）
上述の実施形態では、再構成する視点位置は一度に１箇所であると仮定して話を進めてきたが、一度の複数箇所を指定し、同時に画像を再構成することも可能である。ただし、この場合も、第１の実施形態であれば、画像を撮影し記憶するメモリは１枚分だけでよく、再構成画像を格納するメモリをＮ枚分（再構成する視点位置をＮ視点としたとき）備えていればよい。
【００８７】
具体的には、再構成画像情報設定手段８でＮ枚分の情報を設定し、この情報を元に再構成用光線情報算出手段９においてＮ枚分の光線情報を求め、それぞれの再構成画像に対して、第１の実施形態で述べた処理を施すことにより、Ｎ枚の再構成画像を獲得する。本発明は、ある程度近い視点位置の画像を複数枚再構成する場合には、獲得すべき光線が共通（複数の再構成画像中で使用する）であったり、一度の撮影で複数の再構成画像用の光線が獲得することができるため、特に１枚あたりの画像再構成時間を短縮するという点で有効である。また、メモリ容量に関しても、再構成画像の枚数分のメモリ容量の増加で済むため、大幅なコストの増加にはならない。
【００８８】
また、第２の実施形態の場合は、再構成画像を格納するメモリをＮ枚（再構成する視点位置をＮ視点としたとき）に増やせば、同様のことが可能となる。
【００８９】
以上述べたように、Ｎ枚の再構成画像を同時に生成できるようにすることで、１枚あたりの再構成時間を短縮することができ、メモリ容量も再構成画像の枚数分だけの増加ですむため、ハードウェア的な負荷も少なくてすむ。
【００９０】
（変形例）
本発明は、複数の機器（例えばホストコンピュータ、インタフェイス機器、リーダ、プリンタなど）から構成されるシステムに適用しても、一つの機器からなる装置（例えば、複写機、ファクシミリ装置など）に適用してもよい。
【００９１】
また、本発明の目的は、前述した実施形態の機能を実現するソフトウェアのプログラムコードを記録した記憶媒体（または記録媒体）を、システムあるいは装置に供給し、そのシステムあるいは装置のコンピュータ（またはＣＰＵやＭＰＵ）が記憶媒体に格納されたプログラムコードを読み出し実行することによっても、達成されることは言うまでもない。
【００９２】
この場合、記憶媒体から読み出されたプログラムコード自体が前述した実施形態の機能を実現することになり、そのプログラムコードを記憶した記憶媒体は本発明を構成することになる。また、コンピュータが読み出したプログラムコードを実行することにより、前述した実施形態の機能が実現されるだけでなく、そのプログラムコードの指示に基づき、コンピュータ上で稼働しているオペレーティングシステム（ＯＳ）などが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９３】
さらに、記憶媒体から読み出されたプログラムコードが、コンピュータに挿入された機能拡張カードやコンピュータに接続された機能拡張ユニットに備わるメモリに書込まれた後、そのプログラムコードの指示に基づき、その機能拡張カードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によって前述した実施形態の機能が実現される場合も含まれることは言うまでもない。
【００９４】
本発明を上記記憶媒体に適用する場合、その記憶媒体には、先に説明したフローチャートに対応するプログラムコードが格納されることになる。
【００９５】
【発明の効果】
以上述べたように、侵入物検知手段を設け、侵入物の存在を検知した場合にある時間分だけ獲得した光線情報をキャンセルし、再撮影を行うようにすることで、再構成画像の品質を向上させることが可能となる。
【図面の簡単な説明】
【図１】第１の実施形態の構成を表すブロック図。
【図２】第１の実施形態の処理の流れを示すフローチャート。
【図３】第１の実施形態の各種設定の処理内容を示すフローチャート。
【図４】第１の実施形態の画像獲得処理を表すフローチャート。
【図５】第１の実施形態の画像値獲得処理を表すフローチャート。
【図６】ステップＳ３３で設定される情報を説明するための図。
【図７】基準座標系、再構成画像の姿勢、視点位置、画素数、画角の設定の処理の流れを示すフローチャート。
【図８】座標系の回転と平行移動を説明するための図。
【図９】座標軸の回転方向を示す図。
【図１０】撮像部３をＣＣＤタイプからＣＭＯＳセンサ２７に変更した場合のブロック構成図。
【図１１】第１の実施形態にモニタ手段２８を付加した場合の図。
【図１２】モニタ手段２８のブロック構成図。
【図１３】再構成画像の様子を示す図。
【図１４】補間手段を説明するための図。
【図１５】カメラの概観（背面部分の一例）を表したもの。
【図１６】再構成画像を部分的に解像度を上げる事に関して説明するための図。
【図１７】第３の実施形態にモード設定手段１５と未撮影エリア情報算出手段１６と表示手段１７を追加した場合の実施形態。
【図１８】３次元空間中での未撮影領域とカメラ位置を示す図。
【図１９】本実施形態のカメラの概観（背面部分の一例）を表したもの。
【図２０】未撮影領域情報の表示の一例。
【図２１】未撮影領域情報の表示の一例。
【図２２】未撮影領域情報の表示の一例。
【図２３】侵入物検知手段を追加した場合のブロック構成図。
【図２４】自動侵入物検知手段を追加した場合のブロック構成図。
【図２５】リジューム機能を備えた実施形態のブロック構成図。
【図２６】視点位置設定手段を備えた本発明のブロック構成図。
【図２７】単眼カメラを利用して再構成画像の視点位置・姿勢を指示する処理のフローチャート。
【図２８】光軸の重畳表示を説明するための図。
【図２９】視点位置と撮影範囲を説明するための図。
【図３０】視点位置設定の際に錐体を表示するための処理に関するフローチャート。
【図３１】任意視点画像を生成する手法の原理を説明する図。
【図３２】画像の獲得するためのカメラ配置を示す図。
【図３３】領域設定手段と解像度指定手段を備えた実施形態のブロック図。

Claims

複数の撮影画像から任意の視点からの画像を再構成する画像処理方法であって、
視点位置を設定する設定工程と、
撮影画像を入力する入力工程と、
前記撮影画像から、前記設定された視点位置からの画像を再構成するために必要な光線データを抽出する抽出工程とを備え、
前記再構成画像が生成できるまで、前記入力工程と前記抽出工程を繰り返すようにし、
さらに前記再構成画像の生成状況を報知する工程を有することを特徴とする画像処理方法。
前記生成状況は、全体に対する割合で表示することを特徴とする請求項１記載の画像処理方法。
前記設定工程は、複数の視点位置を設定可能であり、
前記抽出工程は、前記設定された複数の視点位置からの画像を再構成するために必要な光線データを抽出することを特徴とする請求項１記載の画像処理方法。
請求項１または請求項２に記載の画像処理方法をコンピュータによって実現させるための制御プログラムを格納する記憶媒体。
請求項１または請求項２に記載の画像処理方法をコンピュータによって実現させるためのプログラム。
複数の撮影画像から任意の視点からの画像を再構成する画像処理生成装置であって、
視点位置を設定する設定部と、
画像を撮影する画像撮像部と、
前記撮影画像から、前記設定部で設定された視点位置からの画像を再構成するために必要な光線データを抽出する抽出部とを備え、
前記再構成画像が生成できるまで、前記画像撮影部による画像撮影と前記抽出部による必要な光線データの抽出を繰り返すようにし、
さらに前記再構成画像の生成状況を報知する報知部を有することを特徴とする画像生成装置。
前記画像撮影部はＣＣＤセンサを用いることを特徴とする請求項６に記載の画像生成装置。
前記画像撮影部はＣＭＯＳセンサを用いることを特徴とする請求項６に記載の画像生成装置。
複数の撮影画像から任意の視点からの画像を再構成する画像処理方法であって、
視点位置を設定する設定工程と、
撮影画像を入力する入力工程と、
前記撮影画像から、前記設定された視点位置からの画像を再構成するために必要な光線データを抽出する抽出工程と、
再構成途中の画像と前記撮影画像とを表示部に切り替え表示する表示工程とを備えることを特徴とする画像処理方法。
請求項９に記載の画像再生方法をコンピュータによって実現させるための制御プログラムを格納する記憶媒体。
請求項９に記載の画像再生方法をコンピュータによって実現させるための制御プログラム。
複数の撮影画像から任意の視点からの画像を再構成する画像処理装置であって、
視点位置を設定する設定手段と、
撮影画像を入力する入力手段と、
前記撮影画像から、前記設定された視点位置からの画像を再構成するために必要な光線データを抽出する抽出手段と、
再構成途中の画像と前記撮影画像とを表示部に切り替え表示する表示手段とを備えることを特徴とする画像生成装置。