JP5929037B2

JP5929037B2 - 撮像装置

Info

Publication number: JP5929037B2
Application number: JP2011178206A
Authority: JP
Inventors: 篤松浦; 圭伊藤
Original assignee: Ricoh Co Ltd
Current assignee: Ricoh Co Ltd
Priority date: 2011-08-17
Filing date: 2011-08-17
Publication date: 2016-06-01
Anticipated expiration: 2031-08-17
Also published as: JP2013042379A

Description

本発明は、立体画像を撮像することができる撮像装置に関するものである。

立体画像を撮像することができる撮像装置において、いつかの撮像方式が知られている。例えば、２つの撮像光学系を備え、各撮像光学系によって撮像された２つの画像を合成することで、立体画像を生成する撮像装置が知られている（例えば、特許文献１を参照）。または、撮像光学系は１つしか備えないが、この撮像光学系をスライドさせることで擬似的に視差を作り出した２つの画像を撮像し、この２つの画像を合成して立体画像を生成する撮像装置が知られている（例えば、特許文献２を参照）。

特許文献１の撮像装置のように、２つ撮像光学系を備えるものは、小型化に困難性を有するものとなる。また、特許文献２の撮像装置のように、撮像光学系をスライドさせるものは、従来から知られている撮像操作と異なる特殊な操作（撮像光学系のスライド操作）を行う必要が生じるため、撮像操作に困難性を有するものとなる。

本発明は上記の課題に鑑みてなされたものであって、主撮像光学系と副撮像光学系とを備えた撮像装置であって、副撮像光学系によって取得される画像データを活用することで、主撮像光学系において撮像された２次元画像から、３次元画像を生成して記録することができる撮像装置を提供することを目的とする。

ズームレンズを含む撮像レンズを用いて主画像を撮像する撮像装置であって、複数の測距光学系を用いて被写体までの距離を算出し距離マップ画像を生成する距離マップ画像生成手段と、前記主画像と前記距離マップ画像の画像特徴量をそれぞれ算出し、算出した画像特徴量を用いて、前記主画像に前記距離マップ画像が有する前記距離を関連づけた奥行き情報画像を生成する奥行き情報画像生成手段と、前記ズームレンズが望遠位置にあるときに、前記主画像と前記距離マッピング画像とを比較し、前記主画像に含まれていない画像領域に前記距離マップ画像で補完した補完画像を生成する補完画像生成手段と、前記奥行き情報画像から３次元視差画像を生成する立体画像生成手段と、を有し、前記主画像が撮像されたときに前記３次元視差画像を生成して記録する、ことを特徴とする。

本発明によれば、小型化が容易であり、従来の撮像操作と同じ撮像操作によって立体画像の撮像をすることができる。また、本発明によれば、主撮像光学系が望遠撮影を行っても立体画像を撮像することができる。

本発明に係る撮像装置の実施の形態を示す外観斜視図である。上記撮像装置の例を示す機能ブロック図である上記撮像装置が有する測距光学系による距離算出の原理を示す図である。上記撮像装置が有する測距撮像素子に設定される測距エリアの例を示す図である。上記撮像処理が生成する距離マップの例を示す図である。上記撮像装置が実行する撮像処理の例を示すフローチャートである。上記撮像装置が実行する撮像処理において、立体画像の生成処理に係るイメージを示す図である。上記撮像装置が実行する撮像処理において、望遠撮影時に係る立体画像の生成処理のイメージを示す図である。上記撮像装置が実行する撮像処理において、立体画像強度の調整処理に係るイメージを示す図である。

以下、本発明に係る撮像装置の実施形態について図面を用いながら説明する。図１は、本発明に係る撮像装置の実施形態を示す外観斜視図である。図１において、撮像装置１は、撮像レンズを含む主撮像光学系１０と、測距レンズを含む測距光学系２０を筐体の正面に有し、筐体の上面にはレリーズボタン３０を有してなる。

次に、撮像装置１の機能ブロックについて図２を用いて説明する。図２において、撮像装置１は、主撮像光学系１０と、測距光学系２０と、２次元画像獲得部４２と、距離マップ獲得部４３と、画像特徴量算出部４４と、立体情報合成部４５と、画像記録部４６と、前記各部の処理においてワークエリアの働きをするＲＡＭ４７と、撮像装置１の動作に係る制御を行うＣＰＵ４８と、を有してなる。

主撮像光学系１０は、撮像レンズ１１と主撮像素子１１０を有してなる。撮像レンズ１１は、主撮像素子１１０の受光面に被写体像を結像させるレンズである。主撮像素子１１０は、２次元に配列された受光素子からなる受光面を有し、この受光面に撮像レンズ１１を介して結像された被写体像に応じて画像信号（主画像信号）を出力する。

測距光学系２０は、所定の間隔をもって配置された測距レンズ２１および測距レンズ２２と、測距レンズ２１に対向して配置される副撮像素子２１０と、測距レンズ２２に対向して配置される副撮像素子２２０と、を有してなる。測距レンズ２１は、副撮像素子２１０の受光面に被写体像を結像させるレンズであり、測距レンズ２２は、副撮像素子２２０の受光面に被写体像を結像させるレンズである。副撮像素子２１０と副撮像素子２２０は、それぞれ２次元に配列された受光素子からなる受光面を有してなる。副撮像素子２１０と副撮像素子２２０は、それぞれの受光面に結像された被写体像に応じた画像信号（副画像信号）を出力する。各副撮像素子の間隔は、副画像信号によって得られる画像が、後述する距離の算出に必要な視差を確保するために十分な間隔である。

２次元画像獲得部４２は、主画像信号に対する信号処理を行って、２次元の被写体画像である主画像を獲得する（主画像を撮像する）手段を有してなる。

距離マップ獲得部４３は、副画像信号に対して信号処理を行い、被写体までの距離を算出し、この算出された距離に基づいて、２次元の距離マップ画像を獲得する（生成する）手段を有してなる。

測距光学系２０が有する２つの副撮像素子２１０と副撮像素子２２０は、測距レンズ２１および測距レンズ２２の光軸の乖離に合わせて、所定の間隔をあけて配置されており、各受光面は同一直線上に配置されている。図３に示すように、各副撮像素子２１０と副撮像素子２２０の受光面までの距離が異なる２つの被写体である、被写体８１と被写体８２が副撮像素子２１０の受光面に結像する位置と、副撮像素子２２０の受光面に結像する位置は、それぞれ異なる。距離マップ獲得部４３は、この２つの副撮像素子における結像位置の差を用いて三角測量を行い、各被写体までの距離を算出する。

ここで、測距光学系２０を介して得た画像から距離マップ画像を生成する方法について説明をする。図４は、副撮像素子２１０の受光面２１０ａに設定される複数の測距エリア６０を模式的に表した図である。図４において、受光面２１０ａは、受光面２１０ａを縦５列と横５列に分割した２５の測距エリア６０が設定されている。

この測距エリア６０毎に、上記にて説明をした三角測量を用いた距離の算出を行う。測距エリア６０毎に算出された距離を、２次元で分布させたものを距離マップ画像という。距離マップ画像の例を図５に示す。図５に示した各測距エリア６０内の数字は、測距エリア６０毎に算出された距離の逆数を例示している。すなわち、図５において、数字が大きい測距エリア６０ほど測距対象（被写体）までの距離が近いことを表している。距離の逆数を用いることで、距離が算出できないとき（距離が「０」とされたとき）であっても、演算処理を行うことができる。

図２に戻る。画像特徴量算出部４４は、主撮像光学系１０によって獲得された主画像と測距光学系２０によって獲得された距離マップ画像の画像特徴量を算出する。

立体情報合成部４５は、画像特徴量算出部４４によって算出された各画像特徴量を用いて主画像と距離マップ画像が有する距離を関連づけた２次元奥行き情報画像を生成し、この２次元奥行き情報画像から３次元視差画像である立体画像を生成する。

画像記録部４６は、立体情報合成部４５において生成された立体画像を記録する手段である。画像記録部４６は例えば、撮像装置１が備える外部記憶装置である。なお、画像記録部４６は、主撮像光学系１０によって獲得された主画像も記録する。

次に本発明に係る撮像装置において実行される撮像処理の実施例について、図６のフローチャートを用いて説明する。図６において、各処理ステップはＳ１０１、Ｓ１０２・・のように表記する。撮像装置１は、測距光学系２０によって、動作中は常に被写体までの距離を算出する。算出された距離は、主撮像光学系１０のフォーカス調整のための情報となる(Ｓ１０１)。撮像装置１は、ユーザによってレリーズボタン３０が押されるまで（Ｓ１０２のＮＯ）、処理Ｓ１０１を繰り返す。

ユーザによってレリーズボタン３０が押されると（Ｓ１０２のＹＥＳ）、撮像装置１は、主撮像光学系１０の撮像レンズ１１を介して主撮像素子１１０の受光面に結像された被写体像から２次元画像（主画像）を獲得する(Ｓ１０３)。また、レリーズボタン３０が押されたことを受けて（Ｓ１０２のＹＥＳ）、Ｓ１０１で得られた測距結果から距離マップ画像を生成する(Ｓ１０４)。

続いて、画像特徴量算出部４４が、主画像の画像特徴量と、距離マップ画像の画像特徴量を算出する（Ｓ１０５）。続いて、立体情報合成部４５が、それぞれの画像特徴量を用いて、主画像と距離マップ画像の画像ブロックを対応させて、主画像の各画像ブロックに対して、距離マップ画像の各画像ブロックの距離を関連づける処理（マッピング処理）を行い、２次元奥行き情報画像を生成する（Ｓ１０６）。

続いて撮像装置１は、生成された２次元奥行き情報画像から立体画像を生成して、画像記録部４６に記録する(Ｓ１０７)。

以上のように本実施例に係る撮像装置１は、撮像光学系を複数備えなくても、撮像光学系によって撮像された主画像に対し、撮像光学系の合焦に用いる被写体までの距離を算出する測距光学系が取得する副画像を用いて、主画像に対して奥行き情報を与えて、この奥行き情報が関連づけられた主画像から立体画像の生成をすることができる。

ここで、撮像装置１が実行する上記立体画像の生成処理フローについて、図７のイメージ図を用いて説明する。図７において、符号３０は主画像の例を示している。また、符号３１は距離マップ画像の例を示している。主画像３０は、当該画像に含まれる各被写体の奥行方向に関する情報が含まれておらず、２次元画像データである。副撮像素子２１０と副撮像素子２２０によって得られた被写体までの距離を用いて生成された距離マップ画像３１は、主画像に含まれる各被写体の画像に対して、距離に係る情報を有している画像である。

主画像３０と距離マップ画像３１の解像度は異なり、主画像３０の解像度の方が高いから、この主画像３０と距離マップ画像３１のＳＩＦＴ特徴などに代表される画像特徴量を算出し、主画像３０に含まれる画像ブロックと、距離マップ画像３１に含まれる画像ブロックを対応させて、主画像３０に含まれる各画像ブロックに対して距離マップ画像３１に含まれる距離に係る情報を関連づける処理（マッピング処理）を行う（図６のＳ１０６）。

このマッピング処理（図６のＳ１０６）によって、２次元画像データである主画像に奥行き方向に関する情報（距離）が付加された２次元奥行き情報画像３２が生成される。

この２次元奥行き情報画像３２に対して、両眼視差を算出し、左目用画像３３と右目用画像３４を生成する。つまり、立体画像は、左目用画像３３と右目用画像３４を有してなる。本実施例においては、主撮像素子１１０によって獲得された主画像３０と、この主画像３０と同じサイズの奥行き情報を持った２次元画像をアフィン変換等の幾何変換を用いて、両眼視差画像(立体画像)に変換する。

本実施例に係る撮像装置は、主撮像光学系１０が有するズームレンズが、望遠端にあっても、ワイド端にあるときと同様の立体画像を生成することができる。図８は、ズームレンズがワイド端にあるときの主撮像光学系１０に係る主画像の画角５０と、測距光学系２０に係る距離マップ画像の画角５２の例を示している。図８（ａ）に示すように、ズームレンズがワイド端にあるときは、主画像の画角５０と、距離マップ画像の画角５２は同じであり、各画像に含まれる被写体の範囲は同じである。

図８（ｂ）は、主撮像光学系１０が備えるズームレンズが、ズーム端（望遠端）にあるときの、主画像の画角５１と、距離マップ画像の画角５２の例を示している。図８（ｂ）に示すように、ズームレンズが望遠端にあるときの主画像の画角５１は、ズームレンズがワイド端にあるときの画角５０に比べて狭くなる。よって、図８（ｂ）に示すように、ズームレンズが望遠端にあるときは、主画像の画角５１と距離マップ画像の画角５２は異なり、画角５１は画角５２に比べて、狭くなる。換言すれば、ズームレンズが望遠端にあるときは、主画像には含まれないが距離マップ画像には含まれる被写体５４がある。

主画像と距離マップ画像をマッピングするときには、主画像に含まれる画像ブロックと距離マップ画像に含まれる画像ブロックの対応が判定できる状態になければならない。ズームレンズが望遠端にあるとき、主画像と距離マップ画像のマッピングは、主画像と距離マップ画像の画像特徴量を算出することで、ズームレンズが広角側にある場合と同様に行うことができる。即ち、画像中のどの部分がマッチングするかは、画角５１内の画像については行うことができ、画角５１内の画像については２次元奥行き情報画像を生成することができる。よって、画角５１内の画像について立体画像を生成することができる。また、画角５１から外れる被写体５４も含まれる立体画像をユーザが希望する場合には、画角５１から外れる被写体５４を、距離マップ画像によって補完する。

補完処理は図示しない補完画像生成手段によって実行されて、補完画像が生成される。補完画像生成手段は、ズームレンズが望遠端にあるとき、画角５１からなる主画像と、画角５２からなる距離マッピング画像とを比較して、画角５２内に含まれる画像のうち、画角５１に相当する画像領域を特定し、距離マッピング画像に含まれる画像であって、この画像領域からはみ出している画像を、画角５１内の画像の周囲に配置して補完画像を生成する。

生成された補完画像の画像特徴量を算出し、また、距離マップ画像の画像特徴量を算出して、この２つの画像特徴量を用いて、補完画像に距離マップ画像が有する距離を関連づけた２次元奥行き情報画像を生成する。なお、２次元奥行き情報画像は、画角５１内の画像については主画像と距離マップ画像の画像特徴量を算出することで生成して、補完した部分については単に距離マップ画像が有する距離を関連付けることで生成してもよい。生成された２次元奥行き画像から３次元視差画像を生成して、立体画像を生成する。このように、本実施例に係る撮像装置２によれば、ズームレンズが望遠端にある状態で撮像された主画像に対して、奥行き情報を適切に付加することができ、ユーザが希望する場合には画角５１から外れる被写体５４も含まれる立体画像を生成することができる。

従来の２つの主撮像光学系を利用して立体画像を撮影可能な撮像装置においては、ズーム倍率を高くすると画角が狭くなり、２つの撮像光学系の画角の重なる範囲が狭くなる。これによって、視差が生まれる範囲が狭くなり、場合によっては、画角の重なる範囲が無くなって、視差が生まれる範囲もなくなることもあり得る。視差情報が少ないと被写体への距離情報を十分に得られず立体画像の取得をすることができなくなる。また、仮に、２つの光学系の距離が十分離れて配置されていて、ズームを行っても視差が生じる範囲が十分にあれば、立体画像を取得することはできるが、そのような構成においては、２つの主撮像光学系のズーム位置を正確に同期させる必要が生じる。この点において、本発明に係る撮像装置は、従来の撮像装置の課題を解決しており、ズーム撮影をしても、立体画像を生成することができる。

また、本発明に係る撮像装置は、主撮像光学系１０を用いて２次元画像データである主画像を獲得し、この獲得された主画像に対して、距離に係る情報を付加することで立体画像を生成するものである。そのため、この立体画像生成処理において、被写体に係る画像の距離の情報と背景に係る画像の距離の情報の相関を調整することで、３次元強度の調整をすることができる。

図９は本実施例に係る撮像装置が生成する立体画像に係る３次元強度の調整処理の例を示すイメージ図である。図９において、横軸は、主画像に含まれる被写体の距離と背景の距離を表している。図９において、被写体に係る画像ブロックを符号７１で表し、背景に係る画像ブロックを符号７２に表している。

図９（ａ）は、３次元強度を変更していないときの、被写体画像ブロック７１と背景画像ブロック７２の例を表している。立体画像において、「３次元強度を強くする」とは、前景に当たる被写体画像ブロック７１と背景画像ブロック７２とが、通常の状態よりも相対的に離れることをいう。被写体画像ブロック７１と背景画像ブロック７２が離れるということは、被写体画像ブロック７１に係る距離と、背景画像ブロック７２に係る距離の差が大きくなることを意味する。これによって、画像全体の奥行きが深く感じ取れる画像となる。すなわち、図９（ｂ）に示すように、被写体画像ブロック７１と背景画像ブロック７２が離れると３次元強度が強くなる。

これとは逆に、図９（ｃ）に示すように、被写体画像ブロック７１と背景画像ブロック７２を近づかせると、「３次元強度を弱くする」ことになる。すなわち、被写体画像ブロック７１と背景画像ブロック７２に係る距離の差を小さくすれば、３次元強度を弱くすることができる。

３次元強度を強くする調整処理は、例えば、距離マップ画像の生成処理（Ｓ１０４）において、当該処理で算出された各画像ブロックの距離に対し、予め規定した閾値を超えるか否かの判定処理を行う。さらに、閾値を超えた画像ブロックの距離に対しては、所定の値を加算する処理を行なえばよい。この一連の処理によって、相対的に画像ブロック同士の距離の差を大きくする結果となり、３次元強度を強くすることができる。

また、例えば、距離マップ画像の生成処理（Ｓ１０４）において、当該処理で算出された各画像ブロックの距離に対し、予め規定した閾値を超えるか否かの判定処理と、閾値を超えない画像ブロックの距離に対しては、所定の値を減算する処理を行なえばよい。この一連の処理によって、相対的に画像ブロック同士の距離の差を大きくする結果となり、３次元強度を強くすることができる。

３次元強度を弱くする調整処理は、３次元強度を強くする調整処理とは逆の処理を行えばよい。例えば、距離マップ画像の生成処理（Ｓ１０４）において、当該処理で算出された各画像ブロックの距離に対し、予め規定した閾値を超えるか否かの判定処理と、閾値を超えない画像ブロックの距離に対しては、所定の値を加算する処理を行なえばよい。この一連の処理によって、相対的に画像ブロック同士の距離の差を小さくする結果となり、３次元強度を弱くすることができる。

また、例えば、距離マップ画像の生成処理（Ｓ１０４）において、当該処理で算出された各画像ブロックの距離に対し、予め規定した閾値を超えるか否かの判定処理と、閾値を超えた画像ブロックの距離に対しては、所定の値を減算する処理を行なえばよい。この一連の処理によって、相対的に画像ブロック同士の距離の差を小さくする結果となり、３次元強度を弱くすることができる。

以上のように、本発明に係る撮像装置は、測距光学系が取得する距離に係るデータと、主撮像光学系が取得する被写体の画像データを用いて、３次元立体画像を生成することができる。従って、本発明に係る撮像装置においては、主撮像光学系を複数備える必要も、撮影処理時に主撮像光学系をスライドさせるなどの特殊な操作をすることなく、立体画像を得ることができる。

１０主撮像光学系
２０測距光学系
４２２次元画像獲得部
４３距離マップ獲得部
４４立体情報合成部
４５画像記録部

特開２０１０−１７７９２１号公報特開２０１０−２３９５６４号公報

Claims

ズームレンズを含む撮像レンズを用いて主画像を撮像する撮像装置であって、
複数の測距光学系を用いて被写体までの距離を算出し距離マップ画像を生成する距離マップ画像生成手段と、
前記主画像と前記距離マップ画像の画像特徴量をそれぞれ算出し、算出した画像特徴量を用いて、前記主画像に前記距離マップ画像が有する前記距離を関連づけた奥行き情報画像を生成する奥行き情報画像生成手段と、
前記ズームレンズが望遠位置にあるときに、前記主画像と前記距離マッピング画像とを比較し、前記主画像に含まれていない画像領域に前記距離マップ画像で補完した補完画像を生成する補完画像生成手段と、
前記奥行き情報画像から３次元視差画像を生成する立体画像生成手段と、を有し、
前記主画像が撮像されたときに前記３次元視差画像を生成して記録する、
ことを特徴とする撮像装置
前記測距光学系が有する副撮像素子は、前記主画像の撮像に用いられる撮像素子に比べて最大画素数が少ないことを特徴とする請求項１記載の撮像装置。
前記距離マップ画像生成手段は、
三角測量を用いて前記距離を算出することを特徴とする請求項１記載の撮像装置。
前記撮像レンズは、フォーカスレンズを有し、
前記距離に応じたフォーカス位置に、上記フォーカスレンズを移動させるオートフォーカス手段を、有することを特徴とする請求項１記載の撮像装置。