JP3907891B2 - 画像撮像装置及び画像処理装置 - Google Patents

画像撮像装置及び画像処理装置 Download PDF

Info

Publication number
JP3907891B2
JP3907891B2 JP32170199A JP32170199A JP3907891B2 JP 3907891 B2 JP3907891 B2 JP 3907891B2 JP 32170199 A JP32170199 A JP 32170199A JP 32170199 A JP32170199 A JP 32170199A JP 3907891 B2 JP3907891 B2 JP 3907891B2
Authority
JP
Japan
Prior art keywords
subject
image
unit
depth
parallax
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
JP32170199A
Other languages
English (en)
Other versions
JP2001141423A (ja
Inventor
修司 小野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP32170199A priority Critical patent/JP3907891B2/ja
Priority to US09/708,582 priority patent/US6876762B1/en
Publication of JP2001141423A publication Critical patent/JP2001141423A/ja
Application granted granted Critical
Publication of JP3907891B2 publication Critical patent/JP3907891B2/ja
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/50Depth or shape recovery
    • G06T7/55Depth or shape recovery from multiple images
    • G06T7/593Depth or shape recovery from multiple images from stereo images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10004Still image; Photographic image
    • G06T2207/10012Stereo images

Description

【0001】
【発明の属する技術分野】
本発明は、被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像処理方法、及び記録媒体に関する。特に本発明は、視差画像に基づいて被写体の奥行きに関する情報を取得する画像撮像装置、画像処理装置、画像処理方法、及び記録媒体に関する。
【0002】
【従来の技術】
被写体の位置情報を得るために、人間の両眼立体視の機能を真似て、カメラを2台並べて、異なる2つの視点から被写体を見た場合の視差画像を撮影し、被写体の奥行き値を測定するステレオ撮影の技法が古くからある。視点位置の違いから、被写体の像の位置が視差画像上でずれることを検出し、像の位置ずれとカメラのレンズの焦点距離に基づいて、3角測量の原理によりカメラから被写体までの距離を測定する。また、特許2611173号公報(登録日平成9年2月27日)には少なくとも3つの撮像装置を用いて移動物の位置を測定する方法が開示されている。
【0003】
【発明が解決しようとする課題】
しかしながら、カメラを2台並べても、レンズの視野角の限界のため、視点の移動方向に視差の死角領域が発生し、広い視野にわたる被写体の奥行き情報を高い精度で得ることができないという問題を生じていた。また、特許2611173号公報に開示された方法では、移動物の位置座標を確定するために、少なくとも3つの撮像装置による撮影を必須とするため、装置が大掛かりになり、計算にかかる処理コストが大きくなるという問題がある。
【0004】
そこで本発明は、上記の課題を解決するために、広い視野にわたって被写体の奥行きに関する情報を取得することのできる画像撮像装置、画像処理装置、画像処理方法、及び記録媒体を提供することを目的とする。この目的は特許請求の範囲における独立項に記載の特徴の組み合わせにより達成される。また従属項は本発明の更なる有利な具体例を規定する。
【0005】
【課題を解決するための手段】
上記課題を解決するために、本発明の第1の形態においては、被写体の奥行きに関する情報を取得する画像撮像装置であって、同一直線上にない3以上の異なる視点位置から被写体を見た場合に得られる被写体の3以上の視差画像を撮像する撮像部と、3以上の視差画像の任意の2枚の視差画像における被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、位置ずれ検出部が検出した複数の位置ずれに基づいて、被写体の特定領域の奥行きを算出する奥行き算出部とを備えたことを特徴とする。
【0006】
奥行き算出部は、被写体の特定領域毎に、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行き値を算出してもよい。
【0007】
奥行き算出部は、被写体の特定領域を3以上の視点位置の略中心の位置から見た場合の方位によって、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行き値を算出してもよい。
【0008】
奥行き算出部は、被写体の特定領域が、3以上の視点位置の特定の2つの視点位置を結ぶ直線の方向に近いほど、特定の2つの視点位置から見た場合の特定の2枚の視差画像において検出される位置ずれの考慮の割合を小さくし、被写体の特定領域が、特定の2つの視点位置を結ぶ線分の中点を通り線分と垂直に交わる平面に近いほど、特定の2枚の視差画像において検出される位置ずれの考慮の割合を大きくして、被写体の特定領域の奥行き値を算出してもよい。
【0009】
奥行き算出部は、被写体の特定領域の方位角が、3以上の視点位置の特定の2つの視点位置間の中点から見た場合に、30°より小さくなる場合に、特定の2つの視点位置から見た場合の特定の2枚の視差画像において検出される位置ずれに基づいて、被写体の特定領域の奥行き値を算出してもよい。
【0010】
視点位置は3箇所であり、3箇所の視点位置間を結ぶ3角形が略正3角形であってもよい。
【0011】
撮像部は、同一直線上にない3以上の視点位置に視野角の広い3以上の光学レンズを設け、3以上の光学レンズによって被写体の3以上の視差画像を撮像してもよい。光学レンズの設置位置は3箇所であり、3箇所の設置位置を結ぶ3角形が略正3角形であってもよい。
【0012】
撮像部は、視野角の広い光学レンズを有し、光学レンズを同一直線上にない3以上の視点位置に移動させる駆動部をさらに備え、撮像部は、駆動部が光学レンズを3以上の視点位置に移動させた場合に、被写体の3以上の視差画像を撮像してもよい。駆動部は、光学レンズの移動軌跡が円形になるように移動させ、円形の移動軌跡上の3以上の点を3以上の視点位置としてもよい。光学レンズの円形の移動軌跡上の3点を視点位置とし、3点の視点位置を結ぶ3角形が略正三角形であってもよい。
【0013】
撮像部は、2つの異なる視点位置に2つの視野角の広い光学レンズを設け、2つの光学レンズのいずれか一方を2つの異なる視点位置を結ぶ直線上にはない他の視点位置に移動させる駆動部をさらに備え、撮像部は、2つの光学レンズによって被写体の視差画像を撮像し、駆動部が2つの光学レンズのいずれか一方を移動させた場合に、被写体の視差画像を撮像することによって3以上の視差画像を撮像してもよい。駆動部は、2つの光学レンズのいずれか一方を直線移動させた点を第3の視点位置とし、2つの光学レンズの移動前の2つの視点位置と第3の視点位置とを結ぶ3角形が略正3角形であってもよい。
【0014】
3以上の視点位置における光学レンズの光軸方向は同一であってもよい。光学レンズは魚眼レンズであり、奥行き算出部は、撮像部が魚眼レンズによって撮像する被写体の全方位の領域について奥行きを算出してもよい。
【0015】
本発明の第2の形態においては、被写体の奥行きに関する情報を取得する画像処理装置であって、同一線上にない3以上の異なる視点位置から被写体を見た場合に得られる被写体の3以上の視差画像を入力する入力部と、3以上の視差画像の任意の2枚の視差画像における被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、被写体の特定領域毎に、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行きを算出する奥行き算出部とを備えたことを特徴とする。
【0016】
奥行き算出部が算出した被写体の特定領域の奥行きに基づいて、入力部が入力する被写体の画像の座標変換を行うことにより画像を変換する画像変換部をさらに備えてもよい。
【0017】
入力部が入力する被写体の画像が魚眼レンズによって被写体を撮像した全方位画像である場合に、画像変換部は、座標変換によって、全方位画像を透視投影画像に変換してもよい。画像変換部は、座標変換によって、被写体の正投影画像を生成してもよい。
【0018】
本発明の第3の形態においては、被写体の奥行きに関する情報を取得する画像処理方法であって、同一線上にない3以上の異なる視点位置から被写体を見た場合に得られる被写体の3以上の視差画像を入力し、3以上の視差画像の任意の2枚の視差画像における被写体の特定領域の像の複数の位置のずれを検出し、被写体の特定領域毎に、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行きを算出することを特徴とする。
【0019】
本発明の第4の形態においては、被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、プログラムが、同一線上にない3以上の異なる視点位置から被写体を見た場合に得られる被写体の3以上の視差画像を入力させる入力モジュールと、3以上の視差画像の任意の2枚の視差画像における被写体の特定領域の像の複数の位置のずれを検出させる位置ずれ検出モジュールと、被写体の特定領域毎に、複数の位置ずれを考慮する割合を変えて、被写体の特定領域の奥行きを算出させる奥行き情報算出モジュールとを備えたことを特徴とする。
【0020】
なお上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではなく、これらの特徴群のサブコンビネーションも又発明となりうる。
【0021】
【発明の実施の形態】
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではなく、また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。
【0022】
(実施形態1)
本発明の第1の実施形態を説明する。図1は、画像撮像装置の一例としてのデジタルカメラ10の構成図である。デジタルカメラ10には、デジタルスチルカメラや静止画像を撮影できるデジタルビデオカメラ等が含まれる。デジタルカメラ10は、主に撮像ユニット20、撮像制御ユニット40、処理ユニット60、表示ユニット100、および操作ユニット110を含む。
【0023】
撮像ユニット20は、撮影および結像に関する機構部材および電気部材を含む。撮像ユニット20はまず、映像を取り込んで処理を施す撮影レンズ22、絞り24、シャッタ26、光学LPF(ローパスフィルタ)28、固体撮像素子の一例であるCCD30、および撮像信号処理部32を含む。撮影レンズ22は、フォーカスレンズやズームレンズ等からなる。この構成により、被写体像がCCD30の受光面上に結像する。結像した被写体像の光量に応じ、CCD30の各センサエレメント(図示せず)に電荷が蓄積される(以下その電荷を「蓄積電荷」という)。蓄積電荷は、リードゲートパルスによってシフトレジスタ(図示せず)に読み出され、レジスタ転送パルスによって電圧信号として順次読み出される。
【0024】
デジタルカメラ10は一般に電子シャッタ機能を有するので、シャッタ26のような機械式シャッタは必須ではない。電子シャッタ機能を実現するために、CCD30にシャッタゲートを介してシャッタドレインが設けられる。シャッタゲートを駆動すると蓄積電荷がシャッタドレインに掃き出される。シャッタゲートの制御により、各センサエレメントに電荷を蓄積するための時間、すなわちシャッタ速度が制御できる。
【0025】
CCD30から出力される電圧信号、すなわちアナログ信号は撮像信号処理部32でR、G、B成分に色分解され、まずホワイトバランスが調整される。つづいて撮像信号処理部32はガンマ補正を行い、必要なタイミングでR、G、B信号を順次A/D変換し、その結果得られたデジタルの画像データ(以下単に「デジタル画像データ」とよぶ)を処理ユニット60へ出力する。
【0026】
撮像ユニット20はさらに、ファインダ34とストロボ36を有する。ファインダ34には図示しないLCDを内装してもよく、その場合、後述のメインCPU62等からの各種情報をファインダ34内に表示できる。ストロボ36は、コンデンサ(図示せず)に蓄えられたエネルギが放電管36aに供給されたときそれが発光することで機能する。
【0027】
撮像制御ユニット40は、レンズ駆動部42、フォーカス駆動部44、絞り駆動部46、シャッタ駆動部48、それらを制御する撮像系CPU50、測距センサ52、および測光センサ54をもつ。レンズ駆動部42などの駆動部は、それぞれステッピングモータ等の駆動手段を有する。後述のレリーズスイッチ114の押下に応じ、測距センサ52は被写体までの距離を測定し、測光センサ54は被写体輝度を測定する。測定された距離のデータ(以下単に「測距データ」という)および被写体輝度のデータ(以下単に「測光データ」という)は撮像系CPU50へ送られる。撮像系CPU50は、ユーザから指示されたズーム倍率等の撮影情報に基づき、レンズ駆動部42とフォーカス駆動部44を制御して撮影レンズ22のズーム倍率とピントの調整を行う。また撮像系CPU50は、視差画像を撮像するために、レンズ駆動部42を制御して撮影レンズ22の位置を移動させる。
【0028】
撮像系CPU50は、1画像フレームのRGBのデジタル信号積算値、すなわちAE情報に基づいて絞り値とシャッタ速度を決定する。決定された値にしたがい、絞り駆動部46とシャッタ駆動部48がそれぞれ絞り量の調整とシャッタ26の開閉を行う。
【0029】
撮像系CPU50はまた、測光データに基づいてストロボ36の発光を制御し、同時に絞り26の絞り量を調整する。ユーザが映像の取込を指示したとき、CCD30が電荷蓄積を開始し、測光データから計算されたシャッタ時間の経過後、蓄積電荷が撮像信号処理部32へ出力される。
【0030】
処理ユニット60は、デジタルカメラ10全体、とくに処理ユニット60自身を制御するメインCPU62と、これによって制御されるメモリ制御部64、YC処理部70、オプション装置制御部74、圧縮伸張処理部78、通信I/F部80を有する。メインCPU62は、シリアル通信などにより、撮像系CPU50との間で必要な情報をやりとりする。メインCPU62の動作クロックは、クロック発生器88から与えられる。クロック発生器88は、撮像系CPU50、表示ユニット100に対してもそれぞれ異なる周波数のクロックを提供する。
【0031】
メインCPU62には、キャラクタ生成部84とタイマ86が併設されている。タイマ86は電池でバックアップされ、つねに日時をカウントしている。このカウント値から撮影日時に関する情報、その他の時刻情報がメインCPU62に与えられる。キャラクタ生成部84は、撮影日時、タイトル等の文字情報を発生し、この文字情報が適宜撮影画像に合成される。
【0032】
メモリ制御部64は、不揮発性メモリ66とメインメモリ68を制御する。不揮発性メモリ66は、EEPROM(電気的消去およびプログラム可能なROM)やFLASHメモリなどで構成され、ユーザーによる設定情報や出荷時の調整値など、デジタルカメラ10の電源がオフの間も保持すべきデータが格納されている。不揮発性メモリ66には、場合によりメインCPU62のブートプログラムやシステムプログラムなどが格納されてもよい。一方、メインメモリ68は一般にDRAMのように比較的安価で容量の大きなメモリで構成される。メインメモリ68は、撮像ユニット20から出力されたデータを格納するフレームメモリとしての機能、各種プログラムをロードするシステムメモリとしての機能、その他ワークエリアとしての機能をもつ。不揮発性メモリ66とメインメモリ68は、処理ユニット60内外の各部とメインバス82を介してデータのやりとりを行う。
【0033】
YC処理部70は、デジタル画像データにYC変換を施し、輝度信号Yと色差(クロマ)信号B−Y、R−Yを生成する。輝度信号と色差信号はメモリ制御部64によってメインメモリ68に一旦格納される。圧縮伸張処理部78はメインメモリ68から順次輝度信号と色差信号を読み出して圧縮する。こうして圧縮されたデータ(以下単に「圧縮データ」という)は、オプション装置制御部74を介してオプション装置76の一種であるメモリカードへ書き込まれる。
【0034】
処理ユニット60はさらにエンコーダ72をもつ。エンコーダ72は輝度信号と色差信号を入力し、これらをビデオ信号(NTSCやPAL信号)に変換してビデオ出力端子90から出力する。オプション装置76に記録されたデータからビデオ信号を生成する場合、そのデータはまずオプション装置制御部74を介して圧縮伸張処理部78へ与えられる。つづいて、圧縮伸張処理部78で必要な伸張処理が施されたデータはエンコーダ72によってビデオ信号へ変換される。
【0035】
オプション装置制御部74は、オプション装置76に認められる信号仕様およびメインバス82のバス仕様にしたがい、メインバス82とオプション装置76の間で必要な信号の生成、論理変換、または電圧変換などを行う。デジタルカメラ10は、オプション装置76として前述のメモリカードのほかに、例えばPCMCIA準拠の標準的なI/Oカードをサポートしてもよい。その場合、オプション装置制御部74は、PCMCIA用バス制御LSIなどで構成してもよい。
【0036】
通信I/F部80は、デジタルカメラ10がサポートする通信仕様、たとえばUSB、RS−232C、イーサネット、Bluetooth、IrDAなどの仕様に応じたプロトコル変換等の制御を行う。通信I/F部80は、必要に応じてドライバICを含み、ネットワークを含む外部機器とコネクタ92を介して通信する。そうした標準的な仕様のほかに、例えばプリンタ、カラオケ機、ゲーム機等の外部機器との間で独自のI/Fによるデータ授受を行う構成としてもよい。
【0037】
表示ユニット100は、LCDモニタ102とLCDパネル104を有する。それらはLCDドライバであるモニタドライバ106、パネルドライバ108によってそれぞれ制御される。LCDモニタ102は、例えば2インチ程度の大きさでカメラ背面に設けられ、現在の撮影や再生のモード、撮影や再生のズーム倍率、電池残量、日時、モード設定のための画面、被写体画像などを表示する。LCDパネル104は例えば小さな白黒LCDでカメラ上面に設けられ、画質(FINE/NORMAL/BASICなど)、ストロボ発光/発光禁止、標準撮影可能枚数、画素数、電池容量などの情報を簡易的に表示する。
【0038】
操作ユニット110は、ユーザーがデジタルカメラ10の動作やそのモードなどを設定または指示するために必要な機構および電気部材を含む。パワースイッチ112は、デジタルカメラ10の電源のオンオフを決める。レリーズスイッチ114は、半押しと全押しの二段階押し込み構造になっている。一例として、半押しでAFおよびAEがロックし、全押しで撮影画像の取込が行われ、必要な信号処理、データ圧縮等の後、メインメモリ68、オプション装置76等に記録される。操作ユニット110はこれらのスイッチの他、回転式のモードダイヤルや十字キーなどによる設定を受け付けてもよく、それらは図1において機能設定部116と総称されている。操作ユニット110で指定できる動作または機能の例として、「ファイルフォーマット」、「特殊効果」、「印画」、「決定/保存」、「表示切換」等がある。ズームスイッチ118は、ズーム倍率を決める。
【0039】
以上の構成による主な動作は以下のとおりである。まずデジタルカメラ10のパワースイッチ112がオンされ、カメラ各部に電力が供給される。メインCPU62は、機能設定部116の状態を読み込むことで、デジタルカメラ10が撮影モードにあるか再生モードにあるかを判断する。
【0040】
カメラが撮影モードにあるとき、メインCPU62はレリーズスイッチ114の半押し状態を監視する。半押し状態が検出されたとき、メインCPU62は測光センサ54および測距センサ52からそれぞれ測光データと測距データを得る。得られたデータに基づいて撮像制御ユニット40が動作し、撮影レンズ22のピント、絞りなどの調整が行われる。調整が完了すると、LCDモニタ102に「スタンバイ」などの文字を表示してユーザーにその旨を伝え、つづいてレリーズスイッチ114の全押し状態を監視する。レリーズスイッチ114が全押しされると、所定のシャッタ時間をおいてシャッタ26が閉じられ、CCD30の蓄積電荷が撮像信号処理部32へ掃き出される。撮像信号処理部32による処理の結果生成されたデジタル画像データはメインバス82へ出力される。デジタル画像データは一旦メインメモリ68へ格納され、この後YC処理部70と圧縮伸張処理部78で処理を受け、オプション装置制御部74を経由してオプション装置76へ記録される。記録された画像は、フリーズされた状態でしばらくLCDモニタ102に表示され、ユーザーは撮影画像を知ることができる。以上で一連の撮影動作が完了する。
【0041】
一方、デジタルカメラ10が再生モードの場合、メインCPU62は、メモリ制御部64を介してメインメモリ68から最後に撮影した画像を読み出し、これを表示ユニット100のLCDモニタ102へ表示する。この状態でユーザーが機能設定部116にて「順送り」、「逆送り」を指示すると、現在表示している画像の前後に撮影された画像が読み出され、LCDモニタ102へ表示される。
【0042】
本実施形態において、撮像ユニット20は、同一直線上にない3以上の異なる視点位置から被写体の視差画像を撮像する。図2は、撮像ユニット20の撮影レンズ22の構成の一例である。これは撮影レンズ22をデジタルカメラ10の正面から見た図である。撮影レンズ22は異なる視点位置に配置された3つの撮影レンズ22a、22b、22cである。死角を作らずに広い視野にわたって被写体を撮影するために、3つの撮影レンズ22a、22b、22cが配置される位置は、正3角形の頂点であることが好ましい。
【0043】
撮影レンズ22は、視野角の広い光学レンズであることが好ましく、広角レンズまたは魚眼レンズ等であってもよい。魚眼レンズは視野角が180度に達するように設計されており、広い視野の被写体を撮影する上で最も好ましい。また、撮影レンズ22は、同一の光軸を有する複数の光学レンズによって構成された光学レンズ系であってもよい。
【0044】
撮像ユニット20のCCD30は、各々の撮影レンズ22a、22b、22cに対して別個に設けられ、それぞれの撮影レンズ22a、22b、22cが結像する被写体の像を受光してもよい。また、3つの撮影レンズ22a、22b、22cが結像する被写体の像を受光できる共通のCCD30を1つ設けてもよい。
【0045】
本実施形態のCCD30は、固体撮像素子の一例である。固体撮像素子は、半導体化および集積化された撮像素子で、構造上、半導体基板上に光電変換と電荷の蓄積機能をもった画素群を二次元的に配列したものである。固体撮像素子は、撮影レンズ22によって結像された光を受光し、光電変換作用によって電荷を蓄積する。蓄積された電荷像は一定の順序に走査され、電気信号として読み出される。
【0046】
固体撮像素子は、基本的に、外部から入射する光を受光して光電変換を行うための受光素子部を含む半導体素子と、半導体素子を収納するパッケージと、受光素子部への光の入射を可能にするため、パッケージの半導体素子と対向する位置に配置された透明保護部材と、透明保護部材の外側表面あるいは内側において、透明保護部材よりも高い遮光性を有する遮光部材から構成されていることが好ましい。これにより、撮像される画像の品質を向上させることができる。さらに透明保護部はマイクロレンズの機能を持つことにより、結像される画像の解像度を向上させてもよい。受光素子部と透明保護部の間に、または、透明保護部の上または透明保護部中にカラーフィルタを設け、カラーの画像を撮像できるようにしてもよい。
【0047】
本実施形態のCCD30は、視差画像における視差を正確に検出できるように、解像度が十分に高い電荷結合素子(CCD)1次元イメージセンサ(リニアセンサ)又は2次元イメージセンサ(エリアセンサ)イメージセンサであることが望ましい。固体撮像素子としてCCD以外に、MOSイメージセンサ、CdS−Se密着型イメージセンサ、a−Si(アモルファスシリコン)密着型イメージセンサ、又はバイポーラ密着型イメージセンサのいずれかを用いてもよい。
【0048】
さらに、撮影レンズ22は視差撮影用の光学レンズ系以外に本撮影用の光学レンズ系を有し、本撮影用の光学レンズ系と視差撮影用の撮影レンズ系が、被写体の画像及び視差画像をそれぞれ異なる2つのCCD30に撮像してもよい。本撮影用の光学レンズ系は、標準の光学レンズであってもよく、視野角の広い広角レンズまたは魚眼レンズであってもよい。本撮影用の光学レンズ系が像を受光させるCCD30と、視差撮影用の光学レンズ系が像を受光させるCCD30とで、CCDの解像度や感度が異なっていてもよい。
【0049】
図3は、撮像ユニット20の撮影レンズ22の構成の他の例である。撮影レンズ22が1つ設けられ、レンズ駆動部42が撮影レンズ22を移動させて、被写体を異なる視点から見た場合の視差画像をCCD30に撮像する。死角を作らずに広い視野にわたって被写体を撮影するために、レンズ駆動部42は、撮影レンズ22を正3角形の頂点の位置に移動させることが好ましい。
【0050】
図4は、撮像ユニット20の撮影レンズ22の構成の他の例である。撮影レンズ22が1つ設けられ、レンズ駆動部42が撮影レンズ22を円軌道を描くように移動させ、円軌道上の適当な位置で停止し、被写体を異なる視点から見た場合の視差画像をCCD30に撮像する。死角を作らずに広い視野にわたって被写体を撮影するためには、撮影レンズ22の停止位置は円軌道に内接する正3角形の3つの頂点の位置にあれば十分である。したがって、レンズ駆動部42は、撮影レンズ22を円軌道上を移動させ、円軌道に内接する正3角形の頂点の位置で停止させ、視差画像を撮像することが好ましい。撮影レンズ22の移動軌跡が円軌道であることは、レンズ駆動部42のステッピングモータ等の駆動機構を構成する上で好ましい。
【0051】
図5は、撮像ユニット20の撮影レンズ22の構成の他の例である。撮影レンズ22は異なる視点位置に配置された2つの撮影レンズ22a、22bである。2つの撮影レンズ22a、22bは被写体を2つの異なる視点から見た場合の視差画像をCCD30に撮像する。レンズ駆動部42は撮影レンズ22a、22bのいずれか一方を移動させて、被写体を第3の視点から見た場合の視差画像をCCD30に撮像する。死角を作らずに被写体を撮影するために、撮影レンズ22a、22bのいずれか一方の移動後の位置は、移動前の撮影レンズ22a、22bの位置を結ぶ直線上にはないことが好ましい。さらに、死角を作らずに広い視野にわたって被写体を撮影するために、レンズ駆動部42は、撮影レンズ22a、22bのいずれか一方を移動させて、3つの視点位置が正3角形の頂点の位置になることがより好ましい。撮影レンズ22a、22bのいずれか一方を移動させる移動軌跡は直線であることは、レンズ駆動部42のステッピングモータ等の駆動機構を構成する上で好ましい。
【0052】
本実施形態の処理ユニット60は、撮像ユニット20が撮像した被写体の視差画像に基づいて、被写体の奥行き情報を獲得する。図6は、処理ユニット60の機能ブロック図である。処理ユニット60は、視差画像記憶部302と、位置ずれ検出部304と、奥行き算出部308と、記録部310とを有する。
【0053】
視差画像記憶部302は、撮像ユニット20が3以上の異なる視点位置から撮像した被写体の3以上の視差画像を記憶する。位置ずれ検出部304は、視差画像記憶部302が記憶する3以上の視差画像の任意の2枚の視差画像において、被写体の特定領域の像の位置が視差によってずれる量を検出する。任意の2枚の視差画像の組み合わせに応じて、複数の位置ずれ量が検出される。
【0054】
奥行き算出部308は、位置ずれ検出部304が検出した複数の位置ずれ量を用いて、被写体の特定領域の奥行き値を算出する。奥行き値の計算方法は後述する。位置ずれ検出部304及び奥行き算出部308によって、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き値が算出される。
【0055】
奥行き算出部308は算出した被写体の奥行き情報を撮像制御ユニット40へ入力し、撮像制御ユニット40は、被写体の奥行き情報に基づいて、フォーカス駆動部44、絞り駆動部46及びシャッタ駆動部48を制御して、フォーカス、絞り、シャッター速度を調整してもよい。
【0056】
記録部310は、奥行き算出部308が算出した被写体の奥行き情報、及び視差画像記憶部302が記憶する被写体の視差画像をオプション装置76に記録させる。
【0057】
処理ユニット60の位置ずれ検出部304及び奥行き算出部308の機能は一例として、図1のメインCPU62と、メインメモリ68や不揮発性メモリ66に格納またはロードされたプログラムとの連携によって実現することができる。メインCPU62が内蔵メモリをもつ場合にはそのメモリに必要なプログラムを格納し、諸機能をファームウエアとして実現してもよい。処理ユニット60の視差画像記憶部302が記憶すべき視差画像データは、メインメモリ68または不揮発性メモリ66に記憶させることができる。また視差画像データは圧縮伸張処理部78によって圧縮されてもよい。処理ユニット60の記録部310の機能は一例として、オプション装置制御部74によって実現することができる。また、ユーザの指示を受け付ける操作ユニット110が被写体の画像の特定領域を処理ユニット60に指示し、奥行き算出部308は、ユーザが指定する特定領域について奥行き値を算出してもよい。デジタルカメラ10において処理ユニット60の上述の機能を実現する設計には相当の自由度がある。
【0058】
次に、撮影レンズ22の最も望ましい形態である、視野角の広い光学レンズの一例としての魚眼レンズのレンズ特性を説明する。図7は、魚眼レンズ320が結像する被写体の点の入射角θと、全方位画像322における被写体の点の像の位置との関係を説明する図である。魚眼レンズ320の中心はxy平面の原点の位置にある。被写体の点の方位は、被写体の点から魚眼レンズ320への入射光が魚眼レンズ320の光軸となす入射角θで表される。全方位画像322の中心はXY平面の原点の位置にある。被写体の点の全方位画像322上での位置を、XY平面の原点からの距離rで表す。この距離rは像高とも呼ばれる。魚眼レンズの焦点距離をfとすると、被写体の点の位置rと入射角θの間には、r=f・θの関係がある。
【0059】
このように、魚眼レンズは、視野角が180度であり、被写体の全方位の画像を撮像面に結像することができる。特に、被写体の点の位置rと入射角θの間に成り立つレンズ特性を示す関係式がr=f・θとなる魚眼レンズは「fθレンズ」と呼ばれ、広く用いられている。撮影レンズ22として、fθレンズの代わりに、レンズ特性を示す関係式がr=f・sinθとなる「fsinθレンズ」と呼ばれる魚眼レンズを用いてもよい。また、一般に位置rが入射角θに対して単調に増加し、被写体の全方位の領域の点が、有限の位置rに撮像される魚眼レンズであればよく、必ずしもfθレンズ、fsinθレンズの特性を示す魚眼レンズでなくてもよい。魚眼レンズは視野角が180度に達するように設計されており、広い視野の被写体を撮影する上で最も好ましい。しかし、撮影レンズ22は、視野角が十分に広く、広い視野にわたって被写体を撮像することができる光学レンズであれば、必ずしも魚眼レンズである必要はなく、視野角の広い広角レンズを用いてもよい。
【0060】
図8は、2つの魚眼レンズを用いて被写体を見た場合の視差の説明図である。魚眼レンズ324及び326は、それぞれ点L、Rの位置を視点位置とするように置かれている。点Lと点Rは距離2dだけ離れている。線328及び330はそれぞれ魚眼レンズ324及び326の光軸である。点L、Rの中点を点Oとする。被写体の奥行き値は、点Oからの距離によって定義する。被写体の点Aの奥行き値は、線分OAの長さZである。また線分OAが、点Oから引いた垂線329となす角をθとする。角θは点Oから点Aを見た場合の点Aの方位角である。
【0061】
線分LAが魚眼レンズ324の光軸328となす角、すなわち点Aの魚眼レンズ324への入射角をθ1とし、線分RAが魚眼レンズ326の光軸330となす角、すなわち点Aの魚眼レンズ326への入射角をθ2とする。入射角θ1は視点Lから点Aを見た場合の点Aの方位、入射角θ2は視点Rから点Aを見た場合の点Aの方位である。視点が異なるために、点Aの方位に差θ1−θ2が生じる。これを視差角と呼ぶ。線分LAと線分RAのなす角をθAとすると、θA=θ1−θ2であるから、便宜上、θAを、点Aを異なる視点L、Rから見た場合の視差角と考えてもよい。
【0062】
魚眼レンズ322及び324がfθレンズである場合、像高rと入射角θの間にr=f・θの関係が成立するので、視点L、Rから点Aを見た場合の像高r、rの差と、入射角θ1、θ2の差との間には、次の比例関係
【0063】
−r=f・(θ1−θ2)
が成り立つ。
【0064】
したがって、魚眼レンズ324及び326で写した視差画像において、点Aの像高の差r−rを検出すると、魚眼レンズの焦点距離fが既知である場合、入射角の差θ1−θ2を計算することができ、視差角θAを算出できる。
【0065】
次に、視差角θAと奥行き値Z、方位角θの間に成り立つ関係式を導く。角LAOをθL、角RAOをθRとおく。3角形LAH及び3角形RAHに注目すると、
【0066】
tan(θ+θL)=(Z・sinθ+d)/(Z・cosθ)
tan(θ−θR)=(Z・sinθ−d)/(Z・cosθ)
が成り立つ。
【0067】
したがって、視差角θAは、
Figure 0003907891
と書ける。
【0068】
図9は、視差角θAの式(1)のグラフである。視点間距離2d、及び奥行き値Zをある値に固定して、方位角θの値を変えて、視差角θAの値をグラフにした。方位角θ=0のとき、視差角θAは最大である。方位角θ=π/2のとき、視差角θAは0になる。
【0069】
図9のグラフから明らかなように、魚眼レンズの並びの横方向に近い領域にある被写体に対しては、視差角が非常に小さくなるため、視差画像上での像の位置のずれは極めて小さくなる。図10は、被写体の視差角の大きさの違いを説明する図である。点A、Bのように、方位角θが0に近い領域にある被写体の点については視差角θA、θBが十分に大きく、視差画像上での像の位置のずれを検出することは容易である。点Aよりも点Bの方が視差角が大きいから、位置ずれも大きい。これは点Oからの距離が近い被写体ほど、視差画像上での像の位置ずれが大きいことを意味する。点C、Dのように、方位角θがπ/2に近い領域にある被写体の点については視差角θC、θDは小さく、視差画像上での像の位置のずれを検出することは困難になる。点Cよりも点Dの方が視差角がさらに小さくなっており、点Oからの距離が遠い被写体ほど、視差画像上での像の位置ずれが小さくなる。
【0070】
図11は、位置ずれ量の違いを天球上で説明する図である。天球は視野の無限遠方であり、図では上半球のみ示す。魚眼レンズ324、326の視点L、Rを結ぶ線分の中点は天球の中心Oである。中心Oを通り、直線LRに垂直な平面を半円350とする。また、視点L、Rを結ぶ直線と天球が交わる点を点352及び354とする。
【0071】
天球において、被写体の点を中心Oから見た場合の方位角θは、被写体の点と中心Oを結ぶ直線が半円350となす角である。方位角θが0(ゼロ)となる領域では、位置ずれが最も強く現れる。この領域は半円350である。
【0072】
一方、中心Oから見た場合の方位角θがπ/2すなわち直角である領域では、位置ずれが完全に消失する。この領域は、点352と視点Rを結ぶ線分、及び点354と視点Lを結ぶ線分上の点である。
【0073】
位置ずれ量は、視点L、Rを結ぶ直線、すなわちx軸の周りで対称である。半円350と平行な面で天球を切った場合の断面を考えると、この断面は半円であり、半円の円周上の点は同一の位置ずれ量を持つ。したがって、位置ずれ量は、x軸を通る任意の平面で天球を切った断面で、議論することができる。x軸を通る平面の一例として天球の地平面であるxy平面を考える。
【0074】
図12は、位置ずれ量の違いを天球の地平面で説明する図である。被写体の点Aが方位角θの方位にあるとして、3角形OAHをx軸の周りに回転してできる円錐を考える。このように、ある方位角θが決められたとき、円錐の頂点を中心Oとし、円錐角がπ/2−θである円錐が規定される。
【0075】
方位角θがπ/2に近い場合、円錐内の点はx軸の近傍の領域にある。この円錐内の点については、位置ずれはほとんど消失する。一方、方位角θが0に近い場合、円錐角がπ/2であり、円錐内にはy軸近傍の点を除くほとんどの点を含むようになる。円錐外にあるy軸近傍の点については、位置ずれが強く現れる。
【0076】
このように魚眼レンズの並びの横方向には、視差画像において位置のずれが小さくなる領域が存在する。この領域を「死角」領域と呼ぶ。死角領域では、位置ずれ量によって、被写体の奥行き値を求めることは困難である。したがって、視野角の広い魚眼レンズを用いたとしても、2つの視差画像から被写体の全方位にわたる奥行き値を求めることはできず、2つの視点を結ぶ方向には奥行き値を求めることが困難な死角領域が存在する。そこで本発明では、同一直線上にない3以上の異なる視点位置から被写体の3以上の視差画像を撮像することによって、死角領域における奥行き値の算出を可能にする。
【0077】
図13は、3つの視点から見た場合の位置ずれの関係を天球上で説明する図である。魚眼レンズ324、325及び326が正3角形の頂点の位置にあり、それぞれの視点をS、U、Tとする。正3角形STUの重心は天球の中心Oである。中心Oを通り、直線STに垂直な平面を半円365とする。同様に、中心Oを通り、直線TUに垂直な平面を半円364、中心Oを通り、直線USに垂直な平面を半円366とする。半円364、365、366は天球上の点370で交わる。
【0078】
視点位置S、Tから見た場合に、半円365上で位置ずれが最も強く現れる。視点位置T、Uから見た場合に、半円364上で位置ずれが最も強く現れる。視点位置U、Sから見た場合に、半円366上で位置ずれが最も強く現れる。したがって、3つの半円364、365、366の方向に近い方向にある被写体の領域については、3つの視点位置S、T、Uのいずれか2つの視点位置から見た場合の位置ずれ量によって、奥行き値を算出することができる。2つの視点位置から見た場合に死角領域に当たる被写体の領域であっても、他の2つの視点位置から見た場合には位置ずれが強く現れる領域になるため、3つの異なる視点位置を設けることにより、死角領域をなくすことができる。尚、3つの半円364、365、366が交わる点370では、3つの位置ずれ量を用いて奥行き値を求めることができるので、最も精度が高くなる。
【0079】
図14は、3つの位置ずれの関係を天球の地平面で説明する図である。領域I及びIVの方向にある被写体の領域では、視点位置S、Tから見た場合の位置ずれが最も強く現れる。同様に、領域II及びV方向にある被写体の領域では、視点位置T、Uから見た場合の位置ずれが最も強く現れる。領域III及びVIの方向にある被写体の領域では、視点位置U、Sから見た場合の位置ずれが最も強く現れる。
【0080】
このように、2つの視点位置から見た場合の2つの視差画像においては、奥行き値の算出が困難な死角領域であっても、第3の視点位置から見た視差画像を組み合わせることにより、死角領域を解消して被写体の全方位の奥行き値の算出が可能になる。
【0081】
3以上の視差画像の任意の2枚の視差画像の組み合わせから、被写体の特定領域について複数の位置ずれが検出される。複数の位置ずれ量を組み合わせて、被写体の特定領域の奥行き値を算出する方法にはいくつもの変形が考えられる。まず、奥行き値を求めたい被写体の特定領域の方位によって、位置ずれが最も強く現れる視点位置の組み合わせを選び、その視点位置の組み合わせにおいて検出される位置ずれ量を用いて、被写体の特定領域の奥行き値を求める方法を述べる。
【0082】
処理ユニット60の機能ブロックとして、図6に図示した機能ブロック以外に、視差画像領域選択部303を備える。図15は、視差画像領域選択部303の機能説明図である。視差画像記憶部302は、一例として図13及び図14に示した3つの視点位置S、T、Uから見た場合の3つの視差画像S、T、及びUを記憶する。視差画像領域選択部303は、視差画像記憶部302が記憶する視差画像S、T、及びUを、図14で示した被写体の領域I、II、III、IV、V、VIに分割する。領域I、II、III、IV、V、VIのそれぞれにおいて、位置ずれが最も強く現れる視差画像の組み合わせを選択する。たとえば、領域Iでは視差画像SI、TIの組み合わせを選択し、領域IIでは視差画像TII、UIIの組み合わせを選択する。位置ずれ検出部304は、各領域I、II、III、IV、V、VIについて、選択された視差画像の組み合わせからその領域内の被写体の位置ずれ量を検出する。奥行き算出部308は、各領域I、II、III、IV、V、VI毎に求められた位置ずれ量に基づいて、その領域の被写体の奥行き値の分布を求める。
【0083】
図15のように被写体の特定領域の方位によって、位置ずれを検出する視点位置の組み合わせを選ぶのではなく、任意の2つの視点位置の組み合わせにおいて検出される複数の位置ずれ量を考慮して、被写体の特定領域の奥行き値を算出してもよい。その場合、視点位置の組み合わせの各々から検出される位置ずれ量を考慮に入れる割合を決め、その割合に基づいて各位置ずれ量を加味して奥行き値を算出してもよい。具体的には、複数の位置ずれ量から算出されるそれぞれの奥行き値について重み付け平均を計算することにより、被写体の特定領域の奥行き値を算出してもよい。
【0084】
たとえば、被写体の特定領域の方位角θの絶対値がπ/6より小さくなるような特定の2つの視点位置の組み合わせにおいては、その特定の2つの視点位置から見た場合の位置ずれを最も大きな割合で考慮し、他の2つの視点位置の組み合わせから得られる位置ずれを小さな割合で考慮して、被写体の特定領域の奥行き値を算出してもよい。図16は、3つの視点位置から被写体を見た場合の3つの視差角の変化を示すグラフである。図9の視差角の3つのグラフを、位相を変えて組み合わせた。方位角θの絶対値がπ/6より小さい範囲では、1つの視差角が他の2つの視差角よりも大きく、位置ずれの検出精度が高い。したがって、検出精度の最も高い位置ずれから算出される奥行き値の重み付けを最大にし、他の2つの精度が低い位置ずれから算出される奥行き値の重み付けを小さくして、3つの奥行き値の重み付け平均を計算し、被写体の特定領域の奥行き値を算出する。
【0085】
また、視差画像に写された被写体の特定領域の奥行き値を求める際、3以上の視差画像の任意の2枚の視差画像における位置ずれをすべて求め、複数の位置ずれの中から最も検出精度が高い位置ずれを用いて、奥行き値を計算してもよい。特に重なりのある被写体を撮影した場合は、方位だけでなく、被写体の奥行き分布によって、位置ずれの検出精度が高くなる視差画像の組み合わせが変わることがある。そのため、被写体の特定領域の方位だけから、位置ずれを求めるのに使う視差画像の組み合わせを決めるのではなく、被写体の特定領域毎に、どの特定の視差画像の組み合わせにおける位置ずれ量を用いるかを決めたり、任意の2枚の視差画像における複数の位置ずれを考慮する割合を決めることがより好ましい。
【0086】
視差角の式(1)を詳しく解析すると、位置ずれ量の検出精度が一定となる被写体の領域は、被写体の方位だけでは決まらず、被写体の奥行き値にも依存することがわかる。したがって、より正確には、被写体の方位が同じでも、被写体までの距離が違えば、位置ずれ量の検出精度が異なる。そのため、求めたい被写体の特定領域の奥行き値によって、任意の2枚の視差画像における複数の位置ずれ量を考慮する割合を変える必要が生じる。視差画像に写された被写体の特定領域の奥行き値を求める際、任意の2枚の視差画像における複数の位置ずれ量を検出して、最も検出精度の高い位置ずれ量を優先して用いて、特定領域の仮の奥行き値を算出する。その後、特定領域の方位と仮の奥行き値に基づいて、任意の2枚の視差画像における複数の位置ずれ量の考慮の割合を決めて、奥行き値を再度求め直すことがより好ましい。
【0087】
このように、任意の2枚の視差画像における複数の位置ずれ量を用いて、被写体の奥行き値を求める計算方法にはいくつもの変形が考えられるが、いずれにしても検出精度の点で有利になるように複数の位置ずれを組み合わせて、被写体の特定領域の奥行き値を求めることに本質的な特徴があり、複数の位置ずれの組み合わせ方、計算方法には相当の自由度がある。
【0088】
また、3つの魚眼レンズの配置の仕方にも自由度がある。図13では3つの魚眼レンズが天球の地平面において正3角形の頂点に配置され、各魚眼レンズの光軸は正3角形に垂直な方向であった。しかし魚眼レンズの配置の仕方はこれに限られない。図17は、3つの視点位置から見た場合の位置ずれの関係を天球上で説明する図である。魚眼レンズ324、325及び326が天球の地平面に対して垂直な正3角形の頂点の位置にあり、正3角形の重心は天球の中心Oを通る。魚眼レンズ324、325及び326のそれぞれの視点はS、U、Tであり、各魚眼レンズの光軸は、正3角形STUが作る平面内にある。中心Oを通り、直線STに垂直な平面を半円365とする。同様に、中心Oを通り、直線TUに垂直な平面を半円364、中心Oを通り、直線USに垂直な平面を半円366とする。半円364、365、366は天球の地平面の点372で交わる。
【0089】
視点位置S、Tから見た場合には、半円365上で位置ずれが最も強く現れ、視点位置T、Uから見た場合には、半円364上で位置ずれが最も強く現れ、視点位置U、Sから見た場合に、半円366上で位置ずれが最も強く現れる。したがって、3つの半円364、365、366の方向に近い方向にある被写体の領域については、3つの視点位置S、T、Uのいずれか2つの視点位置から見た場合の位置ずれ量によって、奥行き値を算出することができる。また、3つの半円364、365、366が交わる点370では、3つの位置ずれ量を用いて奥行き値を求めることができるので、最も精度が高くなる。このように3つの魚眼レンズを配置する位置には自由度がある。死角を解消するために、3つの視点位置が同一直線上にないこと、さらに好ましくは3つの視点位置を結ぶ3角形が正3角形であることが望ましい。
【0090】
図18は、被写体の奥行き値の算出処理のフローチャートである。撮像ユニット20が同一直線上にない3以上の異なる視点位置から撮像した3以上の被写体の視差画像を入力する(S100)。視差画像に写された被写体の特定領域を選択する(S102)。特定領域の選択は、視差画像の領域を適当に分割し、自動的に分割された領域を順次選択してもよく、ユーザが操作ユニット110を用いて指定した被写体の領域を選択してもよい。位置ずれ検出部304は、任意の2枚の視差画像における被写体の特定領域の像の複数の位置ずれ量を検出する(S104)。奥行き算出部308は、特定領域の像の複数の位置ずれ量を用いて、特定領域の奥行き値を算出する(S108)。
【0091】
図19は、奥行き値算出処理S108のフローチャートである。被写体の特定領域の方位角θに基づいて、複数の位置ずれ量を考慮する割合γを決める(S200)。特定の2つの視点位置の中点から見た場合の方位角θが0に近い場合に、その特定の2つの視点位置から見た場合の2つの視差画像における位置ずれを考慮する割合を大きくし、他の2つの視差画像の組み合わせにおける位置ずれを考慮する割合を小さくする。次に、2つの視差画像の組み合わせの各々における位置ずれ量に基づいて、式(1)を用いて特定領域の奥行き値Zi(i=1、2、…)を算出する(S202)。複数の位置ずれを考慮する割合γに基づいて、奥行き値Zi(i=1、2、…)を合成して、特定領域の奥行き値Zを算出する。奥行き値Zi(i=1、2、…)を合成して奥行き値Zを算出する方法として、たとえば、割合γでZi(i=1、2、…)の重み付け平均を計算してZとする。
【0092】
奥行き値算出処理S108には、いくつかの変形が考えられる。図20は、奥行き値算出処理S108の変形例のフローチャートである。被写体の特定領域について、任意の2枚の視差画像における複数の位置ずれの検出精度を比較して、複数の位置ずれの考慮の割合γを決める(S201)。それ以降のS202及びS206の処理は図19と同じである。この変形例では、被写体の特定領域の方位角θで割合γを決めるのではなく、任意の2枚の視差画像における特定領域の複数の位置ずれの検出精度の良い方の考慮の度合いを大きくするように割合γを決める。
【0093】
図21は、奥行き値算出処理S108の他の変形例のフローチャートである。被写体の特定領域について、任意の2枚の視差画像における複数の位置ずれ量の検出精度を比較し、最も検出精度の良い位置ずれ量に基づいて、特定領域の仮の奥行き値ZKを算出する(S210)。特定領域の方位角θと仮の奥行き値ZKに基づいて、複数の位置ずれを考慮する割合γを決める(S212)。それ以降のS202及びS206の処理は図19と同じである。この変形例では、割合γを、視差角θと仮の奥行き値ZKから決める点が異なる。
【0094】
図22は、被写体の奥行き値の他の算出処理のフローチャートである。撮像ユニット20が同一直線上にない3以上の異なる視点位置から撮像した3以上の被写体の視差画像を入力する(S100)。視差画像に写された被写体の特定領域を選択する(S102)。特定領域の選択は、視差画像の領域を適当に分割し、自動的に分割された領域を順次選択してもよく、ユーザが操作ユニット110を用いて指定した被写体の領域を選択してもよい。位置ずれ検出部304は、被写体の特定領域の方位角θがπ/6より小さくなるような特定の2枚の視差画像を選択し(S124)、その特定の2枚の視差画像における特定領域の像の位置ずれを検出する(S126)。奥行き算出部308は、特定の2枚の視差画像において検出された特定領域の像の位置ずれ量を用いて、特定領域の奥行き値を算出する(S128)。
【0095】
位置ずれ量の検出の精度や処理コストは、撮像ユニット20のCCD30の解像度や画像処理を行う処理ユニット60のメインCPU62、不揮発性メモリ66、メインメモリ68、メインバス82等の処理性能等、ハードウエア性能に依存する面と、被写体の特定領域を抽出し、位置ずれを検出する画像処理手法のアルゴリズム性能等、システムの機能構成に依存する面がある。そのため、一概に、任意の2枚の視差画像における複数の位置ずれの考慮の割合を、式(1)から理論的に導出される検出精度から決めるとは限らない。
【0096】
このように、複数の位置ずれ量を用いて、被写体の奥行き値を求める計算方法には、被写体の領域の方位角、被写体の奥行きの推定値、位置ずれ量の検出精度や処理コスト、ハードウエア性能やシステムの機能構成等に基づいて、いくつものバリエーションが考えられる。いずれにしても、本実施形態の画像撮像装置によれば、被写体の領域の方位によって複数の位置ずれのいずれかの検出精度が低くなる場合や、いずれかの方位の位置ずれの検出の処理コストが高くなる場合に、他方の位置ずれ量によって補完することで、被写体の全方位の領域の奥行き情報を高い精度で効率良く算出できる。
【0097】
以上述べたように、本実施形態の画像撮像装置によれば、3以上の視点位置から視野角の広いレンズを用いて被写体の3以上の視差画像を撮影し、被写体の像の複数の位置ずれ量を検出し、複数の位置ずれ量を用いて被写体の奥行き値を求めることができる。被写体の領域の方位によって、2つの視点位置から見た視差画像の位置ずれ量だけでは検出精度が落ちる場合でも、第3の視点位置から見た視差画像を組み合わせることにより、位置ずれの検出精度を上げることができるため、広い視野にわたって被写体の奥行き情報を高い精度で効率よく算出することができる。
【0098】
また、本実施形態の画像撮像装置は、監視用カメラとして利用することもできる。従来の監視用カメラは、全方位の画像を得るために、カメラを駆動させなければならなかった。本実施形態の画像撮像装置を監視カメラとして用いた場合、カメラを駆動させなくても、全方位の被写体を撮影し、奥行き情報を算出することができる。得られた奥行き情報から、人物等の主要被写体を容易に抽出することができるため、銀行や小売店に設置して、防犯に利用することができる。
【0099】
(実施形態2)
本発明の第2の実施形態を説明する。図23は、画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム200の構成図である。本実施形態のラボシステム200は、入力部210と、処理部220と、記録部240と、出力部250とを有する。
【0100】
入力部210は、被写体の画像データを入力する。画像データとして、被写体を異なる視点から見た場合の視差画像を入力する。デジタルカメラ等で撮影された対象物のデジタル画像を入力する場合、入力部210には、半導体メモリカード等の着脱自在な記録媒体から画像データを読み取るための読み取り装置が用いられる。また、フロッピーディスク、MO、CD−ROM等から画像データを読み取る場合は、入力部210として、それぞれフロッピードライブ、MOドライブ、CDドライブ等が用いられてもよい。
【0101】
処理部220は、入力部210が入力した視差画像を記憶し、被写体の奥行き情報を算出する。処理部220は算出した奥行き情報を視差画像とともに記録部240に出力する。また処理部220は算出した奥行き情報をもとに、被写体の画像を処理して、記録部240と出力部250に出力してもよい。
【0102】
記録部240は、処理部220が出力した奥行き情報または画像データを着脱自在な記録媒体に記録する。記録媒体として、書き込み可能なCD−ROM、DVD等の光記録媒体や、MO等の光磁気記録媒体、フロッピーディスク等の磁気記録媒体等が用いられる。記録部240として、CD−Rドライブ、DVDドライブ、MOドライブ、フロッピードライブ等が用いられる。また、記録部240は、フラッシュメモリ、メモリカード等の半導体メモリに奥行き情報または画像データを記録してもよい。
【0103】
出力部250は、処理部220が出力した被写体の処理された画像データを画像として出力する。例えば画像を画面表示する場合、出力部250には画像を表示するモニタが用いられる。また例えば画像を印刷する場合、出力部250にはデジタルプリンタやレーザプリンタ等のプリンタが用いられる。
【0104】
図24は、処理部220の機能構成図である。処理部220は、視差画像記憶部302と、位置ずれ検出部304と、奥行き算出部308と、画像変換部312とを有する。
【0105】
視差画像記憶部302は、入力部210が入力した被写体の3以上の視差画像のデータをRAM等の半導体メモリまたはハードディスク等の磁気記録媒体に記憶する。位置ずれ検出部304は、視差画像記憶部302が記憶する3以上の視差画像の任意の2枚の視差画像の組み合わせにおいて、被写体の特定領域の像の位置が視差によってずれる量を検出する。奥行き算出部308は、位置ずれ検出部304が検出した複数の位置ずれ量を用いて、被写体の特定領域の奥行き値を算出する。
【0106】
位置ずれ検出部304及び奥行き算出部308が、視差画像に撮像された被写体の一部の領域または全部の領域について、被写体の奥行き情報を算出する処理については、第1の実施形態と同じであるから、説明を省略する。
【0107】
画像変換部312は、奥行き算出部308が算出した被写体の奥行き情報に基づいて、被写体の画像を処理する。画像変換部312は、被写体の奥行き情報、視差画像、または処理された画像を記憶部240と出力部250に出力する。
【0108】
画像変換部312は、被写体の奥行き情報に基づいて魚眼レンズで撮影された被写体の全方位画像を透視投影画像に変形してもよい。図25は、全方位画像から透視投影画像への変換を説明する図である。魚眼レンズで撮影された被写体の全方位画像356上の点または領域について、奥行き値が算出されているので、座標変換を行うことにより、その点または領域を透視投影画像358上に写像することができる。透視投影画像358は、通常の標準レンズで被写体を撮影したときの画像である。
【0109】
画像変換部312は、被写体の奥行き情報に基づいて、魚眼レンズで撮影された被写体の全方位画像から、被写体の正面図、側面図、上面図等の正投影図法の画像を生成してもよい。図26は、魚眼レンズで撮影された部屋の間取りの模式図である。魚眼レンズにより部屋の天井付近から部屋の全方位を撮影している。図27は、全方位画像を座標変換して得られた部屋の平面図である。部屋の全方位の奥行き情報を利用することにより、全方位画像はこのような平面図に変換することができる。図28は、全方位画像を座標変換して得られた部屋の側面図である。このように、画像変換部312は、被写体の全方位の奥行き情報に基づいて、被写体の全方位画像から、被写体の正面図、側面図、上面図等の正投影画像を生成し、設計図等の作成に役立てることができる。このような画像変換処理は、建築や都市計画の場面で広く使われる。
【0110】
本実施形態の画像処理装置によれば、視野角の広いレンズで撮影された被写体の視差画像を入力して、広い視野にわたる被写体の奥行き情報を算出することができる。また算出された奥行き情報に基づいて、画像処理を行い、CAD等の図面データを作成することができる。また、全方位の奥行き情報のある画像データは、CG(コンピュータグラフィックス)やシミュレーションに利用することができる。
【0111】
(実施形態3)
次に、本発明の第3の実施形態を説明する。図29は、画像処理装置の構成図である。本実施形態の画像処理装置の基本的な構成及び動作は、第2の実施形態の画像処理装置と同様である。本実施形態では、画像処理装置の処理部220として、パーソナルコンピュータやワークステーション等の電子計算機を用いる点が、第2の実施形態と異なる。
【0112】
図29を参照しながら、本実施形態の処理部220のハードウエア構成を説明する。CPU230はROM232及びRAM234に格納されたプログラムに基づいて動作する。キーボード、マウス等の入力装置231を介して利用者によりデータが入力される。ハードディスク233は、画像等のデータ、及びCPU230を動作させるプログラムを格納する。CD−ROMドライブ235はCD−ROM290からデータ又はプログラムを読み取り、RAM234、ハードディスク233及びCPU230の少なくともいずれかに提供する。
【0113】
CPU230が実行するプログラムの機能構成は、第2の実施形態の画像処理装置の処理部220の機能構成と同じであり、視差画像記憶モジュールと、位置ずれ検出モジュールと、奥行き算出モジュールと、画像変換モジュールとを有する。
【0114】
視差画像記憶モジュール、位置ずれ検出モジュール、奥行き算出モジュール、及び画像変換モジュールが、CPU230に行わせる処理は、それぞれ、第2の実施形態の画像処理装置の処理部220における、視差画像記憶部302、位置ずれ検出部304、奥行き算出部308、及び画像変換部312の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、CD−ROM290等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのCD−ROM290には、本出願で説明した画像処理装置の動作の一部又は全ての機能を格納することができる。
【0115】
上記のプログラムは記録媒体から直接RAM234に読み出されてCPU230により実行されてもよい。あるいは、上記のプログラムは記録媒体からハードディスク233にインストールされ、RAM234に読み出されてCPU230により実行されてもよい。
【0116】
記録媒体としては、CD−ROM290の他にも、ハードディスク、ROMやRAM等のメモリ、DVDやPD等の光学記録媒体、フロッピーディスクやミニディスク(MD)等の磁気記録媒体、MO等の光磁気記録媒体、テープ状記録媒体、不揮発性の半導体メモリカード等を用いることができる。
【0117】
上記のプログラムは、単一の記録媒体に格納されてもよいし、複数の記録媒体に分割されて格納されてもよい。また、上記プログラムは記録媒体に圧縮されて格納されてもよい。圧縮されたプログラムは伸張され、RAM234等の別の記録媒体に読み出され、実行されてもよい。さらに、圧縮されたプログラムはCPU230によって伸張され、ハードディスク233等にインストールされた後、RAM234等の別の記録媒体に読み出され、実行されてもよい。
【0118】
さらに、記録媒体の一例としてのCD−ROM290は、通信ネットワークを介して、ホストコンピュータによって提供される上記のプログラムを格納してもよい。記録媒体に格納された上記のプログラムは、ホストコンピュータのハードディスクに格納され、通信ネットワークを介してホストコンピュータから当該コンピュータに送信され、RAM234等の別の記録媒体に読み出され、実行されてもよい。
【0119】
上記のプログラムを格納した記録媒体は、本出願の画像処理装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【0120】
(実施形態4)
次に、本発明の第4の実施形態を説明する。本実施形態の画像撮像装置の一例は、カメラを内蔵したノート型コンピュータやカメラを内蔵した携帯型電子端末等の電子機器等である。これらの場合、ノート型コンピュータや携帯型電子端末の電子計算機部分は主に図29に示した処理部220として機能する。本実施形態の画像撮像装置は、第1の実施形態の画像撮像装置の処理ユニット60を、図29に示した処理部220のハードウエア構成に換えたものである。本実施形態の画像撮像装置の基本的な構成及び動作は、第1の実施形態の画像撮像装置と同様である。
【0121】
本実施形態の処理部220のハードウエア構成は、第3の実施形態の処理部220のハードウエア構成と同じであるから説明を省略する。CPU230が実行するプログラムの機能構成は、第1の実施形態の画像撮像装置の処理ユニット60の機能構成と同じであり、視差画像記憶モジュールと、位置ずれ検出モジュールと、奥行き算出モジュールと、記録モジュールとを有する。
【0122】
視差画像記憶モジュール、位置ずれ検出モジュール、奥行き算出モジュール、及び画像変換モジュールが、CPU230に行わせる処理は、それぞれ、第1の実施形態の画像撮像装置の処理部220における、視差画像記憶部302、位置ずれ検出部304、奥行き算出部308、及び記録部310の機能及び動作と同じであるから、説明を省略する。これらのプログラムは、CD−ROM290等の記録媒体に格納されて利用者に提供される。記録媒体の一例としてのCD−ROM290には、本出願で説明した画像撮像装置の動作の一部又は全ての機能を格納することができる。
【0123】
上記のプログラムを格納した記録媒体は、本出願の画像撮像装置を製造するためにのみ使用されるものであり、そのような記録媒体の業としての製造および販売等が本出願に基づく特許権の侵害を構成することは明らかである。
【0124】
以上述べたように、本発明の画像撮像装置及び画像処理装置によれば、3以上の視点位置から見た被写体の3以上の視差画像から、被写体の特定領域の像の位置ずれを複数個検出することができ、複数の位置ずれ量を用いて被写体の奥行き値を求めることができる。2つの視点位置から見た場合の2つの視差画像においては、奥行き値の算出が困難な死角領域であっても、第3の視点位置から見た視差画像を組み合わせることにより、死角領域を解消することができ、広い視野にわたって被写体の奥行き情報を高い精度で算出することができる。
【0125】
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更又は改良を加えることができることが当業者に明らかである。その様な変更又は改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
【0126】
【発明の効果】
上記説明から明らかなように、本発明によれば広い視野にわたって被写体の奥行きに関する情報を高い精度で取得することができる。
【図面の簡単な説明】
【図1】 画像撮像装置の一例としてのデジタルカメラ10の構成図である。
【図2】 撮像ユニット20の撮影レンズ22の構成の一例である。
【図3】 撮像ユニット20の撮影レンズ22の構成の他の例である。
【図4】 撮像ユニット20の撮影レンズ22の構成の他の例である。
【図5】 撮像ユニット20の撮影レンズ22の構成の他の例である。
【図6】 処理ユニット60の機能ブロック図である。
【図7】 魚眼レンズ320が結像する被写体の点の入射角θと、全方位画像322における被写体の点の像の位置との関係を説明する図である。
【図8】 2つの魚眼レンズを用いて被写体を見た場合の視差の説明図である。
【図9】 視差角θAの式(1)のグラフである。
【図10】 被写体の視差角の大きさの違いを説明する図である。
【図11】 位置ずれ量の違いを天球上で説明する図である。
【図12】 位置ずれ量の違いを天球の地平面で説明する図である。
【図13】 3つの視点から見た場合の位置ずれの関係を天球上で説明する図である。
【図14】 3つの位置ずれの関係を天球の地平面で説明する図である。
【図15】 視差画像領域選択部303の機能説明図である。
【図16】 3つの視点位置から被写体を見た場合の3つの視差角の変化を示すグラフである。
【図17】 3つの視点位置から見た場合の位置ずれの関係を天球上で説明する図である。
【図18】 被写体の奥行き値の算出処理のフローチャートである。
【図19】 奥行き値算出処理S108のフローチャートである。
【図20】 奥行き値算出処理S108の変形例のフローチャートである。
【図21】 奥行き値算出処理S108の他の変形例のフローチャートである。
【図22】 被写体の奥行き値の他の算出処理のフローチャートである。
【図23】 画像処理装置の一例としての、写真画像の現像や編集等を行うラボシステム200の構成図である。
【図24】 処理部220の機能構成図である。
【図25】 全方位画像から透視投影画像への変換を説明する図である。
【図26】 魚眼レンズで撮影された部屋の間取りの模式図である。
【図27】 全方位画像を座標変換して得られた部屋の平面図である。
【図28】 全方位画像を座標変換して得られた部屋の正投影画像である。
【図29】 画像処理装置の構成図である。
【符号の説明】
10 デジタルカメラ 20 撮像ユニット
40 撮像制御ユニット 60 処理ユニット
100 表示ユニット 110 操作ユニット
200 画像処理装置 210 入力部
220 処理部 240 記録部
250 出力部 290 記録媒体
302 視差画像記憶部 303 視差画像領域選択部
304 位置ずれ検出部 308 奥行き算出部
310 記録部 312 画像変換部
324、325、326 魚眼レンズ

Claims (33)

  1. 被写体の奥行きに関する情報を取得する画像撮像装置であって、
    同一直線上にない3以上の異なる視点位置から前記被写体を見た場合に得られる前記被写体の3以上の視差画像を撮像する撮像部と、
    前記3以上の視差画像の任意の2枚の視差画像における前記被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、
    前記位置ずれ検出部が検出した前記複数の位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
    を備え、
    前記奥行き算出部は、前記被写体の前記特定領域を前記3以上の視点位置の略中心の位置から見た場合の方位によって、前記複数の位置ずれを考慮する割合を変えて、前記被写体の前記特定領域の前記奥行き値を算出することを特徴とする画像撮像装置。
  2. 前記奥行き算出部は、前記被写体の前記特定領域が、前記3以上の視点位置の特定の2つの視点位置を結ぶ直線の方向に近いほど、前記特定の2つの視点位置から見た場合の特定の2枚の視差画像において検出される前記位置ずれの考慮の割合を小さくし、前記被写体の前記特定領域が、前記特定の2つの視点位置を結ぶ線分の中点を通り前記線分と垂直に交わる平面に近いほど、前記特定の2枚の視差画像において検出される前記位置ずれの考慮の割合を大きくして、前記被写体の前記特定領域の前記奥行き値を算出することを特徴とする請求項1に記載の画像撮像装置。
  3. 前記奥行き算出部は、前記被写体の前記特定領域の方位角が、前記3以上の視点位置の特定の2つの視点位置間の中点から見た場合に、30°より小さくなる場合に、前記特定の2つの視点位置から見た場合の特定の2枚の視差画像において検出される前記位置ずれに基づいて、前記被写体の前記特定領域の前記奥行き値を算出することを特徴とする請求項1に記載の画像撮像装置。
  4. 前記視点位置は3箇所であり、前記3箇所の視点位置間を結ぶ3角形が略正3角形であることを特徴とする請求項1に記載の画像撮像装置。
  5. 前記撮像部は、同一直線上にない3以上の視点位置に視野角の広い3以上の光学レンズを設け、前記3以上の光学レンズによって前記被写体の前記3以上の視差画像を撮像することを特徴とする請求項1に記載の画像撮像装置。
  6. 前記光学レンズの設置位置は3箇所であり、前記3箇所の設置位置を結ぶ3角形が略正3角形であることを特徴とする請求項5に記載の画像撮像装置。
  7. 前記撮像部は、視野角の広い光学レンズを有し、前記光学レンズを同一直線上にない3以上の視点位置に移動させる駆動部をさらに備え、前記撮像部は、前記駆動部が前記光学レンズを前記3以上の視点位置に移動させた場合に、前記被写体の前記3以上の視差画像を撮像することを特徴とする請求項1に記載の画像撮像装置。
  8. 前記駆動部は、前記光学レンズの移動軌跡が円形になるように移動させ、前記円形の移動軌跡上の3以上の点を前記3以上の視点位置とすることを特徴とする請求項7に記載の画像撮像装置。
  9. 前記光学レンズの前記円形の移動軌跡上の3点を視点位置とし、前記3点の視点位置を結ぶ3角形が略正三角形であることを特徴とする請求項8に記載の画像撮像装置。
  10. 前記撮像部は、2つの異なる視点位置に2つの視野角の広い光学レンズを設け、前記2つの光学レンズのいずれか一方を前記2つの異なる視点位置を結ぶ直線上にはない他の視点位置に移動させる駆動部をさらに備え、前記撮像部は、前記2つの光学レンズによって前記被写体の前記視差画像を撮像し、前記駆動部が前記2つの光学レンズのいずれか一方を移動させた場合に、前記被写体の前記視差画像を撮像することによって前記3以上の視差画像を撮像することを特徴とする請求項1に記載の画像撮像装置。
  11. 前記駆動部は、前記2つの光学レンズのいずれか一方を直線移動させた点を第3の視点位置とし、前記2つの光学レンズの移動前の2つの視点位置と前記第3の視点位置とを結ぶ3角形が略正3角形であることを特徴とする請求項10に記載の画像撮像装置。
  12. 前記3以上の視点位置における前記光学レンズの光軸方向は同一であることを特徴とする請求項5、請求項7、または請求項10に記載の画像撮像装置。
  13. 前記光学レンズは魚眼レンズであり、前記奥行き算出部は、前記撮像部が前記魚眼レンズによって撮像する前記被写体の全方位の領域について前記奥行きを算出することを特徴とする請求項5、請求項7、または請求項10に記載の画像撮像装置。
  14. 前記撮像部は、
    前記視差画像を撮像するための視差撮影用の光学レンズ系と、
    被写体の画像を撮像するための本撮影用の光学レンズ系と
    を有し、
    前記視差撮影用の光学レンズ系が像を受光させるCCDと、前記本撮影用の光学レンズ系が像を受光させるCCDとで、解像度又は感度が異なることを特徴とする請求項1に記載の画像撮像装置。
  15. 被写体の奥行きに関する情報を取得する画像撮像装置であって、
    同一直線上にない3以上の異なる視点位置から前記被写体を見た場合に得られる前記被写体の3以上の視差画像を撮像する撮像部と、
    前記3以上の視差画像の任意の2枚の視差画像における前記被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、
    前記位置ずれ検出部が検出した前記複数の位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
    を備え、
    前記撮像部は、視野角の広い光学レンズを有し、前記光学レンズを同一直線上にない3以上の視点位置に移動させる駆動部をさらに備え、前記撮像部は、前記駆動部が前記光学レンズを前記3以上の視点位置に移動させた場合に、前記被写体の前記3以上の視差画像を撮像することを特徴とする画像撮像装置。
  16. 前記駆動部は、前記光学レンズの移動軌跡が円形になるように移動させ、前記円形の移動軌跡上の3以上の点を前記3以上の視点位置とすることを特徴とする請求項15に記載の画像撮像装置。
  17. 前記光学レンズの前記円形の移動軌跡上の3点を視点位置とし、前記3点の視点位置を結ぶ3角形が略正三角形であることを特徴とする請求項16に記載の画像撮像装置。
  18. 前記撮像部は、
    前記視差画像を撮像するための視差撮影用の光学レンズ系と、
    被写体の画像を撮像するための本撮影用の光学レンズ系と
    を有し、
    前記視差撮影用の光学レンズ系が像を受光させるCCDと、前記本撮影用の光学レンズ系が像を受光させるCCDとで、解像度又は感度が異なることを特徴とする請求項15に記載の画像撮像装置。
  19. 被写体の奥行きに関する情報を取得する画像撮像装置であって、
    同一直線上にない3以上の異なる視点位置から前記被写体を見た場合に得られる前記被写体の3以上の視差画像を撮像する撮像部と、
    前記3以上の視差画像の任意の2枚の視差画像における前記被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、
    前記位置ずれ検出部が検出した前記複数の位置ずれに基づいて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
    を備え、
    前記撮像部は、2つの異なる視点位置に2つの視野角の広い光学レンズを設け、前記2つの光学レンズのいずれか一方を前記2つの異なる視点位置を結ぶ直線上にはない他の視点位置に移動させる駆動部をさらに備え、前記撮像部は、前記2つの光学レンズによって前記被写体の前記視差画像を撮像し、前記駆動部が前記2つの光学レンズのいずれか一方を移動させた場合に、前記被写体の前記視差画像を撮像することによって前記3以上の視差画像を撮像することを特徴とする画像撮像装置。
  20. 前記駆動部は、前記2つの光学レンズのいずれか一方を直線移動させた点を第3の視点位置とし、前記2つの光学レンズの移動前の2つの視点位置と前記第3の視点位置とを結ぶ3角形が略正3角形であることを特徴とする請求項19に記載の画像撮像装置。
  21. 前記3以上の視点位置における前記光学レンズの光軸方向は同一であることを特徴とする請求項19に記載の画像撮像装置。
  22. 前記光学レンズは魚眼レンズであり、前記奥行き算出部は、前記撮像部が前記魚眼レンズによって撮像する前記被写体の全方位の領域について前記奥行きを算出することを特徴とする請求項19に記載の画像撮像装置。
  23. 前記撮像部は、
    前記視差画像を撮像するための視差撮影用の光学レンズ系と、
    被写体の画像を撮像するための本撮影用の光学レンズ系と
    を有し、
    前記視差撮影用の光学レンズ系が像を受光させるCCDと、前記本撮影用の光学レンズ系が像を受光させるCCDとで、解像度又は感度が異なることを特徴とする請求項15に記載の画像撮像装置。
  24. 被写体の奥行きに関する情報を取得する画像処理装置であって、
    同一線上にない3以上の異なる視点位置から前記被写体を見た場合に得られる前記被写体の3以上の視差画像を入力する入力部と、
    前記3以上の視差画像の任意の2枚の視差画像における前記被写体の特定領域の像の複数の位置のずれを検出する位置ずれ検出部と、
    前記被写体の前記特定領域を前記3以上の視点位置の略中心の位置から見た場合の方位によって、前記複数の位置ずれを考慮する割合を変えて、前記被写体の前記特定領域の奥行きを算出する奥行き算出部と
    を備えたことを特徴とする画像処理装置。
  25. 前記奥行き算出部が算出した前記被写体の前記特定領域の前記奥行きに基づいて、前記入力部が入力する前記被写体の画像の座標変換を行うことにより前記画像を変換する画像変換部をさらに備えたことを特徴とする請求項24に記載の画像処理装置。
  26. 前記入力部が入力する前記被写体の前記画像が魚眼レンズによって前記被写体を撮像した全方位画像である場合に、前記画像変換部は、前記座標変換によって、前記全方位画像を透視投影画像に変換することを特徴とする請求項25に記載の画像処理装置。
  27. 前記画像変換部は、前記座標変換によって、前記被写体の正投影画像を生成することを特徴とする請求項25に記載の画像処理装置。
  28. 被写体の奥行きに関する情報を取得する画像処理方法であって、
    同一線上にない3以上の異なる視点位置から前記被写体を見た場合に得られる前記被写体の3以上の視差画像を入力し、
    前記3以上の視差画像の任意の2枚の視差画像における前記被写体の特定領域の像の複数の位置のずれを検出し、
    前記被写体の前記特定領域を前記3以上の視点位置の略中心の位置から見た場合の方位によって、前記複数の位置ずれを考慮する割合を変えて、前記被写体の前記特定領域の奥行きを算出する
    ことを特徴とする画像処理方法。
  29. 算出された前記被写体の前記特定領域の前記奥行きに基づいて、入力される前記被写体の画像の座標変換を行うことにより前記画像を変換することを特徴とする請求項28に記載の画像処理方法。
  30. 入力される前記被写体の前記画像が魚眼レンズによって前記被写体を撮像した全方位画像である場合に、前記座標変換によって、前記全方位画像を透視投影画像に変換することを特徴とする請求項29に記載の画像処理方法。
  31. 被写体の奥行きに関する情報を取得するコンピュータ用のプログラムを格納した記録媒体であって、前記プログラムが、
    同一線上にない3以上の異なる視点位置から前記被写体を見た場合に得られる前記被写体の3以上の視差画像を入力させる入力モジュールと、
    前記3以上の視差画像の任意の2枚の視差画像における前記被写体の特定領域の像の複数の位置のずれを検出させる位置ずれ検出モジュールと、
    前記被写体の前記特定領域を前記3以上の視点位置の略中心の位置から見た場合の方位によって、前記複数の位置ずれを考慮する割合を変えて、前記被写体の前記特定領域の奥行きを算出させる奥行き情報算出モジュールと
    を備えたことを特徴とする記録媒体。
  32. 前記奥行き算出モジュールが算出させた前記被写体の前記特定領域の前記奥行きに基づいて、前記入力モジュールが入力させる前記被写体の画像の座標変換を行うことにより前記画像を変換する画像変換モジュールをさらに備えたことを特徴とする請求項31に記載の記録媒体。
  33. 前記入力モジュールが入力させる前記被写体の前記画像が魚眼レンズによって前記被写体を撮像した全方位画像である場合に、前記画像変換モジュールは、前記座標変換によって、前記全方位画像を透視投影画像に変換することを特徴とする請求項32に記載の記録媒体。
JP32170199A 1999-11-11 1999-11-11 画像撮像装置及び画像処理装置 Expired - Lifetime JP3907891B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP32170199A JP3907891B2 (ja) 1999-11-11 1999-11-11 画像撮像装置及び画像処理装置
US09/708,582 US6876762B1 (en) 1999-11-11 2000-11-09 Apparatus for imaging and image processing and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP32170199A JP3907891B2 (ja) 1999-11-11 1999-11-11 画像撮像装置及び画像処理装置

Publications (2)

Publication Number Publication Date
JP2001141423A JP2001141423A (ja) 2001-05-25
JP3907891B2 true JP3907891B2 (ja) 2007-04-18

Family

ID=18135471

Family Applications (1)

Application Number Title Priority Date Filing Date
JP32170199A Expired - Lifetime JP3907891B2 (ja) 1999-11-11 1999-11-11 画像撮像装置及び画像処理装置

Country Status (2)

Country Link
US (1) US6876762B1 (ja)
JP (1) JP3907891B2 (ja)

Families Citing this family (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TWI223780B (en) * 2001-01-24 2004-11-11 Vrex Inc Method for zooming a stereoscopic image, article of manufacture comprising a computer usable medium, computer related product for use with a graphics display device, and program storage device readable by a machine and tangibly embodying a program of iK
JP3698420B2 (ja) * 2001-06-12 2005-09-21 シャープ株式会社 画像監視装置及び画像監視方法及び画像監視処理プログラム
AU2003248269A1 (en) * 2002-07-12 2004-02-02 Iwane Laboratories, Ltd. Road and other flat object video plan-view developing image processing method, reverse developing image conversion processing method, plan-view developing image processing device, and reverse developing image conversion processing device
US7518649B2 (en) * 2003-09-04 2009-04-14 Canon Kabushiki Kaisha Image pickup apparatus and control method therefor, and control program
JP4383833B2 (ja) * 2003-11-17 2009-12-16 東芝モバイルディスプレイ株式会社 表示装置
FR2864878B1 (fr) * 2004-01-06 2006-04-14 Thomson Licensing Sa Procede et systeme de determination du deplacement d'un pixel, et support d'enregistrement pour la mise en oeuvre du procede
JP4554954B2 (ja) * 2004-02-19 2010-09-29 康史 八木 全方位撮像システム
TWI269206B (en) * 2004-05-05 2006-12-21 Sunplus Technology Co Ltd Setting device for changing the resolution of the track of a multi-step mouse
JP4243692B2 (ja) * 2005-03-16 2009-03-25 国立大学法人東京工業大学 立体形状検出装置及び立体形状検出方法
JP4825971B2 (ja) * 2005-07-14 2011-11-30 国立大学法人岩手大学 距離算出装置、距離算出方法、構造解析装置及び構造解析方法。
JP4523538B2 (ja) * 2005-11-25 2010-08-11 株式会社 日立ディスプレイズ 立体映像撮影表示装置
JP4698540B2 (ja) * 2006-09-19 2011-06-08 Necアクセステクニカ株式会社 目標物判別システム、目標物判別方法および目標物判別制御プログラム
JP5011528B2 (ja) * 2006-10-06 2012-08-29 国立大学法人岩手大学 3次元距離計測センサおよび3次元距離計測方法
JP4748257B2 (ja) * 2008-08-04 2011-08-17 ソニー株式会社 生体認証装置
JP5275760B2 (ja) * 2008-11-14 2013-08-28 三洋電機株式会社 立体画像表示システム
US9625258B2 (en) 2011-06-06 2017-04-18 3Shape A/S Dual-resolution 3D scanner
JP5769149B2 (ja) * 2011-07-20 2015-08-26 国際航業株式会社 モバイルマッピングシステム、及びこれを用いた沿道対象物の計測方法と、位置特定プログラム
DE102014104027B4 (de) * 2014-03-24 2020-10-29 Sick Ag Optoelektronische Vorrichtung und Verfahren zur Erfassung von Objektinformationen
JP6611531B2 (ja) * 2015-09-16 2019-11-27 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、およびプログラム
WO2017154707A1 (ja) * 2016-03-09 2017-09-14 株式会社ニコン 検出装置、検出システム、検出方法、及び検出プログラム
DE102017215810A1 (de) * 2017-09-07 2019-03-07 Siemens Aktiengesellschaft Multikamerasystem für ein Fahrzeug
DE102017128698A1 (de) * 2017-12-04 2019-06-06 Innogy Innovation Gmbh Verfahren und System zur Bestimmung einer Position eines Objektes

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2523369B2 (ja) * 1989-03-14 1996-08-07 国際電信電話株式会社 動画像の動き検出方法及びその装置
JP2611173B2 (ja) * 1992-06-11 1997-05-21 運輸省船舶技術研究所長 魚眼レンズを用いた測位方法およびその装置
US5621866A (en) * 1992-07-24 1997-04-15 Fujitsu Limited Image processing apparatus having improved frame buffer with Z buffer and SAM port
US6008945A (en) * 1996-09-19 1999-12-28 Fergason; James L. Display system using conjugate optics and accommodation features and method of displaying and viewing an image
JPH11175762A (ja) * 1997-12-08 1999-07-02 Katsushi Ikeuchi 光環境計測装置とそれを利用した仮想画像への陰影付与装置及び方法
JPH11242745A (ja) * 1998-02-25 1999-09-07 Victor Co Of Japan Ltd 顔画像の計測・処理方法
JP3862402B2 (ja) * 1998-02-27 2006-12-27 シャープ株式会社 3次元モデル生成装置および3次元モデル生成プログラムを記録したコンピュータ読取可能な記録媒体
US6525699B1 (en) * 1998-05-21 2003-02-25 Nippon Telegraph And Telephone Corporation Three-dimensional representation method and an apparatus thereof
JP3668019B2 (ja) * 1998-10-27 2005-07-06 株式会社ソニー・コンピュータエンタテインメント 記録媒体、画像処理装置および画像処理方法

Also Published As

Publication number Publication date
JP2001141423A (ja) 2001-05-25
US6876762B1 (en) 2005-04-05

Similar Documents

Publication Publication Date Title
JP3907891B2 (ja) 画像撮像装置及び画像処理装置
JP4981124B2 (ja) 改良型プレノプティック・カメラ
EP1185112B1 (en) Apparatus for parallax image capturing and parallax image processing
JP4448844B2 (ja) 複眼撮像装置
CN102037717B (zh) 使用具有异构成像器的单片相机阵列的图像拍摄和图像处理
US9185317B2 (en) Image capturing apparatus capable of storing focus detection data
JP2001141422A (ja) 画像撮像装置及び画像処理装置
US8810713B2 (en) Image pickup apparatus and image pickup device for performing auto-focusing
US20120026297A1 (en) Imaging apparatus and imaging method
EP2227896A1 (en) Fast computational camera based with two arrays of lenses
JP4533735B2 (ja) 立体画像撮影装置
JP5846172B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
JP2009047912A (ja) 立体画像撮影装置
JP6222205B2 (ja) 画像処理装置
JP5796611B2 (ja) 画像処理装置、画像処理方法、プログラムおよび撮像システム
JP2003018445A (ja) 画像撮像装置
US9743007B2 (en) Lens module array, image sensing device and fusing method for digital zoomed images
JP4162842B2 (ja) 画像撮像装置及び画像撮像方法
JP2010245691A (ja) 複眼撮像装置
JP2019053758A (ja) 画像処理装置
JP4282920B2 (ja) 視差画像撮像装置及び視差画像処理装置
JP6079838B2 (ja) 画像処理装置、プログラム、画像処理方法および撮像システム
JP6439845B2 (ja) 画像処理装置
JP2003018479A (ja) 画像処理装置および画像処理方法ならびに画像撮像装置
TW202043842A (zh) 包含用於累積圖像資訊的多孔徑成像裝置的裝置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20040917

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20060124

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20060815

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20061011

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061205

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20070116

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20070117

R150 Certificate of patent or registration of utility model

Ref document number: 3907891

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110126

Year of fee payment: 4

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110126

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120126

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120126

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130126

Year of fee payment: 6

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130126

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140126

Year of fee payment: 7

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

EXPY Cancellation because of completion of term