JPH0721365A - 画像処理方法および装置 - Google Patents
画像処理方法および装置Info
- Publication number
- JPH0721365A JPH0721365A JP16707193A JP16707193A JPH0721365A JP H0721365 A JPH0721365 A JP H0721365A JP 16707193 A JP16707193 A JP 16707193A JP 16707193 A JP16707193 A JP 16707193A JP H0721365 A JPH0721365 A JP H0721365A
- Authority
- JP
- Japan
- Prior art keywords
- image
- blur
- parameter
- filter
- image data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Image Processing (AREA)
Abstract
(57)【要約】
【目的】 簡単な装置により、違和感のない自然な、所
望の立体感の画像を生成する方法および装置を提供す
る。 【構成】 撮像系１によって記録された画像を画像デー
タとして記憶する画像メモリ２と、記録された画像デー
タの深さ方向の情報を表す距離データを検出格納する距
離データ検出手段３，４と、画像データのぼけ量を決定
する撮像時のパラメータと、変換後の画像データのぼけ
量を決定する仮想撮像時のパラメータとによって、画像
の小領域ごとにぼけの点像分布に関するパラメータを計
算するぼけパラメータ計算手段８と、ぼけパラメータ計
算手段の出力に基づいてフィルタを作成するフィルタ作
成手段９と、作成されたフィルタと画像データとの積和
演算を行う積和演算手段１０と、前記各部を制御する制
御部１１とを有する。
望の立体感の画像を生成する方法および装置を提供す
る。 【構成】 撮像系１によって記録された画像を画像デー
タとして記憶する画像メモリ２と、記録された画像デー
タの深さ方向の情報を表す距離データを検出格納する距
離データ検出手段３，４と、画像データのぼけ量を決定
する撮像時のパラメータと、変換後の画像データのぼけ
量を決定する仮想撮像時のパラメータとによって、画像
の小領域ごとにぼけの点像分布に関するパラメータを計
算するぼけパラメータ計算手段８と、ぼけパラメータ計
算手段の出力に基づいてフィルタを作成するフィルタ作
成手段９と、作成されたフィルタと画像データとの積和
演算を行う積和演算手段１０と、前記各部を制御する制
御部１１とを有する。
Description
【０００１】
【産業上の利用分野】本発明は、焦点深度の浅い画像か
ら深度の深い鮮明な画像を生成したり、焦点深度の深い
画像から深度の浅い立体感のある画像を生成する画像処
理方法および装置に関する。
ら深度の深い鮮明な画像を生成したり、焦点深度の深い
画像から深度の浅い立体感のある画像を生成する画像処
理方法および装置に関する。
【０００２】
【従来の技術】光学的には撮像レンズの焦点距離やＦナ
ンバーを変えることによって画像の焦点深度を変える方
法が知られている。しかしながら、撮像倍率や明るさの
制約上、所望の焦点深度の画像を撮像時に得ることは非
常に困難となる場合がある。そこで、デジタル画像処理
によって、撮像後の画像に対して深度すなわち立体感を
所望のものに変換する処理が行われている。
ンバーを変えることによって画像の焦点深度を変える方
法が知られている。しかしながら、撮像倍率や明るさの
制約上、所望の焦点深度の画像を撮像時に得ることは非
常に困難となる場合がある。そこで、デジタル画像処理
によって、撮像後の画像に対して深度すなわち立体感を
所望のものに変換する処理が行われている。
【０００３】例えば、焦点深度の浅い画像から深度の深
い画像を生成する方法として、ピント位置の異なる複数
枚のデジタル画像を入力して、画像を積算したり、画像
の高周波成分を比較して高周波成分の強い画像を領域ご
とに合成して深度の深い画像を得る方法が知られてい
る。このような手法は、顕微鏡等の深度の浅い画像に対
して応用される。
い画像を生成する方法として、ピント位置の異なる複数
枚のデジタル画像を入力して、画像を積算したり、画像
の高周波成分を比較して高周波成分の強い画像を領域ご
とに合成して深度の深い画像を得る方法が知られてい
る。このような手法は、顕微鏡等の深度の浅い画像に対
して応用される。
【０００４】また、焦点深度の深い画像から立体感を出
す方法として、例えばポートレートにいて人物を背景か
ら浮き出させるために人物と背景の領域を画像から分離
し、背景の領域に対して平滑化フィルタリングによって
背景をぼかす方法が知られている。
す方法として、例えばポートレートにいて人物を背景か
ら浮き出させるために人物と背景の領域を画像から分離
し、背景の領域に対して平滑化フィルタリングによって
背景をぼかす方法が知られている。
【０００５】
【発明が解決しようとする課題】しかしながら、前記焦
点深度の深い画像を得る従来例では複数枚の画像を入力
する必要があり、画像データは膨大な情報量を有するた
め、画像を記憶しておくためのメモリ量が膨大になって
しまうという欠点がある。
点深度の深い画像を得る従来例では複数枚の画像を入力
する必要があり、画像データは膨大な情報量を有するた
め、画像を記憶しておくためのメモリ量が膨大になって
しまうという欠点がある。
【０００６】また、前記焦点深度の深い画像から立体感
を出す従来例では人物と背景の領域を分離する必要があ
る。
を出す従来例では人物と背景の領域を分離する必要があ
る。
【０００７】また、以上の従来例では画像を何らかの方
法で合成したり、分割するという処理を行っているた
め、光学処理によって得られる画像に比べて、得られる
画像が不自然になってしまう。
法で合成したり、分割するという処理を行っているた
め、光学処理によって得られる画像に比べて、得られる
画像が不自然になってしまう。
【０００８】本発明は、前記問題点に鑑みてなされたも
のであり、複数枚の画像から合成処理を行ったり、画像
から特定領域を分割する必要のない、光学処理によって
得られるのと同等の違和感のない自然な、所望の立体感
の画像を生成する方法および装置を提供するものであ
る。
のであり、複数枚の画像から合成処理を行ったり、画像
から特定領域を分割する必要のない、光学処理によって
得られるのと同等の違和感のない自然な、所望の立体感
の画像を生成する方法および装置を提供するものであ
る。
【０００９】
【課題を解決するための手段】本発明の画像処理方法
は、撮像系によって記録された画像データに対して、前
記画像データの深さ方向の情報を表す距離データと、前
記画像データのぼけ量を決定する撮像時のパラメータ
と、変換後の画像データのぼけ量を決定する仮想撮像時
のパラメータとによって、画像の小領域ごとにフィルタ
を作成し、作成したフィルタを前記小領域に作用させる
ことによって画像の立体感を変換する。その場合、前記
パラメータは、Ｆナンバー、焦点距離、ピント位置の少
なくとも一つを含むのが好ましい。
は、撮像系によって記録された画像データに対して、前
記画像データの深さ方向の情報を表す距離データと、前
記画像データのぼけ量を決定する撮像時のパラメータ
と、変換後の画像データのぼけ量を決定する仮想撮像時
のパラメータとによって、画像の小領域ごとにフィルタ
を作成し、作成したフィルタを前記小領域に作用させる
ことによって画像の立体感を変換する。その場合、前記
パラメータは、Ｆナンバー、焦点距離、ピント位置の少
なくとも一つを含むのが好ましい。
【００１０】また、本発明の画像処理装置は、撮像系に
よって記録された画像を画像データとして記憶する画像
メモリと、記録された画像データの深さ方向の情報を表
す距離データを検出格納する距離データ検出手段と、画
像データのぼけ量を決定する撮像時のパラメータと、変
換後の画像データのぼけ量を決定する仮想撮像時のパラ
メータとによって、画像の小領域ごとにぼけの点像分布
に関するパラメータを計算するぼけパラメータ計算手段
と、前記ぼけパラメータ計算手段の出力に基づいてフィ
ルタを作成するフィルタ作成手段と、前記作成されたフ
ィルタと画像データとの積和演算を行う積和演算手段
と、前記各部を制御する制御部とを有する。
よって記録された画像を画像データとして記憶する画像
メモリと、記録された画像データの深さ方向の情報を表
す距離データを検出格納する距離データ検出手段と、画
像データのぼけ量を決定する撮像時のパラメータと、変
換後の画像データのぼけ量を決定する仮想撮像時のパラ
メータとによって、画像の小領域ごとにぼけの点像分布
に関するパラメータを計算するぼけパラメータ計算手段
と、前記ぼけパラメータ計算手段の出力に基づいてフィ
ルタを作成するフィルタ作成手段と、前記作成されたフ
ィルタと画像データとの積和演算を行う積和演算手段
と、前記各部を制御する制御部とを有する。
【００１１】さらに、前記撮像系および画像メモリ並び
に距離データ検出手段は、複数の撮像系およびそれによ
って記録された画像を画像データとして記憶する画像メ
モリと、画像メモリに記憶された前記複数の撮像系の画
像データから画像の深さ方向の情報を表す距離データを
作成する距離マップ作成手段とから構成されるのが好ま
しい。
に距離データ検出手段は、複数の撮像系およびそれによ
って記録された画像を画像データとして記憶する画像メ
モリと、画像メモリに記憶された前記複数の撮像系の画
像データから画像の深さ方向の情報を表す距離データを
作成する距離マップ作成手段とから構成されるのが好ま
しい。
【００１２】
【作用】撮影された画像の画像データと距離データとが
格納される。ぼけ量を決定する撮像時のパラメータと、
変換後の画像データのぼけ量を決定する仮想撮像時のパ
ラメータとによって、画像の各小領域毎にフィルタを作
成する。作成したフィルタを対応する各小領域に作用さ
せ、画像の立体感を変換させる。
格納される。ぼけ量を決定する撮像時のパラメータと、
変換後の画像データのぼけ量を決定する仮想撮像時のパ
ラメータとによって、画像の各小領域毎にフィルタを作
成する。作成したフィルタを対応する各小領域に作用さ
せ、画像の立体感を変換させる。
【００１３】
【実施例】次に、本発明の実施例について図面を参照し
て説明する。図１は本発明の画像処理装置の第１の実施
例の構成を示すブロック図である。本実施例の画像処理
装置において、撮像系１によってデジタル信号に変換さ
れて画像メモリ２に取り込まれた画像データに対して、
三次元計測手段３によって距離マップメモリ４に取り込
まれた前記画像データの深さ方向の情報を表す距離デー
タと、キーボード５によって指定されたパラメータとに
よって、イメージプロセッサ６が所望の立体感の画像デ
ータを計算し、画像メモリ７に書き込む。
て説明する。図１は本発明の画像処理装置の第１の実施
例の構成を示すブロック図である。本実施例の画像処理
装置において、撮像系１によってデジタル信号に変換さ
れて画像メモリ２に取り込まれた画像データに対して、
三次元計測手段３によって距離マップメモリ４に取り込
まれた前記画像データの深さ方向の情報を表す距離デー
タと、キーボード５によって指定されたパラメータとに
よって、イメージプロセッサ６が所望の立体感の画像デ
ータを計算し、画像メモリ７に書き込む。
【００１４】撮像系１は、例えば撮像レンズおよびＣＣ
Ｄイメージセンサ等からなるスチルビデオカメラであ
る。撮像系１により撮像はデジタル信号に変換され画像
データとして出力され、画像メモリ２に格納される。ま
た、三次元計測手段３は、例えば図２に示すような光レ
ーダ型のレンジファインダであり、この場合、パルスレ
ーザ３１からレーザ光のうちビームスプリッタ３２，３
３を透過して撮像を形成することとなる対象物体に到達
し、再びビームスプリッタ３３で反射して計時回路３４
で検出される光成分と、パルスレーザ３１から出てビー
ムスプリッタ３２で反射して計時回路３４で検出される
光成分との時間差から変換回路３５によって距離が算出
される。また、パルスレーザ３１のレーザ光を二次元的
に走査することにより撮像に対する距離データが形成さ
れる。このように形成された撮像の深さ方向の情報を表
す距離データは、距離マップメモリ４に格納される。
Ｄイメージセンサ等からなるスチルビデオカメラであ
る。撮像系１により撮像はデジタル信号に変換され画像
データとして出力され、画像メモリ２に格納される。ま
た、三次元計測手段３は、例えば図２に示すような光レ
ーダ型のレンジファインダであり、この場合、パルスレ
ーザ３１からレーザ光のうちビームスプリッタ３２，３
３を透過して撮像を形成することとなる対象物体に到達
し、再びビームスプリッタ３３で反射して計時回路３４
で検出される光成分と、パルスレーザ３１から出てビー
ムスプリッタ３２で反射して計時回路３４で検出される
光成分との時間差から変換回路３５によって距離が算出
される。また、パルスレーザ３１のレーザ光を二次元的
に走査することにより撮像に対する距離データが形成さ
れる。このように形成された撮像の深さ方向の情報を表
す距離データは、距離マップメモリ４に格納される。
【００１５】イメージプロセッサ６は、距離マップメモ
リ４の距離データとキーボード５によって入力されたパ
ラメータからぼけの点像分布に関するパラメータを計算
するぼけパラメータ計算手段８と、その出力によりデジ
タルフィルタを作成するフィルタ作成手段９と、前記フ
ィルタと画像メモリ２の画像データとの積和演算を行う
積和演算手段１０と、以上各部８，９，１０を制御する
制御部１１とにより構成される。
リ４の距離データとキーボード５によって入力されたパ
ラメータからぼけの点像分布に関するパラメータを計算
するぼけパラメータ計算手段８と、その出力によりデジ
タルフィルタを作成するフィルタ作成手段９と、前記フ
ィルタと画像メモリ２の画像データとの積和演算を行う
積和演算手段１０と、以上各部８，９，１０を制御する
制御部１１とにより構成される。
【００１６】次に図１の実施例のイメージプロセッサの
処理について図３に示すフローチャートを参照して説明
する。本実施例では、キーボード５で指定して任意のＦ
ナンバー、ピント位置の画像に変換する処理の行うもの
とする。まず、画像データが撮像系１から画像メモリ２
に取り込まれた時の撮像条件等の設定が行われる（ステ
ップＳ１）。本実施例では撮像レンズの焦点距離ｆ、Ｆ
ナンバーＦ0 、撮像時のピント位置（撮像レンズの主点
と合焦位置との距離）ｚ0 とが設定される。本実施例に
おいては、これらのパラメータはあらかじめ初期設定さ
れているが、例えば焦点距離やＦナンバー、ピント位置
の可変な撮像系を用いた場合、それぞれのパラメータを
撮像系に検出系を設けて検出し、イメージプロセッサ６
にインターフェースを介して通知してもよい。
処理について図３に示すフローチャートを参照して説明
する。本実施例では、キーボード５で指定して任意のＦ
ナンバー、ピント位置の画像に変換する処理の行うもの
とする。まず、画像データが撮像系１から画像メモリ２
に取り込まれた時の撮像条件等の設定が行われる（ステ
ップＳ１）。本実施例では撮像レンズの焦点距離ｆ、Ｆ
ナンバーＦ0 、撮像時のピント位置（撮像レンズの主点
と合焦位置との距離）ｚ0 とが設定される。本実施例に
おいては、これらのパラメータはあらかじめ初期設定さ
れているが、例えば焦点距離やＦナンバー、ピント位置
の可変な撮像系を用いた場合、それぞれのパラメータを
撮像系に検出系を設けて検出し、イメージプロセッサ６
にインターフェースを介して通知してもよい。
【００１７】そして、キーボード５から変換後の仮想Ｆ
ナンバーＦ1 およびピント位置ｚ1の入力を受け付け
（ステップＳ２）、データが入力された時点から変換処
理を行う。以下の処理においてはＦナンバー、ピント位
置による立体感の変換処理について説明するが、画像デ
ータのぼけ量を決定するパラメータであれば焦点距離の
ようなものでもよい。
ナンバーＦ1 およびピント位置ｚ1の入力を受け付け
（ステップＳ２）、データが入力された時点から変換処
理を行う。以下の処理においてはＦナンバー、ピント位
置による立体感の変換処理について説明するが、画像デ
ータのぼけ量を決定するパラメータであれば焦点距離の
ようなものでもよい。
【００１８】変換処理においては、まず画像データを水
平方向から順次読み出すよう画素アドレスの設定を行う
（ステップＳ３）。例として、（ｉ，ｊ）番目の画素に
ついての処理について説明する。
平方向から順次読み出すよう画素アドレスの設定を行う
（ステップＳ３）。例として、（ｉ，ｊ）番目の画素に
ついての処理について説明する。
【００１９】距離マップメモリ４から距離データｚ
（ｉ，ｊ）を読み込み（ステップＳ４）、ぼけパラメー
タ計算手段８でぼけの点像分布に関するパラメータとし
て本実施例では変換前と変換後の撮像面での錯乱円径ｄ
0 ，ｄ1 をそれぞれ次式のように計算する。
（ｉ，ｊ）を読み込み（ステップＳ４）、ぼけパラメー
タ計算手段８でぼけの点像分布に関するパラメータとし
て本実施例では変換前と変換後の撮像面での錯乱円径ｄ
0 ，ｄ1 をそれぞれ次式のように計算する。
【００２０】
【式１】 但し、ξ（ｉ，ｊ），ξ0 ，ξ1 ，ψはそれぞれｚ
（ｉ，ｊ），ｚ0 ，ｚ1 ，ｆの逆数。
（ｉ，ｊ），ｚ0 ，ｚ1 ，ｆの逆数。
【００２１】そして、近似的に錯乱円径の比Ｒｄ＝ｄ1
／ｄ0 をぼけ処理の点像分布の直径として、ぼけ処理を
行うかどうかの判断をＲｄにより行う。すなわち、Ｒｄ
＞１かどうか判断し（ステップＳ６）、Ｒｄ＞１のとき
は、フィルタとして平滑化フィルタを作成し、Ｒｄ＞１
でないときは、Ｒｄ＝１かＲｄ＜１かを判断する（ステ
ップＳ８）。Ｒｄ＜１のときは、フィルタとして鮮鋭化
フィルタを作成する（ステップＳ９）。Ｒｄ＝１のとき
はフィルタは作成せず（ステップＳ１０）、フィルタリ
ングは行わない。
／ｄ0 をぼけ処理の点像分布の直径として、ぼけ処理を
行うかどうかの判断をＲｄにより行う。すなわち、Ｒｄ
＞１かどうか判断し（ステップＳ６）、Ｒｄ＞１のとき
は、フィルタとして平滑化フィルタを作成し、Ｒｄ＞１
でないときは、Ｒｄ＝１かＲｄ＜１かを判断する（ステ
ップＳ８）。Ｒｄ＜１のときは、フィルタとして鮮鋭化
フィルタを作成する（ステップＳ９）。Ｒｄ＝１のとき
はフィルタは作成せず（ステップＳ１０）、フィルタリ
ングは行わない。
【００２２】上述の平滑化フィルタとは、Ｒｄを直径と
した円内の領域における平均フィルタである。また、鮮
鋭化フィルタは１／Ｒｄを直径とした円内の領域での平
均フィルタの逆フィルタである。これらのフィルタは近
似的に同等の特性を有するものを用いてもよい。例え
ば、平滑化フィルタにはローパス特性を有するもの、鮮
鋭化フィルタにはハイパス特性を有するものが利用でき
る。
した円内の領域における平均フィルタである。また、鮮
鋭化フィルタは１／Ｒｄを直径とした円内の領域での平
均フィルタの逆フィルタである。これらのフィルタは近
似的に同等の特性を有するものを用いてもよい。例え
ば、平滑化フィルタにはローパス特性を有するもの、鮮
鋭化フィルタにはハイパス特性を有するものが利用でき
る。
【００２３】前記フィルタの作成をフィルタ作成手段９
で行った後、画像メモリ２から設定されたアドレスの画
素値Ｉ（ｉ，ｊ）およびフィルタサイズに合った近傍の
画素値を読み込み（ステップＳ１１）、積和演算手段１
０でコンボリューション演算を行う（ステップＳ１
２）。そして、この結果が画像メモリ７に書き込まれる
（ステップＳ１３）。そして、画像全体に渡り処理が終
了したか判断し（ステップＳ１４）、終了していなけれ
ば、ステップＳ３に戻り、画素アドレスを再設定して処
理が繰り返される。このように、ぼけに関するパラメー
タに錯乱円径を用いて、シフトバリアントなデジタルフ
ィルタリングによって所望の立体感の画像を得ている。
で行った後、画像メモリ２から設定されたアドレスの画
素値Ｉ（ｉ，ｊ）およびフィルタサイズに合った近傍の
画素値を読み込み（ステップＳ１１）、積和演算手段１
０でコンボリューション演算を行う（ステップＳ１
２）。そして、この結果が画像メモリ７に書き込まれる
（ステップＳ１３）。そして、画像全体に渡り処理が終
了したか判断し（ステップＳ１４）、終了していなけれ
ば、ステップＳ３に戻り、画素アドレスを再設定して処
理が繰り返される。このように、ぼけに関するパラメー
タに錯乱円径を用いて、シフトバリアントなデジタルフ
ィルタリングによって所望の立体感の画像を得ている。
【００２４】本実施例では画素ごとにフィルタを求めて
計算しているが、画像を小領域ごとに分割して各領域に
おいて代表的なフィルタを作成して計算を行ってもよ
い。この場合、フィルタのサイズがある程度大きくなる
と計算時間がかかるのでＦＦＴ法による積和演算を行っ
てもよい。また、本実施例では画素ごとにフィルタリン
グを行った後、画素アドレスを設定し直して次の画素で
の計算を行うよう制御しているが、画像全体でぼけパラ
メータ計算、フィルタ作成、フィルタリングを順次行う
よう制御してもよい。また、本実施例では２つのぼけ両
パラメータの比からフィルタ種別の判別を行い、平滑化
および鮮鋭化を行っているが、、例えば、まず錯乱円径
ｄ0 の逆数を直径とした円内の領域での平均フィルタの
逆フィルタにより鮮鋭化を行い、その後錯乱円径ｄ1 を
直径とした円内の領域における平均フィルタにより平滑
化を行うという２段階の処理により立体感の変換を行っ
てもよい。
計算しているが、画像を小領域ごとに分割して各領域に
おいて代表的なフィルタを作成して計算を行ってもよ
い。この場合、フィルタのサイズがある程度大きくなる
と計算時間がかかるのでＦＦＴ法による積和演算を行っ
てもよい。また、本実施例では画素ごとにフィルタリン
グを行った後、画素アドレスを設定し直して次の画素で
の計算を行うよう制御しているが、画像全体でぼけパラ
メータ計算、フィルタ作成、フィルタリングを順次行う
よう制御してもよい。また、本実施例では２つのぼけ両
パラメータの比からフィルタ種別の判別を行い、平滑化
および鮮鋭化を行っているが、、例えば、まず錯乱円径
ｄ0 の逆数を直径とした円内の領域での平均フィルタの
逆フィルタにより鮮鋭化を行い、その後錯乱円径ｄ1 を
直径とした円内の領域における平均フィルタにより平滑
化を行うという２段階の処理により立体感の変換を行っ
てもよい。
【００２５】次に、本発明の第２実施例について図４を
参照して説明する。本実施例では第２の撮像系１２によ
り、第１の撮像系１により得られる画界と略同等の画界
の画像が得られ、画像メモリ１３にデジタル画像データ
として取り込まれる。イメージプロセッサ１６内の距離
マップ作成手段１４は、これらの画像メモリ２，１３に
格納された画像データから距離データを作成した後、距
離マップメモリ４に書き込む。
参照して説明する。本実施例では第２の撮像系１２によ
り、第１の撮像系１により得られる画界と略同等の画界
の画像が得られ、画像メモリ１３にデジタル画像データ
として取り込まれる。イメージプロセッサ１６内の距離
マップ作成手段１４は、これらの画像メモリ２，１３に
格納された画像データから距離データを作成した後、距
離マップメモリ４に書き込む。
【００２６】以下の処理および第１の実施例との共通部
分のブロックの動作は第１の実施例に実質的に同じであ
る。距離マップ作成手段１４の処理を示すブロック図を
図５に示す。画像１、画像２はそれぞれ第１の撮像系、
第２の撮像系によって得られたデジタル画像データであ
る。まず、画像２のエッジ部分が抽出され、テンプレー
トとしてエッジ点列バッファに格納される。一方、画像
１においてもエッジが抽出され、エッジ画像としてメモ
リに格納される。そして、エッジ点列バッファに位置オ
フセットをかけて平行移動させて、エッジ画像とのテン
プレートマッチングが行われ、位置ずれが検出される。
そして、検出された位置ずれは撮像系のパラメータであ
る焦点距離、ピント位置、２つの撮像系の光軸間の距
離、輻輳角によって距離に変換される。すなわち、距離
マップ作成手段１４では、例えば画像メモリ２，１３か
らエッジ部のような特徴を抽出し、画像間での対応を取
り、画像上での位置ずれから深さ方向の情報を表す距離
データが得られる。本実施例の２つの撮像系は同一のも
のを用いてもよいが、距離マップ作成用の第２の撮像系
として安価な低解像のものを用いてもよい。
分のブロックの動作は第１の実施例に実質的に同じであ
る。距離マップ作成手段１４の処理を示すブロック図を
図５に示す。画像１、画像２はそれぞれ第１の撮像系、
第２の撮像系によって得られたデジタル画像データであ
る。まず、画像２のエッジ部分が抽出され、テンプレー
トとしてエッジ点列バッファに格納される。一方、画像
１においてもエッジが抽出され、エッジ画像としてメモ
リに格納される。そして、エッジ点列バッファに位置オ
フセットをかけて平行移動させて、エッジ画像とのテン
プレートマッチングが行われ、位置ずれが検出される。
そして、検出された位置ずれは撮像系のパラメータであ
る焦点距離、ピント位置、２つの撮像系の光軸間の距
離、輻輳角によって距離に変換される。すなわち、距離
マップ作成手段１４では、例えば画像メモリ２，１３か
らエッジ部のような特徴を抽出し、画像間での対応を取
り、画像上での位置ずれから深さ方向の情報を表す距離
データが得られる。本実施例の２つの撮像系は同一のも
のを用いてもよいが、距離マップ作成用の第２の撮像系
として安価な低解像のものを用いてもよい。
【００２７】
【発明の効果】以上説明したように、本発明によれば撮
像系によって記録された画像の画像データに対して、前
記画像の深さ方向の情報を表す距離データと、前記画像
データに対するぼけ量を決定する撮像時のパラメータ
と、変換後の画像データのぼけ量を決定する仮想撮像時
のパラメータによって、画像の小領域ごとにフィルタを
作成し、小領域ごとに作成したフィルタを作用させるこ
とによって、違和感のない自然な、所望の立体感の画像
を変換生成することができる。
像系によって記録された画像の画像データに対して、前
記画像の深さ方向の情報を表す距離データと、前記画像
データに対するぼけ量を決定する撮像時のパラメータ
と、変換後の画像データのぼけ量を決定する仮想撮像時
のパラメータによって、画像の小領域ごとにフィルタを
作成し、小領域ごとに作成したフィルタを作用させるこ
とによって、違和感のない自然な、所望の立体感の画像
を変換生成することができる。
【図面の簡単な説明】
【図１】本発明の画像処理装置の第１の実施例の構成を
示すブロック図である。
示すブロック図である。
【図２】図１の実施例の三次元計測手段の一例を示すブ
ロック図である。
ロック図である。
【図３】図１の実施例の動作すなわち画像処理方法の処
理の流れを説明するフローチャートである。
理の流れを説明するフローチャートである。
【図４】本発明の第２の実施例の構成を示すブロック図
である。
である。
【図５】図４の実施例の距離マップ作成手段の処理を説
明するブロック図である。
明するブロック図である。
１，１２ 撮像系 ２，１３ 画像メモリ ３ 三次元計測手段 ４ 距離マップメモリ ５ キーボード ６，１６ イメージプロセッサ ７ 画像メモリ ８ ぼけパラメータ計算手段 ９ フィルタ作成手段 １０ 積和演算手段 １１ 制御部 １４ 距離マップ作成手段 ３１ パルスレーザ ３２，３３ ビームスプリッタ ３４ 計時回路 ３５ 変換回路
Claims (4)
- 【請求項１】 撮像系によって記録された画像データに
対して、前記画像データの深さ方向の情報を表す距離デ
ータと、前記画像データのぼけ量を決定する撮像時のパ
ラメータと、変換後の画像データのぼけ量を決定する仮
想撮像時のパラメータとによって、画像の小領域ごとに
フィルタを作成し、作成したフィルタを前記小領域に作
用させることによって画像の立体感を変換する画像処理
方法。 - 【請求項２】 前記パラメータは、Ｆナンバー、焦点距
離、ピント位置の少なくとも一つを含む請求項１記載の
画像処理方法。 - 【請求項３】 撮像系によって記録された画像を画像デ
ータとして記憶する画像メモリと、 記録された画像データの深さ方向の情報を表す距離デー
タを検出格納する距離データ検出手段と、 画像データのぼけ量を決定する撮像時のパラメータと、
変換後の画像データのぼけ量を決定する仮想撮像時のパ
ラメータとによって、画像の小領域ごとにぼけの点像分
布に関するパラメータを計算するぼけパラメータ計算手
段と、 前記ぼけパラメータ計算手段の出力に基づいてフィルタ
を作成するフィルタ作成手段と、 前記作成されたフィルタと画像データとの積和演算を行
う積和演算手段と、 前記各部を制御する制御部とを有する画像処理装置。 - 【請求項４】 複数の撮像系によって記録された画像を
画像データとして記憶する画像メモリと、 画像メモリに記憶された前記複数の撮像系の画像データ
から画像の深さ方向の情報を表す距離データを作成する
距離マップ作成手段と、 距離マップ作成手段が作成した距離データと、前記複数
の撮像系の内のひとつである主撮像系の画像データのぼ
け量を決定する撮像時のパラメータと、主撮像系の画像
データの変換後のぼけ量を決定する仮想撮像時のパラメ
ータとによって、画像の小領域ごとにぼけの点像分布に
関するパラメータを計算するぼけパラメータ計算手段
と、 前記ぼけパラメータ計算手段の出力に基づいてフィルタ
を作成するフィルタ作成手段と、 前記作成されたフィルタと画像データとの積和演算を行
う積和演算手段と、 前記各部を制御する制御部とを有する画像処理装置。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16707193A JPH0721365A (ja) | 1993-07-06 | 1993-07-06 | 画像処理方法および装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP16707193A JPH0721365A (ja) | 1993-07-06 | 1993-07-06 | 画像処理方法および装置 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0721365A true JPH0721365A (ja) | 1995-01-24 |
Family
ID=15842870
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP16707193A Pending JPH0721365A (ja) | 1993-07-06 | 1993-07-06 | 画像処理方法および装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0721365A (ja) |
Cited By (10)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6900841B1 (en) | 1999-01-11 | 2005-05-31 | Olympus Optical Co., Ltd. | Image processing system capable of applying good texture such as blur |
| JP2009015828A (ja) * | 2007-06-06 | 2009-01-22 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP2009110137A (ja) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
| EP2302903A1 (en) | 2009-08-13 | 2011-03-30 | FUJIFILM Corporation | Image processing method, image processing apparatus, computer readable medium, and imaging apparatus |
| JP2014123805A (ja) * | 2012-12-20 | 2014-07-03 | Canon Inc | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
| US8988592B2 (en) | 2012-05-17 | 2015-03-24 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
| JP2015108837A (ja) * | 2015-01-07 | 2015-06-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US9332190B2 (en) | 2011-12-02 | 2016-05-03 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US9361680B2 (en) | 2013-08-07 | 2016-06-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and imaging apparatus |
| US10326927B2 (en) | 2015-02-24 | 2019-06-18 | Canon Kabushiki Kaisha | Distance information producing apparatus, image capturing apparatus, distance information producing method and storage medium storing distance information producing program |
-
1993
- 1993-07-06 JP JP16707193A patent/JPH0721365A/ja active Pending
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6900841B1 (en) | 1999-01-11 | 2005-05-31 | Olympus Optical Co., Ltd. | Image processing system capable of applying good texture such as blur |
| JP2009015828A (ja) * | 2007-06-06 | 2009-01-22 | Sony Corp | 画像処理装置、画像処理方法及び画像処理プログラム |
| US8564693B2 (en) | 2007-06-06 | 2013-10-22 | Sony Corporation | Image processing device, image processing method, and image processing program |
| USRE46976E1 (en) | 2007-06-06 | 2018-07-31 | Sony Corporation | Image processing device, image processing method, and image processing program |
| JP2009110137A (ja) * | 2007-10-29 | 2009-05-21 | Ricoh Co Ltd | 画像処理装置、画像処理方法及び画像処理プログラム |
| US9025049B2 (en) | 2009-08-13 | 2015-05-05 | Fujifilm Corporation | Image processing method, image processing apparatus, computer readable medium, and imaging apparatus |
| EP2302903A1 (en) | 2009-08-13 | 2011-03-30 | FUJIFILM Corporation | Image processing method, image processing apparatus, computer readable medium, and imaging apparatus |
| US9332190B2 (en) | 2011-12-02 | 2016-05-03 | Canon Kabushiki Kaisha | Image processing apparatus and image processing method |
| US8988592B2 (en) | 2012-05-17 | 2015-03-24 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
| US9621786B2 (en) | 2012-05-17 | 2017-04-11 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
| US10021290B2 (en) | 2012-05-17 | 2018-07-10 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, image processing program, and image pickup apparatus acquiring a focusing distance from a plurality of images |
| JP2014123805A (ja) * | 2012-12-20 | 2014-07-03 | Canon Inc | 画像処理装置、撮像装置、画像処理プログラムおよび画像処理方法 |
| US9361680B2 (en) | 2013-08-07 | 2016-06-07 | Canon Kabushiki Kaisha | Image processing apparatus, image processing method, and imaging apparatus |
| JP2015108837A (ja) * | 2015-01-07 | 2015-06-11 | キヤノン株式会社 | 画像処理装置及び画像処理方法 |
| US10326927B2 (en) | 2015-02-24 | 2019-06-18 | Canon Kabushiki Kaisha | Distance information producing apparatus, image capturing apparatus, distance information producing method and storage medium storing distance information producing program |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP6112824B2 (ja) | 画像処理方法および装置、プログラム。 | |
| CN108076286B (zh) | 图像虚化方法、装置、移动终端和存储介质 | |
| US6160909A (en) | Depth control for stereoscopic images | |
| JP2756803B2 (ja) | ３次元空間シーンの表面区画及びカメラ装置間の距離を決定するための方法及び装置 | |
| US6519359B1 (en) | Range camera controller for acquiring 3D models | |
| JP3961729B2 (ja) | 全焦点撮像装置 | |
| CN101297545B (zh) | 摄影装置、图像处理装置 | |
| JP3191928B2 (ja) | 画像入出力装置 | |
| JPH0560528A (ja) | 立体情報入力装置 | |
| WO2014044126A1 (zh) | 坐标获取装置、实时三维重建系统和方法、立体交互设备 | |
| JP7479729B2 (ja) | 三次元表現方法及び表現装置 | |
| US20190355101A1 (en) | Image refocusing | |
| JPH0721365A (ja) | 画像処理方法および装置 | |
| JP6544978B2 (ja) | 画像出力装置およびその制御方法、撮像装置、プログラム | |
| JP4354096B2 (ja) | 撮像装置 | |
| KR102253320B1 (ko) | 집적영상 현미경 시스템에서의 3차원 영상 디스플레이 방법 및 이를 구현하는 집적영상 현미경 시스템 | |
| JPH10262176A (ja) | 映像形成方法 | |
| JP4091455B2 (ja) | ３次元形状計測方法及び３次元形状計測装置並びにその処理プログラムと記録媒体 | |
| KR101186103B1 (ko) | 측정 대상물의 3ｄ 높이 정보를 측정하는 측정 방법 및 장치 | |
| JP3725606B2 (ja) | 撮影装置 | |
| JP2001298657A (ja) | 映像形成方法及び装置 | |
| EP1522961A2 (en) | Deconvolution of a digital image | |
| JPH1139506A (ja) | 任意視点画像生成装置 | |
| CN115086558B (zh) | 对焦方法、摄像设备、终端设备及存储介质 | |
| JPH09294224A (ja) | 自動倍率撮像装置及び自動倍率撮影装置 |