JP4689243B2 - 画像処理装置、画像処理方法、及びデジタルカメラ - Google Patents

画像処理装置、画像処理方法、及びデジタルカメラ Download PDF

Info

Publication number
JP4689243B2
JP4689243B2 JP2004330738A JP2004330738A JP4689243B2 JP 4689243 B2 JP4689243 B2 JP 4689243B2 JP 2004330738 A JP2004330738 A JP 2004330738A JP 2004330738 A JP2004330738 A JP 2004330738A JP 4689243 B2 JP4689243 B2 JP 4689243B2
Authority
JP
Japan
Prior art keywords
image
pixel
output
pixels
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2004330738A
Other languages
English (en)
Other versions
JP2006139697A (ja
Inventor
弘之 倉瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP2004330738A priority Critical patent/JP4689243B2/ja
Publication of JP2006139697A publication Critical patent/JP2006139697A/ja
Application granted granted Critical
Publication of JP4689243B2 publication Critical patent/JP4689243B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Image Processing (AREA)
  • Studio Devices (AREA)

Description

本発明は、原画像を所定サイズの出力画像に拡大または縮小するときに、該出力画像の各画素の画素データを生成する画像処理装置及び画像処理方法に関し、例えば、デジタルカメラ等の撮像機器の画像処理に用いて好適な画像処理装置及び画像処理方法に関する。
従来より、画像を拡大あるいは縮小(以下、リサイズ)する場合には、原画像データに対して所定の補間方法を用いて補間処理を施して、原画像データの画素数とは異なる画素数、具体的には、拡大する場合には水平方向及び垂直方向の双方の画素数が原画像データよりも多い画像データ、縮小する場合には水平方向及び垂直方向の双方の画素数が原画像データよりも少ない画素数の画像データを求め、画像の画質劣化を防止する処理が行われている。
具体的には、従来は画像端部から拡大率あるいは縮小率に応じて等間隔に画素位置を算出し、算出した画素位置の近傍画素を用いて補間演算して画像データ(各画素の画素データ)を求めることにより、リサイズした画像(出力画像)を得ていた。このように、従来は画素端から順次画素位置を算出していくため、出力画像の中心が原画像の中心に対してずれてしまう、という問題があった。
例えば、2480画素×1860ラインの原画像を640画素×480ラインの出力画像に縮小する場合(縮小率は、1/3.875)を例に挙げると、出力画像の各画素(出力画素)の画素データを出力画像の左上端から水平方向右側に順に求めていくときに、従来は、各出力画素の出力画像における座標(左上を(0,0)とする座標系)に縮小率の逆数を乗算することにより出力画素の原画像における座標を求め、原画像を構成する画素のうち、求めた座標周辺に存在する画素を用いて補間処理を行って、出力画素の画素データを求めていた。しかしながら、このように処理すると、出力画素の水平方向の座標値は、0、3.875、7.75、・・・、2476.125、となり、出力画像は左側に偏ってしまう。また、垂直方向でも同様に処理するため、出力画像は上側に偏ってしまう。すなわち、従来の方法により得られた出力画像は、中心が左上にずれた画像になってしまう、という問題があった。
このような中心ずれの問題を解決するための方法として、画素端にオフセットを与えて中心ずれを補正する方法や、ずれ量を逆算していく方法等が知られている(例えば、特許文献1参照。)。
特開平8−279949号公報
しかしながら、上述した中心ずれを解消するための従来の技術では、拡大率あるいは縮小率(リサイズ率)に応じてその都度オフセット量及び画素開始位置を計算しなくてはならないため、計算が煩雑になる。また、原画像の一部分をトリミングし、該トリミングした画像に対してリサイズ率を自由に変えてリサイズ処理する場合にも同様に、リサイズ率を変更するたびに毎回オフセット量及び画素開始位置を計算する必要があり、計算が煩雑になる。
本発明は、上記問題点を解決するためになされたものであり、画像の拡大または縮小を行う際に、中心ずれの無い高品質な出力画像の画像データを簡易に得ることができる画像処理装置及び画像処理方法を提供することを目的とする。
上記目的を達成するために、本発明の画像処理装置は、n×m画素からなる原画像をリサイズ率kで拡大または縮小したときのkn×km画素からなる出力画像の各画素について、該出力画像の中心の座標を基準とした相対座標を算出する第1座標算出手段と、前記第1座標算出手段により算出された各画素の前記相対座標の各々に前記kの逆数を乗算して、前記出力画像を表す各画素の前記原画像における位置座標の各々該位置座標が互いに同一とならないように算出する第2座標算出手段と、前記第2座標算出手段により算出された位置座標に対応する前記出力画像の画素の画素データの各々を、前記原画像に含まれる前記第2座標算出手段で算出された位置座標に対応する前記出力画像の画素に隣接する4つの画素の画素データを用いて線形補間処理を行うことにより算出する画素データ算出手段と、を含んで構成されている。
この画像処理装置は、第1座標算出手段、第2算用段出手段、及び画素データ算出手段を備えている。第1座標算出手段は、n×m画素からなる原画像をリサイズ率kで拡大または縮小したときのkn×km画素からなる出力画像の各画素について、該出力画像の中心の座標を基準とした相対座標を算出する。第2座標算出手段は、出力画像を表す各画素の相対座標の各々にkの逆数を乗算して、出力画像を表す各画素の原画像における位置座標の各々該位置座標が互いに同一とならないように算出する。なお、位置座標は、このように相対座標にリサイズ率kの逆数を乗算して求めた、原画像の中心を基準とした相対座標であってもよいし、更に、該相対座標を所定の座標系(例えば左上の座標を(0,0)として水平方向右方及び垂直方向下方にいくほど大きくなる座標系)の座標に変換し、該変換した座標を該出力画像の各画素の原画像における位置座標として算出してもよい。
なお、通常は、上記算出された位置座標は整数値にならず、原画像には該座標に対応する画素データが存在しないため、原画像上の位置座標の周辺に存在する画素(周辺画素)の画素データから、画素データ算出手段は、出力画像の画素の画素データを補間する処理を行う。すなわち、画素データ算出手段は、第2座標算出手段により算出された位置座標に対応する出力画像の画素の画素データの各々を、原画像に含まれる上記第2座標算出手段で算出された位置座標に対応する前記出力画像の画素に隣接する4つの画素の画素データを用いて線形補間処理を行うことにより算出する。
このように、画像の中心を基準として、出力画像の各画素の原画像における位置座標を求め、各画素の画素データを求めるようにしたため、中心ずれの無い高品質な出力画像を簡易に得ることができる。
なお、上記原画像は、撮影光学系を介した撮影により得られた画像であってもよい。このような原画像の場合には、原画像に撮影光学系の光学歪みが生じることもある。出力画像の画素データを算出するにあたり、出力画像にこの光学歪みが生じないように、前記第2座標算出手段は、前記位置座標を算出する前に、前記原画像に生じた撮影光学系による光学歪み量と前記リサイズ率kに応じた量だけ前記原画像が歪んでいる方向に前記出力画像の各画素の相対座標を移動させることができる。
例えば、出力画像の中心を基準とした相対座標から、出力画像における処理対象の画素の出力画像の中心からの距離を求め、該距離を用いてリサイズ率に応じた所定の多次元関数式により光学歪み量を算出し、該光学歪み量だけ原画像が歪んでいる方向に相対座標を移動させるようにする。第2座標算出手段は、この相対座標を用いて、出力画像の各画素の原画像における位置座標を算出することができる。なお、リサイズ率に応じた多次元関数式を用いるのは、出力画像のサイズが原画像をリサイズ率に応じてリサイズしたときのサイズであるためである。
これにより、原画像に生じた光学歪みと同様に第2座標算出手段で算出される位置座標を歪ませることができる。従って、原画像に光学歪みが生じている場合であっても、画素データ算出手段で、出力画像の画素の画素データを算出するために必要かつ適切な周辺画素の画素データを取得でき、出力画像の画素の画素データを算出することができる。
なお、ここでは出力画像の画素の画素データを補間処理により算出するために必要かつ適切な周辺画素の画素データを得るために出力画像の相対座標を歪ませるのであって、実際に生成される出力画像の画素は歪み無く配列されるため、上記算出された画素データにより歪みのない高品質な出力画像を生成することができる。
また、出力画像に上記光学歪みが生じないように、前記第2座標算出手段は、前記原画像に生じた撮影光学系による光学歪み量に応じた量だけ前記原画像が歪んでいる方向に前記算出した位置座標を移動させることもできる。
例えば、出力画像の画素の原画像の中心を基準とした位置座標に基づいて出力画素の位置から原画像の中心までの距離を求め、該距離から所定の多次元関数式を用いて光学歪み量を求め、出力画素の入力画像における位置座標を該光学歪み量だけ原画像が歪んでいる方向に移動させるようにすることができる。
これにより、原画像に生じた光学歪みと同様に第2座標算出手段で算出される位置座標を歪ませることができる。従って、原画像に光学歪みが生じている場合であっても、画素データ算出手段で、出力画像の画素の画素データを補間処理により算出するために必要かつ適切な周辺画素の画素データを取得でき、出力画像の画素の画素データを算出することができる。
なお、第2座標算出手段が、例えば、出力画像を表す各画素の該出力画像の中心を基準とした相対座標にリサイズ率の逆数を乗算して求めた座標を位置座標として算出する場合には、該求めた座標を光学歪み量だけ原画像が歪んでいる方向に移動させることができる。また、さらに該求めた座標を入力画像における所定の座標系(例えば左上の座標を(0,0)として水平方向右側及び垂直方向下方にいくほど大きくなる座標系)の座標に変換し、該変換した座標を位置座標として算出する場合には、該所定の座標系に変換する前の座標を光学歪み量だけ原画像が歪んでいる方向に移動させてから、該所定の座標系の座標に変換してもよいし、まず該所定の座標系に変換してから、該所定の座標系の座標を光学歪み量だけ原画像が歪んでいる方向に移動させるようにしてもよい。
すなわち、これによっても、原画像に生じた光学歪みと同様に第2座標算出手段で算出される位置座標を歪ませることができる。従って、原画像に光学歪みが生じている場合であっても、画素データ算出手段で、出力画像の画素の画素データを補間処理により算出するために必要かつ適切な周辺画素の画素データを取得でき、該画素データを算出することができる。
また、原画像自体は、リサイズ率とは関係ない(すなわち、その画像サイズはリサイズ処理前のサイズである)ため、光学歪み量を算出する多次元関数式をリサイズ率に応じて変更する必要はない。従って、出力画像を表す各画素の該出力画像の中心を基準とした相対座標を移動させる場合に比べて、簡易に出力画像の各画素の入力画像における位置座標を求めることができる。
本発明の画像処理方法は、n×m画素からなる原画像をリサイズ率kで拡大または縮小したときのkn×km画素からなる出力画像の各画素について、該出力画像の中心の座標を基準とした相対座標を算出する第1座標算出ステップと、前記第1座標算出ステップにより算出された各画素の前記相対座標の各々に前記kの逆数を乗算して、前記出力画像を表す各画素の前記原画像における位置座標の各々該位置座標が互いに同一とならないように算出する第2座標算出ステップと、前記第2座標算出ステップにより算出された位置座標に対応する前記出力画像の画素の画素データの各々を、前記原画像に含まれる前記第2座標算出ステップで算出された位置座標に対応する前記出力画像の画素に隣接する4つの画素の画素データを用いて線形補間処理を行うことにより算出する画素データ算出ステップと、を含んでいる
本発明の画像処理方法も、上記本発明の画像処理装置と同様に作用するため、中心ずれの無い高品質な出力画像を簡易に得ることができる。
なお、前記第2座標算出ステップにおいて、前記位置座標を算出する前に、前記原画像に生じた撮影光学系による光学歪み量と前記リサイズ率kに応じた量だけ前記原画像が歪んでいる方向に前記出力画像の各画素の相対座標を移動させることもできる。
これにより、原画像に生じた光学歪みと同様に第2座標算出ステップで算出される位置座標を歪ませることができる。従って、原画像に光学歪みが生じている場合であっても、画素データ算出手段で、出力画像の画素の画素データを補間処理により算出するために必要かつ適切な周辺画素の画素データを取得でき、出力画像の画素の画素データを算出することができる。
また、前記第2座標算出ステップにおいて、前記原画像に生じた撮影光学系による光学歪み量に応じた量だけ前記原画像が歪んでいる方向に前記算出した位置座標を移動させることもできる。
これによっても、原画像に生じた光学歪みと同様に第2座標算出ステップで算出される位置座標を歪ませることができる。従って、原画像に光学歪みが生じている場合であっても、画素データ算出手段で、出力画像の画素の画素データを補間処理により算出するために必要かつ適切な周辺画素の画素データを取得でき、出力画像の画素の画素データを算出することができる。
また、本発明のデジタルカメラは、電子ズーム機能を備えたデジタルカメラであって、前記電子ズーム機能のズーム倍率が変動した場合に、n×m画素からなる原画像を該変動後のズーム倍率に応じたリサイズ率kで拡大または縮小したときのkn×km画素からなる出力画像の各画素について、該出力画像の中心の座標を基準とした相対座標を算出する第1座標算出手段と、前記第1座標算出手段により算出された各画素の前記相対座標の各々に前記kの逆数を乗算して、前記出力画像を表す各画素の前記原画像における位置座標の各々該位置座標が互いに同一とならないように算出する第2座標算出手段と、前記第2座標算出手段により算出された位置座標に対応する前記出力画像の画素の画素データの各々を、前記原画像に含まれる前記第2座標算出手段で算出された位置座標に対応する前記出力画像の画素に隣接する4つの画素の画素データを用いて線形補間処理を行うことにより算出する画素データ算出手段と、を含んで構成されている。
また、本発明の、電子ズーム機能を備えたデジタルカメラで行われる画像処理方法は、前記電子ズーム機能のズーム倍率が変動した場合に、n×m画素からなる原画像を該変動後のズーム倍率に応じたリサイズ率kで拡大または縮小したときのkn×km画素からなる出力画像の各画素について、該出力画像の中心の座標を基準とした相対座標を算出する第1座標算出ステップと、前記第1座標算出ステップにより算出された各画素の前記相対座標の各々に前記kの逆数を乗算して、前記出力画像を表す各画素の前記原画像における位置座標の各々該位置座標が互いに同一とならないように算出する第2座標算出ステップと、前記第2座標算出ステップにより算出された位置座標に対応する前記出力画像の画素の画素データの各々を、前記原画像に含まれる前記第2座標算出ステップで算出された位置座標に対応する前記出力画像の画素に隣接する4つの画素の画素データを用いて線形補間処理を行うことにより算出する画素データ算出ステップと、を含んで構成されている。
以上説明したように本発明によれば、中心ずれの無い高品質な出力画像の画像データを簡易に得ることができる、という優れた効果を奏する。
以下、図面を参照して、本発明の実施の形態について詳細に説明する。
[第1の実施の形態]
まず、図1を参照して、本実施の形態に係るデジタルカメラ10の構成を説明する。ここでは、本発明の画像処理装置をデジタルカメラ10に搭載されたデジタル信号処理部30のリサイズ処理部60に適用した場合を例に挙げて説明する。
同図に示すように、デジタルカメラ10は、レンズを含んで構成された光学ユニット22と、レンズの光軸後方に配設されたCCD24と、CCD24の出力信号に含まれるノイズ等を軽減するための相関二重サンプリング回路を含んで構成されたアナログ信号処理部26と、アナログ信号処理部26で処理されたR(赤)、G(緑)、B(青)のアナログ信号を各々R、G、Bのデジタル信号(デジタル画像データ)に変換するアナログ/デジタル変換器(以下、「ADC」という。)28と、ADC28で変換されたデジタル画像データに対して各種の画像処理を行うデジタル信号処理部30と、を含んで構成されている。
また、デジタルカメラ10は、デジタル画像データにより示される画像やメニュー画面等をLCD44に表示させるための信号を生成してLCD44に供給するLCDインタフェース42と、デジタルカメラ10全体の動作を司るCPU(中央処理装置)50と、主として撮影により得られたデジタル画像データを記憶するVRAM(Video RAM)により構成されたメモリ72と、メモリ72に対するアクセスの制御を行うメモリインタフェース70と、撮影により得られたデジタル画像データを記憶するためのメモリカード82をデジタルカメラ10でアクセス可能とするための外部メモリインタフェース80と、所定の圧縮形式でデジタル画像データに対して圧縮処理を施す一方、圧縮処理されたデジタル画像データに対して圧縮形式に応じた伸張処理を施す圧縮・伸張処理回路86と、を含んで構成されている。
デジタル信号処理部30、LCDインタフェース42、CPU50、メモリインタフェース70、外部メモリインタフェース80、及び圧縮・伸張処理回路86はシステムバスBUSを介して相互に接続されている。従って、CPU50は、デジタル信号処理部30及び圧縮・伸張処理回路86の作動の制御、LCD44に対するLCDインタフェース42を介した各種情報の表示、メモリ72及びメモリカード82へのメモリインタフェース70または外部メモリインタフェース80を介したアクセスを行うことができる。
ここで、デジタル信号処理部30は、具体的には、入力されたデジタル画像データに対し、ホワイトバランス調整処理、ガンマ処理、シャープネス処理、更に輝度信号Yとクロマ信号Cr、Cb(以下、「YC信号」)を生成するYC信号処理等の各種画像処理を施す。更に、デジタル信号処理部30は、該画像処理が施されたデジタル画像データから、該デジタル画像データの画像を拡大または縮小する処理(リサイズ処理)を施して、LCD44に表示するための画像データを生成したり、あるいはメモリカード82に記録するための画像データを生成したりする。
図2は、デジタル信号処理部30に含まれる、前記リサイズ処理を行うリサイズ処理部60の構成を示した図である。同図に示されるように、リサイズ処理部60は、画素位置算出部62と出力画素データ算出部64とを備えている。
画素位置算出部62には、リサイズ処理前のデジタル画像データの画像(以下、「入力画像」と呼称)の画像サイズと、入力画像をリサイズして得られる画像(以下、「出力画像」)の画像サイズとがCPU50から入力される。画素位置算出部62は、入力画像を出力画像に拡大するための拡大率または縮小するための縮小率(以下、拡大率または縮小率をリサイズ率と呼称)と、出力画像を表す各画素の出力画像の中心を基準とした相対座標とに基づいて、出力画像の各画素の入力画像における位置座標を算出する。なお、ここでいう入力画像は、本発明の原画像に相当する。
出力画素データ算出部64には、画素位置算出部62により算出された出力画像の各画素の位置座標、及び上記YC信号処理等の画像処理が施された入力画像のデジタル画像データ(入力画像を構成する各画素の画素データ)が入力される。出力画素データ算出部64は、入力画像を構成する画素のうち画素位置算出部62により算出された出力画像の各画素の位置座標の周辺に存在する画素の画素データに基づいて所定の補間処理を施して、出力画像を構成する各画素の画素データを算出する。
例えば、LCD44をファインダとして使用する場合には、CCD24から出力されてデジタル信号処理部30で上記YC処理等の画像処理を施して得られたデジタル画像データが、リサイズ処理部60において、例えばVGAサイズの640画素×480ラインの画像サイズにリサイズ処理されて、LCDインタフェース42を介して順次LCD44に出力される。これによってLCD44に、CCD24による連続的な撮像によって得られた動画像(スルー画像)が表示される。
また、撮影された被写体の画像を所望の画像サイズに拡大または縮小してメモリカード82に記録する場合、あるいは、メモリカード82に記録されたデジタル画像データをLCD44に表示させる場合にも、上記リサイズ処理部60でリサイズ処理されてメモリカード82またはLCD44に出力される。
また、図1に示されるように、デジタルカメラ10には、主としてCCD24を駆動させるためのタイミング信号を生成してCCD24に供給するタイミングジェネレータ32が備えられており、CCD24の駆動はCPU50によりタイミングジェネレータ32を介して制御される。
更に、デジタルカメラ10にはモータ駆動部34が備えられており、光学ユニット22に備えられた焦点調整モータ、ズームモータ及び絞り駆動モータの駆動もCPU50によりモータ駆動部34を介して制御される。
CPU50は、光学ズーム倍率を変更する際にはズームモータを駆動制御して光学ユニット22に含まれるレンズの焦点距離を変化させる。
また、CPU50は、CCD24による撮像によって得られた画像のコントラスト値が最大となるように上記焦点調整モータを駆動制御することによって合焦制御を行う。すなわち、本実施の形態に係るデジタルカメラ10では、合焦制御として、読み取られた画像のコントラストが最大となるようにレンズの位置を設定する、所謂TTL(Through The Lens)方式を採用している。
更に、レリーズボタン、電源スイッチ、モード切替スイッチ、等の各種ボタン類及びスイッチ類(図1では、「操作部90」と総称。)がCPU50に接続されており、CPU50は、これらの操作部90に対する操作状態を常時把握できる。
次に、リサイズ処理部60で行われるリサイズ処理について図3及び図4のフローチャートを用いて説明する。
図3は、本実施の形態に係るリサイズ処理の流れを示すフローチャートである。
ステップ100では、入力画像の画像サイズの情報及び出力画像の画像サイズの情報の入力待ちを行い、入力されたときにステップ102に移行する。
例えば、撮影により得られた2480画素×1860ラインのデジタル画像データをLCD44にスルー画像として表示するときには、例えば図5に示されるように、入力画像の画像サイズの情報として、2480画素×1860ラインの画像サイズを示す情報、出力画像の画像サイズの情報として、VGAサイズ(640画素×480ラインの画像サイズ)の情報がCPU50より入力される。
また、撮影により得られたデジタル画像データを所望の画像サイズに縮小してメモリカード82に記録する場合には、操作部90からユーザにより入力された画像サイズの情報(または縮小率の情報)が出力画像の画像サイズの情報として入力される。さらにまた、メモリカード82に記録されたデジタル画像データをLCD44に表示させる場合には、入力画像の画像サイズの情報として、メモリカード82に記録されたデジタル画像データの画像サイズの情報が入力され、出力画像の画像サイズの情報として、例えばVGAサイズの情報が入力される。なお、以下では、図5に示された画像サイズの入力画像を同図に示される画像サイズの出力画像に縮小する場合を例に挙げながら説明する。
ステップ102では、入力画像の中心座標(以下、「入力中心」と呼称)及び出力画像の中心座標(以下、「出力中心」と呼称)を設定する。ここでは、画像の左上の座標を(0,0)とし、水平方向右側にいくほどx座標値が大きくなり、垂直方向下側にいくほどy座標値が大きくなる絶対座標系で、各中心座標を設定する。具体的には、上記入力された画像サイズを2で除算して得られた数値を中心座標として設定する。例えば図5に示される例では、入力中心は(1239.5,929.5)に設定され、出力中心は、(319.5,239.5)に設定される。
ステップ104では、出力画像を構成する画素p(出力画素p)を1つ選択して、この出力画素pの出力画像における絶対座標系の座標(絶対座標)を出力中心からの相対座標に変換する。ここで、ステップ104の処理を具体的に説明する。
本実施の形態において、出力画素の選択は、入力画像の画素データの読み出し方向(スキャン方向)と同様の順に行われる。本実施の形態において、入力画像の画素データを読み出す際には、図5に示されるように、入力画像の左上端の画素から始まり水平方向右へ順次画素を読み出し、右端に来たら次ラインの画素を順次読み出すようにするため、出力画像の画素もこの読み出し方向(スキャン方向)の順に選択される。従って、ここでは、まず、左上の絶対座標(0,0)の出力画素が選択され、(0,1)、(0,2)・・・と順次選択されてリサイズ処理されることとなる。右端の画素まで処理が終了したときには、次ラインの左端(1,0)の画素が選択され、(1,1)、(1,2)・・・と順次選択されリサイズ処理されることとなる。
続いて、上記選択された出力画素pの絶対座標を出力画像の中心座標を基準とした相対座標に変換する。具体的には、出力画素pの絶対座標のx座標値から中心座標のx座標値を差し引いた値を相対座標のx座標値として求め、出力画素pの絶対座標のy座標値から中心座標のy座標値を差し引いた値を相対座標のy座標値として求める。これにより、例えば絶対座標(0,0)を相対座標に変換する場合には、絶対座標のx座標値0から中心座標のx座標値319.5を差し引いた値−319.5が相対座標のx座標値に、絶対座標のy座標値0から中心座標のy座標値239.5を差し引いた値−239.5が相対座標のy座標値になる。従って、絶対座標(0,0)は相対座標(−319.5,−239.5)に変換される。図6は、図5の出力画像を構成する各画素の出力画像における座標を示した図である。各画素は黒の円形ドットで図示されている。各画素の位置を示す2つの座標のうち、上段の座標が絶対座標であり、下段の座標が出力中心を基準とした相対座標である。
ステップ106では、上記出力中心を基準とした相対座標に、リサイズ率kの逆数を乗算し、入力中心を基準とした相対座標を算出する。ここで、リサイズ率kは、入力画像の画像サイズ及び出力画像の画像サイズから導出される。なお、リサイズ率kが直接CPU50から入力されるようにしてもよい。
図5では、リサイズ率が1/3.875であるため、この逆数3.875を上記変換された相対座標(図6の各画素の下段の座標)のx座標値及びy座標値に各々に乗算する。乗算して得られた座標が、入力中心を基準とした相対座標となる。これにより、例えば出力画素pの相対座標(−319.5,−239.5)は、入力画像における入力中心を基準とした相対座標(−1238.0625,−928.0625)に変換される(図7の矩形ドットA参照。)。これにより、出力画素の入力画像における位置を示す相対座標が求まる。ここで求められた相対座標を用いて後述する出力画素データ算出処理を行うこともできるが、ここでは更に、以下に説明するステップ108の処理を行って、該相対座標を絶対座標に変換する。
ステップ108では、上記入力中心を基準とした相対座標を、入力画像における絶対座標に変換する。具体的には、相対座標のx座標値に入力中心のx座標値を加算して、入力画像における絶対座標のx座標値を求め、相対座標のy座標値に入力中心のy座標値を加算して、入力画像における絶対座標のy座標値を求める。
例えば、上記で例示した相対座標(−319.5,−239.5)を絶対座標に変換する場合には、該相対座標のx座標値−1238.0625に入力中心のx座標値1239.5を加算した値1.4375が絶対座標のx座標値に、該相対座標のy座標値−1238.0625に入力中心のy座標値1239.5を加算した値1.4375が絶対座標のy座標値になる。従って、相対座標(−319.5,−239.5)は、絶対座標(1.4375,1.4375)に変換される。これにより、出力画素の入力画像における位置を示す絶対座標が求まる。
図7は、図5の出力画像について上記のように変換して得られた、入力画像における出力画素の位置を示した図である。ここでは、入力画像の左上部分のみが拡大されて図示されている。図中の丸形の黒ドットは入力画像の各画素の位置を示しており、矩形の白ドットは出力画像の各画素の位置を示している。なお、矩形の白ドットの位置を示す2つの座標のうち、上段に示される座標がステップ108で算出された絶対座標であり、下段がステップ106で算出された相対座標である。また、同様に、入力画像の各画素の位置を示す2つの座標のうち、上段に示される座標が入力画像における絶対座標であり、下段が入力中心を基準とした相対座標である。
ステップ110では、上記求めた出力画素pの入力画像における絶対座標から、該出力画素pの画素データを求める処理(出力画素データ算出処理、いわゆる補間処理)が行われる。
通常は、上記求めた出力画素pの絶対座標は整数値にならず、入力画像には該座標に対応する画素データが存在しない。このため、入力画像上の出力画素p周辺に存在する画素(周辺画素)の画素データから、出力画素pの画素データを補間する処理を行う。この処理が出力画素データ算出処理である。補間の方法は特に限定されず、最近傍補間法やスプライン補間法など様々な方法を用いることができるが、ここでは、線形補間法を用いて出力画素データ算出処理(補間処理)を行う。
図4は、出力画素データ算出処理の流れを示したフローチャートである。
ステップ200では、入力画像の画素データをスキャン方向に沿って順次入力する(読み出す)。ステップ202では、処理対象の出力画素pの補間処理に必要な周辺画素の画素データが入力されたか否かを判定する。本実施の形態では、出力画素pの画素データを算出するにあたり、図8に示されるように、出力画素pの周辺の4画素の画素データP1、P2、P3、P4を用いて内挿する線形補間法を用いる。従って、該周辺4画素の画素データが入力された時点で出力画素pに関する補間処理が行われる。
なお、補間方法に応じてステップ202での判定条件は異なるが、出力画素pの入力画像における絶対座標の整数部と、入力画像の画素データの画素の絶対座標とを比較することにより、周辺4画素が全て入力されたか否かを判定することができる。
ここで、該周辺4画素の画素データが全て入力されていない場合には、ステップ200に戻って、次の画素データを入力する。また、該周辺4画素の画素データが全て入力された場合には、ステップ204に移行し、各周辺画素について、出力画素pの位置からの距離に応じて重みを決定し、周辺4画素の画素データP1、P2、P3、P4の重み付け平均を求め、該重み付け平均を出力画素pの画素データとして出力する。
具体的には、出力画素pの絶対座標の小数部から各周辺画素について重みを決定することができる。上記例示した出力画素p(図7の矩形ドットA)では小数部(0.4375,0.4375)から重みを決定することができる。
図8に示されるように、出力画素pの入力画像における絶対座標(X、Y)の整数部を(intX、intY)とし、小数部を(Δx、Δy)とすると、周辺4画素の画素のデータP1、P2、P3、P4の座標は、(intX、intY)、(intX、intY+1)、(intX+1、intY)、(intX+1、intY+1)となる。また、それぞれの画素データP1、P2、P3、P4の重みは、(1−Δx)×(1−Δy)、(1−Δx)×Δy、Δx×(1−Δy)、Δx×Δyとなる。
従って、求める出力画素pの画素データは、周辺4画素の画素データの値をP1、P2、P3、P4とすると、次の式のようになる。
p=P1×(1−Δx)×(1−Δy)+P2×(1−Δx)×Δy
+P3×Δx×(1−Δy)+P4×Δx×Δy・・・(1)
上記(1)式により、出力画素pの画素データを求めることができる。
図3に戻り、ステップ112で、全出力画素の処理が終了したか否かを判定し、終了していないと判定した場合には、ステップ104に戻り、次の出力画素を選択して(例えば前回処理した出力画素の絶対座標が(0,0)である場合には、絶対座標が(1,0)の出力画素を選択する)、上記と同様の処理を行って該選択した出力画素の画素データを求める。ステップ112で、全出力画素の処理が終了したと判定されるまで、上記処理が繰り返される。
このように、全出力画素に対して同様の処理を行うことにより、最終的にリサイズされた出力画像の画像データを得ることができる。
以上説明したように、入力画像を所定サイズの出力画像に拡大するための拡大率または縮小するための縮小率と、出力画像を表す各画素の出力画像の中心を基準とした相対座標とに基づいて、出力画像の各画素の入力画像における位置座標を算出し、入力画像上の前記算出された位置座標の周辺に存在する周辺画素の画素データを用いて、該位置座標に対応する出力画像の画素の画素データを各々算出するようにしたため、中心ずれの無い高品質な出力画像を簡易に得ることができる。
より詳述すると、従来は、リサイズ率に応じてオフセット量、画素開始位置を計算することにより中心ずれを解消していたが、上記のように出力画像の中心座標を基準とした相対座標及びリサイズ率から入力画像における出力画素の位置座標を求めることで、簡易に中心位置ずれの無い出力画像の画像データを求めることができ、煩雑な計算が不要となる。特に、デジタルカメラ等に搭載されている電子ズーム機能において、ズーム倍率を頻繁に変動させる場合には、中心位置を固定にしてリサイズ率を変更するだけで容易に出力画素の入力画像における位置座標を求めることができ、容易かつ高品質に各画素の画素データを求めることができる。
なお、上記実施の形態では、水平方向及び垂直方向のリサイズ処理を同時に行って出力画像の画像データを得ていたが、図9に示すように、まず水平方向だけを縮小した中間画像の画像データを作成し、その後に垂直方向を縮小して出力画像の画像データを得るようにしてもよい。また、逆に、垂直方向のリサイズ処理を先に行い、その後に水平方向をリサイズ処理するようにしてもよい。
更にまた、図10に示すように、入力画像の一部分を切り出して(トリミングして)リサイズ処理を行う場合も、上記実施の形態と同様に処理することができる。具体的には、入力画像の中心座標(1239.5,929.5)ではなく、トリミングして得られたトリミング画像の中心座標(図10では(1639.5,1229.5))を、上記実施の形態における入力中心として設定する。上記実施の形態では、入力画像そのものをリサイズ処理する例について説明したため、ステップ102で入力画像の中心座標と出力画像の中心座標を自動的に設定することができたが、ユーザの指定によりトリミングされたトリミング画像をリサイズ処理する場合には、ユーザにより指定されたトリミング画像の画像サイズが入力画像の画像サイズとして入力され、かつ入力中心もユーザにより指定され設定される。これ以外は、上記と同様に処理することができる。このように、トリミングした画像をリサイズ処理する場合であっても、中心ずれの無い出力画像の画像データを簡易に得ることができる。
また、上記実施の形態では、入力画像を縮小処理する場合を例に挙げて説明したが、拡大処理する場合であっても、上記と同様に処理できる。
なお、上記実施の形態において、上記リサイズ処理で説明したステップ100の処理で、入力画像の画像サイズの情報と出力画像の画像サイズの情報を入力する例について説明したが、これに限定されず、例えば、入力画像の画像サイズの情報とリサイズ率の情報を入力するようにしてもよい。
また、上記実施の形態では、出力画素の入力画像における絶対座標を算出して補間処理を行う例について説明したが、これに限定されず、例えば該絶対座標まで計算せずに、入力画像の中心座標を基準とした相対座標を用いて補間処理を行うこともできる。このように処理する場合には、上記ステップ108の処理を省略し、出力画素データ算出処理のステップ202では、入力画像の各画素の入力中心からの相対座標を該出力画素の相対座標と比較しながら、補間処理に必要な周辺画素の画素データを得るように処理する。このようにリサイズ処理を行う場合でも、上記と同様の効果が得られる。
[第2の実施の形態]
本実施の形態では、リサイズ処理とディストーション補正処理とを同時に行う例について説明する。まず、ディストーションについて簡単に説明する。
デジタルカメラなどの撮像装置では、光学レンズを通して被写体像を撮像して、被写体像を表す画像を取得するため、レンズの屈折により取得した画像の周辺に歪みが生じてしまう。この歪みは、一般に光学歪み(ディストーション)と称される。
光学歪みは、画像の角部が外側に伸びる「糸巻き型」と、逆に角部が縮む「たる型」の2種類に分けられ、何れも各画素が本来の画素位置から画像の中心に対して移動したような形になっており、その移動量(変位量)は画像中心からの距離の多次元関数で近似表現することができる。
本実施の形態では、画像中心からの距離をDとした場合の移動量ΔDを、以下の式で表す。
ΔD=α×D+β×D2+γ×D3 ・・・(2)
α、β、γは、予め定められた係数である。
なお、ここで示した移動量ΔDを求める非線形の多次元関数式は一例であって、これに限定されず、適用するレンズ及びレンズの配設位置等に応じて適宜好適な非線形の多次元関数式を用いて算出することができる。
このように移動量ΔDを算出して元の画素位置を逆算することにより、ディストーション補正された画像の画素データを得ることが可能となる。
以下、本実施の形態について詳細に説明する。なお、本実施の形態に係るデジタルカメラ10の構成及び本発明の画像処理装置としてのリサイズ処理部60の構成は第1の実施の形態と同様であるため、説明を省略する。ただし、本実施の形態においてリサイズ処理部60の画素位置算出部62では、リサイズ処理中にディストーション補正処理も行われる。
図11は、本実施の形態に係るリサイズ処理の流れを示すフローチャートである。
ステップ300からステップ306までの処理は、第1の実施の形態におけるリサイズ処理のステップ100から106までの処理と同様であるため、説明を省略する。
ステップ308では、出力画素pの位置から入力中心までの距離Dを算出する。出力画素pの入力中心からの相対座標を(x、y)とすると、距離Dは次式で算出することができる。
D=(x2+y21/2 ・・・(3)
ステップ310では、上記(3)式で求めたDを上記(2)式に代入して、移動量(変位量)ΔDを算出する。
ステップ312では、上記ステップ306で求めた入力中心を基準とした相対座標を、上記ステップ310で求めたΔDで補正して、入力画像における絶対座標に変換する。
以下、ステップ312での処理について詳細に説明する。まず、出力画素pの入力画像における位置が、入力中心に対してΔDだけ移動するように相対座標を補正する。具体的には、出力画素pの入力画像における相対座標のx座標値及びy座標値の各々に、以下の式で算出した補正値を加算または減算する。
ΔD(x)=ΔD×(|x|/D) ・・・(4)
ΔD(y)=ΔD×(|y|/D) ・・・(5)
上記(4)及び(5)式により算出した補正値を、相対座標に加算または減算することにより、xとyの比を変化させずに、出力画素pの相対座標をΔDだけ移動させることができる。
入力画像にたる型のディストーションが発生している場合には、出力画素pの位置が入力中心に近づくように、マイナスの座標値には上記(4)式、または(5)式で算出したΔD(x)またはΔD(y)を加算し、プラスの座標値にはΔD(x)またはΔD(y)を減算する。入力画像に糸巻き型のディストーションが発生している場合には、出力画素pの位置が入力中心から離れるように、マイナスの座標値にはΔD(x)またはΔD(y)を減算し、プラスの座標値にはΔD(x)またはΔD(y)を加算する。
すなわち、ここでは、出力画素pの入力画像における相対座標をΔDだけ移動させて、入力画像と同様に歪ませることによって、後段の出力画素データ算出処理で、出力画素pの画素データを算出するために必要かつ適切な周辺画素を適切に読み出すことができるようにしている。
このようにΔDを用いて補正した後に、該補正後の相対座標のx座標に入力中心のx座標値を加算して、入力画像における絶対座標のx座標値を求め、該相対座標のy座標値に入力中心のy座標値を加算して、入力画像における絶対座標のy座標値を求める。なお、相対座標を絶対座標に変換してから、ΔDを用いて該絶対座標を補正するようにしてもよい。
ここで、ステップ312の処理を具体例を挙げて説明する。例えば、図12に示されるように、点線で示される「たる型歪み」が発生している入力画像からリサイズ率1の出力画像を出力する場合には、出力画素pの入力画像における位置がΔDだけ入力中心に近づくように上記相対座標(または上記絶対座標)移動させる。
図13は、図12の入力画像における出力画像の各画素の位置を示しており、ここでは、出力画像の左上部分のみを抽出して示してある。円形の黒ドットは、ディストーション補正前の出力画素の位置を示している。円形の黒ドットの位置を示す2つの座標のうち、上段の座標は絶対座標を示し、下段の座標は入力中心を基準とした相対座標を示している。なお、ここではリサイズ率が1であるため、入力中心と出力中心は等しくなっている。また、矩形の白ドットは、ΔDを用いてディストーション補正して得られた各出力画素の位置を示している。
図示されるように、ディストーション補正前の絶対座標(0,0)の出力画素は、上記のようにディストーション補正することによりΔDだけ入力中心側に移動する。他の画素についても同様にディストーション補正することにより、各画素の位置は該ΔDだけ入力中心側に移動する。
このように、出力画素の入力画像における位置をΔDを用いて入力画像と同様に歪ませることによって、後段の出力画素データ算出処理で、出力画素pの画素データを算出するために必要な周辺画素を適切に読み出すことができるようにしている。
ステップ314及びステップ316は、第1の実施の形態におけるリサイズ処理のステップ110及びステップ112の処理と同様であるため、説明を省略する。
ここでは出力画素pの画素データを算出するために適切な周辺画素の画素データを得るために出力画素の入力画像における位置座標(相対座標あるいは絶対座標)を歪ませるのであって、実際に生成される出力画像の画素は歪み無く配列されて、上記算出された画素データにより歪みのない高品質な出力画像を生成することができる。
なお、上記では、リサイズ率が1の場合を例に挙げて説明したが、図14に示されるように、リサイズ率が1以外の場合についても、上記図11を用いて説明したリサイズ処理と同様に処理できる。
なお、本実施の形態においてディストーション補正のみを行う場合には、上述したようにリサイズ率をk=1とすればよく、リサイズ処理のみを行う場合には、ΔDを求める多次元関数式(2)の各係数(α,β,γ)を0とすればよい。これにより、図11で示したアルゴリズムをリサイズ処理とディストーション補正処理とで共通して用いることができる。
以上説明したように、出力画素の入力中心を基準とした相対座標からディストーションの変位量ΔDを求め、該ΔDを用いて出力画素の入力画像における位置座標(相対座標または絶対座標)を補正するようにしたため、ディストーション補正された出力画像の画像データを得ることができる。また、第1の実施の形態と同様のアルゴリズムで、共通の回路を用いてディストーション補正を行うことができるため、リサイズ処理を行う回路とディストーション補正を行う回路の共通化を図ることができる。
より詳述すると、従来は、ディストーション補正処理とリサイズ処理とを互いに異なるアルゴリズムで別々に行っていたため、ディストーション補正を行う回路とリサイズ処理を行う回路とを各々別々に設ける必要があったが、本実施の形態では、リサイズ処理を行う回路でディストーション補正も行うことができるため、回路の共通化を図ることができる。また、従来は、ディストーション補正処理とリサイズ処理とを互いに異なるアルゴリズムで別々に行っていたため、双方の処理を同時に行うことはできず、処理効率が悪かったが、上述したように、ディストーション補正処理とリサイズ処理とを同時に行うようにしたため、処理効率を向上させることができる。
なお、上記第2の実施の形態では、出力画素の入力中心を基準とした相対座標に基づいて出力画素の位置から入力中心までの距離Dを求め、該距離Dからディストーションの変位量ΔDを求めて出力画素の入力画像における位置座標を補正する例について説明したが、これに限定されず、例えば、出力画素の出力中心を基準とした相対座標に基づいて出力画素の位置から出力中心までの距離dを求め、該距離dから所定の多次元関数式を用いてディストーションの変位量Δdを求めて、出力画素の出力画像における相対座標を補正するようにしてもよい。
このように、出力中心を基準としてディストーション補正を行う場合には、図11を用いて説明したリサイズ処理のステップ304とステップ306の間に、ステップ305として、出力中心からの距離dを算出し、該距離dからディストーションの変位量Δdを求める処理を挿入し、ステップ306で、出力中心からの相対座標をΔdにより補正してからリサイズ率kの逆数を乗算し、入力中心からの相対座標を算出するようにする。また、ステップ310を削除し、ステップ312では、第1の実施の形態のリサイズ処理におけるステップ108と同様に絶対座標に変換する。
このように処理する場合であっても、上記第2の実施の形態と同様の効果を奏する。
なお、出力画素データ算出処理において各画素データを適正に算出するためには、最終的に、入力画像の歪み量と同様に入力画像における出力画素の位置が歪むように、出力画像における出力画素の位置(相対座標)を移動させる必要がある。
出力画像のリサイズ率はkであるため、Δdを求めるための多次元関数式の係数をリサイズ率に応じて変更しないと、入力画像と同様に歪ませた位置座標を得ることはできない。すなわち、出力画素の出力画像における相対座標を移動させることによってディストーション補正する場合には、ΔD=k×Δd(Δd=ΔD/k)の関係が成立するように、Δdを求めるための多次元関数式の係数をリサイズ率に応じて変更する必要がある。
従って、出力画素の位置から出力中心までの距離dからディストーションの変位量Δdを求めて補正するよりも、上記実施の形態で説明したように、リサイズ率に無関係な入力画像を基準として考え、出力画素の入力画像における位置をΔDで補正するほうが、簡易に処理できるため好ましい。またΔDを算出する多次元関数式の係数も、等倍リサイズ率(k=1)を元に導出すればよいため、より簡易に装置を構築することができる。
また、上記第2の実施の形態では、出力中心を基準とした相対座標にリサイズ率kの逆数を乗算して入力中心を基準とした相対座標に変換し、別途ΔDを計算して、該入力中心を基準とした相対座標を補正する例について説明したが、本発明はこれに限定されず、例えば、上記ステップ306からステップ312の処理を以下のような処理に変更してディストーション補正された相対座標を直接的に求めることができる。
まず、ステップ304の後に、出力画素の出力中心を基準とした相対座標に基づいて出力画素の位置から出力中心までの距離dを求め、更に、以下に示す出力画素の出力中心を基準とした相対座標のx座標値及びy座標値を変換するための関数を算出する。
Fx(d)=1/k{1+(u×d+v×d2+w×d3)×x/d}・・・(6)
Fy(d)=1/k{1+(u×d+v×d2+w×d3)×y/d}・・・(7)
ここで、u、v、wは、予め定められた係数である。
また、上記(6)式及び(7)式において、(u×d+v×d2+w×d3)は、出力中心を基準としたディストーションの変位量Δdに相当するが、これに、(x/d)または(y/d)を乗算することにより、xとyの比を変化させずに、出力画素pの相対座標のx座標値及びy座標値を移動させることができる。なお、u、v、wに符号を持たせることにより、出力画素pの相対座標を画像の中心に向かって移動させるか、あるいは画像の中心から離れるように移動させるかを制御することができ、出力画素pの位置を適切に移動させることができる。
この(6)式及び(7)式でFx(d)、Fy(d)の値を、出力中心を基準とした相対座標のx座標値、y座標値に乗算する。これにより、出力画素pの入力中心を基準とした相対座標であってディストーション補正された相対座標を直接的に求めることができる。相対座標を求めた後は、上記第2の実施の形態と同様に、入力中心を基準とした絶対座標を求め、ステップ314に移行する。
このように処理しても、上記第2の実施の形態と同様の効果を奏する。
なお、上記第1及び第2の実施の形態では、本発明の画像処理装置に相当するリサイズ処理部がデジタルカメラに搭載されている例について説明したが、これに限定されず、デジタルカメラ以外のリサイズ処理を行う様々な画像処理装置に適用可能である。
第1及び第2の実施の形態に係るデジタルカメラの構成を説明する。 デジタル信号処理部に含まれる、リサイズ処理を行うリサイズ処理部の構成を示した図である。 第1の実施の形態に係るリサイズ処理の流れを示すフローチャートである。 出力画素データ算出処理の流れを示したフローチャートである。 図5に示されるように、入力画像の画像サイズの情報として、2480画素×1860ラインの入力画像をVGAサイズ(640画素×480ラインの画像サイズ)の出力画像にリサイズする処理を説明した説明図である。 図5の出力画像を構成する各画素の座標を示した図である。 図5の出力画像について、出力中心からの相対座標にリサイズ率kの逆数を乗算して得られた、入力画像における出力画素の位置を示した図である。 線形補間法を説明する説明図である。 先に水平方向だけを縮小した中間画像を作成し、その後に垂直方向を縮小して出力画像を得る場合のリサイズ処理を説明する説明図である。 原画像の一部分を切り出して(トリミングして)リサイズ処理を行う場合のリサイズ処理を説明する説明図である。 第2の実施の形態に係るリサイズ処理の流れを示すフローチャートである。 「たる型歪み」が発生している入力画像からリサイズ率1の出力画像を出力する場合の処理を説明する説明図である。 図12の入力画像における出力画像の各画素の位置を出力画像の左上部分のみを抽出して示した図である。 「たる型歪み」が発生している入力画像からリサイズ率1以外の出力画像を出力する場合の処理を説明する説明図である。
符号の説明
10 デジタルカメラ
22 光学ユニット
30 デジタル信号処理部
50 CPU
60 リサイズ処理部
62 画素位置算出部
64 出力画素データ算出部

Claims (8)

  1. n×m画素からなる原画像をリサイズ率kで拡大または縮小したときのkn×km画素からなる出力画像の各画素について、該出力画像の中心の座標を基準とした相対座標を算出する第1座標算出手段と、
    前記第1座標算出手段により算出された各画素の前記相対座標の各々に前記kの逆数を乗算して、前記出力画像を表す各画素の前記原画像における位置座標の各々を該位置座標が互いに同一とならないように算出する第2座標算出手段と、
    前記第2座標算出手段により算出された位置座標に対応する前記出力画像の画素の画素データの各々を、前記原画像に含まれる前記第2座標算出手段で算出された位置座標に対応する前記出力画像の画素に隣接する4つの画素の画素データを用いて線形補間処理を行うことにより算出する画素データ算出手段と、
    を含む画像処理装置。
  2. 前記第2座標算出手段は、前記位置座標を算出する前に、前記原画像に生じた撮影光学系による光学歪み量と前記リサイズ率kに応じた量だけ前記原画像が歪んでいる方向に前記出力画像の各画素の相対座標を移動させる
    請求項1記載の画像処理装置。
  3. 前記第2座標算出手段は、前記原画像に生じた撮影光学系による光学歪み量に応じた量だけ前記原画像が歪んでいる方向に前記算出した位置座標を移動させる
    請求項1載の画像処理装置。
  4. n×m画素からなる原画像をリサイズ率kで拡大または縮小したときのkn×km画素からなる出力画像の各画素について、該出力画像の中心の座標を基準とした相対座標を算出する第1座標算出ステップと、
    前記第1座標算出ステップにより算出された各画素の前記相対座標の各々に前記kの逆数を乗算して、前記出力画像を表す各画素の前記原画像における位置座標の各々を該位置座標が互いに同一とならないように算出する第2座標算出ステップと、
    前記第2座標算出ステップにより算出された位置座標に対応する前記出力画像の画素の画素データの各々を、前記原画像に含まれる前記第2座標算出ステップで算出された位置座標に対応する前記出力画像の画素に隣接する4つの画素の画素データを用いて線形補間処理を行うことにより算出する画素データ算出ステップと、
    を含む画像処理方法。
  5. 前記第2座標算出ステップにおいて、前記位置座標を算出する前に、前記原画像に生じた撮影光学系による光学歪み量と前記リサイズ率kに応じた量だけ前記原画像が歪んでいる方向に前記出力画像の各画素の相対座標を移動させる
    請求項4記載の画像処理方法。
  6. 前記第2座標算出ステップにおいて、前記原画像に生じた撮影光学系による光学歪み量に応じた量だけ前記原画像が歪んでいる方向に前記算出した位置座標を移動させる
    請求項4載の画像処理方法。
  7. 電子ズーム機能を備えたデジタルカメラであって、
    前記電子ズーム機能のズーム倍率が変動した場合に、n×m画素からなる原画像を該変動後のズーム倍率に応じたリサイズ率kで拡大または縮小したときのkn×km画素からなる出力画像の各画素について、該出力画像の中心の座標を基準とした相対座標を算出する第1座標算出手段と、
    前記第1座標算出手段により算出された各画素の前記相対座標の各々に前記kの逆数を乗算して、前記出力画像を表す各画素の前記原画像における位置座標の各々を該位置座標が互いに同一とならないように算出する第2座標算出手段と、
    前記第2座標算出手段により算出された位置座標に対応する前記出力画像の画素の画素データの各々を、前記原画像に含まれる前記第2座標算出手段で算出された位置座標に対応する前記出力画像の画素に隣接する4つの画素の画素データを用いて線形補間処理を行うことにより算出する画素データ算出手段と、
    を含むデジタルカメラ。
  8. 電子ズーム機能を備えたデジタルカメラで行われる画像処理方法であって、
    前記電子ズーム機能のズーム倍率が変動した場合に、n×m画素からなる原画像を該変動後のズーム倍率に応じたリサイズ率kで拡大または縮小したときのkn×km画素からなる出力画像の各画素について、該出力画像の中心の座標を基準とした相対座標を算出する第1座標算出ステップと、
    前記第1座標算出ステップにより算出された各画素の前記相対座標の各々に前記kの逆数を乗算して、前記出力画像を表す各画素の前記原画像における位置座標の各々を該位置座標が互いに同一とならないように算出する第2座標算出ステップと、
    前記第2座標算出ステップにより算出された位置座標に対応する前記出力画像の画素の画素データの各々を、前記原画像に含まれる前記第2座標算出ステップで算出された位置座標に対応する前記出力画像の画素に隣接する4つの画素の画素データを用いて線形補間処理を行うことにより算出する画素データ算出ステップと、
    を含む画像処理方法。
JP2004330738A 2004-11-15 2004-11-15 画像処理装置、画像処理方法、及びデジタルカメラ Expired - Fee Related JP4689243B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2004330738A JP4689243B2 (ja) 2004-11-15 2004-11-15 画像処理装置、画像処理方法、及びデジタルカメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2004330738A JP4689243B2 (ja) 2004-11-15 2004-11-15 画像処理装置、画像処理方法、及びデジタルカメラ

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2009190161A Division JP2009278655A (ja) 2009-08-19 2009-08-19 画像処理装置、画像処理方法、及びデジタルカメラ

Publications (2)

Publication Number Publication Date
JP2006139697A JP2006139697A (ja) 2006-06-01
JP4689243B2 true JP4689243B2 (ja) 2011-05-25

Family

ID=36620470

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2004330738A Expired - Fee Related JP4689243B2 (ja) 2004-11-15 2004-11-15 画像処理装置、画像処理方法、及びデジタルカメラ

Country Status (1)

Country Link
JP (1) JP4689243B2 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5019477B2 (ja) * 2008-09-12 2012-09-05 株式会社リコー 画像処理装置
JP2009278655A (ja) * 2009-08-19 2009-11-26 Fujifilm Corp 画像処理装置、画像処理方法、及びデジタルカメラ
JP2012008893A (ja) * 2010-06-25 2012-01-12 Hakko Denki Kk 作画支援システム、および作画支援システムにおける支援装置
KR102262930B1 (ko) * 2020-12-01 2021-06-09 주식회사 딥노이드 상대 좌표 추출 장치 및 방법

Also Published As

Publication number Publication date
JP2006139697A (ja) 2006-06-01

Similar Documents

Publication Publication Date Title
JP4503878B2 (ja) 撮像装置及び撮像方法
JP4596986B2 (ja) 画像撮像装置
JP4596988B2 (ja) 画像撮像装置
US20090109310A1 (en) Imaging device, imaging method, display control device, display control method, and program
JP2008283442A (ja) 撮像装置
US8094213B2 (en) Image processing apparatus, image processing method, and program in which an original image is modified with respect to a desired reference point set on a screen
JPH11161773A (ja) 画像処理方法及び画像入力装置
JP4433883B2 (ja) ホワイトバランス補正装置及びホワイトバランス補正方法、プログラム、電子カメラ装置
JP5195841B2 (ja) 車載カメラ装置および車両
JP2013218654A (ja) 画像処理装置
JP4862321B2 (ja) 車載カメラ装置
JP4553798B2 (ja) 画像撮像装置
JP5212046B2 (ja) デジタルカメラおよび画像処理装置並びに画像処理プログラム
JP4596987B2 (ja) 画像撮像装置
JPH11250239A (ja) Yuvデータによりディストーション補正を行うディジタル撮像装置
JP4689243B2 (ja) 画像処理装置、画像処理方法、及びデジタルカメラ
JP5950755B2 (ja) 画像処理装置、制御方法、プログラム及び記憶媒体
JPH10336494A (ja) ズーム表示機能付デジタルカメラ
JP2004242125A (ja) 画像処理装置
JP2009278655A (ja) 画像処理装置、画像処理方法、及びデジタルカメラ
KR20120069543A (ko) 화상 처리 장치, 화상 처리 방법 및 촬상 장치
JP2005122601A (ja) 画像処理装置、画像処理方法、および画像処理プログラム
JP7183015B2 (ja) 画像処理装置、画像処理方法、及びプログラム
JP5251684B2 (ja) 画像処理装置
JP2011151597A (ja) 画像処理装置および画像処理プログラム並びに電子カメラ

Legal Events

Date Code Title Description
A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20070220

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20070301

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20081212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081224

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090203

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090303

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090507

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20090602

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090819

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20090909

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20091009

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101221

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110216

R150 Certificate of patent or registration of utility model

Ref document number: 4689243

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140225

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees