JP4772281B2 - 画像処理装置及び画像処理方法 - Google Patents

画像処理装置及び画像処理方法 Download PDF

Info

Publication number
JP4772281B2
JP4772281B2 JP2003202493A JP2003202493A JP4772281B2 JP 4772281 B2 JP4772281 B2 JP 4772281B2 JP 2003202493 A JP2003202493 A JP 2003202493A JP 2003202493 A JP2003202493 A JP 2003202493A JP 4772281 B2 JP4772281 B2 JP 4772281B2
Authority
JP
Japan
Prior art keywords
image
distortion correction
range
data
coordinate
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003202493A
Other languages
English (en)
Other versions
JP2005044098A5 (ja
JP2005044098A (ja
Inventor
正樹 日暮
英明 古川
晃 上野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2003202493A priority Critical patent/JP4772281B2/ja
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to EP12006314.4A priority patent/EP2533192B1/en
Priority to CNB2004800218769A priority patent/CN100552712C/zh
Priority to US10/566,408 priority patent/US7813585B2/en
Priority to EP04771117.1A priority patent/EP1650705B1/en
Priority to PCT/JP2004/011010 priority patent/WO2005010818A1/ja
Publication of JP2005044098A publication Critical patent/JP2005044098A/ja
Publication of JP2005044098A5 publication Critical patent/JP2005044098A5/ja
Application granted granted Critical
Publication of JP4772281B2 publication Critical patent/JP4772281B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Description

【0001】
【発明の属する技術分野】
本発明は、主に、デジタルカメラ等の電子的撮像装置に用いられる画像処理装置及び画像処理方法に関し、特に、回路規模やデータ転送量を増大させること無く、歪補正機能を実現する画像処理装置及び画像処理方法に関する。
【0002】
【従来の技術】
デジタルカメラ,銀塩カメラを問わず、一般的にカメラの光学系においては歪曲収差が現れる。また、現在発売されているカメラでは、光学ズームが可能な機種が殆どであり、その場合、ワイド端からテレ端にかけて、歪曲収差の状態が変化する。ワイド端では樽型歪が多く、テレ端では糸巻き型歪が多い。
【0003】
歪曲収差は、例えば格子状の被写体を撮影すると、樽型歪、糸巻き型歪として観測される。
【0004】
図16(a)は格子状の被写体、(b)は樽型歪を生じた撮影画像、(c)は糸巻き型歪を生じた撮影画像である。
【0005】
ところで、デジタルカメラにおいては、CCD等の撮像素子のデータに対し、様々な画像処理を行なった後、JPEG等の圧縮方式で圧縮したデータをメモリカード等の記録媒体に記録する。
【0006】
図17(a)は一般的なデジタルカメラで行われている画像処理手順の概念を示している。CCDにより取り込まれた撮像信号にプリプロセスで画素欠陥処理、A/D変換等を行い、得られた画像データをSDRAM等のフレームメモリに一旦記憶する。次に、フレームメモリから読み出された画像データに対してイメージプロセスにより各種の画像処理を行い、さらにJPEG処理で画像圧縮して記録媒体としてのメモリカード等に記録する。
【0007】
図17(b)は従来のデジタルカメラの画像処理装置のブロック図(例えば特開2000−312327号公報での従来例)を示している。
【0008】
図17(b)において、従来の画像処理装置は、バス103にCPU104と共にプリプロセス回路102,複数のイメージプロセス回路106-1〜106-n,JPEG処理部107,フレームメモリ105及び記録媒体としてのメモリカード108が接続されている。そして、CPU104の制御により、CCD101からの撮像信号がプリプロセス回路102で画素欠陥処理やA/D変換等が施された後、バス103を通してフレームメモリ105に一旦記憶される。次に、フレームメモリ105から画像データを読み出し、バス103を通してイメージプロセス回路106-1に入力して所定の画像処理を行い、再びバス103を通してフレームメモリ105に書き直す。以下同様にして、バス103を介してフレームメモリ105とイメージプロセス回路106-2〜106-nとの間でデータのやり取りを順次行って、最後にJPEG処理部107でJPEG圧縮処理を行い、画像処理したデータをフレームメモリ105に一旦記憶し、フレームメモリ105から読み出した処理データをメモリカード等108に記録するようになっている。以上の各段のイメージプロセス及びJPEG処理では、小領域(ブロックライン)を単位として画像処理が行われる。
【0009】
ところで、イメージプロセス回路の少なくとも1つにおいて図16で述べたような歪補正処理を行う方法として、下記の光学的に表現される歪補正式[式3]を用いることによって撮像画像の歪曲収差を補正することが行われる。
【0010】
【式3】
Figure 0004772281
しかしながら、光学的に表現される上記の[式3]を用いて歪補正を行った場合、補正画像に過不足が生じる。
【0011】
図18は樽型歪,糸巻き型歪を生じた撮影画像を、上記の[式3]によって補正する動作を説明するものである。
【0012】
図18(a)は点線のように樽型に歪んだ元画像を[式3]にて補正した場合であって、補正された画像は画像出力範囲からはみ出して無駄になる部分を生じている。
【0013】
図18(b)は点線のように糸巻き型に歪んだ元画像を[式3]にて補正した場合であって、補正された画像は画像出力範囲より小さくなりデータが不足する部分が生じる。
【0014】
このような図18の不具合に対して、先行出願である特開平9−098340号公報では、歪補正後に、電子ズームを行うことで補正により伸長した分を縮小して元の位置まで戻して、歪補正により失われる画像情報を最小限に抑えている。
【0015】
【特許文献1】
特開2000−312327号公報(第3頁、図19)
【0016】
【特許文献2】
特開平9−098340号公報(第1−3頁、図4−図8)
【0017】
【発明が解決しようとする課題】
しかしながら、特許文献1の従来例では、フレームメモリと各イメージプロセス回路間でデータのやり取りが多く、バスのデータ転送量が増大する。
【0018】
また、特許文献2では、樽型歪の補正にしか言及しておらず、撮像中心に一番近い点を基準にしており、原理的に樽型歪の補正のみである。
【0019】
糸巻き歪に対しては、補正された画像が画像出力範囲より小さくなり画像データが不足する部分が生じる。さらに、図19に示すような陣笠型歪を補正するには、歪補正式に4次項以上が必要になるが、元画像データを最大限使うための補正倍率Mを解析的に求めることが困難であった。
【0020】
そこで、本発明は上記の問題に鑑み、撮像した元データを有効に活用して歪補正処理を行い、補正した画像が画像出力範囲に対して無駄なく有効に出力でき、糸巻き型歪,樽型歪,及び陣笠型歪にも対応できる歪補正処理が可能な画像処理装置及び画像処理方法を提供することを目的とするものである。
【0021】
【課題を解決するための手段】
本発明による第1の画像処理装置は、画像データに対して歪補正処理を行う歪補正処理部を有する画像処理装置であって、前記画像処理装置は、さらに、前記歪補正処理部が前記歪補正処理を行うのに必要とする、歪補正前の画像における入力画像範囲を算出する歪補正範囲算出部を有し、前記歪補正範囲算出部は、歪補正後の画像の座標系における画素に対応する補間座標を生成する座標生成部と、前記生成された補間座標に対して所定の歪補正式を適用して歪補正前の画像の座標系における画素の座標位置に変換する歪補正座標変換部と、前記変換された座標位置から、前記歪補正処理を行うのに必要とする入力画像範囲を算出する補正範囲検出部と、を有し、前記座標生成部は、歪補正後の出力画像範囲における辺縁部の各画素に対応する座標位置のみを用いて前記補間座標を生成することを特徴とする。
【0022】
このように、画像データに対して歪補正処理を行う歪補正処理部と、この歪補正処理部が前記歪補正処理を行うのに必要とする入力画像範囲を算出する歪補正範囲算出部を設けることにより、歪補正処理の実行中に、次の歪補正処理を行うのに必要とする入力画像範囲の算出処理を行うことができ、歪補正処理を次のブロックラインに対して順次スムーズに行なっていくことが可能である。また、出力画像(即ち、歪補正後の画像)の出力範囲の一部または全部に相当する領域が入力画像(即ち、撮像画像)内に占める範囲を算出することで、歪補正によって得られる補正画像は出力すべき出力範囲に対して過不足なく出力することが可能となり、出力範囲に対して補正画像がはみ出したり不足したりすることのないようにできる。
補間座標を生成するとは、歪補正前の撮像画像(入力画像)の位置を求めるために、出力されるべき補正後の補正画像(出力画像)の位置を前もって生成することである。この補間座標に対して歪補正式を適用して、歪補正前の画像位置(座標)を生成(変換)出力させ、変換された補正前の座標位置から歪補正処理すべき入力画像範囲を算出するようにしている。
【0026】
この構成では、補間座標を生成する際に、出力画像範囲における辺縁部に対応する歪補正後の画像における座標を用いて補間座標を生成する。
【0027】
本発明による第2の画像処理装置は、第1の画像処理装置において、前記出力画像範囲は矩形であって、前記座標生成部は、前記出力画像範囲の4辺の各画素に対応する座標位置のみを用いて前記補間座標を生成することを特徴とする。
【0028】
この構成では、矩形の出力画像範囲に対して、補間座標を生成する際に、出力画像範囲の4辺に対応する歪補正後の画像における座標を用いて補間座標を生成する。
【0029】
本発明による第3の画像処理装置は、第1または第2の画像処理装置において、前記歪補正範囲算出部は、座標変換により生成された座標位置に対し、前記出力画像範囲の4辺の各辺に対応する画素の座標位置の最大値と最小値および前記出力画像範囲の4頂点に対応する座標位置の少なくともいずれかから前記入力画像範囲を算出することを特徴とする。この構成で、4頂点とは、歪補正後の出力画像における各辺の頂点を指している。
【0041】
このように、歪補正処理を行うに際して、歪補正処理を行う入力画像範囲を算出することにより、歪補正処理の実行中に、次の歪補正処理を行うのに必要とする入力画像範囲の算出処理を行うことができ、歪補正処理を次のブロックラインに対して順次スムーズに行なっていくことが可能である。また、歪補正後の画像の出力範囲の一部または全部に相当する領域が入力画像内に占める範囲を算出することで、歪補正によって得られる補正画像は画像出力範囲に対して過不足なく出力することが可能となり、画像出力範囲に対して補正画像がはみ出したり不足したりすることのないようにできる。
また、前記入力画像範囲は、次の歪補正処理を行うのに必要とする入力画像範囲であり、前記歪補正処理の実行中に算出されることを特徴とする。
【0042】
【発明の実施の形態】
発明の実施の形態について図面を参照して説明する。
図1は本発明の一実施の形態の画像処理装置の全体構成を示すブロック図である。
【0043】
図1の画像処理装置においては、バス3に接続された各部の制御を行うCPU4の制御により、CCD1からの撮像信号をプリプロセス回路2で画素欠陥処理、A/D変換等を行い、得られた画像データを、バス3を介してフレームメモリ5に一旦記憶する。フレームメモリ5は、SDRAM等で構成され、画像処理前のデータ及び画像処理後のデータを格納するメモリである。次いで、フレームメモリ5から読み出した画像データをバス3を介して、第1データ順序変換部6に入力する。第1データ順序変換部6は、後に図20(A)で説明するように、ブロック単位のデータを記憶可能なメモリを複数、ここでは2つ備えている。第1データ順序変換部6は、フレームメモリ5から行方向にデータを読み出して記憶した後、列方向にデータを順に読み出し、イメージプロセス回路7に出力する。
【0044】
イメージプロセス回路7は入力したデータに対して所定の画像処理を行って次段の歪補正手段としての歪補正処理部8に転送する。歪補正処理部8は入力したデータに対して歪補正処理を行って次段の第2データ順序変換部9へ転送する。第2データ順序変換部9は、後に図20(B)で説明するように、ブロック単位のデータを記憶可能なメモリを複数、ここでは2つ備えている。第2データ順序変換部9は、 歪補正処理部8から列方向にデータを読み出して記憶した後、行方向にデータを順に読み出し、JPEG処理部10に転送する。そして、JPEG処理部10でJPEG圧縮処理を行い、処理データをフレームメモリ5に一旦記憶し、フレームメモリ5から読み出した処理データをメモリカード等11に記録するようになっている。
【0045】
歪補正処理部8は、図2に示すように、歪補正後の補正画像の位置(補間位置という、X,Y)とこれに対応した歪補正前の元の画像の位置(X’,Y’)を生成する補間座標生成部81と、歪補正処理部8の前段ブロックの回路からの画像データの一部を一時的に格納しておくバッファメモリ(以下、単にバッファ)としての内部メモリ部82と、その内部メモリ部82に対する書き込み及び読み出しの制御を行うメモリ制御部83と、変換した歪補正前の画像位置の座標(X’,Y’)に従って画像処理をしてデータの歪補正をする補間演算部84と、を有して構成されている。
【0046】
補間座標生成部81は、図2に示すように、補間座標(X,Y)を生成する座標生成部811と、生成された補間座標(X,Y)に対して所定の歪補正式[式1](後述する)を適用して変換した補正前の座標(X’,Y’)を出力する歪補正座標変換部812と、座標生成部811からの補間座標(X,Y)と歪補正座標変換部812からの変換座標(X’,Y’)とを選択的に出力可能なセレクタ813と、で構成されている。歪補正処理部8における座標生成部811,歪補正座標変換部812,セレクタ813,メモリ制御部83については、制御データを格納した制御レジスタ85に設定された各ブロックに対する設定値に従って動作する。また、処理結果のステータスなどをCPUから参照することができる。
【0047】
歪補正処理部8には、図1に示すように、歪補正処理部8が歪補正処理を行う入力画像範囲を算出する歪補正範囲算出部12が設けられている。歪補正範囲算出部12は、図7で説明するように、補間座標を生成する座標生成部91と、生成された補間座標に対して所定の歪補正式を適用して変換した座標を出力する歪補正座標変換部92と、変換された補正前の座標位置から前記入力画像範囲を算出する補正範囲検出部93と、を有して構成されている。
【0048】
以上のように構成された本発明による画像処理装置においては、上記第1データ順序変換部6からJPEG処理部10までは、バス3を介することなく、該バス3とは異なる情報伝達経路でパイプライン処理可能なように接続されていて、画像データを、2次元的な画素配列における所定のブロック単位で転送して処理するようになっている。このようにバス3を介したデータ転送は、フレームメモリ5から第1データ順序変換部6への転送と、JPEG処理部10からフレームメモリ5への転送及びフレームメモリ5からメモリカード11への転送だけとなり、したがってフレームメモリと各イメージプロセス回路との間でデータのやりとりを行っていた従来例(図17(b))と比べて、バス3によるデータ転送量を大幅に低減させることができ、バス3の負荷を大幅に軽減することが可能となる。また、この図1に示す例においては、画像処理を行うイメージプロセス回路7を1つのみ設けているが、複数あっても構わない。さらに、図では、イメージプロセス回路7の後に歪補正処理部8が設けられているが、逆の構成であっても構わない。
【0049】
初段のイメージプロセス回路7と2段目のイメージプロセス回路である歪補正処理部8で構成されるイメージプロセス回路部では、各イメージプロセス回路7,8の前段或いは内部にパイプラインレジスタとして、図示しない小容量のメモリが配置されていて、該小メモリを介して、各イメージプロセス回路7,8がパイプライン処理動作を行うように構成されている。これらの小容量のメモリは、各イメージプロセス回路7,8で空間的な画像処理を行う場合、画像処理に必要な周辺データの記憶をするために、また画像データをブロック単位で読み出して配列換えなどを行って処理する必要があるために、設けられている。
【0050】
図3は歪補正処理部8における座標変換の概念図を示している。図3(a)は元データである撮像画像データ、同図(b)は補正画像、同図(c)は(b)の補正画像の座標位置(X,Y)に対して(a)の元データの座標上に変換された座標位置Pでのデータの座標(X’,Y’)(この座標は元データを実際に構成する複数の画素の位置には必ずしも正確には一致しない座標位置にある)を示している。そのP点での座標位置(X’,Y’)はそのP点の周辺の画素16点の座標を使って算出されると共にP点での画像データはその周囲の前記16点の画素データを用いて補間演算される。補間演算部84にて点Pの位置のデータをその周囲の16点の画素値(輝度データ)から補間演算するべく処理が行われる。図2の補間位置生成部811で補間座標を生成するというのは、図3(b)の補正画像側でどこの画素位置(X,Y)を指し示すか、ということである。
【0051】
[式1]では、歪補正後の画素位置(X,Y)に対する歪補正前の画素位置(X’,Y’)を算出することができる。但し、歪補正前の画素位置(X’,Y’)は元画像データ上の画素位置に対応した整数値になるとは限らないことは前述した通りである。
【0052】
[式1]に従うと、図3(b)の座標(X,Y)が同図(a)のように座標(X’,Y’)に変換される。これにより、元データの中のどこの座標位置のデータを作成すれば、よいかを知ることができ、その位置(X’,Y’)のデータを16点補間処理を行う補間式を用いて周囲16点の既知の画素値(図3(c) の黒丸印の入力画像データ)から算出して得ることができる。
【0053】
【式1】
Figure 0004772281
[式1]におけるZは、歪中心(Xd,Yd)から今注目している点(X,Y)までの距離である。[式1]によって、補正画像の点(X,Y)に対して歪んでいる元画像の方の座標(X’,Y’)が算出される。[式1]について補足説明すると、Mは光学系のデータを用いて理論的に補正した際、補正後に画像がはみ出したり、不足したりする現象を補正するための補正倍率である。Sx,Syは間引き取込みなど、縦横で空間的なサンプリング間隔が異なる現象の補正をするためのサンプリング比である。Xoff,Yoffは歪補正処理によって、歪補正処理後に、被写体位置が撮影時の位置とはずれてしまう現象の補正をする中心ずれの値である。
【0054】
本発明に係る[式1]では、高次項(具体的にはZ、Z、…)を考慮することで、より複雑な陣笠型の歪(図19参照)にも対応できるようにしている。また、中心が一致していても撮像素子の一部しかデータを取り込まない場合や、光軸中心と撮像素子中心がずれている場合など、歪中心(Xd,Yd)を考慮する必要がある。さらに、歪補正処理により被写体位置が撮影時の位置からずれる現象を補正するため、中心ずれ補正値(Xoff,Yoff)を考慮する必要がある。間引き取込みの場合や輝度データ(Y)と色データ(Cb,Cr)からなるYC画像を処理する場合は、X,Yで空間的なサンプリングが異なる。そこで係数としてサンプリング比(SX,Sy)を導入して、座標変換を補正するようにしている。
【0055】
図18(a)の樽型歪では歪補正するためにM<1として少し縮むようにしておかなければならない。図18(b)の糸巻き型歪の場合は逆に引き伸ばさなければならないので、M>1に設定する。
【0056】
従来例で述べた[式3]では、樽型歪・糸巻き型歪を補正することを考慮して記述されている。
【0057】
次に、図4,図20を参照して画像データの書き込み及び読み出しの処理及び順序について説明する。
【0058】
図4は、本実施の形態におけるフレームメモリからの画像データの読み出し順序を説明する図である。
画像データは、通常は、ライン方向、つまり行方向にスイープさせて書き込まれていて、読み出し時は行方向に読み出されるようになっており、1ラインの画像データを全て読み出して、次に隣接するラインの画像データを全て読み出すといった動作を繰り返して行うのが普通である。
【0059】
これに対して、本発明に係る画像処理装置は、行方向にスイープさせて書き込まれた画像データを、列方向にある一定の長さを単位に、行方向の画像データを順番にイメージプロセス部7に入力し、以降、順次隣の列をイメージプロセス部7に入力して、画像の右端まで繰り返して得られる小領域(矩形状の画像データ)をブロックライン(BL)と呼ぶ。
【0060】
こうした画像データの読み出しを可能にするための第1データ順序変換部6と、第2データ順序変換部9との構成を、図20を参照して説明する。図20は、第1,第2データ順序変換部の構成を示すブロック図である。
【0061】
第1データ順序変換部6は、図20(A)に示すように、ブロック単位の画像データを記憶可能なメモリを複数、ここでは2つ備えており、この2つのメモリ6aとメモリ6bが書き込み側,読み出し側の各スイッチにて書き込み,読み出しが交互に切り換えられるようになっている。すなわち、フレームメモリ5は、書き込み側のスイッチにて、これらメモリ6aとメモリ6bとに切換可能に接続されているとともに、イメージプロセス部7も読み出し側のスイッチにてこれらのモリ6aとメモリ6bとに切換可能に接続されていて、フレームメモリ5がメモリ6aとメモリ6bとの一方に接続されているときには、該メモリ6aとメモリ6bとの他方がイメージプロセス部7に接続されるように切り換えられる。すなわち、メモリ6a,6bは、フレームメモリ5とイメージプロセス部7との両方に同時に接続されることがないようにスイッチングされ、交互に書き込み,読み出しが行われるようになっている。
【0062】
フレームメモリ5に記憶されているフレーム画像の一部は、ブロック単位でライン方向に読み出され、一方のメモリ、ここでは例えばメモリ6aに記憶される。
【0063】
これと並行して、メモリ6bからは、既にフレームメモリ5から読み出されて記憶されているブロック単位の画像データが、列方向(縦方向)に順に読み出されて、イメージプロセス部7へ出力される。
【0064】
フレームメモリ5からメモリ6aへの書き込みと、メモリ6bからイメージプロセス部7への読み出しが終了すると、書き込み側のスイッチおよび読み出し側のスイッチが切り換えられて、次に、フレームメモリ5からメモリ6bへ次のブロック単位の画像データの書き込みが開始されるとともに、メモリ6aからイメージプロセス部7へのブロック単位の画像データの読み出しが開始される。
【0065】
第2データ順序変換部9も、図20(B)に示すように、上記第1データ順序変換部6とほぼ同様に構成されていて、ほぼ同様に動作するようになっている。
【0066】
すなわち、第2データ順序変換部9は、メモリ9a,メモリ9bと、書き込み側スイッチ,読み出し側スイッチとを有して構成されている。
【0067】
そして、該第2データ順序変換部9の動作時には、歪補正処理部8からの書き込みがメモリ9aとメモリ9bとの一方に対して列方向(縦方向)に行われ、メモリ9aとメモリ9bとの他方からは行方向(横方向)に読み出しが行われて、JPEG処理部10へ出力されるようになっている。
図5はブロックラインと歪補正処理に必要なメモリ容量(バッファ容量)の関係を示している。点線枠上の歪曲した4本の実線は、歪補正後の出力データでは直線(縦1ライン)となるべきデータであるが元データでは歪んでいる。4本の直線のうち、画像中心から離れた左端の直線がもっとも歪曲している。黒丸印は歪補正後の出力データの画素位置に対応する歪補正前の位置を示している。前述の内部メモリ部82では、撮像後の歪んだ入力データがブロックライン内で最大の歪量となる横方向の幅に16点補間を考慮して左右に余裕分をとった範囲を、歪補正処理に必要なバッファ量として確保するようにする。すなわち、これだけのバッファ容量があれば、歪補正可能であるバッファ量、換言すれば歪補正したときに正しい直線形状を作成することが可能なバッファ量を示している。
【0068】
図6は、ブロックライン幅の設定方法を示すものである。ブロックライン幅を歪補正処理の対象位置に応じて可変設定する例を示している。湾曲した点線は入力側の歪んだデータを示しており、画像中心より離れるほど、すなわち外側にいくほど歪み度合いが大きくなっている。従って、フレームメモリ上の入力データに対してブロックライン幅を設定する際には、その幅は画像中心から離れるほど大きく、中心に近いほど幅を狭くするように設定する。これにより、フレームメモリ5からバス3を介してイメージプロセス回路にデータ転送する際に、データ幅が狭くてよければそのときのバスの専有時間を減らすことができる。
【0069】
一般的に、画像中心では歪による変形量が小さい。歪補正の処理対象の位置によって、ブロックライン幅(図示の縦方向にスイープする幅)の設定値を変更する。式1には高次項が含まれるため、ブロックライン分の処理に必要な入力範囲を解析的に求めることができない。ブロックライン幅の設定は、歪補正範囲算出部9の処理結果に基づき、また、CPUで該結果に所定の演算を施すことにより設定する。
【0070】
図7は、歪補正範囲算出部12の構成を示している。歪補正範囲算出部12は、補間座標(X,Y)を生成する座標生成部91と、生成された補間座標(X,Y)に対して所定の歪補正式(例えば[式1])を適用して変換した座標(X’,Y’)を出力する歪補正座標変換部92と、変換された補正前の座標位置(X’,Y’)から歪補正処理に必要な入力画像範囲を算出する補正範囲検出部93と、を有して構成されている。このように歪補正範囲算出部12は、座標生成部91、歪補正座標変換部92、補正範囲検出部93からなり、CPU4からは制御レジスタ94を通じて動作を制御し、範囲算出結果も制御レジスタ95を通して取得する。歪補正範囲算出部12は、歪補正処理機能に対して付加したもので、歪の変形を考慮して画像データの入力範囲を算出可能とするサポート機能として働く。
【0071】
次に図8を参照して、歪補正範囲算出部12における、歪補正処理に必要な入力画像範囲を算出する動作を説明する。
【0072】
補正画像内で範囲を指定し、入力画像上に座標変換する方法で行う。まず、図8(a)に示すように補正画像上の所定範囲(例えば5行分)の画素位置(格子点位置)を決め、[式1]にて図8(b)に示すように出力側の元データ上に座標変換することで、出力側データでの5行分のデータの範囲が分かる。処理の設定は、ハードウェアのレジスタ設定で行う。図8(a)の補正画像上で、例えばスタートは、点(Xst,Yst)から間隔ΔW,ΔHという順番で格子点を生成していき、縦に何点、横に何点かとり、縦にHout画素、横にWout画素となるように設定する。そして、元データ上の位置に変換した結果、補正画像の格子点に対応した交点座標が歪曲した線上に形成されるが、そのブロックラインに対応した歪曲した範囲すなわち外接する図示の太い点線が入力画像範囲として分かればよい。実際には、図8(a),(b)で黒丸印にしてあるような矩形状の周囲4辺上の黒丸位置の座標だけ追っていけば、その位置範囲を規定する4辺について最大値と最小値から入力画像範囲が分かる。例えば、上の辺はYTmax,YTminという間に、下の辺はYBmax,YBminという間に収まり、左の辺はXLmax,XLmin という間に、右の辺はXRmax,XRminという間に収まっている、というデータを実際に検出して、結果格納用レジスタ95に格納する。ブロックライン処理には、(XLmin〜XRmax,YTmin〜YBmax)に補間に必要な画素を加えた範囲が必要である。なお、図8(b)で、出力側の元データ上で、各頂点の変換後の位置を(X’TL,Y’TL)、(X ’TR,Y’TR)、(X’BL,Y’BL)、(X’BR,Y’BR)としている。
【0073】
座標生成部91は、[式2]で補正画像に必要な座標位置(X,Y)を生成し、[式1]で(X’,Y’)に変換する。上辺の変形範囲をY Tmin〜YTmax、下辺の変形範囲をYBmin〜YBmax、左辺の変形範囲をXLmin 〜XLmax、右辺の変形範囲をXRmin〜XRmax、各頂点の変換後の位置を(X’TL,Y’TL)、(X ’TR,Y’TR)、(X’BL,Y’BL)、(X’BR,Y’BR)とし、これらを補正範囲検出部93で検出し、結果格納用レジスタ95に格納する。
【0074】
【式2】
Figure 0004772281
図9は、歪補正処理の動作を説明するフローチャートである。まず、ステップS11で、歪補正[式1]の補正倍率Mを決定する。補正倍率M決定の仕方は図10のフローチャートにて後述する。次に、ステップS12では、決定した補正倍率Mを使って、図6〜図8の説明で述べたようにブロックライン処理に必要な入力範囲を補間に必要な部分も考慮して算出し、ステップS13でこの算出した入力範囲と、歪補正処理に必要な設定値を設定する。そして、ステップS14で、ブロックライン毎の歪補正処理と次ブロックラインの入力範囲算出を同時実行する。その後、画像の最下段のブロックラインの歪補正処理が行われるまで、ブロックライン毎の歪補正処理と次ブロックラインの入力範囲算出を実行する。ステップS15において出力画像全体について歪補正処理が終了したか否かを判定することで、ステップS14を繰り返し、画像全体について歪補正処理が終わるまで続行して終了する。
【0075】
このようにすれば、歪補正実行中に、次に歪補正を行う画像入力範囲を算出するので、1つのブロックラインの歪補正が終わったときには次の歪補正処理を行う画像入力範囲が分かっており、歪補正処理を次のブロックラインに対して遅れなく順次スムーズに行なっていくことが可能である。
【0076】
上記のステップS11で、補正倍率Mを適切に決めてやると、図18(a),(b)で述べた樽型及び糸巻き型のどの歪み画像を補正処理しても画像の出力範囲にきっちりと入れることが可能である。
【0077】
図10は図9のステップS11における補正倍率Mの算出方法を説明するフローチャートを示している。まず、ステップS21で補正倍率Mの初期値として1.0を設定する。次にそのMと歪補正[式1]を用いて出力画像の例えば4辺を座標変換することで歪補正範囲算出部12にて入力画像範囲を算出し(ステップS22)、元画像の範囲内か否かを判定する(ステップS23)。ステップS23で図18(a)のように出力範囲を越えるようであれば、MをΔMだけ減少させた後(ステップS24)、ステップS22に戻り、入力画像範囲を算出し、再びステップS23の範囲内判定を行う。すなわち、少しずつMの値を変えて、ステップS23で元画像の範囲内か否かを判定し、元画像の範囲内であれば、ステップS25へ移行する。ステップS25では前記の入力画像範囲が元画像の範囲内に収まる最大のMか否かを判断する。元画像の範囲内で最大でないならば、MをΔMだけ増加させた後(ステップS26)、ステップS22に戻り、ステップS23〜26を行う。ステップS25で元画像の範囲内で最大ならば、そのときのMを補正倍率として決定する。このとき、範囲算出に用いられる領域は、補正画像の全体である。
【0078】
なお、図10のフローは、他の方法でも良い。例えば、補正倍率Mの最大及び最小Mmax、Mminを設定し、順次その範囲を2分割して最適なMを追い込む方法を用いると、計算量が少なくて済む。
【0079】
ところで、図9におけるステップS14において、歪補正処理部8の補正演算に比べて、歪補正範囲算出部9の範囲算出演算の方が演算量が少ない。そこで、補正演算の乗算器を時系列で使うことで、回路規模の削減が可能となる。
【0080】
歪補正処理を行う際には、[式1]を見れば分かるように非常に掛算が多くてハードウェア的には回路規模が非常に大きい計算になっている。一般的に乗算器がハードウェアの回路規模を大きくしているので、出来るだけ乗算器を減らすことが好ましい。乗算器制御部を設けて乗算器制御し、タイミングを取りながら、パイプライン的に処理することで、全体の処理速度を下げずに、回路規模を縮小できる。
【0081】
図11は、図7の歪補正座標変換部92の部分の具体的な構成を示している。それ以外の部分は、図7と同様である。歪補正座標変換部92では、[式1]のような乗算の多い計算を行うが、その際の複数の乗算をタイミングを図りながら時系列で処理することで、乗算器数を減らすことができるように構成してある。
【0082】
歪補正座標変換部92は、座標生成部91から補間座標(X,Y)を入力し、[式1]の(2)を演算してZを算出するZ算出部921と、Z算出部921からのZと乗算器923からのγを入力し、α,βを出力する乗算器制御部922と、α,βを入力し、γを出力する乗算器923と、補正係数A,B,C,…のいずれかに相当するδを出力する乗算器制御部924と、α,δを入力し、補正係数と、Zの整数倍との積に相当するεを出力する乗算器925と、乗算器925からのεと座標生成部91からの補間座標(X,Y)を入力し、補正前の元データの座標(X’,Y’)を出力する補正座標算出部926と、を有して構成されている。
【0083】
図12は図11のデータ出力のタイミングチャートを示している。まず、Z算出部921は、クロックCLKが‘1’のタイミングで補間座標(X,Y)を入力する。次に乗算器制御部922は、クロックCLKの‘2’のタイミングでα,βとしてZを出力し、乗算器制御部924は同じタイミング‘2’でδとして歪補正係数Aを出力する。次のクロックCLKの‘3’のタイミングで、乗算器923は入力されるα,βに基づいてγとしてZを出力し、乗算器925は入力されるα,δに基づき同じタイミング‘3’でεとしてAZを出力する。同様に、続くクロックCLKの‘4’,‘5’のタイミングでは、δ,εとしてB,BZを得、クロックCLKの‘6’,‘7’のタイミングでは、δ,εとしてC,CZを得る。その結果として、クロックCLKの‘8’のタイミングで、補正座標算出部926から補間座標(X,Y)に対する元データの座標位置(X’,Y’)を出力する。
【0084】
図11の構成では、乗算器は2つしかないが、乗算器を時系列で使うことで、実際には6つ分の計算をさせている。結果的に乗算器を1/3に減らすことが可能となる。さらに高次項を考慮する場合でも、同様の動作をさせればよい。
【0085】
ところで、図12のタイミングチャートを見ると、歪補正座標変換処理においてクロックごとの各変数の出力データには時間的な隙間(空き)があるのが分かる。そこで、パイプライン処理により各変数の出力データを時間的に空きのないように連続的に出力させることが考えられる。
【0086】
図13は、図12の動作を改善したものであり、パイプライン処理でのデータ出力のタイミングチャートを示している。図12の動作タイミングでは、補間座標(X,Y)の入力から7クロック経過後に出力として元データの座標位置(X’,Y’)が得られている、つまり、1つ結果が出るまでに7クロック分の時間を要する。これに対して、図13では、10サイクル目に1サイクル目と同じことが起こるので、9サイクルで3画素処理していることになる。つまり、見かけ上3サイクルで1画素処理していることになる。
【0087】
これまでは、歪補正範囲算出部では1つのチャンネルについてしか歪補正範囲算出処理を行わない例について述べてきたが、次に前出の1チャンネル分にかかった時間と同じ時間で、3チャンネル分を1つの歪補正範囲算出部で行う方法について説明する。これには、図14に示すように、図8の補正画像上の範囲設定において、注目領域の4辺における範囲算出用画素を例えば1/3の画素数に間引いて設定し演算処理させることで、1チャンネル分の処理時間とほぼ同じ時間で終わることができる。間引き量はレジスタ設定で行う。図14のように間引いた座標(黒丸を付したところ)でしか演算しないため、前出の処理時間と同じ時間で複数のチャンネル分に対応でき、しかも回路規模を増大させることがない。そうすると、例えばカラー画像を扱う場合に、R,G,Bごとに歪補正範囲算出部を設けなくとも3チャンネル分を1つの回路部で動作させれば1つの歪補正範囲算出部で済み、回路規模を増大させることなく、同じ時間内で済ませることができる。
【0088】
図15は、3チャンネルの場合の歪補正処理の動作を説明するフローチャートである。図9に示した歪補正処理を3チャンネル分に適用したものである。
【0089】
図15におけるステップS31〜S33及びステップS35は、図9のステップS11〜S13及びステップS15と同じである。
【0090】
ステップS34では、3チャンネルにおけるブロックライン毎の歪補正処理と、1チャンネル目(例えば、R)に対する次ブロックラインの入力範囲算出→2チャンネル目(例えば、G)に対する次ブロックラインの入力範囲算出→3チャンネル目(例えば、B)に対する次ブロックラインの入力範囲算出に対する入力範囲算出とを同時に実行する。
【0091】
これにより、複数のチャンネルを扱う場合に、複数入力信号に対して同時に歪補正処理を行っている間に、複数入力信号に対してそれぞれ次の処理対象であるブロックラインにつき歪補正範囲算出を順次に繰り返して行うことで、1つの歪補正範囲算出部で複数チャンネル分の範囲算出を行わせることが可能である。また、歪補正実行中に、次に歪補正を行う画像入力範囲を算出するので、1つのブロックラインの歪補正が終わったときには次の歪補正処理を行う画像入力範囲が分かっており、歪補正処理を次のブロックラインに対して遅れなく順次スムーズに行なっていくことが可能である。
【0092】
【発明の効果】
以上述べたように本発明によれば、歪補正処理を行う入力画像範囲を算出する歪補正範囲算出部を設けたので、歪補正によって得られる補正画像は出力すべき出力範囲に対して過不足なく出力することが可能となる。元データを有効に活用して歪補正処理を行え、糸巻き型歪,樽型歪,及び陣笠型歪にも対応できる歪補正処理が可能となる。また、ブロックライン毎の処理に必要な入力範囲を算出することができ、データ転送量を最小限にすることが可能となる。
【図面の簡単な説明】
【図1】本発明の一実施の形態の画像処理装置の全体構成を示すブロック図。
【図2】歪補正処理部の構成を示すブロック図。
【図3】歪補正処理部における座標変換の概念図。
【図4】画像データの読み出し順序を示す図。
【図5】ブロックラインと歪補正処理に必要なメモリ容量(バッファ容量)の関係を示す図。
【図6】ブロックライン幅の設定方法を示す図。
【図7】歪補正範囲算出部の構成を示すブロック図。
【図8】歪補正範囲算出部における、歪補正処理を行う際の入力画像範囲を算出する動作を説明する図。
【図9】歪補正処理の動作を説明するフローチャート。
【図10】図9のステップS11における補正倍率Mの算出方法を説明するフローチャート。
【図11】図7の歪補正範囲算出部の構成を示すブロック図。
【図12】図11のデータ出力のタイミングチャート。
【図13】図12の動作を改善したもので、パイプラインでのデータ出力のタイミングチャート。
【図14】3チャンネル分の歪補正処理を行う際の入力画像範囲を算出する方法を説明する図。
【図15】3チャンネルの場合の歪補正処理の動作を説明するフローチャートである。
【図16】格子状の被写体、樽型歪を生じた撮影画像、糸巻き型歪を生じた撮影画像を示す図。
【図17】一般的なデジタルカメラの画像処理手順の概念、及び従来のデジタルカメラの画像処理装置におけるブロック構成を示す図。
【図18】樽型歪,糸巻き型歪を生じた撮影画像を、[式3]によって補正する動作を説明する図。
【図19】陣笠型歪を示す図。
【図20】(A)第1データ順序変換部6におけるデータ順序変換処理、(B)第2データ順序変換部9におけるデータ順序変換処理を説明する図。
【符号の説明】
1…CCD
3…バス
4…CPU
5…フレームメモリ
6…第1データ順序変換部
7,8…イメージプロセス回路
8…歪補正処理部(歪補正手段)
9…第2データ順序変換部
10…JPEG処理部
11…メモリカード(記録媒体)
12…歪補正範囲算出部

Claims (3)

  1. 画像データに対して歪補正処理を行う歪補正処理部を有する画像処理装置であって、
    前記画像処理装置は、さらに、前記歪補正処理部が前記歪補正処理を行うのに必要とする、歪補正前の画像における入力画像範囲を算出する歪補正範囲算出部を有し、
    前記歪補正範囲算出部は、
    歪補正後の画像の座標系における画素に対応する補間座標を生成する座標生成部と、
    前記生成された補間座標に対して所定の歪補正式を適用して歪補正前の画像の座標系における画素の座標位置に変換する歪補正座標変換部と、
    前記変換された座標位置から、前記歪補正処理を行うのに必要とする入力画像範囲を算出する補正範囲検出部と、
    を有し、
    前記座標生成部は、歪補正後の出力画像範囲における辺縁部の各画素に対応する座標位置のみを用いて前記補間座標を生成することを特徴とする画像処理装置。
  2. 前記出力画像範囲は矩形であって、
    前記座標生成部は、前記出力画像範囲の4辺の各画素に対応する座標位置のみを用いて前記補間座標を生成することを特徴とする請求項1に記載の画像処理装置。
  3. 前記歪補正範囲算出部は、座標変換により生成された座標位置に対し、前記出力画像範囲の4辺の各辺に対応する画素の座標位置の最大値と最小値および前記出力画像範囲の4頂点に対応する座標位置の少なくともいずれかから前記入力画像範囲を算出することを特徴とする請求項1または2に記載の画像処理装置。
JP2003202493A 2003-07-28 2003-07-28 画像処理装置及び画像処理方法 Expired - Fee Related JP4772281B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2003202493A JP4772281B2 (ja) 2003-07-28 2003-07-28 画像処理装置及び画像処理方法
CNB2004800218769A CN100552712C (zh) 2003-07-28 2004-07-27 图像处理装置、图像处理方法以及失真校正方法
US10/566,408 US7813585B2 (en) 2003-07-28 2004-07-27 Image processing apparatus, image processing method, and distortion correcting method
EP04771117.1A EP1650705B1 (en) 2003-07-28 2004-07-27 Image processing apparatus, image processing method, and distortion correcting method
EP12006314.4A EP2533192B1 (en) 2003-07-28 2004-07-27 Image processing apparatus, image processing method, and distortion correcting method
PCT/JP2004/011010 WO2005010818A1 (ja) 2003-07-28 2004-07-27 画像処理装置、画像処理方法及び歪補正方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003202493A JP4772281B2 (ja) 2003-07-28 2003-07-28 画像処理装置及び画像処理方法

Publications (3)

Publication Number Publication Date
JP2005044098A JP2005044098A (ja) 2005-02-17
JP2005044098A5 JP2005044098A5 (ja) 2006-06-08
JP4772281B2 true JP4772281B2 (ja) 2011-09-14

Family

ID=34262194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003202493A Expired - Fee Related JP4772281B2 (ja) 2003-07-28 2003-07-28 画像処理装置及び画像処理方法

Country Status (2)

Country Link
JP (1) JP4772281B2 (ja)
CN (1) CN100552712C (ja)

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104270571B (zh) * 2014-10-20 2018-06-01 联想(北京)有限公司 图像处理方法以及电子设备
US10176559B2 (en) 2001-12-22 2019-01-08 Lenovo (Beijing) Co., Ltd. Image processing method applied to an electronic device with an image acquiring unit and electronic device
JP4832878B2 (ja) * 2005-12-09 2011-12-07 倉敷紡績株式会社 画像合成処理装置及び方法
WO2009013845A1 (ja) * 2007-07-20 2009-01-29 Techwell Japan K.K. 画像処理装置及びカメラシステム
JP4940050B2 (ja) * 2007-08-09 2012-05-30 キヤノン株式会社 画像データに歪曲収差補正を施す画像処理方法、プログラム、および、記録媒体
KR101428054B1 (ko) 2007-12-13 2014-08-07 주식회사 엘지씨엔에스 매체이미지 검출장치 및 방법, 그리고 그를 이용한매체취급시스템
JP5195288B2 (ja) * 2008-10-30 2013-05-08 パナソニック株式会社 カメラボディ、カメラシステム
CN101771796B (zh) * 2008-12-29 2013-01-30 比亚迪股份有限公司 一种校正图像桶形失真的方法和装置
JP5218071B2 (ja) * 2009-01-07 2013-06-26 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP2010176547A (ja) * 2009-01-30 2010-08-12 Dainippon Printing Co Ltd 画像処理装置に含まれる制御装置、制御方法、及び制御処理プログラム
JP5443844B2 (ja) * 2009-06-17 2014-03-19 オリンパス株式会社 画像処理装置及び撮像装置
JP5489871B2 (ja) 2009-06-24 2014-05-14 オリンパス株式会社 画像処理装置
JP5593060B2 (ja) 2009-11-26 2014-09-17 株式会社メガチップス 画像処理装置、および画像処理装置の動作方法
JP5316811B2 (ja) * 2010-01-18 2013-10-16 株式会社リコー 画像処理方法及び装置、並びに画像撮像装置
US8116587B2 (en) * 2010-02-16 2012-02-14 Ricoh Co., Ltd. Method and apparatus for high-speed and low-complexity piecewise geometric transformation of signals
JP5195818B2 (ja) * 2010-06-01 2013-05-15 セイコーエプソン株式会社 表示制御装置
JP5829094B2 (ja) * 2011-10-20 2015-12-09 オリンパス株式会社 画像処理装置および画像処理方法
TWI489859B (zh) * 2011-11-01 2015-06-21 Inst Information Industry 影像形變方法及其電腦程式產品
CN102490496B (zh) * 2011-12-07 2014-02-26 东莞市盛雄激光设备有限公司 激光打标桶枕形失真补偿值确定方法和装置,激光打标方法和装置
JP5893445B2 (ja) * 2012-03-07 2016-03-23 株式会社メガチップス 画像処理装置、および画像処理装置の動作方法
JP6146819B2 (ja) * 2012-03-14 2017-06-14 富士機械製造株式会社 画像補正処理装置
JP6124720B2 (ja) * 2013-07-22 2017-05-10 オリンパス株式会社 撮像装置、画像処理方法及び画像処理プログラム
JP6434209B2 (ja) * 2013-12-20 2018-12-05 株式会社リコー 画像生成装置、画像生成方法、およびプログラム
JP2016025443A (ja) * 2014-07-18 2016-02-08 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法、および、プログラム
EP3035664B1 (en) * 2014-12-19 2017-06-21 Axis AB Method for processing a video stream
CN104616256B (zh) * 2015-01-15 2018-01-09 桂林长海发展有限责任公司 一种校正图像桶形失真的方法及装置
JP6524713B2 (ja) * 2015-03-02 2019-06-05 セイコーエプソン株式会社 画像処理装置、表示装置、及び、画像処理装置の制御方法
JP6143199B2 (ja) * 2015-03-18 2017-06-07 カシオ計算機株式会社 画像補正装置、画像補正方法、及びプログラム
CN106993133B (zh) 2015-06-30 2019-08-30 Oppo广东移动通信有限公司 一种畸变校正方法及终端
JP6006389B1 (ja) 2015-08-26 2016-10-12 オリンパス株式会社 撮像装置、撮像方法及び撮像プログラム
JP6252577B2 (ja) * 2015-10-13 2017-12-27 コニカミノルタ株式会社 画像処理装置及び画像処理方法
CN105488821B (zh) * 2015-11-20 2022-02-01 厦门雅迅网络股份有限公司 一种图像中心点的校正方法及装置
JP6563358B2 (ja) * 2016-03-25 2019-08-21 日立オートモティブシステムズ株式会社 画像処理装置及び画像処理方法
CN107764829A (zh) * 2016-08-15 2018-03-06 上海太阳能工程技术研究中心有限公司 太阳电池外观缺陷识别方法
CN107025638B (zh) * 2017-03-28 2020-02-07 北京小米移动软件有限公司 图像处理的方法及装置
CN107274352A (zh) * 2017-04-26 2017-10-20 睿舆自动化(上海)有限公司 一种图像处理方法及应用于镜头畸变和摄影畸变矫正的实时采样系统
KR102473840B1 (ko) * 2017-11-21 2022-12-05 삼성전자주식회사 디스플레이 드라이버 및 모바일 전자 기기
CN108596067B (zh) * 2018-04-15 2019-09-10 中少科普(北京)教育科技有限公司 一种少先队员敬礼姿势检测校正方法
CN110533584B (zh) * 2019-09-03 2023-10-20 深圳市迪威码半导体有限公司 一种图像重构方法、系统及终端设备
CN110780743A (zh) * 2019-11-05 2020-02-11 聚好看科技股份有限公司 一种vr交互方法及vr设备
CN111539880B (zh) * 2020-04-15 2023-09-08 上海摩象网络科技有限公司 图像处理方法、设备及手持相机
JP7086155B2 (ja) * 2020-10-06 2022-06-17 キヤノン株式会社 画像処理装置、画像処理装置の制御方法、及び、プログラム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3035416B2 (ja) * 1992-11-18 2000-04-24 キヤノン株式会社 撮像装置及び画像再生装置及び映像システム
JPH06119442A (ja) * 1992-10-07 1994-04-28 Meidensha Corp 図形のゆがみ補正方法
JPH06153065A (ja) * 1992-11-11 1994-05-31 Olympus Optical Co Ltd 撮像装置
JP3297511B2 (ja) * 1993-10-15 2002-07-02 オリンパス光学工業株式会社 映像処理装置
JP3686695B2 (ja) * 1994-10-20 2005-08-24 オリンパス株式会社 画像処理装置
JPH0998340A (ja) * 1995-09-29 1997-04-08 Sanyo Electric Co Ltd 撮像装置
JPH11243508A (ja) * 1998-02-25 1999-09-07 Matsushita Electric Ind Co Ltd 画像表示装置
JPH11250239A (ja) * 1998-02-27 1999-09-17 Kyocera Corp Yuvデータによりディストーション補正を行うディジタル撮像装置
JPH11250238A (ja) * 1998-02-27 1999-09-17 Kyocera Corp ブロック単位でディストーション補正を行うディジタル撮像装置
JPH11275391A (ja) * 1998-03-20 1999-10-08 Kyocera Corp ディストーション補正を選択できるディジタル撮像装置
JP2000132673A (ja) * 1998-10-28 2000-05-12 Sharp Corp 画像システム
JP4179701B2 (ja) * 1999-04-28 2008-11-12 オリンパス株式会社 画像処理装置
JP2001101396A (ja) * 1999-09-30 2001-04-13 Toshiba Corp 画像歪み補正処理装置および方法、並びに画像歪み補正処理を行うプログラムを格納した媒体
JP2001266176A (ja) * 2000-01-14 2001-09-28 Sony Corp 画像処理装置および画像処理方法、並びに記録媒体
JP4827213B2 (ja) * 2001-03-12 2011-11-30 株式会社メガチップス 画像補正装置および画像補正方法

Also Published As

Publication number Publication date
CN100552712C (zh) 2009-10-21
JP2005044098A (ja) 2005-02-17
CN1830002A (zh) 2006-09-06

Similar Documents

Publication Publication Date Title
JP4772281B2 (ja) 画像処理装置及び画像処理方法
EP1650705B1 (en) Image processing apparatus, image processing method, and distortion correcting method
EP2560375B1 (en) Image processing device, image capture device, program, and image processing method
US7693350B2 (en) Pixel interpolation device and camera adapted to perform pixel interpolation of captured image
WO2004109597A1 (ja) 画像処理装置
JP2004064334A (ja) 撮像装置
WO2005122554A1 (ja) 撮像装置
US8289420B2 (en) Image processing device, camera device, image processing method, and program
JP2004362069A (ja) 画像処理装置
JP2005045513A (ja) 画像処理装置及び歪補正方法
JP4334932B2 (ja) 画像処理装置及び画像処理方法
US20040228521A1 (en) Real-time three-dimensional image processing system for non-parallel optical axis and method thereof
US6542429B2 (en) Method of controlling line memory
US8902474B2 (en) Image processing apparatus, control method of the same, and program
US6906748B1 (en) Electronic camera
JP4436626B2 (ja) 画像処理装置
JP4244218B2 (ja) 撮像信号処理回路およびカメラシステム
JP2009003953A (ja) 画像処理装置
JP4503106B2 (ja) 情報処理装置および方法、情報処理システム、並びに記録媒体
US20090046176A1 (en) Video signal processing apparatus
JP4132264B2 (ja) 画像信号処理回路
JP2006262382A (ja) 画像処理装置
JP4424097B2 (ja) 電子ズーム装置
JPH08279949A (ja) 電子ズーム処理装置および電子ズーム処理方法
JP2004153848A (ja) 画像入力装置の画像処理回路

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20060412

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060412

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090630

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090824

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20091110

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100209

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20100222

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20100402

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110531

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110622

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4772281

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

S531 Written request for registration of change of domicile

Free format text: JAPANESE INTERMEDIATE CODE: R313531

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees