JP3650378B2

JP3650378B2 - 画像処理装置

Info

Publication number: JP3650378B2
Application number: JP2002200058A
Authority: JP
Inventors: 哲也豊田
Original assignee: Olympus Corp
Current assignee: Olympus Corp
Priority date: 2002-07-09
Filing date: 2002-07-09
Publication date: 2005-05-18
Anticipated expiration: 2020-05-18
Also published as: JP2003110847A

Description

【０００１】
【発明の属する技術分野】
本発明は、撮影された画像を歪曲のない画像に補正する画像処理装置に関する。
【０００２】
【従来の技術】
一般に、レンズには箇所によって倍率の違いがあり、レンズに入射する画像の主光線の光軸の角度によっては、歪曲収差が発生する。この歪曲収差には、正の歪曲（糸巻き型歪曲）と負の歪曲（樽型歪曲）とがある。
前記歪曲収差は、非対称に構成されたレンズ群では生じ易く、対称であれば、前方のレンズ群で生じた歪曲が後方のレンズ群で打ち消され歪曲が目立たなくなる。しかし、歪曲収差が生じるような場合には、撮影された画像が撮影対象と相似形にならず、直線が歪んで写り、絞りを絞り込んでも収差は減少しない。
【０００３】
この歪曲収差を補正するものとして、例えば、特開昭６２−２３０２６７号公報に開示されているような、歪曲した画像を画像処理によって補正する技術がある。
【０００４】
この補正技術は、データ圧縮を利用したものであり、ドアカメラで撮影した画像をデジタル信号に変換し、フレームメモリに書き込む際に、画像の圧縮する度合いを順次変えて、補正された画像をＣＲＴに写し出しているものである。
【０００５】
すなわち、負の歪曲の場合に、各走査線データの書込み時に、画面の左側からの画面中心線までは順次データ圧縮率を強め、画面中心線から右側の圧縮率を順次弱めるようにする。同様に上下方向の圧縮も、中心の走査線ほど圧縮率を強め、上下端ほど圧縮率を弱める。
【０００６】
このようなデータ圧縮を撮影した画像に施し、正常な画像になるように補正している。しかし一般的には、前述したような補正技術を用いず、カメラの撮像レンズ系自体で歪曲を少なくなるように設計して、用いられている。
【０００７】
【発明が解決しようとする課題】
しかしながら、撮影レンズ系のみで解決しようとしても、レンズ配置は構造上制約される場合が多く、任意の絞りでも常に歪曲が発生しないように設計することは大変困難である。また、歪曲を補正するために、レンズ系の構成が複雑になり、カメラ自体の重量、体積がともに大きくなるという欠点がある。
【０００８】
また、特開昭６２−２３０２６７号公報に記載されている補正技術は、テレビカメラとテレビジョンのような、アナログやデジタルによる画像信号として、画像を撮影し補正し、表示画面に写し出す場合には、好適する補正技術であるが、フィルムを利用するカメラにおいては、画像を光学的に記録するため、前述した補正技術では光学的に画像を補正することはできない。
そこで本発明は、歪曲のない画像を得るための画像処理装置を提供することを目的とする。
【０００９】
【課題を解決するための手段】
上記目的を達成するために、カメラで撮影された画像をデジタル処理して出力する画像処理装置において、複数の歪曲補正データを記憶する記憶手段と、上記記憶手段に記憶された歪曲補正データを用いて上記画像の歪曲補正を行う歪曲補正手段とを備え、上記歪曲補正手段は、撮影時のレンズ種類、絞り値、焦点距離及び、焦点位置に応じて上記記憶手段に記憶されていた歪曲補正データを読出し、該歪曲補正データで再現される歪曲収差近似曲線式を用いて歪曲補正演算を行う画像処理装置を提供する。
【００１１】
【発明の実施の形態】
以下、図面を参照して本発明の実施形態を詳細に説明する。
図１は、本発明による第１の実施形態としてのカメラシステムの概略的な構成を示し説明するブロック図である。
このカメラシステムは、撮影時のレンズの歪曲データを記録可能なカメラ１と、歪曲データを記録するための磁気テープ１１が設けられた光学画像を記録するフィルム１０と、前記歪曲データと光学画像からなる情報を読み出す画像出力装置１２と、画像を出力するためのカラープリンタ１８とに大別される。
【００１２】
前記カメラ１においては、焦点距離及び焦点位置が可変できるレンズ３と、該レンズ３の焦点距離及び焦点位置を変化させるためのレンズ駆動部４と、前記レンズ３の歪曲データを予め記録するＲＯＭ５と、被写体までの距離を測定する測距部６と、被写体の明るさを測光し、露出を制御する露出制御部７と、レリーズボタン８と、撮影時の歪曲データを前記磁気テープ１１に記録するための歪曲データ書込み部９と、前記レンズ駆動部４、ＲＯＭ５、測距部６、露出制御部７、歪曲データ書込み部９を制御するＣＰＵ２とからなる。
【００１３】
また、前記画像出力装置１２においては、前記磁気テープ１１に記録された歪曲データを読出すための歪曲データ読出し部１４と、前記フィルム１０から画像を読込むためのフィルムスキャナ１５と、該フィルムスキャナ１５によって読出された画像を記録しておくためのフレームメモリ１６と、前記フィルムスキャナ１５、歪曲データ読出し部１４を制御するＣＰＵ１３と、該ＣＰＵ１３によって歪曲を補正された画像を記録するためのフレームメモリ１７とから構成されている。
【００１４】
次に図２に示すフローチャートを参照して、前記カメラシステムにおけるカメラ１の動作を説明する。
まず、カメラ１のメインスイッチオンでシーケンススタートした後、撮影者によるファーストレリーズのオン／オフを判定し（ステップＳ１）、オンされると（ＹＥＳ）、前記露出制御部７により測光が行われ（ステップＳ２）、続いて前記測距部６により測距が行われる（ステップＳ３）。
【００１５】
その測距の結果を受けて絞り値が決定され、前記レンズ駆動部４によりレンズが駆動され、オートフォーカスが完了する（ステップＳ４）。
更に撮影者によるセカンドレリーズのオン／オフを判定し（ステップＳ５）、オンされると（ＹＥＳ）、前記ステップＳ２〜Ｓ４で決定された絞りレンズ配置で露光が行われる（ステップＳ６）。続いて前記ＣＰＵ２により撮影時のレンズ情報（焦点距離、焦点位置及び絞り）が判断され（ステップＳ７）、そのレンズ情報はレンズに内蔵された前記ＲＯＭ５内のデータを用いて歪曲データに変換される（ステップＳ８）。
【００１６】
次に変換された歪曲データは、前記歪曲データ書込み部９によって前記磁気テープ１１に書き込まれる（ステップＳ９）。更に撮影者が撮影を終了するか判定する（ステップＳ１０）。撮影を継続する場合は（ＮＯ）、フィルムを送り（ステップＳ１１）、ステップＳ１に戻る。しかし撮影者が撮影を終了する場合には（ＹＥＳ）、本シーケンスは終了する。
【００１７】
ここで、前記ステップＳ８の歪曲データ変換の際に必要な歪曲データについて説明する。
図３は、角度θで光学系Ｏｓに入射した光の歪曲収差を示す。光学系Ｏｓから焦点距離ｆ離れた光軸上には、理想像高ｚ’に対し、歪曲の影響を受けた実像高ｚの像が結像する。この場合、歪曲の大きさａは次式（１）で表わされる。
ａ＝（ｚ−ｚ'）／ｚ'×１００（％） …（１）
ｚ'＝ｆ・ｔａｎ（θ） …（２）
光学系の収差は、一般的には、像高の関数になる。
【００１８】
図４には、実像高ｚを横軸、歪曲ａを縦軸にとった場合の歪曲の収差曲線を示す。また図５には、正方格子が歪曲を受けた時の画像イメージを示す。それぞれ図５（ａ）樽型、同図（ｂ）糸巻型、同図（ｃ）陣笠型と呼ばれており、図４（ａ）が図５（ａ）に、図４（ｂ）が図５（ｂ）に、図４（ｃ）が図５（ｃ）に対応している。ここで、これらの収差曲線を次式のように展開する。
ａ（ｚ）＝ａ_１ｚ＋ａ_２ｚ^２＋ａ_３ｚ^３＋ａ_４ｚ^４＋… …（３）
この展開により、式（３）の展開係数ａ１、ａ２、ａ３、ａ４、…を歪曲データとして持てば、図４に示すような収差曲線が再現できるため、これらの係数列ａ１、ａ２、ａ３、ａ４、…、を歪曲データとして採用する。ただし、本実施形態では、前記ＲＯＭ５の容量を抑え、前記ＣＰＵ１３による歪曲補正の計算時間を短縮するため、歪曲データをａ１、ａ２、ａ３の３つに限定する。
【００１９】
次に表１、表２を参照して、前記ＲＯＭ５内の具体的な歪曲データのフォーマットについて説明する。
【００２０】
【表１】

【００２１】
【表２】

【００２２】
前記ＲＯＭ５は、表１、表２に示すような２つのテーブルを持っている。表１は、前記ＣＰＵ２で判断されたレンズ情報（「焦点距離ｆ」と「焦点位置ｄ」）を、その値によって９つのグループに分ける表である。
【００２３】
一般的に、歪曲は同じレンズであってもその焦点距離や焦点位置によって変化するため、歪曲データを焦点距離や焦点位置によって変化させる必要がある。このグループ分けは、焦点距離、焦点位置による歪曲の変化率を考慮して、歪曲の変化の大きなところは細かく、変化の小さなところは粗に分けるようにする。
【００２４】
そして表２は、このように表１でグループ分けされたレンズ情報ｎを歪曲データａ１、ａ２、ａ３に変換する変換表である。
【００２５】
図６は、図２の前記ステップＳ８の歪曲データを変換し前記ＲＯＭ５から読み出すサブルーチン「歪曲データ変換」のシーケンスを示したフローチャートである。
まず、シーケンススタートした後、図２のステップＳ７における撮影時のレンズ情報「焦点距離ｆ」と「焦点位置ｄ」は、前記表１に従ってレンズ情報ｎにグループ分けされる（ステップＳ２１）。グループ分けされたレンズ情報ｎは、表２の変換表に従って歪曲データａ１、ａ２、ａ３に変換され（ステップＳ２２）、本シーケンスが終了する。
【００２６】
図７に示すフローチャートを参照して、前記画像出力装置１２の動作を説明する。ここで、構成部材の参照符号は、図１に示した符号を用いる。
まず、シーケンススタートした後、フィルム１０に記録された画像がフィルムスキャナ１５により読み出され（ステップＳ３１）、前記フレームメモリ１６に転送される（ステップＳ３２）。
【００２７】
次に、前記磁気テープ１１に記録された歪曲データが前記歪曲データ読出し部１４により読み出される（ステップＳ３３）。それから前記ＣＰＵ１３により、読み出された歪曲データを用いて前記フレームメモリ１６に記憶された画像の歪曲が補正され（ステップＳ３４）、前記フレームメモリ１７に転送される（ステップＳ３５）。そして、前記カラープリンタ１８によって補正画像が出力されて（ステップＳ３６）、本シーケンスが終了する。
【００２８】
図８に示すフローチャートを参照して、図６に示したステップＳ３４の歪曲補正について説明する。
まず、シーケンススタートした後、歪曲データａ１〜ａ３がすべて「０」か否か判定し（ステップＳ４１）、すべて「０」であると判定された場合は（ＹＥＳ）、歪曲補正は行われず、本シーケンスが終了する。しかし、歪曲データａ１〜ａ３のうち１つでも「０」でないものがあると判定された場合は（ＮＯ）、補正を計算し（ステップＳ４２）、本シーケンスを終了する。
【００２９】
次に、図８のステップ４２の歪曲補正の補正計算の具体的な方法について説明する。表２に示す歪曲データａ１、ａ２、ａ３が与えられると、歪曲の近似収差曲線、
ａ（ｚ）＝ａ_１ｚ＋ａ_２ｚ^２＋ａ_３ｚ^３ …（４）
が得られる。これは式（１）の通り、理想像高に対する実像高の歪曲の割合を表わしているが、この式を理想像高ｚ’について解くと、
ｚ'＝（１＋ａ（ｚ）／１００）ｚ …（５）
となる。つまり、ｚを（１＋ａ／１００）倍することにより、ｚ'が得られる。
【００３０】
この場合、実像高ｚは画像の中心から距離ｚだけ離れた場所にある画素に相当する。よって、歪曲を補正するためには画像の中心から距離ｚ離れた注目画素の値をその延長上の距離ｚ’にある画素の値とすればよい。
具体的には、各画素は一般的に縦横直行するように並んでいるので、ある注目画素（ｘ、ｙ）に対し、
ｘ＝ｚｃｏｓ（θ） …（６ａ）
ｙ＝ｚｓｉｎ（θ） …（６ｂ）
という座標変換を行い、ｚとθを求め、像高と実際の画素を対応させる。そして、いま求めたθと、式（５）を用いて計算されるｚ'を用いて、
ｘ'＝ｚ'ｃｏｓ（θ） …（７ａ）
ｙ'＝ｚ'ｓｉｎ（θ） …（７ｂ）
より（ｘ'、ｙ'）を求める。もし（ｘ'、ｙ'）に相当する画素がない場合は、一番値の近い画素に置き換える。
【００３１】
また、歪曲が負の場合、補正画像は元の画像より面積が大きくなるため、すべての（ｘ、ｙ）に対応した（ｘ'、ｙ'）を求めても画像周辺部に画素のとびが出るが、その場合は、適当な補間を行い空いている画素を埋めればよい。
しかし逆に歪曲が正の場合、補正画像は元の画像より面積が小さくなるため、異なる（ｘ、ｙ）に対して同じ（ｘ'、ｙ'）が対応するが、その場合は重なった画素値をその平均値等で置き換えればよい。
【００３２】
以上の構成により、撮像レンズ自体で歪曲を補正する必要がなくなり、レンズの構成をシンプルにすることができる。また、任意の焦点距離、焦点位置で歪曲補正が可能になり、より高品質な写真を提供できる。
【００３３】
図９は、本発明による第２の実施形態としてのカメラシステムの概略的な構成を示し説明する。
このカメラシステムは、第１の実施形態と同様に、撮影時のレンズの歪曲データを記録可能なカメラ２１と、歪曲データを記録するための磁気テープ３０が設けられた光学画像を記録するフィルム２９と、前記歪曲データと光学画像からなる情報を読み出す画像出力装置３１と、画像を出力するためのカラープリンタ３８とに大別される。
【００３４】
この第２の実施形態において、第１の実施形態と異なる点は、図１に示したＲＯＭ５に相当する記憶素子を有していないこと、前記歪曲データ書込み部９及び歪曲データ読み出し部１４に相当するものが、それぞれレンズ情報書込み部２８及びレンズ情報読み出し部３３となること、更に、画像出力装置３１内にＲＯＭ３６を有することである。尚、前記ＲＯＭ３６には、撮影に使用される複数のレンズに対応した歪曲データが記憶されている。
【００３５】
次に図１０のフローチャートを参照して、本実施形態のカメラシステムのカメラ２１の動作を説明する。
まず、カメラ１のメインステップオンでシーケンススタートした後、撮影者によるファーストレリーズのオン／オフの判定を行い（ステップＳ５１）、オンされると（ＹＥＳ）、露出制御部２６により測光が行われ（ステップ５２）、続いて測距部２５により測距が行われる（ステップＳ５３）。
【００３６】
その測距の結果を受けて絞り値が決定され、前記レンズ駆動部２４によりレンズが駆動され、オートフォーカスが完了する（ステップＳ５４）。
次に、撮影者によるセカンドレリーズのオン／オフを判定し（ステップＳ５５）、オンされると（ＹＥＳ）、前記ステップＳ５２〜Ｓ５４で決定された絞りレンズ配置で露光が行われる（ステップＳ５６）。続いて前記ＣＰＵ２２により撮影時のレンズ情報（レンズの種類、焦点距離、焦点位置、絞り）が判断され（ステップＳ５７）、該レンズ情報は、前記レンズ情報書込み部２８によって前記磁気テープ３０に書き込まれる（ステップＳ５８）。
【００３７】
次に撮影者が撮影を終了するか判定する（ステップＳ５９）。撮影者が撮影を継続する場合は（ＮＯ）、フィルムを送り（ステップＳ６０）、ステップＳ５１へ戻り、撮影者が撮影を終了する場合に本シーケンスは終了する。
次に図１１に示すフローチャートを参照して、画像出力装置３１の動作について説明する。
まず、シーケンススタートした後、前記フィルム２９に記録された画像が前記フィルムスキャナ３４により読み出され（ステップＳ６１）、前記フレームメモリ３５に転送される（ステップＳ６２）。
【００３８】
次に、前記磁気テープ３０に記録されたレンズ情報が前記レンズ情報読出し部３３により読み出される（ステップＳ６３）。そして前記ＣＰＵ３２により、前記ＲＯＭ３６に記憶されているデータを用いてレンズ情報が歪曲データに変換され（ステップＳ６４）、変換された歪曲データを用いて前記フレームメモリ３５に記憶された画像の歪曲が補正される（ステップＳ６５）。
そして補正された画像が前記フレームメモリ３７に転送される（ステップＳ６６）。さらに前記カラープリンタ３８によって、補正画像がプリンタ出力されて（ステップＳ６７）、本シーケンスが終了する。
【００３９】
次に図１２のフローチャートは、図１１に示したステップＳ６４の歪曲データ変換のサブルーチンである。
この歪曲データ変換について説明する。まず、シーケンススタートした後、読み出されたレンズ情報の中の「レンズの種類」と「絞り」によって、前記ＲＯＭ３６に記憶されている複数の変換テーブルのうち適当な変換テーブルを選択する（ステップＳ７１）。次に、読み出された撮影時のレンズ情報の中の「焦点距離」、「焦点位置」は、前記ステップＳ７１で選択された変換表に従ってグループ分けされ（ステップＳ７２）、グループ分けされたレンズ位置情報ｎは、歪曲データａ１、ａ２、ａ３に変換されて（ステップＳ７３）、本シーケンスが終了する。なお、本発明の実施形態では歪曲データを収差曲線の３次までの係数で表わしたが、それ以上の次数で表わしてもよいし、それ以下でもよい。また、歪曲データをべき展開せず、像高ｚに対する歪曲ａ（ｚ）の値そのもので表わしてもよい。以上のようなカメラシステムによれば、撮影時のコマ毎の情報を用いて画像の歪曲を補正するため、任意の焦点距離、焦点位置において歪曲を補正し、高画質の画像を得ることができる。また、本実施形態では、周辺減光データのレンズ情報をコマ毎に記録したが、他の半導体メモリのような記憶素子に一時的に記録しておき、撮影完了後の巻き戻しの際に、まとめて一括記録してもよい。
【００４０】
従って、本発明によるカメラシステムは、撮像レンズ自体で歪曲を補正する必要がなく、レンズの構成を簡単にすることができ、小型で軽量なカメラで歪曲のない画像（写真）を提供する。
【００４１】
また本発明は、前述した実施形態に限定されるものではなく、他にも発明の要旨を逸脱しない範囲で種々の変形や応用が可能であることは勿論である。
【００４２】
【発明の効果】
以上詳述したように本発明によれば、歪曲のない画像を得るための画像処理装置を提供することができる。
【図面の簡単な説明】
【図１】図１は、本発明による第１の実施形態としてのカメラシステムの概略的な構成を示すブロック図である。
【図２】図２は、図１に示すカメラシステムにおけるカメラの動作を説明するためのフローチャートである。
【図３】図３は、角度θで光学系Ｏｓに入射した光の収差を示す図である。
【図４】図４は、実像高ｚを横軸、歪曲ａを縦軸にとった場合の歪曲の収差曲線を示す図である
【図５】図５には、正方格子が歪曲を受けた時の画像イメージを示す図である。
【図６】図６は、図２の歪曲データ変換のシーケンスを示すフローチャートである。
【図７】図７は、画像出力装置の動作を説明するためのフローチャートである。
【図８】図８は、歪曲データを用いて画像の周辺減光を補正するサブルーチンのフローチャートである。
【図９】図９は、本発明による第２の実施形態としてのカメラシステムの構成を示す図である。
【図１０】図１０は、図８に示すカメラシステムのカメラの動作について説明するためのフローチャートである。
【図１１】図１１は、図８に示した画像出力装置の動作について説明するためのフローチャートである。
【図１２】図１２は、図１１に示した歪曲データ変換を行うためのサブルーチンのフローチャートである。
【符号の説明】
１…カメラ
２、１３…ＣＰＵ
３…レンズ
４…レンズ駆動部
５…ＲＯＭ
６…測距部
７…露出制御部
８…レリーズボタン
９…周辺減光データ書込み部
１０…フィルム
１１…磁気テープ
１２…画像出力装置
１４…周辺減光データ読出し部
１５…フィルムスキャナ
１６、１７…フレームメモリ
１８…カラープリンタ

Claims

カメラで撮影された画像をデジタル処理して出力する画像処理装置において、
複数の歪曲補正データを記憶する記憶手段と、
上記記憶手段に記憶された歪曲補正データを用いて上記画像の歪曲補正を行う歪曲補正手段と、
を具備しており、
上記歪曲補正手段は、撮影時のレンズ種類、絞り値、焦点距離及び、焦点位置に応じて上記記憶手段に記憶されていた歪曲補正データを読出し、該歪曲補正データで再現される歪曲収差近似曲線式を用いて歪曲補正演算を行うことを特徴とする画像処理装置。