JP4233797B2 - デジタル画像のパースペクティブ歪みを除去するディジタルカメラ - Google Patents

デジタル画像のパースペクティブ歪みを除去するディジタルカメラ Download PDF

Info

Publication number
JP4233797B2
JP4233797B2 JP2002052982A JP2002052982A JP4233797B2 JP 4233797 B2 JP4233797 B2 JP 4233797B2 JP 2002052982 A JP2002052982 A JP 2002052982A JP 2002052982 A JP2002052982 A JP 2002052982A JP 4233797 B2 JP4233797 B2 JP 4233797B2
Authority
JP
Japan
Prior art keywords
image
digital camera
optical image
distortion
axis
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2002052982A
Other languages
English (en)
Other versions
JP2002335438A (ja
JP2002335438A5 (ja
Inventor
ジョン・エム・バロン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
HP Inc
Original Assignee
Hewlett Packard Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hewlett Packard Co filed Critical Hewlett Packard Co
Publication of JP2002335438A publication Critical patent/JP2002335438A/ja
Publication of JP2002335438A5 publication Critical patent/JP2002335438A5/ja
Application granted granted Critical
Publication of JP4233797B2 publication Critical patent/JP4233797B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/222Studio circuitry; Studio devices; Studio equipment
    • H04N5/262Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2628Alteration of picture size, shape, position or orientation, e.g. zooming, rotation, rolling, perspective, translation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/63Control of cameras or camera modules by using electronic viewfinders
    • H04N23/633Control of cameras or camera modules by using electronic viewfinders for displaying additional information relating to control or operation of the camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/58Means for changing the camera field of view without moving the camera body, e.g. nutating or panning of optics or image sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/695Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects

Description

【0001】
【発明の属する技術分野】
本発明はディジタル撮像に関する。特に、本発明は光学画像における垂直線歪み(縦方向収束、converging verticals)などのパースペクティブ歪みの補正に関する。
【0002】
【従来技術及びその課題】
建造物の写真を撮影する際に存在する、建築写真において見られる共通の問題は、平行線が一端に収束するように見えるというパースペクティブ歪みのために下から見上げると上すぼまりに見える(見下ろした場合は下すぼまり)結果、建造物の像が歪んでしまうことである。また、建物の壁面などを斜めから撮影することによるパースペクティブ歪みも同様に問題になることがある。垂直線歪みなどのパースペクティブ歪み(以下、垂直線歪みで代表させる)は、撮影されるべき物体の面がカメラの後部にあるフィルム面と平行でない場合に発生する。垂直線歪みの問題は、撮影者が広角レンズを使用し、さらに建造物全体の像を捉えようとして建造物を見上げて撮影する際に特に顕著である。
【0003】
従来、垂直線歪みの問題に対処するための方法がいくつか案出されてきた。たとえば、35mmカメラを使用する場合、縦歪みを補正する技術として、撮影の際にチルト及びシフトレンズを使用するものがある。当業者なら理解できるように、チルト及びシフトレンズを使用することに伴う主な欠点はその費用であり、チルト・シフトレンズの価格はほとんどのアマチュア写真家にとって法外なものである。チルト及びシフトレンズを使用することによる別の欠点は、このようなレンズは実際のところ建築写真における用途にしか適さず、いずれにしても使用することが困難であるということである。
【0004】
垂直線歪みを回避する別の一般的な解決法はビューカメラを使用することである。ビューカメラでは、可撓性の蛇腹を使って背面のフィルムバックに取り付けられるレンズボードにレンズがマウントされる。カメラとフィルムバックを傾けて所望の対象の建築物をフレーミングするのではなく、撮影者は、フィルムバックを対象の建築物の面、たとえば、撮影されるべき建造物の正面と平行に維持する。次に、レンズによって投影されるイメージサークルの所望の位置までフィルムバックが来るようにレンズとフィルムバックを相対的に平行移動する(レンズを上方に平行移動する場合はライズするという;また水平線の同様なパースペクティブ歪みを補正する際にはレンズを水平方向に平行移動するが、これはシフトするという)ことによって、像がフィルム領域内でフレーミングされる。このような調節をサポートするため、可撓性のある遮光性の蛇腹によりレンズボードとフィルムバックが独立して動けるようにする。
【0005】
また、従来、垂直線歪みの問題を撮影後に補正しようともしてきた。従来、引伸し機のヘッドをチルトする(つまり印画紙面に対する引伸ばしレンズの光軸の角度を傾ける)ことにより、あるいはプリント用イーゼルをチルトすることによって、フィルムを引伸ばす過程で、垂直線歪みを補正しようとした技術者もいた。これらの技術にはいくつかの欠点があった。たとえば、この収束を補正するのに十分正確に引伸し装置のヘッドをチルトすること、あるいは、イーゼルのチルトを制御することは、白黒写真の現像の際の仄かな光の中では極めて困難であり、更に、カラー写真の現像の際の完全な暗闇の中では不可能と言ってもよい。さらに、引伸し装置のヘッドまたはイーゼルをティルトすることは、印画紙の一方の縁を他方の縁に近づけることを意味するため、ピント合わせの問題を引き起こすおそれがあった。同様に、印画紙の一方の縁を他方より引き延ばし装置に近づけると、その縁の受光量が多くなり、過度に露光されてしまう。
【0006】
また、ディジタル技術を利用して写真の遠近感を補正しようとした技術者もいた。矩形領域を任意の四辺形にマッピングすることが可能なある種の「歪み」ツールを有する種々のソフトウェアパッケージを使用することで、垂直線歪みの補正を試みることができる。各種のソフトウェアパッケージを使用したディジタル補正の説明については、http://photocritique.net/articles/converging/converging.html(2000年10月26日に訪問)に記載されている。市販のソフトウェアパッケージを使用してディジタル圧縮を行う際の欠点は多数ある。たとえば、市販のソフトウェアを使用する場合、ユーザは、そのソフトウェアを動作させることのできるコンピュータシステムを持っていなければならず、さらに写真を完全に現像した後でスキャナによりコンピュータシステムに入力してこのシステムに写真のディジタル表現を提供する必要がある。これらの器材は手が出ないほどに高価であることがある。さらに、写真を現像してコンピュータシステムに取り込んで編集(及びその後、補正された画像を保存)した後で垂直線歪みをディジタル補正しようとすることにより、ディテールが損なわれる場合がある。あるいは、ディジタルカメラならディジタル化された画像を直接提供できるが、このような画像はしばしば情報の損失のあるアルゴリズムを使って保存されているので、その後に画像操作を行うと望ましくない画像アーティファクトを生じてしまう。
【0007】
上記では、光学画像における垂直線歪みの補正に伴う課題及び制限の一部に焦点を当てて説明している。
【0008】
【課題を解決するための手段】
本発明は、光学画像における垂直線歪みをディジタル補正するシステム及び方法を含む。より具体的には、本発明は、画像縮小係数(すなわち、画像の位置に対する収束量を示す一次元または二次元の係数あるいは関数)を求め、またこれを用いて見た目の収束歪みを低減することができるディジタル撮像装置に関し、さらに、撮像される光学画像の歪みを補償することが可能なディジタルカメラに関する。
【0009】
本発明の一態様によれば、ディジタルカメラは、光学画像の歪みを補償するように構成されることが好ましい。ディジタルカメラは、光学画像を提供する光学レンズ系と、光学画像のディジタル表現を提供する画像センサと、光学画像のディジタル表現を選択的に処理して光学画像の歪みを補償するように構成されるプロセッサを含むことができる。
【0010】
本発明の別の態様によれば、ディジタルカメラのプロセッサは、第1軸に沿って、この第1軸に直交する第2軸に対して光学画像のディジタル表現に変動倍率を適用するように構成されるのが好ましい。本発明の本態様によれば、第1及び第2の各軸は、光学レンズ系によって光学画像が形成された画像センサの撮像表面により定義される面に対応する。
【0011】
本発明の別の態様によれば、ディジタルカメラは、倍率の手動制御を提供するように構成される入力装置をさらに備えることが好ましい。本発明の本態様によれば、さらに入力装置は、その周りで拡大補正が測定されて適用される軸の手動による位置決めを提供するように構成されることができる。
【0012】
本発明の別の態様によれば、ディジタルカメラは、ディジタル表現に応答して、プロセッサにより処理された光学画像を表示するディスプレイをさらに備えることが好ましい。
【0013】
本発明の別の態様によれば、カメラプロセッサが可変アスペクト比を光学画像に適用して、レンズ系により画像センサ上に形成される光学画像の線形収束歪みを補償するように構成された上述のディジタルカメラを提供することが好ましい。本発明の本態様によれば、プロセッサは、光センサの撮像表面を光学画像の少なくとも一部に対応する対象物に対して配向することによって発生する線形歪みを補償するように構成可能である。
【0014】
本発明の別の態様によれば、好ましくは光学画像のディジタル表現を記憶する記憶媒体をさらに備える上述のディジタルカメラが提供される。
【0015】
本発明の別の態様によれば、好ましくはディジタル表現に応答して、プロセッサにより処理された光学画像を表示するディスプレイをさらに備える上述のディジタルカメラが提供される。本発明の別の態様では、プロセッサが、好ましくは基線に対する線形歪み値を決定し、かつディジタル表現を(一次元または二次元的に)漸進的に拡大していくことにより見た目の線形収束を低減するように構成される上述のディジタルカメラを提供する。本発明の本態様によれば、プロセッサは、光学画像において識別される線分の縦線からのずれを識別し、これに応じて線形歪み値を決定するように構成可能である。また、本発明の本態様によれば、プロセッサは、光学画像中で識別された2本の線分の間での長さの違いを識別して、これに応じて線形歪み値を決定するように構成可能である。
【0016】
本発明の別の態様では、好ましくは撮像センサの撮像部に投影される画像のディジタル表現を提供する撮像センサを備えたディジタル撮像装置を提供する。光学レンズ系は、この撮像部に対象物の像を形成するように構成される。プロセッサは、画像空間縮小係数を識別し、この像のディジタル表現について選択された線形領域に亘って像のディジタル表現の少なくとも一部を漸進的に拡大して見た目の収束歪みを低減する。本発明の本態様によれば、当該装置は、カメラ本体に撮像センサと、光センサと、プロセッサとを搭載し、このカメラにディスプレイを実装して画像のディジタル表現の視覚表示を提供するように構成し、画像のディジタル表現を記憶するように構成される不揮発性メモリをさらに含むことができる。本発明の一態様において、プロセッサは、情報の損失のある画像圧縮技術を用いて画像のディジタル表現を圧縮し、この圧縮画像データを提供及び記憶するように構成される。
【0017】
【発明の実施の形態】
全体として、本発明は、垂直線歪みをディジタル補正する装置及び方法に関する。
【0018】
本発明の装置は、損失のある圧縮を行った後、または好ましくは損失のある圧縮を行う前に歪みを補正することが可能である。この装置は、スタンドアロン式装置、PCコンピュータソフトウェアアプリケーションとすることが可能であり、あるいはカメラ等別の装置と一体化してもよい。本明細書において、上記装置はディジタルカメラの一部として具体化されるが、本発明はディジタルカメラに制限されると考えられるべきではなく、静止画及び「動画」の両方とともに使用可能である。
【0019】
図1に示すように、被写体である建造物101等、撮像装置により撮像される被写体は、形状及び外観が略矩形である場合がある。建造物の像は、サイズが一定であるという人間の認識的知覚によっては調整されない距離効果に基づいて縦線が多少収束する可能性がある以外、人間の目には矩形に見える。
【0020】
建造物の像は光学装置により撮像可能である。当業者に理解されるように、通常、カメラ等の撮像装置により地上で像を撮像しようとするビューワは、装置の視野で建造物101の上部を捉えるために装置を上に傾ける必要がある。このように装置を傾けることにより、建造物101の歪んだ画像102が装置の撮像表面に形成される。
【0021】
建造物101の歪んだ画像102は、先へ行くに連れて縦方向及び多少なり横方向にだんだんと縮小する、すなわち収束する四辺の台形状の外観を持つことを特徴とする。この歪みは、多くの場合「垂直線歪み(converging verticals)」と呼ばれる。本明細書で使用される「垂直線歪み」は、平行線が平行に見えない現象を示すためのものである。通常、このような線は収束するように見えるが、ある状況では広がるように見える場合もある。
【0022】
当業者なら理解できるように、この光学的現象は、2つの視覚的または光学的効果を併せたものである。第1の効果は、光学素子(カメラのフィルム面またはディジタルカメラのCCD画像センサ等)の撮像表面が、この撮像表面に投影される対象の物体の面と平行でないことによって発生し、これにより撮像表面の傾きと比例して像が収束して見えてしまう。
【0023】
第2の効果は、撮像の際にレンズを使用することによる。たとえば、人間の目はレンズを使用して画像に焦点を合わせる。高層の建造物等の大きな物体の歪みは、自然な消失点の一部である。たとえば、観察者にとって、鉄道線路は、地平線上で収束するように見える。このような収束は像の歪みではなく、その物体が近づくほど観察者にとって大きく見える一方、遠くにあるほど小さく見えることを表しているにすぎない。同様のことがカメラ、双眼鏡、望遠鏡及びレンズを用いて画像に焦点を合わせる同様の装置にもいえる。しかしながら、この効果は、「垂直線歪み」の現象に寄与するように考えられる。パルテノンの円柱の一部(特に、端部の円柱)は、人間の目の「垂直線歪み」の作用により遠くから見たときに建造物が崩壊しているように見えないように意図的に傾斜させたといわれている。
【0024】
歪んだ画像102は垂直線歪みの歪み効果を有し、これが、補正された画像103を生成するように本明細書に記載される本発明の装置及び方法を使用することによって補償される。
【0025】
図2に示すように、「垂直線歪み」現象により生じる横及び縦方向の縮小歪みを補正する方法は2通りある。図2の被写体の建造物201は、図1の建造物101よりはるかに高層であり、撮像装置は図1に比べて建造物の基部にずっと近い。このため、被写体の建造物201の面に対する撮像表面の面の傾斜は非常に顕著であり、その結果、非常に歪んだ画像202が得られる。
【0026】
非常に歪んだ画像202は、急激に収束する縦線及び高さが見た目に劇的に縮小していることを特徴とする。画像202は、本明細書において「H」で表される高さ207と、長さL1の基準幅である基部幅203と、L2の長さの縮小された頂部幅204とを有する。また、画像202はまた、それぞれ長さが「X」の第1及び第2の収束する縦方向の直線205、206を有する。
【0027】
歪みを補正する第1の方法では、まず縦方向または高さ方向の補正を行って縦方向に拡大された中間画像208を得る。ここで縦方向の倍率は以下の数式により決定される。
倍率=(X/H)×(L1/L2−1)+1
【0028】
縦方向の拡大後、中間画像208は、L1=L2となるまで長さL2すなわち頂部幅を(また、中間の各点ではその位置に応じて倍率を漸減的かつ比例的に変えて)拡大することによって横方向に拡大され、補正画像220が得られる。
【0029】
第2の方法では、まず横方向の拡大が行われる。画像202は、L2がL1と等しくなるまで、各点の倍率を比例的かつ漸増的に変えながら拡大される。ここではL1を拡大の基準(等倍)領域として使用して横方向に拡大された中間画像209が得られる。横方向に拡張された中間画像209は、次に基部から頂部まで倍率を漸増的かつ比例的に変えながら縦方向に拡大される。このとき各点の縦方向の倍率値は先の横方向の倍率と同じにする。かくして補正画像220が得られる。
【0030】
図3は、ディジタルカメラ300で実施可能な本発明に係る垂直線歪みを補正する装置を示す。ディジタルカメラ300はカメラバック301を有する。カメラバック301には光学ビューファインダ302が設けられ、ユーザはこれを用いて撮像対象の物体の画像をプレビューする。また、カメラバック301にはLCDパネル303も設けられる。本実施形態ではLCDディスプレイを使用するが、本発明にしたがって任意の視覚ディスプレイが使用可能であることは当業者に理解されよう。現在好適な実施形態において、LCDディスプレイは、特願2002−010512号に記載されている操作可能なディスプレイである。カメラバック301に設けたLCDパネル303にはコマンドキー304が関連付けられ、ユーザはこれを用いて本明細書に記載される画像補正のコマンドを入力することができる。
【0031】
図3に示すように、被写体の歪んだ画像305が表示される。また、ディスプレイ303は、拡大方向を示す表示アイコン306と、縦中央軸アイコン307と、拡大三角アイコン308もユーザに提示する。拡大三角アイコン308は、上に向かって大きくなるように設定される漸増的拡大を示す。縦中央軸アイコン307は、画像セグメント(すなわち画素)がこれらセグメントを縦中央軸から外側に移動することによって拡大される拡大の中心を表している。縦中央軸アイコン307は横方向の拡大であることあるいはそこが画像拡大の対称の中心になっていることを表す向きになっているように図示されるが、この軸を他の方向及び位置にして別の方向の歪みを補償してもよい。
【0032】
LCDパネル303は、カメラが傾いておらず水平に保たれているかどうかをユーザが判定できるように、錘線表示309も表示することができる。錘線表示309は、水平面に対する傾き、すなわち前後左右の傾き、に対して応答する。
【0033】
ディジタルカメラ300におけるLCDディスプレイ303の用途の1つは、図4A〜図4Dに示す画像の歪みを補正することである。図4Aは、歪んだ画像305及び拡大方向表示子306ならびに縦中央軸アイコン307及び三角アイコン308を設けたLCDディスプレイ303を示す。LCDディスプレイ303はまた拡大比401も表示している。ここでは、歪んだ画像305についての拡大比は1:1に設定されている。拡大比401は、画像305あるいは三角アイコン308の領域の上下の間の比を表している。図4Bは、横方向の拡大を行って垂直線歪みを適切な方向に配置した後の結像した被写体305を示す。図4Bに示すように、三角アイコン308は、水平方向への画像拡大に比例して拡大している。拡大指示子401bは、横方向の補正後の拡大比を示す。図4Cに示すように、ここにおいてLCDパネル303は、勾配付きのグレイスケールにより縦方向での画像の相対的な縮小率を表示できる陰付きボックス410を表示する(ここでは簡略化のため、勾配付きのグレイスケールは図中に示していない)。拡大指示アイコン306cは、どの方向に画像を拡張するかをユーザに知らせる。図4Dに示すように、画像の拡大により、画像がディスプレイの上端からはみ出てしまう場合があるが、グレイスケールが均一になっているとき、補正済みの画像が実現されている。ユーザは次に、建造物の頂部を含む、ユーザが関心を寄せる画像の部分をスクロールして取り込むことができる。あるいは、画像をリサイズしてLCDパネル303の閲覧可能画像領域の範囲に入るようにしてもよい。
【0034】
垂直線歪みを補正する代替方法を図5A〜図5Cに示す。図5Aに示すように、LCDパネル303は歪んだ画像305を表示している。本発明のこの実施形態によれば、縦中央軸503がユーザにより生成または選択される。また、底部垂直点504が識別または選択される。同様に、頂部垂直点505が識別または選択される。上記2点により本システムは三角の陰影領域506を生成し、これを用いて、画像の補正に必要な漸進的拡大を計算する。図5Aに示すように、垂直線503から底部垂直点504までの距離には1:1の比が割り当てられる。縦歪みの補正に必要とされるところの、縦軸503から点505を移動するための比が計算される。本例ではこの比は1:8である。図5Bに示すように、この情報を使用して歪んだ画素密度508を表示することができる。画像を補正するためには、この画素密度を均一にする必要がある。始点507は画素密度のベースラインである。図5Cに示すように、画素密度により示されるように画像を移動した結果、均一な画素シェーディング508bが得られ(ここでは具体的なシェーディングは図面上で省略されている)、補正済みの画像510が得られる。
【0035】
図6に示すように、その動作に当たって、撮像される被写体601からの光は撮像装置のレンズ系602を経由し、歪んだ画像603を撮像表面604上に形成する。歪んだ画像603はプロセッサ605に送られて補正される。本実施形態において、撮像装置は、ユーザがカメラの傾きを識別して場合によっては予め補正することが可能な垂直傾きセンサ606を含む。あるいは、プロセッサ605は、カメラの傾き及び被写体601への距離に応答してこのような歪みを自動的に補正するようにしてもよい。本特徴によれば、被写体への距離はカメラレンズフォーカシング系により得られる。
【0036】
画像603は、ユーザがディスプレイ607上で見ることができる。ユーザは、入力608を用いて画像603の歪みを補正することができる。補正された画像は、パーソナルコンピュータ等の出力609に送られる。あるいは、補正画像は、たとえばJPEG等情報の損失のある圧縮アルゴリズムを用いて圧縮され、好ましくは装置自体に内蔵される不揮発性記憶装置である記憶装置610に送られる。
【0037】
以上により、本発明の変更及び変形は当業者にとって明らかとなるはずである。これらの変更及び変形は、本明細書の冒頭に記載した特許請求の範囲により定義される発明の範囲及び精神に包含されるものとする。
【0038】
本発明及びその利点を詳細に説明してきたが、本明細書の冒頭に記載した特許請求の範囲により定義される発明の精神及び範囲から逸脱することなく各種の変更、代用及び変形を行ってもよいことは自明である。さらに、本願の範囲は本明細書に記載される製法、機械、製造、物質の組成、手段、方法及び工程の特定の実施形態に制限されることを意図するものではない。本発明の開示から、本明細書に記載される対応する実施形態と略同一の機能を果たし、または略同一の結果を実現する現在既存のまたは将来開発される製法、機械、製造、物質の組成、手段、方法または工程は、当業者により本発明にしたがって利用可能であろう。したがって、本明細の冒頭に記載の特許請求の範囲は、かかる製法、機械、製造、物質の組成、手段、方法または工程をその範囲に包含することを意図するものである。
【0039】
以下に本発明の実施態様の例を列挙する。
【0040】
〔実施態様1〕ディジタルカメラ(300)であって、捕獲されるべき光学画像(601)のディジタル表現(603)を提供する画像センサ(604)と、前記光学画像の前記ディジタル表現を選択的に処理して、前記光学画像の線形収束歪み(102)を補償するように構成されるプロセッサ(605)と、
を備えるディジタルカメラ。
【0041】
〔実施態様2〕前記プロセッサ(605)は、第1軸に沿って前記第1軸に直交する第2軸に対して前記光学画像(601)の前記ディジタル表現(603)に変動倍率を適用するように構成されることを特徴とする実施態様1記載のディジタルカメラ。
【0042】
〔実施態様3〕前記第1軸及び前記第2軸は、前記光学画像が形成された前記画像センサ(604)の撮像表面により定義される面に対応することを特徴とする実施態様2記載のディジタルカメラ。
【0043】
〔実施態様4〕前記倍率の手動制御を提供するように構成される入力デバイス(608)を備えることを特徴とする実施態様2記載のディジタルカメラ。
【0044】
〔実施態様5〕前記入力デバイス(608)は前記第1軸及び前記第2軸の手動による位置決めを提供するように構成されることを特徴とする実施態様4記載のディジタルカメラ。
【0045】
〔実施態様6〕前記プロセッサ(605)による処理の前後に前記光学画像を表示するディスプレイ(607)を備えることを特徴とする実施態様4記載のディジタルカメラ。
【0046】
〔実施態様7〕前記プロセッサ(605)は、可変アスペクト比を前記光学画像(603)に適用して、前記画像センサ(604)上に形成される前記光学画像の前記線形収束歪み(102)を補償するように構成されることを特徴とする実施態様1記載のディジタルカメラ。
【0047】
〔実施態様8〕前記線形収束歪みは、前記光学センサ(604)の撮像表面を前記光学画像の少なくとも一部に対応する被写体に対して配向することによって発生することを特徴とする実施態様7記載のディジタルカメラ。
【0048】
〔実施態様9〕前記プロセッサ(605)は、
基線に対する線形歪み値を決定し、
前記ディジタル表現を二次元で漸進的に拡大して見た目の線形収束を低減するように構成される
ことを特徴とする実施態様1記載のディジタルカメラ。
【0049】
〔実施態様10〕前記プロセッサ(605)は、前記光学画像において識別される線分の縦線からのずれを識別し、これに応じて線形歪み値を決定するように構成されることを特徴とする実施態様9記載のディジタルカメラ。
【図面の簡単な説明】
【図1】被写体である建造物、縦収束歪みを呈する建造物の画像及びディジタル補正された画像を示す図である。
【図2】ディジタルカメラのCCD上に形成される被写体である建造物及びその歪んだ画像と、2つの代替の補正経路を示す図である。
【図3】構築された画像及びユーザが本発明に従って歪みを補償できるようにする支援手段を表示するLCDディスプレイを有するディジタルカメラの平面図である。
【図4A】歪み補償の過程を示す図である。
【図4B】歪み補償の過程を示す図である。
【図4C】歪み補償の過程を示す図である。
【図4D】歪み補償の過程を示す図である。
【図5A】歪み補償の過程を示す図である。
【図5B】歪み補償の過程を示す図である。
【図5C】歪み補償の過程を示す図である。
【図6】垂直線歪みを選択的に検出して補償する本発明による装置のブロック図である。
【符号の説明】
101:被写体である建造物
102:歪んだ画像
103:補正された画像
300:ディジタルカメラ
601:被写体
602:レンズ系
603:歪んだ画像
604:撮像表面
605:プロセッサ
607:ディスプレイ
608:入力
609:出力
610:記憶装置

Claims (6)

  1. 捕獲されるべき光学画像のディジタル表現を提供する画像センサと、
    前記光学画像の前記ディジタル表現を選択的に処理して、前記光学画像の線形収束歪みを補償するように構成されるプロセッサと
    を備え
    前記プロセッサは、前記光学画像において識別される垂直方向に延びる線分からのずれを識別し、これに応じて線形歪み値を決定し、該線形歪み値に基づいて、前記ディジタル表現を二次元で漸進的に拡大して見た目の線形収束を低減するように構成され
    前記光学画像の横方向に延びる基準基部幅と頂部幅との長さをそれぞれL1とL2とし、前記基準基部幅から前記頂部幅までの高さをHとし、前記基準基部幅の端部と前記頂部幅の対応する端部とを結ぶ線分の長さをXとしたときの、倍率=(X/H)×(L1/L2−1)+1の関係式を用いて前記倍率を算出し、該算出した倍率で前記光学画像を縦方向に拡大した中間画像を生成し、該中間画像における前記頂部幅の長さが前記基準基部幅の長さと等しくなるまで、該基準基部幅の長さを固定した状態で、前記中間画像を横方向に拡大する、ディジタルカメラ。
  2. 前記プロセッサは、第1軸に沿って前記第1軸に直交する第2軸に対して前記光学画像の前記ディジタル表現に変動倍率を適用するように構成されることを特徴とする請求項1記載のディジタルカメラ。
  3. 前記第1軸及び前記第2軸は、前記光学画像が形成された前記画像センサの撮像表面により定義される面に対応することを特徴とする請求項2記載のディジタルカメラ。
  4. 前記倍率の手動制御を提供するように構成される入力デバイスを備えることを特徴とする請求項2記載のディジタルカメラ。
  5. 前記入力デバイスは前記第1軸及び前記第2軸の手動による位置決めを提供するように構成されることを特徴とする請求項4記載のディジタルカメラ。
  6. 前記プロセッサによる処理の前後に前記光学画像を表示するディスプレイを備えることを特徴とする請求項4記載のディジタルカメラ。
JP2002052982A 2001-02-28 2002-02-28 デジタル画像のパースペクティブ歪みを除去するディジタルカメラ Expired - Fee Related JP4233797B2 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US795598 2001-02-28
US09/795,598 US6963365B2 (en) 2001-02-28 2001-02-28 System and method for removal of digital image vertical distortion

Publications (3)

Publication Number Publication Date
JP2002335438A JP2002335438A (ja) 2002-11-22
JP2002335438A5 JP2002335438A5 (ja) 2005-09-02
JP4233797B2 true JP4233797B2 (ja) 2009-03-04

Family

ID=25165952

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2002052982A Expired - Fee Related JP4233797B2 (ja) 2001-02-28 2002-02-28 デジタル画像のパースペクティブ歪みを除去するディジタルカメラ

Country Status (2)

Country Link
US (1) US6963365B2 (ja)
JP (1) JP4233797B2 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7359170B2 (ja) 2021-02-05 2023-10-11 豊田合成株式会社 送風機能付き収納装置

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4028306B2 (ja) * 2002-06-26 2007-12-26 富士フイルム株式会社 デジタル撮像装置
JP4144292B2 (ja) 2002-08-20 2008-09-03 ソニー株式会社 画像処理装置と画像処理システム及び画像処理方法
JP3852934B2 (ja) * 2003-05-20 2006-12-06 株式会社バンダイナムコゲームス 画像処理システム、プログラム及び情報記憶媒体
JP4353358B2 (ja) * 2003-06-04 2009-10-28 株式会社ジオ技術研究所 データ生成装置、データ生成方法、および、コンピュータプログラム
JP4363151B2 (ja) * 2003-10-14 2009-11-11 カシオ計算機株式会社 撮影装置、その画像処理方法及びプログラム
JP2005244440A (ja) * 2004-02-25 2005-09-08 Matsushita Electric Ind Co Ltd 撮像装置、撮像方法
JP4337614B2 (ja) * 2004-04-26 2009-09-30 カシオ計算機株式会社 電子カメラおよびプログラム
US7990412B2 (en) 2004-11-01 2011-08-02 Hewlett-Packard Development Company, L.P. Systems and methods for correcting image perspective
JP4529837B2 (ja) * 2005-08-04 2010-08-25 カシオ計算機株式会社 撮像装置、画像補正方法及びプログラム
JP3845446B1 (ja) 2005-08-11 2006-11-15 稔 稲葉 ディジタルカメラ
EP1768387B1 (en) * 2005-09-22 2014-11-05 Samsung Electronics Co., Ltd. Image capturing apparatus with image compensation and method therefor
JP4344888B2 (ja) * 2005-12-09 2009-10-14 株式会社カシオ日立モバイルコミュニケーションズ 撮像装置、撮像画像処理方法及びプログラム
JP4632971B2 (ja) * 2006-03-03 2011-02-16 Necカシオモバイルコミュニケーションズ株式会社 撮像機能を有する端末、および、プログラム
JP4631760B2 (ja) * 2006-03-17 2011-02-16 カシオ計算機株式会社 デジタルカメラ、画像処理方法及びプログラム
JP4662874B2 (ja) * 2006-03-27 2011-03-30 Necカシオモバイルコミュニケーションズ株式会社 画像処理装置、及びプログラム
JP4743007B2 (ja) * 2006-06-16 2011-08-10 ソニー株式会社 画像処理装置および画像処理方法、記録媒体、並びに、プログラム
JP4677372B2 (ja) * 2006-06-20 2011-04-27 稔 稲葉 ディジタルカメラ
JP4470930B2 (ja) * 2006-09-21 2010-06-02 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
DE202006014883U1 (de) * 2006-09-26 2008-02-07 Corimage Ag Aufnahmesystem, Kamera und Winkelsensor für eine Kamera
US8233045B2 (en) * 2007-07-16 2012-07-31 Trw Automotive U.S. Llc Method and apparatus for distortion correction and image enhancing of a vehicle rear viewing system
US7391442B1 (en) 2007-11-01 2008-06-24 International Business Machines Corporation Digital camera including a distortion correction system
JP4528867B1 (ja) * 2009-05-15 2010-08-25 株式会社東芝 画像処理装置、画像処理方法及び表示装置
JP5253300B2 (ja) * 2009-06-03 2013-07-31 キヤノン株式会社 表示制御装置、表示装置の制御方法、プログラム、記憶媒体
JP4856263B2 (ja) * 2009-08-07 2012-01-18 シャープ株式会社 撮像画像処理システム、画像出力方法、プログラムおよび記録媒体
JP5136671B2 (ja) * 2010-05-13 2013-02-06 株式会社デンソー 地図表示装置
US20120188329A1 (en) * 2011-01-26 2012-07-26 Kevin Archer Systems for vertical perspective correction
JP2014095624A (ja) * 2012-11-09 2014-05-22 Casio Comput Co Ltd 測定装置及び測定方法並びにプログラム
WO2015001296A1 (en) 2013-07-04 2015-01-08 Sony Europe Limited A method, apparatus and system for image processing
GB2515797A (en) * 2013-07-04 2015-01-07 Sony Corp A method, apparatus and system for image processing
US9183620B2 (en) * 2013-11-21 2015-11-10 International Business Machines Corporation Automated tilt and shift optimization
JP2016034091A (ja) * 2014-07-31 2016-03-10 セイコーエプソン株式会社 表示装置、表示装置の制御方法、および、プログラム
JP6320251B2 (ja) * 2014-09-09 2018-05-09 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
JP6518069B2 (ja) * 2015-01-09 2019-05-22 キヤノン株式会社 表示装置、撮像システム、表示装置の制御方法、プログラム、及び記録媒体
US10275863B2 (en) * 2015-04-03 2019-04-30 Cognex Corporation Homography rectification
JP6316330B2 (ja) * 2015-04-03 2018-04-25 コグネックス・コーポレーション ホモグラフィの修正
JP6644641B2 (ja) * 2016-05-31 2020-02-12 オリンパス株式会社 撮像装置、制御方法、及びプログラム
US10721419B2 (en) 2017-11-30 2020-07-21 International Business Machines Corporation Ortho-selfie distortion correction using multiple image sensors to synthesize a virtual image
JP6506440B2 (ja) * 2018-04-03 2019-04-24 オリンパス株式会社 撮像装置、撮像方法、およびプログラム
KR20230134432A (ko) * 2022-03-14 2023-09-21 캐논 가부시끼가이샤 촬상 장치, 제어 방법 및 컴퓨터 프로그램

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5561723A (en) * 1992-03-09 1996-10-01 Tektronix, Inc. Localized image compression calculation method and apparatus to control anti-aliasing filtering in 3-D manipulation of 2-D video images
US6449004B1 (en) * 1996-04-23 2002-09-10 Minolta Co., Ltd. Electronic camera with oblique view correction
US6108032A (en) * 1996-11-05 2000-08-22 Lockheed Martin Fairchild Systems System and method for image motion compensation of a CCD image sensor
US6825875B1 (en) * 1999-01-05 2004-11-30 Interval Research Corporation Hybrid recording unit including portable video recorder and auxillary device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7359170B2 (ja) 2021-02-05 2023-10-11 豊田合成株式会社 送風機能付き収納装置

Also Published As

Publication number Publication date
JP2002335438A (ja) 2002-11-22
US6963365B2 (en) 2005-11-08
US20020118292A1 (en) 2002-08-29

Similar Documents

Publication Publication Date Title
JP4233797B2 (ja) デジタル画像のパースペクティブ歪みを除去するディジタルカメラ
US6677981B1 (en) Motion play-back of still pictures comprising a panoramic view for simulating perspective
US6456323B1 (en) Color correction estimation for panoramic digital camera
US6885392B1 (en) Perspective correction for preview area of panoramic digital camera
JP5389697B2 (ja) 高品質な合成パノラマ画像のイン・カメラ生成
US7239331B2 (en) Method and apparatus for correction of perspective distortion
JP5969992B2 (ja) 携帯型装置でのステレオスコピック(3d)のパノラマ生成
US6717608B1 (en) Motion estimation for panoramic digital camera
US6771304B1 (en) Perspective correction device for panoramic digital camera
JP4832878B2 (ja) 画像合成処理装置及び方法
JP4388367B2 (ja) 電子画像の傾きを修正する方法及び画像処理システム、画像取り込みシステム、並びに、カメラ
US6618511B1 (en) Perspective correction for panoramic digital camera with remote processing
US7292261B1 (en) Virtual reality camera
JP5596972B2 (ja) 撮像装置の制御装置および制御方法
US20080101713A1 (en) System and method of fisheye image planar projection
JP2008533501A (ja) コンピュータ実施によるプロジェクタの姿勢を調整する方法、及び、プロジェクタの姿勢を調整する装置
JP2000196939A (ja) 歪曲収差及び面方向色収差のない画像形成装置及びその方法
JP6529533B2 (ja) 撮像装置、撮像装置の制御方法、及び、プログラム
WO1997025690A1 (en) Increased depth of field for photography
JP3913604B2 (ja) 証明写真の作成方法
JP2006285482A (ja) 映像ジオメトリ補正装置
JP3493886B2 (ja) デジタルカメラ
JP4867136B2 (ja) 撮影装置及びそのプログラム
JPH04326264A (ja) ビデオ系カメラの出力システム
JP3743404B2 (ja) 画像処理方法、画像処理プログラム、および画像処理プログラムを記録した記録媒体

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A821

Effective date: 20041104

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20041104

RD04 Notification of resignation of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7424

Effective date: 20041208

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050225

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20050225

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20070725

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20070803

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20071102

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20080418

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080813

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20080828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20081121

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20081210

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20111219

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R360 Written notification for declining of transfer of rights

Free format text: JAPANESE INTERMEDIATE CODE: R360

R371 Transfer withdrawn

Free format text: JAPANESE INTERMEDIATE CODE: R371

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

S111 Request for change of ownership or part of ownership

Free format text: JAPANESE INTERMEDIATE CODE: R313113

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

R350 Written notification of registration of transfer

Free format text: JAPANESE INTERMEDIATE CODE: R350

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20121219

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20131219

Year of fee payment: 5

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees