JP3957156B2

JP3957156B2 - Image correction method, apparatus, and program

Info

Publication number: JP3957156B2
Application number: JP2002079348A
Authority: JP
Inventors: 章依田
Original assignee: Fujifilm Corp
Current assignee: Fujifilm Corp
Priority date: 2002-03-20
Filing date: 2002-03-20
Publication date: 2007-08-15
Anticipated expiration: 2022-03-20
Also published as: JP2003283819A

Description

【０００１】
【発明の属する技術分野】
本発明は、カメラ付き携帯端末装置において取得された画像データの幾何学的な歪みを補正する画像補正方法および装置並びに画像補正方法をコンピュータに実行させるためのプログラムに関するものである。
【０００２】
【従来の技術】
携帯電話の普及には目覚ましいものがあるが、近年、撮影により画像データを取得する電子スチルカメラ（以下カメラとする）を有するカメラ付き携帯電話等のカメラ付き携帯端末装置が普及しつつある（例えば特開平６−２３３０２０号公報、特開２０００−２５３２９０号公報等）。また、ＰＤＡ等の携帯端末装置においてカメラを内蔵させたカメラ付き携帯端末装置も提案されている（特開平８−１４００７２号公報、同９−６５２６８号公報）。
【０００３】
このようなカメラ付きの携帯端末装置を用いることにより、撮影により取得した自分の好みの画像データを携帯端末装置の液晶モニタにおいて待ち受け画面に設定できる。また、撮影により取得した画像データを電子メールに添付して友人に送信することができるため、約束をキャンセルせざるを得ないような状況になったとき、あるいは待ち合わせ時刻に遅刻しそうなときに、申し訳なさそうな自分の表情を撮影して友人に送信する等、現在の自分の状況を友人に知らせることができることから、友人とのコミュニケーションを図るのに便利である。
【０００４】
しかしながら、このような携帯端末装置に設けられるカメラは、サイズの制約からズーム機能を備えたり望遠レンズを備えたものとすることは困難である。また、カメラ自体が携帯端末装置に埋め込まれて構成されていることから、レンズの交換も困難である。
【０００５】
このため、携帯端末装置に設けるカメラのレンズを広角レンズとすることが現実的である。さらに、魚眼レンズのように超広角レンズを用いることにより、１ショットで撮影地点を基準とした半球状の広範囲を撮影することが可能となる。
【０００６】
【発明が解決しようとする課題】
ところで、カメラ付き携帯端末装置に設けられている液晶モニタは画面サイズが制限されているため、とくにカメラを構成する撮像デバイスの画素数が液晶モニタの画素数よりも大きい場合においては、画像を縮小して表示する必要がある。しかしながら、風景画像等を撮影した場合、画像を縮小すると画像中に何が写っているのかよく分からないことが多い。さらに、広角レンズを用いたカメラにより得られる画像は、その周辺部において幾何学的な歪みが大きいため、例えば特開平５−９１４０９号公報に記載されているような画像の幾何学的歪みを補正する装置を用いて、歪みを補正してから画像を表示する必要がある。その一方で、カメラの高画素化が進み、画像データの容量が大きくなっていることから、画像の全領域に対して歪みを補正する処理を施すことは、演算に長時間を要するものとなる。さらに、携帯端末装置においては、画像データをサーバ等に送信することが多いため、通信費用の観点から画像データの容量は小さいことが好ましい。
【０００７】
本発明は上記事情に鑑みなされたものであり、画像の幾何学的歪みを効率よく補正して効率よく画像データの送信を行うことを目的とする。
【０００８】
【課題を解決するための手段】
本発明による第１の画像補正方法は、カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正方法であって、
前記カメラ付き携帯端末装置において前記画像上に指定された領域を表す領域情報および前記画像データを取得し、
前記領域情報に基づいて、該画像データから前記指定された領域に対応する領域画像データを生成し、
前記カメラの歪み特性を表す歪み特性情報に基づいて、前記領域画像データを幾何学的に補正して補正領域画像データを生成し、
該補正領域画像データを前記カメラ付き携帯端末装置に送信することを特徴とするものである。
【０００９】
画像上においての領域の指定はカメラ付き携帯端末装置において行われるが、所望とする領域の範囲を指定することにより行ってもよく、画像上のある一点を指定することにより行ってもよい。前者の場合、領域情報は画像上における指定された領域を特定するための座標値（例えば領域が矩形なら四隅の座標値）が用いられる。後者の場合、カメラ付き携帯端末装置において、指定された一点を含む所定範囲の領域が設定され、設定された領域を特定するための座標値（例えば領域が矩形なら四隅の座標値）が領域情報として用いられる。また、指定された領域を囲むように別の領域を設定し、設定された別の領域を特定するための座標値を領域情報として用いてもよい。
【００１０】
「カメラの歪み特性を表す歪み特性情報」とは、カメラに用いられている撮影レンズを透過した透過像上における各点の座標とカメラに設けられたＣＣＤ等の撮像デバイスを構成する各光電変換素子の位置を表す座標との対応関係を表す情報である。具体的には、カメラに使用されている撮影レンズが魚眼レンズである場合、歪み特性情報は魚眼レンズを透過した透過像上における極座標と、撮像デバイス上の光電変換素子の位置座標との関係を表す情報となる。
【００１１】
ここで、歪み特性情報は、カメラ付き携帯端末装置の機種によって異なるものである。したがって、カメラ付き携帯端末装置の機種毎に複数の歪み特性情報を用意しておき、画像データを取得したカメラ付き携帯端末装置の機種に応じた歪み特性情報に基づいて、領域画像データを補正することが好ましい。
【００１２】
なお、本発明による第１の画像補正方法においては、さらに、前記領域情報により表される領域とは異なる他の領域を表す他の領域情報を取得し、
該他の領域情報に基づいて、前記画像データから該他の領域に対応する他の領域画像データを生成し、
前記カメラの歪み特性を表す歪み特性情報に基づいて、前記他の領域画像データを幾何学的に補正して他の補正領域画像データを生成し、
該他の補正領域画像データを前記カメラ付き携帯端末装置に送信するようにしてもよい。
【００１３】
本発明による第２の画像補正方法は、カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正方法であって、
前記カメラ付き携帯端末装置において生成された、前記画像上に指定された領域に対応する領域画像データを取得し、
前記カメラの歪み特性を表す歪み特性情報に基づいて、前記領域画像データを幾何学的に補正して補正領域画像データを生成し、
該補正領域画像データを前記カメラ付き携帯端末装置に送信することを特徴とするものである。
【００１４】
本発明による第１の画像補正装置は、カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正装置であって、
前記カメラ付き携帯端末装置において前記画像上に指定された領域を表す領域情報および前記画像データを取得する取得手段と、
前記領域情報に基づいて、該画像データから前記指定された領域に対応する領域画像データを生成する領域画像生成手段と、
前記カメラの歪み特性を表す歪み特性情報に基づいて、前記領域画像データを幾何学的に補正して補正領域画像データを生成する画像補正手段と、
該補正領域画像データを前記カメラ付き携帯端末装置に送信する送信手段とを備えたことを特徴とするものである。
【００１５】
なお、本発明による第１の画像補正装置においては、前記取得手段は、さらに、前記領域情報により表される領域とは異なる他の領域を表す他の領域情報を取得する手段であり、
前記領域画像生成手段は、前記他の領域情報に基づいて、前記画像データから該他の領域に対応する他の領域画像データを生成する手段であり、
前記画像補正手段は、前記カメラの歪み特性を表す歪み特性情報に基づいて、前記他の領域画像データを幾何学的に補正して他の補正領域画像データを生成する手段であり、
前記送信手段は、該他の補正領域画像データを前記カメラ付き携帯端末装置に送信する手段であることを特徴とするものである。
【００１６】
本発明による第２の画像補正装置は、カメラ付き携帯端末装置において取得された画像データにより表される画像の幾何学的歪みを補正する画像補正装置であって、
前記カメラ付き携帯端末装置において生成された、前記画像上に指定された領域に対応する領域画像データを取得する取得手段と、
前記カメラの歪み特性を表す歪み特性情報に基づいて、前記領域画像データを幾何学的に補正して補正領域画像データを生成する画像補正手段と、
該補正領域画像データを前記カメラ付き携帯端末装置に送信する送信手段とを備えたことを特徴とするものである。
【００１７】
なお、本発明による第１および第２の画像補正方法をコンピュータに実行させるためのプログラムとして提供してもよい。
【００１８】
【発明の効果】
本発明による第１の画像補正方法および装置によれば、まず、カメラ付き携帯端末装置において撮像により画像データが取得され、この画像データにより表される画像上に領域が指定され、さらに指定された領域を表す領域情報が生成される。そして、このようにして生成された領域情報が画像データとともに本発明による第１の画像補正方法および装置において取得される。次いで、領域情報に基づいて画像データから領域画像データが生成され、さらに、カメラの歪み特性を表す歪み特性情報に基づいて、領域画像データが幾何学的に補正されて補正領域画像データが生成される。そして、補正領域画像データがカメラ付き携帯端末装置に送信され、カメラ付き携帯端末装置において補正領域画像データが表示される。
【００１９】
このように、本発明による第１の画像補正方法および装置においては、カメラ付き携帯端末装置に設けられたカメラの歪み特性情報に基づいて、領域画像データを幾何学的に補正し、補正により生成された補正領域画像データをカメラ付き携帯端末装置に送信するようにしたため、カメラ付き携帯端末装置においては、幾何学的歪みが補正された画像を表示することができる。また、指定された領域の画像のみがカメラ付き携帯端末装置において表示されるため、画像全体を縮小して表示する場合よりも鮮明な画像をカメラ付き携帯端末装置において表示することができる。
【００２０】
さらに、カメラ付き携帯端末装置においては、画像データの一部の領域のみを補正した補正領域画像データを受信すればよいため、画像データの全体を補正した画像データを受信する場合と比較して通信コストを低減することができる。とくに携帯端末装置の料金体系は、送受信したデータ容量に応じて料金が加算されるパケット制であるため、データ容量の低減による通信コスト低減の効果は非常に大きい。
【００２１】
なお、一旦補正領域画像データを生成した後に、カメラ付き携帯端末装置において表示したい領域が変更された場合には、変更された他の領域を表す他の領域情報のみを取得し、この他の領域情報に基づいて他の補正領域画像データを生成してカメラ付き携帯端末装置に送信することにより、カメラ付き携帯端末装置からは再度の画像データの送信を行う必要がなくなるため、さらに通信コストを低減することができる。
【００２２】
また、本発明による第２の画像補正方法および装置によれば、まず、カメラ付き携帯端末装置において撮像により画像データが取得され、この画像データにより表される画像上に領域が指定されると、カメラ付き携帯端末装置において、指定された領域に対応する領域画像データが生成される。そして、このようにして生成された領域画像データが、本発明による第２の画像補正方法および装置により取得される。次いで、カメラの歪み特性を表す歪み特性情報に基づいて、領域画像データが幾何学的に補正されて補正領域画像データが生成され、補正領域画像データがカメラ付き携帯端末装置に送信され、カメラ付き携帯端末装置において補正領域画像データが表示される。
【００２３】
このように、本発明による第２の画像補正方法および装置においては、カメラ付き携帯端末装置に設けられたカメラの歪み特性情報に基づいて、カメラ付き携帯端末装置において生成された領域画像データを幾何学的に補正して補正領域画像データを生成し、これをカメラ付き携帯端末装置に送信するようにしたため、カメラ付き携帯端末装置においては、幾何学的歪みが補正された画像を表示することができる。また、指定された領域の画像のみがカメラ付き携帯端末装置において表示されるため、画像全体を表示するよりも鮮明な画像をカメラ付き携帯端末装置において表示することができる。
【００２４】
また、カメラ付き携帯端末装置においては、画像データにより表される画像の一部の領域のみを表す領域画像データの送信および補正領域画像データの受信を行えばよいため、画像データを送信し、画像データを補正することにより得られる補正画像データを受信する場合と比較して通信コストを低減することができる。とくに携帯端末装置の料金体系は、送受信したデータ容量に応じて料金が加算されるパケット制であるため、データ容量の低減による通信コスト低減の効果は非常に大きい。
【００２５】
【発明の実施の形態】
以下図面を参照して本発明の実施形態について説明する。図１は本発明の第１の実施形態による画像補正装置を適用した画像送信システムの構成を示す概略ブロック図である。図１に示すように、本発明の第１の実施形態による画像送信システムは、カメラ付き携帯電話１と、本実施形態による画像補正装置を備えた画像サーバ２との間において、公衆回線３を介してデータのやり取りを行うものである。
【００２６】
カメラ付き携帯電話１は、撮像により被写体を表す画像データＳ０を取得する撮像部１１と、画像や種々の情報を表示する液晶モニタ等からなる表示部１２と、十字キーを含む複数の入力キーからなるキー入力部１３と、公衆回線３を介して通話、メールの送受信およびデータの送受信を行う通信部１４と、撮像部１１において取得された画像データＳ０をメモリカード等に記憶する記憶部１５と、表示部１２に表示された画像上において指定された領域を表す領域情報Ｒ０を生成する領域情報生成部１６とを備える。
【００２７】
撮像部１１は、撮影レンズ、シャッタ、撮像デバイス等からなるカメラ１１Ａと、撮像により取得された撮像画像データに対して画像処理を施して画像データＳ０を得る画像処理部１１Ｂとを備える。なお、撮影レンズは３５ｍｍカメラ換算でｆ≦２８ｍｍの広角レンズが使用されるが、本実施形態においては魚眼レンズを使用し、撮影地点を基準とした半球状の広範囲を撮影することが可能となっている。また、撮像デバイスとしては、例えばカラーＣＭＯＳセンサやカラーＣＣＤセンサを用いることができる。なお、撮像デバイスの画素数としては、例えば２４０×１６０画素〜２０００×３０００画素程度のものが用いられるが、本実施形態においては、１２８０×９６０画素のものを用いるものとする。
【００２８】
表示部１２の表示サイズとしては、例えば本実施形態においては、２４０×１６０画素程度のものが用いられる。また、本実施形態においては、画像データＳ０を縮小して得られた画像の全体が表示部１２に表示されるようにしてもよいが、後述するように画像上に領域を指定する場合には、画像データＳ０が縮小されることなくそのまま表示部１２に表示される。この場合は、カメラ付き携帯電話１のユーザは、キー入力部１３の十字キーを用いて表示された画像をスクロールすることにより、画像上の全領域を把握することができる。
【００２９】
領域情報生成部１６は、表示部１２に表示された画像上において、カメラ付き携帯電話１のユーザがキー入力部１３を用いて指定した領域を表す領域情報Ｒ０を生成する。本実施形態においては、図２に示すように表示部１２に表示された画像上にカーソルＫを表示し、これを画像上において移動させて表示したい領域の中心点を指定することにより、その中心点を含む矩形の領域が指定される。そして、この矩形の領域の四隅の座標値が領域情報Ｒ０として生成される。なお、領域情報Ｒ０には、カメラ付き携帯電話１の機種情報も含まれる。また、領域の指定時には、領域の中心点のみならず、所望とする領域の四隅を指定するようにしてもよい。
【００３０】
画像サーバ２は、公衆回線３を介してのデータの送受信を行う通信部２１と、カメラ付き携帯電話１から送信された画像データＳ０を記憶する記憶部２２と、カメラ付き携帯電話１の機種毎に、カメラ１１Ａの歪み特性を表す複数の歪み特性情報Ｈ０を記憶する特性記憶部２３と、領域情報Ｒ０に基づいて、カメラ付き携帯電話１において指定された領域に対応する領域画像データＳＲ０を画像データＳ０から生成する領域画像生成部２４と、画像データＳ０を送信したカメラ付き携帯電話１の機種に応じた歪み特性情報Ｈ０に基づいて、後述するように領域画像データＳＲ０を補正して補正領域画像データＳＲ１を生成する画像補正部２５とを備える。
【００３１】
なお、画像サーバ２に、プリンタおよびプリントについての注文を受け付ける注文処理部を設け、画像データＳ０や後述する補正領域画像データＳＲ１のプリント注文を受け付けるようにしてもよい。
【００３２】
特性記憶部２３に記憶されている歪み特性情報Ｈ０は、カメラ付き携帯電話１の機種に応じて、カメラ１１Ａの魚眼レンズを透過した像である透過像上の座標である極座標（θ、φ）と、撮像デバイス上における光電変換素子の位置を表すピクセル座標（ｘ，ｙ）との関係を表すものとなっている。
【００３３】
ここで、本実施形態のように魚眼レンズを用いたカメラ付き携帯電話１において、撮像時における魚眼レンズの透過像は、図３（ａ）に示すように極座標に対応して撮像デバイス平面に投影される。カメラ１１において、十分な画素数を有する撮像デバイス（例えば本実施形態のように１２８０×９６０画素）を使用すれば、風景を撮像しても魚眼レンズの透過像は魚眼レンズの周辺部を含めて全て画像として得ることができる。しかしながら、魚眼レンズの透過像は極座標に投影された像を表すものであるため、得られた画像をそのまま表示すると、画像の周囲の幾何学的歪みが非常に強いものとなる。さらに、カメラ付き携帯電話１の表示部１２は、本実施形態の場合２４０×１６０ピクセルとそれほど大きくないことから、表示部１２に画像全体を表示するために画像を縮小すると、とくに風景の画像については鮮鋭度が非常に低くなり、画像中に何が写っているのかが分からなくなってしまう。
【００３４】
このため、本実施形態においては、カメラ付き携帯電話１の表示部１２に画像データＳ０を縮小することなくそのまま表示して画像の鮮鋭度を確保し、撮像により得られた画像を見やすくしている。
【００３５】
しかしながら、画像を縮小することなくそのまま表示しても、やはりその画像は極座標投影されたものであるため、画像の周辺部ほど幾何学的歪みが大きい。したがって、表示部１２に表示された領域が画像の周辺部であるほど鑑賞には耐え難いものとなる。
【００３６】
本実施形態においては、画像サーバ２の領域画像生成部２４において、領域情報Ｒ０に基づいて、指定された領域に対応する領域画像データＳＲ０を画像データＳ０から生成し、画像補正部２５において、領域画像データＳＲ０により表される領域画像について、歪み特性情報Ｈ０に基づいて極座標からＸＹ直交座標への変換を行って補正領域画像データＳＲ１を生成するようにしたものである。
【００３７】
ここで、カメラ付き携帯電話１において表示部１２に表示される、画像データＳ０により表される画像は、図３（ａ）に示すように魚眼レンズの透過像を表すものであるため、元々は直交座標上にあった像が極座標に投影されたものとなっている。カメラ付き携帯電話１の表示部１２において画像上に点Ｐ０が指定されたとすると、カメラ付き携帯電話１の領域情報生成部１６において、例えば点Ｐ０を含む矩形の領域Ａ１の四隅Ｐ１〜Ｐ４の座標値が領域情報Ｒ０として生成される。
【００３８】
画像サーバ２の領域画像生成部２４は、領域情報Ｒ０に含まれる四隅Ｐ１〜Ｐ４の座標値から、四隅Ｐ１〜Ｐ４に囲まれる領域を領域画像データＳＲ０として生成する。そして、画像補正部２５において、歪み特性情報Ｈ０に基づいて四隅Ｐ１〜Ｐ４により囲まれる領域内の各画素をＸＹ直交座標に変換して、図３（ｂ）に示すように、四隅Ｐ１〜Ｐ４が四隅Ｐ１′〜Ｐ４′に変換された直交座標変換済みの画像を得る。そして、カメラ付き携帯電話１の表示部１２のサイズを考慮して、得られた画像から表示部１２に表示可能な範囲を切り出し、切り出された範囲の画像を表す画像データが補正領域画像データＳＲ１として生成される。
【００３９】
次いで、第１の実施形態の動作について説明する。図４は、第１の実施形態において行われる処理を示すフローチャートである。まず、撮像部１１のカメラ１１Ａにより被写体の撮像が行われて撮像画像データが取得され、さらに画像処理部１１Ｂにおいて撮像画像データに対して画像処理が施されて画像データＳ０が取得される（ステップＳ１）。続いて、画像データＳ０が表示部１２に表示される（ステップＳ２）。そして、ユーザにより領域の指定がなされたか否かが判定され（ステップＳ３）、ステップＳ３が肯定されると、領域情報生成部１６においてカメラ付き携帯電話１の機種情報を含む領域情報Ｒ０が生成される（ステップＳ４）。さらに、ユーザにより画像データＳ０の画像サーバ２への送信指示がなされたか否かが判定され（ステップＳ５）、ステップＳ５が肯定されると、通信部１４により画像データＳ０および領域情報Ｒ０が画像サーバ２に送信される（ステップＳ６）。
【００４０】
画像サーバ２においては通信部２１により画像データＳ０および領域情報Ｒ０が受信され、記憶部２２に一旦記憶される（ステップＳ７）。続いて、領域情報Ｒ０に含められたカメラ付き携帯電話１の機種情報に基づいて、特性記憶部２３からその機種に応じた歪み特性情報Ｈ０が読み出され（ステップＳ８）、さらに、領域画像生成部２４により記憶部２２から画像データＳ０および領域情報Ｒ０が読み出され、領域情報Ｒ０に基づいて画像データＳ０から領域画像データＳＲ０が生成される（ステップＳ９）。そして、画像補正部２５により歪み特性情報Ｈ０に基づいて領域画像データＳＲ０が補正されて補正領域画像データＳＲ１が生成される（ステップＳ１０）。補正領域画像データＳＲ１は通信部２１においてカメラ付き携帯電話１に送信される（ステップＳ１１）。
【００４１】
カメラ付き携帯電話１においては補正領域画像データＳＲ１が受信され（ステップＳ１２）、これが表示部１２に表示され（ステップＳ１３）、処理を終了する。
【００４２】
このように、第１の実施形態においては、カメラ付き携帯電話１に設けられたカメラの歪み特性情報Ｈ０に基づいて、領域画像データＳＲ０を幾何学的に補正し、補正領域画像データＳＲ１をカメラ付き携帯電話１に送信するようにしたため、カメラ付き携帯電話１においては、表示部１２にカメラ１１の幾何学的歪みが補正された画像を表示することができる。また、指定された領域の画像のみがカメラ付き携帯電話１の表示部１２において表示されるため、画像全体を縮小して表示する場合よりも鮮明な画像をカメラ付き携帯電話１において表示することができる。
【００４３】
さらに、カメラ付き携帯電話１においては、画像データＳ０の一部の領域のみを補正した補正領域画像データＳＲ１を受信すればよいため、画像データＳ０の全体を補正した画像データを受信する場合と比較して通信コストを低減することができる。とくに携帯電話の料金体系は、送受信したデータ容量に応じて料金が加算されるパケット制であるため、データ容量の低減による通信コスト低減の効果は非常に大きい。
【００４４】
なお、一旦補正領域画像データＳＲ１を生成した後に、カメラ付き携帯電話１において表示したい領域が変更された場合には、カメラ付き携帯電話１からは変更された他の領域を表す他の領域情報（Ｒ０′とする）のみが画像サーバ２に送信される。画像サーバ２は、他の領域情報Ｒ０′を取得し、この他の領域情報Ｒ０′に基づいて、記憶部２２に記憶された画像データＳ０から他の領域画像データ（ＳＲ０′とする）を生成するとともにこれを補正して他の補正領域画像データ（ＳＲ１′とする）を生成してカメラ付き携帯電話１に送信する。これにより、カメラ付き携帯電話１からは再度の画像データＳ０の送信を行う必要がなくなるため、さらに通信コストを低減することができる。
【００４５】
なお、上記第１の実施形態においては、画像データＳ０を撮像したカメラ付き携帯電話１に補正領域画像データＳＲ１を送信しているが、画像データＳ０を撮像したカメラ付き携帯電話１以外の他の携帯電話にも同様に補正領域画像データＳＲ１を送信して、他の携帯電話において歪みのない画像を表示することもできる。
【００４６】
また、他の携帯電話に補正領域画像データＳＲ１を送信した場合、他の携帯電話のユーザが補正領域画像データＳＲ１により表される領域以外の他の領域の表示を所望する場合がある。しかしながら、他の携帯電話のユーザは表示中の画像が他の領域を有するものであるか否かが分からない場合が多い。このため、他の携帯電話に補正領域画像データＳＲ１を送信する場合には、他の領域があることを分かりやすくするために、図５に示すように画像の縁部に矢印を表示することが好ましい。
【００４７】
この場合、送信された補正領域画像データＳＲ１により表される領域以外の他の領域の画像の表示を所望する他の携帯電話のユーザは、十字キーを用いて表示された画像をスクロールし、表示したい領域を指定する。なお、送信された補正領域画像データＳＲ１に対応する領域以外の領域は例えば白色表示される。そして、表示したい領域の指定を行い、その旨を画像サーバ２に送信すると、その領域に対応する領域画像データＳＲ０が画像データＳ０から生成され、さらに領域画像データＳＲ０が補正されて補正領域画像データＳＲ１が生成され、これが他の携帯電話に送信される。これにより、他の携帯電話においては、所望とする領域が歪みのない状態で表示部に表示されることとなる。
【００４８】
また、上記第１の実施形態においては、カメラ付き携帯電話１の機種情報に基づいて、特性記憶部２３から歪み特性情報Ｈ０を読み出しているが、カメラ付き携帯電話１においては機種に応じて電話番号が割り振られている。このため、特性情報記憶部２３に電話番号と機種との対応関係を記憶しておき、機種情報に代えてカメラ付き携帯電話１の電話番号を画像データＳ０とともに画像サーバ２に送信し、上記対応関係を参照して電話番号に応じた機種の歪み特性情報Ｈ０を特性記憶部２３から読み出すようにしてもよい。
【００４９】
次いで、本発明の第２の実施形態について説明する。図６は本発明の第２の実施形態による画像補正装置を適用した画像送信システムの構成を示す概略ブロック図である。なお、第２の実施形態において第１の実施形態と同一の構成については同一の参照番号を付し、詳細な説明は省略する。
【００５０】
第２の実施形態においては、カメラ付き携帯電話１から画像データＳ０を送信するのに代えて、カメラ付き携帯電話１において領域画像データＳＲ０を生成して画像サーバ２に送信するようにした点が第１の実施形態と異なるものである。このため第２の実施形態においては、カメラ付き携帯電話１において第１の実施形態における領域情報生成部１６に代えて、指定された領域を含む領域を表す領域画像データＳＲ０を画像データＳ０から生成する領域画像生成部１７を備えてなり、画像サーバ２において領域画像生成部２４を省略してなるものである。なお、領域画像生成部１７は、第１の実施形態において画像サーバ２に設けられた領域画像生成部２４と同様の機能を有するものである。また、第２の実施形態においては、カメラ付き携帯電話１の機種情報は、例えば領域画像データＳＲ０のタグ情報に付与されて画像サーバ２に送信される。
【００５１】
領域画像生成部１７は、第１の実施形態における領域情報生成部１６と同様に、表示部１２に表示された画像上において、カメラ付き携帯電話１のユーザがキー入力部１３を用いて指定した領域を表す領域情報Ｒ０を生成する。そして、第１の実施形態における画像サーバ２の領域画像生成部２４と同様に、領域情報Ｒ０に基づいて指定された領域に対応する領域画像データＳＲ０を画像データＳ０から生成する。
【００５２】
次いで、第２の実施形態の動作について説明する。図７は、第２の実施形態において行われる処理を示すフローチャートである。まず、撮像部１１のカメラ１１Ａにより被写体の撮像が行われて撮像画像データが取得され、さらに画像処理部１１Ｂにおいて撮像画像データに対して画像処理が施されて画像データＳ０が取得される（ステップＳ２１）。続いて、画像データＳ０が表示部１２に表示される（ステップＳ２２）。そして、ユーザにより領域の指定がなされたか否かが判定され（ステップＳ２３）、ステップＳ３が肯定されると、領域画像生成部１７において指定された領域を含む領域を表す領域画像データＳＲ０が生成される（ステップＳ２４）。次いで、ユーザにより画像データＳ０の画像サーバ２への送信指示がなされたか否かが判定され（ステップＳ２５）、ステップＳ２５が肯定されると、通信部１４により領域画像データＳＲ０が画像サーバ２に送信される（ステップＳ２６）。
【００５３】
画像サーバ２においては通信部２１により領域画像データＳＲ０が受信され、記憶部２２に一旦記憶される（ステップＳ２７）。続いて、領域画像データＳＲ０とともに送信されたカメラ付き携帯電話１の機種情報に基づいて、特性記憶部２３からその機種に応じた歪み特性情報Ｈ０が読み出され（ステップＳ２８）、さらに、画像補正部２５により記憶部２２から領域画像データＳＲ０が読み出され、歪み特性情報Ｈ０に基づいて領域画像データＳＲ０が補正されて補正領域画像データＳＲ１が生成される（ステップＳ２９）。補正領域画像データＳＲ１は通信部２１によりカメラ付き携帯電話１に送信される（ステップＳ３０）。
【００５４】
カメラ付き携帯電話１においては補正領域画像データＳＲ１が受信され（ステップＳ３１）、これが表示部１２に表示され（ステップＳ３２）、処理を終了する。
【００５５】
このように、第２の実施形態においては、カメラ付き携帯電話１に設けられたカメラの歪み特性情報Ｈ０に基づいて、領域画像データＳＲ０を幾何学的に補正し、補正領域画像データＳＲ１をカメラ付き携帯端末電話１に送信するようにしたため、カメラ付き携帯電話１においては、表示部１２にカメラ１１の幾何学的歪みが補正された画像を表示することができる。また、指定された領域の画像のみがカメラ付き携帯電話１の表示部１２において表示されるため、画像全体を縮小して表示する場合よりも鮮明な画像をカメラ付き携帯電話１において表示することができる。
【００５６】
また、カメラ付き携帯電話１からは、撮像により取得された画像データＳ０により表される画像の一部の領域のみを表す領域画像データＳＲ０の送信および領域画像データＳＲ０を補正することにより得られた補正量域画像データＳＲ１の受信を行えばよいため、画像データＳ０の全体を送信して画像データＳ０の全体を補正した画像データを受信する場合と比較して通信コストを低減することができる。とくに携帯電話の料金体系は、送受信したデータ容量に応じて料金が加算されるパケット制であるため、データ容量の低減による通信コスト低減の効果は非常に大きい。
【００５７】
なお、上記第１および第２の実施形態においては、歪み特性情報Ｈ０に基づいて領域画像データＳＲ０を補正しているが、カメラにおいて取得された画像データのみからカメラのレンズの歪み特性を算出する方法が提案されている（Blind removal of lens distortion, Hany Farid and Alin C.Popescu, Optical Society of America, A/Vol.18, No.9/September 2001, pp2072-2077）。したがって、特性記憶部２３に記憶された歪み特性情報Ｈ０に代えて、領域画像データＳＲ０から歪み特性情報を算出し、算出された歪み特性情報に基づいて領域画像データＳＲ０を補正して補正領域画像データＳＲ１を生成するようにしてもよい。
【図面の簡単な説明】
【図１】本発明の第１の実施形態による画像補正装置を適用した画像送信システムの構成を示す概略ブロック図
【図２】表示部に表示されたカーソルを示す図
【図３】（ａ）は撮像デバイスに極座標投影された投影像を示す図、（ｂ）は領域画像データＸＹ直交座標に変換することにより得られた補正領域画像データＳＲ１により表される画像を示す図
【図４】表示部に表示された矢印を示す図
【図５】第１の実施形態において行われる処理を示すフローチャート
【図６】本発明の第２の実施形態による画像補正装置を適用した画像送信システムの構成を示す概略ブロック図
【図７】第２の実施形態において行われる処理を示すフローチャート
【符号の説明】
１カメラ付き携帯電話
２画像サーバ
３公衆回線
１１撮像部
１１Ａカメラ
１１Ｂ画像処理部
１２表示部
１３キー入力部
１４，２１通信部
１５，２２記憶部
１６領域情報生成部
１７，２４領域画像生成部
２３特性記憶部
２５画像補正部[0001]
BACKGROUND OF THE INVENTION
The present invention relates to an image correction method and apparatus for correcting geometric distortion of image data acquired in a mobile terminal device with a camera, and a program for causing a computer to execute the image correction method.
[0002]
[Prior art]
Mobile phone devices are remarkable, but in recent years, camera-equipped mobile terminal devices such as camera-equipped mobile phones having an electronic still camera (hereinafter referred to as a camera) that obtains image data by photographing are becoming popular (for example, JP-A-6-233020, JP-A-2000-253290, etc.). In addition, portable terminal devices with a camera in which a camera is incorporated in a portable terminal device such as a PDA have been proposed (Japanese Patent Laid-Open Nos. 8-140072 and 9-65268).
[0003]
By using such a portable terminal device with a camera, the user's favorite image data acquired by photographing can be set as a standby screen on the liquid crystal monitor of the portable terminal device. In addition, since it is possible to attach the image data acquired by shooting to an e-mail and send it to a friend, when it becomes necessary to cancel the appointment or when it is likely to be late at the meeting time, It is convenient for communication with friends because it is possible to inform a friend of his / her current situation, such as taking a picture of his / her disappointing expression and sending it to a friend.
[0004]
However, it is difficult for a camera provided in such a portable terminal device to have a zoom function or a telephoto lens due to size restrictions. Further, since the camera itself is configured to be embedded in the mobile terminal device, it is difficult to exchange lenses.
[0005]
For this reason, it is realistic that the lens of the camera provided in the portable terminal device is a wide-angle lens. Furthermore, by using an ultra-wide-angle lens such as a fisheye lens, it is possible to photograph a wide range of hemispheres based on the photographing point in one shot.
[0006]
[Problems to be solved by the invention]
By the way, since the screen size of the liquid crystal monitor provided in the camera-equipped mobile terminal device is limited, the image is reduced particularly when the number of pixels of the imaging device constituting the camera is larger than the number of pixels of the liquid crystal monitor. Need to be displayed. However, when a landscape image or the like is photographed, it is often difficult to know what is reflected in the image when the image is reduced. Furthermore, since an image obtained by a camera using a wide-angle lens has a large geometric distortion at the periphery thereof, the geometric distortion of the image as described in, for example, JP-A-5-91409 is corrected. It is necessary to display an image after correcting distortion using a device that performs the above processing. On the other hand, since the number of pixels of the camera is increasing and the capacity of the image data is increasing, it takes a long time for the calculation to perform distortion correction processing on the entire area of the image. . Furthermore, since the mobile terminal device often transmits image data to a server or the like, the capacity of the image data is preferably small from the viewpoint of communication costs.
[0007]
The present invention has been made in view of the above circumstances, and an object thereof is to efficiently correct geometric distortion of an image and efficiently transmit image data.
[0008]
[Means for Solving the Problems]
A first image correction method according to the present invention is an image correction method for correcting geometric distortion of an image represented by image data acquired in a mobile terminal device with a camera,
In the mobile terminal device with a camera, obtain region information representing the region designated on the image and the image data,
Based on the region information, generating region image data corresponding to the designated region from the image data,
Based on distortion characteristic information representing distortion characteristics of the camera, the area image data is geometrically corrected to generate corrected area image data,
The correction area image data is transmitted to the mobile terminal device with a camera.
[0009]
The designation of the area on the image is performed by the camera-equipped portable terminal device, but may be performed by designating a desired area range or by designating a certain point on the image. In the former case, the area information uses coordinate values for specifying a specified area on the image (for example, the coordinate values of the four corners if the area is rectangular). In the latter case, in the camera-equipped mobile terminal device, a region of a predetermined range including a specified point is set, and coordinate values for specifying the set region (for example, the coordinate values of the four corners if the region is rectangular) are region information. Used as Alternatively, another area may be set so as to surround the specified area, and coordinate values for specifying the set other area may be used as the area information.
[0010]
“Distortion characteristic information indicating the distortion characteristics of the camera” refers to the coordinates of each point on the transmission image transmitted through the photographing lens used in the camera and the respective photoelectric conversions that constitute the imaging device such as a CCD provided in the camera. This is information representing a correspondence relationship with coordinates representing the position of the element. Specifically, when the photographing lens used in the camera is a fish-eye lens, the distortion characteristic information is information indicating the relationship between polar coordinates on a transmission image transmitted through the fish-eye lens and position coordinates of photoelectric conversion elements on the imaging device. It becomes.
[0011]
Here, the distortion characteristic information varies depending on the model of the camera-equipped mobile terminal device. Therefore, a plurality of distortion characteristic information is prepared for each model of the camera-equipped mobile terminal device, and the region image data is corrected based on the distortion characteristic information corresponding to the model of the camera-equipped mobile terminal device from which the image data was acquired. It is preferable.
[0012]
In the first image correction method according to the present invention, further, other region information representing another region different from the region represented by the region information is acquired,
Based on the other area information, generate other area image data corresponding to the other area from the image data,
Based on distortion characteristic information representing distortion characteristics of the camera, the other area image data is geometrically corrected to generate other correction area image data,
The other correction area image data may be transmitted to the camera-equipped mobile terminal device.
[0013]
A second image correction method according to the present invention is an image correction method for correcting geometric distortion of an image represented by image data acquired in a camera-equipped mobile terminal device,
Region image data corresponding to a region specified on the image generated in the camera-equipped mobile terminal device is acquired;
Based on distortion characteristic information representing distortion characteristics of the camera, the area image data is geometrically corrected to generate corrected area image data,
The correction area image data is transmitted to the mobile terminal device with a camera.
[0014]
A first image correction apparatus according to the present invention is an image correction apparatus for correcting geometric distortion of an image represented by image data acquired in a mobile terminal device with a camera,
Acquisition means for acquiring area information representing the area specified on the image and the image data in the camera-equipped mobile terminal device;
Area image generation means for generating area image data corresponding to the specified area from the image data based on the area information;
Image correction means for generating correction area image data by geometrically correcting the area image data based on distortion characteristic information representing distortion characteristics of the camera;
Transmitting means for transmitting the correction area image data to the camera-equipped mobile terminal device is provided.
[0015]
In the first image correction apparatus according to the present invention, the acquisition unit is a unit that further acquires other region information representing another region different from the region represented by the region information,
The area image generation means is means for generating other area image data corresponding to the other area from the image data based on the other area information.
The image correcting means is means for geometrically correcting the other area image data based on distortion characteristic information representing distortion characteristics of the camera to generate other correction area image data,
The transmitting means is means for transmitting the other correction area image data to the camera-equipped mobile terminal device.
[0016]
A second image correction device according to the present invention is an image correction device that corrects geometric distortion of an image represented by image data acquired in a mobile terminal device with a camera,
Obtaining means for obtaining region image data corresponding to a region designated on the image generated in the mobile terminal device with a camera;
Image correction means for generating correction area image data by geometrically correcting the area image data based on distortion characteristic information representing distortion characteristics of the camera;
Transmitting means for transmitting the correction area image data to the camera-equipped mobile terminal device is provided.
[0017]
In addition, you may provide as a program for making a computer perform the 1st and 2nd image correction method by this invention.
[0018]
【The invention's effect】
According to the first image correction method and apparatus of the present invention, first, image data is acquired by imaging in a mobile terminal device with a camera, an area is specified on the image represented by the image data, and further specified. Area information representing the area is generated. Then, the region information generated in this way is acquired together with the image data in the first image correction method and apparatus according to the present invention. Next, region image data is generated from the image data based on the region information, and further, the region image data is geometrically corrected based on the distortion characteristic information representing the distortion characteristics of the camera to generate corrected region image data. The Then, the correction area image data is transmitted to the camera-equipped mobile terminal device, and the correction area image data is displayed on the camera-equipped mobile terminal device.
[0019]
As described above, in the first image correction method and apparatus according to the present invention, the region image data is geometrically corrected based on the camera distortion characteristic information provided in the camera-equipped mobile terminal device, and generated by the correction. Since the corrected region image data thus transmitted is transmitted to the camera-equipped mobile terminal device, the camera-equipped mobile terminal device can display an image with corrected geometric distortion. In addition, since only the image of the designated area is displayed on the camera-equipped mobile terminal device, a clearer image can be displayed on the camera-equipped mobile terminal device than when the entire image is reduced and displayed.
[0020]
Further, in the mobile terminal device with a camera, it is only necessary to receive corrected area image data in which only a partial area of the image data is corrected, and therefore communication is performed in comparison with the case of receiving image data in which the entire image data is corrected. Cost can be reduced. In particular, since the charge system of the mobile terminal device is a packet system in which charges are added according to the transmitted and received data capacity, the effect of reducing the communication cost by reducing the data capacity is very large.
[0021]
In addition, after the correction area image data is generated once, if the area to be displayed in the mobile terminal device with a camera is changed, only other area information indicating the changed other area is acquired, and this other area is acquired. By generating other correction area image data based on the information and transmitting it to the camera-equipped mobile terminal device, it is not necessary to transmit the image data again from the camera-equipped mobile terminal device, further reducing the communication cost. can do.
[0022]
According to the second image correction method and apparatus of the present invention, first, when image data is acquired by imaging in a camera-equipped mobile terminal device, and an area is designated on an image represented by the image data, In the mobile terminal device with a camera, region image data corresponding to the designated region is generated. The region image data generated in this way is acquired by the second image correction method and apparatus according to the present invention. Next, based on the distortion characteristic information representing the distortion characteristic of the camera, the area image data is geometrically corrected to generate correction area image data, and the correction area image data is transmitted to the camera-equipped mobile terminal device, The correction area image data is displayed on the portable terminal device.
[0023]
Thus, in the second image correction method and apparatus according to the present invention, the region image data generated in the camera-equipped mobile terminal device is geometrically generated based on the distortion characteristic information of the camera provided in the camera-equipped mobile terminal device. Correction region image data is generated by correction and transmitted to a mobile terminal device with a camera, so that an image with corrected geometric distortion may be displayed on the mobile terminal device with a camera. it can. In addition, since only the image of the designated area is displayed on the camera-equipped mobile terminal device, a clearer image can be displayed on the camera-equipped mobile terminal device than when the entire image is displayed.
[0024]
Further, in the mobile terminal device with a camera, it is only necessary to transmit area image data representing only a partial area of the image represented by the image data and to receive correction area image data. The communication cost can be reduced as compared with the case of receiving corrected image data obtained by correcting the data. In particular, since the charge system of the mobile terminal device is a packet system in which charges are added according to the transmitted and received data capacity, the effect of reducing the communication cost by reducing the data capacity is very large.
[0025]
DETAILED DESCRIPTION OF THE INVENTION
Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a schematic block diagram showing a configuration of an image transmission system to which an image correction apparatus according to a first embodiment of the present invention is applied. As shown in FIG. 1, the image transmission system according to the first embodiment of the present invention is configured to connect a public line 3 between a camera-equipped mobile phone 1 and an image server 2 equipped with an image correction device according to the present embodiment. Data is exchanged through the network.
[0026]
The camera-equipped mobile phone 1 includes an imaging unit 11 that acquires image data S0 representing a subject by imaging, a display unit 12 including a liquid crystal monitor that displays images and various information, and a plurality of input keys including a cross key. A key input unit 13, a communication unit 14 that performs communication, mail transmission / reception, and data transmission / reception via the public line 3, and a storage unit 15 that stores the image data S 0 acquired in the imaging unit 11 in a memory card or the like. A region information generating unit 16 that generates region information R0 representing a specified region on the image displayed on the display unit 12;
[0027]
The imaging unit 11 includes a camera 11A including a photographic lens, a shutter, an imaging device, and the like, and an image processing unit 11B that performs image processing on captured image data acquired by imaging to obtain image data S0. Note that a wide-angle lens with f ≦ 28 mm in terms of a 35 mm camera is used as the photographing lens. In this embodiment, a fish-eye lens is used, and it is possible to photograph a wide range of hemispheres based on the photographing point. Yes. As the imaging device, for example, a color CMOS sensor or a color CCD sensor can be used. The number of pixels of the imaging device is, for example, about 240 × 160 pixels to 2000 × 3000 pixels. In the present embodiment, the number of pixels is 1280 × 960 pixels.
[0028]
As the display size of the display unit 12, for example, a display size of about 240 × 160 pixels is used in the present embodiment. In the present embodiment, the entire image obtained by reducing the image data S0 may be displayed on the display unit 12. However, when an area is designated on the image as described later, The image data S0 is displayed on the display unit 12 as it is without being reduced. In this case, the user of the camera-equipped mobile phone 1 can grasp the entire area on the image by scrolling the displayed image using the cross key of the key input unit 13.
[0029]
The area information generation unit 16 generates area information R0 representing an area designated by the user of the camera-equipped mobile phone 1 using the key input unit 13 on the image displayed on the display unit 12. In the present embodiment, as shown in FIG. 2, the cursor K is displayed on the image displayed on the display unit 12, and this is moved on the image to designate the center point of the area to be displayed, thereby the center. A rectangular area containing points is specified. Then, the coordinate values of the four corners of this rectangular area are generated as area information R0. The area information R0 includes model information of the camera-equipped mobile phone 1. In addition, when designating an area, not only the center point of the area but also the four corners of the desired area may be designated.
[0030]
The image server 2 includes a communication unit 21 that transmits and receives data via the public line 3, a storage unit 22 that stores the image data S0 transmitted from the camera-equipped mobile phone 1, and a model of the camera-equipped cellular phone 1. In addition, a characteristic storage unit 23 that stores a plurality of distortion characteristic information H0 representing distortion characteristics of the camera 11A, and area image data SR0 corresponding to the area designated in the camera-equipped mobile phone 1 is imaged based on the area information R0. Based on the region image generation unit 24 generated from the data S0 and the distortion characteristic information H0 corresponding to the model of the camera-equipped mobile phone 1 that transmitted the image data S0, the region image data SR0 is corrected and corrected as described later. And an image correction unit 25 that generates the image data SR1.
[0031]
The image server 2 may be provided with an order processing unit that accepts orders for printers and prints, and accepts print orders for image data S0 and correction area image data SR1 described later.
[0032]
The distortion characteristic information H0 stored in the characteristic storage unit 23 includes polar coordinates (θ, φ), which are coordinates on a transmission image, which is an image transmitted through the fisheye lens of the camera 11A, according to the model of the camera-equipped mobile phone 1. This represents the relationship with pixel coordinates (x, y) representing the position of the photoelectric conversion element on the imaging device.
[0033]
Here, in the camera-equipped mobile phone 1 using the fisheye lens as in the present embodiment, the transmission image of the fisheye lens at the time of imaging is projected onto the imaging device plane corresponding to the polar coordinates as shown in FIG. . If an imaging device having a sufficient number of pixels (for example, 1280 × 960 pixels as in the present embodiment) is used in the camera 11, the entire transmission image of the fisheye lens including the periphery of the fisheye lens is captured even when the landscape is imaged. Can be obtained as However, since the transmission image of the fisheye lens represents an image projected on polar coordinates, when the obtained image is displayed as it is, the geometric distortion around the image becomes very strong. Further, the display unit 12 of the camera-equipped mobile phone 1 is not so large as 240 × 160 pixels in the case of the present embodiment. Therefore, when the image is reduced in order to display the entire image on the display unit 12, particularly for a landscape image. The sharpness becomes very low, and it becomes difficult to understand what is in the image.
[0034]
For this reason, in this embodiment, the image data S0 is displayed as it is on the display unit 12 of the camera-equipped mobile phone 1 without being reduced to ensure the sharpness of the image, and the image obtained by the imaging is easy to see. .
[0035]
However, even if the image is displayed as it is without being reduced, the image is still a polar coordinate projection, so that the geometrical distortion is larger in the periphery of the image. Accordingly, the closer the area displayed on the display unit 12 is to the periphery of the image, the more difficult it is to appreciate.
[0036]
In the present embodiment, the area image generation unit 24 of the image server 2 generates area image data SR0 corresponding to the specified area from the image data S0 based on the area information R0, and the image correction unit 25 The region image represented by the image data SR0 is converted from polar coordinates to XY orthogonal coordinates based on the distortion characteristic information H0 to generate corrected region image data SR1.
[0037]
Here, the image represented by the image data S0 displayed on the display unit 12 in the camera-equipped mobile phone 1 represents a transmission image of the fisheye lens as shown in FIG. The image on the coordinates is projected onto the polar coordinates. If the point P0 is designated on the image on the display unit 12 of the camera-equipped mobile phone 1, the coordinates of the four corners P1 to P4 of the rectangular area A1 including the point P0 are generated in the area information generation unit 16 of the camera-equipped cellular phone 1, for example. A value is generated as region information R0.
[0038]
The region image generation unit 24 of the image server 2 generates a region surrounded by the four corners P1 to P4 as the region image data SR0 from the coordinate values of the four corners P1 to P4 included in the region information R0. Then, in the image correction unit 25, each pixel in the region surrounded by the four corners P1 to P4 is converted into XY orthogonal coordinates based on the distortion characteristic information H0, and as shown in FIG. 3B, the four corners P1 to P4 are converted. Obtains an image having undergone orthogonal coordinate transformation converted into four corners P1 'to P4'. Then, in consideration of the size of the display unit 12 of the mobile phone 1 with camera, a range that can be displayed on the display unit 12 is cut out from the obtained image, and image data representing the image in the cut out range is corrected region image data SR1. Is generated as
[0039]
Next, the operation of the first embodiment will be described. FIG. 4 is a flowchart showing processing performed in the first embodiment. First, the subject 11 is picked up by the camera 11A of the image pickup unit 11 to obtain picked-up image data, and the image processing unit 11B performs image processing on the picked-up image data to obtain the image data S0 (Step S1). S1). Subsequently, the image data S0 is displayed on the display unit 12 (step S2). Then, it is determined whether or not an area has been designated by the user (step S3). When step S3 is affirmed, area information R0 including model information of the camera-equipped mobile phone 1 is generated in the area information generation unit 16. (Step S4). Further, it is determined whether or not the user has instructed transmission of the image data S0 to the image server 2 (step S5). When step S5 is affirmed, the communication unit 14 transmits the image data S0 and the region information R0 to the image server. 2 (step S6).
[0040]
In the image server 2, the image data S0 and the area information R0 are received by the communication unit 21 and temporarily stored in the storage unit 22 (step S7). Subsequently, based on the model information of the camera-equipped mobile phone 1 included in the region information R0, distortion characteristic information H0 corresponding to the model is read from the characteristic storage unit 23 (step S8), and further, region image generation is performed. The unit 24 reads the image data S0 and the region information R0 from the storage unit 22, and the region image data SR0 is generated from the image data S0 based on the region information R0 (step S9). Then, the image correction unit 25 corrects the region image data SR0 based on the distortion characteristic information H0 to generate corrected region image data SR1 (step S10). The correction area image data SR1 is transmitted to the camera-equipped mobile phone 1 in the communication unit 21 (step S11).
[0041]
The camera-equipped mobile phone 1 receives the correction area image data SR1 (step S12), and this is displayed on the display unit 12 (step S13), and the process ends.
[0042]
As described above, in the first embodiment, the region image data SR0 is geometrically corrected based on the camera distortion characteristic information H0 provided in the camera-equipped mobile phone 1, and the corrected region image data SR1 is converted into the camera. Since the information is transmitted to the mobile phone 1 with a camera, the mobile phone 1 with a camera can display an image in which the geometric distortion of the camera 11 is corrected on the display unit 12. In addition, since only the image in the designated area is displayed on the display unit 12 of the camera-equipped mobile phone 1, a clearer image can be displayed on the camera-equipped mobile phone 1 than when the entire image is reduced and displayed. it can.
[0043]
Furthermore, since the camera-equipped mobile phone 1 only needs to receive the corrected area image data SR1 in which only a partial area of the image data S0 is corrected, it is compared with the case of receiving image data in which the entire image data S0 is corrected. Thus, communication costs can be reduced. In particular, since the charge system for mobile phones is a packet system in which charges are added according to the transmitted and received data capacity, the effect of reducing the communication cost by reducing the data capacity is very large.
[0044]
When the region desired to be displayed on the camera-equipped mobile phone 1 is changed after the corrected region image data SR1 is generated once, other region information (other region information (representing the changed other region) ( Only R0 ′) is transmitted to the image server 2. The image server 2 acquires other region information R0 ′, and generates other region image data (referred to as SR0 ′) from the image data S0 stored in the storage unit 22 based on the other region information R0 ′. At the same time, this is corrected to generate other corrected area image data (referred to as SR1 ') and transmitted to the camera-equipped mobile phone 1. This eliminates the need to transmit the image data S0 again from the camera-equipped mobile phone 1, thereby further reducing the communication cost.
[0045]
In the first embodiment, the correction area image data SR1 is transmitted to the camera-equipped mobile phone 1 that captured the image data S0, but other than the camera-equipped mobile phone 1 that captured the image data S0. Similarly, the correction area image data SR1 can be transmitted to the mobile phone, and an image without distortion can be displayed on another mobile phone.
[0046]
In addition, when the correction area image data SR1 is transmitted to another mobile phone, the user of the other mobile phone may desire to display an area other than the area represented by the correction area image data SR1. However, other mobile phone users often do not know whether the image being displayed has other areas. Therefore, when the correction area image data SR1 is transmitted to another mobile phone, an arrow may be displayed at the edge of the image as shown in FIG. preferable.
[0047]
In this case, the user of another mobile phone desiring to display an image in a region other than the region represented by the transmitted correction region image data SR1 scrolls the displayed image using the cross key and displays the image. Specify the area you want. Note that areas other than the area corresponding to the transmitted correction area image data SR1 are displayed in white, for example. Then, when an area to be displayed is designated and a message to that effect is transmitted to the image server 2, area image data SR0 corresponding to the area is generated from the image data S0, and the area image data SR0 is corrected to obtain corrected area image data. SR1 is generated and transmitted to another mobile phone. As a result, in other mobile phones, a desired area is displayed on the display unit without distortion.
[0048]
In the first embodiment, the distortion characteristic information H0 is read from the characteristic storage unit 23 based on the model information of the camera-equipped mobile phone 1. However, in the camera-equipped mobile phone 1, a telephone call is made according to the model. A number is allocated. Therefore, the correspondence relationship between the phone number and the model is stored in the characteristic information storage unit 23, and the phone number of the camera-equipped mobile phone 1 is transmitted to the image server 2 together with the image data S0 in place of the model information. The distortion characteristic information H0 of the model corresponding to the telephone number may be read from the characteristic storage unit 23 with reference to the relationship.
[0049]
Next, a second embodiment of the present invention will be described. FIG. 6 is a schematic block diagram showing the configuration of an image transmission system to which the image correction apparatus according to the second embodiment of the present invention is applied. In the second embodiment, the same components as those in the first embodiment are denoted by the same reference numerals, and detailed description thereof is omitted.
[0050]
In the second embodiment, instead of transmitting the image data S0 from the camera-equipped mobile phone 1, the camera-equipped mobile phone 1 generates the region image data SR0 and transmits it to the image server 2. This is different from the first embodiment. Therefore, in the second embodiment, instead of the area information generation unit 16 in the first embodiment in the camera-equipped mobile phone 1, area image data SR0 representing an area including a specified area is generated from the image data S0. The area image generating unit 17 is provided, and the area image generating unit 24 is omitted from the image server 2. The area image generation unit 17 has the same function as the area image generation unit 24 provided in the image server 2 in the first embodiment. In the second embodiment, the model information of the camera-equipped mobile phone 1 is transmitted to the image server 2 by being added to the tag information of the region image data SR0, for example.
[0051]
Similar to the region information generation unit 16 in the first embodiment, the region image generation unit 17 is designated by the user of the camera-equipped mobile phone 1 using the key input unit 13 on the image displayed on the display unit 12. Area information R0 representing the area is generated. Then, similarly to the region image generation unit 24 of the image server 2 in the first embodiment, the region image data SR0 corresponding to the region specified based on the region information R0 is generated from the image data S0.
[0052]
Next, the operation of the second embodiment will be described. FIG. 7 is a flowchart showing processing performed in the second embodiment. First, the subject 11 is picked up by the camera 11A of the image pickup unit 11 to obtain picked-up image data, and the image processing unit 11B performs image processing on the picked-up image data to obtain the image data S0 (Step S1). S21). Subsequently, the image data S0 is displayed on the display unit 12 (step S22). Then, it is determined whether or not an area has been designated by the user (step S23). When step S3 is affirmed, area image data SR0 representing an area including the area designated by the area image generation unit 17 is generated. (Step S24). Next, it is determined whether or not the user has instructed transmission of the image data S0 to the image server 2 (step S25). When step S25 is affirmed, the communication unit 14 transmits the region image data SR0 to the image server 2. (Step S26).
[0053]
In the image server 2, the area image data SR0 is received by the communication unit 21 and temporarily stored in the storage unit 22 (step S27). Subsequently, based on the model information of the camera-equipped mobile phone 1 transmitted together with the area image data SR0, the distortion characteristic information H0 corresponding to the model is read from the characteristic storage unit 23 (step S28), and image correction is performed. The region image data SR0 is read from the storage unit 22 by the unit 25, the region image data SR0 is corrected based on the distortion characteristic information H0, and corrected region image data SR1 is generated (step S29). The correction area image data SR1 is transmitted to the camera-equipped mobile phone 1 by the communication unit 21 (step S30).
[0054]
The camera-equipped mobile phone 1 receives the correction area image data SR1 (step S31), and this is displayed on the display unit 12 (step S32), and the process ends.
[0055]
As described above, in the second embodiment, the region image data SR0 is geometrically corrected based on the camera distortion characteristic information H0 provided in the camera-equipped mobile phone 1, and the corrected region image data SR1 is converted into the camera. Since the information is transmitted to the mobile phone 1 with a camera, the mobile phone 1 with a camera can display an image in which the geometric distortion of the camera 11 is corrected on the display unit 12. In addition, since only the image in the designated area is displayed on the display unit 12 of the camera-equipped mobile phone 1, a clearer image can be displayed on the camera-equipped mobile phone 1 than when the entire image is reduced and displayed. it can.
[0056]
Further, the camera-equipped mobile phone 1 is obtained by transmitting region image data SR0 representing only a partial region of the image represented by the image data S0 acquired by imaging and correcting the region image data SR0. Since it suffices to receive the correction amount area image data SR1, it is possible to reduce the communication cost as compared with the case where the entire image data S0 is transmitted and the image data obtained by correcting the entire image data S0 is received. In particular, since the charge system for mobile phones is a packet system in which charges are added according to the transmitted and received data capacity, the effect of reducing the communication cost by reducing the data capacity is very large.
[0057]
In the first and second embodiments, the region image data SR0 is corrected based on the distortion characteristic information H0. However, the distortion characteristic of the camera lens is calculated only from the image data acquired by the camera. A method has been proposed (Blind removal of lens distortion, Hany Farid and Alin C. Popescu, Optical Society of America, A / Vol.18, No.9 / September 2001, pp2072-2077). Accordingly, instead of the distortion characteristic information H0 stored in the characteristic storage unit 23, the distortion characteristic information is calculated from the area image data SR0, and the area image data SR0 is corrected based on the calculated distortion characteristic information, thereby correcting the corrected area image. Data SR1 may be generated.
[Brief description of the drawings]
FIG. 1 is a schematic block diagram showing a configuration of an image transmission system to which an image correction apparatus according to a first embodiment of the present invention is applied.
FIG. 2 is a diagram showing a cursor displayed on the display unit
FIG. 3A is a diagram showing a projected image obtained by polar coordinate projection on an imaging device, and FIG. 3B is an image represented by corrected area image data SR1 obtained by converting the area image data into XY orthogonal coordinates. Illustration
FIG. 4 is a diagram showing arrows displayed on the display unit.
FIG. 5 is a flowchart showing processing performed in the first embodiment.
FIG. 6 is a schematic block diagram showing a configuration of an image transmission system to which an image correction apparatus according to a second embodiment of the present invention is applied.
FIG. 7 is a flowchart showing processing performed in the second embodiment.
[Explanation of symbols]
1 Mobile phone with camera
2 Image server
3 Public line
11 Imaging unit
11A camera
11B Image processing unit
12 Display section
13 Key input section
14,21 Communication Department
15,22 storage unit
16 Area information generator
17, 24 Region image generator
23 Characteristic storage
25 Image correction unit

Claims

An image correction method for correcting geometric distortion of an image represented by image data acquired in a camera-equipped mobile terminal device,
In the mobile terminal device with a camera, region information representing an area specified on the image by a coordinate system corresponding to a pixel position of an imaging device included in the mobile terminal device with a camera, model information of the mobile terminal device with a camera, and Obtaining the image data;
Based on the region information, generating region image data corresponding to the designated region from the image data,
Pixels of the imaging device based on distortion characteristic information corresponding to the acquired model information among a plurality of distortion characteristic information representing the distortion characteristics of the camera stored according to the model of the camera-equipped mobile terminal device Correcting the region image data specified by the coordinate system corresponding to the position to generate corrected region image data,
An image correction method comprising transmitting the correction area image data to the camera-equipped mobile terminal device.

Furthermore, obtaining other region information representing another region different from the region represented by the region information,
Based on the other area information, generate other area image data corresponding to the other area from the image data,
Based on distortion characteristic information representing distortion characteristics of the camera, the other area image data is geometrically corrected to generate other correction area image data,
The image correction method according to claim 1, wherein the other correction area image data is transmitted to the camera-equipped mobile terminal device.

An image correction method for correcting geometric distortion of an image represented by image data acquired in a camera-equipped mobile terminal device,
Region image data corresponding to a region designated on the image by a coordinate system corresponding to a pixel position of an imaging device included in the camera-equipped mobile terminal device generated in the camera-equipped mobile terminal device, and the camera-equipped mobile terminal Get device model information,
Pixels of the imaging device based on distortion characteristic information corresponding to the acquired model information among a plurality of distortion characteristic information representing the distortion characteristics of the camera stored according to the model of the camera-equipped mobile terminal device Correcting the region image data specified by the coordinate system corresponding to the position to generate corrected region image data,
An image correction method comprising transmitting the correction area image data to the camera-equipped mobile terminal device.

An image correction device that corrects geometric distortion of an image represented by image data acquired in a mobile terminal device with a camera,
In the mobile terminal device with a camera, region information representing an area specified on the image by a coordinate system corresponding to a pixel position of an imaging device included in the mobile terminal device with a camera, model information of the mobile terminal device with a camera, and Obtaining means for obtaining the image data;
Area image generation means for generating area image data corresponding to the specified area from the image data based on the area information;
Characteristic storage means for storing a plurality of distortion characteristic information representing distortion characteristics of the camera according to the model of the camera-equipped mobile terminal device;
Based on the distortion characteristic information corresponding to the acquired model information among the plurality of distortion characteristic information, the region image data designated by the coordinate system corresponding to the pixel position of the imaging device is geometrically corrected. Image correction means for generating correction area image data,
An image correction apparatus comprising: transmission means for transmitting the correction area image data to the camera-equipped mobile terminal device.

The acquisition unit is a unit that further acquires other region information representing another region different from the region represented by the region information,
The area image generation means is means for generating other area image data corresponding to the other area from the image data based on the other area information.
The image correcting means is means for geometrically correcting the other area image data based on distortion characteristic information representing distortion characteristics of the camera to generate other correction area image data,
5. The image correction apparatus according to claim 4, wherein the transmission means is means for transmitting the other correction area image data to the camera-equipped mobile terminal device.

An image correction device that corrects geometric distortion of an image represented by image data acquired in a mobile terminal device with a camera,
Region image data corresponding to a region designated on the image by a coordinate system corresponding to a pixel position of an imaging device included in the camera-equipped mobile terminal device generated in the camera-equipped mobile terminal device, and the camera-equipped mobile terminal Acquisition means for acquiring device model information;
Characteristic storage means for storing a plurality of distortion characteristic information representing distortion characteristics of the camera according to the model of the camera-equipped mobile terminal device;
Based on the distortion characteristic information corresponding to the acquired model information among the plurality of distortion characteristic information, the region image data designated by the coordinate system corresponding to the pixel position of the imaging device is geometrically corrected. Image correction means for generating correction area image data,
An image correction apparatus comprising: transmission means for transmitting the correction area image data to the camera-equipped mobile terminal device.

A program for causing a computer to execute an image correction method for correcting geometric distortion of an image represented by image data acquired in a mobile terminal device with a camera,
In the mobile terminal device with a camera, region information representing an area specified on the image by a coordinate system corresponding to a pixel position of an imaging device included in the mobile terminal device with a camera, model information of the mobile terminal device with a camera, and Obtaining the image data;
Generating region image data corresponding to the designated region from the image data based on the region information;
Pixels of the imaging device based on distortion characteristic information corresponding to the acquired model information among a plurality of distortion characteristic information representing the distortion characteristics of the camera stored according to the model of the camera-equipped mobile terminal device A procedure for generating corrected region image data by geometrically correcting the region image data designated by a coordinate system corresponding to a position ;
And a procedure of transmitting the correction area image data to the camera-equipped mobile terminal device.

Furthermore, a procedure for acquiring other region information representing another region different from the region represented by the region information;
Generating other area image data corresponding to the other area from the image data based on the other area information;
A procedure for geometrically correcting the other area image data to generate other corrected area image data based on distortion characteristic information representing distortion characteristics of the camera;
The program according to claim 7, further comprising: a step of transmitting the other correction area image data to the mobile terminal device with a camera.

A program for causing a computer to execute an image correction method for correcting geometric distortion of an image represented by image data acquired in a mobile terminal device with a camera,
Region image data corresponding to a region designated on the image by a coordinate system corresponding to a pixel position of an imaging device included in the camera-equipped mobile terminal device generated in the camera-equipped mobile terminal device, and the camera-equipped mobile terminal A procedure for obtaining device model information;
Pixels of the imaging device based on distortion characteristic information corresponding to the acquired model information among a plurality of distortion characteristic information representing the distortion characteristics of the camera stored according to the model of the camera-equipped mobile terminal device A procedure for generating corrected region image data by geometrically correcting the region image data designated by a coordinate system corresponding to a position ;
And a procedure of transmitting the correction area image data to the camera-equipped mobile terminal device.