JP3520041B2 - 画像のあおり補正方法、画像のあおり補正装置およびあおり補正用プログラムを記録したコンピュータ読み取り可能な記録媒体 - Google Patents

画像のあおり補正方法、画像のあおり補正装置およびあおり補正用プログラムを記録したコンピュータ読み取り可能な記録媒体

Info

Publication number
JP3520041B2
JP3520041B2 JP2000330716A JP2000330716A JP3520041B2 JP 3520041 B2 JP3520041 B2 JP 3520041B2 JP 2000330716 A JP2000330716 A JP 2000330716A JP 2000330716 A JP2000330716 A JP 2000330716A JP 3520041 B2 JP3520041 B2 JP 3520041B2
Authority
JP
Japan
Prior art keywords
line segment
user
end points
tilt correction
line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2000330716A
Other languages
English (en)
Other versions
JP2002133407A (ja
Inventor
晴雄 畑中
直樹 千葉
浩 蚊野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sanyo Electric Co Ltd
Original Assignee
Sanyo Electric Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sanyo Electric Co Ltd filed Critical Sanyo Electric Co Ltd
Priority to JP2000330716A priority Critical patent/JP3520041B2/ja
Publication of JP2002133407A publication Critical patent/JP2002133407A/ja
Application granted granted Critical
Publication of JP3520041B2 publication Critical patent/JP3520041B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Landscapes

  • Image Processing (AREA)

Description

【発明の詳細な説明】
【0001】
【発明の属する技術分野】この発明は、画像のあおり補
正方法、画像のあおり補正装置およびあおり補正用プロ
グラムを記録したコンピュータ読み取り可能な記録媒体
に関する。
【0002】
【従来の技術】たとえば、図1(a)に示すような建築
物を下から撮像した場合には、撮像画像は、図1(b)
示すように、建築物の鉛直線が斜めに傾いた画像(”あ
おり”のある画像)となる。
【0003】そこで、従来は、特殊なレンズを用いて建
築物を撮像することによって、建築物中の鉛直線がすべ
て平行となるような画像を得ている。しかしながら、従
来方法は、特殊なレンズが必要となるため、撮像機器が
高価となるいう問題がある。
【0004】そこで、本出願人は、通常のデジタルカメ
ラで撮像された”あおり”のある画像から、”あおり”
のない画像を簡単な操作で生成することができる、画像
のあおり補正方法を既に開発して、特許出願している
(平成11年特許願第257185号)。
【0005】本出願人が既に開発している画像のあおり
補正方法(以下、従来手法という)は、以下のステップ
を備えている。
【0006】(1)表示器に表示された原画像から、本
来的には地上に垂直でかつ互いに平行となるべき2つの
線分を、各線分について2つの端点を指定させることに
より、ユーザに指定させる第1ステップ。 (2)ユーザによって指定された第1の線分の中点を通
る垂直線に、第1の線分の両端点を投影することによっ
て得られる、両端点に対応する2つの点の座標を求める
第2ステップ。 (3)ユーザによって指定された第2の線分を通る垂直
線に、第2の線分の両端点を投影することによって得ら
れる、両端点に対応する2つの点の座標を求める第3ス
テップ。 (4)第1の線分の両端点および第2の線分の両端点
が、第2ステップおよび第3ステップで求められた対応
点に変換されるような透視変換行列を求める第4ステッ
プ。 (5)第4ステップで求められた透視変換行列に基づい
て、原画像を透視変換する第5ステップ。
【0007】従来手法では、図2に示すように、建築物
を正面から撮像することによって得られた原画像100
に対して、第1の線分101および第2の線分102を
ユーザに指定させることにより、補正後の画像110が
得られる。
【0008】しかしながら、原画像内の建築物が正面か
ら撮像された画像である場合において、ユーザによって
指定された第1の線分の中点とユーザによって指定され
た第2の線分の中点との高さが異なると、補正後の画像
は、原画像の水平度を維持できず、建築物として違和感
のある画像となってしまうことが判明した。
【0009】つまり、図3または図4に示すように、建
築物の一方または両方の側線が木によって隠れている場
合には、第1の線分101と第2の線分102とは図3
または図4に示すように設定されることが多く、このた
め、両線分101、102の中点M1、M2の高さが異
なってしまう。そうすると、補正後の画像110は、図
3または図4に示すように、原画像の水平度を維持でき
ない画像となってしまう。
【0010】これに対して、建築物を正面以外から撮像
することによって得られた原画像に対して、従来手法に
よって補正を行なう場合には、第1の線分の中点と第2
の線分の中点との高さが異なっても、違和感のない画像
が得られる。
【0011】図5は、建築物を正面以外から撮像するこ
とによって得られた原画像に対して、従来手法によって
補正を行なった場合であって、第1の線分の中点と第2
の線分の中点との高さが同じ場合の例を示している。こ
の場合には、建築物を正面以外から撮像することによっ
て得られた原画像100に対して、第1の線分101お
よび第2の線分102をユーザに指定させることによ
り、補正後の画像110が得られる。
【0012】図6または図7は、建築物を正面以外から
撮像することによって得られた原画像に対して、従来手
法によって補正を行なった場合であって、第1の線分の
中点と第2の線分の中点との高さが異なる場合の例を示
している。図6または図7に示すように、建築物の一方
または両方の側線が木によって隠れている場合には、第
1の線分101と第2の線分102とは図6または図7
に示すように設定されることが多く、このため、両線分
101、102の中点M1、M2の高さが異なるように
なる。この場合には、補正後の画像110は、図6また
は図7に示すように原画像の水平度は維持されないが、
建築物は正面以外から撮像されているため、奥行感とし
て吸収されるため、違和感のない画像として認識され
る。
【0013】
【発明が解決しようとする課題】以上のように、従来手
法では、原画像内の建築物が正面から撮像された画像で
ある場合において、ユーザによって指定された第1の線
分の中点と第2の線分の中点との高さが異なると、補正
後の画像は、原画像の水平度を維持できず、建築物とし
て違和感のある画像となってしまう。そこで、原画像が
正面から撮像された画像である場合において、第1の線
分の中点と第2の線分の中点との高さが合致するよう
に、ユーザに目測で第1の線分と第2の線分とを指定さ
せるようにすることが考えられる。
【0014】しかしながら、このようにすると、ユーザ
は目測によって2つの線分の中点の高さが合致するよう
に、2つの線分を指定しなければならなくなるため、2
つの線分の指定に手間が係るという問題がある。また、
目測で2つの線分の中点の高さを合致させているため、
原画像の水平度の維持精度が低いという問題がある。ま
た、たとえば、図3に示すように、建築物の一方の側線
が木によって隠れている場合には、第1の線分の中点と
第2の線分の中点との高さを合致させるためには、線分
を短く設定せざるを得ないので、本来的には地上に垂直
でかつ互いに平行となるべき線分を正確に設定しにくく
なるという問題がある。
【0015】この発明は、原画像内のあおり補正対象物
体が正面から撮像されたものである場合に、あおりの無
い画像であって、原画像の水平度を維持できる画像を生
成できる画像のあおり補正装置およびあおり補正用プロ
グラムを記録したコンピュータ読み取り可能な記録媒体
を提供することを目的とする。また、この発明は、上記
問題を解消できる画像のあおり補正装置およびあおり補
正用プログラムを記録したコンピュータ読み取り可能な
記録媒体を提供することを目的とする。
【0016】
【課題を解決するための手段】この発明による第1の画
像のあおり補正装置は、表示器に表示された原画像か
ら、本来的には地上に垂直でかつ互いに平行となるべき
2つの線分を、各線分について2つの端点を指定させる
ことにより、ユーザに指定させるための第1手段、ユー
ザによって指定された第1の線分の中点を通る垂直線
に、第1の線分の両端点を投影することによって得られ
る、両端点に対応する2つの点の座標を求める第2手
段、ユーザによって指定された第2の線分の中点を通る
垂直線に、第2の線分の両端点を投影することによって
得られる、両端点に対応する2つの点の座標を求める第
3手段、第1の線分の両端点および第2の線分の両端点
が、第2手段および第3手段で求められた対応点に変換
されるような透視変換行列を求める第4手段、ならびに
第4手段で求められた透視変換行列に基づいて、原画像
を透視変換する第5手段を備えている画像のあおり補正
装置において、ユーザによって指定された2つの線分の
傾き角に基づいて、原画像内のあおり補正対象物体が正
面から撮像されたものであるか正面以外から撮像された
ものであるかを判定する手段、原画像内のあおり補正対
象物体が正面以外から撮像されたものであると判定され
たときには、ユーザによって指定された2つの線分に基
づいて、上記第2手段〜第5手段による処理を実行させ
る手段、ならびに、原画像内のあおり補正対象物体が正
面から撮像されたものであると判定されたときには、ユ
ーザによって指定された2つの線分の上端点の高さ位置
が一致するように一方の線分を延長するとともに、ユー
ザによって指定された2つの線分の下端点の高さ位置が
一致するように一方の線分を延長するといった線分変更
処理を行った後、上記第2手段〜第5手段による処理を
実行させる手段を備えていることを特徴とする。
【0017】この発明による第2の画像のあおり補正装
置は、表示器に表示された原画像から、本来的には地上
に垂直でかつ互いに平行となるべき2つの線分を、各線
分について2つの端点を指定させることにより、ユーザ
に指定させるための第1手段、ユーザによって指定され
た第1の線分の中点を通る垂直線に、第1の線分の両端
点を投影することによって得られる、両端点に対応する
2つの点の座標を求める第2手段、ユーザによって指定
された第2の線分の中点を通る垂直線に、第2の線分の
両端点を投影することによって得られる、両端点に対応
する2つの点の座標を求める第3手段、第1の線分の両
端点および第2の線分の両端点が、第2手段および第3
手段で求められた対応点に変換されるような透視変換行
列を求める第4手段、ならびに第4手段で求められた透
視変換行列に基づいて、原画像を透視変換する第5手段
を備えている画像のあおり補正装置において、原画像内
のあおり補正対象物体が正面から撮像されたものである
か正面以外から撮像されたものであるかをユーザに判定
させて、その判定結果をユーザに入力させる手段、原画
像内のあおり補正対象物体が正面以外から撮像されたも
のであることを示す判定結果が入力されたときには、ユ
ーザによって指定された2つの線分に基づいて、上記第
2手段〜第5手段による処理を実行させる手段、ならび
に、原画像内のあおり補正対象物体が正面から撮像され
たものであることを示す判定結果が入力されたときに
は、ユーザによって指定された2つの線分の上端点の高
さ位置が一致するように一方の線分を延長するととも
に、ユーザによって指定された2つの線分の下端点の高
さ位置が一致するように一方の線分を延長するといった
線分変更処理を行なった後に、上記第2手段〜第5手段
による処理を実行させる手段を備えていることを特徴と
する。
【0018】この発明による第3の画像のあおり補正装
置は、表示器に表示された原画像から、本来的には地上
に垂直でかつ互いに平行となるべき2つの線分を、各線
分について2つの端点を指定させることにより、ユーザ
に指定させるための第1手段、ユーザによって指定され
た第1の線分の中点を通る垂直線に、第1の線分の両端
点を投影することによって得られる、両端点に対応する
2つの点の座標を求める第2手段、ユーザによって指定
された第2の線分の中点を通る垂直線に、第2の線分の
両端点を投影することによって得られる、両端点に対応
する2つの点の座標を求める第3手段、第1の線分の両
端点および第2の線分の両端点が、第2手段および第3
手段で求められた対応点に変換されるような透視変換行
列を求める第4手段、ならびに第4手段で求められた透
視変換行列に基づいて、原画像を透視変換する第5手段
を備えている画像のあおり補正装置において、ユーザに
よって指定された2つの線分の傾き角に基づいて、原画
像内のあおり補正対象物体が正面から撮像されたもので
あるか正面以外から撮像されたものであるかを判定し、
その判定結果を表示する判定手段、ユーザが上記判定結
果を変更したい場合に、上記判定結果をユーザに変更さ
せるための変更手段、判定手段によって得られた判定結
果または変更手段による変更後の判定結果を、ユーザに
確定させるための手段、原画像内のあおり補正対象物体
が正面以外から撮像されたものであることを示す判定結
果がユーザによって確定された場合には、ユーザによっ
て指定された2つの線分に基づいて、上記第2手段〜第
5手段による処理を実行させる手段、ならびに、原画像
内のあおり補正対象物体が正面から撮像されたものであ
ることを示す判定結果がユーザによって確定された場合
には、ユーザによって指定された2つの線分の上端点の
高さ位置が一致するように一方の線分を延長するととも
に、ユーザによって指定された2つの線分の下端点の高
さ位置が一致するように一方の線分を延長するといった
線分変更処理を行なった後に、上記第2手段〜第5手段
による処理を実行させる手段を備えていることを特徴と
する。
【0019】この発明による第1のあおり補正用プログ
ラムを記録したコンピュータ読み取り可能な記録媒体
は、表示器に表示された原画像から、本来的には地上に
垂直でかつ互いに平行となるべき2つの線分を、各線分
について2つの端点を指定させることにより、ユーザに
指定させるための第1ステップ、ユーザによって指定さ
れた第1の線分の中点を通る垂直線に、第1の線分の両
端点を投影することによって得られる、両端点に対応す
る2つの点の座標を求める第2ステップ、ユーザによっ
て指定された第2の線分の中点を通る垂直線に、第2の
線分の両端点を投影することによって得られる、両端点
に対応する2つの点の座標を求める第3ステップ、第1
の線分の両端点および第2の線分の両端点が、第2ステ
ップおよび第3ステップで求められた対応点に変換され
るような透視変換行列を求める第4ステップ、ならびに
第4ステップで求められた透視変換行列に基づいて、原
画像を透視変換する第5ステップを、コンピュータに実
行させるためのあおり補正用プログラムを記録したコン
ピュータ読み取り可能な記録媒体において、ユーザによ
って指定された2つの線分の傾き角に基づいて、原画像
内のあおり補正対象物体が正面から撮像されたものであ
るか正面以外から撮像されたものであるかを判定するス
テップ、原画像内のあおり補正対象物体が正面以外から
撮像されたものであると判定されたときには、ユーザに
よって指定された2つの線分に基づいて、上記第2ステ
ップ〜第5ステップによる処理を実行させるステップ、
ならびに、原画像内のあおり補正対象物体が正面から撮
像されたものであると判定されたときには、ユーザによ
って指定された2つの線分の上端点の高さ位置が一致す
るように一方の線分を延長するとともに、ユーザによっ
て指定された2つの線分の下端点の高さ位置が一致する
ように一方の線分を延長するといった線分変更処理を行
なった後に、上記第2ステップ〜第5ステップによる処
理を実行させるステップをコンピュータに実行させるた
めのあおり補正用プログラムを記録していることを特徴
とする。
【0020】この発明による第2のあおり補正用プログ
ラムを記録したコンピュータ読み取り可能な記録媒体
は、表示器に表示された原画像から、本来的には地上に
垂直でかつ互いに平行となるべき2つの線分を、各線分
について2つの端点を指定させることにより、ユーザに
指定させるための第1ステップ、ユーザによって指定さ
れた第1の線分の中点を通る垂直線に、第1の線分の両
端点を投影することによって得られる、両端点に対応す
る2つの点の座標を求める第2ステップ、ユーザによっ
て指定された第2の線分の中点を通る垂直線に、第2の
線分の両端点を投影することによって得られる、両端点
に対応する2つの点の座標を求める第3ステップ、第1
の線分の両端点および第2の線分の両端点が、第2ステ
ップおよび第3ステップで求められた対応点に変換され
るような透視変換行列を求める第4ステップ、ならびに
第4ステップで求められた透視変換行列に基づいて、原
画像を透視変換する第5ステップを、コンピュータに実
行させるためのあおり補正用プログラムを記録したコン
ピュータ読み取り可能な記録媒体において、原画像内の
あおり補正対象物体が正面から撮像されたものであるか
正面以外から撮像されたものであるかをユーザに判定さ
せて、その判定結果をユーザに入力させるステップ、原
画像内のあおり補正対象物体が正面以外から撮像された
ものであることを示す判定結果が入力されたときには、
ユーザによって指定された2つの線分に基づいて、上記
第2ステップ〜第5ステップによる処理を実行させるス
テップ、ならびに、原画像内のあおり補正対象物体が正
面から撮像されたものであることを示す判定結果が入力
されたときには、ユーザによって指定された2つの線分
の上端点の高さ位置が一致するように一方の線分を延長
するとともに、ユーザによって指定された2つの線分の
下端点の高さ位置が一致するように一方の線分を延長す
るとった線分変更処理を行なった後に、上記第2ステッ
プ〜第5ステップによる処理を実行させるステップをコ
ンピュータに実行させるためのあおり補正用プログラム
を記録していることを特徴とする。
【0021】この発明による第3のあおり補正用プログ
ラムを記録したコンピュータ読み取り可能な記録媒体
は、表示器に表示された原画像から、本来的には地上に
垂直でかつ互いに平行となるべき2つの線分を、各線分
について2つの端点を指定させることにより、ユーザに
指定させるための第1ステップ、ユーザによって指定さ
れた第1の線分の中点を通る垂直線に、第1の線分の両
端点を投影することによって得られる、両端点に対応す
る2つの点の座標を求める第2ステップ、ユーザによっ
て指定された第2の線分の中点を通る垂直線に、第2の
線分の両端点を投影することによって得られる、両端点
に対応する2つの点の座標を求める第3ステップ、第1
の線分の両端点および第2の線分の両端点が、第2ステ
ップおよび第3ステップで求められた対応点に変換され
るような透視変換行列を求める第4ステップ、ならびに
第4ステップで求められた透視変換行列に基づいて、原
画像を透視変換する第5ステップを、コンピュータに実
行させるためのあおり補正用プログラムを記録したコン
ピュータ読み取り可能な記録媒体において、ユーザによ
って指定された2つの線分の傾き角に基づいて、原画像
内のあおり補正対象物体が正面から撮像されたものであ
るか正面以外から撮像されたものであるかを判定し、そ
の判定結果を表示する判定ステップ、ユーザが上記判定
結果を変更したい場合に、上記判定結果をユーザに変更
させるための変更ステップ、判定ステップによって得ら
れた判定結果または変更ステップによる変更後の判定結
果を、ユーザに確定させるためのステップ、原画像内の
あおり補正対象物体が正面以外から撮像されたものであ
ることを示す判定結果がユーザによって確定された場合
には、ユーザによって指定された2つの線分に基づい
て、上記第2ステップ〜第5手段による処理を実行させ
るステップ、ならびに、原画像内のあおり補正対象物体
が正面から撮像されたものであることを示す判定結果が
ユーザによって確定された場合には、ユーザによって指
定された2つの線分の上端点の高さ位置が一致するよう
に一方の線分を延長するとともに、ユーザによって指定
された2つの線分の下端点の高さ位置が一致するように
一方の線分を延長するといった線分変更処理を行なった
後に、上記第2ステップ〜第5手段による処理を実行さ
せるステップをコンピュータに実行させるためのあおり
補正用プログラムを記録していることを特徴とする。
【0022】
【発明の実施の形態】以下、この発明の実施の形態につ
いて説明する。
【0023】〔1〕第1の実施の形態の説明
【0024】図8は、画像のあおり補正装置の構成を示
している。
【0025】パーソナルコンピュータ10には、ディス
プレイ21、マウス22およびキーボード23が接続さ
れている。パーソナルコンピュータ10は、CPU1
1、メモリ12、ハードディスク13、CD−ROMの
ようなリムーバブルディスクのドライバ(ディスクドラ
イバ)14を備えている。
【0026】ハードディスク13には、OS(オペレー
ティングシステム)等の他、あおり補正用プログラムが
格納されている。あおり補正用プログラムは、それが格
納されたCD−ROM20を用いて、ハードディスク1
3にインストールされる。また、ハードディスク13に
は、デジタルカメラによって撮像されたあおり補正前の
画像が格納されているものとする。
【0027】図9は、あおり補正用プログラムが起動せ
しめられた場合にCPU11によって行われるあおり補
正処理手順を示している。
【0028】説明の便宜上、図10に示すあおりのある
画像(高さ方向の透視歪みのある画像)を、図11に示
すような、あおりを修正した画像(高さ方向の透視歪み
を修正した画像)に変換する場合を例にとって説明す
る。
【0029】まず、ユーザによって指定されたあおり補
正前の原画像(図10の画像)をメモリ12に読み込む
とともにディスプレイ21に表示する(ステップ1)。
【0030】次に、図12に示すように、ユーザは、マ
ウス22を用いて、表示された画像において、地面に垂
直でかつ互いに平行となるべき2本の線分L1、L2
を、各線分毎に2点の端点を指定することによって選択
する。線分L1の両端点をA、Bとし、線分L2の両端
点をC、Dとする。
【0031】ユーザによって、2本の線分L1、L2が
指定されると(ステップ2)、原画像内のあおり補正対
象物体が正面から撮像された画像であるか正面以外から
撮像された画像であるかを判定するために、画面上での
垂直線に対する線分L1の傾きθ1と画面上での垂直線
に対する線分L2の傾きθ2との角度差Δθが所定値T
h以内であるか否かを判定する(ステップ3)。所定値
Thとしては、たとえば、5度が設定される。
【0032】原画像内のあおり補正対象物体が正面から
撮像された建築物の画像である場合には、建築物の両側
線は左右対象となる場合が多いので、θ1とθ2とはほ
ぼ等しくなるため、それらの角度差Δθは所定値Th以
内となる。
【0033】θ1とθ2との角度差Δθが所定値Th以
内である場合には、原画像内のあおり補正対象物体が正
面から撮像された画像であると判断され、線分L1とL
2との上端点が一致するように一方の線分を延長してそ
の線分のデータ(その線分の端点のデータ)を更新する
とともに、線分L1とL2との下端点が一致するように
一方の線分を延長してその線分のデータ(その線分の端
点のデータ)を更新する(ステップ4)。そして、ステ
ップ5に移行する。
【0034】図12の例では、図13に示すように、線
分L2が延長せしめられることにより、線分L1とL2
との上端点および下端点とが一致せしめられる。これに
より、線分L2の端点C、Dのデータが更新される。
【0035】上記ステップ3において、θ1とθ2との
角度差Δθが所定値Thより大きいと判定された場合に
は、原画像内のあおり補正対象物体が正面以外から撮像
された画像であると判断され、ステップ4の処理を行な
うことなく、ステップ5に移行する。
【0036】ステップ5では、線分L1の両端点A、B
の座標から、線分L1の中点M1の座標を求めるととも
に、線分L2の両端点C、Dの座標から、線分L2の中
点M2の座標を求める。図14は、図13に基づいて、
線分L1の中点M1および線分L2の中点M2の座標が
求められる例を示している。
【0037】線分L1の端点Aの座標を(xA ,yA
とし、線分L1の端点Bの座標を(xB ,yB )とする
と、線分L1の中点M1の座標(xM1,yM1)は、次の
数式1に基づいて算出される。
【0038】
【数1】
【0039】線分L2の端点Cの座標を(xC ,yC
とし、線分L2の端点Dの座標を(xD ,yD )とする
と、線分L2の中点M2の座標(xM2,yM2)は、次の
数式2に基づいて算出される。
【0040】
【数2】
【0041】次に、図14および図15に示すように、
線分L1の中点M1を通る垂直な線分N1に、線分L1
の両端点A、Bを投影した点a、bの座標を算出する。
同様に、線分L2の中点M2を通る垂直な線分N2に、
線分L2の両端点C、Dを投影した点c、dの座標を算
出する(ステップ6)。
【0042】点aの座標を(xa ,ya )、点bの座標
を(xb ,yb )、点cの座標を(xc ,yc )、点d
の座標を(xd ,yd )とすると、xa 、ya 、xb
b、xc 、yc 、xd およびyd は、次の数式3に基
づいて算出される。
【0043】
【数3】
【0044】次に、点A、B、C、Dが、それぞれ点
a、b、c、dに変換されるような透視変換行列を算出
する(ステップ7)。この透視変換行列は、4点の対応
点から計算できることが知られている。透視変換行列H
は、次の数式4に示すように、3行3列の行列で表され
る。
【0045】
【数4】
【0046】数式4の行列は、その要素の比だけが問題
となるので、点p(x,y)から点p’(x’,y’)
への変換は、同次座標を使って、次の数式5で記述され
る。
【0047】
【数5】
【0048】数式5を書き換えると、次の数式6とな
る。
【0049】
【数6】
【0050】数式6をさらに書き換えると、次の数式7
となる。
【0051】
【数7】
【0052】4組の対応点を考えて、それらを連立させ
ると、次の数式8を得る。
【0053】
【数8】
【0054】数式8の左辺の最初の8×8の行列をA、
左辺の列ベクトルをM、右辺の列ベクトルをbとする
と、数式8は次の数式9に書き換えられる。
【0055】
【数9】
【0056】ここで、求めたいのは、列ベクトルMであ
るので、通常の行列演算によって、列ベクトルMは、次
の数式10に基づいて算出することができる。
【0057】
【数10】
【0058】そして、得られた透視変換行列を用いて、
原画像を透視変換する(ステップ8)。具体的には、上
記数式10で求められたm1 〜m8 と、上記数式6の変
換式とを用いて、原画像を透視変換する。これにより、
図11に示すような、あおりが修正された画像が得られ
る。
【0059】なお、図9のステップ3では、θ1とθ2
とを比較することにより、原画像内のあおり補正対象物
体が正面から撮像された画像であるか正面以外から撮像
された画像であるかを自動的に判定しているが、原画像
内のあおり補正対象物体が正面から撮像された画像であ
るか正面以外から撮像された画像であるかをユーザに判
定させ、その判定結果をユーザに入力させるようにして
もよい。
【0060】〔2〕第2の実施の形態の説明
【0061】画像のあおり補正装置の構成は第1の実施
の形態と同じである。第2の実施の形態では、あおり補
正処理が第1の実施の形態と異なっている。
【0062】図16は、あおり補正用プログラムが起動
せしめられた場合にCPU11によって行われるあおり
補正処理手順を示している。
【0063】まず、ユーザによって指定されたあおり補
正前の原画像(図10の画像)をメモリ12に読み込む
とともにディスプレイ21に表示する(ステップ1
1)。
【0064】次に、ユーザは、たとえば、図12に示す
ように、マウス22を用いて、表示された画像におい
て、地面に垂直でかつ互いに平行となるべき2本の線分
L1、L2を、各線分毎に2点の端点を指定することに
よって選択する。
【0065】ユーザによって、2本の線分L1、L2が
指定されると(ステップ12)、原画像内のあおり補正
対象物体が正面から撮像された画像であるか正面以外か
ら撮像された画像であるかを判定するために、画面上で
の垂直線に対する線分L1の傾きθ1と画面上での垂直
線に対する線分L2の傾きθ2との角度差Δθが所定値
Th以内であるか否かを判定し(ステップ13)、その
判定結果を表示するためのチェックボックスと確認用の
OKボタンとを表示する。
【0066】θ1とθ2との角度差Δθが所定値Th以
内である場合には、原画像内のあおり補正対象物体が正
面から撮像された画像であると判定され、チェックが入
った状態でチェックボックスが表示される(ステップ1
4)。ユーザは、原画像内のあおり補正対象物体が正面
から撮像された画像であるとの判定結果に従う場合に
は、チェックボックスをクリックすることなくOKボタ
ンを押し、その判定結果を変更したい場合には、チェッ
クボックスをクリックすることにより、チェックを外し
た後、OKボタンを押す。
【0067】チェックボックス内にチェックが入った状
態でOKボタンが押された場合には(ステップ15でY
ES)、ステップ20に移行する。チェックボックス内
のチェックが外された後にOKボタンが押された場合に
は(ステップ16でYES)、ステップ21に移行す
る。
【0068】上記ステップ13において、θ1とθ2と
の角度差Δθが所定値Thより大きいと判定された場合
には、原画像内のあおり補正対象物体が正面以外から撮
像された画像であると判定され、チェックが入ってない
状態でチェックボックスが表示される(ステップ1
7)。ユーザは、原画像内のあおり補正対象物体が正面
以外から撮像された画像であるとの判定結果に従う場合
には、チェックボックスをクリックすることなくOKボ
タンを押し、その判定結果を変更したい場合には、チェ
ックボックスをクリックすることにより、チェックを入
れた後、OKボタンを押す。
【0069】チェックボックス内にチェックが入ってい
ない状態でOKボタンが押された場合には(ステップ1
8でYES)、ステップ21に移行する。チェックボッ
クス内にチェックが入れられた後にOKボタンが押され
た場合には(ステップ19でYES)、ステップ20に
移行する。
【0070】ステップ20では、線分L1とL2との上
端点が一致するように一方の線分を延長してその線分の
データ(その線分の端点のデータ)を更新するととも
に、線分L1とL2との下端点が一致するように一方の
線分を延長してその線分のデータ(その線分の端点のデ
ータ)を更新する。そして、ステップ21に移行する。
【0071】ステップ21〜24の処理内容は、図9の
ステップ5〜8の処理内容と同じなので、その説明を省
略する。
【0072】
【発明の効果】この発明によれば、原画像内のあおり補
正対象物体が正面から撮像されたものである場合に、あ
おりの無い画像であって、原画像の水平度を維持できる
画像を生成できるようになる。
【0073】また、この発明によれば、第1の線分の中
点と第2の線分の中点との高さを目視ではなく計算によ
って合致させているため、目視で第1の線分の中点と第
2の線分の中点との高さを合致させる場合に比べて、ユ
ーザの手間が省けるとともに、原画像の水平度の維持精
度が高くなる。
【0074】また、この発明によれば、第1の線分の中
点と第2の線分の中点との高さを合致させるために、ユ
ーザに線分を短く設定させる必要がないため、本来的に
は地上に垂直でかつ互いに平行となるべき線分を正確に
設定できるようになる。
【図面の簡単な説明】
【図1】通常のカメラで建築物を撮像した場合に、建築
物の鉛直線が斜めに傾いた画像(”あおり”のある画
像)が得られることを示す模式図である。
【図2】原画像が建築物を正面から撮像することによっ
て得られた画像である場合に、従来手法によって得られ
るあおり補正後の画像を示す模式図である。
【図3】原画像内の建築物が正面から撮像された画像で
ある場合において、第1の線分の中点と第2の線分の中
点との高さが異なった場合に、従来手法では、違和感の
ある画像が得られることを示す模式図である。
【図4】原画像内の建築物が正面から撮像された画像で
ある場合において、第1の線分の中点と第2の線分の中
点との高さが異なった場合に、従来手法では、違和感の
ある画像が得られることを示す模式図である。
【図5】原画像が建築物を正面以外から撮像することに
よって得られた画像である場合に、従来手法によって得
られるあおり補正後の画像を示す模式図である。
【図6】原画像内の建築物が正面以外から撮像された画
像である場合には、第1の線分の中点と第2の線分の中
点との高さが異なっても、違和感のない画像が得られる
ことを示す模式図である。
【図7】原画像内の建築物が正面以外から撮像された画
像である場合には、第1の線分の中点と第2の線分の中
点との高さが異なっても、違和感のない画像が得られる
ことを示す模式図である。
【図8】画像のあおり補正を行う装置の構成を示す模式
図である。
【図9】あおり補正用プログラムが起動せしめられた場
合にCPU11によって行われるあおり補正処理手順を
示すフローチャートである。
【図10】あおりのある画像の例を示す模式図である。
【図11】図10の画像に対して、あおりを修正した後
の画像を示す模式図である。
【図12】原画像上において、ユーザによって指定され
た2本の線分L1、L2を示す模式図である。
【図13】図9のステップ4の処理を説明するための模
式図である。
【図14】線分L1の中点M1および線分L2の中点M
2を示す模式図である。
【図15】線分L1の中点M1を通る線分N1に、線分
L1の端点A、Bを投影することによって得られる対応
点a、bを示す模式図である。
【図16】補正処理手順の他の例を示すフローチャート
である。
【符号の説明】
10 パーソナルコンピュータ 11 CPU 12 メモリ 13 ハードディスク 14 ディスクドライブ 21 ディスプレイ 22 マウス 23 キーボード
───────────────────────────────────────────────────── フロントページの続き (56)参考文献 特開 平8−161424(JP,A) 特開 平5−266161(JP,A) 特開 平10−13733(JP,A) 特開 平4−20809(JP,A) (58)調査した分野(Int.Cl.7,DB名) G06T 3/00 200 G06T 1/00 280 - 340

Claims (6)

    (57)【特許請求の範囲】
  1. 【請求項1】 表示器に表示された原画像から、本来的
    には地上に垂直でかつ互いに平行となるべき2つの線分
    を、各線分について2つの端点を指定させることによ
    り、ユーザに指定させるための第1手段、ユーザによっ
    て指定された第1の線分の中点を通る垂直線に、第1の
    線分の両端点を投影することによって得られる、両端点
    に対応する2つの点の座標を求める第2手段、ユーザに
    よって指定された第2の線分の中点を通る垂直線に、第
    2の線分の両端点を投影することによって得られる、両
    端点に対応する2つの点の座標を求める第3手段、第1
    の線分の両端点および第2の線分の両端点が、第2手段
    および第3手段で求められた対応点に変換されるような
    透視変換行列を求める第4手段、ならびに第4手段で求
    められた透視変換行列に基づいて、原画像を透視変換す
    る第5手段を備えている画像のあおり補正装置におい
    て、 ユーザによって指定された2つの線分の傾き角に基づい
    て、原画像内のあおり補正対象物体が正面から撮像され
    たものであるか正面以外から撮像されたものであるかを
    判定する手段、 原画像内のあおり補正対象物体が正面以外から撮像され
    たものであると判定されたときには、ユーザによって指
    定された2つの線分に基づいて、上記第2手段〜第5手
    段による処理を実行させる手段、ならびに、 原画像内のあおり補正対象物体が正面から撮像されたも
    のであると判定されたときには、ユーザによって指定さ
    れた2つの線分の上端点の高さ位置が一致するように一
    方の線分を延長するとともに、ユーザによって指定され
    た2つの線分の下端点の高さ位置が一致するように一方
    の線分を延長するといった線分変更処理を行った後、上
    記第2手段〜第5手段による処理を実行させる手段、 を備えていることを特徴とする画像のあおり補正装置。
  2. 【請求項2】 表示器に表示された原画像から、本来的
    には地上に垂直でかつ互いに平行となるべき2つの線分
    を、各線分について2つの端点を指定させることによ
    り、ユーザに指定させるための第1手段、ユーザによっ
    て指定された第1の線分の中点を通る垂直線に、第1の
    線分の両端点を投影することによって得られる、両端点
    に対応する2つの点の座標を求める第2手段、ユーザに
    よって指定された第2の線分の中点を通る垂直線に、第
    2の線分の両端点を投影することによって得られる、両
    端点に対応する2つの点の座標を求める第3手段、第1
    の線分の両端点および第2の線分の両端点が、第2手段
    および第3手段で求められた対応点に変換されるような
    透視変換行列を求める第4手段、ならびに第4手段で求
    められた透視変換行列に基づいて、原画像を透視変換す
    る第5手段を備えている画像のあおり補正装置におい
    て、 原画像内のあおり補正対象物体が正面から撮像されたも
    のであるか正面以外から撮像されたものであるかをユー
    ザに判定させて、その判定結果をユーザに入力させる手
    段、 原画像内のあおり補正対象物体が正面以外から撮像され
    たものであることを示す判定結果が入力されたときに
    は、ユーザによって指定された2つの線分に基づいて、
    上記第2手段〜第5手段による処理を実行させる手段、
    ならびに、 原画像内のあおり補正対象物体が正面から撮像されたも
    のであることを示す判定結果が入力されたときには、ユ
    ーザによって指定された2つの線分の上端点の高さ位置
    が一致するように一方の線分を延長するとともに、ユー
    ザによって指定された2つの線分の下端点の高さ位置が
    一致するように一方の線分を延長するといった線分変更
    処理を行なった後に、上記第2手段〜第5手段による処
    理を実行させる手段、 を備えていることを特徴とする画像のあおり補正装置。
  3. 【請求項3】 表示器に表示された原画像から、本来的
    には地上に垂直でかつ互いに平行となるべき2つの線分
    を、各線分について2つの端点を指定させることによ
    り、ユーザに指定させるための第1手段、ユーザによっ
    て指定された第1の線分の中点を通る垂直線に、第1の
    線分の両端点を投影することによって得られる、両端点
    に対応する2つの点の座標を求める第2手段、ユーザに
    よって指定された第2の線分の中点を通る垂直線に、第
    2の線分の両端点を投影することによって得られる、両
    端点に対応する2つの点の座標を求める第3手段、第1
    の線分の両端点および第2の線分の両端点が、第2手段
    および第3手段で求められた対応点に変換されるような
    透視変換行列を求める第4手段、ならびに第4手段で求
    められた透視変換行列に基づいて、原画像を透視変換す
    る第5手段を備えている画像のあおり補正装置におい
    て、 ユーザによって指定された2つの線分の傾き角に基づい
    て、原画像内のあおり補正対象物体が正面から撮像され
    たものであるか正面以外から撮像されたものであるかを
    判定し、その判定結果を表示する判定手段、 ユーザが上記判定結果を変更したい場合に、上記判定結
    果をユーザに変更させるための変更手段、 判定手段によって得られた判定結果または変更手段によ
    る変更後の判定結果を、ユーザに確定させるための手
    段、 原画像内のあおり補正対象物体が正面以外から撮像され
    たものであることを示す判定結果がユーザによって確定
    された場合には、ユーザによって指定された2つの線分
    に基づいて、上記第2手段〜第5手段による処理を実行
    させる手段、ならびに、 原画像内のあおり補正対象物体が正面から撮像されたも
    のであることを示す判定結果がユーザによって確定され
    た場合には、ユーザによって指定された2つの線分の上
    端点の高さ位置が一致するように一方の線分を延長する
    とともに、ユーザによって指定された2つの線分の下端
    点の高さ位置が一致するように一方の線分を延長すると
    いった線分変更処理を行なった後に、上記第2手段〜第
    5手段による処理を実行させる手段、 を備えていることを特徴とする画像のあおり補正装置。
  4. 【請求項4】 表示器に表示された原画像から、本来的
    には地上に垂直でかつ互いに平行となるべき2つの線分
    を、各線分について2つの端点を指定させることによ
    り、ユーザに指定させるための第1ステップ、ユーザに
    よって指定された第1の線分の中点を通る垂直線に、第
    1の線分の両端点を投影することによって得られる、両
    端点に対応する2つの点の座標を求める第2ステップ、
    ユーザによって指定された第2の線分の中点を通る垂直
    線に、第2の線分の両端点を投影することによって得ら
    れる、両端点に対応する2つの点の座標を求める第3ス
    テップ、第1の線分の両端点および第2の線分の両端点
    が、第2ステップおよび第3ステップで求められた対応
    点に変換されるような透視変換行列を求める第4ステッ
    プ、ならびに第4ステップで求められた透視変換行列に
    基づいて、原画像を透視変換する第5ステップを、コン
    ピュータに実行させるためのあおり補正用プログラムを
    記録したコンピュータ読み取り可能な記録媒体におい
    て、 ユーザによって指定された2つの線分の傾き角に基づい
    て、原画像内のあおり補正対象物体が正面から撮像され
    たものであるか正面以外から撮像されたものであるかを
    判定するステップ、 原画像内のあおり補正対象物体が正面以外から撮像され
    たものであると判定されたときには、ユーザによって指
    定された2つの線分に基づいて、上記第2ステップ〜第
    5ステップによる処理を実行させるステップ、ならび
    に、 原画像内のあおり補正対象物体が正面から撮像されたも
    のであると判定されたときには、ユーザによって指定さ
    れた2つの線分の上端点の高さ位置が一致するように一
    方の線分を延長するとともに、ユーザによって指定され
    た2つの線分の下端点の高さ位置が一致するように一方
    の線分を延長するといった線分変更処理を行なった後
    に、上記第2ステップ〜第5ステップによる処理を実行
    させるステップ、 をコンピュータに実行させるためのあおり補正用プログ
    ラムを記録したコンピュータ読み取り可能な記録媒体。
  5. 【請求項5】 表示器に表示された原画像から、本来的
    には地上に垂直でかつ互いに平行となるべき2つの線分
    を、各線分について2つの端点を指定させることによ
    り、ユーザに指定させるための第1ステップ、ユーザに
    よって指定された第1の線分の中点を通る垂直線に、第
    1の線分の両端点を投影することによって得られる、両
    端点に対応する2つの点の座標を求める第2ステップ、
    ユーザによって指定された第2の線分の中点を通る垂直
    線に、第2の線分の両端点を投影することによって得ら
    れる、両端点に対応する2つの点の座標を求める第3ス
    テップ、第1の線分の両端点および第2の線分の両端点
    が、第2ステップおよび第3ステップで求められた対応
    点に変換されるような透視変換行列を求める第4ステッ
    プ、ならびに第4ステップで求められた透視変換行列に
    基づいて、原画像を透視変換する第5ステップを、コン
    ピュータに実行させるためのあおり補正用プログラムを
    記録したコンピュータ読み取り可能な記録媒体におい
    て、 原画像内のあおり補正対象物体が正面から撮像されたも
    のであるか正面以外から撮像されたものであるかをユー
    ザに判定させて、その判定結果をユーザに入力させるス
    テップ、 原画像内のあおり補正対象物体が正面以外から撮像され
    たものであることを示す判定結果が入力されたときに
    は、ユーザによって指定された2つの線分に基づいて、
    上記第2ステップ〜第5ステップによる処理を実行させ
    るステップ、ならびに、 原画像内のあおり補正対象物体が正面から撮像されたも
    のであることを示す判定結果が入力されたときには、ユ
    ーザによって指定された2つの線分の上端点の高さ位置
    が一致するように一方の線分を延長するとともに、ユー
    ザによって指定された2つの線分の下端点の高さ位置が
    一致するように一方の線分を延長するとった線分変更処
    理を行なった後に、上記第2ステップ〜第5ステップに
    よる処理を実行させるステップ、 をコンピュータに実行させるためのあおり補正用プログ
    ラムを記録したコンピュータ読み取り可能な記録媒体。
  6. 【請求項6】 表示器に表示された原画像から、本来的
    には地上に垂直でかつ互いに平行となるべき2つの線分
    を、各線分について2つの端点を指定させることによ
    り、ユーザに指定させるための第1ステップ、ユーザに
    よって指定された第1の線分の中点を通る垂直線に、第
    1の線分の両端点を投影することによって得られる、両
    端点に対応する2つの点の座標を求める第2ステップ、
    ユーザによって指定された第2の線分の中点を通る垂直
    線に、第2の線分の両端点を投影することによって得ら
    れる、両端点に対応する2つの点の座標を求める第3ス
    テップ、第1の線分の両端点および第2の線分の両端点
    が、第2ステップおよび第3ステップで求められた対応
    点に変換されるような透視変換行列を求める第4ステッ
    プ、ならびに第4ステップで求められた透視変換行列に
    基づいて、原画像を透視変換する第5ステップを、コン
    ピュータに実行させるためのあおり補正用プログラムを
    記録したコンピュータ読み取り可能な記録媒体におい
    て、 ユーザによって指定された2つの線分の傾き角に基づい
    て、原画像内のあおり補正対象物体が正面から撮像され
    たものであるか正面以外から撮像されたものであるかを
    判定し、その判定結果を表示する判定ステップ、 ユーザが上記判定結果を変更したい場合に、上記判定結
    果をユーザに変更させるための変更ステップ、 判定ステップによって得られた判定結果または変更ステ
    ップによる変更後の判定結果を、ユーザに確定させるた
    めのステップ、 原画像内のあおり補正対象物体が正面以外から撮像され
    たものであることを示す判定結果がユーザによって確定
    された場合には、ユーザによって指定された2つの線分
    に基づいて、上記第2ステップ〜第5手段による処理を
    実行させるステップ、ならびに、 原画像内のあおり補正対象物体が正面から撮像されたも
    のであることを示す判定結果がユーザによって確定され
    た場合には、ユーザによって指定された2つの線分の上
    端点の高さ位置が一致するように一方の線分を延長する
    とともに、ユーザによって指定された2つの線分の下端
    点の高さ位置が一致するように一方の線分を延長すると
    いった線分変更処理を行なった後に、上記第2ステップ
    〜第5手段による処理を実行させるステップ、 をコンピュータに実行させるためのあおり補正用プログ
    ラムを記録したコンピュータ読み取り可能な記録媒体。
JP2000330716A 2000-10-30 2000-10-30 画像のあおり補正方法、画像のあおり補正装置およびあおり補正用プログラムを記録したコンピュータ読み取り可能な記録媒体 Expired - Fee Related JP3520041B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2000330716A JP3520041B2 (ja) 2000-10-30 2000-10-30 画像のあおり補正方法、画像のあおり補正装置およびあおり補正用プログラムを記録したコンピュータ読み取り可能な記録媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2000330716A JP3520041B2 (ja) 2000-10-30 2000-10-30 画像のあおり補正方法、画像のあおり補正装置およびあおり補正用プログラムを記録したコンピュータ読み取り可能な記録媒体

Publications (2)

Publication Number Publication Date
JP2002133407A JP2002133407A (ja) 2002-05-10
JP3520041B2 true JP3520041B2 (ja) 2004-04-19

Family

ID=18807182

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2000330716A Expired - Fee Related JP3520041B2 (ja) 2000-10-30 2000-10-30 画像のあおり補正方法、画像のあおり補正装置およびあおり補正用プログラムを記録したコンピュータ読み取り可能な記録媒体

Country Status (1)

Country Link
JP (1) JP3520041B2 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4561972B2 (ja) * 2004-08-06 2010-10-13 株式会社サタケ 圃(ほ)場被害エリア面積簡易測定方法
CN108229470B (zh) 2017-12-22 2022-04-01 北京市商汤科技开发有限公司 文字图像处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
JP2002133407A (ja) 2002-05-10

Similar Documents

Publication Publication Date Title
US10187546B2 (en) Method and device for correcting document image captured by image pick-up device
US8554012B2 (en) Image processing apparatus and image processing method for correcting distortion in photographed image
US6774889B1 (en) System and method for transforming an ordinary computer monitor screen into a touch screen
JP4010754B2 (ja) 画像処理装置と画像処理方法及びコンピュータ読み取り可能な記録媒体
JP2006505794A5 (ja) 地理的位置を決定し及び測定を行うコンピュータ化システム及び方法、並びにプログラム
JP4975679B2 (ja) ノート型情報処理装置、および、射影変換パラメータ算出方法
JP2004287699A (ja) 画像合成装置及びその合成方法
JP2006295646A (ja) 画像処理装置及び画像処理プログラム
JP2008079026A (ja) 画像処理装置、画像処理方法、及び、プログラム
JP2021157600A (ja) 画像処理装置、画像処理方法
JP2008217526A (ja) 画像処理装置、画像処理プログラム及び画像処理方法
JP3812770B2 (ja) 手ぶれパラメータ検出方法及び情報記録媒体
JP3520041B2 (ja) 画像のあおり補正方法、画像のあおり補正装置およびあおり補正用プログラムを記録したコンピュータ読み取り可能な記録媒体
JP4112077B2 (ja) 画像計測処理方法並びに装置及び画像計測処理プログラムを記録した記録媒体
JP7329951B2 (ja) 画像処理装置およびその制御方法
JP4017578B2 (ja) 手ぶれ補正装置、手ぶれ補正方法および手ぶれ補正プログラムを記録した記録媒体
JP4007524B2 (ja) 画像合成方法及び装置並びに情報記録媒体
WO2019244536A1 (ja) 物体追跡装置、物体追跡システム、および物体追跡方法
JP2974316B1 (ja) 俯瞰写真から現地座標の2次元位置情報を復元する方法及びその2次元位置情報復元システム、並びにその方法のプログラムを記録したコンピュータ読み取り可能な記録媒体
JP3241243B2 (ja) パノラマ画像合成システム及びパノラマ画像合成方法
JPH07281593A (ja) デジタルモザイク写真地図を2次元的に作成する方法
US20090310834A1 (en) Portal/non-portal image registration system
US20230130917A1 (en) Image processing apparatus and image processing method
JP2005025605A (ja) 物理データフィッティング係数生成システムおよび方法
WO2021075314A1 (ja) 画像処理装置、画像処理方法、及びコンピュータ読み取り可能な記録媒体

Legal Events

Date Code Title Description
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20040120

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20040130

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090206

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20090206

Year of fee payment: 5

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20100206

Year of fee payment: 6

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110206

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110206

Year of fee payment: 7

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120206

Year of fee payment: 8

LAPS Cancellation because of no payment of annual fees