JP4306184B2 - 電子カメラ、画像処理装置、画像処理プログラム、および画像処理方法 - Google Patents
電子カメラ、画像処理装置、画像処理プログラム、および画像処理方法 Download PDFInfo
- Publication number
- JP4306184B2 JP4306184B2 JP2002151995A JP2002151995A JP4306184B2 JP 4306184 B2 JP4306184 B2 JP 4306184B2 JP 2002151995 A JP2002151995 A JP 2002151995A JP 2002151995 A JP2002151995 A JP 2002151995A JP 4306184 B2 JP4306184 B2 JP 4306184B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- inclination
- correction
- reduced image
- straight line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 73
- 238000003384 imaging method Methods 0.000 claims description 21
- 238000012986 modification Methods 0.000 claims 1
- 230000004048 modification Effects 0.000 claims 1
- 239000004973 liquid crystal related substance Substances 0.000 description 23
- 238000010586 diagram Methods 0.000 description 8
- 230000006870 function Effects 0.000 description 3
- 238000001454 recorded image Methods 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000009499 grossing Methods 0.000 description 2
- 241000695274 Processa Species 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
Images
Landscapes
- Image Processing (AREA)
- Facsimile Image Signal Circuits (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
本発明は、画像の歪みを補正する電子カメラ、画像処理装置、画像処理プログラム、および画像処理方法に関する。
【０００２】
【従来の技術】
従来のカメラには、アオリ機構を備えたものがある。一般に、このようなアオリ機構は、チルト、シフト機能を有するレンズやベローズ（蛇腹状の胴部）などにより構成される。このアオリ機構を備えたカメラで撮影を行うことにより、建物などの被写体を見上げるようにして撮影した際などに、被写体像に発生する歪みを防ぐことができる。
【０００３】
【発明が解決しようとする課題】
しかし、前述したアオリ機構を備えたカメラを使いこなすには、知識と経験が必要とされる。また、アオリ機構は、小型化や低コストの妨げとなり、すべてのカメラに設けることは困難である。
また、従来の画像処理装置には、アオリ機構と同様の効果を画像処理によって実現することにより、画像の歪みを補正（以下、「アオリ補正」と称する）できるものがある。しかし、このようなアオリ補正機能を備えた画像処理装置において、アオリ補正の設定に係わる作業は煩雑になりがちであった。
【０００４】
本発明は、簡単な操作で、アオリ補正を行うことができる電子カメラ、画像処理装置、画像処理プログラム、および画像処理方法を提供することを目的とする。
【０００５】
本発明の電子カメラは、被写体像を撮像して画像を生成する撮像手段と、前記撮像手段により生成された画像よりも画素数の少ない縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された縮小画像と、ユーザ操作に応じて位置および傾きが調整可能な直線の画像とを、重ね合わせて表示する表示手段と、前記直線の位置および傾きを、ユーザ操作に応じて調整する調整手段と、前記縮小画像生成手段により生成された縮小画像に対して、前記調整手段により調整された前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示する予備補正手段と、前記調整手段により調整された前記直線の傾きを、ユーザ操作に応じて微調整する微調整手段と、前記予備補正手段による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記撮像手段により生成された前記画像に対して、前記予備補正手段による補正の際に用いられた前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正手段とを備え、前記予備補正手段は、前記微調整手段により前記直線の傾きが微調整される度に、前記微調整手段により微調整された前記直線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示することを特徴とする。
【０００６】
なお、好ましくは、前記補正手段は、前記撮像手段により生成された前記画像の縁の下辺と、前記調整手段により調整された前記直線との交点を基準として前記画像の傾きを求め、該傾きを示す情報に基づいて変形処理を行っても良い。
本発明の別の電子カメラは、被写体像を撮像して画像を生成する撮像手段と、前記撮像手段により生成された画像よりも画素数の少ない縮小画像を生成する縮小画像生成手段と、ユーザ操作に基づいて、歪み補正の基準となる基準線の位置と傾きとを設定する基準線設定手段と、前記縮小画像生成手段により生成された縮小画像を表示する表示手段と、前記縮小画像生成手段により生成された縮小画像に対して、前記基準線設定手段により設定された前記基準線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示する予備補正手段と、前記基準線の傾きを、ユーザ操作に応じて微調整する微調整手段と、前記予備補正手段による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記撮像手段により生成された前記画像に対して、前記予備補正手段による補正の際に用いられた前記基準線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正手段とを備え、前記予備補正手段は、前記微調整手段により前記基準線の傾きが微調整される度に、前記微調整手段により微調整された前記基準線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示することを特徴とする。
【０００７】
なお、好ましくは、前記補正手段は、前記撮像手段により生成された前記画像に対して、第１の方向について補正を行った後に、前記第１の方向と直交する第２の方向について補正を行っても良い。
本発明の画像処理装置は、処理対象の画像よりも画素数の少ない縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された縮小画像と、ユーザ操作に応じて位置および傾きが調整可能な直線の画像とを、重ね合わせて表示する表示手段と、前記直線の位置および傾きを、ユーザ操作に応じて調整する調整手段と、前記縮小画像生成手段により生成された縮小画像に対して、前記調整手段により調整された前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示する予備補正手段と、前記調整手段により調整された前記直線の傾きを、ユーザ操作に応じて微調整する微調整手段と、前記予備補正手段による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記処理対象の画像に対して、前記予備補正手段による補正の際に用いられた前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正手段とを備え、前記予備補正手段は、前記微調整手段により前記直線の傾きが微調整される度に、前記微調整手段により微調整された前記直線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示することを特徴とする。
【０００８】
本発明のプログラムは、画像処理装置に対する制御をコンピュータで実現するためのプログラムであって、処理対象の画像よりも画素数の少ない縮小画像を生成する縮小画像生成手順と、前記縮小画像生成手順により生成された縮小画像と、ユーザ操作に応じて位置および傾きが調整可能な直線の画像とを、重ね合わせて表示する表示手順と、前記直線の位置および傾きを、ユーザ操作に応じて調整する調整手順と、前記縮小画像生成手順により生成された縮小画像に対して、前記調整手順により調整された前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を表示する予備補正手順と、前記調整手順により調整された前記直線の傾きを、ユーザ操作に応じて微調整する微調整手順と、前記予備補正手順による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記処理対象の画像に対して、前記予備補正手順による補正の際に用いられた前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正手順とを備え、前記予備補正手順では、前記微調整手順により前記直線の傾きが微調整される度に、前記微調整手順により微調整された前記直線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を表示することを特徴とする。
【０００９】
本発明の画像処理方法は、処理対象の画像よりも画素数の少ない縮小画像を生成する縮小画像生成工程と、前記縮小画像生成工程により生成された縮小画像と、ユーザ操作に応じて位置および傾きが調整可能な直線の画像とを、重ね合わせて表示する表示工程と、前記直線の位置および傾きを、ユーザ操作に応じて調整する調整工程と、前記縮小画像生成工程により生成された縮小画像に対して、前記調整工程により調整された前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を表示する予備補正工程と、前記調整工程により調整された前記直線の傾きを、ユーザ操作に応じて微調整する微調整工程と、前記予備補正工程による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記処理対象の画像に対して、前記予備補正工程による補正の際に用いられた前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正工程とを備え、前記予備補正工程では、前記微調整工程により前記直線の傾きが微調整される度に、前記微調整工程により微調整された前記直線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を表示することを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を用いて、本発明の実施形態について詳細な説明を行う。
図１は、本発明の実施形態における電子カメラの構成を示すブロック図である。
図２は、本発明の実施形態における電子カメラの背面の外観を示す図である。
まず、本発明の実施形態における電子カメラ１の構成について、図１および図２を用いて説明する。
【００１１】
電子カメラ１は、図１に示すように、撮像部２、画像一時記録部３、制御部４、画像処理部５、表示処理部６を備えていると共に、メモリカード(カード状のリムーバブルメモリ)７とのインタフェースをとるメモリカード用インタフェース部８を備えており、これらはバスを介して相互に接続されている。
なお、撮像部２は、不図示のレンズ、被写体の明るさや撮影距離などを測定する各種センサ、撮像素子、Ａ／Ｄ変換器などを備えている。
【００１２】
また、制御部４内の不図示のメモリには、各部の動作内容を示すプログラムが予め記録されている。
さらに、電子カメラ１は、ユーザ操作を受け付ける操作部９と液晶モニタ１０とを備え、図１において、操作部９の出力は制御部４に接続され、液晶モニタ１０には表示処理部６の出力が接続される。
【００１３】
ここで、操作部９には、図２に示すような電源のＯＮ／ＯＦＦに係わる電源ボタン１１、撮像動作の開始に係わるレリーズボタン１２、画像再生モードを選択するための再生ボタン１３、アオリ補正モードを選択するためのアオリ補正モード選択ボタン１４、その他の選択操作などに係わる十字キー１５および決定ボタン１６などが含まれる。
【００１４】
図２に示すように、電源ボタン１１およびレリーズボタン１２は、電子カメラ１の上面に設けられている。また、再生ボタン１３、アオリ補正モード選択ボタン１４、十字キー１５、決定ボタン１６、液晶モニタ１０は、電子カメラ１の背面に設けられている。なお、十字キー１５は上下左右方向（図２のａ，ｂ，ｃ，ｄの方向）の何れかを指示入力可能なスイッチである。
【００１５】
以上説明したような構成の電子カメラ１において、電源ボタン１１が「ＯＮ」されると、制御部４はこれを検知し、動作を開始する。
動作開始後、レリーズボタン１２が押圧されると、制御部４はこれを検知し、各部に撮影実行の指示を行い、生成された画像をメモリカード用インタフェース部８を介して、メモリカード７に記録する。
【００１６】
また、再生ボタン１３が押圧されると、制御部４はこれを検知し、各部を介して、画像再生モードを実行する。すなわち、制御部４は、メモリカード用インタフェース部８を介して、メモリカード７に記録されている画像を読み出し、表示処理部６を介して、液晶モニタ１０に表示する。
図３〜図５は、本実施形態において、アオリ補正を行う際の電子カメラ１の制御手順を示すフローチャートである。特に、図５は、アオリ補正処理に含まれる微調整処理の制御手順を示している。
【００１７】
また、図６〜図８は、アオリ補正に際して液晶モニタ１０に表示される画像の例を示す図である。
以下、図３〜図８を用いて、アオリ補正について説明する。
まず、ステップＳ１において、制御部４は、操作部９を介して、補正対象の画像が選択されて、アオリ補正モードの実行が要求されたか否かを判定する。
【００１８】
補正対象の画像の選択およびアオリ補正モードの実行の要求は、画像再生モードを実行中に、ユーザが、操作部９を介して、アオリ補正を行いたい画像を選択し、アオリ補正モード選択ボタン１４を押圧することにより行われる。そして、制御部４は、このような操作が行われるまでステップＳ１を繰り返す。
ステップＳ２において、制御部４は、表示処理部６を介して、液晶モニタ１０に、補正対象の画像に重ねて、予め決められた位置に、予め決められた傾きの２本の直線（以下、左側基準線と右側基準線と称する）を表示する。図６（Ａ）に、補正対象の画像に重ねて左側基準線と右側基準線とが表示された画像の例を示す。
そして、制御部４は、表示処理部６を介して、液晶モニタ１０に、左側基準線を調整可能な状態に表示する。ここで、調整可能な状態とは、基準線の位置および傾きがユーザ操作に応じて調整可能な状態であり、本実施形態では、色の違いによって調整可能であるか否かが示される。
【００１９】
ステップＳ３において、制御部４は、操作部９を介して、左側基準線の横位置および傾きが決定されたか否かを判定する。
ここで、横位置とは、基準線と画像の縁の下辺との交点の位置のことであり、十字キー１５の左右方向（図２のｃ，ｄ方向）が押圧されることにより調整される。
【００２０】
また、傾きは、前述した横位置を回転中心とし、十字キー１５の上下方向（図２のａ，ｂ方向）が押圧されることにより調整される。
左側基準線の横位置および傾きが調整された状態で決定ボタン１６が押圧されることにより、左側基準線の横位置および傾きが決定される。
【００２１】
制御部４は、このような決定が行われるまでステップＳ３を繰り返し、このような決定が行われると、左側基準線の横位置および傾きを示す情報を制御部４内の不図示のメモリに記録し、ステップＳ４に進む。
ステップＳ４において、制御部４は、表示処理部６を介して、液晶モニタ１０に、右側基準線を調整可能な状態に表示する。
【００２２】
ステップＳ５において、制御部４は、操作部９を介して、右側基準線の横位置および傾きが決定されたか否かを判定する。
右側基準線の横位置および傾きの決定は、左側基準線の場合（ステップＳ３）と同様に行われる。
制御部４は、このような決定が行われるまでステップＳ５を繰り返し、このような決定が行われると、右側基準線の横位置および傾きを示す情報を制御部４内の不図示のメモリに記録し、ステップＳ６に進む。
【００２３】
図７（Ａ）に、左側基準線と右側基準線とが調整された画像の例を示す。図７（Ａ）では、左側基準線および右側基準線が、画像内の主要被写体である建物の、左右両端の直線に重なるように調整された例を示す。
ステップＳ６において、制御部４は、画像処理部５を介して、左側基準線と右側基準線との横位置および傾きを示す情報に基づいて、補正対象の画像に対するプレアオリ補正を行う。そして、補正後の画像を、表示処理部６を介して、液晶モニタ１０に表示する。
【００２４】
ここで、プレアオリ補正とは、後述するアオリ補正よりも大まかなアオリ補正である。
以下、図７（Ｂ）を参照してプレアオリ補正について説明する。
制御部４は、まず、画像処理部５を介して、制御部４内の不図示のメモリに記録されている左側基準線の横位置および傾きを示す情報に基づいて、画像の縁の左辺と画像の中心線との間の領域について変形処理を行う。
【００２５】
画像処理部５は、直線ａｂ（左側基準線に相当する）の位置および傾きを示す情報に基づいて、台形ａｂｃｄの各頂点が、長方形ｅｂｃｄの各頂点にそれぞれ一致するように画像の変形処理を行い、台形ａｂｆｇの各頂点が、長方形ｅｂｆｇの各頂点にそれぞれ一致するように画像の変形処理を行う。
ここで、直線ｅｂは、頂点ｂ（左側基準線の横位置に相当する）を通り、直線ｄｃ（画像の縁の左辺に相当する）と平行な直線である。
【００２６】
なお、変形処理の具体的な方法は、公知技術であり、補間や間引きなどの技術を用いて行われる。
次に、制御部４は、画像処理部５を介して、制御部４内の不図示のメモリに記録されている右側基準線の横位置および傾きを示す情報に基づいて、画像の縁の右辺と画像の中心線との間の領域について、前述した画像の縁の左辺と画像の中心線との間の領域と同様に変形処理を行う。
【００２７】
画像処理部５は、直線ｈｉ（右側基準線に相当する）の位置および傾きを示す情報に基づいて、台形ｈｉｊｋの各頂点が、長方形ｌｉｊｋの各頂点にそれぞれ一致するように画像の変形処理を行い、台形ｈｉｆｇの各頂点が、長方形ｌｉｆｇの各頂点にそれぞれ一致するように画像の変形処理を行う。
ここで、直線ｌｉは、頂点ｉ（右側基準線の横位置に相当する）を通り、直線ｋｊ（画像の縁の右辺に相当する）と平行な直線である。
【００２８】
以上説明したプレアオリ補正により、図７（Ｃ）に示すようなプレアオリ補正後の画像が得られる。
プレアオリ補正に際して、制御部４は、画像処理部５を介して、画素単位で変形処理を行うのではなく、例えば、複数画素からなる小領域毎に代表値を求め、その代表値を用いて変形処理を行う。
【００２９】
なお、前述した各変形処理において、もとの台形を一致させるべき長方形を別の長方形にしても良い。例えば、台形ａｂｃｄを一致させるべき長方形を、図７（Ｂ）の長方形ｍｎｃｄにしても良い。ここで、直線ｍｎは、直線ａｂの中点ｏを通り、直線ｄｃに平行な直線である。
制御部４は、プレアオリ補正後の画像を画像一時記録部３に記録し、記録した画像を、表示処理部６を介して、液晶モニタ１０に表示する。
【００３０】
ステップＳ７において、制御部４は、操作部９を介して、微調整が要求されたか否かを判定する。微調整が要求された場合、制御部４は、ステップＳ８に進み、微調整が要求されなかった場合、制御部４は、ステップＳ９に進む。
ステップＳ８において、制御部４は、画像処理部５を介して、微調整処理を行う（詳細は後述する）。微調整処理が終了すると、制御部４は、ステップＳ９に進む。
【００３１】
ステップＳ９において、制御部４は、横方向のアオリ補正を行うか否かを判定する。
例えば、制御部４は、「横方向のアオリ補正を行うか否か」をユーザに問うメッセージを、表示処理部６を介して、液晶モニタ１０に表示し、操作部９を介して、横方向のアオリ補正を行うか否かが選択されたかを判定する。横方向のアオリ補正を行わない場合、制御部４は、ステップＳ１０に進み、横方向のアオリ補正を行う場合、制御部４は、ステップＳ１１に進む。
【００３２】
ステップＳ１０において、制御部４は、制御部４内の不図示のメモリに記録されている左側基準線と右側基準線との横位置および傾きを示す情報を読み出す。そして、制御部４は、画像処理部５を介して、前述したプレアオリ補正の場合と同様の方法を用い、読み出した情報に基づいて、補正対象の画像に対するアオリ補正を行う。
【００３３】
なお、アオリ補正に際して、制御部４は、画像処理部５を介して、画素単位で変形処理を行う。
次に、制御部４は、補正後の画像を、メモリカード用インタフェース部８を介してメモリカード７に記録し、記録した画像を、表示処理部６を介して、液晶モニタ１０に表示する。そして、制御部４は、一連の処理を終了する。
【００３４】
ステップＳ１１において、制御部４は、表示処理部６を介して、液晶モニタ１０に、縦方向のプレアオリ補正後の画像に重ねて、予め決められた位置に、予め決められた傾きの２本の基準線（以下、上側基準線と下側基準線と称する）を表示する。図６（Ｂ）に、上側基準線と下側基準線とが表示された画像の例を示す。
そして、制御部４は、表示処理部６を介して、液晶モニタ１０に、上側基準線を調整可能な状態に表示する。
【００３５】
ステップＳ１２において、制御部４は、操作部９を介して、上側基準線の縦位置および傾きが決定されたか否かを判定する。
ここで、縦位置とは、基準線と画像の縁の左辺との交点の位置のことであり、十字キー１５の上下方向（図２のａ，ｂ方向）が押圧されることにより調整される。
【００３６】
また、傾きは、前述した縦位置を回転中心とし、十字キー１５の左右方向（図２のｃ，ｄ方向）が押圧されることにより調整される。
上側基準線の、縦位置および傾きが調整された状態で決定ボタン１６が押圧されることにより、上側基準線の縦位置および傾きが決定される。
制御部４は、このような決定が行われるまでステップＳ１２を繰り返し、このような決定が行われると、上側基準線の縦位置および傾きを示す情報を制御部４内の不図示のメモリに記録し、ステップＳ１３に進む。
【００３７】
ステップＳ１３において、制御部４は、表示処理部６を介して、液晶モニタ１０に、下側基準線を調整可能な状態に表示する。
ステップＳ１４において、制御部４は、操作部９を介して、下側基準線の縦位置および傾きが決定されたか否かを判定する。
【００３８】
下側基準線の縦位置および傾きの決定は、上側基準線の場合（ステップＳ１２）と同様に行われる。
制御部４は、このような決定が行われるまでステップＳ１４を繰り返し、このような決定が行われると、下側基準線の縦位置および傾きを示す情報を制御部４内の不図示のメモリに記録し、ステップＳ１５に進む。
【００３９】
ステップＳ１５において、制御部４は、画像処理部５を介して、上側基準線と下側基準線との縦位置および傾きを示す情報に基づいて、縦方向のプレアオリ補正後の画像に対する横方向のプレアオリ補正を行う。そして、補正後の画像を、表示処理部６を介して、液晶モニタ１０に表示する。
なお、横方向のプレアオリ補正は、縦方向のプレアオリ補正と９０度異なる方向について行われ、その具体的な方法は、縦方向のプレアオリ補正の場合（ステップＳ６）と同様である。
【００４０】
ステップＳ１６において、制御部４は、操作部９を介して、微調整が要求されたか否かを判定する。微調整が要求された場合、制御部４は、ステップＳ１７に進み、微調整が要求されなかった場合、制御部４は、ステップＳ１８に進む。
ステップＳ１７において、制御部４は、画像処理部５を介して、微調整処理を行う（詳細は後述する）。微調整処理が終了すると、制御部４は、ステップＳ１８に進む。
【００４１】
ステップＳ１８において、制御部４は、画像処理部５を介して、左側基準線と右側基準線と上側基準線と下側基準線とのそれぞれの位置および傾きを示す情報に基づいて、補正対象の画像に対するアオリ補正を行う。そして、補正後の画像を、表示処理部６を介して、液晶モニタ１０に表示する。
すなわち、制御部４は、制御部４内の不図示のメモリから、左側基準線と右側基準線との横位置および傾きを示す情報を読み出す。そして、制御部４は、画像処理部５を介して、ステップＳ１０と同様の方法を用い、読み出した情報に基づいて、補正対象の画像に対する縦方向のアオリ補正を行う。
【００４２】
次に、制御部４は、制御部４内の不図示のメモリから、上側基準線と下側基準線との縦位置および傾きを示す情報を読み出す。そして、制御部４は、画像処理部５を介して、読み出した情報に基づいて、横方向のアオリ補正を行う。横方向のアオリ補正は、縦方向のアオリ補正後の画像に対して行われ、縦方向のアオリ補正と９０度異なる方向について行われる。
【００４３】
さらに、制御部４は、縦方向と横方向とのアオリ補正後の画像を、メモリカード用インタフェース部８を介してメモリカード７に記録し、記録した画像を表示処理部６を介して、液晶モニタ１０に表示する。そして、制御部４は、一連の処理を終了する。
ここで、前述したステップＳ８およびステップＳ１７における微調整処理について、図５および図８を参照して説明する。
【００４４】
微調整処理が要求されると、ステップＳ２０において、制御部４は、十字キー１５の何れの方向が押圧されたかを判定する。十字キー１５の上下方向（図２のａ，ｂ方向）が押圧された場合、制御部４は、ステップＳ２１に進み、十字キー１５の左右方向（図２のｃ，ｄ方向）が押圧された場合、制御部４は、ステップＳ２２に進む。
【００４５】
ステップＳ２１において、制御部４は、画像処理部５を介して、画像の傾きが拡大する方向に微調整を行い、微調整後の画像を、表示処理部６を介して、液晶モニタ１０に表示する。
このような微調整により、図８（Ａ）に示すような画像が、図８（Ｃ）に示すような画像に調整される（縦方向の微調整の場合の例である）。
【００４６】
なお、制御部４は、以下に示す処理により、画像の傾きを拡大させる。
制御部４は、画像処理部５を介して、微調整対象である２本の基準線（ステップＳ８では左側基準線および右側基準線、ステップＳ１７では上側基準線および下側基準線）の傾きを、同時に、所定量調整する。このとき、それぞれの基準線の横位置あるいは縦位置を回転中心とし、２本の基準線が近づく方向に、傾きを微調整する。
【００４７】
次に、制御部４は、微調整後の基準線の傾きを示す情報を、制御部４内の不図示のメモリに記録し、画像処理部５を介して、微調整後の基準線の傾きを示す情報に基づいて、直前のプレアオリ補正後の画像に対する変形処理を行う。
ステップＳ２２において、制御部４は、画像処理部５を介して、画像の傾きが縮小する方向に微調整を行い、微調整後の画像を、表示処理部６を介して、液晶モニタ１０に表示する。
【００４８】
このような微調整により、図８（Ｂ）に示すような画像が、図８（Ｃ）に示すような画像に調整される（縦方向の微調整の場合の例である）。
なお、制御部４は、以下に示す処理により、画像の傾きを縮小させる。
制御部４は、画像処理部５を介して、微調整対象である２本の基準線の傾きを、同時に、所定量調整する。このとき、それぞれの基準線の横位置あるいは縦位置を回転中心とし、２本の基準線が離れる方向に、傾きを微調整する。
【００４９】
次に、制御部４は、調整後の基準線の傾きを示す情報を、制御部４内の不図示のメモリに記録し、画像処理部５を介して、微調整後の基準線の傾きを示す情報に基づいて、直前のプレアオリ補正後の画像に対する変形処理を行う。
ステップＳ２３において、制御部４は、決定ボタン１６が押圧されたか否かを判定する。決定ボタン１６が押圧された場合、制御部４は、一連の処理を終了する。一方、決定ボタン１６が押圧されなかった場合、制御部４は、ステップＳ２０に戻り、十字キー１５の何れの方向が押圧されたかを、再び判定する。
【００５０】
なお、このような微調整処理の過程で、制御部４内の不図示のメモリに記録された基準線の傾きを示す情報は、ステップＳ１０やステップＳ１８におけるアオリ補正の際に用いられる。
以上説明したように、本実施形態によれば、補正対象の画像に重ねて基準線を表示して、その基準線を調整し、調整した基準線の位置および傾きを示す情報に基づいてアオリ補正を行うことにより、アオリ機構を備えたカメラを用いた撮影により得られる画像と同様の画像を、簡単な操作で得ることができる。
【００５１】
なお、本実施形態のアオリ補正後の画像についてエッジを検出し、平滑化する処理（いわゆるスムージング処理）を、さらに行うようにしても良い。このような処理により、補正後の画像のエッジ部分がより滑らかになる。
また、本実施形態では、基準線の傾きを調整する際に、縦方向のアオリ補正においては、横位置（基準線と画像の縁の下辺との交点）を基準線の回転中心とし、横方向のアオリ補正においては、縦位置（基準線と画像の縁の左辺との交点）を基準線の回転中心としたが、基準線の回転中心を別の位置（例えば、基準線の中点）にしても良い。また、ユーザ操作により基準線の回転中心を設定できるようにしても良い。
【００５２】
また、本実施形態では、プレアオリ補正およびアオリ補正においては、基準線を１本ずつ調整する例を示したが、２本同時に調整するようにしても良い。また、微調整処理においては、基準線を２本同時に調整する例を示したが、１本ずつ調整するようにしても良い。さらに、ユーザ操作により基準線の調整方法を選択可能にしても良い。
【００５３】
さらに、本実施形態では、決定ボタン１６を備えた電子カメラの例を示したが、十字キー１５の中央部を押圧可能にし、決定ボタン１６の機能を持たせるようにしても良い。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、電子カメラにより生成された画像に重ねて基準線を表示して、その基準線を調整し、調整した基準線の位置および傾きを示す情報に基づいてアオリ補正を行う。したがって、アオリ機構を備えたカメラを用いた撮影により得られる画像と同様の画像を、簡単な操作で得ることができる
また、本発明によれば、簡単な操作で処理対象の画像に対するアオリ補正を行うことができる。
【図面の簡単な説明】
【図１】電子カメラの構成を示すブロック図である。
【図２】電子カメラの背面の外観を示す図である。
【図３】アオリ補正を行う際の電子カメラの制御手順を示すフローチャートである。
【図４】アオリ補正を行う際の電子カメラの制御手順を示すフローチャート（つづき）である。
【図５】アオリ補正を行う際の電子カメラの制御手順を示すフローチャート（つづき）である。
【図６】アオリ補正に際して液晶モニタに表示される画面の例を示す図である。
【図７】アオリ補正に際して液晶モニタに表示される画面の例を示す図である。
【図８】アオリ補正に際して液晶モニタに表示される画面の例を示す図である。
【符号の説明】
１ 電子カメラ
２ 撮像部
３ 画像一時記録部
４ 制御部
５ 画像処理部
６ 表示処理部
７ メモリカード
８ メモリカード用インタフェース部
９ 操作部
１０ 液晶モニタ
１１ 電源ボタン
１２ レリーズボタン
１３ 再生ボタン
１４ アオリ補正モード選択ボタン
１５ 十字キー
１６ 決定ボタン
【発明の属する技術分野】
本発明は、画像の歪みを補正する電子カメラ、画像処理装置、画像処理プログラム、および画像処理方法に関する。
【０００２】
【従来の技術】
従来のカメラには、アオリ機構を備えたものがある。一般に、このようなアオリ機構は、チルト、シフト機能を有するレンズやベローズ（蛇腹状の胴部）などにより構成される。このアオリ機構を備えたカメラで撮影を行うことにより、建物などの被写体を見上げるようにして撮影した際などに、被写体像に発生する歪みを防ぐことができる。
【０００３】
【発明が解決しようとする課題】
しかし、前述したアオリ機構を備えたカメラを使いこなすには、知識と経験が必要とされる。また、アオリ機構は、小型化や低コストの妨げとなり、すべてのカメラに設けることは困難である。
また、従来の画像処理装置には、アオリ機構と同様の効果を画像処理によって実現することにより、画像の歪みを補正（以下、「アオリ補正」と称する）できるものがある。しかし、このようなアオリ補正機能を備えた画像処理装置において、アオリ補正の設定に係わる作業は煩雑になりがちであった。
【０００４】
本発明は、簡単な操作で、アオリ補正を行うことができる電子カメラ、画像処理装置、画像処理プログラム、および画像処理方法を提供することを目的とする。
【０００５】
本発明の電子カメラは、被写体像を撮像して画像を生成する撮像手段と、前記撮像手段により生成された画像よりも画素数の少ない縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された縮小画像と、ユーザ操作に応じて位置および傾きが調整可能な直線の画像とを、重ね合わせて表示する表示手段と、前記直線の位置および傾きを、ユーザ操作に応じて調整する調整手段と、前記縮小画像生成手段により生成された縮小画像に対して、前記調整手段により調整された前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示する予備補正手段と、前記調整手段により調整された前記直線の傾きを、ユーザ操作に応じて微調整する微調整手段と、前記予備補正手段による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記撮像手段により生成された前記画像に対して、前記予備補正手段による補正の際に用いられた前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正手段とを備え、前記予備補正手段は、前記微調整手段により前記直線の傾きが微調整される度に、前記微調整手段により微調整された前記直線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示することを特徴とする。
【０００６】
なお、好ましくは、前記補正手段は、前記撮像手段により生成された前記画像の縁の下辺と、前記調整手段により調整された前記直線との交点を基準として前記画像の傾きを求め、該傾きを示す情報に基づいて変形処理を行っても良い。
本発明の別の電子カメラは、被写体像を撮像して画像を生成する撮像手段と、前記撮像手段により生成された画像よりも画素数の少ない縮小画像を生成する縮小画像生成手段と、ユーザ操作に基づいて、歪み補正の基準となる基準線の位置と傾きとを設定する基準線設定手段と、前記縮小画像生成手段により生成された縮小画像を表示する表示手段と、前記縮小画像生成手段により生成された縮小画像に対して、前記基準線設定手段により設定された前記基準線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示する予備補正手段と、前記基準線の傾きを、ユーザ操作に応じて微調整する微調整手段と、前記予備補正手段による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記撮像手段により生成された前記画像に対して、前記予備補正手段による補正の際に用いられた前記基準線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正手段とを備え、前記予備補正手段は、前記微調整手段により前記基準線の傾きが微調整される度に、前記微調整手段により微調整された前記基準線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示することを特徴とする。
【０００７】
なお、好ましくは、前記補正手段は、前記撮像手段により生成された前記画像に対して、第１の方向について補正を行った後に、前記第１の方向と直交する第２の方向について補正を行っても良い。
本発明の画像処理装置は、処理対象の画像よりも画素数の少ない縮小画像を生成する縮小画像生成手段と、前記縮小画像生成手段により生成された縮小画像と、ユーザ操作に応じて位置および傾きが調整可能な直線の画像とを、重ね合わせて表示する表示手段と、前記直線の位置および傾きを、ユーザ操作に応じて調整する調整手段と、前記縮小画像生成手段により生成された縮小画像に対して、前記調整手段により調整された前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示する予備補正手段と、前記調整手段により調整された前記直線の傾きを、ユーザ操作に応じて微調整する微調整手段と、前記予備補正手段による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記処理対象の画像に対して、前記予備補正手段による補正の際に用いられた前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正手段とを備え、前記予備補正手段は、前記微調整手段により前記直線の傾きが微調整される度に、前記微調整手段により微調整された前記直線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示することを特徴とする。
【０００８】
本発明のプログラムは、画像処理装置に対する制御をコンピュータで実現するためのプログラムであって、処理対象の画像よりも画素数の少ない縮小画像を生成する縮小画像生成手順と、前記縮小画像生成手順により生成された縮小画像と、ユーザ操作に応じて位置および傾きが調整可能な直線の画像とを、重ね合わせて表示する表示手順と、前記直線の位置および傾きを、ユーザ操作に応じて調整する調整手順と、前記縮小画像生成手順により生成された縮小画像に対して、前記調整手順により調整された前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を表示する予備補正手順と、前記調整手順により調整された前記直線の傾きを、ユーザ操作に応じて微調整する微調整手順と、前記予備補正手順による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記処理対象の画像に対して、前記予備補正手順による補正の際に用いられた前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正手順とを備え、前記予備補正手順では、前記微調整手順により前記直線の傾きが微調整される度に、前記微調整手順により微調整された前記直線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を表示することを特徴とする。
【０００９】
本発明の画像処理方法は、処理対象の画像よりも画素数の少ない縮小画像を生成する縮小画像生成工程と、前記縮小画像生成工程により生成された縮小画像と、ユーザ操作に応じて位置および傾きが調整可能な直線の画像とを、重ね合わせて表示する表示工程と、前記直線の位置および傾きを、ユーザ操作に応じて調整する調整工程と、前記縮小画像生成工程により生成された縮小画像に対して、前記調整工程により調整された前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を表示する予備補正工程と、前記調整工程により調整された前記直線の傾きを、ユーザ操作に応じて微調整する微調整工程と、前記予備補正工程による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記処理対象の画像に対して、前記予備補正工程による補正の際に用いられた前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正工程とを備え、前記予備補正工程では、前記微調整工程により前記直線の傾きが微調整される度に、前記微調整工程により微調整された前記直線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を表示することを特徴とする。
【００１０】
【発明の実施の形態】
以下、図面を用いて、本発明の実施形態について詳細な説明を行う。
図１は、本発明の実施形態における電子カメラの構成を示すブロック図である。
図２は、本発明の実施形態における電子カメラの背面の外観を示す図である。
まず、本発明の実施形態における電子カメラ１の構成について、図１および図２を用いて説明する。
【００１１】
電子カメラ１は、図１に示すように、撮像部２、画像一時記録部３、制御部４、画像処理部５、表示処理部６を備えていると共に、メモリカード(カード状のリムーバブルメモリ)７とのインタフェースをとるメモリカード用インタフェース部８を備えており、これらはバスを介して相互に接続されている。
なお、撮像部２は、不図示のレンズ、被写体の明るさや撮影距離などを測定する各種センサ、撮像素子、Ａ／Ｄ変換器などを備えている。
【００１２】
また、制御部４内の不図示のメモリには、各部の動作内容を示すプログラムが予め記録されている。
さらに、電子カメラ１は、ユーザ操作を受け付ける操作部９と液晶モニタ１０とを備え、図１において、操作部９の出力は制御部４に接続され、液晶モニタ１０には表示処理部６の出力が接続される。
【００１３】
ここで、操作部９には、図２に示すような電源のＯＮ／ＯＦＦに係わる電源ボタン１１、撮像動作の開始に係わるレリーズボタン１２、画像再生モードを選択するための再生ボタン１３、アオリ補正モードを選択するためのアオリ補正モード選択ボタン１４、その他の選択操作などに係わる十字キー１５および決定ボタン１６などが含まれる。
【００１４】
図２に示すように、電源ボタン１１およびレリーズボタン１２は、電子カメラ１の上面に設けられている。また、再生ボタン１３、アオリ補正モード選択ボタン１４、十字キー１５、決定ボタン１６、液晶モニタ１０は、電子カメラ１の背面に設けられている。なお、十字キー１５は上下左右方向（図２のａ，ｂ，ｃ，ｄの方向）の何れかを指示入力可能なスイッチである。
【００１５】
以上説明したような構成の電子カメラ１において、電源ボタン１１が「ＯＮ」されると、制御部４はこれを検知し、動作を開始する。
動作開始後、レリーズボタン１２が押圧されると、制御部４はこれを検知し、各部に撮影実行の指示を行い、生成された画像をメモリカード用インタフェース部８を介して、メモリカード７に記録する。
【００１６】
また、再生ボタン１３が押圧されると、制御部４はこれを検知し、各部を介して、画像再生モードを実行する。すなわち、制御部４は、メモリカード用インタフェース部８を介して、メモリカード７に記録されている画像を読み出し、表示処理部６を介して、液晶モニタ１０に表示する。
図３〜図５は、本実施形態において、アオリ補正を行う際の電子カメラ１の制御手順を示すフローチャートである。特に、図５は、アオリ補正処理に含まれる微調整処理の制御手順を示している。
【００１７】
また、図６〜図８は、アオリ補正に際して液晶モニタ１０に表示される画像の例を示す図である。
以下、図３〜図８を用いて、アオリ補正について説明する。
まず、ステップＳ１において、制御部４は、操作部９を介して、補正対象の画像が選択されて、アオリ補正モードの実行が要求されたか否かを判定する。
【００１８】
補正対象の画像の選択およびアオリ補正モードの実行の要求は、画像再生モードを実行中に、ユーザが、操作部９を介して、アオリ補正を行いたい画像を選択し、アオリ補正モード選択ボタン１４を押圧することにより行われる。そして、制御部４は、このような操作が行われるまでステップＳ１を繰り返す。
ステップＳ２において、制御部４は、表示処理部６を介して、液晶モニタ１０に、補正対象の画像に重ねて、予め決められた位置に、予め決められた傾きの２本の直線（以下、左側基準線と右側基準線と称する）を表示する。図６（Ａ）に、補正対象の画像に重ねて左側基準線と右側基準線とが表示された画像の例を示す。
そして、制御部４は、表示処理部６を介して、液晶モニタ１０に、左側基準線を調整可能な状態に表示する。ここで、調整可能な状態とは、基準線の位置および傾きがユーザ操作に応じて調整可能な状態であり、本実施形態では、色の違いによって調整可能であるか否かが示される。
【００１９】
ステップＳ３において、制御部４は、操作部９を介して、左側基準線の横位置および傾きが決定されたか否かを判定する。
ここで、横位置とは、基準線と画像の縁の下辺との交点の位置のことであり、十字キー１５の左右方向（図２のｃ，ｄ方向）が押圧されることにより調整される。
【００２０】
また、傾きは、前述した横位置を回転中心とし、十字キー１５の上下方向（図２のａ，ｂ方向）が押圧されることにより調整される。
左側基準線の横位置および傾きが調整された状態で決定ボタン１６が押圧されることにより、左側基準線の横位置および傾きが決定される。
【００２１】
制御部４は、このような決定が行われるまでステップＳ３を繰り返し、このような決定が行われると、左側基準線の横位置および傾きを示す情報を制御部４内の不図示のメモリに記録し、ステップＳ４に進む。
ステップＳ４において、制御部４は、表示処理部６を介して、液晶モニタ１０に、右側基準線を調整可能な状態に表示する。
【００２２】
ステップＳ５において、制御部４は、操作部９を介して、右側基準線の横位置および傾きが決定されたか否かを判定する。
右側基準線の横位置および傾きの決定は、左側基準線の場合（ステップＳ３）と同様に行われる。
制御部４は、このような決定が行われるまでステップＳ５を繰り返し、このような決定が行われると、右側基準線の横位置および傾きを示す情報を制御部４内の不図示のメモリに記録し、ステップＳ６に進む。
【００２３】
図７（Ａ）に、左側基準線と右側基準線とが調整された画像の例を示す。図７（Ａ）では、左側基準線および右側基準線が、画像内の主要被写体である建物の、左右両端の直線に重なるように調整された例を示す。
ステップＳ６において、制御部４は、画像処理部５を介して、左側基準線と右側基準線との横位置および傾きを示す情報に基づいて、補正対象の画像に対するプレアオリ補正を行う。そして、補正後の画像を、表示処理部６を介して、液晶モニタ１０に表示する。
【００２４】
ここで、プレアオリ補正とは、後述するアオリ補正よりも大まかなアオリ補正である。
以下、図７（Ｂ）を参照してプレアオリ補正について説明する。
制御部４は、まず、画像処理部５を介して、制御部４内の不図示のメモリに記録されている左側基準線の横位置および傾きを示す情報に基づいて、画像の縁の左辺と画像の中心線との間の領域について変形処理を行う。
【００２５】
画像処理部５は、直線ａｂ（左側基準線に相当する）の位置および傾きを示す情報に基づいて、台形ａｂｃｄの各頂点が、長方形ｅｂｃｄの各頂点にそれぞれ一致するように画像の変形処理を行い、台形ａｂｆｇの各頂点が、長方形ｅｂｆｇの各頂点にそれぞれ一致するように画像の変形処理を行う。
ここで、直線ｅｂは、頂点ｂ（左側基準線の横位置に相当する）を通り、直線ｄｃ（画像の縁の左辺に相当する）と平行な直線である。
【００２６】
なお、変形処理の具体的な方法は、公知技術であり、補間や間引きなどの技術を用いて行われる。
次に、制御部４は、画像処理部５を介して、制御部４内の不図示のメモリに記録されている右側基準線の横位置および傾きを示す情報に基づいて、画像の縁の右辺と画像の中心線との間の領域について、前述した画像の縁の左辺と画像の中心線との間の領域と同様に変形処理を行う。
【００２７】
画像処理部５は、直線ｈｉ（右側基準線に相当する）の位置および傾きを示す情報に基づいて、台形ｈｉｊｋの各頂点が、長方形ｌｉｊｋの各頂点にそれぞれ一致するように画像の変形処理を行い、台形ｈｉｆｇの各頂点が、長方形ｌｉｆｇの各頂点にそれぞれ一致するように画像の変形処理を行う。
ここで、直線ｌｉは、頂点ｉ（右側基準線の横位置に相当する）を通り、直線ｋｊ（画像の縁の右辺に相当する）と平行な直線である。
【００２８】
以上説明したプレアオリ補正により、図７（Ｃ）に示すようなプレアオリ補正後の画像が得られる。
プレアオリ補正に際して、制御部４は、画像処理部５を介して、画素単位で変形処理を行うのではなく、例えば、複数画素からなる小領域毎に代表値を求め、その代表値を用いて変形処理を行う。
【００２９】
なお、前述した各変形処理において、もとの台形を一致させるべき長方形を別の長方形にしても良い。例えば、台形ａｂｃｄを一致させるべき長方形を、図７（Ｂ）の長方形ｍｎｃｄにしても良い。ここで、直線ｍｎは、直線ａｂの中点ｏを通り、直線ｄｃに平行な直線である。
制御部４は、プレアオリ補正後の画像を画像一時記録部３に記録し、記録した画像を、表示処理部６を介して、液晶モニタ１０に表示する。
【００３０】
ステップＳ７において、制御部４は、操作部９を介して、微調整が要求されたか否かを判定する。微調整が要求された場合、制御部４は、ステップＳ８に進み、微調整が要求されなかった場合、制御部４は、ステップＳ９に進む。
ステップＳ８において、制御部４は、画像処理部５を介して、微調整処理を行う（詳細は後述する）。微調整処理が終了すると、制御部４は、ステップＳ９に進む。
【００３１】
ステップＳ９において、制御部４は、横方向のアオリ補正を行うか否かを判定する。
例えば、制御部４は、「横方向のアオリ補正を行うか否か」をユーザに問うメッセージを、表示処理部６を介して、液晶モニタ１０に表示し、操作部９を介して、横方向のアオリ補正を行うか否かが選択されたかを判定する。横方向のアオリ補正を行わない場合、制御部４は、ステップＳ１０に進み、横方向のアオリ補正を行う場合、制御部４は、ステップＳ１１に進む。
【００３２】
ステップＳ１０において、制御部４は、制御部４内の不図示のメモリに記録されている左側基準線と右側基準線との横位置および傾きを示す情報を読み出す。そして、制御部４は、画像処理部５を介して、前述したプレアオリ補正の場合と同様の方法を用い、読み出した情報に基づいて、補正対象の画像に対するアオリ補正を行う。
【００３３】
なお、アオリ補正に際して、制御部４は、画像処理部５を介して、画素単位で変形処理を行う。
次に、制御部４は、補正後の画像を、メモリカード用インタフェース部８を介してメモリカード７に記録し、記録した画像を、表示処理部６を介して、液晶モニタ１０に表示する。そして、制御部４は、一連の処理を終了する。
【００３４】
ステップＳ１１において、制御部４は、表示処理部６を介して、液晶モニタ１０に、縦方向のプレアオリ補正後の画像に重ねて、予め決められた位置に、予め決められた傾きの２本の基準線（以下、上側基準線と下側基準線と称する）を表示する。図６（Ｂ）に、上側基準線と下側基準線とが表示された画像の例を示す。
そして、制御部４は、表示処理部６を介して、液晶モニタ１０に、上側基準線を調整可能な状態に表示する。
【００３５】
ステップＳ１２において、制御部４は、操作部９を介して、上側基準線の縦位置および傾きが決定されたか否かを判定する。
ここで、縦位置とは、基準線と画像の縁の左辺との交点の位置のことであり、十字キー１５の上下方向（図２のａ，ｂ方向）が押圧されることにより調整される。
【００３６】
また、傾きは、前述した縦位置を回転中心とし、十字キー１５の左右方向（図２のｃ，ｄ方向）が押圧されることにより調整される。
上側基準線の、縦位置および傾きが調整された状態で決定ボタン１６が押圧されることにより、上側基準線の縦位置および傾きが決定される。
制御部４は、このような決定が行われるまでステップＳ１２を繰り返し、このような決定が行われると、上側基準線の縦位置および傾きを示す情報を制御部４内の不図示のメモリに記録し、ステップＳ１３に進む。
【００３７】
ステップＳ１３において、制御部４は、表示処理部６を介して、液晶モニタ１０に、下側基準線を調整可能な状態に表示する。
ステップＳ１４において、制御部４は、操作部９を介して、下側基準線の縦位置および傾きが決定されたか否かを判定する。
【００３８】
下側基準線の縦位置および傾きの決定は、上側基準線の場合（ステップＳ１２）と同様に行われる。
制御部４は、このような決定が行われるまでステップＳ１４を繰り返し、このような決定が行われると、下側基準線の縦位置および傾きを示す情報を制御部４内の不図示のメモリに記録し、ステップＳ１５に進む。
【００３９】
ステップＳ１５において、制御部４は、画像処理部５を介して、上側基準線と下側基準線との縦位置および傾きを示す情報に基づいて、縦方向のプレアオリ補正後の画像に対する横方向のプレアオリ補正を行う。そして、補正後の画像を、表示処理部６を介して、液晶モニタ１０に表示する。
なお、横方向のプレアオリ補正は、縦方向のプレアオリ補正と９０度異なる方向について行われ、その具体的な方法は、縦方向のプレアオリ補正の場合（ステップＳ６）と同様である。
【００４０】
ステップＳ１６において、制御部４は、操作部９を介して、微調整が要求されたか否かを判定する。微調整が要求された場合、制御部４は、ステップＳ１７に進み、微調整が要求されなかった場合、制御部４は、ステップＳ１８に進む。
ステップＳ１７において、制御部４は、画像処理部５を介して、微調整処理を行う（詳細は後述する）。微調整処理が終了すると、制御部４は、ステップＳ１８に進む。
【００４１】
ステップＳ１８において、制御部４は、画像処理部５を介して、左側基準線と右側基準線と上側基準線と下側基準線とのそれぞれの位置および傾きを示す情報に基づいて、補正対象の画像に対するアオリ補正を行う。そして、補正後の画像を、表示処理部６を介して、液晶モニタ１０に表示する。
すなわち、制御部４は、制御部４内の不図示のメモリから、左側基準線と右側基準線との横位置および傾きを示す情報を読み出す。そして、制御部４は、画像処理部５を介して、ステップＳ１０と同様の方法を用い、読み出した情報に基づいて、補正対象の画像に対する縦方向のアオリ補正を行う。
【００４２】
次に、制御部４は、制御部４内の不図示のメモリから、上側基準線と下側基準線との縦位置および傾きを示す情報を読み出す。そして、制御部４は、画像処理部５を介して、読み出した情報に基づいて、横方向のアオリ補正を行う。横方向のアオリ補正は、縦方向のアオリ補正後の画像に対して行われ、縦方向のアオリ補正と９０度異なる方向について行われる。
【００４３】
さらに、制御部４は、縦方向と横方向とのアオリ補正後の画像を、メモリカード用インタフェース部８を介してメモリカード７に記録し、記録した画像を表示処理部６を介して、液晶モニタ１０に表示する。そして、制御部４は、一連の処理を終了する。
ここで、前述したステップＳ８およびステップＳ１７における微調整処理について、図５および図８を参照して説明する。
【００４４】
微調整処理が要求されると、ステップＳ２０において、制御部４は、十字キー１５の何れの方向が押圧されたかを判定する。十字キー１５の上下方向（図２のａ，ｂ方向）が押圧された場合、制御部４は、ステップＳ２１に進み、十字キー１５の左右方向（図２のｃ，ｄ方向）が押圧された場合、制御部４は、ステップＳ２２に進む。
【００４５】
ステップＳ２１において、制御部４は、画像処理部５を介して、画像の傾きが拡大する方向に微調整を行い、微調整後の画像を、表示処理部６を介して、液晶モニタ１０に表示する。
このような微調整により、図８（Ａ）に示すような画像が、図８（Ｃ）に示すような画像に調整される（縦方向の微調整の場合の例である）。
【００４６】
なお、制御部４は、以下に示す処理により、画像の傾きを拡大させる。
制御部４は、画像処理部５を介して、微調整対象である２本の基準線（ステップＳ８では左側基準線および右側基準線、ステップＳ１７では上側基準線および下側基準線）の傾きを、同時に、所定量調整する。このとき、それぞれの基準線の横位置あるいは縦位置を回転中心とし、２本の基準線が近づく方向に、傾きを微調整する。
【００４７】
次に、制御部４は、微調整後の基準線の傾きを示す情報を、制御部４内の不図示のメモリに記録し、画像処理部５を介して、微調整後の基準線の傾きを示す情報に基づいて、直前のプレアオリ補正後の画像に対する変形処理を行う。
ステップＳ２２において、制御部４は、画像処理部５を介して、画像の傾きが縮小する方向に微調整を行い、微調整後の画像を、表示処理部６を介して、液晶モニタ１０に表示する。
【００４８】
このような微調整により、図８（Ｂ）に示すような画像が、図８（Ｃ）に示すような画像に調整される（縦方向の微調整の場合の例である）。
なお、制御部４は、以下に示す処理により、画像の傾きを縮小させる。
制御部４は、画像処理部５を介して、微調整対象である２本の基準線の傾きを、同時に、所定量調整する。このとき、それぞれの基準線の横位置あるいは縦位置を回転中心とし、２本の基準線が離れる方向に、傾きを微調整する。
【００４９】
次に、制御部４は、調整後の基準線の傾きを示す情報を、制御部４内の不図示のメモリに記録し、画像処理部５を介して、微調整後の基準線の傾きを示す情報に基づいて、直前のプレアオリ補正後の画像に対する変形処理を行う。
ステップＳ２３において、制御部４は、決定ボタン１６が押圧されたか否かを判定する。決定ボタン１６が押圧された場合、制御部４は、一連の処理を終了する。一方、決定ボタン１６が押圧されなかった場合、制御部４は、ステップＳ２０に戻り、十字キー１５の何れの方向が押圧されたかを、再び判定する。
【００５０】
なお、このような微調整処理の過程で、制御部４内の不図示のメモリに記録された基準線の傾きを示す情報は、ステップＳ１０やステップＳ１８におけるアオリ補正の際に用いられる。
以上説明したように、本実施形態によれば、補正対象の画像に重ねて基準線を表示して、その基準線を調整し、調整した基準線の位置および傾きを示す情報に基づいてアオリ補正を行うことにより、アオリ機構を備えたカメラを用いた撮影により得られる画像と同様の画像を、簡単な操作で得ることができる。
【００５１】
なお、本実施形態のアオリ補正後の画像についてエッジを検出し、平滑化する処理（いわゆるスムージング処理）を、さらに行うようにしても良い。このような処理により、補正後の画像のエッジ部分がより滑らかになる。
また、本実施形態では、基準線の傾きを調整する際に、縦方向のアオリ補正においては、横位置（基準線と画像の縁の下辺との交点）を基準線の回転中心とし、横方向のアオリ補正においては、縦位置（基準線と画像の縁の左辺との交点）を基準線の回転中心としたが、基準線の回転中心を別の位置（例えば、基準線の中点）にしても良い。また、ユーザ操作により基準線の回転中心を設定できるようにしても良い。
【００５２】
また、本実施形態では、プレアオリ補正およびアオリ補正においては、基準線を１本ずつ調整する例を示したが、２本同時に調整するようにしても良い。また、微調整処理においては、基準線を２本同時に調整する例を示したが、１本ずつ調整するようにしても良い。さらに、ユーザ操作により基準線の調整方法を選択可能にしても良い。
【００５３】
さらに、本実施形態では、決定ボタン１６を備えた電子カメラの例を示したが、十字キー１５の中央部を押圧可能にし、決定ボタン１６の機能を持たせるようにしても良い。
【００５４】
【発明の効果】
以上説明したように、本発明によれば、電子カメラにより生成された画像に重ねて基準線を表示して、その基準線を調整し、調整した基準線の位置および傾きを示す情報に基づいてアオリ補正を行う。したがって、アオリ機構を備えたカメラを用いた撮影により得られる画像と同様の画像を、簡単な操作で得ることができる
また、本発明によれば、簡単な操作で処理対象の画像に対するアオリ補正を行うことができる。
【図面の簡単な説明】
【図１】電子カメラの構成を示すブロック図である。
【図２】電子カメラの背面の外観を示す図である。
【図３】アオリ補正を行う際の電子カメラの制御手順を示すフローチャートである。
【図４】アオリ補正を行う際の電子カメラの制御手順を示すフローチャート（つづき）である。
【図５】アオリ補正を行う際の電子カメラの制御手順を示すフローチャート（つづき）である。
【図６】アオリ補正に際して液晶モニタに表示される画面の例を示す図である。
【図７】アオリ補正に際して液晶モニタに表示される画面の例を示す図である。
【図８】アオリ補正に際して液晶モニタに表示される画面の例を示す図である。
【符号の説明】
１ 電子カメラ
２ 撮像部
３ 画像一時記録部
４ 制御部
５ 画像処理部
６ 表示処理部
７ メモリカード
８ メモリカード用インタフェース部
９ 操作部
１０ 液晶モニタ
１１ 電源ボタン
１２ レリーズボタン
１３ 再生ボタン
１４ アオリ補正モード選択ボタン
１５ 十字キー
１６ 決定ボタン
Claims (7)
- 被写体像を撮像して画像を生成する撮像手段と、
前記撮像手段により生成された画像よりも画素数の少ない縮小画像を生成する縮小画像生成手段と、
前記縮小画像生成手段により生成された縮小画像と、ユーザ操作に応じて位置および傾きが調整可能な直線の画像とを、重ね合わせて表示する表示手段と、
前記直線の位置および傾きを、ユーザ操作に応じて調整する調整手段と、
前記縮小画像生成手段により生成された縮小画像に対して、前記調整手段により調整された前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示する予備補正手段と、
前記調整手段により調整された前記直線の傾きを、ユーザ操作に応じて微調整する微調整手段と、
前記予備補正手段による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記撮像手段により生成された前記画像に対して、前記予備補正手段による補正の際に用いられた前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正手段とを備え、
前記予備補正手段は、前記微調整手段により前記直線の傾きが微調整される度に、前記微調整手段により微調整された前記直線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示する
ことを特徴とする電子カメラ。 - 請求項１に記載の電子カメラにおいて、
前記補正手段は、前記撮像手段により生成された前記画像の縁の下辺と、前記調整手段により調整された前記直線との交点を基準として前記画像の傾きを求め、該傾きを示す情報に基づいて変形処理を行う
ことを特徴とする電子カメラ。 - 被写体像を撮像して画像を生成する撮像手段と、
前記撮像手段により生成された画像よりも画素数の少ない縮小画像を生成する縮小画像生成手段と、
ユーザ操作に基づいて、歪み補正の基準となる基準線の位置と傾きとを設定する基準線設定手段と、
前記縮小画像生成手段により生成された縮小画像を表示する表示手段と、
前記縮小画像生成手段により生成された縮小画像に対して、前記基準線設定手段により設定された前記基準線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示する予備補正手段と、
前記基準線の傾きを、ユーザ操作に応じて微調整する微調整手段と、
前記予備補正手段による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記撮像手段により生成された前記画像に対して、前記予備補正手段による補正の際に用いられた前記基準線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正手段とを備え、
前記予備補正手段は、前記微調整手段により前記基準線の傾きが微調整される度に、前記微調整手段により微調整された前記基準線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示する
ことを特徴とする電子カメラ。 - 請求項１または請求項３に記載の電子カメラにおいて、
前記補正手段は、前記撮像手段により生成された前記画像に対して、第１の方向について補正を行った後に、前記第１の方向と直交する第２の方向について補正を行う
ことを特徴とする電子カメラ。 - 処理対象の画像よりも画素数の少ない縮小画像を生成する縮小画像生成手段と、
前記縮小画像生成手段により生成された縮小画像と、ユーザ操作に応じて位置および傾きが調整可能な直線の画像とを、重ね合わせて表示する表示手段と、
前記直線の位置および傾きを、ユーザ操作に応じて調整する調整手段と、
前記縮小画像生成手段により生成された縮小画像に対して、前記調整手段により調整された前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示する予備補正手段と、
前記調整手段により調整された前記直線の傾きを、ユーザ操作に応じて微調整する微調整手段と、
前記予備補正手段による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記処理対象の画像に対して、前記予備補正手段による補正の際に用いられた前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正手段とを備え、
前記予備補正手段は、前記微調整手段により前記直線の傾きが微調整される度に、前記微調整手段により微調整された前記直線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を前記表示手段に表示する
ことを特徴とする画像処理装置。 - 画像処理装置に対する制御をコンピュータで実現するためのプログラムであって、
処理対象の画像よりも画素数の少ない縮小画像を生成する縮小画像生成手順と、
前記縮小画像生成手順により生成された縮小画像と、ユーザ操作に応じて位置および傾きが調整可能な直線の画像とを、重ね合わせて表示する表示手順と、
前記直線の位置および傾きを、ユーザ操作に応じて調整する調整手順と、
前記縮小画像生成手順により生成された縮小画像に対して、前記調整手順により調整された前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を表示する予備補正手順と、
前記調整手順により調整された前記直線の傾きを、ユーザ操作に応じて微調整する微調整手順と、
前記予備補正手順による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記処理対象の画像に対して、前記予備補正手順による補正の際に用いられた前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正手順とを備え、
前記予備補正手順では、前記微調整手順により前記直線の傾きが微調整される度に、前記微調整手順により微調整された前記直線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を表示する
ことを特徴とするプログラム。 - 処理対象の画像よりも画素数の少ない縮小画像を生成する縮小画像生成工程と、
前記縮小画像生成工程により生成された縮小画像と、ユーザ操作に応じて位置および傾きが調整可能な直線の画像とを、重ね合わせて表示する表示工程と、
前記直線の位置および傾きを、ユーザ操作に応じて調整する調整工程と、
前記縮小画像生成工程により生成された縮小画像に対して、前記調整工程により調整された前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を表示する予備補正工程と、
前記調整工程により調整された前記直線の傾きを、ユーザ操作に応じて微調整する微調整工程と、
前記予備補正工程による補正後の画像の表示後に、ユーザにより補正の要求が行われると、前記処理対象の画像に対して、前記予備補正工程による補正の際に用いられた前記直線の位置および傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正する補正工程とを備え、
前記予備補正工程では、前記微調整工程により前記直線の傾きが微調整される度に、前記微調整工程により微調整された前記直線の傾きを示す情報に基づいて変形処理を行い、該画像の歪みを補正して、補正後の縮小画像を表示する
ことを特徴とする画像処理方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151995A JP4306184B2 (ja) | 2002-05-27 | 2002-05-27 | 電子カメラ、画像処理装置、画像処理プログラム、および画像処理方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002151995A JP4306184B2 (ja) | 2002-05-27 | 2002-05-27 | 電子カメラ、画像処理装置、画像処理プログラム、および画像処理方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003348430A JP2003348430A (ja) | 2003-12-05 |
| JP4306184B2 true JP4306184B2 (ja) | 2009-07-29 |
Family
ID=29769429
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002151995A Expired - Fee Related JP4306184B2 (ja) | 2002-05-27 | 2002-05-27 | 電子カメラ、画像処理装置、画像処理プログラム、および画像処理方法 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4306184B2 (ja) |
Families Citing this family (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100774479B1 (ko) * | 2004-07-06 | 2007-11-08 | 엘지전자 주식회사 | 휴대단말기의 영상신호 기울기 보정장치 및 방법 |
| JP4843210B2 (ja) * | 2004-10-29 | 2011-12-21 | 富士フイルム株式会社 | ディジタル・スチル・カメラおよびその制御方法 |
| JP5109803B2 (ja) | 2007-06-06 | 2012-12-26 | ソニー株式会社 | 画像処理装置、画像処理方法及び画像処理プログラム |
| JP4583478B2 (ja) * | 2008-06-11 | 2010-11-17 | ルネサスエレクトロニクス株式会社 | 設計像と撮影像との重ね合わせ表示方法、表示装置および表示プログラム |
| JP4769326B2 (ja) * | 2010-04-14 | 2011-09-07 | 富士フイルム株式会社 | 画像表示装置およびその制御方法 |
| JP6644641B2 (ja) | 2016-05-31 | 2020-02-12 | オリンパス株式会社 | 撮像装置、制御方法、及びプログラム |
-
2002
- 2002-05-27 JP JP2002151995A patent/JP4306184B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003348430A (ja) | 2003-12-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3458132B2 (ja) | 合成画像投影装置及び画像調整方法 | |
| US20020060754A1 (en) | Projector and method of correcting image distortion | |
| JP4978152B2 (ja) | プロジェクタ、プログラムおよび情報記憶媒体 | |
| JP2017147634A (ja) | 投影装置、投影方法及び投影システム | |
| JP2007158868A (ja) | 画像処理装置および方法 | |
| JPH11242737A (ja) | 画像処理方法及び装置並びに情報記録媒体 | |
| JP4306184B2 (ja) | 電子カメラ、画像処理装置、画像処理プログラム、および画像処理方法 | |
| JP4586707B2 (ja) | 画像処理装置、電子カメラおよび画像処理プログラム | |
| JP2003289485A (ja) | 投写型画像表示装置及び平面被投写体 | |
| US9373050B2 (en) | Image processing apparatus, image capturing apparatus, and method of controlling the same | |
| JP4337614B2 (ja) | 電子カメラおよびプログラム | |
| JPH11103436A (ja) | 画像処理装置及び方法並びに記憶媒体 | |
| JP2010146328A (ja) | プロジェクタ、その制御方法、及びその制御プログラム | |
| JP2004029110A (ja) | 投射型表示装置 | |
| US7408580B2 (en) | Image display apparatus, image display method and computer program | |
| JP4595660B2 (ja) | 撮影装置、撮影画像処理方法及びプログラム | |
| JP5676924B2 (ja) | 投影装置及び投影方法 | |
| JP2006054824A (ja) | 投射型映像表示装置 | |
| JP5422888B2 (ja) | プロジェクタ機能付きデジタルカメラ | |
| JP2001169151A (ja) | 電子カメラ | |
| JP2008072364A (ja) | プロジェクタ | |
| JP2006018226A (ja) | 画像表示装置及び画像表示装置の設定方法 | |
| JP3757469B2 (ja) | 印刷装置および印刷方法 | |
| JP2011135437A (ja) | 撮像装置、画像合成方法及びプログラム | |
| JP2006020225A (ja) | ビデオ撮像装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20050527 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20080129 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080205 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080404 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090427 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 Ref document number: 4306184 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120515 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150515 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150515 Year of fee payment: 6 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20150515 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |