JP4001233B2 - パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 - Google Patents
パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 Download PDFInfo
- Publication number
- JP4001233B2 JP4001233B2 JP2003032748A JP2003032748A JP4001233B2 JP 4001233 B2 JP4001233 B2 JP 4001233B2 JP 2003032748 A JP2003032748 A JP 2003032748A JP 2003032748 A JP2003032748 A JP 2003032748A JP 4001233 B2 JP4001233 B2 JP 4001233B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- local feature
- feature point
- unit
- imaging area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Stereoscopic And Panoramic Photography (AREA)
- Studio Devices (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明はパノラマ画像生成技術、とくに撮像エリアを変えながら撮影された画像をもとにパノラマ画像を合成するパノラマ撮影方法、およびその方法を利用可能な画像処理装置と画像撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラやデジタルビデオの普及により、撮影された画像をパーソナルコンピュータで手軽に編集したり、加工することができるようになった。ＣＣＤ（Charge-Coupled Device）カメラが搭載された携帯電話やＰＤＡ（Personal Data Assistant）なども利用されており、撮影した画像を電子メールでやりとりすることも頻繁に行われている。さらには、動画メールを送信したり、視野の広いパノラマ画像を撮影するなど、デジタル画像の利用形態は一層の広がりを見せている。
【０００３】
パノラマ画像を撮影する方法には、複数のカメラを配置して視野の異なる画像を撮影する方法と、反射鏡や魚眼レンズを用いて視野の広い画像を撮影する方法とがある。たとえば、特許文献１には、全方位反射鏡を用いてイメージセンサに全方位の画像を撮像する撮影装置が開示されている。
【０００４】
【特許文献１】
特開２００２−２６２１５７号公報 （全文、第１−１３図）
【０００５】
【発明が解決しようとする課題】
複数のカメラを配置して全方位を撮影する方法では、装置が大きくなりコストがかかる。カメラを駆動して全方位を撮影することもできるが、駆動するための装置が必要となり、やはり装置が大がかりになる。特許文献１に開示された方法では、全方位の画像を撮像するために、全方位反射鏡など専用の特殊な装置が必要であり、コストがかかる。
【０００６】
また、視野の異なる複数の画像をパノラマ画像として視覚化するためには、複数の画像をつなぎ合わせる処理が必要であり、計算時間がかかる。フォトレタッチソフトウエアなどを利用してそのような複数の画像を合成することもできるが、非常に手間のかかる作業となり、一般ユーザには難しい。
【０００７】
本発明はこうした状況に鑑みてなされたものであり、その目的は、低コストで簡単にパノラマ画像を生成することのできる技術を提供することにある。
【０００８】
【課題を解決するための手段】
本発明のある態様はパノラマ撮影方法に関する。この方法は、撮像エリアを徐々にずらしながら被写体を撮影し、撮影画像の局所特徴点の移動先を連続撮影された画像上で追跡することにより、連続撮影された画像を一枚のパノラマ画像に合成する。撮像エリアとは、カメラが撮影することのできる被写体の範囲であり、カメラを左右上下、もしくは任意の方向に移動させたり、カメラをパン（pan）またはチルト（tilt）させたりしながら撮影することにより、撮像エリアは連続的に変化する。局所特徴点は、被写体の撮影画像上に設けられる特徴的な点であり、理想的には１ピクセルであるが、数ピクセル程度のきわめて小さい領域である場合も含む。撮像エリアが徐々にずれた画像を合成すればよいため、画像全体で特徴点の移動を追跡することなく、局所的に設けられた特徴点の追跡によりパノラマ画像の合成処理が可能である。
【０００９】
前記撮影画像は、カメラを前記被写体に近接させた状態でカメラを徐々に移動させることにより撮影されてもよい。被写体とカメラの間の距離は、最終的に得られるパノラマ画像に要求される解像度とカメラが撮影可能な解像度の関係により定めることができる。カメラの移動はユーザによる手動で行われてもよく、駆動装置によって自動で行われてもよい。被写体面をカメラでなぞるようにして連続撮影することにより、低解像度の小型カメラでも、高解像度で広い視野の画像を生成することができる。
【００１０】
前記局所特徴点の近傍に限定して前記局所特徴点のオプティカルフローを求めることにより、前記局所特徴点の移動先を探索してもよい。撮像エリアをわずかにずらしながら被写体を連続的に撮影するため、局所特徴点の移動先はその局所特徴点の近傍に存在すると仮定してよく、その仮定の下、きわめて容易に局所特徴点の移動先を探索することができ、連続撮影される画像をリアルタイムでパノラマ画像に合成することが可能となる。
【００１１】
前記局所特徴点が前記撮像エリアから外れる事態に対処して、現在の撮像エリア内に新たな局所特徴点を設定してもよい。撮像エリアをずらしていくと、局所特徴点がやがては撮像エリアから外れることになる。局所特徴点が撮像エリア内に存在しなくなった場合や、局所特徴点が撮像エリアの端部に近づいた場合に、新たな局所特徴点を設定し直すことにより、パノラマ撮影を継続することができる。
【００１２】
本発明の別の態様は画像処理装置に関する。この装置は、撮像エリアを徐々にずらしながら撮影された複数の画像を入力する入力部と、前記複数の画像を記憶する記憶部と、前記複数の画像間で局所特徴点を追跡する追跡部と、追跡された前記局所特徴点をもとに前記複数の画像を一枚のパノラマ画像に合成する合成部とを含む。
【００１３】
撮像エリアが徐々に変化する複数の入力画像は、デジタルカメラにより撮影された静止画像であっても、デジタルビデオカメラにより撮影された動画フレームであってもよい。前記追跡部は、１つ前に入力された静止画像または動画フレームの局所特徴点に対応する点を現在の入力画像内で探索し、前記合成部は、その対応関係をもとに１つ前の静止画像または動画フレームに現在の静止画像または動画フレームを重ね合わせることにより前記パノラマ画像を生成してもよい。また、前記合成部による重ね合わせ処理後の画像は順次破棄され、合成された前記パノラマ画像のみが前記記憶部に記憶され、次回の重ね合わせ対象として再帰的に利用されてもよい。これにより、撮影範囲がずれた複数の入力画像をすべて記憶する必要がなくなり、合成過程にあるパノラマ画像だけを記憶して、記憶容量を節約することができる。
【００１４】
本発明のさらに別の態様は画像撮像装置に関する。この装置は、被写体の画像を撮像する撮像部と、前記撮像部により撮像エリアを徐々にずらしながら撮像された複数の画像を記憶する記憶部と、前記複数の画像間で局所特徴点を追跡する追跡部と、追跡された前記局所特徴点をもとに前記複数の画像を一枚のパノラマ画像に合成する合成部とを含む。
【００１５】
本発明のさらに別の態様も画像撮像装置に関する。この装置は、被写体の動画を撮像する撮像部と、前記撮像部により撮像エリアを徐々にずらしながら撮像された動画の複数のフレームを記憶する記憶部と、前記複数のフレーム間で局所特徴点を追跡する追跡部と、追跡された前記局所特徴点をもとに前記複数のフレームを一枚のパノラマ画像に合成する合成部とを含む。
【００１６】
上記のいずれの態様の画像撮像装置においても、撮像部は、被写体に近接した状態で被写体の画像を撮像してもよい。また撮像部は手動または自動で被写体面をなぞるように撮像してもよい。
【００１７】
本発明のさらに別の態様はコンピュータプログラムに関する。このプログラムは、撮像エリアを徐々にずらしながら撮影された画像を順次入力するステップと、順次入力される前記画像間で局所特徴点を追跡するステップと、追跡された前記局所特徴点をもとに順次入力される前記画像を一枚のパノラマ画像に合成するステップとをコンピュータに実行させる。
【００１８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００１９】
【発明の実施の形態】
実施の形態１
図１は、実施の形態１に係るパノラマ撮影システムの構成図である。パーソナルコンピュータ１２に接続されたＣＣＤカメラ１４を用いて被写体を撮影し、撮影された画像をディスプレイ１３に表示する。ＣＣＤカメラ１４を上下左右に連続的に動かしたり、回転させることにより、広い視野で被写体を撮影し、パーソナルコンピュータ１２に取り込む。撮影された画像はこれから述べる方法でパノラマ画像に合成されディスプレイ１３に表示される。合成されたパノラマ画像はパーソナルコンピュータ１２にて圧縮符号化された後、ハードディスクなどに記録される。
【００２０】
図２は、実施の形態１に係る画像処理装置１０の構成図である。画像処理装置１０は、図１のパーソナルコンピュータ１２の内部に構成されるものであり、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたパノラマ画像合成機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２１】
画像入力部１６は、ＣＣＤカメラ１４が撮影する被写体の画像を取り込み、画像記憶部２６に入力画像２８として格納する。ＣＣＤカメラ１４は撮像エリアをずらしながら被写体を連続的に撮影しており、画像入力部１６は、撮像エリアの異なる被写体の画像を入力画像２８として連続的に取り込む。たとえば、ユーザがＣＣＤカメラ１４をわずかにずらして被写体を撮影すると、画像入力部１６は数ドットだけ撮像エリアがずれた被写体の画像をＣＣＤカメラ１４から新たな入力画像２８として取得する。
【００２２】
局所特徴点追跡部１８は、画像入力部１６からの指示を受け、入力画像２８の局所特徴点を追跡する。局所特徴点は、最初の入力画像２８のたとえば中心点もしくはその周囲の特徴的な点である。局所特徴点追跡部１８は、最初の入力画像２８の局所特徴点の移動先を新たな入力画像２８内で追跡する。この局所特徴点の追跡には、後述のように追跡範囲を局所領域に限定したオプティカルフローが用いられる。
【００２３】
画像合成部２０は、局所特徴点追跡部１８により追跡された局所特徴点の移動方向と移動量にもとづいて、最初の入力画像２８に新たな入力画像２８を重ね合わせる処理を行い、処理結果の画像をパノラマ画像３０として画像記憶部２６に格納する。以降、局所特徴点追跡部１８は、一つ前の入力画像２８の局所特徴点の移動先を新たな入力画像２８内で追跡することを繰り返し、画像合成部２０は、その追跡結果にしたがって、画像入力部１６により次々に取得される新たな入力画像２８をパノラマ画像３０に順次重ね合わせ、より視野の広いパノラマ画像３０を合成していく。なお、次々に取得される入力画像２８は、パノラマ画像３０に合成された時点で画像記憶部２６から消去し、記憶領域を圧迫しないようにする。
【００２４】
画像表示部２２は、こうして合成されていくパノラマ画像３０をディスプレイ１３に表示する。ユーザがＣＣＤカメラ１４による被写体の撮影を終えた時点で、画像入力部１６はＣＣＤカメラ１４からの入力画像２８の取り込みを中止し、その時点で合成されているパノラマ画像３０を被写体の最終的なパノラマ画像３０として扱い、画像圧縮部２４はそのパノラマ画像３０を圧縮符号化して画像記憶部２６に保存する。
【００２５】
図３は、被写体と撮像エリア４０の関係を説明する図である。撮像エリア４０は、ＣＣＤカメラ１４が撮影することのできる被写体の範囲であり、ＣＣＤカメラ１４と被写体の間の距離に応じて、撮像エリア４０は狭くなったり、広がったりする。ＣＣＤカメラ１４を被写体から遠ざけると、撮像エリア４０は広がるが、撮影される被写体画像の解像度は落ちる。逆に、ＣＣＤカメラ１４を被写体に近づけると、撮像エリア４０は狭くなる反面、被写体画像の解像度は上がる。したがって被写体画像の解像度の要求に合わせて、ＣＣＤカメラ１４と被写体の間の距離を定めることになり、撮像エリア４０はそれに応じて限定されることがある。特に、パーソナルコンピュータ１２に接続して利用するＣＣＤカメラ１４は、一般に解像度があまり高くないため、被写体にある程度接近して撮影しなければ、十分な解像度の画像を撮影することができない。そのため、撮像エリア４０を狭くせざるを得ず、被写体全体を撮影することができない。そこでユーザは上下左右に撮像エリア４０を連続移動させて被写体全体を撮影する。
【００２６】
図４（ａ）〜（ｃ）は、図３の撮像エリア４０が左右に連続移動した場合に取得される入力画像２８ａ〜２８ｃと、それらの入力画像２８ａ〜２８ｃ上の局所特徴点４２ａ〜４２ｃの関係を説明する図である。図４（ａ）は、撮影開始時点の撮像エリア４０で取得された入力画像２８ａであり、局所特徴点４２ａとして入力画像２８ａの中心点が設定されている。図４（ｂ）は、わずかに左に撮像エリア４０をずらして取得された入力画像２８ｂであり、局所特徴点４２ｂはわずかに右にずれる。図４（ｃ）は、撮像エリア４０をさらに左にずらして取得された入力画像２８ｃであり、局所特徴点４２ｃはさらに右にずれる。
【００２７】
図４（ｄ）は、連続撮影された入力画像２８ａ〜２８ｃ上での局所特徴点４２ａ〜４２ｃの移動軌跡を示すものであり、最初の局所特徴点４２ａから次の局所特徴点４２ｂへの移動はベクトル４３ｂで示され、さらに次の局所特徴点４２ｃへの移動はベクトル４３ｃで示されている。
【００２８】
図５（ａ）〜（ｄ）は、局所特徴点４２ａ〜４２ｃの移動にもとづいて入力画像２８ａ〜２８ｃを合成してパノラマ画像３０が生成する方法を説明する図である。図５（ｂ）の入力画像２８ｂは、図４（ｄ）のベクトル４３ｂとは反対方向で同じ大きさのベクトル４５ｂにもとづいて、移動方向と移動量を決定されて、図５（ａ）の入力画像２８ａに対してずらされる。このようにずらすことで、図５（ｂ）の入力画像２８ｂの局所特徴点４２ｂが、図５（ａ）の入力画像２８ａの局所特徴点４２ａと一致するようになり、図５（ｂ）の入力画像２８ｂを図５（ａ）の入力画像２８ａに重ね合わせてメモリ上で上書きすることができる。
【００２９】
さらに、図５（ｃ）の入力画像２８ｃについても、同様に、図４（ｄ）のベクトル４３ｃとは反対方向で同じ大きさのベクトル４５ｃにもとづいてずらし、局所特徴点４２ｃを図５（ｂ）の入力画像２８ｂの局所特徴点４２ｂに一致させる。その上で、図５（ａ）の入力画像２８ａに図５（ｂ）の入力画像２８ｂが重ね合わされた画像に、さらに図５（ｃ）の入力画像２８ｃが重ね合わされる。こうして図５（ｂ）、（ｃ）の入力画像２８ｂ、２８ｃをずらして次々に重ね合わせることで図５（ｄ）に示すように、局所特徴点４２を合成の基準とするパノラマ画像３０が生成される。
【００３０】
画像処理装置１０の局所特徴点追跡部１８は、局所特徴点４２をオプティカルフローにより自動追跡する。局所特徴点は一例として、最初に撮像された画像の中心または、中心の周辺から得られる特徴点であり、そのサイズは１×１ピクセルから４×４ピクセルである。オプティカルフローによる自動追跡の計算を高速化するために特徴点は小さいほどよく、理想的には１ピクセルであるのが好ましいが、撮影される画像の性質により、特徴点として成立するために一定の大きさをもつ微小領域となることもあり、そのような場合も特徴点と称することにする。撮像エリア４０を徐々にずらしながら撮影された画像間で位置の微調整を行うことが目的であるため、画像合成の基準としてこのような微小領域の局所特徴点を設けてその動きを追跡するだけで十分に機能し、画像全体の動きをオプティカルフローで追跡する必要はない。
【００３１】
オプティカルフロー算出には従来から様々な手法が提案されているが、本実施の形態では精度が良好でかつ処理が高速なLucas-Kanade法を用いてオプティカルフローの算出を行う。ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ（ｘ，ｙ，ｔ）が、ある微小時間δｔ後に座標（ｘ＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったまま移動したとする。Lucas-Kanade法は、同一物体の局所領域ω内ではオプティカルフローは一定であると仮定する空間局所勾配法の一つであり、局所領域ωにおけるオプティカルフロー（ｕ，ｖ）＝（δｘ／δｔ，δｙ／δｔ）は次式により求められる。
ｕ＝Σω（∂Ｉ／∂ｘ）・［Ｊ（ｐ）−Ｉ（ｐ）］／Σω（∂Ｉ／∂ｘ）２
ｖ＝Σω（∂Ｉ／∂ｙ）・［Ｊ（ｐ）−Ｉ（ｐ）］／Σω（∂Ｉ／∂ｙ）２
ここで、Ｉ（ｐ）＝Ｉ（ｘ，ｙ，ｔ），Ｊ（ｐ）＝Ｉ（ｘ，ｙ，ｔ＋δｔ）である。なお、Lucas-Kanade法は次の文献に詳しい。Lucas, B. and Kanade, T.: An Iterative Image Registration Technique with an Application to Stereo Vision, Proc. DARPA Image Understanding Workshop, pp.121-130 (1981).
【００３２】
本実施の形態では、局所領域ωを10×10ピクセルの正方領域としてオプティカルフローの計算を行い、連続する２枚の入力画像２８間で局所特徴点４２の対応関係を求め、局所特徴点４２を追跡する。ユーザは撮像エリア４０を左右上下あるいは任意の方向に少しずつずらしながら被写体を連続的に撮影するため、局所特徴点４２の探索範囲をこのようなきわめて小さい領域に限定することができる。したがって、オプティカルフローを非常に高速に計算することができ、局所特徴点４２の追跡を連続撮影に同期してリアルタイムで行うことができる。
【００３３】
図５（ａ）〜（ｃ）のように、左に連続的に撮像エリア４０をずらしていくと、左方向に視野の広がったパノラマ画像３０が徐々に生成されていくが、局所特徴点４２は入力画像２８上で右にずれていくため、やがては撮像エリア４０から外れることになる。図６（ａ）〜（ｄ）は、最初に設定した局所特徴点４２が撮像エリア４０から外れたときに、新たに局所特徴点４４を設けて、パノラマ画像３０の生成を継続する様子を説明する図である。図６（ａ）のように、撮像エリア４０から左に移動した結果、最初の局所特徴点４２が現在の入力画像２８ａ上に存在しなくなった場合、新たな局所特徴点４４を現在の入力画像２８ａの中心点に設定する。図６（ｂ）、（ｃ）は、撮像エリア４０をさらに左に少しずつずらしたときの入力画像２８ｂ、２８ｃと、それらの画像上での新たな局所特徴点４４ｂ、４４ｃの移動を示す。図６（ａ）〜（ｃ）の入力画像２８ａ〜２８ｃを新たな局所特徴点４４ａ〜４４ｃを基準としてこれまでに得られたパノラマ画像３０に順次重ね合わせる。これにより、図６（ｄ）に示すように、最初の局所特徴点４２と新たな局所特徴点４４を合成の基準とするパノラマ画像３０が得られる。
【００３４】
図７（ａ）〜（ｃ）は、撮像エリア４０を上下方向にずらした場合にパノラマ画像３０が生成される様子を説明する図である。図７（ｂ）、（ｃ）は、図７（ａ）に示す入力画像２８ａが撮影された状態から上に撮像エリア４０を少しずつずらした場合の入力画像２８ｂ、２８ｃと、それらの画像上での局所特徴点４４ｂ、４４ｃの移動を示す。図７（ｂ）の入力画像２８ｂの局所特徴点４４ｂの移動量にもとづいて入力画像２８ｂをずらして、図７（ａ）の入力画像２８ａの局所特徴点４４ａに一致させることで、図７（ｂ）の入力画像２８ｂは図７（ａ）の入力画像２８ａに重ね合わされる。同様に図７（ｃ）の入力画像２８ｃがさらにその上に重ね合わされ、図７（ｄ）に示すように視野が上に広がったパノラマ画像３０が得られる。
【００３５】
図８（ａ）は、撮像エリア４０を左右上下にずらしながら被写体を撮影する様子を示す。撮像エリア４０の移動方向は斜めであってもよい。その場合は、入力画像２８をずらす方向が斜めになる。図８（ｂ）は、図８（ａ）のように撮像エリア４０を連続的に移動して撮影した入力画像２８をもとに合成されるパノラマ画像３０を示す。このようにして、被写体全体を撮影したパノラマ画像３０がメモリ上に形成される。こうして得られたパノラマ画像３０は圧縮符号化されて保存される。
【００３６】
図９は、画像処理装置１０によるパノラマ画像合成手順を示すフローチャートである。ユーザはまず初期位置でＣＣＤカメラ１４による撮像を開始する（Ｓ１０）。画像入力部１６は、初期位置の撮像エリア４０で撮像された被写体の画像を入力画像２８として取得し、局所特徴点追跡部１８は、その入力画像２８上に局所特徴点４２を設定する（Ｓ１２）。ユーザはＣＣＤカメラ１４を移動させて撮像エリア４０を連続的にずらす（Ｓ１４）。ＣＣＤカメラ１４はそのようにして連続的に変化する撮像エリア４０における被写体の画像を連続して撮像する（Ｓ１６）。
【００３７】
局所特徴点追跡部１８は、先に設定した局所特徴点４２が現在の撮像エリア４０内にあるかどうかを調べる（Ｓ１８）。先に設定した局所特徴点４２が撮像エリア４０内に存在しない場合（Ｓ１８のＮ）、新たな局所特徴点４４を現在の入力画像２８上に設定する（Ｓ２０）。先に設定した局所特徴点４２が撮像エリア４０内に存在する場合（Ｓ１８のＹ）、新たな局所特徴点４４を設定することなく、ステップＳ２２に進む。
【００３８】
ステップＳ１８において、局所特徴点４２が撮像エリア４０から外れた後では、局所特徴点４２が現在の撮像エリア４０内にあるかどうかを調べるのは処理が複雑になる。そこで、局所特徴点４２が画像入力部１６により取得された現在の入力画像２８の端部に近づいた場合に、局所特徴点４２は撮像エリア４０から外れると予想し、新たな新たな局所特徴点４４を現在の入力画像２８の中心に設定し直してもよい。
【００３９】
局所特徴点追跡部１８は、現在の入力画像２８上で局所特徴点４２または４４を追跡する（Ｓ２２）。画像合成部２０は、追跡された局所特徴点４２または４４にもとづいて現在の入力画像２８をこれまで得られたパノラマ画像３０の上にさらに重ね合わせて合成する（Ｓ２４）。以降、Ｓ１４〜Ｓ２４までの処理を、ユーザがＣＣＤカメラ１４を用いた被写体の撮影を終了するまで繰り返す。
【００４０】
以上述べたように、本発明の実施の形態によれば、ＣＣＤカメラ１４を左右上下に動かしながら撮影した画像をもとに視野の広いパノラマ画像をリアルタイムに生成し、パーソナルコンピュータ１２の画面で確認することができる。パノラマ画像を撮影するためにＣＣＤカメラ１４を被写体から遠ざける必要がなく、被写体にＣＣＤカメラ１４を接近した状態で被写体を撮影し、解像度の高い撮影画像をもとに大きなサイズのパノラマ画像を生成できる。また、広角レンズをもつ特殊なカメラを用いることなく、小型のＣＣＤカメラでパノラマ撮影ができるため、低コストで実現できる。たとえば、文字が書かれた紙面を撮影する場合、紙面全体をＣＣＤカメラで一度に撮影するには、ＣＣＤカメラを紙面から遠ざけて撮影しなければならないため、ＣＣＤカメラの解像度が低い場合、撮影画像上で文字を読み取ることは難しくなる。しかし、本実施の形態では、ＣＣＤカメラを紙面に接近させて、紙面をなぞるように撮影することで、文字をはっきり読み取れる高解像度のパノラマ画像を生成することができる。
【００４１】
実施の形態２
図１０は実施の形態２に係るデジタルカメラ２００の構成を示す。デジタルカメラ２００は、撮像ブロック２０２、機構制御ブロック２０４、処理ブロック２０６、ＬＣＤモニタ２０８、および操作ボタン２１０を含む。
【００４２】
撮像ブロック２０２は、レンズ２１０、ＣＣＤ２１２、信号処理部２１４を含む。レンズ２１０を通してＣＣＤ２１２の受光面上に被写体が結像する。この被写体像の光量に応じてＣＣＤ２１２に電荷が蓄積され、電圧信号として読み出される。電圧信号は信号処理部２１４でＲＧＢ成分に分解され、ホワイトバランス調整、ガンマ補正が行われる。その後、ＲＧＢ信号はＡ／Ｄ変換され、デジタル画像データとなって処理ブロック２０６へ出力される。機構制御ブロック２０４は、撮像ブロック２０２のレンズ２１０のズーム、フォーカス、絞りなど光学系の制御を行う。
【００４３】
処理ブロック２０６は、デジタルカメラ２００全体の制御に利用されるＣＰＵ２２０とメモリ２２２のほか、カードインタフェース２２４、外部インタフェース２２６を有する。これらのうち、ＣＰＵ２２０の機能の一部とメモリ２２２にロードされたパノラマ画像合成プログラムが、実施の形態１の画像処理装置１０に相当し、実施の形態１で説明したパノラマ画像の合成処理を行う。また、実施の形態１の画像記憶部２６は、このメモリ２２２の一部を利用して実現される。メモリ２２２に格納された合成されたパノラマ画像のデータは圧縮符号化され、カードインタフェース２２４を介してメモリカード２３０へ書き込まれる。
【００４４】
外部インタフェース２２６は、プリンタやパーソナルコンピュータ等の外部機器との間で個別のインタフェースによるデータのやりとりを行う。これにより、符号化されたパノラマ画像データが外部機器へ出力される。外部インタフェース２２６は、標準的な通信仕様に応じたプロトコル変換等の制御を行い、ネットワークを介して外部機器と画像データのやりとりを行ってもよい。
【００４５】
ＬＣＤモニタ２０８は、メモリ２２２に格納された現在の撮像エリアの被写体画像を表示する。また、操作ボタン２１０により表示モードを切り替えることにより、ＬＣＤモニタ２０８は、合成過程にあるパノラマ画像を表示したり、最終的に得られたパノラマ画像を表示することもできる。さらに、ＬＣＤモニタ２０８は、被写体画像のほか、撮影／再生モード、ズーム倍率、日時などを表示する。操作ボタン２１０は、ユーザが撮影を行い、または各種動作モードを設定するためのパワースイッチ、レリーズスイッチ等を含む。
【００４６】
ユーザが操作ボタン２１０によりパノラマ撮影モードを選択すると、処理ブロック２０６に内蔵された画像処理装置１０は、実施の形態１で説明したパノラマ画像合成処理を行う。また、ユーザが操作ボタン２１０により、被写体の撮影中に新たな局所特徴点を設定する指示を行うことができるように構成してもよい。また、通常、局所特徴点は撮像エリアの中心付近で自動的に抽出されて設定されるが、ユーザが操作ボタン２１０により、局所特徴点となる点や領域を被写体の画像上で設定することができるように構成してもよい。
【００４７】
本実施の形態によれば、通常のデジタルカメラを用いて、特別な駆動装置を使わずにパノラマ画像を撮影できる。異なる視野で撮影した複数の画像をパーソナルコンピュータなどで合成する手間が省け、手軽にパノラマ画像を撮影できる。
【００４８】
なお、このようなデジタルカメラ２００を小型化して、ＰＤＡのような携帯端末や携帯電話のカメラ部に搭載することもできる。特に携帯電話では小型で低解像度のＣＣＤカメラが使われるため、本実施の形態にように撮像エリアを移動させながらパノラマ画像を合成する方法がコスト的に実現しやすく、非常に簡単な処理で良質のパノラマ撮影が可能となる。
【００４９】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下そのような変形例を説明する。
【００５０】
上記の説明では、カメラで撮影された複数の画像を撮影して、パノラマ画像を生成したが、デジタルビデオで撮影された動画から複数のフレームを抽出し、それらをもとにパノラマ画像を生成してもよい。視野を変えながら撮影された動画から、撮像エリアが連続的に変化した複数のフレームを抽出することができ、それらの複数のフレームを同様の手法でパノラマ画像に合成することができる。特に本発明を監視カメラやＷｅｂカメラに適用すれば、常時撮影されている動画からパノラマ画像を自動的に生成して監視その他の目的に利用することができる。
【００５１】
【発明の効果】
本発明によれば、簡便にパノラマ画像を生成することができる。
【図面の簡単な説明】
【図１】 実施の形態１に係るパノラマ撮影システムの構成図である。
【図２】 実施の形態１に係る画像処理装置の構成図である。
【図３】 被写体と撮像エリアの関係を説明する図である。
【図４】 入力画像上の局所特徴点の移動を説明する図である。
【図５】 局所特徴点の移動にもとづいて入力画像を合成してパノラマ画像が生成する方法を説明する図である。
【図６】 新たに局所特徴点を設けて、入力画像を合成してパノラマ画像を生成する方法を説明する図である。
【図７】 撮像エリアを上下方向にずらした場合におけるパノラマ画像の生成方法を説明する図である。
【図８】 撮像エリアを左右上下にずらしながら被写体を撮影することにより生成されるパノラマ画像を説明する図である。
【図９】 実施の形態１に係る画像処理装置によるパノラマ画像合成手順を示すフローチャートである。
【図１０】 実施の形態２に係るデジタルカメラの構成図である。
【符号の説明】
１０ 画像処理装置、 １２ パーソナルコンピュータ、 １３ ディスプレイ、 １４ ＣＣＤカメラ、 １６ 画像入力部、 １８ 局所特徴点追跡部、２０ 画像合成部、 ２２ 画像表示部、 ２４ 画像圧縮部、 ２６ 画像記憶部、 ２８ 入力画像、 ３０ パノラマ画像、 ４０ 撮像エリア、 ４２ 局所特徴点。
【発明の属する技術分野】
この発明はパノラマ画像生成技術、とくに撮像エリアを変えながら撮影された画像をもとにパノラマ画像を合成するパノラマ撮影方法、およびその方法を利用可能な画像処理装置と画像撮像装置に関する。
【０００２】
【従来の技術】
デジタルカメラやデジタルビデオの普及により、撮影された画像をパーソナルコンピュータで手軽に編集したり、加工することができるようになった。ＣＣＤ（Charge-Coupled Device）カメラが搭載された携帯電話やＰＤＡ（Personal Data Assistant）なども利用されており、撮影した画像を電子メールでやりとりすることも頻繁に行われている。さらには、動画メールを送信したり、視野の広いパノラマ画像を撮影するなど、デジタル画像の利用形態は一層の広がりを見せている。
【０００３】
パノラマ画像を撮影する方法には、複数のカメラを配置して視野の異なる画像を撮影する方法と、反射鏡や魚眼レンズを用いて視野の広い画像を撮影する方法とがある。たとえば、特許文献１には、全方位反射鏡を用いてイメージセンサに全方位の画像を撮像する撮影装置が開示されている。
【０００４】
【特許文献１】
特開２００２−２６２１５７号公報 （全文、第１−１３図）
【０００５】
【発明が解決しようとする課題】
複数のカメラを配置して全方位を撮影する方法では、装置が大きくなりコストがかかる。カメラを駆動して全方位を撮影することもできるが、駆動するための装置が必要となり、やはり装置が大がかりになる。特許文献１に開示された方法では、全方位の画像を撮像するために、全方位反射鏡など専用の特殊な装置が必要であり、コストがかかる。
【０００６】
また、視野の異なる複数の画像をパノラマ画像として視覚化するためには、複数の画像をつなぎ合わせる処理が必要であり、計算時間がかかる。フォトレタッチソフトウエアなどを利用してそのような複数の画像を合成することもできるが、非常に手間のかかる作業となり、一般ユーザには難しい。
【０００７】
本発明はこうした状況に鑑みてなされたものであり、その目的は、低コストで簡単にパノラマ画像を生成することのできる技術を提供することにある。
【０００８】
【課題を解決するための手段】
本発明のある態様はパノラマ撮影方法に関する。この方法は、撮像エリアを徐々にずらしながら被写体を撮影し、撮影画像の局所特徴点の移動先を連続撮影された画像上で追跡することにより、連続撮影された画像を一枚のパノラマ画像に合成する。撮像エリアとは、カメラが撮影することのできる被写体の範囲であり、カメラを左右上下、もしくは任意の方向に移動させたり、カメラをパン（pan）またはチルト（tilt）させたりしながら撮影することにより、撮像エリアは連続的に変化する。局所特徴点は、被写体の撮影画像上に設けられる特徴的な点であり、理想的には１ピクセルであるが、数ピクセル程度のきわめて小さい領域である場合も含む。撮像エリアが徐々にずれた画像を合成すればよいため、画像全体で特徴点の移動を追跡することなく、局所的に設けられた特徴点の追跡によりパノラマ画像の合成処理が可能である。
【０００９】
前記撮影画像は、カメラを前記被写体に近接させた状態でカメラを徐々に移動させることにより撮影されてもよい。被写体とカメラの間の距離は、最終的に得られるパノラマ画像に要求される解像度とカメラが撮影可能な解像度の関係により定めることができる。カメラの移動はユーザによる手動で行われてもよく、駆動装置によって自動で行われてもよい。被写体面をカメラでなぞるようにして連続撮影することにより、低解像度の小型カメラでも、高解像度で広い視野の画像を生成することができる。
【００１０】
前記局所特徴点の近傍に限定して前記局所特徴点のオプティカルフローを求めることにより、前記局所特徴点の移動先を探索してもよい。撮像エリアをわずかにずらしながら被写体を連続的に撮影するため、局所特徴点の移動先はその局所特徴点の近傍に存在すると仮定してよく、その仮定の下、きわめて容易に局所特徴点の移動先を探索することができ、連続撮影される画像をリアルタイムでパノラマ画像に合成することが可能となる。
【００１１】
前記局所特徴点が前記撮像エリアから外れる事態に対処して、現在の撮像エリア内に新たな局所特徴点を設定してもよい。撮像エリアをずらしていくと、局所特徴点がやがては撮像エリアから外れることになる。局所特徴点が撮像エリア内に存在しなくなった場合や、局所特徴点が撮像エリアの端部に近づいた場合に、新たな局所特徴点を設定し直すことにより、パノラマ撮影を継続することができる。
【００１２】
本発明の別の態様は画像処理装置に関する。この装置は、撮像エリアを徐々にずらしながら撮影された複数の画像を入力する入力部と、前記複数の画像を記憶する記憶部と、前記複数の画像間で局所特徴点を追跡する追跡部と、追跡された前記局所特徴点をもとに前記複数の画像を一枚のパノラマ画像に合成する合成部とを含む。
【００１３】
撮像エリアが徐々に変化する複数の入力画像は、デジタルカメラにより撮影された静止画像であっても、デジタルビデオカメラにより撮影された動画フレームであってもよい。前記追跡部は、１つ前に入力された静止画像または動画フレームの局所特徴点に対応する点を現在の入力画像内で探索し、前記合成部は、その対応関係をもとに１つ前の静止画像または動画フレームに現在の静止画像または動画フレームを重ね合わせることにより前記パノラマ画像を生成してもよい。また、前記合成部による重ね合わせ処理後の画像は順次破棄され、合成された前記パノラマ画像のみが前記記憶部に記憶され、次回の重ね合わせ対象として再帰的に利用されてもよい。これにより、撮影範囲がずれた複数の入力画像をすべて記憶する必要がなくなり、合成過程にあるパノラマ画像だけを記憶して、記憶容量を節約することができる。
【００１４】
本発明のさらに別の態様は画像撮像装置に関する。この装置は、被写体の画像を撮像する撮像部と、前記撮像部により撮像エリアを徐々にずらしながら撮像された複数の画像を記憶する記憶部と、前記複数の画像間で局所特徴点を追跡する追跡部と、追跡された前記局所特徴点をもとに前記複数の画像を一枚のパノラマ画像に合成する合成部とを含む。
【００１５】
本発明のさらに別の態様も画像撮像装置に関する。この装置は、被写体の動画を撮像する撮像部と、前記撮像部により撮像エリアを徐々にずらしながら撮像された動画の複数のフレームを記憶する記憶部と、前記複数のフレーム間で局所特徴点を追跡する追跡部と、追跡された前記局所特徴点をもとに前記複数のフレームを一枚のパノラマ画像に合成する合成部とを含む。
【００１６】
上記のいずれの態様の画像撮像装置においても、撮像部は、被写体に近接した状態で被写体の画像を撮像してもよい。また撮像部は手動または自動で被写体面をなぞるように撮像してもよい。
【００１７】
本発明のさらに別の態様はコンピュータプログラムに関する。このプログラムは、撮像エリアを徐々にずらしながら撮影された画像を順次入力するステップと、順次入力される前記画像間で局所特徴点を追跡するステップと、追跡された前記局所特徴点をもとに順次入力される前記画像を一枚のパノラマ画像に合成するステップとをコンピュータに実行させる。
【００１８】
なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、コンピュータプログラム、記録媒体などの間で変換したものもまた、本発明の態様として有効である。
【００１９】
【発明の実施の形態】
実施の形態１
図１は、実施の形態１に係るパノラマ撮影システムの構成図である。パーソナルコンピュータ１２に接続されたＣＣＤカメラ１４を用いて被写体を撮影し、撮影された画像をディスプレイ１３に表示する。ＣＣＤカメラ１４を上下左右に連続的に動かしたり、回転させることにより、広い視野で被写体を撮影し、パーソナルコンピュータ１２に取り込む。撮影された画像はこれから述べる方法でパノラマ画像に合成されディスプレイ１３に表示される。合成されたパノラマ画像はパーソナルコンピュータ１２にて圧縮符号化された後、ハードディスクなどに記録される。
【００２０】
図２は、実施の形態１に係る画像処理装置１０の構成図である。画像処理装置１０は、図１のパーソナルコンピュータ１２の内部に構成されるものであり、ハードウエア的には、任意のコンピュータのＣＰＵ、メモリ、その他のＬＳＩで実現でき、ソフトウエア的にはメモリにロードされたパノラマ画像合成機能のあるプログラムなどによって実現されるが、ここではそれらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックがハードウエアのみ、ソフトウエアのみ、またはそれらの組合せによっていろいろな形で実現できることは、当業者には理解されるところである。
【００２１】
画像入力部１６は、ＣＣＤカメラ１４が撮影する被写体の画像を取り込み、画像記憶部２６に入力画像２８として格納する。ＣＣＤカメラ１４は撮像エリアをずらしながら被写体を連続的に撮影しており、画像入力部１６は、撮像エリアの異なる被写体の画像を入力画像２８として連続的に取り込む。たとえば、ユーザがＣＣＤカメラ１４をわずかにずらして被写体を撮影すると、画像入力部１６は数ドットだけ撮像エリアがずれた被写体の画像をＣＣＤカメラ１４から新たな入力画像２８として取得する。
【００２２】
局所特徴点追跡部１８は、画像入力部１６からの指示を受け、入力画像２８の局所特徴点を追跡する。局所特徴点は、最初の入力画像２８のたとえば中心点もしくはその周囲の特徴的な点である。局所特徴点追跡部１８は、最初の入力画像２８の局所特徴点の移動先を新たな入力画像２８内で追跡する。この局所特徴点の追跡には、後述のように追跡範囲を局所領域に限定したオプティカルフローが用いられる。
【００２３】
画像合成部２０は、局所特徴点追跡部１８により追跡された局所特徴点の移動方向と移動量にもとづいて、最初の入力画像２８に新たな入力画像２８を重ね合わせる処理を行い、処理結果の画像をパノラマ画像３０として画像記憶部２６に格納する。以降、局所特徴点追跡部１８は、一つ前の入力画像２８の局所特徴点の移動先を新たな入力画像２８内で追跡することを繰り返し、画像合成部２０は、その追跡結果にしたがって、画像入力部１６により次々に取得される新たな入力画像２８をパノラマ画像３０に順次重ね合わせ、より視野の広いパノラマ画像３０を合成していく。なお、次々に取得される入力画像２８は、パノラマ画像３０に合成された時点で画像記憶部２６から消去し、記憶領域を圧迫しないようにする。
【００２４】
画像表示部２２は、こうして合成されていくパノラマ画像３０をディスプレイ１３に表示する。ユーザがＣＣＤカメラ１４による被写体の撮影を終えた時点で、画像入力部１６はＣＣＤカメラ１４からの入力画像２８の取り込みを中止し、その時点で合成されているパノラマ画像３０を被写体の最終的なパノラマ画像３０として扱い、画像圧縮部２４はそのパノラマ画像３０を圧縮符号化して画像記憶部２６に保存する。
【００２５】
図３は、被写体と撮像エリア４０の関係を説明する図である。撮像エリア４０は、ＣＣＤカメラ１４が撮影することのできる被写体の範囲であり、ＣＣＤカメラ１４と被写体の間の距離に応じて、撮像エリア４０は狭くなったり、広がったりする。ＣＣＤカメラ１４を被写体から遠ざけると、撮像エリア４０は広がるが、撮影される被写体画像の解像度は落ちる。逆に、ＣＣＤカメラ１４を被写体に近づけると、撮像エリア４０は狭くなる反面、被写体画像の解像度は上がる。したがって被写体画像の解像度の要求に合わせて、ＣＣＤカメラ１４と被写体の間の距離を定めることになり、撮像エリア４０はそれに応じて限定されることがある。特に、パーソナルコンピュータ１２に接続して利用するＣＣＤカメラ１４は、一般に解像度があまり高くないため、被写体にある程度接近して撮影しなければ、十分な解像度の画像を撮影することができない。そのため、撮像エリア４０を狭くせざるを得ず、被写体全体を撮影することができない。そこでユーザは上下左右に撮像エリア４０を連続移動させて被写体全体を撮影する。
【００２６】
図４（ａ）〜（ｃ）は、図３の撮像エリア４０が左右に連続移動した場合に取得される入力画像２８ａ〜２８ｃと、それらの入力画像２８ａ〜２８ｃ上の局所特徴点４２ａ〜４２ｃの関係を説明する図である。図４（ａ）は、撮影開始時点の撮像エリア４０で取得された入力画像２８ａであり、局所特徴点４２ａとして入力画像２８ａの中心点が設定されている。図４（ｂ）は、わずかに左に撮像エリア４０をずらして取得された入力画像２８ｂであり、局所特徴点４２ｂはわずかに右にずれる。図４（ｃ）は、撮像エリア４０をさらに左にずらして取得された入力画像２８ｃであり、局所特徴点４２ｃはさらに右にずれる。
【００２７】
図４（ｄ）は、連続撮影された入力画像２８ａ〜２８ｃ上での局所特徴点４２ａ〜４２ｃの移動軌跡を示すものであり、最初の局所特徴点４２ａから次の局所特徴点４２ｂへの移動はベクトル４３ｂで示され、さらに次の局所特徴点４２ｃへの移動はベクトル４３ｃで示されている。
【００２８】
図５（ａ）〜（ｄ）は、局所特徴点４２ａ〜４２ｃの移動にもとづいて入力画像２８ａ〜２８ｃを合成してパノラマ画像３０が生成する方法を説明する図である。図５（ｂ）の入力画像２８ｂは、図４（ｄ）のベクトル４３ｂとは反対方向で同じ大きさのベクトル４５ｂにもとづいて、移動方向と移動量を決定されて、図５（ａ）の入力画像２８ａに対してずらされる。このようにずらすことで、図５（ｂ）の入力画像２８ｂの局所特徴点４２ｂが、図５（ａ）の入力画像２８ａの局所特徴点４２ａと一致するようになり、図５（ｂ）の入力画像２８ｂを図５（ａ）の入力画像２８ａに重ね合わせてメモリ上で上書きすることができる。
【００２９】
さらに、図５（ｃ）の入力画像２８ｃについても、同様に、図４（ｄ）のベクトル４３ｃとは反対方向で同じ大きさのベクトル４５ｃにもとづいてずらし、局所特徴点４２ｃを図５（ｂ）の入力画像２８ｂの局所特徴点４２ｂに一致させる。その上で、図５（ａ）の入力画像２８ａに図５（ｂ）の入力画像２８ｂが重ね合わされた画像に、さらに図５（ｃ）の入力画像２８ｃが重ね合わされる。こうして図５（ｂ）、（ｃ）の入力画像２８ｂ、２８ｃをずらして次々に重ね合わせることで図５（ｄ）に示すように、局所特徴点４２を合成の基準とするパノラマ画像３０が生成される。
【００３０】
画像処理装置１０の局所特徴点追跡部１８は、局所特徴点４２をオプティカルフローにより自動追跡する。局所特徴点は一例として、最初に撮像された画像の中心または、中心の周辺から得られる特徴点であり、そのサイズは１×１ピクセルから４×４ピクセルである。オプティカルフローによる自動追跡の計算を高速化するために特徴点は小さいほどよく、理想的には１ピクセルであるのが好ましいが、撮影される画像の性質により、特徴点として成立するために一定の大きさをもつ微小領域となることもあり、そのような場合も特徴点と称することにする。撮像エリア４０を徐々にずらしながら撮影された画像間で位置の微調整を行うことが目的であるため、画像合成の基準としてこのような微小領域の局所特徴点を設けてその動きを追跡するだけで十分に機能し、画像全体の動きをオプティカルフローで追跡する必要はない。
【００３１】
オプティカルフロー算出には従来から様々な手法が提案されているが、本実施の形態では精度が良好でかつ処理が高速なLucas-Kanade法を用いてオプティカルフローの算出を行う。ある時刻ｔの画像座標ｐ＝（ｘ，ｙ）の濃淡パターンＩ（ｘ，ｙ，ｔ）が、ある微小時間δｔ後に座標（ｘ＋δｘ，ｙ＋δｙ）に、その濃淡分布を一定に保ったまま移動したとする。Lucas-Kanade法は、同一物体の局所領域ω内ではオプティカルフローは一定であると仮定する空間局所勾配法の一つであり、局所領域ωにおけるオプティカルフロー（ｕ，ｖ）＝（δｘ／δｔ，δｙ／δｔ）は次式により求められる。
ｕ＝Σω（∂Ｉ／∂ｘ）・［Ｊ（ｐ）−Ｉ（ｐ）］／Σω（∂Ｉ／∂ｘ）２
ｖ＝Σω（∂Ｉ／∂ｙ）・［Ｊ（ｐ）−Ｉ（ｐ）］／Σω（∂Ｉ／∂ｙ）２
ここで、Ｉ（ｐ）＝Ｉ（ｘ，ｙ，ｔ），Ｊ（ｐ）＝Ｉ（ｘ，ｙ，ｔ＋δｔ）である。なお、Lucas-Kanade法は次の文献に詳しい。Lucas, B. and Kanade, T.: An Iterative Image Registration Technique with an Application to Stereo Vision, Proc. DARPA Image Understanding Workshop, pp.121-130 (1981).
【００３２】
本実施の形態では、局所領域ωを10×10ピクセルの正方領域としてオプティカルフローの計算を行い、連続する２枚の入力画像２８間で局所特徴点４２の対応関係を求め、局所特徴点４２を追跡する。ユーザは撮像エリア４０を左右上下あるいは任意の方向に少しずつずらしながら被写体を連続的に撮影するため、局所特徴点４２の探索範囲をこのようなきわめて小さい領域に限定することができる。したがって、オプティカルフローを非常に高速に計算することができ、局所特徴点４２の追跡を連続撮影に同期してリアルタイムで行うことができる。
【００３３】
図５（ａ）〜（ｃ）のように、左に連続的に撮像エリア４０をずらしていくと、左方向に視野の広がったパノラマ画像３０が徐々に生成されていくが、局所特徴点４２は入力画像２８上で右にずれていくため、やがては撮像エリア４０から外れることになる。図６（ａ）〜（ｄ）は、最初に設定した局所特徴点４２が撮像エリア４０から外れたときに、新たに局所特徴点４４を設けて、パノラマ画像３０の生成を継続する様子を説明する図である。図６（ａ）のように、撮像エリア４０から左に移動した結果、最初の局所特徴点４２が現在の入力画像２８ａ上に存在しなくなった場合、新たな局所特徴点４４を現在の入力画像２８ａの中心点に設定する。図６（ｂ）、（ｃ）は、撮像エリア４０をさらに左に少しずつずらしたときの入力画像２８ｂ、２８ｃと、それらの画像上での新たな局所特徴点４４ｂ、４４ｃの移動を示す。図６（ａ）〜（ｃ）の入力画像２８ａ〜２８ｃを新たな局所特徴点４４ａ〜４４ｃを基準としてこれまでに得られたパノラマ画像３０に順次重ね合わせる。これにより、図６（ｄ）に示すように、最初の局所特徴点４２と新たな局所特徴点４４を合成の基準とするパノラマ画像３０が得られる。
【００３４】
図７（ａ）〜（ｃ）は、撮像エリア４０を上下方向にずらした場合にパノラマ画像３０が生成される様子を説明する図である。図７（ｂ）、（ｃ）は、図７（ａ）に示す入力画像２８ａが撮影された状態から上に撮像エリア４０を少しずつずらした場合の入力画像２８ｂ、２８ｃと、それらの画像上での局所特徴点４４ｂ、４４ｃの移動を示す。図７（ｂ）の入力画像２８ｂの局所特徴点４４ｂの移動量にもとづいて入力画像２８ｂをずらして、図７（ａ）の入力画像２８ａの局所特徴点４４ａに一致させることで、図７（ｂ）の入力画像２８ｂは図７（ａ）の入力画像２８ａに重ね合わされる。同様に図７（ｃ）の入力画像２８ｃがさらにその上に重ね合わされ、図７（ｄ）に示すように視野が上に広がったパノラマ画像３０が得られる。
【００３５】
図８（ａ）は、撮像エリア４０を左右上下にずらしながら被写体を撮影する様子を示す。撮像エリア４０の移動方向は斜めであってもよい。その場合は、入力画像２８をずらす方向が斜めになる。図８（ｂ）は、図８（ａ）のように撮像エリア４０を連続的に移動して撮影した入力画像２８をもとに合成されるパノラマ画像３０を示す。このようにして、被写体全体を撮影したパノラマ画像３０がメモリ上に形成される。こうして得られたパノラマ画像３０は圧縮符号化されて保存される。
【００３６】
図９は、画像処理装置１０によるパノラマ画像合成手順を示すフローチャートである。ユーザはまず初期位置でＣＣＤカメラ１４による撮像を開始する（Ｓ１０）。画像入力部１６は、初期位置の撮像エリア４０で撮像された被写体の画像を入力画像２８として取得し、局所特徴点追跡部１８は、その入力画像２８上に局所特徴点４２を設定する（Ｓ１２）。ユーザはＣＣＤカメラ１４を移動させて撮像エリア４０を連続的にずらす（Ｓ１４）。ＣＣＤカメラ１４はそのようにして連続的に変化する撮像エリア４０における被写体の画像を連続して撮像する（Ｓ１６）。
【００３７】
局所特徴点追跡部１８は、先に設定した局所特徴点４２が現在の撮像エリア４０内にあるかどうかを調べる（Ｓ１８）。先に設定した局所特徴点４２が撮像エリア４０内に存在しない場合（Ｓ１８のＮ）、新たな局所特徴点４４を現在の入力画像２８上に設定する（Ｓ２０）。先に設定した局所特徴点４２が撮像エリア４０内に存在する場合（Ｓ１８のＹ）、新たな局所特徴点４４を設定することなく、ステップＳ２２に進む。
【００３８】
ステップＳ１８において、局所特徴点４２が撮像エリア４０から外れた後では、局所特徴点４２が現在の撮像エリア４０内にあるかどうかを調べるのは処理が複雑になる。そこで、局所特徴点４２が画像入力部１６により取得された現在の入力画像２８の端部に近づいた場合に、局所特徴点４２は撮像エリア４０から外れると予想し、新たな新たな局所特徴点４４を現在の入力画像２８の中心に設定し直してもよい。
【００３９】
局所特徴点追跡部１８は、現在の入力画像２８上で局所特徴点４２または４４を追跡する（Ｓ２２）。画像合成部２０は、追跡された局所特徴点４２または４４にもとづいて現在の入力画像２８をこれまで得られたパノラマ画像３０の上にさらに重ね合わせて合成する（Ｓ２４）。以降、Ｓ１４〜Ｓ２４までの処理を、ユーザがＣＣＤカメラ１４を用いた被写体の撮影を終了するまで繰り返す。
【００４０】
以上述べたように、本発明の実施の形態によれば、ＣＣＤカメラ１４を左右上下に動かしながら撮影した画像をもとに視野の広いパノラマ画像をリアルタイムに生成し、パーソナルコンピュータ１２の画面で確認することができる。パノラマ画像を撮影するためにＣＣＤカメラ１４を被写体から遠ざける必要がなく、被写体にＣＣＤカメラ１４を接近した状態で被写体を撮影し、解像度の高い撮影画像をもとに大きなサイズのパノラマ画像を生成できる。また、広角レンズをもつ特殊なカメラを用いることなく、小型のＣＣＤカメラでパノラマ撮影ができるため、低コストで実現できる。たとえば、文字が書かれた紙面を撮影する場合、紙面全体をＣＣＤカメラで一度に撮影するには、ＣＣＤカメラを紙面から遠ざけて撮影しなければならないため、ＣＣＤカメラの解像度が低い場合、撮影画像上で文字を読み取ることは難しくなる。しかし、本実施の形態では、ＣＣＤカメラを紙面に接近させて、紙面をなぞるように撮影することで、文字をはっきり読み取れる高解像度のパノラマ画像を生成することができる。
【００４１】
実施の形態２
図１０は実施の形態２に係るデジタルカメラ２００の構成を示す。デジタルカメラ２００は、撮像ブロック２０２、機構制御ブロック２０４、処理ブロック２０６、ＬＣＤモニタ２０８、および操作ボタン２１０を含む。
【００４２】
撮像ブロック２０２は、レンズ２１０、ＣＣＤ２１２、信号処理部２１４を含む。レンズ２１０を通してＣＣＤ２１２の受光面上に被写体が結像する。この被写体像の光量に応じてＣＣＤ２１２に電荷が蓄積され、電圧信号として読み出される。電圧信号は信号処理部２１４でＲＧＢ成分に分解され、ホワイトバランス調整、ガンマ補正が行われる。その後、ＲＧＢ信号はＡ／Ｄ変換され、デジタル画像データとなって処理ブロック２０６へ出力される。機構制御ブロック２０４は、撮像ブロック２０２のレンズ２１０のズーム、フォーカス、絞りなど光学系の制御を行う。
【００４３】
処理ブロック２０６は、デジタルカメラ２００全体の制御に利用されるＣＰＵ２２０とメモリ２２２のほか、カードインタフェース２２４、外部インタフェース２２６を有する。これらのうち、ＣＰＵ２２０の機能の一部とメモリ２２２にロードされたパノラマ画像合成プログラムが、実施の形態１の画像処理装置１０に相当し、実施の形態１で説明したパノラマ画像の合成処理を行う。また、実施の形態１の画像記憶部２６は、このメモリ２２２の一部を利用して実現される。メモリ２２２に格納された合成されたパノラマ画像のデータは圧縮符号化され、カードインタフェース２２４を介してメモリカード２３０へ書き込まれる。
【００４４】
外部インタフェース２２６は、プリンタやパーソナルコンピュータ等の外部機器との間で個別のインタフェースによるデータのやりとりを行う。これにより、符号化されたパノラマ画像データが外部機器へ出力される。外部インタフェース２２６は、標準的な通信仕様に応じたプロトコル変換等の制御を行い、ネットワークを介して外部機器と画像データのやりとりを行ってもよい。
【００４５】
ＬＣＤモニタ２０８は、メモリ２２２に格納された現在の撮像エリアの被写体画像を表示する。また、操作ボタン２１０により表示モードを切り替えることにより、ＬＣＤモニタ２０８は、合成過程にあるパノラマ画像を表示したり、最終的に得られたパノラマ画像を表示することもできる。さらに、ＬＣＤモニタ２０８は、被写体画像のほか、撮影／再生モード、ズーム倍率、日時などを表示する。操作ボタン２１０は、ユーザが撮影を行い、または各種動作モードを設定するためのパワースイッチ、レリーズスイッチ等を含む。
【００４６】
ユーザが操作ボタン２１０によりパノラマ撮影モードを選択すると、処理ブロック２０６に内蔵された画像処理装置１０は、実施の形態１で説明したパノラマ画像合成処理を行う。また、ユーザが操作ボタン２１０により、被写体の撮影中に新たな局所特徴点を設定する指示を行うことができるように構成してもよい。また、通常、局所特徴点は撮像エリアの中心付近で自動的に抽出されて設定されるが、ユーザが操作ボタン２１０により、局所特徴点となる点や領域を被写体の画像上で設定することができるように構成してもよい。
【００４７】
本実施の形態によれば、通常のデジタルカメラを用いて、特別な駆動装置を使わずにパノラマ画像を撮影できる。異なる視野で撮影した複数の画像をパーソナルコンピュータなどで合成する手間が省け、手軽にパノラマ画像を撮影できる。
【００４８】
なお、このようなデジタルカメラ２００を小型化して、ＰＤＡのような携帯端末や携帯電話のカメラ部に搭載することもできる。特に携帯電話では小型で低解像度のＣＣＤカメラが使われるため、本実施の形態にように撮像エリアを移動させながらパノラマ画像を合成する方法がコスト的に実現しやすく、非常に簡単な処理で良質のパノラマ撮影が可能となる。
【００４９】
以上、本発明を実施の形態をもとに説明した。これらの実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下そのような変形例を説明する。
【００５０】
上記の説明では、カメラで撮影された複数の画像を撮影して、パノラマ画像を生成したが、デジタルビデオで撮影された動画から複数のフレームを抽出し、それらをもとにパノラマ画像を生成してもよい。視野を変えながら撮影された動画から、撮像エリアが連続的に変化した複数のフレームを抽出することができ、それらの複数のフレームを同様の手法でパノラマ画像に合成することができる。特に本発明を監視カメラやＷｅｂカメラに適用すれば、常時撮影されている動画からパノラマ画像を自動的に生成して監視その他の目的に利用することができる。
【００５１】
【発明の効果】
本発明によれば、簡便にパノラマ画像を生成することができる。
【図面の簡単な説明】
【図１】 実施の形態１に係るパノラマ撮影システムの構成図である。
【図２】 実施の形態１に係る画像処理装置の構成図である。
【図３】 被写体と撮像エリアの関係を説明する図である。
【図４】 入力画像上の局所特徴点の移動を説明する図である。
【図５】 局所特徴点の移動にもとづいて入力画像を合成してパノラマ画像が生成する方法を説明する図である。
【図６】 新たに局所特徴点を設けて、入力画像を合成してパノラマ画像を生成する方法を説明する図である。
【図７】 撮像エリアを上下方向にずらした場合におけるパノラマ画像の生成方法を説明する図である。
【図８】 撮像エリアを左右上下にずらしながら被写体を撮影することにより生成されるパノラマ画像を説明する図である。
【図９】 実施の形態１に係る画像処理装置によるパノラマ画像合成手順を示すフローチャートである。
【図１０】 実施の形態２に係るデジタルカメラの構成図である。
【符号の説明】
１０ 画像処理装置、 １２ パーソナルコンピュータ、 １３ ディスプレイ、 １４ ＣＣＤカメラ、 １６ 画像入力部、 １８ 局所特徴点追跡部、２０ 画像合成部、 ２２ 画像表示部、 ２４ 画像圧縮部、 ２６ 画像記憶部、 ２８ 入力画像、 ３０ パノラマ画像、 ４０ 撮像エリア、 ４２ 局所特徴点。
Claims (12)
- 撮像エリアを徐々にずらしながら被写体を撮影し、最初の撮影画像の中心または中心の周辺に設けられた一つの局所特徴点の移動先を、当該局所特徴点の近傍に限定して連続撮影された画像上で追跡するステップと、
追跡された前記局所特徴点の移動方向と移動量にもとづいて、連続撮影された画像を一枚のパノラマ画像に合成するステップとを含み、
前記追跡するステップは、追跡された前記局所特徴点が現在の撮影画像の端部に近づいた場合に、当該局所特徴点は撮像エリアから外れるとの予想のもと、現在追跡中の局所特徴点を破棄して現在の撮影画像の中心または中心の周辺に新たな一つの局所特徴点を再設定することを特徴とするパノラマ撮影方法。 - 前記追跡するステップは、前記局所特徴点の近傍に限定して前記局所特徴点のオプティカルフローを求めることにより、前記局所特徴点の移動先を探索することを特徴とする請求項１に記載のパノラマ撮影方法。
- 前記被写体が文字の書かれた紙面である場合、前記撮影画像は、カメラを前記紙面に近接させた状態でカメラを徐々に移動させることにより撮影されることを特徴とする請求項１または２に記載のパノラマ撮影方法。
- 撮像エリアを徐々にずらしながら撮影された複数の画像を入力する入力部と、
前記複数の画像を記憶する記憶部と、
最初の撮影画像の中心または中心の周辺に設けられた一つの局所特徴点の移動先を、当該局所特徴点の近傍に限定して連続撮影された画像上で追跡する追跡部と、
追跡された前記局所特徴点の移動方向と移動量にもとづいて、連続撮影された画像を一枚のパノラマ画像に合成する合成部とを含み、
前記追跡部は、追跡された前記局所特徴点が現在の撮影画像の端部に近づいた場合に、当該局所特徴点は撮像エリアから外れるとの予想のもと、現在追跡中の局所特徴点を破棄して現在の撮影画像の中心または中心の周辺に新たな一つの局所特徴点を再設定することを特徴とする画像処理装置。 - 前記入力部は、撮像エリアが徐々に変化する画像の入力を順次受け付け、前記追跡部は、１つ前の入力画像の局所特徴点に対応する点を現在の入力画像内で探索し、前記合成部は、その対応関係をもとに１つ前の入力画像に現在の入力画像を重ね合わせることにより前記パノラマ画像を生成することを特徴とする請求項４に記載の画像処理装置。
- 前記入力部は、撮像エリアが徐々に変化する動画の入力を受け付け、前記追跡部は、１つ前の動画フレームの局所特徴点に対応する点を現在の動画フレーム内で探索し、前記合成部は、その対応関係をもとに１つ前の動画フレームに現在の動画フレームを重ね合わせることにより前記パノラマ画像を生成することを特徴とする請求項４に記載の画像処理装置。
- 前記合成部による重ね合わせ処理後の画像は順次破棄され、合成された前記パノラマ画像のみが前記記憶部に記憶され、次回の重ね合わせ対象として再帰的に利用されることを特徴とする請求項５または６に記載の画像処理装置。
- 前記追跡部は、前記局所特徴点の近傍に限定して前記局所特徴点のオプティカルフローを求めることにより、前記局所特徴点の移動先を探索することを特徴とする請求項５から７のいずれかに記載の画像処理装置。
- 前記被写体が文字の書かれた紙面である場合、前記複数の画像は、カメラを前記紙面に近接させた状態でカメラを徐々に移動させることにより撮影されたものであることを特徴とする請求項５から８のいずれかに記載の画像処理装置。
- 被写体の画像を撮像する撮像部と、
前記撮像部により撮像エリアを徐々にずらしながら撮像された複数の画像を記憶する記憶部と、
最初の撮影画像の中心または中心の周辺に設けられた一つの局所特徴点の移動先を、当 該局所特徴点の近傍に限定して連続撮影された画像上で追跡する追跡部と、
追跡された前記局所特徴点の移動方向と移動量にもとづいて、連続撮影された画像を一枚のパノラマ画像に合成する合成部とを含み、
前記追跡部は、追跡された前記局所特徴点が現在の撮影画像の端部に近づいた場合に、当該局所特徴点は撮像エリアから外れるとの予想のもと、現在追跡中の局所特徴点を破棄して現在の撮影画像の中心または中心の周辺に新たな一つの局所特徴点を再設定することを特徴とする画像撮像装置。 - 被写体の動画を撮像する撮像部と、
前記撮像部により撮像エリアを徐々にずらしながら撮像された動画の複数のフレームを記憶する記憶部と、
最初の撮影画像の中心または中心の周辺に設けられた一つの局所特徴点の移動先を、当該局所特徴点の近傍に限定して連続撮影されたフレーム上で追跡する追跡部と、
追跡された前記局所特徴点の移動方向と移動量にもとづいて、連続撮影されたフレームを一枚のパノラマ画像に合成する合成部とを含み、
前記追跡部は、追跡された前記局所特徴点が現在の撮影フレームの端部に近づいた場合に、当該局所特徴点は撮像エリアから外れるとの予想のもと、現在追跡中の局所特徴点を破棄して現在の撮影フレームの中心または中心の周辺に新たな一つの局所特徴点を再設定することを特徴とする画像撮像装置。 - 撮像エリアを徐々にずらしながら撮影された画像を順次入力するステップと、
最初の撮影画像の中心または中心の周辺に設けられた一つの局所特徴点の移動先を、当該局所特徴点の近傍に限定して連続撮影された画像上で追跡するステップと、
追跡された前記局所特徴点の移動方向と移動量にもとづいて、連続撮影された画像を一枚のパノラマ画像に合成するステップとをコンピュータに実行させるものであり、
前記追跡するステップは、追跡された前記局所特徴点が現在の撮影画像の端部に近づいた場合に、当該局所特徴点は撮像エリアから外れるとの予想のもと、現在追跡中の局所特徴点を破棄して現在の撮影画像の中心または中心の周辺に新たな一つの局所特徴点を再設定することを特徴とするプログラム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003032748A JP4001233B2 (ja) | 2003-02-10 | 2003-02-10 | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2003032748A JP4001233B2 (ja) | 2003-02-10 | 2003-02-10 | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2004247793A JP2004247793A (ja) | 2004-09-02 |
| JP4001233B2 true JP4001233B2 (ja) | 2007-10-31 |
Family
ID=33019002
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2003032748A Expired - Fee Related JP4001233B2 (ja) | 2003-02-10 | 2003-02-10 | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4001233B2 (ja) |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2007318490A (ja) * | 2006-05-26 | 2007-12-06 | Olympus Imaging Corp | 画像処理装置、カメラ、及び画像処理プログラム |
| KR100790890B1 (ko) * | 2006-09-27 | 2008-01-02 | 삼성전자주식회사 | 파노라마 영상 생성장치 및 방법 |
| JP4980779B2 (ja) * | 2007-04-13 | 2012-07-18 | 富士フイルム株式会社 | 撮影装置、方法およびプログラム |
| JP4377932B2 (ja) | 2007-07-26 | 2009-12-02 | 株式会社モルフォ | パノラマ画像生成装置およびプログラム |
| JP5827292B2 (ja) * | 2013-10-29 | 2015-12-02 | 三菱電機株式会社 | 冷蔵庫 |
| JP5985029B2 (ja) * | 2015-10-15 | 2016-09-06 | 三菱電機株式会社 | 冷蔵庫 |
| JP6915319B2 (ja) * | 2017-03-15 | 2021-08-04 | オムロン株式会社 | 画像合成装置、画像合成方法、および画像合成プログラム |
| CN117726511B (zh) * | 2024-02-18 | 2024-05-03 | 科睿特软件集团股份有限公司 | 用于旅游景观展示的全景成像装置及方法 |
-
2003
- 2003-02-10 JP JP2003032748A patent/JP4001233B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2004247793A (ja) | 2004-09-02 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| JP3695119B2 (ja) | 画像合成装置、及び画像合成方法を実現するプログラムを記録した記録媒体 | |
| JP2001211351A (ja) | 画像撮像装置およびその動作制御方法 | |
| JP5578442B2 (ja) | 撮像装置、画像合成方法、及びプログラム | |
| WO2007071821A1 (en) | Digital panoramic camera | |
| KR20090027681A (ko) | 이미지 센서의 데이터 세트를 처리하는 방법과 시스템, 그 컴퓨터 프로그램 및 그 컴퓨터 프로그램이 기록된 컴퓨터로판독 가능한 기록매체 | |
| JP2003179798A (ja) | デジタルカメラ | |
| JP4655708B2 (ja) | カメラ、カメラの手ブレ状態表示方法、及びプログラム | |
| JP4001233B2 (ja) | パノラマ撮影方法およびその方法を利用可能な画像処理装置と画像撮像装置 | |
| KR20050109190A (ko) | 듀얼 카메라를 이용한 와이드 이미지 생성 장치 및 방법 | |
| JP2006238326A (ja) | カメラ装置システムおよび撮影動画像再生方法 | |
| JP5248951B2 (ja) | カメラ装置、画像撮影支援装置、画像撮影支援方法、及び画像撮影支援プログラム | |
| JP2007166011A (ja) | 撮像装置及びそのプログラム | |
| JP2004266670A (ja) | 撮像装置及び方法、画像情報提供システム並びにプログラム | |
| CN108810326B (zh) | 一种拍照方法、装置及移动终端 | |
| JP2011035752A (ja) | 撮像装置 | |
| JP4609315B2 (ja) | 撮像装置、ズーム時の画角枠表示方法、およびプログラム | |
| US6876387B1 (en) | Digital zoom-out processing apparatus | |
| JPH10336494A (ja) | ズーム表示機能付デジタルカメラ | |
| JP3893416B2 (ja) | 電子スチルカメラおよびその画像データ記録再生方法 | |
| JP2007214620A (ja) | 画像処理装置、画像処理方法、およびプログラム | |
| JP2006203732A (ja) | デジタルカメラ、縦横撮影切替え方法、及びプログラム | |
| JP2004222025A (ja) | 電子カメラ | |
| JPH10304227A (ja) | 電子スチルカメラ | |
| EP1496684A2 (en) | Imaging apparatus, imaging method, imaging system, program | |
| JP2006020105A (ja) | 撮像装置、スロット写真撮影方法、及びプログラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041117 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20061120 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20061128 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070123 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070710 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070808 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100824 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110824 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120824 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130824 Year of fee payment: 6 |
|
| R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
| LAPS | Cancellation because of no payment of annual fees |