JP3839973B2 - 画像処理装置及び方法並びに記憶媒体 - Google Patents
画像処理装置及び方法並びに記憶媒体 Download PDFInfo
- Publication number
- JP3839973B2 JP3839973B2 JP26589598A JP26589598A JP3839973B2 JP 3839973 B2 JP3839973 B2 JP 3839973B2 JP 26589598 A JP26589598 A JP 26589598A JP 26589598 A JP26589598 A JP 26589598A JP 3839973 B2 JP3839973 B2 JP 3839973B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- information
- processing
- attribute information
- file
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Description
【０００１】
【発明の属する技術分野】
本発明は、複数の画像を扱う画像処理装置及び方法並びにその方法を実行するプログラム・ソフトウエアを記憶する記憶媒体に関する。
【０００２】
【従来の技術】
共通の属性情報を持つ複数の画像を同時に合成する技術が知られている。例えば、複数枚の画像を２次元方向につなぎ合わせることで、広画角で高精細なパノラマ画像を形成する装置又はソフトウエアが知られている。これによれば、低歪みの撮像光学系を使用しつつ、広い画角範囲の高品質の画像を得ることができる。
【０００３】
また、左右に平行に配置した２視点からの画像同士に視差が生じることを利用して、２つの画像をステレオ視することで、立体画像を見ることができる。眼鏡なしで直視型立体ディスプレイに表示する方法と、液晶シャッター眼鏡を用いて左右画像を切換えて表示する方法がある。前者の方法では、例えばレンチキュラーレンズなどを用いたディスプレイに対して２枚の左右画像をフレームの１ライン毎に交互に並べて合成する必要があり、後者の方法では、左右の画像を１つの画面上に切り換えて表示する処理が必要である。
【０００４】
このように、パノラマ画像又は立体視画像などのような合成画像は、構成する複数枚の画像を同時に処理する必要がある。
【０００５】
【発明が解決しようとする課題】
ところが、一組の画像群のうち、少なくとも１枚以上の任意の画像を処理した時の残りの画像については、未だ特別な処理がなされていなかった。このため、パノラマ画像又は立体視画像などのような合成画像全体に対して同じ処理を施したい場合に、その合成画像を構成する画像それぞれを選択して処理しなければならず、ユーザの負担が大きいものになる。例えば、合成画像を構成する画像のうち、任意の１枚に対して階調変換をした場合、残りの全ての構成画像について階調変換する必要がある。
【０００６】
本発明は、このような面倒を無くした画像処理装置及び方法並びに記憶媒体を提示することを目的とする。
【０００７】
本発明はまた、一体に扱われる一組の画像群の内の任意の１枚の画像に対してした処理を、残りの画像にも自動的に施すようにした画像処理装置及び方法並びに記憶媒体を提示することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る画像処理装置は、複数の画像情報を合成処理する画像処理装置であって、前記画像情報と、当該画像情報と合成する対象となる他の画像情報を特定する情報を含む属性情報とからなる複数の画像ファイルを記憶する記憶手段と、前記複数の画像ファイルより任意の画像ファイルを選択する選択手段と、前記選択手段によって選択された画像ファイルの属性情報に基づいて当該画像ファイルの画像情報の合成対象となる画像情報を含む画像ファイルを検索する検索手段と、前記選択手段によって選択された前記画像ファイルと、前記検索手段によって検索された画像ファイルに、所定の処理を施す処理手段とを具備することを特徴とする。
【０００９】
本発明に係る画像処理方法は、複数の画像情報を合成処理する画像処理方法であって、前記画像情報と、当該画像情報と合成する対象となる他の画像情報を特定する情報を含む属性情報とからなる複数の画像ファイルを記憶手段に記憶する記憶ステップと、前記複数の画像ファイルより任意の画像ファイルを選択手段によって選択する選択ステップと、前記選択ステップにおいて選択された画像ファイルの属性情報に基づいて当該画像ファイルの画像情報の合成対象となる画像情報を含む画像ファイルを検索手段によって検索する検索ステップと、前記選択ステップにおいて選択された前記画像ファイルと、前記検索ステップにおいて検索された画像ファイルに、処理手段によって所定の処理を施す処理ステップとを備えることを特徴とする。
【００１１】
本発明に係る記憶媒体には、上述の画像処理方法を実行するプログラム・ソフトウエアが外部読み出し自在に記憶されている。
【００１２】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００１３】
図１は、本発明の一実施例の概略構成ブロック図を示す。この実施例では、合成画像を構成する複数の画像のそれぞれには、当該合成画像を構成する画像であることを示す属性情報を付加しておく。何れかの構成画像の階調を補正したときに、残りの構成画像を自動選択して、同様に階調を補正する。
【００１４】
本実施例の画像処理装置１０は、基本的にはコンピュータからなる。１２は複数の画像並びに種々のプログラム及びデータを記憶する記憶装置、１４はＣＰＵ、１６はメモリ、１８は画像処理回路、２０はパラレルインターフェース、２２はユーザ・インターフェース、２４は表示制御回路、２６はＶＲＡＭ、２８はモニタ・ディスプレイ（以下、モニタという。）、３０はＣＰＵバスである。なお、電子スチル・カメラ又はビデオ・カメラを含めても良い。モニタ２８は、ＣＲＴモニタ又は液晶モニタからなる。ＣＰＵ１４は、記憶装置１２に記憶されるプログラムを読み込み、そのプログラムに従って各部を制御する。
【００１５】
記憶装置１２に記憶される画像をモニタ２８上に表示する動作を説明する。記憶装置１２に記憶される画像データは読み出され、ＣＰＵバス３０を介してメモリ１６に転送される。画像処理回路１８は、メモリ１６上で左右差補正（立体視の場合）等の処理を施す。表示制御回路２４は、メモリ１６上の画像データをＶＲＡＭ２６に取り込み、モニタ２８に表示する。ユーザーインターフェース２２は、ＣＰＵ１４にユーザが種々の指示を入力するのに使用される。パラレル・インターフェース１６を介して外部から取り込まれた画像をモニタ２６の画面上に表示することも可能であり、基本的な動作は同じである。
【００１６】
記憶装置１２に立体視画像を構成する左右２枚一組の画像データ・ファイルが格納されているとする。この画像データは、カメラにより撮影されたものでも、コンピュータ・グラフィックにより作成されてものでも、両者を兼用したものでもよい。ここでは、複眼カメラにより撮影された画像であるとする。
【００１７】
記憶装置１２における記憶形式、即ち、ファイル名及び属性等を図２に示す。図２では、基本ファイル名を”ＩＭＡＧＥ１”とし、共通の立体視画像の構成要素であることを示すために、基本ファイル名に右画像には”＿Ｒ”を左画像には”＿Ｌ”を付加しているが、ファイル名自体は、これに限定されない。拡張子には、画像ファイル形式を示すもの（図２では、ビットマップ形式を示すｂｍｐ）を使用する。ファイルフォーマットはビットマップに限定されない。
【００１８】
従って、記憶装置１２には、画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”と”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”が格納される。本実施例では、画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”，”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”が立体視のための一組の画像であることを示すために、一方の画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”のヘッダには、対となる画像ファイル名”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”とパノラマ・３Ｄ識別子名Ｐ１＿Ｒを格納し、他方の画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”のヘッダには、対となる画像ファイル名”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”とパノラマ３Ｄ識別子名Ｐ１＿Ｌを格納する。ヘッダには、ペア画像のファイル名に限らず、ペア画像のファイルの大きさ及び更新日時等、その画像に固有の情報を含めても良い。
【００１９】
参考のため、２Ｄのための画像ファイル”ＩＭＡＧＥ２．ｂｍｐ”とその属性情報を図２に図示した。２Ｄ用の画像ファイルであるから、ヘッダには、ペア画像名もパノラマ・３Ｄ識別氏名も、空白である。
【００２０】
パノラマ合成の場合のように３枚以上の画像を組とするときには、ヘッダに残りの構成画像のファイル名を全てを含めるのは、複雑であると共に、その格納領域を確保できないこともあるので、パノラマ３Ｄ識別子名のように、ファイル名とは別の共通の文字列にそれぞれの識別文字を付加した文字列（例えば、図２のＰ１＿Ｒ，Ｐ１＿Ｌ）を記録しておくとよい。これにより、ファイル名に依存しない管理が可能となり、ユーザは個別にファイル名を変更してしまった場合にも、同じ組の画像であることを識別できる。３つ以上の画像ファイルがある場合には、”＿１”、”＿２”及び”＿３”というような文字列を付加すればよい。
【００２１】
各画像ファイルには、その画像ファイルの作成日時が付加される。これは、記憶装置１２のディレクトリ・エントリに記録される。記憶装置１２内のディレクトリ・エントリの構造を図３に示す。ディレクトリ・エントリは、記憶装置１２内に記憶されるファイルのファイル名欄、拡張子欄、属性情報欄及び先頭クラスタ欄を含む。このような構造は周知である。先頭クラスタ欄には、各ファイルのＦＡＴ内での先頭クラスタが１６進数で例示されている。
【００２２】
次に、図４に示すフローチャートを参照して、立体視画像を構成する画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”と”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の階調を変換する動作を説明する。先ず、本実施例のビューワー・ソフトウエアの、ファイル名を表示するファイル・マネージャーを起動する。これにより、記憶装置１２に記憶される全ファイルのファイル名が表示され、ユーザは、ユーザ・インターフェース２２により、階調変換したい何れかの構成画像ファイルを選択する（Ｓ１）。例えば、ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”が選択されたとする。
【００２３】
選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”に階調変換が施される（Ｓ２）。階調変換の一例として、８ｂｉｔのグレイスケールを持つ階調をレベル１２８の閾値によって２値化する場合を説明する。勿論、本実施例はこのような階調変換に限定されない。
【００２４】
画像ファイルＩＭＡＧＥ１＿Ｌ．ｂｍｐの画像サイズをｍ×ｎ画素とし、各点の輝度レベル値をＬ（ｉ，ｊ）（但し、０≦Ｌ（ｉ，ｊ）≦２５５）、処理後の輝度レベル値をＬ’（ｉ，ｊ）とすると、２値化の処理は以下のように行なわれる。即ち、
とする。これにより、画像ＩＭＡＧＥ１＿Ｌ．ｂｍｐは１ビット・データになる。しかし、画像ＩＭＡＧＥ１＿Ｒ．ｂｍｐは８ビットのままである。
【００２５】
このように階調レベルの異なる２枚の画像を合成した画像は、非常に不自然な画像となる。従って、画像ＩＭＡＧＥ１＿Ｒ．ｂｍｐにも、画像ＩＭＡＧＥ１＿Ｌ．ｂｍｐと同様の階調変換を施す必要がある。従来は、ユーザが個別に、画像ＩＭＡＧＥ１＿Ｒ．ｂｍｐにも同様の階調変換処理を施していた。
【００２６】
本実施例では、ユーザにより選択されて階調変換された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”のヘッダが読み込まれ（Ｓ３）、ペアとなる画像の有無が調べられる（Ｓ４）。図２に示す例では、ペア画像名”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”と記入されているので、記憶装置１２に画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”が存在するかどうかが調べられる。
【００２７】
ペア画像が存在する場合には（Ｓ４）、そのペア画像名”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”を表示しつつ、そのファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”にも同じ階調変換を施す（Ｓ５）。即ち、画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”の画像サイズをｍ’×ｎ’画素とし、各点の輝度レベル値をＲ（ｉ，ｊ）（但し、０≦Ｒ（ｉ，ｊ）≦２５５）、処理後の輝度レベル値をＲ’（ｉ，ｊ）とすると、２値化の処理は以下のように行なわれる。即ち、
とする。
【００２８】
これにより、画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”は共に、１ビットのグレースケールを持つことになり、の両者を合成した画像は自然な画像となる。
【００２９】
階調変換の可否をユーザに最終確認し、よければ、階調変換した２つの画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”を上書き保存する（Ｓ６）。
【００３０】
対となる画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”が記憶装置１２に既に存在しない場合（Ｓ４）、そのまま終了する。
【００３１】
このようにして、合成画像の各構成画像のひとつを選択して階調変換した場合に、残りの構成画像にも自動的に同じ処理が施されることになる。従って、各構成画像を検索し、個別に同じ処理を施す必要が無くなり、ユーザの手間が大幅に省ける。
【００３２】
２枚の画像からなる立体視画像の場合を説明したが、２枚以上の画像からなるパノラマ画像の場合でも同様である。
【００３３】
残りの構成画像を、その画像データの作成日時を利用して検索することもできる。記憶装置１２は、フラッシュメモリーカードのような着脱自在なものであってもよい。
【００３４】
施すべき処理が、色変換、階調の補正、色の補正、画像拡大処理及びファイルフォーマットの変換であっても、処理内容が異なるだけで階調変換の場合と同じである。即ち、図４に示すフローチャートに従って、合成画像を構成する複数の構成画像の内の、１つに一定の処理を施した場合に、残りの構成画像にも同じ処理を施すことができる。
【００３５】
施すべき処理が、画像の回転であってもよい。回転の場合に、上述の処理と異なり、互いの位置情報を属性情報に含める必要があるので、以下、その動作を詳細に説明する。
【００３６】
ここでは、２行２列の４枚の構成画像を合成してパノラマ画像を生成する場合を例に説明する。
【００３７】
図５に示すように、記憶装置１２に、４つの画像ファイル”ＩＭＡＧＥ１．ｂｍｐ”，”ＩＭＡＧＥ２．ｂｍｐ”，”ＩＭＡＧＥ３．ｂｍｐ”及び”ＩＭＡＧＥ４．ｂｍｐ”が格納されているとする。各画像ファイルのヘッダには、４枚１組の合成画像Ｐ１の構成画像であることがパノラマ識別子名欄に記載され、画像位置欄には、合成画像上での位置が行番号と列番号で記載される。４つの画像ファイル”ＩＭＡＧＥ１．ｂｍｐ”，”ＩＭＡＧＥ２．ｂｍｐ”，”ＩＭＡＧＥ３．ｂｍｐ”及び”ＩＭＡＧＥ４．ｂｍｐ”は、例えば、図６に示すような配置で合成されるとする。
【００３８】
ヘッダには、新たに画像の属性情報としてファイル名を格納するだけの領域を確保する。画像ファイルのフォーマットはビットマップ形式に限定されず、種々のファイルフォーマットのものを使用できる。ヘッダに書き込むべき情報は上記例に限定されない。
【００３９】
この４枚の構成画像のうち、”ＩＭＡＧＥ１．ｂｍｐ”を読み出し、これを反時計回りに９０度回転する場合を考える。図７は、その動作フローチャートを示す。回転処理用ソフトウエアを立ち上げる。これにより、記憶装置１２に記憶されるファイルのファイル名が表示され、ユーザは、ユーザ・インターフェース２２により、回転したい画像ファイルを選択する（Ｓ１１）。例えば、ファイル”ＩＭＡＧＥ１．ｂｍｐ”が選択されたとする。
【００４０】
選択されたファイル”ＩＭＡＧＥ１．ｂｍｐ”のヘッダが読み込まれ（Ｓ１２）、そのパノラマ識別子名”Ｐ１”と同じパノラマ識別子名を持つ画像ファイルを検索する（Ｓ１３）。図５の例では、画像ファイル”ＩＭＡＧＥ２．ｂｍｐ”，”ＩＭＡＧＥ３．ｂｍｐ”及び”ＩＭＡＧＥ４．ｂｍｐ”が該当する。
【００４１】
同じパノラマ識別子名を有する画像ファイルが存在する場合（Ｓ１３）、同じパノラマ識別子名を有する画像すべてを指定の方向に回転する（Ｓ１４）。回転により、パノラマ合成画像に対する位置が変化するので、各画像ファイルのヘッダの画像位置の情報も正しい位置関係になるように更新する（Ｓ１５）。
【００４２】
例えば、パノラマ合成画像を反時計回りに９０度回転する場合、それぞれの画像の合成画像中での配置も変化する。即ち、合成画像を構成する全ての画像を回転しただけで、その配置情報を変更しなければ、パノラマ合成画像上で各構成画像は図８に示すように配置されることになり、パノラマ合成画像を回転したものにはならない。そこで、本実施例では、各構成画像のヘッダの画像位置で、合成画像中の配置を示す行と列の情報を変更する。反時計回りに９０度回転しているので、
ＩＭＡＧＥ１．ｂｍｐ：１行１列→２行１列
ＩＭＡＧＥ２．ｂｍｐ：１行２列→１行１列
ＩＭＡＧＥ３．ｂｍｐ：２行１列→２行２列
ＩＭＡＧＥ４．ｂｍｐ：２行２列→１行２列
となるように変更する。変更後のヘッダー情報によれば、各構成画像は、パノラマ合成画像上で図９に示すように正しく位置する。
【００４３】
ユーザが回転結果を承認する場合には、全画像ファイル”ＩＭＡＧＥ１．ｂｍｐ”，”ＩＭＡＧＥ２．ｂｍｐ”，”ＩＭＡＧＥ３．ｂｍｐ”及び”ＩＭＡＧＥ４．ｂｍｐ”の変更後のデータを上書き保存する（Ｓ１６）。
【００４４】
同じパノラマ識別子名を有する画像ファイルが存在しない場合（Ｓ１３）、選択された画像ファイルのみ、指定の方向に回転し（Ｓ１７）、ユーザが回転結果を承認すれば、回転後のデータを同じファイル名で保存する（Ｓ１６）。
【００４５】
このようにして、合成画像を構成する複数の構成画像の内の１つを回転した場合に、残りの構成画像も同じように回転すると共に、合成画像上での位置関係を規定する情報を正しく更新できる。即ち、個々の構成画像に同じ処理を施し、更に、合成画像に対する関係を規定する情報を個別に変更する手間が省ける。
【００４６】
施すべき処理が、反転処理であっても、処理内容が異なるだけで回転の場合と同じである。即ち、図７に示すフローチャートに従って、合成画像を構成する複数の構成画像の内の、１つに一定の処理を施した場合に、残りの構成画像にも同じ処理を施すことができる。即ち、個々の構成画像に同じ処理を施し、更に、合成画像に対する関係を規定する情報を個別に変更する手間が省ける。
【００４７】
次に、合成画像を構成する複数の画像の中のある画像で、ある基準点によって規定される特定領域がその画像からはみでる場合に、その特定領域を部分的に含む複数の画像を合成して表示する動作を説明する。
【００４８】
パノラマ画像が２つの画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像からなるとする。合成されたパノラマ画像と２つの画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像は、図１０に示すように、画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”の画像の右端が画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像の左端に丁度、合うように合成されるとする。勿論、一部がオーバーラップしていても良い。
【００４９】
ここで、左側の画像（画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”）からユーザが指定した点を始点とする矩形領域を切り出す場合を考える。その矩形領域が、１つの画像（画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”又は”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”）に含まれている場合には、何の問題もないが、矩形領域が図１０に示すように２つの画像（画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”）にまたがる場合、矩形領域内の画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像に含まれる部分を、画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像から切り出す必要がある。
【００５０】
画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像サイズをＨ×Ｗとし、画像”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”中にある始点の座標を（ｓｈ，ｓｗ）（０＜ｓｈ＜Ｈ、０＜ｓｗ＜Ｗ）、切り出したい矩形領域のサイズを（ｗｈ，ｗｗ）とする。
【００５１】
図１１は、指定領域内の画像を切り出す動作のフローチャートを示す。切り出し処理ソフトウエアを立ち上げる。記憶装置１２に記憶されるファイルのファイル名などが表示され、ユーザは、ユーザ・インターフェース２２により任意の１つの画像ファイルを選択する（Ｓ２１）。ここでは、画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”が選択されたとする。
【００５２】
選択された画像ファイルの画像上で、ユーザは切出し範囲の始点を決定する（Ｓ２２）。切り出し領域が、選択された画像中に完全に含まれるかどうかを判定する（Ｓ２３）。即ち、
ｓｗ＋ｗｗ＞Ｗ （３）
ｓｈ＋ｗｈ＞Ｈ （４）
であるかどうかを判定する。式（３）の条件が満たされるとき、切出し領域は、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像の右側に飛び出していることになる。式（４）の条件が満たされるとき、切出し領域は、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像の下側に飛び出していることになる。
【００５３】
切出し領域が、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像から飛び出している場合（Ｓ２３）、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”のヘッダを調べ、右側に位置すべき画像の画像ファイルがあるかどうかを調べる（Ｓ２５）。この説明例では、画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍ”が発見される。右側に位置すべき画像の画像ファイルがあっても、実際に記憶装置１２に記憶されていなければ（Ｓ２５）、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像からのみ指定範囲の画像を切り出す（Ｓ２７）。
【００５４】
切出し範囲が飛び出した部分の画像を含む画像ファイルが発見されると（Ｓ２５）、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ−ｂｍｐ”からは、始点（ｓｈ，ｓｗ）で大きさ（Ｈ−ｓｈ，ｗｗ）の矩形範囲を切り出し、Ｓ２７で発見した画像ファイル”ＩＭＡＧＥ１＿Ｒ−ｂｍｐ”からは、始点（ｓｈ，０）で多き（ｓｈ＋ｓｗ−Ｈ，ｗｗ）の矩領域を切り出し、切り出した画像を境界で合成して表示する（Ｓ２６）。
【００５５】
切出し領域が、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像に完全に含まれる場合（Ｓ２３）、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像から切出し範囲部分を切出し、表示する（Ｓ２７）。
【００５６】
このようにして、合成画像を構成する複数の画像の一つから特定領域の切り出しを指示した場合で、その特定領域が他の画像にまたがる場合にも、自動的にこれらの画像から必要な画像部分を切り出して合成するので、合成画像自体から切り出したのと同じ画像を、構成画像から切り出して得ることができる。合成画像は、その構成画像に比べて画質が劣化しているのが一般的であるので、合成画像自体から切り出す場合に比べ、より高い画質で特定範囲の画像を切り出せる。またこれは、合成画像を保存していない場合により有益である。
【００５７】
次に、合成画像を構成する複数の画像の一つを外部に転送するように指示した場合に、残りの画像も同様に外部に転送する動作を説明する。例えば、図１２に示すように、パラレル・インターフェース２０にコンピュータ３２が接続され、記憶装置１２に記憶される上述の所定の画像ファイルをコンピュータ３２に一括転送したいとする。
【００５８】
記憶装置１２には、図２に示すように、立体視画像を構成する左右２枚一組の画像”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”が記憶されているとする。
【００５９】
図１３は、動作フローチャートを示す。転送処理用ソフトウエアを立ち上げる。これにより、記憶装置１２に記憶される全ファイルのファイル名が表示され、ユーザは、ユーザ・インターフェース２２により、外部に転送した何れかの構成画像ファイルを選択する（Ｓ３１）。例えば、ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”が選択されたとする。
【００６０】
選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”をパラレル・インターフェース２２からコンピュータ３２に転送すると共に（Ｓ３２）、そのヘッダを読み取り（Ｓ３３）、組となる画像の有無が調べられる（Ｓ３４）。他の構成画像が存在する場合には（Ｓ３４）、発見された全部の構成画像の画像ファイルを同様に、パラレル・インターフェース２２からコンピュータ３２に転送する（Ｓ３５）。
【００６１】
このようにして、合成画像を生成するのに必要な全画像のひとつの転送を指示するのみで、全画像を転送できる。
【００６２】
本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００６３】
また、上述した実施例の機能を実現するように各種のデバイスを動作させるべく当該各種デバイスと接続された装置又はシステム内のコンピュータに、上記実施例の機能を実現するためのソフトウェアのプログラムコードを供給し、その装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ）を、格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本願発明の範囲に含まれる。
【００６４】
この場合、前記ソフトウエアのプログラムコード自体が、前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は、本発明を構成する。かかるプログラムコードを格納する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード及びＲＯＭ等を用いることが出来る。
【００６５】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施例の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフトウエア等と共同して上述の実施例の機能が実現される場合にも、かかるプログラムコードが本出願に係る発明の実施例に含まれることは言うまでもない。
【００６６】
更には、供給されたプログラムコードが、コンピュータの機能拡張ボード又はコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいて、その機能拡張ボード又は機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施例の機能が実現される場合も、本出願に係る発明に含まれることは言うまでもない。
【００６７】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、合成する対象となる複数の画像の内の任意の画像を選択して施した処理を、残りの画像にも自動的に施すことができる。これにより、個々の画像に同じ処理を繰り返す手間を省くことができる。
【図面の簡単な説明】
【図１】 本発明の一実施例の概略構成ブロック図である。
【図２】 記憶装置１２に記憶されるファイル例とその属性情報例である。
【図３】 図２に示すファイル例のディレクトリ・エントリ例である。
【図４】 本実施例の階調変処理のフローチャートである。
【図５】 本実施例の回転処理に使用するファイル名とその属性情報の説明図である。
【図６】 図５に示す各画像の合成画像上での配置を示す図である。
【図７】 本実施例の回転処理のフローチャートである。
【図８】 単に各画像を回転した結果の合成画像上の配置を示す図である。
【図９】 本実施例における回転処理後の、合成画像上での各画像の配置を示す図である。
【図１０】 複数の画像にわたる切出し範囲の説明図である。
【図１１】 本実施例の切出し処理のフローチャートである。
【図１２】 本実施例の外部転送処理を説明するための概略構成ブロック図である。
【図１３】 本実施例の転送処理のフローチャートである。
【符号の説明】
１０：画像処理装置
１２：記憶装置
１４：ＣＰＵ
１６：メモリ
１８：画像処理回路
２０：パラレルインターフェース
２２：ユーザ・インターフェース
２４：表示制御回路
２６：ＶＲＡＭ
２８：モニタ・ディスプレイ
３０：ＣＰＵバス
３２：コンピュータ
【発明の属する技術分野】
本発明は、複数の画像を扱う画像処理装置及び方法並びにその方法を実行するプログラム・ソフトウエアを記憶する記憶媒体に関する。
【０００２】
【従来の技術】
共通の属性情報を持つ複数の画像を同時に合成する技術が知られている。例えば、複数枚の画像を２次元方向につなぎ合わせることで、広画角で高精細なパノラマ画像を形成する装置又はソフトウエアが知られている。これによれば、低歪みの撮像光学系を使用しつつ、広い画角範囲の高品質の画像を得ることができる。
【０００３】
また、左右に平行に配置した２視点からの画像同士に視差が生じることを利用して、２つの画像をステレオ視することで、立体画像を見ることができる。眼鏡なしで直視型立体ディスプレイに表示する方法と、液晶シャッター眼鏡を用いて左右画像を切換えて表示する方法がある。前者の方法では、例えばレンチキュラーレンズなどを用いたディスプレイに対して２枚の左右画像をフレームの１ライン毎に交互に並べて合成する必要があり、後者の方法では、左右の画像を１つの画面上に切り換えて表示する処理が必要である。
【０００４】
このように、パノラマ画像又は立体視画像などのような合成画像は、構成する複数枚の画像を同時に処理する必要がある。
【０００５】
【発明が解決しようとする課題】
ところが、一組の画像群のうち、少なくとも１枚以上の任意の画像を処理した時の残りの画像については、未だ特別な処理がなされていなかった。このため、パノラマ画像又は立体視画像などのような合成画像全体に対して同じ処理を施したい場合に、その合成画像を構成する画像それぞれを選択して処理しなければならず、ユーザの負担が大きいものになる。例えば、合成画像を構成する画像のうち、任意の１枚に対して階調変換をした場合、残りの全ての構成画像について階調変換する必要がある。
【０００６】
本発明は、このような面倒を無くした画像処理装置及び方法並びに記憶媒体を提示することを目的とする。
【０００７】
本発明はまた、一体に扱われる一組の画像群の内の任意の１枚の画像に対してした処理を、残りの画像にも自動的に施すようにした画像処理装置及び方法並びに記憶媒体を提示することを目的とする。
【０００８】
【課題を解決するための手段】
本発明に係る画像処理装置は、複数の画像情報を合成処理する画像処理装置であって、前記画像情報と、当該画像情報と合成する対象となる他の画像情報を特定する情報を含む属性情報とからなる複数の画像ファイルを記憶する記憶手段と、前記複数の画像ファイルより任意の画像ファイルを選択する選択手段と、前記選択手段によって選択された画像ファイルの属性情報に基づいて当該画像ファイルの画像情報の合成対象となる画像情報を含む画像ファイルを検索する検索手段と、前記選択手段によって選択された前記画像ファイルと、前記検索手段によって検索された画像ファイルに、所定の処理を施す処理手段とを具備することを特徴とする。
【０００９】
本発明に係る画像処理方法は、複数の画像情報を合成処理する画像処理方法であって、前記画像情報と、当該画像情報と合成する対象となる他の画像情報を特定する情報を含む属性情報とからなる複数の画像ファイルを記憶手段に記憶する記憶ステップと、前記複数の画像ファイルより任意の画像ファイルを選択手段によって選択する選択ステップと、前記選択ステップにおいて選択された画像ファイルの属性情報に基づいて当該画像ファイルの画像情報の合成対象となる画像情報を含む画像ファイルを検索手段によって検索する検索ステップと、前記選択ステップにおいて選択された前記画像ファイルと、前記検索ステップにおいて検索された画像ファイルに、処理手段によって所定の処理を施す処理ステップとを備えることを特徴とする。
【００１１】
本発明に係る記憶媒体には、上述の画像処理方法を実行するプログラム・ソフトウエアが外部読み出し自在に記憶されている。
【００１２】
【実施例】
以下、図面を参照して、本発明の実施例を詳細に説明する。
【００１３】
図１は、本発明の一実施例の概略構成ブロック図を示す。この実施例では、合成画像を構成する複数の画像のそれぞれには、当該合成画像を構成する画像であることを示す属性情報を付加しておく。何れかの構成画像の階調を補正したときに、残りの構成画像を自動選択して、同様に階調を補正する。
【００１４】
本実施例の画像処理装置１０は、基本的にはコンピュータからなる。１２は複数の画像並びに種々のプログラム及びデータを記憶する記憶装置、１４はＣＰＵ、１６はメモリ、１８は画像処理回路、２０はパラレルインターフェース、２２はユーザ・インターフェース、２４は表示制御回路、２６はＶＲＡＭ、２８はモニタ・ディスプレイ（以下、モニタという。）、３０はＣＰＵバスである。なお、電子スチル・カメラ又はビデオ・カメラを含めても良い。モニタ２８は、ＣＲＴモニタ又は液晶モニタからなる。ＣＰＵ１４は、記憶装置１２に記憶されるプログラムを読み込み、そのプログラムに従って各部を制御する。
【００１５】
記憶装置１２に記憶される画像をモニタ２８上に表示する動作を説明する。記憶装置１２に記憶される画像データは読み出され、ＣＰＵバス３０を介してメモリ１６に転送される。画像処理回路１８は、メモリ１６上で左右差補正（立体視の場合）等の処理を施す。表示制御回路２４は、メモリ１６上の画像データをＶＲＡＭ２６に取り込み、モニタ２８に表示する。ユーザーインターフェース２２は、ＣＰＵ１４にユーザが種々の指示を入力するのに使用される。パラレル・インターフェース１６を介して外部から取り込まれた画像をモニタ２６の画面上に表示することも可能であり、基本的な動作は同じである。
【００１６】
記憶装置１２に立体視画像を構成する左右２枚一組の画像データ・ファイルが格納されているとする。この画像データは、カメラにより撮影されたものでも、コンピュータ・グラフィックにより作成されてものでも、両者を兼用したものでもよい。ここでは、複眼カメラにより撮影された画像であるとする。
【００１７】
記憶装置１２における記憶形式、即ち、ファイル名及び属性等を図２に示す。図２では、基本ファイル名を”ＩＭＡＧＥ１”とし、共通の立体視画像の構成要素であることを示すために、基本ファイル名に右画像には”＿Ｒ”を左画像には”＿Ｌ”を付加しているが、ファイル名自体は、これに限定されない。拡張子には、画像ファイル形式を示すもの（図２では、ビットマップ形式を示すｂｍｐ）を使用する。ファイルフォーマットはビットマップに限定されない。
【００１８】
従って、記憶装置１２には、画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”と”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”が格納される。本実施例では、画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”，”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”が立体視のための一組の画像であることを示すために、一方の画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”のヘッダには、対となる画像ファイル名”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”とパノラマ・３Ｄ識別子名Ｐ１＿Ｒを格納し、他方の画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”のヘッダには、対となる画像ファイル名”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”とパノラマ３Ｄ識別子名Ｐ１＿Ｌを格納する。ヘッダには、ペア画像のファイル名に限らず、ペア画像のファイルの大きさ及び更新日時等、その画像に固有の情報を含めても良い。
【００１９】
参考のため、２Ｄのための画像ファイル”ＩＭＡＧＥ２．ｂｍｐ”とその属性情報を図２に図示した。２Ｄ用の画像ファイルであるから、ヘッダには、ペア画像名もパノラマ・３Ｄ識別氏名も、空白である。
【００２０】
パノラマ合成の場合のように３枚以上の画像を組とするときには、ヘッダに残りの構成画像のファイル名を全てを含めるのは、複雑であると共に、その格納領域を確保できないこともあるので、パノラマ３Ｄ識別子名のように、ファイル名とは別の共通の文字列にそれぞれの識別文字を付加した文字列（例えば、図２のＰ１＿Ｒ，Ｐ１＿Ｌ）を記録しておくとよい。これにより、ファイル名に依存しない管理が可能となり、ユーザは個別にファイル名を変更してしまった場合にも、同じ組の画像であることを識別できる。３つ以上の画像ファイルがある場合には、”＿１”、”＿２”及び”＿３”というような文字列を付加すればよい。
【００２１】
各画像ファイルには、その画像ファイルの作成日時が付加される。これは、記憶装置１２のディレクトリ・エントリに記録される。記憶装置１２内のディレクトリ・エントリの構造を図３に示す。ディレクトリ・エントリは、記憶装置１２内に記憶されるファイルのファイル名欄、拡張子欄、属性情報欄及び先頭クラスタ欄を含む。このような構造は周知である。先頭クラスタ欄には、各ファイルのＦＡＴ内での先頭クラスタが１６進数で例示されている。
【００２２】
次に、図４に示すフローチャートを参照して、立体視画像を構成する画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”と”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の階調を変換する動作を説明する。先ず、本実施例のビューワー・ソフトウエアの、ファイル名を表示するファイル・マネージャーを起動する。これにより、記憶装置１２に記憶される全ファイルのファイル名が表示され、ユーザは、ユーザ・インターフェース２２により、階調変換したい何れかの構成画像ファイルを選択する（Ｓ１）。例えば、ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”が選択されたとする。
【００２３】
選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”に階調変換が施される（Ｓ２）。階調変換の一例として、８ｂｉｔのグレイスケールを持つ階調をレベル１２８の閾値によって２値化する場合を説明する。勿論、本実施例はこのような階調変換に限定されない。
【００２４】
画像ファイルＩＭＡＧＥ１＿Ｌ．ｂｍｐの画像サイズをｍ×ｎ画素とし、各点の輝度レベル値をＬ（ｉ，ｊ）（但し、０≦Ｌ（ｉ，ｊ）≦２５５）、処理後の輝度レベル値をＬ’（ｉ，ｊ）とすると、２値化の処理は以下のように行なわれる。即ち、
【００２５】
このように階調レベルの異なる２枚の画像を合成した画像は、非常に不自然な画像となる。従って、画像ＩＭＡＧＥ１＿Ｒ．ｂｍｐにも、画像ＩＭＡＧＥ１＿Ｌ．ｂｍｐと同様の階調変換を施す必要がある。従来は、ユーザが個別に、画像ＩＭＡＧＥ１＿Ｒ．ｂｍｐにも同様の階調変換処理を施していた。
【００２６】
本実施例では、ユーザにより選択されて階調変換された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”のヘッダが読み込まれ（Ｓ３）、ペアとなる画像の有無が調べられる（Ｓ４）。図２に示す例では、ペア画像名”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”と記入されているので、記憶装置１２に画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”が存在するかどうかが調べられる。
【００２７】
ペア画像が存在する場合には（Ｓ４）、そのペア画像名”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”を表示しつつ、そのファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”にも同じ階調変換を施す（Ｓ５）。即ち、画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”の画像サイズをｍ’×ｎ’画素とし、各点の輝度レベル値をＲ（ｉ，ｊ）（但し、０≦Ｒ（ｉ，ｊ）≦２５５）、処理後の輝度レベル値をＲ’（ｉ，ｊ）とすると、２値化の処理は以下のように行なわれる。即ち、
【００２８】
これにより、画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”は共に、１ビットのグレースケールを持つことになり、の両者を合成した画像は自然な画像となる。
【００２９】
階調変換の可否をユーザに最終確認し、よければ、階調変換した２つの画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”を上書き保存する（Ｓ６）。
【００３０】
対となる画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”が記憶装置１２に既に存在しない場合（Ｓ４）、そのまま終了する。
【００３１】
このようにして、合成画像の各構成画像のひとつを選択して階調変換した場合に、残りの構成画像にも自動的に同じ処理が施されることになる。従って、各構成画像を検索し、個別に同じ処理を施す必要が無くなり、ユーザの手間が大幅に省ける。
【００３２】
２枚の画像からなる立体視画像の場合を説明したが、２枚以上の画像からなるパノラマ画像の場合でも同様である。
【００３３】
残りの構成画像を、その画像データの作成日時を利用して検索することもできる。記憶装置１２は、フラッシュメモリーカードのような着脱自在なものであってもよい。
【００３４】
施すべき処理が、色変換、階調の補正、色の補正、画像拡大処理及びファイルフォーマットの変換であっても、処理内容が異なるだけで階調変換の場合と同じである。即ち、図４に示すフローチャートに従って、合成画像を構成する複数の構成画像の内の、１つに一定の処理を施した場合に、残りの構成画像にも同じ処理を施すことができる。
【００３５】
施すべき処理が、画像の回転であってもよい。回転の場合に、上述の処理と異なり、互いの位置情報を属性情報に含める必要があるので、以下、その動作を詳細に説明する。
【００３６】
ここでは、２行２列の４枚の構成画像を合成してパノラマ画像を生成する場合を例に説明する。
【００３７】
図５に示すように、記憶装置１２に、４つの画像ファイル”ＩＭＡＧＥ１．ｂｍｐ”，”ＩＭＡＧＥ２．ｂｍｐ”，”ＩＭＡＧＥ３．ｂｍｐ”及び”ＩＭＡＧＥ４．ｂｍｐ”が格納されているとする。各画像ファイルのヘッダには、４枚１組の合成画像Ｐ１の構成画像であることがパノラマ識別子名欄に記載され、画像位置欄には、合成画像上での位置が行番号と列番号で記載される。４つの画像ファイル”ＩＭＡＧＥ１．ｂｍｐ”，”ＩＭＡＧＥ２．ｂｍｐ”，”ＩＭＡＧＥ３．ｂｍｐ”及び”ＩＭＡＧＥ４．ｂｍｐ”は、例えば、図６に示すような配置で合成されるとする。
【００３８】
ヘッダには、新たに画像の属性情報としてファイル名を格納するだけの領域を確保する。画像ファイルのフォーマットはビットマップ形式に限定されず、種々のファイルフォーマットのものを使用できる。ヘッダに書き込むべき情報は上記例に限定されない。
【００３９】
この４枚の構成画像のうち、”ＩＭＡＧＥ１．ｂｍｐ”を読み出し、これを反時計回りに９０度回転する場合を考える。図７は、その動作フローチャートを示す。回転処理用ソフトウエアを立ち上げる。これにより、記憶装置１２に記憶されるファイルのファイル名が表示され、ユーザは、ユーザ・インターフェース２２により、回転したい画像ファイルを選択する（Ｓ１１）。例えば、ファイル”ＩＭＡＧＥ１．ｂｍｐ”が選択されたとする。
【００４０】
選択されたファイル”ＩＭＡＧＥ１．ｂｍｐ”のヘッダが読み込まれ（Ｓ１２）、そのパノラマ識別子名”Ｐ１”と同じパノラマ識別子名を持つ画像ファイルを検索する（Ｓ１３）。図５の例では、画像ファイル”ＩＭＡＧＥ２．ｂｍｐ”，”ＩＭＡＧＥ３．ｂｍｐ”及び”ＩＭＡＧＥ４．ｂｍｐ”が該当する。
【００４１】
同じパノラマ識別子名を有する画像ファイルが存在する場合（Ｓ１３）、同じパノラマ識別子名を有する画像すべてを指定の方向に回転する（Ｓ１４）。回転により、パノラマ合成画像に対する位置が変化するので、各画像ファイルのヘッダの画像位置の情報も正しい位置関係になるように更新する（Ｓ１５）。
【００４２】
例えば、パノラマ合成画像を反時計回りに９０度回転する場合、それぞれの画像の合成画像中での配置も変化する。即ち、合成画像を構成する全ての画像を回転しただけで、その配置情報を変更しなければ、パノラマ合成画像上で各構成画像は図８に示すように配置されることになり、パノラマ合成画像を回転したものにはならない。そこで、本実施例では、各構成画像のヘッダの画像位置で、合成画像中の配置を示す行と列の情報を変更する。反時計回りに９０度回転しているので、
ＩＭＡＧＥ１．ｂｍｐ：１行１列→２行１列
ＩＭＡＧＥ２．ｂｍｐ：１行２列→１行１列
ＩＭＡＧＥ３．ｂｍｐ：２行１列→２行２列
ＩＭＡＧＥ４．ｂｍｐ：２行２列→１行２列
となるように変更する。変更後のヘッダー情報によれば、各構成画像は、パノラマ合成画像上で図９に示すように正しく位置する。
【００４３】
ユーザが回転結果を承認する場合には、全画像ファイル”ＩＭＡＧＥ１．ｂｍｐ”，”ＩＭＡＧＥ２．ｂｍｐ”，”ＩＭＡＧＥ３．ｂｍｐ”及び”ＩＭＡＧＥ４．ｂｍｐ”の変更後のデータを上書き保存する（Ｓ１６）。
【００４４】
同じパノラマ識別子名を有する画像ファイルが存在しない場合（Ｓ１３）、選択された画像ファイルのみ、指定の方向に回転し（Ｓ１７）、ユーザが回転結果を承認すれば、回転後のデータを同じファイル名で保存する（Ｓ１６）。
【００４５】
このようにして、合成画像を構成する複数の構成画像の内の１つを回転した場合に、残りの構成画像も同じように回転すると共に、合成画像上での位置関係を規定する情報を正しく更新できる。即ち、個々の構成画像に同じ処理を施し、更に、合成画像に対する関係を規定する情報を個別に変更する手間が省ける。
【００４６】
施すべき処理が、反転処理であっても、処理内容が異なるだけで回転の場合と同じである。即ち、図７に示すフローチャートに従って、合成画像を構成する複数の構成画像の内の、１つに一定の処理を施した場合に、残りの構成画像にも同じ処理を施すことができる。即ち、個々の構成画像に同じ処理を施し、更に、合成画像に対する関係を規定する情報を個別に変更する手間が省ける。
【００４７】
次に、合成画像を構成する複数の画像の中のある画像で、ある基準点によって規定される特定領域がその画像からはみでる場合に、その特定領域を部分的に含む複数の画像を合成して表示する動作を説明する。
【００４８】
パノラマ画像が２つの画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像からなるとする。合成されたパノラマ画像と２つの画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像は、図１０に示すように、画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”の画像の右端が画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像の左端に丁度、合うように合成されるとする。勿論、一部がオーバーラップしていても良い。
【００４９】
ここで、左側の画像（画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”）からユーザが指定した点を始点とする矩形領域を切り出す場合を考える。その矩形領域が、１つの画像（画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”又は”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”）に含まれている場合には、何の問題もないが、矩形領域が図１０に示すように２つの画像（画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”）にまたがる場合、矩形領域内の画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像に含まれる部分を、画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像から切り出す必要がある。
【００５０】
画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像サイズをＨ×Ｗとし、画像”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”中にある始点の座標を（ｓｈ，ｓｗ）（０＜ｓｈ＜Ｈ、０＜ｓｗ＜Ｗ）、切り出したい矩形領域のサイズを（ｗｈ，ｗｗ）とする。
【００５１】
図１１は、指定領域内の画像を切り出す動作のフローチャートを示す。切り出し処理ソフトウエアを立ち上げる。記憶装置１２に記憶されるファイルのファイル名などが表示され、ユーザは、ユーザ・インターフェース２２により任意の１つの画像ファイルを選択する（Ｓ２１）。ここでは、画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”が選択されたとする。
【００５２】
選択された画像ファイルの画像上で、ユーザは切出し範囲の始点を決定する（Ｓ２２）。切り出し領域が、選択された画像中に完全に含まれるかどうかを判定する（Ｓ２３）。即ち、
ｓｗ＋ｗｗ＞Ｗ （３）
ｓｈ＋ｗｈ＞Ｈ （４）
であるかどうかを判定する。式（３）の条件が満たされるとき、切出し領域は、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像の右側に飛び出していることになる。式（４）の条件が満たされるとき、切出し領域は、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像の下側に飛び出していることになる。
【００５３】
切出し領域が、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像から飛び出している場合（Ｓ２３）、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”のヘッダを調べ、右側に位置すべき画像の画像ファイルがあるかどうかを調べる（Ｓ２５）。この説明例では、画像ファイル”ＩＭＡＧＥ１＿Ｒ．ｂｍ”が発見される。右側に位置すべき画像の画像ファイルがあっても、実際に記憶装置１２に記憶されていなければ（Ｓ２５）、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像からのみ指定範囲の画像を切り出す（Ｓ２７）。
【００５４】
切出し範囲が飛び出した部分の画像を含む画像ファイルが発見されると（Ｓ２５）、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ−ｂｍｐ”からは、始点（ｓｈ，ｓｗ）で大きさ（Ｈ−ｓｈ，ｗｗ）の矩形範囲を切り出し、Ｓ２７で発見した画像ファイル”ＩＭＡＧＥ１＿Ｒ−ｂｍｐ”からは、始点（ｓｈ，０）で多き（ｓｈ＋ｓｗ−Ｈ，ｗｗ）の矩領域を切り出し、切り出した画像を境界で合成して表示する（Ｓ２６）。
【００５５】
切出し領域が、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像に完全に含まれる場合（Ｓ２３）、選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”の画像から切出し範囲部分を切出し、表示する（Ｓ２７）。
【００５６】
このようにして、合成画像を構成する複数の画像の一つから特定領域の切り出しを指示した場合で、その特定領域が他の画像にまたがる場合にも、自動的にこれらの画像から必要な画像部分を切り出して合成するので、合成画像自体から切り出したのと同じ画像を、構成画像から切り出して得ることができる。合成画像は、その構成画像に比べて画質が劣化しているのが一般的であるので、合成画像自体から切り出す場合に比べ、より高い画質で特定範囲の画像を切り出せる。またこれは、合成画像を保存していない場合により有益である。
【００５７】
次に、合成画像を構成する複数の画像の一つを外部に転送するように指示した場合に、残りの画像も同様に外部に転送する動作を説明する。例えば、図１２に示すように、パラレル・インターフェース２０にコンピュータ３２が接続され、記憶装置１２に記憶される上述の所定の画像ファイルをコンピュータ３２に一括転送したいとする。
【００５８】
記憶装置１２には、図２に示すように、立体視画像を構成する左右２枚一組の画像”ＩＭＡＧＥ１＿Ｒ．ｂｍｐ”及び”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”が記憶されているとする。
【００５９】
図１３は、動作フローチャートを示す。転送処理用ソフトウエアを立ち上げる。これにより、記憶装置１２に記憶される全ファイルのファイル名が表示され、ユーザは、ユーザ・インターフェース２２により、外部に転送した何れかの構成画像ファイルを選択する（Ｓ３１）。例えば、ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”が選択されたとする。
【００６０】
選択された画像ファイル”ＩＭＡＧＥ１＿Ｌ．ｂｍｐ”をパラレル・インターフェース２２からコンピュータ３２に転送すると共に（Ｓ３２）、そのヘッダを読み取り（Ｓ３３）、組となる画像の有無が調べられる（Ｓ３４）。他の構成画像が存在する場合には（Ｓ３４）、発見された全部の構成画像の画像ファイルを同様に、パラレル・インターフェース２２からコンピュータ３２に転送する（Ｓ３５）。
【００６１】
このようにして、合成画像を生成するのに必要な全画像のひとつの転送を指示するのみで、全画像を転送できる。
【００６２】
本発明は、複数の機器から構成されるシステムに適用しても、一つの機器からなる装置に適用してもよい。
【００６３】
また、上述した実施例の機能を実現するように各種のデバイスを動作させるべく当該各種デバイスと接続された装置又はシステム内のコンピュータに、上記実施例の機能を実現するためのソフトウェアのプログラムコードを供給し、その装置又はシステムのコンピュータ（ＣＰＵ又はＭＰＵ）を、格納されたプログラムに従って前記各種デバイスを動作させることによって実施したものも、本願発明の範囲に含まれる。
【００６４】
この場合、前記ソフトウエアのプログラムコード自体が、前述した実施例の機能を実現することになり、そのプログラムコード自体、及びそのプログラムコードをコンピュータに供給するための手段、例えば、かかるプログラムコードを格納した記憶媒体は、本発明を構成する。かかるプログラムコードを格納する記憶媒体としては、例えば、フロッピーディスク、ハードディスク、光ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、磁気テープ、不揮発性のメモリカード及びＲＯＭ等を用いることが出来る。
【００６５】
また、コンピュータが供給されたプログラムコードを実行することにより、前述の実施例の機能が実現されるだけではなく、そのプログラムコードがコンピュータにおいて稼働しているＯＳ（オペレーティングシステム）又は他のアプリケーションソフトウエア等と共同して上述の実施例の機能が実現される場合にも、かかるプログラムコードが本出願に係る発明の実施例に含まれることは言うまでもない。
【００６６】
更には、供給されたプログラムコードが、コンピュータの機能拡張ボード又はコンピュータに接続された機能拡張ユニットに備わるメモリに格納された後、そのプログラムコードの指示に基づいて、その機能拡張ボード又は機能拡張ユニットに備わるＣＰＵ等が実際の処理の一部または全部を行い、その処理によって上述した実施例の機能が実現される場合も、本出願に係る発明に含まれることは言うまでもない。
【００６７】
【発明の効果】
以上の説明から容易に理解できるように、本発明によれば、合成する対象となる複数の画像の内の任意の画像を選択して施した処理を、残りの画像にも自動的に施すことができる。これにより、個々の画像に同じ処理を繰り返す手間を省くことができる。
【図面の簡単な説明】
【図１】 本発明の一実施例の概略構成ブロック図である。
【図２】 記憶装置１２に記憶されるファイル例とその属性情報例である。
【図３】 図２に示すファイル例のディレクトリ・エントリ例である。
【図４】 本実施例の階調変処理のフローチャートである。
【図５】 本実施例の回転処理に使用するファイル名とその属性情報の説明図である。
【図６】 図５に示す各画像の合成画像上での配置を示す図である。
【図７】 本実施例の回転処理のフローチャートである。
【図８】 単に各画像を回転した結果の合成画像上の配置を示す図である。
【図９】 本実施例における回転処理後の、合成画像上での各画像の配置を示す図である。
【図１０】 複数の画像にわたる切出し範囲の説明図である。
【図１１】 本実施例の切出し処理のフローチャートである。
【図１２】 本実施例の外部転送処理を説明するための概略構成ブロック図である。
【図１３】 本実施例の転送処理のフローチャートである。
【符号の説明】
１０：画像処理装置
１２：記憶装置
１４：ＣＰＵ
１６：メモリ
１８：画像処理回路
２０：パラレルインターフェース
２２：ユーザ・インターフェース
２４：表示制御回路
２６：ＶＲＡＭ
２８：モニタ・ディスプレイ
３０：ＣＰＵバス
３２：コンピュータ
Claims (36)
- 複数の画像情報を合成処理する画像処理装置であって、
前記画像情報と、当該画像情報と合成する対象となる他の画像情報を特定する情報を含む属性情報とからなる複数の画像ファイルを記憶する記憶手段と、
前記複数の画像ファイルより任意の画像ファイルを選択する選択手段と、
前記選択手段によって選択された画像ファイルの属性情報に基づいて当該画像ファイルの画像情報の合成対象となる画像情報を含む画像ファイルを検索する検索手段と、
前記選択手段によって選択された前記画像ファイルと、前記検索手段によって検索された画像ファイルに、所定の処理を施す処理手段
とを具備することを特徴とする画像処理装置。 - 更に、当該処理手段により当該所定の処理を施された画像情報を記録媒体に記録する記録手段を具備する請求項１に記載の画像処理装置。
- 更に、該処理手段により当該所定の処理を施された画像情報の当該属性情報を更新する属性情報更新手段を具備する請求項１に記載の画像処理装置。
- 当該所定の処理が色補正である請求項１に記載の画像処理装置。
- 当該所定の処理が階調補正である請求項１に記載の画像処理装置。
- 当該所定の処理が色変換である請求項１に記載の画像処理装置。
- 当該所定の処理が階調変換である請求項１に記載の画像処理装置。
- 当該所定の処理が画像の拡大である請求項１に記載の画像処理装置。
- 当該所定の処理がファイル・フォーマットの変換である請求項１に記載の画像処理装置。
- 当該所定の処理が画像転送である請求項１に記載の画像処理装置。
- 当該所定の処理が画像の回転であり、当該属性情報更新手段が、当該複数の画像情報の当該属性情報として、合成画像中での位置を更新する請求項３に記載の画像処理装置。
- 当該所定の処理が画像の反転であり、当該属性情報更新手段が、当該複数の画像情報の当該属性情報として、合成画像中での位置を更新する請求項３に記載の画像処理装置。
- 複数の画像情報を合成処理する画像処理方法であって、
前記画像情報と、当該画像情報と合成する対象となる他の画像情報を特定する情報を含む属性情報とからなる複数の画像ファイルを記憶手段に記憶する記憶ステップと、
前記複数の画像ファイルより任意の画像ファイルを選択手段によって選択する選択ステップと、
前記選択ステップにおいて選択された画像ファイルの属性情報に基づいて当該画像ファイルの画像情報の合成対象となる画像情報を含む画像ファイルを検索手段によって検索する検索ステップと、
前記選択ステップにおいて選択された前記画像ファイルと、前記検索ステップにおいて検索された画像ファイルに、処理手段によって所定の処理を施す処理ステップ
とを備えることを特徴とする画像処理方法。 - 更に、当該処理ステップにより当該所定の処理を施された画像情報を前記記憶手段によって記録媒体に記録させる記録ステップを具備する請求項１３に記載の画像処理方法。
- 更に、該処理ステップにより当該所定の処理を施された画像情報の当該属性情報を属性情報更新手段によって更新する属性情報更新ステップを具備する請求項１３に記載の画像処理方法。
- 当該所定の処理が色補正である請求項１３に記載の画像処理方法。
- 当該所定の処理が階調補正である請求項１３に記載の画像処理方法。
- 当該所定の処理が色変換である請求項１３に記載の画像処理方法。
- 当該所定の処理が階調変換である請求項１３に記載の画像処理方法。
- 当該所定の処理が画像の拡大である請求項１３に記載の画像処理方法。
- 当該所定の処理がファイル・フォーマットの変換である請求項１３に記載の画像処理方法。
- 当該所定の処理が画像転送である請求項１３に記載の画像処理方法。
- 当該所定の処理が画像の回転であり、当該属性情報更新ステップが、前記属性情報更新手段によって当該複数の画像情報の当該属性情報として、合成画像中での位置を更新する請求項１５に記載の画像処理方法。
- 当該所定の処理が画像の反転であり、当該属性情報更新ステップが、前記属性情報更新手段によって当該複数の画像情報の当該属性情報として、合成画像中での位置を更新する請求項１５に記載の画像処理方法。
- 複数の画像情報を合成処理する画像処理方法をコンピュータに実行させるプログラムを記憶したコンピュータ読取り可能な記憶媒体であって、当該画像処理方法が、
画像情報と、当該画像情報と合成する対象となる他の画像情報を特定する情報を含む属性情報とからなる複数の画像ファイルを記憶手段に記憶させる記憶ステップと、
前記複数の画像ファイルより任意の画像ファイルを選択手段に選択させる選択ステップと、
前記選択ステップによって選択された画像ファイルの属性情報に基づいて当該画像ファイルの画像情報の合成対象となる画像情報を含む画像ファイルを検索手段によって検索させる検索ステップと、
前記選択ステップにおいて選択された前記画像ファイルと、前記検索ステップによって検索された画像ファイルに、処理手段に所定の処理を施させる処理ステップ
とを具備することを特徴とする記憶媒体。 - 当該画像処理方法が更に、当該処理ステップにより当該所定の処理を施された画像情報を前記記憶手段によって記録媒体に記録させる記録ステップを具備する請求項２５に記載の記憶媒体。
- 当該画像処理方法が更に、該処理ステップにより当該所定の処理を施された画像情報の当該属性情報を属性情報更新手段により更新させる属性情報更新ステップを具備する請求項２５に記載の記憶媒体。
- 当該所定の処理が色補正である請求項２５に記載の記憶媒体。
- 当該所定の処理が階調補正である請求項２５に記載の記憶媒体。
- 当該所定の処理が色変換である請求項２５に記載の記憶媒体。
- 当該所定の処理が階調変換である請求項２５に記載の記憶媒体。
- 当該所定の処理が画像の拡大である請求項２５に記載の記憶媒体。
- 当該所定の処理がファイル・フォーマットの変換である請求項２５に記載の記憶媒体。
- 当該所定の処理が画像転送である請求項２５に記載の記憶媒体。
- 当該所定の処理が画像の回転であり、当該属性情報更新ステップにおいて、当該複数の画像情報の当該属性情報として、前記属性情報更新手段に合成画像中での位置を更新させる請求項２７に記載の記憶媒体。
- 当該所定の処理が画像の反転であり、当該属性情報更新ステップにおいて、当該複数の画像情報の当該属性情報として、前記属性情報更新手段に合成画像中での位置を更新させる請求項２７に記載の記憶媒体。
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26589598A JP3839973B2 (ja) | 1998-09-21 | 1998-09-21 | 画像処理装置及び方法並びに記憶媒体 |
| US11/201,616 US7409111B2 (en) | 1997-10-21 | 2005-08-10 | Image synthesizing system for automatically retrieving and synthesizing images to be synthesized |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP26589598A JP3839973B2 (ja) | 1998-09-21 | 1998-09-21 | 画像処理装置及び方法並びに記憶媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2000099759A JP2000099759A (ja) | 2000-04-07 |
| JP3839973B2 true JP3839973B2 (ja) | 2006-11-01 |
Family
ID=17423602
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP26589598A Expired - Fee Related JP3839973B2 (ja) | 1997-10-21 | 1998-09-21 | 画像処理装置及び方法並びに記憶媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP3839973B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR100477801B1 (ko) | 2002-12-26 | 2005-03-22 | 한국전자통신연구원 | 3차원 영상정보 기술장치와 그 방법 및 이를 이용한 3차원영상정보 검색장치 및 그 방법 |
| JP5669599B2 (ja) * | 2010-05-14 | 2015-02-12 | キヤノン株式会社 | 画像処理装置及びその制御方法 |
-
1998
- 1998-09-21 JP JP26589598A patent/JP3839973B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2000099759A (ja) | 2000-04-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US7064783B2 (en) | Still picture format for subsequent picture stitching for forming a panoramic image | |
| US7409111B2 (en) | Image synthesizing system for automatically retrieving and synthesizing images to be synthesized | |
| JP4392060B2 (ja) | 視差深度依存画素シフト | |
| US9165389B2 (en) | Image processing apparatus, image processing method, and program | |
| JP2618101B2 (ja) | 画像のレイアウト処理方法 | |
| US8269876B2 (en) | Displaying images subjected to change operations in a primary and a secondary display region | |
| JP4814337B2 (ja) | 画像合成装置、画像合成方法、画像合成プログラム、集積回路 | |
| US20080134096A1 (en) | Image reproduction device and method thereof | |
| JP2001186334A (ja) | 画像処理装置、画像処理システム、画像処理方法、及び記憶媒体 | |
| JPH1127703A (ja) | 表示装置及びその制御方法 | |
| CN107071557A (zh) | 一种播放视频的方法和设备 | |
| JP2002077940A (ja) | 立体視画像生成装置およびゲーム装置 | |
| JPH10126731A (ja) | 旅行アルバム作成システム | |
| US20100289796A1 (en) | Method for processing a spatial image | |
| JP4340836B2 (ja) | 画像合成装置及び画像合成プログラム | |
| JP3839973B2 (ja) | 画像処理装置及び方法並びに記憶媒体 | |
| JP3812563B2 (ja) | 画像処理装置及びプログラム | |
| US6122069A (en) | Efficient method of modifying an image | |
| JP3800825B2 (ja) | 画像処理装置及び方法並びに記憶媒体 | |
| JP2002084440A (ja) | デジタルカメラ、画像処理方法及び記録媒体 | |
| JP5493839B2 (ja) | 撮像装置、画像合成方法及びプログラム | |
| JP2000268163A (ja) | 画像処理装置および記録媒体 | |
| JP2016058832A (ja) | 画像処理装置、その制御方法、及びプログラム | |
| JPH0546718A (ja) | 画像編集装置 | |
| JP2001103516A (ja) | ステレオ画像表示装置、ステレオ画像表示方法及び記憶媒体 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040607 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20050831 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20051031 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060110 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060310 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20060419 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20060615 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20060718 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20060804 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090811 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100811 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110811 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120811 Year of fee payment: 6 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130811 Year of fee payment: 7 |
|
| S802 | Written request for registration of partial abandonment of right |
Free format text: JAPANESE INTERMEDIATE CODE: R311802 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: R3D03 |
|
| LAPS | Cancellation because of no payment of annual fees |