JP4143140B2 - 画像処理装置及びプリンタ並びに撮影システム - Google Patents

画像処理装置及びプリンタ並びに撮影システム Download PDF

Info

Publication number
JP4143140B2
JP4143140B2 JP28442596A JP28442596A JP4143140B2 JP 4143140 B2 JP4143140 B2 JP 4143140B2 JP 28442596 A JP28442596 A JP 28442596A JP 28442596 A JP28442596 A JP 28442596A JP 4143140 B2 JP4143140 B2 JP 4143140B2
Authority
JP
Japan
Prior art keywords
shooting
frame
image data
image
scene
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP28442596A
Other languages
English (en)
Other versions
JPH10136298A (ja
Inventor
金城  直人
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Priority to JP28442596A priority Critical patent/JP4143140B2/ja
Publication of JPH10136298A publication Critical patent/JPH10136298A/ja
Priority to US09/727,771 priority patent/US6583811B2/en
Priority to US09/927,633 priority patent/US6989858B2/en
Priority to US10/404,069 priority patent/US20030184657A1/en
Priority to US10/404,863 priority patent/US7180541B2/en
Priority to US10/404,442 priority patent/US20030189645A1/en
Application granted granted Critical
Publication of JP4143140B2 publication Critical patent/JP4143140B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Light Sources And Details Of Projection-Printing Devices (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、画像処理装置及びプリンタ並び撮影システムに関し、特にカメラを大型化することなく高精細なプリントが得られるようにした画像処理装置及びプリンタ並び撮影システムに関するものである。
【0002】
【従来の技術】
銀塩写真方式カメラでは撮影用フイルムの粒状性に限界があり、またデジタルカメラではCCD等の撮像素子の解像度に限界があるため、これらカメラで撮影された画像を大伸ばしするには限界があった。
【0003】
【発明が解決しようとする課題】
このため、高精細なプリントを得る場合には、銀塩写真方式カメラでは大判カメラが必要になる。また、デジタルカメラ方式では、高解像度の撮像素子が必要になる。したがって、カメラが大型化してしまうという問題がある。また、このようなカメラにおいて、明暗の差が大きいシーンを撮影する場合には、高輝度部または低輝度部を精細にプリントすることができないという問題がある。
【0004】
本発明は上記課題を解決するためのものであり、カメラを大型化することなく、高精細なプリントが得られるようにした画像処理装置及びプリンタ並び撮影システムを提供することを目的とする。
【0005】
【課題を解決するための手段】
上記目的を達成するために、本発明の画像処理装置は、撮影シーンを1コマに撮影する通常撮影モードと、撮影シーンを複数コマに撮影し画像合成方法が異なる複数種類の高精細撮影モードとを備え、前記複数種類の高精細撮影モードでは、前記撮影シーンを複数のコマで撮影した各撮影コマの画像データと、前記撮影コマを前記撮影シーンとして画像合成するために前記複数種類毎の高精細撮影モードを特定する撮影制御情報とを対応付けて記録するカメラにより記録された前記各撮影モードの画像データ及び前記撮影制御情報が入力されるデータ読取部と、前記データ読取部で読み取られた前記撮影制御情報に基づき、各撮影モードの画像データに対し撮影モードに対応した画像処理及び合成を行う画像処理部と、この画像処理部からの画像データに基づき前記撮影シーンを再現するディスプレイとを備え、前記カメラは、前記高精細撮影モードとして、主要被写体を指定する指定手段又は主要被写体を判別する判別手段を有し、前記撮影シーン中で前記指定手段により指定又は前記判別手段により判別された主要被写体を複数段階にズーミングしてズーミング倍率毎に撮影を行い、各撮影コマを画像合成して前記撮影シーンを再現する際の合成情報として各撮影コマに対して用いたズーミング倍率を用い、このズーミング倍率を含む前記撮影制御情報と前記各撮影コマの画像データとを対応付けて記録する多段階ズーミング撮影モードを有し、前記画像処理部は、前記多段階ズーミング撮影モードで撮影された場合に、最もズーミング倍率が低い撮影コマに対して次にズーミング倍率が低い撮影コマを画像合成する際にズーミング倍率を考慮してパターンマッチング処理で両撮影コマを位置合わせして、これら両撮影コマが重なった部分をズーミング倍率が高い撮影コマの画像データに置き換え、以下同様にして次々とズーミング倍率が高い撮影コマの画像データに置き換えて画像合成することを特徴とする。
【0006】
また、本発明の撮影システムは、撮影シーンを1コマに撮影する通常撮影モードと、撮影シーンを複数コマに撮影し画像合成方法が異なる複数種類の高精細撮影モードとを備え、前記複数種類の高精細撮影モードでは、前記撮影シーンを複数のコマで撮影した各撮影コマの画像データと、前記撮影コマを前記撮影シーンとして画像合成するために前記複数種類毎の高精細撮影モードを特定する撮影制御情報とを対応付けて記録し、前記高精細撮影モードとして、主要被写体を指定する指定手段又は主要被写体を判別する判別手段を有し、前記撮影シーン中で前記指定手段により指定又は前記判別手段により判別された主要被写体を複数段階にズーミングしてズーミング倍率毎に撮影を行い、各撮影コマを画像合成して前記撮影シーンを再現する際の合成情報として各撮影コマに対して用いたズーミング倍率を用い、このズーミング倍率を含む前記撮影制御情報と前記各撮影コマの画像データとを対応付けて記録する多段階ズーミング撮影モードを有するカメラと、前記カメラにより記録された前記高精細撮影モードの各撮影コマの画像データ及び前記撮影制御情報が入力されるデータ読取部、前記データ読取部で読み取られた前記撮影制御情報に基づき各撮影モードの各撮影コマの画像データに対し撮影モードに対応した画像処理及び合成を行う画像処理部、及びこの画像処理部からの画像データに基づき前記撮影シーンを再現するディスプレイを有し、前記画像処理部は、前記撮影制御情報に基づき前記複数種類の高精細撮影モードを特定して前記多段階ズーミング撮影モードで撮影された場合に、最もズーミング倍率が低い撮影コマに対して次にズーミング倍率が低い撮影コマを画像合成する際にズーミング倍率を考慮してパターンマッチング処理で両撮影コマを位置合わせして、これら両撮影コマが重なった部分をズーミング倍率が高い撮影コマの画像データに置き換え、以下同様にして次々とズーミング倍率が高い撮影コマの画像データに置き換えて画像合成する画像処理装置とを備えることを特徴とする。
【0007】
また、前記カメラは、さらに、露出値を変更しながら前記撮影シーンを複数回撮影し、各撮影コマを画像合成して前記撮影シーンを再現する際の合成情報として各撮影コマに対して用いた露出値を用い、この露出値からなる前記撮影制御情報と前記各撮影コマの画像データとを対応付けて記録する多段階露出撮影モードを有し、前記画像処理部は、前記多段階露出撮影モードで撮影された場合に、中間輝度領域で撮影した撮影コマの画像データに基づき、所定値以上の高輝度領域を切り出し、この領域の画素を、高輝度部分が受容範囲に収まるように撮影された高輝度領域で撮影した撮影コマのものを用い、所定値以下の低輝度領域を切り出し、この領域の画素を、低輝度部分が受容範囲に収まるように撮影された低輝度領域で撮影した撮影コマのものを用い、その他の領域については中間輝度領域で撮影した撮影コマのものを用いて、画像合成することが好ましい。
【0008】
また、前記カメラは、さらに、前記撮影シーン中の撮影範囲を分割し、分割範囲毎に撮影を行い、各撮影コマを画像合成して前記撮影シーンを再現する際の各撮影コマの位置情報を前記各撮影コマの画像データに対応付けて記録する多分割撮影モードを有し、前記画像処理部は、前記多分割撮影モードで撮影された場合に、前記各撮影コマの画像データを各撮影コマの位置情報に基づき画像合成することが好ましい。
【0009】
前記画像処理部は、前記各撮影コマを画像合成する際に、各撮影コマの境界部分を局所的パターンマッチング処理により位置補正することが好ましい。また、本発明のプリンタは、上記いずれか一つの画像処理装置と、この画像処理装置からの画像データに基づき前記撮影シーンをプリントするプリント部とを備えることを特徴とする。
【0010】
また、本発明の撮影システムは、前記画像処理部からの画像データに基づき前記撮影シーンをプリントするプリント部とを備えることを特徴とする。
【0011】
【作用】
撮影に際しては、通常撮影モードと高精細撮影モードとが選択される。通常撮影モードでは、撮影シーンが1コマに撮影される。高精細撮影モードでは、撮影シーンが複数コマに撮影されるとともに、複数コマの関連を示す撮影制御情報が記録される。
【0012】
多分割撮影モードが選択されると、撮影シーン中の撮影範囲が分割され、各分割範囲毎に撮影媒体の全面を用いて撮影が行われる。そして、各撮影コマに対して多分割撮影位置が撮影制御情報として記録される。プリンタでは、多分割撮影位置に基づき、各分割範囲の画像データが合成され、この合成画像に基づきプリントが行われる。
【0013】
多段階ズーミング撮影モードが選択されると、指定された主要被写体を複数段階にズーミングして複数回の撮影が行われる。そして、各撮影コマに対してズーミング倍率が撮影制御情報として記録される。プリンタでは、ズーミング倍率を用いて、各撮影コマのパターンマッチング処理が行われ、これに基づき各撮影コマの高倍率撮影コマの画像データが優先されて画像合成され、この合成画像に基づきプリントが行われる。
【0014】
多段階焦点距離撮影モードが選択されると、焦点距離を変更しながら撮影シーンが複数回撮影される。そして、各撮影コマに対して焦点距離変更撮影コマ識別情報が撮影制御情報として記録される。プリンタでは、各撮影コマにおいてピントが合っているエリアの画像データが優先されて画像合成され、この合成画像に基づきプリントが行われる。
【0015】
多段階露出撮影モードが選択されると、露出値を変更しながら撮影シーンが複数回撮影される。そして、各撮影シーンに対して露出値変更撮影コマ識別情報が撮影制御情報として記録される。プリンタでは、各撮影コマにおいて高輝度部の領域を抽出し、これらの領域の画素については、最大露出値で撮影された撮影シーンにおける画素値が用いられる。また、各撮影コマにおいて低輝度部の領域を抽出し、これらの領域の画素については、最小露出値で撮影された撮影シーンにおける画素値が用いられる。その他の中間輝度部の領域については、中間露出値で撮影された撮影シーンにおける画素値が用いられる。そして、これらの領域の画素値で画像合成され、この合成画像に基づきプリントが行われる。
【0016】
【発明の実施の形態】
図1は、本発明のカメラを示す概略図である。デジタルスチルカメラ10は、撮像部11、画像処理部12、バッファメモリ13、システムコントローラ14、画像データ書込み部15から構成されている。撮像部11は3板式のイメージエリアセンサから構成されており、被写体を撮像する。画像処理部12は、ガンマ変換や周知の画像処理を行った後にA/D変換し、これをバッファメモリ13に記憶する。
【0017】
画像データ書込み部15は、バッファメモリ13から1フレーム分のデジタル画像データを読みだして、画像データを1/10〜1/20程度の圧縮率で、JPEG(Joint Photgraphic Experts Group)圧縮する。圧縮された画像データはICメモリカード16に書き込まれる。なお、データ圧縮方式はJPEGに限定されることなく、他の周知の圧縮方式を用いてもよい。
【0018】
システムコントローラ14は周知のマイクロコンピュータから構成されており、MPU17,RAM18,ROM19などを備えている他に、撮影モードを選択したり、撮影情報を入力したりするためのデータ入力部20と、これら撮影モードや撮影情報を表示するためにディスプレィ21とを備えている。更に、システムコントローラ14にはレリーズボタンやその他の操作ボタンが接続されており、これらボタンを操作することにより、撮影が行われる。データ入力部20は複数のスイッチから構成されており、これらを選択的に押すことにより、撮影モードや撮影情報が入力可能になっている。ROM19には、カメラ全体をシーケンス制御するプログラムが書き込まれている。
【0019】
撮影モードとしては、撮影シーンを1コマに記録する通常撮影モードと、撮影シーンを複数コマに記録する高精細撮影モードとがある。通常撮影モードでは、レリーズボタンを押すことで、撮影シーンが1コマで記録される。また、高精細撮影モードは、多分割撮影モード、多段階ズーミング撮影モード、多段階焦点距離撮影モード、多段階露出制御モード、連続撮影モード、画素ずらし撮影モードがあり、これらの高精細撮影モードでは、1つの撮影シーンに対して撮影条件を変えて複数回の撮影が行われる。
【0020】
多分割撮影モードでは、予め決定されているシーン分割パターンに応じて、撮影シーン中の撮影範囲が分割され、各分割範囲毎に撮像部11のCCDの全ピクセルを用いて撮影され、これが記録される。この多分割撮影モードでは、図2に示すように、4分割撮影では、(A)に示す撮影シーンSが、(B)に示すように4分割され、(C)に示すように、これら分割された副撮影シーンコマFS1,FS2,FS3,FS4が記録される。また、これら各副撮影シーンコマFS1〜FS4に対応させて、これら副撮影シーンコマFS1〜FS4の撮影シーンS1における位置情報、例えば相対座標値が記録される。
【0021】
この多分割撮影モードでは、図1に示すように、撮像レンズ22をレンズ変移機構23により水平及び垂直方向に移動させるとともに、ズーミング機構24により各副撮影シーンをズーミングする。これにより各副撮影シーンをCCD25に結像させることができる。レンズ変移機構23の水平及び垂直方向への移動量及びズーミング機構24のズーミング量は、各分割撮影モード毎に予め決定されており、これがROM19内に記録されている。これらの副撮影シーンの撮影では、各副撮影シーン毎に合焦制御される。なお、各副撮影シーン毎に合焦制御する代わりに、撮影シーンを決定したときの合焦距離で固定してもよく、更には、マニュアルで固定してもよい。また、各副撮影シーン毎の露光量は一定としておくことが望ましいが、極端な逆光シーンでは、個別の副撮影シーン毎に露光量を変更しても良く、この場合は露光量情報も撮影制御情報として記録する。
【0022】
分割パターンは図2に示すように4分割に限定されることなく、2分割や6分割,8分割,9分割,12分割などでもよい。なお、副撮影シーンコマFS1〜FS4の撮影シーンコマS1における位置情報は、相対座標値を用いる他に、単に副撮影シーンコマのコマ番号を用いてもよい。例えば撮影シーンが、ICメモリカード16に記録される撮影シーンの3番目である場合には、各副撮影シーンコマに対してコマ番号が「3−1」,「3−2」,「3−3」,「3−4」のように記録される。この場合には各枝番号に対応させた座標位置を予めROM19内に記憶しておく。
【0023】
多段階ズーミング撮影モードでは、撮影シーン及び主要被写体を決定してレリーズボタンを押すことにより各副撮影シーンの撮影が行われる。先ず、主要被写体をファインダー画面の中央にセットした状態でレリーズボタンを約半分のストローク分だけ押した半押しにして主要被写体をロックする。次にカメラ位置を変えて希望の撮影シーンとなるように構図を決定し、構図が決まった状態でレリーズボタンを全ストローク分だけ押してシャッタレリーズを行う。
【0024】
このシャッタレリーズ操作時には、カメラは、被写体をロックした後のカメラの変移方向及び変移量を図示しない変移センサにより検出しており、この変移方向及び変移量はRAM18に記録される。次に、図3(A)に示すように、レリーズボタンが全押しされた時に、先ず多段階ズーミング撮影シーンの第1副撮影シーンSZ1を撮影した後に、予め決定してあるズーミング量に応じて、被写体に対して3段階のズーミングを行い、(B)に示すように、各段階毎に副撮影シーンSZ2,SZ3,SZ4を撮影する。これら各シーンは、(C)に示すように、副撮影シーンコマFSZ1〜FSZ4としてICメモリカード16に記録される。
【0025】
このズーミング撮影では主要被写体が画面の中心になるように、撮像レンズ22がレンズ変移機構23により水平方向及び垂直方向に変移されるとともに、ズーミング機構24により所定の値にズーミングされ、撮影が行われる。撮像レンズ22の変移量は、前記変移サンサからの変移方向及び変移量に応じて決定される。これら各撮影シーンコマFSZ1〜FSZ4に対しては、これらが多段階ズーミング撮影モードによるコマであることを示す情報と、ズーミング倍率とが撮影制御情報としてICメモリカード16に記録される。なお、多段階ズーミング撮影モードにおける副撮影シーンのコマ数は4個に限定されることなく2,3,5,6等であってもよい。また、レリーズボタンを半押しして主要被写体を指定する代わりに、公知の主要被写体判別手段を組み合わせて、撮影時に自動的に主要被写体を決定してもよい。
【0026】
多段階焦点距離撮影モードでは、同じ撮影シーンを焦点距離を変えながら例えば4回撮影する。この場合には、撮影シーンに応じて、撮影シーン中、最も焦点距離の短いポイントと、最も焦点距離が長いポイントとを検出しておき、この間を複数段に分けて撮影する。これら焦点距離を変えた副撮影シーンコマには、多段階焦点距離撮影コマであることを示す情報、例えば「FSP1」〜「FSP4」が記録される。なお、撮影回数は4回に限定されることなく、2回以上であればよい。
【0027】
多段階露出撮影モードでは、同じ撮影シーンを露出条件を変えながら複数回撮影する。例えば、撮影開始前に、撮影シーン中、最も輝度の高いポイントと最も輝度の低いポイントとを分割測光により検出しておき、撮像素子の能力(受容範囲)を越える場合、高輝度部が受容範囲に収まるような露出値Emax から、低輝度部が受容範囲に収まるような露出値Emin までの範囲で、複数回に分けて撮影する。そして、この時の露出値と、これら副撮影シーンコマが多段階露出撮影モードであることを示す情報、例えば「FSE1」〜「FSE3」とが撮影制御情報として記録される。
【0028】
連続撮影モードでは、撮影シーンを連続回数撮影し、この連続回数撮影した副撮影シーンに対して、連続撮影コマであることを示す情報が記録される。また、画素ずらし撮影モードでは、撮影シーンを画素ずらし手法により複数回撮影し、この画素ずらしにより撮影した副撮影シーンに対して、画素ずらしコマであることを示す情報が記録される。
【0029】
図4に示すように、デジタルプリンタ26は、データ読取部27、処理制御部28、入力画像メモリ29、画像処理部30、作業用画像メモリ31、プリント部32、カラーモニター33から構成されている。このデジタルプリンタ26は、現像所に設置される。カメラユーザーは、撮影後にICメモリカード16を現像所に提出する。この提出されたICメモリカード16に基づき現像所はプリント写真を作成する。
【0030】
前記データ読取部27には、カメラ10からのICメモリカード16が装着され、このICメモリカード16に記録されている画像データ及び撮影制御情報を読み取る。読み取った画像データは、入力画像メモリ29に記憶される。また、撮影制御情報は処理制御部28に送られ、ここで撮影制御情報が解読される。
【0031】
画像処理部30では、処理制御部28からの撮影制御情報に基づき、撮影モードに対応した画像処理及び合成を行い、高精細画像を作成する。この高精細画像の作成の際には作業用画像メモリ31が用いられる。画像処理部30では、この他に、例えばガンマ補正、マトリクス補正、文字イラスト合成、拡大/縮小、トリミング等の周知の処理が行われる。画像処理後の画像はカラーモニター33にシミュレート表示される他に、プリント部32に送られる。
【0032】
プリント部32は、プリント用フレームメモリ34とプリンタ35とから構成されている。図5に示すように、プリンタ35は、レーザー光による走査露光方式の焼付露光部40を備えている。プリンタ35は、プリント用フレームメモリ34から、画像データを読みだして、これに基づき光ビームを変調し、銀塩写真カラー感光材料(カラーペーパー)41の送りに同期させてカラーペーパー41のイエロー、マゼンタ、シアンの各感光層を走査露光することにより、各コマを焼付露光する。この焼付露光済みのカラーペーパー41は周知のようにペーパープロセサ44で現像処理された後に、カットマークに基づき各コマ毎に切り離され、ハードコピィ45が作成される。
【0033】
次に、本実施形態の作用について説明する。デジタルスチルカメラのスイッチをオンにすると、図6のフローチャートに基づき処理が行われる。先ず、通常撮影では、レリーズボタンの操作により撮影シーンが撮像部により撮影され、この画像データが画像処理部12を介してバッファメモリ13に送られ、これに書き込まれる。バッファメモリ13の画像データは画像データ書込み部15によりICメモリカード16にデータ圧縮されて書き込まれる。
【0034】
高精細撮影モードが指定されると、この撮影モードに応じて撮影が行われる。多分割撮影では、先ず分割数の入力が行われる。本実施形態では、4分割撮影がデフォルトで設定されており、その他の2分割,6分割,8分割,9分割,12分割等を行いたい場合には、ここで分割数を指示する。
【0035】
この後、カメラをかまえて、撮影シーンを決定する。カメラのファインダーには、図2(A)に示すように、撮影シーンSが表示されており、この状態でレリーズボタンを押すと、分割撮影が開始される。まず、撮影レンズが副撮影シーンS1の中心に向けてセットされるとともに、4分割に対応する所定のズーミング倍率に設定され、この副撮影シーンS1が撮影される。この副撮影シーンコマFS1の画像データは、4分割撮影シーンであることを示す撮影制御データとともに、画像処理部12,バッファメモリ13,画像データ書込み部15を介して、ICメモリカード16に書き込まれる。同様にして、他の副撮影シーンコマFS2,FS3,FS4も順次ICメモリカード16に書き込まれる。この副撮影シーンコマFS1〜FS4の一例を図2(B)に示す。
【0036】
撮影した画像をプリントする場合には、ICメモリカード16が現像所に提出される。現像所では、図4に示すデジタルプリンタ26を用いてプリントを作成する。ICメモリカード16の各画像データは撮影制御情報とともにデータ読取部27で読み取られる。各画像データは入力画像メモリ29に各コマの記録順に書き込まれる。また、撮影制御情報は、処理制御部28のバッファメモリ28aに各コマの記録順に書き込まれる。この撮影制御情報が通常撮影コマを示すものである場合には、入力画像メモリ29から該当する画像データが読みだされ、画像処理部30で一般的な画像処理が行われた後に、作業用画像メモリ31に画像処理後の画像データが書き込まれる。この画像処理後の画像データはカラーモニタ33に仕上り状態をシミュレートするものとして表示される。このシミュレート画像を観察してプリントを指示することで、作業用画像メモリ31内の画像データはプリント部32のフレームメモリ34に書き込まれる。
【0037】
図5に示すように、プリンタ35は、フレームメモリ34の画像データに基づきカラーペーパー41を走査露光して、プリント写真を焼付露光する。このプリント写真はペーパープロセサ44で現像処理された後に、1コマ毎にカットされ、プリント写真45とされる。
【0038】
撮影制御情報が多分割撮影モードの撮影コマを表すものであるときには、この多分割撮影モードに応じた画像処理が行われる。まず、図2(C),(D)に示すように、第1の副撮影シーンコマFS1の画像データが読みだされ、これが作業用画像メモリ31の第1副撮影シーンS1に対応するエリアに書き込まれる。同様にして、他の副撮影シーンコマFS2〜FS4の画像データが対応するエリアに書き込まれる。このとき、各副撮影シーンコマFS1〜FS4の画像の境界部分は局所的パターンマッチング処理により位置補正が行われる。したがって、この多分割撮影モードでは、撮影シーンSが分割して撮影されるため、この分だけ解像度を上げることができ高精細なプリントが得られる。
【0039】
また、撮影制御情報が多段階ズーミング撮影モードの撮影コマを表すものであるときには、この多段階撮影モードに応じた画像処理が行われる。まず、図3(C)の第1の副撮影シーンコマFSZ1の画像データが読みだされ、これが図3(D)に示すように、作業用画像メモリ31に書き込まれる。この場合に、作業用画像メモリエリアの総画素数は第1の副撮影シーンSZ1の総画素数よりも多いため、補完処理が行われる。次に、第2の副撮影シーンコマFSZ2の画像データが読みだされ、この画像データの主要被写体位置データとズーミング倍率とを考慮してこれら第1と第2の副撮影シーンコマの画像データとの間でパターンマッチング処理が行われる。そして、第2の副撮影シーンSZ2に対応する領域における第1の副撮影シーンSZ1の画像データが、第2の副撮影シーンSZ2の画像データに置き換えられる。同様にして、第3の副撮影シーンコマFSZ3の画像データと第2の副撮影シーンコマFSZ2の画像データとの間で、及び第3と第4の副撮影シーンコマFSZ3,FSZ4の画像データとの間で、パターンマッチング処理が行われ、より高解像度なデータに置き換えられる。したがって、主要部が最も高解像度となり、以下主要部から離れるにしたがい解像度が低下した高精細画像が得られることになる。この多段階ズーミングでは、最も注目される主要被写体が最も高解像度で記録されることになるので、高い評価が得られプリント品質が向上する。
【0040】
撮影制御情報が多段階焦点距離撮影モードの撮影コマを表すものであるときには、各副撮影シーンに対して、各画素毎に周辺画素との微分をとることでピントの合い具合を検出する。すなわち、ピントがずれる程、前記微分値の大きさは小となるので、この微分値の値に基づきピントが良好なエリアを求める。そして、このピントが良好なエリアから順に、そのエリア内の画素を、当画素における画素として、作業画像メモリ31で、ピントが良好な画素エリアを合成した合成画像を得る。なお、ピントが良好なエリア内の画素を当画素における画素とする他に、他の副撮影シーンの同一位置にある画素値との加重平均(ピントが良好なエリアの画素値に対して重み付け係数を大きくする)を求め、この値を当画素における画素値としてもよい。この多段階焦点距離撮影モードによれば、被写界深度を気にすることなく撮影することができ、しかもプリント上では、全画面にピントがあったプリントが得られるようになる。
【0041】
撮影制御情報が多段階露出撮影モードの撮影コマを表すものであるときには、各副撮影シーンにおいて、中間輝度領域で撮影した副撮影シーンにおいて、所定値以上の高輝度部の領域をヒストグラム法、単純閾値、その他の方法によって切り出し、これらの画素については、高輝度部が受容範囲に収まるように撮影された副撮影シーンにおける画素値を用いる。同様にして、所定値以下の低輝度部の領域に対しても、低輝度部の領域を切り出し、低輝度が受容範囲に収まるように撮影された副撮影シーンにおける画素値を用いる。その他の領域については、中間輝度領域で撮影した副撮影シーンの画素値を用いる。なお、撮影シーン全体の濃度バランス値を考慮して、高輝度領域、中間輝度領域、低輝度領域の各領域内で、クリッピングや範囲限定及び範囲内階調変換等の処理を行い、階調制御してもよい。この処理により、各領域間での濃度の逆転現象等を防止することができる。この多段階露出撮影モードによるプリントによれば、明るい背景がプリント上で白く飛んでいる現象や、暗い背景又は逆光時の人物が黒く潰れる現象などを抑えることができる。
【0042】
撮影制御情報が連続撮影モードであるときには、各画素毎に平均値または中間値などを用いて撮影シーンを合成する。カメラの撮像素子の性能により、各画素データにはノイズが存在する。これらは、複数回撮影分の画像データを平均することで、本来の画素値に対しノイズの比重を下げることができる。ストロボ光が届かない場合には、複数回撮影により画質を改善することができる。また、1ショット当たりのストロボ光量を抑えた撮影が可能となるため、「白飛び」の防止や、撮影チャンスの増加につながる。光量不足のため露出時間が長くシャッタ速度を遅くしなければならない場合には、この複数回撮影により画質を改善することができる。1ショット当たりについてシャッター速度を遅くする必要がなくなるので、手振れを防止することができる。その他に、撮像レンズ22を水平及び垂直方向に移動させるレンズ変移機構23が不要になるため、カメラの高さや幅が大きくなることがなく、カメラをコンパクトにまとめることができる。
【0043】
また、画素ずらし撮影モードでは、撮像素子1個の縦方向及び横方向における長さよりも小さい範囲で、撮像素子全体をずらして、複数回の撮影を行い、この画素ずらしによる撮像素子の解像度が補完されるため、高精細な画像が得られる。
【0044】
なお、上記実施形態では、デジタルスチルカメラに本発明を実施したが、この他に写真フイルムを用いたカメラに本発明を実施してもよい。この場合には、各副撮影シーンのコマを写真フイルムに記録するとともに、各コマに対応させて、撮影制御情報をICメモリカード等に記録する。なお、撮影制御情報は、電子的な記録の代わりに、磁気記録や光学記録してもよい。特に、スプールの回転によりフイルム先端をカートリッジから自動的に頭出しするとともに、写真フイルムに透明な磁気記録層をもつアドバンストフォトシステムタイプの写真フイルムに対しては、撮影制御情報を磁気記録層に磁気記録するとよい。プリントに際しては、写真フイルムを現像処理した後に、各コマをスキャナーにより読み取り、この画像データを上記実施形態と同じようにして、露出制御情報に基づき画像合成することで、高精細画像が得られる。
【0045】
焼付露光部40は、レーザー光による走査露光方式の他に、他のCRTや液晶表示パネル等を用いた面露光方式又は線露光方式を用いてもよい。また、光ビームを変調する代わりに、マイクロミラー装置を用いて走査露光してもよい。マイクロミラー装置は、サイズが極めて小さいミラー(マイクロミラー)をライン又はマトリクスに配列し、各マイクロミラーの傾斜角を制御して入射光を偏向するものである。更には、液晶パネルやCRTを用いて、画像データを焼付露光してもよい。周知のように、カラーペーパーとして、ネガ・ポジタイプのものを用いる場合には画像データはポジ・ネガ変換される。このポジ・ネガ変換は画像処理部30で行う他に、プリント部32で行ってもよい。
【0046】
上記実施形態では、多分割撮影モードの場合に、分割数に応じて自動的に撮像レンズ22を水平及び垂直方向に移動させるとともにズーミング倍率を変更するようにしたが、これはマニュアルによって行うようにしてもよい。この場合には、分割数のみを入力して適当なズーミング倍率で各副分割シーンを順次撮影する。この場合には、デジタルプリンタ側において、各副分割シーンの境界をパターンマッチングにより合わせて、これらを画像合成するとよい。この場合には、撮像系を水平及び垂直方向に移動させる必要がないので、撮像系の変移機構が不要となり、カメラの構成を簡単にすることができるとともに、カメラをコンパクトにまとめることができる。
【0047】
また、多段階ズーミング撮影モードにおいても、自動的にズーミング倍率を変更するともに、撮像系を主要被写体に向けて自動的にセットする代わりに、多段階ズーミング撮影モードを指定してマニュアルで各副撮影シーンをズーミング撮影してもよい。この場合にも、各副撮影シーンコマの境界をパターンマッチング処理により合わせて画像合成し、主要被写体が高精細な画像データを得るようにする。
【0048】
上記実施形態では、走査露光によりカラーペーパーにプリントする銀塩式プリンタに実施したが、この他に、熱現像転写方式のカラープリンタ、カラーインクジェットプリンタ、カラー感熱プリンタ、カラーレーザープリンタに本発明を実施してもよい。
【0049】
【発明の効果】
発明によれば、撮影シーンを1コマに撮影する通常撮影モードと、撮影シーンを複数コマに撮影する高精細撮影モードとを備え、高精細撮影モードでは、複数コマの関連を示す撮影制御情報も記録するようにしたから、この撮影制御情報を用いて複数コマの画像データを用いることで、デジタルスチルカメラでは撮像素子の解像度を越える高解像度な画像データが得られるようになる。また、写真フイルムを用いたカメラにおいては、写真フイルムの粒状性の限界を越える高解像度な画像データが得られるようになる。
【0050】
発明によれば、撮影シーン中の撮影範囲を分割し、各分割範囲毎に撮影媒体の全面を用いて撮影及び記録したから、分割撮影に応じてその分だけ解像度を上げることができるようになる。したがって、高解像度を得るために写真フイルムカメラにあっては大型カメラを用いる必要がなくなる。また、電子スチールカメラでは、高画素数の撮像素子を用いる必要がなくなる。したがって、カメラをコンパクトにしかも安価に提供することができる。
【0051】
発明によれば、指定された主要被写体を複数段階にズーミングして複数回の撮影を行い、各撮影コマに対してズーミング倍率を記録したから、ズーミング撮影されたコマを画像合成することで、主要被写体をより高解像度に仕上げることができる。
【0052】
発明によれば、撮影シーンを焦点距離を変更しながら複数回撮影したから、ピントの良好なエリアの画像データを用いて画像合成することにより、画面全体にピントの合った良好なプリントが得られるようになる。
【0053】
発明によれば、撮影シーンを露出値を変更しながら複数回撮影したから、複数段階の露出値による撮影シーンの適正濃度領域を用いて画像合成することにより、高輝度部が白く飛んでしまったり、低輝度部が黒く潰れてしまったりすることがなくなる。
【0054】
発明によれば、高精細撮影モードで撮影した複数コマの画像データと、撮影制御情報とに基づき、複数コマの画像を合成する画像合成部と、この画像合成部からの合成画像をプリントするプリント部とを備えたから、高精細モードで撮影された画像データを用いて、カメラの解像度を越えた高解像度な画像をプリントすることができる。
【図面の簡単な説明】
【図1】本発明を実施したカメラを示す機能ブロック図である。
【図2】多分割撮影モードによる撮影の一例と、これにより得られる高精細画像の一例とを示す説明図であり、(A)は撮影シーンの一例を、(B)は撮影シーンを4分割した一例を、(C)は分割した副撮影シーンコマの一例を、(D)は副撮影シーンコマの画像データを画像合成した高精細画像の一例を示すものである。
【図3】多段階ズーミング撮影モードによる撮影の一例と、これにより得られる高精細画像の一例とを示す説明図であり、(A)は撮影シーンの一例を、(B)は撮影シーンを4段階にズーミング撮影した一例を、(C)は4段階ズーミング撮影による副撮影シーンコマの一例を、(D)は副撮影シーンコマを画像データを画像合成した高精細画像の一例を示すものである。
【図4】本発明のデジタルプリンタを示す機能ブロック図である。
【図5】プリンタの一例を示す概略図である。
【図6】カメラにおける処理手順を示すフローチャートである。
【符号の説明】
10 デジタルスチールカメラ
11 撮像部
12 画像処理部
13 バッフアメモリ
15 画像データ書込み部
16 ICメモリカード
26 デジタルプリンタ
27 データ読取部
28 処理制御部
29 入力画像メモリ
30 画像処理部
31 作業画像メモリ
32 プリント部
33 カラーモニター
34 フレームメモリ
35 プリンタ

Claims (12)

  1. 撮影シーンを1コマに撮影する通常撮影モードと、撮影シーンを複数コマに撮影し画像合成方法が異なる複数種類の高精細撮影モードとを備え、前記複数種類の高精細撮影モードでは、前記撮影シーンを複数のコマで撮影した各撮影コマの画像データと、前記撮影コマを前記撮影シーンとして画像合成するために前記複数種類毎の高精細撮影モードを特定する撮影制御情報とを対応付けて記録するカメラにより記録された前記各撮影モードの画像データ及び前記撮影制御情報が入力されるデータ読取部と、
    前記データ読取部で読み取られた前記撮影制御情報に基づき、各撮影モードの画像データに対し撮影モードに対応した画像処理及び合成を行う画像処理部と、
    この画像処理部からの画像データに基づき前記撮影シーンを再現するディスプレイとを備え、
    前記カメラは、前記高精細撮影モードとして、主要被写体を指定する指定手段又は主要被写体を判別する判別手段を有し、前記撮影シーン中で前記指定手段により指定又は前記判別手段により判別された主要被写体を複数段階にズーミングしてズーミング倍率毎に撮影を行い、各撮影コマを画像合成して前記撮影シーンを再現する際の合成情報として各撮影コマに対して用いたズーミング倍率を用い、このズーミング倍率を含む前記撮影制御情報と前記各撮影コマの画像データとを対応付けて記録する多段階ズーミング撮影モードを有し、
    前記画像処理部は、前記多段階ズーミング撮影モードで撮影された場合に、最もズーミング倍率が低い撮影コマに対して次にズーミング倍率が低い撮影コマを画像合成する際にズーミング倍率を考慮してパターンマッチング処理で両撮影コマを位置合わせして、これら両撮影コマが重なった部分をズーミング倍率が高い撮影コマの画像データに置き換え、以下同様にして次々とズーミング倍率が高い撮影コマの画像データに置き換えて画像合成することを特徴とする画像処理装置。
  2. 前記カメラは、さらに、焦点距離を変更しながら前記撮影シーンを複数回撮影し、各撮影コマを画像合成して前記撮影シーンを再現する際の合成情報として各撮影コマに対して用いた焦点距離を用い、この焦点距離からなる前記撮影制御情報と前記各撮影コマの画像データとを対応付けて記録する多段階焦点距離撮影モードを有し、
    前記画像合成部は、前記多段階焦点距離撮影モードで撮影された場合に、各撮影コマの画像データに基づき各画素毎に周辺画素との微分をとり、この微分値に基づきピントが良好なエリアを撮影コマ毎に求め、このピントが良好なエリアを画像合成することを特徴とする請求項1記載の画像処理装置。
  3. 前記カメラは、さらに、露出値を変更しながら前記撮影シーンを複数回撮影し、各撮影コマを画像合成して前記撮影シーンを再現する際の合成情報として各撮影コマに対して用いた露出値を用い、この露出値からなる前記撮影制御情報と前記各撮影コマの画像データとを対応付けて記録する多段階露出撮影モードを有し、
    前記画像処理部は、前記多段階露出撮影モードで撮影された場合に、中間輝度領域で撮影した撮影コマの画像データに基づき、所定値以上の高輝度領域を切り出し、この領域の画素を、高輝度部分が受容範囲に収まるように撮影された高輝度領域で撮影した撮影コマのものを用い、所定値以下の低輝度領域を切り出し、この領域の画素を、低輝度部分が受容範囲に収まるように撮影された低輝度領域で撮影した撮影コマのものを用い、その他の領域については中間輝度領域で撮影した撮影コマのものを用いて、画像合成することを特徴とする請求項1または2項記載の画像処理装置。
  4. 前記カメラは、さらに、前記撮影シーン中の撮影範囲を分割し、分割範囲毎に撮影を行い、各撮影コマを画像合成して前記撮影シーンを再現する際の各撮影コマの位置情報を前記各撮影コマの画像データに対応付けて記録する多分割撮影モードを有し、
    前記画像処理部は、前記多分割撮影モードで撮影された場合に、前記各撮影コマの画像データを各撮影コマの位置情報に基づき画像合成することを特徴とする請求項1から3いずれか1項記載の画像処理装置。
  5. 前記画像処理部は、前記各撮影コマを画像合成する際に、各撮影コマの境界部分を局所的パターンマッチング処理により位置補正することを特徴とする請求項2から4いずれか1項記載の画像処理装置。
  6. 請求項1からいずれか1項記載の画像処理装置と、この画像処理装置からの画像データに基づき前記撮影シーンをプリントするプリント部とを備えることを特徴とするプリンタ。
  7. 撮影シーンを1コマに撮影する通常撮影モードと、撮影シーンを複数コマに撮影し画像合成方法が異なる複数種類の高精細撮影モードとを備え、前記複数種類の高精細撮影モードでは、前記撮影シーンを複数のコマで撮影した各撮影コマの画像データと、前記撮影コマを前記撮影シーンとして画像合成するために前記複数種類毎の高精細撮影モードを特定する撮影制御情報とを対応付けて記録し、前記高精細撮影モードとして、主要被写体を指定する指定手段又は主要被写体を判別する判別手段を有し、前記撮影シーン中で前記指定手段により指定又は前記判別手段により判別された主要被写体を複数段階にズーミングしてズーミング倍率毎に撮影を行い、各撮影コマを画像合成して前記撮影シーンを再現する際の合成情報として各撮影コマに対して用いたズーミング倍率を用い、このズーミング倍率を含む前記撮影制御情報と前記各撮影コマの画像データとを対応付けて記録する多段階ズーミング撮影モードを有するカメラと、
    前記カメラにより記録された前記高精細撮影モードの各撮影コマの画像データ及び前記撮影制御情報が入力されるデータ読取部、前記データ読取部で読み取られた前記撮影制御情報に基づき各撮影モードの各撮影コマの画像データに対し撮影モードに対応した画像処理及び合成を行う画像処理部、及びこの画像処理部からの画像データに基づき前記撮影シーンを再現するディスプレイを有し、前記画像処理部は、前記撮影制御情報に基づき前記複数種類の高精細撮影モードを特定して前記多段階ズーミング撮影モードで撮影された場合に、最もズーミング倍率が低い撮影コマに対して次にズーミング倍率が低い撮影コマを画像合成する際にズーミング倍率を考慮してパターンマッチング処理で両撮影コマを位置合わせして、これら両撮影コマが重なった部分をズーミング倍率が高い撮影コマの画像データに置き換え、以下同様にして次々とズーミング倍率が高い撮影コマの画像データに置き換えて画像合成する画像処理装置とを備えることを特徴とする撮影システム。
  8. 前記カメラは、さらに、焦点距離を変更しながら前記撮影シーンを複数回撮影し、各撮影コマを画像合成して前記撮影シーンを再現する際の合成情報として各撮影コマに対して用いた焦点距離を用い、この焦点距離からなる前記撮影制御情報と前記各撮影コマの画像データとを対応付けて記録する多段階焦点距離撮影モードを有し、
    前記画像合成部は、前記多段階焦点距離撮影モードで撮影された場合に、各撮影コマの画像データに基づき各画素毎に周辺画素との微分をとり、この微分値に基づきピントが良好なエリアを撮影コマ毎に求め、このピントが良好なエリアを画像合成することを特徴とする請求項7記載の撮影システム。
  9. 前記カメラは、さらに、露出値を変更しながら前記撮影シーンを複数回撮影し、各撮影コマを画像合成して前記撮影シーンを再現する際の合成情報として各撮影コマに対して用いた露出値を用い、この露出値からなる前記撮影制御情報と前記各撮影コマの画像データとを対応付けて記録する多段階露出撮影モードを有し、
    前記画像処理部は、前記多段階露出撮影モードで撮影された場合に、中間輝度領域で撮影した撮影コマの画像データに基づき、所定値以上の高輝度領域を切り出し、この領域の画素を、高輝度部分が受容範囲に収まるように撮影された高輝度領域で撮影した撮影コマのものを用い、所定値以下の低輝度領域を切り出し、この領域の画素を、低輝度部分が受容範囲に収まるように撮影された低輝度領域で撮影した撮影コマのものを用い、その他の領域については中間輝度領域で撮影した撮影コマのものを用いて、画像合成することを特徴とする請求項7または8項記載の撮影システム。
  10. 前記カメラは、さらに、前記撮影シーン中の撮影範囲を分割し、分割範囲毎に撮影を行い、各撮影コマを画像合成して前記撮影シーンを再現する際の各撮影コマの位置情報を前記各撮影コマの画像データに対応付けて記録する多分割撮影モードを有し、
    前記画像処理部は、前記多分割撮影モードで撮影された場合に、前記各撮影コマの画像データを各撮影コマの位置情報に基づき画像合成することを特徴とする請求項7から9いずれか 1 項記載の撮影システム。
  11. 前記画像処理部は、前記各撮影コマを画像合成する際に、各撮影コマの境界部分を局所的パターンマッチング処理により位置補正することを特徴とする請求項8から10いずれか1項記載の撮影システム。
  12. 前記画像処理部からの画像データに基づき前記撮影シーンをプリントするプリント部とを備えることを特徴とする請求項7から11いずれか1項記載の撮影システム。
JP28442596A 1996-10-25 1996-10-25 画像処理装置及びプリンタ並びに撮影システム Expired - Fee Related JP4143140B2 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP28442596A JP4143140B2 (ja) 1996-10-25 1996-10-25 画像処理装置及びプリンタ並びに撮影システム
US09/727,771 US6583811B2 (en) 1996-10-25 2000-12-04 Photographic system for recording data and reproducing images using correlation data between frames
US09/927,633 US6989858B2 (en) 1996-10-25 2001-08-13 Photographic system for recording data and reproducing images using correlation data between frames
US10/404,069 US20030184657A1 (en) 1996-10-25 2003-04-02 Photographic system linked with photographic data
US10/404,863 US7180541B2 (en) 1996-10-25 2003-04-02 Photographic system linked with photographic data
US10/404,442 US20030189645A1 (en) 1996-10-25 2003-04-02 Photographic system linked with photographic data

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP28442596A JP4143140B2 (ja) 1996-10-25 1996-10-25 画像処理装置及びプリンタ並びに撮影システム

Publications (2)

Publication Number Publication Date
JPH10136298A JPH10136298A (ja) 1998-05-22
JP4143140B2 true JP4143140B2 (ja) 2008-09-03

Family

ID=17678392

Family Applications (1)

Application Number Title Priority Date Filing Date
JP28442596A Expired - Fee Related JP4143140B2 (ja) 1996-10-25 1996-10-25 画像処理装置及びプリンタ並びに撮影システム

Country Status (1)

Country Link
JP (1) JP4143140B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4565907B2 (ja) * 2004-06-23 2010-10-20 Hoya株式会社 撮像装置
JP4504140B2 (ja) * 2004-09-08 2010-07-14 株式会社リコー 筆記面再生方法、筆記面再生装置及び筆記面再生プログラム
KR100618334B1 (ko) 2005-01-20 2006-09-01 삼성전자주식회사 포스터 인쇄기능을 구비한 화상형성장치 및화상형성장치의 제어방법
KR20080064864A (ko) * 2005-10-16 2008-07-09 미디어팟 엘엘씨 디지털 이미지 캡쳐의 품질을 증가시키기 위한 장치,시스템 및 방법
CN111915505B (zh) * 2020-06-18 2023-10-27 北京迈格威科技有限公司 图像处理方法、装置、电子设备及存储介质

Also Published As

Publication number Publication date
JPH10136298A (ja) 1998-05-22

Similar Documents

Publication Publication Date Title
US6989858B2 (en) Photographic system for recording data and reproducing images using correlation data between frames
US7245325B2 (en) Photographing device with light quantity adjustment
JP3786242B2 (ja) 画像処理方法および装置、画像再生方法および装置並びにその方法に使用する画像確認装置
TW535425B (en) Electronic still camera
JPH09181913A (ja) カメラシステム
JP2002207242A (ja) カメラおよび画像形成システム
JP5068690B2 (ja) 画像記録装置及び方法
JPH11261797A (ja) 画像処理方法
US7379620B2 (en) Image taking apparatus
JPH07288826A (ja) フィルム画像再生装置
JP2004289383A (ja) 撮像装置、画像データ生成方法、画像データ処理装置および画像データ処理プログラム
JP4143140B2 (ja) 画像処理装置及びプリンタ並びに撮影システム
JP2005033255A (ja) デジタル画像の画像処理方法、デジタルカメラ及びプリントシステム
JP2003189171A (ja) 画像処理装置及び方法及び制御プログラム及び記録媒体
JPH0630373A (ja) 特殊効果機能を持つ電子スチルカメラおよび再生装置
JP4049291B2 (ja) デジタルスチルカメラ
US5790280A (en) Digital image recording method and apparatus therefor and digital image processing apparatus
JP3643203B2 (ja) デジタルカメラ
JP5018828B2 (ja) 画像撮影装置及び画像撮影プログラム
JPH0879597A (ja) 撮像装置
JP3631577B2 (ja) デジタルカメラ
JP4067555B2 (ja) 画像確認装置
JP2008141771A (ja) 画像確認装置
JP3641537B2 (ja) デジタルカメラ
JPH11275362A (ja) デジタル画像を線形に変換する方法及びコンピュータプログラム製品

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20050408

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050428

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20050502

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050623

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20050817

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20050914

A911 Transfer to examiner for re-examination before appeal (zenchi)

Free format text: JAPANESE INTERMEDIATE CODE: A911

Effective date: 20051116

A912 Re-examination (zenchi) completed and case transferred to appeal board

Free format text: JAPANESE INTERMEDIATE CODE: A912

Effective date: 20060106

A711 Notification of change in applicant

Free format text: JAPANESE INTERMEDIATE CODE: A712

Effective date: 20061129

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20080520

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20080616

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20110620

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120620

Year of fee payment: 4

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130620

Year of fee payment: 5

LAPS Cancellation because of no payment of annual fees