JP5018828B2 - 画像撮影装置及び画像撮影プログラム - Google Patents

画像撮影装置及び画像撮影プログラム Download PDF

Info

Publication number
JP5018828B2
JP5018828B2 JP2009127115A JP2009127115A JP5018828B2 JP 5018828 B2 JP5018828 B2 JP 5018828B2 JP 2009127115 A JP2009127115 A JP 2009127115A JP 2009127115 A JP2009127115 A JP 2009127115A JP 5018828 B2 JP5018828 B2 JP 5018828B2
Authority
JP
Japan
Prior art keywords
image
frame
photo
size
shooting
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009127115A
Other languages
English (en)
Other versions
JP2009189063A (ja
JP2009189063A5 (ja
Inventor
章彦 山本
健司 小林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2009127115A priority Critical patent/JP5018828B2/ja
Publication of JP2009189063A publication Critical patent/JP2009189063A/ja
Publication of JP2009189063A5 publication Critical patent/JP2009189063A5/ja
Application granted granted Critical
Publication of JP5018828B2 publication Critical patent/JP5018828B2/ja
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Circuits (AREA)

Description

本発明は、画像データを撮影する画像撮影装置及び画像撮影プログラムに関する。
従来、デジタル画像を撮影するデジタルスチルカメラなどの画像撮影装置があった。一般のユーザが証明写真を撮影しようとすると、写真サイズ、写真中の顔の面積率などの設定が困難となる。
そこで、撮影したデジタル画像を人物像が証明写真のサイズに対して適切な大きさとなるように、撮影画像データの拡大、縮小及び移動などを行う証明写真用画像撮影装置が考えられている(例えば、特許文献1参照)。具体的には、人物が入った画像データから人物領域の抽出を行い、その人物領域と、所定の証明写真用の撮影領域のパターンとのパターンマッチングを行い、最も一致度の高いところで差分をとるなどして2つの領域を比較し、この比較結果に基づいて撮影画像データの拡大、縮小及び移動などを行う。
また、証明写真撮影モードが指定された場合に、撮影する人物を配置すべき位置、大きさを指示する枠をファインダ内に表示するカメラ装置なども知られている(例えば、特許文献2参照)。
特開平7−303250号公報 特開2000−321652号公報
しかし、特許文献1に記載の証明写真用画像撮影装置では、ユーザが撮影時に適切な撮影領域が分からないため、撮影領域パターンからかなりずれた画像が撮影されてしまい、その後の拡大、縮小などの画像処理負担が増えてしまうおそれがあった。また、その画像処理工程が増えると、証明写真の画質の低下を招くおそれがあった。
また、特許文献1に記載の証明写真用画像撮影装置では、人物領域のサイズ特定にパターンマッチングを行うので、画像処理負担が大きい。デジタル画像撮影装置は、一般に、ユーザが携帯をすることを目的に小型化が図られているので、演算処理能力が小さい。このため、上記負担の大きい演算処理を実行させる場合、処理に時間がかかるおそれがあった。また、デジタル画像撮影装置に高性能の処理チップを導入すると、コストが高くなる問題があった。
また、特許文献1に記載の証明写真用画像撮影装置では、証明写真用の背景(色、幕など)の前で人物を撮影しなければならないため煩わしいという問題があった。また、複数サイズの証明写真用画像データを撮影するには、ユーザが、複数回異なる設定入力及び撮影をしなければならず煩わしいという問題があった。さらに、複数枚数の画像データを一度に印刷することができないという問題があった。
また、特許文献2に記載のカメラ装置では、証明写真撮影モードが指定された場合に、撮影する人物を配置すべき位置、大きさを指示する枠をファインダ内に表示するようにした点では、上記問題の一部を解決している。
本発明の目的は、適切な証明写真用の画像データを生成することである。さらに詳細に述べると、第1の目的は、証明写真用に適切な人物位置及び大きさの画像データを撮影させるとともに、画像データの人物位置及び大きさの調整の処理負担を少なくして証明写真用の画像データを生成することである。第2の目的は、背景を変更可能に証明写真の画像データを生成することである。第3の目的は、一度の撮影により複数種類の証明写真の画像データを生成することである。第4の目的は、複数枚数の画像データを一度に印刷するためのデータを生成することである。
以上の課題を解決するために、請求項1に記載の発明は、被写体を撮影して画像データを取得する画像撮影部を備えた画像撮影装置において、人物を収めるべき撮影領域を示す人物枠と、証明写真の横縦比に対応する撮影領域を示す撮影枠をスルー画像上に表示する枠表示部と、前記枠表示部により前記人物枠及び前記撮影枠がスルー画像上に表示された状態で前記画像撮影部により撮影された画像を記録する撮影制御部と、証明写真の複数の種類の入力を受け付ける入力部と、前記入力部により入力された証明写真の複数の種類のうち、最小サイズの証明写真に対応させて前記人物枠のサイズを決定し、最大サイズの証明写真に対応させて前記撮影枠のサイズを決定する枠サイズ決定部と、を備え、前記枠表示部は、前記枠サイズ決定部により決定されたサイズで前記人物枠及び前記撮影枠をスルー画像上に表示することを特徴とする。
請求項2に記載の発明は、前記入力部は、証明写真の縦と横の比が異なる複数の種類の入力を受け付け、前記枠サイズ決定部は、前記入力された証明写真の縦と横の比が異なる複数の種類のうち、最小比率の証明写真に対応させて前記人物枠のサイズを決定し、最大比率の証明写真に対応させて前記撮影枠のサイズを決定することを特徴とする。
請求項3に記載の発明は、前記撮影制御部は、前記画像撮影部により撮影された画像を、前記複数の種類の証明写真の各々のサイズに合わせて拡大または縮小するとともに、前記複数の種類の証明写真の各々の縦横比に合わせて左右部分をカットしてから記録することを特徴とする。
請求項4に記載の発明は、被写体を撮影して画像データを取得する画像撮影部を備えた画像撮影装置に搭載されたコンピュータを、人物を収めるべき撮影領域を示す人物枠と、証明写真の横縦比に対応する撮影領域を示す撮影枠をスルー画像上に表示する枠表示部と、前記枠表示部により前記人物枠及び前記撮影枠がスルー画像上に表示された状態で前記画像撮影部により撮影された画像を記録する撮影制御部と、証明写真の複数の種類の入力を受け付ける入力部と、前記入力部により入力された証明写真の複数の種類のうち、最小サイズの証明写真に対応させて前記人物枠のサイズを決定し、最大サイズの証明写真に対応させて前記撮影枠のサイズを決定する枠サイズ決定部と、して機能させるための画像撮影プログラムであって、前記枠表示部は、前記枠サイズ決定部により決定されたサイズで前記人物枠及び前記撮影枠をスルー画像上に表示することを特徴とする。
発明によれば、入力された証明写真の複数の種類のうち、最小サイズの証明写真に対応させて人物枠のサイズを決定し、最大サイズの証明写真に対応させて撮影枠のサイズを決定し、この決定されたサイズで人物枠及び撮影枠をスルー画像上に表示した状態で撮影された画像を記録するようにしたので、複数種類の証明写真の撮影を、人物枠及び撮影枠がスルー画像上に表示された状態で行うことができる。
デジタルカメラ1の外観を示す図であり、(a)は主に前面の構成を示す図であり、(b)は主に背面の構成を示す図である。 デジタルカメラ1の内部構成を示すブロック図である。 本発明に係る第1の実施の形態の第1の画像撮影処理を示すフローチャートである。 フォームデータを示す図であり、(a)はフォームデータの表示例を示す図であり、(b)は異なるサイズのフォームデータ例を示す図である。 焦点距離が1[m]の人物撮影を示す図であり、(a)は人物撮影の概略を示す図であり、(b)は人物像の表示例を示す図である。 焦点距離が2[m]の人物撮影を示す図であり、(a)は人物撮影の概略を示す図であり、(b)は人物像の表示例を示す図である。 本発明に係る第2の実施形態の第2の画像撮影処理を示すフローチャートである。 人物撮影の状態を示す図である。 背景撮影の状態を示す図である。 人物の画像データF1と背景の画像データF2との比較を示す図である。 証明写真の画像データF3を示す図である。 本発明に係る第3の実施の形態の第3の画像撮影処理を示すフローチャートである。 異なるサイズの枠を示す図であり、(a)は横縦比7:9の枠サイズを示す図であり、(b)は横縦比3:4の枠サイズを示す図であり、(c)は横縦比5:6の枠サイズを示す図であり、(d)は異なるサイズの枠の表示例を示す図である。 本発明に係る第4の実施の形態における印刷データ生成処理を示すフローチャートである。 印刷データのレイアウト例を示す図であり、(a)はレイアウト81を示す図であり、(b)はレイアウト82を示す図であり、(c)はレイアウト83を示す図である。 複数サイズの画像データを有する印刷データのレイアウト例を示す図であり、(a)は通常のレイアウト例を示す図であり、(b)は印刷紙の角を利用したレイアウト例を示す図である。
以下、添付図面を参照して本発明に係る第1〜第4の実施の形態を順に説明する。
(第1の実施の形態)
図1〜図6を参照して、本発明に係る第1の実施の形態を説明する。先ず、図1及び図2を参照して、本実施の形態の装置構成を説明する。図1に、本実施の形態のデジタルカメラ1の外観を示し、(a)に主に前面の構成を示し、(b)に主に背面の構成を示す。図2に、デジタルカメラ1の内部構成を示す。
図1に示すように、デジタルカメラ1は、略矩形のボディ前面に、撮影レンズ2、セルフタイマランプ3、光学ファインダ窓4、及びストロボ発光部5が配設され、上面には電源キー6及びシャッタキー7が配される。
撮影レンズ2は、光学ズームにより焦点位置を変更可能なレンズとする。
電源キー6は、1回押圧操作する毎に電源をオン/オフするキーであり、シャッタキー7は、撮影モード時にレリーズを指示する一方で、メニュー選択などでは設定/実行を指示するキーとしても機能するものとする。
また、デジタルカメラ1の背面には、モードスイッチ(SW)8、メニューキー9、十字キー10、光学ファインダ11、ストロボチャージランプ12及び表示部13を配する。
モードスイッチ8は、例えばスライドスイッチにより構成され、撮影モード「R」と再生モード「P」とを切換える。
メニューキー9は、各種メニュー選択時に操作する。
表示部13は、バックライト付きのカラー液晶パネルで構成されるもので、撮影モード時には電子ファインダとしてモニタ表示を行なう一方で、再生モード時には選択した画像を再生表示する。
なお、図示はしないがこのボディ下面には蓋付きのメモリカードスロットが設けられ、このデジタルカメラ1の記録媒体であるメモリカードが着脱自在に装着されるものとする。また、図示しないが、外部機器と通信するためのケーブルを接続するためのコネクタのスロットも設けられる。
次いで図2により上記デジタルカメラ1の電子回路構成を説明する。
撮影モードでのモニタリング状態においては、モータ(M)21の駆動により絞り位置が移動される、撮影レンズ2を含むレンズ光学系22の撮像素子であるCCD23が、タイミング発生器(TG)24、垂直ドライバ25によって走査駆動され、一定周期毎に結像した光像に対応する光電変換出力を1画面分出力する。
この光電変換出力は、アナログ値の信号の状態でRGBの各原色成分毎に適宜ゲイン調整された後に、サンプルホールド回路(S/H)26でサンプルホールドされ、A/D変換器27でデジタルデータに変換され、カラープロセス回路28で画素補間処理及びγ補正処理を含むカラープロセス処理が行なわれて、デジタル値の輝度信号Y及び色差信号Cb,Crが生成され、DMA(Direct Memory Access)コントローラ29に出力される。
DMAコントローラ29は、カラープロセス回路28の出力する輝度信号Y及び色差信号Cb,Crを、同じくカラープロセス回路28からの複合同期信号、メモリ書込みイネーブル信号及びクロック信号を用いて一度DMAコントローラ29内部のバッファに書込み、DRAMインタフェース(I/F)30を介してバッファメモリとして使用されるDRAM31にDMA転送を行なう。
制御部32は、CPUと、後述する色強調処理を含むCPUで実行される動作プログラムを固定的に記憶したROM及びワークメモリとして使用されるRAMなどにより構成され、このデジタルカメラ1全体の制御動作を司るもので、上記輝度及び色差信号のDRAM31へのDMA転送終了後に、この輝度及び色差信号をDRAMインタフェース30を介してDRAM31より読出し、VRAMコントローラ33を介してVRAM34に書込む。
デジタルビデオエンコーダ35は、上記輝度及び色差信号をVRAMコントローラ33を介してVRAM34より定期的に読出し、これらのデータを元にビデオ信号を発生して表示部13に出力する。
この表示部13は、上述した如く撮影モード時にはモニタ表示部(電子ファインダ)として機能するもので、デジタルビデオエンコーダ35からのビデオ信号に基づいた表示を行なうことで、その時点でVRAMコントローラ33から取込んでいる画像情報に基づくスルー画像をリアルタイムに表示することとなる。
このように表示部13にその時点での画像がモニタ画像としてリアルタイムに表示されている状態で、静止画撮影を行ないたいタイミングでキー入力部36を構成するシャッタキー7を操作すると、トリガ信号を発生する。
制御部32は、このトリガ信号に応じてその時点でCCD23から取込んでいる1画面分の輝度及び色差信号のDRAM31へのDMA転送の終了後、直ちにCCD23からのDRAM31への経路を停止し、記録保存の状態に遷移する。
この記録保存の状態では、制御部32がDRAM31に書込まれている1フレーム分の輝度及び色差信号をDRAMインタフェース30を介してY,Cb,Crの各コンポーネント毎に縦8画素×横8画素の基本ブロックと呼称される単位で読出してJPEG(Joint Photograph coding Experts Group)回路37に書込み、このJPEG回路37でADCT(Adaptive Discrete Cosine Transform:適応離散コサイン変換)、エントロピ符号化方式であるハフマン符号化などの処理によりデータ圧縮する。
そして、得た符号データを1画像のデータファイルとしてJPEG回路37から読出し、このデジタルカメラ1の記録媒体として着脱自在に装着されるメモリカード内に封入された、不揮発性メモリであるフラッシュメモリ38に書込む。さらにフラッシュメモリ38は別にデジタルカメラ1に内蔵されていてもよい。
そして、1フレーム分の輝度及び色差信号の圧縮処理及びフラッシュメモリ38への全圧縮データの書込み終了に伴なって、制御部32はCCD23からDRAM31への経路を再び有効にする。
キー入力部36は、電源キー6、シャッタキー7、モードスイッチ8、メニューキー9及び十字キー10から構成され、それらのキー操作に伴なう信号は直接制御部32へ送出される。
上記再生モード時には、制御部32がフラッシュメモリ38に記録されている画像データを選択的に読出し、JPEG回路37で画像撮影モード時にデータ圧縮した手順と全く逆の手順で圧縮されている画像データを伸長し、伸長した画像データをVRAMコントローラ33を介してVRAM34に展開して記憶させた上で、このVRAM34より定期的に読出し、これらの画像データを元にビデオ信号を発生して表示部13で再生出力させる。
なお、キー入力部36のシャッタキー7が2段階のストロークで動作し、一般的に「半押し」と表現されている第1段階の操作状態でAE(自動露光)処理やAF(オートフォーカス)処理を始めとする撮影の準備を行ない、一般的に「全押し」と表現されている、より強く押圧操作した第2段階の操作状態で撮影を実行するものとする。
また、制御部32の内部ROMには、第1の画像撮影プログラムが記憶されているものとする。また、制御部32は、選択部、光学ズーム調整部、撮影制御部、印刷データ生成部としての機能を有する。
なお、以上の構成はデジタルカメラにおける代表的な構成例を示したに過ぎず、他の構成を有するものであってもよいことはいうまでもない。例えば、デジタルカメラとしては薄型でなくてもよい。
また、画像撮影装置としては、デジタルカメラに限るものではなく、画像撮影機能を有する携帯電話、PHS(Personal Handyphone System)、PDA(Personal Digital Assistants)などでもよい。
次に、図3〜図6を参照して、デジタルカメラ1の動作を説明する。図3に、第1の画像撮影処理を示す。図4に、フォームデータを示し、(a)にフォームデータの表示例を示し、(b)に異なるサイズのフォームデータ例を示す。図5に、焦点距離が1[m]の人物撮影を示し、(a)に人物撮影の概略を示し、(b)に人物像の表示例を示す。図6に、焦点距離が2[m]の人物撮影を示し、(a)に人物撮影の概略を示し、(b)に人物像の表示例を示す。
図3を参照して、デジタルカメラ1において実行される第1の画像撮影処理を説明する。第1の画像撮影処理は、証明写真用の画像データを撮影する処理である。デジタルカメラ1において、ユーザ(撮影者)によりキー入力部36から第1の画像撮影処理の実行指示が入力されたことをトリガとして、制御部32は、内部ROMなどに記憶されている第1の画像撮影プログラムを読み出し適宜内部のRAMのワークエリアに展開して、第1の画像撮影処理を実行する。以下、各ステップの主体は、特に言及しない場合、制御部32とする。
予め、撮影時に、手動で被写体までの焦点距離、画像の倍率などの設定を行う手動設定モードか、それらの値を自動で調整する自動調整モードかのいずれかが、ユーザによりキー入力部36から入力されて設定されるものとする。
先ず、ユーザによりキー入力部36を介して入力される所望の証明写真の種類が受け付けられる(ステップS11)。証明写真の種類とは、証明写真の縦横比を含むサイズ、カラー/モノクロの指定などである。そして、ステップS11において入力された証明写真の種類に基づいてフォームデータが選択され、その選択されたフォームデータが表示部13に表示される(ステップS12)。フォームデータは、例えば、デジタルカメラ1内の図示しないフラッシュROMなどの記憶部に記憶される。ステップS12において、フォームデータは当該記憶部から読み出されて表示部13に表示される。
ここで、図4を参照して、フォームデータを説明する。フォームデータは、ユーザが被写体の人物を適切なサイズ及び顔の面積率(フォーム内に占める顔画像部分の割合をいう)などで撮影するための指標となる枠であり、ユーザは、図4(a)に示すように、表示部13に表示されるスルー画像とともに表示されたフォームデータ40に被写体の人物の顔などが収まるように、デジタルカメラ1を位置合せして撮影する。
証明写真は、パスポート用、運転免許証用などにより、25[mm]×30[mm]、30[mm]×40[mm]、35[mm]×45[mm]、などのサイズ種類がある。従って、これらのサイズに対応するフォームデータは、図4(b)に示すように、順に、横縦比が5:6のフォームデータ41、横縦比が3:4のフォームデータ42、横縦比が7:9のフォームデータ43などとなる。
そして、被写体までの焦点距離、画像の倍率などの設定を手動で行う手動設定モードか否かが判別される(ステップS13)。手動設定モードでない場合(ステップS13;NO)、自動調整モードであり、オートフォーカスによりフォーカス距離が取得される(ステップS14)。ユーザが、デジタルカメラ1の撮影レンズ2を被写体に向け、シャッタキー7を半押ししてオートフォーカスをあてると、フォーカス距離が測定される。オートフォーカスは、例えば、アクティブ方式、位相検出方式、コントラスト検出方式などによりフォーカス距離が測定される。このオートフォーカス処理は、パターンマッチングなどの画像処理に比べて制御部32の処理負担が小さい。
ここで、仮に撮影される人物50の顔の大きさが通常の大きさのものであったときに、図5(a)(b)に示すように、例えばフォーカス距離を1[m]として撮影を行うと、適切な画像を撮影できるようなシステムになっているものとする。このようなシステムにおいて、ユーザが実際に撮影を行おうとしてカメラを被写体に向けて構えて、その後、上記のステップS14に示したオートフォーカス処理によって、例えば、図6(a)(b)に示すようにフォーカス距離が2[m]と測定された場合には、人物像52が人物像51よりも小さくなってしまうため、これを補正することが望ましい。この場合、適切な画像が撮れるフォーカス距離(上では1m)と、実際の被写体までのオートフォーカス距離(上では2m)とから、どのような画像倍率で拡大若しくは縮小の補正を行えばよいかが求められる。
そして、適切な人物像となるための画像倍率が算出され、その算出された倍率に基づいてレンズ光学系22の駆動により光学ズームが行われる(ステップS15)。図6(b)に示すように、表示部13中の人物像52の大きさが人物像51となるような倍率が算出され、光学ズームが行われる。
そして、ステップS15において算出された倍率に対して、光学ズームで十分か否かが判別される(ステップS17)。光学ズームで十分である場合(ステップS16;YES)、ステップS18に移行される。一方、例えば、算出された倍率が4倍であるにも関わらず、デジタルカメラ1の光学ズーム機能が最大3倍である場合には不十分となる。光学ズームで十分でない場合(ステップS16;YES)、不足分の倍率を補うための画像データそのものをソフトウェア的に拡大/縮小するデジタルズームの倍率がセットされる(ステップS17)。デジタルズームの倍率は、例えば、制御部32の内部RAMに格納される。
そして、ユーザによるシャッタキー7の全押し入力の受け付けにより、設定された光学ズームで被写体の人物が撮影される(ステップS18)。一方、手動設定モードである場合(ステップS13;YES)、ユーザのキー入力部36を介した手動入力を受け付けて、フォーカス距離、倍率、光学ズーム、デジタルズームの設定などが行われ(ステップS19)、ステップS18に移行される。
そして、ステップS18において撮影された画像データがDRAM31に一旦格納される(ステップS20)。そして、ステップS17においてデジタルズームの倍率がセットされたか否かにより、デジタルズームが必要であるか否かが判別される(ステップS22)。デジタルズームが必要でない場合(ステップS21;NO)には、デジタルズーム処理は行わずに、直ちにステップS23に移行する。一方、デジタルズームが必要である場合(ステップS21;YES)、DRAM31に格納されている画像データに対して、ステップS17において設定されたデジタルズームの倍率に基づいてデジタルズーム処理が施され、その後デジタルズームの倍率を記憶している一時記憶領域の記憶内容がクリアされる(ステップS22)。
そして、DRAM31に格納された画像データに、JPEGの符号化などが施されて、その画像データがフラッシュメモリ38に記憶され(ステップS23)、第1の画像撮影処理が終了される。
以上、本実施の形態によれば、デジタルカメラ1内に記憶されたフォームデータのうちから、所望の証明写真の種類に基づいてフォームデータを選択し、フォーカス距離に基づいて光学ズーム調整し、選択されたフォームデータをスルー画像とともに表示部に表示させて、フォームデータに合せられた人物が撮影されるので、処理負担の少ないオートフォーカスを用いて被写体の人物を適切な位置及び大きさに合せるように光学ズーム調整できるとともに、所望の証明写真の種類に基づくフォームデータを用いて被写体の人物を自動的に適切な位置及び大きさに合せて撮影して証明写真用の画像データを生成できる。
また、光学ズームによるズームが適切な倍率に対して不十分である場合に、撮影された画像データに対してデジタルズーム処理を施すので、適切な倍率へのズーム不足を防ぎ、被写体の人物を自動的に適切な位置及び大きさに合せて撮影して証明写真用の画像データを生成できる。
なお、本実施の形態において、第1の画像撮影処理のステップS11において、証明写真の種類としてモノクロ指定が入力された場合に、ステップS23の実行前に、画像データに対してグレースケール化を施す構成としてもよい。
(第2の実施の形態)
図7〜図11を参照して、本発明に係る第2の実施の形態を説明する。図7に、第2の画像撮影処理を示す。図8に、人物撮影の状態を示す。図9に、背景撮影の状態を示す。図10に、人物の画像データF1と背景の画像データF2との比較を示す。図11に、証明写真の画像データF3を示す。
本実施の形態に用いるデジタルカメラ1の装置構成は、第1の実施の形態と同様である。また、制御部32の内部ROMには、第1の画像撮影プログラムとともに、第2の画像撮影プログラムが記憶される。
次に、図7〜図11を参照して、本実施の形態におけるデジタルカメラ1の動作を説明する。図7を参照して、デジタルカメラ1において実行される第2の画像撮影処理を説明する。第2の画像撮影処理は、背景を変更自在に証明写真用の画像データを撮影する処理である。デジタルカメラ1において、ユーザ(撮影者)によりキー入力部36から第2の画像撮影処理の実行指示が入力されたことをトリガとして、制御部32は、内部ROMなどに記憶されている第2の画像撮影プログラムを読み出し適宜内部のRAMのワークエリアに展開して、第2の画像撮影処理を実行する。
先ず、図3に示す第1の画像撮影処理が実行され、被写体が人物である画像データが撮影される(ステップS31)。そして、ステップS31の第1の画像撮影処理において用いられたフォーカス距離及びデジタルズームの倍率が、制御部32の内部RAMにセットされる(ステップS32)。人物撮影時にデジタルズームの倍率がセットされていない場合は、フォーカス距離のみがセットされる。
具体的には、例えば、図8に示すように、第1の画像撮影処理において背景60の前の人物50が撮影された場合のフォーカス距離がフォーカス距離FL1であるとすると、ステップS32においても、フォーカス距離FL1と、そのデジタルズーム倍率とがセットされる。また、ステップS32においては、レンズ光学系22の駆動に変更がないものとし、光学ズームの倍率が変化しないものとする。すなわち、以後のステップS33において、人物の存在しない、背景のみの画像を撮影する際のフォーカス距離やズーム倍率として、人物にピントを合わせて撮影したステップS31での設定がそのまま用いられるという構成になっているのである。しかし、光学ズームの倍率も再セットする構成でもよい。
そして、ユーザによるシャッタキー7の全押し入力の受け付けにより、セットされたフォーカス距離とデジタルデータの倍率で背景が撮影される(ステップS33)。例えば、図9に示すように、ステップS33において、図8の人物撮影時のデジタルカメラ1の位置から、フォーカス距離FL1により、背景60にデジタルカメラ1の撮影レンズ2が向けられて撮影される。
そして、ステップS33において撮影された背景の画像データがDRAM31に一旦格納される(ステップS34)。そして、ステップS32において、デジタルズームの倍率がセットされたか否かにより、デジタルズームが必要か否かが判別される(ステップS35)。
デジタルズームが必要である場合(ステップS35;YES)、DRAM31に格納された背景の画像データに対して、ステップS32においてセットされた倍率でデジタルズーム処理が施され、セットされているデジタルズームの倍率を記憶している一時記憶領域の記憶内容がクリアされる(ステップS36)。
そして、フラッシュメモリ38に記憶されている人物の画像データが読み出され、JPEG方式の伸長が施され、DRAM31に格納される(ステップS37)。そして、DRAM31に格納される人物及び背景の両画像データの位置合わせが行われる(ステップS38)。ユーザの撮影時の手ぶれなどがあるため人物及び背景の両画像データの撮影位置が完全に一致していない場合があるためである。例えば、人物及び背景の2枚の画像データをずらしながら、証明写真の枠付近の画像部分の相関をとり、最も相関が高い位置に合わせられる。証明写真の枠付近の画像部分の相関をとるのは、証明写真の枠内の中心付近の画像部分の相関は人物の有無や背景の画像次第でかなり異なるためである。例えば、図10に示すように、人物の画像データF1と、背景の画像データF2の位置合わせが行われる。
そして、ステップS38において合わされた位置で、人物及び背景の両画像データの一致する画像部分が切り出される(ステップS39)。例えば、図10に示すように、人物の画像データF1と、背景の画像データF2の人物像53以外の部分が切り出される。なお、この切り出し領域は、必要に応じて、両画像データが一致しない部分(すなわち、顔画像部分であると考えられる部分)を囲む四角形などの所定の形状で切り出すように構成してもよい。そして、ステップS39において一致部分が切り出された画像部分において、変化画像部分が人物部分として抽出される(ステップS40)。例えば、図10に示すように、人物の画像データF1と、背景の画像データF2との変化部分である人物像53が抽出される。ここで、ステップS39の「一致した画像部分を切り出す」処理を省略して、直接ステップS40の「変化画像部分」を抽出するように構成することも可能である。
そして、ステップS40において抽出された変化画像部分の残りの領域(背景画像部分)に、証明写真用の背景が設定される(ステップS41)。例えば、証明写真の背景として、白、灰などの色が設定され、背景がその指定された色でべた塗りされるように設定される。また、デジタルカメラ1内のROMなどのメモリに予め背景用の色データや画像データが記憶され、その背景用のデータが読み出されて背景に設定される構成としてもよい。背景用の画像データとしては、無地、シンプルな模様など証明写真用の背景として適切な画像が用いられる。また、証明写真用だけでなく、記念写真用の背景データとして、エンジ、青、濃緑などの色データや、幕などの画像データなどの記念写真に適したデータが用いられる構成でもよい。
そして、第1の画像撮影処理において設定された証明写真のサイズに対応するフォームに基づいて、背景が設定された画像変化部分が証明写真用の画像データとして切り出される(ステップS42)。そして、例えば、第1の画像撮影処理のステップS11において、証明写真の種類として画像データのモノクロ指定がされているか否かが判別される(ステップS43)。モノクロ指定がされている場合(ステップS43;YES)、ステップS42において切り出された証明写真用の画像データがグレースケール化され、モノクロの画像データに変更される(ステップS44)。
そして、ステップS42又はS43において生成されたカラー又はモノクロの証明写真用の画像データにJPEGの符号化などが施され、フラッシュメモリ38に記憶され(ステップS45)、第2の画像撮影処理が終了される。モノクロ指定がされていない場合(ステップS43;NO)、ステップS45に移行される。
以上、本実施の形態によれば、被写体の人物の撮影により人物の画像データを取得し、当該人物の撮影と同一のフォーカス距離、光学ズーム及びデジタルズーム倍率での背景の撮影により背景の画像データを取得し、前記人物の画像データ及び前記背景の画像データを比較して共通部分を除いた人物画像部分を切り出し、背景データを前記人物画像部分に合成して証明写真用の画像データを生成するので、背景を自在に変更して人物の証明写真を撮影して証明写真用の画像データを生成できる。
(第3の実施の形態)
図12及び図13を参照して、本発明に係る第3の実施の形態を説明する。図12に、第3の画像撮影処理を示す。図13に、異なるサイズの枠を示し、(a)に横縦比7:9の枠サイズを示し、(b)に横縦比3:4の枠サイズを示し、(c)に横縦比5:6の枠サイズを示し、(d)に異なるサイズの枠の表示例を示す。
本実施の形態に用いるデジタルカメラ1の装置構成は、第1の実施の形態と同様である。また、制御部32の内部ROMには、第1及び第2の画像撮影プログラムとともに、第3の画像撮影プログラムが記憶される。
次に、図12及び図13を参照して、デジタルカメラ1の動作を説明する。図7を参照して、デジタルカメラ1において実行される第2の画像撮影処理を説明する。第3の画像撮影処理は、複数のサイズの証明写真用の画像データを撮影する処理である。デジタルカメラ1において、ユーザ(撮影者)によりキー入力部36から第3の画像撮影処理の実行指示が入力されたことをトリガとして、制御部32は、内部ROMなどに記憶されている第3の画像撮影プログラムを読み出し適宜内部のRAMのワークエリアに展開して、第3の画像撮影処理を実行する。
先ず、ユーザにより入力される、所望の証明写真の種類がキー入力部36を介して受け付けられる(ステップS51)。ステップS51においては、証明写真の種類として、1又は複数の証明写真サイズが入力可能である。そして、ステップS51において入力された証明写真の種類の証明写真サイズから、証明写真の最大及び最小比率が算出される(ステップS52)。比率とは、例えば、縦の長さを一致させる場合の横の長さの比率(横/縦比)である。最大比率とは、最大の横/縦比が最大のものである。最小比率とは、横/縦比が最小のものである。例えば、図13(a),(b),(c)に示すように、横/縦比が0.78、0.75、0.83の証明写真サイズ71,72,73がある場合、最大比率が0.83であり、最大比率が0.75となる。
また、証明写真サイズの比率に対応して、表示部13のフォームデータの表示領域としての枠が予め設定されている。そして、算出された最大比率に対応する枠である最大の撮影枠が選択される(ステップS53)。撮影枠とは、撮影される場合に表示しなければならない範囲である。また、算出された最小比率に対応する枠である最小の人物枠が選択される(ステップS54)。人物枠とは、この中に必ず人物を収めなければならない範囲である。
そして、ステップS53,S54において選択された最大の撮影枠及び最小の人物枠に基づいて、表示部13にフォームデータを含む電子ファインダとしての画像が表示される(ステップS55)。例えば、図13(d)に示すように、表示部13において最大の撮影枠73内に、最小比率の人物枠72と、当該人物枠72に対応するフォームデータとが表示される。そして、撮影時に、そのフォームデータに人物像54が合せられる。また、図13(d)に示すように、表示部13において全ての枠71,72,73と、枠72に対応するフォームデータとが重ねられて表示される構成でもよい。
そして、図7に示す第2の画像撮影処理が実行され、背景が変更された画像データが撮影される(ステップS56)。但し、第2の画像撮影処理内の第1の画像撮影処理(ステップS31)で実行される、図3のフローチャート中のステップS11,S12の処理は、ステップS51,S55に相当するので、実行されない。
そして、所望の全ての証明写真サイズのフォームデータのうち、未選択のフォームデータが1つ選択される(ステップS57)。そして、ステップS56において撮影されフラッシュメモリ38に記憶された画像データに対して、ステップS57において選択されたフォームデータに合せた拡大又は縮小が施される(ステップS58)。そして、ステップS58において拡大又は縮小された画像データに対して、ステップS57において選択されたフォームデータに合せて左右部分がカットされる(ステップS59)。
そして、ステップS59において左右部分がカットされた画像データがフラッシュメモリ38に記憶される(ステップS60)。そして、ステップS57において、所望の全ての証明写真サイズのフォームデータが選択されたか否かが判別される(ステップS61)。全てのフォームデータが選択されていない場合(ステップS61;NO)、ステップS57に移行される。全てのフォームデータが選択された場合(ステップS61;YES)、第3の画像撮影処理が終了される。
以上、本実施の形態によれば、入力された証明写真の複数のサイズに対応する最小サイズの人物枠及び最大サイズの撮影枠をスルー画像とともに表示部13に表示させて、前記人物枠に合せられた人物が撮影されて画像データを取得し、証明写真の複数のサイズに基づいて前記取得された画像データを加工するので、一度の撮影で、証明写真の複数のサイズに対応する証明写真用の画像データを生成できる。
(第4の実施の形態)
図14及び図15を参照して、本発明に係る第4の実施の形態を説明する。図14に、印刷データ生成処理を示す。図15に、印刷データのレイアウト例を示し、(a)にレイアウト81を示し、(b)にレイアウト82を示し、(c)にレイアウト83を示す。
本実施の形態に用いるデジタルカメラ1の装置構成は、第1の実施の形態と同様である。また、制御部32の内部ROMには、第1、第2及び第3の画像撮影プログラムとともに、印刷データ作成プログラムが記憶される。
次に、図12及び図13を参照して、デジタルカメラ1の動作を説明する。図14を参照して、デジタルカメラ1において実行される印刷データ生成処理を説明する。印刷データ生成処理は、第1、第2又は第3の画像撮影処理実行後、撮影された証明写真用の画像データに基づいて複数の画像データがレイアウトされて印刷データが生成される処理である。
デジタルカメラ1において、ユーザによりキー入力部36から印刷データ生成処理の実行指示が入力されたことをトリガとして、制御部32は、内部ROMなどに記憶されている印刷データ生成プログラムを読み出し適宜内部のRAMのワークエリアに展開して、印刷データ生成処理を実行する。
先ず、ユーザにより入力される、印刷希望の証明写真のサイズと、証明写真を印刷する印刷紙のサイズと、サイズごとの証明写真の印刷枚数と、がキー入力部36を介して受け付けられる(ステップS71)。そして、ステップS71において入力された証明写真及び印刷紙のサイズ並びに証明写真の印刷枚数に基づいて、印刷紙に印刷するための印刷データのレイアウトが計算される(ステップS72)。例えば、図15に示すように、印刷紙のサイズが100[mm]×150[mm]に設定され、1つの画像データ811の証明写真サイズが30[mm]×40[mm]に設定される場合を考える。
11枚の画像データ811を配置する場合には、図15(a)に示すレイアウト81が計算される。レイアウト81は、画像データ811を最も多く配置でき、11枚の画像データ811が配置できるレイアウトの1つである。9枚の画像データ811を配置する場合には、図15(b)又は(c)に示すレイアウト82又は83が計算される。レイアウト82は、レイアウト83に比べて切りしろが多い。レイアウト83は、レイアウト82に比べて切りしろが少ない。
レイアウトの計算の仕方は、画像データの単純なマトリックス状の配置の場合(例えば、図15(c)のレイアウト83)、例えば、所望の証明写真の印刷枚数の2つの約数を求め、その2つの約数により縦及び横の配置数を決め、所望の証明写真の印刷枚数に約数がない場合、当該印刷枚数を1ずつカウントアップしていくとともに、上記2つの約数により縦及び横の配置数を決めていき、レイアウトが決まれば、カウントアップした写真データを除くことにより、レイアウトが計算される。
そして、証明写真の印刷データのレイアウトとして、ステップS72において計算されたレイアウトのうち最も好ましいものに決定される(ステップS73)。例えば、図15に示すように、画像データ811を9枚印刷する場合に、レイアウト82,83のうち、切りしろの少ないレイアウト83が決定される。
そして、印刷対象の画像データがフラッシュメモリ38から読み出され、画像データに切りしろ線が付加される(ステップS74)。そして、印刷データのレイアウトに画像データの回転が必要であるか否かが判別される(ステップS75)。画像データの回転が必要である場合(ステップS75;YES)、画像データが適量回転される(ステップS76)。例えば、図15(c)において、画像データ811は、左回転に90°回転されてレイアウトされる。
そして、ステップS73において決定されたレイアウトに基づいて、ステップS74において切りしろ線が付加された画像データと、ステップS75において回転された画像データと、が印刷枚数分コピーされ、そのコピーされた複数の画像データが合併(マージ)されて印刷データが生成される(ステップS77)。画像データの回転が必要でない場合(ステップS75;NO)、ステップS77に移行される。
そして、ステップS76において生成された印刷データがフラッシュメモリ38に記憶され(ステップS78)、印刷データ生成処理が終了される。
デジタルカメラ1は、図示しない接続ケーブルを介して、銀塩写真プリンタ、レーザプリンタ、インクジェットプリンタなどの印刷装置に接続される。そして、印刷データ生成処理において生成された証明写真用の印刷データがデジタルカメラ1から印刷装置に送信される。そして、印刷装置において印刷データが受信され、その印刷データが記録媒体としての印刷紙に印刷される。ユーザは、印刷紙に印刷された証明写真の画像を切り取り線に沿ってはさみなどで切り取る。なお、印刷装置が、切り取り線に沿ってミシン目などの切り込みを自動的に入れる機能を有する構成としてもよい。また、記録媒体はOHPシートなどでもよい。
以上、本実施の形態によれば、入力された証明写真の種類及び印刷枚数に基づいて、印刷紙上に印刷する画像データのレイアウトを計算して、適切なレイアウトに基づいて画像データを加工して印刷データを生成するので、証明写真の種類及び印刷枚数に応じた適切なレイアウトで印刷データを生成できる。
(第4の実施の形態の変形例)
図16を参照して、上記第4の実施の形態の変形例を説明する。図16に、複数サイズの画像データを有する印刷データのレイアウト例を示し、(a)に通常のレイアウト例を示し、(b)に印刷紙の角を利用したレイアウト例を示す。
第4の実施の形態において、例えば、印刷対象の画像データは、証明写真サイズの異なる3種類の画像データ812,813,814であるとする。画像データ812,813,814に対応する印刷枚数が、それぞれ2,4,4であるとすると、図16(a)に示すようなレイアウト84が決定される。
しかし、レイアウト84においては、証明写真サイズの異なる3種の画像データが接しているため、印刷データを印刷紙に印刷した場合に、はさみ、カッターなどで切り取るのが難しくなるおそれがある。そこで、印刷先の印刷紙枠の四隅の角を利用し、1つの角に1種類の画像データが対応するようにレイアウトすれば好ましい。例えば、図16(b)に示すように、印刷紙枠の3つの角にそれぞれ画像データ813,812,814をそれぞれ配置するレイアウト85が決定される。すると、各角で画像データのサイズが揃っているため、印刷後に各画像データの証明写真を切り取ることが容易な印刷データを生成できる。さらに、印刷紙枠の角を利用しているので、切り取り線自体を減らすことができるので、各画像データの証明写真をさらに容易に美しく切り取ることが容易な印刷データを生成できる。
なお、上述した各実施の形態における記述は、本発明に係る好適な画像撮影装置の一例であり、これに限定されるものではない。
また、上記第4の実施の形態及び変形例においては、画像データを撮影後に、新たに印刷データ生成処理が実行される構成であるが、第1〜第3の画像撮影処理に、印刷データ生成処理が組み込まれる処理としてもよい。
また、上記第4の実施の形態及び変形例においては、印刷データ生成処理がデジタルカメラ1において実行される構成であったが、デジタルカメラ1からメモリカード又は接続ケーブルを介して画像データが入力されたPC(Personal Computer)などの外部機器において実行される構成でもよい。
1 デジタルカメラ
2 撮影レンズ
3 セルフタイマランプ
4 光学ファインダ窓
5 ストロボ発光部
6 電源キー
7 シャッタキー
8 モードスイッチ
9 メニューキー
10 十字キー
11 光学ファインダ
12 ストロボチャージランプ
13 表示部
21 モータ(M)
22 レンズ光学系
23 CCD
24 タイミング発生器(TG)
25 垂直ドライバ
26 サンプルホールド回路(S/H)
27 A/D変換器
28 カラープロセス回路
29 DMAコントローラ
30 DRAMインタフェース(I/F)
31 DRAM
32 制御部
33 VRAMコントローラ
34 VRAM
35 デジタルビデオエンコーダ
36 キー入力部
37 JPEG回路
38 フラッシュメモリ

Claims (4)

  1. 被写体を撮影して画像データを取得する画像撮影部を備えた画像撮影装置において、
    人物を収めるべき撮影領域を示す人物枠と、証明写真の横縦比に対応する撮影領域を示す撮影枠をスルー画像上に表示する枠表示部と、
    前記枠表示部により前記人物枠及び前記撮影枠がスルー画像上に表示された状態で前記画像撮影部により撮影された画像を記録する撮影制御部と、
    証明写真の複数の種類の入力を受け付ける入力部と、
    前記入力部により入力された証明写真の複数の種類のうち、最小サイズの証明写真に対応させて前記人物枠のサイズを決定し、最大サイズの証明写真に対応させて前記撮影枠のサイズを決定する枠サイズ決定部と、を備え、
    前記枠表示部は、前記枠サイズ決定部により決定されたサイズで前記人物枠及び前記撮影枠をスルー画像上に表示することを特徴とする画像撮影装置。
  2. 前記入力部は、証明写真の縦と横の比が異なる複数の種類の入力を受け付け、
    前記枠サイズ決定部は、前記入力された証明写真の縦と横の比が異なる複数の種類のうち、最小比率の証明写真に対応させて前記人物枠のサイズを決定し、最大比率の証明写真に対応させて前記撮影枠のサイズを決定することを特徴とする請求項1に記載の画像撮影装置。
  3. 前記撮影制御部は、前記画像撮影部により撮影された画像を、前記複数の種類の証明写真の各々のサイズに合わせて拡大または縮小するとともに、前記複数の種類の証明写真の各々の縦横比に合わせて左右部分をカットしてから記録することを特徴とする請求項2に記載の画像撮影装置。
  4. 被写体を撮影して画像データを取得する画像撮影部を備えた画像撮影装置に搭載されたコンピュータを、
    人物を収めるべき撮影領域を示す人物枠と、証明写真の横縦比に対応する撮影領域を示す撮影枠をスルー画像上に表示する枠表示部と、
    前記枠表示部により前記人物枠及び前記撮影枠がスルー画像上に表示された状態で前記画像撮影部により撮影された画像を記録する撮影制御部と、
    証明写真の複数の種類の入力を受け付ける入力部と、
    前記入力部により入力された証明写真の複数の種類のうち、最小サイズの証明写真に対応させて前記人物枠のサイズを決定し、最大サイズの証明写真に対応させて前記撮影枠のサイズを決定する枠サイズ決定部と、
    して機能させるための画像撮影プログラムであって、
    前記枠表示部は、前記枠サイズ決定部により決定されたサイズで前記人物枠及び前記撮影枠をスルー画像上に表示することを特徴とする画像撮影プログラム。
JP2009127115A 2009-05-27 2009-05-27 画像撮影装置及び画像撮影プログラム Expired - Fee Related JP5018828B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009127115A JP5018828B2 (ja) 2009-05-27 2009-05-27 画像撮影装置及び画像撮影プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009127115A JP5018828B2 (ja) 2009-05-27 2009-05-27 画像撮影装置及び画像撮影プログラム

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
JP2003339333A Division JP2005109788A (ja) 2003-09-30 2003-09-30 画像撮影装置及び画像撮影プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2012079528A Division JP5533918B2 (ja) 2012-03-30 2012-03-30 画像撮影装置及び画像撮影プログラム

Publications (3)

Publication Number Publication Date
JP2009189063A JP2009189063A (ja) 2009-08-20
JP2009189063A5 JP2009189063A5 (ja) 2010-11-11
JP5018828B2 true JP5018828B2 (ja) 2012-09-05

Family

ID=41071759

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009127115A Expired - Fee Related JP5018828B2 (ja) 2009-05-27 2009-05-27 画像撮影装置及び画像撮影プログラム

Country Status (1)

Country Link
JP (1) JP5018828B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108810413B (zh) * 2018-06-15 2020-12-01 Oppo广东移动通信有限公司 图像处理方法和装置、电子设备、计算机可读存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3568974B2 (ja) * 1993-03-31 2004-09-22 株式会社東芝 撮像装置
JPH07143382A (ja) * 1993-11-17 1995-06-02 Fuji Photo Film Co Ltd ビデオカメラのズーム制御方法
JPH10243274A (ja) * 1997-02-25 1998-09-11 Sanyo Electric Co Ltd 画像撮影装置
JP2002027314A (ja) * 2000-07-04 2002-01-25 Canon Inc 撮像装置、撮像装置の制御装置、及び撮像方法

Also Published As

Publication number Publication date
JP2009189063A (ja) 2009-08-20

Similar Documents

Publication Publication Date Title
JP4340358B2 (ja) 画像撮影装置
JP4904108B2 (ja) 撮影装置及び画像表示制御方法
JP2004015286A (ja) ディジタルカメラ
JPH11146312A (ja) 情報処理装置、情報処理装置の制御方法、および、記録媒体
JP2007199311A (ja) 画像表示装置及び撮像装置
JP4696614B2 (ja) 画像表示制御装置及びプログラム
JP2008258981A (ja) 撮像装置及びその制御方法、プログラム
JP2008085671A (ja) 画像表示装置及び画像表示方法
JP2008109221A (ja) 撮像装置
JP4905017B2 (ja) 画像表示装置及びプログラム
JP5018828B2 (ja) 画像撮影装置及び画像撮影プログラム
JP2007142639A (ja) 撮像装置及びそのプログラム
JP5533918B2 (ja) 画像撮影装置及び画像撮影プログラム
JP4374490B2 (ja) 撮影装置
JP3960354B2 (ja) デジタルカメラ
JP4210914B2 (ja) 撮像装置
JP4745165B2 (ja) 画像撮影装置
JP3605341B2 (ja) デジタルカメラ
JP2005109788A (ja) 画像撮影装置及び画像撮影プログラム
JP4461708B2 (ja) デジタルカメラ
JP3641972B2 (ja) デジタルカメラ
JP5003803B2 (ja) 画像出力装置、および、プログラム
JP2006287276A (ja) 撮像装置、及び画質表示方法
JP2005347885A (ja) 撮像装置、撮影範囲調整方法及びプログラム
JP2004064299A (ja) デジタルカメラ

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090528

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20100922

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110531

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120131

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120330

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20120515

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20120528

R150 Certificate of patent or registration of utility model

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20150622

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees