JP5157647B2 - カメラ - Google Patents

カメラ Download PDF

Info

Publication number
JP5157647B2
JP5157647B2 JP2008142009A JP2008142009A JP5157647B2 JP 5157647 B2 JP5157647 B2 JP 5157647B2 JP 2008142009 A JP2008142009 A JP 2008142009A JP 2008142009 A JP2008142009 A JP 2008142009A JP 5157647 B2 JP5157647 B2 JP 5157647B2
Authority
JP
Japan
Prior art keywords
guide
shooting
user
photographing
control device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2008142009A
Other languages
English (en)
Other versions
JP2009290635A (ja
Inventor
裕之 秋谷
靖弘 高田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2008142009A priority Critical patent/JP5157647B2/ja
Publication of JP2009290635A publication Critical patent/JP2009290635A/ja
Application granted granted Critical
Publication of JP5157647B2 publication Critical patent/JP5157647B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Indication In Cameras, And Counting Of Exposures (AREA)
  • Studio Devices (AREA)

Description

本発明は、カメラに関する。
次のようなデジタルカメラが知られている。このデジタルカメラは、スルー画上に補助線を表示するにあたって、スルー画の明るさに応じて補助線の色を変更することによって、補助線の視認性を向上させている(例えば、特許文献1)。
2005−198035号公報
しかしながら、従来のデジタルカメラは、スルー画上に補助線を表示するのみであるため、使用者が被写体に合った構図を決定できるように補助することはできなかった。
本発明によるカメラは、使用者による操作に基づいて撮影時の構図を補助するための撮影ガイドを作成する撮影ガイド作成手段と、撮影ガイド作成手段により作成された撮影ガイドの構図の是非を判定する第1の判定手段と、第1の判定手段が撮影ガイドの構図が好ましくないと判定した場合に、使用者に警告する第1の警告手段と、撮影ガイド作成手段により作成された複数の撮影ガイドを記憶する記憶手段と、被写体像を撮像して画像データを取得する撮像手段と、撮像手段で取得した画像データ内に含まれる被写体を認識する認識手段と、認識した被写体に対応する撮影ガイドを、記憶手段に記憶されている複数の撮影ガイドより選択する選択手段と、選択手段により選択された撮影ガイドを撮像素子から時系列で入力されるスルー画上に重畳して表示する撮影ガイド表示手段とを備えることを特徴とする。
本発明によれば、使用者が被写体に合った構図を決定できるように補助することができる。
図1は、本実施の形態におけるカメラの一実施の形態の構成を示すブロック図である。カメラ100は、操作部材101と、レンズ102と、撮像素子103と、制御装置104と、メモリカードスロット105と、モニタ106と、水準器センサー107とを備えている。操作部材101は、使用者によって操作される種々の入力部材、例えば電源ボタン、レリーズスイッチ、ズームボタン、十字キー、決定ボタン、再生ボタン、削除ボタンなどを含んでいる。
レンズ102は、複数の光学レンズ群から構成されるが、図1では代表して1枚のレンズで表している。撮像素子103は、例えばCCDやCMOSであり、レンズ102により結像した被写体像を撮像して画像を取得する。そして、取得した画像のデータ(画像データ)を制御装置104へ出力する。メモリカードスロット105は、画像を記録する記録媒体としてのメモリカードを挿入するためのスロットであり、メモリカードにデータを書き込んだり、メモリカードからデータを読み込んだりすることができる。
モニタ106は、カメラ100の背面に搭載された液晶モニタ(背面モニタ)であり、後述する制御装置104は、メモリカードから読み込んだ画像を当該モニタ106へ出力して表示(再生)する。また、モニタ106には、カメラ100を設定するための設定メニューなども表示される。このモニタ106にはタッチパネル106aが搭載されており、使用者は、タッチペン等を使用してモニタ106上をタッチすることによってカメラ100を操作することができる。例えば、使用者は、タッチパネル106aをタッチすることによって、モニタ106に表示された種々のメニュー項目を選択したり、モニタ106上で図形を描画したりすることができる。
水準器センサー107は、カメラ100の傾き信号を検出するためのセンサーである。水準器センター107は、その検出信号を制御装置104へ出力し、制御装置104は、水準器センサー107からの出力に基づいて、カメラ100の傾き状態を検出する。
制御装置104は、CPU、メモリやその他の周辺回路により構成される。なお、制御装置104を構成するメモリには、SDRAMやフラッシュメモリが含まれる。SDRAMは、揮発性のメモリであって、CPUがプログラム実行時にプログラムを展開するためのワークメモリとして使用されたり、データを一時的に記録するためのバッファメモリとして使用される。また、フラッシュメモリは、不揮発性のメモリであって、制御装置104が実行するプログラムのデータや、プログラム実行時に読み込まれる種々のパラメータなどが記録されている。
制御装置104は、カメラ100のモードが撮影モードに設定されると、撮像素子103から所定時間間隔で画像を取得してモニタ106に出力することによって、モニタ106に各フレームの画像を所定時間間隔で順番に表示させる。すなわち、制御装置104は、モニタ106上にスルー画を表示する。使用者は、撮影を行う際には、モニタ106に表示されたスルー画を確認しながら構図を決定することができる。なお、本実施の形態におけるカメラ100では、制御装置104は、使用者がモニタ106上でスルー画を確認しながら構図を決定するに当たって、構図の決定をサポート(補助)するための撮影ガイドをモニタ106に表示することができる。
また、使用者は、この撮影ガイドをモニタ106上で描画して作成することができる。例えば、使用者は、モニタ106上でタッチパネル106aをタッチすることによって、あらかじめ用意されているオブジェクトを配置したり、任意にオブジェクトを描画したりして、所望の構図を決定するために使用する撮影ガイドを作成することができる。例えば、使用者は、図2(a)に示すように、画面上の人物を配置したい位置にタッチペンを用いて人物の輪郭線2aを描画することができる。また、使用者は、図2(b)に示すように、タッチペンを操作して、画面上に配置されている顔オブジェクトアイコン2bをタッチすることによって、画面上に人物の顔位置を指定するための顔オブジェクト2cを配置することができる。
この顔オブジェクト2cは、画面上のあらかじめ設定されているデフォルト位置、例えば画面の中央に、所定の大きさで初期表示され、使用者は、タッチペンを操作してこの顔オブジェクトの大きさを変更したり、顔オブジェクトの配置位置を変更することができる。例えば、図2(c)に示すように、使用者は、タッチペンで顔オブジェクトの枠上をタッチし、その状態でタッチペンを顔オブジェクトの内側方向に移動させることによって、顔オブジェクトの大きさを縮小することができる。これに対して、使用者は、タッチペンで顔オブジェクトの枠上をタッチし、その状態でタッチペンを顔オブジェクトの外側方向に移動させることによって、顔オブジェクトの大きさを拡大することもできる。なお、図2(c)に示す例では、使用者は、顔オブジェクト2cを縮小して新たに顔オブジェクト2dを設定している。
また、使用者は、タッチペンで顔オブジェクトの枠内をタッチし、その状態でタッチペンを任意の方向に移動させることによって、顔オブジェクトの配置位置を移動させることができる。例えば、図2(d)に示すように、使用者は、上記操作を行うことによって、顔オブジェクトの配置位置を、あらかじめ描画した人物の輪郭線2a内の顔に相当する位置に移動させて、画面上に顔オブジェクト2eを配置することができる。これによって、使用者は、図2(e)に示す撮影ガイドを作成することができる。
制御装置104は、使用者によって操作部材101が操作されて、カメラ100のモードが撮影ガイドを作成するためのモード、例えば撮影ガイド作成モードに設定されると、使用者による上記撮影ガイド作成操作を受け付ける。そして、制御装置104は、タッチパネル107aの操作信号を検出して、使用者の操作に基づく撮影ガイドを生成する。
制御装置104は、使用者によって撮影ガイドが作成されると、作成された撮影ガイドの構図の是非を判定する。すなわち制御装置104は、作成された撮影ガイドが一般的に好ましくないとされている構図に該当するか否かを判定する。本実施の形態では、制御装置104は、使用者が作成した構図が、図3(a)に示すように人物の顔が画面中央に位置している場合や、図3(b)に示すように2人の人物の顔の位置が離れ過ぎている場合に、その構図は好ましくない構図であると判定する。
具体的には、制御装置104は、顔オブジェクトの位置が画面中央から所定の範囲内にあるときに、顔が画面中央に位置していると判定する。また、制御装置104は、隣り合って配置された顔オブジェクトが、顔オブジェクト2個分以上離れて配置されている場合に、2人の人物の顔の位置が離れ過ぎていると判定する。
制御装置104は、使用者が作成した構図が好ましくない構図であると判定した場合には、図3(a)または図3(b)に示すように、モニタ106上に警告マーク3aを表示する。これによって、使用者は、自身が作成した撮影ガイドは、一般的に好ましくないとされている構図に該当することを知ることができる。この場合、使用者は、撮影ガイドを作成し直すことができ、あるいはそのままの状態で撮影ガイドの作成を完了することもできる。制御装置104は、使用者による撮影ガイドの作成が完了すると、作成された撮影ガイドを画像データとして制御装置104が備えるフラッシュメモリに記録する。
制御装置104は、撮影ガイドをフラッシュメモリに記録する際に、撮影ガイドをその特徴に基づいて分類する。本実施の形態では、例えば、図4に示すように、撮影ガイドの向き、撮影ガイド内に含まれる顔オブジェクトの数、および撮影ガイド内における顔オブジェクトの大きさに基づいて分類する。
本実施の形態における撮影ガイドの分類例について、図4を用いて説明する。制御装置104は、撮影ガイドの向きに応じて横4aと縦4bとに分類する。さらに制御装置104は、横4aに分類される撮影ガイド、および縦4bに分類される撮影ガイドを一人用4c、二人用4dのように、撮影ガイド内に含まれる顔オブジェクトの数、すなわち撮影ガイド内に含まれる人物の数に基づいて分類する。
また、制御装置104は、一人用4c、二人用4dのそれぞれに分類された撮影ガイドを、さらに撮影ガイド内における顔オブジェクトの大きさに基づいて分類する。すなわち、制御装置104は、撮影ガイド内に配置されている顔オブジェクトの大きさに基づいて各撮影ガイドをアップ4e、バストショット4f、ウェストショット4g、および全身4hのいずれかに分類する。例えば、制御装置104は、画面の高さ方向のサイズ(画面の高さ)と顔オブジェクトの縦方向のサイズ(顔オブジェクトの高さ)とを比較し、顔オブジェクトの高さが画面の高さに対して80%以上である場合には、その撮影ガイドをアップ4eに分類する。
また、制御装置104は、顔オブジェクトの高さが画面の高さに対して50%以上80%未満である場合には、その撮影ガイドをバストショット4fに分類する。また、制御装置104は、顔オブジェクトの高さが画面の高さに対して20%以上50%未満である場合には、その撮影ガイドをウェストショット4gに分類する。また、制御装置104は、顔オブジェクトの高さが画面の高さに対して20%未満である場合には、その撮影ガイドを全身4hに分類する。
撮影ガイドの分類の方法としては、例えば、フラッシュメモリ内にアップ4e用のフォルダ、バストショット4f用のフォルダ、ウェストショット4g用のフォルダ、および全身4h用のフォルダをそれぞれ作成しておき、制御装置104は、分類結果に応じたフォルダに撮影ガイドの画像データを記録する。なお、この撮影ガイドの分類(グループ化)は、制御装置104が自動で行うとともに、使用者が手動で行えるようにしてもよい。
また、本実施の形態では、同じフォルダ内(グループ内)に複数の撮影ガイドが記録された場合には、使用者は、同一グループ内の各撮影ガイドに対して、撮影時に優先的に表示する撮影ガイドを指定するための優先順位を設定することができる。例えば、アップ4e用のフォルダ内に2つの撮影ガイドが記録されている場合には、使用者は、いずれか一方の撮影ガイドの優先順位を高く設定し、他方の優先順位を低く設定することができ、撮影時には、制御装置104は、優先順位が高い方の撮影ガイドを優先的に表示する。なお、撮影時における撮影ガイドの表示方法については後述する。
制御装置104は、上述したように、カメラ100のモードが撮影モードに設定されることにより、モニタ106にスルー画を表示した場合には、各コマ内の被写体を認識して、認識結果に合った撮影ガイドをスルー画に重畳して表示する。なお、制御装置104は、上述した処理で使用者によって作成された撮影ガイドの他にも、使用者が使用者の構図決定をサポートするための撮影ガイドも併せて表示する。以下、制御装置104による撮影ガイドの表示処理について説明する。
制御装置104は、スルー画の各コマを対象として画像の解析を行って、被写体の中から一定の長さを持つ直線を認識する。例えば、制御装置104は、公知の手法により画像内からエッジを抽出し、抽出したエッジが特定のビット幅に収まる直線を構成するときに、そのエッジを直線として認識する。制御装置104は、スルー画の各コマで認識した直線の位置が、一定時間以上、一定の範囲内に存在する場合には、その範囲内に直線が存在していることを検出する。
そして、制御装置104は、モニタ106上に、検出した直線の中心と交わり、かつ画像内で水平方向に延在する直線(水平線)を撮影ガイドとして表示する。例えば、制御装置104は、図5(a)に示す画像内の地平線を直線として検出した場合には、図5(b)に示すように、モニタ106上に地平線の中心と交わり、かつ水平方向に延在する直線(水平線)5aを撮影ガイドとして表示する。制御装置104は、スルー画の各コマに対して上記処理を行って、画像内から検出した直線に対する水平線5aを表示することにより、使用者がカメラ100を上下方向に動かした場合など、画像内における直線の検出位置が変化した場合でも、その変化に追随して水平線5aを移動させることができる。
使用者は、このようにモニタ106上に表示された水平線5aの表示位置を変更することができる。例えば、図6(a)に示すように、使用者は水平線5a上の任意の点を指(またはタッチペン)でタッチして、その状態で指を移動させることによって、その移動方向に水平線5aを移動させることができる。すなわち、制御装置104は、タッチパネル106aからの出力信号を検出して、使用者による操作に応じて水平線5aを移動させる。また、図6(c)に示すように、使用者は、水平線5aを回転させて垂直線6bに変更できるようにしてもよい。
制御装置104は、画像内から複数の直線を検出した場合には、検出した複数の直線のうち、その長さが最も長い直線に対応する水平線をモニタ106上に初期表示する。この場合、使用者は、モニタ106上で画像内に含まれる直線をタッチすることによって、撮影ガイドとして表示する水平線の変更を指示することができる。すなわち、制御装置104は、最も長い直線に対応する水平線をモニタ106上に初期表示している状態で、使用者によってモニタ106上のいずれかの点がタッチされたことを検出したときは、その位置またはその位置の近傍に上述した処理で検出した直線がある場合には、その直線に対応する水平線に表示を切り替える。
制御装置104はまた、モニタ106へのスルー画の表示を開始すると、スルー画の各コマを対象として公知の顔認識処理を実行し、画像内に含まれている人物の顔を検出する。制御装置104は、画像内から人物の顔を検出した場合には、スルー画上に検出した顔を包含する枠を重畳して表示する。さらに、制御装置104は、人物の顔の認識結果に基づいて、上述したように使用者によって作成された撮影ガイドの中から最適なものを選択して、スルー画上に重畳して表示する。
本実施の形態では、制御装置104は、例えば以下(A)から(E)の基準により最適な撮影ガイドを選択する。なお、本実施の形態では、制御装置104は、以下に説明する(A)から(E)の選択基準を組み合わせて撮影ガイドを選択するものとする。すなわち、制御装置104は、以下に示す(A)の選択基準に基づいて撮影ガイドの絞り込みを行った後、絞り込み後の撮影ガイドを対象として、以下に示す(B)の選択基準に基づいて、さらなる絞り込みを行うものとする。
(A)カメラ100の向き
制御装置104は、水準器センサー107からの出力にカメラ100の向きが縦か横かを判定し、判定結果に基づいて撮影ガイドを選択する。すなわち、制御装置104は、カメラ100の向きが横である場合には、撮影ガイドの選択候補を図4に示した横4aに分類されている撮影ガイドに絞り込む。これに対して、制御装置104は、カメラ100の向きが縦である場合には、撮影ガイドの選択候補を図4に示した縦4bに分類されている撮影ガイドに絞り込む。
(B)画像内に含まれる顔の数
制御装置104は、上述した顔認識処理によって認識した画像内に含まれる人物の顔の数に基づいて撮影ガイドを選択する。すなわち、制御装置104は、人物の顔の数が1つである場合には、撮影ガイドの選択候補を図4に示した一人用4cに分類されている撮影ガイドに絞り込む。これに対して、制御装置104は、人物の顔の数が2つである場合には、撮影ガイドの選択候補を図4に示した二人用4dに分類されている撮影ガイドに絞り込む。
(C)画像内に含まれる顔の大きさ
制御装置104は、上述した顔認識処理によって認識した画像内に含まれる人物の顔の大きさに基づいて撮影ガイドを選択する。すなわち、制御装置104は、画像の高さ方向のサイズ(画像の高さ)と画像内における人物の顔の縦方向のサイズ(顔の高さ)とを比較し、顔の高さが画像の高さに対して80%以上である場合には、撮影ガイドの選択候補を図4に示したアップ4eに分類されている撮影ガイドに絞り込む。
また、制御装置104は、顔の高さが画像の高さに対して50%以上80%未満である場合には、撮影ガイドの選択候補を図4に示したバストショット4fに分類されている撮影ガイドに絞り込む。また、制御装置104は、顔の高さが画像の高さに対して20%以上50%未満である場合には、撮影ガイドの選択候補を図4に示したウェストショット4gに分類されている撮影ガイドに絞り込む。また、制御装置104は、顔の高さが画像の高さに対して20%未満である場合には、撮影ガイドの選択候補を図4に示した全身4hに分類されている撮影ガイドに絞り込む。
(D)撮影ガイドの優先順位
制御装置104は、上記(A)から(C)の選択基準により絞り込みを行った結果、撮影ガイドの選択候補が複数ある場合には、その中から上述した優先順位が最も高い撮影ガイドを第一候補の撮影ガイドとして選択する。また、優先順位が2番目に高い撮影ガイドを第二候補の撮影ガイドとし、優先順位が3番目に高い撮影ガイドを第三候補の撮影ガイドとする。
(E)画像内における人物の顔の位置
制御装置104は、上記(A)から(C)の選択基準により絞り込みを行った結果、撮影ガイドの選択候補が複数ある場合、それらの撮影ガイドに優先順位が設定されていない場合には、複数の選択候補の中から、画像内で認識した人物の顔の位置と最も近い位置に顔オブジェクトが配置されている撮影ガイドを第一の撮影ガイドとして選択する。また、顔オブジェクトの位置が人物の顔の位置と2番目に高い位置に配置されている撮影ガイドを第二候補の撮影ガイドとし、顔オブジェクトの位置が人物の顔の位置と3番目に高い位置に配置されている撮影ガイドを第三候補の撮影ガイドとする。
なお、制御装置104は、上記(A)から(C)の選択基準を全て加味して撮影ガイドを絞り込むようにしてもよく、いずれかの選択基準を単独で用いて撮影ガイドを絞り込むようにしてもよく、いずれかの選択基準を複数組み合わせて撮影ガイドを絞り込むようにしてもよい。また、上記選択基準は、カメラ100の仕様として固定されていてもよく、使用者が任意にカスタマイズできるようにしてもよい。
制御装置104は、上述した選択基準により選択した撮影ガイドをスルー画上に重畳して表示する。これによって、制御装置104は、使用者によってあらかじめ作成されていた撮影ガイドの中から、現在の撮影シーンに合った撮影ガイドを自動的に選択して、使用者に提示することができる。また、使用者は、あらかじめ作成しておいた撮影ガイドに合わせて好みの構図で撮影を行うことができる。
このとき、制御装置104は、上述したように、(A)から(C)の選択基準により絞り込みを行った結果、撮影ガイドの選択候補が複数ある場合には、第一候補の撮影ガイドをスルー画上に重畳して初期表示する。そして、制御装置104は、このように撮影ガイドの選択候補が複数ある場合には、使用者にその旨を知らせるための表示を行う。
例えば、制御装置104は、現在表示中の撮影ガイドよりも下位の候補の撮影ガイドが存在することを通知するために、図7(a)に示すように、モニタ106の右端中央部に三角マーク7aを表示する。また、制御装置104は、この三角マーク7aに使用者がスルー画上に重畳表示する撮影ガイドを現在表示中の撮影ガイドよりも下位の候補の撮影ガイドに切り替えるための操作ボタンとしての機能を割り当てておく。
そして、制御装置104は、タッチパネル106aからの出力に基づいて、使用者が三角マーク7aをタッチしたことを検出した場合には、スルー画上に重畳表示する撮影ガイドを、現在表示中の撮影ガイドよりも下位の候補の撮影ガイドに変更する。例えば、制御装置104は、スルー画上に第一候補の撮影ガイドを重畳表示しているときに、タッチパネル106aからの出力に基づいて使用者が三角マーク7aをタッチしたことを検出した場合には、図7(b)に示すように、スルー画上に重畳表示する撮影ガイドを第二候補の撮影ガイドに変更する。
そして、制御装置104は、この図7(b)に示すように、モニタ106の左端中央部に、現在表示中の撮影ガイドよりも上位の候補の撮影ガイド(第一候補の撮影ガイド)が存在することを通知するために三角マーク7bを表示する。そして、制御装置104は、この三角マーク7bに使用者がスルー画上に重畳表示する撮影ガイドを現在表示中の撮影ガイドよりも上位の候補の撮影ガイド、すなわち第一候補の撮影ガイドに切り替えるための操作ボタンとしての機能を割り当てる。
このようにスルー画上に重畳表示する撮影ガイドを第二候補の撮影ガイドに切り替えた場合に、さらに下位の候補の撮影ガイド、すなわち第三候補の撮影ガイドがある場合には、制御装置104は、図7(b)に示すように、モニタ106の右端中央部に三角マーク7aを表示し、この三角マーク7aに使用者がスルー画上に重畳表示する撮影ガイドを現在表示中の撮影ガイドよりも下位の候補の撮影ガイド、すなわち第三の撮影ガイドに切り替えるための操作ボタンとしての機能を割り当てる。
そして、制御装置104は、タッチパネル106aからの出力に基づいて、使用者が三角マーク7aまたは7bにタッチしたことを検出した場合には、スルー画上に重畳表示する撮影ガイドをその操作内容に応じたものに切り替える。
制御装置104は、スルー画上に撮影ガイドを重畳表示している場合、その撮影ガイドに顔オブジェクトが含まれている場合には、上述した顔認識処理によって認識した人物の顔が、撮影ガイド内の顔オブジェクト内に収まったときに、顔オブジェクトの枠の色を変更して、使用者に撮影を促す。あるいは、制御装置104は、撮影ガイド内の顔オブジェクト内に収まったときには、自動的に撮影を行うようにしてもよい。これによって、使用者が意図した構図で撮影を行えるようにサポートすることができる。
また、使用者は、ズーム撮影時における撮影ガイドの表示方法をモード設定により決定することができる。本実施の形態では、使用者は、表示ガイド倍率変更モード、表示ガイド種別変更モード、および自動ズームモードの3つのモードの中から1つを選択して設定することができる。以下、各モードに設定されたときの動作について説明する。
使用者によって表示ガイド倍率変更モードが設定された場合には、制御装置104は、使用者によるズーム操作によって撮影倍率が変更されたときに、そのズーム倍率の変更に伴って、スルー画に重畳表示している撮影ガイドを拡大または縮小する。これによって撮影倍率に応じた拡大率(縮小率)で撮影ガイドを表示することが可能となる。
使用者によって表示ガイド種別変更モードが設定された場合には、制御装置104は、使用者によるズーム操作によって撮影倍率が変更されることにより、人物の顔の大きさが変化したときに、上述した選択基準(C)に基づいて、現在の人物の顔の大きさに応じた撮影ガイドを改めて選択する。すなわち、ズーム倍率変更前の顔の高さが画像の高さに対して20%以上50%未満であったために、ウェストショット4gに分類されている撮影ガイドが表示されていたとする。
この場合、制御装置104は、使用者によるズーム操作により画像内に占める人物の顔の大きさが拡大された結果、顔の高さが画像の高さに対して50%以上80%未満となった場合には、バストショット4fに分類されている撮影ガイドに再度絞り込みを行って、上記(D)または(E)の選択基準を適用して、スルー画に重畳表示する撮影ガイドを変更する。これによって、ズーム操作後の人物の顔の大きさに基づいて、表示する撮影ガイドを変更することができる。
使用者によって自動ズームモードが設定された場合には、制御装置104は、現在表示している撮影ガイド内に配置されている顔オブジェクト内に画像内の人物の顔が収まるように自動的にズーム倍率を変更する。このとき、制御装置104は、顔オブジェクトの枠と、顔認識処理により認識した顔を含む枠との大きさが一致するように、自動的にズーム倍率を変更する。これによって、画像内における人物の顔の大きさが、使用者が撮影ガイドの作成檀家で意図していた顔の大きさと一致するように、自動的にズーム倍率を変更することができる。
使用者は、上記した処理によってスルー画上に撮影ガイド(水平線および使用者によって作成された撮影ガイド)が重畳表示されると、撮影ガイドに合わせて構図を決定して撮影を行う。本実施の形態では、制御装置104は、使用者が撮影ガイドに合わせて構図を決定した段階で、その構図の是非を判定し、その構図が一般的に好ましくないと言われている構図である場合には、モニタ106上に警告を表示して使用者に通知する。例えば、制御装置104は、図8に示すように、スルー画上に警告マーク8aを表示することによって、使用者に通知する。具体的には、制御装置104は、以下の(a)から(d)のいずれかの構図に該当するときに使用者に対して警告する。
(a)顔認識処理によって認識した人物の顔が画面中央に位置しているとき
このような構図で撮影された画像は、一般的に「日の丸写真」と呼ばれ、悪い構図とされている。よって、制御装置104は、日の丸写真の撮影を抑制するために、顔認識処理によって認識した人物の顔が図3(a)に示したように画面中央に位置しているときには悪い構図であると判定し、警告マーク8aを表示して使用者に対して警告を行う。
(b)顔認識処理によって認識した人物の顔の下部に水平線が位置しているとき
このような構図で撮影された画像は、一般的に「首切り写真」と呼ばれ、悪い構図とされている。よって、制御装置104は、首切り写真の撮影を抑制するために、図8(a)に示すように、顔認識処理によって認識した人物の顔8bの下部に上述した処理で表示した水平線5aが位置している場合には悪い構図であると判定し、警告マーク8aを表示して使用者に対して警告を行う。
(c)顔認識処理によって認識した人物の顔に直線が刺さっているとき
このような構図で撮影された画像は、一般的に「角出し写真」または「串刺し写真」と呼ばれ、悪い構図とされている。よって、制御装置104は、角出し(串刺し)写真の撮影を抑制するために、図8(b)に示すように、顔認識処理によって認識した人物の顔8bに、上述した水平線5aを表示する際に検出した直線8cが刺さっている場合には、悪い構図であると判定し、警告マーク8aを表示して使用者に対して警告を行う。
(d)画像を2分割する位置に水平線または垂直線が位置しているとき
このように画像を2分割する位置に水平線または垂直線が位置している場合も一般的に悪い構図であるとされている。よって、制御装置104は、このような写真の撮影を抑制するために、図8(c)に示すように、画像を2分割する位置に水平線5aが表示されている場合には悪い構図であると判定し、警告マーク8aを表示して使用者に対して警告を行う。
使用者は、警告マーク8aが表示された場合には、現在の構図が悪い構図であることを把握することができるため、構図を変更して撮影を行うことで、悪い構図の写真を撮影してしまうことを防ぐことができる。なお、使用者は、警告を無視して悪い構図のまま撮影を行うことも可能である。
図9は、本実施の形態における撮影ガイド作成処理を示すフローチャートである。図9に示す処理は、使用者によってカメラ100のモードが撮影ガイド作成モードに設定されると起動するプログラムとして制御装置104によって実行される。
ステップS10において、制御装置104は、使用者によってタッチパネル106aが操作されたか否かを判断する。否定判断した場合には、後述するステップS120へ進む。これに対して、肯定判断した場合には、ステップS20へ進む。ステップS20では、制御装置104は、使用者によるタッチパネル操作に基づいてオブジェクト、例えば図2(e)に示した人物の輪郭線2aや顔オブジェクト2cを描画する。その後、ステップS30へ進む。
ステップS30では、制御装置104は、使用者によって既に描画または配置済みのオブジェクトの大きさや配置位置が変更されたか、すなわちオブジェクトが修正されたか否かを判断する。否定判断した場合には、後述するステップS50へ進む。これに対して、肯定判断した場合には、ステップS40へ進み、制御装置104は、使用者によるタッチパネル操作に基づいて、オブジェクトを修正して、ステップS50へ進む。
ステップS50では、制御装置104は、使用者による撮影ガイドの描画が終了したか否かを判断する。例えば、制御装置104は、使用者によるメニュー操作により撮影ガイドの描画終了が指示されたときに、使用者による撮影ガイドの描画が終了したと判定する。否定判断した場合には、ステップS10へ戻って処理を繰り返す。これに対して、肯定判断した場合には、ステップS60へ進む。
ステップS60では、制御装置104は、図3で上述したように、使用者によって作成された撮影ガイドの構図の是非を判定する。その後、ステップS70へ進み、制御装置104は、ステップS60で悪い構図と判定したか否かを判断する。否定判断した場合には、後述するステップS90へ進む。これに対して、肯定判断した場合には、ステップS80へ進む。ステップS80では、制御装置104は、図3に示したように、モニタ106上に警告マーク3aを表示して、ステップS90へ進む。
ステップS90では、制御装置104は、図4で上述したように、使用者によって作成された撮影ガイドを分類してフラッシュメモリに記録する。その後、ステップS100へ進み、制御装置104は、使用者によって、各グループに分類された撮影ガイドに対して優先順位が設定されたか否かを判断する。否定判断した場合には、後述するステップS120へ進む。これに対して、肯定判断した場合には、ステップS110へ進む。
ステップS110では、制御装置104は、使用者による設定内容に基づいて、撮影ガイドに対して優先順位を設定して、ステップS120へ進む。ステップS120では、制御装置104は、使用者によって撮影ガイド作成モードの終了が指示されたか否かを判断する。否定判断した場合には、ステップS10へ戻って処理を繰り返す。これに対して、肯定判断した場合には、処理を終了する。
図10は、本実施の形態における撮影処理を示すフローチャートである。図10に示す処理は、使用者によってカメラ100のモードが撮影モードに設定されると起動するプログラムとして制御装置104によって実行される。
ステップS210において、制御装置104は、撮像素子103から時系列で入力される画像データをモニタ106に出力して、スルー画の表示を開始する。その後、ステップS220へ進み、制御装置104は、上述したように、画像内に含まれる直線を検出して、ステップS230へ進む。ステップS230では、制御装置104は、ステップS220で直線を検出したか否かを判断する。否定判断した場合には、後述するステップS250へ進む。これに対して、肯定判断した場合には、ステップS240へ進む。
ステップS240では、制御装置104は、図5に示したように、モニタ106上に、検出した直線の中心と交わり、かつ画像内で水平方向に延在する直線(水平線)を撮影ガイドとして表示する。その後、ステップS250へ進み、制御装置104は、使用者によって作成されてフラッシュメモリに記録されている撮影ガイドの中から、上述した(A)から(E)の選択基準に基づいて、モニタ106上に表示する撮影ガイドを選択する。その後、ステップS260へ進み、制御装置104は、選択した撮影ガイドをスルー画上に重畳して表示する。なお、上述したように、このときに選択候補の撮影ガイドが複数ある場合には、制御装置104は、第一候補の撮影ガイドを初期表示する。
その後、ステップS270へ進み、制御装置104は、使用者によって図7に示した三角マーク7aまたは7bがタッチされることによって、表示する撮影ガイドの切り替えが指示されたか否かを判断する。否定判断した場合には、後述するステップS290へ進む。これに対して、肯定判断した場合には、ステップS280へ進む。ステップS280では、制御装置104は、使用者による指示に基づいて表示する撮影ガイドを切り替えて、ステップS290へ進む。
ステップS290では、制御装置104は、使用者によって操作部材101に含まれるズームボタンが操作されることにより、ズーム操作があったか否かを判断する。否定判断した場合には、ステップS310へ進む。これに対して、肯定判断した場合には、ステップS300へ進む。ステップS300では、制御装置104は、上述したズーム撮影時における撮影ガイドの表示方法を決定するためのモードとして、表示ガイド倍率変更モード、表示ガイド種別変更モード、および自動ズームモードのいずれが設定されているかを判定し、設定されているモードに応じた処理を実行する。その後、ステップS310へ進む。
ステップS310では、制御装置104は、現在の構図が上述した(a)から(d)のいずれかに該当するか否かの判定を行う。その後、ステップS320へ進み、制御装置104は、ステップS310での判定結果に基づいて、現在の構図が悪い構図に該当するか否かを判断する。否定判断した倍兄は、後述するステップS340へ進む。これに対して。肯定判断した場合には、ステップS330へ進み、ステップS330では、制御装置104は、図8に示したように、スルー画上に警告マーク8aを表示して使用者に対して警告を行う。その後、ステップS340へ進む。
ステップS340では、制御装置104は、使用者によって操作部材101に含まれるレリーズボタンが操作されることにより、撮影指示があったか否かを判断する。否定判断した場合には、後述するステップS360へ進む。これに対して、肯定判断した場合には、ステップS350へ進む。ステップS350では、制御装置104は、撮影処理を実行して、ステップS360へ進む。
ステップS360では、制御装置104は、使用者によって撮影モードの終了が指示されたか否かを判断する。否定判断した場合には、ステップS220へ戻って処理を繰り返す。これに対して、肯定判断した場合には、処理を終了する。
以上説明した本実施の形態によれば、以下のような作用効果を得ることができる。
(1)制御装置104は、撮像素子103から入力される画像データに基づいて被写体を認識し、被写体の認識結果に応じて、撮影時の構図の決定を補助するための撮影ガイドを表示するようにした。これによって使用者が被写体に合った構図を決定できるように補助することができる。
(2)制御装置104は、使用者によるタッチパネル操作に基づいて撮影ガイドを作成し、作成した撮影ガイドの構図の是非を判定し、撮影ガイドの構図が好ましくないと判定した場合に、使用者に警告するようにした。これによって、使用者は、作成した撮影ガイドの構図が好ましくないことを把握することができる。
(3)制御装置104は、作成した撮影ガイドをスルー画上に重畳して表示し、スルー画を表示したことにより使用者によって決定された構図の是非を判定し、使用者によって決定された構図が好ましくないと判定した場合に、使用者に警告するようにした。これによって、使用者は、決定した構図が好ましくないことを把握することができる。
(4)制御装置104は、作成した撮影ガイドを撮影ガイドの特徴に基づいて分類するようにした。そして、分類した結果、同一のグループに複数の撮影ガイドが含まれる場合には、それぞれの撮影ガイドに対して優先順位を設定するようにした。そして、被写体の認識結果に基づいて、スルー画上にどのグループに属する撮影ガイドを表示するかを決定し、決定したグループ内に複数の撮影ガイドが含まれている場合には、優先順位が最も高い撮影ガイドをスルー画上に初期表示するようにした。これによって、現在の撮影シーンに最も適した撮影ガイドを表示することができる。
(5)制御装置104は、使用者による三角マーク7aまたは7bの操作に基づいて、同一グループ間でスルー画上に表示する撮影ガイドを切り替えるようにした。これによって、使用者は好みの撮影ガイドを選択して、撮影を行うことができる。
(6)制御装置104は、使用者によって撮影倍率が変更された場合には、その撮影倍率の変更に伴って、スルー画上に重畳表示している撮影ガイドを拡大または縮小するようにした。これによって、現在の撮影倍率に応じた表示倍率絵で撮影ガイドを表示することが可能となる。
―変形例―
なお、上述した実施の形態のカメラは、以下のように変形することもできる。
(1)上述した実施の形態では、制御装置104は、画像内から直線を検出した後、検出した直線の中心と交わり、かつ画像内で水平方向に延在する直線(水平線)を撮影ガイドとして表示する例について説明した。しかしながら、制御装置104は、検出した直線の中心と交わり、かつ画像内で垂直方向に延在する直線(垂直線)を撮影ガイドとして表示するようにしてもよい。また、制御装置104は、水平線と垂直線の両方を表示するようにしてもよい。
(2)また、制御装置104は、水準器センサー107からの出力に基づいてカメラ100の傾きを検出し、例えば、図11に示すように、その検出結果に基づいて水平線11aを表示するようにしてもよい。
(3)上述した実施の形態では、現在の構図が上述した(a)から(d)のいずれかの構図に該当するときに警告マーク8aを表示して使用者に対して警告を行う例について説明した。しかしながら、制御装置104は、自動的に選択した撮影ガイドを表示した段階で、仮にその撮影ガイドに合わせて撮影を行った場合に、その構図が上述した(a)から(d)のいずれかの構図に該当するときには、警告マーク8aを表示して使用者に対して警告を行うとともに、(a)から(d)のいずれにも該当しないような撮影ガイドを再選択して表示するようにしてもよい。
例えば、図12(a)に示すように撮影ガイドをスルー画に重畳表示したとき、使用者が撮影ガイドに合わせて撮影を行った場合には、図12(b)に示すように被写体の頭部に直線12aが突き刺さった状態で撮影がされてしまう。すなわち、角出し(串刺し)写真が撮影されてしまう。よって、制御装置104は、モニタ106上に警告マーク12bを表示して使用者に対して警告を行うとともに、図12(c)に示すように、好ましくない構図にならないような撮影ガイドを再選択してスルー画上に重畳表示する。これによって、使用者が撮影ガイドに合わせて撮影を行った結果、好ましくない構図の写真が撮影されてしまうことを防ぐことができる。
なお、本発明の特徴的な機能を損なわない限り、本発明は、上述した実施の形態における構成に何ら限定されない。また、上述の実施の形態と複数の変形例を組み合わせた構成としてもよい。
カメラの一実施の形態の構成を示すブロック図である。 タッチペンを用いた撮影ガイドの作成例を示す図である。 好ましくない構図の具体例を示す図である。 撮影ガイドの分類例を示す図である。 撮影ガイドとして水平線を表示した場合の具体例を示す図である。 水平線位置の変更例を示す図である。 撮影ガイドの選択候補が複数ある場合の切り替え例を示す図である。 構図が好ましくない場合の警告の表示例を示す図である。 撮影ガイド作成処理を示すフローチャート図である。 撮影処理を示すフローチャート図である。 水準器センサーによる検出結果に基づいて水平線を表示した場合の具体例を示す図である。 構図が好ましくない場合の撮影ガイドの再選択例を示す図である。
符号の説明
100 カメラ、101 操作部材、102 レンズ、103 撮像素子、104 制御装置、105 メモリカードスロット、106 モニタ、106a タッチパネル、107 水準器センサー

Claims (9)

  1. 使用者による操作に基づいて撮影時の構図を補助するための撮影ガイドを作成する撮影ガイド作成手段と、
    前記撮影ガイド作成手段により作成された前記撮影ガイドの構図の是非を判定する第1の判定手段と、
    前記第1の判定手段が前記撮影ガイドの構図が好ましくないと判定した場合に、使用者に警告する第1の警告手段と、
    前記撮影ガイド作成手段により作成された複数の前記撮影ガイドを記憶する記憶手段と、
    被写体像を撮像して画像データを取得する撮像手段と、
    前記撮像手段で取得した画像データ内に含まれる被写体を認識する認識手段と、
    前記認識した被写体に対応する撮影ガイドを、前記記憶手段に記憶されている前記複数の撮影ガイドより選択する選択手段と、
    前記選択手段により選択された撮影ガイドを前記撮像素子から時系列で入力されるスルー画上に重畳して表示する撮影ガイド表示手段とを備えることを特徴とするカメラ。
  2. 請求項1に記載のカメラにおいて、
    前記認識手段は、前記画像データ内に含まれる人物の顔を認識し、
    前記選択手段は、前記認識した人物の顔の数と同じ数の顔を有する前記撮影ガイドを、前記記憶手段に記憶されている前記複数の撮影ガイドより選択することを特徴とするカメラ。
  3. 請求項1に記載のカメラにおいて、
    前記認識手段は、前記画像データ内に含まれる人物の顔の大きさを認識し、
    前記選択手段は、前記認識した顔の大きさに対応する顔の大きさを有する撮影ガイドを、前記記憶手段に記憶されている前記複数の撮影ガイドより選択することを特徴とするカメラ。
  4. 請求項1〜3のいずれか一項に記載のカメラにおいて、
    前記撮影ガイド表示手段が前記スルー画上に前記撮影ガイドを表示したことにより使用者によって決定された構図の是非を判定する第2の判定手段と、
    前記第2の判定手段が前記使用者によって決定された構図が好ましくないと判定した場合に、使用者に警告する第2の警告手段とをさらに備えることを特徴とするカメラ。
  5. 請求項に記載のカメラにおいて、
    前記撮影ガイド作成手段が作成した前記撮影ガイドを前記撮影ガイドの特徴に基づいて分類する分類手段をさらに備えることを特徴とするカメラ。
  6. 請求項に記載のカメラにおいて、
    前記分類手段が前記撮影ガイドを分類した結果、同一のグループに複数の前記撮影ガイドが含まれる場合には、それぞれの撮影ガイドに対して優先順位を設定する優先順位設定手段をさらに備えることを特徴とするカメラ。
  7. 請求項に記載のカメラにおいて、
    前記撮影ガイド表示手段は、前記被写体の認識結果に基づいて、前記スルー画上にどのグループに属する撮影ガイドを表示するかを決定し、決定したグループ内に複数の撮影ガイドが含まれている場合には、前記優先順位が最も高い撮影ガイドを前記スルー画上に初期表示することを特徴とするカメラ。
  8. 請求項に記載のカメラにおいて、
    前記撮影ガイド表示手段は、使用者による指示に基づいて、同一グループ間で前記スルー画上に表示する前記撮影ガイドを切り替えることを特徴とするカメラ。
  9. 請求項1〜8のいずれか一項に記載のカメラにおいて、
    前記撮影ガイド表示手段は、使用者によって撮影倍率が変更された場合には、その撮影倍率の変更に伴って、スルー画上に重畳表示している前記撮影ガイドを拡大または縮小することを特徴とするカメラ。
JP2008142009A 2008-05-30 2008-05-30 カメラ Expired - Fee Related JP5157647B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2008142009A JP5157647B2 (ja) 2008-05-30 2008-05-30 カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2008142009A JP5157647B2 (ja) 2008-05-30 2008-05-30 カメラ

Publications (2)

Publication Number Publication Date
JP2009290635A JP2009290635A (ja) 2009-12-10
JP5157647B2 true JP5157647B2 (ja) 2013-03-06

Family

ID=41459376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2008142009A Expired - Fee Related JP5157647B2 (ja) 2008-05-30 2008-05-30 カメラ

Country Status (1)

Country Link
JP (1) JP5157647B2 (ja)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011205468A (ja) 2010-03-26 2011-10-13 Sony Corp 撮像装置及びプログラム
JP5506499B2 (ja) * 2010-03-30 2014-05-28 キヤノン株式会社 撮像装置、その制御方法、プログラム及び記録媒体
JP5570923B2 (ja) * 2010-09-17 2014-08-13 オリンパスイメージング株式会社 撮影装置、撮影装置の撮影方法、及びプログラム
JP5725793B2 (ja) 2010-10-26 2015-05-27 キヤノン株式会社 撮像装置およびその制御方法
JP5867894B2 (ja) * 2011-05-23 2016-02-24 カシオ計算機株式会社 撮像装置、プログラム及び表示方法
JP5846075B2 (ja) * 2011-08-31 2016-01-20 辰巳電子工業株式会社 画像データ提供装置、写真撮影遊戯装置、画像データ提供システム、及び画像生成方法
KR102093647B1 (ko) * 2013-02-22 2020-03-26 삼성전자 주식회사 카메라를 구비하는 장치의 이미지 촬영장치 및 방법
JP6220679B2 (ja) * 2014-01-08 2017-10-25 東芝テック株式会社 情報処理装置、店舗システム及びプログラム
US9667860B2 (en) * 2014-02-13 2017-05-30 Google Inc. Photo composition and position guidance in a camera or augmented reality system
JP6618324B2 (ja) * 2014-12-24 2019-12-11 キヤノン株式会社 ズーム制御装置、撮像装置、ズーム制御装置の制御方法、ズーム制御装置の制御プログラム及び記憶媒体
CN110536069B (zh) 2014-12-24 2022-05-03 佳能株式会社 变焦控制装置、变焦控制装置的控制方法和记录介质
EP3664432B1 (en) 2017-08-02 2021-09-01 Sony Group Corporation Image processing device and method, imaging device,, and program
CN113395456B (zh) * 2021-08-17 2021-11-30 南昌龙旗信息技术有限公司 辅助拍摄方法、装置、电子设备及计算机可读存储介质
JP7458363B2 (ja) * 2021-12-09 2024-03-29 Lineヤフー株式会社 情報処理装置、情報処理方法及び情報処理プログラム

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0473731A (ja) * 1990-07-16 1992-03-09 Nikon Corp 構図の変更を指示するカメラ
JPH0773731A (ja) * 1993-09-06 1995-03-17 Dai Ichi Kogyo Seiyaku Co Ltd 厚膜導電性ペースト組成物
JP3858133B2 (ja) * 1999-04-15 2006-12-13 カシオ計算機株式会社 撮像方法および撮像装置
JP2004032524A (ja) * 2002-06-27 2004-01-29 Fuji Photo Film Co Ltd デジタルカメラ
JP4135100B2 (ja) * 2004-03-22 2008-08-20 富士フイルム株式会社 撮影装置

Also Published As

Publication number Publication date
JP2009290635A (ja) 2009-12-10

Similar Documents

Publication Publication Date Title
JP5157647B2 (ja) カメラ
JP5108747B2 (ja) 情報表示装置、方法およびプログラム
JP4687451B2 (ja) 撮像装置、及びスルー画像表示方法
JP5040760B2 (ja) 画像処理装置、撮像装置、表示制御方法およびプログラム
US10216313B2 (en) Electronic apparatus and control method of the same
JP2007310813A (ja) 画像検索装置およびカメラ
JP5304294B2 (ja) 電子スチルカメラ
JP2014017665A (ja) 表示制御装置、表示制御装置の制御方法、プログラムおよび記録媒体
JP2005323015A (ja) デジタルカメラ
JP2017212755A (ja) 撮像装置
US8866934B2 (en) Image pickup apparatus capable of deleting video effect superimposed on moving image, method of controlling the apparatus, and moving image-recording apparatus, as well as storage medium
JP4371219B2 (ja) デジタルカメラ
JP5446035B2 (ja) 撮像装置、撮像方法、及びプログラム
JP5316083B2 (ja) カメラ
JP2005303941A (ja) 補正基準指定装置、及び補正基準指定方法
JP5761323B2 (ja) 撮像装置、撮像方法、及びプログラム
JP6120541B2 (ja) 表示制御装置及びその制御方法
JP6289107B2 (ja) 画像再生装置、その制御方法、および制御プログラム
JP6497887B2 (ja) 撮像装置、撮像装置の制御方法、プログラム
JP5167618B2 (ja) 表示装置、撮像装置、表示方法、及び表示処理プログラム
JP6197892B2 (ja) 表示装置および撮像装置
JP2010062715A (ja) 電子スチルカメラ
JP2008236011A (ja) 撮影装置
JP5040964B2 (ja) デジタルカメラ
JP2013026882A (ja) 画像表示装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20110316

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110826

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20120619

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20120802

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20120802

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20121113

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20121126

R150 Certificate of patent or registration of utility model

Ref document number: 5157647

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20151221

Year of fee payment: 3

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees