JP5597991B2 - 撮影装置 - Google Patents

撮影装置 Download PDF

Info

Publication number
JP5597991B2
JP5597991B2 JP2009298732A JP2009298732A JP5597991B2 JP 5597991 B2 JP5597991 B2 JP 5597991B2 JP 2009298732 A JP2009298732 A JP 2009298732A JP 2009298732 A JP2009298732 A JP 2009298732A JP 5597991 B2 JP5597991 B2 JP 5597991B2
Authority
JP
Japan
Prior art keywords
imaging
photographer
shooting
unit
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2009298732A
Other languages
English (en)
Other versions
JP2011138045A (ja
Inventor
政一 関口
敏一 森川
敏彰 前田
央 佐野
美砂 河村
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Nikon Corp
Original Assignee
Nikon Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nikon Corp filed Critical Nikon Corp
Priority to JP2009298732A priority Critical patent/JP5597991B2/ja
Priority to PCT/JP2010/006811 priority patent/WO2011080868A1/ja
Priority to CN201410730182.8A priority patent/CN104410788B/zh
Priority to CN201080037155.2A priority patent/CN102483559B/zh
Publication of JP2011138045A publication Critical patent/JP2011138045A/ja
Priority to US13/481,205 priority patent/US20120229661A1/en
Application granted granted Critical
Publication of JP5597991B2 publication Critical patent/JP5597991B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Exposure Control For Cameras (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Studio Devices (AREA)

Description

本発明は、生体情報を用いた撮影装置に関するものである。
近年、撮影者の生体状況を検出して、撮影者が楽しいときには明るい画質の撮像を行なったり、悲しいときには暗めの画質の撮像を行なったりすることが提案されている。また、撮影者が静止している場合と、撮影者が走っている場合とで、撮像装置のブレ補正量を変化させることなども提案されている(例えば、特許文献1参照)。
特開2008−124885号公報
しかしながら、従来の撮像装置では、撮影者が通常とは異なる状態にあるときに間違いなく撮影を行うことについては提案されていなかった。
本発明の目的は、撮影者が通常とは異なる状態にあるときにも間違いなく撮影を行うことができる撮影装置を提供することである。
本発明の撮影装置は、撮影レンズを用いて撮影を行う撮影部と、前記撮影に関する設定を行う設定部と、撮影者の生体情報に基づいて前記撮影部により撮影を行う際に、前記撮影部の状態と前記設定部による設定との少なくとも一部を変更する制御部とを備えたことを特徴とする。
本発明によれば、撮影者が通常とは異なる状態にあるときにも間違いなく撮影を行うことができる。
実施の形態に係るカメラシステムの概要を示す図である。 実施の形態に係るカメラシステムを上から見た図である。 実施の形態に係る撮影レンズを左手により保持した状態を示す図である。 実施の形態に係る撮影レンズを左手により保持した状態を示す図である。 実施の形態に係るカメラ本体に設けられた生体情報検出部を示す図である。 実施の形態に係るカメラ本体に設けられた生体情報検出部の構成を示す図である。 実施の形態に係るカメラシステムのブロック図である。 実施の形態に係る撮影者の生体情報の検出及び撮影条件の設定処理を示すフローチャートである。
以下、図面を参照して本発明の実施の形態に係るカメラシステムについて説明する。図1は、実施の形態に係るカメラシステムの概要を示す図であり、カメラシステム1は、レンズ交換式の一眼レフカメラシステムである。
カメラシステム1は、カメラ本体2と、交換可能な撮影レンズ3とを有している。撮影レンズ3は、フォーカスレンズ、ズームレンズ及び防振レンズを含むレンズ群4や、絞り5、レンズ群4を駆動する不図示の駆動装置や、カメラシステム1の手振れを検出するための角速度センサ6を有している。ここで角速度センサ6は、2軸の振れを検出するジャイロセンサを有している。また、前述の不図示の駆動装置は、複数のモータ(例えば振動波モータやVCM)を有し、フォーカスレンズを光軸方向に駆動し、防振レンズを光軸方向とは異なる方向に駆動する。撮影レンズ3は、撮影レンズ3の全体を制御すると共に、カメラ本体2と協働するレンズCPU7を有している。
図2は、カメラシステム1を上から見た図であり、操作者の右手によりカメラ本体2を保持すると共に左手により撮影レンズ3を保持している状態を示す図である。撮影レンズ3は、図2に示すように、撮影者の左手の指または掌が触れる位置に撮影者の心拍数、血流量、血圧、発汗量、体温及び撮影レンズ3を保持する圧力などを検出するレンズ側生体センサ部8(8A〜8D)(図3、4及び図7参照)を有している。このレンズ側生体センサ部8は、互いに分離した複数の電極部9(基準電極9a、検出電極9b)と、複数の発光部10a〜10dと複数の受光部11a〜11dとを有して脈波を検出する脈波検出装置12を有している。脈波検出装置12は、後述するように撮影者の血流量、血圧を測定するために用いられ、図2に示すようにそれぞれの発光部10a〜10dと受光部11a〜11dとが交互に配置されている。
また、レンズ側生体センサ部8は、撮影者の発汗量を検出する発汗センサ13、撮影者の体温を検出する温度センサ14、及び撮影者が撮影レンズ3を保持する圧力を検出する圧力センサ15を備えている(図3及び図4参照)。撮影者が撮影レンズ3を保持し、ズーム操作やマニュアルフォーカス操作を行う場合などには左手の親指が他の指とは離れてしまう。このためレンズ側生体センサ部8は、ズーム操作位置とマニュアルフォーカス操作位置との少なくとも一方の位置で、かつ、左手の親指に対応する位置と、親指以外の指に対応する位置とに離間して設けられている。より具体的には、レンズ側生体センサ部8は、ズーム操作用ゴムやフォーカス操作用ゴムが設けられた位置であって、左手に接触するように、または、左手と対向するように設けられている。
図3及び図4は、撮影レンズ3を左手により保持した状態を示す図であり、図3は左手の甲が下側にある状態で撮影レンズ3を保持した状態を示し、図4は左手の甲が左側にある状態で撮影レンズ3を保持した状態を示している。撮影者や撮影状態(例えば、横位置撮影や縦位置撮影)により撮影レンズ3の保持の仕方は変わるので、撮影レンズ3の円周上に複数のレンズ側生体センサ部8(8A〜8D)を設けている。ここで、レンズ側生体センサ部8B〜8Dは、レンズ側生体センサ部8Aと同様に、複数の電極部9、脈波検出装置12、発汗センサ13、湿度センサ14及び圧力センサ15を、それぞれ有している。このように、撮影レンズ3の円周上に複数のレンズ側生体センサ部8(8A〜8D)を設けることにより左手の掌からも生体情報を検出することができる。なお、前述したように、本実施の形態では、ズーム操作位置やマニュアルフォーカス操作位置に応じて複数のレンズ側生体センサ部8(8A〜8D)を設けているが、撮影者や撮影状態に応じて撮影レンズ3の保持の仕方が変った場合においても生体情報を検出できる位置であれば、複数のレンズ側生体センサを上述の位置以外の位置に設けてもよい。
なお、左手の親指が撮影レンズ3を保持する力はあまり大きくないので、レンズ側生体センサ部8B,8Cにおいては、左手の親指に対応する圧力センサ15を省略してもよい。同様に、レンズ側生体センサ部8の検出精度を高くする必要がない場合には、左手の親指に対応する位置のセンサを適宜省略することにより、撮影レンズ3の部品点数を抑えることができる。また、レンズCPU7は、脈波検出装置12の発光部10a〜10dに手指がかかっているときだけ発光するように制御してもよい。
図2に戻って、本実施の形態におけるカメラ本体2は、撮影者の右の手指が触れる位置に撮影者の心拍数、血流量、血圧、発汗量、体温及びカメラ本体2を保持する圧力などを検出するカメラ本体側生体センサ部16を有している。図5に示すようにカメラ本体側生体センサ部16は、複数の電極部9と同様の構成を有する複数の電極部17と、脈波検出装置12と同様の構成を有する脈波検出装置20とを有している。即ち、図6(a)に示すように複数の電極部17は、互いに分離した複数の基準電極17a、検出電極17bを有している。また図6(b)に示すように脈波検出装置20は、複数の発光部18a〜18dと複数の受光部19a〜19dとを有して脈波を検出する。また、カメラ本体側生体センサ部16は、撮影者の発汗量を検出する発汗センサ21、撮影者の体温を検出する温度センサ22、及び撮影者がカメラ本体2を保持する圧力を検出する圧力センサ23を備えている。
なお、図2からも明らかなように、撮影者がカメラ本体2を保持する場合は、右手の親指がカメラ本体2の背面に位置し、右手の人差し指がレリーズSW24の近傍に位置し、他の3本の指と離れてしまう。このためカメラ本体側生体センサ部16は、右手の親指に対応してカメラ背面位置と、レリーズSW24の近傍と、他の3本の指がカメラ本体2を保持するカメラ前面位置とに離間して設けられている。なお、レリーズSW24に本体側生体センサ部16を設けても構わない。ここでカメラ背面位置及びカメラ前面位置に設けられているカメラ本体側生体センサ部は、図示を省略しているがカメラ本体側生体センサ部16と同様な構成を有する。なお、カメラ本体2においては、他の3本の指がカメラ本体2を保持するカメラ前面位置と、右手の親指に対応したカメラ背面位置との少なくとも一方がカメラ本体2を保持するための保持部ということができる。また、カメラ本体2の背面には、いくつかの操作SWが設けられており、これらの操作SWは右手親指で操作される。このため、本実施の形態においては、右手の親指により操作されるSWと、レリーズSW24、電源スイッチの少なくとも一つがカメラ本体2を操作するための操作部である。また、カメラ本体2の上面には撮影モードを設定するための撮影モードSW25が設けられている。
図1に戻って、カメラ本体2は、撮影レンズ3からの光束を反射して後述のファインダー光学系26に導く位置(反射位置)と、撮影レンズ3からの光束がCCDまたはCMOSなどから構成される撮像素子27に入射するように退避する退避位置とで可動する可動ミラー28と、可動ミラー28の一部が半透過領域となっており、この半透過領域を透過した光束を位相差式で焦点検出を行う焦点検出センサ29へ反射するサブミラー30とを有している。
可動ミラー28で反射された光束は、焦点板31、ペンタプリズム32を介してファインダー光学系26へ導かれる。ファインダー光学系26は、複数のレンズから構成されており、撮影者はファインダー光学系26により被写界を確認することができる。一方、可動ミラー28が退避位置にあるときには、撮影レンズ3からの光束は、ローパスフィルタ33を介して撮像素子27に入射する。ここで撮像素子27の近傍には撮像基板34が設けられている。
図7はカメラシステム1のブロック図であり、図1に加えて図7を参照して説明を続ける。撮像基板34は、撮像素子27を駆動する駆動回路34A、撮像素子27の出力をデジタル信号に変換するA/D変換回路34B及びASICで構成される画像処理制御回路34Cなどを有している。この画像処理制御回路34Cは、デジタル信号に変換された画像信号に対してホワイトバランス調整、シャープネス調整、ガンマ補正、階調調整などの画像処理を施すと共に、JPEGなどの画像圧縮を行う。この画像圧縮された画像は、画像記録媒体35に記憶されると共に、背面液晶モニタ制御回路36の制御により、背面液晶モニタ37に画像(ライブビュー画像)が表示される。また、背面液晶モニタ制御回路36は、可動ミラー28が退避位置にある場合に、ファインダー視野内に情報を表示する、図示しない表示部に画像(ライブビュー画像)を表示することも可能である。
また、撮像基板34は、撮像素子27からの信号の高周波成分を抽出して、これが最大になるフォーカスレンズ位置を検出するコントラストAF回路34Dを有している。コントラストAF回路34Dには、画像処理制御回路34Cからの画像信号が入力される。コントラストAF回路34Dは、撮像信号からバンドパスフィルタを用いて所定の高周波成分を抽出し、ピークホールドや積分等の検波処理を行ってAF評価値信号を生成しCPU44に出力する。
また、前述のライブビュー画像に後述のマイク42で収集した音声をつけて、MPEGやH.264のなどの処理を行なうことにより動画を生成することができる。動画のフレームレートとしては例えば30fpsを設定することができる。
前述したように、レンズCPU7は、角速度センサ6で検出した手振れ量をキャンセルするように、撮影レンズ3内の防振レンズを不図示の駆動装置により光軸方向とは異なる方向に駆動して手振れ補正を行っている。手振れ補正は、この光学式手振れ補正に加えて、撮像素子27を光軸方向とは異なる方向に駆動して手振れをキャンセルするようにしてもよく、電子式振れ補正により手振れをキャンセルするようにしてもよい。この電子式振れ補正は、画像処理制御回路34Cから出力された複数枚の画像間の動き(動き量)を算出し、算出した画像間の動き(動き量)をキャンセルするように画像読み出し位置を制御して画像記憶媒体35上の画像振れを補正するものである。これら複数の手振れ補正方式の使い方については後述する。
カレンダー部38は、水晶発振子や計時用集積回路を有しており、年,月,日,時,分といったカレンダー情報を自動的に計時する。EEPROM(electrically erasable programmable read only memory:電気的に消去可能かつプログラム可能なROM)39は、カメラの調整値、設定値を記憶しておく記憶装置であり、AF調整データ、AE調整データ等のほかに製造時の年月日時間データなどを記憶している。また、EEPROM39には、人間の生体情報値が記憶されている。本実施の形態においては、EEPROM39は生体情報値として心拍数、血流量、血圧、体温、カメラ本体2を保持する圧力(保持力)、撮影レンズ3を保持する圧力(保持力)を記憶している。なお、生体情報は、撮影者の平常時の生体情報が予め測定され記憶されたものである。また、この生体情報値は、撮影者を特定したデータとして記憶させておいてもよい。
カメラ本体2は、ペンタプリズム32の近傍に被写界の輝度を測定する測光センサ40を有すると共に、ペンタプリズム32の上方にGPS(Global Positioning System:全地球測位システム)モジュール41を備えており、GPS衛星からの信号を受信して測位情報(緯度、経度、高度)を取得する。また、カメラ本体2は、撮影レンズ3が搭載されるマウント部で撮影レンズ3と干渉しない位置に被写界の音を録音するマイク42を備えると共に、ファインダー光学系26の近傍にスピーカ43を備えている。なお、レリーズSW24は、2段式のスイッチであり、撮影者がレリーズSW24を半押しした際に、レンズ側生体センサ部8及びカメラ側生体センサ部16による撮影者の生体情報の検出を開始すると共に、撮影準備動作(例えば、オートフォーカスや測光)を行い、撮影者がレリーズSW24を全押しした際に、撮影(静止画や動画)指示を行うスイッチである。
本体CPU44は、レンズCPU7と協働して、カメラシステム1の全体を制御するものであり、本実施の形態においては、レンズ側生体センサ部8及びカメラ側生体センサ部16の出力に基づいて撮影者の生体情報を取得して、カメラシステム1の設定や操作のアシストなどの制御を行うものである。以下、レンズ側生体センサ部8及びカメラ側生体センサ部16の撮影者の生体情報の取得について説明を行う。
(心拍数測定)
前述のように、撮影者が左手で撮影レンズ3を保持する位置には複数の電極部9の基準電極9a及び検出電極9bが設けられており、撮影者が右手でカメラ本体2を保持する位置には複数の電極部17の基準電極17a及び検出電極17bが設けられている。検出電極9b、17bからの検出電位は、不図示の差動増幅器で電位差が増幅されて本体CPU44へ出力される。本体CPU44は、検出電極9b、17bの電位差に基づいて、撮影者の心拍数を演算する。
なお、例えば撮影者が撮影レンズ3を保持していない場合には、撮影者の左手が基準電極9a、検出電極9bに触れていないので、基準電極9aと検出電極9bとの間がオープンとなる。レンズCPU7は、基準電極9aと検出電極9bとの間がオープンの場合には、撮影者が撮影レンズ3を保持していないと判断する。同様に、本体CPU44は、心拍数検出装置の基準電極17aと検出電極17bとの間がオープンの場合には、撮影者がカメラ本体2を保持していないと判断する。
(血圧測定)
脈波検出装置12,20は、撮影者の血圧を測定するものである。なお、脈波検出装置12と脈波検出装置20は同様の構成を有するため、脈波測定の詳細な説明は、脈波検出装置12についてのみ行う。脈波検出装置12においては、複数の発光部10a〜10dから例えば赤外線を射出し、この赤外線が指の動脈で反射され、この反射された赤外線を赤外線センサである受光部11a〜11dにおいて受光して手の指部の脈波を検出する(末梢血管の血流量を検出する)。本体CPU44は脈波検出装置12からの脈波に基づいて撮影者の血圧を演算する。レンズCPU7は、複数の電極部9の基準電極9aと検出電極9bとの出力から撮影者のある指(例えば小指)が撮影レンズ3に触れていないと判断した場合に、小指に対応して配置された発光部の発光を禁止するようにすれば、無駄な発光を防止すると共に、被写界に迷光を射出することもない。同様に、本体CPU44は、複数の電極部17の基準電極17aと検出電極17bとの出力に基づいて、例えば撮影者の親指がカメラ本体2に触れていないときに、脈波検出装置20の発光部18の発光を禁止してもよい。
(発汗測定)
発汗は手のインピーダンスを測定することにより検出することができる。発汗センサ13,21は、複数の電極を有して発汗を検出するものである。なお、複数の電極の一部として基準電極9a、基準電極17aを兼用してもよい。発汗センサ13は、レンズ側生体センサ部8A〜8Dのそれぞれに設けられているが、感動、興奮、緊張といったような精神性発汗は、発汗量が少なく、発汗時間も短いので、指よりも発汗量が多い中手の掌側に位置するレンズ側生体センサ部8B,8Cだけに設けてもよい。
(温度測定)
温度センサ14,22は、熱により抵抗値が変化するサーミスタ方式を用いている。発汗には前述の精神性発汗と、体温調節のための温熱性発汗とがあり、精神性発汗と温熱性発汗とは相互干渉している。このため、本体CPU44は発汗センサ13,21の出力と、温度センサ14,22の出力とに基づいて撮影者の発汗が精神性発汗か温熱性発汗かを判断することができる。例えば、本体CPU44は、温度センサ22により検出した温度が高く、発汗センサ21からの発汗信号が常時検出される場合に温熱性発汗と判断することができる。また、本体CPU44は、発汗センサ21からの発汗信号が不規則に出力される場合に精神性発汗と判断して、撮影者が感動、興奮、緊張といった状態であることを検出できる。なお、温度センサ14,22を省略した場合には、本体CPU44は、GPSモジュール41の位置情報やカレンダー部38からの日時情報などに基づいて、発汗センサ13,21からの発汗信号が精神性発汗か温熱性発汗かを判断してもよい。更に、レンズCPU7が発汗センサ13の出力や温度センサ14の出力に基づいて、左手の汗が精神性発汗か温熱性発汗かを判断するようにしてもよい。
(圧力測定)
圧力センサ15は、静電容量型のセンサであり、撮影者が撮影レンズ3を保持した際の押圧力による変形量を測定するものである。本実施の形態において圧力センサ15は、操作ゴムの下方に設けられている。圧力センサ23も同様の静電容量型のセンサであり、撮影者がカメラ本体2を保持した際の押圧力による変形量を測定するものである。なお、圧力センサ15,23として歪ゲージや、電歪素子などを用いたものを適用してもよい。
図8は、本体CPU44の制御による撮影者の生体情報の検出及び撮影条件の設定処理を示すフローチャートである。なお、カメラ本体2のメインスイッチ(電源スイッチ)が入っている状態として以下説明する。
本体CPU44は、レリーズSW24が半押しされたかどうかを判断し、レリーズSW24が半押しされていればステップS2へ進み、レリーズSW24が半押しされていなければステップS1の判断を繰り返す(ステップS1)。本体CPU44は、レリーズSW24が半押しされている場合に撮影準備を開始する(ステップS2)。具体的には、本体CPU44は、焦点検出センサ29により被写界の焦点検出を行うとともに、測光センサ40により被写界の輝度を測定する。
また、本体CPU44は、カメラ本体2の背面に設けられた不図示の設定SWによりライブビューモードが設定されている場合には、可動ミラー28を退避位置に退避させると共に、背面液晶モニタ制御回路36の制御により、背面液晶モニタ37に画像(ライブビュー画像)を表示させる。なお、本体CPU44は、不図示の設定SWによりライブビューモードが設定されていない場合には、可動ミラー28を反射位置に位置決めしておく。本体CPU44は、レンズCPU7と連動してレンズ側生体センサ部8により撮影者の左手の生体情報を検出すると共に、カメラ側生体センサ部16により撮影者の右手の生体情報を検出する(ステップS3)。ここで本体CPU44は、撮影者の心拍数、血流量、血圧、発汗状態、体温、カメラ本体2及び撮影レンズ3を保持する圧力(保持力)を検出する。なお、ステップS2,S3の順番は入れ替えても良いし、同時に行ってもよい。
本体CPU44は、EEPROM39に記憶されている生体情報値と、ステップS3で取得した撮影者の生体情報とを比較して生体情報が変化しているか否か、即ち撮影者が興奮状態、または疲労状態か否かを判定する(ステップS4)。本体CPU44は、EEPROM39に記憶されている心拍数と血圧に対して、検出した心拍数と血圧が10%以上高くなった場合に、撮影者が興奮している可能性があるとして、発汗状態とカメラ本体2及び撮影レンズ3を保持する圧力(保持力)を参照する。
本体CPU44は、発汗センサ13,21からの発汗信号が不規則に出力される場合に精神性発汗と判断して、撮影者が興奮状態であると判断する。本体CPU44は、精神性発汗と温熱性発汗との判別ができないときには、カメラ本体2及び撮影レンズ3を保持する圧力(保持力)を参照し、いずれか一方の圧力(保持力)がEEPROM39に記憶されている圧力よりも10%以上高くなった場合に、撮影者が興奮していると判断する。
なお、発汗センサ13,21の出力及び圧力センサ15,23の出力に代えて、もしくは、発汗センサ13,21の出力及び圧力センサ15,23の出力に加えて、マイク42の出力を参照してもよい。本体CPU44は、マイク42からの出力が10デシベル以上上昇(例えば60デシベルから70デシベル)したときには、撮影場所で何か起きてシャッターチャンスが近い、もしくは、撮影者の興奮が予想されると判断してもよい。
さらに、本体CPU44は、GPSモジュール41の出力により、撮影場所が学校、競技場、結婚式場などであることを判断して、興奮の判断状態の閾値を変化させてもよい。具体的には、撮影場所が学校、競技場の場合は、声援などによりマイク42の出力が変動しやすいので、マイク42からの出力が20デシベル以上上昇したときに、撮影者の興奮が予想されると判断する。撮影場所が結婚式場の場合は、司会者の発言の後にシャッターチャンスがくることが多いので、マイク42からの出力が下がったらシャッターチャンスが近い、もしくは、撮影者の興奮が予想されると判断してもよい。
また、本体CPU44は、EEPROM39に記憶されている心拍数と血圧が15%以上高くなった場合には、撮影者が興奮していると判断する。この場合には、発汗センサ13,21の出力及び圧力センサ15,23の出力は参照しなくてもよい。本体CPU44は、上述のようにEEPROM39に記憶されている生体情報値と、ステップS3で取得した撮影者の生体情報とを比較するのに代えて、ステップS3で取得した撮影者の生体情報の変化率から、撮影者が興奮状態か否かを判断してもよい。具体的には、本体CPU44は、撮影者の心拍数と血圧とが時間経過と共に上昇したか否かに基づいて、撮影者が興奮状態か否かを判断する。また、本体CPU44は、撮影者の心拍数と血圧とが時間経過と共に上昇したときでも、その上昇率が10%未満のときは、上述のように発汗センサ13,21の出力及び圧力センサ15,23の出力を参照して、撮影者が興奮状態か否かを判断する。なお、上述のように、マイク42の出力やGPSモジュール41の出力により、撮影者が興奮状態にあるか否かを判断してもよい。
また、本体CPU44は、脈波検出装置12,20により検出された脈波に基づいて血流量を算出し、算出結果に基づいて撮影者の疲労度を検出する。即ち、血流量と疲労との間には相関関係が存在することから、EEPROM39に記憶されている撮影者の平常時の血流量と算出された血流量を比較することにより、血流量が所定の閾値以上増加している場合に撮影者が疲労状態にあると判断する。
本体CPU44は、ステップS4において撮影者の生体情報が変化していないと判断したときに、ステップS5においてレリーズSW24が全押しされているか否か判断し、全押しされている場合にステップS6で撮影を実行する。この撮影は、例えば、撮影モードSW25または不図示の設定SWの設定に応じて静止画または動画の撮影を行うものである。静止画撮影または動画撮影の設定は、撮影モードSW25で選択するようにしてもよく、また、動画撮影専用のスイッチを設けてもよく、更に、不図示の設定SWによりライブビューモードが設定された状態で前述の動画撮影スイッチを押すことにより動画撮影を開始するようにしてもよい。
本体CPU44は、ステップS5においてレリーズSW24が全押しされていない場合に、ステップS1へと戻る。一方、本体CPU44は、ステップS4において、撮影者が興奮状態、または疲労状態にあると判断した場合には、カメラ本体2の背面に設けられた不図示の設定SWによりライブビューモードが設定されていない場合でも、可動ミラー28を退避位置に移動させると共に、背面液晶モニタ制御回路36により、背面液晶モニタ37に画像(ライブビュー画像)を表示させる(ステップS7)。これは、後述するように、撮影者が興奮状態、または疲労状態にあり、通常状態とは異なるため、確実に画像を撮影するためである。また、本体CPU44は、可動ミラー28が退避位置にあるため、焦点検出センサ29に代えて撮像素子27の出力を用いたコントラストAFを実施する。
次に、本体CPU44は、カメラシステム1をオート撮影モードに設定する(ステップS8)。具体的には、本体CPU44は、自動露出(AE)、オートフォーカス(AF)に設定すると共に、撮影シーンをポートレート、スポーツ、風景、夜景、夕景などから自動で設定する。この自動設定は、測光センサ40の測光結果や、カレンダー部38からの時間情報、GPSモジュール41からの位置情報に基づいて設定するようにすればよい。また、本体CPU44は、ISOを通常よりも高感度側に設定する(例えばISO800以上)と共に、カメラシステム1の傾きを防止するためにファインダー内に水準器の表示を行うようにしてもよい。
なお、本体CPU44は、撮影者の興奮状態が中規模以上(例えば、レンズ側生体センサ8及びカメラ側生体センサ16の出力が15%以上上昇したとき)のときに、オート撮影モードに設定してもよい。なお、オート撮影モードは、そのモード自体の有効、無効を設定できるようにしてもよいし、オート撮影モードの各機能のそれぞれを有効、無効に設定できるようにしてもよい。
次に本体CPU44は、誤操作防止モードを設定する(ステップS9)。誤操作防止モードにおいては、撮影者が、例えば、電源スイッチ、レリーズSW24の操作、画像削除、画像記憶媒体35のフォーマット操作等の所定の操作を行う場合に確認表示や警告表示を、ファインダー内、または背面液晶モニタ37、またはファインダー内と背面液晶モニタ37の両方に文字やアイコンを用いて行う。また、本体CPU44は、確認や警告の音声をスピーカ43から出力するようにしてもよい。また、本体CPU44は、所定の操作を禁止するようにしてもよい。具体的には、本体CPU44は、電源スイッチのオフ、画像削除部による撮影画像の削除、画像編集部による撮影画像の編集、画像記憶媒体35のフォーマット操作等を禁止する。なお、本体CPU44は、電源スイッチのオフの実行が禁止されている場合においても、電源スイッチのオフ操作が複数回行われた場合には、電源スイッチのオフを実行するようにしてもよい。また、本体CPU44は、画像削除部による撮影画像の削除、画像編集部による撮影画像の編集が禁止されている場合においても、操作部により画像削除部による撮影画像の削除の指示が複数回行われた場合には、画像削除部による撮影画像の削除を行うようにしてもよく、操作部により画像編集部による撮影画像の編集の指示が複数回行われた場合には、画像編集部による撮影画像の編集を行うようにしてもよい。なお、誤操作防止モードは、そのモード自体の有効、無効を設定できるようにしてもよいし、誤操作防止モードの各機能のそれぞれを有効、無効に設定できるようにしてもよい。
次に、本体CPU44は、設定されている撮影モードが静止画撮影モードであるか否かの判断を行う(ステップS10)。ここで静止画撮影モードが設定されている場合には、静止画用補正モードに入る(ステップS11)。一方、静止画撮影モードが設定されていない場合には、動画撮影モードが設定されているため動画用補正モードに入る(ステップS12)。
ステップS11の静止画用補正モードにおいては、撮影者が興奮状態にあると、手振れ度合いが増大するため、手振れの影響を少なくするために、露光時間が短くなるような露出制御に変更する。この場合にはカメラシステム1の露出演算プログラム線図をシャッタ秒時が高速になるように変更する。これにより図示しないシャッタの開放時間が短く制御され、撮像素子27による撮像時間が短くなる。興奮状態においては、手振れのブレ振動特性が落ち着いた精神状態よりも、振幅はより大きく、支配的なブレ振動周波数も高めにシフトするような傾向があることから、手振れ補正も平常状態よりも、振幅が大きく周期がやや早い振動に対応する手振れ補正に適した制御パラメータを用いた制御に変更する。例えば、通常ジャイロセンサを備える角速度センサ6を用いた手振れ補正システムでは、撮像素子27による撮像をする際に、数ヘルツ(2ヘルツ前後)付近の低周波振動を主に検出するような信号処理を施すが、この主検出周波数を、この数倍の周波数(6〜10ヘルツ)を主に検出するように不図示のデジタル回路のデジタルフィルタのカットオフ周波数を変更する。また、生体情報の変化が大きい場合には振幅が大きくなるため、一方式の手振れ補正では手振れを補正しきれない場合がある。このため、本実施の形態においては、前述した3つの手振れ補正方式を適宜組み合わせて振幅が大きい際の手振れを補正する。具体的には、レンズCPU7が角速度センサ6の検出した手振れ量に基づいて防振レンズを駆動するとともに、本体CPU44が角速度センサ6の検出した手振れ量に基づいて防振レンズの駆動量では補正しきれない手振れ量を算出し、この算出した手振れ量に基づいて撮像素子27を駆動するようにすればよい。また、撮像素子27の駆動に代えて電子式振れ補正を行ってもよいし、3つの手振れ補正方式全てを用いてもよい。なお、カメラシステム1のバッテリー残量に応じて前述した3つの手振れ補正方式を選択するようにしてもよい。例えば、本体CPU44は、レンズCPU7から防振レンズの重さデータを受け取り、撮像素子27の重さと比較し、重さの軽いものを駆動するとともに、電子式振れ補正と組み合わせるようにしてもよい。
本体CPU44は、ステップS12の動画用補正モードにおいても静止画用補正モードの場合と同様に、手振れの影響を少なくするために、各フレームの露光時間が短くなるような露出制御に変更する。この場合にはカメラシステム1の露出演算プログラム線図をシャッタ秒時が高速になるように変更し、また手振れ補正を行う。また、静止画の場合よりも露光時間が長いため手振れ補正の補正追従範囲がより広いことが求められる。つまり、静止画の場合よりもぶれ振動に対して補正制御を鈍く設定し、より大きな振幅の振れを重点的に補正するよう手振れ補正パラメータを変更する。例えば、通常の動画撮影においてN(Nは正の実数) degree/secの振幅に追従していたとすると、撮影者が興奮している場合には2N〜5Nの振幅に追従するように、防振レンズと撮像素子27との少なくとも一方を駆動させればよい。また、興奮の度合い(生体情報の変化の度合い)に応じて追従する振幅を2N〜5Nの中から選択するようにしてもよい。また、生体情報の変化の度合いに基づいて手振れの振幅が所定値を超えたものの補正を行うようにしてもよい。
また、本体CPU44は、動画駒間の構図安定性(見栄え)を考慮して、通常の動画撮影フレームレートより高速側のフレームレート(例えば通常設定されているフレームレートが30fpsである場合に60fps)に変更する。
さらに動画記録時は、通常画像と共に音声も同時記録するが、撮影者が興奮していると、撮影しながら大声を上げる可能性もあるため、本体CPU44は、通常の音声記録ゲインよりも数割程度低めに設定し、音声記録レベルの飽和(大音量入力による音割れ)を抑えるように設定する。なお、静止画用補正モード、動画用補正モードは、そのモード自体の有効、無効を設定できるようにしてもよい。
本体CPU44は、ステップS13においてレリーズSW24が全押しされているか否かを判断し、全押しされている場合にステップS6に移行して撮影を実行する。この場合に撮影は、オート撮影モード、誤操作防止モード、静止画用補正モード及び動画用補正モードのいずれかが有効に設定されている場合には、設定されている各モードの機能を用いて行う。この場合、撮影者が興奮状態にあることを検出して事前に可動ミラー28を退避位置に移動させているので、撮影をすばやく行なうことができるという効果がある。
一方、本体CPU44は、ステップS13においてレリーズSW24が全押しされていないときに、動画撮影を行う(ステップS14)。ステップS14の動画撮影は、撮影者が興奮状態であっても確実に画像を撮影するためである。具体的には、本体CPU44は、静止画撮影モードと動画撮影モードのどちらが設定されている場合でも、例えば4秒から6秒程度の短い動画を撮影する。この際に、本体CPU44は、動画を撮影していることをファインダー光学系26と背面液晶モニタ37との少なくとも一方に表示する。これにより、撮影者は、バックアップの動画が記録されていることを認識できるので、シャッターチャンスを逃す心配を除去できる。この場合、通常の動画記録の表示と、バックアップの動画記録の表示とを異ならせることが好ましい。具体的には、バックアップの動画記録の表示は、点滅させたり、色を変えたり、表示の大きさを変えたりして、より目立つようにすればよい。
この撮影した動画の中から静止画を切り出せば、シャッターチャンスを逃した場合においても静止画を得ることができる。また、本体CPU44は画像記録媒体35の残容量に応じて、フレームレートを設定し、また動画撮影時間を4秒から6秒の中から設定する。更に、本体CPU44は、画像記録媒体35の残容量が少ない場合には、動画撮影時間を3秒以下に設定したり、静止画撮影に切換えたりすることもできる。この場合、画像記録媒体35の残容量に応じて、静止画撮影枚数を決定したり、連写の撮影枚数を決定したりすればよい。なお、動画撮影において、音声は記録しても記録しなくてもよく、例えばフレームレートが60fpsを超える場合には音声の記録をしなくてもよい。
本体CPU44は、ステップS14において、短時間の動画撮影を行った後もレリーズSW24が半押しされているかどうか判断し(ステップS15)、レリーズSW24が半押しされている場合にはステップS2へ戻る。ステップS2から再度ステップS14に進んだ際には、動画を間欠的に撮像することができる。一方、本体CPU44は、ステップS15においてレリーズSW24が半押しされていない場合には、可動ミラー28を反射位置に戻す(ステップS16)。また、撮影者が興奮または疲労している際に撮影された画像であることをタグ情報として残したり、別ホルダ(例えば興奮時撮影用ホルダ)に保存したりすれば、編集の際に撮影者が興味を持っている画像を簡単に抽出することができる。
なお、図8のフローチャートでは、ステップS1のレリーズSW24の半押しがなされてから撮影準備を開始したが、撮影者の両手がレンズ側生体センサ部8及びカメラ側生体センサ部16のそれぞれに触れているときには、レンズ側生体センサ部8及びカメラ側生体センサ部16の出力を検出し、撮影者の興奮状態を検出したらレリーズSW24の半押しされたのと同様に、撮影準備を開始してもよい。これにより、撮影者がレリーズSW24をいきなり全押しした場合でもピントのあった画像を記録することができる。
また、本実施の形態において、レンズ側生体センサ部8及びカメラ側生体センサ部16の出力に基づいて撮影者の生体情報を取得しているが、生体情報の変化を検出することができれば、撮影者の心情変化を類推することができる。この場合には、レンズ側生体センサ部8及びカメラ側生体センサ部16のそれぞれのセンサとしてそれほど高価なセンサを用いなくてもよい。
また、レンズ側生体センサ部8及びカメラ側生体センサ部16の出力をカレンダー部38の日時情報や、GPSモジュール41からの測位情報と関連付けて不図示の記憶装置に記憶させておけば、日時や撮影場所に応じた撮影者の生体情報の変化を記録することができる。この場合、撮影者ごとに不図示の記憶装置に生体情報の変化を記憶させることが望ましい。
(補正モード)
本体CPU44は、カメラ本体2に設けられたGPSモジュール41やカレンダー部38からの日時情報により、レンズ側生体センサ部8及びカメラ側生体センサ部16で取得した値に基づく撮影者の心情判断の閾値を補正してもよい。具体的には、GPSモジュール41の出力により撮影者が北海道にいて季節が冬であれば血圧が高めになるので、撮影者の興奮を判断する閾値を上げてもよい。
また、上述の実施の形態においては、オート撮影モード及び誤操作防止モードの設定を同時に行っているが、オート撮影モード及び誤操作防止モードの中の何れか一方の設定を行うようにしてもよい。
また、上述の実施の形態において、撮影者の疲労度を生体情報から検出する際に、カメラ2の電源を投入してからの時間、レリーズSW24の操作回数、動画撮影累積時間などを参照するようにしてもよい。この場合には、より高精度に撮影者の疲労度を検出することができる。例えば、1日の電源投入累積時間が1時間を超えた場合、レリーズSW24の操作回数が200回を超えた場合、動画の撮影累積時間が1時間を超えた場合等に撮影者が疲労状態であると判断できる。
この実施の形態に係るカメラシステム1によれば、撮影者が通常とは異なる状態にあるとき、例えば撮影者が興奮しているときまたは疲労しているときにも間違いなく撮影を行うことができる。例えば、子供の運動会において親は我が子の活躍の状況によって、撮影を行いながら興奮し声援を送ることがあるが、このような場合においても的確な手振れ補正を行い間違いなく撮影を行うことができる。
なお、上述の実施の形態に係るカメラシステム1では、可動ミラー28を備えたレンズ交換式の一眼レフカメラシステムを例に取って説明したが、可動ミラー28やペンタプリズム32などを省略したミラーレスのレンズ交換式カメラにも本実施の形態に係るレンズ側生体センサ部8及びカメラ側生体センサ部16の出力を用いた撮影アシスト機能を採用することができる。この場合、可動ミラー28を備えていないので、図8に示すフローチャートのステップS7とステップS16を省略することができる。また、可動ミラー28を備えていないので、焦点検出センサ29にも被写界からの光束が到達しない。このため、焦点検出センサ29に代えて撮像素子27によるコントラストAFにより焦点検出を行えばよい。なお、特開2007−233032号(米国公開20070206937号)には、撮像素子にAF検出用の画素を設けて位相差式AFを行う撮像素子AFが提案されている。従ってミラーレスのレンズ交換式カメラにおいてこの撮像素子AFを採用することにより、コントラストAFと位相差式AFとを併用してもよい。
また、ビデオカメラに本実施の形態に係るカメラ側生体センサ部16の出力を用いた制御を採用することができる。
また、上述の実施の形態では、レンズ側生体センサ部8及びカメラ側生体センサ部16を用いて撮影者の両手からの生体情報を検出したが、例えば、発汗センサ13,21、温度センサ14,22、圧力センサ15,23は片手からの検出結果でも構わない。他のセンサにおいても検出方法に応じて片手からでも検出できるようになれば、片手からの検出結果でも構わない。
更に、レンズ側生体センサ部8及びカメラ側生体センサ部16に代えて、ウエアラブル型の生体センサを用いてもよい。もしくは、レンズ側生体センサ部8及びカメラ側生体センサ部17と、ウエアラブル型の生体センサとを協働して使用するようにしてもよい。ウエアラブル型の生体センサとしては、腕時計型の生体センサや指輪型の生体センサなどを用いることができる。この場合、近距離通信によりウエアラブル型の生体センサの出力をカメラ本体2に送信するようにすればよい。なお、腕時計型の生体センサは、例えば、特開2005-270543号(米国特許第7538890号)に詳細が開示されている。
また、上述の実施の形態では、生体情報に基づいて撮影者が興奮状態にあるか否かの判断を行っているが、撮影者の生体情報に基づいて撮影者の興奮状態のレベルを判別し、興奮のレベルにより、静止画用補正モード及び動画用補正モードにおける制御を異ならせるようにしてもよい。また、生体情報に基づいて撮影者がイライラしていると判断した場合に上述の手振れ補正を行うようにしてもよい。
1…カメラシステム、2…カメラ本体、3…撮影レンズ、8(8A〜8D)…レンズ側生体センサ部、16…カメラ側生体センサ部、26…ファインダー光学系、27…撮像素子、28…可動ミラー、38…カレンダー部、41…GPSモジュール、42…マイク

Claims (12)

  1. 撮影レンズを用いて撮影を行う撮影部と、
    前記撮影に関する設定を行う設定部と、
    前記撮影部に光束を導く第1位置と、前記撮影部に光束を導かない第2位置とに移動可能な光学部材と、
    撮影者の生体情報に基づいて前記撮影部により撮影を行う際に、前記光学部材を前記第1位置に移動させる制御部と
    を備えたことを特徴とする撮影装置。
  2. 撮影レンズを用いて撮影を行う撮影部と、
    前記撮影に関する設定を行う設定部と、
    前記撮影レンズの焦点検出を行う第1焦点検出装置と、
    前記第1焦点検出装置とは異なる第2焦点検出装置と、
    撮影者の生体情報に基づいて前記撮影部により撮影を行う際に、前記第1焦点検出装置から前記第2焦点検出装置に切替える制御部と
    を備えたことを特徴とする撮影装置。
  3. 撮影レンズを用いて撮影を行う撮影部と、
    前記撮影に関する設定を行う設定部と、
    音声を収集する音声収集装置と、
    撮影者の生体情報と前記音声収集装置が収集した音声とに基づいて、前記撮影部による撮影を制御する制御部と
    を備えたことを特徴とする撮影装置。
  4. 撮影レンズを用いて撮影を行う撮影部と、
    前記撮影に関する設定を行う設定部と、
    撮影者が被写界を視認する視認装置と、
    前記撮影者の生体情報に基づいて前記撮影部により撮影を行う際に、前記視認装置に水準表示を行う制御部と
    を備えたことを特徴とする撮影装置。
  5. 前記設定部は、静止画撮影と動画撮影を設定可能であり、
    前記制御部は、前記設定部により前記静止画撮影が設定された場合でも、前記撮影者の生体情報に基づく撮影を行う際に前記動画撮影を行うことを特徴とする請求項1から4のいずれか一項に記載の撮影装置。
  6. 前記制御部は、撮影した画像を記憶する記憶媒体の容量に応じて、動画撮影と静止画撮影のいずれか一方を行うことを特徴とする請求項1から4のいずれか一項に記載の撮影装置。
  7. 前記制御部は、前記撮影者の生体情報に基づく動画撮影を行う際に、間欠的な撮影を行うことを特徴とする請求項1から6のいずれか一項に記載の撮影装置。
  8. 前記撮影者の生体情報を検出する生体センサが前記撮影装置に設けられていることを特徴とする請求項1から7のいずれか一項に記載の撮影装置。
  9. 前記制御部は、前記生体情報に応じて撮影準備を開始することを特徴とする請求項1から8のいずれか一項に記載の撮影装置。
  10. 前記撮影部への撮影を指示するスイッチを備え、
    前記制御部は、前記スイッチの指示に基づく撮影の前に、前記撮影者の生体情報に基づいた撮影を行うことを特徴とする請求項1から9のいずれか一項に記載の撮影装置。
  11. 前記第1焦点検出装置は、位相差式焦点検出装置であることを特徴とする請求項2記載の撮影装置。
  12. 位置情報を取得する位置取得部を備え、
    前記設定部は、前記位置取得部が取得した位置情報に基づいて、前記撮影に関する設定を行うことを特徴とする請求項1から11のいずれか一項に記載の撮影装置。
JP2009298732A 2009-12-28 2009-12-28 撮影装置 Expired - Fee Related JP5597991B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2009298732A JP5597991B2 (ja) 2009-12-28 2009-12-28 撮影装置
PCT/JP2010/006811 WO2011080868A1 (ja) 2009-12-28 2010-11-19 撮影レンズ、撮影装置、撮影システム、撮像装置およびパーソナル装置
CN201410730182.8A CN104410788B (zh) 2009-12-28 2010-11-19 摄像装置
CN201080037155.2A CN102483559B (zh) 2009-12-28 2010-11-19 摄影装置
US13/481,205 US20120229661A1 (en) 2009-12-28 2012-05-25 Photography lens, photographing apparatus, photographing system, image capturing apparatus, and personal apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009298732A JP5597991B2 (ja) 2009-12-28 2009-12-28 撮影装置

Publications (2)

Publication Number Publication Date
JP2011138045A JP2011138045A (ja) 2011-07-14
JP5597991B2 true JP5597991B2 (ja) 2014-10-01

Family

ID=44349521

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009298732A Expired - Fee Related JP5597991B2 (ja) 2009-12-28 2009-12-28 撮影装置

Country Status (1)

Country Link
JP (1) JP5597991B2 (ja)

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0851571A (ja) * 1994-08-03 1996-02-20 Olympus Optical Co Ltd 電子的撮像装置
JP2003111738A (ja) * 2001-10-05 2003-04-15 Omron Corp 心拍数測定装置および健康増進機器
JP2005167716A (ja) * 2003-12-03 2005-06-23 Matsushita Electric Ind Co Ltd 撮像装置
JP4679076B2 (ja) * 2004-05-20 2011-04-27 Hoya株式会社 像ブレ補正カメラ
JP2006221103A (ja) * 2005-02-14 2006-08-24 Fuji Photo Film Co Ltd 撮像装置及び撮像装置制御プログラム
JP2008199271A (ja) * 2007-02-13 2008-08-28 Nikon Corp 動画静止画兼用の撮像装置
JP2008299216A (ja) * 2007-06-01 2008-12-11 Nikon Corp 手振れ補正機能付撮像装置
JP2009066357A (ja) * 2007-09-18 2009-04-02 Citizen Holdings Co Ltd 振動検出装置
JP5018375B2 (ja) * 2007-09-27 2012-09-05 カシオ計算機株式会社 撮像装置、再生装置、撮影制御設定方法およびプログラム
JP2009092856A (ja) * 2007-10-05 2009-04-30 Sony Corp ブレ演算装置および撮像装置

Also Published As

Publication number Publication date
JP2011138045A (ja) 2011-07-14

Similar Documents

Publication Publication Date Title
WO2011080868A1 (ja) 撮影レンズ、撮影装置、撮影システム、撮像装置およびパーソナル装置
JP4349407B2 (ja) 撮像装置
JP5630041B2 (ja) 電子装置
JP2005181356A (ja) カメラシステム、カメラ、アクセサリ及び撮影レンズ
KR20070088585A (ko) 촬상장치 및 그 제어방법
JP2011193275A (ja) 表示装置
JP2011139353A (ja) 撮像装置
JP5783445B2 (ja) 撮像装置
US10554879B2 (en) Imaging device, imaging device control method, and interchangeable lens
JP5597991B2 (ja) 撮影装置
JP5682111B2 (ja) 撮影レンズ、撮影装置及び撮影システム
JP5742095B2 (ja) パーソナル装置
JP2011193281A (ja) 携帯装置
JP5633380B2 (ja) 撮像装置
JP5499796B2 (ja) 電子機器
JP2015062067A (ja) 撮影レンズ、撮影装置及び撮影システム
JP2011151466A (ja) 撮影装置
JP5700246B2 (ja) 撮像装置
JP2017143581A (ja) 表示装置
JP5245644B2 (ja) 露出演算装置
JP2004312432A (ja) 電子カメラ
JP2015084121A (ja) 携帯装置
JP2016058983A (ja) 撮像装置
JP2015080269A (ja) 表示装置
JP2014102517A (ja) 電子機器

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20121119

RD02 Notification of acceptance of power of attorney

Free format text: JAPANESE INTERMEDIATE CODE: A7422

Effective date: 20130218

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130806

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131001

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140715

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140728

R150 Certificate of patent or registration of utility model

Ref document number: 5597991

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees