JP6643847B2 - 情報取得装置、情報再生装置、情報取得方法、情報再生方法、情報取得プログラムおよび情報再生プログラム - Google Patents

情報取得装置、情報再生装置、情報取得方法、情報再生方法、情報取得プログラムおよび情報再生プログラム Download PDF

Info

Publication number
JP6643847B2
JP6643847B2 JP2015187023A JP2015187023A JP6643847B2 JP 6643847 B2 JP6643847 B2 JP 6643847B2 JP 2015187023 A JP2015187023 A JP 2015187023A JP 2015187023 A JP2015187023 A JP 2015187023A JP 6643847 B2 JP6643847 B2 JP 6643847B2
Authority
JP
Japan
Prior art keywords
information
data
information acquisition
unit
acquisition device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2015187023A
Other languages
English (en)
Other versions
JP2017063283A (ja
JP2017063283A5 (ja
Inventor
寿一 林
寿一 林
利廣 尾方
利廣 尾方
和男 神田
和男 神田
吉田 英明
英明 吉田
野中 修
修 野中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Olympus Corp
Original Assignee
Olympus Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Olympus Corp filed Critical Olympus Corp
Priority to JP2015187023A priority Critical patent/JP6643847B2/ja
Priority to EP15904744.8A priority patent/EP3355575A4/en
Priority to CN201580002763.2A priority patent/CN106804118B/zh
Priority to PCT/JP2015/085694 priority patent/WO2017051487A1/ja
Priority to US15/176,574 priority patent/US10382690B2/en
Publication of JP2017063283A publication Critical patent/JP2017063283A/ja
Publication of JP2017063283A5 publication Critical patent/JP2017063283A5/ja
Application granted granted Critical
Publication of JP6643847B2 publication Critical patent/JP6643847B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L19/00Details of, or accessories for, apparatus for measuring steady or quasi-steady pressure of a fluent medium insofar as such details or accessories are not special to particular types of pressure gauges
    • G01L19/0092Pressure sensor associated with other sensors, e.g. for measuring acceleration or temperature
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01LMEASURING FORCE, STRESS, TORQUE, WORK, MECHANICAL POWER, MECHANICAL EFFICIENCY, OR FLUID PRESSURE
    • G01L19/00Details of, or accessories for, apparatus for measuring steady or quasi-steady pressure of a fluent medium insofar as such details or accessories are not special to particular types of pressure gauges
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/50Information retrieval; Database structures therefor; File system structures therefor of still image data
    • G06F16/51Indexing; Data structures therefor; Storage structures
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/51Housings
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/65Control of camera operation in relation to power supply
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Chemical & Material Sciences (AREA)
  • Analytical Chemistry (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)

Description

本発明は、情報取得装置、情報再生装置、情報取得方法、情報再生方法、情報取得プログラムおよび情報再生プログラムに関する。
近年、デジタルカメラやデジタルビデオカメラなどの撮像装置のように情報を取得する装置においては、水中での撮像に適した機能を搭載した技術が進歩してきている。例えば、特許文献1では、水深を検出する水圧センサを備え、撮影時における水深データを画像データと対応させて記録するカメラが開示されている。水深データは、ユーザが撮影した画像データを時間が経過してから観賞する場合に、撮影時の状況を思い出すための手がかりとなる情報の一つである。
特開平6−67277号公報
しかしながら、情報取得装置の使用環境や使用状態を各種センサで判定する場合、応答特性や分解能などの制約条件を考慮する必要がある。特に、情報取得装置の使用環境、状況等を判定するセンサ類に誤差がある場合には、その誤差を考慮することは重要である。
本発明は、上記に鑑みてなされたものであって、使用環境、状況等を判定するセンサ類に誤差がある場合でもその誤差を考慮した情報を付加することができる情報取得装置、情報再生装置、情報取得方法、情報再生方法、情報取得プログラムおよび情報再生プログラムを提供することを目的とする。
上述した課題を解決し、目的を達成するために、本発明に係る情報取得装置は、対象物の情報データを取得する情報取得装置であって、当該情報取得装置の使用状態データを検出する状態検出部と、前記情報データ、前記使用状態データ、および前記状態検出部の制約条件に関する情報を関連付けたファイルを生成するファイル生成部と、を備えたことを特徴とする。
本発明に係る情報取得装置は、対象物の情報データを取得する情報取得装置であって、当該情報取得装置の使用状態データを定期的に検出する状態検出部と、前記使用状態データを検出したときの時間データ、前記使用状態データ、および前記状態検出部の制約条件に関する情報を関連付けたファイルを生成するファイル生成部と、を備えたことを特徴とする。
本発明に係る情報再生装置は、対象物の情報データを取得する情報取得装置であって該情報取得装置の使用状態データを検出する状態検出部を備えた情報取得装置が取得した情報を再生する情報再生装置であって、前記情報取得装置によって取得された対象物の情報データと、前記情報取得装置の使用状態データと、前記状態検出部の制約条件に関する情報とを関連付けたファイルを取得して、前記制約条件に従って処理された情報を前記情報データと合わせて再生する再生制御部を備えたことを特徴とする。
本発明に係る情報取得方法は、対象物の情報データを取得する情報取得装置が行う情報取得方法であって、対象物の情報データを取得して記憶部に記憶させる情報取得ステップと、当該情報取得装置の使用状態データを検出して前記記憶部に記憶させる状態検出ステップと、前記情報データおよび前記使用状態データを前記記憶部から読み出し、前記状態検出部の制約条件に関する情報を関連付けたファイルを生成するファイル生成ステップと、を有することを特徴とする。
本発明に係る情報取得方法は、対象物の情報データを取得する情報取得装置が行う情報取得方法であって、対象物の情報データを取得して記憶部に記憶させる情報取得ステップと、当該情報取得装置の使用状態データを定期的に検出して前記記憶部に記憶させる状態検出ステップと、前記使用状態データを検出したときの時間データおよび前記使用状態データを前記記憶部から読み出し、前記状態検出部の制約条件に関する情報を関連付けたファイルを生成するファイル生成ステップと、を有することを特徴とする。
本発明に係る情報再生方法は、対象物の情報データを取得する情報取得装置であって該情報取得装置の使用状態データを検出する状態検出部を備えた情報取得装置が取得した情報を再生する情報再生装置が行う情報再生方法であって、前記情報取得装置によって取得された対象物の情報データと、前記情報取得装置の使用状態データと、前記状態検出部の制約条件に関する情報とを関連付けたファイルを記憶部から取得して、前記制約条件に従って処理された情報を前記情報データと合わせて再生する再生ステップを有することを特徴とする。
本発明に係る情報取得プログラムは、対象物の情報データを取得する情報取得装置に、対象物の情報データを取得する情報取得ステップと、当該情報取得装置の使用状態データを検出する状態検出ステップと、前記情報データ、前記使用状態データ、および前記状態検出部の制約条件に関する情報関連付けたファイルを生成するファイル生成ステップと、を実行させることを特徴とする。
本発明に係る情報取得プログラムは、対象物の情報データを取得する情報取得装置に、対象物の情報データを取得して記憶部に記憶させる情報取得ステップと、当該情報取得装置の使用状態データを定期的に検出する状態検出ステップと、前記使用状態データを検出したときの時間データ、前記使用状態データ、および前記状態検出部の制約条件に関する情報を関連付けたファイルを生成するファイル生成ステップと、を実行させることを特徴とする。
本発明に係る情報再生プログラムは、対象物の情報データを取得する情報取得装置であって該情報取得装置の使用状態データを検出する状態検出部を備えた情報取得装置が取得した情報を再生する情報再生装置に、前記情報取得装置によって取得された対象物の情報データと、前記情報取得装置の使用状態データと、前記状態検出部の制約条件に関する情報とを関連付けたファイルを記憶部から取得して、前記制約条件に従って処理された情報を前記情報データと合わせて再生する再生ステップを実行させることを特徴とする。
本発明によれば、使用環境、状況等を判定するセンサ類に誤差がある場合でもその誤差を考慮した情報を付加することができる。
図1は、本発明の実施の形態1に係る撮像装置の構成を示すブロック図である。 図2は、本発明の実施の形態1に係る撮像装置の加速度検出部の一部をなす加速度センサの構成を示す図である。 図3は、本発明の実施の形態1に係る撮像装置の加速度検出部の構成を模式的に示す図である。 図4は、本発明の実施の形態1に係る撮像装置をユーザがタップする状況を示す図である。 図5は、本発明の実施の形態1に係る撮像装置のホールド検出部の検出可能領域を模式的に示す図である。 図6は、本発明の実施の形態1に係る撮像装置をユーザが片手で保持する状況を示す図である。 図7は、画像ファイルの構成を模式的に示す図である。 図8は、本発明の実施の形態1に係る撮像装置を用いてユーザが水中を素潜りして撮影を行う状況を示す図である。 図9は、本発明の実施の形態1に係る撮像装置を用いてユーザが水面付近を浮遊しながら撮影を行う状況を示す図である。 図10は、本発明の実施の形態1に係る撮像装置を用いてユーザが水中で撮影を行う場合の撮像装置の水深の時間変化を示す図である。 図11は、本発明の実施の形態1に係る撮像装置が行う処理の概要を示すフローチャートである。 図12は、本発明の実施の形態1に係る撮像装置が行うモーション検知起動処理の概要を示す図である。 図13は、本発明の実施の形態1に係る撮像装置をユーザがシャツの胸ポケットに入れている状況を示す図である。 図14は、本発明の実施の形態1に係る撮像装置をユーザがシャツの胸ポケットから取り出して撮影する体勢に構えた状況を示す図である。 図15は、図13に示す状態から図14に示す状態に変化する際の撮像装置に固有の座標系における重力加速度および気圧の時間変化を成分ごとに示す図である。 図16は、本発明の実施の形態2に係る撮像装置の使用状況に応じた静止画撮影および動画撮影における保持態様およびスイッチ操作の難易度をそれぞれ示す図である。 図17は、本発明の実施の形態2に係る撮像装置が行う処理の概要を示すフローチャートである。
以下、添付図面を参照して、本発明を実施するための形態(以下、「実施の形態」という)を説明する。
(実施の形態1)
本発明の実施の形態1に係る情報取得装置は、対象物の情報データを取得する情報取得部と、当該情報取得装置の使用状態データを検出する状態検出部と、情報データ、使用状態データと、および状態検出部の制約条件に関する情報を関連付けたファイルを生成する制御部と、を備えたことを特徴とする。
図1は、本発明の実施の形態1に係る情報取得装置の一例である撮像装置の構成を示すブロック図である。同図に示す撮像装置1は、被写体を撮像し、撮像した画像の電子的な画像データを生成する撮像部2と、撮像部2が生成した画像データに対してエッジ強調、色補正、画像圧縮等の画像処理を施し、画像ファイルを作成する画像処理部3と、画像処理部3で処理が施された画像データに対応する画像を含む情報を表示する表示部4と、撮像装置1の各種操作信号等の入力を受け付ける操作入力部5と、撮像装置1の水深を所定の周期で検出する水深検出部6と、水深検出部6が検出した水深の変化量を算出する水深変化算出部7と、撮像装置1に加わる外力(重力を含む)に応じた加速度を検出する加速度検出部8と、加速度検出部8における重力加速度の検出結果に基づいて撮像装置1の姿勢を判定する姿勢判定部9と、撮像装置1の所定の領域における外部からのホールドを検出するホールド検出部10と、気圧を検出する気圧検出部11と、撮像日時の判定機能やタイマー機能を有する時計12と、撮像部2の視野領域へ補助光を投射する補助光投射部13と、画像処理部3によって処理が施された画像データを含む各種情報を記憶する記憶部14と、操作入力部5によって入力される操作信号などに応じて撮像装置1の動作を制御する制御部15と、制御部15の制御のもとで撮像装置1の各構成部位に電力を供給する電源部16と、を備える。
撮像部2は、一または複数のレンズによって構成され、所定の視野領域に存在する被写体からの光を集光する光学系と、光学系が集光した光の入射量を調整する絞りと、レリーズ入力に応じて動作するシャッタと、絞りおよびシャッタを通過した光を受光して電気信号に変換するCMOS(Complementary Metal Oxide Semiconducter)またはCCD(Charge Coupled Device)等の撮像素子と、撮像素子から出力されるアナログ信号に増幅やホワイトバランス等の信号処理を施した後、A/D変換を行うことによってデジタルの画像データを生成する信号処理回路とを有する。
画像処理部3は、撮像部2が撮像した画像データを含む画像ファイルを生成するファイル生成部としての機能を有し、生成した画像ファイルを記憶部14が有する画像ファイル記憶部141に書き込んで記憶させる。画像処理部3は、CPU(Central Processing Unit)等の汎用プロセッサを用いて構成される。
表示部4は、撮像部2の光学系が表出する面(前面)の裏側に位置する面(背面)に設けられ、画像データのほかに撮像装置1の操作情報や撮影に関する情報を適宜表示する。表示部4は、液晶、プラズマまたは有機EL(Electro Luminescence)等からなる表示パネルを用いて実現される。
操作入力部5は、レリーズ信号を入力するレリーズスイッチと、電源オンや電源オフの指示信号を入力する電源スイッチとを有する。なお、本実施の形態1において、「電源オン」とは、電源部16による撮像装置1の全体への電力供給が可能な状態に遷移することを意味し、「電源オフ」とは、電源部16による撮像装置1の全体への電力供給を停止することを意味する。
水深検出部6は、水圧センサを用いて実現される。水圧センサが検出する水圧は、水深50cmで1060ヘクトパスカル(hPa)程度であり、水深が深くなるにつれて大きくなる。水深検出部6は、少なくとも直近の二つの水深検出結果を一時的に記憶する機能を有する。
水深変化算出部7は、操作入力部5のレリーズスイッチが押された場合、水深検出部6が検出した直近の二つの水深の変化を算出する。水深変化算出部7は、水深検出部6の検出結果が水中とみなしうる値であるか否かを判定する機能を有する。水深変化算出部7は、撮像部2を含む部位に電力が供給されていない状態でレリーズスイッチが押された場合、および撮像部2を含む撮像装置1の全体へ電力が供給されており、操作入力部5においてレリーズスイッチ以外の操作入力が行われた場合に水深の変化を算出する。
図2は、加速度検出部8の一部をなす加速度センサの構成を示す図である。同図に示す加速度センサ81は、MEMS(Micro Electro Mechanical Systems)プロセスによって形成された静電容量型の加速度センサである。加速度センサ81は、直方体状のチップ82の主面の四隅付近に端部が固定された状態で架橋された梁構造を有する金属製の可動部83と、チップ82の主面であって可動部83の端部が固定された主面上に設けられた金属製の二つの平板部84とを有する。可動部83は、チップ82の主面の同じ方向に沿ってそれぞれ延在し、両端部が固定された二つの延在部83aと、二つの延在部83aの中央部同士を延在部83aが伸びる方向と直交する方向に沿って連結する連結部83bと、連結部83bの中央部から延在部83aが延びる方向と平行に帯状に突出する突出部83cとを有する。加速度センサ81に図2の左右方向(矢印方向)の加速度が加わると、可動部83は左右方向に撓んで変形するため、突出部83cと平板部84との位置関係が変化して静電容量が変化する。加速度センサ81は、この静電容量の変化に基づく信号の変化を出力する。なお、加速度検出部8は、手ブレの判定やこの判定に基づく補正を行う際に用いることもできる。
図3は、加速度検出部8の構成を模式的に示す図である。図3に示すように、加速度検出部8は、加速度の検出方向が互いに直交する三つの加速度センサ81を有する。具体的には、撮像装置1に固有の座標系(以下、「撮像座標系」という)として、撮像装置1の厚さ方向と平行なx軸、撮像装置1の幅方向と平行なy軸、および撮像装置1の高さ方向と平行なz軸をとり、各軸方向の加速度成分をそれぞれ検出する三つの加速度センサ81を撮像装置1の本体部の所定の位置に取り付ける。このような構成を有する加速度検出部8によれば、ユーザが撮像装置1の表面を瞬間的にたたくタップ操作を行った場合、そのタップ操作によって生じる加速度を的確に検知することができる。
図4は、ユーザが撮像装置1の表面をタップする状況を示す図である。ユーザが右手RHの人差し指RHfで撮像装置1の表面のうち前面側から見たときの左側面をタップすると、加速度検出部8は、図4の左右方向に主たる成分を有し、タップとみなしうる所定値より大きい大きさを有し、パルス状の時間変化を示す加速度を検出する。これにより、撮像装置1がタップされたと判別することができる。本実施の形態1において、陸上では持ち歩き時など、タップと同様の振動がある可能性が高いので、タップによって簡単に電源が入ることを防止している。これに対し、水中で水深(水圧)がほぼ一定の場合には、水の抵抗もあり、ユーザが意識してたたかないと、タップ信号は発生しないことを考慮して、前述した所定値を定めている。なお、図4において、撮像装置1の上面に設けられている二つのボタン5aおよび5bは、それぞれレリーズスイッチおよび電源スイッチである。以下、ボタン5aをレリーズスイッチ5aといい、ボタン5bを電源スイッチ5bという。
姿勢判定部9は、例えばコンパレータと論理回路とを組み合わせることによって構成される。このような姿勢判定部9を備えることにより、後述するように、陸上における撮像装置1の姿勢変化に基づいた電源オン動作を実現することが可能となる。なお、姿勢判定部9を制御部15の一機能として実現することも可能である。姿勢判定部9が、加速度検出部8の出力に基づいて姿勢判定することにより、撮像装置1の仰角、俯角などを検出して、撮像対象物の特定に利用することもできる。また、電子コンパスなどを利用して撮像装置1の所定部位(例えば撮像部2の光軸)が向いている方位を検出することもできる。
図5は、ホールド検出部10の検出可能領域を模式的に示す図である。ホールド検出部10は、撮像装置1の前面の左右の矩形領域1L、1Rへの外部からの接触の有無を検出する機能を有している。このような機能を有するホールド検出部10は、例えば各矩形領域の内部に一または複数の圧力センサをそれぞれ配設することによって実現される。ユーザが撮像装置1を両手で保持する場合、ホールド検出部10は矩形領域1L、1Rにおける外部からの接触を検出する。一方、ユーザが撮像装置1を片手で保持する場合、ホールド検出部10は矩形領域1Lおよび1Rのいずれか一方の領域への外部からの接触を検出する。なお、図5に示す撮像装置1の場合、レリーズスイッチ5aや電源スイッチ5bがユーザから見て上面の右側に設けられているため、図6に示すようにユーザが右手RHで撮像装置1を保持する可能性が高い。このため、ユーザが片手で撮像装置1を保持する場合、ホールド検出部10は、矩形領域1Rへの外部からの接触を検出する可能性が高い。
ところで、接触センサを用いることによって、赤外光の反射等をモニタして脈拍や血流を判定する技術も知られている。ホールド検出部10がそのような接触センサを有することにより、生体情報を検出することも可能である。なお、撮像装置1に温度センサを併設すれば、ユーザの体温も検出することができる。
また、ホールド部1Rで判定した場合とホールド部1Lで判定した場合では、センサの特性や、ユーザの握り方によって検出結果が変わることがある。そこで、検出したホールド部に関する情報を使用状態データ(情報)として記憶部14に記憶させておけばより好ましい。例えば、体温などは人体の部位によって差異がある上、撮像装置1を構成する素材の放熱特性、熱伝導特性などによっても差異が出るため、使用状態データは重要な情報である。すなわち、使用状態データを記録しておくことにより、検出結果を正確に扱うことがはじめて可能となる。
気圧検出部11は、気圧センサを用いて実現される。気圧センサが検出する気圧は、例えば100〜1500hPa程度の範囲である。なお、気圧センサが水圧を検出してもよい。また、気圧を用いることによって高度を算出してこれを記録することも可能である。ただし、気圧や高度は天候による誤差が生じやすいので、その旨を記載した情報を制約条件として付加しておくようにすればより好ましい。
水深検出部6、水深変化算出部7、加速度検出部8、姿勢判定部9、ホールド検出部10、および気圧検出部11は、撮像装置1の状態を検出する状態検出部としての機能の一部をそれぞれ有する。これらの機能は、各種センサや周辺回路の分解能などの性能、実装条件、レイアウト、環境ノイズ、応答特性(時定数)、感度などによる影響を受ける。すなわち、状態検出部は必ずしも理想的な値を出力するものではなく、その機能には、一定のまたは環境変化による制約条件が伴う。
記憶部14は、撮像部2が撮影し、画像処理部3によって処理が施された撮影済みの画像データを含む画像ファイルを記憶する画像ファイル記憶部141と、撮像装置1が実行する各種プログラムを記憶するプログラム記憶部142と、状態検出部を構成する各種センサのセンサ特性情報を記憶するセンサ特性記憶部143と、を有する。センサ特性記憶部143が記憶するセンサ特性情報は、例えばセンサの応答時間(時定数)に関する情報や、センサの誤差と撮像装置1の周囲の気温および/または湿度との関係などである。記憶部14は、本実施の形態に係る撮像方法を実行するための撮像プログラムを含む各種プログラムを記憶する。なお、記憶部14が、周囲の環境変化情報のみをログデータとして記録するファイルを記憶してもよい。
記憶部14は、RAM(Random Access Memory)等の揮発性メモリおよびROM(Read Only Memory)等の不揮発性メモリを用いて構成される。なお、外部から装着可能なメモリカード等のコンピュータ読み取り可能な記録媒体を用いて記憶部14を構成してもよい。
図7は、画像ファイルの構成を模式的に示す図である。画像ファイル100は、画像データ101と、撮像情報102と、サムネイル画像データ103と、センサ特性データ104と、センサ検出データ105とを有する。撮像情報102は、画像データ101を生成した際の情報であり、例えば生成日時、露出、ピント位置、ISO感度等の情報を含む。センサ特性データ104は、センサ特性記憶部143から読み出して書き込まれたデータであり、各種センサの特性情報を含む。センサ特性としては、例えば各種センサの応答時間(時定数)などを挙げることができる。センサ検出データ105は、各種センサの検出データが撮影タイミングを含む所定の記録期間だけ記録される。ここでいう撮影タイミングは、ユーザが撮影指示信号(レリーズ信号)を入力したタイミングである。記録期間は、各種センサの特性情報に基づいて設定され、例えば撮影タイミングから各種センサの応答時間までの期間を含むように設定されるのが好ましい。
制御部15は、撮像部2における撮像を制御する撮像制御部151と、電源部16による電源の供給を制御する電源制御部152と、を有する。制御部15は、CPU(Central Processing Unit)等を用いて実現され、撮像装置1の各構成部位とバスラインを介して接続されている。制御部15は、CPU等の汎用プロセッサを用いて構成される。なお、制御部15を画像処理部3と共通のCPUによって構成してもよい。
なお、制御部15は、画像ファイルを生成するファイル生成部としての機能を有してもよい。また、制御部15は、画像ファイルのみならず、環境変化情報、使用状況情報のみをログデータとして生成する環境変化ファイルを生成する機能を有してもよい。これは、状態検出部が有する機能が、上述したように、各種センサや周辺回路の分解能などの性能、実装条件、レイアウト、環境ノイズ、応答特性(時定数)、感度などによる影響を受けるため、一定のまたは環境変化による制約条件を伴うからである。
また、制御部15は、対象物の情報データと、情報取得装置の使用状態データと、状態検出部の所定の制約条件に関する情報とを関連付けたファイルを取得して、その制約条件に従って処理された情報を情報データと合わせて再生する再生制御部としての機能を有していてもよい。すなわち、制御部15は、撮影データを表示部4に表示させる際、環境情報や使用状態データを同時に表示させるようにしてもよい。この環境情報や使用状態データには、上述したように誤差が生じる可能性があるので、その旨を制約条件の情報として表示してもよい。さらに、制御部15は、制約条件に従った処理として、複数データの平均化や補間等の処理を行うことにより、環境情報や使用状態データの誤差を軽減するような処理を行い、その処理を行った結果を画像再生時に反映させるようにしてもよい。ここでいう反映の具体例として、例えば誤差の軽減処理を行ったことを文字やキャラクターで表現してもよいし、再生画像自体に誤差の軽減処理を行ったことを識別可能とするような特殊効果を付加してもよい。このように、撮像装置1は、再生制御部を有する情報再生装置として機能させることも可能である。
なお、一般には情報取得装置と情報再生装置を別体とすることも可能である。この場合、情報取得装置と情報再生装置との間で通信ネットワークを介した通信を行うようにしてもよい。情報再生装置が通信ネットワークを介して他の情報を取得可能である場合には、その情報も参照することにより、一段と正確な再生および情報の提供が可能となる。
電源部16は、電源スイッチによって撮像装置1が起動されたか否かによらず、操作入力部5、水深検出部6、水深変化算出部7、加速度検出部8、姿勢判定部9、ホールド検出部10、気圧検出部11、時計12および電源制御部152に常時電力を供給している。このため、操作入力部5、水深検出部6、水深変化算出部7、加速度検出部8、姿勢判定部9、ホールド検出部10、時計12および電源制御部152は、電源がオンされているか否かに関わらず、常に起動している。以下、操作入力部5、水深検出部6、水深変化算出部7、加速度検出部8、姿勢判定部9、ホールド検出部10、気圧検出部11、時計12および電源制御部152を常時電力供給部分という。
なお、極端に電力供給を押えたいシーンもあるので、ユーザによるモード設定などに応じて、常時電力供給部分を変更するようにしてもよい。例えば、水中撮影モードなどを手動設定可能とし、水中撮影モードが設定された場合のみ、水深検出部6、水深変化算出部7、ホールド検出部10などに電源を供給するようにしてもよい。
以上の構成を有する撮像装置1は、表面が密閉された防水構造を有する筐体によって外装されている。このような防水構造を有する筐体は、例えば特開2008−180898号公報に開示されている。
図8および図9は、撮像装置1に特徴的な処理を行う状況を示す図である。具体的には、図8は、ユーザが水中に素潜りをして撮影を行う状況を示す一方、図9は、ユーザが水面付近を浮遊しながら撮影を行う状況を示している。なお、本実施の形態1において、「素潜り」とはシュノーケリングを含むが、スキューバダイビングのような重装備の潜水動作は含まない。
図8に示す素潜り撮影の場合、ユーザは水中に潜っている間は息を止めていなければならないので、撮影前に水深が急激に深くなって撮影を行った後、急浮上する可能性が高い。したがって、ユーザが潜水して撮影する前後の撮像装置1の水深は、図10に示す曲線L1のように変化する。図10では、横軸を時間tとし、縦軸を水深d(下向き正)としている。これに対し、図9に示す浮遊撮影の場合、ユーザが撮影する前後の撮像装置1の水深dはほぼ一定であり、図10に示す曲線L2のように変化する。
図10に示す曲線L3は、水深検出部6の検出結果を示している。曲線L3は、曲線L1と同様の形状をなしており、曲線L1よりもΔt1だけ変化が遅れている。換言すると、水深検出部6の水圧センサは、応答時間Δt1を有している。このため、ユーザが水中で最下点に到達したとき、水深検出部6は、その最下点よりも上方(図10のΔd1)の値を出力し、その検出時点からΔt1だけ経過したときに最下点の値を出力する。図10に示す検出結果の記録期間Trは、撮影タイミングを含むとともに、撮影タイミングから水圧センサの応答時間Δt1だけ経過するまでの期間を含む。
本実施の形態1においては、上述した素潜り時における水深変化の特徴に加え、素潜り時には撮像装置1の操作としてレリーズスイッチ5aを押すのが精一杯であることをふまえ、所定時間当たりの水深変化が所定の閾値を超えた場合において、レリーズスイッチ5aが操作されたとき、撮像制御部151は、撮像部2における露出時間やゲイン等の撮影条件を変更した後、所定の枚数だけ連写させる制御を行う。より具体的には、水中でユーザの身体が揺れやすいことに鑑みて、露出時間を短くするとともに、ゲインをアップさせることによって感度を向上させる制御を行う。このような制御を行うことにより、水中で身体の自由が利かず、撮影タイミングの調整を行うことが難しい状況にあるユーザが、所望の被写体を的確に撮影することが可能となる。
本実施の形態1では、ユーザが素潜りで到達することができ、静止画撮影や動画撮影を行う場合の保持態様の自由度が低い水深5m程度までの領域における潜水動作を行う際の撮影を主に想定している。
仮に、スキューバダイビング等の重装備の潜水動作を行う場合のように、素潜りで到達できる水深より深くで撮影動作を行う場合には、水圧に耐える水中プロテクタやハウジングによって撮像装置1を覆って保護する必要がある。この場合には、撮像装置1の表面に配置されたセンサでは、正しい水圧が測定できなくなるおそれもある。このような状況下では、制約条件として「水中プロテクタ内にある」という情報を画像ファイルに書き込む方がより好ましい。この制約条件は、水中プロテクタで撮影を行う際のモード設定に連動して記録するようにしてもよい。また、画像や画像の時間変化が水中特有のものであるにも関わらず、検出した水圧の値と整合が取れない場合には、記憶部14に画像ファイルを記憶させる際に、制御部15がその旨の情報を自動的に画像ファイルへ付加するようにしてもよい。なお、水中プロテクタやハウジング以外の各種保護ケースもセンサ部分を覆う場合がある。そのような場合には、保護ケースの種別情報を画像ファイルへ付加するようにしてもよい。このような情報を付加することにより、各センサデータをより正確に判定することができる。
図11は、撮像装置1が行う処理の概要を示すフローチャートである。まず、操作入力部5のレリーズスイッチ5aが操作された場合(ステップS1:Yes)、水深変化算出部7は、水深検出部6によって検出された直近の二つの水深の変化を算出して記憶部14に仮記憶させる(ステップS2)。水深変化算出部7が算出した結果、水深の変化量Δdが第2の閾値H(>0)より大きい場合(ステップS3:Yes)、撮像装置1に電源が入っていなければ(ステップS4:No)、電源制御部152は電源部16に撮像装置1の全体への電力供給が可能な状態に遷移する制御を行う(ステップS5)。以下、電源部16が撮像装置1の全体への電力供給が可能な状態に遷移することを、「電源をオンする」という。第2の閾値Hとしては、1m程度の値をとることができる。また、水深検出部6の検出周期Δtは2秒程度とすることができる。
ステップS4において、撮像装置1に電源が入っている場合(ステップS4:Yes)、撮像装置1は後述するステップS6へ移行する。
ステップS6において、撮像制御部151は撮影条件を変更し(ステップS6)、撮像部2に撮影させる(ステップS7)具体的には、撮像制御部151は、撮像部2における露出時間を初期設定より短く設定し、撮像部2のゲインを初期設定よりアップさせた後、撮像部2に所定枚数(例えば5枚)を連写させる制御を行う。この際、撮像制御部151は、補助光投射部13に補助光を投射させれば、水中で失われがちな赤色の成分を補うことができ、より鮮やかな画像を撮影することが可能となるのでより好ましい。
続いて、画像処理部3は、生成された画像データに使用状態データおよび状態検出部の制約条件(センサ特性情報やセンサの信頼性情報を含む)を加えて画像ファイルを生成し、生成した画像ファイルを画像ファイル記憶部141に書き込んで記憶させる(ステップS8)。この際、この画像データを確認用に再生してもよい。画像データを再生する際には、環境情報や状態情報も合わせて表示し、必要に応じて、状態検出部の制約条件に基づく補正等を行って表示する。
その後、所定時間(例えば1分)以内に操作入力部5による操作があり(ステップS9:Yes)、その操作がレリーズスイッチ5aの操作である場合(ステップS10:Yes)、撮像装置1はステップS7に戻る。一方、操作入力部5による操作がレリーズスイッチ5aの操作でない場合(ステップS10:No)、水深変化算出部7が水深検出部6の直近の二つの検出結果を用いて水深の変化量Δdを算出し(ステップS11)、この算出結果が所定値−H(第3の閾値)よりも小さい場合(ステップS12:Yes)、電源制御部152は電源部16に対し、常時電力を供給する部分を除いた撮像装置1の全体への電力の供給を停止させる制御を行う(ステップS13)。以下、ステップS13における処理を「電源をオフする」という。
ステップS9において所定時間以内に操作入力部5による操作がなかった場合(ステップS9:No)、撮像装置1はステップS13へ移行する。
ステップS12において、水深の変化量Δdが第3の閾値−H以上である場合(ステップS12:No)、撮像装置1はステップS9へ戻る。
次に、ステップS1においてレリーズスイッチ5aが押されなかった場合(ステップS1:No)、およびステップS3において水深の変化量Δdが第2の閾値H以下である場合(ステップS3:No)を説明する。これらの場合において、加速度検出部8がタップを検出するかまたはホールド検出部10がホールドを検出したとき(ステップS14:Yes)、水深変化算出部7は、水深検出部6によって検出された結果を参照し、最新の検出結果の値が水中と見なしうる値であれば(ステップS15:Yes)、水深検出部6によって検出された直近の二つの水深の変化量Δdを算出する(ステップS16)。なお、撮像装置1が水中であるか否かを判定するために、二つの電極の間に水が介在することによって導通する水検知スイッチを撮像装置1の表面に設けておいてもよい。
水深変化算出部7が算出した結果、水深の変化量の絶対値|Δd|が、水深がほぼ一定とみなしうる第1の閾値h(0<h<H)よりも小さい場合(ステップS17:Yes)、電源制御部152が電源部16に電源をオンさせる制御を行う(ステップS18)。一方、水深の変化量の絶対値|Δd|が第1の閾値h以上である場合(ステップS17:No)、撮像装置1はステップS1へ戻る。第1の閾値hは、例えば30〜50cm程度の値である。
ステップS18の後、制御部15は通常制御を行う(ステップS19)。ここでいう「通常制御」とは、まず撮影モードとして制御を開始し、操作入力部5からの各種操作信号の入力に応じて撮影やモードの切換を行うことを意味する。
続いて、電源をオフする操作が行われた場合(ステップS20:Yes)、撮像装置1はステップS13へ移行する。一方、電源をオフする操作が施されない場合(ステップS20:No)、撮像装置1は通常制御(ステップS19)を続行する。
次に、ステップS15において、水深検出部6による最新の検出結果の値が水中と見なしうる値でない場合(ステップS15:No)を説明する。この場合、撮像装置1は、所定の姿勢変化を検知した時に電源をオンするモーション検知起動処理を行う(ステップS21)。モーション検知起動処理の詳細については後述する。
ステップS21におけるモーション検知起動処理の後、撮像装置1が電源オン状態にある場合(ステップS22:Yes)、撮像装置1はステップS19へ移行する。一方、ステップS21におけるモーション検知起動処理の後、撮像装置1が電源オン状態にない場合(ステップS22:No)、撮像装置1はステップS1へ戻る。
以下、モーション検知起動処理の詳細を説明する。図12は、ステップS21のモーション検知起動処理の概要を示すフローチャートである。加速度検出部8は、周期ΔT1で撮像座標系における重力加速度(gx,gy,gz)を検出する一方、気圧検出部11は周期T1で気圧Pを検出して記憶部14に記憶させる(ステップS211)。周期ΔT1は、例えば1秒程度でよい。なお、加速度検出部8と気圧検出部11の検出周期は異なっていてもよい。
加速度検出部8が撮像座標系における重力加速度を検出した結果、z軸方向の重力加速度gzと所定値g0との大小関係がgz≦g0からgz>g0に変化した場合(ステップS212:Yes)、制御部15は加速度検出部8における重力加速度の検出周期をΔT1よりも短いΔT2へ変更して検出させる(ステップS213)。周期ΔT2は、例えば1/50秒程度とすることができる。ここでの所定値g0は、撮像座標系の一つの軸と鉛直方向とのなす角度が所定角度(例えば45〜60度程度)よりも小さい場合の重力の値に対応しており、その軸方向への重力加速度の大きさが無視できない程度と見なすことのできる値である。なお、気圧検出部11の検出周期を同様にΔT2としてもよいし、ΔT1のままとしてもよい。このように、状態検出部が定期的に状態を検出する場合には、検出したときの時間データを使用状態データおよび状態検出部の制約条件に関する情報と関連付けて画像ファイルを生成するようにしてもよい。
一方、加速度検出部8が撮像座標系における重力加速度を検出した結果、z軸方向の重力加速度gzと所定値g0との大小関係がgz≦g0のまま変化しない場合(ステップS212:No)、撮像装置1はステップS211へ戻る。
ステップS213で加速度検出部8の検出周期をΔT1からΔT2に変更した後、姿勢判定部9は、重力加速度(gx,gy,gz)および気圧Pが所定の条件を満足しているか否かを判定する(ステップS214)。重力加速度(gx,gy,gz)および気圧Pが所定の条件を満足している場合(ステップS214:Yes)、電源制御部152は電源をオンする制御を行う(ステップS215)。その後、撮像装置1は、メインルーチンへ戻ってステップS22へ進む。ステップS214で判定される所定の条件は、重力加速度(gx,gy,gz)および気圧Pの時間変化に関する条件である。例えば、所定回数だけ重力加速度の各成分および気圧を検出した後、その検出した値が所定の範囲に入っていることを条件とすることができる。また、重力加速度の各成分および気圧の時間変化で振動パターンが見られる場合、その振動の周期を条件としてもよい。
これに対し、ステップS214において姿勢判定部9が判定した結果、重力加速度(gx,gy,gz)および気圧Pが所定の条件を満足していない場合(ステップS214:No)、撮像装置1はメインルーチンへ戻ってステップS22へ進む。
図13および図14は、上述したモーション検知起動処理によって撮像装置1が起動する状況を示す図である。具体的には、図13は、ユーザがシャツの胸ポケットPktに撮像装置1を入れて歩いている状況を示す一方、図14は、ユーザが撮像装置1をシャツの胸ポケットPktから取り出して撮影する体勢に構えた状況を示している。
ユーザがシャツの胸ポケットPktに撮像装置1を入れて歩いている時、幅方向(図3のy軸方向)が鉛直方向と略平行になるため、図3に示す撮像座標系における重力加速度のy成分gyのみが所定値g0より大きい値を有する。これに対し、ユーザが撮像装置1を構えた時、高さ方向(図3のz軸方向)が鉛直方向と略平行になるため、撮像座標系における重力加速度のz成分gzのみが所定値g0より大きい値を有する。
図15は、図13に示す状態から図14に示す状態に変化する際の重力加速度(gx,gy,gz)および気圧Pの時間変化を示す図である。図15において、横軸tは時間である。図15の(a)において、縦軸gは重力加速度の大きさである。また、図15の(b)において、縦軸Pは気圧の大きさである。図15の(a)に示す曲線Lx(破線で表示)、Ly(実線で表示)、Lz(太線で表示)は、撮像装置1に加わる重力加速度のx成分gx、y成分gy、z成分gzの時間変化をそれぞれ示している。撮像装置1がユーザの胸ポケットに入っている場合、撮像座標系ではy軸方向の重力加速度gyのみが所定値g0より大きく、他の成分は所定値g0より小さい値を有している。これに対し、ユーザが撮像装置1を撮影の体勢で構える場合、z軸方向の重力加速度gzのみが所定値g0より大きくなり、他の成分は所定値g0より小さくなる。図15では、時間t3と時間t4との間で撮像装置1が取り出された場合を示している。
図15の(b)において、気圧が略一定の値となるのは、重力加速度のz成分gzが略一定となる時間tcよりもΔt2だけ後の時間である。したがって、気圧検出部11の気圧センサの応答時間はΔt2である。図15の(b)に示す場合、気圧検出部11は、時間tcにおける検出値として、最低値よりもΔPだけ高い値を出力する。また、検出結果の記録期間Tr’は、撮影タイミングを含むとともに、撮影タイミングから気圧センサの応答時間Δt2だけ経過するまでの期間を含む。
このように、本実施の形態1では、上記の如くユーザが撮像装置1を撮影の体勢で構えたと判定可能な状態になった場合、重力検出の周期を短くして(ΔT1→ΔT2)、より詳細な重力変化を検出し、この重力変化および気圧変化がそれぞれ所定の条件を満たす場合、電源制御部152が電源部16に電源をオンさせる制御を行う。その際、気圧検出部11の検出結果を利用するとともに、気圧検出部11のセンサ特性による応答遅れを参照することによって気圧変化の条件を判定する。
以上説明した本発明の実施の形態1によれば、使用環境、状況等を判定するセンサ類に誤差がある場合でもその誤差を考慮した情報を付加することができる。
また、本実施の形態1によれば、撮像部が生成した画像データ、状態検出部による状態の所定期間における検出結果、および状態検出部の特性に関する情報を関連付けて画像ファイルを生成するため、撮影環境が時間とともに変化するような場合であっても撮影動作と撮影環境とを高い信頼性で関連付けることができる。この結果、撮影時のユーザの姿勢情報も判定が可能となるが、このような情報も誤差が起こりうる情報であるため、その旨を信頼性情報として記録しておけばより好ましい。
また、本実施の形態1によれば、状態検出部の特性に関する情報は、状態検出部における検出の応答遅れに関する情報等を含むため、状態検出部の応答特性などの制約条件を反映して画像データとの関連付けを行うことができる。すなわち、本実施の形態1によれば、対象物の情報データを取得する情報取得部と、当該情報取得装置の使用状態データを検出する状態検出部と、情報データ、使用状態データ、および状態検出部の制約条件に関する情報を関連付けたファイルを生成する制御部とを備えたことにより、画像や音声など取得情報を取得した時の使用環境や条件を加味して、鑑賞や判定などが可能となる。この状態検出部の制約条件に関する情報は、状態検出部の配置、性能のいずれかの関する情報を含むので、応答特性や時定数や分解能も加味して、間違った再生を行うことがなくなる。
また、本実施の形態1によれば、所定期間として、撮像して画像データが生成された時点を含む期間を設定するため、撮像時の状態を画像データと確実に関連付けることができる。
また、本実施の形態1によれば、水中にある場合と陸上にある場合とを異なる状態として検出し、この検出結果に応じて操作入力部の操作に応じた画像データの記録態様を切り換えているため、撮影場所の特性に応じた撮影を行うことが可能となる。
また、本実施の形態1によれば、水中でタップ動作またはホールド動作が検出された場合において、水深がほとんど変化しないとき、全体への電力の供給を開始するため、水中で撮影をする際に適当な条件下で電源を容易に入れることが可能となる。
また、本実施の形態1によれば、水深がほぼ一定でタップ動作またはホールド動作が検出された場合、ユーザが撮像装置1に対して動作開始の積極的な意思表示を行ったものと認識して電源をオンする処理を行うため、小さいスイッチを押すよりも迅速な操作を行うことが可能となる。
また、本実施の形態1によれば、急激に水深が大きくなるような潜水動作が行われた場合にレリーズ信号が押されると、所定の回数だけ連写を行う構成としているため、泳ぐのに精一杯であるような状況であっても連写された画像の中に所望の画像が含まれている可能性が高くなる。したがって、潜水を行っている最中に撮影を容易に行うことができ、高い可能性で所望の画像を得ることができる。
また、本実施の形態1によれば、ユーザが水中で浮上する時やレリーズ信号の入力がない場合にこまめに電源をオフするため、電池を長持ちさせることができる。
なお、ユーザが陸上で撮像装置1を使用する場合には、スイッチ操作によって静止画撮影と動画撮影の切り換えを行う通常の制御を行うようにしてもよい。
(実施の形態2)
本発明の実施の形態2に係る撮像装置は、対象物の情報データを取得する情報取得部と、当該情報取得装置の使用状態データを検出する状態検出部と、情報データ、使用状態データ、および状態検出部の制約条件に関する情報を関連付けたファイルを生成する制御部と、を備えた情報取得装置の一形態であり、水面付近で浮遊している場合に、保持態様に応じた撮影モードの切換を行うことを特徴とする。本実施の形態2に係る撮像装置の構成は、上記実施の形態1で説明した撮像装置の構成と同様である。
図16は、撮像装置1の使用状況に応じた静止画撮影および動画撮影における保持態様およびスイッチ操作の難易度をそれぞれ示す図である。ユーザが素潜りしている状況下で撮影を行う場合(図8を参照)、ユーザは片方の手を泳ぐために使用する可能性が高い。このような状況下では、ユーザが片手で撮像装置1を保持した場合には静止画撮影を行うように制御することが好ましい。本実施の形態2では、上述した実施の形態1と同様、素潜り撮影を行う場合、撮像制御部151は、露出やゲイン等の撮影条件を変更して連写する制御を行う。
これに対し、ユーザが水面付近を浮遊して泳いでいる場合(図9を参照)、ユーザは比較的安定した体勢にあるため、スイッチ操作も容易であり、撮像装置1を両手で保持することも可能である。また、動画撮影を行う場合には、片手で撮像装置1を移動しながら撮影することもできる。そこで、撮像制御部151は、ユーザが両手で撮像装置1を保持した場合には静止画撮影を行う一方、ユーザが片手で撮像装置1を保持した場合には動画撮影を行うような制御を行うこととする。
撮影者が陸上で撮像装置21を使用する場合、制御部11は通常の制御を行う。すなわち、撮像装置21が陸上にある場合、制御部11は、スイッチ操作によって静止画撮影と動画撮影の切り換えを行う。
図17は、撮像装置1が行う処理の概要を示すフローチャートである。図17において、まず加速度検出部8がタップを検出するかまたはホールド検出部10がホールドを検出した場合(ステップS31:Yes)を説明する。この場合、水深変化算出部7は、水深検出部6によって検出された結果を参照し、最新の検出結果の値が水中と見なしうる値であるとき(ステップS32:Yes)、水深検出部6によって検出された直近の二つの水深の変化量Δdを算出して記憶部14に仮記憶させる(ステップS33)。
水深変化算出部7が算出した結果、水深の変化量の絶対値|Δd|が第1の閾値hよりも小さく、水深が一定とみなしうる場合(ステップS34:Yes)、電源制御部152は電源部16に電源をオンさせる制御を行い、表示部4が撮像部2によって撮像されている画像をスルー画表示する(ステップS35)。その後、操作入力部5のレリーズスイッチ5aが操作された場合(ステップS36:Yes)、ホールド検出部10の検出結果によって処理が異なる。具体的には、ホールド検出部10が検出した結果、撮像装置1が両手で保持されていれば(ステップS37:Yes)、撮像装置1は静止画撮影を行い(ステップS38)、ステップS31へ戻る。これに対し、撮像装置1が片手で保持されていれば(ステップS37:No)、撮像装置1は動画撮影を行い(ステップS39)、ステップS31へ戻る。
ステップS36において、レリーズスイッチ5aが操作されない場合(ステップS36:No)、ステップS35で電源をオンしてから所定時間が経過していなければ(ステップS40:No)、撮像装置1はステップS36へ戻る。一方、ステップS35で電源をオンしてから所定時間が経過した場合(ステップS40:Yes)、撮像装置1は後述するステップS51へ移行する。
次に、ステップS34において、水深の変化量の絶対値|Δd|が第1の閾値h以上である場合(ステップS34:No)を説明する。この場合において、水深の変化量Δdが第2の閾値Hより大きいとき(ステップS41:Yes)、電源制御部152は電源をオンする制御を行う(ステップS42)。この後、レリーズスイッチ5aが操作された場合(ステップS43:Yes)、撮像制御部151が撮影条件を変更し(ステップS44)、撮像部2に撮影させる(ステップ45)。具体的には、上述した実施の形態1と同様、撮像制御部151は、撮像部2の露出時間を初期設定より短くするとともに、撮像部2のゲインを初期設定よりアップさせる制御を行った後、撮像部2に所定枚数を連写させる制御を行う。撮像部2が撮影を行う際、補助光投射部13に補助光を投射させればより好ましい点についても、上記実施の形態1と同様である。
続いて、画像処理部3は、生成された画像データに使用状態データおよび状態検出部の制約条件を加えて画像ファイルを生成し、生成した画像ファイルを画像ファイル記憶部141に書き込んで記憶させる(ステップS46)。本実施の形態2においても、生成した画像データを確認用に再生してもよいし、画像データを再生する際に環境情報や状態情報も合わせて表示し、必要に応じて状態検出部の制約条件に基づく補正等を行ってもよい。
ステップS41で水深の変化量Δdが第2の閾値H以下である場合(ステップS41:No)、およびステップS43でレリーズスイッチ5aが操作されない場合(ステップS43:No)、撮像装置1はステップS31へ戻る。
ステップS46に続けて行うステップS47〜S51は、図11におけるステップS9〜S13に順次対応している。
次に、ステップS31において加速度検出部8がタップを検出せず、かつホールド検出部10がホールドを検出しない場合(ステップS31:No)、およびステップS32において水深検出部6による最新の検出結果が水中と見なしうる値ではない場合(ステップS32:No)を説明する。これらの場合、撮像装置1はモーション検知起動処理(ステップS52)へ移行する。モーション検知起動処理の詳細は、上述した実施の形態1と同じである(図12を参照)。
モーション検知起動処理の後、撮像装置1が電源オン状態にある場合(ステップS53:Yes)、撮像装置1は通常制御を行う(ステップS54)。一方、撮像装置1が電源オン状態にない場合(ステップS53:No)、撮像装置1はステップS31に戻る。
ステップS54に続いて、電源をオフする操作が操作入力部5を介して施された場合(ステップS55:Yes)、撮像装置1はステップS51へ移行する。一方、電源をオフする操作が施されない場合(ステップS55:No)、撮像装置1は通常制御(ステップS54)を続行する。
以上説明した本発明の実施の形態2によれば、実施の形態1と同様、使用環境、状況等を判定するセンサ類に誤差がある場合でもその誤差を考慮した情報を付加することができる。
また、本実施の形態2によれば、実施の形態1と同様、撮影環境が時間とともに変化するような場合であっても撮影動作と撮影環境とを高い信頼性で関連付けることができる。
また、本実施の形態2によれば、実施の形態1と同様、状態検出部の応答特性を反映して画像データとの関連付けを行うことができ、撮像時の状態を画像データと確実に関連付けることができる。
また、本実施の形態2によれば、潜水時のユーザによる撮像装置の保持態様に応じて静止画撮影と動画撮影を切り換えるため、ユーザの潜水状況に応じて最適な制御を行うことが可能となる。特に、ユーザが水中へ飛び込んだ時や、水中で急速に浮上する時に過剰に加わる水圧も、その時間変化までを考慮すれば正しい水圧を推測する際の有効な情報となる。すなわち、本実施の形態2によれば、対象物の情報データを取得する情報取得部と、当該情報取得装置の使用状態データを検出する状態検出部と、情報データ、使用状態データと、状態検出部の制約条件に関する情報を関連付けたファイルを生成する制御部とを備えたことにより、画像などの取得情報を取得した時の使用環境や条件を加味して、鑑賞や判定を行うことが可能となる。時間変化特性と実際の時間変化データを記録しておけば、誤差をキャンセルしたり軽減したりしたデータへの換算を容易に行うこともできる。状態検出部の制約条件に関する情報は、状態検出部の配置、性能のいずれかに関する情報を含むので、応答特性や時定数や分解能も加味して、間違った再生を行うことがなくなる。また、水圧で画像を分類するような場合には、上述した誤差が誤った分類結果につながる可能性もあるため、正しい情報を提供することにより、取得したコンテンツの価値を高めることができる。
(その他の実施の形態)
ここまで、本発明を実施するための形態を説明してきたが、本発明は上述した実施の形態1、2によってのみ限定されるべきものではない。例えば、情報取得装置を、ICレコーダのように、マイクなどの集音部で音声データを取得して音声ファイルを生成する装置として実現することも可能である。この場合には、例えばユーザが装置を持ち上げた時のみ集音が可能となるような構成とすることが考えられる。また、この場合には、装置の仕様等の各種情報を利用して集音時のユーザの姿勢情報を判定することも可能であるが、こうした情報も誤差が生じうるので、その旨を信頼性情報として記録しておけばより好ましい。さらに、環境変化情報のみをログデータとして記録するファイルをさらに生成してもよい。音声情報を取得する場合にも、対象物に向けた時の姿勢や使用環境をふまえた再生を行うようにすれば、より情報量の多い情報再生が可能となることは、撮像装置の場合と共通している。なお、画像データと音声データを共に取得して、それらを含む画像ファイルを生成するようにしてもよい。音声を再生する情報再生装置を実現する場合には、音声に対して特殊処理を施すことにより、音を聴くだけで録音時の状況を把握することができるという効果が得られる。
また、状態検出部が、上記以外にも速度、温度、湿度、GPS(Global Positioning System)によって検出される位置情報としての緯度や経度などのうち、少なくともいずれか一つの状態を検出するようにしてもよい。撮像装置が温度センサまたは湿度センサを備え、周囲の環境としての温度および/または湿度を検出可能な構成を有する場合には、温度センサおよび/または湿度センサの応答時間に加えて、他の各種センサの測定精度と温度および/または湿度との関係を各種センサの特性情報としてセンサ特性記憶部143に記憶させておけばより好ましい。湿度センサなどは、ユーザが把持するところに配置されたり、水滴が残りやすい位置に配置されたりすると、即座に誤差を生じるおそれがある。そこで、配置や性能に応じて誤差が出やすい旨を記載した信頼性情報を制約条件の一部として画像ファイルに記録しておくことで、誤った判断がなされるのを防止することができる。また、撮像装置が速度センサおよびGPSセンサを具備している場合には、速度センサの応答時間に加えて、GPSセンサの位置検出精度に関する情報(検出誤差)を速度情報と関連づけてセンサ特性記憶部143に記憶させておくこともできる。
これらのセンサ以外に、撮影時の方位情報、姿勢情報、仰角、俯角情報なども上記各種情報と同列に扱ってもよい。その他、ユーザのホールドを検出することによって得られた脈拍情報や体温情報、インカメラを使った表情や生体情報なども適用可能である。
また、ユーザが撮像装置の表面をタップするかまたは撮像装置をホールドする代わりに、ユーザが撮像装置をシェイクすることによって一部のスイッチ操作を行うようにしてもよい。
本明細書におけるフローチャートの説明では、「まず」、「その後」、「続いて」等の表現を用いてステップ間の処理の前後関係を明示していたが、上述した実施の形態を実施するために必要な処理の順序は、それらの表現によって一意的に定められるわけではない。すなわち、本明細書で記載したフローチャートにおける処理の順序は、矛盾のない範囲で変更することができる。
また、本明細書においてフローチャートを用いて説明した処理のアルゴリズムは、プログラムとして記述することが可能である。このようなプログラムは、コンピュータ内部の記憶部が記録してもよいし、コンピュータ読み取り可能な記録媒体に記録してもよい。プログラムの記憶部または記録媒体への記録は、コンピュータまたは記録媒体を製品として出荷する際に行ってもよいし、通信ネットワークを介したダウンロードにより行ってもよい。
画像や音声以外の情報を取得する機器、取得情報を再生する機器、取得情報をそのまま表示するのではなく、加工して異なる情報を提供する機器(計測機器、観察機器、診断装置)に対しても応用が可能である。
[付記1]
被写体を撮像して該被写体の画像データを生成する撮像部と、
当該撮像装置の状態を周期的に検出する状態検出部と、
前記撮像部が生成した画像データ、前記状態検出部による状態の記録期間における検出結果、および前記状態検出部の特性に関する情報を記憶する記憶部と、
前記画像データ、前記記録期間における検出結果、および前記状態検出部の特性に関する情報を関連付けて画像ファイルを生成するファイル生成部と、
を備えたことを特徴とする撮像装置。
[付記2]
前記状態検出部の特性に関する情報は、
前記状態検出部が状態を検出する際の応答時間に関する情報を含むことを特徴とする付記1に記載の撮像装置。
[付記3]
前記撮像部による撮影を指示する撮影指示信号を含む操作信号の入力を受け付ける操作入力部と、
前記記録期間は、前記撮影指示信号の入力を受け付けた時点を含むとともに、該時点から前記応答時間分だけ経過するまでの期間を含むことを特徴とする付記2に記載の撮像装置。
[付記4]
前記状態検出部は、
当該撮像装置が水中にある場合と陸上にある場合とを識別可能であり、
当該撮像装置が水中にある場合に当該撮像装置の水深を検出する水深検出部と、
当該撮像装置が陸上にある場合に当該撮像装置に加わる気圧を検出する気圧検出部と、
を有することを特徴とする付記1〜3のいずれか一項に記載の撮像装置。
[付記5]
前記状態検出部は、
当該撮像装置の周囲の環境を検出可能であり、
前記状態検出部の特性に関する情報は、
前記状態検出部が検出する状態の検出精度と前記周囲の環境との関係を含むことを特徴とする付記1〜4のいずれか一項に記載の撮像装置。
[付記6]
前記状態検出部は、
当該撮像装置の周囲の環境として温度および湿度の少なくともいずれか一方を検出可能であり、
前記状態検出部の特性に関する情報は、
前記状態検出部が検出する前記温度または前記湿度以外の状態の検出精度と前記温度および湿度の少なくともいずれか一方との関係を含むことを特徴とする付記5に記載の撮像装置。
[付記7]
前記状態検出部は、
当該撮像装置の位置および速度を検出可能であり、
前記状態検出部の特性に関する情報は、
前記状態検出部が検出する位置の検出精度と速度との関係を含むことを特徴とする付記1〜6のいずれか一項に記載の撮像装置。
[付記8]
被写体を撮像して該被写体の画像データを生成する撮像装置が行う撮像方法であって、
前記撮像装置の状態を検出する状態検出部が該撮像装置の状態を周期的に検出する状態検出ステップと、
前記状態検出ステップを行っている最中に撮影を指示する撮影指示信号の入力を受け付けた場合に前記画像データを生成する撮像ステップと、
前記撮像ステップで生成した前記画像データ、前記状態検出ステップで記録した状態の記録期間における検出結果、および前記状態検出部の特性に関する情報を関連付けて画像ファイルを生成するファイル生成ステップと、
を有することを特徴とする撮像方法。
[付記9]
被写体を撮像して該被写体の画像データを生成する撮像装置に、
前記撮像装置の状態を検出する状態検出部が該撮像装置の状態を周期的に検出する状態検出ステップと、
前記状態検出ステップを行っている最中に撮影を指示する撮影指示信号の入力を受け付けた場合に前記画像データを生成する撮像ステップと、
前記撮像ステップで生成した前記画像データ、前記状態検出ステップで記録した状態の記録期間における検出結果、および前記状態検出部の特性に関する情報を関連付けて画像ファイルを生成するファイル生成ステップと、
を実行させることを特徴とする撮像プログラム。
1・・・撮像装置;2・・・撮像部;3・・・画像処理部;4・・・表示部;5・・・操作入力部;5a・・・レリーズスイッチ;5b・・・電源スイッチ;6・・・水深検出部;7・・・水深変化算出部;8・・・加速度検出部;9・・・姿勢判定部;10・・・ホールド検出部;11・・・気圧検出部;12・・・時計;13・・・補助光投射部;14・・・記憶部;15・・・制御部;16・・・電源部;81・・・加速度センサ;141・・・画像ファイル記憶部;142・・・プログラム記憶部;151・・・撮像制御部;152・・・電源制御部;RH・・・右手;RHf・・・人差し指

Claims (11)

  1. 対象物の情報データを取得する情報取得装置であって、
    当該情報取得装置の使用状態データを検出する状態検出部と、
    前記情報データ、前記使用状態データ、および前記状態検出部の検出における制約条件に関する情報を関連付けたファイルを生成するファイル生成部と、
    を備えたことを特徴とする情報取得装置。
  2. 前記制約条件に関する情報は、
    前記状態検出部の性能に関する情報を含むことを特徴とする請求項1に記載の情報取得装置。
  3. 対象物の情報データを取得する情報取得装置であって、
    当該情報取得装置の使用状態データを定期的に検出する状態検出部と、
    前記使用状態データを検出したときの時間データ、前記使用状態データ、および前記状態検出部の検出における制約条件に関する情報を関連付けたファイルを生成するファイル生成部と、
    を備えたことを特徴とする情報取得装置。
  4. 前記制約条件に関する情報は、
    前記状態検出部の性能に関する情報を含むことを特徴とする請求項1または3に記載の情報取得装置。
  5. 対象物の情報データを取得する情報取得装置であって該情報取得装置の使用状態データを検出する状態検出部を備えた情報取得装置が取得した情報を再生する情報再生装置であって、
    前記情報取得装置によって取得された対象物の情報データと、前記情報取得装置の使用状態データと、前記状態検出部の検出における制約条件に関する情報とを関連付けたファイルを取得して、前記制約条件に従って処理された情報を前記情報データと合わせて再生する再生制御部
    を備えたことを特徴とする情報再生装置。
  6. 対象物の情報データを取得する情報取得装置が行う情報取得方法であって、
    対象物の情報データを取得して記憶部に記憶させる情報取得ステップと、
    当該情報取得装置の使用状態データを検出して前記記憶部に記憶させる状態検出ステップと、
    前記情報データおよび前記使用状態データを前記記憶部から読み出し、読み出された前記情報データ、前記使用状態データおよび前記状態検出ステップの検出における制約条件に関する情報を関連付けたファイルを生成するファイル生成ステップと、
    を有することを特徴とする情報取得方法。
  7. 対象物の情報データを取得する情報取得装置が行う情報取得方法であって、
    対象物の情報データを取得して記憶部に記憶させる情報取得ステップと、
    当該情報取得装置の使用状態データを定期的に検出して前記記憶部に記憶させる状態検出ステップと、
    前記使用状態データを検出したときの時間データおよび前記使用状態データを前記記憶部から読み出し、読み出された前記情報データ、前記使用状態データおよび前記状態検出ステップの検出における制約条件に関する情報を関連付けたファイルを生成するファイル生成ステップと、
    を有することを特徴とする情報取得方法。
  8. 対象物の情報データを取得する情報取得装置であって該情報取得装置の使用状態データを検出する状態検出部を備えた情報取得装置が取得した情報を再生する情報再生装置が行う情報再生方法であって、
    前記情報取得装置によって取得された対象物の情報データと、前記情報取得装置の使用状態データと、前記状態検出部の検出における制約条件に関する情報とを関連付けたファイルを記憶部から取得して、前記制約条件に関する情報に従って処理された情報を前記情報データと合わせて再生する再生ステップ
    を有することを特徴とする情報再生方法。
  9. 対象物の情報データを取得する情報取得装置に、
    対象物の情報データを取得する情報取得ステップと、
    当該情報取得装置の使用状態データを検出する状態検出ステップと、
    前記情報データ、前記使用状態データ、および前記状態検出ステップの検出における制約条件に関する情報を関連付けたファイルを生成するファイル生成ステップと、
    を実行させることを特徴とする情報取得プログラム。
  10. 対象物の情報データを取得する情報取得装置に、
    対象物の情報データを取得して記憶部に記憶させる情報取得ステップと、
    当該情報取得装置の使用状態データを定期的に検出する状態検出ステップと、
    前記使用状態データを検出したときの時間データ、前記使用状態データ、および前記状態検出ステップの検出における制約条件に関する情報を関連付けたファイルを生成するファイル生成ステップと、
    を実行させることを特徴とする情報取得プログラム。
  11. 対象物の情報データを取得する情報取得装置であって該情報取得装置の使用状態データを検出する状態検出部を備えた情報取得装置が取得した情報を再生する情報再生装置に、
    前記情報取得装置によって取得された対象物の情報データと、前記情報取得装置の使用状態データと、前記状態検出部の検出における制約条件に関する情報とを関連付けたファイルを記憶部から取得して、前記制約条件に関する情報に従って処理された情報を前記情報データと合わせて再生する再生ステップ
    を実行させることを特徴とする情報再生プログラム。
JP2015187023A 2015-09-24 2015-09-24 情報取得装置、情報再生装置、情報取得方法、情報再生方法、情報取得プログラムおよび情報再生プログラム Active JP6643847B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2015187023A JP6643847B2 (ja) 2015-09-24 2015-09-24 情報取得装置、情報再生装置、情報取得方法、情報再生方法、情報取得プログラムおよび情報再生プログラム
EP15904744.8A EP3355575A4 (en) 2015-09-24 2015-12-21 INFORMATION RECORDING, INFORMATION REPRODUCTION, INFORMATION ACCOUNTING, INFORMATION REPRODUCTION, INFORMATION ACCOUNTING PROGRAM AND INFORMATION PLAY PROGRAM
CN201580002763.2A CN106804118B (zh) 2015-09-24 2015-12-21 信息取得装置和方法、信息再现装置和方法、摄像装置和方法
PCT/JP2015/085694 WO2017051487A1 (ja) 2015-09-24 2015-12-21 情報取得装置、情報再生装置、情報取得方法、情報再生方法、情報取得プログラムおよび情報再生プログラム
US15/176,574 US10382690B2 (en) 2015-09-24 2016-06-08 Information acquiring device, information playback device, information acquiring method, information playback method, and computer-readable recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2015187023A JP6643847B2 (ja) 2015-09-24 2015-09-24 情報取得装置、情報再生装置、情報取得方法、情報再生方法、情報取得プログラムおよび情報再生プログラム

Publications (3)

Publication Number Publication Date
JP2017063283A JP2017063283A (ja) 2017-03-30
JP2017063283A5 JP2017063283A5 (ja) 2018-10-25
JP6643847B2 true JP6643847B2 (ja) 2020-02-12

Family

ID=58386393

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2015187023A Active JP6643847B2 (ja) 2015-09-24 2015-09-24 情報取得装置、情報再生装置、情報取得方法、情報再生方法、情報取得プログラムおよび情報再生プログラム

Country Status (5)

Country Link
US (1) US10382690B2 (ja)
EP (1) EP3355575A4 (ja)
JP (1) JP6643847B2 (ja)
CN (1) CN106804118B (ja)
WO (1) WO2017051487A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN108012076A (zh) * 2017-11-07 2018-05-08 北京臻迪科技股份有限公司 一种水下图像采集方法和设备
CN110753184A (zh) * 2019-10-17 2020-02-04 广东小天才科技有限公司 一种基于位置状态的拍摄方法、装置、设备及存储介质
KR20210105783A (ko) * 2020-02-19 2021-08-27 삼성전자주식회사 전자 장치 및 그의 상황을 인지하는 방법
CN112329615B (zh) * 2020-11-04 2022-04-15 中国海洋大学 一种用于水下视觉目标自主抓取的环境态势评估方法

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0667277A (ja) 1992-08-24 1994-03-11 Olympus Optical Co Ltd 水中撮影情報記録可能なカメラ
JP3386012B2 (ja) 1999-07-23 2003-03-10 日本電気株式会社 像流れ補正装置および像流れ補正方法
JP4161773B2 (ja) * 2003-04-04 2008-10-08 ソニー株式会社 映像編集装置,映像編集装置の処理方法
JP2004326192A (ja) * 2003-04-21 2004-11-18 Sony Corp 画像管理システム及び画像管理方法、並びにコンピュータ・プログラム
JP2008180898A (ja) 2007-01-24 2008-08-07 Olympus Imaging Corp カメラ
US8531515B2 (en) * 2009-09-29 2013-09-10 Olympus Imaging Corp. Imaging apparatus
US20110228075A1 (en) * 2010-03-22 2011-09-22 Madden Thomas E Digital camera with underwater capture mode
JP5631108B2 (ja) * 2010-08-19 2014-11-26 キヤノン株式会社 撮像装置及びその制御方法、並びにプログラム
JP2012138813A (ja) * 2010-12-27 2012-07-19 Nikon Corp 撮影機器
JP5861564B2 (ja) * 2012-06-01 2016-02-16 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP2014171057A (ja) * 2013-03-01 2014-09-18 Nec Casio Mobile Communications Ltd 携帯装置、その制御方法及びプログラム
JP2014236319A (ja) * 2013-05-31 2014-12-15 キヤノン株式会社 撮像装置、撮像装置の制御方法、プログラム

Also Published As

Publication number Publication date
EP3355575A4 (en) 2019-03-20
US10382690B2 (en) 2019-08-13
US20170094177A1 (en) 2017-03-30
JP2017063283A (ja) 2017-03-30
CN106804118B (zh) 2020-11-06
WO2017051487A1 (ja) 2017-03-30
CN106804118A (zh) 2017-06-06
EP3355575A1 (en) 2018-08-01

Similar Documents

Publication Publication Date Title
US8531515B2 (en) Imaging apparatus
JP5550989B2 (ja) 撮影装置、その制御方法、及びプログラム
JP6643847B2 (ja) 情報取得装置、情報再生装置、情報取得方法、情報再生方法、情報取得プログラムおよび情報再生プログラム
CN102668541B (zh) 具有倾斜或透视校正的图像捕捉设备
JP5863054B2 (ja) 撮像装置
JP5630041B2 (ja) 電子装置
KR20120035887A (ko) 촬상 장치, 촬상 방법, 및 기억 매체
JP2017173252A (ja) 画像処理装置、画像処理方法および画像処理プログラム
JP5869046B2 (ja) 撮影装置、その制御方法、及びプログラム
JP2008288840A (ja) カメラ
JP5530143B2 (ja) 撮像装置
JP2011193281A (ja) 携帯装置
JP4939451B2 (ja) 撮像装置および撮像装置の角度情報の補正方法
JP2011035769A (ja) 撮影装置
JP5609673B2 (ja) データ処理装置
JP6045348B2 (ja) 撮像装置及び撮像装置の制御方法
JP2019106686A (ja) 電子機器、およびその制御方法
US20230370714A1 (en) Image processing apparatus, image processing method, and image capture apparatus
JP6121004B2 (ja) 撮影装置、その制御方法、及びプログラム
JP2011077706A (ja) 撮像装置
JP5773753B2 (ja) 撮像装置および制御方法
JP2010193333A (ja) 撮像装置、撮像方法及びプログラム
JP2016136690A (ja) 電子機器
JP2015084121A (ja) 携帯装置
JP2014050059A (ja) 撮像装置

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180913

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180913

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190528

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190701

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190917

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191114

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191210

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200107

R151 Written notification of patent or utility model registration

Ref document number: 6643847

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250