JP6819042B2 - 撮像制御装置、撮像制御方法、プログラム - Google Patents

撮像制御装置、撮像制御方法、プログラム Download PDF

Info

Publication number
JP6819042B2
JP6819042B2 JP2016005453A JP2016005453A JP6819042B2 JP 6819042 B2 JP6819042 B2 JP 6819042B2 JP 2016005453 A JP2016005453 A JP 2016005453A JP 2016005453 A JP2016005453 A JP 2016005453A JP 6819042 B2 JP6819042 B2 JP 6819042B2
Authority
JP
Japan
Prior art keywords
state
detection
imaging
recording
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016005453A
Other languages
English (en)
Other versions
JP2017126894A5 (ja
JP2017126894A (ja
Inventor
雅也 木下
雅也 木下
健太郎 松倉
健太郎 松倉
明 徳世
明 徳世
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2016005453A priority Critical patent/JP6819042B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to US15/758,768 priority patent/US10587804B2/en
Priority to KR1020187019626A priority patent/KR20180102566A/ko
Priority to CN201680078126.8A priority patent/CN108476287A/zh
Priority to PCT/JP2016/088686 priority patent/WO2017122523A1/en
Priority to EP16829133.4A priority patent/EP3403394B1/en
Publication of JP2017126894A publication Critical patent/JP2017126894A/ja
Publication of JP2017126894A5 publication Critical patent/JP2017126894A5/ja
Priority to US16/781,487 priority patent/US10979639B2/en
Application granted granted Critical
Publication of JP6819042B2 publication Critical patent/JP6819042B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/45Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/55Optical parts specially adapted for electronic image sensors; Mounting thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/61Control of cameras or camera modules based on recognised objects
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Human Computer Interaction (AREA)
  • Studio Devices (AREA)
  • Details Of Cameras Including Film Mechanisms (AREA)
  • Camera Bodies And Camera Details Or Accessories (AREA)
  • Accessories Of Cameras (AREA)
  • Television Signal Processing For Recording (AREA)

Description

本技術は撮像制御装置、撮像制御方法、プログラムに関し、特に撮像装置等の使用中の状況・状態に応じた撮像処理動作が行われるようにする技術に関する。
特許第4757173号公報 特許第4998122号公報 特開2009−302772号公報
例えば上記特許文献1,2,3に開示されるように、撮像装置がユーザの操作によらずに所定の条件に応じて自動的に撮像を行うようにする技術が知られている。
ところで近年、撮像装置の小型化、高性能化に伴って、より多様な撮像環境におけるデジタルビデオカメラの使用が広がっている。
一例として、耐衝撃性・耐水性を持った“アクションカメラ“と呼ばれるジャンルのカメラが登場している。このジャンルのカメラはその特徴からウェアラブルカメラなどとも呼ばれ、マウントを介して身に着けて使用することで旧来のカメラでは撮像できなかったアングルや状況での撮像を可能とする点で有用とされている。
このジャンルのカメラの特徴として、身体への装身具、あるいはアクティビティを楽しむためのギア(例えばスノーボード、サーフボード、バイク、ヘルメット等)等といった部材に取り付けた状態で使用されることが多い。また小型化により操作スイッチ類や表示部等のユーザインターフェース部分が乏しい傾向にある。これらのことから、ユーザ(アクティビティを行っている人自身)は録画開始・停止操作を行いづらい。
さらに、操作性の低下に伴って、いわゆる重要シーンのみを撮像したり、重要シーンのみを特殊なモードとすること等が難しい。例えば近年の高機能化により、高画質や特殊効果を付加した映像を撮像することも容易となっているが、アクティビティの途中でそのようなモードに切り換えることはほとんど無理である。例えばスノーボーダーが身体にカメラを装着してしようしているときに、ジャンプの瞬間にモードを切り換えるというようなことはできない。そのため機能を生かせなかったり、記憶容量を費やすモードの状態で無駄に長時間の録画を強いられたりする状況がある。
そこで本技術は、ユーザインターフェースの乏しい機器や、使用中の操作が困難な状況で使用される機器などにおいて、ユーザにとって望ましい撮像を可能とする手法を提供することを目的とする。
本技術に係る撮像制御装置は、撮像環境が第1ステートになること検出する第1検出と、前記第1ステートから第2ステートになることを検出する第2検出とを行う状態検出部と、前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示し、前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示するモード処理指示部とを備える。
撮像環境とは、撮像装置、又は撮像装置を遠隔制御する遠隔制御装置についての使用中の被装着体又は被写体の状況・状態をいう。「モード」は撮像装置の撮像処理動作としての動作が異なる状態を指す。
状態検出部が撮像環境についての第1ステート、第2ステートを検出する。第1ステート、第2ステート毎に所定の撮像処理動作を設定しておき、状態検出部が検出したステートに応じた制御をモード処理指示部が行う。即ち第1ステートが検出された場合、モード処理指示部は、その検出時点、もしくはその後の時点で、第1モードの指示を行い、第2ステートが検出された場合、モード処理指示部は、その検出時点やその後の所定の時点で第2モードの指示を行う。
上記した本技術に係る撮像制御装置においては、前記状態検出部は、前記撮像環境として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体が、前記第1ステート又は前記第2ステートとなることの検出を行うことが考えられる。
即ち撮像環境として、撮像装置や遠隔制御装置を使用する人、装着した人、装着した動物、装着した物体、さらには撮像装置の被写体の状況、状態の検出を行うようにする。例えば被装着体としての人が、或る競技を開始する状態を第1ステート、競技中の特定の動作状態になることを第2ステートなどとする。
上記した本技術に係る撮像制御装置においては、前記状態検出部は、前記第2検出として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体の非操作アクションの検出を行うことが考えられる。
第1ステートに至った状態で行う第2検出は、被装着体や被写体の動きを検出するが、その動きは、特に撮像に関する操作のための動きではなく、第2ステートとしての特定の動作を検出するようにする。
上記した本技術に係る撮像制御装置においては、前記状態検出部は、前記第1検出として、撮像装置の被装着体もしくは被写体である人の操作アクションの検出を行うことが考えられる。
第1ステートに至ることについては、撮像装置や遠隔制御装置のユーザの意思に基づく操作により判断する。例えばスポーツ、アクティビティなどとしての動作の開始を第1ステートとした場合、その開始をユーザの操作により検知することで、第1モードの撮像処理動作をユーザ意思に基づいて開始する。
上記した本技術に係る撮像制御装置においては、前記状態検出部は、前記第2ステートから第3ステートになることを検出する第3検出を行い、前記モード処理指示部は、前記第3ステートの検出に基づいて、少なくとも前記第2モードで実行される撮像処理動作の終了を指示することが考えられる。
即ち第3ステートを検出することで、第2ステートにおいて実行指示する第2モードの終了制御を行う。
上記した本技術に係る撮像制御装置においては、前記モード処理指示部が指示する前記第1モードの撮像処理動作は、撮像画像データをリングメモリ形態でメモリへバファリングする処理動作を含み、前記モード処理指示部が指示する前記第2モードの撮像処理動作は、前記メモリにバファリングされていく撮像画像データのうちで記録画像として保存する範囲を設定する処理動作を含むことが考えられる。
つまり第1ステート検出に応じて、撮像画像データのバッファリングを開始させる。そして第2ステート検出に応じて、バッファリングしている、もしくはバッファリングされたうちで、記録画像として、所定の記録媒体に転送し保存させる画像の範囲を設定する。
上記した本技術に係る撮像制御装置においては、前記モード処理指示部が指示する前記第1モードの撮像処理動作は、前記第1ステートとされた期間の撮像画像データを第1のフレームレートで記録画像として保存するための処理動作を含み、前記モード処理指示部が指示する前記第2モードの撮像処理動作は、前記第2ステートとされた期間の撮像画像データを前記第1のフレームレートよりは高いフレームレートである第2のフレームレートで記録画像として保存するための処理動作を含むことが考えられる。
つまり第1ステートとされた期間の撮像画像データについては第1のフレームレートで記録され、第2ステートとされた期間の撮像画像データは第2のフレームレート(ハイフレームレート)で記録される。
上記した本技術に係る撮像制御装置においては、前記状態検出部は、前記第2ステートから第3ステートになることを検出する第3検出を行い、前記モード処理指示部が指示する前記第1モードの撮像処理動作は、撮像画像データを記録画像として保存するための処理動作を含み、前記モード処理指示部が指示する前記第2モードの撮像処理動作は、撮像画像データの記録を停止するための処理動作を含み、前記モード処理指示部は、前記第3ステートの検出に基づいて撮像装置の電源オフを指示することが考えられる。
つまり第1ステートとされた期間の撮像画像データについては記録され、第2ステート検出に応じて記録が終了される。さらに第3ステート検出で撮像装置が電源オフとされる。
上記した本技術に係る撮像制御装置においては、前記状態検出部は、撮像装置又は撮像装置と通信可能な機器に搭載されたセンサの検出信号に基づいて、前記第1検出、前記第2検出の一方又は両方を行うことが考えられる。
撮像装置や撮像装置と通信可能な機器(例えば遠隔制御装置)に搭載されるセンサとしては、例えば振動センサ、加速度センサ、角速度センサ、重力センサ、位置センサ、音声センサ(マイクロホン)音圧センサ、照度センサ、光センサ、温度センサ、その他各種考えられる。これらのセンサにより第1ステート、第2ステートとしての撮像環境を検出する。
上記した本技術に係る撮像制御装置においては、前記状態検出部は、撮像装置によって得られた撮像画像データに基づいて、前記第1検出、前記第2検出の一方又は両方を行うことが考えられる。
撮像画像データの画像解析により被写体の各種状況としての撮像環境(第1ステート、第2ステート)を検出する。例えば撮像画像データから被写体のジェスチャ感知ができる。また撮像画像データに基づいてAF(オートフォーカス)、AE(オートアイリス)、AWB(オートホワイトバランス)などの制御が行われるが、これらは被写体の状況に応じた制御であるため、AF,AE,AWB等の制御値は、被写体状況としての撮像環境を検知する値ともなる。また画像から被写体の動きベクトルを検出して撮像環境を判断することもできる。
上記した本技術に係る撮像制御装置においては、前記状態検出部は、撮像装置と通信可能な機器の間における通信状態に基づいて、前記第1検出、前記第2検出の一方又は両方を行うことが考えられる。
例えば撮像装置と、例えば遠隔制御装置等の通信可能な機器との間の通信が途絶えたまま所定時間を経過した場合など、撮像環境の変化と判断しても良い。
上記した本技術に係る撮像制御装置においては、前記状態検出部は、被装着体の行動種別に応じて、前記第1検出、前記第2検出の一方又は両方についての検出条件を設定することが考えられる。
例えばスポーツやアクティビティとしての種別を判定し、それに応じて第1ステートのトリガ、第2ステートのトリガを設定する。
上記した本技術に係る撮像制御装置においては、前記状態検出部は、前記第1検出として複数の検出条件を設定し、前記第1検出で第1ステートを検出した際の検出条件種別に応じて、前記第2検出の検出条件を設定することが考えられる。
第1ステートを検出した際の検出条件が多様であるとした場合に、第1ステートを検出した際の検出条件に応じて、第2ステートの検出条件を選択する。
本技術に係る撮像制御方法は、撮像装置を制御する撮像制御装置の撮像制御方法として、撮像環境が第1ステートになること検出する第1検出手順と、前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示する第1指示手順と、前記第1ステートから第2ステートになることを検出する第2検出手順と、前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示する第2指示手順と、を備える。
この撮像制御方法により撮像装置の動作を撮像環境に応じて的確に制御できる。
本技術に係るプログラムは、以上の各手順を演算処理装置に実行させるプログラムである。このプログラムにより本開示の技術を実行する装置を広く実現することができる。
本技術によれば、使用中の操作が困難な状況で使用される機器などにおいて、使用者の状況等の撮像環境の変化に応じて望ましい撮像動作を撮像装置に実行させることができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
本技術の第1の実施の形態の撮像制御装置の構成のブロック図である。 第1の実施の形態の撮像制御装置の処理のフローチャートである。 実施の形態の撮像装置、遠隔制御装置の外観の説明図である。 実施の形態の撮像装置のブロック図である。 実施の形態の遠隔制御装置のブロック図である。 実施の形態の合焦領域判定の説明図である。 実施の形態の動きベクトル検出の説明図である。 第2の実施の形態の撮像装置の動作例の説明図である。 実施の形態の撮像装置のバファリングの説明図である。 実施の形態の撮像装置又は遠隔制御装置のステート検出手法の説明図である。 第2の実施の形態のステート検出例の説明図である。 第2の実施の形態の全体処理のフローチャートである。 第2の実施の形態の第1ステート検出処理のフローチャートである。 第2の実施の形態の第2ステート検出処理のフローチャートである。 第2の実施の形態の第2ステート検出処理の他の例のフローチャートである。 第3の実施の形態の撮像装置の動作例の説明図である。 第3の実施の形態のステート検出例の説明図である。 第3の実施の形態の全体処理のフローチャートである。 第3の実施の形態のステート検出処理のフローチャートである。 第4の実施の形態の撮像装置の動作例の説明図である。 第4の実施の形態のバファリング及びエンコード動作の説明図である。 第5の実施の形態のステート検出処理の説明図である。 第5の実施の形態の全体処理のフローチャートである。 第6の実施の形態の説明図である。 第7の実施の形態のステート検出条件の設定処理のフローチャートである。
以下、実施の形態を次の順序で説明する。
<1.第1の実施の形態の撮像制御装置>
<2.撮像装置及び遠隔制御装置>
<3.第2の実施の形態>
<4.第3の実施の形態>
<5.第4の実施の形態>
<6.第5の実施の形態>
<7.第6の実施の形態>
<8.第7の実施の形態>
<9.まとめ及び変形例>
<1.第1の実施の形態の撮像制御装置>
図1により第1の実施の形態の撮像制御装置1と、その制御対象となる構成を説明する。
図1では撮像制御装置1と撮像装置10を示している。
撮像制御装置1は、単体の機器として構成されてもよいし、撮像装置10に内蔵されてもよい。また撮像制御装置1は撮像装置10と通信可能な機器に内蔵されてもよい。撮像装置10と通信可能な機器の一例としては、後述する遠隔制御装置(リモートコントローラ等)があるが、通信可能な機器としては他にも画像再生装置、画像記録装置、画像編集装置、情報処理装置その他の各種の機器が想定される。
図1の例では、撮像装置10は撮像部2、撮像信号処理部3、表示部4、記録部5、通信部6を有する。
撮像部2は被写体光を光電変換し、撮像画像データDTを得る。
撮像信号処理部3は撮像画像データDTに対して各種の信号処理を行う。
表示部4はユーザインターフェースのための文字や画像の表示、撮像画像(スルー画)の表示、再生画の表示などに用いられる。後述するアクションカメラ等としての撮像装置の場合、表示部4は設けられないこともある。
記録部5は撮像画像としての動画データ又は静止画データを記録する。
通信部6は動画データ、静止画データ、或いは他の付随情報を外部機器に送信する。
センサ部7は、撮像制御装置1に検出情報を供給できる部位としている。特にセンサ部7は撮像環境(ステート)の判断のための検出情報を撮像制御装置1に供給する。
センサ部7は撮像装置10に内蔵されてもよいし、撮像制御装置1に内蔵されてもよい。どのような形態であれ、検出情報を撮像制御装置1に送信できればよい。
実施の形態に係る撮像制御装置1は、一例として撮像装置10その他の機器に内蔵されるマイクロコンピュータ等により実現されることが考えられる。或いは撮像制御装置1はパーソナルコンピュータや携帯端末(例えばスマートフォン、タブレット端末)等の情報処理装置においてソフトウエア(アプリケーションプログラム)により実現される。
いずれにしても撮像制御装置1は、図示するように状態検出部1a、モード処理指示部1bとしての機能を有する。
状態検出部1aは、撮像環境が第1ステートとなること検出する第1検出と、第1ステートから第2ステートになることを検出する第2検出とを行う。
モード処理指示部1bは、第1ステートの検出に基づいて撮像装置10に第1モードの撮像処理動作を指示し、また第2ステートの検出に基づいて、撮像装置10に第2モードの撮像処理動作を指示する。
即ち第1ステート、第2ステート毎に所定の撮像処理動作を設定しておき、状態検出部1aが検出したステートに応じてモード処理指示部1bが制御を行う。ただし、第2ステートとは、第1ステートに移行した後の撮像環境である。
そして第1ステートが検出された場合、モード処理指示部1bは、その検出時点、もしくはその後の時点で、例えば撮像信号処理部3に第1モードの指示を行い、第2ステートが検出された場合、モード処理指示部1bは、その検出時点やその後の所定の時点で撮像信号処理部3に対して第2モードの指示を行う。
ここで「撮像環境」とは、撮像装置、又は撮像装置を遠隔制御する遠隔制御装置についての使用中の被装着体又は被写体の状況・状態(例えば動作状態)をいう。具体的には、撮像装置や遠隔制御装置を使用する人、装着した人、装着した動物、装着した物体の状況、状態である。さらには撮像装置の被写体の状況、状態も含まれる。
このような撮像環境、つまり被装着者、被装着体、被写体の状況としての撮像環境について、或る状態を「第1ステート」「第2ステート」とする。
但しこの「ステート」は撮像装置10内の撮像処理動作についての動作状態を意味するものではない。撮像処理動作とは、撮像部1や撮像信号処理部3が行う処理、例えば撮像画像データDTの生成処理、撮像画像データDTに対する各種信号処理、撮像画像データDTの転送、送信、記録等に関する処理である。
一方「モード」は撮像装置10における以上の例のような撮像処理動作としての動作が異なる状態を指す。
図2に撮像制御装置1、即ち状態検出部1a及びモード処理指示部1bの機能による処理例を示す。
ステップS1で撮像制御装置1はセンサ部7の検出情報において、撮像環境が第1ステートに至ったと判定するトリガ(第1ステートとしての所定の検出条件を満たす信号もしくは値)が得られたか否かを判断する。
第1ステート判定のトリガが検出されない場合は、ステップS3に進み、現在第1ステートに至っていなければ、図2の処理を終え、ステップS1に戻る。
撮像制御装置1は第1ステートと判定するトリガが得られた場合は、第1ステートとなったことが検出されたとしてステップS2に進み、撮像装置10に対して第1モードの処理を指示する。
第1ステートに至ったと判定した後は、撮像制御装置1はステップS3からS4に進み、撮像環境が第2ステートに至ったと判定するトリガ(第2ステートとしての所定の検出条件を満たす信号もしくは値)が得られたか否かを判断する。第2ステート判定のトリガが得られていないときは、そのまま処理を終え、ステップS1に戻る。従って第1ステートの期間は、ステップS4の第2ステート判定を継続する。
撮像制御装置1は第2ステート判定のトリガが得られた場合は、第1ステートから第2ステートに至ったと判断し、ステップS4からS5に進み、撮像装置10に対して第2モードの処理を指示する。
この図2のように、撮像制御装置1は、撮像環境が第1ステートになること検出する第1検出手順(S1)と、第1ステートの検出に基づいて第1モードの撮像処理動作を指示する第1指示手順(S2)を行う。また第1ステートから第2ステートになることを検出する第2検出手順(S3,S4)と、第2ステートの検出に基づいて第2モードの撮像処理動作を指示する第2指示手順(S5)を行う。
この構成により撮像環境の変化に応じた撮像処理動作が実行される。即ち撮像環境が第1ステートに至った後に、第2ステートに至るという条件下での撮像処理動作を自動的に行うことができる。これにより撮像に関する使用性、操作性を向上させることができる。
より具体的な実施の形態を以下で説明していく。
<2.撮像装置及び遠隔制御装置>
以下では、図3に示すような撮像装置10単体、或いは撮像装置10と遠隔制御装置50を使用する例として実施の形態を説明する。
上述のように近年、耐衝撃性・耐水性を持った“アクションカメラ“と呼ばれるジャンルのカメラが登場しており、マウントを介して身に着けて使用することで多様なアングルや状況での撮像が可能とされている。
図3にアクションカメラと呼ばれる撮像装置10の一例を示している。この撮像装置10は小型軽量とされ、対応するマウント用アタッチメント等を利用して、ユーザの身体や衣服に装着したり、スポーツ、アクティビティ等で用いるギアに装着することができる。ここでいうギアとは、例えばスノーボード、サーフボード、スキー板、モータバイク、自転車、ラケット、ヘルメット、シューズ、ゴーグル、潜水器具等である。
このような撮像装置10をユーザが身体やギアに装着することで、ユーザがスポーツ、アクティビティ、遊技等の各種活動(以下「アクティビティ」と総称する)を行っている際の迫力のある映像を記録することができる。
また、撮像装置10を身体やギアに装着した状態によっては、撮像装置10の操作が困難な場合もある。そのため遠隔制御装置50が用意されている。遠隔制御装置50は図示のように、ベルト付きで腕や脚部に装着可能とされたり、スマートフォン等の携帯機器に実装されたり、ウォッチ型などとして装着できるようにされるものがある。
例えばアクティビティを実行する本人が、所持したり、腕等の操作可能な位置に装着した遠隔制御装置50を操作して、撮像装置10を制御することができる。
ところが、このようなアクションカメラの分野では、実際には多様な操作が困難となる事情がある。
このジャンルのカメラの多くは、耐衝撃性・耐水性などを保つために、超小型かつハウジング入りで使う前提であったり、ユーザの身体や物に装着して撮影するため、そもそも撮像画像の表示装置が搭載されていないものが多い。例えば図3に示す撮像装置10は表示部が存在しない。
仮に撮像画像の表示装置が搭載されてあったとしても、サイズ維持のため記録画質と比較して相当低い解像度・サイズ・品位の表示装置を使っており、どの辺りが写っているかが確認できる程度の役割しか持っていない。
また記録用ボタンなども旧来からの民生用ビデオカメラに比べて操作しづらい形状・配置となっていることが多い。
即ちユーザインターフェースとしての機能が充実していないことが余儀なくされている。
さらには、前述の通り身体への装身具、あるいはアクティビティを楽しむためのギア等といった部材に取り付けた状態で使用されることが多く、上記のユーザインターフェース上の理由と相まって録画開始・停止操作を、アクティビティを行っている人自身が行いづらい。
そのうえ、アクティビティの実行中は、ユーザはそのアクティビティ自体に集中するため、カメラ操作を失念することも多々ある。
以上の操作性の事情は、撮像装置10自体の操作のみならず、遠隔制御装置50を利用した操作に関しても、同様である。
また、このような操作性の事情は、撮像装置10の機能を有効に発揮できないことにもつながる。
従来、撮像記録時に通常のテレビフレームレートである例えば60fps(frames per second)以上の速さのフレームレートで撮像し、再生時にテレビフレームレートで再生することで高画質かつ印象的な映像表現が実現できるスローモーション記録再生機能(HFR記録)を備えた撮像装置が業務用を中心に存在していた。近年の技術の発展により民生用カメラでもこの撮像機能が登場している。上記の「アクションカメラ」と呼ばれる超小型カメラにおいても実現されつつある。例えばハイフレームレート(以下「HFR」と表記する)としては、960fps、240fpsでの撮像などが可能とされる。
このようなHFR撮像では、通常撮像よりも多くの記録領域を必要とすること、また視聴性、映像表現からいってその記録開始や記録停止のタイミングがとても重視される。
しかしながら上記した操作性の理由から、適切なタイミングでのHFR撮像が非常に困難である。結果的にユーザの希望するタイミングに対してずれたタイミングでの記録が開始・停止指示となってしまうことがとても多い。
記録タイミングについては遠隔制御装置50を使った操作も考えられるが、そもそもアクティビティの種類によっては遠隔制御装置50の利用さえも難しいというユースケースも多い。
また撮像開始のためにユーザは意識的に電源オン操作、録画開始操作を行うのだが、アクティビティ中に撮像動作状態が判りづらい上に、撮像を開始させた本人がアクティビティに夢中になっているうちに、希望する録画期間が終わったとしても、録画停止、電源オフ操作を忘れてしまいがちで結果的に無駄なメモリ消費、そしてバッテリの消費をしてしまうケースが非常に多い。そのため、いざ次の撮像を行おうと思った時にはメモリ不足が生じたり、バッテリ残量不足になっているといった事態となることも頻発する。
そこで実施の形態では、ユーザ自身がHFR録画タイミングを制御しなくても、あらかじめ定められた条件を検知した場合には自動的に記録開始・停止を行う撮像装置を提供することで、アクションカメラにおけるHFR記録を快適に実現する。
あるいはユーザ自身が録画停止・電源オフしなくても、あらかじめ定められた条件を検知した場合には自動的に録画停止、電源オフを行う撮像装置を提供することで、アクションカメラならではの不要メモリ消費、電源消費、あるいは電源・録画系の操作性にまつわる不満点を解消する。
実施の形態の撮像装置10の構成例を図4に示す。また遠隔制御装置50の構成例を図5に示す。
この撮像装置10や遠隔制御装置50としての実施の形態は、図1に示した撮像制御装置1としての構成(状態検出部1a、モード処理指示部1b)が、撮像装置10、遠隔制御装置50の一方又は両方に内蔵されている例とする。
図4の撮像装置10はいわゆるデジタルビデオカメラとされ、動画や静止画の撮像/記録を行う機器である。
撮像装置10は、光学系11、イメージャ12、光学系駆動部13、センサ部14、記録部15、無線通信部16、音声検出部17、電源部18、デジタル信号処理部20、コントローラ30、表示部34、操作部35を有する。
光学系11は、カバーレンズ、ズームレンズ、フォーカスレンズ等のレンズや絞り機構を備える。この光学系11により、被写体からの光がイメージャ12に集光される。
イメージャ12は、例えば、CMOS(Complementary Metal OxideSemiconductor)型、CCD(Charge Coupled Device)型などの撮像素子を有する。
このイメージャ12では、撮像素子での光電変換で得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号(撮像画像データDT)を、後段のデジタル信号処理部20に出力する。
光学系駆動部13は、コントローラ30の制御に基づいて、光学系11におけるフォーカスレンズを駆動し、フォーカス動作を実行する。また光学系駆動部13は、コントローラ30の制御に基づいて、光学系11における絞り機構を駆動し、露光調整を実行する。さらに光学系駆動部13は、コントローラ30の制御に基づいて、光学系11におけるズームレンズを駆動し、ズーム動作を実行する。
なおフォーカスレンズは、撮像画像の合焦状態検出に応じてコントローラ30が光学系駆動部13の動作を制御するオートフォーカスとしての駆動が行われる他、ユーザのフォーカス操作子の操作に応じてコントローラ30が光学系駆動部13の動作を制御するマニュアルフォーカスとしての駆動も行われる。
デジタル信号処理部20は、例えばDSP(Digital Signal Processor)等により画像処理プロセッサとして構成される。このデジタル信号処理部20は、イメージャ12からのデジタル信号(撮像画像データDT)に対して、各種の信号処理を施す。
例えばデジタル信号処理部20は、カメラ信号処理部21、解像度変換部22、コーデック部23、カメラ制御用検波処理部24、内蔵メモリ25、メモリコントローラ26等を備えている。
カメラ信号処理部21は、イメージャ12からの撮像画像データDTに対して、R,G,Bの黒レベルを所定のレベルにクランプするクランプ処理や、R,G,Bの色チャンネル間の補正処理等を施す。またカメラ信号処理部21は、R,G,Bの画像データから、輝度(Y)信号および色(C)信号を生成(分離)する。
解像度変換部22は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
コーデック部23は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。
カメラ制御用検波処理部24は、オートフォーカス制御やオートアイリス制御等のための検波処理や、後述するステート判定その他のための画像解析等を行う。
例えばオートフォーカス制御のためには、カメラ制御用検波処理部24は、撮像画像データDT、例えばカメラ信号処理部21の処理過程又は処理を経た撮像画像データDTを入力し、この撮像画像データDTとしての1フレーム内で、合焦領域と非合焦領域を識別し、合焦領域を示す合焦領域情報をコントローラ30に出力する。
具体的にはカメラ制御用検波処理部24は、例えば図6Aのように1つのフレームFRの撮像画像データDTを多数の領域に分割する。図示する例はあくまでも説明上の一例であるが、例えば領域w1〜w36のように各領域を設定する。実際の領域分割数は適宜適切に設定されればよい。
そして各領域w1〜w36について、それぞれが合焦領域か非合焦領域かを判定する。
例えば1つの領域w(n)について、図6Bのような処理を行う。即ち領域w(n)を構成する各画素データについて、Y生成部41から積分器46までの処理を行う。
Y生成部41では簡易的にY信号を生成する。そして生成したY信号についてHPF(ハイパスフィルタ)42で高域抽出を行い、さらに絶対値化部43で絶対値化する。即ち高域成分を絶対値として抽出する。そしてコアリング部44で高域成分ノイズ除去を、さらにリミッタ45でリミッタ処理を行った後、積分器46で積分処理を行う。
つまり、各領域w(n)について、その領域w(n)を構成する画素データの高域成分を積算していき、その結果として評価値CSを得る。合焦領域ではエッジ成分が顕著に表れることで高域成分の積算値としての評価値CSが高い値となる。従って評価値CSを所定の合焦領域判定閾値と比較することで、その領域w(n)が合焦領域か非合焦領域かの判定情報が得られることになる。
カメラ制御用検波処理部24は例えばこのように、各領域w1〜w36についてそれぞれ合焦領域か非合焦領域かの判定を行い、判定結果としての合焦領域情報をコントローラ30に出力する。
なお、合焦領域の判定は、方形の領域毎ではなく、例えば円形、多角形などの領域や、不定形領域を設定して行ってもよい。
以上はフォーカス制御のための処理であるが、露出制御のためにカメラ制御用検波処理部24は、図6Aの各領域w1〜w36のそれぞれについて、輝度を積分した値を算出する。
またカメラ制御用検波処理部24はホワイトバランス調整のためには、図6Aの各領域w1〜w36のそれぞれについて、R、G、B信号別に積分した値を算出する。
またカメラ制御用検波処理部24は、画像における動きベクトルの検出も行う。
例えばブロックマッチングを用いて2フレーム間の動きベクトルを検出する。2フレーム間の動きベクトルを検出するに当たって、元フレームについて、複数個のターゲットフレームを設定して、その複数個のターゲットフレームのそれぞれについてブロックマッチングを施す。
一例として、元フレームに、例えば16個のターゲットブロックTGi(i=1,2,・・・,16)を設定し、参照フレーム102には、図7に示すように、元フレームの16個のターゲットブロックに対応する16個の射影イメージ104i(i=1,2,・・・,16)を設定する。そして、それぞれの射影イメージに対するサーチ範囲105i(i=1,2,・・・,16)を設定し、それぞれのサーチ範囲105i(i=1,2,・・・,16)において、対応するターゲットブロックについてのSADテーブルTBLi(i=1,2,・・・,16)を作成する。
そして、作成した16個のターゲットブロックのSADテーブルTBLiについて、図7に示すように、16個のSADテーブルTBLiを重ね合わせるように縦方向に並べたときに、SADテーブルTBLiのそれぞれを求めるサーチ範囲内で互いに対応する参照ブロック位置のSAD値を合算し、合算差分絶対値和(合算SAD値という)を求める。そして、その合算SAD値からなるSADテーブルとして、一つのサーチ範囲内の複数参照ブロック位置分についての合算SADテーブルSUM_TBLを生成する。
ここで、合算SADテーブルSUM_TBLの座標位置(x,y)の合算SAD値SUM_TBL(x,y)は、各SADテーブルTBLiの対応する座標位置(x,y)のSAD値をTBLi(x,y)とすると、
SUM_TBL(x,y)=TBL1(x,y)+TBL2(x,y)+・・・
+TBL16(x,y)
=ΣTBLi(x,y)
となる。
そして、合算SADテーブルSUM_TBLから、元画面に対する参照画面の動きベクトル(グローバル動きベクトル;撮像装置における手ぶれベクトルとなる)を検出する。
合算SADテーブルSUM_TBLからグローバル動きベクトルを算出する方法としては、合算SADテーブルSUM_TBLにおいて合算SAD値の最小値の位置を検出し、その検出した合算SAD値の最小値位置に対応する参照ベクトルを、グローバル動きベクトルとして検出する従来の方法を用いることができる。
しかし、この最小値の合算SAD値を用いる方法では、1画素単位の精度の動きベクトルしか得られないので、例えば合算SAD値の最小値位置の合算SAD値およびその近傍の複数個の合算SAD値を用いて、近似曲面補間を行うことで、グローバル動きベクトルを検出することが考えられる。すなわち、合算SAD値の最小値位置の合算SAD値およびその近傍の複数個の合算SAD値を用いて、近似高次曲面を生成し、その近似高次曲面の極小値位置を検出することで、1画素単位以下の小数点精度で、グローバル動きベクトルを検出する。
図4に戻って、デジタル信号処理部20における内蔵メモリ25は、例えばカメラ信号処理部21の処理を経た撮像画像データDTとしてのフレームデータのバファリングを行う記憶領域とされる。内蔵メモリ25は、例えばD−RAM(Dynamic Random Access Memory)、S−RAM(Static Random Access Memory)、NV−RAM(Non-Volatile RAM)等の半導体メモリとして形成される。この内蔵メモリ25を用いたバファリングについては後述する。
メモリコントローラ26は、内蔵メモリ25に対するデータの書き込み//読み出しを制御する。例えばデータ転送の制御や、ライトポインタ、リードポインタ等による書込/読出アドレスの管理等を行う。
コントローラ30は、CPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)、フラッシュメモリなどを備えたマイクロコンピュータ(演算処理装置)により構成される。
CPUがROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置10全体を統括的に制御する。
RAMは、CPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。本例においては特に、ステート検出及びそれに応じたモード制御のための処理を実行するためのプログラムも記憶される。
このようなコントローラ30は、デジタル信号処理部20における各種信号処理の指示、ユーザの操作に応じた撮像動作や記録動作、記録した画像ファイルの再生動作、ズーム、フォーカス、露光調整等のカメラ動作、ユーザインターフェース動作等について、必要各部の動作を制御する。
また本実施の形態の場合、コントローラ30は、状態検出部1a、モード処理指示部1bとしての機能を備える。即ち図1で説明した撮像制御装置1としての機能である。
表示部34はユーザ(撮像者等)に対して各種表示を行う表示部であり、例えば撮像装置10の筐体上に形成されるLCD(Liquid Crystal Display)や有機EL(Electro-Luminescence)ディスプレイ等のディスプレイデバイスを有して形成される。なお、いわゆるビューファインダーの形態で、LCDや有機ELディスプレイ等を用いて形成されてもよい。
なお、上述のアクションカメラとしての撮像装置10の場合、表示部34は設けられないことが多い。
撮像装置10に表示部34が設けられる場合、表示部34は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、コントローラ30の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、デジタル信号処理部20からの表示データ(例えば解像度変換された撮像画像データ)に応じて、記録待機中や記録中に撮像される各フレームの撮像画像データによる動画としてのスルー画をディスプレイデバイスの画面上に表示させる。
また表示ドライバはコントローラ30の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
操作部35は、ユーザの操作を入力する入力機能を有し、入力された操作に応じた信号をコントローラ30へ送る。
この操作部35としては、例えば撮像装置10の筐体上に設けられた各種操作子や、タッチパッド、表示部34に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン(レリーズボタン)、フォーカスリング等が考えられる。
またタッチパネルと表示部34に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
或いはタッチパッド等によりユーザのタップ操作を検出する形態もある。
但し、上述のアクションカメラとしての撮像装置10の場合、操作部35として十分な操作キー等を配置することは困難であり、少数のキーやタッチパッド程度とされることが想定される。
記録部15は、例えば不揮発性メモリからなり、静止画データや動画データ等の画像ファイル(コンテンツファイル)や、画像ファイルの属性情報、サムネイル画像等を記憶する記憶領域として機能する。
画像ファイルは、例えばJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式で記憶される。
記録部15の実際の形態は多様に考えられる。例えば記録部15は、撮像装置10に内蔵されるフラッシュメモリでもよいし、撮像装置10に着脱できるメモリカード(例えば可搬型のフラッシュメモリ)と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置10に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
また、本例において撮像制御装置1(状態検出部1aとモード処理指示部1b)としての処理をコントローラ30に実行させるためのプログラムは、記録部15に記憶されてもよい。
無線通信部16は、外部機器との間の無線通信を行う。例えばWIFI(Wireless Fidelity)やブルートゥース等の無線通信規格等の通信方式による通信を行う。本例の場合、例えば遠隔制御装置50との間で通信を行うものとする。
なお、図示していないが、撮像装置10には、他にも外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う部位が設けられてもよい。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ(静止画ファイルや動画ファイル)の通信を行うようにしたり、ネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
音声検出部17は撮像装置10の周囲の音声を検出する。特には状態検出部1aが撮像環境としてのステート判定のための周囲音声検出を行う。
音声検出部17はマイクロホンにより形成されればよいが、より簡易には、対応する周波数帯域が狭い音圧感知素子などでもよい。
音声検出部17として専用のマイクロホン等を備えてもよいが、通常、撮像装置10には動画記録の際の音声集音のためのマイクロホンが搭載されている(図4では図示省略)。そこで録音音声集音用のマイクロホンをステート判定のための周囲音声検出を行う音声検出部17として兼用してもよい。
センサ部14は各種センサを包括的に示している。例えば手ぶれ、或いは撮像装置10の姿勢や移動(パン移動、チルト移動等)等、撮像装置10の全体の動きを検出するためのジャイロセンサ(角速度センサ)、加速度センサ等が設けられる。
また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部14として、光学系11におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
またセンサ部14として、メカアイリス(絞り機構)の開口量を検出するセンサが設けられる場合もある。
またセンサ部14としてGPS(Global Positioning System)受信器などの位置センサを設けることも考えられる。
さらにセンサ部14としては、重力センサ、光センサ、温度センサ、その他各種のセンサが考えられる。
センサ部14の各種センサは、それぞれ検出した情報をコントローラ30に伝達する。コントローラ30は、センサ部14で検出された情報を用いて各種制御を行うことができる。
コントローラ30の状態検出部1aは、センサ部14からの検出情報を撮像環境としてのステート判断に用いることができる。
続いて図5で遠隔制御装置50の構成例を説明する。
遠隔制御装置50は無線通信部51、デジタル信号処理部52、表示部53、操作部54、音声検出部55、センサ部56、コントローラ60を備える。
無線通信部51は撮像装置10の無線通信部16との間で無線通信を行う。無線通信部51、16間では、例えば制御データや撮像画像データの通信が行われる。
デジタル信号処理部52は、撮像装置10との無線通信により受信されたデータのデコードや表示用の処理などを行う。例えば撮像装置10から撮像画像データその他の情報が送信されてきた場合に、その撮像画像データについての表示のための処理を行い、表示部53で表示させる。
表示部53では、デジタル信号処理部52で処理された撮像画像の表示データや各種通知情報を表示する。例えば撮像装置10の動作状態等の表示も行う。
操作部54は各種操作子を示している。上述した撮像装置10の操作部35と同様に各種の操作子の態様が想定される。
コントローラ60は、遠隔制御装置50内の各種動作を制御する。主にコントローラ60は操作部54での操作内容に応じた指示信号(制御コマンド等)を無線通信部51から撮像装置10に送信する。撮像装置10のコントローラ30は、無線通信部16によって受信した指示信号を受け取ることで、遠隔制御装置50による操作に応じた処理を実行できる。
またコントローラ60も、図1で説明した撮像制御装置1としての機能、即ち状態検出部1a、モード処理指示部1bの機能を備えている。
音声検出部55は遠隔制御装置50の周囲の音声を検出する。特には状態検出部1aが撮像環境としてのステート判定のための周囲音声検出を行う。この音声検出部55もマイクロホン等により形成されればよい。
センサ部56は撮像装置10のセンサ部14で説明したものと同様に各種センサを包括的に示している。このセンサ部56の検出情報は、コントローラ60が状態検出部1aの機能により撮像環境(ステート)を判定するために用いる。
例えばセンサ部56としては、遠隔制御装置50に加わった衝撃や、遠隔制御装置50を装着したユーザ等の動きを検出するため振動センサ、ジャイロセンサ(角速度センサ)、加速度センサ等が設けられる。また外部照度を検出する照度センサ、温度センサ等が設けられてもよい。
さらには装着者の身体状況を検出する生体センサ(脈拍、発汗、体温、血圧等のセンサ)とされていてもよい。また位置センサが設けられてもよい。
<3.第2の実施の形態>
以上の撮像装置10や遠隔制御装置50を用いる場合として、第2の実施の形態の動作を説明する。
図8は第2の実施の形態で撮像装置10が行う動作を模式的に示している。これは第2ステートST2としての期間にHFR撮像記録を行う例とする。
なお、以下の各実施の形態の説明における撮像装置10のコントローラ30の処理は、状態検出部1a及びモード処理指示部1bとしての機能による処理である。
また以下はコントローラ30の処理として説明するが、その処理は、遠隔制御装置50におけるコントローラ60の処理としてもよい。その場合、コントローラ60は無線通信により撮像装置10のコントローラ30に指示信号を送信し、コントローラ30が受信した指示信号に応じてイメージャ12やデジタル信号処理部20の動作を制御することになる。
時点t1でコントローラ30が第1ステートST1としてのトリガ(所定の検出条件を満たす信号もしくは値)を検出したとする。この場合に、撮像装置10では、撮像画像データDTとしてHFRでのフレーム取り込み及びバファリングを開始する(図8A)。
そして第1ステートST1の検出後は、コントローラ30は第2ステートST2としてのトリガ(所定の検出条件を満たす信号もしくは値)を監視する。
時点t2においてコントローラ30は第2ステートST2としてのトリガを検知したとする。コントローラ30は、これに応じて、HFR撮像の記録範囲(記録する先頭フレームから最終フレームのタイミング)を設定し、さらに可能な時点で、デジタル信号処理部20に対して当該記録範囲の撮像画像データについて記録部15での記録のための処理を指示する。
例えばコントローラ30は、図8Bのように、第2ステートST2を検知した時点t2において得られたフレームより所定時間前の時点taのフレームから、一定時間TL後の時点tbまでの範囲のフレームを、HFR記録するフレームの範囲(記録範囲RL1)とする。
或いは、コントローラ30は、図8Cのように、第2ステートST2を検知した時点t2において得られたフレームから、一定時間TL後の時点tcまでの範囲のフレームを、HFR記録するフレームの範囲(記録範囲RL2)とする。
或いは、コントローラ30は、図8Dのように、第2ステートST2を検知した時点t2において得られたフレームを最終フレームとし、一定時間TL前の時点tdのフレームを先頭フレームとするように、HFR記録するフレーム範囲を設定する(記録範囲RL3)。
そしてコントローラ30は、所定の時点で、これらの記録範囲のフレームデータについて記録処理を実行させる。
例えばコントローラ30は図8Bのように記録範囲RL1を設定した場合、図8Eのように時点t2から記録処理を開始させてもよい。記録処理とは、バッファリングされたフレームデータを読み出して記録のためのエンコードを行い、記録部15に転送して記録媒体に記録させる処理である。或いは、記録範囲RL1についての記録処理は、図8Fのように記録範囲RL1のバファリングを終えた時点tbから開始させてもよい。
またコントローラ30は、例えば図8Cのように記録範囲RL2を設定した場合、図8Eのように時点t2から記録処理を開始させてもよい。つまりその時点からバファリングされたフレームを即座に読み出して記録処理に供する。或いは図8Fのように記録範囲RL2の途中までバファリングした時点tbから記録処理を開始させてもよいし、図8Gのように記録範囲RL2のバファリングを終えた時点tcから記録処理を開始させてもよい。
またコントローラ30は、例えば図8Dのように記録範囲RL3を設定した場合、すでに時点t2で記録範囲RL3のバファリングは完了しているので、図8Eのように時点t2から記録処理を開始させればよい。
図9は時点t1以降のバファリングの様子を示している。
図9Aは時点t1以降に撮像されるフレームを示している。例えば960bps等のHFRで各フレームを構成する撮像画像データDTが得られる。
内蔵メモリ25は上述のようにリングメモリ形態で使用される。図9BのようにアドレスAdSからアドレスAdEまでがバファリングエリアとされているとする。
撮像される各フレームは、順次アドレスAdS〜AdEの範囲に記憶されていく。あるフレームの記憶がアドレスAdEに達したら、次のフレームはアドレスAdSに記憶される。即ち、過去のフレームデータが上書きされながらバファリングされていく。
第2ステートST2が検知された時点t2のフレームデータが、図9Bの矢印で示すアドレスに記憶されたフレームであるとすると、上記した記録範囲RL1、RL2,RL3は図示するように内蔵メモリ25のアドレス範囲にバファリングされた(又はその後バファリングされる)フレーム範囲となる。
なおHFR記録において以上のようにバファリングを行い、その中である期間の撮像画像データについてのみ記録処理を行うことの理由の1つは、HFRのリアルタイム記録処理は処理負担が過大となることである。
例えば960fpsで撮像を行う場合、その各フレームをリアルタイムでエンコードして記録していくことは処理負担が大きい。そこで、バファリングされた中で記録処理することで、デジタル信号処理部20の負担を軽減している。
また第1ステートST1の検出に伴ってバファリングを開始し、第2ステートST2の検出に応じてHFRの記録範囲を設定するのは、第2ステートST2の検出時点において過去の時点を含めてHFR記録することができるようにしたり(記録範囲RL1やRL3)、或いは記録範囲RL2のように、その時点t2の瞬間のフレームを先頭とするときに頭切れが生じないようにするためである。
またバファリングを、内蔵メモリ25における所定範囲の領域をリングメモリとして用いて行うのは、あまり長い時間のフレーム範囲をバファリングする必要性が乏しいためである。上記のようにHFR記録は、通常レートでの再生時にスローモーション画像となる。そのためユーザにとっては、本当に重要な場面(スローモーションに適した場面)のみがHFR記録されればよいと通常考え、逆にあまり長時間のHFR録画は、再生時に冗長になるとしてユーザが欲しないことが想定されるためである。
また、リングメモリ形態とすることで、HFRのフレームデータのバファリングによってメモリ容量を圧迫されないようにする目的もある。
当然ながら、バファリングをアドレスAdS〜AdEの範囲で行うことで、記録範囲RL1〜RL3としての一定期間TLは、最大でバッファ容量で規定される期間(フレーム数)となる。
なお実施の形態の説明では一定時間TLをHFR記録するものとして説明するが、当然ながら、必ずしも一定時間TLとして記録する時間長を固定する必要はない。
また記録範囲RL(RL1,RL2,RL3等)の設定は、例えばフレームナンバの指定(フレームのタイムコードの指定)として行ってもよいし、バファリングしている内蔵メモリ25のアドレス範囲での指定として行ってもよい。
或いは、フレームに対応してタグを付加するようにしてもよい。
図8の例では、バファリングはユーザによってHFR撮像の終了の操作が行われる時点t5まで継続するようにしている。
例えば第2ステートST2とされた機会が複数回発生することもあり得るため、一旦第2ステートST2を検出し、さらに記録範囲RLとしての最終フレームまでバファリングを完了した後も、バファリングは継続するとよい。但し、もちろん記録範囲RLとしての最終フレームまでバファリングを完了した時点でバファリングを終了するという処理方式も考えられる。
第1ステートST1や第2ステートST2の判定のトリガについて各種例を説明する。
撮像環境としての第1ステートST1や第2ステートST2は、例えば撮像装置10や遠隔制御装置50を装着したユーザの状況である。例えばスノーボードやモータバイクで発進する状態を第1ステートST1、ある地点でジャンプする状態が第2ステートST2などとする。
少なくとも発進時は、ユーザは撮像に関する操作を行うことができる。例えば発進直前にタッピング操作を行うことなどは可能なため、これを第1ステートST1のトリガとしてもよい。しかし第2ステートST2(ジャンプに至った状態)では操作は困難である。そこで少なくとも第2ステートST2の検知のためのトリガは、ユーザの意識的な操作ではないものとすることが望ましい。もちろん発進した状態(第1ステートST1)を振動等により検知してもよい。
図10では、第1ステートST1や第2ステートST2の検知の例を示している。
図10Aは、予め登録した振動パタンの検出をトリガとする例である。
コントローラ30は、センサ部14におけるジャイロセンサや加速度センサの検出信号を検知する(PH1)。例えば5回のノッキングについての振動パタンが登録されているとするときに、検出信号として、5回の振動に応じた波形が得られたとする。
この検出信号についてAD(Analog to Digital)変換し(PH2)、さらにコアリング(ローパスフィルタ処理)や、閾値判定による2値パルス化処理等を行う(PH3)。そして得られた2値パルスの波形を登録された各種パタンと比較照合する(PH4)。例えば所定時間TRG内のパルス発生数やパルス間隔を比較し、類似しているパタンが存在するか否かを判定する。そして類似しているパタンが存在していることをステート検出のトリガとする。
例えばユーザが意識的に5回タッピングする動作を第1ステートST1検出のトリガと判定することが考えられる。
或いはアクティビティ開始時の特有の振動パタンを第1ステートST1検出のトリガとしたり、アクティビティの過程の特有の振動パタンを第2ステートST2検出のトリガとすることが考えられる。
図10Bは、予め登録した音声パタンの検出をトリガとする例である。
コントローラ30は音声検出部17としてのマイクロホンからの音声信号を入力する(PH11)。そして当該音声信号をAD変換し(PH12)、デジタルデータ化した状態で音声認識処理を行う(PH13)。そして音声認識処理でキーワード抽出を行い、抽出したキーワードが予め登録した音声パタンとマッチングして、一致(又は類似)しているか否かを判定する(PH14)。一致又は類似する音声パタンが存在することをステート検出のトリガとする。
例えば「Let’s Go」等のユーザが発声した際の音声パタンを第1ステートST1のトリガと判定することが考えられる。
またアクティビティ開始時の特有の音声パタンを第1ステートST1検出のトリガとしたり、アクティビティの過程の特有の音声(ユーザのかけ声、ジャンプ等の特定の状態で得られる周囲音声、歓声等)を第2ステートST2検出のトリガとすることが考えられる。
図10Cは、予め登録したジェスチャの検出をトリガとする例である。
例えばコントローラ30は、センサ部14におけるジャイロセンサや加速度センサの検出信号を検知する(PH21)。この検出信号についてAD変換し(PH22)、デジタルデータ化した状態でジェスチャ解析を行う(PH23)。即ち、ジェスチャに伴って生ずる振動のパタンを解析する。そして予め登録してある各種ジェスチャに応じた振動パタンとマッチングして、一致(又は類似)しているパタンが存在するか否かを判定する(PH24)。一致又は類似するパタンが存在することをステート検出のトリガとする。
また、画像からジェスチャを検知してもよい。コントローラ30はイメージャ12で撮像されデジタル信号処理部20で処理される各フレームデータを取り込む(PH31)。そして各フレームデータから被写体となっているジェスチャを解析する(PH32)。そして解析したジェスチャのパタンを、予め登録してある各種ジェスチャパタンとマッチングして、一致(又は類似)しているパタンが存在するか否かを判定する(PH33)。一致又は類似するパタンが存在することをステート検出のトリガとする。
例えばユーザが撮像装置10の被写体として映り込むようにして行った手や腕の特定の動作等を第1ステートST1検出のトリガとすることが考えられる。またアクティビティ開始時の特有のジェスチャ(例えばスタートのポーズなど)を第1ステートST1検出のトリガとしたり、アクティビティの過程の特有のジェスチャ(ジャンプ姿勢等)を第2ステートST2検出のトリガとすることが考えられる。
以上は一例である。第1ステートST1や第2ステートST2としての判定のトリガは、他にも考えられる。上記も含めて各種例示すると、撮像装置10或いは遠隔制御装置50に加わる事象として検知できるトリガとしては、
・所定パタンの振動の検知
・所定パタンの音(音声)の検知
・所定パタンのジェスチャの検知
・所定領域内への進入の検知
・遠隔制御装置50とのWIFI等の無線接続の切断の検知
等が考えられる。
所定領域内への進入とは、撮像装置10又は遠隔制御装置50を装着するユーザなどが或るエリアに進入したことを検知して、第1又は第2ステート検出を行うことである。例えばスキー、レース等で特定の場所の走行中であることを第2ステートST2とするなどが想定される。
遠隔制御装置50とのWIFI等の無線接続の切断の検知とは、撮像装置10と遠隔制御装置50との通信切断により、状況が変化したことを検知するものである。無線通信が切断するのは、撮像装置10と遠隔制御装置50との距離が離れた状況である。このような状況を或るステートとする。
また、撮像装置10が撮像しているシーン(被写体)の状態によるトリガとして
・所定パタンのオートアイリス制御用検波値変化の検知
・所定パタンのオートホワイトバランス制御用検波値の変動検知
・所定パタンの画面内動きベクトル(グローバルベクトル)の変動検知
・所定パタンのジェスチャ検知
などが考えられる。
アイリス状態、ホワイトバランス状態の制御値の変化によっては、被写体の大きな変化を検知することができる。例えばアクティビティ中のジャンプによって被写体が地上の周囲風景から空一面に切り替わるような状態である。
また画面内のグローバルベクトルの変動とは、被写体の全体的な動きを表すため、グローバルベクトルを監視することで被写体の大きな変化を生じたことが検知できる。
図11でステート判定の具体例を説明する。
図11Aはセンサ部14による検出信号に基づく検波値の推移を示している。また図11Bは検波値を微分及びコアリングした信号値SJ、図11Cは信号値SJに基づくカウント制御フラグCTF、図11Dはステート判定のためのカウンタのカウント値CJを示している。
閾値範囲sjTHは信号値SJについての安定/変動の判定のための閾値範囲である。
カウント制御フラグCTFは、信号値SJが閾値範囲sjTHの範囲内、つまり安定しているとする範囲内のときに“1”、閾値範囲sjTHを越えた場合、つまり大きく変動しているときに“0”とするフラグである。
カウンタ値CJは、カウント制御フラグCTFが“0”のときにカウントアップされ、カウント制御フラグCTFが“1”のときにリセットされるカウンタのカウント値である。
図11Eは第1ステート判定タイミングを示している。このタイミングはHFR撮像及びバファリングを開始するタイミングとなる。
図11Fは第2ステート判定タイミングを示している。これはバファリングしたフレームデータのうちの記録範囲の設定及び記録処理が可能となるタイミングを示したものである。
ここではモータバイクのオフロード走行を行うユーザが撮像装置10又は遠隔制御装置50を装着しており、コントローラ30(又はコントローラ60)が振動の検出信号によりステート判断を行う例で説明する。
時点t0において撮像装置10(或いはさらに遠隔制御装置50)が電源オンとされたとする。コントローラ30にとっては時点t0からセンサ部14の検出信号を取り込んで検波値を監視可能となる。
時点t1に、ユーザのタッピング操作パタンが検出されたり、バイク発車時の振動パタンが検出されたとする。コントローラ30はこれにより第1ステートST1になったと判断し、HFR撮像及びバファリングを開始させる。
時点t1以降は、コントローラ60は第2ステートST2に至ったか否かの判定を行う。この判定は、カウント値CJがカウント閾値rTHを越えたことを条件とするものとする(換言すればCJ>rTHをトリガとして第2ステートST2の判定を行う)。
振動の検波値としてはバイク走行時の振動に応じて大きな変動が観測される。このためカウント値CJはリセットが繰り返され、閾値rTHに達しない状態が続く。
ある時点tjでバイクがジャンプしたとする。空中にある間、振動の検波値としては、ある値に張り付くような状態が観測される。そして検波値の変動がほとんど無くなることから微分値の変化が小さくなり、信号値SJが安定する。これによってカウント値CJのリセットがある程度の時間行われず、時点t2でカウント値CJが閾値rTHを越えたとする。
コントローラ30は、この時点t2において第1ステートST1から第2ステートST2に至ったと判定する。そしてこのタイミング以降に第2モードの処理を指示する。具体的には、例えば図8Bのように時点t2で一定時間TLの記録範囲RL1を設定する。図11では、時点tjから時点t4までの一定時間TLが記録範囲とされた例を示している。そしてコントローラ30はその後所定の時点でデジタル信号処理部20にHFR記録処理を開始させる。
バイクが着地した時点t4以降では、再び大きな振動が加わることで信号SJの変化が大きくなり、カウント値CJはリセットが繰り返される状態となる。
例えばこのような処理としてコントローラ30がステート判断を行い、撮像動作処理のモード制御を行うようにした処理例を図12、図13、図14、図15で説明する。
図12はコントローラ30の撮像制御装置1としての機能(状態検出部1a及びモード処理指示部1b)による全体処理を示している。
コントローラ30は、この図12の処理をフレームタイミング毎に繰り返す。
コントローラ30は、ステップS101で本機能(撮像制御装置1としての機能)がオンであるか否かを確認する。状態検出部1a及びモード処理指示部1bによる本機能は、例えばユーザが所定の操作により機能オン/オフを選択できるものとする。
機能オフとされている期間は、コントローラ30は常にステップS102の処理のみを行って図12の1回の処理を終える。
ステップS102では、HFR撮像指示フラグFbのオフ(“0”)、HFR記録指示フラグFrをオフ(“0”)、第1ステート検出フラグF1のオフ(“0”)、第2ステート検出フラグF2のオフ(“0”)を行う。
HFR撮像指示フラグFbは、第1ステート検出に伴った第1モードの撮像処理動作の指示が可能な状態(もしくは指示すべき状態)を示すフラグである。コントローラ30は、HFR撮像指示フラグFbがオン(“1”)となることに応じて第1モード動作の指示制御、具体的にはHFRでの撮像及びバファリングの指示を行う。
HFR記録指示フラグFrは、第2ステート検出に伴った第2モードの撮像処理動作の指示が可能な状態(もしくは指示すべき状態)を示すフラグである。コントローラ30は、HFR記録指示フラグFrがオン(“1”)となることに応じて所定のタイミングで第2モード動作の指示制御、具体的にはHFR撮像データの記録範囲の設定及び記録処理の指示を行う。
第1ステート検出フラグF1は、第1ステートST1の検出状態を示すフラグであり、第1ステート検出に応じてオン(“1”)とされる。
第2ステート検出フラグF2は、第2ステートST2の検出状態を示すフラグであり、第2ステート検出に応じてオン(“1”)とされる。
撮像制御装置1としての機能オンが選択されているときは、コントローラ30はステップS103に進み、第1ステートST1が検出済みであるか否かを確認する。即ち第1ステート検出フラグF1=1であるか否かを確認する。
第1ステート検出フラグF1=0であって第1ステート未検出の状態であれば、コントローラ30はステップS104に進み、第1ステート検出処理を行う。例えば図11の時点t0〜t1は、このステップS104の処理を行うことになる。
第1ステート検出処理の例を図13に示す。
コントローラ30はセンサ部14の検出信号や音声検出部17からの入力音声信号、或いはイメージャ12による撮像画像データDTを対象に第1ステート検出処理を行う。一例として図13では、図10Aで説明したセンサ部14の検出信号を対象とする例を示している。
コントローラ30はまずステップS201で検波値を取得する。そしてステップS202で直流成分カットやノイズ平滑化のために検波値に対してフィルタ処理、例えばバンドパスフィルタによる帯域抽出処理を行う。さらにステップS203で微小振幅カットのためのコアリング処理を行い、ステップS204で閾値を用いた判定を行う。そしてコントローラ30はステップS205で、以上の処理で得られたパルスについて、所定時間内のパルスパタン(パルス発生数やパルス間隔)を、予め登録されているパルスパタンと比較する。
この比較の結果として、コントローラ30は、第1ステート検出フラグF1=0であって、かつ事前登録されているパタンと一致するパルスパタンが検出されたという条件が満たされなかったら、ステップS206からS209に進み、第1ステート検出フラグF1=0の状態を維持する。
上記の条件が満たされた場合は、コントローラ30は、ステップS206からS207に進み、第1ステート検出フラグF1=1とする。つまり第1ステートST1としてのトリガが検出されたとする。
以上の第1ステート検出処理によって第1ステートST1が検出され、第1ステート検出フラグF1=1となった後の図12の処理では、コントローラ30はステップS103からS105に進む。
この場合、さらにコントローラ30はHFR撮像指示フラグFb=1とする。これに伴ってコントローラ30は、第1モードの指示、即ちイメージャ12でHFR撮像の開始及びデジタル信号処理部20でのバファリング開始の指示を行う。図11では時点t1以降の状態となる。
そしてこの期間、コントローラ30はステップS106で第2ステート検出処理を行う。
第2ステート検出処理の例を図14に示す。ここでは図11で説明した動作に対応する処理例としている。
コントローラ30はまずステップS301でセンサ部14からの検出信号の検波値を取得する。そしてステップS302で直流成分カットやノイズ平滑化のために検波値に対してフィルタ処理、例えばバンドパスフィルタによる帯域抽出処理を行う。さらにステップS303で微小振幅カットのためのコアリング処理を行う。以上の処理で得られるのが図11で述べた信号値SJとなる
コントローラ30はステップS304で信号値SJが閾値範囲sjTH以内であるか否かを確認する。そして信号値SJが閾値範囲sjTH内であればステップS305でカウント制御フラグCTF=1とし、信号値SJが閾値範囲sjTH内でなければステップS306でカウント制御フラグCTF=0とする。
続いてコントローラ30はステップS307で、カウント制御フラグCTFに応じて処理を分岐する。カウント制御フラグCTF=0のときは、ステップS308に進んでカウント値CJをカウントアップする。一方、カウント制御フラグCTF=1のときは、ステップS309に進んでカウント値CJをリセットする。
なおステップS309では、カウント値CJのカウントダウンを行うという処理例も考えられる。
次にコントローラ30はステップS310で、カウント値CJと閾値rTHを比較する。
CJ>rTHでなければ、ステップS312において、HFR記録指示フラグFr=0を維持するとともに、第2ステート検出フラグF2=0を維持する。
この場合、図12の処理はステップS107から1回の処理を終了することになる。
ステップS310の段階でCJ>rTHであれば、コントローラ30はステップS311において、HFR記録指示フラグFr=1とし、また第2ステート検出フラグF2=1とする。
HFR記録指示フラグFr=1に応じてコントローラ30は第2モードの指示を所定のタイミングで行う。例えばこの時点で、図8B、図8C、図8DのようにHFRでの記録範囲RL(RL1,RL2,RL3のいずれか)を設定する。
また図8E、図8F、図8Gのいずれかのタイミングで、バファリングされた記録範囲のフレームについてのHFR記録処理、具体的には記録用のエンコード処理や記録部15への転送をデジタル信号処理部20に実行させる制御を行う。(但し図12の処理例では記録範囲RLのバファリング完了後にステップS109で記録処理を指示する例としている。)
以上のように第2ステートST2を検出した後のフレームタイミングでの図12の処理では、第2ステート検出フラグF2=1となっているため、コントローラ30はステップS107からステップS108に進める。
ステップS108でコントローラ30は、一定時間TLの経過を確認する。この確認は、記録範囲RLして設定した先頭のフレームから一定時間TL後のフレームまでのバファリングが完了したか否かを確認する処理となる。つまり記録範囲RLとしての全フレームのバファリングを待機する処理である。
バファリングが完了していなければ、図12の処理を終える。
ある時点で記録範囲RLのバファリングが完了したときは、コントローラ30は図12の処理をステップS108からS109に進め、デジタル信号処理部20に対してHFR記録処理を指示する。つまりバファリングされた記録範囲RLのフレームについて、記録用のエンコード処理及び記録部15への転送をデジタル信号処理部20に実行させる。これにより、第2ステート検出時点から一定時間TLの期間のHFR映像が記録されることになる。
当該指示の後、コントローラ30はステップS110で第1ステート検出フラグF1=0、第2ステート検出フラグF2=0とする。
この場合、第1ステート検出フラグF1=0に応じてHFR撮像及びバファリングを停止させればよい。
或いは、第1ステート検出フラグF1=1を継続し、HFR撮像及びバファリングも継続する例も考えられる。その場合は、再び第2ステート検出が行われ、第2ステート検出に応じてHFR記録が実行されることになる。
なお、以上の処理例では、HFR記録指示フラグFr=1とした後に直ぐに記録処理を指示せず、バファリング完了を待機してからステップS109で記録処理を指示するようにしている。これは、例えば図8Bの記録範囲RL1を設定した場合に図8Fのタイミングで記録処理を実行させる例、或いは図8Cの記録範囲RL2を設定した場合に図8Gのタイミングで記録処理を実行させる例、さらには図8Dの記録範囲RL3設定した場合に図8Eのタイミングで記録処理を実行させる例に相当する。
これ以外に、例えば図8B又は図8Cのように記録範囲RL1又はRL2を設定し、図8Eのタイミングで即座に(バファリング完了を待たずに)記録処理を開始させてもよい。その場合コントローラ30は、図14のステップS311でHFR記録指示フラグFr=1とした時点で、すぐにデジタル信号処理部20に対して記録処理を指示するようにすればよい。
ところで第2ステート検出処理としての図14の例は、振動による判定のみの例で示したが、上述したように多様な検出態様で第2ステート検出を行うことができる。そこで複数の条件で第2ステート検出を行うことも考えられる。図15に複数の要素で検出を行う第2ステート検出処理の例を示す。
コントローラ30は例えばセンサ部14のジャイロセンサの出力の取得(S320−1)、カメラ制御用検波処理部24からのオートアイリス検波値の取得(S320−2)、カメラ制御用検波処理部24からのオートホワイトバランス検波値の取得(S320−3)等を並行して行う。
そして各検波値に対して処理Xを行う。処理Xとは図14に示したステップS302〜S309の処理(もしくはそれと同等の処理)である。
例えばジャイロセンサの検出信号について検波値について処理X(ステップS302〜S309)としての処理を行い、カウント値CJ1を得る(S321−1)。
またオートアイリス検波値や、オートホワイトバランス検波値についても処理Xと同等の処理を行い、カウント値CJ2,CJ3を得る(S321−2,S321−3)。
そしてステップS322でコントローラ30は、それぞれのカウント値CJ1,CJ2,CJ3を、それぞれ対応する閾値rTH1,rTH2,rTH3と比較する。閾値rTH1,rTH2,rTH3は、それぞれ各検出要素について、第2ステートST2としての特徴に応じて設定された値である。
コントローラ30は、例えばステップS322において、Cj1>rTH1、Cj2>rTH2、Cj3>rTH3の条件が全て揃えば、第2ステートと判断する(AND条件)。
或いは、いずれかが満たされれば第2ステートST2に至ったと判断してもよい(OR条件)。
さらには、全部でなくとも、一部(例えば3つのうち2つ)が満たされれば、第2ステートST2と判断することも考えられる。
コントローラ30は、ステップS322の条件が満たされないときはステップS324でHFR記録指示フラグFr=0を維持するとともに、第2ステート検出フラグF2=0を維持する。
一方、ステップS322の条件が満たされたら、コントローラ30はステップS323において、HFR記録指示フラグFr=1とし、また第2ステート検出フラグF2=1とする。
このように複数の検出要素を用いて第2ステートST2の検出を行うようにすることで、多様な状況に対応して第2ステート検出を行うことができる。
図15では3つの要素(振動、露光状態、色状態)を例示したが、もちろん上述した他の要素、例えば音、位置、動きベクトルなども加えてもよい。より多数の検出要素を用いることで、第2ステート検出の精度や多様性を調整できる。
例えばアンド条件により、第2ステート検出精度を向上できる。
またオア条件、複数条件の一部充足条件により、第2ステートST2としての多様な状態、状況に対応できる。
さらに、アクティビティの種別、或いは第2ステートST2としたい状態の選択に応じて、第2ステート検出条件を切り換えるようにしてもよい。例えばバイクやスノーボード等のジャンプシーン、フィギュアスケートの回転シーン、剣道の打ち込みのシーン、野球、テニス等の球技の打撃シーン、サッカーのキーパー視線のシュートボール接近シーンなど、アクティビティ種別やシーン種別によって、第2ステートST2としたい状況が異なる。そこで、第2ステートST2としたいシーンに合わせて、第2ステート検出条件を切り換えることができるようにするとよい。
また第1ステートST1の検出についても、ユーザ操作に応じたトリガだけでなく、アクティビティに特有の要素(振動パタンや音声等)トリガを用いてもよいし、複数の要素により判定してもよい。
以上、第2の実施の形態によれば、アクションカメラとしての撮像装置10や遠隔制御装置50の使用において、通常より備わっているデバイス群の利用のみで、追加的なハードウエアコスト無しに、ユーザ自身がHFR記録トリガ用ボタンを押下しなくても、あらかじめ定められた条件を検知した場合に自動的にHFR記録開始・停止を行う撮像装置10を提供できる。これにより、アクションカメラならではの記録操作性(特にHFR撮像)にまつわるユーザの不満を解消し、かつユーザにとって望ましい動画撮像が可能となる。
<4.第3の実施の形態>
第3の実施の形態の動作を説明する。図16は第3の実施の形態で撮像装置10が行う動作を模式的に示している。これは第2ステートST2としての期間にHFR撮像記録を行うまでは第2の実施の形態の図8と同様であるが、第3ステートST3に至ったことを検出することに応じて、HFR記録を終了させる(記録範囲RLの終点を決める)例である。
時点t1でコントローラ30が第1ステートST1としてのトリガを検出したとする。この場合に、撮像装置10では、撮像画像データDTとしてHFRでのフレーム取り込み及びバファリングを開始する(図16A)。そして第1ステートST1の検出後は、コントローラ30は第2ステートST2としてのトリガを監視する。
時点t2においてコントローラ30は第2ステートST2としてのトリガを検知したとする。コントローラ30は、これに応じて、HFR撮像の記録範囲RLの先頭フレームを設定する。この例ではまだ記録範囲RLとしての最終フレームは設定されない。
例えばコントローラ30は、図16Bのように、第2ステートST2を検知した時点t2において得られたフレームを、HFR記録する記録範囲RL4の先頭フレームとする。
或いは、コントローラ30は、図16Cのように、第2ステートST2を検知した時点t2において得られたフレームより所定時間前に得られたフレームを、HFR記録する記録範囲RL5の先頭フレームとする。
時点t2以降、コントローラ30は第3ステートST3に至ったか否かの検出を行う。
時点t3においてコントローラ30は第3ステートST3としてのトリガを検知したとすると、コントローラ30は、これに応じて、HFR撮像の記録範囲RLの最終フレームを設定する。
例えば時点t3のタイミングで撮像されたフレームを記録範囲RL(RL4又はRL5)の最終フレームとする。
コントローラ30は、第2ステートST2を検出した時点t2以降に、デジタル信号処理部20に対して当該記録範囲RLの撮像画像データについて記録部15での記録のための処理を指示する。
例えばコントローラ30は、図16Dのように時点t2から記録処理を開始させる。
或いはコントローラ30は、図16Eのように第3ステートST3の検出により最終フレームが決まった時点t3以後に、記録処理を開始させてもよい。
図16の例では、バファリングはユーザによってHFR撮像の終了の操作が行われる時点t6まで継続するようにしている。
例えば第3ステートST3を検知した後、再び第1ステートST1,第2ステートST2と進行することもあり得るため、第3ステートST3を検出し、記録範囲RLとしての最終フレームまでバファリングを完了した後も、バファリングは継続するとよい。但し、もちろんステートST3の検出時点でバファリングを終了するという処理方式も考えられる。
なお、第1ステートST1や第2ステートST2の判定のトリガについては第1の実施の形態と同様に各種考えられる。
また第3ステートST3の検出のトリガも、同様に各種考えられるが、第3ステートST3検出のトリガとしては、バファリング容量がフルになることが加わる。
これは、バファリングを図9で説明したようにリングメモリ形態で行うため、記録範囲RLとしては、最大でリングメモリ容量限度のフレーム数とするためである。
但し、HFR記録処理の速度とHFRの値にもよるが、上書きしてもよいアドレス領域、つまりすでに記録処理を終えたフレームをバファリングしていたメモリ範囲が存在する場合は、まだバッファフルとしない(第3ステートSTのトリガとしない)ような処理も考えられる。
図17でステート判定の具体例を説明する。
図17A、図17B、図17C、図17Dは、図11と同様に、センサ部14による検出信号に基づく検波値、検波値を微分及びコアリングした信号値SJ、信号値SJに基づくカウント制御フラグCTF、ステート判定のためのカウンタのカウント値CJを示している。
また図17Eは第1ステート判定タイミング、図17Fは第2ステート判定タイミング、図17Gは第3ステート判定タイミングを示している。図17では図11と同様にモータ
イクのオフロード走行のようなシーンを想定する。
時点t0〜t2は図11と同様である、
第1ステートST1となった時点t1以降に第2ステートST2に至ったか否かの判定処理を行い、時点t2でカウント値CJが閾値rTHに達したとする。
コントローラ30は、この時点t2において第1ステートST1から第2ステートST2に至ったと判定する。そして例えば図16Cのように記録範囲RL4を設定する。図11では、時点t2より所定時間TL2前の時点txのフレームを開始フレームとする。そしてコントローラ30はその後所定の時点でデジタル信号処理部20にHFR記録処理を開始させる。
バイクが着地した時点t3以降では、再び大きな振動が加わることで信号SJの変化が大きくなり、カウント値CJはリセットされる。
コントローラ30は、このようにカウント値CJがリセットされ、CJ<rTHとなることをトリガとして、第3ステートST3に至ったと判定する。そしてコントローラ30は、この時点t3のフレームを記録範囲RLの最終フレームと設定する。
例えばこのような処理としてコントローラ30がステート判断を行い、撮像動作処理のモード制御を行うようにした処理例を図18、図19で説明する。
図18はコントローラ30の撮像制御装置1としての機能(状態検出部1a及びモード処理指示部1b)による全体処理を示している。コントローラ30は、この図18の処理をフレームタイミング毎に繰り返す。
なお、図12と同一の処理は同一のステップ番号を付して詳細な説明を避ける。
コントローラ30は、ステップS101で本機能(撮像制御装置1としての機能)がオンであるか否かを確認する。機能オフとされている期間は、コントローラ30は常にステップS102Aの処理のみを行って図12の1回の処理を終える。
ステップS102Aでは、HFR撮像指示フラグFbのオフ(“0”)、HFR記録指示フラグFrをオフ(“0”)、HFR記録終了フラグFeのオフ(“0”)、第1ステート検出フラグF1のオフ(“0”)、第2ステート検出フラグF2のオフ(“0”)、第3ステート検出フラグF3のオフ(“0”)を行う。
HFR記録終了フラグFeはHFR記録範囲RLの終了フレームを指定するタイミングとなったことを示すフラグである。
第3ステート検出フラグF3は、第3ステートST3の検出状態を示すフラグであり、第3ステート検出状態においてオン(“1”)とされる。
撮像制御装置1としての機能オンが選択されているときは、コントローラ30はステップS103に進み、第1ステートST1が検出済みであるか否か、即ち第1ステート検出フラグF1=1であるか否かを確認する。第1ステート検出フラグF1=0であれば、コントローラ30はステップS104に進み、第1ステート検出処理(例えば図13の処理)を行う。
ステップS104の第1ステート検出処理によって第1ステートST1が検出され、第1ステート検出フラグF1=1となった後の図18の処理では、コントローラ30はステップS103からS105に進む。ここでコントローラ30はHFR撮像指示フラグFb=1とし、第1モードの指示、即ちイメージャ12でHFR撮像の開始及びデジタル信号処理部20でのバファリング開始の指示を行う。
そしてこの期間、コントローラ30はステップS106で第2ステート検出処理を行う。
第2ステートST2が検出されていない期間は、コントローラ30はステップS107から1回の処理を終える。
ステップS106で第2ステートが検出された場合は、第2ステート検出フラグF2=1とされる。その場合コントローラ30は、ステップS107からS120に進み、第3ステート検出処理を行う。
このステップS106、S107、S120の部分の詳しい処理を図19に示す。
ステップS106の第2ステート検出処理が図19のステップS301〜S312として行われる。この処理は図14と同様である。従って第2ステートST2としてのトリガが検出された場合、ステップS311でHFR記録フラグFr=1、第2ステート検出フラグF2=1とされる。
第2ステートST2が検出され、第2ステート検出フラグF2=1となった以後は、ステップS107からS120の第3ステート検出処理に進む。
この場合、図19に示すように、まずコントローラ30はステップS351で、HFR記録フラグFr=1であって、かつカウント値CJ<閾値rTHとなったか否かを確認する。つまりカウント値CJが閾値rTHを越えていた状態から、リセットされて閾値rTHより小さい値になったか否かを確認する。
この条件が満たされていないときは、コントローラ30はステップS352でバファリング容量がフル状態となっているか否かを確認する。つまり記録範囲RLの先頭フレームのバファリングを行ったアドレスを上書きしなければ次のフレームがバファリングできない状態であるか否かを確認する。
バファリング容量がフルでなければ、コントローラ30はステップS354に進み、HFR記録終了フラグFe=0を維持し、また第3ステート検出フラグF3=0を維持する。
この場合コントローラ30は、第3ステート検出フラグF3=0であるためステップS121から図18の1回の処理を終える。
ステップS351でカウント値CJ<閾値rTHとなった場合、もしくはステップS352でバファリング容量フルと判断した場合に、コントローラ30は第3ステートST3のトリガ発生と判断し、ステップS353へ進む。そしてHFR記録終了フラグFe=1、第3ステート検出フラグF3=1とする。
その場合、第3ステート検出フラグF3=1となることにより図18の処理はステップS121からS122に進むことになる。
ステップS122でコントローラ30は、記録範囲RLの最終フレームを特定し、またデジタル信号処理部20に対してHFR記録処理を指示する。つまりバファリングされた記録範囲RLのフレームについて、記録用のエンコード処理及び記録部15への転送をデジタル信号処理部20に実行させる。これにより、第2ステート検出時点から第3ステート検出時点までの期間のHFR映像が記録されることになる。
当該指示の後、コントローラ30はステップS123で第1ステート検出フラグF1=0、第2ステート検出フラグF2=0、第3ステート検出フラグF3=0とする。
この場合、第1ステート検出フラグF1=0に応じてHFR撮像及びバファリングを停止させればよい。
或いは、第1ステート検出フラグF1=1を継続し、HFR撮像及びバファリングも継続する例も考えられる。その場合は、再び第2ステート検出が行われ、第2ステート検出時点のフレームから、その後の第3ステート検出時点のフレームまでのHFR記録が実行されることになる。
なお、第3ステートST3の検出を行ってからステップS122で記録処理を指示するのは、例えば図16B又は図16Cの記録範囲RL4又はRL5について、図16Eのタイミングで記録処理を実行させる例に相当する。つまり図19のステップS311でHFR記録指示フラグFr=1とした時点で直ぐには記録処理を指示しない例である。
これ以外に、例えば記録範囲RL4又はRL5について、図16Dのタイミングで記録処理を開始させてもよい。つまり最終フレームの特定を待たずに記録処理を開始する。その場合コントローラ30は、図19のステップS311でHFR記録指示フラグFr=1とした時点で、すぐにデジタル信号処理部20に対して記録処理を指示するようにすればよい。
なお、この第3の実施の形態も、図15で説明したように複数の要素で第2ステート検出を行い、また第3ステートST3の検出も行うようにすることが考えられる。
さらに、アクティビティの種別、或いは第2ステート(HFR記録)を終了させたい状態の選択に応じて、第3ステート検出条件を切り換えるようにしてもよい。例えばバイクやスノーボード等のジャンプシーンにおける着地の状態、フィギュアスケートの回転シーンが終了したときのパタンなどを選択できるようにする。
また、HFR記録の終了タイミングを規定するという意味では、第3ステートST3の検出のトリガは、撮像装置10と遠隔制御装置50の無線通信状況を用いてもよい。即ち、ユーザがバイク等に撮像装置10を取り付け、腕時計型の遠隔制御装置50を装着している場合、WIFI等の近距離無線通信は通常継続される。ところがユーザがバイクから離れた場合は、WIFI通信が途絶えることになる。これはユーザにとってはもはや第2ステートST2としてHFR記録を行う状態ではないと判断できる。そこで、無線接続が解除されたことで、第3ステートST3に至ったと判断することも好適である。
また第1ステートST1の検出についても、多様なトリガ、或いは複数の要素から得られるトリガにより判定してもよい。
以上、第3の実施の形態によっても、アクションカメラとしての撮像装置10や遠隔制御装置50の使用において、特定のシーン等を、その特有の動作の終了タイミングまでの期間において、ユーザ自身が操作を行わなくともHFR記録ができるようになる。
第2の実施の形態は、第2ステートST2の開始から一定時間TLの期間がHFR記録されるものとしたが、その場合、アクティビティの特有のシーンが終了してからある程度HFR記録が続いてしまうこともある。第3の実施の形態では、終了タイミングがその動作状況に応じて規定されることで、動作に適した時間長の録画が可能となる。
<5.第4の実施の形態>
第4の実施の形態の動作を図20で説明する。
これは第2ステートST2でHFR記録を行うが、第1ステートST1の期間に通常記録を行うようにした例である。ここでいう通常記録とは、HFRよりも低い一般的なフレームレートでの撮像画像データDTの記録処理のことである。例えば60fpsの記録とする。
図20Aに示すように、第2,第3の実施の形態と同様に、コントローラ30は、第1ステートST1としてのトリガを検出した時点t1からHFR撮像を指示する。つまりイメージャ12及びデジタル信号処理部20では、撮像画像データDTとしてHFRでのフレーム取り込み及びバファリングを開始する。ただし本例の場合コントローラ30は、この時点t1でデジタル信号処理部20に通常記録の処理(記録用のエンコード及び記録部5への転送)も開始させる(図20B)。
そして第1ステートST1の検出後は、コントローラ30は第2ステートST2としてのトリガを監視する。
時点t2においてコントローラ30は第2ステートST2としてのトリガを検知したとする。コントローラ30は、これに応じて、記録動作をHFR記録処理に切り替える指示を行う。デジタル信号処理部20は、時点t2において得られたフレーム以降は、HFR記録として処理する。
HFR記録するフレームは時点t7までのフレームとする。
この時点t7とは、第2の実施の形態のように、一定時間TLのフレームをHFR記録するものとして設定してもよいし、第3の実施の形態のように、第3ステート検出時点としてもよい。
時点t7においてコントローラ30は、再び通常記録が行われるようにデジタル信号処理部20を制御する。そして、その後の時点t8においてHFR撮像を終了させる。通常記録の処理は、その時点t8までのフレームについての記録処理を終えた時点で終了することになる。
この場合、記録範囲RL6として通常記録されるフレームは、時点t1〜t2にHFR撮像されたフレームのうちで、60fpsとなるように抽出されたフレームとなる。
また記録範囲RL7でHFR記録されるフレームは、時点t2〜t7にHFR撮像で得られた各フレームとなる。
また記録範囲RL8として通常記録されるフレームは、時点t7〜t8にHFR撮像されたフレームのうちで、60fpsとなるように抽出されたフレームとなる。
図21にバファリング及び記録処理の様子を模式的に示している。
図21Aはイメージャ12で撮像されるフレームを、また図21Bは内蔵メモリ25にバファリングされるフレームを示している。図21Cは記録処理(必要なカメラ信号処理やエンコード等)を示している。記録処理は、一定のフレームレート、例えば60fpsでエンコードが行われる。
なお図21に示す時点t1,t2,t7,t8は図20に対応している。
図20で述べたように第1ステートST1が検出された時点t1からはHFR撮像が開始されるが、これにより図21に示すように、例えば960bps等のHFRで得られるフレームがすべてバファリングされていく。
時点t1〜t2では通常記録が行われるが、この期間にバファリングされたフレームに対しては、例えば60fpsに相当するフレーム間隔でフレームが抽出され、記録処理に供される。従って、60fpsの動画データが記録されていくことになる。
時点t2〜t7において撮像されたフレームについては、バファリングされた全フレームが記録処理に供される。但し、960fpsの各フレームも、記録処理上は60fpsにおける1フレームとされる。従って、この間の記録映像は、通常再生時にスローモーション映像となる。
時点t7〜t8において撮像されバファリングされたフレームについては、通常記録の対象となるため、期間にバファリングされたフレームに対しては、例えば60fpsに相当するフレーム間隔でフレームが抽出され、記録処理に供される。
このような処理で動画データが記録される。従って、時点t1〜t8の動画映像データが記録されるとともに、当該動画映像データは通常の再生時に、時点t1からのシーンが通常速度で再生され、第2ステートとされた時点t2〜t7の間のシーンがスローモーション映像とされ、さらにその後の時点t8までは通常速度で再生される映像コンテンツとなる。
つまりこの第4の実施の形態によれば、ユーザが困難な操作を行うこと無しに、或るアクティビティにおいて最も注目したい第2ステートのシーンスローモーション映像として記録でき、その前後は通常映像として記録された映像コンテンツを得ることができる。
<6.第5の実施の形態>
第5の実施の形態の動作を図22で説明する。第5の実施の形態は、第1ステートST1とされた期間の撮像画像データについては記録を行い、第2ステート検出に応じて記録を終了する。さらに第3ステート検出で撮像装置を電源オフとする処理例である。
図22では、コントローラ30がセンサ部14からの検波値に基づいてステート判断を行う例を挙げて、各ステートに応じた動作例を示している。
図22A、図22B、図22C、図22Dは、図11と同様に、センサ部14による検出信号に基づく検波値、検波値を微分及びコアリングした信号値SJ、信号値SJに基づくカウント制御フラグCTF、ステート判定のためのカウンタのカウント値CJを示している。
また図22Eは第2ステート判定タイミング及び撮像記録期間を示し、図22Fは第3ステート判定タイミング及び電源オン期間を示している。
この場合、第1ステートST1はユーザ操作に基づく例とする。時点t11でユーザが撮像記録開始の操作を行ったとすると、コントローラ30はそのタイミングがユーザの欲する撮像環境となったタイミングと判断し、第1ステートに至ったと判断する。なお、もちろん第1ステート判断を、センサ部14からの検波値等に応じて行ってもよい。
時点t11でユーザの撮像記録操作が行われ、コントローラ30が第1ステートST1に至ったと判断した場合、コントローラ30は撮像及び記録処理を開始制御する。つまりイメージャ12で撮像やデジタル信号処理部20における記録処理、記録部15での記録処理等を実行させる。なお、この実施の形態ではフレームレートは任意である。例えば60fpsなどデフォルト設定されたフレームレートや、或いはユーザが指定した24fps、30fps、96fps、240fps等のフレームレートで継続して撮像及び記録処理が行われれば良い。
コントローラ30は、第1ステートST1となって撮像記録を開始させた時点t11以降に第2ステートST2に至ったか否かの判定処理を行う。信号値SJ、カウント制御フラグCTF、カウント値CJが、検波値の状態に応じて図示のように変動する。
この場合、振動がほとんどなくなった状態がある程度の時間継続することで第2ステートST2を検出するものとしている。
コントローラ30はカウント値CJと比較する閾値rsTHを設定しており、カウント値CJが閾値rsTHを越えた時点t14で第2ステートST2に至ったことを判定する。
コントローラ30は第2ステートST2を検出したタイミング(時点t14)で、撮像記録動作の停止制御を行う。
さらにその後コントローラ30は、カウント値CJが閾値pfTHを越えるか否かを監視する。閾値pfTH>閾値rsTHとしている。つまり閾値pfTHは、振動がほとんどなくなった状態が、さらにある程度の時間継続することを検出する値である。コントローラ30はカウント値CJが閾値pfTHを越えた時点t15で第3ステートST3に至ったことを判定する。
コントローラ30は第3ステートST3を検出したタイミング(時点t15)で、電源部18を制御し、撮像装置10の電源オフを実行させる。
以上の第2,第3ステートの判断及びそれに応じた制御により、次のような動作が実現される。
例えばユーザが或るアクティビティの開始の際に録画スタートとしての操作を行ったとする。ユーザは、アクティビティの途中の時点t12や、或いはアクティビティの終了時点t13などで録画を停止させるつもりであったところ、その停止操作を失念してしまった状況を考える。例えば時点t13以降は、ユーザが録画停止操作を忘れたまま或る場所に撮像装置10を放置したような状況である。
このような状況では、記録される映像コンテンツの無用な長時間化、記録部15の無駄な容量消費、さらには無駄なバッテリ消費が生じている。
そこでコントローラ30は、放置されたような状態を第2ステートST2とし、時点t14で第2ステートST2を検出したら、撮像記録停止制御を行う。また撮像記録停止状態で、まだ放置状態が継続することを第3ステートST3とし、コントローラ30は時点t15で第3ステートST3を検出したら電源オフ制御を行うものである。
例えばこのような処理としてコントローラ30がステート判断を行い、撮像動作処理のモード制御を行うようにした処理例を図23で説明する。
図23はコントローラ30の撮像制御装置1としての機能(状態検出部1a及びモード処理指示部1b)による全体処理を示している。
コントローラ30は、ステップS401でユーザによる操作部35を用いた録画操作(撮像記録処理の開始を指示する操作)を監視する。録画操作がされていない期間(図22の時点t11以前)では、コントローラ30はステップS403でフラグFuncONを“0”とする。フラグFuncONはユーザの手動操作に応じた撮像記録動の実行状態を示すフラグである。但し後述のようにフラグFuncONはコントローラ30による自動的な撮像記録の停止の際にはオフにしない。
撮像記録開始前においては、続いてステップS421でコントローラ30は、ユーザによる操作部35を用いた電源オフ操作を監視する。電源オフ操作が検知されなければ、ステップS422でフラグFuncON=0を確認し、ステップS401に戻る。
なお、電源オフ操作を検知した場合、コントローラ30はステップS420に進み、電源部18に電源オフを指示する。
ステップS401でユーザによる録画操作が検知された場合は、コントローラ30はステップS402で、撮像記録の開始制御を行うとともに、フラグFuncONを“1”とする。
そして撮像記録が開始された以降は、コントローラ30は、ステップS404以降の処理をフレームタイミング毎に繰り返す。
ステップS404でコントローラ30はユーザによる操作部35を用いた録画停止操作(撮像記録処理の終了を指示する操作)を監視する。録画停止操作が検知されなければステップS406でフラグFuncON=1を維持する。
ステップS407では、コントローラ30は撮像制御装置1(状態検出部1a及びモード処理指示部1b)としての機能がオンであるか否かを確認する。機能オフとされている期間は、コントローラ30は特にステート検出に応じたモード制御を行わない。
本例では、コントローラ30は撮像記録中にステート検出に応じたモード制御を行うため、ステップS407では、撮像制御装置1としての機能オンであり、かつフラグFuncON=1である場合に、ステップS408に進む。機能オフ、又は撮像記録の停止中は、ステップS407からS421に進むことになる。
ステップS404で録画停止操作を検知した場合は、コントローラ30はステップS405で撮像記録の停止制御を行うとともに、フラグFuncON=0とする。これは、ユーザが通常に操作を行った場合の処理となる。
その場合は、ステップS407からS421に進み、ユーザによる操作部35を用いた電源オフ操作を監視する。電源オフ操作が検知されなければ、ステップS422でフラグFuncON=0であるためステップS401に戻ることになる。
撮像制御装置1としての機能がオンとされており、かつ撮像記録動作中には、フレームタイミング毎の処理においてステップS407からS408以降の第2ステート検出のための処理に進むことになる。
ステップS408でコントローラ30はセンサ部14からの検出信号の検波値を取得する。そしてステップS409で直流成分カットやノイズ平滑化のために検波値に対してフィルタ処理、例えばバンドパスフィルタによる帯域抽出処理を行う。さらにステップS410で微小振幅カットのためのコアリング処理を行う。以上の処理で得られるのが図22で述べた信号値SJとなる
コントローラ30はステップS411で信号値SJが閾値範囲sjTH以内であるか否かを確認する。そして信号値SJが閾値範囲sjTH内であればステップS412でカウント制御フラグCTF=1とし、信号値SJが閾値範囲sjTH内でなければステップS413でカウント制御フラグCTF=0とする。
続いてコントローラ30はステップS414で、カウント制御フラグCTFに応じて処理を分岐する。カウント制御フラグCTF=0のときは、ステップS415に進んでカウント値CJをカウントアップする。一方、カウント制御フラグCTF=1のときは、ステップS416に進んでカウント値CJをリセットする。
次にコントローラ30はステップS417で、カウント値CJと閾値rsTHを比較する。CJ>rsTHでなければ、第2ステートST2はまだ検出されていないことになる。この場合、ステップS419でもCJ>pfTHとはならない。上述のようにrsTH<pfTHであるためである。そのためステップS421に進み、さらにフラグFuncON=1であるためステップS422からS404に戻って、次のフレームタイミングでの処理を継続する。
ステップS417で、カウント値CJ>閾値rsTHとなった場合、コントローラ30は第2ステートST2を検出したとして、ステップS418に進み、撮像記録の停止制御を行う。これによりユーザの停止操作がなくとも、撮像記録が停止される。
その場合、ステップS419→S421→S422と進む。この時点では、手動操作に応じてステップS405でオフされるフラグFuncONは“1”のままであるので、ステップS422からS404に戻って、次のフレームタイミングでの処理を継続する。
そして引き続きステップS407からS408に進むことになる。
この自動停止以降は、ステップS419でカウント値CJが閾値pfTHを越えることを監視するものとなる。
カウント値CJ>閾値pfTHとなった時点で、コントローラ30はステップS419からS420に進み、電源オフ制御を行うことになる。
またカウント値CJ>閾値pfTHに至る前に、ユーザが電源オフ操作を行った場合は、ステップS421からS420に進み、コントローラ30はユーザ操作に応じた電源オフ制御を行うことになる。
なお、フローチャートでの図示は省略したが、ステップS418で自動的に撮像記録停止制御が行われた後の電源オン状態において、ユーザが録画操作を行う場合もあり得る。その場合は、ステップS402に進むようにすればよい。
以上の図23の処理により、図22で説明した処理動作が実行される。

<7.第6の実施の形態>
第6の実施の形態を図24で説明する。
この例は、遠隔制御装置50と複数の撮像装置10A、10B、10Cを用いることを想定したものである。
例えば遠隔制御装置50は、図5の構成とされ、コントローラ60は撮像制御装置1として状態検出部1a,モード処理指示部1bとしての機能を有するものとする。そしてアクティビティを行うユーザは、身体等に遠隔制御装置50を装着する。
各撮像装置10A、10B、10Cは図4の構成であるが、コントローラ30は状態検出部1a、モード処理指示部1bとしての機能は有さないか、もしくは状態検出部1a、モード処理指示部1bとしての機能をオフにしているとする。
この撮像装置10A、10B、10Cは、アクティビティを行うユーザやギアに装着されても良いが、ここでは或る場所に設置されているような例を考える。
遠隔制御装置50は、第1ステートST1、第2ステートST2の検出に応じて、例えば第2の実施の形態のようにHFR撮像及びバファリングの指示や、HFR記録処理の指示を、各撮像装置10A、10B、10Cに対して送信する。各撮像装置10A、10B、10Cは、遠隔制御装置50からの指示を受信し、HFR撮像及びバファリングを実行し、またHFR記録処理を実行する。
つまりこの例では、アクティビティを行うユーザを、複数の撮像装置10で多様なアングルで撮像するような場合に、各撮像装置10A、10B、10Cで、それぞれ共通のタイミングでHFR撮像を行うことができるようにした例である。これによりアクティビティ中の特別なシーンを多様なアングルで同期してHFR撮像できる。
もちろん第3,第4,第5の実施の形態の動作を各撮像装置10A、10B、10Cに実行させるようにすることもできる。
なお、遠隔制御装置50に代えて、ユーザが装着する撮像装置10を用い、その撮像装置10をマスターとして、他の撮像装置10に動作指示を行うようにしてもよい。
<8.第7の実施の形態>
第7の実施の形態として、第1ステートST1,第2ステートST2の検出条件(トリガ種別)の設定の例について各種説明する。
先に、所定パタンの振動、音、ジェスチャ、画像解析や撮像制御動作等の検出値等についてトリガとなる状態を監視する例を述べた。これらの1又は複数をステート検出条件として固定しても良いが、アクティビティに応じて設定されるようにすることも考えられる。
図25Aにコントローラ30の検出条件設定処理例を示す。なお、これまでの実施の形態の説明と同じく、以下でいうコントローラ30の処理は遠隔制御装置50のコントローラ60と読み替えてもよい。その場合、表示部34は表示部53、操作部35は操作部54と読み替えれば良い。
ステップS501でコントローラ30は行動種別選択の操作入力を監視する。
例えば行動種別選択操作として、ユーザがアクティビティ種別を入力できるようにしておく。例えばコントローラ30は、表示部34に選択メニューを表示させ、バイク競技、スノーボード、スキージャンプ、フィギュアスケート、ダイビング、サーフィン、テニス、野球、サッカーなどをユーザが選択できるようにする。
ユーザが操作部35の操作により、或る行動種別を選択入力した場合、コントローラ30はステップS502に進み、選択された行動種別に応じて、第1,第2ステートの検出条件を設定する。
例えば第1ステート検出条件[D1]、第2ステート検出条件[D2]を、それぞれ次のように設定する。
・バイク競技
[D1]ユーザのタッピング操作による振動パタン検知
[D2]ジャンプ時の振動パタン検知
・ダイビング
[D1]加速度センサのジャンプ時のパタン検知
[D2]オートホワイトバランスの検波値の変動検知
・テニス
[D1]所定パタンのジェスチャ検知
[D2]打球時の衝撃による振動パタン検知
以上は一例であるが、行動種別だけでなく、撮像装置10又は遠隔制御装置50の装着位置も選択できるようにし、その組み合わせに応じてステート検出条件を設定することも考えられる。例えば腕、手首、脚部、腰、腹部、頭部、ギア、ギア種別などを選択可能とする。これに応じてステート検出条件を設定することで、装着位置に適したステート検出が可能となる。
図25Bは行動種別判定を自動で行う例である。
コントローラ30はステップS510で行動種別判定を行う。これはセンサ部7の検出信号、被写体画像の解析結果、音声検出部17による入力音声の解析などにより、アクティビティの種別を判定する処理である。各アクティビティに特有の振動、音、画像パタン等を記憶し、マッチングを採ることで、現在実行中のアクティビティの種別を自動判定することができる。
コントローラ30は判定できた場合、ステップS511からS512に進み、判定した行動種別に応じて、第1,第2ステートの検出条件を設定する。即ち上記の[D1][D2]のような設定である。
なお、何らかのユーザ操作が行われた場合、或いは行動種別が不明のまま一定時間を経過した場合などにタイムオーバーとして、判定中止とする。判定中止の場合は、コントローラ30はステップS513からS514に進み、デフォルトの第1,第2ステートの検出条件を設定する。
例えばこのような処理を行うことで、ユーザ操作がなくとも、アクティビティ種別に適したステート判断が行われ、それに応じた撮像動作制御が可能となる。従ってアクティビティに応じた特徴的なシーンの撮像やHFR撮像などが、より容易に行われる。
なお、以上図25A、図25Bのような行動種別に応じたステート検出条件の設定は、第1ステートST1、第2ステートST2の両方ではなく、一方のみでもよい。また上記第3の実施の形態のように第3ステートST3を検出する場合、第3ステートST3の検出条件もアクティビティ種別に応じて設定することも考えられる。
また条件種別の切替ではなく複数条件についてのOR条件、AND条件を切り替えることも考えられる。
またコントローラ30は第1ステートST1を検出した際の検出条件種別に応じて、第2検出の検出条件を設定するようにしてもよい。
例えば第1ステートST1の検出条件として、所定の振動パタン、ジェスチャパタン、音声パタンなど、複数の検出条件を設定し、いずれか1つが検出されたら第1ステートST1と判定するものとする。
そしてコントローラ30は、図25Cの処理を行う。即ちステップS520で第1ステートST1を検出したか否かを判定し、第1ステートST1を検出した際にステップS521に進む。そしてコントローラ30は第1ステートST1の検出条件の種別に応じて第2ステートST2の検出条件を設定する。
例えばタッピング操作の振動パタンにより第1ステートST1を検出したときは、加速度センサの検波値の変動を第2ステートST2の検出条件とするが、ジェスチャパタンを第1ステートST1を検出したときは、グローバルベクトルの変動を第2ステートST2の検出条件とするなどである。
これにより、第1ステートST1に応じた第2ステートST2の検出が可能となる。
もちろん第3ステートST3の検出条件を第1ステートST1の検出条件種別に応じて設定しても良い。
また第2ステートST2の検出条件が複数設定されているときは、第3ステートST3の検出条件を第2ステートST2の検出条件種別に応じて設定することも考えられる。
<9.まとめ及び変形例>
以上の第1の実施の形態の撮像制御装置1や、第2〜第5の実施の形態の撮像装置10、遠隔制御装置50によれば、次のような効果が得られる。
実施の形態では、撮像環境が第1ステートST1になること検出する第1検出と、第1ステートST1から第2ステートST2になることを検出する第2検出とを行う状態検出部1aを備える。また第1ステートST1の検出に基づいて第1モードの撮像処理動作を指示し、第2ステートST2の検出に基づいて第2モードの撮像処理動作を指示するモード処理指示部1bを備える。
つまり状態検出部1aが撮像環境についての第1ステートST1、第2ステートST2を検出するが、モード処理指示部1bは第1ステートST1、第2ステートST2毎に所定の撮像処理動作を設定しておき、検出されたステートに応じた制御を行う。即ち第1ステートST1が検出された場合、モード処理指示部1bは、その検出時点、もしくはその後の時点で、第1モードの指示を行い、第2ステートST2が検出された場合、モード処理指示部1bは、その検出時点やその後の所定の時点で第2モードの指示を行う。
この構成により撮像環境の変化に応じた撮像処理動作が実行される。即ち撮像環境が第1ステートST1に至った後に、第2ステートST2に至るという条件下での撮像処理動作を自動的に行うことができる。これにより撮像に関する使用性、操作性を向上させることができる。
特に使用中の操作が困難な状況で使用される機器などにおいて、使用者の状況等の撮像環境の変化に応じて望ましい撮像動作を撮像装置に実行させることができる。
また実施の形態では、状態検出部1aは、撮像環境として、撮像装置10の被装着体もしくは被写体、又は撮像装置10と通信可能な遠隔制御装置50の被装着体が、第1ステートST1や第2ステートST2となることの検出を行う。
即ち撮像環境として、撮像装置10や遠隔制御装置50を装着した人や装着したギア、被写体人物等の動的な状況を検出する。例えば被装着体としての人が、或る競技を開始する状態を第1ステート、競技中の特定の動作状態になることを第2ステートなどとする。
これにより撮像装置、遠隔制御装置の被装着体や被写体の動作等をトリガとして撮像処理動作を制御できる。
なお被装着体は多様に想定される。例えば移動体、自動車、列車、船舶、飛行体、例えば飛行機、気球、ヘリコプター、グライダー、凧、アドバルーン、遠隔コントロールによる模型飛行体、人工衛星、動物、構造物、自然物などでもよい。
実施の形態では、状態検出部1aは、第2検出として、撮像装置10の被装着体もしくは被写体、又は撮像装置10と通信可能な遠隔制御装置50の被装着体の非操作アクションの検出を行うようにしている。つまりユーザの意識した操作としての動作ではなく、アクティビティの過程における動作である。例えばバイク競技のジャンプなどを例に挙げた。
第1ステートST1に至った状態で行う第2検出は、被装着体や被写体の動きを検出するが、その動きは、特に撮像に関する操作のための動きではなく、第2ステートST2としての特定の動作を検出することが好適である。これによりアクティビティを実行している被装着体や被写体の第2ステートとしての特徴的な動作に応じた撮像処理動作の制御が可能となる。また被装着体としてのユーザは、操作を意識しなくて良い。
実施の形態では、状態検出部1aが、第1検出として、撮像装置10の被装着体もしくは被写体である人の操作アクションの検出を行う例を挙げた。例えばタッピング操作などである。
第1ステートST1に至ることについては、撮像装置や遠隔制御装置のユーザの意思に基づく操作により判断することが好適な場合もある。例えばスポーツ、アクティビティなどとしての動作の開始を第1ステートST1とした場合、その開始をユーザの操作により検知することで、第1モードの撮像処理動作をユーザ意思に基づいて開始する。
これにより第1モードの撮像処理動作はユーザの意思に応じて確実に実行しつつ、第2ステートST2は、ユーザが開始したスポーツ、アクティビティなどにおける特徴的な動作の状態とし、そのような状態に応じて第2モードの撮像処理動作を行うことができる。
ユーザにとっては、アクティビティ等の開始の際に第1モードを指示するのみで、望ましい動画記録が実現できる。
第3の実施の形態では状態検出部1aが、第2ステートST2から第3ステートST3になることを検出する第3検出を行い、モード処理指示部1bは、第3ステートST3の検出に基づいて、少なくとも第2モードで実行される撮像処理動作の終了を指示する例を挙げた。
これによりユーザが意識しなくとも、第2モードの撮像処理動作、例えばHFR撮像記録を適切な時点(もしくは適切な時点の撮像画像で)終了させることができる。
第2,第3,第4の実施の形態では、モード処理指示部1bが指示する第1モードの撮像処理動作は、撮像画像データをリングメモリ形態で内蔵メモリ25へバファリングする処理動作を含む。またモード処理指示部1bが指示する第2モードの撮像処理動作は、内蔵メモリ25にバファリングされていく撮像画像データのうちで記録画像として保存する範囲を設定する処理動作を含む。
つまり第1ステート検出に応じて、撮像画像データのバッファリングを開始させる。そして第2ステート検出に応じて、バッファリングしている、もしくはバッファリングされたうちで、記録画像として、記録部15に転送し保存させる画像の範囲を設定する。
例えば上述のように通常のフレームレートより高いHFRの動画撮像記録を目的とする場合、第2ステートST2とはHFR撮像に適した撮像シーンとする。HFRの場合、その実際のフレームレートと撮像装置のデータ転送速度や処理能力の関係、或いは記録媒体の容量などにもよるが、HFR撮像画像を常時記録していくことは負担が大きく、またユーザにとっても必要ではないことが多い。またHFR画像は、通常の再生装置で再生することでスローモーション画像となる。
そこで、第1ステートST1の際に撮像画像データをバファリングし、第2ステートST2で記録範囲を設定し、その範囲だけHFR画像として記録に残すことは、非常に適切な処理となる。なぜならユーザにとっては、スローモーションで見たいような重要な場面のみ、HFR画像として記録されるためである。また撮像装置にとってもリングメモリ形態でバファリングしていくことで、無用にメモリ容量を圧迫することもなく、さらに記録のためのエンコードや転送、記録媒体への書込等の処理負担が過大になることはないためである。
またこのようなHFR撮像において実施の形態の処理をおこなうことで、ユーザ自身がHFR録画タイミングを制御しなくてもよく、アクションカメラとしての使用態様においてHFR記録を快適に実現できる。
第4の実施の形態では、モード処理指示部1bが指示する第1モードの撮像処理動作は、第1ステートST1とされた期間の撮像画像データを第1のフレームレートで記録画像として保存するための処理動作を含む。またモード処理指示部1bが指示する第2モードの撮像処理動作は、第2ステートST2とされた期間の撮像画像データを第1のフレームレートよりは高いフレームレートである第2のフレームレート(HFR)で記録画像として保存するための処理動作を含むようにしている。
つまり第1ステートとされた期間の撮像画像データについては第1のフレームレートで記録され、第2ステートとされた期間の撮像画像データは第2のフレームレート(HFR)で記録される。
従って撮像環境に応じて異なるフレームレートが混在する動画コンテンツが生成できる。例えば60fpsなどの一般的なフレームレートで撮像画像記録が行われ、第2ステート検出に応じた期間の撮像画像記録は、240fpsや960fpsなどのハイフレームレートで撮像画像記録が行われたようなコンテンツである。この場合、通常の再生を行うと、通常の動画の途中に、特定の動作のシーンとしてスローモーション映像が挿入されたようなコンテンツとなる。第2ステートST2をスポーツ、アクティビティ等における重要なシーンとなる撮像環境とすることで、HFR撮像を有効利用したコンテンツが自動生成できることになる。
第5の実施の形態では、状態検出部1aは、第2ステートST2から第3ステートST3になることを検出する第3検出を行う。そしてモード処理指示部1bが指示する第1モードの撮像処理動作は、撮像画像データを記録画像として保存するための処理動作を含み、第2モードの撮像処理動作は、撮像画像データの記録を停止するための処理動作を含む。さらにモード処理指示部1bは、第3ステートST3の検出に基づいて撮像装置10の電源オフを指示するようにしている。
つまり第1ステートとされた期間の撮像画像データについては記録され、第2ステート検出に応じて記録が終了される。さらに第3ステート検出で撮像装置が電源オフとされる。
従って撮像環境に応じて撮像や撮像記録の停止、電源オフが行われるようにすることができる。例えばユーザにとって不要な映像の撮像記録が延々と続くようなことが回避され、また不要な撮像、或いは電源オン状態が継続してしまうことが回避される。特にスポーツ等を行っているユーザにとっては、撮像装置に関する操作として録画停止や電源オフは忘れがちである。そして操作忘れによって記録媒体の容量圧迫やバッテリ容量の低下などを生じさせてしまうことが多々ある。本構成によればこのような事態が防止される。
各実施の形態では、状態検出部1aは、撮像装置10又は撮像装置10と通信可能な遠隔制御装置50に搭載されたセンサの検出信号に基づいて、第1検出、第2検出の一方又は両方を行う。ここでいうセンサとは、センサ部14、56における例えば振動センサ、加速度センサ、角速度センサ、重力センサ、位置センサ、照度センサ、光センサ、温度センサであったり、音声検出部17、55の音声センサ(マイクロホン)音圧センサである。
これらのセンサにより、被装着体の動き、音、ジェスチャ等として、スポーツ等の動作状態を検出でき、第1ステートST1又は第2ステートST2として撮像処理動作の制御に適切な撮像環境を自動的に検知できる。
各実施の形態のでは、状態検出部1aは、撮像装置10によって得られた撮像画像データに基づいて、第1検出、前記第2検出の一方又は両方を行う。
即ち撮像画像データの画像解析により被写体の各種状況としての撮像環境を検出する。例えば撮像画像データから被写体のジェスチャ感知ができる。また撮像画像データに基づいてAF(オートフォーカス)、AE(オートアイリス)、AWB(オートホワイトバランス)などの制御が行われるが、これらは被写体の状況に応じた制御であるため、AF,AE,AWBの制御値は、被写体状況としての撮像環境を検知する値ともなる。また画像から被写体の動きベクトルを検出して撮像環境を判断することもできる。
これにより、被写体の動き、ジェスチャ等として、スポーツ等における動作状態を検出でき、第1ステート又は第2ステートとして撮像処理動作の制御に適切な撮像環境を自動的に検知できる。
各実施の形態では、状態検出部1aは、撮像装置10と通信可能な遠隔制御装置50との間における通信状態に基づいて、第1検出、第2検出の一方又は両方を行う。
例えば撮像装置と、例えば遠隔制御装置等の通信可能な機器との間の通信が途絶えたまま所定時間を経過した場合など、撮像環境の変化と判断しても良い。
これにより撮像環境の変化の検出に応じた撮像処理動作の制御が可能となる。
また第7の実施の形態では、状態検出部1aが被装着体の行動種別に応じて、第1検出、第2検出の一方又は両方についての検出条件を設定する例を述べた(図25A、図25B)。
例えばスポーツやアクティビティとしての種別を判定し、それに応じて第1ステートのトリガ、第2ステートのトリガを設定する。
これにより実行する行動種別に応じて、第1ステートST1、第2ステートST2を適切に検出できるようになる。
また第7の実施の形態では、状態検出部1aが第1検出として複数の検出条件を設定し、第1検出で第1ステートST1を検出した際の検出条件種別に応じて、第2検出の検出条件を設定する例を述べた(図25C)。
第1ステートST1を検出した際の検出条件が多様であるとした場合に、第1ステートST1を検出した際の検出条件に応じて、第2ステートST2の検出条件を選択することで、行動における第1ステートST1の検出条件に関連して第2検出の検出条件を設定できる。従って第2ステートST2を適切に検出できる可能性を高めることができる。
実施の形態のプログラムは、撮像環境が第1ステートST1となること検出する第1検出手順と、第1ステートST1の検出に基づいて第1モードの撮像処理動作を指示する第1指示手順と、第1ステートST1から第2ステートST2になることを検出する第2検出手順と、第2ステートST2の検出に基づいて第2モードの撮像処理動作を指示する第2指示手順とを演算処理装置に実行させるプログラムである。
このプログラムにより、実施の形態の撮像制御装置1としての機能を備えた演算処理装置、例えばマイクロコンピュータやDSPによるコントローラ30、60を実現できる。ひいては撮像制御装置1としての機能を備えた撮像装置10や遠隔制御装置50を実現できる。
このようなプログラムは各種の記録媒体に記録しておくことができる。またプログラムはコンピュータ装置などの機器に内蔵されている記録媒体としてのHDDや、CPUを有するマイクロコンピュータ内のROMなどに予め記録しておくことができる。或いはまた、半導体メモリ、メモリカード、光ディスク、光磁気ディスク、磁気ディスクなどのリムーバブル記録媒体に、一時的或いは永続的に記録しておくことができる。またこのようなリムーバブル記録媒体は、いわゆるパッケージソフトウェアとして提供することができる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータなどにインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
本技術は実施の形態で言及した以外にも多様な変形例、適用例が考えられる。
第1ステートST1や第2ステートST2としての判定のトリガ(検出条件)は、他にも考えられる。第3ステートST3についても同様である。
第1ステートST1や第2ステートST2としての検出条件となる「所定パタン」をユーザが事前に登録できるようにしてもよい。例えばタッピング操作の回数や間隔等を登録するなどである。
また、この時の第1ステートST1や第2ステートST2に対応する第1モード、第2モードの撮像処理動作をユーザが事前に登録できるようにしてもよい。例えば2回のタッピング操作で第1ステートST1を指示した際には第2の実施の形態のような第2ステートST2でのHFR撮像、3回のタッピング操作で第1ステートST1を指示した際には第4の実施の形態のような通常撮像とHFR撮像の混合動作を行うなどである。
第1,第2ステートに応じたモードの撮像処理動作の制御例としては、例えばフレーム範囲を示すタグの付加、各種メタデータの付加なども考えられる。
例えば第1ステートST1検出時から通常記録を行って、これを第2ステートST2となっても継続するが、第2ステートST2に該当するフレーム範囲を示すタグを付加する。或いは第2ステートの検出条件、検出時間などの情報を付加する。これにより後の動画再生時や編集時に、第2ステートST2の期間を容易に動画上で検索できたり、第2ステートST2の検出内容(どのような状況を第2ステートST2としたか)を把握できるため、再生や編集に便利となる。
また実施の形態ではHFR記録等の動画データ記録を、記録部15に転送してフラッシュメモリ等に記録するとしたが、これ以外に、バファリングされた記録範囲を外部機器に送信して記録させたり、記録部15に記録されたコンテンツをあらかじめ設定した通信先へ自動的に送信するようにすることも考えられる。
例えば撮像画像データを外部機器に送信することで、アクティビティを離れて見ている同行者に撮像画像を即時チェックしてもらえるなどの使用態様が可能となる。
また遠隔制御装置50に記録部を設け、撮像画像データを遠隔制御装置50に転送して記録部の記録媒体に記録するようにしてもよい。
本技術はアクティビティの際にユーザが使用する撮像装置10以外にも各種装置で適用できる。
上記のように被装着体は自動車や飛行体なども想定される。
例えば車載カメラに適用した場合、急ブレーキで第1ステートST1検出、エアバック発動で第2ステートST2の検出等が考えられる。
また医療機器、手術用の撮像装置などでも好適である。この場合、医師の動作、或いは映像から判定される状況により、ステート判断を行い、撮像処理動作のモードを制御することが考えられる。
従って本技術の撮像制御装置は、民生機器や放送その他の業務用機器において広く適用できる。例えば動画撮像機能を備えたカメラ機器、携帯端末機器、携帯電話機、監視カメラ機器、定点カメラ機器、ドライブレコーダ等の車載用カメラ機器、走行環境判定のためのカメラ機器、医療機器、電子内視鏡等に内蔵したり、これらの機器とシステム化することも好適である。
なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
本技術は以下のような構成も採ることができる。
(1)撮像環境が第1ステートになること検出する第1検出と、前記第1ステートから第2ステートになることを検出する第2検出とを行う状態検出部と、
前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示し、前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示するモード処理指示部と、を備えた
撮像制御装置。
(2)前記状態検出部は、
前記撮像環境として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体が、前記第1ステート又は前記第2ステートとなることの検出を行う
上記(1)に記載の撮像制御装置。
(3)前記状態検出部は、
前記第2検出として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体の非操作アクションの検出を行う
上記(1)又は(2)に記載の撮像制御装置。
(4)前記状態検出部は、
前記第1検出として、撮像装置の被装着体もしくは被写体である人の操作アクションの検出を行う
上記(3)に記載の撮像制御装置。
(5)前記状態検出部は、前記第2ステートから第3ステートになることを検出する第3検出を行い、
前記モード処理指示部は、前記第3ステートの検出に基づいて、少なくとも前記第2モードで実行される撮像処理動作の終了を指示する
上記(1)乃至(4)のいずれかに記載の撮像制御装置。
(6)前記モード処理指示部が指示する前記第1モードの撮像処理動作は、撮像画像データをリングメモリ形態でメモリへバファリングする処理動作を含み、
前記モード処理指示部が指示する前記第2モードの撮像処理動作は、前記メモリにバファリングされていく撮像画像データのうちで記録画像として保存する範囲を設定する処理動作を含む
上記(1)乃至(5)のいずれかに記載の撮像制御装置。
(7)前記モード処理指示部が指示する前記第1モードの撮像処理動作は、前記第1ステートとされた期間の撮像画像データを第1のフレームレートで記録画像として保存するための処理動作を含み、
前記モード処理指示部が指示する前記第2モードの撮像処理動作は、前記第2ステートとされた期間の撮像画像データを前記第1のフレームレートよりは高いフレームレートである第2のフレームレートで記録画像として保存するための処理動作を含む
上記(1)乃至(6)のいずれかに記載の撮像制御装置。
(8)前記状態検出部は、前記第2ステートから第3ステートになることを検出する第3検出を行い、
前記モード処理指示部が指示する前記第1モードの撮像処理動作は、撮像画像データを記録画像として保存するための処理動作を含み、
前記モード処理指示部が指示する前記第2モードの撮像処理動作は、撮像画像データの記録を停止するための処理動作を含み、
前記モード処理指示部は、前記第3ステートの検出に基づいて撮像装置の電源オフを指示する
上記(1)乃至(4)のいずれかに記載の撮像制御装置。
(9)前記状態検出部は、
撮像装置又は撮像装置と通信可能な機器に搭載されたセンサの検出信号に基づいて、前記第1検出、前記第2検出の一方又は両方を行う
上記(1)乃至(8)のいずれかに記載の撮像制御装置。
(10)前記状態検出部は、
撮像装置によって得られた撮像画像データに基づいて、前記第1検出、前記第2検出の一方又は両方を行う
上記(1)乃至(9)のいずれかに記載の撮像制御装置。
(11)前記状態検出部は、撮像装置と通信可能な機器の間における通信状態に基づいて、前記第1検出、前記第2検出の一方又は両方を行う
上記(1)乃至(10)のいずれかに記載の撮像制御装置。
(12)前記状態検出部は、
被装着体の行動種別に応じて、前記第1検出、前記第2検出の一方又は両方についての検出条件を設定する
上記(1)乃至(11)のいずれかに記載の撮像制御装置。
(13)前記状態検出部は、
前記第1検出として複数の検出条件を設定し、
前記第1検出で第1ステートを検出した際の検出条件種別に応じて、前記第2検出の検出条件を設定する
上記(1)乃至(11)のいずれかに記載の撮像制御装置。
(14)撮像装置を制御する撮像制御装置の撮像制御方法として、
撮像環境が第1ステートになること検出する第1検出手順と、
前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示する第1指示手順と、
前記第1ステートから第2ステートになることを検出する第2検出手順と、
前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示する第2指示手順と、を備えた
撮像制御方法。
(15)撮像環境が第1ステートになること検出する第1検出手順と、
前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示する第1指示手順と、
前記第1ステートから第2ステートになることを検出する第2検出手順と、
前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示する第2指示手順とを
演算処理装置に実行させるプログラム。
1…撮像制御装置、1a…状態検出部、1b…モード処理指示部、2…撮像部、3…撮像信号処理部、4,34,53…表示部、5,15…記録部、6…通信部、7,14,56…センサ部、11…光学系、12…イメージャ、16,51…無線通信部、17,55…音声検出部、30,60…コントローラ

Claims (17)

  1. 撮像環境が第1ステートになること検出する第1検出と、前記第1ステートから第2ステートになることを検出する第2検出とを行う状態検出部と、
    前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示し、前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示するモード処理指示部と、
    を備え、
    前記状態検出部は、被装着体の行動種別の判定を行い、判定した行動種別に応じて、前記第1検出、前記第2検出の一方又は両方についての検出条件を設定する
    撮像制御装置。
  2. 前記状態検出部は、前記第1検出、前記第2検出の両方についての検出条件を判定した行動種別に応じて設定する
    請求項1に記載の撮像制御装置。
  3. 前記状態検出部は、撮像装置と通信可能な機器の間における無線通信状態に基づいて、前記第1検出、前記第2検出の一方又は両方を行う
    請求項1又は請求項2に記載の撮像制御装置。
  4. 前記状態検出部は、前記第2ステートから第3ステートになることを検出する第3検出を行い、
    前記モード処理指示部は、前記第3ステートの検出に基づいて、少なくとも前記第2モードで実行される撮像処理動作の終了を指示する
    請求項1から請求項3のいずれかに記載の撮像制御装置。
  5. 前記状態検出部は、前記第2ステートから第3ステートになることを、撮像装置と通信可能な機器の間における無線通信が途絶えたまま所定時間を経過することで検出する第3検出を行い、
    前記モード処理指示部は、前記第3ステートの検出に基づいて、少なくとも前記第2モードで実行される撮像処理動作の終了を指示する
    請求項1から請求項4のいずれかに記載の撮像制御装置。
  6. 前記モード処理指示部が指示する前記第1モードの撮像処理動作は、撮像画像データをリングメモリ形態でメモリへバファリングする処理動作を含み、
    前記モード処理指示部が指示する前記第2モードの撮像処理動作は、前記メモリにバファリングされていく撮像画像データのうちで記録画像として保存する範囲を設定する処理動作を含む
    請求項1から請求項5のいずれかに記載の撮像制御装置。
  7. 前記モード処理指示部は、記録画像として保存する範囲を、前記第2ステートの検出タイミングより過去の時点に前記メモリにバファリングされた撮像画像データを含むように設定する
    請求項6に記載の撮像制御装置。
  8. 前記状態検出部は、
    前記撮像環境として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体が、前記第1ステート又は前記第2ステートとなることの検出を行う
    請求項1から請求項7のいずれかに記載の撮像制御装置。
  9. 前記状態検出部は、
    前記第2検出として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体の非操作アクションの検出を行う
    請求項1から請求項8のいずれかに記載の撮像制御装置。
  10. 前記状態検出部は、
    前記第1検出として、撮像装置の被装着体もしくは被写体である人の操作アクションの検出を行う
    請求項9に記載の撮像制御装置。
  11. 前記モード処理指示部が指示する前記第1モードの撮像処理動作は、前記第1ステートとされた期間の撮像画像データを第1のフレームレートで記録画像として保存するための処理動作を含み、
    前記モード処理指示部が指示する前記第2モードの撮像処理動作は、前記第2ステートとされた期間の撮像画像データを前記第1のフレームレートよりは高いフレームレートである第2のフレームレートで記録画像として保存するための処理動作を含む
    請求項1から請求項10のいずれかに記載の撮像制御装置。
  12. 前記状態検出部は、前記第2ステートから第3ステートになることを検出する第3検出を行い、
    前記モード処理指示部が指示する前記第1モードの撮像処理動作は、撮像画像データを記録画像として保存するための処理動作を含み、
    前記モード処理指示部が指示する前記第2モードの撮像処理動作は、撮像画像データの記録を停止するための処理動作を含み、
    前記モード処理指示部は、前記第3ステートの検出に基づいて撮像装置の電源オフを指示する
    請求項1から請求項11のいずれかに記載の撮像制御装置。
  13. 前記状態検出部は、
    撮像装置又は撮像装置と通信可能な機器に搭載されたセンサの検出信号に基づいて、前記第1検出、前記第2検出の一方又は両方を行う
    請求項1から請求項12のいずれかに記載の撮像制御装置。
  14. 前記状態検出部は、
    撮像装置によって得られた撮像画像データに基づいて、前記第1検出、前記第2検出の一方又は両方を行う
    請求項1から請求項13のいずれかに記載の撮像制御装置。
  15. 前記状態検出部は、
    前記第1検出として複数の検出条件を設定し、
    前記第1検出で第1ステートを検出した際の検出条件種別に応じて、前記第2検出の検出条件を設定する
    請求項1から請求項14のいずれかに記載の撮像制御装置。
  16. 撮像装置を制御する撮像制御装置の撮像制御方法として、
    被装着体の行動種別の判定を行い、判定した行動種別に応じて第1検出手順と第2検出手順の一方又は両方についての検出条件を設定する手順と、
    撮像環境が第1ステートになること検出する前記第1検出手順と、
    前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示する第1指示手順と、
    前記第1ステートから第2ステートになることを検出する前記第2検出手順と、
    前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示する第2指示手順とを行う
    撮像制御方法。
  17. 被装着体の行動種別の判定を行い、判定した行動種別に応じて第1検出手順と第2検出手順の一方又は両方についての検出条件を設定する手順と、
    撮像環境が第1ステートになること検出する前記第1検出手順と、
    前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示する第1指示手順と、
    前記第1ステートから第2ステートになることを検出する前記第2検出手順と、
    前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示する第2指示手順とを
    演算処理装置に実行させるプログラム。
JP2016005453A 2016-01-14 2016-01-14 撮像制御装置、撮像制御方法、プログラム Active JP6819042B2 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
JP2016005453A JP6819042B2 (ja) 2016-01-14 2016-01-14 撮像制御装置、撮像制御方法、プログラム
KR1020187019626A KR20180102566A (ko) 2016-01-14 2016-12-26 촬상 제어 장치, 촬상 제어 방법 및 비일시적인 컴퓨터 판독가능한 매체
CN201680078126.8A CN108476287A (zh) 2016-01-14 2016-12-26 成像控制装置、成像控制方法和非暂态计算机可读介质
PCT/JP2016/088686 WO2017122523A1 (en) 2016-01-14 2016-12-26 Imaging control apparatus, imaging control method, and non-transitory computer-readable medium
US15/758,768 US10587804B2 (en) 2016-01-14 2016-12-26 Imaging control apparatus, imaging control method, and non-transitory computer-readable medium
EP16829133.4A EP3403394B1 (en) 2016-01-14 2016-12-26 Imaging control apparatus, imaging control method, imaging control system and non-transitory computer-readable medium
US16/781,487 US10979639B2 (en) 2016-01-14 2020-02-04 Imaging control apparatus, imaging control method, and non-transitory computer-readable medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016005453A JP6819042B2 (ja) 2016-01-14 2016-01-14 撮像制御装置、撮像制御方法、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2020213806A Division JP7156356B2 (ja) 2020-12-23 2020-12-23 制御装置、制御方法、プログラム

Publications (3)

Publication Number Publication Date
JP2017126894A JP2017126894A (ja) 2017-07-20
JP2017126894A5 JP2017126894A5 (ja) 2019-02-14
JP6819042B2 true JP6819042B2 (ja) 2021-01-27

Family

ID=57861194

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016005453A Active JP6819042B2 (ja) 2016-01-14 2016-01-14 撮像制御装置、撮像制御方法、プログラム

Country Status (6)

Country Link
US (2) US10587804B2 (ja)
EP (1) EP3403394B1 (ja)
JP (1) JP6819042B2 (ja)
KR (1) KR20180102566A (ja)
CN (1) CN108476287A (ja)
WO (1) WO2017122523A1 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2016192079A1 (en) * 2015-06-04 2016-12-08 Intel Corporation Adaptive batch encoding for slow motion video recording
US10846142B2 (en) 2016-02-23 2020-11-24 Intel Corporation Graphics processor workload acceleration using a command template for batch usage scenarios
KR102558488B1 (ko) * 2017-12-06 2023-07-20 소니 세미컨덕터 솔루션즈 가부시키가이샤 고체 촬상 장치, 고체 촬상 장치의 제어 방법 및 컴퓨터 프로그램
CN114827458A (zh) 2017-12-18 2022-07-29 佳能株式会社 摄像设备及其控制方法和存储介质
JP7233162B2 (ja) * 2017-12-18 2023-03-06 キヤノン株式会社 撮像装置及びその制御方法、プログラム、記憶媒体
WO2020195700A1 (ja) * 2019-03-27 2020-10-01 ソニー株式会社 撮像装置及び撮像システム
EP4009153A4 (en) * 2019-09-05 2022-08-03 Sony Group Corporation APPLICATION EXTENSION PROGRAM, INFORMATION PROCESSING DEVICE AND METHOD
CN112532865B (zh) * 2019-09-19 2022-07-19 华为技术有限公司 慢动作视频拍摄方法及电子设备

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2004056739A (ja) * 2002-07-24 2004-02-19 Fuji Photo Film Co Ltd ディジタルカメラ
JP3926316B2 (ja) * 2003-10-31 2007-06-06 松下電器産業株式会社 撮像装置
CN100505854C (zh) * 2004-04-12 2009-06-24 联想(北京)有限公司 基于机顶盒的录制方法
JP4757173B2 (ja) 2006-11-17 2011-08-24 キヤノン株式会社 撮像装置及びその制御方法及びプログラム
JP4353253B2 (ja) * 2007-01-31 2009-10-28 ソニー株式会社 フレームレート制御装置とフレームレート制御方法および記録装置と撮像装置
JP4367663B2 (ja) 2007-04-10 2009-11-18 ソニー株式会社 画像処理装置、画像処理方法、プログラム
US7676145B2 (en) * 2007-05-30 2010-03-09 Eastman Kodak Company Camera configurable for autonomous self-learning operation
JP4998122B2 (ja) 2007-07-10 2012-08-15 カシオ計算機株式会社 撮像装置及びそのプログラム
JP2009302772A (ja) 2008-06-11 2009-12-24 Fujifilm Corp 撮像装置、撮像システム及び撮像制御方法
JP2011139353A (ja) * 2009-12-28 2011-07-14 Nikon Corp 撮像装置
CN101815211A (zh) * 2010-04-08 2010-08-25 山东科技大学 自然环境中动物行为视频监测方法与装置
JP2013046259A (ja) * 2011-08-24 2013-03-04 Olympus Imaging Corp 映像機器、制御方法およびプログラム
JP5613187B2 (ja) * 2012-01-27 2014-10-22 オリンパスイメージング株式会社 撮像装置、撮像装置の制御方法、及び、撮像装置の制御をコンピュータに行わせるためのコードを備える持続性コンピュータ可読媒体
JP5648866B2 (ja) * 2012-10-02 2015-01-07 カシオ計算機株式会社 撮影システム、撮影方法、撮影装置、及びプログラム
US8957988B2 (en) * 2013-01-23 2015-02-17 Orcam Technologies Ltd. Apparatus for processing images to prolong battery life
JP5867432B2 (ja) * 2013-03-22 2016-02-24 ソニー株式会社 情報処理装置、記録媒体および情報処理システム
US9066007B2 (en) * 2013-04-26 2015-06-23 Skype Camera tap switch
JP6213146B2 (ja) * 2013-10-24 2017-10-18 ソニー株式会社 情報処理装置、記録媒体、および情報処理方法
JP6296226B2 (ja) * 2013-11-21 2018-03-20 カシオ計算機株式会社 電子機器、撮像装置、撮像制御システム、撮像制御方法及びプログラム
JP6094476B2 (ja) * 2013-12-27 2017-03-15 カシオ計算機株式会社 撮影システム、その制御方法、および、その制御プログラム
US10051672B2 (en) * 2014-04-14 2018-08-14 Sony Corporation Information processing device, information processing method, and program
US10142598B2 (en) * 2014-05-30 2018-11-27 Sony Corporation Wearable terminal device, photographing system, and photographing method
US20150365575A1 (en) * 2014-06-13 2015-12-17 Sony Corporation Lifelog camera and method of controlling same according to transitions in activity
CN105049720B (zh) * 2015-07-08 2018-09-11 成都西可科技有限公司 一种根据运动场景自动启停运动相机的方法

Also Published As

Publication number Publication date
EP3403394A1 (en) 2018-11-21
EP3403394B1 (en) 2023-08-02
WO2017122523A1 (en) 2017-07-20
US10587804B2 (en) 2020-03-10
KR20180102566A (ko) 2018-09-17
US10979639B2 (en) 2021-04-13
CN108476287A (zh) 2018-08-31
JP2017126894A (ja) 2017-07-20
US20200186713A1 (en) 2020-06-11
US20190082108A1 (en) 2019-03-14

Similar Documents

Publication Publication Date Title
JP6819042B2 (ja) 撮像制御装置、撮像制御方法、プログラム
US11696016B2 (en) Imaging apparatus and display control method thereof
KR102415637B1 (ko) 전자기기 및 그 제어 방법
US10063776B2 (en) Camera mode control
US9088721B2 (en) Imaging apparatus and display control method thereof
JP4289326B2 (ja) 情報処理装置および方法、撮影装置、並びにプログラム
WO2019227324A1 (zh) 视频播放速度的控制方法、装置及运动相机
US9179031B2 (en) Content acquisition apparatus and storage medium
JP7156356B2 (ja) 制御装置、制御方法、プログラム
JP6308106B2 (ja) 画像処理装置、画像処理方法及びプログラム
WO2017169499A1 (ja) 制御装置、制御方法及びコンピュータプログラム
JP2010016511A (ja) 撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラム

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20181226

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20181226

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190925

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20191112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20191227

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200609

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200622

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201201

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201214

R151 Written notification of patent or utility model registration

Ref document number: 6819042

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151