JP6819042B2 - 撮像制御装置、撮像制御方法、プログラム - Google Patents
撮像制御装置、撮像制御方法、プログラム Download PDFInfo
- Publication number
- JP6819042B2 JP6819042B2 JP2016005453A JP2016005453A JP6819042B2 JP 6819042 B2 JP6819042 B2 JP 6819042B2 JP 2016005453 A JP2016005453 A JP 2016005453A JP 2016005453 A JP2016005453 A JP 2016005453A JP 6819042 B2 JP6819042 B2 JP 6819042B2
- Authority
- JP
- Japan
- Prior art keywords
- state
- detection
- imaging
- recording
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/45—Cameras or camera modules comprising electronic image sensors; Control thereof for generating image signals from two or more image sensors being of different type or operating in different modes, e.g. with a CMOS sensor for moving images in combination with a charge-coupled device [CCD] for still images
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/50—Constructional details
- H04N23/55—Optical parts specially adapted for electronic image sensors; Mounting thereof
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/61—Control of cameras or camera modules based on recognised objects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Human Computer Interaction (AREA)
- Studio Devices (AREA)
- Details Of Cameras Including Film Mechanisms (AREA)
- Camera Bodies And Camera Details Or Accessories (AREA)
- Accessories Of Cameras (AREA)
- Television Signal Processing For Recording (AREA)
Description
一例として、耐衝撃性・耐水性を持った“アクションカメラ“と呼ばれるジャンルのカメラが登場している。このジャンルのカメラはその特徴からウェアラブルカメラなどとも呼ばれ、マウントを介して身に着けて使用することで旧来のカメラでは撮像できなかったアングルや状況での撮像を可能とする点で有用とされている。
撮像環境とは、撮像装置、又は撮像装置を遠隔制御する遠隔制御装置についての使用中の被装着体又は被写体の状況・状態をいう。「モード」は撮像装置の撮像処理動作としての動作が異なる状態を指す。
状態検出部が撮像環境についての第1ステート、第2ステートを検出する。第1ステート、第2ステート毎に所定の撮像処理動作を設定しておき、状態検出部が検出したステートに応じた制御をモード処理指示部が行う。即ち第1ステートが検出された場合、モード処理指示部は、その検出時点、もしくはその後の時点で、第1モードの指示を行い、第2ステートが検出された場合、モード処理指示部は、その検出時点やその後の所定の時点で第2モードの指示を行う。
即ち撮像環境として、撮像装置や遠隔制御装置を使用する人、装着した人、装着した動物、装着した物体、さらには撮像装置の被写体の状況、状態の検出を行うようにする。例えば被装着体としての人が、或る競技を開始する状態を第1ステート、競技中の特定の動作状態になることを第2ステートなどとする。
第1ステートに至った状態で行う第2検出は、被装着体や被写体の動きを検出するが、その動きは、特に撮像に関する操作のための動きではなく、第2ステートとしての特定の動作を検出するようにする。
第1ステートに至ることについては、撮像装置や遠隔制御装置のユーザの意思に基づく操作により判断する。例えばスポーツ、アクティビティなどとしての動作の開始を第1ステートとした場合、その開始をユーザの操作により検知することで、第1モードの撮像処理動作をユーザ意思に基づいて開始する。
即ち第3ステートを検出することで、第2ステートにおいて実行指示する第2モードの終了制御を行う。
つまり第1ステート検出に応じて、撮像画像データのバッファリングを開始させる。そして第2ステート検出に応じて、バッファリングしている、もしくはバッファリングされたうちで、記録画像として、所定の記録媒体に転送し保存させる画像の範囲を設定する。
つまり第1ステートとされた期間の撮像画像データについては第1のフレームレートで記録され、第2ステートとされた期間の撮像画像データは第2のフレームレート(ハイフレームレート)で記録される。
つまり第1ステートとされた期間の撮像画像データについては記録され、第2ステート検出に応じて記録が終了される。さらに第3ステート検出で撮像装置が電源オフとされる。
撮像装置や撮像装置と通信可能な機器(例えば遠隔制御装置)に搭載されるセンサとしては、例えば振動センサ、加速度センサ、角速度センサ、重力センサ、位置センサ、音声センサ(マイクロホン)音圧センサ、照度センサ、光センサ、温度センサ、その他各種考えられる。これらのセンサにより第1ステート、第2ステートとしての撮像環境を検出する。
撮像画像データの画像解析により被写体の各種状況としての撮像環境(第1ステート、第2ステート)を検出する。例えば撮像画像データから被写体のジェスチャ感知ができる。また撮像画像データに基づいてAF(オートフォーカス)、AE(オートアイリス)、AWB(オートホワイトバランス)などの制御が行われるが、これらは被写体の状況に応じた制御であるため、AF,AE,AWB等の制御値は、被写体状況としての撮像環境を検知する値ともなる。また画像から被写体の動きベクトルを検出して撮像環境を判断することもできる。
例えば撮像装置と、例えば遠隔制御装置等の通信可能な機器との間の通信が途絶えたまま所定時間を経過した場合など、撮像環境の変化と判断しても良い。
例えばスポーツやアクティビティとしての種別を判定し、それに応じて第1ステートのトリガ、第2ステートのトリガを設定する。
第1ステートを検出した際の検出条件が多様であるとした場合に、第1ステートを検出した際の検出条件に応じて、第2ステートの検出条件を選択する。
この撮像制御方法により撮像装置の動作を撮像環境に応じて的確に制御できる。
本技術に係るプログラムは、以上の各手順を演算処理装置に実行させるプログラムである。このプログラムにより本開示の技術を実行する装置を広く実現することができる。
なお、ここに記載された効果は必ずしも限定されるものではなく、本開示中に記載されたいずれかの効果であってもよい。
<1.第1の実施の形態の撮像制御装置>
<2.撮像装置及び遠隔制御装置>
<3.第2の実施の形態>
<4.第3の実施の形態>
<5.第4の実施の形態>
<6.第5の実施の形態>
<7.第6の実施の形態>
<8.第7の実施の形態>
<9.まとめ及び変形例>
図1により第1の実施の形態の撮像制御装置1と、その制御対象となる構成を説明する。
図1では撮像制御装置1と撮像装置10を示している。
撮像制御装置1は、単体の機器として構成されてもよいし、撮像装置10に内蔵されてもよい。また撮像制御装置1は撮像装置10と通信可能な機器に内蔵されてもよい。撮像装置10と通信可能な機器の一例としては、後述する遠隔制御装置(リモートコントローラ等)があるが、通信可能な機器としては他にも画像再生装置、画像記録装置、画像編集装置、情報処理装置その他の各種の機器が想定される。
撮像部2は被写体光を光電変換し、撮像画像データDTを得る。
撮像信号処理部3は撮像画像データDTに対して各種の信号処理を行う。
表示部4はユーザインターフェースのための文字や画像の表示、撮像画像(スルー画)の表示、再生画の表示などに用いられる。後述するアクションカメラ等としての撮像装置の場合、表示部4は設けられないこともある。
記録部5は撮像画像としての動画データ又は静止画データを記録する。
通信部6は動画データ、静止画データ、或いは他の付随情報を外部機器に送信する。
センサ部7は撮像装置10に内蔵されてもよいし、撮像制御装置1に内蔵されてもよい。どのような形態であれ、検出情報を撮像制御装置1に送信できればよい。
いずれにしても撮像制御装置1は、図示するように状態検出部1a、モード処理指示部1bとしての機能を有する。
モード処理指示部1bは、第1ステートの検出に基づいて撮像装置10に第1モードの撮像処理動作を指示し、また第2ステートの検出に基づいて、撮像装置10に第2モードの撮像処理動作を指示する。
即ち第1ステート、第2ステート毎に所定の撮像処理動作を設定しておき、状態検出部1aが検出したステートに応じてモード処理指示部1bが制御を行う。ただし、第2ステートとは、第1ステートに移行した後の撮像環境である。
そして第1ステートが検出された場合、モード処理指示部1bは、その検出時点、もしくはその後の時点で、例えば撮像信号処理部3に第1モードの指示を行い、第2ステートが検出された場合、モード処理指示部1bは、その検出時点やその後の所定の時点で撮像信号処理部3に対して第2モードの指示を行う。
このような撮像環境、つまり被装着者、被装着体、被写体の状況としての撮像環境について、或る状態を「第1ステート」「第2ステート」とする。
但しこの「ステート」は撮像装置10内の撮像処理動作についての動作状態を意味するものではない。撮像処理動作とは、撮像部1や撮像信号処理部3が行う処理、例えば撮像画像データDTの生成処理、撮像画像データDTに対する各種信号処理、撮像画像データDTの転送、送信、記録等に関する処理である。
一方「モード」は撮像装置10における以上の例のような撮像処理動作としての動作が異なる状態を指す。
ステップS1で撮像制御装置1はセンサ部7の検出情報において、撮像環境が第1ステートに至ったと判定するトリガ(第1ステートとしての所定の検出条件を満たす信号もしくは値)が得られたか否かを判断する。
第1ステート判定のトリガが検出されない場合は、ステップS3に進み、現在第1ステートに至っていなければ、図2の処理を終え、ステップS1に戻る。
第1ステートに至ったと判定した後は、撮像制御装置1はステップS3からS4に進み、撮像環境が第2ステートに至ったと判定するトリガ(第2ステートとしての所定の検出条件を満たす信号もしくは値)が得られたか否かを判断する。第2ステート判定のトリガが得られていないときは、そのまま処理を終え、ステップS1に戻る。従って第1ステートの期間は、ステップS4の第2ステート判定を継続する。
撮像制御装置1は第2ステート判定のトリガが得られた場合は、第1ステートから第2ステートに至ったと判断し、ステップS4からS5に進み、撮像装置10に対して第2モードの処理を指示する。
この構成により撮像環境の変化に応じた撮像処理動作が実行される。即ち撮像環境が第1ステートに至った後に、第2ステートに至るという条件下での撮像処理動作を自動的に行うことができる。これにより撮像に関する使用性、操作性を向上させることができる。
より具体的な実施の形態を以下で説明していく。
以下では、図3に示すような撮像装置10単体、或いは撮像装置10と遠隔制御装置50を使用する例として実施の形態を説明する。
図3にアクションカメラと呼ばれる撮像装置10の一例を示している。この撮像装置10は小型軽量とされ、対応するマウント用アタッチメント等を利用して、ユーザの身体や衣服に装着したり、スポーツ、アクティビティ等で用いるギアに装着することができる。ここでいうギアとは、例えばスノーボード、サーフボード、スキー板、モータバイク、自転車、ラケット、ヘルメット、シューズ、ゴーグル、潜水器具等である。
例えばアクティビティを実行する本人が、所持したり、腕等の操作可能な位置に装着した遠隔制御装置50を操作して、撮像装置10を制御することができる。
ところが、このようなアクションカメラの分野では、実際には多様な操作が困難となる事情がある。
仮に撮像画像の表示装置が搭載されてあったとしても、サイズ維持のため記録画質と比較して相当低い解像度・サイズ・品位の表示装置を使っており、どの辺りが写っているかが確認できる程度の役割しか持っていない。
また記録用ボタンなども旧来からの民生用ビデオカメラに比べて操作しづらい形状・配置となっていることが多い。
即ちユーザインターフェースとしての機能が充実していないことが余儀なくされている。
さらには、前述の通り身体への装身具、あるいはアクティビティを楽しむためのギア等といった部材に取り付けた状態で使用されることが多く、上記のユーザインターフェース上の理由と相まって録画開始・停止操作を、アクティビティを行っている人自身が行いづらい。
そのうえ、アクティビティの実行中は、ユーザはそのアクティビティ自体に集中するため、カメラ操作を失念することも多々ある。
以上の操作性の事情は、撮像装置10自体の操作のみならず、遠隔制御装置50を利用した操作に関しても、同様である。
従来、撮像記録時に通常のテレビフレームレートである例えば60fps(frames per second)以上の速さのフレームレートで撮像し、再生時にテレビフレームレートで再生することで高画質かつ印象的な映像表現が実現できるスローモーション記録再生機能(HFR記録)を備えた撮像装置が業務用を中心に存在していた。近年の技術の発展により民生用カメラでもこの撮像機能が登場している。上記の「アクションカメラ」と呼ばれる超小型カメラにおいても実現されつつある。例えばハイフレームレート(以下「HFR」と表記する)としては、960fps、240fpsでの撮像などが可能とされる。
しかしながら上記した操作性の理由から、適切なタイミングでのHFR撮像が非常に困難である。結果的にユーザの希望するタイミングに対してずれたタイミングでの記録が開始・停止指示となってしまうことがとても多い。
記録タイミングについては遠隔制御装置50を使った操作も考えられるが、そもそもアクティビティの種類によっては遠隔制御装置50の利用さえも難しいというユースケースも多い。
あるいはユーザ自身が録画停止・電源オフしなくても、あらかじめ定められた条件を検知した場合には自動的に録画停止、電源オフを行う撮像装置を提供することで、アクションカメラならではの不要メモリ消費、電源消費、あるいは電源・録画系の操作性にまつわる不満点を解消する。
この撮像装置10や遠隔制御装置50としての実施の形態は、図1に示した撮像制御装置1としての構成(状態検出部1a、モード処理指示部1b)が、撮像装置10、遠隔制御装置50の一方又は両方に内蔵されている例とする。
撮像装置10は、光学系11、イメージャ12、光学系駆動部13、センサ部14、記録部15、無線通信部16、音声検出部17、電源部18、デジタル信号処理部20、コントローラ30、表示部34、操作部35を有する。
イメージャ12は、例えば、CMOS(Complementary Metal OxideSemiconductor)型、CCD(Charge Coupled Device)型などの撮像素子を有する。
このイメージャ12では、撮像素子での光電変換で得た電気信号について、例えばCDS(Correlated Double Sampling)処理、AGC(Automatic Gain Control)処理などを実行し、さらにA/D(Analog/Digital)変換処理を行う。そしてデジタルデータとしての撮像信号(撮像画像データDT)を、後段のデジタル信号処理部20に出力する。
なおフォーカスレンズは、撮像画像の合焦状態検出に応じてコントローラ30が光学系駆動部13の動作を制御するオートフォーカスとしての駆動が行われる他、ユーザのフォーカス操作子の操作に応じてコントローラ30が光学系駆動部13の動作を制御するマニュアルフォーカスとしての駆動も行われる。
例えばデジタル信号処理部20は、カメラ信号処理部21、解像度変換部22、コーデック部23、カメラ制御用検波処理部24、内蔵メモリ25、メモリコントローラ26等を備えている。
解像度変換部22は、各種の信号処理が施された画像データに対して、解像度変換処理を実行する。
コーデック部23は、解像度変換された画像データについて、例えば記録用や通信用の符号化処理を行う。
例えばオートフォーカス制御のためには、カメラ制御用検波処理部24は、撮像画像データDT、例えばカメラ信号処理部21の処理過程又は処理を経た撮像画像データDTを入力し、この撮像画像データDTとしての1フレーム内で、合焦領域と非合焦領域を識別し、合焦領域を示す合焦領域情報をコントローラ30に出力する。
そして各領域w1〜w36について、それぞれが合焦領域か非合焦領域かを判定する。
例えば1つの領域w(n)について、図6Bのような処理を行う。即ち領域w(n)を構成する各画素データについて、Y生成部41から積分器46までの処理を行う。
Y生成部41では簡易的にY信号を生成する。そして生成したY信号についてHPF(ハイパスフィルタ)42で高域抽出を行い、さらに絶対値化部43で絶対値化する。即ち高域成分を絶対値として抽出する。そしてコアリング部44で高域成分ノイズ除去を、さらにリミッタ45でリミッタ処理を行った後、積分器46で積分処理を行う。
つまり、各領域w(n)について、その領域w(n)を構成する画素データの高域成分を積算していき、その結果として評価値CSを得る。合焦領域ではエッジ成分が顕著に表れることで高域成分の積算値としての評価値CSが高い値となる。従って評価値CSを所定の合焦領域判定閾値と比較することで、その領域w(n)が合焦領域か非合焦領域かの判定情報が得られることになる。
カメラ制御用検波処理部24は例えばこのように、各領域w1〜w36についてそれぞれ合焦領域か非合焦領域かの判定を行い、判定結果としての合焦領域情報をコントローラ30に出力する。
なお、合焦領域の判定は、方形の領域毎ではなく、例えば円形、多角形などの領域や、不定形領域を設定して行ってもよい。
またカメラ制御用検波処理部24はホワイトバランス調整のためには、図6Aの各領域w1〜w36のそれぞれについて、R、G、B信号別に積分した値を算出する。
例えばブロックマッチングを用いて2フレーム間の動きベクトルを検出する。2フレーム間の動きベクトルを検出するに当たって、元フレームについて、複数個のターゲットフレームを設定して、その複数個のターゲットフレームのそれぞれについてブロックマッチングを施す。
一例として、元フレームに、例えば16個のターゲットブロックTGi(i=1,2,・・・,16)を設定し、参照フレーム102には、図7に示すように、元フレームの16個のターゲットブロックに対応する16個の射影イメージ104i(i=1,2,・・・,16)を設定する。そして、それぞれの射影イメージに対するサーチ範囲105i(i=1,2,・・・,16)を設定し、それぞれのサーチ範囲105i(i=1,2,・・・,16)において、対応するターゲットブロックについてのSADテーブルTBLi(i=1,2,・・・,16)を作成する。
SUM_TBL(x,y)=TBL1(x,y)+TBL2(x,y)+・・・
+TBL16(x,y)
=ΣTBLi(x,y)
となる。
そして、合算SADテーブルSUM_TBLから、元画面に対する参照画面の動きベクトル(グローバル動きベクトル;撮像装置における手ぶれベクトルとなる)を検出する。
しかし、この最小値の合算SAD値を用いる方法では、1画素単位の精度の動きベクトルしか得られないので、例えば合算SAD値の最小値位置の合算SAD値およびその近傍の複数個の合算SAD値を用いて、近似曲面補間を行うことで、グローバル動きベクトルを検出することが考えられる。すなわち、合算SAD値の最小値位置の合算SAD値およびその近傍の複数個の合算SAD値を用いて、近似高次曲面を生成し、その近似高次曲面の極小値位置を検出することで、1画素単位以下の小数点精度で、グローバル動きベクトルを検出する。
メモリコントローラ26は、内蔵メモリ25に対するデータの書き込み//読み出しを制御する。例えばデータ転送の制御や、ライトポインタ、リードポインタ等による書込/読出アドレスの管理等を行う。
CPUがROMやフラッシュメモリ等に記憶されたプログラムを実行することで、この撮像装置10全体を統括的に制御する。
RAMは、CPUの各種データ処理の際の作業領域として、データやプログラム等の一時的な格納に用いられる。
ROMやフラッシュメモリ(不揮発性メモリ)は、CPUが各部を制御するためのOS(Operating System)や、画像ファイル等のコンテンツファイルの他、各種動作のためのアプリケーションプログラムや、ファームウエア等の記憶に用いられる。本例においては特に、ステート検出及びそれに応じたモード制御のための処理を実行するためのプログラムも記憶される。
また本実施の形態の場合、コントローラ30は、状態検出部1a、モード処理指示部1bとしての機能を備える。即ち図1で説明した撮像制御装置1としての機能である。
なお、上述のアクションカメラとしての撮像装置10の場合、表示部34は設けられないことが多い。
撮像装置10に表示部34が設けられる場合、表示部34は、上記のディスプレイデバイスと、該ディスプレイデバイスに表示を実行させる表示ドライバとから成る。表示ドライバは、コントローラ30の指示に基づいて、ディスプレイデバイス上に各種表示を実行させる。例えば表示ドライバは、撮像して記録媒体に記録した静止画や動画を再生表示させたり、デジタル信号処理部20からの表示データ(例えば解像度変換された撮像画像データ)に応じて、記録待機中や記録中に撮像される各フレームの撮像画像データによる動画としてのスルー画をディスプレイデバイスの画面上に表示させる。
また表示ドライバはコントローラ30の指示に基づいて、各種操作メニュー、アイコン、メッセージ等、即ちGUI(Graphical User Interface)としての表示を画面上に実行させる。
この操作部35としては、例えば撮像装置10の筐体上に設けられた各種操作子や、タッチパッド、表示部34に形成されたタッチパネルなどとして実現される。
筐体上の操作子としては、再生メニュー起動ボタン、決定ボタン、十字キー、キャンセルボタン、ズームキー、スライドキー、シャッターボタン(レリーズボタン)、フォーカスリング等が考えられる。
またタッチパネルと表示部34に表示させるアイコンやメニュー等を用いたタッチパネル操作により、各種の操作が可能とされてもよい。
或いはタッチパッド等によりユーザのタップ操作を検出する形態もある。
但し、上述のアクションカメラとしての撮像装置10の場合、操作部35として十分な操作キー等を配置することは困難であり、少数のキーやタッチパッド程度とされることが想定される。
画像ファイルは、例えばJPEG(Joint Photographic Experts Group)、TIFF(Tagged Image File Format)、GIF(Graphics Interchange Format)等の形式で記憶される。
記録部15の実際の形態は多様に考えられる。例えば記録部15は、撮像装置10に内蔵されるフラッシュメモリでもよいし、撮像装置10に着脱できるメモリカード(例えば可搬型のフラッシュメモリ)と該メモリカードに対して記録再生アクセスを行うカード記録再生部による形態でもよい。また撮像装置10に内蔵されている形態としてHDD(Hard Disk Drive)などとして実現されることもある。
また、本例において撮像制御装置1(状態検出部1aとモード処理指示部1b)としての処理をコントローラ30に実行させるためのプログラムは、記録部15に記憶されてもよい。
なお、図示していないが、撮像装置10には、他にも外部機器との間のデータ通信やネットワーク通信を有線又は無線で行う部位が設けられてもよい。
例えば外部の表示装置、記録装置、再生装置等の間で撮像画像データ(静止画ファイルや動画ファイル)の通信を行うようにしたり、ネットワーク通信部として、例えばインターネット、ホームネットワーク、LAN(Local Area Network)等の各種のネットワークによる通信を行い、ネットワーク上のサーバ、端末等との間で各種データ送受信を行うようにしてもよい。
音声検出部17はマイクロホンにより形成されればよいが、より簡易には、対応する周波数帯域が狭い音圧感知素子などでもよい。
音声検出部17として専用のマイクロホン等を備えてもよいが、通常、撮像装置10には動画記録の際の音声集音のためのマイクロホンが搭載されている(図4では図示省略)。そこで録音音声集音用のマイクロホンをステート判定のための周囲音声検出を行う音声検出部17として兼用してもよい。
また露光調整等のための外部照度を検出する照度センサ、さらには被写体距離を測定する測距センサが設けられてもよい。
またセンサ部14として、光学系11におけるズームレンズの位置を検出するズームレンズ位置センサ、フォーカスレンズの位置を検出するフォーカスレンズ位置センサが設けられる場合もある。
またセンサ部14として、メカアイリス(絞り機構)の開口量を検出するセンサが設けられる場合もある。
またセンサ部14としてGPS(Global Positioning System)受信器などの位置センサを設けることも考えられる。
さらにセンサ部14としては、重力センサ、光センサ、温度センサ、その他各種のセンサが考えられる。
コントローラ30の状態検出部1aは、センサ部14からの検出情報を撮像環境としてのステート判断に用いることができる。
遠隔制御装置50は無線通信部51、デジタル信号処理部52、表示部53、操作部54、音声検出部55、センサ部56、コントローラ60を備える。
デジタル信号処理部52は、撮像装置10との無線通信により受信されたデータのデコードや表示用の処理などを行う。例えば撮像装置10から撮像画像データその他の情報が送信されてきた場合に、その撮像画像データについての表示のための処理を行い、表示部53で表示させる。
表示部53では、デジタル信号処理部52で処理された撮像画像の表示データや各種通知情報を表示する。例えば撮像装置10の動作状態等の表示も行う。
操作部54は各種操作子を示している。上述した撮像装置10の操作部35と同様に各種の操作子の態様が想定される。
またコントローラ60も、図1で説明した撮像制御装置1としての機能、即ち状態検出部1a、モード処理指示部1bの機能を備えている。
例えばセンサ部56としては、遠隔制御装置50に加わった衝撃や、遠隔制御装置50を装着したユーザ等の動きを検出するため振動センサ、ジャイロセンサ(角速度センサ)、加速度センサ等が設けられる。また外部照度を検出する照度センサ、温度センサ等が設けられてもよい。
さらには装着者の身体状況を検出する生体センサ(脈拍、発汗、体温、血圧等のセンサ)とされていてもよい。また位置センサが設けられてもよい。
以上の撮像装置10や遠隔制御装置50を用いる場合として、第2の実施の形態の動作を説明する。
図8は第2の実施の形態で撮像装置10が行う動作を模式的に示している。これは第2ステートST2としての期間にHFR撮像記録を行う例とする。
また以下はコントローラ30の処理として説明するが、その処理は、遠隔制御装置50におけるコントローラ60の処理としてもよい。その場合、コントローラ60は無線通信により撮像装置10のコントローラ30に指示信号を送信し、コントローラ30が受信した指示信号に応じてイメージャ12やデジタル信号処理部20の動作を制御することになる。
そして第1ステートST1の検出後は、コントローラ30は第2ステートST2としてのトリガ(所定の検出条件を満たす信号もしくは値)を監視する。
時点t2においてコントローラ30は第2ステートST2としてのトリガを検知したとする。コントローラ30は、これに応じて、HFR撮像の記録範囲(記録する先頭フレームから最終フレームのタイミング)を設定し、さらに可能な時点で、デジタル信号処理部20に対して当該記録範囲の撮像画像データについて記録部15での記録のための処理を指示する。
或いは、コントローラ30は、図8Cのように、第2ステートST2を検知した時点t2において得られたフレームから、一定時間TL後の時点tcまでの範囲のフレームを、HFR記録するフレームの範囲(記録範囲RL2)とする。
或いは、コントローラ30は、図8Dのように、第2ステートST2を検知した時点t2において得られたフレームを最終フレームとし、一定時間TL前の時点tdのフレームを先頭フレームとするように、HFR記録するフレーム範囲を設定する(記録範囲RL3)。
例えばコントローラ30は図8Bのように記録範囲RL1を設定した場合、図8Eのように時点t2から記録処理を開始させてもよい。記録処理とは、バッファリングされたフレームデータを読み出して記録のためのエンコードを行い、記録部15に転送して記録媒体に記録させる処理である。或いは、記録範囲RL1についての記録処理は、図8Fのように記録範囲RL1のバファリングを終えた時点tbから開始させてもよい。
またコントローラ30は、例えば図8Cのように記録範囲RL2を設定した場合、図8Eのように時点t2から記録処理を開始させてもよい。つまりその時点からバファリングされたフレームを即座に読み出して記録処理に供する。或いは図8Fのように記録範囲RL2の途中までバファリングした時点tbから記録処理を開始させてもよいし、図8Gのように記録範囲RL2のバファリングを終えた時点tcから記録処理を開始させてもよい。
またコントローラ30は、例えば図8Dのように記録範囲RL3を設定した場合、すでに時点t2で記録範囲RL3のバファリングは完了しているので、図8Eのように時点t2から記録処理を開始させればよい。
図9Aは時点t1以降に撮像されるフレームを示している。例えば960bps等のHFRで各フレームを構成する撮像画像データDTが得られる。
内蔵メモリ25は上述のようにリングメモリ形態で使用される。図9BのようにアドレスAdSからアドレスAdEまでがバファリングエリアとされているとする。
撮像される各フレームは、順次アドレスAdS〜AdEの範囲に記憶されていく。あるフレームの記憶がアドレスAdEに達したら、次のフレームはアドレスAdSに記憶される。即ち、過去のフレームデータが上書きされながらバファリングされていく。
例えば960fpsで撮像を行う場合、その各フレームをリアルタイムでエンコードして記録していくことは処理負担が大きい。そこで、バファリングされた中で記録処理することで、デジタル信号処理部20の負担を軽減している。
また、リングメモリ形態とすることで、HFRのフレームデータのバファリングによってメモリ容量を圧迫されないようにする目的もある。
なお実施の形態の説明では一定時間TLをHFR記録するものとして説明するが、当然ながら、必ずしも一定時間TLとして記録する時間長を固定する必要はない。
或いは、フレームに対応してタグを付加するようにしてもよい。
例えば第2ステートST2とされた機会が複数回発生することもあり得るため、一旦第2ステートST2を検出し、さらに記録範囲RLとしての最終フレームまでバファリングを完了した後も、バファリングは継続するとよい。但し、もちろん記録範囲RLとしての最終フレームまでバファリングを完了した時点でバファリングを終了するという処理方式も考えられる。
撮像環境としての第1ステートST1や第2ステートST2は、例えば撮像装置10や遠隔制御装置50を装着したユーザの状況である。例えばスノーボードやモータバイクで発進する状態を第1ステートST1、ある地点でジャンプする状態が第2ステートST2などとする。
少なくとも発進時は、ユーザは撮像に関する操作を行うことができる。例えば発進直前にタッピング操作を行うことなどは可能なため、これを第1ステートST1のトリガとしてもよい。しかし第2ステートST2(ジャンプに至った状態)では操作は困難である。そこで少なくとも第2ステートST2の検知のためのトリガは、ユーザの意識的な操作ではないものとすることが望ましい。もちろん発進した状態(第1ステートST1)を振動等により検知してもよい。
図10Aは、予め登録した振動パタンの検出をトリガとする例である。
コントローラ30は、センサ部14におけるジャイロセンサや加速度センサの検出信号を検知する(PH1)。例えば5回のノッキングについての振動パタンが登録されているとするときに、検出信号として、5回の振動に応じた波形が得られたとする。
この検出信号についてAD(Analog to Digital)変換し(PH2)、さらにコアリング(ローパスフィルタ処理)や、閾値判定による2値パルス化処理等を行う(PH3)。そして得られた2値パルスの波形を登録された各種パタンと比較照合する(PH4)。例えば所定時間TRG内のパルス発生数やパルス間隔を比較し、類似しているパタンが存在するか否かを判定する。そして類似しているパタンが存在していることをステート検出のトリガとする。
例えばユーザが意識的に5回タッピングする動作を第1ステートST1検出のトリガと判定することが考えられる。
或いはアクティビティ開始時の特有の振動パタンを第1ステートST1検出のトリガとしたり、アクティビティの過程の特有の振動パタンを第2ステートST2検出のトリガとすることが考えられる。
コントローラ30は音声検出部17としてのマイクロホンからの音声信号を入力する(PH11)。そして当該音声信号をAD変換し(PH12)、デジタルデータ化した状態で音声認識処理を行う(PH13)。そして音声認識処理でキーワード抽出を行い、抽出したキーワードが予め登録した音声パタンとマッチングして、一致(又は類似)しているか否かを判定する(PH14)。一致又は類似する音声パタンが存在することをステート検出のトリガとする。
例えば「Let’s Go」等のユーザが発声した際の音声パタンを第1ステートST1のトリガと判定することが考えられる。
またアクティビティ開始時の特有の音声パタンを第1ステートST1検出のトリガとしたり、アクティビティの過程の特有の音声(ユーザのかけ声、ジャンプ等の特定の状態で得られる周囲音声、歓声等)を第2ステートST2検出のトリガとすることが考えられる。
例えばコントローラ30は、センサ部14におけるジャイロセンサや加速度センサの検出信号を検知する(PH21)。この検出信号についてAD変換し(PH22)、デジタルデータ化した状態でジェスチャ解析を行う(PH23)。即ち、ジェスチャに伴って生ずる振動のパタンを解析する。そして予め登録してある各種ジェスチャに応じた振動パタンとマッチングして、一致(又は類似)しているパタンが存在するか否かを判定する(PH24)。一致又は類似するパタンが存在することをステート検出のトリガとする。
また、画像からジェスチャを検知してもよい。コントローラ30はイメージャ12で撮像されデジタル信号処理部20で処理される各フレームデータを取り込む(PH31)。そして各フレームデータから被写体となっているジェスチャを解析する(PH32)。そして解析したジェスチャのパタンを、予め登録してある各種ジェスチャパタンとマッチングして、一致(又は類似)しているパタンが存在するか否かを判定する(PH33)。一致又は類似するパタンが存在することをステート検出のトリガとする。
例えばユーザが撮像装置10の被写体として映り込むようにして行った手や腕の特定の動作等を第1ステートST1検出のトリガとすることが考えられる。またアクティビティ開始時の特有のジェスチャ(例えばスタートのポーズなど)を第1ステートST1検出のトリガとしたり、アクティビティの過程の特有のジェスチャ(ジャンプ姿勢等)を第2ステートST2検出のトリガとすることが考えられる。
・所定パタンの振動の検知
・所定パタンの音(音声)の検知
・所定パタンのジェスチャの検知
・所定領域内への進入の検知
・遠隔制御装置50とのWIFI等の無線接続の切断の検知
等が考えられる。
所定領域内への進入とは、撮像装置10又は遠隔制御装置50を装着するユーザなどが或るエリアに進入したことを検知して、第1又は第2ステート検出を行うことである。例えばスキー、レース等で特定の場所の走行中であることを第2ステートST2とするなどが想定される。
遠隔制御装置50とのWIFI等の無線接続の切断の検知とは、撮像装置10と遠隔制御装置50との通信切断により、状況が変化したことを検知するものである。無線通信が切断するのは、撮像装置10と遠隔制御装置50との距離が離れた状況である。このような状況を或るステートとする。
・所定パタンのオートアイリス制御用検波値変化の検知
・所定パタンのオートホワイトバランス制御用検波値の変動検知
・所定パタンの画面内動きベクトル(グローバルベクトル)の変動検知
・所定パタンのジェスチャ検知
などが考えられる。
アイリス状態、ホワイトバランス状態の制御値の変化によっては、被写体の大きな変化を検知することができる。例えばアクティビティ中のジャンプによって被写体が地上の周囲風景から空一面に切り替わるような状態である。
また画面内のグローバルベクトルの変動とは、被写体の全体的な動きを表すため、グローバルベクトルを監視することで被写体の大きな変化を生じたことが検知できる。
図11Aはセンサ部14による検出信号に基づく検波値の推移を示している。また図11Bは検波値を微分及びコアリングした信号値SJ、図11Cは信号値SJに基づくカウント制御フラグCTF、図11Dはステート判定のためのカウンタのカウント値CJを示している。
閾値範囲sjTHは信号値SJについての安定/変動の判定のための閾値範囲である。
カウント制御フラグCTFは、信号値SJが閾値範囲sjTHの範囲内、つまり安定しているとする範囲内のときに“1”、閾値範囲sjTHを越えた場合、つまり大きく変動しているときに“0”とするフラグである。
カウンタ値CJは、カウント制御フラグCTFが“0”のときにカウントアップされ、カウント制御フラグCTFが“1”のときにリセットされるカウンタのカウント値である。
図11Fは第2ステート判定タイミングを示している。これはバファリングしたフレームデータのうちの記録範囲の設定及び記録処理が可能となるタイミングを示したものである。
時点t0において撮像装置10(或いはさらに遠隔制御装置50)が電源オンとされたとする。コントローラ30にとっては時点t0からセンサ部14の検出信号を取り込んで検波値を監視可能となる。
時点t1に、ユーザのタッピング操作パタンが検出されたり、バイク発車時の振動パタンが検出されたとする。コントローラ30はこれにより第1ステートST1になったと判断し、HFR撮像及びバファリングを開始させる。
振動の検波値としてはバイク走行時の振動に応じて大きな変動が観測される。このためカウント値CJはリセットが繰り返され、閾値rTHに達しない状態が続く。
ある時点tjでバイクがジャンプしたとする。空中にある間、振動の検波値としては、ある値に張り付くような状態が観測される。そして検波値の変動がほとんど無くなることから微分値の変化が小さくなり、信号値SJが安定する。これによってカウント値CJのリセットがある程度の時間行われず、時点t2でカウント値CJが閾値rTHを越えたとする。
コントローラ30は、この時点t2において第1ステートST1から第2ステートST2に至ったと判定する。そしてこのタイミング以降に第2モードの処理を指示する。具体的には、例えば図8Bのように時点t2で一定時間TLの記録範囲RL1を設定する。図11では、時点tjから時点t4までの一定時間TLが記録範囲とされた例を示している。そしてコントローラ30はその後所定の時点でデジタル信号処理部20にHFR記録処理を開始させる。
バイクが着地した時点t4以降では、再び大きな振動が加わることで信号SJの変化が大きくなり、カウント値CJはリセットが繰り返される状態となる。
図12はコントローラ30の撮像制御装置1としての機能(状態検出部1a及びモード処理指示部1b)による全体処理を示している。
コントローラ30は、この図12の処理をフレームタイミング毎に繰り返す。
機能オフとされている期間は、コントローラ30は常にステップS102の処理のみを行って図12の1回の処理を終える。
ステップS102では、HFR撮像指示フラグFbのオフ(“0”)、HFR記録指示フラグFrをオフ(“0”)、第1ステート検出フラグF1のオフ(“0”)、第2ステート検出フラグF2のオフ(“0”)を行う。
HFR撮像指示フラグFbは、第1ステート検出に伴った第1モードの撮像処理動作の指示が可能な状態(もしくは指示すべき状態)を示すフラグである。コントローラ30は、HFR撮像指示フラグFbがオン(“1”)となることに応じて第1モード動作の指示制御、具体的にはHFRでの撮像及びバファリングの指示を行う。
HFR記録指示フラグFrは、第2ステート検出に伴った第2モードの撮像処理動作の指示が可能な状態(もしくは指示すべき状態)を示すフラグである。コントローラ30は、HFR記録指示フラグFrがオン(“1”)となることに応じて所定のタイミングで第2モード動作の指示制御、具体的にはHFR撮像データの記録範囲の設定及び記録処理の指示を行う。
第1ステート検出フラグF1は、第1ステートST1の検出状態を示すフラグであり、第1ステート検出に応じてオン(“1”)とされる。
第2ステート検出フラグF2は、第2ステートST2の検出状態を示すフラグであり、第2ステート検出に応じてオン(“1”)とされる。
第1ステート検出フラグF1=0であって第1ステート未検出の状態であれば、コントローラ30はステップS104に進み、第1ステート検出処理を行う。例えば図11の時点t0〜t1は、このステップS104の処理を行うことになる。
コントローラ30はセンサ部14の検出信号や音声検出部17からの入力音声信号、或いはイメージャ12による撮像画像データDTを対象に第1ステート検出処理を行う。一例として図13では、図10Aで説明したセンサ部14の検出信号を対象とする例を示している。
コントローラ30はまずステップS201で検波値を取得する。そしてステップS202で直流成分カットやノイズ平滑化のために検波値に対してフィルタ処理、例えばバンドパスフィルタによる帯域抽出処理を行う。さらにステップS203で微小振幅カットのためのコアリング処理を行い、ステップS204で閾値を用いた判定を行う。そしてコントローラ30はステップS205で、以上の処理で得られたパルスについて、所定時間内のパルスパタン(パルス発生数やパルス間隔)を、予め登録されているパルスパタンと比較する。
この比較の結果として、コントローラ30は、第1ステート検出フラグF1=0であって、かつ事前登録されているパタンと一致するパルスパタンが検出されたという条件が満たされなかったら、ステップS206からS209に進み、第1ステート検出フラグF1=0の状態を維持する。
上記の条件が満たされた場合は、コントローラ30は、ステップS206からS207に進み、第1ステート検出フラグF1=1とする。つまり第1ステートST1としてのトリガが検出されたとする。
この場合、さらにコントローラ30はHFR撮像指示フラグFb=1とする。これに伴ってコントローラ30は、第1モードの指示、即ちイメージャ12でHFR撮像の開始及びデジタル信号処理部20でのバファリング開始の指示を行う。図11では時点t1以降の状態となる。
第2ステート検出処理の例を図14に示す。ここでは図11で説明した動作に対応する処理例としている。
コントローラ30はまずステップS301でセンサ部14からの検出信号の検波値を取得する。そしてステップS302で直流成分カットやノイズ平滑化のために検波値に対してフィルタ処理、例えばバンドパスフィルタによる帯域抽出処理を行う。さらにステップS303で微小振幅カットのためのコアリング処理を行う。以上の処理で得られるのが図11で述べた信号値SJとなる
コントローラ30はステップS304で信号値SJが閾値範囲sjTH以内であるか否かを確認する。そして信号値SJが閾値範囲sjTH内であればステップS305でカウント制御フラグCTF=1とし、信号値SJが閾値範囲sjTH内でなければステップS306でカウント制御フラグCTF=0とする。
なおステップS309では、カウント値CJのカウントダウンを行うという処理例も考えられる。
CJ>rTHでなければ、ステップS312において、HFR記録指示フラグFr=0を維持するとともに、第2ステート検出フラグF2=0を維持する。
この場合、図12の処理はステップS107から1回の処理を終了することになる。
HFR記録指示フラグFr=1に応じてコントローラ30は第2モードの指示を所定のタイミングで行う。例えばこの時点で、図8B、図8C、図8DのようにHFRでの記録範囲RL(RL1,RL2,RL3のいずれか)を設定する。
また図8E、図8F、図8Gのいずれかのタイミングで、バファリングされた記録範囲のフレームについてのHFR記録処理、具体的には記録用のエンコード処理や記録部15への転送をデジタル信号処理部20に実行させる制御を行う。(但し図12の処理例では記録範囲RLのバファリング完了後にステップS109で記録処理を指示する例としている。)
ステップS108でコントローラ30は、一定時間TLの経過を確認する。この確認は、記録範囲RLして設定した先頭のフレームから一定時間TL後のフレームまでのバファリングが完了したか否かを確認する処理となる。つまり記録範囲RLとしての全フレームのバファリングを待機する処理である。
バファリングが完了していなければ、図12の処理を終える。
この場合、第1ステート検出フラグF1=0に応じてHFR撮像及びバファリングを停止させればよい。
或いは、第1ステート検出フラグF1=1を継続し、HFR撮像及びバファリングも継続する例も考えられる。その場合は、再び第2ステート検出が行われ、第2ステート検出に応じてHFR記録が実行されることになる。
これ以外に、例えば図8B又は図8Cのように記録範囲RL1又はRL2を設定し、図8Eのタイミングで即座に(バファリング完了を待たずに)記録処理を開始させてもよい。その場合コントローラ30は、図14のステップS311でHFR記録指示フラグFr=1とした時点で、すぐにデジタル信号処理部20に対して記録処理を指示するようにすればよい。
そして各検波値に対して処理Xを行う。処理Xとは図14に示したステップS302〜S309の処理(もしくはそれと同等の処理)である。
例えばジャイロセンサの検出信号について検波値について処理X(ステップS302〜S309)としての処理を行い、カウント値CJ1を得る(S321−1)。
またオートアイリス検波値や、オートホワイトバランス検波値についても処理Xと同等の処理を行い、カウント値CJ2,CJ3を得る(S321−2,S321−3)。
コントローラ30は、例えばステップS322において、Cj1>rTH1、Cj2>rTH2、Cj3>rTH3の条件が全て揃えば、第2ステートと判断する(AND条件)。
或いは、いずれかが満たされれば第2ステートST2に至ったと判断してもよい(OR条件)。
さらには、全部でなくとも、一部(例えば3つのうち2つ)が満たされれば、第2ステートST2と判断することも考えられる。
一方、ステップS322の条件が満たされたら、コントローラ30はステップS323において、HFR記録指示フラグFr=1とし、また第2ステート検出フラグF2=1とする。
このように複数の検出要素を用いて第2ステートST2の検出を行うようにすることで、多様な状況に対応して第2ステート検出を行うことができる。
例えばアンド条件により、第2ステート検出精度を向上できる。
またオア条件、複数条件の一部充足条件により、第2ステートST2としての多様な状態、状況に対応できる。
さらに、アクティビティの種別、或いは第2ステートST2としたい状態の選択に応じて、第2ステート検出条件を切り換えるようにしてもよい。例えばバイクやスノーボード等のジャンプシーン、フィギュアスケートの回転シーン、剣道の打ち込みのシーン、野球、テニス等の球技の打撃シーン、サッカーのキーパー視線のシュートボール接近シーンなど、アクティビティ種別やシーン種別によって、第2ステートST2としたい状況が異なる。そこで、第2ステートST2としたいシーンに合わせて、第2ステート検出条件を切り換えることができるようにするとよい。
第3の実施の形態の動作を説明する。図16は第3の実施の形態で撮像装置10が行う動作を模式的に示している。これは第2ステートST2としての期間にHFR撮像記録を行うまでは第2の実施の形態の図8と同様であるが、第3ステートST3に至ったことを検出することに応じて、HFR記録を終了させる(記録範囲RLの終点を決める)例である。
時点t2においてコントローラ30は第2ステートST2としてのトリガを検知したとする。コントローラ30は、これに応じて、HFR撮像の記録範囲RLの先頭フレームを設定する。この例ではまだ記録範囲RLとしての最終フレームは設定されない。
例えばコントローラ30は、図16Bのように、第2ステートST2を検知した時点t2において得られたフレームを、HFR記録する記録範囲RL4の先頭フレームとする。
或いは、コントローラ30は、図16Cのように、第2ステートST2を検知した時点t2において得られたフレームより所定時間前に得られたフレームを、HFR記録する記録範囲RL5の先頭フレームとする。
時点t3においてコントローラ30は第3ステートST3としてのトリガを検知したとすると、コントローラ30は、これに応じて、HFR撮像の記録範囲RLの最終フレームを設定する。
例えば時点t3のタイミングで撮像されたフレームを記録範囲RL(RL4又はRL5)の最終フレームとする。
例えばコントローラ30は、図16Dのように時点t2から記録処理を開始させる。
或いはコントローラ30は、図16Eのように第3ステートST3の検出により最終フレームが決まった時点t3以後に、記録処理を開始させてもよい。
例えば第3ステートST3を検知した後、再び第1ステートST1,第2ステートST2と進行することもあり得るため、第3ステートST3を検出し、記録範囲RLとしての最終フレームまでバファリングを完了した後も、バファリングは継続するとよい。但し、もちろんステートST3の検出時点でバファリングを終了するという処理方式も考えられる。
また第3ステートST3の検出のトリガも、同様に各種考えられるが、第3ステートST3検出のトリガとしては、バファリング容量がフルになることが加わる。
これは、バファリングを図9で説明したようにリングメモリ形態で行うため、記録範囲RLとしては、最大でリングメモリ容量限度のフレーム数とするためである。
但し、HFR記録処理の速度とHFRの値にもよるが、上書きしてもよいアドレス領域、つまりすでに記録処理を終えたフレームをバファリングしていたメモリ範囲が存在する場合は、まだバッファフルとしない(第3ステートSTのトリガとしない)ような処理も考えられる。
図17A、図17B、図17C、図17Dは、図11と同様に、センサ部14による検出信号に基づく検波値、検波値を微分及びコアリングした信号値SJ、信号値SJに基づくカウント制御フラグCTF、ステート判定のためのカウンタのカウント値CJを示している。
また図17Eは第1ステート判定タイミング、図17Fは第2ステート判定タイミング、図17Gは第3ステート判定タイミングを示している。図17では図11と同様にモータ
イクのオフロード走行のようなシーンを想定する。
第1ステートST1となった時点t1以降に第2ステートST2に至ったか否かの判定処理を行い、時点t2でカウント値CJが閾値rTHに達したとする。
コントローラ30は、この時点t2において第1ステートST1から第2ステートST2に至ったと判定する。そして例えば図16Cのように記録範囲RL4を設定する。図11では、時点t2より所定時間TL2前の時点txのフレームを開始フレームとする。そしてコントローラ30はその後所定の時点でデジタル信号処理部20にHFR記録処理を開始させる。
バイクが着地した時点t3以降では、再び大きな振動が加わることで信号SJの変化が大きくなり、カウント値CJはリセットされる。
コントローラ30は、このようにカウント値CJがリセットされ、CJ<rTHとなることをトリガとして、第3ステートST3に至ったと判定する。そしてコントローラ30は、この時点t3のフレームを記録範囲RLの最終フレームと設定する。
図18はコントローラ30の撮像制御装置1としての機能(状態検出部1a及びモード処理指示部1b)による全体処理を示している。コントローラ30は、この図18の処理をフレームタイミング毎に繰り返す。
なお、図12と同一の処理は同一のステップ番号を付して詳細な説明を避ける。
ステップS102Aでは、HFR撮像指示フラグFbのオフ(“0”)、HFR記録指示フラグFrをオフ(“0”)、HFR記録終了フラグFeのオフ(“0”)、第1ステート検出フラグF1のオフ(“0”)、第2ステート検出フラグF2のオフ(“0”)、第3ステート検出フラグF3のオフ(“0”)を行う。
HFR記録終了フラグFeはHFR記録範囲RLの終了フレームを指定するタイミングとなったことを示すフラグである。
第3ステート検出フラグF3は、第3ステートST3の検出状態を示すフラグであり、第3ステート検出状態においてオン(“1”)とされる。
第2ステートST2が検出されていない期間は、コントローラ30はステップS107から1回の処理を終える。
ステップS106で第2ステートが検出された場合は、第2ステート検出フラグF2=1とされる。その場合コントローラ30は、ステップS107からS120に進み、第3ステート検出処理を行う。
ステップS106の第2ステート検出処理が図19のステップS301〜S312として行われる。この処理は図14と同様である。従って第2ステートST2としてのトリガが検出された場合、ステップS311でHFR記録フラグFr=1、第2ステート検出フラグF2=1とされる。
第2ステートST2が検出され、第2ステート検出フラグF2=1となった以後は、ステップS107からS120の第3ステート検出処理に進む。
この条件が満たされていないときは、コントローラ30はステップS352でバファリング容量がフル状態となっているか否かを確認する。つまり記録範囲RLの先頭フレームのバファリングを行ったアドレスを上書きしなければ次のフレームがバファリングできない状態であるか否かを確認する。
バファリング容量がフルでなければ、コントローラ30はステップS354に進み、HFR記録終了フラグFe=0を維持し、また第3ステート検出フラグF3=0を維持する。
この場合コントローラ30は、第3ステート検出フラグF3=0であるためステップS121から図18の1回の処理を終える。
その場合、第3ステート検出フラグF3=1となることにより図18の処理はステップS121からS122に進むことになる。
ステップS122でコントローラ30は、記録範囲RLの最終フレームを特定し、またデジタル信号処理部20に対してHFR記録処理を指示する。つまりバファリングされた記録範囲RLのフレームについて、記録用のエンコード処理及び記録部15への転送をデジタル信号処理部20に実行させる。これにより、第2ステート検出時点から第3ステート検出時点までの期間のHFR映像が記録されることになる。
この場合、第1ステート検出フラグF1=0に応じてHFR撮像及びバファリングを停止させればよい。
或いは、第1ステート検出フラグF1=1を継続し、HFR撮像及びバファリングも継続する例も考えられる。その場合は、再び第2ステート検出が行われ、第2ステート検出時点のフレームから、その後の第3ステート検出時点のフレームまでのHFR記録が実行されることになる。
これ以外に、例えば記録範囲RL4又はRL5について、図16Dのタイミングで記録処理を開始させてもよい。つまり最終フレームの特定を待たずに記録処理を開始する。その場合コントローラ30は、図19のステップS311でHFR記録指示フラグFr=1とした時点で、すぐにデジタル信号処理部20に対して記録処理を指示するようにすればよい。
さらに、アクティビティの種別、或いは第2ステート(HFR記録)を終了させたい状態の選択に応じて、第3ステート検出条件を切り換えるようにしてもよい。例えばバイクやスノーボード等のジャンプシーンにおける着地の状態、フィギュアスケートの回転シーンが終了したときのパタンなどを選択できるようにする。
また、HFR記録の終了タイミングを規定するという意味では、第3ステートST3の検出のトリガは、撮像装置10と遠隔制御装置50の無線通信状況を用いてもよい。即ち、ユーザがバイク等に撮像装置10を取り付け、腕時計型の遠隔制御装置50を装着している場合、WIFI等の近距離無線通信は通常継続される。ところがユーザがバイクから離れた場合は、WIFI通信が途絶えることになる。これはユーザにとってはもはや第2ステートST2としてHFR記録を行う状態ではないと判断できる。そこで、無線接続が解除されたことで、第3ステートST3に至ったと判断することも好適である。
また第1ステートST1の検出についても、多様なトリガ、或いは複数の要素から得られるトリガにより判定してもよい。
第2の実施の形態は、第2ステートST2の開始から一定時間TLの期間がHFR記録されるものとしたが、その場合、アクティビティの特有のシーンが終了してからある程度HFR記録が続いてしまうこともある。第3の実施の形態では、終了タイミングがその動作状況に応じて規定されることで、動作に適した時間長の録画が可能となる。
第4の実施の形態の動作を図20で説明する。
これは第2ステートST2でHFR記録を行うが、第1ステートST1の期間に通常記録を行うようにした例である。ここでいう通常記録とは、HFRよりも低い一般的なフレームレートでの撮像画像データDTの記録処理のことである。例えば60fpsの記録とする。
そして第1ステートST1の検出後は、コントローラ30は第2ステートST2としてのトリガを監視する。
時点t2においてコントローラ30は第2ステートST2としてのトリガを検知したとする。コントローラ30は、これに応じて、記録動作をHFR記録処理に切り替える指示を行う。デジタル信号処理部20は、時点t2において得られたフレーム以降は、HFR記録として処理する。
この時点t7とは、第2の実施の形態のように、一定時間TLのフレームをHFR記録するものとして設定してもよいし、第3の実施の形態のように、第3ステート検出時点としてもよい。
時点t7においてコントローラ30は、再び通常記録が行われるようにデジタル信号処理部20を制御する。そして、その後の時点t8においてHFR撮像を終了させる。通常記録の処理は、その時点t8までのフレームについての記録処理を終えた時点で終了することになる。
また記録範囲RL7でHFR記録されるフレームは、時点t2〜t7にHFR撮像で得られた各フレームとなる。
また記録範囲RL8として通常記録されるフレームは、時点t7〜t8にHFR撮像されたフレームのうちで、60fpsとなるように抽出されたフレームとなる。
図21Aはイメージャ12で撮像されるフレームを、また図21Bは内蔵メモリ25にバファリングされるフレームを示している。図21Cは記録処理(必要なカメラ信号処理やエンコード等)を示している。記録処理は、一定のフレームレート、例えば60fpsでエンコードが行われる。
なお図21に示す時点t1,t2,t7,t8は図20に対応している。
時点t1〜t2では通常記録が行われるが、この期間にバファリングされたフレームに対しては、例えば60fpsに相当するフレーム間隔でフレームが抽出され、記録処理に供される。従って、60fpsの動画データが記録されていくことになる。
時点t2〜t7において撮像されたフレームについては、バファリングされた全フレームが記録処理に供される。但し、960fpsの各フレームも、記録処理上は60fpsにおける1フレームとされる。従って、この間の記録映像は、通常再生時にスローモーション映像となる。
時点t7〜t8において撮像されバファリングされたフレームについては、通常記録の対象となるため、期間にバファリングされたフレームに対しては、例えば60fpsに相当するフレーム間隔でフレームが抽出され、記録処理に供される。
つまりこの第4の実施の形態によれば、ユーザが困難な操作を行うこと無しに、或るアクティビティにおいて最も注目したい第2ステートのシーンをスローモーション映像として記録でき、その前後は通常映像として記録された映像コンテンツを得ることができる。
第5の実施の形態の動作を図22で説明する。第5の実施の形態は、第1ステートST1とされた期間の撮像画像データについては記録を行い、第2ステート検出に応じて記録を終了する。さらに第3ステート検出で撮像装置を電源オフとする処理例である。
図22A、図22B、図22C、図22Dは、図11と同様に、センサ部14による検出信号に基づく検波値、検波値を微分及びコアリングした信号値SJ、信号値SJに基づくカウント制御フラグCTF、ステート判定のためのカウンタのカウント値CJを示している。
また図22Eは第2ステート判定タイミング及び撮像記録期間を示し、図22Fは第3ステート判定タイミング及び電源オン期間を示している。
この場合、第1ステートST1はユーザ操作に基づく例とする。時点t11でユーザが撮像記録開始の操作を行ったとすると、コントローラ30はそのタイミングがユーザの欲する撮像環境となったタイミングと判断し、第1ステートに至ったと判断する。なお、もちろん第1ステート判断を、センサ部14からの検波値等に応じて行ってもよい。
この場合、振動がほとんどなくなった状態がある程度の時間継続することで第2ステートST2を検出するものとしている。
コントローラ30はカウント値CJと比較する閾値rsTHを設定しており、カウント値CJが閾値rsTHを越えた時点t14で第2ステートST2に至ったことを判定する。
コントローラ30は第2ステートST2を検出したタイミング(時点t14)で、撮像記録動作の停止制御を行う。
コントローラ30は第3ステートST3を検出したタイミング(時点t15)で、電源部18を制御し、撮像装置10の電源オフを実行させる。
例えばユーザが或るアクティビティの開始の際に録画スタートとしての操作を行ったとする。ユーザは、アクティビティの途中の時点t12や、或いはアクティビティの終了時点t13などで録画を停止させるつもりであったところ、その停止操作を失念してしまった状況を考える。例えば時点t13以降は、ユーザが録画停止操作を忘れたまま或る場所に撮像装置10を放置したような状況である。
このような状況では、記録される映像コンテンツの無用な長時間化、記録部15の無駄な容量消費、さらには無駄なバッテリ消費が生じている。
そこでコントローラ30は、放置されたような状態を第2ステートST2とし、時点t14で第2ステートST2を検出したら、撮像記録停止制御を行う。また撮像記録停止状態で、まだ放置状態が継続することを第3ステートST3とし、コントローラ30は時点t15で第3ステートST3を検出したら電源オフ制御を行うものである。
図23はコントローラ30の撮像制御装置1としての機能(状態検出部1a及びモード処理指示部1b)による全体処理を示している。
なお、電源オフ操作を検知した場合、コントローラ30はステップS420に進み、電源部18に電源オフを指示する。
そして撮像記録が開始された以降は、コントローラ30は、ステップS404以降の処理をフレームタイミング毎に繰り返す。
ステップS404でコントローラ30はユーザによる操作部35を用いた録画停止操作(撮像記録処理の終了を指示する操作)を監視する。録画停止操作が検知されなければステップS406でフラグFuncON=1を維持する。
本例では、コントローラ30は撮像記録中にステート検出に応じたモード制御を行うため、ステップS407では、撮像制御装置1としての機能オンであり、かつフラグFuncON=1である場合に、ステップS408に進む。機能オフ、又は撮像記録の停止中は、ステップS407からS421に進むことになる。
その場合は、ステップS407からS421に進み、ユーザによる操作部35を用いた電源オフ操作を監視する。電源オフ操作が検知されなければ、ステップS422でフラグFuncON=0であるためステップS401に戻ることになる。
ステップS408でコントローラ30はセンサ部14からの検出信号の検波値を取得する。そしてステップS409で直流成分カットやノイズ平滑化のために検波値に対してフィルタ処理、例えばバンドパスフィルタによる帯域抽出処理を行う。さらにステップS410で微小振幅カットのためのコアリング処理を行う。以上の処理で得られるのが図22で述べた信号値SJとなる
コントローラ30はステップS411で信号値SJが閾値範囲sjTH以内であるか否かを確認する。そして信号値SJが閾値範囲sjTH内であればステップS412でカウント制御フラグCTF=1とし、信号値SJが閾値範囲sjTH内でなければステップS413でカウント制御フラグCTF=0とする。
その場合、ステップS419→S421→S422と進む。この時点では、手動操作に応じてステップS405でオフされるフラグFuncONは“1”のままであるので、ステップS422からS404に戻って、次のフレームタイミングでの処理を継続する。
そして引き続きステップS407からS408に進むことになる。
カウント値CJ>閾値pfTHとなった時点で、コントローラ30はステップS419からS420に進み、電源オフ制御を行うことになる。
またカウント値CJ>閾値pfTHに至る前に、ユーザが電源オフ操作を行った場合は、ステップS421からS420に進み、コントローラ30はユーザ操作に応じた電源オフ制御を行うことになる。
なお、フローチャートでの図示は省略したが、ステップS418で自動的に撮像記録停止制御が行われた後の電源オン状態において、ユーザが録画操作を行う場合もあり得る。その場合は、ステップS402に進むようにすればよい。
以上の図23の処理により、図22で説明した処理動作が実行される。
<7.第6の実施の形態>
第6の実施の形態を図24で説明する。
この例は、遠隔制御装置50と複数の撮像装置10A、10B、10Cを用いることを想定したものである。
各撮像装置10A、10B、10Cは図4の構成であるが、コントローラ30は状態検出部1a、モード処理指示部1bとしての機能は有さないか、もしくは状態検出部1a、モード処理指示部1bとしての機能をオフにしているとする。
この撮像装置10A、10B、10Cは、アクティビティを行うユーザやギアに装着されても良いが、ここでは或る場所に設置されているような例を考える。
もちろん第3,第4,第5の実施の形態の動作を各撮像装置10A、10B、10Cに実行させるようにすることもできる。
第7の実施の形態として、第1ステートST1,第2ステートST2の検出条件(トリガ種別)の設定の例について各種説明する。
先に、所定パタンの振動、音、ジェスチャ、画像解析や撮像制御動作等の検出値等についてトリガとなる状態を監視する例を述べた。これらの1又は複数をステート検出条件として固定しても良いが、アクティビティに応じて設定されるようにすることも考えられる。
例えば行動種別選択操作として、ユーザがアクティビティ種別を入力できるようにしておく。例えばコントローラ30は、表示部34に選択メニューを表示させ、バイク競技、スノーボード、スキージャンプ、フィギュアスケート、ダイビング、サーフィン、テニス、野球、サッカーなどをユーザが選択できるようにする。
ユーザが操作部35の操作により、或る行動種別を選択入力した場合、コントローラ30はステップS502に進み、選択された行動種別に応じて、第1,第2ステートの検出条件を設定する。
・バイク競技
[D1]ユーザのタッピング操作による振動パタン検知
[D2]ジャンプ時の振動パタン検知
・ダイビング
[D1]加速度センサのジャンプ時のパタン検知
[D2]オートホワイトバランスの検波値の変動検知
・テニス
[D1]所定パタンのジェスチャ検知
[D2]打球時の衝撃による振動パタン検知
コントローラ30はステップS510で行動種別判定を行う。これはセンサ部7の検出信号、被写体画像の解析結果、音声検出部17による入力音声の解析などにより、アクティビティの種別を判定する処理である。各アクティビティに特有の振動、音、画像パタン等を記憶し、マッチングを採ることで、現在実行中のアクティビティの種別を自動判定することができる。
なお、何らかのユーザ操作が行われた場合、或いは行動種別が不明のまま一定時間を経過した場合などにタイムオーバーとして、判定中止とする。判定中止の場合は、コントローラ30はステップS513からS514に進み、デフォルトの第1,第2ステートの検出条件を設定する。
なお、以上図25A、図25Bのような行動種別に応じたステート検出条件の設定は、第1ステートST1、第2ステートST2の両方ではなく、一方のみでもよい。また上記第3の実施の形態のように第3ステートST3を検出する場合、第3ステートST3の検出条件もアクティビティ種別に応じて設定することも考えられる。
また条件種別の切替ではなく複数条件についてのOR条件、AND条件を切り替えることも考えられる。
例えば第1ステートST1の検出条件として、所定の振動パタン、ジェスチャパタン、音声パタンなど、複数の検出条件を設定し、いずれか1つが検出されたら第1ステートST1と判定するものとする。
そしてコントローラ30は、図25Cの処理を行う。即ちステップS520で第1ステートST1を検出したか否かを判定し、第1ステートST1を検出した際にステップS521に進む。そしてコントローラ30は第1ステートST1の検出条件の種別に応じて第2ステートST2の検出条件を設定する。
例えばタッピング操作の振動パタンにより第1ステートST1を検出したときは、加速度センサの検波値の変動を第2ステートST2の検出条件とするが、ジェスチャパタンを第1ステートST1を検出したときは、グローバルベクトルの変動を第2ステートST2の検出条件とするなどである。
もちろん第3ステートST3の検出条件を第1ステートST1の検出条件種別に応じて設定しても良い。
また第2ステートST2の検出条件が複数設定されているときは、第3ステートST3の検出条件を第2ステートST2の検出条件種別に応じて設定することも考えられる。
以上の第1の実施の形態の撮像制御装置1や、第2〜第5の実施の形態の撮像装置10、遠隔制御装置50によれば、次のような効果が得られる。
つまり状態検出部1aが撮像環境についての第1ステートST1、第2ステートST2を検出するが、モード処理指示部1bは第1ステートST1、第2ステートST2毎に所定の撮像処理動作を設定しておき、検出されたステートに応じた制御を行う。即ち第1ステートST1が検出された場合、モード処理指示部1bは、その検出時点、もしくはその後の時点で、第1モードの指示を行い、第2ステートST2が検出された場合、モード処理指示部1bは、その検出時点やその後の所定の時点で第2モードの指示を行う。
この構成により撮像環境の変化に応じた撮像処理動作が実行される。即ち撮像環境が第1ステートST1に至った後に、第2ステートST2に至るという条件下での撮像処理動作を自動的に行うことができる。これにより撮像に関する使用性、操作性を向上させることができる。
特に使用中の操作が困難な状況で使用される機器などにおいて、使用者の状況等の撮像環境の変化に応じて望ましい撮像動作を撮像装置に実行させることができる。
即ち撮像環境として、撮像装置10や遠隔制御装置50を装着した人や装着したギア、被写体人物等の動的な状況を検出する。例えば被装着体としての人が、或る競技を開始する状態を第1ステート、競技中の特定の動作状態になることを第2ステートなどとする。
これにより撮像装置、遠隔制御装置の被装着体や被写体の動作等をトリガとして撮像処理動作を制御できる。
なお被装着体は多様に想定される。例えば移動体、自動車、列車、船舶、飛行体、例えば飛行機、気球、ヘリコプター、グライダー、凧、アドバルーン、遠隔コントロールによる模型飛行体、人工衛星、動物、構造物、自然物などでもよい。
第1ステートST1に至った状態で行う第2検出は、被装着体や被写体の動きを検出するが、その動きは、特に撮像に関する操作のための動きではなく、第2ステートST2としての特定の動作を検出することが好適である。これによりアクティビティを実行している被装着体や被写体の第2ステートとしての特徴的な動作に応じた撮像処理動作の制御が可能となる。また被装着体としてのユーザは、操作を意識しなくて良い。
第1ステートST1に至ることについては、撮像装置や遠隔制御装置のユーザの意思に基づく操作により判断することが好適な場合もある。例えばスポーツ、アクティビティなどとしての動作の開始を第1ステートST1とした場合、その開始をユーザの操作により検知することで、第1モードの撮像処理動作をユーザ意思に基づいて開始する。
これにより第1モードの撮像処理動作はユーザの意思に応じて確実に実行しつつ、第2ステートST2は、ユーザが開始したスポーツ、アクティビティなどにおける特徴的な動作の状態とし、そのような状態に応じて第2モードの撮像処理動作を行うことができる。
ユーザにとっては、アクティビティ等の開始の際に第1モードを指示するのみで、望ましい動画記録が実現できる。
これによりユーザが意識しなくとも、第2モードの撮像処理動作、例えばHFR撮像記録を適切な時点(もしくは適切な時点の撮像画像で)終了させることができる。
つまり第1ステート検出に応じて、撮像画像データのバッファリングを開始させる。そして第2ステート検出に応じて、バッファリングしている、もしくはバッファリングされたうちで、記録画像として、記録部15に転送し保存させる画像の範囲を設定する。
例えば上述のように通常のフレームレートより高いHFRの動画撮像記録を目的とする場合、第2ステートST2とはHFR撮像に適した撮像シーンとする。HFRの場合、その実際のフレームレートと撮像装置のデータ転送速度や処理能力の関係、或いは記録媒体の容量などにもよるが、HFR撮像画像を常時記録していくことは負担が大きく、またユーザにとっても必要ではないことが多い。またHFR画像は、通常の再生装置で再生することでスローモーション画像となる。
そこで、第1ステートST1の際に撮像画像データをバファリングし、第2ステートST2で記録範囲を設定し、その範囲だけHFR画像として記録に残すことは、非常に適切な処理となる。なぜならユーザにとっては、スローモーションで見たいような重要な場面のみ、HFR画像として記録されるためである。また撮像装置にとってもリングメモリ形態でバファリングしていくことで、無用にメモリ容量を圧迫することもなく、さらに記録のためのエンコードや転送、記録媒体への書込等の処理負担が過大になることはないためである。
またこのようなHFR撮像において実施の形態の処理をおこなうことで、ユーザ自身がHFR録画タイミングを制御しなくてもよく、アクションカメラとしての使用態様においてHFR記録を快適に実現できる。
つまり第1ステートとされた期間の撮像画像データについては第1のフレームレートで記録され、第2ステートとされた期間の撮像画像データは第2のフレームレート(HFR)で記録される。
従って撮像環境に応じて異なるフレームレートが混在する動画コンテンツが生成できる。例えば60fpsなどの一般的なフレームレートで撮像画像記録が行われ、第2ステート検出に応じた期間の撮像画像記録は、240fpsや960fpsなどのハイフレームレートで撮像画像記録が行われたようなコンテンツである。この場合、通常の再生を行うと、通常の動画の途中に、特定の動作のシーンとしてスローモーション映像が挿入されたようなコンテンツとなる。第2ステートST2をスポーツ、アクティビティ等における重要なシーンとなる撮像環境とすることで、HFR撮像を有効利用したコンテンツが自動生成できることになる。
つまり第1ステートとされた期間の撮像画像データについては記録され、第2ステート検出に応じて記録が終了される。さらに第3ステート検出で撮像装置が電源オフとされる。
従って撮像環境に応じて撮像や撮像記録の停止、電源オフが行われるようにすることができる。例えばユーザにとって不要な映像の撮像記録が延々と続くようなことが回避され、また不要な撮像、或いは電源オン状態が継続してしまうことが回避される。特にスポーツ等を行っているユーザにとっては、撮像装置に関する操作として録画停止や電源オフは忘れがちである。そして操作忘れによって記録媒体の容量圧迫やバッテリ容量の低下などを生じさせてしまうことが多々ある。本構成によればこのような事態が防止される。
これらのセンサにより、被装着体の動き、音、ジェスチャ等として、スポーツ等の動作状態を検出でき、第1ステートST1又は第2ステートST2として撮像処理動作の制御に適切な撮像環境を自動的に検知できる。
即ち撮像画像データの画像解析により被写体の各種状況としての撮像環境を検出する。例えば撮像画像データから被写体のジェスチャ感知ができる。また撮像画像データに基づいてAF(オートフォーカス)、AE(オートアイリス)、AWB(オートホワイトバランス)などの制御が行われるが、これらは被写体の状況に応じた制御であるため、AF,AE,AWBの制御値は、被写体状況としての撮像環境を検知する値ともなる。また画像から被写体の動きベクトルを検出して撮像環境を判断することもできる。
これにより、被写体の動き、ジェスチャ等として、スポーツ等における動作状態を検出でき、第1ステート又は第2ステートとして撮像処理動作の制御に適切な撮像環境を自動的に検知できる。
例えば撮像装置と、例えば遠隔制御装置等の通信可能な機器との間の通信が途絶えたまま所定時間を経過した場合など、撮像環境の変化と判断しても良い。
これにより撮像環境の変化の検出に応じた撮像処理動作の制御が可能となる。
例えばスポーツやアクティビティとしての種別を判定し、それに応じて第1ステートのトリガ、第2ステートのトリガを設定する。
これにより実行する行動種別に応じて、第1ステートST1、第2ステートST2を適切に検出できるようになる。
第1ステートST1を検出した際の検出条件が多様であるとした場合に、第1ステートST1を検出した際の検出条件に応じて、第2ステートST2の検出条件を選択することで、行動における第1ステートST1の検出条件に関連して第2検出の検出条件を設定できる。従って第2ステートST2を適切に検出できる可能性を高めることができる。
このプログラムにより、実施の形態の撮像制御装置1としての機能を備えた演算処理装置、例えばマイクロコンピュータやDSPによるコントローラ30、60を実現できる。ひいては撮像制御装置1としての機能を備えた撮像装置10や遠隔制御装置50を実現できる。
また、このようなプログラムは、リムーバブル記録媒体からパーソナルコンピュータなどにインストールする他、ダウンロードサイトから、LAN、インターネットなどのネットワークを介してダウンロードすることもできる。
第1ステートST1や第2ステートST2としての判定のトリガ(検出条件)は、他にも考えられる。第3ステートST3についても同様である。
第1ステートST1や第2ステートST2としての検出条件となる「所定パタン」をユーザが事前に登録できるようにしてもよい。例えばタッピング操作の回数や間隔等を登録するなどである。
また、この時の第1ステートST1や第2ステートST2に対応する第1モード、第2モードの撮像処理動作をユーザが事前に登録できるようにしてもよい。例えば2回のタッピング操作で第1ステートST1を指示した際には第2の実施の形態のような第2ステートST2でのHFR撮像、3回のタッピング操作で第1ステートST1を指示した際には第4の実施の形態のような通常撮像とHFR撮像の混合動作を行うなどである。
例えば第1ステートST1検出時から通常記録を行って、これを第2ステートST2となっても継続するが、第2ステートST2に該当するフレーム範囲を示すタグを付加する。或いは第2ステートの検出条件、検出時間などの情報を付加する。これにより後の動画再生時や編集時に、第2ステートST2の期間を容易に動画上で検索できたり、第2ステートST2の検出内容(どのような状況を第2ステートST2としたか)を把握できるため、再生や編集に便利となる。
例えば撮像画像データを外部機器に送信することで、アクティビティを離れて見ている同行者に撮像画像を即時チェックしてもらえるなどの使用態様が可能となる。
また遠隔制御装置50に記録部を設け、撮像画像データを遠隔制御装置50に転送して記録部の記録媒体に記録するようにしてもよい。
上記のように被装着体は自動車や飛行体なども想定される。
例えば車載カメラに適用した場合、急ブレーキで第1ステートST1検出、エアバック発動で第2ステートST2の検出等が考えられる。
また医療機器、手術用の撮像装置などでも好適である。この場合、医師の動作、或いは映像から判定される状況により、ステート判断を行い、撮像処理動作のモードを制御することが考えられる。
従って本技術の撮像制御装置は、民生機器や放送その他の業務用機器において広く適用できる。例えば動画撮像機能を備えたカメラ機器、携帯端末機器、携帯電話機、監視カメラ機器、定点カメラ機器、ドライブレコーダ等の車載用カメラ機器、走行環境判定のためのカメラ機器、医療機器、電子内視鏡等に内蔵したり、これらの機器とシステム化することも好適である。
(1)撮像環境が第1ステートになること検出する第1検出と、前記第1ステートから第2ステートになることを検出する第2検出とを行う状態検出部と、
前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示し、前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示するモード処理指示部と、を備えた
撮像制御装置。
(2)前記状態検出部は、
前記撮像環境として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体が、前記第1ステート又は前記第2ステートとなることの検出を行う
上記(1)に記載の撮像制御装置。
(3)前記状態検出部は、
前記第2検出として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体の非操作アクションの検出を行う
上記(1)又は(2)に記載の撮像制御装置。
(4)前記状態検出部は、
前記第1検出として、撮像装置の被装着体もしくは被写体である人の操作アクションの検出を行う
上記(3)に記載の撮像制御装置。
(5)前記状態検出部は、前記第2ステートから第3ステートになることを検出する第3検出を行い、
前記モード処理指示部は、前記第3ステートの検出に基づいて、少なくとも前記第2モードで実行される撮像処理動作の終了を指示する
上記(1)乃至(4)のいずれかに記載の撮像制御装置。
(6)前記モード処理指示部が指示する前記第1モードの撮像処理動作は、撮像画像データをリングメモリ形態でメモリへバファリングする処理動作を含み、
前記モード処理指示部が指示する前記第2モードの撮像処理動作は、前記メモリにバファリングされていく撮像画像データのうちで記録画像として保存する範囲を設定する処理動作を含む
上記(1)乃至(5)のいずれかに記載の撮像制御装置。
(7)前記モード処理指示部が指示する前記第1モードの撮像処理動作は、前記第1ステートとされた期間の撮像画像データを第1のフレームレートで記録画像として保存するための処理動作を含み、
前記モード処理指示部が指示する前記第2モードの撮像処理動作は、前記第2ステートとされた期間の撮像画像データを前記第1のフレームレートよりは高いフレームレートである第2のフレームレートで記録画像として保存するための処理動作を含む
上記(1)乃至(6)のいずれかに記載の撮像制御装置。
(8)前記状態検出部は、前記第2ステートから第3ステートになることを検出する第3検出を行い、
前記モード処理指示部が指示する前記第1モードの撮像処理動作は、撮像画像データを記録画像として保存するための処理動作を含み、
前記モード処理指示部が指示する前記第2モードの撮像処理動作は、撮像画像データの記録を停止するための処理動作を含み、
前記モード処理指示部は、前記第3ステートの検出に基づいて撮像装置の電源オフを指示する
上記(1)乃至(4)のいずれかに記載の撮像制御装置。
(9)前記状態検出部は、
撮像装置又は撮像装置と通信可能な機器に搭載されたセンサの検出信号に基づいて、前記第1検出、前記第2検出の一方又は両方を行う
上記(1)乃至(8)のいずれかに記載の撮像制御装置。
(10)前記状態検出部は、
撮像装置によって得られた撮像画像データに基づいて、前記第1検出、前記第2検出の一方又は両方を行う
上記(1)乃至(9)のいずれかに記載の撮像制御装置。
(11)前記状態検出部は、撮像装置と通信可能な機器の間における通信状態に基づいて、前記第1検出、前記第2検出の一方又は両方を行う
上記(1)乃至(10)のいずれかに記載の撮像制御装置。
(12)前記状態検出部は、
被装着体の行動種別に応じて、前記第1検出、前記第2検出の一方又は両方についての検出条件を設定する
上記(1)乃至(11)のいずれかに記載の撮像制御装置。
(13)前記状態検出部は、
前記第1検出として複数の検出条件を設定し、
前記第1検出で第1ステートを検出した際の検出条件種別に応じて、前記第2検出の検出条件を設定する
上記(1)乃至(11)のいずれかに記載の撮像制御装置。
(14)撮像装置を制御する撮像制御装置の撮像制御方法として、
撮像環境が第1ステートになること検出する第1検出手順と、
前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示する第1指示手順と、
前記第1ステートから第2ステートになることを検出する第2検出手順と、
前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示する第2指示手順と、を備えた
撮像制御方法。
(15)撮像環境が第1ステートになること検出する第1検出手順と、
前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示する第1指示手順と、
前記第1ステートから第2ステートになることを検出する第2検出手順と、
前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示する第2指示手順とを
演算処理装置に実行させるプログラム。
Claims (17)
- 撮像環境が第1ステートになること検出する第1検出と、前記第1ステートから第2ステートになることを検出する第2検出とを行う状態検出部と、
前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示し、前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示するモード処理指示部と、
を備え、
前記状態検出部は、被装着体の行動種別の判定を行い、判定した行動種別に応じて、前記第1検出、前記第2検出の一方又は両方についての検出条件を設定する
撮像制御装置。 - 前記状態検出部は、前記第1検出、前記第2検出の両方についての検出条件を判定した行動種別に応じて設定する
請求項1に記載の撮像制御装置。 - 前記状態検出部は、撮像装置と通信可能な機器の間における無線通信状態に基づいて、前記第1検出、前記第2検出の一方又は両方を行う
請求項1又は請求項2に記載の撮像制御装置。 - 前記状態検出部は、前記第2ステートから第3ステートになることを検出する第3検出を行い、
前記モード処理指示部は、前記第3ステートの検出に基づいて、少なくとも前記第2モードで実行される撮像処理動作の終了を指示する
請求項1から請求項3のいずれかに記載の撮像制御装置。 - 前記状態検出部は、前記第2ステートから第3ステートになることを、撮像装置と通信可能な機器の間における無線通信が途絶えたまま所定時間を経過することで検出する第3検出を行い、
前記モード処理指示部は、前記第3ステートの検出に基づいて、少なくとも前記第2モードで実行される撮像処理動作の終了を指示する
請求項1から請求項4のいずれかに記載の撮像制御装置。 - 前記モード処理指示部が指示する前記第1モードの撮像処理動作は、撮像画像データをリングメモリ形態でメモリへバファリングする処理動作を含み、
前記モード処理指示部が指示する前記第2モードの撮像処理動作は、前記メモリにバファリングされていく撮像画像データのうちで記録画像として保存する範囲を設定する処理動作を含む
請求項1から請求項5のいずれかに記載の撮像制御装置。 - 前記モード処理指示部は、記録画像として保存する範囲を、前記第2ステートの検出タイミングより過去の時点に前記メモリにバファリングされた撮像画像データを含むように設定する
請求項6に記載の撮像制御装置。 - 前記状態検出部は、
前記撮像環境として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体が、前記第1ステート又は前記第2ステートとなることの検出を行う
請求項1から請求項7のいずれかに記載の撮像制御装置。 - 前記状態検出部は、
前記第2検出として、撮像装置の被装着体もしくは被写体、又は撮像装置と通信可能な機器の被装着体の非操作アクションの検出を行う
請求項1から請求項8のいずれかに記載の撮像制御装置。 - 前記状態検出部は、
前記第1検出として、撮像装置の被装着体もしくは被写体である人の操作アクションの検出を行う
請求項9に記載の撮像制御装置。 - 前記モード処理指示部が指示する前記第1モードの撮像処理動作は、前記第1ステートとされた期間の撮像画像データを第1のフレームレートで記録画像として保存するための処理動作を含み、
前記モード処理指示部が指示する前記第2モードの撮像処理動作は、前記第2ステートとされた期間の撮像画像データを前記第1のフレームレートよりは高いフレームレートである第2のフレームレートで記録画像として保存するための処理動作を含む
請求項1から請求項10のいずれかに記載の撮像制御装置。 - 前記状態検出部は、前記第2ステートから第3ステートになることを検出する第3検出を行い、
前記モード処理指示部が指示する前記第1モードの撮像処理動作は、撮像画像データを記録画像として保存するための処理動作を含み、
前記モード処理指示部が指示する前記第2モードの撮像処理動作は、撮像画像データの記録を停止するための処理動作を含み、
前記モード処理指示部は、前記第3ステートの検出に基づいて撮像装置の電源オフを指示する
請求項1から請求項11のいずれかに記載の撮像制御装置。 - 前記状態検出部は、
撮像装置又は撮像装置と通信可能な機器に搭載されたセンサの検出信号に基づいて、前記第1検出、前記第2検出の一方又は両方を行う
請求項1から請求項12のいずれかに記載の撮像制御装置。 - 前記状態検出部は、
撮像装置によって得られた撮像画像データに基づいて、前記第1検出、前記第2検出の一方又は両方を行う
請求項1から請求項13のいずれかに記載の撮像制御装置。 - 前記状態検出部は、
前記第1検出として複数の検出条件を設定し、
前記第1検出で第1ステートを検出した際の検出条件種別に応じて、前記第2検出の検出条件を設定する
請求項1から請求項14のいずれかに記載の撮像制御装置。 - 撮像装置を制御する撮像制御装置の撮像制御方法として、
被装着体の行動種別の判定を行い、判定した行動種別に応じて第1検出手順と第2検出手順の一方又は両方についての検出条件を設定する手順と、
撮像環境が第1ステートになること検出する前記第1検出手順と、
前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示する第1指示手順と、
前記第1ステートから第2ステートになることを検出する前記第2検出手順と、
前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示する第2指示手順とを行う
撮像制御方法。 - 被装着体の行動種別の判定を行い、判定した行動種別に応じて第1検出手順と第2検出手順の一方又は両方についての検出条件を設定する手順と、
撮像環境が第1ステートになること検出する前記第1検出手順と、
前記第1ステートの検出に基づいて第1モードの撮像処理動作を指示する第1指示手順と、
前記第1ステートから第2ステートになることを検出する前記第2検出手順と、
前記第2ステートの検出に基づいて第2モードの撮像処理動作を指示する第2指示手順とを
演算処理装置に実行させるプログラム。
Priority Applications (7)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016005453A JP6819042B2 (ja) | 2016-01-14 | 2016-01-14 | 撮像制御装置、撮像制御方法、プログラム |
KR1020187019626A KR20180102566A (ko) | 2016-01-14 | 2016-12-26 | 촬상 제어 장치, 촬상 제어 방법 및 비일시적인 컴퓨터 판독가능한 매체 |
CN201680078126.8A CN108476287A (zh) | 2016-01-14 | 2016-12-26 | 成像控制装置、成像控制方法和非暂态计算机可读介质 |
PCT/JP2016/088686 WO2017122523A1 (en) | 2016-01-14 | 2016-12-26 | Imaging control apparatus, imaging control method, and non-transitory computer-readable medium |
US15/758,768 US10587804B2 (en) | 2016-01-14 | 2016-12-26 | Imaging control apparatus, imaging control method, and non-transitory computer-readable medium |
EP16829133.4A EP3403394B1 (en) | 2016-01-14 | 2016-12-26 | Imaging control apparatus, imaging control method, imaging control system and non-transitory computer-readable medium |
US16/781,487 US10979639B2 (en) | 2016-01-14 | 2020-02-04 | Imaging control apparatus, imaging control method, and non-transitory computer-readable medium |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016005453A JP6819042B2 (ja) | 2016-01-14 | 2016-01-14 | 撮像制御装置、撮像制御方法、プログラム |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020213806A Division JP7156356B2 (ja) | 2020-12-23 | 2020-12-23 | 制御装置、制御方法、プログラム |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2017126894A JP2017126894A (ja) | 2017-07-20 |
JP2017126894A5 JP2017126894A5 (ja) | 2019-02-14 |
JP6819042B2 true JP6819042B2 (ja) | 2021-01-27 |
Family
ID=57861194
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016005453A Active JP6819042B2 (ja) | 2016-01-14 | 2016-01-14 | 撮像制御装置、撮像制御方法、プログラム |
Country Status (6)
Country | Link |
---|---|
US (2) | US10587804B2 (ja) |
EP (1) | EP3403394B1 (ja) |
JP (1) | JP6819042B2 (ja) |
KR (1) | KR20180102566A (ja) |
CN (1) | CN108476287A (ja) |
WO (1) | WO2017122523A1 (ja) |
Families Citing this family (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2016192079A1 (en) * | 2015-06-04 | 2016-12-08 | Intel Corporation | Adaptive batch encoding for slow motion video recording |
US10846142B2 (en) | 2016-02-23 | 2020-11-24 | Intel Corporation | Graphics processor workload acceleration using a command template for batch usage scenarios |
KR102558488B1 (ko) * | 2017-12-06 | 2023-07-20 | 소니 세미컨덕터 솔루션즈 가부시키가이샤 | 고체 촬상 장치, 고체 촬상 장치의 제어 방법 및 컴퓨터 프로그램 |
CN114827458A (zh) | 2017-12-18 | 2022-07-29 | 佳能株式会社 | 摄像设备及其控制方法和存储介质 |
JP7233162B2 (ja) * | 2017-12-18 | 2023-03-06 | キヤノン株式会社 | 撮像装置及びその制御方法、プログラム、記憶媒体 |
WO2020195700A1 (ja) * | 2019-03-27 | 2020-10-01 | ソニー株式会社 | 撮像装置及び撮像システム |
EP4009153A4 (en) * | 2019-09-05 | 2022-08-03 | Sony Group Corporation | APPLICATION EXTENSION PROGRAM, INFORMATION PROCESSING DEVICE AND METHOD |
CN112532865B (zh) * | 2019-09-19 | 2022-07-19 | 华为技术有限公司 | 慢动作视频拍摄方法及电子设备 |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2004056739A (ja) * | 2002-07-24 | 2004-02-19 | Fuji Photo Film Co Ltd | ディジタルカメラ |
JP3926316B2 (ja) * | 2003-10-31 | 2007-06-06 | 松下電器産業株式会社 | 撮像装置 |
CN100505854C (zh) * | 2004-04-12 | 2009-06-24 | 联想(北京)有限公司 | 基于机顶盒的录制方法 |
JP4757173B2 (ja) | 2006-11-17 | 2011-08-24 | キヤノン株式会社 | 撮像装置及びその制御方法及びプログラム |
JP4353253B2 (ja) * | 2007-01-31 | 2009-10-28 | ソニー株式会社 | フレームレート制御装置とフレームレート制御方法および記録装置と撮像装置 |
JP4367663B2 (ja) | 2007-04-10 | 2009-11-18 | ソニー株式会社 | 画像処理装置、画像処理方法、プログラム |
US7676145B2 (en) * | 2007-05-30 | 2010-03-09 | Eastman Kodak Company | Camera configurable for autonomous self-learning operation |
JP4998122B2 (ja) | 2007-07-10 | 2012-08-15 | カシオ計算機株式会社 | 撮像装置及びそのプログラム |
JP2009302772A (ja) | 2008-06-11 | 2009-12-24 | Fujifilm Corp | 撮像装置、撮像システム及び撮像制御方法 |
JP2011139353A (ja) * | 2009-12-28 | 2011-07-14 | Nikon Corp | 撮像装置 |
CN101815211A (zh) * | 2010-04-08 | 2010-08-25 | 山东科技大学 | 自然环境中动物行为视频监测方法与装置 |
JP2013046259A (ja) * | 2011-08-24 | 2013-03-04 | Olympus Imaging Corp | 映像機器、制御方法およびプログラム |
JP5613187B2 (ja) * | 2012-01-27 | 2014-10-22 | オリンパスイメージング株式会社 | 撮像装置、撮像装置の制御方法、及び、撮像装置の制御をコンピュータに行わせるためのコードを備える持続性コンピュータ可読媒体 |
JP5648866B2 (ja) * | 2012-10-02 | 2015-01-07 | カシオ計算機株式会社 | 撮影システム、撮影方法、撮影装置、及びプログラム |
US8957988B2 (en) * | 2013-01-23 | 2015-02-17 | Orcam Technologies Ltd. | Apparatus for processing images to prolong battery life |
JP5867432B2 (ja) * | 2013-03-22 | 2016-02-24 | ソニー株式会社 | 情報処理装置、記録媒体および情報処理システム |
US9066007B2 (en) * | 2013-04-26 | 2015-06-23 | Skype | Camera tap switch |
JP6213146B2 (ja) * | 2013-10-24 | 2017-10-18 | ソニー株式会社 | 情報処理装置、記録媒体、および情報処理方法 |
JP6296226B2 (ja) * | 2013-11-21 | 2018-03-20 | カシオ計算機株式会社 | 電子機器、撮像装置、撮像制御システム、撮像制御方法及びプログラム |
JP6094476B2 (ja) * | 2013-12-27 | 2017-03-15 | カシオ計算機株式会社 | 撮影システム、その制御方法、および、その制御プログラム |
US10051672B2 (en) * | 2014-04-14 | 2018-08-14 | Sony Corporation | Information processing device, information processing method, and program |
US10142598B2 (en) * | 2014-05-30 | 2018-11-27 | Sony Corporation | Wearable terminal device, photographing system, and photographing method |
US20150365575A1 (en) * | 2014-06-13 | 2015-12-17 | Sony Corporation | Lifelog camera and method of controlling same according to transitions in activity |
CN105049720B (zh) * | 2015-07-08 | 2018-09-11 | 成都西可科技有限公司 | 一种根据运动场景自动启停运动相机的方法 |
-
2016
- 2016-01-14 JP JP2016005453A patent/JP6819042B2/ja active Active
- 2016-12-26 WO PCT/JP2016/088686 patent/WO2017122523A1/en unknown
- 2016-12-26 KR KR1020187019626A patent/KR20180102566A/ko unknown
- 2016-12-26 EP EP16829133.4A patent/EP3403394B1/en active Active
- 2016-12-26 US US15/758,768 patent/US10587804B2/en not_active Expired - Fee Related
- 2016-12-26 CN CN201680078126.8A patent/CN108476287A/zh active Pending
-
2020
- 2020-02-04 US US16/781,487 patent/US10979639B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
EP3403394A1 (en) | 2018-11-21 |
EP3403394B1 (en) | 2023-08-02 |
WO2017122523A1 (en) | 2017-07-20 |
US10587804B2 (en) | 2020-03-10 |
KR20180102566A (ko) | 2018-09-17 |
US10979639B2 (en) | 2021-04-13 |
CN108476287A (zh) | 2018-08-31 |
JP2017126894A (ja) | 2017-07-20 |
US20200186713A1 (en) | 2020-06-11 |
US20190082108A1 (en) | 2019-03-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6819042B2 (ja) | 撮像制御装置、撮像制御方法、プログラム | |
US11696016B2 (en) | Imaging apparatus and display control method thereof | |
KR102415637B1 (ko) | 전자기기 및 그 제어 방법 | |
US10063776B2 (en) | Camera mode control | |
US9088721B2 (en) | Imaging apparatus and display control method thereof | |
JP4289326B2 (ja) | 情報処理装置および方法、撮影装置、並びにプログラム | |
WO2019227324A1 (zh) | 视频播放速度的控制方法、装置及运动相机 | |
US9179031B2 (en) | Content acquisition apparatus and storage medium | |
JP7156356B2 (ja) | 制御装置、制御方法、プログラム | |
JP6308106B2 (ja) | 画像処理装置、画像処理方法及びプログラム | |
WO2017169499A1 (ja) | 制御装置、制御方法及びコンピュータプログラム | |
JP2010016511A (ja) | 撮影装置、撮影装置の制御方法、画像表示装置、画像表示方法、およびプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181226 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181226 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20190925 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20191112 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191227 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200609 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200622 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201201 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201214 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6819042 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |