JP6622426B2 - メモリカード及び動画再生装置 - Google Patents

メモリカード及び動画再生装置 Download PDF

Info

Publication number
JP6622426B2
JP6622426B2 JP2018551047A JP2018551047A JP6622426B2 JP 6622426 B2 JP6622426 B2 JP 6622426B2 JP 2018551047 A JP2018551047 A JP 2018551047A JP 2018551047 A JP2018551047 A JP 2018551047A JP 6622426 B2 JP6622426 B2 JP 6622426B2
Authority
JP
Japan
Prior art keywords
moving image
sensor
memory card
unit
electronic device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018551047A
Other languages
English (en)
Other versions
JPWO2018092394A1 (ja
Inventor
潤也 北川
潤也 北川
智紀 増田
智紀 増田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujifilm Corp
Original Assignee
Fujifilm Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujifilm Corp filed Critical Fujifilm Corp
Publication of JPWO2018092394A1 publication Critical patent/JPWO2018092394A1/ja
Application granted granted Critical
Publication of JP6622426B2 publication Critical patent/JP6622426B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/907Television signal recording using static stores, e.g. storage tubes or semiconductor memories
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682Vibration or motion blur correction
    • H04N23/683Vibration or motion blur correction performed by a processor, e.g. controlling the readout of an image memory
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/68Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681Motion detection
    • H04N23/6812Motion detection based on additional sensors, e.g. acceleration sensors
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/87Regeneration of colour television signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)
  • Adjustment Of Camera Lenses (AREA)

Description

本発明はメモリカード及び動画再生装置に係り、特に動画を記録する際に手ブレの情報を記録可能なメモリカード及びそのメモリカードに記録された動画を再生する動画再生装置に関する。
カメラやスマートフォンの手ブレ補正の方法としては、内蔵のジャイロセンサや加速度センサのセンサ情報を手ブレの情報として利用したり、映像解析で得た動きベクトルの情報を利用したりして補正を実施する方法が一般的である。最近、デジタルカメラのホットシューに装着するアクセサリ、又はカメラに装着されるメモリカード(SDカード)内にジャイロセンサや加速度センサを内蔵し、映像とともにセンサ情報を記録しておき、後からセンサ情報を元にパーソナルコンピュータによるソフトウェア処理等で映像のブレを補正する方法が提案されている(非特許文献1)。
特許文献1には、ジャイロセンサを内蔵したメモリカード、及びそのメモリカードを使用して光軸の傾きを検出する撮影装置(携帯電話機)が記載されている。この撮影装置は、メモリカードに内蔵されたジャイロセンサのセンサ情報に基づいて、被写体(例えば、花)の撮影時の撮影光軸の傾き情報を検出し、その傾き情報(花の咲く方向)を被写体情報検索の検索キーとするものである。
ジャイロセンサ内蔵SDカード、インターネット<URL:http://gigazine.net/news/20160809-virtualgimbal-mft2016/>
特開2007−142525号公報
カメラのホットシューのアクセサリ内にジャイロセンサ等を内蔵する場合、どのような機種であってもアクセサリを取り付ける位置や向きは、ある程度同じになるので問題は無い。しかし、SDカードの場合、機器によって挿入する向きや場所が異なるため、同じブレを機器に加えたとしても、ジャイロセンサや加速度センサから得られるセンサ情報の向きや値が機器により変わってしまう(補正性能に影響が生じる)という問題がある。
したがって、非特許文献1に記載のジャイロセンサ内蔵のSDカードは、SDカードの挿入方向がそのSDカードに対応する機器に対しては使用することができるが、SDカードの挿入方向が異なる種々の機器に対して共通に使用することができないという問題がある。
また、特許文献1に記載のジャイロセンサを内蔵したメモリカードは、映像のブレを補正するために使用されるものではなく、また、センサ情報も記録していない。更に、特許文献2には、メモリカードの挿入方向に関する記載もない。
本発明はこのような事情に鑑みてなされたもので、少なくとも動画を撮像する撮像部を備えた種々の電子機器に適用することができ、かつ記録した動画のブレを容易に補正可能なメモリカード及び動画再生装置を提供することを目的とする。
上記目的を達成するために本発明の一の態様は、少なくとも動画を撮像する撮像部を備えた電子機器に着脱可能なメモリカードにおいて、直交3軸の各軸回り方向の角速度をそれぞれ検出するジャイロセンサと、電子機器により撮像された動画を記録する第1の記録部と、ジャイロセンサにより検出された直交3軸の各軸回り方向の角速度を示す第1、第2及び第3のセンサ出力を、第1の記録部に記録する動画に関連付けてそれぞれ記録する第2の記録部と、電子機器に装着されたメモリカードの電子機器に対する挿入方向を判別する判別部と、判別部により判別した挿入方向を示す情報を記録する第3の記録部と、を備える。
本発明の一の態様によれば、電子機器により撮像された動画を記録し、かつ、内蔵されたジャイロセンサにより検出された直交3軸の各軸回り方向の角速度を示す第1、第2及び第3のセンサ出力を、動画に関連付けてそれぞれ記録する。更に、判別部により電子機器に装着されたメモリカードの電子機器に対する挿入方向を判別し、その判別結果(挿入方向を示す情報)を記録する。これにより、メモリカードに記録された動画を再生する際に、ジャイロセンサにより検出された第1、第2及び第3のセンサ出力を使用して動画のブレを補正して再生することが可能であり、特に挿入方向を示す情報から第1、第2及び第3のセンサ出力が、それぞれ電子機器のヨー方向、ピッチ方向及びロール方向のうちのどの方向の角速度(正負の方向も含む)であるかが分かるため、第1、第2及び第3のセンサ出力を使用して、動画のブレを適切に補正することが可能である。
本発明の他の態様は、少なくとも動画を撮像する撮像部を備えた電子機器に着脱可能なメモリカードにおいて、直交3軸の各軸回り方向の角速度をそれぞれ検出するジャイロセンサと、電子機器により撮像された動画を記録する第1の記録部と、ジャイロセンサにより検出された直交3軸の各軸回り方向の角速度を示す第1、第2及び第3のセンサ出力を、第1の記録部に記録する動画に関連付けてそれぞれ記録する第2の記録部と、電子機器に装着されたメモリカードの電子機器に対する挿入方向を判別する判別部と、を備え、第2の記録部は、判別部により判別した挿入方向に基づいて第1、第2及び第3のセンサ出力を、それぞれヨー方向、ピッチ方向及びロール方向に割り当てられたデータ領域に記録する。
本発明の他の態様によれば、電子機器により撮像された動画を記録し、かつ、内蔵されたジャイロセンサにより検出された直交3軸の各軸回り方向の角速度を示す第1、第2及び第3のセンサ出力を、動画に関連付けてそれぞれ記録する。特に判別部により電子機器に装着されたメモリカードの電子機器に対する挿入方向を判別し、その判別結果に基づいてジャイロセンサの第1、第2及び第3のセンサ出力を、それぞれヨー方向、ピッチ方向及びロール方向に割り当てられたデータ領域に記録するようにしたため、メモリカードに記録された動画を再生する際に、ヨー方向、ピッチ方向及びロール方向に割り当てられたデータ領域に記録された、第1、第2及び第3のセンサ出力を使用して動画のブレを適切に補正して再生することが可能である。
本発明の更に他の態様に係るメモリカードにおいて、直交3軸の各軸方向の加速度をそれぞれ検出する加速度センサを備え、第2の記録部は、加速度センサにより検出された直交3軸の各軸方向の加速度を示す第4、第5及び第6のセンサ出力を、第1の記録部に記録する動画に関連付けてそれぞれ記録することが好ましい。これにより、電子機器の左右方向、上下方向及び前後方向の加速度に起因する動画のブレの補正も可能である。尚、加速度センサの第4、第5及び第6のセンサ出力が、電子機器の左右方向、上下方向及び前後方向のいずれの方向の加速度であるかは、メモリカードの挿入方向を示す情報から分かる。
本発明の更に他の態様に係るメモリカードにおいて、直交3軸の各軸方向の加速度をそれぞれ検出する加速度センサを備え、第2の記録部は、判別部により判別した挿入方向に基づいて加速度センサにより検出された直交3軸の各軸方向の加速度を示す第4、第5及び第6のセンサ出力を、それぞれ動画の左右方向、上下方向及び前後方向に割り当てられたデータ領域に記録することが好ましい。これにより、電子機器の左右方向、上下方向及び前後方向の加速度に起因する動画のブレの補正も可能である。
本発明の更に他の態様に係るメモリカードにおいて、判別部は、電子機器による動画の撮像時に加速度センサから得られる第4、第5及び第6のセンサ出力と、電子機器の背面の表示器の使用時に加速度センサから得られる第4、第5及び第6のセンサ出力とに基づいて挿入方向を判別することが好ましい。
電子機器により動画を撮像する場合、加速度センサから得られる第4、第5及び第6のセンサ出力のうちの最大のセンサ出力は、重力方向の加速度であるため、電子機器に挿入されたメモリカードの重力方向と、加速度センサの直交3軸のうちの1つの軸方向との関係が分かる。また、電子機器の背面の表示器の使用時(例えば、表示器にメニュー画面を表示させて各種の設定を行う操作時、あるいは表示器に動画を再生させる時等)には、表示画面が上向きになるため、このときに加速度センサから得られる第4、第5及び第6のセンサ出力のうちの最小のセンサ出力は、重力方向の加速度が作用しない、水平方向の加速度に対応するセンサ出力である。したがって、動画撮像時及び動画撮像時以外での表示器の使用時に加速度センサから得られる第4、第5及び第6のセンサ出力に基づいて、電子機器に挿入されたメモリカードの挿入方向を判別することができる。
本発明の更に他の態様に係るメモリカードにおいて、判別部は、電子機器の機器情報に基づいてネットワークを通じて挿入方向の情報を取得することが好ましい。メモリカードが装着された電子機器の機器情報を入手することができれば、ネットワーク(インターネット)に接続し、入手した電子機器の機器情報のメモリカードの挿入方向を検索し、又はメモリカードの挿入方向を通知するサービスサーバにアクセスし、電子機器の機器情報に基づいてサービスサーバからメモリカードの挿入方向の情報を取得することができる。
本発明の更に他の態様に係るメモリカードにおいて、電子コンパスを更に備え、判別部は、電子コンパスにより検出される磁束密度を示すセンサ出力、又は電子コンパスにより検出される磁束密度を示すセンサ出力とジャイロセンサにより検出される第1、第2及び第3のセンサ出力とに基づいて挿入方向を判別することが好ましい。例えば、電子機器をスイングして電子機器の正面を北向きになるように停止させた場合に電子コンパスにより検出される磁束密度を示すセンサ出力(の変化)に基づいて電子機器に挿入されたメモリカードの挿入方向を判別することができる。また、電子機器をスイングしたときにジャイロセンサで検出した第1、第2及び第3のセンサ出力を併用して電子機器に挿入されたメモリカードの挿入方向を判別してもよい。
本発明の更に他の態様に係るメモリカードにおいて、電子機器は電子コンパスを備え、判別部は、電子コンパスにより検出される方位方向を示すセンサ出力とジャイロセンサにより検出される第1、第2及び第3のセンサ出力とに基づいて挿入方向を判別することが好ましい。電子機器が電子コンパスを備えている場合には、判別部は、電子機器をスイングしたときに取得される電子機器の方位方向を示すセンサ出力と、ジャイロセンサにより検出される第1、第2及び第3のセンサ出力とのマッチングによりメモリカードの挿入方向を判別することができる。
本発明の更に他の態様に係るメモリカードにおいて、第1の記録部に記録された動画と第2の記録部に記録された第1、第2及び第3のセンサ出力とに基づいて動画のブレ補正を行うブレ補正部を備え、判別部は、挿入方向を仮定し、仮定した挿入方向に基づいてブレ補正部により補正された動画のブレが最も小さくなるときの仮定した挿入方向を、メモリカードの電子機器に対する挿入方向と判別することが好ましい。尚、ブレ補正部は、動画を再生する必要がないため、例えば、動画中の時刻の異なる2枚の画像と、これらの2枚の画像に対応して検出されたジャイロセンサの第1、第2及び第3のセンサ出力とに基づいて、メモリカードの挿入方向を仮定してブレ補正した2枚の画像のブレ(ずれ量)が最小になるときの挿入方向を、メモリカードの電子機器に対する挿入方向と判別することができる。
本発明の更に他の態様に係る動画再生装置は、前述のメモリカードから動画、第1、第2及び第3のセンサ出力、及び挿入方向を示す情報を取得する情報取得部と、取得した挿入方向を示す情報に基づいて第1、第2及び第3のセンサ出力を、取得した動画のヨー方向、ピッチ方向及びロール方向に対応するセンサ出力に割り当て、割り当てられたセンサ出力をそれぞれ使用して、動画のヨー方向、ピッチ方向及びロール方向のブレを補正するブレ補正部と、ブレ補正部によりブレを補正した動画を出力する出力部と、を備える。
本発明の更に他の態様によれば、メモリカードに記録された動画、ジャイロセンサの第1、第2及び第3のセンサ出力、及びメモリカードの挿入方向を示す情報を取得する。メモリカードの挿入方向を示す情報に基づいて、ジャイロセンサの第1、第2及び第3のセンサ出力と、メモリカードが装着された電子機器のヨー方向、ピッチ方向及びロール方向との関係を特定することができるため、第1、第2及び第3のセンサ出力を、動画のヨー方向、ピッチ方向及びロール方向に対応するセンサ出力に割り当てて、動画のブレを補正することができる。
本発明の更に他の態様に係る動画再生装置において、情報取得部は、動画の撮像時の電子機器の回転方向を示す情報を取得し、ブレ補正部は、取得した挿入方向を示す情報及び回転方向を示す情報に基づいて第1、第2及び第3のセンサ出力を、取得した動画のヨー方向、ピッチ方向及びロール方向に対応するセンサ出力に割り当て、割り当てられたセンサ出力を使用して動画のヨー方向、ピッチ方向及びロール方向のブレを補正することが好ましい。
動画の撮像時の電子機器の回転方向を示す情報とは、横撮りと縦撮り(例えば、横撮りの状態から90°右回転又は左回転させた撮影状態)である。横撮りと縦撮りとでは、電子機器のヨー方向、ピッチ方向及びロール方向が異なるため(ヨー方向とピッチ方向とが入れ替わるため)、横撮りと縦撮りとでは、ヨー方向及びピッチ方向にそれぞれ対応するセンサ出力を入れ替えて動画のブレ補正に使用する。
本発明の更に他の態様に係る動画再生装置において、情報取得部は、電子機器の前面及び背面に設けられた撮像部のうちの動画を撮像した撮像部の情報を取得し、ブレ補正部は、取得した挿入方向を示す情報及び撮像部の情報に基づいて第1、第2及び第3のセンサ出力を、取得した動画のヨー方向、ピッチ方向及びロール方向に対応するセンサ出力に割り当て、割り当てられたセンサ出力を使用して動画のヨー方向、ピッチ方向及びロール方向のブレを補正することが好ましい。
スマートフォン等の電子機器は、機器の前面に設けられた撮像部の他に、機器の背面に自分撮りのための撮像部が設けられている。この場合、動画を撮像した撮像部の情報を取得し、特に背面の撮像部により動画が撮影された場合には、電子機器のヨー方向、ピッチ方向及びロール方向が異なるため(ヨー方向とピッチ方向との正負が入れ替わるため)、ヨー方向及びピッチ方向にそれぞれ対応するセンサ出力の正負を入れ替えて動画のブレ補正に使用する。
本発明によれば、ジャイロセンサ付きのメモリカードに、電子機器へのメモリカードの挿入方向を判定する機能を設けるようにしたため、メモリカードに記録した動画のヨー方向、ピッチ方向及びロール方向のブレと、直交3軸のジャイロセンサの各軸回り方向のセンサ出力との対応関係を特定することができる。これにより、メモリカードの挿入方向が異なる種々の電子機器に対して同一のメモリカードを適用した場合であっても、メモリカードに記録したジャイロセンサのセンサ出力を使用して、動画のブレを容易に且つ適切に補正することができる。
本発明に係るメモリカードの正面図 本発明に係るメモリカードの背面図 メモリカード100の内部構造の実施形態を示すブロック図 メモリカード100のカード座標系を説明するために用いた図 メモリカード100を使用するデジタルカメラ1を示す外観図 デジタルカメラ1の内部構造を示すブロック図 デジタルカメラ1とメモリカード100との配置関係を示す図 デジタルカメラ2とメモリカード100との配置関係を示す図 デジタルカメラ3とメモリカード100との配置関係を示す図 デジタルカメラ4とメモリカード100との配置関係を示す図 スマートフォン5とメモリカード100との配置関係を示す図 図7から図11に示したメモリカード100の挿入方向に伴って変化するカメラ座標系とカード座標系との関係を示す図表 ライブビュー画像又は動画の撮影状態のデジタルカメラ1の一般的な姿勢を示す図 撮影レンズ10が下向きに傾いているデジタルカメラ1の姿勢を示す図 第1の判別方法によるメモリカード100の挿入方向の判別処理を示すフローチャート 第2の判別方法から第4の判別方法によるメモリカード100の挿入方向の判別処理を示すフローチャート カメラ座標系(XYZ座標系)とカメラ座標系の各軸回り方向の角速度及び各軸方向の加速度との関係を示す図 ジャイロセンサ140及び加速度センサ150のセンサ出力を示す波形図 センサ出力の第1の記録方法を説明するために用いたフラッシュメモリ130のデータ領域を示す図 センサ出力の第2の記録方法を説明するために用いたフラッシュメモリ130のデータ領域を示す図
以下、添付図面に従って本発明に係るメモリカード及び動画再生装置の好ましい実施の形態について説明する。
<メモリカードの外観>
図1及び図2はそれぞれ本発明に係るメモリカードの外観図であり、図1はメモリカードの正面図であり、図2はメモリカードの背面図である。
図1及び図2に示すメモリカード100は、SDメモリカード(SDカードともいう)と同じ外観を有し、かつSDカードとして使用可能なものである。
図1上で、メモリカード100の左側部には、書込み禁止スイッチ102が設けられ、メモリカード100の背面の挿入方向側の先端部には、9つの端子104が設けられている。
<メモリカードの内部構造>
図3はメモリカード100の内部構造の実施形態を示すブロック図である。
図3に示すようにメモリカード100は、主としてCPU(Central Processing Unit)110、カードインターフェース(カードI/F)120、メモリインターフェース(メモリI/F)122、読み書き可能な不揮発性メモリであるフラッシュメモリ130、ジャイロセンサ140、加速度センサ150、及び電子コンパス160から構成されている。
本例のメモリカード100は、少なくとも動画を撮像する撮像部を備えたデジタルカメラ、デジタルビデオカメラ、カメラ付きのスマートフォン、カメラ付きのタブレット端末等の電子機器(撮影機器)に着脱可能であり、この種の撮影機器の外部メモリとして好適なものである。即ち、メモリカード100は、撮影機器により撮像された動画を示す動画データを記録し、かつ、メモリカード100自体が検出した、動画撮像中の撮影機器の手ブレの情報を記録するものである。
CPU110には、RAM(Random Access Memory)116及びROM(Read Only Memory)118が接続(又は内蔵)されており、CPU110は、ROM118に格納された制御プログラムに従い、RAM116を作業領域としてメモリカード100の各部を統括制御する。また、CPU110は、メモリカード100の機器への挿入方向を判別する判別部112、及び動画のブレを補正するブレ補正部114としての機能を備える。尚、判別部112及びブレ補正部114の詳細については後述する。
カードI/F120は、図2に示した9つの端子104を含み、メモリカード100が挿入されて端子104が接続された機器との間でデータの読み書き及びコマンドのやり取りを行う部分である。
メモリI/F122は、CPU110からの指示に基づいてフラッシュメモリ130への情報の書き込み及びフラッシュメモリ130からの情報の読み出しを行う部分であり、内部バス124を通じてフラッシュメモリ130との間でデータ、アドレス情報、ステータス情報及びコマンド等のやり取りを行う。
ジャイロセンサ140は、直交3軸の各軸回り方向の角速度をそれぞれ検出するものである。
図4に示すようなメモリカード100のxyz座標系をカード座標系として定義する。ジャイロセンサ140は、x軸回り方向の角速度、y軸回り方向の角速度、及びz軸回り方向の角速度をそれぞれ検出し、直交3軸(xyz軸)の各軸回り方向の角速度を示す角速度データ(第1、第2及び第3のセンサ出力)を出力する。尚、ジャイロセンサ140により検出される角速度は、図4中の矢印で示した軸回り方向を正とする。
加速度センサ150は、直交3軸の各軸方向の加速度をそれぞれ検出するものであり、図4に示したカード座標系のx軸方向の角速度、y軸方向の角速度、及びz軸方向の角速度をそれぞれ検出し、各軸方向の角速度を示す加速度データ(第4、第5及び第6のセンサ出力)を出力する。尚、加速度センサ150により検出される加速度は、図4中のxyz軸の矢印で示した方向を正とする。
電子コンパス160は、直交3軸の各軸方向の地磁気の磁束密度をそれぞれ検出する地磁気センサを含み、図4に示したカード座標系のx軸方向の磁束密度、y軸方向の磁束密度、及びz軸方向の磁束密度をそれぞれ検出し、各軸方向の地磁気の磁束密度を示す地磁気データ(センサ出力)を出力する。
[デジタルカメラ]
図5は、メモリカード100が外部記録媒体として使用されるデジタルカメラの一例を示す外観図である。
図5に示すようなデジタルカメラ1のXYZ座標系をカメラ座標系として定義する。カメラ座標系(XYZ座標系)は、略直方体形状のデジタルカメラ1の底面が水平面上にある場合、鉛直方向がY軸方向であり、撮影レンズ10の光軸方向がZ軸方向であり、デジタルカメラ1の水平方向であってY軸方向及びZ軸方向に直交する方向がX軸方向である。
図6は、デジタルカメラ1の内部構造を示すブロック図である。
図6に示すようにデジタルカメラ1は、撮像部を構成する撮影レンズ10及び撮像素子11、CPU15、撮像素子駆動部20、操作部21、アナログ信号処理部22、A/D(Analog/Digital)変換器23、デジタル信号処理部26、ブレ補正光学系として機能する補正レンズ41、ブレ補正機構42、ブレ制御部50、及び手ブレ検出部52等を備えて構成されている。
各部はCPU15に制御されて動作し、CPU15は、操作部21からの入力に基づき所定の制御プログラムを実行することにより、デジタルカメラ1の各部を制御する。
CPU15はプログラムROMを内蔵しており、このプログラムROMにはCPU15が実行する制御プログラムのほか、制御に必要な各種データ等が記録されている。CPU15は、このプログラムROMに記録された制御プログラムをメインメモリ24に読み出し、逐次実行することにより、デジタルカメラ1の各部を制御する。
尚、このメインメモリ24は、プログラムの実行処理領域として利用されるほか、画像データ等の一時記憶領域、各種作業領域として利用される。
操作部21は、レリーズボタン、電源スイッチ、撮影モードダイヤル、ブレ補正スイッチ等のカメラの一般的な操作手段を含み、操作に応じた信号をCPU15に出力する。
撮影レンズ10は、図示しないズームレンズ及びフォーカスレンズを含んで構成される。レンズ駆動部18は、CPU15からの指令に基づいて、ズームレンズをその光軸上を前後移動させることで画角の変更を行い、フォーカスレンズをその光軸上を前後移動させることで焦点の調整を行う。
撮影レンズ10を透過した被写体光は、補正レンズ41、絞り12、赤外線カットフィルタ14を介して撮像素子11に受光される。
補正レンズ41は、ブレ補正機構42により駆動される。ブレ補正機構42は、補正レンズ41を光軸に対して垂直な平面内の直交する2方向(X方向及びY方向)に移動自在に支持し、かつ、図示しないボイスコイルモータにより、補正レンズ41をX方向及びY方向にそれぞれ移動させる。
手ブレ検出部52は、ジャイロセンサ及び加速度センサを含み、デジタルカメラ1の手ブレ(角速度及び加速度)を検出する。
手ブレ検出部52に含まれるジャイロセンサは、図5に示したようにカメラ座標系の各軸回り方向の角速度を検出し、X軸回り方向の角速度は、デジタルカメラ1のピッチ方向の角速度であり、Y軸回り方向の角速度は、デジタルカメラ1のヨー方向の角速度であり、Z軸回り方向の角速度は、デジタルカメラ1のロール方向の角速度である。
同様に、手ブレ検出部52に含まれる加速度センサは、図5に示したカメラ座標系の各軸方向の加速度を検出し、X軸方向の加速度は、デジタルカメラ1の水平方向の加速度であり、Y軸方向の加速度は、デジタルカメラ1の鉛直方向の加速度であり、Z軸回り方向の加速度は、デジタルカメラ1の前後方向の加速度である。
ブレ制御部50は、手ブレ検出部52による手ブレの検出信号に応じて、補正レンズ41を光軸と垂直な平面内でXY方向に移動させるようにブレ補正機構42を制御する。ブレ補正の詳細については、後述する。
12は絞りであり、絞り駆動部19は、CPU15からの指令に基づいて絞り12の開口量を制御し、撮像素子11の露光量が適正露光量となるように調整する。
赤外線カットフィルタ14は、撮像素子11へ入射する被写体光の赤外成分を除去する。
撮像素子11は、CMOS(Complementary Metal-Oxide Semiconductor)型のカラーイメージセンサにより構成されている。尚、撮像素子11は、CMOS型に限らず、XYアドレス型、又はCCD(Charge Coupled Device)型のイメージセンサでもよい。
撮像素子11は、所定のパターン配列(ベイヤー配列、X−Trans(登録商標)配列、ハニカム配列等)でマトリクス状に配置された複数画素によって構成され、各画素はマイクロレンズと、赤(R)、緑(G)又は青(B)のカラーフィルタと、光電変換部(フォトダイオード等)とを含んで構成される。
被写体光は、撮影レンズ10を介して撮像素子11の受光面上に結像され、各受光素子によって電気信号に変換される。即ち、撮像素子11の各画素は、入射する光量に応じた電荷を蓄積し、撮像素子11からは各画素に蓄積された電荷量に応じた電気信号が画像信号として読み出される。
撮像素子駆動部20は、CPU15の指令にしたがって撮像素子11から画像信号の読み出し制御を行う。また、撮像素子駆動部20は、CPU15からの電子シャッタ制御信号により、撮像素子11の各画素に蓄積にされた電荷を同時に排出させて(一斉にリセットして)、露光を開始させる電子シャッタ機能を有する。
アナログ信号処理部22は、撮像素子11で被写体を撮影して得られたアナログの画像信号に対して、各種のアナログ信号処理を施す。アナログ信号処理部22は、サンプリングホールド回路、色分離回路、AGC(Automatic Gain Control)回路等を含んで構成されている。AGC回路は、撮像時の感度(ISO感度(ISO:International Organization for Standardization))を調整する感度調整部として機能し、入力する画像信号を増幅する増幅器のゲインを調整し、画像信号の信号レベルが適切な範囲に入るようにする。
A/D変換器23は、アナログ信号処理部22から出力されたアナログの画像信号をデジタルの画像信号に変換する。尚、撮像素子11がCMOS型撮像素子である場合、アナログ信号処理部22及びA/D変換器23は、撮像素子11内に内蔵されていることが多い。
制御バス33及びデータバス34には、CPU15、メモリ制御部25の他、デジタル信号処理部26、圧縮伸張処理部27、積算部28、外部メモリ制御部30、及び表示制御部32等が接続されており、これらは制御バス33及びデータバス34を介して互いに情報を送受信できるようにされている。
静止画又は動画の撮像時に撮像素子11、アナログ信号処理部22、及びA/D変換器23を介して出力されるRGBの画素毎の画像データ(モザイク画像データ)は、メモリ制御部25を介してメインメモリ24に入力され、一時的に記憶される。
デジタル信号処理部26は、メインメモリ24に格納されている画像データに対して、各種のデジタル信号処理を施す。デジタル信号処理部26は、メインメモリ24に記憶されている画像データを適宜読み出し、読み出した画像データに対してオフセット処理、感度補正を含むゲインコントロール処理、ガンマ補正処理、デモザイク処理(デモザイキング処理、同時化処理とも言う)、RGB/YCrCb変換処理等のデジタル信号処理を行い、デジタル信号処理後の画像データを再びメインメモリ24に記憶させる。尚、デモザイク処理とは、例えば、RGB3色のカラーフィルタからなる撮像素子の場合、RGBからなるモザイク画像から画素毎にRGB全ての色情報を算出する処理であり、モザイクデータ(点順次のRGBデータ)から同時化されたRGB3面の画像データを生成する。
RGB/YCrCb変換処理は、同時化されたRGBデータを輝度データ(Y)及び色差データ(Cr、Cb)に変換する処理である。
圧縮伸張処理部27は、静止画又は動画の記録時に、一旦メインメモリ24に格納された非圧縮の輝度データY及び色差データCb,Crに対して圧縮処理を施す。静止画の場合には、例えばJPEG(Joint Photographic coding Experts Group)形式で圧縮し、動画の場合には、例えばH.264形式で圧縮する。圧縮伸張処理部27により圧縮された画像データは、外部メモリ制御部30を介してメモリカード100に記録される。また、圧縮伸張処理部27は、再生モード時に外部メモリ制御部30を介してメモリカード100から得た圧縮された画像データに対して伸張処理を施し、非圧縮の画像データを生成する。
積算部28は、CPU15の指令に従い、メインメモリ24に格納されたR、G、Bの画像信号を取り込み、AE(Auto Exposure)制御に必要な積算値を算出する。CPU15は、積算値から輝度値を算出し、輝度値から露出値を求める。また、露出値から所定のプログラム線図にしたがって絞り値及びシャッタスピードを決定する。
外部メモリ制御部30は、圧縮伸張処理部27で圧縮された画像データをメモリカード100に記録する制御を行う。また、外部メモリ制御部30は、メモリカード100から圧縮された画像データを読み出す制御を行う。
表示制御部32は、メインメモリ24(又は図示しないビデオメモリ)に格納されている非圧縮の画像データを表示部31に表示させる制御を行う。表示部31は、例えば液晶表示デバイス、有機エレクトロルミネッセンスなどの表示デバイスによって構成されている。
表示部31にライブビュー画像を表示させる場合には、デジタル信号処理部26で連続的に生成されたデジタルの画像信号がメインメモリ24に一時的に記憶される。表示制御部32は、このメインメモリ24に一時記憶されたデジタルの画像信号を表示用の信号形式に変換して表示部31に順次出力する。これにより、表示部31に撮像画像がリアルタイムに表示され、表示部31を電子ビューファインダとして使用することができる。
また、表示部31は、ユーザインターフェース用の表示画面としても利用される。
<手ブレ補正の原理>
次に、デジタルカメラ1のブレ補正の原理について説明する。
デジタルカメラ1は、操作部21によって、手ブレONモードと手ブレOFFモードとをユーザが切り替えることが可能である。手ブレONモードでは、デジタルカメラ1のブレ(手ブレ)による被写体像ブレ(像ブレ)がキャンセルされるように、補正レンズ41を移動制御する。手ブレOFFモードでは、補正レンズ41を停止させたままとなるように制御する。
いま、手ブレONモードが選択されている場合、手ブレ検出部52は、デジタルカメラ1のX軸回り方向(ヨー方向)及びY軸回り方向(ピッチ方向)の角速度を検出し、検出した角速度を示す角速度信号を出力する。
ブレ制御部50は、手ブレ検出部52から入力するピッチ方向及びヨー方向の角速度信号を積分し、デジタルカメラ1のピッチ方向及びヨー方向のブレ角を示す角度信号(ピッチ角信号及びヨー角信号)をリアルタイムに生成し、生成したピッチ角信号及びヨー角信号に基づいてデジタルカメラ1のピッチ方向及びヨー方向の手ブレに伴う像ブレを相殺すべく、ブレ補正機構42を介して補正レンズ41を上下方向(Y方向)及び左右方向(X方向)に移動させる。これにより、デジタルカメラ1の各軸回り方向の回転運動による角度ブレを補正することができる。
一方、デジタルカメラ1において生じる像ブレは、デジタルカメラ1の角度ブレのほかに、例えばデジタルカメラ1が各軸方向に並行移動することによって生じる、いわゆる並進ブレがある。この並進ブレは、撮像倍率が大きくなる程、像ブレが大きくなるという傾向がある。そのために、例えばデジタルカメラ1を手に保持した状態で近接撮影を行なう場合、並進ブレも補正することが好ましい。
ブレ制御部50は、デジタルカメラ1の並進ブレを補正する場合、手ブレ検出部52の加速度センサにより検出されるX軸方向及びY軸方向の加速度を示す加速度信号を2回積分することで、X軸方向及びY軸方向の並進ブレ量を求め、並進ブレ量と撮影時の像倍率により撮像素子11の撮像面におけるブレ量を算出し、算出したブレ量を用いてブレ量を相殺するようにブレ補正機構42を介して補正レンズ41を駆動する。これによって並進ブレも補正することができる。
[メモリカードの挿入方向]
図7から図11は、それぞれデジタルカメラを含む撮影機器へのメモリカード100の挿入方向の一例を示す図である。
図7に示すデジタルカメラ1では、メモリカード100は、デジタルカメラ1の底面側から挿入され、かつメモリカード100の正面側(図1参照)がデジタルカメラ1の正面と一致する向きに挿入されている。
したがって、図4に定義したメモリカード100のカード座標系(xyz座標系)と、図5に定義したデジタルカメラ1のカメラ座標系(XYZ座標系)とは各軸方向が一致している。
この場合、デジタルカメラ1に装着されたメモリカード100のジャイロセンサ140により検出される、xyz座標系のx軸回り方向の角速度、y軸回り方向の角速度、及びz軸回り方向の角速度を示す第1、第2及び第3のセンサ出力は、それぞれデジタルカメラ1のXYZ座標系のX軸回り方向(ピッチ方向)の角速度、Y軸回り方向(ヨー方向)の角速度、及びZ軸回り方向(ロール方向)の角速度を示すことになる。
図8に示すデジタルカメラ2では、メモリカード100は、デジタルカメラ2の底面側から挿入され、かつメモリカード100の背面側(図2参照)がデジタルカメラ1の正面と一致する向きに挿入されている。
この場合、メモリカード100のカード座標系と、デジタルカメラ2のカメラ座標系とは各軸方向が一致しない。具体的には、カメラ座標系のX軸方向及びZ軸方向と、カード座標系のx軸方向及びz軸方向との正負が互いに逆になっている。
図9に示すデジタルカメラ3では、メモリカード100は、図9上でデジタルカメラ3の左側面側から挿入され、かつメモリカード100の正面がデジタルカメラ1の正面と一致する向きに挿入されている。
この場合、メモリカード100のカード座標系と、デジタルカメラ3のカメラ座標系とは各軸方向が一致しない。具体的には、カメラ座標系のX軸方向及びY軸方向と、カード座標系のx軸方向及びy軸方向とが入れ替わり、かつx軸方向の正負が逆になっている。
図10に示すデジタルカメラ4では、メモリカード100は、デジタルカメラ3の底面側から挿入され、かつ図10上でメモリカード100の正面がデジタルカメラ1の側面と一致する向きに挿入されている。
この場合、メモリカード100のカード座標系と、デジタルカメラ4のカメラ座標系とは各軸方向が一致しない。具体的には、カメラ座標系のX軸方向及びZ軸方向と、カード座標系のx軸方向及びz軸方向とが入れ替わり、かつz軸方向の正負が逆になっている。
図11に示すスマートフォン5では、メモリカード100は、スマートフォン5の上面側から挿入され、かつ図11上でメモリカード100の正面がスマートフォン5の背面(表示入力部6が設けられている面)と一致する向きに挿入されている。尚、スマートフォン5の前面側には、図示しない撮像部が設けられているものとする。また、7は、スマートフォン5の背面側に設けられた自分撮り用の撮像部である。
この場合、メモリカード100のカード座標系と、スマートフォン5の前面側に設けられた撮像部のカメラ座標系とは各軸方向が一致しない。具体的には、カメラ座標系のY軸方向及びZ軸方向と、カード座標系のy軸方向及びz軸方向との正負が互いに逆になっている。
図12は、図7から図11に示したメモリカード100の挿入方向に伴って変化するカメラ座標系とカード座標系との関係を示す図表である。
[メモリカードの挿入方向の判別方法]
本発明に係るメモリカード100は、デジタルカメラ1等の撮影機器により撮像された動画を示す動画データを記録するとともに、動画データに関連付けてメモリカード100自体が検出した、動画撮像中の撮影機器の手ブレの情報(ジャイロセンサ140により検出されたカード座標系の各軸回り方向の角速度を示す角速度データ(第1、第2及び第3のセンサ出力)、及び加速度センサ150により検出されたカード座標系の各軸方向の加速度を示す加速度データ(第4、第5及び第6のセンサ出力))を記録する。しかし、メモリカード100は、上記のようにメモリカードの挿入方向が異なる種々のデジタルカメラ1〜4、スマートフォン5等の撮影機器に共通に使用されるものである。ジャイロセンサ140の第1、第2及び第3のセンサ出力がカメラ座標系のどの軸回り方向の角速度であるかは、メモリカード100の撮影機器への挿入方向によって決まる。また、加速度センサ150の第4、第5及び第6のセンサ出力がカメラ座標系のどの軸方向の加速度であるかは、メモリカード100の撮影機器への挿入方向によって決まる。
図3に示したメモリカード100のCPU110における判別部112は、メモリカード100の撮影機器への挿入方向をメモリカード自体で判別する。
<第1の判別方法>
図13は、ライブビュー画像又は動画を撮影する際のデジタルカメラ1の一般的な姿勢を示す図である。
尚、図13において、メモリカード100は、図7と同様にデジタルカメラ1の底面側から挿入され、かつメモリカード100の正面側がデジタルカメラ1の正面と一致する向きに挿入されている。
デジタルカメラ1が図13に示す姿勢の場合、メモリカード100のカード座標系のy軸の負方向に大きな重力加速度が加わり、他のx軸方向及びz軸方向の加速度は、並進ブレに伴う加速度であるため、重力加速度に比べて小さいものとなっている。
したがって、デジタルカメラ1が図13に示す姿勢の場合の加速度センサ150の第4、第5及び第6のセンサ出力の大きさを比較することにより、デジタルカメラ1に挿入されたメモリカード100の重力方向を判別することができる。即ち、デジタルカメラ1のカメラ座標系の重力方向に対応するY軸方向と、デジタルカメラ1に挿入されたメモリカード100の重力方向との関係を特定することができる。
図14は、撮影レンズ10が下向きに傾いているデジタルカメラ1の姿勢を示す図である。
図14に示すデジタルカメラ1の姿勢は、デジタルカメラ1の背面に設けられた表示部31(図6)にメニュー画面を表示させ、メニュー画面を見ながら操作部21等により各種の設定操作(記録画素数、動画のフレームレート、撮影感度等の設定操作)を行う場合、あるいは表示部31に動画を再生させて鑑賞する場合の姿勢であり、表示部31の表示画面が上向きになり、撮影レンズ10が下向きに傾く。
デジタルカメラ1が図14に示す姿勢の場合、メモリカード100のカード座標系のy軸の負方向及びz軸の正方向に重力加速度が加わり、x軸方向の加速度は、並進ブレに伴う加速度であるため、重力加速度に比べて小さいものとなっている。
図14に示したデジタルカメラ1の姿勢のときに取得される加速度センサ150の第4、第5及び第6のセンサ出力のうちの最も小さい出力が、デジタルカメラ1に挿入されたメモリカード100のX軸方向(水平方向)の加速度に対応する。
このように図13に示したデジタルカメラ1の姿勢及び図14に示したデジタルカメラ1の姿勢のときに、メモリカード100に内蔵された加速度センサ150から取得した各軸方向の加速度を示す第4、第5及び第6のセンサ出力の大きさに基づいて、デジタルカメラ1のカメラ座標系とデジタルカメラ1に挿入されたメモリカード100のカード座標系との関係(メモリカードの挿入方向)を特定することができる。
メモリカード100のCPU110における判別部112は、デジタルカメラ1のステータス情報と加速度センサ150の第4、第5及び第6のセンサ出力とに基づいてメモリカード100の挿入方向を判別することができる。
図15は、上記の第1の判別方法によるメモリカード100の挿入方向の判別処理を示すフローチャートである。
図15において、メモリカード100が撮影機器に挿入され、撮影機器の電源がONされると(ステップS10、S12)、メモリカード100内の判別部112は、撮影機器がライブビュー画像又は動画の撮影中か否かを判別する(ステップS14)。判別部112は、撮影機器から撮影機器のステータス情報を取得することができれば、そのステータス情報からライブビュー画像又は動画の撮影中か否か判別することができる。しかし、撮影機器のステータス情報を取得することができなくても、少なくとも動画の撮影中には、動画データがメモリカード100に記録されるため、動画の撮影中の判別は可能である。
撮影中であることが判別されると(ステップS14が「Yes」の場合)、判別部112は、加速度センサ150からカード座標系(xyz座標系)の各軸方向の加速度(第4、第5及び第6のセンサ出力)を取得する(ステップS16)。判別部112は、取得した第4、第5及び第6のセンサ出力のうちの1つのセンサ出力が、他の2つのセンサ出力に対して十分に大きい(加速度が一方向に集中している)か否かを判別する(ステップS18)。
そして、加速度が一方向に集中している場合(ステップS18が「Yes」の場合)、加速度が一方向に集中している方向を下方向(重力加速度方向)と判断し(ステップS20)、第4、第5及び第6のセンサ出力のうちの1つのセンサ出力に対応するカード座標系の1つの軸方向(加速度が一方向に集中している方向)を、カメラ座標系の鉛直方向の軸方向(Y軸方向)に対する軸方向とする。加速度が一方向に集中していない場合(「No」の場合)、重力加速度方向が不明であるため、ステップS14に戻る。
加速度が一方向に集中している場合(ステップS18が「Yes」の場合)、次に、判別部112は、デジタルカメラ1の表示部31にメニュー画面が表示され、メニュー操作中か否か、又は、メモリカード100に記録された動画(映像)の再生中か否かを判別する(ステップS22)。メニュー操作中、又は、映像再生中の場合(ステップS22が「Yes」の場合)、判別部112は、加速度センサ150からカード座標系(xyz座標系)の各軸方向の加速度(第4、第5及び第6のセンサ出力)を取得する(ステップS24)。判別部112は、取得した第4、第5及び第6のセンサ出力のうちの2つのセンサ出力が、他の1つのセンサ出力に対して十分に大きい(加速度が二方向に集中している)か否かを判別する(ステップS26)。
そして、加速度が二方向に集中している場合(ステップS26が「Yes」の場合)、更に二方向のうちの一つは、ステップS20により下方向と判別されているか否かを判別する(ステップS28)。二方向のうちの一つは、下方向と判別されている場合(ステップS28が「Yes」の場合)、二方向のうちの下方向以外の軸方向を、カメラ座標系の前後方向の軸方向(Z軸方向)に対する軸方向とし(ステップS30)、残りの軸方向をカメラ座標系の左右方向の軸方向(X軸方向)に対する軸方向とする。
一方、ステップS28において、「No」と判別された場合はステップS22に遷移する。
また、ステップS14において、撮影中でないと判別されると(ステップS14が「No」の場合)、ステップS40に遷移する。
ステップS40では、ステップS22と同様にメニュー操作中か否か、又は、映像再生中か否かを判別する。メニュー操作中、又は、映像再生中の場合(ステップS40が「Yes」の場合)、判別部112は、加速度センサ150からカード座標系(xyz座標系)の各軸方向の加速度(第4、第5及び第6のセンサ出力)を取得する(ステップS42)。判別部112は、取得した第4、第5及び第6のセンサ出力のうちの2つのセンサ出力が、他の1つのセンサ出力に対して十分に大きい(加速度が二方向に集中している)か否かを判別する(ステップS44)。
そして、加速度が二方向に集中している場合(ステップS44が「Yes」の場合)、判別部112は、二方向に対応するカード座標系の2軸を一旦記憶しておく(ステップS46)。
次に、判別部112は、ステップS14と同様に撮影中か否かを判別し(ステップS48)、撮影中であることが判別されると(ステップS48が「Yes」の場合)、加速度センサ150からカード座標系の各軸方向の加速度(第4、第5及び第6のセンサ出力)を取得する(ステップS50)。続いて、判別部112は、取得した第4、第5及び第6のセンサ出力のうちの1つのセンサ出力が、他の2つのセンサ出力に対して十分に大きい(加速度が一方向に集中している)か否かを判別する(ステップS52)。
そして、加速度が一方向に集中している場合(ステップS52が「Yes」の場合)、加速度が一方向に集中している方向を下方向(重力加速度方向)と判断し(ステップS54)、第4、第5及び第6のセンサ出力のうちの1つのセンサ出力に対応するカード座標系の1つの軸方向を、カメラ座標系の鉛直方向の軸方向(Y軸方向)に対する軸方向とする。
カード座標系の1つの軸方向が、カメラ座標系の鉛直方向の軸方向(Y軸方向)に対する軸方向と判別されると、ステップS46で一旦記憶した二方向の軸のうちの一つは、ステップS54により判別された下方向であるか否かを判別する(ステップS56)。そして、二方向のうちの一つは、下方向と判別されると(ステップS56が「Yes」の場合)、二方向のうちの下方向以外の軸方向は、カメラ座標系の前後方向の軸方向(Z軸方向)に対する軸方向と判断し(ステップS58)、残りの軸方向をカメラ座標系の左右方向の軸方向(X軸方向)に対する軸方向とする。
一方、ステップS56において、「No」と判別された場合はステップS48に遷移する。
<第2の判別方法>
図3に示したメモリカード100のCPU110における判別部112は、撮影機器の機器情報を取得し、取得した機器情報に基づいてネットワークを通じてメモリカード100の挿入方向の情報を取得する。
判別部112は、メモリカード100が挿入された撮影機器の機器情報を、撮影機器から直接取得してもよいし、撮影機器によりメモリカード100に記録された動画データの動画ファイル又は静止画データの静止画ファイルのヘッダ情報から、動画又は静止画を撮影した撮影機器の機器情報を取得するようにしてもよい。
静止画ファイルは、Exif(Exchangeable Image File Format)ファイルフォーマットの画像ファイルとして記録することが一般的である。Exifファイルフォーマットの画像ファイルには、ヘッダ情報として撮影日時、機種モデル名、メーカ、画素数、絞り値、シャッタスピード等のExif情報が記録されている。したがって、静止画ファイルのヘッダ情報(Exif情報)から機種の情報(機器情報)を取得することができる。尚、動画ファイルのヘッダ情報に、その動画を撮影した機種の情報が記録されている場合には、動画ファイルのヘッダ情報から機種の情報(機器情報)を取得することが好ましい。
判別部112は、撮影機器の機器情報を取得し、かつメモリカード100がネットワーク(インターネット)を通じて検索サイト又は機器情報を提供するサービスサーバにアクセスできる環境にある場合、取得した機器情報に基づいて撮影機器へのメモリカード100の挿入方向の情報を検索し、又はサービスサーバからメモリカード100の挿入方向の情報を取得する。ここで、メモリカード100がインターネット上の検索サイト等にアクセスできる環境にある場合とは、例えば、撮影機器がスマートフォン5の場合には、スマートフォン5のキャリアの通信網を介してインターネットに接続可能な場合や、インターネットに接続されているパーソナルコンピュータ等のカードスロットにメモリカード100が挿入された場合等が考えられる。
<第3の判別方法>
図3に示したメモリカード100には、電子コンパス160が内蔵されている。電子コンパス160は、直交3軸の各軸方向の地磁気の磁束密度をそれぞれ検出する地磁気センサを含み、図4に示したカード座標系のx軸方向の磁束密度、y軸方向の磁束密度、及びz軸方向の磁束密度をそれぞれ検出し、各軸方向の地磁気の磁束密度を示す地磁気データ(センサ出力)を出力する。
判別部112は、電子コンパス160により検出される磁束密度を示すセンサ出力に基づいてメモリカード100の挿入方向を判別する。
例えば、撮影機器を東から北に向かってスイングし、撮影機器の正面が北向き(撮影方向が北向き)になるように停止させる。判別部112は、撮影機器を上記のようにスイングさせたときに、電子コンパス160により検出されるカード座標系の各軸方向の地磁気データ(センサ出力)を電子コンパス160から取得し、取得したセンサ出力を分析することで撮影機器に挿入されたメモリカード100の挿入方向を判別する。
撮影機器を東から北に向かってスイングさせると、電子コンパス160のカード座標系の各軸方向のセンサ出力のうち、二方向のセンサ出力が大きく変動する。センサ出力が大きく変動する二方向は、カメラ座標系のX軸方向及びZ軸方向に対応するものと判別することができる。また、撮影機器の撮影方向が北向きになるように停止させたときに得られる電子コンパス160のセンサ出力に基づいて、センサ出力が大きく変動する二方向のうちのいずれの方向がカメラ座標系のZ軸方向に対応するものかが分かる。また、地磁気センサでは、磁束密度は大きさと方向を持つベクトル量として検出されるため、撮影機器を東から北に向かってスイングさせた(撮影機器を正方向にヨーイングさせた)という条件と、大きく変動する二方向のセンサ出力とに基づいてカード座標系の各軸方向とカメラ座標系の各軸方向との対応関係(即ち、撮影機器に挿入されたメモリカード100の挿入方向)が分かる。
また、撮影機器を東から北に向かってスイングさせるときに、電子コンパス160のセンサ出力に加えて、ジャイロセンサ140により検出される第1、第2及び第3のセンサ出力を取得し、ジャイロセンサ140により検出される第1、第2及び第3のセンサ出力を、撮影機器に挿入されたメモリカード100の挿入方向の判別に使用してもよい。
尚、上記のメモリカード100の挿入方向の判別を行う場合、撮影機器をスイングさせるように意図的にガイダンスを出してもよいし、スイングを検知した時に自動で処理に入るという形式でもよい。
更に、撮影機器が電子コンパスを備え、電子コンパスから撮影機器の方位方向を示すセンサ出力を取得することができる場合には、判別部112は、撮影機器をスイングしたときに取得される撮影機器の方位方向を示すセンサ出力と、ジャイロセンサ140により検出される第1、第2及び第3のセンサ出力とのマッチングによりメモリカード100の挿入方向を判別することができる。
即ち、撮影機器をヨーイングしたときに取得される撮影機器の方位方向を示すセンサ出力から、ジャイロセンサ140により検出される第1、第2及び第3のセンサ出力のうちの撮影機器のY軸回り方向の角速度に対応するセンサ出力を判別することができる。また、この判別結果と、例えば撮影機器をピッチング又はローリングさせたときのジャイロセンサ140の第1、第2及び第3のセンサ出力とから撮影機器のX軸回り方向及びZ軸回り方向の角速度に対応するセンサ出力を判別することができる。
<第4の判別方法>
図3に示したブレ補正部114は、フラッシュメモリ130に記録された動画のブレを、動画とともに記録されたジャイロセンサ140の第1、第2及び第3のセンサ出力に基づいて補正するものである。尚、メモリカード100の挿入方向が不明な状態で、ジャイロセンサ140の第1、第2及び第3のセンサ出力を使用してブレ補正するため、メモリカード100の挿入方向を仮定し、仮定した挿入方向に対応する第1、第2及び第3のセンサ出力を使用してブレ補正を行う。
例えば、メモリカード100の挿入方向が、図7に示した挿入方向であると仮定した場合には、ブレ補正部114は、ジャイロセンサ140の第1、第2及び第3のセンサ出力を、それぞれカメラ座標系のX軸回り方向、Y軸回り方向及びZ軸回り方向の加速度データとして適用し、ブレ補正を行う。
判別部112は、ブレ補正部114によりブレ補正された動画のブレ量を画像処理により算出し、仮定した挿入方向に基づいてブレ補正部114により補正された動画のブレが最も小さくなるときの仮定した挿入方向を、メモリカード100の撮影機器に対する挿入方向と判別する。
尚、ブレ補正部114は、動画を再生する必要がないため、例えば、動画中の時刻の異なる2枚の画像と、これらの2枚の画像に対応して検出されたジャイロセンサの第1、第2及び第3のセンサ出力とに基づいて、2枚の画像のブレ(ずれ量)を補正するものでもよい。
図16は、上記の第2の判別方法から第4の判別方法によるメモリカード100の挿入方向の判別処理を示すフローチャートである。
図16において、判別部112は、フラッシュメモリ130に記録された動画ファイルのヘッダ情報であって、撮影機器のモデル名等が記録されたヘッダ情報を取得する(ステップS100)。尚、ヘッダ情報として、撮影機器のモデル名が記録されていない場合には、動画ファイルとともに記録されている静止画ファイルのヘッダ情報(Exifタグ情報)を取得してもよい。Exifタグ情報には、撮影機器のモデル名等が記録されているからである。
続いて、所望のヘッダ情報の取得に成功したか否かを判別し(ステップS102)、成功した場合(ステップS102が「Yes」の場合)には、ヘッダ情報から撮影機器のモデル名を抽出する(ステップS104)。
撮影機器のモデル名が抽出されると、使用機器はインターネットに接続可能か否かを判別する(ステップS106)。使用機器がインターネットに接続可能な場合とは、撮影機器がインターネットに接続可能な場合の他に、メモリカード100がパーソナルコンピュータ等を介してインターネットに接続可能な場合を含む。
ステップS106において、使用機器がインターネットに接続可能であると判別されると(ステップS106が「Yes」の場合)、撮影機器のモデル名をもとに撮影機器に対するメモリカード100の挿入方向を、インターネットを通じて検索する(ステップS108)。そして、検索に成功すると(ステップS110)、検索情報をもとに撮影機器の撮影機器に対するメモリカード100の挿入方向を設定する(ステップS190)。
一方、ステップS102において、有効なヘッダ情報の取得ができなかったと判別されると、撮影機器に電子コンパス機能があるか否かを判別する(ステップS112)。撮影機器に電子コンパス機能があると判別されると(ステップS112が「Yes」の場合)、例えば、撮影機器をヨーイング方向及びピッチング方向にスイングする(ステップS116)。撮影機器のヨーイング方向のスイング中の方位方向の変化を確認し(ステップS118)、この方位方向の変化とジャイロセンサ140の第1、第2、及び第3のセンサ出力の変化とのマッチングに基づいて撮影機器に対するメモリカード100の挿入方向を判別する(ステップS120)。
また、ステップS112において、電子コンパス機能がないと判別されると、ステップS122に遷移させる。ステップS122では、ライブビュー画像及びジャイロセンサ140のセンサ出力を取得し、短時間分のライブビュー画像とセンサ出力とをフラッシュメモリ130(又はRAM116)に一時的に保存する。
ブレ補正部114は、メモリカード100の挿入方向として考えられる全ての方向のうちの一の方向を仮定し、保存されたライブビュー画像と、仮定した挿入方向に対応するジャイロセンサ140のセンサ出力とに基づいてライブビュー画像のブレを仮補正し(ステップS124)、判別部112は、仮補正後のライブビュー画像のブレ量を算出する(ステップS126)。
続いて、ステップS124及びステップS126の処理を挿入方向の全方向について、実施したか否かを判別する(ステップS128)。挿入方向の全方向について、ステップS124及びステップS126の処理が実施されると(ステップS128が「Yes」の場合、ステップS126で算出された補正後のブレ量が最も小さくなる方向を、撮影機器に対するメモリカード100の挿入方向として選択する(ステップS130)。
[センサ出力の記録方法]
図17は、カメラ座標系(XYZ座標系)とカメラ座標系の各軸回り方向の角速度及び各軸方向の加速度との関係を示す図である。尚、カメラ座標系は、図5に定義した通りである。
図17に示すように、カメラ座標系のY軸回り方向(ヨー方向)の角速度をa、X軸回り方向(ピッチ方向)の角速度をb、Z軸回り方向(ロール方向)の角速度をc、X軸方向の加速度をd、Y軸方向の加速度をe、Z軸方向の加速度をfとする。
図18は、ジャイロセンサ140及び加速度センサ150のセンサ出力を示す波形図である。
図18に示すジャイロセンサ140の第1、第2及び第3のセンサ出力は、カード座標系(図4で定義したxyz座標系)の各軸回り方向の角速度を示す角速度データであり、加速度センサ150の第4、第5及び第6のセンサ出力は、カード座標系の各軸方向の加速度を示す加速度データである。
<センサ出力の第1の記録方法>
撮影機器に対するメモリカード100の挿入方向が判別されると、カメラ座標系とカード座標系との対応関係が分かる(図12参照)。その結果、カメラ座標系の各軸回り方向の角速度a、b、cと、ジャイロセンサ140の第1、第2及び第3のセンサ出力との対応関係が分かり、同様にカメラ座標系の各軸方向の加速度d、e、fと、加速度センサ150の第4、第5及び第6のセンサ出力との対応関係が分かる。
図19は、フラッシュメモリ130のデータ領域を示す図である。
図19において、フラッシュメモリ130のデータ領域A、B、Cをそれぞれカメラ座標系の各軸回り方向(ヨー方向、ピッチ方向、ロール方向)の角速度a、b、cを記録する領域とし、データ領域D、E、Fをそれぞれカメラ座標系の各軸方向(左右方向、上下方向、前後方向)の加速度d、e、fを記録する領域とする。
CPU110及びメモリI/F122により構成される第1の記録部は、撮影機器により撮像された動画を示す動画ファイルをフラッシュメモリ130に記録する。
また、CPU110及びメモリI/F122により構成される第2の記録部は、メモリカード100の挿入方向の判別結果に基づいて、ジャイロセンサ140の第1、第2及び第3のセンサ出力のいずれがヨー方向、ピッチ方向及びロール方向の角速度であるかが分かるため、これらの第1、第2及び第3のセンサ出力をそれぞれフラッシュメモリ130のデータ領域A、B、Cの対応する領域に記録する。
同様に、メモリカード100の挿入方向の判別結果に基づいて、加速度センサ150の第4、第5及び第6のセンサ出力のいずれが左右方向、上下方向及び前後方向の加速度であるかが分かるため、これらの第4、第5及び第6のセンサ出力を、それぞれフラッシュメモリ130のデータ領域D、E、Fの対応する領域に記録する。
尚、センサ出力を保存するデータ形式は、テキストファイルに書き出し保存してもよいし、バイナリ形式で保存するようにしてもよい。
また、動画ファイルには、動画の撮影開始時点からの時間経過を示すタイムコードが動画データと共に記録されるため、上記第1から第6のセンサ出力も同じタイムコードにしたがって記録することが好ましい。
<センサ出力の第2の記録方法>
図20は、フラッシュメモリ130のデータ領域を示す図である。
図20において、フラッシュメモリ130のデータ領域A、B、Cを、それぞれジャイロセンサ140により検出される第1、第2及び第3のセンサ出力を記録する領域とし、データ領域D、E、Fをそれぞれ加速度センサ150により検出される第4、第5及び第6のセンサ出力を記録する領域とする。
また、図20に示すフラッシュメモリ130のデータ領域Xを、撮影機器に対するメモリカード100の挿入方向を示す情報を記録する領域とする。
CPU110、メモリI/F122及びフラッシュメモリ130により構成される第1の記録部は、撮影機器により撮像された動画を示す動画ファイルをフラッシュメモリ130に記録する。
また、CPU110、メモリI/F122及びフラッシュメモリ130により構成される第2の記録部は、ジャイロセンサ140の第1、第2及び第3のセンサ出力を、フラッシュメモリ130のデータ領域A、B、Cに記録し、加速度センサ150の第4、第5及び第6のセンサ出力を、それぞれデータ領域D、E、Fに記録する。
更に、CPU110、メモリI/F122及びフラッシュメモリ130により構成される第3の記録部は、撮影機器に対するメモリカード100の挿入方向を示す情報を、フラッシュメモリ130のデータ領域Xに記録する。メモリカード100の挿入方向を示す情報は、カメラ座標系とカード座標系との対応関係を特定し得る情報であれば、いかなるものでもよい。
また、メモリカード100の挿入方向の判別結果に基づいて、ジャイロセンサ140の第1、第2及び第3のセンサ出力のいずれが、撮影機器のヨー方向、ピッチ方向及びロール方向の角速度であるかが分かり、同様に加速度センサ150の第4、第5及び第6のセンサ出力のいずれが、撮影機器の左右方向、上下方向及び前後方向の加速度であるかが分かるため、第3の記録部は、撮影機器のヨー方向、ピッチ方向及びロール方向の角速度が、それぞれフラッシュメモリ130のデータ領域A、B、Cのいずれの領域に記録されているかを示す情報(アドレス)を記録し、撮影機器の左右方向、上下方向及び前後方向の加速度が、それぞれフラッシュメモリ130のデータ領域D、E、Fのいずれの領域に記録されているかを示す情報(アドレス)を記録するようにしてもよい。
[動画再生装置]
図5及び図6に示したデジタルカメラ1は、本発明に係る動画再生装置としても機能する。
デジタルカメラ1は、操作部21等の操作により再生モードを選択することで、メモリカード100に記録された静止画又は動画を再生することができる。また、メモリカード100に記録された動画を再生する場合、動画のブレを補正して再生する再生モードと、動画のブレを補正せずに再生する再生モードとを、操作部21等の操作により選択できるようになっている。以下、メモリカード100に記録された動画のブレを補正して動画再生する場合について説明する。
デジタルカメラ1は、再生モード時にメモリカード100に記録された動画ファイルが選択されると、情報取得部として機能するCPU15及び外部メモリ制御部30は、選択された動画ファイルをメモリカード100から読み出し、読み出した動画ファイルの圧縮された動画データを圧縮伸張処理部27により伸張し、メインメモリ24に一時保持する。同時に、情報取得部は、読み出した動画ファイルに関連付けられてメモリカード100に記録された手ブレの情報(ジャイロセンサ140の第1、第2及び第3のセンサ出力、加速度センサ150の第4、第5及び第6のセンサ出力)と、メモリカード100の挿入方向を示す情報とを読み出し、メインメモリ24に一時保持する。
ブレ補正部として機能するデジタル信号処理部26は、まず、メモリカード100の挿入方向を示す情報に基づいて、読み出したジャイロセンサ140の第1、第2及び第3のセンサ出力を、読み出した動画のヨー方向、ピッチ方向及びロール方向に対応するセンサ出力に割り当て、また、読み出した加速度センサ150の第4、第5及び第6のセンサ出力を、読み出した動画の左右方向及び上下方向に対応するセンサ出力に割り当てる。
デジタル信号処理部26は、割り当てられたセンサ出力をそれぞれ使用して、動画のヨー方向、ピッチ方向及びロール方向のブレ(角度ブレ)、及び動画の左右方向及び上下方向のブレ(並進ブレ)を補正する。
例えば、ピッチ方向の角度ブレを補正する場合、ジャイロセンサ140の第1、第2及び第3のセンサ出力のうちのピッチ方向に割り当てられたセンサ出力(角速度)を積分し、ピッチ方向のブレ角度を算出する。算出したブレ角度と、撮影レンズ10の焦点距離(例えば、動画ファイルのヘッダ部に記録されている動画撮像時の焦点距離を使用する)とに基づいて、撮像素子11面上での上下方向のブレ量に相当する画素数を算出し、算出した画素数分だけ動画を構成するフレームをシフトすることにより、ピッチ方向の角度ブレを補正する。
また、上下方向の並進ブレを補正する場合、加速度センサ150の第4、第5及び第6のセンサ出力のうちの上下方向に割り当てられたセンサ出力(加速度)を積分し、上下方向の並進ブレを算出する。算出した並進ブレと、撮影レンズ10の焦点距離及び被写体距離(例えば、動画ファイルのヘッダ部に記録されている動画撮像時の焦点距離及び被写体距離を使用する)とに基づいて、撮像素子11面上での上下方向の並進ブレ量に相当する画素数を算出し、算出した画素数分だけ動画を構成するフレームをシフトすることにより、上下方向の並進ブレを補正する。
このようにして角度ブレ及び並進ブレが補正された動画を示すビデオ信号は、表示制御部32(出力部)を介して表示部31に出力されて動画として再生され、又は図示しないビデオ出力端子(出力部)を介して液晶テレビ等の外部表示器に出力されて動画として再生される。
また、図11に示すスマートフォン5では、動画を横撮りする場合と縦撮りする場合とがあり、スマートフォン5は、動画の撮像時のスマートフォン5(電子機器)の回転方向を示す情報を、動画ファイルのヘッダ部に記録する。回転方向を示す情報とは、例えば、横撮りの回転位置、横撮りの状態から90°右回転させた縦撮りの回転位置、又は90°左回転させた縦撮りの回転位置を示す情報をいう。図11に示すスマートフォン5の場合は、回転方向を示す情報とは図11に示したスマートフォン5による縦撮りの回転位置、この回転位置から90°右回転させた横撮りの回転位置、及び90°左回転させた横撮りの回転位置を示す情報である。
動画再生装置は、スマートフォン5等の撮影機器により撮影された動画を再生する場合、動画の撮像時の撮影機器の回転方向を示す情報を取得する。ブレ補正部は、メモリカード100の挿入方向を示す情報の他に、撮影機器の回転方向を示す情報に基づいてジャイロセンサ140及び加速度センサ150の各センサ出力を、動画のヨー方向、ピッチ方向及びロール方向に対応するセンサ出力、及び動画の左右方向及び上下方向に対応するセンサ出力に割り当て、割り当てられたセンサ出力を使用して動画のヨー方向、ピッチ方向及びロール方向の角度ブレ及び動画の左右方向及び上下方向の並進ブレを補正する。
また、図11に示すスマートフォン5では、自分撮り用の撮像部7により動画を撮影する場合があり、スマートフォン5は、動画の撮像時の撮像部が、スマートフォン5(電子機器)の前面及び背面に設けられた撮像部のうちのいずれの撮像部であるかを示す撮像部の情報を、動画ファイルのヘッダ部に記録する。
動画再生装置が、動画を再生する場合、動画の撮像時の撮像部が自分撮り用の撮像部であることを示す情報を、動画ファイルのヘッダ部から取得した場合、ブレ補正部は、メモリカード100の挿入方向を示す情報と自分撮り用の撮像部の情報とに基づいてジャイロセンサ140及び加速度センサ150の各センサ出力を、動画のヨー方向、ピッチ方向及びロール方向に対応する角速度を示すセンサ出力、及び動画の左右方向及び上下方向に対応する加速度を示すセンサ出力に割り当て、割り当てられたセンサ出力を使用して動画のヨー方向、ピッチ方向及びロール方向の角度ブレ及び動画の左右方向及び上下方向の並進ブレを補正する。
[その他]
図6に示したデジタルカメラ1は手ブレ補正機能を備えているため、動画の撮影時に手ブレONモードが選択され、手ブレが補正された動画が撮影された場合には、メモリカードは、手ブレの情報を記録しない方が好ましい。
本実施形態のメモリカード100は、ジャイロセンサ140、加速度センサ150及び電子コンパス160を備えているが、本発明に係るメモリカードは、少なくともジャイロセンサを備えていればよい。加速度センサが設けられていない場合、メモリカードには角速度の情報が記録されなくなり、動画の並進ブレの補正ができなくなる。しかし、通常の動画では角度ブレに対して並進ブレは小さいため、加速度センサが設けられていないメモリカードであっても、ほぼブレのない動画の再生が可能である。
また、本実施形態の判別部は、複数の判別方法により撮影機器に対するメモリカードの挿入方向を判別する判別機能を有しているが、これに限らず、1以上の判別方法により挿入方向を判別する判別機構を有するものであればよい。
また、メモリカードに記録された動画を、手ブレの情報を使用してブレ補正して再生する動画再生装置は、撮影機器が備えているものに限らず、例えば、パーソナルコンピュータ等の撮影機能を有さないものでもよいことは言うまでもない。
更に本発明に係るメモリカードは、本実施形態のSDカードと同じ外観を有するものに限らず、種々の外観を有するメモリカードに適用可能である。
本発明は上述した実施形態に限定されず、本発明の精神を逸脱しない範囲で種々の変形が可能であることは言うまでもない。
1〜4 デジタルカメラ
5 スマートフォン
6 表示入力部
7 撮像部
10 撮影レンズ
11 撮像素子
12 絞り
14 赤外線カットフィルタ
15、110 CPU
18 レンズ駆動部
19 絞り駆動部
20 撮像素子駆動部
21 操作部
22 アナログ信号処理部
23 A/D変換器
24 メインメモリ
25 メモリ制御部
26 デジタル信号処理部
27 圧縮伸張処理部
28 積算部
30 外部メモリ制御部
31 表示部
32 表示制御部
33 制御バス
34 データバス
41 補正レンズ
42 ブレ補正機構
50 ブレ制御部
52 手ブレ検出部
100 メモリカード
102 書込み禁止スイッチ
104 端子
112 判別部
114 ブレ補正部
116 RAM
118 ROM
120 カードI/F
122 メモリI/F
124 内部バス
130 フラッシュメモリ
140 ジャイロセンサ
150 加速度センサ
160 電子コンパス
S10〜30、S40〜S58,S100〜S130 ステップ

Claims (12)

  1. 少なくとも動画を撮像する撮像部を備えた電子機器に着脱可能なメモリカードにおいて、
    直交3軸の各軸回り方向の角速度をそれぞれ検出するジャイロセンサと、
    前記電子機器により撮像された動画を記録する第1の記録部と、
    前記ジャイロセンサにより検出された前記直交3軸の各軸回り方向の角速度を示す第1、第2及び第3のセンサ出力を、前記動画のブレ補正用に前記第1の記録部に記録する動画に関連付けてそれぞれ記録する第2の記録部と、
    前記電子機器に装着された前記メモリカードの前記電子機器に対する挿入方向を判別する判別部と、
    前記判別部により判別した挿入方向を示す情報であって、前記第2の記録部に記録された前記第1、第2及び第3のセンサ出力が、それぞれ前記動画のヨー方向、ピッチ方向及びロール方向のうちのいずれの方向に対応するかを示す情報を記録する第3の記録部と、
    を備えたメモリカード。
  2. 少なくとも動画を撮像する撮像部を備えた電子機器に着脱可能なメモリカードにおいて、
    直交3軸の各軸回り方向の角速度をそれぞれ検出するジャイロセンサと、
    前記電子機器により撮像された動画を記録する第1の記録部と、
    前記ジャイロセンサにより検出された前記直交3軸の各軸回り方向の角速度を示す第1、第2及び第3のセンサ出力を、前記動画のブレ補正用に前記第1の記録部に記録する動画に関連付けてそれぞれ記録する第2の記録部と、
    前記電子機器に装着された前記メモリカードの前記電子機器に対する挿入方向を判別する判別部と、を備え、
    前記第2の記録部は、前記判別部により判別した挿入方向に基づいて前記第1、第2及び第3のセンサ出力を、それぞれヨー方向、ピッチ方向及びロール方向に割り当てられたデータ領域に記録するメモリカード。
  3. 直交3軸の各軸方向の加速度をそれぞれ検出する加速度センサを備え、
    前記第2の記録部は、前記加速度センサにより検出された前記直交3軸の各軸方向の加速度を示す第4、第5及び第6のセンサ出力を、前記第1の記録部に記録する動画に関連付けてそれぞれ記録する請求項1に記載のメモリカード。
  4. 直交3軸の各軸方向の加速度をそれぞれ検出する加速度センサを備え、
    前記第2の記録部は、前記判別部により判別した挿入方向に基づいて前記加速度センサにより検出された前記直交3軸の各軸方向の加速度を示す第4、第5及び第6のセンサ出力を、それぞれ前記動画の左右方向、上下方向及び前後方向に割り当てられたデータ領域に記録する請求項2に記載のメモリカード。
  5. 前記判別部は、前記電子機器による動画の撮像時に前記加速度センサから得られる前記第4、第5及び第6のセンサ出力と、前記電子機器の背面の表示器の使用時に前記加速度センサから得られる前記第4、第5及び第6のセンサ出力とに基づいて前記挿入方向を判別する請求項3又は4に記載のメモリカード。
  6. 前記判別部は、前記電子機器の機器情報に基づいてネットワークを通じて前記挿入方向の情報を取得する請求項1から5のいずれか1項に記載のメモリカード。
  7. 電子コンパスを更に備え、
    前記判別部は、前記電子コンパスにより検出される磁束密度を示すセンサ出力、又は前記電子コンパスにより検出される磁束密度を示すセンサ出力と前記ジャイロセンサにより検出される前記第1、第2及び第3のセンサ出力とに基づいて前記挿入方向を判別する請求項1から6のいずれか1項に記載のメモリカード。
  8. 前記電子機器は電子コンパスを備え、
    前記判別部は、前記電子コンパスにより検出される方位方向を示すセンサ出力と前記ジャイロセンサにより検出される前記第1、第2及び第3のセンサ出力とに基づいて前記挿入方向を判別する請求項1から6のいずれか1項に記載のメモリカード。
  9. 前記第1の記録部に記録された動画と前記第2の記録部に記録された第1、第2及び第3のセンサ出力とに基づいて前記動画のブレ補正を行うブレ補正部を備え、
    前記判別部は、前記挿入方向を仮定し、前記仮定した挿入方向に基づいて前記ブレ補正部により補正された前記動画のブレが最も小さくなるときの前記仮定した挿入方向を、前記メモリカードの前記電子機器に対する挿入方向と判別する請求項1から8のいずれか1項に記載のメモリカード。
  10. 請求項1に記載のメモリカードから前記動画、前記第1、第2及び第3のセンサ出力、及び前記挿入方向を示す情報を取得する情報取得部と、
    前記取得した前記挿入方向を示す情報に基づいて前記第1、第2及び第3のセンサ出力を、前記取得した動画のヨー方向、ピッチ方向及びロール方向に対応するセンサ出力に割り当て、前記割り当てられたセンサ出力をそれぞれ使用して、前記動画のヨー方向、ピッチ方向及びロール方向のブレを補正するブレ補正部と、
    前記ブレ補正部によりブレを補正した前記動画を出力する出力部と、
    を備えた動画再生装置。
  11. 前記情報取得部は、前記動画の撮像時の前記電子機器の回転方向を示す情報を取得し、
    前記ブレ補正部は、前記取得した前記挿入方向を示す情報及び前記回転方向を示す情報に基づいて前記第1、第2及び第3のセンサ出力を、前記取得した動画のヨー方向、ピッチ方向及びロール方向に対応するセンサ出力に割り当て、前記割り当てられたセンサ出力を使用して前記動画のヨー方向、ピッチ方向及びロール方向のブレを補正する請求項10に記載の動画再生装置。
  12. 前記情報取得部は、前記電子機器の前面及び背面に設けられた撮像部のうちの前記動画を撮像した撮像部の情報を取得し、
    前記ブレ補正部は、前記取得した前記挿入方向を示す情報及び前記撮像部の情報に基づいて前記第1、第2及び第3のセンサ出力を、前記取得した動画のヨー方向、ピッチ方向及びロール方向に対応するセンサ出力に割り当て、前記割り当てられたセンサ出力を使用して前記動画のヨー方向、ピッチ方向及びロール方向のブレを補正する請求項10又は11に記載の動画再生装置。
JP2018551047A 2016-11-16 2017-09-11 メモリカード及び動画再生装置 Active JP6622426B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
JP2016223154 2016-11-16
JP2016223154 2016-11-16
PCT/JP2017/032721 WO2018092394A1 (ja) 2016-11-16 2017-09-11 メモリカード及び動画再生装置

Publications (2)

Publication Number Publication Date
JPWO2018092394A1 JPWO2018092394A1 (ja) 2019-07-11
JP6622426B2 true JP6622426B2 (ja) 2019-12-18

Family

ID=62145533

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018551047A Active JP6622426B2 (ja) 2016-11-16 2017-09-11 メモリカード及び動画再生装置

Country Status (4)

Country Link
US (1) US10911676B2 (ja)
JP (1) JP6622426B2 (ja)
CN (1) CN110024368B (ja)
WO (1) WO2018092394A1 (ja)

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007142525A (ja) * 2005-11-15 2007-06-07 Nikon Corp 撮影装置、撮影モジュールおよび検索システム
JP4789614B2 (ja) * 2005-12-26 2011-10-12 キヤノン株式会社 防振制御装置およびその制御方法
JP2007212158A (ja) * 2006-02-07 2007-08-23 Seiko Epson Corp 動き情報検出装置および動き情報検出方法
JP5830662B2 (ja) * 2010-12-09 2015-12-09 パナソニックIpマネジメント株式会社 撮像装置
JP2013064695A (ja) * 2011-09-20 2013-04-11 Yamaha Corp 状態推定装置、オフセット更新方法およびオフセット更新プログラム
US9609217B2 (en) * 2011-11-02 2017-03-28 Mediatek Inc. Image-based motion sensor and related multi-purpose camera system
JP5965770B2 (ja) * 2012-07-31 2016-08-10 オリンパス株式会社 ブレ量検出装置、撮像装置及びブレ量検出方法

Also Published As

Publication number Publication date
US20190268540A1 (en) 2019-08-29
JPWO2018092394A1 (ja) 2019-07-11
CN110024368B (zh) 2021-02-19
CN110024368A (zh) 2019-07-16
US10911676B2 (en) 2021-02-02
WO2018092394A1 (ja) 2018-05-24

Similar Documents

Publication Publication Date Title
JP3896505B2 (ja) 電子カメラ
CN102739962B (zh) 能够生成广角图像的图像处理装置
US20120268621A1 (en) Imaging apparatus, azimuth recording method, and program
CN109417593B (zh) 摄像装置、工作方法、图像处理装置以及图像处理方法
KR101109532B1 (ko) 촬상 장치, 촬상 방법 및 촬상 프로그램이 기록된 기록 매체
CN102739961B (zh) 能够生成广角图像的图像处理装置
CN102404506A (zh) 摄影设备
JP4605217B2 (ja) 撮影装置及びそのプログラム
JP4957825B2 (ja) 撮像装置、及びプログラム
JP4655708B2 (ja) カメラ、カメラの手ブレ状態表示方法、及びプログラム
JP4748442B2 (ja) 撮像装置及びそのプログラム
JP4565909B2 (ja) カメラ
JP3646124B2 (ja) オートフォーカス装置
JP2006148550A (ja) 画像処理装置及び撮像装置
JP2009260599A (ja) 画像表示装置、電子カメラ
JP6622426B2 (ja) メモリカード及び動画再生装置
JP2006285073A (ja) 撮像装置および撮像装置の操作方法
JP2013012978A (ja) デジタルカメラ
JP4888829B2 (ja) 動画処理装置、動画撮影装置および動画撮影プログラム
JP5962974B2 (ja) 撮像装置、撮像方法、及びプログラム
JP2013192088A (ja) 撮像装置、制御方法および制御プログラム
JP2007013586A (ja) 撮像装置
JP2006253875A (ja) 撮像装置
JP2009139423A (ja) 撮像装置及び被写体距離算出方法
JP2004117195A (ja) 速度計測機能付デジタルカメラ

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190425

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20190425

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20190603

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190718

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190828

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191107

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191121

R150 Certificate of patent or registration of utility model

Ref document number: 6622426

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250