JP5780418B2 - 撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体 - Google Patents

撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体 Download PDF

Info

Publication number
JP5780418B2
JP5780418B2 JP2011120403A JP2011120403A JP5780418B2 JP 5780418 B2 JP5780418 B2 JP 5780418B2 JP 2011120403 A JP2011120403 A JP 2011120403A JP 2011120403 A JP2011120403 A JP 2011120403A JP 5780418 B2 JP5780418 B2 JP 5780418B2
Authority
JP
Japan
Prior art keywords
sensor
data
signal
image
image data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2011120403A
Other languages
English (en)
Other versions
JP2012249158A (ja
Inventor
山本　一幸
一幸 山本
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to JP2011120403A priority Critical patent/JP5780418B2/ja
Application filed by Sony Corp filed Critical Sony Corp
Priority to CN201280024951.1A priority patent/CN103548338B/zh
Priority to US14/118,727 priority patent/US20140112634A1/en
Priority to KR1020137030759A priority patent/KR20140028012A/ko
Priority to RU2013151886/07A priority patent/RU2013151886A/ru
Priority to EP12792676.4A priority patent/EP2700224B1/en
Priority to BR112013030108A priority patent/BR112013030108A2/pt
Priority to PCT/JP2012/003343 priority patent/WO2012164873A1/en
Publication of JP2012249158A publication Critical patent/JP2012249158A/ja
Application granted granted Critical
Publication of JP5780418B2 publication Critical patent/JP5780418B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6812—Motion detection based on additional sensors, e.g. acceleration sensors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/682—Vibration or motion blur correction
    • H04N23/685—Vibration or motion blur correction performed by mechanical compensation
    • H04N23/687—Vibration or motion blur correction performed by mechanical compensation by shifting the lens or sensor position
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/804—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components
    • H04N9/8042—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving pulse code modulation of the colour picture signal components involving data reduction

Description

本技術は、撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体に関し、特に、記録された画像の再生の要否をより自由に決めることができるようにする撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体に関する。
従来より、カムコーダによる動画の記録は、ユーザの手元にある動画撮影ボタンによって制御される。
記録した動画の再生は、カムコーダまたはパーソナルコンピュータなどで行うことができる。この際、例えば、再生が不要なシーンがあった場合、そのまま連続的に視聴してしまうか、早送りボタンや早送りアイコンでユーザが能動的にスキップするようになされていた。
不要なシーンの例としては、所望の被写体の撮影が終了したにも係らず、ユーザがＲＥＣボタンを切り忘れたために継続して録画されてしまったシーンなどが考えられる。この他にも、意図しない大きな手振れが含まれているシーンや急激にカメラの向きが変更されたシーン、ユーザの歩行やカメラが受けた衝撃によるぶれの大きなシーンなどが考えられる。
これらの記録を防止するための方式として、ユーザの歩行の加速度を検出し、歩行をやめると録画開始を行う技術が提案されている（例えば、特許文献１参照）。
また、衝撃をうけるとその後一定時間画像を記録しないようにする技術も提案されている（例えば、特許文献２参照）。
特開２００９−２６７７９２号公報 特開平６−２３７４６３公報
しかしながら、特許文献１または特許文献２の技術を採用したとしてもなお、次のような問題がある。
特許文献１や特許文献２の技術は、換言すれば、再生時における不要なシーンを撮影時に決めてしまい記録そのものを行わないような構成ともいえる。このような構成を採用した場合、ユーザが撮影したかったシーンがリジェクトされてしまう可能性があるという問題があった。
近年では、装置の省電力化や記録媒体の大容量化が図られており、データの記録に係るコストは年々低下しているともいえる。このような状況下では、不要なシーンを撮影時に決めて記録そのものを行わないようにした場合も、とりあえず記録しておいて、再生時に不要なシーンをカットした場合も、コスト負担はほとんど変わらないと考えられる。
また、再生が不要なシーンを特定する際の基準（例えば、どれだけぶれたらシーンをスキップするのか）は、撮影時のコンディションやユーザの許容値によって異なるが、それを撮影前に決めることは極めて困難である。
さらに、歩行時、衝撃印加時以外のシーンの自動的な排除に関しては、従来の手法では対応できないという問題があった。
本技術はこのような状況に鑑みて開示するものであり、記録された画像の再生の要否をより自由に決めることができるようにするものである。
本技術の第１の側面は、撮影した動画像の画像データを生成する画像データ生成部と、センサから出力される検知信号に基づいて、前記生成された画像データが動画像として再生される場合のタイムラインに対応づけられたセンサ信号を生成するセンサ信号生成部と、前記画像データ、および前記センサ信号をデジタルデータ化したセンサデータを同一の記録媒体に記録する記録部とを備え、前記センサ信号生成部は、前記センサの検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号を前記センサ信号として生成する撮影装置である。
前記センサがジャイロセンサであり、前記撮影装置の動きを表す検知信号を出力するようにすることができる。
前記センサが加速度センサであり、前記撮影装置の傾斜方向を表す検知信号を出力するようにすることができる。
前記センサがイメージセンサであり、前記撮影装置のユーザの顔の認識結果を表す検知信号を出力するようにすることができる。
前記センサ信号生成部は、前記検知信号について、所定時間ごとの所定周波数範囲のパワースペクトルの面積値を算出して得られる信号を前記センサ信号として生成するようにすることができる。
本技術の第１の側面は、画像データ生成部が、撮影した動画像の画像データを生成し、センサ信号生成部が、センサから出力される検知信号に基づいて、前記生成された画像データが動画像として再生される場合のタイムラインに対応づけられたセンサ信号を生成し、記録部が、前記画像データ、および前記センサ信号をデジタルデータ化したセンサデータを同一の記録媒体に記録するステップを含み、前記センサ信号生成部が、前記センサの検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号を前記センサ信号として生成する撮影方法である。
本技術の第１の側面は、コンピュータを、撮影した動画像の画像データを生成する画像データ生成部と、センサから出力される検知信号に基づいて、前記生成された画像データが動画像として再生される場合のタイムラインに対応づけられたセンサ信号を生成するセンサ信号生成部と、前記画像データ、および前記センサ信号をデジタルデータ化したセンサデータを同一の記録媒体に記録する記録部とを備え、前記センサ信号生成部は、前記センサの検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号を前記センサ信号として生成する撮影装置として機能させるプログラムである。
本開示の第１の側面においては、撮影した動画像の画像データが生成され、センサから出力される検知信号に基づいて、前記生成された画像データが動画像として再生される場合のタイムラインに対応づけられたセンサ信号が生成され、前記画像データ、および前記センサ信号をデジタルデータ化したセンサデータが同一の記録媒体に記録される。その際、前記センサの検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号が前記センサ信号として生成される。
本技術の第２の側面は、記録媒体に記録されている動画像の画像データ、および、前記画像データが動画像として再生される場合のタイムラインに対応づけられて記録されているセンサデータを読み出すデータ読み出し部と、前記読み出された画像データを保持するデータ保持部と、前記読み出されたセンサデータに基づいて、前記保持された画像データの中で再生不要なフレームを特定するフレーム特定部と、前記特定されたフレームを除外した一連の動画像の画像データを再構成する再構成部とを備え、前記センサデータは、前記動画像を撮影した撮影装置のセンサにより出力される検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号をセンサ信号として生成して、デジタルデータ化したデータである画像再生装置である。
前記センサデータは、前記動画像を撮影した撮影装置のジャイロセンサにより出力される検知信号であって、前記撮影装置の動きを表す検知信号に基づいて生成されたセンサ信号をデジタルデータ化したデータであるようにすることができる。
前記センサデータは、前記動画像を撮影した撮影装置の加速度センサにより出力される検知信号であって、前記撮影装置の傾斜方向を表す検知信号に基づいて生成されたセンサ信号をデジタルデータ化したデータであるようにすることができる。
前記センサデータは、前記動画像を撮影した撮影装置のイメージセンサにより出力される検知信号であって、前記撮影装置のユーザの顔の認識結果を表す検知信号に基づいて生成されたセンサ信号をデジタルデータ化したデータであるようにすることができる。
本技術の第２の側面は、データ読み出し部が、記録媒体に記録されている動画像の画像データ、および、前記画像データが動画像として再生される場合のタイムラインに対応づけられて記録されているセンサデータを読み出し、データ保持部が、前記読み出された画像データを保持し、フレーム特定部が、前記読み出されたセンサデータに基づいて、前記保持された画像データの中で再生不要なフレームを特定し、再構成部が、前記特定されたフレームを除外した一連の動画像の画像データを再構成するステップを含み、前記センサデータは、前記動画像を撮影した撮影装置のセンサにより出力される検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号をセンサ信号として生成して、デジタルデータ化したデータである画像再生方法である。
本技術の第２の側面は、コンピュータを、記録媒体に記録されている動画像の画像データ、および、前記画像データが動画像として再生される場合のタイムラインに対応づけられて記録されているセンサデータを読み出すデータ読み出し部と、前記読み出された画像データを保持するデータ保持部と、前記読み出されたセンサデータに基づいて、前記保持された画像データの中で再生不要なフレームを特定するフレーム特定部と、前記特定されたフレームを除外した一連の動画像の画像データを再構成する再構成部とを備え、前記センサデータは、前記動画像を撮影した撮影装置のセンサにより出力される検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号をセンサ信号として生成して、デジタルデータ化したデータである画像再生装置として機能させるプログラムである。
本技術の第２の側面においては、記録媒体に記録されている動画像の画像データ、および、前記画像データが動画像として再生される場合のタイムラインに対応づけられて記録されているセンサデータが読み出され、前記読み出された画像データが保持され、前記読み出されたセンサデータに基づいて、前記保持された画像データの中で再生不要なフレームが特定され、前記特定されたフレームを除外した一連の動画像の画像データが再構成される。その際、前記センサデータは、前記動画像を撮影した撮影装置のセンサにより出力される検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号をセンサ信号として生成して、デジタルデータ化したデータである。
本技術によれば、記録された画像の再生の要否をより自由に決めることができる。
本技術を適用した撮影装置の一実施の形態に係る構成例を示すブロック図である。 本技術を適用した再生装置の一実施の形態に係る構成例を示すブロック図である。 ジャイロセンサから出力される検知信号の波形の例を示したグラフである。 動き信号の例を示す図である。 動き信号の別の例を示す図である。 動き信号のさらに別の例を示す図である。 動き信号のさらに別の例を示す図である。 動き信号のさらに別の例を示す図である。 動き信号のさらに別の例を示す図である。 動き信号のさらに別の例を示す図である。 動き信号のさらに別の例を示す図である。 画像データおよび動きデータの記録の方式の例を説明する図である。 画像データおよび動きデータの記録の方式の別の例を説明する図である。 画像データおよび動きデータの記録の方式のさらに別の例を説明する図である。 記録処理の例を説明するフローチャートである。 再生処理の例を説明するフローチャートである。 シーンスキップ制御処理の例を説明するフローチャートである。 撮影装置の外観の例を示す図である。 パーソナルコンピュータの構成例を示すブロック図である。
以下、図面を参照して、ここで開示する技術の実施の形態について説明する。
図１は、本技術を適用した撮影装置の一実施の形態に係る構成例を示すブロック図である。この撮影装置１０は、例えば、カムコーダとして構成される。
同図に示される撮影装置１０は、入力部２１、レンズアクチュエータ２２、ジャイロセンサ２３、撮像部２４、手振れ補正演算部２５、動き量演算部２６、エンコーダ２７、記録部２８、および表示部２９を有する構成とされている。
入力部２１は、例えば、ユーザによる操作入力を受け付ける。例えば、ユーザにより撮影開始、撮影終了、ズームイン、ズームアウトなどの操作が入力される。
レンズアクチュエータ２２は、動画の撮影中に手振れなどの振動が加えられたときに、加えられた振動の分だけレンズを移動させることにより、その振動による影響を打ち消す機能（手振れ補正機能）を実現する。レンズアクチュエータ２２は、後述するジャイロセンサ２３から出力される検知信号に基づいて、撮影中に手振れなどの振動を検知するようになされている。
ジャイロセンサ２３は、２軸または３軸の角速度を検知して出力するようになされている。すなわち、ジャイロセンサ２３は、例えば、ピッチ方向、ヨー方向、ロール方向の回転を検知し、撮影装置１０のぶれを検出する。ジャイロセンサから出力される検知信号は、レンズアクチュエータ２２、および動き量演算部２６に出力される。
撮像部２４は、例えば、ＣＣＤセンサ、ＣＭＯＳセンサなどの光電変換素子を有するセンサなどにより構成され、撮影装置１０のレンズを介して入射する光に対応する信号を画像信号として出力するようになされている。
手振れ補正演算部２５は、ジャイロセンサ２３から供給される検知信号に基づいて、手振れの大きさ、向きなどを表す信号を生成し、レンズアクチュエータ２２に出力するようになされている。
動き量演算部２６は、ジャイロセンサ２３から供給される検知信号に基づいて、撮影装置１０の動き量を表す信号である動き信号を生成する。なお、動き信号の詳細については後述する。動き量演算部２６により生成された動き信号は、後述するエンコーダ２７の出力とともに記録部２８に出力される。この際、エンコーダ２７から出力される画像データを再生した場合の再生時刻に対応づけられて動き信号が出力されるようになされている。
エンコーダ２７は、撮像部２４から供給される画像信号を、ＭＰＥＧ方式など所定の符号化方式によりエンコードするようになされている。エンコーダ２７から出力されるエンコードされた画像データは、動き量演算部２６により生成された動き信号とともに記録部２８に出力される。
記録部２８は、画像データと動き信号をＨＤＤ、半導体メモリカードなどの記録媒体に記録するようになされている。この際、上述したように、画像データを再生した場合の再生時刻に対応づけて動き信号が記録されるようになされている。なお、動き信号は、例えば、記録される際に符号化されるなど、何等かの方式でデジタルデータ化されて、動きデータとして記録されるようになされている。
表示部２９は、例えば、ＬＣＤなどのディスプレイにより構成され、撮像部２４から出力される画像信号に基づいて、画像を表示するようになされている。
図２は、図１の撮影装置１０に対応する再生装置であって、本技術を適用した再生装置の一実施の形態に係る構成例を示すブロック図である。この再生装置５０は、例えば、ＨＤＤレコーダ、パーソナルコンピュータなどとして構成される。
同図に示される再生装置５０は、入力部６１、ドライブ６２、演算デコーダ６３、表示部６４、およびキャッシュメモリ６５を有する構成とされている。
入力部６１は、例えば、ユーザによる操作入力を受け付ける。例えば、ユーザにより再生開始、再生終了、シーンスキップに係る指令などの操作が入力される。
ドライブ６２には、撮影装置１０の記録部２８により画像データおよび動きデータが記録された記録媒体が装着される。ドライブ６２は、例えば、入力部６１を介して入力されるユーザの操作に基づいて、記録媒体から画像データおよび動きデータを読み出すようになされている。記録媒体から読み出された画像データおよび動きデータは、演算デコーダ６３に供給される。
演算デコーダ６３は、例えば、記録媒体から読み出された画像データおよび動きデータをデコードし、キャッシュメモリ６５を用いて所定の演算処理を施すなどして得られた画像信号を、表示部６４に出力するようになされている。
演算デコーダ６３は、例えば、動きデータをデコードして得られた動き信号に基づいて、動画の中でのカムコーダの動き（手振れ、衝撃、レンズの向きの大幅な変化など）を表す情報を取得し、その情報に基づいてシーンスキップを制御するようになされている。
例えば、演算デコーダ６３は、符号化された画像データをデコードして得られる画像データを、キャッシュメモリ６５に保持する。その一方で、演算デコーダ６３は、動画の中でのカムコーダの動きを表す情報を参照してスキップすべきフレームを特定し、その特定されたフレームを除外した一連の動画の画像データを再構成する。そして、演算デコーダ６３は、再構成された画像データに対応する画像信号を生成して表示部６４に出力する。この際、演算デコーダ６３は、例えば、入力部６１を介して入力されるユーザの操作に基づいて、どの程度の動きまたはどの区間の動きを有するフレームをスキップすべきかを判定する。
表示部６４は、例えば、ＬＣＤなどのディスプレイにより構成され、演算デコーダ６３から供給される画像信号に対応する画像を表示するようになされている。
次に、上述した動き信号について説明する。図３は、横軸を時間、縦軸を信号のレベルとし、ジャイロセンサ２３から出力される検知信号の波形の例を示したグラフである。なお、この例では、ジャイロセンサ２３のヨー方向の回転の検知信号の波形の例が示されている。
図３に示されるような、ジャイロセンサ２３から出力される検知信号をそのまま動き信号として用いるようにしてもよい。
図４は、動き信号の別の例を示す図である。同図は、横軸を時間、縦軸を信号のレベルとし、図３に示される信号を、閾値判定により２値化して得られる信号の波形の例を示したグラフである。この例では、例えば、レベルがＤＣセンター値から±100digit超えた場合、閾値を超えたものと判定し、閾値を超える検知信号が出力されている場合１を、それ以外の場合は０を出力するように、図３の信号を２値化している。
このように、ジャイロセンサ２３から出力される検知信号を２値化することで、例えば、動画の中でカムコーダの動きが大きい部分と動きが小さい部分を簡単に把握することができる。
図４に示されるような、ジャイロセンサ２３から出力される検知信号を閾値判定により２値化して得られる信号を、動き信号として用いるようにしてもよい。
図５は、動き信号のさらに別の例を示す図である。同図は、横軸を時間、縦軸を信号のレベルとし、図４に示される信号を遅効処理して得られる信号の波形の例を示したグラフである。ここで、遅効行処理は、例えば、図３の信号の０または１の反転後、所定時間は次の反転を許さないように加工する処理とされる。
例えば、図４に示されるような信号に基づいてシーンスキップの制御を行う場合、閾値をまたぐ度に、再生の要否を細かいサイクルで繰り返し判断する必要があるので再生時の負荷が大きい。図５に示されるように遅効処理することで、上述のような細かいサイクルでの繰り返しの判断が不要となる。
図５に示されるような、ジャイロセンサ２３から出力される検知信号を閾値判定により２値化し、さらに遅効処理して得られた信号を、動き信号として用いるようにしてもよい。
図６は、動き信号のさらに別の例を示す図である。同図は、横軸を時間、縦軸を信号のレベルとし、図３に示される信号を、２つの閾値を用いた段階的判定により３値化し、さらに遅効処理して得られる信号の波形の例を示したグラフである。
例えば、図６に示されるような信号に基づいてシーンスキップの制御を行う場合、このように複数の閾値を設けることで、再生時に、再生不要と判断される動きの大きさを複数の大きさから選択できるようになる。
図６に示されるような、ジャイロセンサ２３から出力される検知信号を複数の閾値を用いた段階的判定により多値化し、さらに遅効処理して得られた信号を、動き信号として用いるようにしてもよい。
図７は、動き信号のさらに別の例を示す図である。同図は、横軸を時間、縦軸を信号のレベルとし、図３に示される信号を、２つの閾値を用いた段階的判定により３値化して得られる信号に対してローパスフィルタ処理を施した信号の波形の例を示したグラフである。すなわち、図６の場合のように遅効処理を施す代わりに、ローパスフィルタ処理が施された信号とされる。
図７に示されるような、ジャイロセンサ２３から出力される検知信号を複数の閾値を用いた段階的判定により多値化し、さらにローパスフィルタ処理が施された信号を、動き信号として用いるようにしてもよい。
図８は、動き信号のさらに別の例を示す図である。この例の場合、ジャイロセンサから出力された検知信号について、所定時間ごとの所定周波数範囲のパワースペクトルの面積値を算出し、パワースペクトルの面積値を時間軸上にプロットして得られた波形の例を示している。すなわち、図８の横軸は時間とされ、縦軸はパワースペクトルの面積とされている。
図８に示されるような動き信号においては、例えば、周期的な動きや、瞬間的な強い動きなどの影響を排除することができる。すなわち、動画において手振れが発生しているのか否かがはっきりしない部分では、信号のレベルが高くならないため、はっきりした手振れや衝撃だけを把握することができる。このような信号が動き信号として用いられるようにしてもよい。
図９は、動き信号のさらに別の例を示す図である。この例の場合、横軸を時間、縦軸を信号のレベルとし、図８に示される信号を、閾値判定により２値化して得られる信号の波形の例を示したグラフが示されている。このような信号が動き信号として用いられるようにしてもよい。
図１０は、動き信号のさらに別の例を示す図である。この例の場合、横軸を時間、縦軸を信号のレベルとし、図９に示される信号を遅効処理して得られる信号の波形の例を示したグラフが示されている。このような信号が動き信号として用いられるようにしてもよい。
図１１は、動き信号のさらに別の例を示す図である。この例の場合、横軸を時間、縦軸を信号のレベルとし、図８に示される信号を、２つの閾値を用いた段階的判定により３値化して得られる信号に対してローパスフィルタ処理を施した信号の波形の例を示したグラフが示されている。このような信号が動き信号として用いられるようにしてもよい。
次に、画像データおよび動きデータの記録の方式について説明する。
図１２は、動き信号の波形を、画像データのタイムラインに同期させて記録する方式を説明する図である。同図に示される波形１１１は、例えば、図３、図８を参照して上述した場合と同様に動き信号の波形を表している。
記録部２８は、例えば、波形１１１をサンプリングして量子化することにより、画像データのタイムラインに同期させて記録する。なお、量子化されて得られた各値をタイムライン上の時刻を表すデータとともにファイル化するなどして記録することにより動きデータが、画像データとともに記録されることになる。
このようにすることで、例えば、再生装置５０の演算デコーダ６３で動きデータを再生することにより、図３、図８を参照して上述した場合と同様の動き信号の波形を再生することができる。この場合、例えば、画像の再生前に、ユーザが波形１１１をみて、スキップすべきシーンをタイムライン上で指定するなどの編集を行うことも可能となる。
図１３は、画像データおよび動きデータの記録の方式の別の例を説明する図である。同図は、例えば、図４乃至図７、図９乃至図１１に示されるように多値化（２値化を含む）された動き信号に基づいて動きの大きさをステータスとして抽出し、動画データのフレーム毎にステータスを記録する場合の例を示している。いまの場合、例えば、動き信号が３値化されているものとされ、動きの大きさを手振れや衝撃などの「強度」として表し、強度１乃至強度３のステータスが設定されている。
図１３に示されるように、タイムライン上に記載された０乃至３の数値により各フレームのステータスが表されている。このステータスは、例えば、動画データを構成するパケットのヘッダに格納するなどして記録することができる。
また、同図に示されるように、タイムライン上にフレームのステータスに応じて色（ここではハッチング）分けされたバーを表示するようにすれば、動画の中で手振れの多い（動きの大きい）区間や手振れの少ない区間を一目で認識することができる。
図１４は、画像データおよび動きデータの記録の方式の別の例を説明する図である。図１４は、例えば、図４乃至図７、図９乃至図１１に示されるように多値化（２値化を含む）された動き信号に基づいて動きの大きさの変化を抽出し、動画データのタイムラインに対応づけられたフラグとして記録する場合の例を示している。いまの場合、例えば、図１４の右下に示されるように、タイムスタンプと、動きの大きさの変化を表す情報である「状態」が対応づけられたデータ１２１をファイル化するなどして記録することにより動きデータが、画像データとともに記録されることになる。
図１４のデータ１２１によれば、タイムスタンプ「００：００」において動きの大きさは「０」であり、タイムスタンプ「０１：０５」において動きの大きさが「０」から「１」に変化したこと（「０→１」）が表されている。同様に、タイムスタンプ「０２：４０」において動きの大きさが「１」から「２」に変化したこと、タイムスタンプ「０３：００」において動きの大きさが「２」から「３」に変化したこと、タイムスタンプ「０４：１２」において動きの大きさが「３」から「２」に変化したこと、・・・が表されている。
例えば、動きの大きさの変化に基づいて、シーンスキップの開始点と終了点をフラグによって指定することにより、スキップすべきシーンを制御するようにしてもよい。このようにフラグ化された動きデータを記録することで、例えば、再生時に動きの変化点を把握しやすくなり、シーンスキップの開始点や終了点を簡単に識別することができる。また、例えば、フレーム毎にステータスを記録する場合と比較して、記録の負荷を低く抑えることができる。
このようにして、画像データおよび動きデータが記録される。
次に、図１５のフローチャートを参照して、図１の撮影装置１０による記録処理の例について説明する。
ステップＳ２１において、撮影装置１０による撮影が開始される。
ステップＳ２２において、動き量演算部２６は、ジャイロセンサ２３から供給される検知信号を取得する。
ステップＳ２３において、動き量演算部２６は、動き信号を生成する。このとき、例えば、図３乃至図１１を参照して上述したような動き信号が生成される。
ステップＳ２４において、エンコーダ２７は、撮像部２４から供給される画像信号を、ＭＰＥＧ方式など所定の符号化方式によりエンコードする。
なお、上述したように、ステップＳ２３の処理により生成される動き信号は、ステップＳ２４の処理でエンコードされた画像データを再生した場合の再生時刻（すなわち、タイムライン）に対応づけられるようになされている。
ステップＳ２５において、記録部２８は、ステップＳ２３の処理により生成される動き信号を、タイムラインに対応づけてデジタルデータ化するなどして動きデータを生成する。
ステップＳ２６において、記録部２８は、ステップＳ２４でエンコードされた画像データと、ステップＳ２５で生成された動きデータを記録媒体に記録する。例えば、画像データと動きデータとを含むデータファイルが生成される。
ステップＳ２７において、撮影の終了が指令されたか否かが判定される。例えば、入力部２１を介して所定の撮影終了操作が行われた場合、撮影の終了が指令されたと判定される。
ステップＳ２７において、撮影の終了が指令されていないと判定された場合、処理は、ステップＳ２２に戻る。
一方、ステップＳ２７において、撮影の終了が指令されたと判定された場合、記録処理は終了する。
このようにして、記録処理が実行される。
次に、図１６のフローチャートを参照して、図２の再生装置５０による再生処理の例について説明する。なお、この処理は、再生装置５０において、動画の再生が指令されたとき実行されるものとし、処理の実行に先立って、図１５を参照して上述した記録処理の結果記録されたデータを有する記録媒体が、再生装置５０のドライブ６２に装着されているものとする。
ステップＳ４１において、ドライブ６２に装着された記録媒体から画像データおよび動きデータが読み出される。
ステップＳ４２において、演算デコーダ６３は、ステップＳ４１の処理で読み出された画像データおよび動きデータをデコードする。
ステップＳ４３において、キャッシュメモリ６５は、ステップＳ４２の処理でデコードされて得られた画像データを保持する。
ステップＳ４４において、演算デコーダ６３は、図１７のフローチャートを参照して後述するシーンスキップ制御処理を実行する。これにより、例えば、スキップすべきシーンのフレームが特定されて画像データが再構成される。
ステップＳ４５において、演算デコーダ６３は、ステップＳ４４の処理に伴って再構成された画像データに対応する画像信号を生成する。
ステップＳ４６において、表示部６４は、ステップＳ４５の処理で生成された画像信号に対応する画像を表示する。
このようにして、再生処理が実行される。
次に、図１７のフローチャートを参照して、図１６のステップＳ４４のシーンスキップ制御処理の詳細な例について説明する。
ステップＳ６１において、演算デコーダ６３は、動きデータに基づいて得られた動き信号を解析する。これにより、例えば、動画の中でのカムコーダの動き（手振れ、衝撃、レンズの向きの大幅な変化など）を表す情報が取得される。
ステップＳ６２において、演算デコーダ６３は、ステップＳ６１での解析の結果に基づいてスキップすべきフレームを特定する。
このとき、例えば、図１２に示されるようなタイムラインと動き信号を表示部６４に表示させることにより、スキップすべきシーンをユーザに指定させ、そのシーンを構成するフレームがスキップすべきフレームとして特定される。
また、例えば、図１３に示されるように、各フレームのステータスが記録されていた場合、予め設定されたステータスのフレームをスキップすべきフレームとして特定する。例えば、スキップすべきフレームの判定基準としてステータス１以上と設定されていた場合、ステータス１乃至ステータス３のフレームがスキップすべきフレームとして特定される。また、例えば、スキップすべきフレームの判定基準としてステータス２以上と設定されていた場合、ステータス２とステータス３のフレームがスキップすべきフレームとして特定される。さらに、例えば、スキップすべきフレームの判定基準としてステータス３以上と設定されていた場合、ステータス３のフレームがスキップすべきフレームとして特定される。
あるいはまた、例えば、図１４に示されるように、フラグ化された動きデータが記録されていた場合、そのフラグに基づいてユーザが指定した区間内のフレームがスキップすべきフレームとして特定される。
ステップＳ６３において、演算デコーダ６３は、ステップＳ６２の処理で特定されたフレームを除外した一連の動画の画像データを再構成する。これにより、例えば、手振れ、衝撃、レンズの向きの大幅な変化などが含まれるシーンがスキップされて動画が再生されることになる。
このようにして、シーンスキップ制御処理が実行される。
このように、本技術によれば、撮影（記録）時に、タイムラインに対応付けられて動きデータが記録され、再生時には、動きデータに基づいて所定のシーンがスキップされるようになされている。
従来より、例えば、ユーザの歩行の加速度を検出し、歩行をやめると録画開始を行う技術、衝撃をうけるとその後一定時間画像を記録しないようにする技術が提案されていた。
しかしながら、それらの技術は、換言すれば、再生時における不要なシーンを撮影時に決めてしまい記録そのものを行わないような構成ともいえる。このような構成を採用した場合、ユーザが撮影したかったシーンがリジェクトされてしまう可能性があるという問題があった。
また、近年では、装置の省電力化や記録媒体の大容量化が図られており、データの記録に係るコストは年々低下しているともいえる。このような状況下では、不要なシーンを撮影時に決めて記録そのものを行わないようにした場合も、とりあえず記録しておいて、再生時に不要なシーンをカットした場合も、コスト負担はほとんど変わらないと考えられる。
さらに、再生が不要なシーンを特定する際の基準（例えば、どれだけぶれたらシーンをスキップするのか）は、撮影時のコンディションやユーザの許容値によって異なるが、それを撮影前に決めることは極めて困難である。
これに対して、本技術によれば、撮影時には全シーンを記録するようにし、再生時に再生不要なシーンが特定されるようにしたので、例えば、ユーザが撮影したかったシーンがリジェクトされてしまうことはない。
また、例えば、タイムラインに対応付けられたステータスに基づいて、スキップすべきシーンを特定することもできるので、撮影時のコンディションやユーザの許容値によって異なる基準に柔軟に対応することができる。
さらに、一般的は再生不要と考えられるような手振れの大きいシーンであっても、例えば、幼い子供が撮影していた場合などは、ユーザにとっての貴重な思いでとなる場合もあり、このようなシーンを一概にカットすることなく保存できる。従って、本技術では、ユーザの思い出を全て記録することができる。
さらに、再生不要と判断するための基準を設定しておけば、自動的にシーンをスキップさせることもできる。
従って、本技術によれば、記録された画像の再生の要否をより自由に決めることができる。
以上においては、ジャイロセンサ２３の検知信号に基づいて、動き信号が生成される例について説明したが、例えば、加速度センサから出力される検知信号に基づいて動き信号が生成されるようにしてもよい。
このようにすることで、例えば、手振れ、衝撃などの動きだけでなく、加速度センサを、重力のベクトル方向をリファレンスとした傾斜センサとして用いることによりカメラが下を向いているときに撮影されたフレームなどを特定することができる。例えば、撮影終了後、終了のボタンの押下を忘れた場合など、カメラが下向きになったまま地面の画像が延々と撮影されていることがある。加速度センサから出力される検知信号に基づいて動き信号を生成してタイムラインに対応づけて動きデータが記録されるようにすれば、カメラが下向きの間のシーンをスキップさせることもできる。
あるいはまた、撮影装置１０にイメージセンサを搭載し、イメージセンサから出力される検知信号に基づいて得られるセンサデータがタイムラインに対応付けられて記録されるようにしてもよい。
図１８は、撮影装置１０の外観の例を示す図である。同図は、撮影者側から見た撮影装置１０の外観の例を示しており、この場合、被写体は、紙面の奥行方向やや左側に存在することになる。同図に示されるように、例えば、撮影者に向けて画像を表示する表示部２９のディスプレイの下部にイメージセンサ３１が設けられる。
イメージセンサ３１は、例えば、小型のＣＣＤカメラを有する構成とされ、撮影された画像の中の顔画像を認識するようになされている。すなわち、例えば、イメージセンサ３１により、ユーザの顔が認識されたか否かを表す検知信号が出力される。このようにすることで、例えば、ユーザが被写体の方向を向いて撮影したときのフレームを特定することができる。
通常、画像を撮影する場合、ユーザは被写体の方向を向いて撮影する。一方、例えば、撮影終了後、終了のボタンの押下を忘れた場合などは、ユーザは被写体の方向を向いていないと考えられる。つまり、イメージセンサ３１によりユーザの顔が認識されたときに撮影されたフレームの画像は再生する価値の高いものと考えられるが、イメージセンサ３１によりユーザの顔が認識されていないときに撮影されたフレームの画像は再生する価値は低いと考えられる。
このように、イメージセンサ３１から出力される検知信号に基づいて得られるセンサデータがタイムラインに対応付けられて記録されるようにすれば、やはり、再生不要のシーンを簡単に判定することが可能となる。また、上述した動きデータに基づくシーンのスキップの判定とともに、センサデータを利用して再生要否を判定するようにすれば、より実効的に、かつ自動的にシーンをスキップさせることもできる。
つまり、本技術においてタイムラインに対応付けて記録する情報は、必ずしも動きを表す情報である必要はなく、所定のセンサによりセンシングされたデータなど、各種の付帯情報とするようにしてもよい。
なお、上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、専用のハードウェアに組み込まれているコンピュータ、または、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば図１９に示されるような汎用のパーソナルコンピュータ７００などに、ネットワークや記録媒体からインストールされる。
図１９において、ＣＰＵ（Central Processing Unit）７０１は、ＲＯＭ（Read Only Memory）７０２に記憶されているプログラム、または記憶部７０８からＲＡＭ（Random Access Memory）７０３にロードされたプログラムに従って各種の処理を実行する。ＲＡＭ７０３にはまた、ＣＰＵ７０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
ＣＰＵ７０１、ＲＯＭ７０２、およびＲＡＭ７０３は、バス７０４を介して相互に接続されている。このバス７０４にはまた、入出力インタフェース７０５も接続されている。
入出力インタフェース７０５には、キーボード、マウスなどよりなる入力部７０６、ＬＣＤ(Liquid Crystal display)などよりなるディスプレイ、並びにスピーカなどよりなる出力部７０７、ハードディスクなどより構成される記憶部７０８、モデム、ＬＡＮカードなどのネットワークインタフェースカードなどより構成される通信部７０９が接続されている。通信部７０９は、インターネットを含むネットワークを介しての通信処理を行う。
入出力インタフェース７０５にはまた、必要に応じてドライブ７１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリなどのリムーバブルメディア７１１が適宜装着され、それらから読み出されたコンピュータプログラムが、必要に応じて記憶部７０８にインストールされる。
上述した一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、インターネットなどのネットワークや、リムーバブルメディア７１１などからなる記録媒体からインストールされる。
なお、この記録媒体は、図１９に示される、装置本体とは別に、ユーザにプログラムを配信するために配布される、プログラムが記録されている磁気ディスク（フロッピディスク（登録商標）を含む）、光ディスク（CD-ROM(Compact Disk-Read Only Memory),DVD(Digital Versatile Disk)を含む）、光磁気ディスク（MD（Mini-Disk）（登録商標）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア７１１により構成されるものだけでなく、装置本体に予め組み込まれた状態でユーザに配信される、プログラムが記録されているＲＯＭ７０２や、記憶部７０８に含まれるハードディスクなどで構成されるものも含む。
なお、本明細書において上述した一連の処理は、記載された順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
なお、本技術は以下のような構成も取ることができる。
（１） 撮影した動画像の画像データを生成する画像データ生成部と、
センサから出力される検知信号に基づいて、前記生成された画像データが動画像として再生される場合のタイムラインに対応づけられたセンサ信号を生成するセンサ信号生成部と、
前記画像データ、および前記センサ信号をデジタルデータ化したセンサデータを同一の記録媒体に記録する記録部と
を備える撮影装置。
（２） 前記センサがジャイロセンサであり、前記撮影装置の動きを表す検知信号を出力する
（１）に記載の撮影装置。
（３） 前記センサが加速度センサであり、前記撮影装置の傾斜方向を表す検知信号を出力する
（１）に記載の撮影装置。
（４） 前記センサがイメージセンサであり、前記撮影装置のユーザの顔の認識結果を表す検知信号を出力する
（１）に記載の撮影装置。
（５） 前記センサ信号生成部は、
前記センサの検知信号を閾値判定により２値化して得られる信号を前記センサ信号として生成する
（１）乃至（４）のいずれかに記載の撮影装置。
（６） 前記センサ信号生成部は、
複数の閾値を用いた段階的判定により多値化して得られる信号を前記センサ信号として生成する
（１）乃至（４）のいずれかに記載の撮影装置。
（７） 前記センサ信号生成部は、
前記検知信号に所定の処理を施し、さらに遅効処理またはローパスフィルタ処理を施して得られる信号を前記センサ信号として生成する
（１）乃至（６）のいずれかに記載の撮影装置。
（８） 前記センサ信号生成部は、
前記検知信号について、所定時間ごとの所定周波数範囲のパワースペクトルの面積値を算出して得られる信号を前記センサ信号として生成する
（１）乃至（７）のいずれかに記載の撮影装置。
（９） 画像データ生成部が、撮影した動画像の画像データを生成し、
センサ信号生成部が、センサから出力される検知信号に基づいて、前記生成された画像データが動画像として再生される場合のタイムラインに対応づけられたセンサ信号を生成し、
記録部が、前記画像データ、および前記センサ信号をデジタルデータ化したセンサデータを同一の記録媒体に記録するステップ
を含む撮影方法。
（１０） コンピュータを、
撮影した動画像の画像データを生成する画像データ生成部と、
センサから出力される検知信号に基づいて、前記生成された画像データが動画像として再生される場合のタイムラインに対応づけられたセンサ信号を生成するセンサ信号生成部と、
前記画像データ、および前記センサ信号をデジタルデータ化したセンサデータを同一の記録媒体に記録する記録部とを備える撮影装置として機能させる
プログラム。
（１１） （１０）に記載のプログラムが記録されている記録媒体。
（１２） 記録媒体に記録されている動画像の画像データ、および、前記画像データが動画像として再生される場合のタイムラインに対応づけられて記録されているセンサデータを読み出すデータ読み出し部と、
前記読み出された画像データを保持するデータ保持部と、
前記読み出されたセンサデータに基づいて、前記保持された画像データの中で再生不要なフレームを特定するフレーム特定部と、
前記特定されたフレームを除外した一連の動画像の画像データを再構成する再構成部と
を備える画像再生装置。
（１３） 前記センサデータは、
前記動画像を撮影した撮影装置のジャイロセンサにより出力される検知信号であって、前記撮影装置の動きを表す検知信号に基づいて生成されたセンサ信号をデジタルデータ化したデータである
（１２）に記載の画像再生装置。
（１４） 前記センサデータは、
前記動画像を撮影した撮影装置の加速度センサにより出力される検知信号であって、前記撮影装置の傾斜方向を表す検知信号に基づいて生成されたセンサ信号をデジタルデータ化したデータである
（１２）に記載の画像再生装置。
（１５） 前記センサデータは、
前記動画像を撮影した撮影装置のイメージセンサにより出力される検知信号であって、前記撮影装置のユーザの顔の認識結果を表す検知信号に基づいて生成されたセンサ信号をデジタルデータ化したデータである
（１２）に記載の画像再生装置。
（１６） データ読み出し部が、記録媒体に記録されている動画像の画像データ、および、前記画像データが動画像として再生される場合のタイムラインに対応づけられて記録されているセンサデータを読み出し、
データ保持部が、前記読み出された画像データを保持し、
フレーム特定部が、前記読み出されたセンサデータに基づいて、前記保持された画像データの中で再生不要なフレームを特定し、
再構成部が、前記特定されたフレームを除外した一連の動画像の画像データを再構成するステップ
を含む画像再生方法。
（１７） コンピュータを、
記録媒体に記録されている動画像の画像データ、および、前記画像データが動画像として再生される場合のタイムラインに対応づけられて記録されているセンサデータを読み出すデータ読み出し部と、
前記読み出された画像データを保持するデータ保持部と、
前記読み出されたセンサデータに基づいて、前記保持された画像データの中で再生不要なフレームを特定するフレーム特定部と、
前記特定されたフレームを除外した一連の動画像の画像データを再構成する再構成部とを備える画像再生装置として機能させる
プログラム。
（１８） （１７）に記載のプログラムが記録されている記録媒体。
１０ 撮影装置， ２１ 入力部， ２２ レンズアクチュエータ， ２３ ジャイロセンサ， ２４ 撮像部， ２５ 手振れ補正演算部， ２６ 動き量演算部， ２７ エンコーダ， ２８ 記録部， ２９ 表示部， ５０ 再生装置， ６１ 入力部， ６２ ドライブ， ６３ 演算デコーダ， ６４ 表示部， ６５ キャッシュメモリ

Claims (15)

  1. 撮影した動画像の画像データを生成する画像データ生成部と、
    センサから出力される検知信号に基づいて、前記生成された画像データが動画像として再生される場合のタイムラインに対応づけられたセンサ信号を生成するセンサ信号生成部と、
    前記画像データ、および前記センサ信号をデジタルデータ化したセンサデータを同一の記録媒体に記録する記録部と
    を備え、
    前記センサ信号生成部は、
    前記センサの検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号を前記センサ信号として生成する
    撮影装置。
  2. 前記センサがジャイロセンサであり、前記撮影装置の動きを表す検知信号を出力する
    請求項１に記載の撮影装置。
  3. 前記センサが加速度センサであり、前記撮影装置の傾斜方向を表す検知信号を出力する
    請求項１に記載の撮影装置。
  4. 前記センサがイメージセンサであり、前記撮影装置のユーザの顔の認識結果を表す検知信号を出力する
    請求項１に記載の撮影装置。
  5. 前記センサ信号生成部は、
    前記検知信号について、所定時間ごとの所定周波数範囲のパワースペクトルの面積値を算出して得られる信号を前記センサ信号として生成する
    請求項１に記載の撮影装置。
  6. 画像データ生成部が、撮影した動画像の画像データを生成し、
    センサ信号生成部が、センサから出力される検知信号に基づいて、前記生成された画像データが動画像として再生される場合のタイムラインに対応づけられたセンサ信号を生成し、
    記録部が、前記画像データ、および前記センサ信号をデジタルデータ化したセンサデータを同一の記録媒体に記録するステップ
    を含み、
    前記センサ信号生成部が、前記センサの検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号を前記センサ信号として生成する
    撮影方法。
  7. コンピュータを、
    撮影した動画像の画像データを生成する画像データ生成部と、
    センサから出力される検知信号に基づいて、前記生成された画像データが動画像として再生される場合のタイムラインに対応づけられたセンサ信号を生成するセンサ信号生成部と、
    前記画像データ、および前記センサ信号をデジタルデータ化したセンサデータを同一の記録媒体に記録する記録部とを備え、
    前記センサ信号生成部は、
    前記センサの検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号を前記センサ信号として生成する撮影装置として機能させる
    プログラム。
  8. 請求項７に記載のプログラムが記録されている記録媒体。
  9. 記録媒体に記録されている動画像の画像データ、および、前記画像データが動画像として再生される場合のタイムラインに対応づけられて記録されているセンサデータを読み出すデータ読み出し部と、
    前記読み出された画像データを保持するデータ保持部と、
    前記読み出されたセンサデータに基づいて、前記保持された画像データの中で再生不要なフレームを特定するフレーム特定部と、
    前記特定されたフレームを除外した一連の動画像の画像データを再構成する再構成部と
    を備え、
    前記センサデータは、前記動画像を撮影した撮影装置のセンサにより出力される検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号をセンサ信号として生成して、デジタルデータ化したデータである
    画像再生装置。
  10. 前記センサデータは、
    前記動画像を撮影した撮影装置のジャイロセンサにより出力される検知信号であって、前記撮影装置の動きを表す検知信号に基づいて生成されたセンサ信号をデジタルデータ化したデータである
    請求項９に記載の画像再生装置。
  11. 前記センサデータは、
    前記動画像を撮影した撮影装置の加速度センサにより出力される検知信号であって、前記撮影装置の傾斜方向を表す検知信号に基づいて生成されたセンサ信号をデジタルデータ化したデータである
    請求項９に記載の画像再生装置。
  12. 前記センサデータは、
    前記動画像を撮影した撮影装置のイメージセンサにより出力される検知信号であって、前記撮影装置のユーザの顔の認識結果を表す検知信号に基づいて生成されたセンサ信号をデジタルデータ化したデータである
    請求項９に記載の画像再生装置。
  13. データ読み出し部が、記録媒体に記録されている動画像の画像データ、および、前記画像データが動画像として再生される場合のタイムラインに対応づけられて記録されているセンサデータを読み出し、
    データ保持部が、前記読み出された画像データを保持し、
    フレーム特定部が、前記読み出されたセンサデータに基づいて、前記保持された画像データの中で再生不要なフレームを特定し、
    再構成部が、前記特定されたフレームを除外した一連の動画像の画像データを再構成するステップ
    を含み、
    前記センサデータは、前記動画像を撮影した撮影装置のセンサにより出力される検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号をセンサ信号として生成して、デジタルデータ化したデータである
    画像再生方法。
  14. コンピュータを、
    記録媒体に記録されている動画像の画像データ、および、前記画像データが動画像として再生される場合のタイムラインに対応づけられて記録されているセンサデータを読み出すデータ読み出し部と、
    前記読み出された画像データを保持するデータ保持部と、
    前記読み出されたセンサデータに基づいて、前記保持された画像データの中で再生不要なフレームを特定するフレーム特定部と、
    前記特定されたフレームを除外した一連の動画像の画像データを再構成する再構成部とを備え、
    前記センサデータは、前記動画像を撮影した撮影装置のセンサにより出力される検知信号を閾値判定により２値化して得られる信号、または、複数の閾値を用いた段階的判定により多値化して得られる信号に対して、さらに遅効処理またはローパスフィルタ処理を施して得られる信号をセンサ信号として生成して、デジタルデータ化したデータである
    画像再生装置として機能させる
    プログラム。
  15. 請求項１４に記載のプログラムが記録されている記録媒体。
JP2011120403A 2011-05-30 2011-05-30 撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体 Expired - Fee Related JP5780418B2 (ja)

Priority Applications (8)

Application Number Priority Date Filing Date Title
JP2011120403A JP5780418B2 (ja) 2011-05-30 2011-05-30 撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体
US14/118,727 US20140112634A1 (en) 2011-05-30 2012-05-22 Photographing apparatus and method, image reproduction apparatus and method, program, and recording medium
KR1020137030759A KR20140028012A (ko) 2011-05-30 2012-05-22 촬영 장치 및 방법, 화상 재생 장치 및 방법, 프로그램, 및 기록 매체
RU2013151886/07A RU2013151886A (ru) 2011-05-30 2012-05-22 Устройство и способ фотографирования, устройство и способ воспроизведения изображения, программа и носитель записи
CN201280024951.1A CN103548338B (zh) 2011-05-30 2012-05-22 摄像设备和方法、图像再现设备和方法
EP12792676.4A EP2700224B1 (en) 2011-05-30 2012-05-22 Photographing apparatus and method, image reproduction apparatus and method, program, and recording medium
BR112013030108A BR112013030108A2 (pt) 2011-05-30 2012-05-22 aparelho, método realizado por um dispositivo de processamento, mídia não temporária legível por computador, e, método de reprodução de imagens por um dispositivo de reprodução
PCT/JP2012/003343 WO2012164873A1 (en) 2011-05-30 2012-05-22 Photographing apparatus and method, image reproduction apparatus and method, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011120403A JP5780418B2 (ja) 2011-05-30 2011-05-30 撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体

Publications (2)

Publication Number Publication Date
JP2012249158A JP2012249158A (ja) 2012-12-13
JP5780418B2 true JP5780418B2 (ja) 2015-09-16

Family

ID=47258750

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011120403A Expired - Fee Related JP5780418B2 (ja) 2011-05-30 2011-05-30 撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体

Country Status (8)

Country Link
US (1) US20140112634A1 (ja)
EP (1) EP2700224B1 (ja)
JP (1) JP5780418B2 (ja)
KR (1) KR20140028012A (ja)
CN (1) CN103548338B (ja)
BR (1) BR112013030108A2 (ja)
RU (1) RU2013151886A (ja)
WO (1) WO2012164873A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5411380B1 (ja) * 2013-05-20 2014-02-12 正一 中村 医療用撮像記録装置
US10057547B2 (en) * 2013-05-20 2018-08-21 Acp Japan Co., Ltd. Medical image recording device
US10356312B2 (en) 2014-03-27 2019-07-16 Htc Corporation Camera device, video auto-tagging method and non-transitory computer readable medium thereof
JP6415330B2 (ja) 2015-01-15 2018-10-31 キヤノン株式会社 画像処理装置、撮像装置、画像処理方法

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2600504B2 (ja) * 1991-01-25 1997-04-16 日本ビクター株式会社 動きベクトル検出回路
JPH06237463A (ja) 1993-02-12 1994-08-23 Matsushita Electron Corp 画像記憶システム
US6757008B1 (en) * 1999-09-29 2004-06-29 Spectrum San Diego, Inc. Video surveillance system
JP4426681B2 (ja) * 1999-11-30 2010-03-03 オリンパス株式会社 電子カメラ装置
US7280753B2 (en) * 2003-09-03 2007-10-09 Canon Kabushiki Kaisha Display apparatus, image processing apparatus, and image processing system
JP4507548B2 (ja) * 2003-10-10 2010-07-21 株式会社ニコン ブレ補正装置
JP2005252732A (ja) * 2004-03-04 2005-09-15 Olympus Corp 撮像装置
CN100350792C (zh) * 2004-04-14 2007-11-21 奥林巴斯株式会社 摄像装置
JP2005348178A (ja) * 2004-06-03 2005-12-15 Canon Inc 動画記録再生装置、画像表示方法、及びプログラム
JP2006074402A (ja) * 2004-09-01 2006-03-16 Sony Corp 撮像装置
US7447337B2 (en) * 2004-10-25 2008-11-04 Hewlett-Packard Development Company, L.P. Video content understanding through real time video motion analysis
JP2006178173A (ja) * 2004-12-22 2006-07-06 Matsushita Electric Ind Co Ltd カメラ
JP2006345338A (ja) * 2005-06-10 2006-12-21 Seiko Epson Corp 撮像装置および撮像方法
JP4914103B2 (ja) * 2006-04-18 2012-04-11 キヤノン株式会社 撮像装置、ガイド表示方法、及びコンピュータプログラム
JP4176099B2 (ja) * 2005-09-26 2008-11-05 三菱電機株式会社 撮像装置
JP4172507B2 (ja) * 2006-07-13 2008-10-29 ソニー株式会社 撮像装置、および撮像装置制御方法、並びにコンピュータ・プログラム
JP4860568B2 (ja) * 2007-03-30 2012-01-25 富士フイルム株式会社 撮影装置
JP4683031B2 (ja) * 2007-10-17 2011-05-11 ソニー株式会社 電子機器、コンテンツ分類方法及びそのプログラム
US9055301B2 (en) * 2008-03-18 2015-06-09 Texas Instruments Incorporated Changing motion estimation precision to maintain encoding within desired time
JP2009267792A (ja) 2008-04-25 2009-11-12 Panasonic Corp 撮像装置
JP5528008B2 (ja) * 2008-07-17 2014-06-25 キヤノン株式会社 再生装置及び再生方法
JP4623199B2 (ja) * 2008-10-27 2011-02-02 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
US20100309035A1 (en) * 2009-06-09 2010-12-09 Qinghua Yue Method and apparatus to improve reference voltage accuracy
WO2011043024A1 (ja) * 2009-10-07 2011-04-14 パナソニック株式会社 撮影装置、方法、プログラムおよび回路

Also Published As

Publication number Publication date
CN103548338B (zh) 2017-06-30
RU2013151886A (ru) 2015-05-27
EP2700224A4 (en) 2014-11-26
CN103548338A (zh) 2014-01-29
EP2700224B1 (en) 2017-03-08
US20140112634A1 (en) 2014-04-24
JP2012249158A (ja) 2012-12-13
BR112013030108A2 (pt) 2017-08-08
EP2700224A1 (en) 2014-02-26
KR20140028012A (ko) 2014-03-07
WO2012164873A1 (en) 2012-12-06

Similar Documents

Publication Publication Date Title
JP3632703B2 (ja) 映像記録装置及び映像記録方法
JP5597061B2 (ja) 映像再生装置、及びその制御方法
JPH11289519A (ja) 再生装置
JP5780418B2 (ja) 撮影装置および方法、画像再生装置および方法、プログラム、並びに記録媒体
JP5888614B2 (ja) 撮像装置、映像コンテンツ生成方法、及び、プログラム
JP4958758B2 (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2008259142A (ja) 撮像装置、画像処理装置及びそれの制御方法、並びに画像処理システム
JP2005109606A (ja) 信号処理方法、信号処理装置、記録装置、再生装置
JP5532561B2 (ja) 撮像装置、画像再生装置、画像変換装置、画像再生プログラム
CN104469237A (zh) 运动图像甄选装置以及运动图像甄选方法
US7746384B2 (en) Image data recorder, image data recording method, and program
US20110019024A1 (en) Apparatus for recording and reproducing video images
JP4991496B2 (ja) 画像記録装置及び方法
JP4973497B2 (ja) 撮像画像記録装置、撮像画像記録方法、撮像画像再生装置、撮像画像再生方法及び撮像画像記録再生システム
JP2009147745A (ja) 記録装置、再生装置、記録方法、再生方法及びプログラム
JP2005328279A (ja) 記録装置
JP2014171110A (ja) 映像再生装置、その制御方法、および制御プログラム
JP5560744B2 (ja) 撮像装置、動画撮像方法、及び、プログラム
US20030215225A1 (en) Data output apparatus
WO2010084781A1 (ja) 映像記録装置
JPH1042233A (ja) ビデオカメラ装置およびビデオ再生装置
JP2005101904A (ja) 監視画像の記録方法及び監視画像記録装置
JP2009284411A (ja) 撮像装置
JP3714363B2 (ja) 電子スチルカメラ
JP2013058853A (ja) 動画再生装置、動画再生方法及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20140407

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150305

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150427

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150618

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150701

R151 Written notification of patent or utility model registration

Ref document number: 5780418

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees