JP5510484B2 - 動画撮影装置、ダイジェスト再生設定装置、ダイジェスト再生設定方法、及び、プログラム - Google Patents

動画撮影装置、ダイジェスト再生設定装置、ダイジェスト再生設定方法、及び、プログラム Download PDF

Info

Publication number
JP5510484B2
JP5510484B2 JP2012064287A JP2012064287A JP5510484B2 JP 5510484 B2 JP5510484 B2 JP 5510484B2 JP 2012064287 A JP2012064287 A JP 2012064287A JP 2012064287 A JP2012064287 A JP 2012064287A JP 5510484 B2 JP5510484 B2 JP 5510484B2
Authority
JP
Japan
Prior art keywords
moving image
priority
time
digest
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012064287A
Other languages
English (en)
Other versions
JP2013197995A (ja
JP2013197995A5 (ja
Inventor
正雄 三本木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Casio Computer Co Ltd
Original Assignee
Casio Computer Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Casio Computer Co Ltd filed Critical Casio Computer Co Ltd
Priority to JP2012064287A priority Critical patent/JP5510484B2/ja
Priority to US13/846,798 priority patent/US8938154B2/en
Priority to CN201310090835.6A priority patent/CN103327233B/zh
Publication of JP2013197995A publication Critical patent/JP2013197995A/ja
Publication of JP2013197995A5 publication Critical patent/JP2013197995A5/ja
Application granted granted Critical
Publication of JP5510484B2 publication Critical patent/JP5510484B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8549Creating video summaries, e.g. movie trailer
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/79Processing of colour television signals in connection with recording
    • H04N9/80Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal

Description

この発明は、動画撮影装置、ダイジェスト再生設定装置、ダイジェスト再生設定方法、及び、プログラムに関する。
従来、ユーザが移動しながら動画を撮影するのに適した携帯型の動画撮影装置がある。このような動画撮影装置には、自転車やバイクに取り付けるなどして撮影を行うことも可能なものがある。このような動画撮影の場合、ユーザは、細かな撮影の開始や停止の操作を行い難い。そこで、動画撮影は、しばしば撮影対象を限らずに連続的に行われる。しかしながら、このような撮影を行った場合には、ユーザが撮影した動画を再生する際に早送り再生の有無に拘わらず全ての映像を確認しながら見返す必要が生じるという問題がある。
従来、特許文献1には、このような動画を編集するための技術として、動画撮影装置へのユーザによる操作入力に基づくイベント検出や、GPS装置により取得された位置と予め撮影位置として入力設定された位置との相対関係に基づくイベント検出などにより撮像データをシーン分けし、検出されたイベントと撮像データにおけるシーンの位置を示すフレーム位置とを関連付けて記憶させることで、撮影後にユーザが容易に所望のシーンを呼び出して表示、及び、編集することを可能とする技術が開示されている。また、この特許文献1には、更に、ユーザが撮影された画像データの各フレームに優先度を設定することによって、当該画像データを早送り再生する際に間引いて選択されるフレームの重み付けを行う技術について開示されている。
国際公開第99/03273号
しかしながら、予め設定された撮影対象には限られない連続撮影を行う場合には、前以て所望の撮影対象を設定しておくことが困難である。従って、撮影された動画を短時間で見返したい場合などに容易に各動画部分の取捨選択が出来ず、結局ユーザの操作を要求することでユーザに負担を生じさせたりすることになるという課題がある。
この発明の目的は、ユーザに負担をかけず、容易に各動画部分を取捨選択可能とする動画撮影装置、ダイジェスト再生設定装置、ダイジェスト再生設定方法、及び、プログラムを提供することにある。
本発明は、上記目的を達成するため、
動画を撮影する撮影手段と、
移動時の状況を検出するための計測を行うセンサと、
このセンサの計測値に基づいて前記移動時の状況の種別を、前記撮影手段による動画撮影の最中に判別する動作判別手段と、
この動作判別手段により判別された前記状況の種別に応じて、前記撮影手段により撮影された動画において、当該状況の種別が判別された期間に対応する動画部分に対して所定の基準に基づき優先度を、前記撮影手段による動画撮影の最中に設定する優先度設定手段と、
この優先度設定手段により設定された優先度と、前記動画部分とを対応付けて記憶する記録手段と、
前記撮影手段による動画撮影が終了した後にユーザからの再生指示があった時に、前記動画部分のうちの一部または全部を選択することでダイジェスト再生対象の動画の再生部分を設定するダイジェスト再生設定手段を備え、
このダイジェスト再生設定手段は、
高い優先度が設定された動画部分から順番に選択し、前記優先度の等しい前記動画部分が複数存在し、当該優先度の等しい動画部分を全て選択すると、当該選択された動画部分の合計時間が予め設定されたダイジェスト再生時間の範囲を超過する場合には、前記優先度の等しい動画部分のうち、前記動画の先頭、終端、又は、既に前記再生部分として設定された前記動画部分を示す時刻の中で、各動画部分の両隣に隣接する2箇所からより均等且つより大きく離れている動画部分を優先的に前記ダイジェスト再生対象の動画の再生部分として選択する部分選択手段と、
この部分選択手段で動画部分が選択される毎に、選択された動画部分の合計時間と、前記ダイジェスト再生時間の範囲とを比較する選択時間比較手段と、
この選択時間比較手段により、前記選択された動画部分の合計時間が前記ダイジェスト再生時間の範囲を超えたと判別された場合には、この一回前迄に選択されていた前記動画部分をダイジェスト再生対象の動画の再生部分として設定する設定手段と、
を備えることを特徴とする動画撮影装置である。
本発明に従うと、ユーザに負担をかけずに容易に各動画部分の取捨選択を可能にするという効果がある。
本発明の実施形態の動画撮影装置の内部構成を示すブロック図である。 第1実施形態の動画撮影装置における撮影処理の制御手順を示すフローチャートである。 動画撮影装置によって撮影されたシーンの例を示す図である。 動画撮影装置によって撮影されたシーンの例を示す図である。 第1実施形態の動画撮影装置におけるダイジェスト再生処理の制御手順を示すフローチャートである。 第1実施形態の動画撮影装置で撮影された映像からダイジェスト再生を行う場合のシーンの選択について説明する図である。 ダイジェスト再生処理で呼び出されるダイジェスト画像選択処理の制御手順を示すフローチャートである。 ダイジェスト画像選択処理の他の例を示すフローチャートである。 ダイジェスト画像選択処理の他の例を示すフローチャートである。 第2実施形態の動画撮影装置における撮影処理の制御手順を示すフローチャートである。
以下、本発明の実施の形態を図面に基づいて説明する。
[第1実施形態]
先ず、本発明の第1実施形態の動画撮影装置について説明する。
図1は、第1実施形態の動画撮影装置の内部構成を説明するブロック図である。
この動画撮影装置1は、動画の撮影機能及び簡単な再生機能を有するものである。動画撮影装置1は、CPU(Central Processing Unit)10(計時手段、ダイジェスト再生設定手段)と、メモリ11と、RAM(Random Access Memory)12と、撮影手段としての映像撮影装置13と、記録手段としての映像記録装置14と、動作判別手段としての状態判別処理部15と、優先度設定手段としてのプライオリティ計算処理部16と、GPS受信アンテナ17と、GPS受信処理部18と、3軸地磁気センサ19と、3軸加速度センサ20と、気圧センサ21と、表示部22と、電源部23と、操作キー24と、などを備えている。
CPU10は、種々の演算処理を行い、動画撮影装置1全体の動作を統括制御する。メモリ11は、例えば、ROM(Read Only Memory)である。このメモリ11には、動画撮影装置1の制御用プログラムや、動画撮影プログラム、及び、動画の再生プログラムが格納されている。また、この動画再生プログラムには、ダイジェスト再生プログラム11bが含まれている。また、CPU10は、図示略の内部クロック信号を計数することで時刻を計数する内蔵時計としての動作も行う。なお、別個に専用のカウンタを備えて時刻の計数を行わせることとしても良い。RAM12は、CPU10に作業用のメモリ空間を提供し、一時データを記憶する。
映像撮影装置13には、撮影用のレンズやデジタル撮像を行うための撮像素子、例えば、CCDイメージセンサやCMOSイメージセンサが設けられている。映像記録装置14は、映像撮影装置13により撮影された動画データを記憶する。この映像記録装置14には、フラッシュメモリなどの不揮発性メモリやハードディスクといったデータの読み書きが可能なものが用いられている。映像撮影装置13で撮影されたデータは、例えば、MPEG4のような任意の画像フォーマットに変換されて映像記録装置14に記録されていく。
GPS(Global Positioning System)受信処理部18は、GPS受信アンテナ17を用いてGPS衛星などの測位衛星から送信される電波を複数受信して、各測位衛星からの測位情報を復号すると共に、これらの測位情報に基づいて現在時刻及び現在位置の算出を行って所定のフォーマットでCPU10に出力する。
本実施形態の動画撮影装置1は、3種類の計測センサを備えている。
3軸地磁気センサ19は、3軸方向の地磁場を計測するセンサであり例えば、磁気抵抗素子を用いた半導体センサである。3軸加速度センサ20は、3軸方向の加速度を計測するセンサであり、例えば、静電容量を用いて測定を行う。気圧センサ21は、大気圧を測定するセンサであり、例えば、ピエゾ抵抗を用いた半導体センサである。
状態判別処理部15は、3軸地磁気センサ19、3軸加速度センサ20、及び、気圧センサ21の計測値に基づいて動画撮影装置1の移動状態(移動時の状況)を判別する。また、プライオリティ計算処理部16は、判別された移動状態と、この移動状態に係る時刻とに基づいて、映像記録装置14に記憶された動画データにおいてこの移動状態及び時刻に対応する動画部分に対し、この動画をダイジェスト再生する際に用いられる優先度を算出する。これらの判別処理や計算処理を行うCPU、及び、判別条件を定めるテーブルデータや一時設定値などを記憶するROM、RAMは、CPU10、メモリ11、RAM12と独立に設けられていても良いし、同一のものが共通に利用される構成であっても良い。
表示部22は、撮影された動画を再生したり、撮影用メニューや撮影設定画面などを表示させたりするのに用いられる。この表示部22としては、特には限られないが、ドットマトリクス式の液晶表示画面(LCD)が用いられている。操作キー24は、一又は複数のボタンスイッチなどを備える。その他操作キー24としては、タッチパネルや回転スイッチなどを備えても良い。ユーザがこれらの操作キー24を操作することによって操作の内容に基づく電気信号が生成されてCPU10に送られる。そして、この電気信号に基づく処理により各種設定の切り替えや動作命令の実行がなされる。
電源部23は、画撮影装置1の各部に動作用の電力を供給する。この電源部23には、動画撮影装置1が必要とする電力量に応じた必要な出力電圧及び容量の電池が備えられており、この電池は、着脱及び交換可能か、又は、外部電源との接続により充電可能に構成されている。電源部23は、電池の出力電圧を必要に応じて動画撮影装置1の各部の入力電圧に変換して出力する。また、電源部23から各部へ供給される電力は、CPU10を介するものだけではなく、各部に直接供給されるものであっても良い。
次に、第1実施形態の動画撮影装置1の撮影動作について説明する。
図2は、動画撮影装置1の撮影時の動作に係る撮影処理のCPU10による制御手順を示す。
この第1実施形態の動画撮影装置1における動画の撮影処理では、例えば、自転車に取り付けられて走行中に撮影が行われる際に、停止(自転車の停車)時とノイズ判定時を除いて撮影が継続される。
撮影処理が開始されると、CPU10は、先ず、GPS受信処理を行う(ステップS11)。具体的には、CPU10は、GPS受信処理部18をオンしてGPS受信アンテナ17を介してGPS衛星からの電波を受信させ、受信電波に基づいて現在位置の算出を行わせる。そして、CPU10は、GPS受信処理部18で算出された現在位置データを取得する。CPU10は、この取得された現在位置データを移動経路の履歴データとして順次映像記録装置14に記憶させていく。
次に、CPU10は、各センサから計測値を取得する(ステップS12)。CPU10は、3軸地磁気センサ19から3軸方向の磁場強度の計測値、3軸加速度センサ20から3軸方向の加速度の計測値、及び、気圧センサ21から気圧の計測値をそれぞれ取得する。CPU10は、画撮影装置1における3軸地磁気センサ19及び3軸加速度センサ20の計測値を予めメモリ11に格納されている所定の同定ロジックに基づいて、適切に座標変換を行って東西南北の方位角方向、及び、垂直上下方向における動画撮影装置1の姿勢及び動作を同定する。また、気圧センサ21の出力データを予めメモリ11に保持されたテーブルデータに基づいて高度値に変換する。CPU10は、これらの計測値及び算出値のうち、少なくとも直近の所定時間内のデータをRAM12などに一時記憶させる。
続いて、CPU10は、現在時刻を取得する(ステップS13)。現在時刻としては、CPU10が計数する現在時刻の値が用いられるが、適宜GPS衛星から受信したデータに基づいて当該現在時刻を補正することとしても良い。
CPU10は、ステップS12、S13の処理で得られた各データに基づき、動画撮影装置、即ち、ユーザの移動状態を状態判別処理部15に判定させる(ステップS14)。
次に、CPU10は、判定された移動状態(移動時の状況)が「ロードノイズ」であるか否かを判別する(ステップS15)。即ち、ダート道、オフロードといった走行路の凹凸などにより所定の大きさ以上での振動加速度が検出されたような場合には、通常、撮影画像のブレが大きくなって見辛い画像となるので、移動状態の種別に関係なく「ロードノイズ」として判別する。ロードノイズであると判別された場合には、CPU10の処理は、ステップS22に移行する。ロードノイズではないと判別された場合には、CPU10の処理は、ステップS21に移行する。なお、ステップS15の処理において、ロードノイズが所定の大きさ以上ではなかった場合であってもロードノイズの大きさを求めて当該振動加速度分を補正する処理を行っても良い。
ステップS21の処理に移行すると、次に、CPU10は、移動状態が停止状態であるか否かを判別する。具体的には、CPU10は、3軸加速度センサ20の計測値が重力加速度のみであって変動が無く、また、気圧センサ21の計測値に変化がないか否かを判別する。また、CPU10は、ステップS11の処理で取得された位置データに誤差以上の変化がないか否かを併せて判別することとしても良い。停止状態であると判別された場合には、CPU10の処理は、ステップS22に移行する。
ステップS22の処理に移行すると、CPU10は、現在動画の撮影が継続されているか否かを判別する。動画の撮影中ではないと判別された場合には、CPU10の処理は、そのままステップS74に移行する。動画の撮影中であると判別された場合には、CPU10は、後述の回転フラグ、及び、昇降フラグをリセットし(ステップS23、S24)、それから、動画の撮影を停止する(ステップS25)。そして、CPU10は、撮影された画像データの保存処理を行う(ステップS26)。CPU10は、ロードノイズが原因で撮影を停止した場合には、撮影を停止した時点までではなく、ロードノイズの検出が始まったと同定されたタイミングまでの撮影データを保存することとしても良い。それから、CPU10の処理は、ステップS74に移行する。
ステップS21の判別処理で停止状態ではないと判別されると、次に、CPU10は、移動状態が「発進状態」であるか否かを判別する(ステップS31)。CPU10は、前回の移動状態が停止状態であり、且つ、今回の移動状態が停止状態ではない場合に、発進状態であると判別する。或いは、CPU10は、所定時間停止状態が継続された後に、所定時間非停止状態が継続されたとの判別がなされた場合に、発進状態と判別することとしても良い。発進状態であると判別された場合には、CPU10は、次に、この発進が今回の撮影における最初の発進タイミングであるか否かを判別する(ステップS32)。最初の発進タイミングであると判別された場合には、CPU10は、優先度を「1」に設定し、当該優先度が設定された時刻と共に映像記録装置14に記憶させる(ステップS33)、一方、最初の発進タイミングではないと判別された場合には、CPU10は、優先度を「4」に設定し、優先度が設定された時刻データと関連付けて映像記録装置14に記憶させる(ステップS34)、ステップS33、S34の何れかの処理で優先度が設定されると、CPU10は、撮影を開始する(ステップS35)。撮影が開始されると、CPU10の処理は、ステップS73に移行する。なお、優先度は、数値が小さいほど高いこととする。
なお、映像記録装置14に記憶させる優先度及び優先度の設定時刻のデータは、動画データファイルのヘッダ情報として含められることとしても良いし、別個に優先度履歴ファイルが作成されてこのファイルに追加記録されていくこととしても良い。また、撮影された動画のデータは、優先度が設定されるごとに別個のファイルに分割して保存しても良いし、優先度が設定された動画部分の先頭にそれぞれ上記ヘッダ情報を含むシーン情報(チャプタ情報)を挿入することとしても良い。
次に、ステップS31の判別処理で発進状態ではない、即ち、前回の移動状態判別時から引き続いて走行中であると判別された場合には、CPU10は、現在の移動状態が方向回転状態であるか否かを判別する(ステップS41)。CPU10は、3軸加速度センサ20からの出力に水平面内での加速度が検出され、且つ、当該加速度の向きと、3軸地磁気センサ19で計測された磁場とに基づいて同定される進行方向が前回の移動状態判別時の進行方向と比較して方位角方向に変化しているか否かを判別する。方向回転状態であると判別された場合には、次いで、CPU10は、前回から引き続いて方向回転状態であるか、又は、優先度が既に「2」以上に設定されているか否かを判別する(ステップS42)。ここでは、CPU10は、優先度が「1」であるか、又は、回転フラグがセットされているか否かを判別する。優先度が「1」ではなく、且つ、回転フラグがセットされていないと判別された場合には、CPU10は、回転フラグをセットする(ステップS43)。このとき、昇降フラグがセットされている場合には、CPU10は、この昇降フラグをリセットする。また、CPU10は、動画の当該部分の優先度を「2」に設定するとともに、このときの時刻を関連付けて映像記録装置14に記憶させる(ステップS44)。
ここで、曲がり角やカーブの走行時を自転車のふらつきなどによる回転検出と区別するには、多少の時間が必要となることがある。そこで、優先度「2」を設定するタイミングとしては、実際に方向回転が検出されたタイミングではなく、これより所定時間前のタイミングとすることが可能である。この所定時間は一律に定めても良いし(例えば、10秒)、或いは、計測値の履歴に基づいて判別結果に従う変化が現れだしたタイミングを毎回再検出することとしても良い。ステップS4の処理が終了すると、CPU10の処理は、ステップS73に移行する。
一方、優先度「1」が設定されていると判別された場合には、CPU10は、ここでは優先度を下げずに、そのまま処理をステップS71に移行させる。また、回転フラグがセットされている場合には、優先度「2」が設定されているので、CPU10は、再度の設定を行わずに、やはりそのまま処理をステップS71に移行させる。
ステップS41の判別処理で、方向回転状態ではないと判別された場合には、CPU10は、更に、移動状態が登り下り状態であるか否かを判別する(ステップS51)。CPU10は、気圧センサ21の出力データに基づいて求められた高度の変化、3軸地磁気センサ19の計測により求められた動画撮影装置1が備えられた自転車等の姿勢の変化、及び、3軸加速度センサ20により求められた上下方向への加速度変化の特性に基づいて、登り下りの状態を判別する。登り下り状態であると判別された場合には、CPU10は、続いて、登り下り状態が前回の移動状態判別時から継続して判別されたか、または、優先度が以上に設定されているか否かを判別する(ステップS52)。ここでは、CPU10は、優先度がであるか、及び、回転フラグ、昇降フラグの少なくともいずれかがセットされているかを調べる。優先度が「1」ではなく、回転フラグ及び昇降フラグの何れもセットされていないと判別された場合には、CPU10は、昇降フラグをセットし(ステップS53)、また、優先度を「3」に設定すると共に、この優先度と時刻データとを関連付けて映像記録装置14に記憶させる(ステップS54)。れから、CPU10の処理は、ステップS73に移行する。
ここで、ステップS51の処理において登り下りの動作が開始されてからこの状態が実際に判別されるまでには、ある程度の時間が経過する場合がある。このような場合には、ステップS44の処理と同様に、ステップS54の処理において優先度を設定する動画部分の先頭位置を実際の判別処理がなされたタイミングより所定時間前に遡って設定するよう構成することが出来る。
ステップS52の判別処理で、優先度が「1」に設定されていると判別された場合、または、回転フラグがセットされている(即ち、優先度「2」が設定されている)と判別された場合には、CPU10は優先度を下げずにそのまま処理をステップS71に移行させる。また、昇降フラグがセットされている場合にも、CPU10は、再度の同一設定を行わずに処理をステップS71に移行させる。
ステップS51の判別処理で、移動状態が登り下り状態ではないと判別された場合には、CPU10は、回転フラグをリセットし(ステップS61)、また、昇降フラグをリセットする(ステップS62)。それから、CPU10は、現在設定されている優先度が「5」であり、且つ、この優先度「5」が設定されてからの継続時間のカウント値(後述のステップS73の処理を参照)が所定カウントに到達しているか否かを判別する(ステップS63)。優先度が「5」であり、且つ、継続時間のカウント値が所定のカウント数に到達していると判別された場合には、CPU10は、優先度を「4」に設定し、この設定タイミングの時刻情報と関連付けて映像記録装置14に記憶させる(ステップS64)。それから、CPU10の処理は、ステップS73に移行する。一方、優先度が「5」ではないか、または、優先度が「5」であるがカウント値が所定カウントに到達していないと判別された場合には、CPU10の処理は、ステップS71に移行する。
ステップS42、S52、S63の処理の何れかからステップS71の処理に移行すると、CPU10は、継続時間のカウント値が所定のカウント値に到達しているか否かを判別する。所定のカウント値に到達していると判別された場合には、CPU10は、優先度を「5」に設定し(ステップS72)、それから、CPU10の処理は、ステップS73に移行する。所定のカウント値に到達していないと判別された場合には、CPU10の処理は、そのままステップS74に移行する。
なお、ここで、各優先度1〜5に対する所定のカウント値は、各々異なる値であっても良い。例えば、優先度5から優先度4に戻す所定のカウント値(ステップS63のカウント値)のみ、他の所定のカウント値(ステップS71のカウント値)より大きく設定することとしても良いし、ステップS71における優先度1〜4から優先度5に変更する際の所定のカウント値を優先度1〜4毎に異なる値としても良い。
ステップS33、S34の処理における優先度の設定からステップS35の処理を経て、または、ステップS44、S54、S64、S72の処理で優先度が設定されてステップS73の処理に移行すると、CPU10は、当該優先度に設定されてからの継続時間のカウントを開始する。それから、CPU10の処理は、ステップS74に移行する。
ステップS74の処理に移行すると、CPU10は、操作キー24を用いて撮影終了操作が入力されたか否かを判別する。終了操作が入力されていないと判別された場合には、CPU10の処理は、ステップS11に戻って、最初から処理を繰り返す。
一方、ステップS74の判別処理で終了操作が入力されたと判別された場合には、CPU10は、終了処理を行って(ステップS75)、撮影処理を終了する。この終了処理では、CPU10は、最後の所定時間の撮影データ部分に対して優先度1を設定するとともに、撮影データの保存処理を行う。
図3、図4には、自転車走行中に撮影された動画中の画像の例を示す。
先ず、スタート地点で撮影開始準備が整った後に、図3(a)に示すスタート地点で走行を開始すると、発進判定がなされ(ステップS31で“YES”)、これが最初の発進タイミングとなる(ステップS32で“YES”)ので、優先度「1」が設定されて(ステップS33)、動画の撮影が開始される(ステップS35)。また、優先度「1」の継続時間のカウントが開始される(ステップS73)。
図3(b)に示すように、優先度「1」のまま暫く直進走行していくと(ステップS63で“NO”)、やがて継続時間のカウント値が所定のカウント値となり(ステップS71で“YES”)、優先度が「5」に変更され(ステップS72)、カウント値がリセットされて新たに継続時間のカウントが開始される(ステップS73)。
やがて、図4(a)に示すように、自転車が曲がり角に差し掛かると、自転車の方向回転が検出されて(ステップS41で“YES”)、回転フラグがセットされる(ステップS43)とともに、優先度が「2」に設定される(ステップS44)。そして、カウント値がリセットされて、再度新たに継続時間のカウントが開始される(ステップS73)。この方向回転が所定の時間以上継続されるか(ステップS42で“YES”が続いてステップS71で“YES”)、方向回転が終了後、所定の時間が経過した後(ステップS63で“YES”が続いてステップS71で“YES”)には、優先度が「5」に戻る(ステップS72)。
図4(b)に示すように、自転車が交差点に差し掛かり、一時停止すると、停止の判定がなされ(ステップS21で“YES”)、撮影が一時停止される(ステップS22〜S26)。その後、自転車が再発進すると、発進が検出されると共に(ステップS31で“YES”)、優先度が「4」に設定される(ステップS32で“NO”、ステップS34)。
最後に、自転車が出発地点に戻ってきて停止すると、停止判定がなされ(ステップS21で“YES”)、撮影が停止され(ステップS22〜S26)、ユーザにより撮影終了操作がなされることで(ステップS74で“YES”)、終了処理が行われて(ステップS75)、撮影処理が終了する。
次に、撮影された動画をダイジェスト再生する場合の動作について説明する。
図5は、撮影された動画をダイジェスト再生する場合に実行されるダイジェスト再生処理のCPU10による制御手順を示すフローチャートである。
ユーザが操作キー24の操作入力により表示部22への画のダイジェスト再生命令がCPU10に入力されると、CPU10は、ダイジェスト再生処理を開始する。CPU10は、先ず、再生対象の動画のトータル時間を確認する(ステップS111)。次に、CPU10は、この動画のトータル時間が、予め設定されたダイジェスト再生時間内であるか否かを判別する(ステップS112)。動画のトータル時間がダイジェスト再生時間内であると判別された場合には、CPU10は、動画を全て生の対象として選択して(ステップS113)、処理をステップS115の処理に移行させる。
一方、動画のトータル時間がダイジェスト時間内にないと判別された場合には、CPU10は、プライオリティ計算処理部16に命令を送り、後述する真の優先度を逐次計算させながら、この真の優先度に基づいて、動画データからダイジェスト再生対象シーンの選択処理を行う(ステップS114)。このステップS114の処理内容に関しては、後に詳述する。
ダイジェスト時間内に再生させる動画のシーン選択が終了すると、CPU10は、動画の再生開始処理を行う(ステップS115)。CPU10は、表示部22への表示出力を切り替え、映像記録装置14に記録された画像データをデコードして出力可能とする。
次に、CPU10は、動画の録画順に一シーンずつ選択し、選択されたシーンがダイジェスト再生の対象として選択されたシーンであるか否かを判別する(ステップS116)。選択されたシーンであると判別された場合には、CPU10は、当該シーンの画像再生処理を行う(ステップS117)。それから、CPU10は、ユーザ操作によりダイジェスト再生の停止操作がなされたか否かを判別する(ステップS118)。停止操作がなされたと判別された場合には、CPU10は、そのままダイジェスト再生処理を終了する。一方、停止操作がなされていないと判別された場合には、CPU10の処理は、ステップS120に移行する。
ステップS116の判別処理で、ダイジェスト再生の対象として選択されたシーンではないと判別された場合には、CPU10は、当該シーンの再生をスキップする処理を行う(ステップS119)。それから、CPU10の処理は、ステップS120に移行する。
ステップS120の処理に移行すると、CPU10は、全ての選択対象のシーンの再生が終了したか否かを判別する。具体的には、CPU10は、ステップS117またはステップS119の処理で再生またはスキップされたシーンがダイジェスト再生中の動画の最後のシーンであったか否かを判別する。そして、再生が終了したのではないと判別された場合には、CPU10の処理は、ステップS116に戻り、次に選択されるシーンについての再生有無の判別処理を行う。一方、再生が終了したと判別された場合には、CPU10は、ダイジェスト再生処理を終了する。
次に、本実施形態の動画撮影装置1におけるダイジェスト(再生対象シーンの)画像の選択処理について説明する。
図6は、動画撮影装置1において撮影された動画データの各シーンの優先度設定の例、及び、ダイジェスト再生の際のシーン選択について説明する図である。
図6(a)には、動画データの時系列配置が示されている。動画を示すコラム配列の横方向の長さが動画の先頭からの撮影時間に対応し、縦線によって各シーンが区切られると共に、各シーンに対して上記で示したように、それぞれ1〜5の数字で示された優先度が設定されている。また、各シーンの上部に記された数字は、各シーンのシーン番号であり、また、当該シーンの先頭の時間を示す。この図6(a)では、簡単のために、32分間の動画データが1分単位で各シーンに区切られているものとし、優先度5のシーンのみが2分間継続可能に設定されている。
ここでは、ダイジェスト再生映像のダイジェスト時間が10分に設定されている場合のシーン選択について説明する。先ず、動画データの両端に設定された優先度1のシーン0、31が選択される(図6(b))。この2つのシーンの合計時間は2分であり、ダイジェスト時間より短い。
次に、優先度2のシーンが選択される。このとき、同一優先度のシーンについては、本実施形態の動画撮影装置1では、既に選択された両隣のシーンとの時間差が均等に大きいものが優先的に選択される。このような特徴のシーンの選択には、様々な方法を用いることが出来るが、この同一優先度内での選択順を定める指標として、この動画撮影装置1では、以下に示す「真の優先度」を算出して用いる。
真の優先度の算出には、例えば、既に選択された両隣のシーンの先頭時間からの時間差の差Dtを用いることが出来る。
Dt=|α−TpTl−α| … (1)
ここで、αが選択候補となるシーンの先頭時間、Tpが既に選択された前側のシーンの先頭時間、Tlが既に選択された後ろ側のシーンの先頭時間をそれぞれ示す。
ここでは、既に選択された両隣のシーンは最初のシーン(先頭時間=0)、及び、最後のシーン(先頭時間=31)である。優先度2のシーンは、シーン2、4、15の3箇所である。従って、これらのシーンにおける差Dtは、それぞれ、27、23、1となる。これらの値が小さいほど両隣の選択されたシーンから均等に離れていることになるので、先ず、シーン15が選択される。これにより、選択されたシーンの合計時間が3分となるが、これは、まだ、設定されたダイジェスト時間より短い。
次に、シーン15が選択されたことで、残り2箇所のシーンの真の優先度が変化するので、改めて計算を行う。シーン2、4の真の優先度は、それぞれ、11、7となる。従って、シーン4が選択される。これにより、選択されたシーンの合計時間が4分となるが、これもまだ、設定されたダイジェスト時間よりも短い。そこで、最後にシーン2が選択される(図6(c))。こうして、優先度2のシーンが全て選択されたときに、選択されたシーンの合計時間が未だ設定されたダイジェスト時間より短い場合には、次に優先度3のシーンから順番にダイジェスト再生の対象として選択される。
この動画において、優先度3のシーンは3箇所存在する。従って、同様に、これらのシーンが順番に選択されていく。このとき、シーン7と、シーン24、28とでは、既に選択された隣接する前後のシーンが異なる。このような場合の真の優先度に基づくシーン選択方法としては、複数の方法の中から選択可能である。
第1の方法としては、動画の先頭から順番に既に選択された隣接する2つのシーンを指定していき、当該シーン間に選択候補の優先度のシーンが存在するか否かを判別する。そして、シーンが存在する場合には、当該シーンの中から最も真の優先度が高いものを1つ選択する。それから、指定する2つの隣接シーンを順次後ろにずらしていく。この方法を用いた場合には、図6(d1)に示すように、先ず、シーン0、2間、及び、シーン2、4間には、優先度3のシーンが存在しないので、そのままスキップする。次いで、シーン4、15間に1つの優先度3のシーン7があるので、このシーン7が自動的に選択される。それから、シーン15、31間には、優先度3のシーン24、28が存在するので、これらのシーンのうち真の優先度が最も高いもの(差Dtが最も小さいもの)を選択する。ここでは、シーン24が選択される。指定されたシーンが最後のシーン31まで到達して未だ全ての優先度3のシーンが選択されていない場合には、残りのシーンについて真の優先度を再計算した後に再度先頭からシーンの指定と選択が行われ、最終的にシーン28が選択される。
一方、第2の方法としては、先ず、全ての優先度3のシーンについて真の優先度を算出する。そして、真の優先度が高いものから順次選択されていく。この場合には、図6(d2)に示すように、シーン24、シーン7、シーン28の順番に選択されていくことになる。
また、第2の方法の変形例としては、優先度3のシーンについて、真の優先度が高いものから1つのシーンが選択される毎に真の優先度再計算されることとする。この場合には、図6(d3)に示すように、シーン24、シーン28、シーン7の順番に選択されていく。
ここで、前後の2つのシーンTp、Tl間の長さが短い区間にある選択候補のシーンαの差Dtは、小さくなりやすく、狭い区間から多くのシーンが選択されることになる。そこで、真の優先度の算出の際に、シーンの長さを考慮に入れることもできる。例えば、真の優先度Pを以下のように求めることが出来る。
P=L/Dt … (2)
ここでLは、前後の2つのシーンTp、Tl間の長さを示し、Pが大きいほど真の優先度が高くなる。
或いは、真の優先度Pを求める際に2つのシーン間の差Dtではなく、例えば、2つのシーン間の積α−Tp×Tl−αのような値を用いることも出来る。
優先度3のシーンが全て選択されると、選択済みの合計ダイジェスト再生時間は、8分となる。これは、まだダイジェスト時間より短いので、更に優先度4のシーンからダイジェスト再生の対象シーンが選択される。
図6(a)に示すように、優先度4のシーンは7箇所に存在する。従って、優先度4のシーンから2箇所が選択された時点で設定されたダイジェスト時間である10分となる。上記のように、真の優先度の算出方法や、選択順序により選択されるシーンは、図6の(e1)〜(e3)に示したように多少異なるが、いずれの場合であっても、既に選択された隣接する両隣のシーンからの距離が均等に離れているシーンが優先的に選択される。
図7は、ダイジェスト再生処理で呼び出されるダイジェスト画像選択処理の第1の方法に基づく制御手順を示すフローチャートである。
ダイジェスト画像選択処理が呼び出されると、CPU10は、先ず、変数iを1に設定し、選択されたブロックの合計時間を0に設定する(ステップS211)。続いて、CPU10は、優先度が変数iと等しい(以後、優先度iと記す)シーンの画像情報を抽出する(ステップS212)。ここで、画像情報には、当該シーンの先頭時刻及び継続時間の情報が含まれる。
次に、CPU10は、先頭から順番に選択済みの隣接する2つのシーンを指定し、指定された2つのシーン間に優先度iのシーンが含まれるか否かを判別する(ステップS213)。なお、動画の先頭及び終端のシーンが選択されていない段階では、動画の先頭と最初の選択済みシーンとの間、及び、最後の選択済みシーンと動画の終端との間も判別処理の区間に含む。
指定された2つのシーン間に優先度iのシーンが含まれていないと判別された場合には、CPU10の処理は、ステップS220に移行する。一方、優先度iのシーンが含まれていると判別された場合には、CPU10は、更に、含まれているシーンの数が1つであるか否かを判別する(ステップS214)。含まれているシーンが1つであると判別された場合には、CPU10は、そのシーンを抽出し(ステップS215)、処理をステップS218に移行させる。含まれているシーンが複数であると判別された場合には、CPU10は、これら複数のシーンの真の優先度をプライオリティ計算処理部16に計算させる(ステップS216)。そして、CPU10は、求められた真の優先度が最も高いシーンを抽出し(ステップS217)、処理をステップS218に移行させる。
ステップS218の処理に移行すると、CPU10は、抽出されたシーンの画像情報から継続時間を取得し、この継続時間を加えた後の選択シーン合計時間が設定されたダイジェスト時間内であるか否かを判別する。ダイジェスト時間内ではないと判別された場合には、CPU10は、この抽出されたシーンをダイジェストに加えないままダイジェスト画像選択処理を終了する。
ダイジェスト時間内であると判別された場合には、CPU10は、抽出シーンをダイジェスト再生の選択シーンに追加する(ステップS219)。そして、CPU10の処理は、ステップS220に移行する。
ステップS220の処理に移行すると、CPU10は、指定された2つのシーンを1つ後方にずらせるか否かを判別する。全ての2つのシーン間がまだ指定されておらず、後方にずらすことが可能であると判別された場合には、CPU10は、この後方にずらした2つのシーン間を指定して処理をステップS213に戻す。全ての2つのシーン間が既に指定されたと判別された場合には、CPU10は、次に、優先度iのシーンが全て選択されたか否かを判別する(ステップS221)。優先度iのシーンが未だ全て選択されていないと判別された場合には、2つのシーン間の指定を先頭に戻し、ステップS217で抽出されなかった優先度iのシーンに対して再度ステップS213〜S220の処理を繰り返す。
優先度iのシーンが全て選択されたと判別された場合には、CPU10は、変数iに1を加算する(ステップS222)。そして、1つ下の優先度iのシーンについて、ステップS212〜S221のシーン選択処理を繰り返す。
図8は、ダイジェスト再生処理で呼び出されるダイジェスト画像選択処理の第2の方法に基づく制御手順を示すフローチャートである。
このダイジェスト画像選択処理では、上述の例のフローチャートにおけるステップS213、S214、S215、S220の処理が除外され、また、フローの流れが一部変更されている。2つの例で同一の制御内容の処理については、同一の符号を付して詳しい説明を省略する。
ステップS212において、優先度iの画像情報が抽出されると、CPU10は、これら優先度iのシーン全ての真の優先度をプライオリティ計算処理部16に計算させる(ステップS216)。そして、CPU10は、求められた真の優先度が最も高いものを抽出し、ダイジェスト再生画像が設定されたダイジェスト時間内に収まる範囲で順番に選択されていく(ステップS217〜S221)。ここで、CPU10がステップS219の処理で抽出シーンを選択シーンに追加するたびに、CPU10の処理は、ステップS216で真の優先度計算しなおす。従って、選択されたシーンに隣接するシーンの真の優先度が低く再設定されることになる。
なお、上記のように、同一の優先度i内での真の優先度は、一のシーンが選択されると、当該シーンに直接隣接するシーンのみ変化するので、ステップS216の処理においてCPU10は、このようなシーンについてのみ真の優先度を計算、再設定することとしても良い。
図9は、ダイジェスト再生処理で呼び出されるダイジェスト画像選択処理の第2の方法の変形例に基づく制御手順を示すフローチャートである。
このダイジェスト画像選択処理では、上述の第2の方法に基づくダイジェスト画像選択処理のフローチャートにおけるステップS221の代わりにS218a、S219aが追加され、また、フローの流れが一部変更されている。2つの例で同一の制御内容の処理については、同一の符号を付して詳しい説明を省略する。
この第2の方法の変形例に基づくダイジェスト画像選択処理では、ステップS212の処理によって優先度iの画像情報が抽出されると、CPU10は、先ず、この画像情報に基づいて優先度i以上の優先度のシーンの合計時間を算出し、この合計時間が設定されたダイジェスト時間内であるか否かを判別する(ステップS218a)。そして、設定されたダイジェスト時間内であると判別された場合には、CPU10は、優先度iのシーンを一括して全て選択する(ステップS219a)。そして、CPU10の処理は、ステップS222に移行して、変数iに1を加算する。
一方、優先度i以上のシーンの合計時間が設定されたダイジェスト時間内に入らないと判別された場合には、CPU10の処理は、ステップS216に移行し、上述の第2の方法に基づくダイジェスト画像選択処理と同一の処理を行う(ステップS216〜S219)。この場合には、この優先度iに係るシーン選択の途中で必ず設定されたダイジェスト時間を越えることになるので、ステップS218の処理で“NO”に分岐してダイジェスト画像選択処理を終了し、ダイジェスト再生処理に戻る。
以上のように、第1実施形態の動画撮影装置1は、映像撮影装置13と、撮影された動画データ及び当該動画の各部分の優先度情報を記憶する映像記録装置14と、3軸地磁気センサ19、3軸加速度センサ20、及び、気圧センサ21の3つのセンサとを備える。そして、動画撮影の際に3つのセンサにより計測されたデータに基づき、状態判別処理部15において動画撮影装置1、即ち、ユーザの移動状態を判別し、この判別結果に従ってプライオリティ計算処理部16でこの動画部分の優先度が算出される。この優先度情報が撮像時刻情報と共に動画データの付加情報として映像記録装置14に記録されることで、各動画部分の優先度に基づいて、動画をダイジェスト再生するときの出力部分と省略部分とを設定することができる。従って、流し撮影のように不必要な撮影部分が多く含まれる動画を再生する際に、ユーザの手を煩わすことなく容易に所望の時間のダイジェスト動画を設定することができる。
また、予め撮影目標が明確に設定されていない場合や、自転車、バイク、自動車などの操縦によりユーザが容易にカメラの操作を行うことが出来ないような場合であっても、3つのセンサの計測データに基づいてメリハリのある動画部分が選択されたダイジェスト動画を設定することができる。
また、複数ステップの優先度を設定することで、ユーザが所望するダイジェスト時間に収まる範囲で優先度の高い順にダイジェスト再生箇所を設定していけばよいので、ダイジェスト再生時間の長短に関わりなく柔軟且つ容易にダイジェスト再生箇所を設定することができる。
また、同一の優先度の動画部分が複数箇所設定される場合において、同一優先度の動画部分を全て選択できない場合には、隣接する再生選択動画部分や、動画の先頭、終端からの時間差が大きく、且つ、両側から均等に離れている動画部分を優先的に選択する構成とすることで、ダイジェスト再生される箇所が一部に偏ることなくバランスよく設定される。
また、ダイジェスト再生の際に、優先度が設定された動画部分を全て再生対象とする必要はなく、当該動画部分内で更に所定の時間や所定の割合の部分だけを一律に抜き出すことで、ダイジェスト再生時間が短い場合でも一部の動画部分に偏りすぎることなく動画部分を選択することができる。
また、3つのセンサによる計測データに基づいて、ロードノイズなどで画像が乱れており、望ましい画像が得られないと想定される場合には、撮影を中止させて無駄な撮影処理を行わせないこととすることができる。
また、同様に、一時停止した区間では、自動的に撮影を中断することが出来るので、信号などで毎回撮影のオンオフを制御しながら走行する煩わしさを省くことが出来る。
また、検出された一の状況が長時間続くような場合でも、対応する優先度の設定期間を所定時間で終了することで、同様な状態が長く続くダイジェスト動画となることを防止することが出来る。
また、カーブや坂道などで、実際にカーブや坂道に差し掛かるタイミングと、3つのセンサによる状態判別がなされるタイミングの間に差が生じる場合があるので、状態判別がなされた場合に、当該状態に対応する動画部分の設定を先に録画された部分に遡って行うことが出来る。このような設定を行うことで、より適切な期間のダイジェスト動画を設定することができる。
また、3軸地磁気センサ19、3軸加速度センサ20、及び、気圧センサ21をセンサとして用いることで、動作の有無及び、水平面内と、垂直方向の移動を三次元的にカバーして同定することが出来るので、移動状態の変化を的確に検出することが出来る。
また、このような優先度情報を付加情報として含む動画データに基づいて、動画撮影装置1の表示部22のみならず、他の動画再生装置においても同様に適切なダイジェスト再生を行うことが出来るようなプログラムを構成することが出来る。
[第2実施形態]
次に、第2実施形態の動画撮影装置について説明する。
この第2実施形態の動画撮影装置1の部構成は、図1に示した第1実施形態の動画撮影装置1の部構成と同一であるので、詳細な説明を省略するとともに、以後、同一の符号を用いて説明する。
この第2実施形態の動画撮影装置1では、動画撮影の際に優先度4以上が設定されたシーンを除いて撮影を中断する点が第1実施形態の動画撮影装置1と異なる。
図10は、第2実施形態の動画撮影装置1において、CPU10が実行する撮影処理の制御手順を示すフローチャートである。
この第2実施形態の動画撮影装置1における撮影処理では、第1実施形態の動画撮影装置1における撮影処理からステップS63、S71の処理がそれぞれステップS63a、S71aの処理に変更され、ステップS35、S73の処理がまとめてステップS35aの処理に変更され、また、ステップS72の処理の代わりにステップS65の処理が行われる。また、フローの順序が変更になっている。その他の処理については、第1実施形態と第2実施形態の動画撮影装置1で同一であり、同一の符号を付して説明を省略する。
この撮影処理では、ステップS35aの処理で撮影が開始される際に、CPU10は、停止カウンタのカウントを開始する。そして、ステップS51の処理で上り下り動作が検出されていないと判別され、回転フラグ及び昇降フラグがリセットされた後に(ステップS61、S62)、CPU10は、停止カウンタの値が所定の撮影停止カウントに到達しているか否かを判別する(ステップS71a)。そして、撮影停止カウントに到達していると判別された場合には、CPU10は、映像撮影装置13による撮影を停止し、開始カウンタのカウントを開始する(ステップS65)。このとき、CPU10は、停止カウンタのカウント動作を停止して、カウント値をリセットする。そして、CPU10の処理は、ステップS74に移行する。
一方、ステップS71aの判別処理で、撮影停止カウントに達していないと判別された場合には、次に、CPU10は、開始カウンタの値が予め設定された撮影開始カウントに到達しているか否かを判別する(ステップS63a)。開始カウンタの値が撮影開始カウントに到達していると判別された場合には、CPU10は、優先度を4に設定した後(ステップS64)、処理をステップS35aに進めて撮影動作を再開させる。開始カウンタの値が撮影開始カウントに到達していないと判別された場合には、CPU10の処理は、そのままステップS74に移行する。
即ち、この第2実施形態の動画撮影装置1では、優先度4の状態で撮影動作が継続されたまま停止カウンタの値が撮影停止カウントに到達した場合には、撮影動作が停止される。優先度が2又は3の状態が継続されている場合には、停止カウンタのカウント動作が行われているが、撮影動作の停止はなされない。一方、走行中に撮影動作が停止されていた場合には、方向転換や登り下りが検出された場合、又は、開始カウンタが撮影開始カウントに到達した場合に撮影が再開される。
なお、撮影動作中に優先度の設定が変更されてステップS35aの処理に移行した場合には、CPU10は、撮影動作を継続したままシーンのみを変更するように構成することが出来る。
以上のように、第2実施形態の動画撮影装置1によれば、冗長に継続される直線走行区間のような部分については、3軸地磁気センサ19、3軸加速度センサ20、及び気圧センサ21の計測値及び時刻の計数データに基づいて自動的に同定して撮影を一時停止することが出来る。従って、無駄な撮影を行わずに映像記録装置14の空き領域を確保すると共に、撮影に要する電力の消費を抑えて長時間必要な部分の撮影に回すことが出来る。
なお、本発明は、上記実施の形態に限られるものではなく、様々な変更が可能である。
例えば、上記実施形態では、3軸地磁気センサ19、3軸加速度センサ20、及び、気圧センサ21を用いて移動状態を判別したが、ジャイロセンサなどの他の計測センサを用いても良い。また、ユーザの移動に係る直接的な移動状態の検出だけではなく、例えば、照度センサを用いて移動時の周囲状況を併せて判別し、夜間、トンネル、樹林帯よりも昼間の開けた平原地帯などを優先するように設定しても良い。
また、判別される移動状態は、上記実施例で示したものに限られないし、優先度の具体的な高低も適宜設定することができる。例えば、スタート地点である自宅をわざわざダイジェスト画像に組み込まないこととしても良いし、蛇行している区間よりも直線で快調に走行している区間の優先度を高く設定することも可能である。
また、上記実施の形態で示した動画撮影装置は、音声を合わせて録音することが可能であっても良い。
また、上記実施の形態では、全ての撮影シーンに対して優先度を設定することとしたが、優先度が所定のレベル以下のシーンに対して優先度を設定しないこととしても良い。そして、この場合のダイジェスト再生には、優先度を設定したシーンの合計時間が設定されたダイジェスト時間より短い場合であっても、優先度が設定されていないシーンを含まないようにすることができる。
また、上記実施の形態では、長時間撮影された動画の中から所望の時間のダイジェスト動画を選択する場合について説明したが、移動の履歴のようなものであって、そもそも主たる撮影目標がないような場合には、優先度設定に基づいて撮影時間自体を更に短く定めることとしても良い。
また、以上の説明では、本発明に係るプログラム11bのコンピュータ読み取り可能な媒体としてハードディスクやフラッシュメモリといったメモリ11を使用した例を開示したが、これに限定されない。その他のコンピュータ読み取り可能な媒体として、EEPROM(Electrically Erasable and Programmable Read Only Memory)などの他の不揮発性メモリー、ROM、CD−ROMなどの可搬型記録媒体を適用することが可能である。また、本発明に係るプログラムのデータを通信回線を介して提供する媒体として、キャリアウェーブ(搬送波)も本発明に適用される。
その他、上記実施の形態の説明で示した具体的な構成や順序、数値などの細部は、本発明の趣旨を逸脱しない範囲において適宜変更可能である。
本発明のいくつかの実施形態を説明したが、本発明の範囲は、上述の実施の形態に限定するものではなく、特許請求の範囲に記載された発明の範囲とその均等の範囲を含む。
以下に、この出願の願書に最初に添付した特許請求の範囲に記載した発明を付記する。付記に記載した請求項の項番は、この出願の願書に最初に添付した特許請求の範囲の通りである。
[付記]
<請求項1>
動画を撮影する撮影手段と、
移動時の状況を検出するための計測を行うセンサと、
このセンサの計測値に基づいて前記移動時の状況の種別を判別する動作判別手段と、
判別された前記状況の種別に応じ、前記撮影手段により撮影された動画において、当該状況の種別が判別された期間に対応する動画部分に対して所定の基準に基づき優先度を設定する優先度設定手段と、
この優先度設定手段により設定された優先度と、前記動画部分とを対応付けて記憶する記録手段と、
を備えることを特徴とする動画撮影装置。
<請求項2>
前記動画部分のうちの一部または全部を選択することでダイジェスト動画の再生部分を設定するダイジェスト再生設定手段を備え、
このダイジェスト再生設定手段は、
高い優先度が設定された動画部分から順番に選択する部分選択手段と、
この部分選択手段で動画部分が選択される毎に、選択された動画部分の合計時間と、予め設定されたダイジェスト時間の範囲とを比較する選択時間比較手段と、
この選択時間比較手段により、前記選択された動画部分の合計時間が前記ダイジェスト時間の範囲を超えたと判別された場合には、この一回前迄に選択されていた前記動画部分をダイジェスト動画の再生部分として設定する設定手段と、
を備えることを特徴とする請求項1記載の動画撮影装置。
<請求項3>
前記部分選択手段は、前記優先度の等しい前記動画部分が複数存在し、当該優先度の等しい動画部分を全て選択すると、当該選択された動画部分の合計時間が前記予め設定されたダイジェスト時間の範囲を超過する場合には、前記優先度の等しい動画部分のうち、前記動画の先頭、終端、又は、既に前記再生部分として設定された前記動画部分を示す時刻の中で、各動画部分の両隣に隣接する2箇所からより均等且つより大きく離れている動画部分を優先的に前記ダイジェスト動画の再生部分として設定することを特徴とする請求項2記載の動画撮影装置。
<請求項4>
前記部分選択手段は、優先度が設定された前記動画部分のうち、各々所定の時間幅の動画部分を前記ダイジェスト動画の再生部分に含めることを特徴とする請求項2又は3記載の動画撮影装置。
<請求項5>
前記撮影手段は、前記優先度設定手段により所定レベル以上の優先度が設定されない期間において、前記動画の撮影を停止することを特徴とする請求項1〜4の何れか一項に記載の動画撮影装置。
<請求項6>
前記動作判別手段は、所定の基準以上のブレ動作を伴う状況を判別し、
前記撮影手段は、前記動作判別手段が前記ブレ動作を伴う状況を判別された場合には、前記動画の撮影を停止することを特徴とする請求項1〜5の何れか一項に記載の動画撮影装置。
<請求項7>
前記優先度設定手段は、
一の優先度の設定が行われたタイミングから所定の時間が経過した場合、又は、当該一の優先度より上位の優先度が重ねて設定された場合に、前記一の優先度の設定期間を終了させることを特徴とする請求項1〜6の何れか一項に記載の動画撮影装置。
<請求項8>
前記優先度設定手段は、前記動作判別手段により移動時の状況の種別が判別された場合、当該状況の開始時点に対応する時点にまで遡って前記優先度の設定を行うことを特徴とする請求項1〜7の何れか一項に記載の動画撮影装置。
<請求項9>
前記センサには、磁場センサ、加速度センサ、及び、気圧センサが含まれることを特徴とする請求項1〜8の何れか一項に記載の動画撮影装置。
<請求項10>
動画を撮影する撮影手段と、移動時の状況を検出するための計測を行うセンサと、を備えた動画撮影装置による動画撮影方法であって、
前記センサの計測値に基づいて前記移動時の状況の種別を判別する動作判別ステップ、
判別された前記状況の種別に応じ、前記撮影手段により撮影された動画において、当該状況の種別が判別された期間に対応する動画部分に対して所定の基準に基づき優先度を設定する優先度設定ステップ、
この優先度設定ステップで設定された優先度と、前記動画部分とを対応付けて記憶する記録ステップ、
を含むことを特徴とする動画撮影方法。
<請求項11>
動画を撮影する撮影手段と、移動時の状況を検出するための計測を行うセンサと、を備えた動画撮影装置に用いられるコンピュータを、
前記センサの計測値に基づいて前記移動時の状況の種別を判別する動作判別手段、
判別された前記状況の種別に応じ、前記撮影手段により撮影された動画において、当該状況の種別が判別された期間に対応する動画部分に対して所定の基準に基づき優先度を設定する優先度設定手段、
この優先度設定手段により設定された優先度と、前記動画部分とを対応付けて記憶する記録手段、
として機能させるためのプログラム。
1 動画撮影装置
10 CPU
11 メモリ
11b ダイジェスト再生プログラム
12 RAM
13 映像撮影装置
14 映像記録装置
15 状態判別処理部
16 プライオリティ計算処理部
17 GPS受信アンテナ
18 GPS受信処理部
19 3軸地磁気センサ
20 3軸加速度センサ
21 気圧センサ
22 表示部
23 電源部
24 操作キー

Claims (10)

  1. 動画を撮影する撮影手段と、
    移動時の状況を検出するための計測を行うセンサと、
    このセンサの計測値に基づいて前記移動時の状況の種別を、前記撮影手段による動画撮影の最中に判別する動作判別手段と、
    この動作判別手段により判別された前記状況の種別に応じて、前記撮影手段により撮影された動画において、当該状況の種別が判別された期間に対応する動画部分に対して所定の基準に基づき優先度を、前記撮影手段による動画撮影の最中に設定する優先度設定手段と、
    この優先度設定手段により設定された優先度と、前記動画部分とを対応付けて記憶する記録手段と、
    前記撮影手段による動画撮影が終了した後にユーザからの再生指示があった時に、前記動画部分のうちの一部または全部を選択することでダイジェスト再生対象の動画の再生部分を設定するダイジェスト再生設定手段を備え、
    このダイジェスト再生設定手段は、
    高い優先度が設定された動画部分から順番に選択し、前記優先度の等しい前記動画部分が複数存在し、当該優先度の等しい動画部分を全て選択すると、当該選択された動画部分の合計時間が予め設定されたダイジェスト再生時間の範囲を超過する場合には、前記優先度の等しい動画部分のうち、前記動画の先頭、終端、又は、既に前記再生部分として設定された前記動画部分を示す時刻の中で、各動画部分の両隣に隣接する2箇所からより均等且つより大きく離れている動画部分を優先的に前記ダイジェスト再生対象の動画の再生部分として選択する部分選択手段と、
    この部分選択手段で動画部分が選択される毎に、選択された動画部分の合計時間と、前記ダイジェスト再生時間の範囲とを比較する選択時間比較手段と、
    この選択時間比較手段により、前記選択された動画部分の合計時間が前記ダイジェスト再生時間の範囲を超えたと判別された場合には、この一回前迄に選択されていた前記動画部分をダイジェスト再生対象の動画の再生部分として設定する設定手段と、
    を備えることを特徴とする動画撮影装置。
  2. 該装置が所定の状態である時には、前記撮影手段による動画撮影を自動的に一時停止する一時停止手段と、
    を備えることを特徴とする請求項1記載の動画撮影装置。
  3. 前記所定の状態とは、当該装置が移動せずに停止している状態か、当該装置が所定の大きさ以上で振動して撮影画像ブレが大きくなる状態か、当該装置が移動中であっても変動が小さく撮影動画内容の変化が乏しい状態が続いている状態か、前記優先度の低い状態が所定時間続いている状態か、前記優先度が所定のレベル以上に設定されていない状態か、のいずれかであることを特徴とする請求項2記載の動画撮影装置。
  4. 記優先度設定手段は、前記撮影手段による動画撮影の開始直後の動画部分、及び、前記撮影手段による動画撮影の終了直前の動画部分に対して、他の動画部分よりも高い優先度を設定することを特徴とする請求項1〜3の何れか一項に記載の動画撮影装置。
  5. 前記優先度設定手段は、一の優先度の設定が行われたタイミングから所定の時間が経過した場合、又は、当該一の優先度より上位の優先度が重ねて設定された場合に、前記一の優先度の設定期間を終了させることを特徴とする請求項1〜4の何れか一項に記載の動画撮影装置。
  6. 前記優先度設定手段は、前記動作判別手段により移動時の状況の種別が判別された場合、当該状況の開始時点に対応する時点にまで遡って前記優先度の設定を行うことを特徴とする請求項1〜5の何れか一項に記載の動画撮影装置。
  7. 一連の動画の部分毎に優先度が自動設定された動画データをダイジェスト再生するための再生部分を設定するダイジェスト再生設定装置であって、
    高い優先度が設定された動画部分から順番に選択する部分選択手段と、
    この部分選択手段で動画部分が選択される毎に、選択された動画部分の合計時間と、予め設定されたダイジェスト再生時間の範囲とを比較する選択時間比較手段と、
    この選択時間比較手段により、前記選択された動画部分の合計時間が前記ダイジェスト再生時間の範囲を超えたと判別された場合には、この一回前迄に選択されていた前記動画部分をダイジェスト再生対象の動画の再生部分として設定する設定手段と、
    を備え、
    前記部分選択手段は、前記優先度の等しい前記動画部分が複数存在し、当該優先度の等しい動画部分を全て選択すると、当該選択された動画部分の合計時間が前記予め設定されたダイジェスト再生時間の範囲を超過する場合には、前記優先度の等しい動画部分のうち、前記動画の先頭、終端、又は、既に前記再生部分として設定された前記動画部分を示す時刻の中で、各動画部分の両隣に隣接する2箇所からより均等且つより大きく離れている動画部分を優先的に前記ダイジェスト再生対象の動画の再生部分として選択することを特徴とするダイジェスト再生設定装置。
  8. 前記部分選択手段は、優先度が設定された前記動画部分のうち、各々所定の時間幅の動画部分だけを前記ダイジェスト再生対象の動画の再生部分に含めることを特徴とする請求項7記載のダイジェスト再生設定装置。
  9. 一連の動画の部分毎に優先度が自動設定された動画データをダイジェスト再生するための再生部分を設定するダイジェスト再生の設定方法であって、
    高い優先度が設定された動画部分から順番に選択する部分選択ステップ、
    この部分選択ステップで動画部分が選択される毎に、選択された動画部分の合計時間と、予め設定されたダイジェスト再生時間の範囲とを比較する選択時間比較ステップ、
    この選択時間比較ステップで、前記選択された動画部分の合計時間が前記ダイジェスト再生時間の範囲を超えたと判別された場合には、この一回前迄に選択されていた前記動画部分をダイジェスト再生対象の動画の再生部分として設定する設定ステップ、
    を含み、
    前記部分選択ステップは、前記優先度の等しい前記動画部分が複数存在し、当該優先度の等しい動画部分を全て選択すると、当該選択された動画部分の合計時間が前記予め設定されたダイジェスト再生時間の範囲を超過する場合には、前記優先度の等しい動画部分のうち、前記動画の先頭、終端、又は、既に前記再生部分として設定された前記動画部分を示す時刻の中で、各動画部分の両隣に隣接する2箇所からより均等且つより大きく離れている動画部分を優先的に前記ダイジェスト再生対象の動画の再生部分として選択することを特徴とするダイジェスト再生の設定方法。
  10. コンピュータを、
    一連の動画の部分毎に優先度が自動設定された動画データをダイジェスト再生するための再生部分を設定するダイジェスト再生設定手段として機能させるプログラムであって、
    前記ダイジェスト再生設定手段は、
    高い優先度が設定された動画部分から順番に選択する部分選択手段、
    この部分選択手段で動画部分が選択される毎に、選択された動画部分の合計時間と、予め設定されたダイジェスト再生時間の範囲とを比較する選択時間比較手段、
    この選択時間比較手段により、前記選択された動画部分の合計時間が前記ダイジェスト再生時間の範囲を超えたと判別された場合には、この一回前迄に選択されていた前記動画部分をダイジェスト再生対象の動画の再生部分として設定する設定手段、
    を備え、
    前記部分選択手段は、前記優先度の等しい前記動画部分が複数存在し、当該優先度の等しい動画部分を全て選択すると、当該選択された動画部分の合計時間が前記予め設定されたダイジェスト再生時間の範囲を超過する場合には、前記優先度の等しい動画部分のうち、前記動画の先頭、終端、又は、既に前記再生部分として設定された前記動画部分を示す時刻の中で、各動画部分の両隣に隣接する2箇所からより均等且つより大きく離れている動画部分を優先的に前記ダイジェスト再生対象の動画の再生部分として選択することを特徴とする特徴とするプログラム。
JP2012064287A 2012-03-21 2012-03-21 動画撮影装置、ダイジェスト再生設定装置、ダイジェスト再生設定方法、及び、プログラム Expired - Fee Related JP5510484B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2012064287A JP5510484B2 (ja) 2012-03-21 2012-03-21 動画撮影装置、ダイジェスト再生設定装置、ダイジェスト再生設定方法、及び、プログラム
US13/846,798 US8938154B2 (en) 2012-03-21 2013-03-18 Moving image capturing apparatus, moving image capturing method and storage medium storing moving image capturing program, and digest playback setting apparatus, digest playback setting method and storage medium storing digest playback setting program
CN201310090835.6A CN103327233B (zh) 2012-03-21 2013-03-21 运动图像拍摄装置及方法、以及摘要重放设定装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012064287A JP5510484B2 (ja) 2012-03-21 2012-03-21 動画撮影装置、ダイジェスト再生設定装置、ダイジェスト再生設定方法、及び、プログラム

Publications (3)

Publication Number Publication Date
JP2013197995A JP2013197995A (ja) 2013-09-30
JP2013197995A5 JP2013197995A5 (ja) 2013-11-07
JP5510484B2 true JP5510484B2 (ja) 2014-06-04

Family

ID=49195740

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012064287A Expired - Fee Related JP5510484B2 (ja) 2012-03-21 2012-03-21 動画撮影装置、ダイジェスト再生設定装置、ダイジェスト再生設定方法、及び、プログラム

Country Status (3)

Country Link
US (1) US8938154B2 (ja)
JP (1) JP5510484B2 (ja)
CN (1) CN103327233B (ja)

Families Citing this family (18)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
IL228204A (en) * 2013-08-29 2017-04-30 Picscout (Israel) Ltd Efficiently obtaining content-based video
US10297287B2 (en) 2013-10-21 2019-05-21 Thuuz, Inc. Dynamic media recording
US20150110462A1 (en) * 2013-10-21 2015-04-23 Sling Media, Inc. Dynamic media viewing
WO2015104780A1 (ja) * 2014-01-07 2015-07-16 パナソニックIpマネジメント株式会社 映像撮像装置
US10356312B2 (en) 2014-03-27 2019-07-16 Htc Corporation Camera device, video auto-tagging method and non-transitory computer readable medium thereof
US11863848B1 (en) 2014-10-09 2024-01-02 Stats Llc User interface for interaction with customized highlight shows
US10433030B2 (en) 2014-10-09 2019-10-01 Thuuz, Inc. Generating a customized highlight sequence depicting multiple events
US10536758B2 (en) 2014-10-09 2020-01-14 Thuuz, Inc. Customized generation of highlight show with narrative component
US10419830B2 (en) 2014-10-09 2019-09-17 Thuuz, Inc. Generating a customized highlight sequence depicting an event
CN104980635A (zh) * 2015-06-16 2015-10-14 成都西可科技有限公司 一种记录及显示3d拍摄轨迹的运动相机
CN104994256A (zh) * 2015-06-16 2015-10-21 成都西可科技有限公司 一种支持实时视频直播的运动相机
JP2017208750A (ja) * 2016-05-20 2017-11-24 ローム株式会社 映像監視装置、映像表示システム、及び車両
JP6614042B2 (ja) * 2016-06-15 2019-12-04 株式会社Jvcケンウッド 姿勢変化判定装置、俯瞰映像生成装置、俯瞰映像生成システム、姿勢変化判定方法およびプログラム
US11373404B2 (en) 2018-05-18 2022-06-28 Stats Llc Machine learning for recognizing and interpreting embedded information card content
US11264048B1 (en) 2018-06-05 2022-03-01 Stats Llc Audio processing for detecting occurrences of loud sound characterized by brief audio bursts
US11025985B2 (en) 2018-06-05 2021-06-01 Stats Llc Audio processing for detecting occurrences of crowd noise in sporting event television programming
KR102655380B1 (ko) * 2019-12-18 2024-04-04 엘지전자 주식회사 음성 인식에 기초한 멀티미디어 콘텐츠 편집 기술
CN111263068B (zh) * 2020-02-19 2021-08-13 成都市喜爱科技有限公司 拍摄控制方法、装置、拍摄设备及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3230858B2 (ja) * 1992-11-26 2001-11-19 松下電器産業株式会社 動画像の優先度自動選択方法および動画像ダイジェスト自動表示装置
JPH07143430A (ja) * 1993-11-16 1995-06-02 Canon Inc 記録装置
WO1999003273A1 (fr) 1997-07-11 1999-01-21 Mitsubishi Denki Kabushiki Kaisha Appareil de lecture de films et appareil permettant de constituer un recueil de films
JP2006180306A (ja) * 2004-12-24 2006-07-06 Hitachi Ltd 動画記録再生装置
JP2006279320A (ja) * 2005-03-28 2006-10-12 Canon Inc 番組蓄積再生装置、番組蓄積再生方法、その記録媒体及びプログラム
JP4525558B2 (ja) 2005-11-08 2010-08-18 ソニー株式会社 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム
JP4379409B2 (ja) * 2005-11-08 2009-12-09 ソニー株式会社 撮像装置、および情報処理方法、並びにコンピュータ・プログラム
JP2008131448A (ja) * 2006-11-22 2008-06-05 Pentax Corp カメラ
JP2009017598A (ja) 2008-10-02 2009-01-22 Sony Corp 撮像装置、および情報処理方法、並びにコンピュータ・プログラム
WO2010150348A1 (ja) * 2009-06-23 2010-12-29 パイオニア株式会社 映像記録再生装置、映像記録再生方法、および映像記録再生プログラム
JP2011119934A (ja) 2009-12-02 2011-06-16 Panasonic Corp 画像撮影装置及び画像撮影方法

Also Published As

Publication number Publication date
US20130251331A1 (en) 2013-09-26
US8938154B2 (en) 2015-01-20
JP2013197995A (ja) 2013-09-30
CN103327233A (zh) 2013-09-25
CN103327233B (zh) 2016-07-06

Similar Documents

Publication Publication Date Title
JP5510484B2 (ja) 動画撮影装置、ダイジェスト再生設定装置、ダイジェスト再生設定方法、及び、プログラム
EP3502620B1 (en) Information processing apparatus, information processing method, and recording medium
US20160150196A1 (en) Movement and distance triggered image recording system
US8994785B2 (en) Method for generating video data and image photographing device thereof
WO2012011345A1 (ja) 情報処理装置、情報処理方法、プログラム、及び記録媒体
JP5549515B2 (ja) 撮像装置及び方法、並びにプログラム
US20070140674A1 (en) Shake correction device, filming device, moving image display device, shake correction method and recording medium
JP2013197995A5 (ja) 動画撮影装置、動画撮影方法、ダイジェスト再生設定装置、ダイジェスト再生設定方法、及び、プログラム
JP2013162333A (ja) 画像処理装置、画像処理方法、プログラムおよび記録媒体
US11696045B2 (en) Generating time-lapse videos with audio
US20160320203A1 (en) Information processing apparatus, information processing method, program, and recording medium
JP2014086849A (ja) コンテンツ取得装置及びプログラム
JP2006148514A (ja) 画像再生装置及び画像再生装置の制御方法
JP6161400B2 (ja) 動画再生装置及びその制御方法
JP6052274B2 (ja) 情報処理装置、情報処理方法、及びプログラム
JP2021176107A (ja) ドライブレコーダ、接近検知方法、及び接近検知プログラム
US8786752B2 (en) Digital device and method for controlling the same
JP2005328279A (ja) 記録装置
JP2021129216A (ja) 画像処理装置及び画像処理方法
JP7283124B2 (ja) 記録再生制御装置、再生制御装置、記録再生制御方法およびプログラム
JP6787423B2 (ja) 記録再生制御装置、再生制御装置、記録再生方法およびプログラム
JP2021128254A (ja) 画像生成装置、画像表示装置、画像生成方法及び画像生成プログラム
JP2021129218A (ja) 画像表示装置、画像表示方法及び画像表示プログラム
CN104735342A (zh) 动态图像处理装置及动态图像处理方法

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20130726

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130726

A871 Explanation of circumstances concerning accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A871

Effective date: 20130730

A975 Report on accelerated examination

Free format text: JAPANESE INTERMEDIATE CODE: A971005

Effective date: 20130814

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20130827

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131017

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131112

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140109

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140114

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140128

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140206

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140225

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140310

R150 Certificate of patent or registration of utility model

Ref document number: 5510484

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees