JP5857122B2 - 興味の特徴を含むビデオサマリー - Google Patents

興味の特徴を含むビデオサマリー Download PDF

Info

Publication number
JP5857122B2
JP5857122B2 JP2014511511A JP2014511511A JP5857122B2 JP 5857122 B2 JP5857122 B2 JP 5857122B2 JP 2014511511 A JP2014511511 A JP 2014511511A JP 2014511511 A JP2014511511 A JP 2014511511A JP 5857122 B2 JP5857122 B2 JP 5857122B2
Authority
JP
Japan
Prior art keywords
video
image
video sequence
interest
frame
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2014511511A
Other languages
English (en)
Other versions
JP2014516222A (ja
Inventor
カーン,キース,ストール
ピルマン,ブルース,ハロルド
ディーヴァー,アーロン,トーマス
マッコイ,ジョーン,アール.
ラザヴィー,フランク
グレツィンガー,ロバート
Original Assignee
インテレクチュアル ベンチャーズ ファンド 83 エルエルシー
インテレクチュアル ベンチャーズ ファンド 83 エルエルシー
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
Priority to US13/110,085 priority Critical
Priority to US13/110,085 priority patent/US8665345B2/en
Application filed by インテレクチュアル ベンチャーズ ファンド 83 エルエルシー, インテレクチュアル ベンチャーズ ファンド 83 エルエルシー filed Critical インテレクチュアル ベンチャーズ ファンド 83 エルエルシー
Priority to PCT/US2012/038233 priority patent/WO2012158859A1/en
Publication of JP2014516222A publication Critical patent/JP2014516222A/ja
Application granted granted Critical
Publication of JP5857122B2 publication Critical patent/JP5857122B2/ja
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=46197692&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=JP5857122(B2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/24Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by sensing features on the record carrier other than the transducing track ; sensing signals or marks recorded by another method than the main recording
    • GPHYSICS
    • G11INFORMATION STORAGE
    • G11BINFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel

Description

本発明は、デジタルビデオ処理に関し、より特定的には、デジタルビデオサマリーを形成するためのシステム及び方法に関する。
多くのデジタルキャプチャーデバイスは、静止画像はもちろんビデオをキャプチャーすることができる。デジタルビデオコンテンツを管理することは、しかしながら、難しい仕事である。ビデオは、しばしば、ビデオの最初のフレームのサムネイル画像を用いて視覚的に表現される。これは、ビデオのコンテンツについて多くの洞察ができないことがある。与えられたビデオの中に特定のイベントが含まれているかを判断することは、しばしば、ビデオフレームの全体を視聴することを要求するものである。長時間のビデオに対して、ユーザーにとっては、そのビデオ全体を視聴することなく、ビデオのクイックサマリーを得ることができることが好ましい。
デジタルビデオは、また、共有の観点からの現実的な問題を表している。多くのデジタルキャプチャーデバイスは、毎秒30から60フレームを、1920×1080ピクセルの高解像度でビデオを記録する。圧縮した場合においてさえ、生成されたビデオの量は、比較的に短時間のビデオでさえ共有することを非現実的なものとしている。
より容易に共有することができるより短いバージョンへとビデオを手動で集約するために、ビデオ編集ソフトウェアを使用することができる。しかしながら、手動のビデオ編集は、時間が掛かり、骨の折れるプロセスであり、多くのユーザーは手動の編集に興味はない。自動ビデオ集約アルゴリズムも、同様に存在する。こうしたソリューションは、入力としてキャプチャーされたビデオを用いて開始され、ビデオサマリーを決定するためにビデオを分析する。発明者ラタコンダ(Ratakonnda)の米国特許第5995095号明細書、タイトル“Method for hierarchical summarization and browsing of digital video”は、ビデオシーケンスに基づいて階層的なサマリーを生成する方法を開示している。発明者リら(Li et al.)の米国特許第7035435号明細書、タイトル“Scalable video summarization and navigation system and method”は、ビデオの中のそれぞれのシーン、ショット、および、フレームに対して重要値を割当て、ビデオサマリーのための主要フレームを決定するのに重要度を使用する方法が記載されている。発明者エドワードら(Edward et al.)の米国特許第7483618号明細書、タイトル“Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or little or no interest”は、ビデオサマリーを決定する方法を開示しており、クオリティが低いか、興味がないコンテンツはビデオから削除される。
しかしながら、自動ビデオ集約アルゴリズムは非常に複雑である。ビデオサマリーを決定するのに必要な分析を実行するためにビデオをデコードする必要があるからである。従って、デジタルキャプチャーデバイス上で、ジャストキャプチャービデオ(just−captured video)に対応するビデオサマリーを直ちに視聴することはできない。この欠点が、素早いレビューとキャプチャーされたビデオの共有を促進することを難しくしている。
ビデオサマリーを作成する場合、しばしば、サマリーの中に所定の特徴を有することが望まれる。ビデオサマリーは、その中に特徴が表現されているいくつか又は全てのビデオコンテンツを含むように作成される。こうした特徴の例は、人、ペット、イベント、場所、動作、および、対象物を含んでいる。手動で、こうした注文仕立てのビデオサマリーを作成することは、退屈なプロセスであり得るものである。注文仕立てのこうしたビデオサマリーを生成するためにデスクトップソフトウェアを使用することは、素早くレビューしてビデオサマリーを共有する可能性を妨げてしまう。
従って、デジタルキャプチャーデバイスにおいてビデオサマリーを算出するためのシステム及び方法を提供することが望ましい。特に、ビデオキャプチャーが完了して最小の遅れをもって、デジタルキャプチャーデバイス上でビデオサマリーを生成することができるソリューションを提供することが望ましいであろう。また、ユーザー所定の特徴を含むビデオサマリーを提供することも望ましいであろう。
米国特許第5995095号明細書 米国特許第7035435号明細書 米国特許第7483618号明細書 米国特許公開第2007/0024931号公報 米国特許第6292218号明細書 米国特許第5668597号明細書 米国特許出願第2011/0292288号公報 米国特許出願第2011/0293018号公報
本発明は、興味の特徴を含んでいるビデオフレームのサブセット(subset)を決定するためにキャプチャーする時点でビデオフレームを分析するという利点を有している。それにより、ビデオサマリーを作成する時点でビデオデータを解凍する必要を取り除いている。
本発明は、ビデオシーケンスをキャプチャーして、関連するビデオサマリーを提供するためのデジタルビデオカメラシステムを表している。本発明に係るシステムは、
デジタル画像をキャプチャーするための画像センサーと;
前記画像センサー上にシーンの画像を形成するための光学系と;
データ処理システムと;
キャプチャーされたビデオシーケンスを保管するためのストレージメモリーと;
前記データ処理システムに通信可能に接続されたプログラムメモリーであり、前記データ処理システムにビデオサマリーを形成するための方法を実施するようにさせるように構成されたインストラクションを保管しているプログラムメモリーと、
を含み、
前記方法は、
参照データを指定するステップであり、前記参照データは興味の特徴を示すステップと;
前記画像センサーを使用して前記シーンのビデオシーケンスをキャプチャーするステップであり、前記ビデオシーケンスは画像フレームのタイムシーケンスを含んでいるステップと;
デジタルビデオファイルを形成するためにビデオ処理パスを使用して前記キャプチャーされたビデオシーケンスを処理するステップと;
特徴認識アルゴリズムを使用して、前記興味の特徴を含む前記画像フレームのサブセットを特定するために、前記キャプチャーされた画像フレームを分析するステップと;
前記キャプチャーされたビデオシーケンスの中の全ての画像フレームより少ない画像フレームを含む前記ビデオサマリーを形成するステップであり、前記ビデオサマリーは、前記興味の特徴を含んでいる前記特定された画像フレームのサブセットを少なくとも部分的に含んでいるステップと;
前記デジタルビデオファイルを前記ストレージメモリーの中に保管するステップと;
前記ビデオサマリーの表現を前記ストレージメモリーの中に保管するステップと、
を含むことを特徴としている。
本発明は、興味の特徴を含んでいるビデオフレームのサブセット(subset)を決定するためにキャプチャーする時点でビデオフレームを分析するという利点を有している。それにより、ビデオサマリーを作成する時点でビデオデータを解凍する必要を取り除いている。
本発明は、前記保管されたデジタルビデオシーケンスを解凍する必要なく前記ビデオサマリー表現を保管するという追加の利点を有している。これにより、ビデオキャプチャーの完了の時点で最小の遅れをもって、ビデオサマリーを生成し、デジタルキャプチャーデバイス上で視聴することができる。
いくつかの実施例において、ビデオサマリーは、メタデータを使用してデジタルビデオファイルにおいてエンコードされ、分離したファイルとしてビデオサマリーをエンコードする必要はない。このことは、ビデオサマリーメタデータを理解する「賢い(“smart“)」ビデオプレーヤーを用いて視聴するために、ビデオサマリーが便利に利用可能であるという利点を有しており、一方従来のプレーヤーに対してはトランスペアレント(transparent)である。
図1は、ビデオサマリーを形成するためのシステムに係るコンポーネントを示すハイレベルの模式図である。 図2は、ビデオサマリーを形成する方法に係るフローチャートである。 図3は、デジタルビデオシーケンスの処理のための2つの異なるビデオ処理パスの使用を説明するフローチャートである。 図4は、代替的な実施例に従って、デジタルビデオシーケンスの処理のための2つの異なるビデオ処理パスの使用を説明するフローチャートである。 図5は、第2の実施例に従って、ビデオサマリーを生成する方法に係るフローチャートである。 図6は、第3の実施例に従って、ビデオサマリーを生成する方法に係るフローチャートである。
以降の記載において、本発明の好適な実施例が通常にソフトウェアプログラムとして実行されるであろう形式で説明される。当業者であれば、そうしたソフトウェアの均等物が、また、ハードウェアにおいても構成され得ることを容易に理解するであろう。なぜなら、そうしたソフトウェアの画像操作のアルゴリズム及びシステムはよく知られたものであり、本記載は、特に、本発明が関するシステム及び方法の一部を形成する、または、より直接的に協同するアルゴリズム及びシステムに向けられたものだからである。こうしたアルゴリズム及びシステム、および、ここにおいてに包含される画像信号を生成して、そうでなければ処理を行う他の態様は、ここにおいて特に示され又は説明されないが、従来技術として知られる、そうしたシステム、アルゴリズム、コンポーネント、および、エレメントから選択され得るものである。以降の資料における本発明に従って説明されたシステムが与えられれば、本発明の実施のために役に立つソフトウェアは、ここにおいて特には示され、示唆され、または、説明されていなくても、一般的なものであり、従来技術の範囲内のものである。
さらにまた、ここにおいて使用されるように、本発明に係る方法を実施するために使用されるコンピュータープログラムは、コンピューターで読取り可能な記憶媒体に保管され得る。例えば、磁気ディスク(ハードドライブ又はフロッピー(登録商標)ディスクといったもの)又は磁気テープといった磁気記録媒体;光ディスク、光テープ、又は機械で読取り可能なバーコードといった光記憶媒体;ランダムアクセスメモリー(RAM)又は読出し専用メモリー(ROM)といった半導体電子記憶媒体;または、本発明に従った方法を実行するように一つまたはそれ以上のコンピューターをコントロールするためのインストラクションを有するコンピュータープログラムを保管するために使用されるあらゆる他の物理的デバイス又は媒体、を含んでいる。
本発明は、ここにおいて説明される実施例の組合せについて包括的なものである。「所定の実施例」への言及および類似のものは、本発明の少なくとも一つの実施例において存在する特徴に言及するものである。「一つ実施例」又は「所定の実施例」もしく類似のものへ離れて言及することは、必ずしも同一の実施例を参照する必要はない。しかしながら、こうした実施例はお互いに排他的なものではない。そうであると示唆され又は当業者にとって容易に明らかではない場合である。「方法」に対する言及における単数形又は複数形の使用は、限定的なものではない。そうでないことが明示的に示され、または文脈から要求されるものでなければ、用語「または」は、この発明開示において非排他的な意味で使用されていることに留意すべきである。
デジタルカメラは、画像デバイス及び信号キャプチャーと処理のために関連する回路を使用しており、ディスプレイはよく知られているので、本発明の説明は、本発明に従った方法及び装置の一部を形成する、または、より直接的に協同する所定のエレメントに対して向けられている。ここにおいて、特に示されていないか、記載されていないエレメントは、従来技術から選択されたものである。説明される実施例の所定の態様は、ソフトウェアにおいて提供される。以降の資料における本発明に従って説明されたシステムが与えられれば、本発明の実施のために役に立つソフトウェアは、ここにおいて特には示され、示唆され、または、説明されていなくても、一般的なものであり、従来技術の範囲内のものである。
以降のデジタルカメラに係る説明は、当業者はよく知っていることである。本実施例に係る多くのバリエーションが可能であり、コスト削減のため、カメラのパフォーマンスに特徴を追加または改善するために選択できることが明らかである。
図1は、デジタル写真システムのブロックダイヤグラムを示しており、本発明に従ってビデオ画像をキャプチャーすることができるデジタルカメラ10を含んでいる。おそらく、デジタルカメラ10は、ポータブル電池で動作するデバイスであり、画像をキャプチャー又はレビューする際にユーザーによって容易に取扱うことができるよう十分に小さいものである。デジタルカメラ10は、デジタル画像を生成し、ストレージメモリー30を使用してデジタル画像ファイルとして保管する。「デジタル画像」又は「デジタル画像ファイル」という用語は、ここにおいて使用されるように、デジタル静止画像又はデジタルビデオファイルといった、あらゆるデジタル画像ファイルを参照するものである。
いくつかの実施例において、デジタルカメラ10は、モーションビデオ画像と静止画像の両方をキャプチャーする。他の実施例において、デジタルカメラ10は、モーションビデオ画像のみをキャプチャーするデジタルカメラである。デジタルカメラ10は、また、他の機能も含み得る。これらに限定されるわけではないが、デジタル音楽プレーヤー(例えば、MP3プレーヤー)、音声録音デバイス、携帯電話、GPS受信器、または、プログラム可能デジタルアシスタンス(PDA)の機能を含んでいる。
デジタルカメラ10は、調整可能な絞りと調整可能なシャッター6を有するレンズ4を含んでいる。好適な実施例において、レンズ4は、ズームレンズであり、ズームとフォーカスモータードライバー8によってコントロールされる。レンズ4は、シーン(図示なし)からの光を画像センサー14上にフォーカスする。センサーは、例えば、シングルチップカラーCCD又はCMOS画像センサーである。レンズ4は、画像センサー14上にシーンに係る画像を形成するための光学システムの一つのタイプである。他の実施例において、光学システムには、可変又は固定フォーカスのいずれかをもった固定焦点距離レンが使用され得る。
画像センサー14の出力は、アナログ信号プロセッサ(ASP)及びアナログ−デジタル変換(A/D)コンバーター16によってデジタル形式へ変換され、一時的にバッファーメモリー18の中に保管される。バッファーメモリー18の中に保管された画像データは、続いて、ファームウェアメモリー28の中に保管されているエンベットされたソフトウェアプロセッサ(例えば、ファームウェア)を使用して、プロセッサ20によって操作される。いくつかの実施例において、ソフトウェアプログラムは、読出し専用メモリー(ROM)を使用してファームウェアメモリーの中に永久に保管されている。他の実施例において、ファームウェアメモリー28は、例えば、フラッシュEPROMメモリーを使用して、変更され得る。そうした実施例において、外部デバイスは、有線インターフェイス38又は有線モデム50を使用して、ファームウェアメモリー28の中に保管されたソフトウェアプログラムを更新することができる。そうした実施例において、ファームウェアメモリー28は、また、画像センサー較正データ、ユーザー設定選択、および、カメラが電源オフされる際に保持されなければならない他のデータを保管するためにも使用され得る。いくつかの実施例において、プロセッサ20は、プログラムメモリー(図示なし)を含み、ファームウェアメモリー28の中に保管されたソフトウェアプログラムは、プロセッサ20によって実行される前にプログラムメモリーの中へとコピーされる。
プロセッサ20の機能は、シングルプログラム可能プロセッサを使用して、または、マルチプログラム可能プロセッサの使用によって提供されることが理解されよう。一つまたはそれ以上のデジタル信号プロセッサ(DSP)デバイスを含むものである。代替的に、プロセッサ20は、カスタム回路(例えば、デジタルカメラでの使用のために特別にデザインされた一つまたはそれ以上のカスタム集積回路(IC))、または、プログラム可能プロセッサとカスタム回路との組合せによって提供され得る。プロセッサ20と図1に示される種々のコンポーネントのいくつか又は全てのものとの間のコネクターは、共通のデータバスを使用して作成され得る。例えば、いくつかの実施例において、プロセッサ20と、バッファーメモリー18、ストレージメモリー30、および、ファームウェアメモリー28との間の接続が、共通のデータバスを使用して作成され得る。
処理された画像は、次に、ストレージメモリー30を使用して保管される。ストレージメモリー30は、当業者に知られているあらゆる形式のメモリーであってよいことが理解されるべきである。これらに限定されるわけではないが、取出し可能フラッシュメモリーカード、内部フラッシュメモリーチップ、磁気メモリー、または、光メモリーを含んでいる。いくつかの実施例において、ストレージメモリー30は、内部フラッシュメモリーチップと、セキュリティデジタル(SD)カードといった、取出し可能フラッシュメモリーカードへの標準インターフェイスの両方を含むことができる。代替的に、異なるメモリーカードフォーマットが使用され得る。マイクロSDカード、コンパクトフラッシュ(登録商標)(CF)カード、マルチメディアカード(MMC)、xDカード、または、メモリースティックといったものである。
画像センサー14は、タイミングジェネレーター12によってコントロールされており、列(row)とピクセルを選択し、ASPとA/Dコンバーター16のオペレーションを同期させるために種々のクロック信号を生成する。画像センサー14は、例えば、およそ4000×3000ピクセルの静止画像ファイルを生成するために12.4メガピクセル(4088×3040ピクセル)を有することができる。カラー画像を生成するために、画像センサーは一般的にカラーフィルターアレイ(array)を用いてオーバーレイされ、異なるカラーピクセルを含むピクセルのアレイを有する画像センサーを提供する。異なるカラーピクセルは、多くの異なるパターンで配置され得る。一つの実施例として、周知のバイヤー(Bayer)カラーフィルターアレイを使用して配置され得る。発明者バイヤー(Bayer)の米国特許第3971065号明細書、タイトル”Color imaging array“に記載されているようにである。第2の実施例として、異なるカラーピクセルが配置され得る。発明者コンプトン(Compton)とハミルトン(Hamilton)の米国特許公開第2007/0024931号公報、タイトル”Image sensor with improved light sensitibity“に記載されているようにである。これらの実施例は限定的なものではなく、多くの他のカラーパターンが使用されてよい。
画像センサー14、タイミングジェネレーター12、および、ASPとA/Dコンバーター16は、分離して集積回路を作り上げることができ、または、COMS画像センサーを用いて一般的に行われているように単一集積回路として作り上げられてもよい。いくつかの実施例において、この単一集積回路は、図1に示される他の機能のいくつかを実施例することができる。プロセッサ20によって提供される機能のいくつかを含むものである。
画像センサー14は、タイミングジェネレーター12によって第1のモードにおいて作動された場合に、より低解像度のセンサー画像データのモーションシーケンスを提供するのに有効である。画像を構成するために、ビデオ画像をキャプチャーする際に使用され、キャプチャーされるべき静止画像をプレビューする際にも使用される。このプレビューモードセンサー画像データは、HD解像度の画像データ、例えば、1280×720ピクセルを用いて提供され得る。または、VGA解像度の画像データ、例えば、640×480ピクセルを用いて、もしくは、画像センサーの解像度に比べて非常に少ないデータの行と列を有する他の解像度を使用して提供され得る。
プレビューモードセンサー画像データは、同一のカラーを有する隣接したピクセルの値を結合することにより、または、ピクセル値のいくつかを除去することにより、もしくは、他のカラーのピクセルの値を除去する一方でいくつかのカラーピクセルの値を結合することによって提供され得る。プレビューモード画像データは、発明者パラルスキーら(Prulski et al.)の米国特許第6292218号明細書、タイトル”Electric camera for initiating capture of still images while previewing motion images“に記載されているようにである。
画像センサー14は、また、、タイミングジェネレーター12によって第2のモードにおいて作動された場合に、より高解像度のセンサー画像データのモーションシーケンスを提供するのに有効である。この最終モードセンサー画像データは、高解像度出力画像データとして提供され、高い輝度レベルを有するシーンのために画像センサーの全てのピクセルを含んでおり、例えば、4000×3000ピクセルを有する12メガピクセルの最終画像データであり得る。より低い輝度レベルにおいて、最終センサー画像データは、画像センサー上のいくつかの数量の類似カラーピクセルを「ビニング(“binning“)」することによって提供され得る。信号レベルを増加するためであり、従って、センサーの「ISO速度(“ISOspeed“)」が増す。
ズームとフォーカスモータードリバー8は、プロセッサ20によって供給されるコントロール信号によってコントロールされ、好適な焦点距離を提供して、画像センサー上にシーンをフォーカスする。画像センサー14の露出レベルは、F値(f/number)と調整可能な絞り及び調整可能なシャッターの露出時間、タイミングジェネレーター12を介した画像センサーの露出期間、および、ASPとA/Dコンバーター16のゲイン設定(例えば、ISO速度)をコントロールすることによってコントロールされる。プロセッサ120は、また、シーンを照明することができるフラッシュ2もコントロールする。
デジタルカメラ10のレンズ4は、「スルーザレンズ(“through−the−lens”」オートフォーカスを使用することで第1モードにおいてフォーカスされ得る。発明者パラルスキーら(Prulski et al.)の米国特許第5668597号明細書、タイトル”Electronic Camera with Rapid Automatic Focus of an Image upon a Progressive Scan Image Sensor“に記載されているようにである。このことは、ズームとフォーカスドライバー8を使用して、レンズ4の焦点位置を近接焦点位置から無限大焦点位置の間の範囲の数多くの位置に対して調整することによって達成される。一方、プロセッサ20は、画像センサー14によってキャプチャーされた画像の中心部分に対して最大のシャープネス値(sharpness value)を提供する最も近い焦点位置を判断する。最も近い焦点位置に対応する焦点距離は、次に、好適なシーンモードの自動設定といった、いくつかの目的で使用され得るし、他のレンズとカメラの設定を伴なって、画像ファイルにおけるメタデータとして保管され得る。
プロセッサ20は、メニューと低解像度カラー画像を生成し、それらはディスプレイメモリー36の中に一時的に保管され、画像ディスプレイ32上に表示される。画像ディスプレイ32は、典型的には、アクティブマトリックスカラー液晶ディスプレイ(LCD)であるが、有機発光ダイオードディスプレイといった、他のタイプのディスプレイが使用され得る。ビデオインターフェイス44は、デジタルカメラ10からのビデオ出力信号を、フラットパネルHDTVディスプレイといった、ビデオディスプレイ46を提供する。プレビューモード、または、ビデオモードにおいて、バッファーメモリー18からのデジタル画像データは、プロセッサ20によって操作され、典型的にはカラー画像として、画像ディスプレイ32上に表示されるモーションプレビュー画像のシリーズを形成する。レビューモードにおいて、画像ディスプレイ32上に表示される画像は、ストレージメモリー30の中に保管されたデジタル画像ファイルから画像データを使用して生成される。
画像ディスプレイ32上に表示されるグラフィックユーザーインターフェイスは、ユーザーコントロール34によって提供されるユーザー入力に応じてコントロールされる。ユーザーコントロール34は、ビデオキャプチャーモード、静止画キャプチャーモード、および、レビューモードといった種々のカメラモードを選択するために、そして、静止画像のキャプチャーとモーション画像の記録を開始するために使用される。いくつかの実施例において、上記の第1モード(つまり、静止プレビューモード)は、ユーザーがシャッターボタンを部分的に押す際に開始される。これは、ユーザーコントロール34のうちの一つであり、ユーザーが完全にシャッターボタンを押す際に第2モード(つまり、静止画像キャプチャーモード)が開始される。ユーザーコントロール34は、また、カメラを電源オンし、レンズ4をコントロールし、そして、写真撮影プロセスを開始するためにも使用される。ユーザーコントロール34は、典型的には、ボタン、ロッカー(rocker)スイッチ、ジョイスティック、または、回転ダイアルのいくつかの組合せを含んでいる。いくつかの実施例において、ユーザーコントロール34のいくつかは、画像ディスプレイ32上にオーバーレイされたタッチスクリーンを使用して提供される。他の実施例において、追加のステータスディスプレイ又は画像ディスプレイが使用され得る。
ユーザーコントロール34を使用して選択することができるカメラモードは、「タイマー」モードを含んでいる。「タイマー」モードが選択された場合、ユーザーが完全にシャッターボタンを押してから、プロセッサ20が静止画像キャプチャーを開始するまでに短い遅延(例えば、10秒)が生じる。
プロセッサ20に接続された音声コーデック(codec)22は、マイクロフォン24から音声信号を受取り、音声信号をスピーカー26に対して提供する。これらのコンポーネントは、ビデオシーケンス又は静止画像と一緒に、音声トラックを記録してプレイバック(playback)することができる。デジタルカメラ10が、カメラと携帯電話の組合せといったマルチ機能デバイスである場合、電話での会話のためにマイクロフォン24とスピーカー26が使用され得る。
いくつかの実施例において、スピーカー26は、ユーザーインターフェイスの一部として使用され得る。例えば、ユーザーコントロールが押されたこと、または、所定のモードが選択されたことを示す種々の音声信号を提供する。いくつかの実施例において、マイクロフォン24、音声コーデック22、および、プロセッサ20は、音声認識を提供するために使用され、ユーザーは、ユーザーコントロール34より、むしろ、音声コマンドを使用してプロセッサ20に対してユーザー入力を提供することができる。スピーカー26は、また、電話の着信をユーザーに知らせるためにも使用され得る。このことは、ファームウェアメモリー28の中に保管されている標準のリングトーン(ring tone)を使用して、または、無線ネットワーク58からダウンロードされ、ストレージメモリー30の中に保管されたカスタムリングトーンを使用することによって行われ得る。加えて、着信電話の無音(例えば、非音声)の通知のためにバイブレーションデバイス(図示なし)が使用され得る。
いくつかの実施例において、デジタルカメラ10は、また、カメラのあらゆる動作に関するデータを提供する加速度計をも含んでいる。望ましくは、加速度計27は、3つの直交する方向のそれぞれ(合計6方向の入力について)に対して並進および回転加速度の両方を検知する。
プロセッサ20は、また、画像センサー14からの画像データの追加的な処理を提供する。表現されたsRGB画像データを生成するためであり、ストレージメモリー30における「完了」画像ファイル、よく知られたExif−JPEG画像ファイルといったもの、の中に圧縮され保管される。
デジタルカメラ10は、有線インターフェイス38を介してコンピューター40に接続されたインターフェイス/リチャージャー48に接続されている。コンピューターは、家又はオフィスにあるデスクトップコンピューター又はポータブルコンピューターであり得る。有線インターフェイス38は、例えば、よく知られたUSB2.0インターフェイス仕様に従うものでよい。インターフェイス/リチャージャー48は、有線インターフェイス38を介して、デジタルカメラ10の一式の再充電可能バッテリー(図示なし)に対して電力を供給することができる。
デジタルカメラ10は、無線モデム50を含み、ラジオ周波数帯52上で無線ネットワーク58とインターフェイスする。無線モデム50は、種々の無線インターフェイスプロトコルを使用することができる。よく知られたブルートゥース無線インターフェイス又はよく知られた802.11無線インターフェイスといったものである。コンピューター40は、インターネット70を介して、Kodak EasyShare Galleryといった、写真サービスプロバイダー72に画像をアップロードすることができる。他のデバイス(図示なし)は、写真サービスプロバイダー72によって保管された画像にアクセスすることができる。
代替の実施例において、無線モデム50は、ラジオ周波数(例えば、無線)リンク上で、3GSM(登録商標)ネットワークといった、携帯電話ネットワーク(図示なし)とコミュニケーションする。デジタルカメラ10からデジタル画像ファイルをアップロードするためにインターネット70と接続するものである。こうしたデジタル画像ファイルは、コンピューター40又は写真サービスプロバイダー72に提供され得る。
これから、図2に関して本発明が説明される。最初に、ビデオシーケンスキャプチャーステップ200において、画像センサー14を使用してデジタル画像シーケンス205をキャプチャーするために、デジタルカメラ10(図1)といったデジタルビデオキャプチャーデバイスが使用される。デジタルビデオシーケンス205は画像フレームのタイムシーケンスを含んでいる。
ビデオシーケンスキャプチャーステップ200の最中、画像センサー14を使用して参照画像215をキャプチャーするために参照画像キャプチャーステップ210が実行される。参照画像215は、所定の人間を含んでいる。参照画像215は、キャプチャーされたデジタルビデオシーケンス205からの画像フレームであってよく、参照画像215は、ユーザーコントロール34の使用を通じて選択され得る。例えば、ビデオキャプチャーの最中に、ユーザーは好適なユーザーコントロールボタンを押すことによって参照画像215のキャプチャーを要求することができる。ボタンは、バッファーメモリー18における現在のビデオフレームを参照画像215として指定するように、プロセッサ20に対して信号を送付する。参照画像215は、所定の興味の人間を含んでいる。望ましい実施例において、参照画像215は、十分な空間解像度で所定の人間の顔の前面を含んでおり、参照画像215から顔面特徴を決定することができる。いくつかの実施例において、参照画像215は、一人の人間を唯一含んでおり、所定の人間が、参照画像215における唯一の人間として特定される。他の実施例において、参照画像215は、複数の人間を含んでおり、所定の人間は多くの手段のうちのあらゆる一つによって選択され得る。最も大きな人間を選択、参照画像215の中心に最も近い人間を選択、視認できる最も大きな顔面をもった人間を選択、または、好適なユーザーインターフェイスを使用して手動で人間を選択(例えば、ポインティングデバイスを使用してユーザーに顔面を選択させることによる)を含んでいる。代替的に、参照画像215におけるそれぞれの人間が、所定の人間であることを指定され得る。いくつかの実施例において、所定の人間は、参照画像215に在る顔面を顔面認識データベースにおける既知の顔面と比較し、既知の顔面を選ぶことによって、選択され得る。他の実施例においては、ユーザーが手動で参照画像215の中に含まれる所定の人間を指定できるようにユーザーインターフェイスが提供される。
キャプチャーされたビデオシーケンス処理ステップ220は、ビデオ処理パス(path)を使用してキャプチャーされたデジタルビデオシーケンス205を処理して、デジタルビデオファイル225を形成する。ビデオ処理パスは、例えば、ビデオ圧縮ステップを含み得る。MPEG及びH.263規格において規定されているようにビデオ圧縮アルゴリズムは、当業者によく知られている。
デジタルビデオシーケンス205のキャプチャーの最中に、キャプチャーされた画像フレーム分析ステップ240は、所定の人間を含む画像フレーム245のサブセットを特定するために人間認識アルゴリズムを使用して、キャプチャーされたデジタルビデオシーケンス205における画像フレームを分析する。望ましい実施例において、人間認識アルゴリズムは、顔面認識アルゴリズムであってよい。キャプチャーされた画像フレーム分析ステップ240は、参照画像における所定の人間の顔面と同一の顔面を含んでいる画像フレームを特定する。顔面認識アルゴリズムは、よく知られた従来技術である。例えば、著者タークらの(Turk et al.)記事“Eigenfaces for Recognition”(Journal of Cognitive Neuroscience、Vol.3、pp.71−86、1991)は、本発明と一緒に使用することができる顔面認識アルゴリズムを記載している。代替的に、人間認識アルゴリズムは、画像フレームの中の人間を参照画像215における所定の人間と一致されるあらゆるアルゴリズムであってよい。こうしたアルゴリズムは、性別分類、身長見積り、および、衣服分析を含み、当業者にとって知られたそうしたアルゴリズムの中から選択され得る。
ビデオサマリー形成ステップ250は、キャプチャーされたデジタルビデオシーケンス205における全ての画像フレームより少ない画像フレームを含むビデオサマリー255を形成する。ビデオサマリー255は、所定の人間を含む画像フレーム245の特定されたサブセットの少なくとも一部を含んでいる。本発明の一つの実施例において、ビデオサマリー255は、所定の人間を含んでいるそれらの画像フレームだけを使用して形成される。
いくつかの実施例において、ビデオサマリー255は、所定の人間を含んでいる画像フレーム245のサブセットの一部のみを含んでいる。例えば、ビデオサマリー255は、規定の数量より少ない画像フレームを含むように制限され得る。代替的な実施例において、ビデオサマリー255は、画像フレーム245のサブセットにおける連続した画像フレームのそれぞれのグループから、一つの画像フレームを含むことができる。このようにして、ビデオサマリー255は、所定の人間を含んでいる画像フレーム245の特定されたサブセットから選択された一式の静止画像から成る「スライドショー(“slideshow”)」であり得る。
別の実施例において、ビデオ255は、また、所定の人間を含んでいる画像フレーム245の特定されたサブセットの他に、追加の画像フレームを含んでいる。本発明の一つの実施例において、追加の画像フレームは、所定の人間を含んでいる画像フレーム245の特定されたサブセットの中の画像フレームの直前又は直後の画像フレームを含んでいる。そうしたフレームは、例えば、遷移フレームとして、ビデオサマリー255の一つのセクションから別のセクションまでの遷移期間を許容するように選定される。そうしたフレームは、また、ビデオサマリー255がデジタルビデオファイル225から容易に抽出できる画像のグループを含むように、選定され得る。MPEGといったビデオ圧縮規格は、いくつかのフレームが独立して(他のフレームを参照することなく)エンコードされるように、ビデオシーケンスをエンコードする。そして、一時的なシーケンシャルフレームのいくつかのグループ又は画像のグループが、画像のグループの外のあらゆるフレームを参照することなくエンコードされるようにである。従って、こうした画像のグループを表している圧縮されたビデオデータは、圧縮されたビデオデータをデコードする必要なく、圧縮されたデジタルビデオファイル225から抽出され得るものである。
本発明の別の実施例において、追加の画像フレームは、キャプチャーされたデジタルビデオシーケンス205の重要な部分であると判断された他の部分を含んでいる。デジタルビデオシーケンス205のこうした他の重要な部分は、主要フレーム抽出、または、ビデオサマリーアルゴリズムを実行することにより特定され得る。こうしたアルゴリズムは、発明者ディーバー(Deever)の米国特許出願第2011/0292288号公報、タイトル“Method for determining key video frames”、2011年12月1日出版、および、発明者ディーバー(Deever)の米国特許出願第2011/0293018号公報、タイトル“Video summary method and system”において説明されている。
米国特許出願第2011/0293018号公報には、ビデオサマリーを形成する方法が開示されており、画像フレームが、特徴値を判断するためにキャプチャーの時点において分析される。こうした特徴値は、圧縮されたビデオシーケンスを解凍することなく分析される。ビデオサマリーを含む主要なビデオスニペット(snippet)を特定するためである。
米国特許出願第2011/0292288号公報には、主要なビデオスニペットを特定する方法が開示されており、キャプチャーの時点で判断された特徴値を使用して、デジタルビデオシーケンスが分析される。時間の関数として重要値を決定するためである。重要値は、デジタルビデオシーケンスに対するワープタイム(warped−time)表現を形成するために使用される。ワープタイム表現は、デジタルビデオシーケンスの中のいくつかのビデオシーケンスに対してより大きな時間的重み付けを与え、他のものに対してより小さな時間的重み付けを与える。ワープタイムデジタルビデオシーケンス表現は、一式の等しい時間インターバルへと分割される。主要フレームが、対応する時間的インターバルにおけるビデオフレームに関する特徴値を分析することによって、それぞれの時間的インターバルから選択される。そうしたクライテリアは、ズームイン工程の完了後に間もなく生じる主要ビデオフレームを選択すること、および、ビデオフレームの中心領域において並みのレベルのローカルな動作を有する主要なビデオフレームを選択することを含み得る。
いくつかの実施例において、主要なビデオフレームスニペットは、主要なビデオフレームのそれぞれを取り囲んでいる一式のビデオフレームを選択することによって形成され得る。例えば、主要なビデオスニペットは、主要なビデオフレームの前後2秒間のビデオフレームを選択することによって形成され得る。こうし、4秒間の長い主要なビデオスニペットを形成している。
代替的には、主要なビデオフレームフレームがランク付けされて、最も高くランク付けされた主要なビデオフレームに対応する主要なビデオフレームのサブセットだけに対して主要なビデオフレームスニペットが形成され得る。主要なビデオフレームをランク付けすることは、カメラ固定パターンを決定するためにデジタルビデオシーケンスを分析すること、および、カメラ固定パターンに応じて主要ビデオフレームをランク付けすることを含み得る。キャプチャー時点で判断されたグローバルな動作に対応する特徴値は、デジタルビデオシーケンスの全体を通してカメラの固定領域を示すグローバルな動作トレースを提供することができる。高い固定領域に対応しているビデオフレーム、つまり、ビデオキャプチャー全体の高い割合でカメラが固定された状態で居る領域は、高くランク付けされる。ランク付けプロセスは、それぞれのステップで最高位の次にランク付けされる主要なビデオフレームを選択することで、反復的に実行され得る。そして、それぞれのステップで、プロセスは、既にランク付けプロセスに含まれている固定領域を表している主要なビデオフレーム上の表現されていない固定領域を表している主要なビデオフレームを促進することができる。主要なビデオフレームがランク付けされると、主要なビデオスニペットの中に含まれるように、トップランクの主要なビデオフレームが選定され得る。こうしたビデオスニペットによって表された追加の画像フレームは、ビデオサマリーを形成するために、所定の人間を含んでいる画像フレームの特定されたサブセットと結合され得る。
デジタルビデオファイル保管ステップ230は、デジタルビデオファイル225をストレージメモリー30に保管し、保管されたデジタルビデオファイル235を生成する。ビデオサマリー表現保管ステップ260は、ストレージメモリー30の中にビデオサマリー表現265を保管する。一つの実施例において、ストレージメモリー30の中にビデオサマリー表現265を保管することは、ビデオサマリー255に対応するデジタルビデオシーケンスにおける画像フレームの指示を提供するフレーム識別メタデータを保管することを含んでいる。フレーム識別メタデータは、保管されたデジタルビデオフレーム235に関連して保管され得る。例えば、ビデオサマリー表現265は、保管されたデジタルビデオファイル235の中にビデオサマリーメタデータとして保管することができ、ビデオサマリーの中に含まれているスニペットに対応する一連の開始フレームおよび終了フレームを指示している。これにより、ビデオサマリー表現265を、フレーム識別メタデータを保管するために必要な少量のメモリーの他に、あらゆる追加の物理的メモリーを使用することなく保管することができる。ビデオサマリー255は、次に、従来のプレーヤーに対してトランスペアレントである間にビデオサマリーメタデータを理解する「スマート(“smart”)」ビデオプレーヤーを使用して再生され得る。
別の実施例において、ビデオサマリー表現265は、デジタルビデオファイルサマリーである。この実施例において、ビデオサマリー255は、保管されたビデオファイル235とは分離したデジタルビデオファイルとして保管される。この場合において、ビデオサマリー表現265は、保管されたデジタルビデオファイル235と独立して視聴又は共有することができるデジタルビデオファイルサマリーである。望ましい実施例では、保管されたビデオサマリー表現265は、標準のビデオプレーヤーを使用して再生されるように適合されたフォーマットでのデジタルビデオファイルサマリーである。
いくつかの実施例において、デジタルビデオファイルサマリーは、ビデオシーケンスのキャプチャーが完了した後に生成され得る。ビデオサマリーの所望のフレームは、保管されたビデオファイル235から抽出され得る。ビデオサマリーの所望のフレームが独立してエンコードされた画像のグループに対応して選択されている場合、デジタルビデオファイルサマリーは、圧縮されたビデオデータをデコードすることなく所望のフレームに対応する圧縮データを解凍することによって生成することができる。
いくつかの実施例において、デジタルビデオファイルサマリーは、デジタルビデオファイル225を形成するために使用されるものとは異なるビデオ処理パスを使用して、キャプチャーされたデジタルビデオシーケンス205の画像フレームから形成される。例えば、多くのビデオキャプチャーデバイスは、2つのビデオストリームを同時にキャプチャー及びエンコードすることができる。これらのデバイスにおいては、それぞれの画像フレームをキャプチャーするために、一つの画像センサー14が使用されている。そして、それぞれの画像フレームは、2つの異なる処理パスを使用して処理される。一つの処理パスは、デジタルビデオファイル225を生成することができる。第2の処理パスは、ビデオサマリー255を保管するために使用されるデジタルビデオファイルサマリーを生成し得る。第2の処理パスは、それぞれの画像フレームに係る空間解像度が低いバージョンを生成することができ、より低い解像度のビデオをエンコードすることができることにおいて、第1の処理パスとは異なっている。多くのビデオキャプチャーデバイスは、1080p解像度ビデオとQVGA解像度ビデオとを同時にキャプチャーすることができる。
図3は、2つの処理パスを有するビデオキャプチャー処理を示している。キャプチャーされた画像フレーム310は、第1のビデオ処理パス320と第2のビデオ処理パス330の両方に向けられる。第1のビデオ処理パス320は、第1の空間解像度での第1のエンコードされた画像フレーム350を提供する第1のビデオエンコーダーを含んでいる。第2のビデオ処理パス330は、第2の空間解像度を有する変更された画像フレーム370を生成する任意の画像リサイザー(resizer)360を含んでいる。第2のビデオ処理パス330は、また、変更された画像フレーム370をエンコードする第2のビデオエンコーダー380を含み、第2のエンコードされた画像フレーム390を提供する。当業者であれば、第1のビデオ処理パス320及び第2のビデオ処理パス330は、また、任意で他のビデオ処理プロセス300を含み得ることが離解されよう。色とトーン(tone)のスケール処理、ノイズ削減、シャープ化(sharpening)、および、画像安定化、といったものである。これらの他のビデオ処理ステップ300が最初に適用されるものとして示されているが、それらは、第1のビデオ処理パス320及び第2のビデオ処理パス330の中のいかなるポイントにおいても適用することができ、もしくは、さらに他のステップとの間に点在してよいことが認識されるべきである。当業者であれば、また、図3は、2つのビデオ処理パスが異なっている一つの可能なやり方を説明するものであり、本発明の範囲において他の相違も可能であることを理解するであろう。
デジタルビデオファイル255(図2)を形成するために使用されたものとは異なるビデオ処理パスを使用して、デジタルビデオファイル225と同時に、デジタルビデオファイルサマリーを生成することができる。図4は、図3で示されたやり方のバリエーションを示しており、2つのビデオファイルを同時に生成するために使用され得る。図3のように、それぞれのキャプチャーされた画像フレーム310は、第1のエンコードされた画像フレーム350を生成するための第1のビデオエンコーダー340を含んでいる第1のビデオ処理パス320に向けられる。第1のエンコードされた画像フレーム350は、デジタルビデオファイル225の中に含まれる。
キャプチャーされた画像フレーム310は、また、第2のビデオ処理パス430にも向けられる。第2のビデオ処理パス430は、所定の人間を含む画像検査460の追加を除いて、図3における第2のビデオ処理パス330と類似している。、所定の人間を含む画像検査460は、画像が所定の人間を含んでいるかどうかを参照画像215から判断するためにキャプチャーされた画像フレーム310を分析する人間認識アルゴリズムを使用する。含んでいない場合、キャプチャーされた画像フレーム310は、画像廃棄ステップ470を使用して廃棄される。所定の人間がキャプチャーされた画像フレーム310の中に存在する場合、処理は、変更された画像フレーム370を決定するために画像リサイザー360に進み、そして、第2のエンコードされた画像フレーム390を提供するために第2のビデオエンコーダー380に進む。第2のエンコードされた画像フレーム390は、デジタルビデオファイルサマリーの中に含まれている。代替的な実施例では、画像リサイザー360は、第2のビデオ処理パスにおいてより早く適用され得る。所定の人間を含む画像検査460の以前にである。他の実施例において、画像リサイザー360は、第2の処理パス430の中には全く存在しなくてもよい。
図4に示された第1のビデオ処理パス320及び第2のビデオ処理パス430は、2つの分離したビデオファイルを生成するために使用される。第1のビデオファイル(デジタルビデオファイル225)は、全てのキャプチャーされた画像フレーム310を含んでおり、第1の空間解像度でエンコードされる。第2のビデオファイル(デジタルビデオファイルサマリー)は、所定の興味の人間を含んでいるキャプチャーされた画像フレーム310だけを含んでおり、第2の空間解像度でエンコードされる。第2のビデオファイルは、第1のビデオファイルを用いて同時に形成される。
代替的に、デジタルビデオファイルサマリーは、デジタルビデオファイルを用いて部分的にだけ同時に形成され得る。図4において説明されるように、最初のデジタルビデオファイルサマリーが生成され得る。キャプチャーが完了した後で、デジタルビデオファイルサマリーは、保管されたデジタルビデオから抽出された追加のデータを用いて増加され得る。この場合、デジタルビデオファイルサマリーは、第2のビデオ処理パスによって元々エンコードされていない画像フレームを含むように拡張することができる。これにより、キャプチャー後のデジタルビデオファイルサマリー全体を形成することによるよりも早くデジタルビデオファイルサマリーを生成することができる。
図5は、本発明の代替的な実施例を示している。この場合、所定の人間を含んでいる参照画像215は、ビデオシーケンスキャプチャーステップ200と供に同時にキャプチャーされないで、むしろ、独立した参照画像キャプチャーステップ510においてキャプチャーされる。参照画像キャプチャーステップは、ビデオシーケンスキャプチャーステップ200の前後のいずれで実行されてもよい。参照画像215は、静止キャプチャーモードにおいて獲得された一つの画像であってよく、または、存在しているキャプチャーされたデジタルビデオシーケンスからの画像フレームであってもよい。いくつかの実施例において、デジタルビデオカメラは、デジタルビデオカメラの所有者にとっての一式の興味の人間に対応する一式の人間画像を保管することができる(例えば、それぞれの家族メンバーに対する人間画像が保管され得る)。そして、好適なユーザーインターフェイスを使用して、一式の人間画像から参照画像215が選択される(例えば、既定の人間の名前のリスト)。参照画像215は、デジタルビデオカメラ10上にキャプチャーされ得るし、または、代替的に、分離した画像キャプチャーデバイス上にキャプチャーされてデジタルビデオカメラ10の中にインポート(import)され得る。
いくつかの実施例においては、所定の人間の異なるビューを含んでいる複数の参照画像215が指定され得る。キャプチャーされた画像フレーム分析ステップ240は、画像フレームが所定の人間を含んでいるかどうかをより信頼性を持って判断できるようにするために、複数の参照画像215を使用することができる。
いくつかの実施例において、キャプチャーされた画像フレーム分析ステップ240は、ビデオシーケンスキャプチャーステップ200と同時に行われる。デジタルビデオファイル225の生成と同時にビデオサマリー255を形成するようにである。他の実施例において、ビデオサマリー255は、デジタルビデオファイル225がキャプチャーされ保管された後で実行されるポスト処理オペレーションを使用して形成され得る。いくつかの場合において、キャプチャーされた画像フレーム分析ステップ240は、デジタルカメラ上で実行され得る。代替的には、キャプチャーされたデジタルビデオファイル235が、ホストコンピューターといった、ある別のデバイス上にロードされた後で実行されてもよい。図5における残りのエレメントは、図2に係る実施例において示されたものと同等のものである。
図6に関して本発明の代替的な実施例がこれから説明される。この場合においては、参照画像215に基づいてキャプチャーされた画像フレームを分析するよりむしろ、キャプチャーされた画像フレーム分析ステップ640は、興味の特徴を示している一式の参照データ615に基づいて画像フレーム245のサブセットを選択する。興味の特徴は、参照データ指定ステップ610において指定される。図6における残りのエレメントは、図2に係る実施例において示されたものと同等のものである。
この参照データ615は、多くの形式であり得る。いくつかの実施例において、参照データ615は、興味の特徴のテキスト表現であってよい。例えば、参照データ615は、個人、対象物、場所、または、イベントの名前であってよい。いくつかの実施例において、参照データ615は、興味の特徴の数学的表現であってよい。例えば、参照データ615は、色ヒストグラム、固有値、または、あらゆる他の特徴ベクトルであってよい。当業者であれば、本発明の範囲内で数多くの画像情報が表現され得るやり方があることを認識するであろう。いくつかの実施例において、参照データ615は、非画像情報と関連してよい。例えば、参照データ615は、音声信号、グローバルポジショニングシステム(GPS)データ、自動焦点データ、自動露出データ、自動ホワイトバランスデータ、加速度データ、ジャイロスコープデータ、または、赤外線センサーデータであってよい。当業者であれば、情報のタイプには幅広い種類があり、画像フレーム245のサブセットを特定するためのキャプチャーされた画像フレーム分析ステップ640による使用のための参照データ615として提供され得ることを認識するであろう。
デジタルビデオシーケンス205のキャプチャーの最中に、キャプチャーされた画像フレーム分析ステップ640は、特徴認識アルゴリズムを使用してデジタルビデオシーケンス205の中の画像フレームを分析し、参照データ615によって指定されたように興味の特徴を含む画像フレームのサブセットを特定する。例えば、参照データ615によって指定された興味の特徴が、以前に指定された参照顔面画像に対する所定の名前の人間である場合、参照顔面画像に関する画像フレームを分析することによって、画像フレームが所定の名前の人間を含むかを判断するために、顔面認識アルゴリズムが使用され得る。別の実施例においては、参照データ615によって指定された興味の特徴がイベントラベル(例えば、「ゴルフスイング」)である場合、画像フレームが指定されたイベントに対応するかを判断するために特徴認識アルゴリズムが使用され得る。いくつかの場合、特徴認識アルゴリズムは、好適なイベントラベルを判断するために一連の画像フレームを分析する必要がある(例えば、どの画像フレームがゴルフスイングの動作特性を含んでいるかを検知するためである)。別の実施例では、参照データ615によって指定された興味の特徴が対象物ラベル(例えば、「くじら」)である場合、画像フレームが指定された対象物を含むかを判断するために特徴認識アルゴリズムが使用され得る。これらの全ての実施例は、キャプチャーの時に興味の特徴を特定することができる状況であり、画像フレームのサブセット245をビデオサマリーに含めるかを判断する。
いくつかの実施例において、参照データ615によって指定された興味の特徴は、画像フレームに関する一般的な特性に対応してよい。例えば、参照データ615によって指定された興味の特徴は、関連するカメラ動作が少ない画像フレームであり得る。この場合、特徴認識アルゴリズムは、ジャイロスコープデータ、加速度データ、または、指定されたカメラ動作条件を満たしている画像フレームを特定するための画像ベースの動作見積りデータが使用され得る。同様に、参照データ615によって指定された興味の特徴は、カメラのズーム工程を追いかける画像フレームであってよい。この場合、ズームレンズデータ又は画像ベースのズーム見積りデータを分析するために特徴認識アルゴリズムが使用され、カメラズームがちょうど完了したところの画像フレームを特定し得る。別の実施例において、参照データ615によって指定された興味の特徴は、シーンにおいて大規模な対象物動作を伴う画像フレームであってよい。この場合、シーンにおる対象物動作の量を定量化するために特徴認識アルゴリズムが使用され、対象物動作条件を満たしている画像フレームを特定することができる。当業者であれば、これらは、本発明の範囲内にある多くの興味の特徴および特徴認識アルゴリズムの実施例に過ぎないことを理解するであろう。
コンピュータープログラム製品は、一つまたはそれ以上のストレージ媒体を含み得る。例えば、磁気ディスク(フロッピー(登録商標)ディスクといったもの)又は磁気テープといった磁気ストレージ媒体;光ディスク、光テープ、または、機械で読取り可能なバーコードといった光ストレージ媒体;ランダムアクセスメモリー(RAM)、または、読み出し専用メモリー(ROM)といった半導体電子ストレージデバイス;もしくは、本発明に従った方法を実行するように一つまたはそれ以上のコンピューターをコントロールするためのインストラクションを有するコンピュータープログラムを保管するために使用される、あらゆる他の物理的デバイス又は媒体、である。
2 フラッシュ
4 レンズ
6 調整可能な絞りと調整可能なシャッター
8 ズームとフォーカスモータードライバー
10 デジタルカメラ
12 タイミングジェネレーター
14 画像センサー
16 ASPおよびA/Dコンバーター
18 バッファーメモリー
20 プロセッサ
22 音声コーデック
24 マイクロフォン
25 圧力センサー
26 スピーカー
27 加速度計
28 ファームウェアメモリー
30 ストレージメモリー
32 画像ディスプレイ
34 ユーザーコントロール
36 ディスプレイメモリー
38 有線インターフェイス
40 コンピューター
42 傾きセンサー
44 ビデオインターフェイス
46 ビデオディスプレイ
48 インターフェイス/リチャージャー
50 無線モデム
52 ラジオ周波数帯
58 無線ネットワーク
70 インターネット
72 写真サービスプロバイダー
200 ビデオシーケンスをキャプチャーする
205 デジタルビデオシーケンス
210 参照画像をキャプチャーする
215 参照画像
220 キャプチャーされたビデオシーケンスを処理
225 デジタルビデオファイル
230 デジタルビデオファイルを保管する
235 保管されたデジタルビデオファイル
240 キャプチャーされた画像フレームを分析する
245 画像フレームのサブセット
250 ビデオサマリーを形成する
255 ビデオサマリー
260 ビデオサマリーの表現を保管する
265 ビデオサマリーの表現
300 他のビデオ処理ステップ
310 キャプチャーされた画像フレーム
320 第1のビデオ処理パス
330 第2のビデオ処理パス
340 第1のビデオエンコーダー
350 第1のエンコードされた画像フレーム
360 画像リサイザー
370 変更された画像フレーム
380 第2のビデオエンコーダー
390 第2のエンコードされた画像フレーム
430 第2のビデオ処理パス
460 所定の人間を含む画像検査
470 画像廃棄ステップ
510 参照画像キャプチャーステップ
610 参照データ指定ステップ
615 参照データ
640 キャプチャーされた画像フレーム分析ステップ

Claims (13)

  1. デジタル画像をキャプチャーするように構成された画像センサーと;
    処理回路と、を含むシステムであって:
    前記処理回路は、
    前記画像センサーから一連の画像フレームを含んでいるビデオシーケンスを受取り、
    前記ビデオシーケンスから分離した参照データを指定し、前記参照データは興味の特徴を示し、かつ、前記興味の特徴は所望の特性を含んでおり、
    前記ビデオシーケンスを受取っている最中に、前記興味の特徴および前記所望の特性を含む前記画像フレームのサブセットを特定するために前記画像フレームを分析し、
    前記ビデオシーケンスのビデオサマリーを形成し、前記ビデオサマリーは、前記興味の特徴および前記所望の特性を含んでいる画像フレームの前記サブセットの一部を含み、
    前記ビデオサマリーは、前記ビデオシーケンスと並行して同時に生成される、
    ように構成されている、
    ことを特徴とするシステム。
  2. 前記システムは、さらに、
    前記ビデオシーケンスを保管するように構成されたメモリーを含み、
    前記処理回路は、さらに、
    前記ビデオサマリーと前記ビデオシーケンスを前記メモリーの中に保管するように構成されている、
    請求項1に記載のシステム。
  3. 前記ビデオサマリーは、前記ビデオシーケンスから分離したファイルとして保管される、
    請求項2に記載のシステム。
  4. 前記処理回路は:
    前記ビデオサマリーを処理するように構成された第1の処理パスと;
    前記ビデオシーケンスを処理するように構成された第2の処理パスと、を含み、
    前記第の処理パスでは、前記第の処理パスより画像フレームの解像度が低い、
    請求項に記載のシステム。
  5. 前記処理回路は、さらに、
    前記ビデオシーケンスの中の追加のフレームを特定し、
    前記追加のフレームを前記ビデオサマリーに追加する、
    ように構成されており、
    前記追加のフレームは、前記興味の特徴を含んでいる前記画像フレームのサブセットの直前又は直後に位置するフレームを含む、
    請求項2に記載のシステム。
  6. 前記追加のフレームは、圧縮されたビデオシーケンスの中で独立してエンコードされる、
    請求項5に記載のシステム。
  7. 前記所望の特性は、カメラ動作特性、カメラズーム特性、または、対象物動作特性のうち、少なくとも一つを含む、
    請求項1に記載のシステム。
  8. 前記参照データは、前記興味の特徴を含んでいる参照画像、または、前記興味の特徴のテキスト表現のうち、少なくとも一つを含む、
    請求項1に記載のシステム。
  9. コンピューターデバイスによって、画像センサーから一連の画像フレームを含んでいるビデオシーケンスを受取るステップと;
    前記コンピューターデバイスによって、前記ビデオシーケンスから分離した参照データを指定するステップであり、前記参照データは前記画像フレームに関する興味の特徴を示し、かつ、前記興味の特徴は所望の特性を含んでいる、ステップと;
    前記コンピューターデバイスによって、前記ビデオシーケンスを受取る際に、前記興味の特徴および前記所望の特性を含んでいる前記画像フレームのサブセットを特定するために前記画像フレームを分析するステップと;
    前記コンピューターデバイスによって、前記ビデオシーケンスのビデオサマリーを形成するステップであり、前記ビデオサマリーは、前記興味の特徴および前記所望の特性を含んでいる画像フレームの前記特定されたサブセットの一部を含むステップと、を含み、
    前記ビデオサマリーは、前記ビデオシーケンスと並行して同時に生成される、
    ことを特徴とする方法。
  10. 前記方法は、さらに、
    前記コンピューターデバイスによって、前記ビデオサマリー及び前記ビデオシーケンスをメモリーの中に保管するステップ、を含む、
    請求項9に記載の方法。
  11. 前記方法は、さらに、
    前記コンピューターデバイスによって、前記ビデオシーケンスの中の追加のフレームを特定するステップであり、前記追加のフレームは、前記興味の特徴を含んでいる前記画像フレームのサブセットの直前又は直後に位置するフレームを含んでいるステップと、
    前記コンピューターデバイスによって、前記追加のフレームを前記ビデオサマリーに追加するステップと、を含む、
    請求項10に記載の方法。
  12. インストラクションが保管されたコンピューターで読取り可能な固定の媒体であって、前記インストラクションは:
    画像センサーから一連の画像フレームを含んでいるビデオシーケンスを受取るためのインストラクションと、
    前記ビデオシーケンスから分離した参照データを指定するためのインストラクションであり、前記参照データは前記画像フレームに関する興味の特徴を示し、かつ、前記興味の特徴は所望の特性を含んでいる、インストラクションと、
    前記ビデオシーケンスを受取る際に、前記興味の特徴および前記所望の特性を含んでいる前記画像フレームのサブセットを特定するために前記画像フレームを分析するインストラクションと、
    前記ビデオシーケンスのビデオサマリーを形成するインストラクションであり、前記ビデオサマリーは、前記興味の特徴および前記所望の特性を含んでいる画像フレームの前記特定されたサブセットの一部を含むインストラクションと、を含み、
    前記ビデオサマリーは、前記ビデオシーケンスと並行して同時に生成される、
    ことを特徴とするコンピューターで読取り可能な固定の媒体。
  13. 前記媒体は、さらに、
    前記ビデオサマリー及び前記ビデオシーケンスをメモリーの中に保管するインストラクション、を含む、
    請求項12に記載のコンピューターで読取り可能な固定の媒体。
JP2014511511A 2011-05-18 2012-05-17 興味の特徴を含むビデオサマリー Active JP5857122B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US13/110,085 2011-05-18
US13/110,085 US8665345B2 (en) 2011-05-18 2011-05-18 Video summary including a feature of interest
PCT/US2012/038233 WO2012158859A1 (en) 2011-05-18 2012-05-17 Video summary including a feature of interest

Publications (2)

Publication Number Publication Date
JP2014516222A JP2014516222A (ja) 2014-07-07
JP5857122B2 true JP5857122B2 (ja) 2016-02-10

Family

ID=46197692

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014511511A Active JP5857122B2 (ja) 2011-05-18 2012-05-17 興味の特徴を含むビデオサマリー

Country Status (6)

Country Link
US (1) US8665345B2 (ja)
EP (1) EP2710594B1 (ja)
JP (1) JP5857122B2 (ja)
CN (1) CN103620682B (ja)
TW (1) TWI554096B (ja)
WO (1) WO2012158859A1 (ja)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140359447A1 (en) * 2012-01-31 2014-12-04 Nokia Corporation Method, Apparatus and Computer Program Product for Generation of Motion Images
US9076043B2 (en) * 2012-08-03 2015-07-07 Kodak Alaris Inc. Video summarization using group sparsity analysis
US20140152777A1 (en) * 2012-12-01 2014-06-05 Csr Techology Inc. Camera having additional functionality based on connectivity with a host device
US10079968B2 (en) 2012-12-01 2018-09-18 Qualcomm Incorporated Camera having additional functionality based on connectivity with a host device
WO2014183004A1 (en) * 2013-05-10 2014-11-13 Robert Bosch Gmbh System and method for object and event identification using multiple cameras
EP2816564B1 (en) * 2013-06-21 2020-07-22 Nokia Technologies Oy Method and apparatus for smart video rendering
WO2015154033A1 (en) 2014-04-04 2015-10-08 The Arizona Board Of Regents On Behalf Of The University Of Arizona Compressive sensing systems and related methods
US9813611B2 (en) * 2014-05-21 2017-11-07 Google Technology Holdings LLC Enhanced image capture
US10664687B2 (en) 2014-06-12 2020-05-26 Microsoft Technology Licensing, Llc Rule-based video importance analysis
US10089364B2 (en) * 2014-10-31 2018-10-02 Kabushiki Kaisha Toshiba Item recommendation device, item recommendation method, and computer program product
US9953187B2 (en) * 2014-11-25 2018-04-24 Honeywell International Inc. System and method of contextual adjustment of video fidelity to protect privacy
TWI554090B (zh) * 2014-12-29 2016-10-11 財團法人工業技術研究院 產生多媒體影音摘要的系統與方法
CN104504733A (zh) * 2014-12-31 2015-04-08 云智视像科技(上海)有限公司 一种基于运动目标检测的视频摘要方法和系统
US9729562B2 (en) 2015-03-02 2017-08-08 Harris Corporation Cross-layer correlation in secure cognitive network
IN2015CH01602A (ja) 2015-03-28 2015-04-24 Wipro Ltd
WO2016174524A2 (en) * 2015-04-29 2016-11-03 Tomtom International B.V. Data processing systems
KR20170029893A (ko) * 2015-09-08 2017-03-16 한화테크윈 주식회사 이벤트를 보존하는 비디오 축약 방법 및 이를 위한 장치
CN105187801A (zh) * 2015-09-17 2015-12-23 桂林远望智能通信科技有限公司 一种摘要视频的生成系统及方法
US20170127150A1 (en) * 2015-11-04 2017-05-04 Ubitus Inc. Interactive applications implemented in video streams
US20170148488A1 (en) * 2015-11-20 2017-05-25 Mediatek Inc. Video data processing system and associated method for analyzing and summarizing recorded video data
KR101952298B1 (ko) * 2016-02-26 2019-06-11 아마존 테크놀로지스, 인크. 오디오/비디오 레코딩 및 통신 디바이스로부터의 비디오 장면의 공유
WO2018076380A1 (zh) * 2016-10-31 2018-05-03 华为技术有限公司 在电子设备中生成视频缩略图的方法及电子设备
KR101938667B1 (ko) * 2017-05-29 2019-01-16 엘지전자 주식회사 휴대 전자장치 및 그 제어 방법
CN109213895A (zh) * 2017-07-05 2019-01-15 合网络技术(北京)有限公司 一种视频摘要的生成方法及装置
CN108156477A (zh) * 2018-01-05 2018-06-12 上海小蚁科技有限公司 视频数据采集方法、点播方法及装置、存储介质、拍摄终端、用户终端
CN110798752A (zh) * 2018-08-03 2020-02-14 北京京东尚科信息技术有限公司 用于生成视频摘要的方法和系统
CN109413510A (zh) * 2018-10-19 2019-03-01 深圳市商汤科技有限公司 视频摘要生成方法和装置、电子设备、计算机存储介质
CN111432121A (zh) * 2020-03-30 2020-07-17 Oppo广东移动通信有限公司 生成方法、电子装置和存储介质

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3971065A (en) 1975-03-05 1976-07-20 Eastman Kodak Company Color imaging array
US5493335A (en) 1993-06-30 1996-02-20 Eastman Kodak Company Single sensor color camera with user selectable image record size
US5828406A (en) 1994-12-30 1998-10-27 Eastman Kodak Company Electronic camera having a processor for mapping image pixel signals into color display pixels
US5668597A (en) 1994-12-30 1997-09-16 Eastman Kodak Company Electronic camera with rapid automatic focus of an image upon a progressive scan image sensor
US5956026A (en) 1997-12-19 1999-09-21 Sharp Laboratories Of America, Inc. Method for hierarchical summarization and browsing of digital video
US20040125877A1 (en) * 2000-07-17 2004-07-01 Shin-Fu Chang Method and system for indexing and content-based adaptive streaming of digital video content
US20030118329A1 (en) 2001-12-21 2003-06-26 Pere Obrador Video indexing using high resolution still images
US6992707B2 (en) 2002-03-06 2006-01-31 Hewlett-Packard Development Company, L.P. Delayed encoding based joint video and still image pipeline with still burst mode
US7035435B2 (en) 2002-05-07 2006-04-25 Hewlett-Packard Development Company, L.P. Scalable video summarization and navigation system and method
US7224746B2 (en) 2002-12-31 2007-05-29 Teradyne, Inc Pre-compensation for digital bit streams
US7483618B1 (en) 2003-12-04 2009-01-27 Yesvideo, Inc. Automatic editing of a visual recording to eliminate content of unacceptably low quality and/or very little or no interest
US8098290B2 (en) * 2004-01-30 2012-01-17 Siemens Corporation Multiple camera system for obtaining high resolution images of objects
JP2006163746A (ja) * 2004-12-06 2006-06-22 Pioneer Electronic Corp 情報処理装置、その方法、および、そのプログラム
JP4543971B2 (ja) * 2005-03-07 2010-09-15 ソニー株式会社 符号化方法、符号化装置、符号化処理のプログラム及び符号化処理のプログラムを記録した記録媒体
JP4483695B2 (ja) * 2005-05-16 2010-06-16 ソニー株式会社 撮像システム、システム制御方法
JP2006345364A (ja) * 2005-06-10 2006-12-21 Matsushita Electric Ind Co Ltd セグメントメタデータ生成装置及び方法
US8139130B2 (en) 2005-07-28 2012-03-20 Omnivision Technologies, Inc. Image sensor with improved light sensitivity
WO2007073347A1 (en) * 2005-12-19 2007-06-28 Agency For Science, Technology And Research Annotation of video footage and personalised video generation
US20070226624A1 (en) * 2006-02-23 2007-09-27 Peker Kadir A Content-based video summarization using spectral clustering
BRPI0708456A2 (pt) * 2006-03-03 2011-05-31 Koninkl Philips Electronics Nv method for providing a multi-image summary, device adapted to generate a multi-image summary, system, computer executable program code, and data bearer
US7675550B1 (en) 2006-04-28 2010-03-09 Ambarella, Inc. Camera with high-quality still capture during continuous video capture
JP2008011284A (ja) * 2006-06-30 2008-01-17 Fujitsu Ltd 画像処理回路、撮像回路および電子機器
JP2008085874A (ja) * 2006-09-28 2008-04-10 Toshiba Corp 人物監視システムおよび人物監視方法
WO2008062864A1 (en) 2006-11-24 2008-05-29 Nec Corporation Virtual machine locating system, virtual machine locating method, program, virtual machine management device and server
JP2009010839A (ja) * 2007-06-29 2009-01-15 Victor Co Of Japan Ltd 画像データ再生装置および画像データ再生方法
US20090003799A1 (en) * 2007-06-29 2009-01-01 Victor Company Of Japan, Ltd. Method for apparatus for reproducing image data
JP2009077026A (ja) * 2007-09-19 2009-04-09 Fujifilm Corp 撮影装置および方法並びにプログラム
JP4548493B2 (ja) * 2008-02-19 2010-09-22 カシオ計算機株式会社 撮像装置、動画生成方法及びプログラム
JP2009206841A (ja) * 2008-02-28 2009-09-10 Panasonic Corp コンテンツ再生システムおよびコンテンツ再生プログラム
JP4737228B2 (ja) * 2008-05-07 2011-07-27 ソニー株式会社 情報処理装置、情報処理方法およびプログラム
JP5517435B2 (ja) * 2008-10-22 2014-06-11 キヤノン株式会社 自動合焦装置および自動合焦方法、ならびに、撮像装置
JP4620150B2 (ja) * 2008-10-23 2011-01-26 株式会社東芝 電子機器および映像処理方法
JP2010219607A (ja) * 2009-03-13 2010-09-30 Panasonic Corp ターゲットフレーム抽出装置、撮像装置およびデジタルカメラ
JP5369947B2 (ja) * 2009-07-09 2013-12-18 ソニー株式会社 撮像装置、画像処理方法及びプログラム
JP4849174B2 (ja) * 2010-02-19 2012-01-11 カシオ計算機株式会社 撮像装置、動画生成方法及びプログラム
US8446490B2 (en) * 2010-05-25 2013-05-21 Intellectual Ventures Fund 83 Llc Video capture system producing a video summary
US8599316B2 (en) 2010-05-25 2013-12-03 Intellectual Ventures Fund 83 Llc Method for determining key video frames
US8432965B2 (en) 2010-05-25 2013-04-30 Intellectual Ventures Fund 83 Llc Efficient method for assembling key video snippets to form a video summary

Also Published As

Publication number Publication date
US8665345B2 (en) 2014-03-04
CN103620682A (zh) 2014-03-05
CN103620682B (zh) 2016-10-12
US20120293686A1 (en) 2012-11-22
TWI554096B (zh) 2016-10-11
WO2012158859A1 (en) 2012-11-22
TW201251443A (en) 2012-12-16
EP2710594B1 (en) 2016-07-20
JP2014516222A (ja) 2014-07-07
EP2710594A1 (en) 2014-03-26

Similar Documents

Publication Publication Date Title
US10367997B2 (en) Enriched digital photographs
US9462181B2 (en) Imaging device for capturing self-portrait images
US9686469B2 (en) Automatic digital camera photography mode selection
TWI538505B (zh) 具有可變期間叢發模式之數位相機
JP4768028B2 (ja) 画像キャプチャの方法およびデバイス
JP5398408B2 (ja) カメラ、カメラの制御方法、表示制御装置、および表示制御方法
JP5444562B2 (ja) シャッター信号の前及び後に画像の取り込み及び整理をするデジタルカメラ
US8666223B2 (en) Electronic apparatus and image data management method
JP4645685B2 (ja) カメラ、カメラ制御プログラム及び撮影方法
US8350892B2 (en) Image pickup apparatus, image pickup method, playback control apparatus, playback control method, and program
US8064656B2 (en) Image processing apparatus, imaging apparatus, image processing method, and computer program
US8199213B2 (en) Method for selecting desirable images from among a plurality of images and apparatus thereof
KR100811796B1 (ko) 휴대 단말기 및 그의 초점 정보를 이용한 영상 표시 방법
JP5350928B2 (ja) カメラ及びカメラの制御方法
JP2013225327A (ja) カメラへのユーザ入力に基づく画像値インデックス
JP4340806B2 (ja) 画像処理装置、方法及びプログラム
JP5685732B2 (ja) 映像抽出装置、プログラム及び記録媒体
US20140184852A1 (en) Method and apparatus for capturing images
KR101624648B1 (ko) 장면에 따른 해상도 및 화질 변경 기능을 갖는 디지털 영상 신호 처리 방법, 상기 방법을 기록한 기록 매체, 디지털 영상 처리 장치
US8260090B2 (en) Information processing apparatus, imaging apparatus, image display control method and computer program
US7417667B2 (en) Imaging device with function to image still picture during moving picture imaging
JP5364573B2 (ja) 不完全なデータからの評価指標
EP2385692A1 (en) Display control device, display control method and program
JP4730402B2 (ja) 撮像装置、撮像制御方法及びプログラム
JP5056061B2 (ja) 撮像装置

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20141128

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20141209

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150225

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150609

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150907

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151117

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151214

R150 Certificate of patent or registration of utility model

Ref document number: 5857122

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250