JP6784032B2 - 符号化装置、符号化方法、プログラム、及び画像処理システム - Google Patents
符号化装置、符号化方法、プログラム、及び画像処理システム Download PDFInfo
- Publication number
- JP6784032B2 JP6784032B2 JP2016031217A JP2016031217A JP6784032B2 JP 6784032 B2 JP6784032 B2 JP 6784032B2 JP 2016031217 A JP2016031217 A JP 2016031217A JP 2016031217 A JP2016031217 A JP 2016031217A JP 6784032 B2 JP6784032 B2 JP 6784032B2
- Authority
- JP
- Japan
- Prior art keywords
- region
- interest
- image
- face
- representative
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
本発明は、符号化装置、符号化方法、プログラム、及び画像処理システムに関する。
近年、撮像装置の高性能化に伴い、取得される画像の画質も向上している。一方、画質の高い画像ほどファイル容量は大きくなる傾向がある。このため、画像を効率的に圧縮するための種々の方法が提案されている。上記のような方法を適用した装置には、例えば、特許文献１に記載の撮像装置がある。
特許文献１に記載の撮像装置では、画像中の特定領域に他の領域よりも多くの符号量を与えることで、当該特定領域の画質を高く保ちながら画像全体の符号量を抑える方法を用いている。しかし、特許文献１に記載の撮像装置では、ユーザにとって価値の高い画像情報を提供することが困難な場合がある。
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、画像全体の符号量を抑えながら、より価値の高い画像情報をユーザに提供することが可能な、新規かつ改良された符号化装置、符号化方法、プログラム、及び画像処理システムを提供することにある。
上記課題を解決するために、本発明のある観点によれば、画像に含まれる関心領域を検出し前記関心領域と領域ＩＤとを関連付ける検出部と、前記領域ＩＤと関連付いた前記関心領域の視認性スコアを算出する算出部と、前記視認性スコアに基づいて前記領域ＩＤごとの代表的な前記関心領域を判定する判定部と、前記画像を符号化する符号化部と、を備え、前記検出部は、判定対象とする前記関心領域の前記位置データと、時系列に沿った直前時刻の前記画像に含まれる前記関心領域の位置データと、に基づいて、前記判定対象とする前記関心領域と、前記直前時刻の前記画像に含まれる前記関心領域と、が同一の被写体を含むと判定した場合、前記判定対象とする前記関心領域に対し、前記直前時刻の前記画像に含まれる前記関心領域と同一の前記領域ＩＤを関連付け、前記符号化部は、順次算出される前記視認性スコアに基づいて前記領域ＩＤごとに決定される前記代表的な前記関心領域のみを、同一の前記領域ＩＤに関連付いた他の前記関心領域よりも高品質で符号化し、当該他の前記関心領域を、予め定められた所定の品質で符号化する、符号化装置が提供される。
前記判定部は、前記領域ＩＤごとに前記視認性スコアが最も高い前記関心領域を前記代表的な前記関心領域として決定してもよい。
前記判定部は、前記代表的な前記関心領域を決定した後、所定の時間、前記視認性スコアに基づく前記代表的な前記関心領域の判定を行わなくてもよい。
前記算出部は、前記関心領域に係る対象物の向き、大きさ、明るさ、または形状特徴のうち少なくとも１つに基づいて前記視認性スコアを算出してもよい。
前記符号化部は、前記領域ＩＤと関連付いた前記関心領域を含む前記画像を選択的に復号するための補助データを前記画像に付加してもよい。
前記関心領域は、顔領域または人物領域であってもよい。
前記画像は、動画像のフレーム画像であってもよい。
また、上記課題を解決するために、本発明の別の観点によれば、画像に含まれる関心領域を検出し前記関心領域と領域ＩＤとを関連付けることと、前記領域ＩＤと関連付いた前記関心領域の視認性スコアを算出することと、前記視認性スコアに基づいて前記領域ＩＤごとの代表的な前記関心領域を判定することと、順次算出される前記視認性スコアに基づいて前記領域ＩＤごとに決定される前記代表的な前記関心領域のみを、同一の前記領域ＩＤに関連付いた他の前記関心領域よりも高品質で符号化し、当該他の前記関心領域を、予め定められた所定の品質で符号化することと、を含み、前記関心領域と領域ＩＤとを関連付けることは、判定対象とする前記関心領域の前記位置データと、時系列に沿った直前時刻の前記画像に含まれる前記関心領域の位置データと、に基づいて、前記判定対象とする前記関心領域と、前記直前時刻の前記画像に含まれる前記関心領域と、が同一の被写体を含むと判定した場合、前記判定対象とする前記関心領域に対し、前記直前時刻の前記画像に含まれる前記関心領域と同一の前記領域ＩＤを関連付けること、をさらに含む、符号化方法が提供される。
また、上記課題を解決するために、本発明の別の観点によれば、コンピュータを、画像に含まれる関心領域を検出し前記関心領域と領域ＩＤとを関連付ける検出部と、前記領域ＩＤと関連付いた前記関心領域の視認性スコアを算出する算出部と、前記視認性スコアに基づいて前記領域ＩＤごとの代表的な前記関心領域を判定する判定部と、前記画像を符号化する符号化部と、を備え、前記検出部は、判定対象とする前記関心領域の前記位置データと、時系列に沿った直前時刻の前記画像に含まれる前記関心領域の位置データと、に基づいて、前記判定対象とする前記関心領域と、前記直前時刻の前記画像に含まれる前記関心領域と、が同一の被写体を含むと判定した場合、前記判定対象とする前記関心領域に対し、前記直前時刻の前記画像に含まれる前記関心領域と同一の前記領域ＩＤを関連付け、前記符号化部は、順次算出される前記視認性スコアに基づいて前記領域ＩＤごとに決定される前記代表的な前記関心領域のみを、同一の前記領域ＩＤに関連付いた他の前記関心領域よりも高品質で符号化し、当該他の前記関心領域を、予め定められた所定の品質で符号化する、符号化装置、として機能させるためのプログラムが提供される。
また、上記課題を解決するために、本発明の別の観点によれば、画像に含まれる関心領域を検出し前記関心領域と領域ＩＤとを関連付ける検出部、前記領域ＩＤと関連付いた前記関心領域の視認性スコアを算出する算出部、前記視認性スコアに基づいて前記領域ＩＤごとの代表的な前記関心領域を判定する判定部、及び前記画像を符号化する符号化部、を備え、前記検出部は、判定対象とする前記関心領域の前記位置データと、時系列に沿った直前時刻の前記画像に含まれる前記関心領域の位置データと、に基づいて、前記判定対象とする前記関心領域と、前記直前時刻の前記画像に含まれる前記関心領域と、が同一の被写体を含むと判定した場合、前記判定対象とする前記関心領域に対し、前記直前時刻の前記画像に含まれる前記関心領域と同一の前記領域ＩＤを関連付け、前記符号化部は、順次算出される前記視認性スコアに基づいて前記領域ＩＤごとに決定される前記代表的な前記関心領域のみを、同一の前記領域ＩＤに関連付いた他の前記関心領域よりも高品質で符号化し、当該他の前記関心領域を、予め定められた所定の品質で符号化する、符号化装置と、符号化された前記画像を復号する復号部、を備える、復号装置と、を含む、画像処理システムが提供される。
以上説明したように本発明によれば、画像全体の符号量を抑えながら、より価値の高い画像情報をユーザに提供することが可能となる。
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
＜１．はじめに＞
近年の技術進歩により、高画質な画像を取得することが比較的容易になってきている。しかし、画質が高いほど画像のファイル容量が巨大化するため、通信帯域や画像の蓄積容量に制限がある場合、画質とファイル容量とは、いわゆるトレードオフの関係となる。
近年の技術進歩により、高画質な画像を取得することが比較的容易になってきている。しかし、画質が高いほど画像のファイル容量が巨大化するため、通信帯域や画像の蓄積容量に制限がある場合、画質とファイル容量とは、いわゆるトレードオフの関係となる。
このため、画質は、画像の使用用途に応じて適宜調整されることが望ましい。例えば、人の監視を目的として設置される監視カメラでは、人物の特徴を捉えることが重要であり、背景映像は重要視されないことが多い。特に、監視カメラが定点撮影を行う場合、背景映像は固定されるため、背景映像を高画質で記録する需要は少ないといえる。
上記のように、撮像した画像において、特定領域の情報が重視される場合、当該特定領域のみに多くの符号量を付与して圧縮することで、画像全体の符号量を抑える技術が知られている。上記の特定領域（以下、関心領域、とも呼ぶ）は、例えば、人間の顔領域であってもよい。
しかし、上記の技術では、画像中に多くの関心領域が存在する場合、画像中の関心領域の範囲が広がるため、画像全体の符号量を抑えることが困難な場合がある。また、関心領域が人間の顔領域である場合、表情や顔の向きなどによっては、人物を特定するのに不十分な画像も存在するため、顔領域を常に高画質化することは、ファイル容量をいたずらに増大させかねない。
本発明は、上記の点に着目して発想されたものであり、領域ＩＤごとに代表的な関心領域を判定し、当該代表的な関心領域を他の関心領域よりも高品質で符号化すること、を特徴の一つとする。また、上記の代表的な関心領域は、関心領域ごとに算出された視認性スコアに基づいて決定されてよい。以降に説明される本実施形態では、本発明に係る符号化装置、符号化方法、プログラム、及び画像処理システムについて、構成上の特徴を挙げながら、当該構成が奏する効果について説明する。
なお、以降に説明される本発明の実施形態では、符号化装置の一例として、人の監視を目的に設置される監視カメラを用いて説明するが、本発明に係る符号化装置は係る例に限定されない。本発明に係る符号化装置、符号化方法、プログラム、及び画像処理システムは、撮像した画像を符号化する機能を有する装置に広く適用可能である。
＜２．実施形態＞
［２．１．本実施形態に係るシステム構成例］
まず、図１を参照して、本実施形態に係る画像処理システムのシステム構成例について説明する。図１を参照すると、本実施形態に係る画像処理システムは、監視カメラ１０、及び監視端末３０を備える。また、監視カメラ１０及び監視端末３０は、互いに通信が行えるようにネットワーク２０を介して接続される。
［２．１．本実施形態に係るシステム構成例］
まず、図１を参照して、本実施形態に係る画像処理システムのシステム構成例について説明する。図１を参照すると、本実施形態に係る画像処理システムは、監視カメラ１０、及び監視端末３０を備える。また、監視カメラ１０及び監視端末３０は、互いに通信が行えるようにネットワーク２０を介して接続される。
ここで、監視カメラ１０は、撮像を行うための撮像装置であり、撮像した画像を符号化する符号化装置でもある。また、監視端末３０は、監視カメラ１０が符号化した画像を取得し、当該画像を複合する複合装置であり、複合した画像を表示してユーザに提示する機能を有する。
ネットワーク２０は、監視カメラ１０が符号化した画像を監視端末３０に伝送する、有線または無線による通信路であってよい。また、ネットワーク２０は、インターネット、電話回線網、衛星通信網などの公衆回線網であってもよいし、ＩＰ−ＶＰＮ（Ｉｎｔｅｒｎｔ Ｐｒｏｔｏｃｏｌ−Ｖｉｒｔｕａｌ Ｐｒｉｖａｔｅ Ｎｅｔｗｏｒｋ）などの専用回線網を含んでもよい。
本実施形態に係る画像処理システムによれば、領域ＩＤごとに判定された代表領域を高品質で符号化することで、画像全体の符号量を効率的に抑えることが可能となる。本実施形態に係る画像処理システムが有する上記の機能については、後述する。
［２．２．本実施形態に係る監視カメラ１０］
次に、本実施形態に係る監視カメラ１０について詳細に説明する。上述したとおり、本実施形態に係る監視カメラ１０は、撮像した画像を符号化する機能を有する。この際、本実施形態に係る監視カメラ１０は、領域ＩＤごとの代表的な関心領域を同一の領域ＩＤに関連付いた他の関心領域よりも高品質で符号化すること、を特徴の一つとする。
次に、本実施形態に係る監視カメラ１０について詳細に説明する。上述したとおり、本実施形態に係る監視カメラ１０は、撮像した画像を符号化する機能を有する。この際、本実施形態に係る監視カメラ１０は、領域ＩＤごとの代表的な関心領域を同一の領域ＩＤに関連付いた他の関心領域よりも高品質で符号化すること、を特徴の一つとする。
このため、監視カメラ１０は、撮像した画像に含まれる関心領域を検出し、領域ＩＤを関連付ける機能を有してよい。また、監視カメラ１０は、上記の領域ＩＤに関連付いた関心領域の視認性スコアを算出する機能を有してよい。また、監視カメラ１０は、上記の視認性スコアに基づいて領域ＩＤごとの代表的な関心領域を判定する機能を有してよい。
以下、図２を参照して、上記の機能を実現する監視カメラ１０の各構成について説明する。図２を参照すると、本実施形態に係る監視カメラ１０は、画像入力部１１０、顔検出部１２０、視認性スコア算出部１３０、代表顔判定部１４０、及び符号化部１５０を備える。
（画像入力部１１０）
画像入力部１１０は、撮影した映像をデジタル信号に変換して出力する機能を有する。本実施形態に係る画像入力部１１０は、例えば、ビデオカメラであってよい。画像入力部１１０は、デジタル化した時系列の画像データを、後述する顔検出部１２０、視認性スコア算出部１３０、及び符号化部１５０に出力する。
画像入力部１１０は、撮影した映像をデジタル信号に変換して出力する機能を有する。本実施形態に係る画像入力部１１０は、例えば、ビデオカメラであってよい。画像入力部１１０は、デジタル化した時系列の画像データを、後述する顔検出部１２０、視認性スコア算出部１３０、及び符号化部１５０に出力する。
（顔検出部１２０）
顔検出部１２０は、画像に含まれる関心領域を検出し、当該関心領域と領域ＩＤとを関連付ける機能を有する。すなわち、本実施形態に係る顔検出部１２０は、画像入力部１１０より取得した画像データに含まれる人間の顔領域を検出し、当該顔領域を識別するための顔ＩＤを付与する。また、顔検出部１２０は、検出した顔領域の位置データ（以下、顔位置データ、とも呼ぶ）を算出する機能を有する。また、顔検出部１２０は、顔ＩＤと関連付いた顔位置データを、後述する視認性スコア算出部１３０、及び符号化部１５０に出力する。なお、顔検出部１２０による顔位置データ算出の詳細については後述する。
顔検出部１２０は、画像に含まれる関心領域を検出し、当該関心領域と領域ＩＤとを関連付ける機能を有する。すなわち、本実施形態に係る顔検出部１２０は、画像入力部１１０より取得した画像データに含まれる人間の顔領域を検出し、当該顔領域を識別するための顔ＩＤを付与する。また、顔検出部１２０は、検出した顔領域の位置データ（以下、顔位置データ、とも呼ぶ）を算出する機能を有する。また、顔検出部１２０は、顔ＩＤと関連付いた顔位置データを、後述する視認性スコア算出部１３０、及び符号化部１５０に出力する。なお、顔検出部１２０による顔位置データ算出の詳細については後述する。
（視認性スコア算出部１３０）
視認性スコア算出部１３０は、顔ＩＤと関連付いた顔領域の視認性スコアを算出する機能を有する。視認性スコア算出部１３０は、画像入力部１１０から取得した画像データと、顔検出部１２０から取得した顔ＩＤと関連付いた顔位置データと、に基づいて、顔領域ごとの視認性スコアを算出することができる。また、視認性スコア算出部１３０は、算出した視認性スコアを後述する代表顔判定部１４０に出力する。なお、視認性スコア算出部１３０による視認性スコア算出の詳細については後述する。
視認性スコア算出部１３０は、顔ＩＤと関連付いた顔領域の視認性スコアを算出する機能を有する。視認性スコア算出部１３０は、画像入力部１１０から取得した画像データと、顔検出部１２０から取得した顔ＩＤと関連付いた顔位置データと、に基づいて、顔領域ごとの視認性スコアを算出することができる。また、視認性スコア算出部１３０は、算出した視認性スコアを後述する代表顔判定部１４０に出力する。なお、視認性スコア算出部１３０による視認性スコア算出の詳細については後述する。
（代表顔判定部１４０）
代表顔判定部１４０は、視認性スコア算出部１３０から取得した視認性スコアに基づいて、顔ＩＤごとの代表顔を判定する機能を有する。この際、代表顔判定部１４０は、顔ＩＤごとに最も視認性スコアが高い顔領域を上記の代表顔として決定してもよい。また、代表顔判定部１４０は、代表顔を判定（更新）した場合、代表顔判定データを符号化部１５０に出力する。なお、代表顔判定部１４０による代表顔判定の詳細については後述する。
代表顔判定部１４０は、視認性スコア算出部１３０から取得した視認性スコアに基づいて、顔ＩＤごとの代表顔を判定する機能を有する。この際、代表顔判定部１４０は、顔ＩＤごとに最も視認性スコアが高い顔領域を上記の代表顔として決定してもよい。また、代表顔判定部１４０は、代表顔を判定（更新）した場合、代表顔判定データを符号化部１５０に出力する。なお、代表顔判定部１４０による代表顔判定の詳細については後述する。
（符号化部１５０）
符号化部１５０は、顔ＩＤごとの代表顔を同一の顔ＩＤに関連付いた他の顔領域よりも高品質で符号化する機能を有する。すなわち、符号化部１５０は、顔検出部１２０から取得した顔ＩＤに関連付いた顔位置データと、代表顔判定部１４０から代表顔判定データと、に基づいて、画像入力部１１０から取得した画像データの符号化を行う。また、符号化部１５０は、符号化した画像データ含むストリームデータを、ネットワーク２０を介して、監視端末３０に送信する。なお、符号化部１５０による符号化の詳細については後述する。
符号化部１５０は、顔ＩＤごとの代表顔を同一の顔ＩＤに関連付いた他の顔領域よりも高品質で符号化する機能を有する。すなわち、符号化部１５０は、顔検出部１２０から取得した顔ＩＤに関連付いた顔位置データと、代表顔判定部１４０から代表顔判定データと、に基づいて、画像入力部１１０から取得した画像データの符号化を行う。また、符号化部１５０は、符号化した画像データ含むストリームデータを、ネットワーク２０を介して、監視端末３０に送信する。なお、符号化部１５０による符号化の詳細については後述する。
［２．３．本実施形態に係る監視端末３０］
次に、本実施形態に係る監視端末３０について詳細に説明する。上述したとおり、本実施形態に係る監視端末３０は、監視カメラ１０が符号化した画像を取得し、当該画像を複合する機能を有する。また、監視端末３０は、複合した画像を表示してユーザに提示する機能を有する。
次に、本実施形態に係る監視端末３０について詳細に説明する。上述したとおり、本実施形態に係る監視端末３０は、監視カメラ１０が符号化した画像を取得し、当該画像を複合する機能を有する。また、監視端末３０は、複合した画像を表示してユーザに提示する機能を有する。
以下、図３を参照して、監視端末３０の備える各構成について説明する。図３を参照すると、本実施形態に係る監視端末３０は、複合部３１０、蓄積部３２０、及び表示部３３０を備える。
（複合部３１０）
複合部３１０は、符号化されたストリームデータを複合し、後述する表示部３３０に出力する機能を有する。本実施形態に係る複合部３１０は、ネットワーク２０を介して監視カメラ１０から取得したストリームデータを複合してよい。また、複合部３１０は、後述する蓄積部３２０が蓄積するストリームデータを取得し、当該ストリームデータを複合してもよい。
複合部３１０は、符号化されたストリームデータを複合し、後述する表示部３３０に出力する機能を有する。本実施形態に係る複合部３１０は、ネットワーク２０を介して監視カメラ１０から取得したストリームデータを複合してよい。また、複合部３１０は、後述する蓄積部３２０が蓄積するストリームデータを取得し、当該ストリームデータを複合してもよい。
（蓄積部３２０）
蓄積部３２０は、ネットワーク２０を介して監視カメラ１０からストリームデータを取得し、当該ストリームデータを蓄積する機能を有する。また、本実施形態に係る蓄積部３２０は、複合部３１０に蓄積するストリームデータを出力する機能を有してよい。
蓄積部３２０は、ネットワーク２０を介して監視カメラ１０からストリームデータを取得し、当該ストリームデータを蓄積する機能を有する。また、本実施形態に係る蓄積部３２０は、複合部３１０に蓄積するストリームデータを出力する機能を有してよい。
（表示部３３０）
表示部３３０は、複合部３１０により複合された画像データを表示する機能を有する。上記の機能は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などにより実現されてもよい。
表示部３３０は、複合部３１０により複合された画像データを表示する機能を有する。上記の機能は、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）ディスプレイ装置、液晶ディスプレイ（ＬＣＤ：Ｌｉｑｕｉｄ Ｃｒｙｓｔａｌ Ｄｉｓｐｌａｙ）装置、ＯＬＥＤ（Ｏｒｇａｎｉｃ Ｌｉｇｈｔ Ｅｍｉｔｔｉｎｇ Ｄｉｏｄｅ）装置などにより実現されてもよい。
［２．４．顔位置データの算出］
以上、本実施形態に係る監視カメラ１０及び監視端末３０の構成について説明した。続いて、本実施形態に係る顔検出部１２０による顔位置データの算出について、詳細に説明する。上記で述べたとおり、本実施形態に係る顔検出部１２０は、画像データに含まれる顔領域を検出し、当該顔領域の顔位置データを算出することができる。
以上、本実施形態に係る監視カメラ１０及び監視端末３０の構成について説明した。続いて、本実施形態に係る顔検出部１２０による顔位置データの算出について、詳細に説明する。上記で述べたとおり、本実施形態に係る顔検出部１２０は、画像データに含まれる顔領域を検出し、当該顔領域の顔位置データを算出することができる。
図４は、顔検出部１２０が、画像Ｐ１から顔領域Ｆ１を検出した場合の例を示している。図４に示す一例では、顔領域Ｆ１が、幅方向の大きさｗ、及び縦方向の大きさｈにより示されている。また、画像Ｐ１における顔領域Ｆ１の位置は、画像Ｐ１の起点ＯからのＸ軸上の距離ｘと、Ｙ軸上の距離ｙにより示されている。このように、顔検出部１２０は、画像における顔領域の顔位置データとして、上記のｘ、ｙ、ｗ、及びｈを算出することができる。
また、本実施形態に係る顔検出部１２０は、検出した顔領域に対して顔ＩＤを付与する機能を有する。この際、顔検出部１２０は、同一人物の顔領域と判定した顔領域に対しては同一の顔ＩＤを付与してよい。顔検出部１２０は、検出した顔領域の顔位置データ（ｘ、ｙ、ｗ、ｈ）と、時系列に沿った直前時刻の画像データに含まれる顔領域の顔位置データ（ｘ、ｙ、ｗ、ｈ）と、を比較することで、同一人物の顔領域か否かを判定してよい。具体的には、顔検出部１２０は、比較する２つの顔位置データの差を算出し、当該差が所定の範囲内にある場合、２つの顔領域が同一人物の顔領域であると判定し、同一の顔ＩＤを付与してよい。顔検出部１２０が上記のように顔ＩＤを付加することで、同一人物の顔領域に同一の顔ＩＤを付与することが可能となる。
なお、顔検出部１２０が画像データから顔領域を検出する方法としては、広く知られている方法を適用することができる。例えば、顔検出部１２０は、Ｖｉｏｌａ−Ｊｏｎｅｓ法を用いて、画像データ上を矩形形状の探索窓で走査し、人間の顔が含まれるか否かを判定してもよい。また、画像データに複数の顔領域が含まれる場合、顔検出部１２０は、顔領域の数だけ上記の処理を繰り返してよい。
以上説明したように、本実施形態に係る顔検出部１２０は、顔領域を検出し、画像における当該顔領域の位置を算出することができる。また、本実施形態に係る顔検出部１２０は、顔領域に含まれる目、鼻、口、及びまばたきの有無を検出し、当該検出結果を顔位置データに含めることができる。
図５は、顔検出部１２０により検出される上記のデータを説明するための図である。図５の一例は、顔検出部１２０が、顔領域Ｆ１に含まれる右目Ａ、左目Ｂ、鼻Ｃ、及び口Ｄの位置を検出していることを示している。本例が示すように、顔検出部１２０は、検出した右目Ａ、左目Ｂ、鼻Ｃ、及び口Ｄの位置データを算出し、顔位置データに含めることができる。また、顔検出部１２０は、まばたきの有無を検出し、検出結果を顔位置データに含めることができる。
なお、顔検出部１２０が、目、鼻、口、及びまばたきの有無を検出する方法としては、広く知られている方法が適用されてよい。例えば、目、鼻、及び口の検出には、上記で説明した顔領域の検出と同様の方法が用いられてよい。また、まばたきの検出については、目の領域データから得られる水平及び垂直の濃淡ヒストグラムの特徴に基づいて検出が行われてよい。
以上説明したように、本実施形態に係る顔検出部１２０は、同一人物と判定した顔領域に同一のＩＤを付与することができる。また、顔検出部１２０は、検出した顔領域の顔位置データに、画像中における顔領域の位置の他、目、鼻、口の位置データ、及びまばたきの有無に係る情報を含めることができる。顔検出部１２０が上記のデータを含む顔位置データを算出することで、後述する視認性スコアの算出精度を向上させることが可能となる。なお、上記で示した顔領域の検出方法は一例であり、顔検出部１２０は、他の方法を用いて顔領域の検出や顔位置データの算出を実施してもよい。本実施形態に係る顔領域の検出、及び顔位置データの算出は、監視カメラ１０の仕様や運用に応じて適宜変更され得る。
［２．５．視認性スコアの算出］
次に、本実施形態に係る視認性スコアの算出について、詳細に説明する。上述したとおり、本実施形態に係る視認性スコア算出部１３０は、画像入力部１１０から取得した画像データと、顔検出部１２０から取得した顔ＩＤと関連付いた顔位置データと、に基づいて、顔領域ごとの視認性スコアを算出することができる。この際、視認性スコア算出部１３０は、関心領域に係る顔の向き、大きさ、明るさ、及びまばたき等の特徴に基づいて、視認性スコアを算出してよい。
次に、本実施形態に係る視認性スコアの算出について、詳細に説明する。上述したとおり、本実施形態に係る視認性スコア算出部１３０は、画像入力部１１０から取得した画像データと、顔検出部１２０から取得した顔ＩＤと関連付いた顔位置データと、に基づいて、顔領域ごとの視認性スコアを算出することができる。この際、視認性スコア算出部１３０は、関心領域に係る顔の向き、大きさ、明るさ、及びまばたき等の特徴に基づいて、視認性スコアを算出してよい。
本実施形態に係る視認性スコアは、ユーザが監視映像に含まれる顔領域を閲覧する際の視認性の度合いを定量化した指標であってよい。本実施形態に係る視認性スコアは、例えば下記の数式（１）により求められてよい。
上記の数式（１）において、Ｓ（ＩＤ）は、顔領域の視認性スコアの評価値を示す値であってよい。また、Ｓ1（ＩＤ）〜Ｓ4（ＩＤ）は、それぞれ、顔の向き、顔の大きさ、顔の明るさ、及びまばたき対する評価値であってよい。なお、ｋ1〜ｋ4は、それぞれＳ1〜Ｓ4に対する重み係数を示しており、実験的に定められるものである。
ここで、評価値Ｓ1（ＩＤ）は、顔位置データに含まれる目、鼻、及び口の位置に基づいた計算式により算出されてよい。なお、当該計算式は、顔の向きが正面に近いほど高値となるように定義されてよい。
また、評価値Ｓ2（ＩＤ）は、顔位置データに含まれる顔領域の大きさ（図４に示すｗ及びｈ）に基づいた計算式により算出されてよい。なお、当該計算式は、顔領域が大きいほど高値となるように定義されてよい。
また、評価値Ｓ3（ＩＤ）は、顔領域内の画像データに基づいた計算式により算出されてよい。なお、当該計算式は、顔領域の輝度に偏りが少ないほど高値となるように定義されてよい。例えば、視認性スコア算出部１３０は、顔領域の画像データについて輝度のヒストグラムを計算し、輝度が小さい領域や大きい領域への偏りを検出した場合、評価値Ｓ3（ＩＤ）が小さくなるように算出できる。
図６及び図７は、評価値Ｓ3（ＩＤ）の算出に用いられる画像データの輝度ヒストグラムの例を示している。図６及び図７では、横軸に輝度が、縦軸に度数がそれぞれ示されている。まず、図６の輝度ヒストグラムを参照すると、輝度の小さい領域（４８以下）の度数が大きく、すなわち、輝度が暗めに偏っていることがわかる。顔領域内の画像データが上記のような輝度ヒストグラムを示す場合、視認性スコア算出部１３０は、評価値Ｓ3（ＩＤ）を小さく算出してよい。
続いて、図７の輝度ヒストグラムを参照すると、図６の一例と比較して輝度の小さい領域（４８以下）の度数は大きくなく、すなわち輝度が良好であることがわかる。顔領域内の画像データが上記のような輝度ヒストグラムを示す場合、視認性スコア算出部１３０は、評価値Ｓ3（ＩＤ）を大きく算出してよい。
続いて、評価値Ｓ4（ＩＤ）について説明する。評価値Ｓ4（ＩＤ）は、顔位置データに含まれる、まばたきの有無に基づいた計算式により算出されてよい。なお、当該計算式は、まばたきが無い場合に高くなるように定義されてよい。
以上、本実施形態に係る視認性スコアの算出について説明した。上記で述べたとおり、本実施形態に係る視認性スコアは、顔の向きが正面に近いほど、顔領域が大きいほど、輝度の偏りが少ないほど、また、まばたきが無いほどに、高く算出される。すなわち、本実施形態に係る視認性スコアは、ユーザが顔領域の画像を閲覧する際の視認性に相当するものである。本実施形態に係る視認性スコア算出部１３０が上記のように視認性スコアを算出することで、代表顔判定部１４０による代表顔の判定精度を向上させることが可能となる。
なお、上記では、顔の向き、顔の大きさ、顔画像の明るさ、及びまばたきの有無のすべてを用いて視認性スコアを算出する例について述べたが、本実施形態に係る視認性スコアは、上記の４種のデータをすべて用いて算出されなくてもよい。本実施形態に係る視認性スコアは、上記の４種のデータのうち少なくとも１つ以上のデータを用いて算出されてもよいし、上記の４種のデータとは別の情報を用いて算出されてもよい。また、本実施形態に係る視認性スコアは、単一のスカラ値でなくでもよく、例えば上記の４種のデータをそれぞれ視認性スコアとして用いるなど、複数のスカラ値によって示されてもよい。
［２．６．本実施形態に係る代表顔の判定］
次に、本実施形態に係る代表顔の判定について詳細に説明する。本実施形態に係る代表顔判定部１４０は、視認性スコア算出部１３０から取得した視認性スコアに基づいて、顔ＩＤごとの代表顔を判定する機能を有する。すなわち、本実施形態に係る代表顔判定部１４０は、顔ＩＤごとに視認性スコアが最も高い顔領域を代表顔として判定し記録する。
次に、本実施形態に係る代表顔の判定について詳細に説明する。本実施形態に係る代表顔判定部１４０は、視認性スコア算出部１３０から取得した視認性スコアに基づいて、顔ＩＤごとの代表顔を判定する機能を有する。すなわち、本実施形態に係る代表顔判定部１４０は、顔ＩＤごとに視認性スコアが最も高い顔領域を代表顔として判定し記録する。
具体的には、代表顔判定部１４０は、視認性スコア算出部１３０から顔ＩＤと関連付いた視認性スコアを取得すると、同一の顔ＩＤと関連付いた代表顔を検索する。ここで、該当する代表顔が存在しない場合、代表顔判定部１４０は、視認性スコア算出部１３０から取得した上記の視認性スコアを、該当する顔ＩＤの代表顔として判定し記録する。また、この際、代表顔判定部１４０は、代表顔判定データを符号化部１５０に出力する。
一方、同一の顔ＩＤに関連付いた代表顔が存在する場合、代表顔判定部１４０は、視認性スコア算出部１３０から取得した視認性スコアと、当該代表顔の視認性スコアと、を比較する。ここで、視認性スコア算出部１３０から取得した視認性スコアが上記の代表顔の視認性スコアを上回る場合、代表顔判定部１４０は、視認性スコア算出部１３０から取得した視認性スコアを新たな代表顔と判定し記録する。また、この際、代表顔判定部１４０は、代表顔判定データを符号化部１５０に出力する。
なお、代表顔判定部１４０は、新たな代表顔の判定を行った場合、所定の時間、代表顔の判定を行わないように動作してよい。代表顔が高頻度で判定（更新）される場合、符号化部１５０による符号化処理において、ストリームデータの符号量が連続して大きくなることから、通信帯域や蓄積容量への影響が懸念される。このため、本実施形態に係る代表顔判定部１４０が代表顔の更新後、所定の時間、判定を行わないことで、ストリームデータの符号量を低減することが可能となる。
以上説明したように、本実施形態に係る代表顔判定部１４０は、代表顔の判定を繰り返すことで、より視認性スコアの高い顔領域を顔ＩＤごとの代表顔として更新することができる。なお、代表顔判定部１４０は、視認性スコア算出部１３０から取得した視認性スコアが所定のスコアを下回る場合、上記の判定を行わなくてもよい。このように、ユーザが視認することが困難であると予想される顔領域を予め代表顔から排除することで、ストリームデータの符号量を抑えることも可能である。
［２．７．本実施形態に係る符号化特性の制御］
次に、本実施形態に係る符号化特性の制御について詳細に説明する。本実施形態に係る符号化部１５０は、画像データ中の領域を３種に分類し、それぞれ異なる符号化特性により符号化する。符号化部１５０は、顔検出部１２０から取得した顔位置データと、代表顔判定部１４０から取得した代表顔判定データに基づいて、上記の分類を行うことができる。
次に、本実施形態に係る符号化特性の制御について詳細に説明する。本実施形態に係る符号化部１５０は、画像データ中の領域を３種に分類し、それぞれ異なる符号化特性により符号化する。符号化部１５０は、顔検出部１２０から取得した顔位置データと、代表顔判定部１４０から取得した代表顔判定データに基づいて、上記の分類を行うことができる。
すなわち、本実施形態に係る符号化部１５０は、代表顔と判定された顔領域を高品質で符号化し、代表顔以外の顔領域を中品質で符号化することができる。また、符号化部１５０は、顔領域を含まない背景などの画像領域を低品質で符号化する。
なお、符号化部１５０による符号化や品質制御については、広く知られた方法が適用されてよい。例えば、符号化には、ＩＴＵ−Ｔ勧告のＨ．２６４により定められる符号化方式が用いられてもよい。また、品質の制御には、量子化パラメータの制御による方法を適用してもよい。
図８は、符号化部１５０による画質制御の例を示す図である。図８では、顔領域Ｒ１及び背景領域Ｒ２のＳＮＲ（Ｓｉｇａｌ−ｔｏ−Ｎｏｉｓｅ Ｒａｔｉｏ）が、それぞれ時間経過と共に示されている。また、図８に示す一例は、時間区分Ｂ〜Ｆにおいて、同一人物の顔領域が検出された場合を示している。
図８を参照すると、時間区分Ｂの開始時において、代表顔判定部１４０が代表顔の判定を行っており、当該判定に基づいて、符号化部１５０が顔領域Ｒ１を高品質で符号化している。このため、図８では、時間区分Ｂの開始時における顔領域Ｒ１のＳＮＲがＨ（Ｈｉｇｈ）として示されている。
上述したとおり、代表顔判定部１４０は、代表顔を判定（更新）した後、所定の時間、代表顔の判定を実施しない。このため、符号化部１５０は、時間区分Ｂの開始時に代表顔が判定された後、顔領域Ｒ１を中品質で符号化する。図８を参照すると、時間区分Ｂにおける顔領域Ｒ１のＳＮＲは徐々に減少し、Ｍ（Ｍｉｄｄｌｅ）に到達していることがわかる。
代表顔の判定から所定の時間が経過すると、代表顔判定部１４０は、代表顔の判定を再開する。図８に示す一例では、時間区分Ｂの開始時における代表顔の判定から所定の時間（１秒）が経過した時間区分Ｃの開始時において、代表顔判定部１４０が代表顔を更新している。このため、符号化部１５０は顔領域Ｒ１を再び高品質で符号化している。
なお、図８は、時間区分Ｃの開始時に代表顔が判定された後、時間区分Ｄにおいては、代表顔が更新されない例を示している。その後、代表顔は、時間区分Ｅの開始時に更新され、時間区分Ｆにおいては更新されていない。また、符号化部１５０は、背景領域Ｒ２を低品質で符号化してよい。このため、背景領域Ｒ２のＳＮＲは、図８に示すようにＬ（Ｌｏｗ）を維持する。
以上説明したとおり、符号化部１５０は、代表顔判定部１４０による判定に基づいて、顔領域Ｒ１の符号化品質を制御することができる。このように、符号化部１５０が、視認性の高い顔領域のみを高品質で符号化することで、ストリームデータの符号量を抑えることが可能となる。
なお、図８では、代表顔の判定後、１秒が経過した際に代表顔の判定を再開する場合を例に説明したが、代表顔判定の停止時間は係る例に限定されない。当該停止時間は、通信帯域や蓄積容量の制限、監視サービスの運用条件などにより適宜変更され得る。
［２．８．本実施形態に係るストリームデータの構成］
次に、本実施形態に係るストリームデータの構成について詳細に説明する。上述したとおり、本実施形態に係る符号化部１５０は、符号化した画像データを含むストリームデータを、ネットワーク２０を介して監視端末３０に送信する。
次に、本実施形態に係るストリームデータの構成について詳細に説明する。上述したとおり、本実施形態に係る符号化部１５０は、符号化した画像データを含むストリームデータを、ネットワーク２０を介して監視端末３０に送信する。
図９は、本実施形態に係るストリームデータの構成例である。図９を参照すると、ストリームデータは、ストリームヘッダ、複数のフレームデータ、及びインデックスデータを含んでいる。ここで、ストリームヘッダは、ストリーム全体の属性を示すものであってよい。ストリームヘッダには、例えば、符号化方式や画像解像度に係る情報が含まれてよい。
また、フレームデータは、フレームヘッダとビデオデータとを含む画像情報である。フレームヘッダには、時刻情報や符号化パラメータの他、顔ＩＤと関連付いた顔位置データ、代表顔判定データなどが含まれてよい。ビデオデータは、画像データの圧縮データであってよい。
また、インデックスデータは、任意の画像データにアクセスするためのアドレス情報である。インデックスデータには、任意時刻の画像データにアクセスするためのアドレス情報が含まれてよい。また、インデックスデータには、顔ＩＤと関連付いた顔領域や代表顔を含む画像データにアクセスするためのアドレス情報が含まれてよい。
すなわち、本実施形態に係る符号化部１５０は、顔ＩＤと関連付いた顔領域を含む画像を選択的に複合するための情報を、ストリームデータに付加することができる。これにより、監視端末３０において、顔ＩＤと関連付いた画像データや、顔ＩＤごとの代表顔を容易に取得することが可能となる。
［２．９．本実施形態に係る符号化の流れ］
以上、本実施形態に係る監視カメラ１０の各構成の機能について詳細に説明した。続いて、監視カメラ１０による画像データの符号化の流れについて説明する。図１０は、本実施形態に係る符号化の流れを示すフローチャートである。
以上、本実施形態に係る監視カメラ１０の各構成の機能について詳細に説明した。続いて、監視カメラ１０による画像データの符号化の流れについて説明する。図１０は、本実施形態に係る符号化の流れを示すフローチャートである。
図１０を参照すると、まず、監視カメラ１０の画像入力部１１０が画像データを取得すし（Ｓ１１０１）、取得した画像データを顔検出部１２０に出力する。
次に、顔検出部１２０は、画像入力部１１０から取得した画像データに含まれる顔領域を検出し、顔ＩＤを設定する（Ｓ１１０２）。続いて、顔検出部１２０は、顔ＩＤと関連付けた顔領域から顔位置データを算出し（Ｓ１１０３）、顔ＩＤと関連付いた顔位置データを視認性スコア算出部１３０に出力する。
次に、視認性スコア算出部１３０は、画像入力部１１０から取得した画像データと、顔検出部１２０から取得した顔ＩＤと関連付いた顔位置データと、に基づいて、顔領域ごとの視認性スコアを算出し（Ｓ１１０４）、当該視認性スコアを代表顔判定部１４０に出力する。
次に、代表顔判定部１４０は、視認性スコア算出部１３０から取得した視認性スコアに基づいて、顔ＩＤごとの代表顔を判定し（Ｓ１１０５）、代表顔判定データを符号化部１５０に出力する。
次に、符号化部１５０は、画像入力部１１０から取得した画像データと、代表顔判定部１４０から取得した代表顔判定データに基づいて、画像データ中の領域に応じた符号化を実施し（Ｓ１１０６）、ストリームデータを、ネットワーク２０を介して監視端末３０に出力する。
ここで、ユーザによる監視カメラ１０の終了操作が行われた場合（Ｓ１１０７：ＹＥＳ）、監視カメラ１０は処理を終了する。一方、ユーザによる終了操作が行われない場合（Ｓ１１０７：ＮＯ）、監視カメラ１０は、上記で説明したステップＳ１１０１〜Ｓ１１０６の処理を繰り返し実行する。
以上、本実施形態に係る画像データの符号化の流れについて説明した。本実施形態に係る監視カメラ１０が有する上記の機能によれば、視認性の高い顔領域のみを高品質で符号化することで、画像全体の符号量を抑えながらも、識別力の高い人物映像をユーザに提供することが可能となる。
［２．１０．監視端末３０による実時間監視］
次に、本実施形態に係る監視端末３０による実時間監視について説明する。本実施形態に係る監視端末３０は、取得したストリームデータをリアルタイムに複合し、監視カメラ１０により撮像された動画像をユーザに提示することができる。
次に、本実施形態に係る監視端末３０による実時間監視について説明する。本実施形態に係る監視端末３０は、取得したストリームデータをリアルタイムに複合し、監視カメラ１０により撮像された動画像をユーザに提示することができる。
図１１は、監視端末３０の表示部３３０に表示される実時間の監視映像イメージである。図１１に示す一例では、複合部３１０が、ネットワーク２０を介して取得したストリームデータを複合し、複合した画像データを表示部３３０に表示させている。すなわち、図１１は、監視カメラ１０が撮影した動画像が監視端末３０にリアルタイムに表示されている状況を示している。
図１１を参照すると、表示部３３０に表示される画面は、ウィンドウＷ１〜３を含んでいる。ここで、ウィンドウＷ１は、複合部３１０が複合した動画像を表示するエリアであってよい。すなわち、ウィンドウＷ１には、監視カメラ１０のライブ映像が表示される。図１１の一例では、ライブ映像中に１名の人物が検出されており、顔検出部１２０が設定した顔ＩＤ（顔ＩＤ＝１２３）と共に表示されている。このように、本実施形態に係る監視端末３０は、顔検出部１２０が検出した顔領域Ｆ１の情報、及び顔検出部１２０が設定した顔ＩＤの情報をライブ映像に付加して表示させることができる。
また、ウィンドウＷ２は、ライブ映像から検出された検出済の人物リストを示すエリアであってよい。本実施形態に係る監視端末３０は、ライブ映像から検出した人物ごとの代表顔を検出済の人物リストとしてウィンドウＷ２に表示させることができる。複合部３１０は、複合データから代表顔判定データを検出した場合、当該複合データに含まれる顔ＩＤごとの代表顔がウィンドウＷ２に追加されるよう、表示部３３０を制御してよい。また、ウィンドウＷ２に表示される代表顔は、同一のＩＤに関連付いた新たな代表顔が検出された場合に更新されてよい。以上説明したように、本実施形態に係る監視端末３０は、検出済の人物リストを視認性の高い画像で提示することが可能である。
また、ウィンドウＷ３は、ライブ映像中に写る人物の代表顔を表示するエリアであってよい。本実施形態に係る監視端末３０は、ウィンドウＷ１に表示される人物の顔ＩＤと関連付いた代表顔をウィンドウＷ３に表示させることができる。また、ウィンドウＷ３に表示されるライブ映像中の人物に係る代表顔は、新たな代表顔が検出されたことに基づいて更新されてよい。すなわち、本実施形態に係る監視端末３０は、ライブ映像中の人物に係る最も視認性の高い画像を提示し続けることが可能である。
以上、本実施形態に係る監視端末３０による実時間監視について説明した。続いて、図１２を参照して、監視端末３０による実時間監視の制御の流れについて説明する。
図１２を参照すると、まず、監視端末３０は、ネットワーク２０を介して監視カメラ１０からストリームデータを取得し、蓄積部３２０に蓄積する（Ｓ１２０１）。
また、監視端末３０の複合部３１０は、取得したストリームデータを複合し、表示部３３０にライブ映像を表示させる（Ｓ１２０２）。なお、監視端末３０は、ステップＳ１２０１及びステップＳ１２０２を並行して処理してもよい。
次に、複合部３１０は、複合データから検出した代表顔判定データに基づいて、表示部３３０に表示させる代表顔を更新する（Ｓ１２０３）。ここで、更新される代表顔は、図１１の例で示した検出済の人物リストや、ライブ映像中の人物に係る代表顔であってよい。
監視端末３０は、ユーザによる終了操作を検知しない場合（Ｓ１２０４：ＮＯ）、上記で説明したステップＳ１２０１〜Ｓ１２０３の処理を繰り返し実行する。一方、ユーザによる終了操作を検知した場合（Ｓ１２０４：ＹＥＳ）、監視端末３０は、実時間監視に係る処理を終了する。
［２．１１．監視端末３０による過去映像の監視］
次に、本実施形態に係る監視端末３０による過去映像の監視について説明する。本実施形態に係る監視端末３０は、ユーザに操作に基づいて、蓄積部３２０に蓄積されるストリームデータを複合し、監視カメラ１０により撮像された過去の動画像をユーザに提示することができる。
次に、本実施形態に係る監視端末３０による過去映像の監視について説明する。本実施形態に係る監視端末３０は、ユーザに操作に基づいて、蓄積部３２０に蓄積されるストリームデータを複合し、監視カメラ１０により撮像された過去の動画像をユーザに提示することができる。
具体的には、複合部３１０は、ユーザによる顔ＩＤの指定に基づいて、当該顔ＩＤに関連付いた顔領域を含む画像データを蓄積部３２０から読み出し、動画像の複合を実施することができる。この際、複合部３１０は、ストリームデータに含まれるインデックスデータからアドレス情報を読み出すことで、指定された顔ＩＤに関連付いた顔領域を含む画像データへアクセスすることができる。
図１３は、監視端末３０の表示部３３０に表示される過去の監視映像イメージである。図１３に示す一例では、複合部３１０が、ユーザにより指定された顔ＩＤ（顔ＩＤ＝１２３）に基づいて、蓄積部３２０から画像データを読み出し複合を行っている。すなわち、図１３には、ユーザにより指定された顔ＩＤに関連付いた顔領域を含む情報が表示されている。
図１３を参照すると、表示部３３０に表示される画面は、実時間映像を表示する場合と同様に、ウィンドウＷ１〜３を含んでいる。ここで、ウィンドウＷ１は、複合部３１０が複合した過去の監視映像を表示するエリアであってよい。すなわち、ウィンドウＷ１には、指定された顔ＩＤに関連付いた顔領域を含む過去の監視映像が表示される。なお、ライブ映像を表示させる場合と同様に、複合データに顔位置データの情報が含まれる場合、複合部３１０は、顔ＩＤ及び顔領域の位置を映像中に付加させることができる。
また、ウィンドウＷ１には、指定された顔ＩＤに関連付いた代表顔判定データを含む画像のみが表示されてもよい。すなわち、複合部３１０は、代表顔と判定された顔領域の履歴を選択的に複合し、表示部３３０に表示させることもできる。
また、図１３に示すように、ウィンドウＷ１には、過去映像の操作を行うためのボタンが配置されてよい。図１３に示す一例では、一時停止、停止、巻き戻し、及び早送りに係るボタンｂ１〜ｂ４が配置されている。なお、図１３に示すボタンｂ１〜ｂ４は一例であり、ウィンドウＷ１には、例えば、再生ボタンなどの他のボタンが配置されてよい。
ウィンドウＷ２は、複合部３１０が複合した過去の監視映像から検出された検出済の人物リストを示すエリアであってよい。また、ユーザは、検出済の人物リストから任意の人物を選択することで、複合部３１０に複合させる動画像の顔ＩＤを指定することができてよい。ウィンドウＷ２においてユーザが任意の人物を指定した場合、複合部３１０は、当該指定に基づいて、蓄積部３２０から該当する顔ＩＤの顔領域を含む画像を取得し、複合を行う。
また、ウィンドウＷ３は、過去の監視映像中に写る人物の代表顔を表示するエリアであってよい。なお、実時間監視とは異なり、ウィンドウＷ３に表示される代表顔は、顔ＩＤごとに関連付いた最終的な代表顔であってよい。すなわち、ウィンドウＷ３には、監視映像に写る人物に係る最も視認性の高い顔画像が表示され続けることとなる。
なお、図１３では、過去の監視映像に２名の人物が表示されている例を示しているが、この場合、ウィンドウＷ３には、ユーザにより指定された顔ＩＤに関連付いた代表顔の他、監視映像に写る別の人物の代表顔が表示されてもよい。
以上、本実施形態に係る監視端末３０による過去映像の監視について説明した。続いて、図１４を参照して、監視端末３０による過去映像の監視に係る制御の流れについて説明する。
図１４を参照すると、監視端末３０は、蓄積ストリームデータに含まれるすべての顔ＩＤごとの代表顔を表示させる（Ｓ１３０１）。ここで、ユーザによる選択が行われない場合（１３０２：ＮＯ）、監視端末３０は、過去映像の監視に係る処理を終了する。
一方、ユーザが代表顔を選択した場合（Ｓ１３０２：ＹＥＳ）、監視端末３０は、選択された代表顔に関連付いた顔ＩＤに基づいて、当該顔ＩＤに関連付いた顔領域を含むストリームデータを複合し表示させる（Ｓ１３０３）。
なお、上記の例では、ユーザが、表示された代表顔を選択することで顔ＩＤを指定する場合について述べたが、顔ＩＤは別の方法によって指定されてもよい。例えば、顔ＩＤは、ユーザによるキーボード入力に基づいて指定されてもよい。
＜３．ハードウェア構成例＞
次に、本発明に係る監視カメラ１０及び監視端末３０に共通するハードウェア構成例について説明する。図１５は、本発明に係る監視カメラ１０及び監視端末３０のハードウェア構成例を示すブロック図である。図１５を参照すると、監視カメラ１０及び監視端末３０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力部８７８と、出力部８７９と、記憶部８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
次に、本発明に係る監視カメラ１０及び監視端末３０に共通するハードウェア構成例について説明する。図１５は、本発明に係る監視カメラ１０及び監視端末３０のハードウェア構成例を示すブロック図である。図１５を参照すると、監視カメラ１０及び監視端末３０は、例えば、ＣＰＵ８７１と、ＲＯＭ８７２と、ＲＡＭ８７３と、ホストバス８７４と、ブリッジ８７５と、外部バス８７６と、インターフェース８７７と、入力部８７８と、出力部８７９と、記憶部８８０と、ドライブ８８１と、接続ポート８８２と、通信装置８８３と、を有する。なお、ここで示すハードウェア構成は一例であり、構成要素の一部が省略されてもよい。また、ここで示される構成要素以外の構成要素をさらに含んでもよい。
（ＣＰＵ８７１）
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、記憶部８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
ＣＰＵ８７１は、例えば、演算処理装置又は制御装置として機能し、ＲＯＭ８７２、ＲＡＭ８７３、記憶部８８０、又はリムーバブル記録媒体９０１に記録された各種プログラムに基づいて各構成要素の動作全般又はその一部を制御する。
（ＲＯＭ８７２、ＲＡＭ８７３）
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
ＲＯＭ８７２は、ＣＰＵ８７１に読み込まれるプログラムや演算に用いるデータ等を格納する手段である。ＲＡＭ８７３には、例えば、ＣＰＵ８７１に読み込まれるプログラムや、そのプログラムを実行する際に適宜変化する各種パラメータ等が一時的又は永続的に格納される。
（ホストバス８７４、ブリッジ８７５、外部バス８７６、インターフェース８７７）
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
ＣＰＵ８７１、ＲＯＭ８７２、ＲＡＭ８７３は、例えば、高速なデータ伝送が可能なホストバス８７４を介して相互に接続される。一方、ホストバス８７４は、例えば、ブリッジ８７５を介して比較的データ伝送速度が低速な外部バス８７６に接続される。また、外部バス８７６は、インターフェース８７７を介して種々の構成要素と接続される。
（入力部８７８）
入力部８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
入力部８７８には、例えば、マウス、キーボード、タッチパネル、ボタン、スイッチ、及びレバー等が用いられる。さらに、入力部８７８としては、赤外線やその他の電波を利用して制御信号を送信することが可能なリモートコントローラ（以下、リモコン）が用いられることもある。
（出力部８７９）
出力部８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
出力部８７９には、例えば、ＣＲＴ（Ｃａｔｈｏｄｅ Ｒａｙ Ｔｕｂｅ）、ＬＣＤ、又は有機ＥＬ等のディスプレイ装置、スピーカ、ヘッドホン等のオーディオ出力装置、プリンタ、携帯電話、又はファクシミリ等、取得した情報を利用者に対して視覚的又は聴覚的に通知することが可能な装置である。
（記憶部８８０）
記憶部８８０は、各種のデータを格納するための装置である。記憶部８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
記憶部８８０は、各種のデータを格納するための装置である。記憶部８８０としては、例えば、ハードディスクドライブ（ＨＤＤ）等の磁気記憶デバイス、半導体記憶デバイス、光記憶デバイス、又は光磁気記憶デバイス等が用いられる。
（ドライブ８８１）
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
ドライブ８８１は、例えば、磁気ディスク、光ディスク、光磁気ディスク、又は半導体メモリ等のリムーバブル記録媒体９０１に記録された情報を読み出し、又はリムーバブル記録媒体９０１に情報を書き込む装置である。
（リムーバブル記録媒体９０１）
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
リムーバブル記録媒体９０１は、例えば、ＤＶＤメディア、Ｂｌｕ−ｒａｙ（登録商標）メディア、ＨＤ ＤＶＤメディア、各種の半導体記憶メディア等である。もちろん、リムーバブル記録媒体９０１は、例えば、非接触型ＩＣチップを搭載したＩＣカード、又は電子機器等であってもよい。
（接続ポート８８２）
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
接続ポート８８２は、例えば、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ Ｓｅｒｉａｌ Ｂｕｓ）ポート、ＩＥＥＥ１３９４ポート、ＳＣＳＩ（Ｓｍａｌｌ Ｃｏｍｐｕｔｅｒ Ｓｙｓｔｅｍ Ｉｎｔｅｒｆａｃｅ）、ＲＳ−２３２Ｃポート、又は光オーディオ端子等のような外部接続機器９０２を接続するためのポートである。
（外部接続機器９０２）
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
外部接続機器９０２は、例えば、プリンタ、携帯音楽プレーヤ、デジタルカメラ、デジタルビデオカメラ、又はＩＣレコーダ等である。
（通信装置８８３）
通信装置８８３は、ネットワーク９０３に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
通信装置８８３は、ネットワーク９０３に接続するための通信デバイスであり、例えば、有線又は無線ＬＡＮ、Ｂｌｕｅｔｏｏｔｈ（登録商標）、又はＷＵＳＢ（Ｗｉｒｅｌｅｓｓ ＵＳＢ）用の通信カード、光通信用のルータ、ＡＤＳＬ（Ａｓｙｍｍｅｔｒｉｃ Ｄｉｇｉｔａｌ Ｓｕｂｓｃｒｉｂｅｒ Ｌｉｎｅ）用のルータ、又は各種通信用のモデム等である。
＜４．まとめ＞
以上説明したように、本発明に係る監視カメラ１０は、領域ＩＤごとの代表的な関心領域を同一の領域ＩＤに関連付いた他の関心領域よりも高品質で符号化すること、を特徴の一つとする。また、監視カメラ１０は、撮像した画像に含まれる関心領域を検出し、領域ＩＤを関連付ける機能を有する。また、監視カメラ１０は、上記の領域ＩＤに関連付いた関心領域の視認性スコアを算出する機能を有する。また、監視カメラ１０は、上記の視認性スコアに基づいて領域ＩＤごとの代表的な関心領域を判定する機能を有する。係る構成によれば、画像全体の符号量を抑えながら、より価値の高い画像情報をユーザに提供することが可能となる。
以上説明したように、本発明に係る監視カメラ１０は、領域ＩＤごとの代表的な関心領域を同一の領域ＩＤに関連付いた他の関心領域よりも高品質で符号化すること、を特徴の一つとする。また、監視カメラ１０は、撮像した画像に含まれる関心領域を検出し、領域ＩＤを関連付ける機能を有する。また、監視カメラ１０は、上記の領域ＩＤに関連付いた関心領域の視認性スコアを算出する機能を有する。また、監視カメラ１０は、上記の視認性スコアに基づいて領域ＩＤごとの代表的な関心領域を判定する機能を有する。係る構成によれば、画像全体の符号量を抑えながら、より価値の高い画像情報をユーザに提供することが可能となる。
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
例えば、上記実施形態では、関心領域の一例として人間の顔領域を用いて説明したが、本発明はかかる例に限定されない。例えば、関心領域の対象は、動物や乗り物などであってもよい。この場合、顔検出部１２０、視認性スコア算出部１３０、代表顔判定部１４０の構成を採用する関心領域に合わせて設計することで、人間の顔領域に係る上記の実施形態と同様の効果を得ることが可能である。
また、本発明では、関心領域の他、取得した動画像から分析される対象物の行動（ジェスチャ）や対象物の所持する物体の判定に基づいて、符号化の品質を制御することもできる。この場合、監視カメラ１０は、例えば、物体を振り回す行動を示す人物を認識したことに基づいて、当該人物に係る人物領域を高品質で符号化してもよい。また、監視カメラ１０は、人物が所持する刃物を認識したことに基づいて、当該人物に係る人物領域や刃物の検出領域を高品質で符号化してもよい。上記で挙げた行動や物体の認識には、広く利用される画像認識の方法が用いられてよい。
１０ 監視カメラ
１１０ 画像入力部
１２０ 顔検出部
１３０ 視認性スコア算出部
１４０ 代表顔判定部
１５０ 符号化部
２０ ネットワーク
３０ 監視端末
３１０ 複合部
３２０ 蓄積部
３３０ 表示部
１１０ 画像入力部
１２０ 顔検出部
１３０ 視認性スコア算出部
１４０ 代表顔判定部
１５０ 符号化部
２０ ネットワーク
３０ 監視端末
３１０ 複合部
３２０ 蓄積部
３３０ 表示部
Claims (10)
- 画像に含まれる関心領域を検出し前記関心領域と領域ＩＤとを関連付ける検出部と、
前記領域ＩＤと関連付いた前記関心領域の視認性スコアを算出する算出部と、
前記視認性スコアに基づいて前記領域ＩＤごとの代表的な前記関心領域を判定する判定部と、
前記画像を符号化する符号化部と、
を備え、
前記検出部は、判定対象とする前記関心領域の位置データと、時系列に沿った直前時刻の前記画像に含まれる前記関心領域の位置データと、に基づいて、前記判定対象とする前記関心領域と、前記直前時刻の前記画像に含まれる前記関心領域と、が同一の被写体を含むと判定した場合、前記判定対象とする前記関心領域に対し、前記直前時刻の前記画像に含まれる前記関心領域と同一の前記領域ＩＤを関連付け、
前記符号化部は、順次算出される前記視認性スコアに基づいて前記領域ＩＤごとに決定される前記代表的な前記関心領域のみを、同一の前記領域ＩＤに関連付いた他の前記関心領域よりも高品質で符号化し、当該他の前記関心領域を、予め定められた所定の品質で符号化する、
符号化装置。 - 前記判定部は、前記領域ＩＤごとに前記視認性スコアが最も高い前記関心領域を前記代表的な前記関心領域として決定する、
請求項１に記載の符号化装置。 - 前記判定部は、前記代表的な前記関心領域を決定した後、所定の時間、前記視認性スコアに基づく前記代表的な前記関心領域の判定を行わない、
請求項１または２に記載の符号化装置。 - 前記算出部は、前記関心領域に係る対象物の向き、大きさ、明るさ、または形状特徴のうち少なくとも１つに基づいて前記視認性スコアを算出する、
請求項１〜３のいずれかに記載の符号化装置。 - 前記符号化部は、前記領域ＩＤと関連付いた前記関心領域を含む前記画像を選択的に復号するための補助データを前記画像に付加する、
請求項１〜４のいずれかに記載の符号化装置。 - 前記関心領域は、顔領域または人物領域である、
請求項１〜５のいずれかに記載の符号化装置。 - 前記画像は、動画像のフレーム画像である、
請求項１〜６のいずれかに記載の符号化装置。 - 画像に含まれる関心領域を検出し前記関心領域と領域ＩＤとを関連付けることと、
前記領域ＩＤと関連付いた前記関心領域の視認性スコアを算出することと、
前記視認性スコアに基づいて前記領域ＩＤごとの代表的な前記関心領域を判定することと、
順次算出される前記視認性スコアに基づいて前記領域ＩＤごとに決定される前記代表的な前記関心領域のみを、同一の前記領域ＩＤに関連付いた他の前記関心領域よりも高品質で符号化し、当該他の前記関心領域を、予め定められた所定の品質で符号化することと、
を含み、
前記関心領域と領域ＩＤとを関連付けることは、判定対象とする前記関心領域の位置データと、時系列に沿った直前時刻の前記画像に含まれる前記関心領域の位置データと、に基づいて、前記判定対象とする前記関心領域と、前記直前時刻の前記画像に含まれる前記関心領域と、が同一の被写体を含むと判定した場合、前記判定対象とする前記関心領域に対し、前記直前時刻の前記画像に含まれる前記関心領域と同一の前記領域ＩＤを関連付けること、をさらに含む、
符号化方法。 - コンピュータを、
画像に含まれる関心領域を検出し前記関心領域と領域ＩＤとを関連付ける検出部と、
前記領域ＩＤと関連付いた前記関心領域の視認性スコアを算出する算出部と、
前記視認性スコアに基づいて前記領域ＩＤごとの代表的な前記関心領域を判定する判定部と、
前記画像を符号化する符号化部と、
を備え、
前記検出部は、判定対象とする前記関心領域の位置データと、時系列に沿った直前時刻の前記画像に含まれる前記関心領域の位置データと、に基づいて、前記判定対象とする前記関心領域と、前記直前時刻の前記画像に含まれる前記関心領域と、が同一の被写体を含むと判定した場合、前記判定対象とする前記関心領域に対し、前記直前時刻の前記画像に含まれる前記関心領域と同一の前記領域ＩＤを関連付け、
前記符号化部は、順次算出される前記視認性スコアに基づいて前記領域ＩＤごとに決定される前記代表的な前記関心領域のみを、同一の前記領域ＩＤに関連付いた他の前記関心領域よりも高品質で符号化し、当該他の前記関心領域を、予め定められた所定の品質で符号化する、
符号化装置、
として機能させるためのプログラム。 - 画像に含まれる関心領域を検出し前記関心領域と領域ＩＤとを関連付ける検出部、
前記領域ＩＤと関連付いた前記関心領域の視認性スコアを算出する算出部、
前記視認性スコアに基づいて前記領域ＩＤごとの代表的な前記関心領域を判定する判定部、及び
前記画像を符号化する符号化部、
を備え、
前記検出部は、判定対象とする前記関心領域の位置データと、時系列に沿った直前時刻の前記画像に含まれる前記関心領域の位置データと、に基づいて、前記判定対象とする前記関心領域と、前記直前時刻の前記画像に含まれる前記関心領域と、が同一の被写体を含むと判定した場合、前記判定対象とする前記関心領域に対し、前記直前時刻の前記画像に含まれる前記関心領域と同一の前記領域ＩＤを関連付け、
前記符号化部は、順次算出される前記視認性スコアに基づいて前記領域ＩＤごとに決定される前記代表的な前記関心領域のみを、同一の前記領域ＩＤに関連付いた他の前記関心領域よりも高品質で符号化し、当該他の前記関心領域を、予め定められた所定の品質で符号化する、
符号化装置と、
符号化された前記画像を復号する復号部、
を備える、復号装置と、
を含む、画像処理システム。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016031217A JP6784032B2 (ja) | 2016-02-22 | 2016-02-22 | 符号化装置、符号化方法、プログラム、及び画像処理システム |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2016031217A JP6784032B2 (ja) | 2016-02-22 | 2016-02-22 | 符号化装置、符号化方法、プログラム、及び画像処理システム |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2017152790A JP2017152790A (ja) | 2017-08-31 |
| JP6784032B2 true JP6784032B2 (ja) | 2020-11-11 |
Family
ID=59739754
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2016031217A Active JP6784032B2 (ja) | 2016-02-22 | 2016-02-22 | 符号化装置、符号化方法、プログラム、及び画像処理システム |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP6784032B2 (ja) |
Families Citing this family (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP7051565B2 (ja) * | 2018-05-01 | 2022-04-11 | キヤノン株式会社 | 撮像装置及びその制御方法、撮像システム |
| CN111953976B (zh) * | 2020-07-08 | 2024-10-18 | 西安万像电子科技有限公司 | 图像处理方法及装置 |
Family Cites Families (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2010093323A (ja) * | 2008-10-03 | 2010-04-22 | Mitsubishi Electric Corp | 監視装置 |
| JP2011233133A (ja) * | 2010-04-09 | 2011-11-17 | Miyake Inc | 万引き防止システム |
| US10205953B2 (en) * | 2012-01-26 | 2019-02-12 | Apple Inc. | Object detection informed encoding |
-
2016
- 2016-02-22 JP JP2016031217A patent/JP6784032B2/ja active Active
Also Published As
| Publication number | Publication date |
|---|---|
| JP2017152790A (ja) | 2017-08-31 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20200227089A1 (en) | Method and device for processing multimedia information | |
| TWI710964B (zh) | 圖像聚類方法及裝置、電子設備和儲存介質 | |
| US10062412B2 (en) | Hierarchical segmentation and quality measurement for video editing | |
| JP6961648B2 (ja) | リアル・タイム・ビデオ要約 | |
| CN109154976B (zh) | 通过机器学习训练对象分类器的系统和方法 | |
| CN110089104B (zh) | 事件存储装置、事件搜索装置和事件警报装置 | |
| RU2693906C2 (ru) | Основанный на правилах анализ важности видео | |
| EP3693966B1 (en) | System and method for continuous privacy-preserved audio collection | |
| US10373461B2 (en) | System and method for video preview | |
| US20100182501A1 (en) | Information processing apparatus, information processing method, and program | |
| JPWO2018079020A1 (ja) | 情報処理装置および情報処理方法 | |
| CN104796756B (zh) | 图像记录系统 | |
| WO2013069605A1 (ja) | 類似画像検索システム | |
| KR20150056381A (ko) | 영상 처리 장치 및 방법 | |
| WO2000045600A1 (en) | Method of image feature encoding and method of image search | |
| KR20180058019A (ko) | 영상 검색 장치, 데이터 저장 방법 및 데이터 저장 장치 | |
| JP2007264860A (ja) | 顔領域抽出装置 | |
| JP5345113B2 (ja) | コンテンツ出力システム、出力制御装置、出力制御方法、及びコンピュータプログラム | |
| US20190052814A1 (en) | Information processing apparatus, information processing method, and storage medium | |
| JP2010250556A (ja) | 画像処理装置、画像処理方法及びプログラム | |
| CN112380396B (zh) | 视频处理方法及装置、计算机可读存储介质和电子设备 | |
| CN115525188A (zh) | 拍摄方法和电子设备 | |
| JP6784032B2 (ja) | 符号化装置、符号化方法、プログラム、及び画像処理システム | |
| KR102426089B1 (ko) | 전자 장치 및 전자 장치의 요약 영상 생성 방법 | |
| WO2021190412A1 (zh) | 一种生成视频缩略图的方法、装置和电子设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20181115 |
|
| RD03 | Notification of appointment of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7423 Effective date: 20190327 |
|
| RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20190328 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20190827 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20191018 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200310 |
|
| A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200508 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200923 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201006 |
|
| R150 | Certificate of patent or registration of utility model |
Ref document number: 6784032 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |