JP6448386B2 - 符号化装置、復号化装置及び映像送受信システム - Google Patents
符号化装置、復号化装置及び映像送受信システム Download PDFInfo
- Publication number
- JP6448386B2 JP6448386B2 JP2015009812A JP2015009812A JP6448386B2 JP 6448386 B2 JP6448386 B2 JP 6448386B2 JP 2015009812 A JP2015009812 A JP 2015009812A JP 2015009812 A JP2015009812 A JP 2015009812A JP 6448386 B2 JP6448386 B2 JP 6448386B2
- Authority
- JP
- Japan
- Prior art keywords
- frame
- encoding
- input
- encoded
- upper limit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Closed-Circuit Television Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
前記符号化手段によって符号化されたフレームを受信装置に送信する送信手段と、前記符号化手段によって符号化されるフレームの時間的階層の上限を制御する制御手段と、前記動画像において異常が検知されていない第1の状態または異常が検知された第2の状態を示す情報を入力する入力手段とを有し、前記制御手段は、前記入力手段によって前記第2の状態を示す情報が入力された場合に、前記符号化手段によって符号化される対象となるフレームの時間的階層の上限を前記第1の状態における時間的階層の上限以上に設定し、前記第2の状態を示す情報が入力されたときに前記符号化手段によって符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とする。
以下、本発明の第1の実施形態について、図面を参照しながら説明する。
図2において、本実施形態に係るネットワークカメラシステム(映像送受信システム)は、送信装置201と受信装置206とから構成されている。
図1に示すように、本実施形態に係る動画像符号化部203は、入力フレームバッファ101、符号化部102、符号化ストリームバッファ103、及び制御部104を備えている。符号化部102および制御部104は、ハードウエアとして回路により実現されてもよい。
入力フレームバッファ101は、入力される動画像のフレームを複数フレーム分保持するためのメモリであり、必要に応じて順序を並び替えて符号化部102へフレームが出力される。符号化部102は、入力される各フレームを複数の時間的階層に分類する。そして、下位の階層ほど小さいインデックス番号(HEVCにおけるTemporal ID)をフレーム毎に付加した符号化ストリームを生成し、符号化ストリームバッファ103へ出力する。
図3は、動画像符号化部203における制御部104が行う処理手順の一例を示すフローチャートである。
まず、動画像符号化部203に動画像のフレームが入力されることによって処理を開始する(S301)。そして、入力フレームバッファ101に保持されたフレームに対してTemporal IDを設定し(S302)、異常検知対応処理を行う(S303)。なお、S303での異常検知対応処理の詳細については、図4を用いて後述する。
まず、S401で処理を開始し、認識処理部205から異常検知によって高フレームレート化が指示されたか否を判定する(S402)。この判定の結果、高フレームレート化が指示されていない場合(S402/NO)は、そのまま処理終了する(S407)。一方、高フレームレート化が指示された場合(S402/YES)は、前述の符号化階層設定値及び伝送階層設定値を最大値に変更する(S403)。図9(a)に示す時間的階層の構造の場合は、符号化階層設定値及び伝送階層設定値は外部から設定された値に関わらず2に変更される。
図5(a)は、異常検知信号の入力、入力フレームバッファ101の入出力、符号化部102の出力、および符号化ストリームバッファ103の出力のタイミングを示している。図5(a)に示す例では、入力フレームバッファ101は、入力されたフレームを4フレーム分遅延させるとともにフレームを並び替えて順次出力する。また、符号化ストリームバッファ103は符号化フレームを4フレーム分保持可能な容量としている。なお、図5(a)に示す例に限定されるものではない。なお、図5(a)、(b)において、1,2,3・・・は表示順序(入力フレームバッファ101に入力された順序)を示すフレーム番号を示し、T1,T2,T3・・・は処理の時間経過を示している。
図5(b)に示す例では、高フレームレート化の指示を受けるまで(T1〜T13)は、Temporal ID=0の階層のフレームのみを符号化して伝送する。そして、指示を受けた後(T14〜)は、全階層のフレームを符号化して伝送するようにしている。
図6は、受信装置206側が動画像を表示する処理手順の一例を示すフローチャートである。
まず、ネットワークを介してネットワーク受信部207に符号化ストリームが入力されると処理を開始する(S601)。そして、動画像復号部209は、1フレーム分の符号化ストリームを復号する(S602)。
次に、本発明の第2の実施形態について、図面を参照しながら説明する。本実施形態では、異常検知対応処理が第1の実施形態と異なっている。第1の実施形態では、符号化ストリームバッファ103もしくは入力フレームバッファ101に格納されたフレームの「nal_unit_type」をTSAに変更することにより、高フレームレート化を開始するフレームを指定した。
次に、本発明の第3の実施形態について、図面を参照しながら説明する。第1及び第2の実施形態では、認識処理部205から出力される認識情報は、異常有りか異常無しかの二択による異常検知結果が含まれたものであるのに対し、本実施形態では、認識処理部205は複数の認識結果を含む認識情報を生成する。なお、説明を容易にするため、本実施形態においては、第一の認識結果として人物検出結果、第二の認識結果として人物に関する異常検知結果とする例について説明するが、これに限定されるものではない。さらに、本実施形態に係る送信装置及び受信装置の内部構成は基本的には図1及び図2と同様であるため、説明は省略する。また、送信装置201及び受信装置206の全体的な処理手順は、それぞれ図3及び図6と同様であるため、説明は省略する。
次に、本発明の第4の実施形態について、図面を参照しながら説明する。本実施形態では、さらに代表画像としてサムネイル画像をリアルタイムに表示する例について説明する。なお、本実施形態に係る送信装置及び受信装置の内部構成は基本的には図1及び図2と同様であるため、説明は省略する。また、送信装置201及び受信装置206の全体的な処理手順は、図3、図4及び図6と同様であるため、説明は省略する。送信装置側の処理については第2または第3の実施形態と同様であってもよい。
まず、ネットワークを介してネットワーク受信部207に所定の区間の符号化ストリームが入力されると処理が開始する(S1101)。そして、全体制御部212はその区間に応じたサムネイル画像を取得する(S1102)。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
203 動画像符号化部
204 ネットワーク送信部
206 受信装置
207 ネットワーク受信部
208 動画像復号部
210 表示部
211、212 全体制御部
Claims (21)
- 動画像を構成するフレームを符号化する符号化装置であって、
入力された前記動画像のフレームを時間的階層に従って符号化する符号化手段と、
前記符号化手段によって符号化されたフレームを受信装置に送信する送信手段と、
前記符号化手段によって符号化されるフレームの時間的階層の上限を制御する制御手段と、
前記動画像において異常が検知されていない第1の状態または異常が検知された第2の状態を示す情報を入力する入力手段とを有し、
前記制御手段は、前記入力手段によって前記第2の状態を示す情報が入力された場合に、前記符号化手段によって符号化される対象となるフレームの時間的階層の上限を前記第1の状態における時間的階層の上限以上に設定し、前記第2の状態を示す情報が入力されたときに前記符号化手段によって符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とする符号化装置。 - 前記制御手段は、前記高フレームレート化の指示を表す情報を付加するフレームが参照するフレームの時間的階層を下げて符号化するように前記符号化手段を制御することを特徴とする請求項1に記載の符号化装置。
- 前記制御手段は、前記入力手段によって前記第2の状態を示す情報が入力された場合に、前記符号化手段によって符号化される対象となるフレームをすべてのフレームとするように時間的階層の上限を制御することを特徴とする請求項1又は2に記載の符号化装置。
- 前記制御手段は、さらに前記送信手段によって送信されるフレームの時間的階層の上限を制御し、前記入力手段によって前記第2の状態を示す情報が入力された場合に、前記符号化手段によって符号化されたすべてのフレームを送信するように時間的階層の上限を設定することを特徴とする請求項3に記載の符号化装置。
- 動画像を構成するフレームを符号化する符号化装置であって、
入力された前記動画像のフレームを時間的階層に従って符号化する符号化手段と、
前記符号化手段によって符号化されたフレームを受信装置に送信する送信手段と、
前記符号化手段によって符号化されるフレームの時間的階層の上限を制御する制御手段と、
前記動画像における第1の認識結果と、前記第1の認識結果に基づく第2の認識結果とを入力する入力手段とを有し、
前記制御手段は、前記入力手段によって前記第1の認識結果が入力された場合に、前記符号化手段によって符号化される対象となるフレームの時間的階層の上限を前記第1の認識結果が入力される前における時間的階層の上限以上に設定し、さらに前記入力手段によって前記第2の認識結果が入力された場合に、前記第2の認識結果が入力されたときに前記符号化手段によって符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とする符号化装置。 - 前記制御手段は、前記入力手段によって前記第1の認識結果が入力された場合に、前記符号化手段によって符号化される対象となるフレームをすべてのフレームとするように時間的階層の上限を制御することを特徴とする請求項5に記載の符号化装置。
- 前記制御手段は、さらに前記送信手段によって送信されるフレームの時間的階層を制御し、前記入力手段によって前記第2の認識結果が入力された場合に、前記符号化手段によって符号化されたすべてのフレームを送信するように時間的階層の上限を設定することを特徴とする請求項6に記載の符号化装置。
- 前記時間的階層は、HEVCのTemporal IDであることを特徴とする請求項1〜7の何れか1項に記載の符号化装置。
- 前記高フレームレート化の指示を表す情報は、HEVCにおけるTSA(Temporal sub-layer access)であることを特徴とする請求項1〜8の何れか1項に記載の符号化装置。
- 動画像を構成する符号化されたフレームを復号する復号化装置であって、
送信装置から前記符号化されたフレームを受信する受信手段と、
前記受信手段によって受信されたフレームを復号する復号手段と、
前記復号手段によって復号されたフレームを表示手段に表示する表示制御手段と、
前記表示制御手段によって表示されるフレームの時間的階層の上限を制御する制御手段とを有し、
前記受信手段によって高フレームレート化の指示を表す情報が付加されたフレームを受信した場合に、前記制御手段は、前記表示制御手段によって表示される対象となるフレームの時間的階層の上限を高く設定し、
前記表示制御手段は、前記復号手段によって復号されたフレームを前記表示手段に表示するとともに、フレームレートが変更された旨の通知を行うことを特徴とする復号化装置。 - 前記受信手段によって受信されたフレームに対して、所定の区間ごとに区間を代表する代表画像を生成する生成手段をさらに有し、
前記表示制御手段は、前記生成手段によって生成された代表画像を表示し、前記高フレームレート化の指示を表す情報が付加されたフレームを含む区間を代表する代表画像を表示する際には、他の代表画像と区別して表示するように制御することを特徴とする請求項10に記載の復号化装置。 - 前記受信手段によって高フレームレート化の指示を表す情報が付加されたフレームを受信した場合に、前記制御手段は、前記表示制御手段によって表示される対象となるフレームをすべてのフレームとするように時間的階層の上限を設定することを特徴とする請求項10又は11に記載の復号化装置。
- 前記時間的階層は、HEVCのTemporal IDであることを特徴とする請求項10〜12の何れか1項に記載の復号化装置。
- 前記高フレームレート化の指示を表す情報は、HEVCにおけるTSA(Temporal sub-layer access)であることを特徴とする請求項10〜13の何れか1項に記載の復号化装置。
- 請求項1〜9の何れか1項に記載の符号化装置と、請求項10〜14の何れか1項に記載の復号化装置とを有することを特徴とする映像送受信システム。
- 動画像を構成するフレームを符号化する符号化装置の制御方法であって、
入力された前記動画像のフレームを時間的階層に従って符号化する符号化工程と、
前記符号化工程において符号化されたフレームを受信装置に送信する送信工程と、
前記符号化工程において符号化されるフレームの時間的階層の上限を制御する制御工程と、
前記動画像において異常が検知されていない第1の状態または異常が検知された第2の状態を示す情報を入力する入力工程とを有し、
前記制御工程においては、前記入力工程において前記第2の状態を示す情報が入力された場合に、前記符号化工程において符号化される対象となるフレームの時間的階層の上限を前記第1の状態における時間的階層の上限以上に設定し、前記第2の状態を示す情報が入力されたときに前記符号化工程において符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とする符号化装置の制御方法。 - 動画像を構成するフレームを符号化する符号化装置の制御方法であって、
入力された前記動画像のフレームを時間的階層に従って符号化する符号化工程と、
前記符号化工程において符号化されたフレームを受信装置に送信する送信工程と、
前記符号化工程において符号化されるフレームの時間的階層の上限を制御する制御工程と、
前記動画像における第1の認識結果と、前記第1の認識結果に基づく第2の認識結果とを入力する入力工程とを有し、
前記制御工程においては、前記入力工程において前記第1の認識結果が入力された場合に、前記符号化工程において符号化される対象となるフレームの時間的階層の上限を前記第1の認識結果を入力する前における時間的階層の上限以上に設定し、さらに前記入力工程において前記第2の認識結果が入力された場合に、前記第2の認識結果が入力されたときに前記符号化工程において符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とする符号化装置の制御方法。 - 動画像を構成する符号化されたフレームを復号する復号化装置の制御方法であって、
送信装置から前記符号化されたフレームを受信する受信工程と、
前記受信工程において受信されたフレームを復号する復号工程と、
前記復号工程において復号されたフレームを表示手段に表示する表示制御工程と、
前記表示制御工程において表示されるフレームの時間的階層の上限を制御する制御工程とを有し、
前記受信工程において高フレームレート化の指示を表す情報が付加されたフレームを受信した場合に、前記制御工程においては、前記表示制御工程において表示される対象となるフレームの時間的階層の上限を高く設定し、
前記表示制御工程においては、前記復号工程において復号されたフレームを前記表示手段に表示するとともに、フレームレートが変更された旨の通知を行うことを特徴とする復号化装置の制御方法。 - 動画像を構成するフレームを符号化する符号化装置を制御するためのプログラムであって、
入力された前記動画像のフレームを時間的階層に従って符号化する符号化工程と、
前記符号化工程において符号化されたフレームを受信装置に送信する送信工程と、
前記符号化工程において符号化されるフレームの時間的階層の上限を制御する制御工程と、
前記動画像において異常が検知されていない第1の状態または異常が検知された第2の状態を示す情報を入力する入力工程とをコンピュータに実行させ、
前記制御工程においては、前記入力工程において前記第2の状態を示す情報が入力された場合に、前記符号化工程において符号化される対象となるフレームの時間的階層の上限を前記第1の状態における時間的階層の上限以上に設定し、前記第2の状態を示す情報が入力されたときに前記符号化工程において符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とするプログラム。 - 動画像を構成するフレームを符号化する符号化装置を制御するためのプログラムであって、
入力された前記動画像のフレームを時間的階層に従って符号化する符号化工程と、
前記符号化工程において符号化されたフレームを受信装置に送信する送信工程と、
前記符号化工程において符号化されるフレームの時間的階層の上限を制御する制御工程と、
前記動画像における第1の認識結果と、前記第1の認識結果に基づく第2の認識結果とを入力する入力工程とをコンピュータに実行させ、
前記制御工程においては、前記入力工程において前記第1の認識結果が入力された場合に、前記符号化工程において符号化される対象となるフレームの時間的階層の上限を前記第1の認識結果を入力する前における時間的階層の上限以上に設定し、さらに前記入力工程において前記第2の認識結果が入力された場合に、前記第2の認識結果が入力されたときに前記符号化工程において符号化されたフレームと関連するフレームのうち処理の順序が早いフレームであってかつ時間的階層が最下層ではないフレームに対して高フレームレート化の指示を表す情報を付加することを特徴とするプログラム。 - 動画像を構成する符号化されたフレームを復号する復号化装置を制御するためのプログラムであって、
送信装置から前記符号化されたフレームを受信する受信工程と、
前記受信工程において受信されたフレームを復号する復号工程と、
前記復号工程において復号されたフレームを表示手段に表示する表示制御工程と、
前記表示制御工程において表示されるフレームの時間的階層の上限を制御する制御工程とをコンピュータに実行させ、
前記受信工程において高フレームレート化の指示を表す情報が付加されたフレームを受信した場合に、前記制御工程においては、前記表示制御工程において表示される対象となるフレームの時間的階層の上限を高く設定し、
前記表示制御工程においては、前記復号工程において復号されたフレームを前記表示手段に表示するとともに、フレームレートが変更された旨の通知を行うことを特徴とするプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015009812A JP6448386B2 (ja) | 2015-01-21 | 2015-01-21 | 符号化装置、復号化装置及び映像送受信システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015009812A JP6448386B2 (ja) | 2015-01-21 | 2015-01-21 | 符号化装置、復号化装置及び映像送受信システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016134858A JP2016134858A (ja) | 2016-07-25 |
JP6448386B2 true JP6448386B2 (ja) | 2019-01-09 |
Family
ID=56464639
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015009812A Active JP6448386B2 (ja) | 2015-01-21 | 2015-01-21 | 符号化装置、復号化装置及び映像送受信システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6448386B2 (ja) |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5395621B2 (ja) * | 2009-11-05 | 2014-01-22 | 株式会社メガチップス | 画像生成方法および画像再生方法 |
RU2015105986A (ru) * | 2012-08-27 | 2016-09-10 | Сони Корпорейшн | Передающее устройство, способ передачи, приёмное устройство и способ приёма |
SG10201510265XA (en) * | 2012-12-26 | 2016-01-28 | Sony Corp | Image Processing Device And Method |
-
2015
- 2015-01-21 JP JP2015009812A patent/JP6448386B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2016134858A (ja) | 2016-07-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5109697B2 (ja) | 画像送信装置、画像受信装置、画像送受信システム、画像送信プログラムおよび画像受信プログラム | |
JP5766297B2 (ja) | 撮像装置、映像記録装置、映像表示装置、映像監視装置、映像監視システムおよび映像監視方法 | |
JP2007194928A (ja) | 遠隔監視装置及び遠隔監視方法 | |
JP3917506B2 (ja) | 映像信号記録送信装置および監視システムならびに監視装置 | |
JP2007324809A (ja) | ネットワークカメラ装置 | |
JP6448386B2 (ja) | 符号化装置、復号化装置及び映像送受信システム | |
JP4325596B2 (ja) | ネットワーク監視カメラシステム | |
JP4698260B2 (ja) | 画像記録装置及び監視システム | |
JP2012015831A (ja) | 映像処理装置、映像処理システム及び映像処理方法 | |
JP2009071365A (ja) | 動画像復号装置およびその方法 | |
KR100778118B1 (ko) | 네트워크로의 영상신호 전송기능을 향상한 dvr장치 및그의 영상신호 압축방법 | |
KR101652095B1 (ko) | 디지털 비디오 레코더를 이용한 실시간 원격 모니터링 및 재생 시스템 및 그 방법 | |
JP6375902B2 (ja) | 画像送信制御装置、画像送信制御方法、画像送信制御プログラム | |
JP2014127774A (ja) | 撮像装置 | |
JP6651984B2 (ja) | 情報処理装置、会議システムおよび情報処理装置の制御方法 | |
JP2014103534A (ja) | 画像伝送装置 | |
JP2013207706A (ja) | 映像信号伝送システム、映像信号伝送制御装置、映像信号伝送方法、およびプログラム | |
WO2016088409A1 (ja) | 画像送信装置、画像送信方法、画像送信プログラム、画像送信制御装置、画像送信制御方法、画像送信制御プログラム | |
JP2008098884A (ja) | 監視システム | |
KR101336820B1 (ko) | 다채널 트릭 모드에 특화된 복호화 장치 및 방법 | |
JP2006109060A (ja) | 画像符号化情報を利用した手ぶれ補正方法及び装置 | |
JP2006050435A (ja) | 監視システム | |
JP5930807B2 (ja) | 撮像装置 | |
JP6375901B2 (ja) | 画像送信装置、画像送信方法、画像送信プログラム | |
JP2016065958A (ja) | 表示制御システム、表示制御装置、及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20171215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180905 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180918 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181023 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20181106 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20181204 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 6448386 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |