JP6049602B2 - 映像処理装置 - Google Patents
映像処理装置 Download PDFInfo
- Publication number
- JP6049602B2 JP6049602B2 JP2013262132A JP2013262132A JP6049602B2 JP 6049602 B2 JP6049602 B2 JP 6049602B2 JP 2013262132 A JP2013262132 A JP 2013262132A JP 2013262132 A JP2013262132 A JP 2013262132A JP 6049602 B2 JP6049602 B2 JP 6049602B2
- Authority
- JP
- Japan
- Prior art keywords
- priority
- control unit
- event
- frame
- memory
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000012545 processing Methods 0.000 title claims description 282
- 230000015654 memory Effects 0.000 claims description 226
- 238000007906 compression Methods 0.000 claims description 67
- 230000006835 compression Effects 0.000 claims description 63
- 230000005540 biological transmission Effects 0.000 claims description 56
- 238000012544 monitoring process Methods 0.000 claims description 34
- 238000003384 imaging method Methods 0.000 claims description 26
- 230000008707 rearrangement Effects 0.000 claims description 21
- 238000000034 method Methods 0.000 description 50
- 230000008569 process Effects 0.000 description 32
- 230000006870 function Effects 0.000 description 31
- 230000010365 information processing Effects 0.000 description 27
- 238000010586 diagram Methods 0.000 description 16
- 238000007726 management method Methods 0.000 description 13
- 238000012217 deletion Methods 0.000 description 11
- 230000037430 deletion Effects 0.000 description 11
- 230000004044 response Effects 0.000 description 9
- 239000008186 active pharmaceutical agent Substances 0.000 description 5
- 230000003287 optical effect Effects 0.000 description 5
- 101100082993 Plasmodium falciparum (isolate 3D7) PF52 gene Proteins 0.000 description 3
- 238000004891 communication Methods 0.000 description 3
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 3
- 102100038915 Dynein axonemal assembly factor 3 Human genes 0.000 description 2
- 101000955739 Homo sapiens Dynein axonemal assembly factor 3 Proteins 0.000 description 2
- 230000008859 change Effects 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000008571 general function Effects 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 1
- 230000008030 elimination Effects 0.000 description 1
- 238000003379 elimination reaction Methods 0.000 description 1
Images
Landscapes
- Data Exchanges In Wide-Area Networks (AREA)
- Communication Control (AREA)
Description
ここで、ネットワークが混雑していても、低レートで伝送するほど正常に映像表示機に伝送できる確率は上がる。
図1は、実施の形態1に係る映像処理システム100の構成を概略的に示すブロック図である。
映像処理システム100は、映像処理装置としてのカメラ110と、情報処理装置130とを備える。カメラ110及び情報処理装置130は、ネットワーク150に接続されている。カメラ110は、接続線151を介してネットワーク150に接続され、情報処理装置130は、接続線152を介してネットワーク150に接続されているが、カメラ110及び情報処理装置130は、無線でネットワーク150に接続されていてもよい。なお、図1の括弧内の符号は、実施の形態2における構成を示している。
情報処理装置130は、カメラ110が撮影し、伝送してくる映像データを処理する。例えば、情報処理装置130は、カメラ110からの映像を表示する。また、情報処理装置130は、カメラ110からの映像を録画してもよい。さらに、情報処理装置130は、カメラ110の制御も行う。
カメラ110は、光学系111と、撮像部112と、イベント数値インタフェース部(以下、イベント数値I/F部という)113と、優先制御部114と、装置制御部としてのCPU115と、圧縮部116と、メモリ制御部117と、メモリ118と、再圧縮部119と、送信部120と、ネットワーク送信インタフェース部(以下、ネットワーク送信I/F部という)121と、ネットワーク受信インタフェース部(以下、ネットワーク受信I/F部という)122と、受信部123と、ネットワーク監視部124とを備える。なお、図2の括弧内の符号は、実施の形態2における構成を示している。
撮像部112は、対象を撮影して映像データを取得する。例えば、撮像部112は、入力された光を電気信号に変換して、映像フレームを生成する。ここで、撮像部112で生成される映像フレームは、未圧縮の画像データである。撮像部112で生成された映像フレームは圧縮部116に送られる。
CPU115は、カメラ110の全体的な制御を行う。例えば、映像処理システム100で河川の水位を監視し、監視されている水位の値が10センチから100センチの範囲でイベント数値として入力され、映像フレームの優先度を9段階とする場合には、CPU115は、10センチ刻みで優先度を決定するように優先制御部114に指示する。具体的には、90センチ以上100センチ以下は優先度1、80センチ以上90センチ未満は優先度2、以下同様にして、10センチ以上20センチ以下は優先度9と決定するように指示を出す。優先制御部114は、その指示に従い、撮像部112が生成する未圧縮の映像フレームと同期させて、決定した優先度を示す優先度情報を圧縮部116に与える。
メモリ制御部117が備える2つ目の機能は、1つ目の機能でメモリ118に書き込まれた優先度処理フレームを、イベント毎に優先度順に並べ替える機能である。ここで、メモリ制御部117は、CPU115からイベントの開始及び終了と、イベントの優先度を示すイベント優先度(第2の優先度)とを取得して、イベント毎に、優先度処理フレームを優先度順に並べ替えるとともに、イベント優先度をこれらの優先度処理フレームに対応付けてメモリ118に記憶させる。
メモリ制御部117が備える3つ目の機能は、2つ目の機能で並べ替えられた優先度処理フレームを、メモリ118の空き領域確保のために削除する機能である。例えば、メモリ制御部117は、メモリ118のデータ量が予め定められた閾値(第3の閾値)以上となった場合に、イベント優先度及び優先度処理フレームに含まれている優先度の低い優先度処理フレームから順に削除することで、メモリ118の空き領域を増やす。
メモリ制御部117が備える4つ目の機能は、1つ目の機能でメモリ118に書き込まれた優先度処理フレームを、メモリ118の空き領域確保のために、再圧縮部119に再圧縮させる機能である。例えば、メモリ制御部117は、メモリ118のデータ量が予め定められた閾値(第3の閾値)以上となった場合に、イベント優先度及び優先度処理フレームに含まれている優先度の低い優先度処理フレームに含まれている圧縮された画像データから順に再圧縮部119に再圧縮させることで、メモリ118の空き領域を増やす。
メモリ制御部117が備える5つ目の機能は、3つ目の機能又は4つ目の機能により、メモリ118に確保された空き領域を整理する機能である。例えば、メモリ制御部117は、優先度処理フレームの削除又は再圧縮により空き領域となった領域を詰めるように、優先度処理フレームを移動させる。
メモリ制御部117が備える6つ目の機能は、メモリ118に記憶されている優先度処理フレームから必要なデータを抽出して、送信部120に与えて出力させる機能である。例えば、ネットワークが混雑している場合に、メモリ制御部117は、優先度処理フレームに含まれている優先度が予め定められた閾値(第1の閾値)以上であり、かつ、イベント優先度が予め定められた閾値(第2の閾値)以上である優先度処理フレームに含まれている圧縮された画像データをメモリ118から読み出し、読み出された圧縮された画像データを送信部120から出力させる。また、ネットワークの混雑が解消した場合に、メモリ制御部117は、情報処理装置130から指示された優先度処理フレームに含まれている圧縮された画像データをメモリ118から読み出し、読み出された圧縮された画像データを送信部120から出力させる。
以上の6つの機能については、後ほど詳細に説明する。
なお、メモリ制御部117が備える3つ目の機能及び4つ目の機能は、CPU115からの指示に応じて、何れか一方が行われる。CPU115は、例えば、情報処理装置130からの制御に応じて、メモリ制御部117に、3つ目の機能及び4つ目の機能の何れかを実行させてもよい。さらに、CPU115は、まず、4つ目の機能により、圧縮を行なわせても、まだ、メモリ118のデータ量が予め定められた閾値(第4の閾値)以上である場合に、3つ目の機能を実行させてもよい。
再圧縮部119は、メモリ制御部117からの指示に応じて、圧縮部116の行う映像圧縮方式と同等の方式で入力された圧縮された画像データを一旦展開し、圧縮率を高めて再度圧縮処理を行い、再度圧縮された画像データをメモリ制御部117に与える。ここでの圧縮率は、CPU115により指示されるものとする。
カメラ110での動作が開始されると、CPU115は、ネットワーク状況監視に移行する(S10)。このネットワーク状況監視は、カメラ110の動作中常時行われるものであり、ネットワークの混雑度を測定し、ネットワーク150が混雑しているか否か判断するために行なわれる。
Control Message Protocol)を用いることで行なうことができる。例えば、CPU115は、ネットワーク監視部124に指示することで、ネットワーク150にパケットを送出させ、その返ってきたパケットの受信結果からビットレートを計算する。パケットの長さがL(Byte)、パケットを送出してからそのパケットを受信するまでにかかった時間がDの場合、CPU115は、L×8/(D/2)で、ビットレート(bps)を計算することができる。なお、このネットワーク状況監視は、pingに限らずネットワーク150のビットレートが推定できるものであれば、どのようなものでも利用可能である。
これは、pingによるネットワーク速度の測定は、長いパケットを複数回送出したときの結果をもとに平均をとることで、より確度の高い推定ができることによる。実施の形態1におけるカメラ110は、ネットワーク150が混雑していると判定されると、優先度の高い映像フレームを優先して伝送及び蓄積し、低優先の映像フレームを消去又は再圧縮するため、CPU115は、高い確度をもってネットワーク150が混雑していると判断する必要がある。しかし、一方で長いパケットを高頻度で送出すると、それ自体ネットワーク150の混雑を誘引するため、ネットワーク150のパフォーマンスの低下が許される程度でとどめる必要がある。この規定回数は、上記2つの事情を鑑みて予め設定されているものとする。
ネットワーク150が混雑していないと判断された場合(S12でNo)には、処理はステップS13に進み、ネットワーク150が混雑していると判断された場合(S12でYes)には、処理はステップS15に進む。
さらに、メモリ制御部117は、メモリ118に蓄積されている優先度処理フレームを全て読み出して、送信部120に与えて、ネットワーク150に伝送させる。ネットワーク150が混雑していない場合の動作(ステップS13及びステップS14)は、撮影された映像の映像データを伝送する一般的な機能及び撮影された映像の映像データを記録する一般的な機能と同様である。
ステップS18にてメモリ118から優先度処理フレームを読み出して映像データを送出した後は、ステップS19にて、メモリ制御部117は、その読み出した領域の解放を行う。
図4(A)に示されているように、圧縮部116には、撮像部112から映像フレームF01〜F05が入力される。
図4(B)に示されているように、圧縮部116は、入力された個々の映像フレームF01〜F05を圧縮して、優先度処理フレームPF01〜PF05を生成する。
優先度処理フレームPF02は、優先度情報D01と、タイムスタンプD02と、データサイズD03と、カメラ制御情報D04と、フレーム圧縮データD05とを有する。
優先度情報D01は、優先制御部114が出力してくる優先度を示す情報である。
タイムスタンプD02は、CPU115が管理しているその映像フレームF02が撮影された時刻情報である。その時刻情報は、CPU115から与えられる。
データサイズD03は、圧縮部116が圧縮したデータ、即ち、フレーム圧縮データD05のデータサイズを示す情報である。
カメラ制御情報D04は、CPU115が管理しているその映像フレームF02が撮影されたときのカメラ110の制御情報(パン、チルト及びズーム等の値)である。この制御情報は、CPU115から与えられる。
フレーム圧縮データD05は、圧縮部116が圧縮したデータである。例えば、優先度処理フレームPF02においては映像フレームF02を圧縮したデータが、フレーム圧縮データD05となる。
なお、図4においては、優先度処理フレームPF02について説明したが、他の優先度処理フレームPF01、PF03〜PF05も同様に構成されている。
図5(A)に示されているように、圧縮部116には、撮像部112から映像フレームF11〜F116が入力される。
図5(B)に示されているように、圧縮部116は、入力された個々の映像フレームF11〜F116を前後にわたって圧縮することで、圧縮済みのフレームCF11〜CF116を生成する。圧縮済みのフレームCF11〜CF116は、IフレームCF11、CF116と、BフレームCF12、CF13、CF15、CF16、CF115と、PフレームCF14、CF17とに分類される。PフレームCF14、CF17及びBフレームCF12、CF13、CF15、CF16、CF115は、その直前にあるIフレームCF11をもとに、前方向及び後方向に順次参照しながら圧縮がなされるため、圧縮部116は、あるIフレームCF11から次のIフレームCF116の一つ前のフレームCF115(Iフレーム間)をひとまとめにして優先度処理フレームPF11を生成する。
優先度処理フレームPF11は、優先度情報D11と、タイムスタンプD12と、データサイズD13と、カメラ制御情報D14と、フレーム圧縮データD15とを有する。
優先度情報D11は、優先制御部114が出力してくるIフレームCF11の優先度を示す情報である。
タイムスタンプD12は、CPU115が管理しているIフレームCF11が撮影された時刻情報である。この時刻情報は、CPU115から与えられる。
データサイズD13は、圧縮部116が圧縮したIフレーム間のデータ、即ち、フレーム圧縮データD15のデータサイズを示す情報である。
カメラ制御情報D14は、CPU115が管理しているIフレームCF11が撮影されたときのカメラ110の制御情報(パン、チルト、ズーム等の値)である。この制御情報は、CPU115から与えられる。
フレーム圧縮データD15は、圧縮部116が圧縮したデータである。例えば、優先度処理フレームPF11においては映像フレームF11〜F115を圧縮したデータが、フレーム圧縮データD15となる。
図6に示されているように、CPU115は、イベント数値I/F部113から与えられるイベント数値が、予め設定されたイベント開始閾値以上となった場合に、イベントの開始と判断し、そのイベント数値が、予め設定されたイベント終了閾値以下となった場合に、イベントの終了と判断する。例えば、図6に示されているように、CPU115は、予め設定されたイベント開始閾値及びイベント終了閾値により、イベントX(開始時刻X0、終了時刻X1)及びイベントY(開始時刻Y0、終了時刻Y1)の期間を判定する。CPU115は、図3のステップS15において、これら開始時刻と終了時刻との間のイベント期間のみ、メモリ制御部117に優先度処理フレームをメモリ118に書き込むよう指示を出す。なお、ネットワーク150が混雑しておらず、カメラ110が図3のステップS13及びS14の処理を行っているときは、イベント期間はネットワーク150が混雑していない期間全体とする。
図7(A)に示されているように、メモリ118は、並べ替え用領域R1と、空き領域管理領域R2と、映像記憶領域R3とを有する。このうち映像記憶領域R3は、イベント毎に優先度処理フレームを記録する領域である。
図8は、優先度処理フレームをメモリ118の並べ替え用領域R1に書き込む処理を示すフローチャートである。
書き込み処理を開始すると、まず、メモリ制御部117は、CPU115からのイベント開始指示があるまで待機する(S20)。
イベントが開始されると(S20でYes)、メモリ制御部117は、メモリ118の並べ替え用領域R1に圧縮部116から与えられる優先度処理フレームを時系列に書き込む(S21)。
そして、メモリ制御部117は、CPU115からのイベント終了指示がある(S22でYes)と、ステップS21の処理に戻り、次のイベントの開始指示が入力されるまで待機する。
図7(B)に示されているように、イベントD用領域R3Dは、イベント識別情報領域R4と、優先度別領域R5とを有する。
イベント識別情報領域R4は、イベントD用領域R3Dに格納されているイベントを識別するための情報であるイベント識別情報を格納する。
優先度別領域R5は、さらに優先度別に優先度領域が区切られている。図7(B)では、優先度別領域R5は、優先度1領域R51、優先度2領域R52、優先度3領域R53、・・・、優先度n領域R5nを有する。ここで、メモリ制御部117は、並べ替え用領域R1に1イベント分の優先度処理フレームをすべて書き込むときに、優先度処理フレームの優先度情報及び優先度処理フレームの全体のデータサイズを参照して、優先度処理フレームの全体のデータサイズと、後述する前ポインタ及び後ポインタのデータサイズを集計することにより、各優先度の領域サイズを算出する。そして、メモリ制御部117は、算出された領域サイズに応じて、優先度別領域R5を区切る。なお、イベント識別情報領域R4の領域サイズは固定であり、CPU115から指示されることで、各イベント用の領域が区切られる。
イベント識別情報領域R4は、イベント内容D20、タイムスタンプD21、イベント優先度D22、イベントサイズD23及び先頭ポインタD24を格納する。
イベント内容D20は、イベントの内容を示す情報である。例えば、映像処理システム100で河川の水位を監視している場合、イベント内容D20は、そのイベント期間中の平均水位を示す。なお、イベント内容D20は、CPU115が生成しメモリ制御部117に通知する。
タイムスタンプD21は、イベントの開始時刻と終了時刻とを示す情報である。タイムスタンプD21で示される開始時刻と終了時刻は、優先度別領域R5に格納される優先度処理フレームを時系列に並べたときに、最初の優先度処理フレームのタイムスタンプと最後の優先度処理フレームのタイムスタンプとそれぞれ一致する。
イベント優先度D22は、1つのイベント期間中のイベント数値の平均値により定まるそのイベントの優先度を示す情報である。例えば、CPU115は、イベント優先度平均値V、イベント優先度閾値d及びイベント優先度の段階数DSを予め定めておき、1つのイベント期間中のイベント数値の平均値をVaとすると、下記の(1)式により、イベント優先度を求める。
(DS/2)+(Va−V)/d (1)
ここで、(DS/2)及び(Va−V)/dにおいては、小数点以下は切り捨てられる。また、(1)で算出された値がDSを超える場合は、CPU115は、イベント優先度をDSとし、その値が1未満である場合には、イベント優先度を1とする。(1)式からも分かるように、イベント優先度は、イベント数値の平均値Vaが大きい程大きな値となる。イベント優先度の値が大きいほど、そのイベントの優先度は高くなる。
イベントサイズD23は、イベントD領域R3Dのデータサイズを示す情報である。
先頭ポインタD24は、優先度別領域R5に格納される優先度処理フレームのうち、時系列で最初となるフレームがどの領域に書き込まれているかを指し示すポインタである。例えば、先頭ポインタD24は、その優先度処理フレームに付加された前ポインタの先頭アドレスを示す。
メモリ制御部117は、1イベントの優先度処理フレームを並べ替え用領域R1に時系列で書き込んだ後、その領域から優先度処理フレームを読み出し、優先度別領域R5に書き込む。その際、後ほどイベントとして時系列順に再び並び替えることができるように、メモリ制御部117は、時系列的に前後する優先度処理フレームを、前から後の優先度処理フレームが参照できるように後ポインタ、逆に後ろから前の優先度処理フレームが参照できるように前ポインタを付加する。言い換えると、前ポインタは、あるポインタ付き優先度処理フレームの時系列的に直前のポインタ付き優先度処理フレームの先頭アドレスを示し、後ポインタは、あるポインタ付き優先度処理フレームの時系列的に直後のポインタ付き優先度処理フレームの先頭アドレスを示す。
まず、書き込み処理が開始されると、メモリ制御部117は、1イベント分の優先度処理フレームが並べ替え用領域R1に蓄積されるまで待機する(S30)。1イベント分の優先度処理フレームが並べ替え用領域R1に蓄積されると(S30でYes)、メモリ制御部117は、CPU115から必要な情報を取得して、このイベント用に確保された領域の先頭にイベント識別情報を書き込む(S31)。
また、メモリ制御部117は、並べ替え用領域R1の先頭から順に優先度処理フレームを読み出し(S32)、その優先度に応じた領域(図7(B)では、優先度1領域R51〜優先度n領域R5nのいずれか)に書き込む(S33)。
また、メモリ制御部117は、ステップS33で書き込んだ優先度処理フレームの前後に、イベント全体の時系列が維持できるよう前ポインタ及び後ポインタを書き込む(S34)。
そして、メモリ制御部117は、1イベント分の処理が完了したら(S35でYes)、ステップS30に戻り、再び並べ替え用領域R1に1イベント分の優先度処理フレームが蓄積されるまで待機する。
なお、複数のイベントでイベント優先度D22の値が同じ場合は、タイムスタンプD21を参照して、古いものから順に削除対象とする。
なお、上記削除の順番は一例であり、実施の形態1のカメラ110の根本動作である優先度の高いデータをなるべく長期間保存するということが維持されれば、データの削除順はシステムに応じて変更しても良い。
図10(A)に示されているように、ポインタ付き優先度処理フレームPPF41、ポインタ付き優先度処理フレームPPF42及びポインタ付き優先度処理フレームPPF43は、時系列的に上記の順で前ポインタ及び後ポインタによってつながれている。なお、ポインタ付き優先度処理フレームPPF41、PPF42、PPF43の優先度領域は異なっていても良い。
削除動作が開始されると、メモリ制御部117は、CPU115によりどのイベントのどの優先度領域を削除するかという指示があるまで待機する(S40)。
CPU115から削除指示が入力されると(S40でYes)、メモリ制御部117は、削除対象となるイベントの、削除対象となる優先度領域に格納されているポインタ付き優先度処理フレームを先頭から順番に読み出す(S41)。
次に、メモリ制御部117は、ステップS41で読み出されたポインタ付き優先度処理フレームの、時系列で連続する前のポインタ付き優先度処理フレームの後ポインタを、ステップS41で読み出されたポインタ付き優先度処理フレームの時系列における次のポインタ付き優先度処理フレームの先頭アドレスに書き換える(S43)。
また、メモリ制御部117は、ステップS41で読み出されたポインタ付き優先度処理フレームの、時系列で連続する後ろのポインタ付き優先度処理フレームの前ポインタを、ステップS41で読み出されたポインタ付き優先度処理フレームの時系列における前のポインタ付き優先度処理フレームの先頭アドレスに書き換える(S44)。
次に、メモリ制御部117は、ステップS41〜S43の処理が1つの優先度領域分完了したか否かを判断する(S45)。これらの処理が完了した場合(S45でYes)には、処理はステップS46に進み、これらの処理が完了していない場合(S45でNo)には、処理はステップS41に戻り、ステップS42及びS43の処理が行なわれていないポインタ付き優先度処理フレームが読み出される。
次に、メモリ制御部117は、削除指示を受けたイベントのイベント識別情報領域R4に格納されているイベント識別情報を更新する(S47)。例えば、メモリ制御部117は、イベントサイズD23を削除後のデータ容量に書き換える。また、削除によってイベントの先頭ポインタが変わる場合は、メモリ制御部117は、先頭ポインタD24を削除後のものに書き換える。
なお、複数のイベントでイベント優先度D22の値が同じ場合は、タイムスタンプD21を参照して、古いものから順に再圧縮対象とする。
なお、上記再圧縮の順番は一例であり、実施の形態1のカメラ110の根本動作である優先度の高いデータをなるべく長期間保存するということが維持されれば、データの再圧縮順はシステムに応じて変更しても良い。
図12(A)に示されているように、ポインタ付き優先度処理フレームPPF51、ポインタ付き優先度処理フレームPPF52及びポインタ付き優先度処理フレームPPF53は、時系列的に上記の順で前ポインタ及び後ポインタによってつながれている。優先度処理フレームPPF52及びポインタ付き優先度処理フレームPPF53は、同じ優先度領域にあるものとし、それらとポインタ付き優先度処理フレームPPF51の優先度領域は異なっているものとする。
さらに、メモリ制御部117は、優先度処理フレームPF52も同様に再圧縮部119に与え、再圧縮済優先度処理フレームPF52#を生成する。そして、メモリ制御部117は、再圧縮済優先度処理フレームPF52#を含むポインタ付き優先度処理フレームPPF52#用に前ポインタ及び後ポインタを生成し、図12(C)に示されているように、ポインタ付き優先度処理フレームPPF53#の直後に、ポインタ付き優先度処理フレームPPF52#を書き込む。
そして、メモリ制御部117は、ポインタ付き優先度処理フレームPPF51、PPF52#、PPF53#の前ポインタ及び後ポインタを、削除のときと同様に調整することで、図12(D)に示されているように、ポインタ付き優先度処理フレームPPF51#、PPF52##、PPF53##とする。具体的には、メモリ制御部117は、ポインタ付き優先度処理フレームPPF52#の前ポインタに合わせてポインタ付き優先度処理フレームPPF51#の後ポインタを書き換えることで、ポインタ付き優先度処理フレームPPF51#を生成する。また、メモリ制御部117は、ポインタ付き優先度処理フレームPPF52#の後ポインタに合わせてポインタ付き優先度処理フレームPPF53#の前ポインタを書き換えることで、ポインタ付き優先度処理フレームPPF53##を生成する。以上の動作により空き領域となった領域VR2は、空き領域管理領域R2に登録され、後ほど説明するメモリ整理動作によりほかのポインタ付き優先度処理フレームのデータ領域に置き換えられる。
再圧縮動作が開始されると、メモリ制御部117は、CPU115によりどのイベントのどの優先度領域を再圧縮するかという指示があるまで待機する(S50)。
CPU115から再圧縮指示が入力されると(S50でYes)、メモリ制御部117は、再圧縮対象のイベント、再圧縮対象の優先度領域に格納されている優先度処理フレームを先頭から順番に読み出す(S51)。ステップS51で読み出されたポインタ付き優先度処理フレームが再圧縮対象となる。
次に、メモリ制御部117は、ステップS51で読み出された優先度処理フレームの、時系列で連続する前のポインタ付き優先度処理フレームの後ポインタを書き換える(S55)。
また、メモリ制御部117は、ステップS51で読み出された優先度処理フレームの、時系列で連続する後ろのポインタ付き優先度処理フレームの前ポインタを書き換える(S56)。
次に、メモリ制御部117は、再圧縮指示を受けたイベントのイベント識別情報領域R4に格納されているイベント識別情報を更新する(S59)。例えば、メモリ制御部117は、イベントサイズD23を再圧縮後のデータ容量に書き換える。また、再圧縮によってイベントの先頭ポインタが変わる場合は、メモリ制御部117は、先頭ポインタD24を再圧縮後のものに書き換える。
メモリ制御部117は、空き領域管理領域R2を読み出して空き領域となっている映像記憶領域R3の空間を確認すると、その空き領域を埋めるように後ろのデータ領域を先頭に向かってコピーし、詰めるような処理を行う。このような処理を行うことにより、空き領域のデータが削除される。この際、メモリ制御部117は、前ポインタ及び後ポインタの調整も行なう。また、優先度処理フレームの書き込み、削除又は再圧縮が行われているイベントの領域があれば、その動作が完了するまでコピーを一時停止する。一時停止することで、上記優先度処理フレームの書き込みや、削除、再圧縮処理に影響を及ぼさないようすることができる。先頭に向かってのコピーが完了すれば、空き領域管理領域R2から空き領域の登録を抹消する。
CPU115は、ネットワーク混雑時は、優先度の高いイベントの優先度の高い優先度処理フレームのみを出力するようメモリ制御部117に指示を与える。具体的には、CPU115は、イベント優先度D22が一定の閾値以上の、特定の優先度領域(例えば、優先度1領域)に格納されているデータのみを出力するというような指示をメモリ制御部117に出力する。メモリ制御部117はこの指示に従い、イベント優先度D22が一定の閾値以上のイベントの、特定の優先度領域に格納されているポインタ付き優先度処理フレームを先頭から順番に出力する。優先度領域は、先頭から順番に古いポインタ付き優先度処理フレームが並んでいるため、出力は、時系列でとびとびとはなるが、古いデータから新しいデータとなる。なお、送信部120へは、前ポインタ及び後ポインタを除いた優先度処理フレームが出力され、優先度情報D01、タイムスタンプD02、データサイズD03及びカメラ制御情報D04のそれぞれの一部又は全部、並びに、フレーム圧縮データD05が出力される。なお、優先度情報D01、タイムスタンプD02、データサイズD03及びカメラ制御情報D04の全てが出力される必要はなく、これらの何れかは、出力されなくてもよい。
CPU115は、ネットワーク150の混雑が解消すると、情報処理装置130に蓄積している映像データの情報、例えば、イベントの発生時刻及び優先度情報等を送信する。そして、情報処理装置130からの要求を、ネットワーク受信I/F部122を介して受信部123が受信した場合には、CPU115は、受け取った要求に従って、メモリ制御部117に、要求に対応する全ての優先度処理フレームの出力を指示する。例えば、情報処理装置130からの要求が、特定のイベントの映像の送信であった場合には、CPU115は、受け取った要求に従って、メモリ制御部117に、要求に対応するイベントに含まれている全ての優先度処理フレームの出力を指示する。メモリ制御部117はその指示に従い、特定のイベントのデータを時系列で読み出し、先頭から順番に送信部120へ出力する。なお、送信部120へのデータ出力は、上述と同様、前ポインタ及び後ポインタを除いた優先度処理フレームである。さらに、メモリ制御部117は、出力が完了したイベント領域を空き領域管理領域R2に登録し、メモリ制御部117の五つ目の機能の整理動作により映像記録領域の整理を行い、記録領域を解放する。
実施の形態2は、実施の形態1で説明した優先度処理フレームについて、生成の仕方及び管理、出力方法が異なるものである。
また、圧縮部216は、圧縮された分割領域の画像データに、優先制御部114から与えられる優先度情報と、CPU115から与えられるタイムスタンプ及びカメラ制御情報と、圧縮された分割領域のデータサイズとを付加することで、優先度処理フレームを生成して、この優先度処理フレームをメモリ制御部117に与える。
図14(A)に示されているように、圧縮部216は、撮像部112から入力される1つの映像フレームを、f1〜f9の分割領域に分割する。
次に、圧縮部216は、図14(B)に示されているように、それぞれの分割領域f1〜f9をJPEG等の静止画圧縮処理を施すことにより、分割領域の圧縮画像データcf1〜cf9を生成する。
そして、圧縮部216は、図14(C)に示されているように、入力された映像フレームを分割した分割領域の圧縮画像データを含む優先度処理フレームPF21〜PF29を生成する。
優先度処理フレームPF22は、優先度情報D21と、タイムスタンプD22と、データサイズD23と、フレーム内情報D24と、分割領域圧縮データD25とを有する。
優先度情報D21は、優先制御部214が出力してくる優先度を示す情報である。
タイムスタンプD22は、CPU215が管理している映像フレームが撮影された時刻情報である。ここでは、タイムスタンプD22は、圧縮画像データcf2の元となった映像フレームが撮影された時刻情報である。その時刻情報は、CPU215から与えられる。
データサイズD23は、圧縮部216が圧縮したデータ、即ち、分割領域圧縮データD25のデータサイズを示す情報である。
フレーム内情報D24は、分割領域圧縮データD25の元となった分割領域のデータの映像フレーム内における位置を示す情報である。1フレームを左上から右方向、下方向に向かって1から順にnまで番号を振れば、分割数(=優先度段階n)とその番号のみでフレーム内の位置を決定することができる。
分割領域圧縮データD25は、圧縮部216で圧縮された分割領域の圧縮画像データcf2である。
なお、図14(C)においては、優先度処理フレームPF22について説明したが、他の優先度処理フレームPF21、PF23〜PF29も同様に構成されている。
ネットワーク150に送出される映像フレームF21、F22、F23は、時系列で連続している。映像フレームF21の分割領域f7、映像フレームF22の分割領域f4及び映像フレームF23の分割領域f9は、それぞれ最も低い優先度の分割領域であるため、削除されている。このため、これらの分割領域はデータがない領域として、映像フレームが構成されている。また、再圧縮された場合は、映像の解像度は低下するものの、データとしては存続する。なお、送信部120へのデータ出力は、上記1フレームに構成したものと、タイムスタンプD22、データサイズD23のそれぞれの一部又は全部を含むものである。例えば、必ずしもタイムスタンプD22及びデータサイズD23は、すべて含まなくても良い。また1フレーム構成とするので、優先度情報D21及びフレーム内情報D24は、必要ない。
Claims (12)
- イベント毎に、圧縮された画像データ及び当該画像データの優先度を示す第1の優先度を含む優先度処理フレームとともに、当該イベントの優先度を示す第2の優先度を記憶するメモリと、
ネットワークの状況を監視するネットワーク監視部と、
前記ネットワーク監視部で監視されている状況から、前記ネットワークが混雑しているか否かを判断する装置制御部と、
前記ネットワークが混雑していると前記装置制御部が判断した場合に、前記第1の優先度が第1の閾値以上で、かつ、前記第2の優先度が第2の閾値以上である優先度処理フレームに含まれている圧縮された画像データを前記メモリから読み出すメモリ制御部と、
前記メモリ制御部で読み出された圧縮された画像データを前記ネットワークに出力する送信部と、を備え、
前記メモリ制御部は、前記メモリのデータ量が第3の閾値以上となった場合には、前記第1の優先度及び前記第2の優先度の低い優先度処理フレームから順に削除することで、前記メモリの空き領域を増やすこと
を特徴とする映像処理装置。 - イベント毎に、圧縮された画像データ及び当該画像データの優先度を示す第1の優先度を含む優先度処理フレームとともに、当該イベントの優先度を示す第2の優先度を記憶するメモリと、
ネットワークの状況を監視するネットワーク監視部と、
前記ネットワーク監視部で監視されている状況から、前記ネットワークが混雑しているか否かを判断する装置制御部と、
前記装置制御部が、前記ネットワークが混雑していると判断した場合に、前記第1の優先度が第1の閾値以上で、かつ、前記第2の優先度が第2の閾値以上である優先度処理フレームに含まれている圧縮された画像データを前記メモリから読み出すメモリ制御部と、
前記メモリ制御部で読み出された圧縮された画像データを前記ネットワークに出力する送信部と、
前記圧縮された画像データを展開して、より圧縮率が高くなるように再圧縮する再圧縮部と、を備え、
前記メモリ制御部は、前記メモリのデータ量が第3の閾値以上となった場合には、前記第1の優先度及び前記第2の優先度の低い優先度処理フレームに含まれている圧縮された画像データから順に前記再圧縮部に再圧縮させることで、前記メモリの空き領域を増やすこと
を特徴とする映像処理装置。 - 対象を撮影して映像データを取得する撮像部と、
前記撮像部で撮影されている対象の時間的経過に応じて値が変化するイベント数値の入力を受けるイベント数値インタフェースと、
前記イベント数値インタフェースに入力されたイベント数値に基づいて、前記撮像部で取得された映像データに含まれている画像データの優先度を示す第1の優先度を決定する優先制御部と、
前記撮像部で取得された映像データに含まれている画像データを圧縮するとともに、前記優先制御部で決定された第1の優先度を当該圧縮された画像データに付加することで、前記優先度処理フレームを生成する圧縮部と、をさらに備え、
前記装置制御部は、前記イベント数値インタフェースが入力を受け付けたイベント数値に基づいて、イベントを特定し、当該特定されたイベントに対応する画像データに対して前記優先制御部が決定した第1の優先度に基づいて、当該特定されたイベントの優先度を示す第2の優先度を決定し、
前記メモリ制御部は、前記装置制御部が特定したイベント毎に、前記装置制御部が決定した第2の優先度とともに前記優先度処理フレームを前記メモリに記憶させること
を特徴とする請求項1又は2に記載の映像処理装置。 - 前記メモリ制御部は、
前記メモリに、前記第1の優先度の各々に対応する優先度領域を備えるイベント領域を、前記装置制御部が特定したイベント毎に形成し、
前記第2の優先度及び前記優先度処理フレームを、対応する前記イベント領域の対応する前記優先度領域に格納すること
を特徴とする請求項3に記載の映像処理装置。 - 前記メモリ制御部は、
前記メモリに、前記優先度処理フレームを一時的に記憶する並べ替え用領域をさらに形成し、
前記圧縮部で生成された優先度処理フレームを時系列に前記並べ替え用領域に記憶させ、前記並べ替え用領域に記憶された優先度処理フレームに、時系列において前後の優先度処理フレームの格納位置を特定することのできるポインタを付加して、対応する前記イベント領域の対応する前記優先度領域に格納すること
を特徴とする請求項4に記載の映像処理装置。 - 前記圧縮部は、前記撮像部で取得された映像データに含まれる1フレームの画像データ毎に圧縮を行なうことで、前記圧縮された画像データを生成すること、
を特徴とする請求項3から5の何れか一項に記載の映像処理装置。 - 前記圧縮部は、前記撮像部で取得された映像データに含まれる複数のフレームの画像データに対してフレーム間圧縮を行なうことで、Iフレーム、Pフレーム及びBフレームを生成し、Iフレームから次のIフレームの1つ前のフレームまでのデータにより、前記圧縮された画像データを生成すること
を特徴とする請求項3から5の何れか一項に記載の映像処理装置。 - 前記メモリ制御部は、
前記メモリに、前記優先度処理フレームを削除することにより空き領域となった領域を示す情報を格納する空き領域管理領域を形成し、
前記空き領域管理領域に格納されている情報で示される空き領域を詰めるように、前記優先度処理フレームを移動させること
を特徴とする請求項1に記載の映像処理装置。 - 前記メモリ制御部は、
前記メモリに、再圧縮により空き領域となった領域を示す情報を格納する空き領域管理領域を形成し、
前記空き領域管理領域に格納されている情報で示される空き領域を詰めるように、前記優先度処理フレームを移動させること
を特徴とする請求項2に記載の映像処理装置。 - 前記メモリに記憶されている前記優先度処理フレームは、時系列において前後の優先度処理フレームの格納位置を特定することのできるポインタが付加されており、
前記メモリ制御部は、前記優先度処理フレームを移動する際には、前記ポインタを更新すること
を特徴とする請求項8又は9に記載の映像処理装置。 - 対象を撮影して映像データを取得する撮像部と、
前記撮像部で取得された映像データに含まれる1フレームの画像データを分割した分割領域毎に、当該分割領域の優先度を示す第1の優先度を決定する優先制御部と、
前記撮像部で取得された映像データに含まれる1フレームの画像データを分割した分割画像データを圧縮することで、前記圧縮された画像データを生成するとともに、前記優先制御部で決定された第1の優先度を前記圧縮された画像データに付加することで、前記優先度処理フレームを生成する圧縮部と、
前記撮像部で撮影されている対象に応じて値が変化するイベント数値の入力を受けるイベント数値インタフェースと、をさらに備え、
前記装置制御部は、前記イベント数値インタフェースが入力を受け付けたイベント数値に基づいて、イベントを特定し、当該特定されたイベントに対応する画像データに対して前記優先制御部が決定した第1の優先度に基づいて、当該特定されたイベントの優先度を示す第2の優先度を決定し、
前記メモリ制御部は、前記装置制御部が特定したイベント毎に、前記装置制御部が決定した第2の優先度とともに前記優先度処理フレームを前記メモリに記憶させること
を特徴とする請求項1又は2に記載の映像処理装置。 - 前記装置制御部が、前記ネットワーク監視部で監視されている状況から、前記ネットワークの混雑が解消したと判断した場合に、前記メモリ制御部は、前記圧縮された映像データの送信先からの要求に対応する前記優先度処理フレームに含まれている圧縮された映像データを前記メモリから読み出して、当該読み出された圧縮された映像データを前記送信部に出力させること
を特徴とする請求項1から11の何れか一項に記載の映像処理装置。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013262132A JP6049602B2 (ja) | 2013-12-19 | 2013-12-19 | 映像処理装置 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2013262132A JP6049602B2 (ja) | 2013-12-19 | 2013-12-19 | 映像処理装置 |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2015119374A JP2015119374A (ja) | 2015-06-25 |
JP2015119374A5 JP2015119374A5 (ja) | 2016-02-25 |
JP6049602B2 true JP6049602B2 (ja) | 2016-12-21 |
Family
ID=53531728
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013262132A Expired - Fee Related JP6049602B2 (ja) | 2013-12-19 | 2013-12-19 | 映像処理装置 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6049602B2 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101844293B1 (ko) * | 2016-05-31 | 2018-04-02 | 경도기술산업(주) | 중앙분리대 표시장치 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH10247160A (ja) * | 1997-03-06 | 1998-09-14 | Nec Eng Ltd | メモリ管理システム |
US7609941B2 (en) * | 2003-10-20 | 2009-10-27 | Panasonic Corporation | Multimedia data recording apparatus, monitor system, and multimedia data recording method |
JP3917124B2 (ja) * | 2003-10-21 | 2007-05-23 | 株式会社日立国際電気 | 画像蓄積配信システムの帯域制御方式 |
JP2005136671A (ja) * | 2003-10-30 | 2005-05-26 | Konica Minolta Holdings Inc | 画像記録装置 |
JP2006254270A (ja) * | 2005-03-14 | 2006-09-21 | Nec Corp | 映像記録装置及び映像記録方法 |
US8610788B2 (en) * | 2011-02-08 | 2013-12-17 | International Business Machines Corporation | Content storage management in cameras |
-
2013
- 2013-12-19 JP JP2013262132A patent/JP6049602B2/ja not_active Expired - Fee Related
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101844293B1 (ko) * | 2016-05-31 | 2018-04-02 | 경도기술산업(주) | 중앙분리대 표시장치 |
Also Published As
Publication number | Publication date |
---|---|
JP2015119374A (ja) | 2015-06-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4341616B2 (ja) | ネットワークカメラシステムおよびネットワークカメラ制御プログラム | |
WO2015104953A1 (ja) | 計算機システムおよび画像データ送信方法 | |
JP2006238102A (ja) | 撮像装置および画像配信方法 | |
US8605170B2 (en) | Imaging device, method of processing captured image signal and computer program | |
JP2006279464A (ja) | 撮像装置及びネットワーク撮像システム | |
JP5234831B2 (ja) | 撮像装置、撮像方法及びプログラム | |
JP4270623B2 (ja) | 時系列データ蓄積配信システム | |
JP2007036615A (ja) | カメラ制御装置及び監視システム | |
JP5784353B2 (ja) | 画像表示装置 | |
JP6049602B2 (ja) | 映像処理装置 | |
US20120120309A1 (en) | Transmission apparatus and transmission method | |
JP3917124B2 (ja) | 画像蓄積配信システムの帯域制御方式 | |
JP2013143655A (ja) | 現場状況把握システム及び現場画像提供方法 | |
JP2019020845A (ja) | 画像処理装置及び方法、及び、画像処理システム | |
JP5061312B2 (ja) | 監視システム | |
JP4533708B2 (ja) | 監視カメラシステム、および監視カメラシステムの制御装置、並びに制御方法 | |
JP2015119374A5 (ja) | ||
JP6091079B2 (ja) | 制御装置、制御方法及びプログラム | |
JP4000029B2 (ja) | データ送信装置 | |
JP2008271016A (ja) | 映像監視装置 | |
JP4759740B2 (ja) | 画像処理装置及び画像処理方法 | |
EP4373083A1 (en) | A method and a device for managing encoded image frames in a data buffer | |
KR102291293B1 (ko) | 송신 디바이스, 통신 시스템, 송신 방법, 및 비일시적 컴퓨터 판독가능 기록 매체 | |
JP2008054150A (ja) | 複数チャンネル画像転送装置 | |
JP2017212544A (ja) | 制御装置、制御方法及びプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160106 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20160106 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20161017 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20161025 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20161122 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6049602 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |