JP7299690B2 - 画像処理装置およびその制御方法 - Google Patents
画像処理装置およびその制御方法 Download PDFInfo
- Publication number
- JP7299690B2 JP7299690B2 JP2018220676A JP2018220676A JP7299690B2 JP 7299690 B2 JP7299690 B2 JP 7299690B2 JP 2018220676 A JP2018220676 A JP 2018220676A JP 2018220676 A JP2018220676 A JP 2018220676A JP 7299690 B2 JP7299690 B2 JP 7299690B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- frame
- camera
- image processing
- encoding
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Description
撮像により動画像を取得する、直線状の通路の天井に設置される天井吊り下げ型のカメラと、
各時刻における撮影方向を規定した所与の制御内容に従って、パン・チルト動作により前記カメラの撮影方向を制御する撮影方向制御手段と、
前記動画像を構成するフレーム画像を符号化する符号化手段と、
前記カメラにより取得された動画像を構成するフレーム画像を、前記所与の制御内容に従って180°回転して前記符号化手段に出力する画像処理手段と、
前記動画像において、先行するフレーム画像に対する画像回転の発生の有無を判定する判定手段と、
前記判定手段により画像回転が発生したと判定されたフレーム画像に先行するフレーム画像を格納する記憶手段と、
前記判定手段により画像回転が発生したと判定された後、前記判定手段により前記動画像において再度の画像回転が発生したと判定された場合、前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて、前記再度の画像回転が発生したと判定されたフレーム画像の符号化を行うよう前記符号化手段を制御する制御手段と、
を有し、
前記制御手段は、前記所与の制御内容に従ってフレーム画像を前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて符号化するよう前記符号化手段を制御する。
本発明に係る画像処理装置の第1実施形態として、天井吊り下げ型の監視カメラにより得られた映像を符号化する画像処理装置(映像処理部200)を例に挙げて以下に説明する。
図1は、第1実施形態に係る画像処理装置を含む監視カメラの機能構成を示す図である。監視カメラは、画像処理装置である映像処理部100、カメラ300、全体制御部200を含み、PTZ設定部201から受信した設定に基づいて動作する。以下の説明では、PTZ設定部201は監視カメラとは別個の筐体として構成される場合を想定するが、同一の筐体に含めるよう構成してもよい。
図3は、3次元座標におけるパンチルト動作を説明する図である。ここでは、XYZ直交座標系において、X軸の負の方向をカメラの初期ポジションとしたパン・チルト動作を示している。天井吊り下げ型の監視カメラによる撮影方向は、水平方向(XZ平面)よりも下側の方向を向くことになる。そのため、ここでは、カメラの初期ポジションの方向を基準にチルト角度(φtilt)及びパン角度(φpan)を規定している。
図6は、符号化処理の変更制御を説明する図である。カメラポジションを(1)から(5)まで連続的に変化させ、その後、(5)から(2)まで連続的に変化させた場合に得られる動画像を構成するフレーム画像を例示的に示している。
第1実施形態においては、前回(1回目)の画像回転時の1フレーム前のフレーム画像をLongTerm参照フレームとして設定しているが、他のフレーム画像をLongTerm参照フレームとして設定しても良い。例えば、図10のように前回(1回目)画像回転時の3フレーム前のフレーム画像をLongTerm参照フレームとして設定してもよい。この場合、P1をLongTerm参照フレームとしてP13が符号化される。なお、P14のフレーム画像を処理する際には、P13を参照フレームとしてフレーム間予測による符号化を行う。
第2実施形態では、天井吊り下げ型のカメラが周期的なチルト動作を行うことにより撮影を行う場合の符号化制御について説明する。特に、カメラ設置時に、周期動作に応じた画像回転を行うカメラ位置情報、及び、画像回転を行うカメラ位置までチルト動作するための時間情報を設定する。そして、設定された初期情報に基づいて、LongTerm参照フレームを使用したフレーム間予測をする形態について説明する。なお、画像処理装置の機能構成およびハードウェア構成は第1実施形態とほぼ同様である。そのため以下では異なる部分を中心に説明を行う。
PTZ設定部201は、カメラの周期動作に応じた初期情報の設定をユーザから受け付ける。全体制御部200は、PTZ設定部201から初期情報を受け取り、当該初期情報に従った設定を画像回転判定部101に設定する。その後、画像回転判定部101は、初期情報に基づいて画像回転位置を算出し、カメラポジションが画像回転位置にきたと判断した場合、トリガ情報を符号化処理制御部102に通知する。
第3実施形態では、デジタル・パン・チルト・ズーム(DPTZ)機能を備えた監視カメラを用いた場合の処理について説明する。ここで、DPTZ機能とは、監視カメラにより得られた映像に対してトリミング処理や回転処理といった一連の画像処理を施すことによりパン・チルト・ズームされた映像を生成する機能である。例えば、超広角の撮像光学系を利用することにより、モータやギヤなどにより構成される可動部を用いることなく、幅広い方向の撮像映像を得ることができる。
図13は、DPTZ設定情報に基づく画像処理を説明する図である。画像1200aは撮像部303から出力されたフレーム画像を示しており、画像1200bはDPTZ設定情報をもとに画像処理部103で生成されたフレーム画像を示している。
すなわち、数式(1)では、領域1301において、Y軸方向において正負どちらの領域をより多く含んでいるかを判定している。画像回転判定部101は、数式(1)を満たす(Y軸方向において負の領域をより多く含んでいる)場合、対象矩形を180°回転すると決定し、トリガ情報を符号化処理制御部102に通知する。一方で、画像回転判定部101は、数式(1)を満たさない(Y軸方向において正の領域をより多く含んでいる)場合、回転処理が必要無いと決定し、トリガ情報を通知しない。
本発明は、上述の実施形態の1以上の機能を実現するプログラムを、ネットワーク又は記憶媒体を介してシステム又は装置に供給し、そのシステム又は装置のコンピュータにおける1つ以上のプロセッサーがプログラムを読出し実行する処理でも実現可能である。また、1以上の機能を実現する回路(例えば、ASIC)によっても実現可能である。
Claims (6)
- 撮像により動画像を取得する、直線状の通路の天井に設置される天井吊り下げ型のカメラと、
各時刻における撮影方向を規定した所与の制御内容に従って、パン・チルト動作により前記カメラの撮影方向を制御する撮影方向制御手段と、
前記動画像を構成するフレーム画像を符号化する符号化手段と、
前記カメラにより取得された動画像を構成するフレーム画像を、前記所与の制御内容に従って180°回転して前記符号化手段に出力する画像処理手段と、
前記動画像において、先行するフレーム画像に対する画像回転の発生の有無を判定する判定手段と、
前記判定手段により画像回転が発生したと判定されたフレーム画像に先行するフレーム画像を格納する記憶手段と、
前記判定手段により画像回転が発生したと判定された後、前記判定手段により前記動画像において再度の画像回転が発生したと判定された場合、前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて、前記再度の画像回転が発生したと判定されたフレーム画像の符号化を行うよう前記符号化手段を制御する制御手段と、
を有し、
前記制御手段は、前記所与の制御内容に従ってフレーム画像を前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて符号化するよう前記符号化手段を制御する
ことを特徴とする画像処理装置。 - 前記所与の制御内容を設定する設定手段を更に有する
ことを特徴とする請求項1に記載の画像処理装置。 - 前記画像処理手段は、前記カメラにより取得された動画像を構成するフレーム画像に対してトリミング処理及び拡大処理を更に行うよう構成されており、
前記撮影方向制御手段は、前記カメラにより取得された動画像に対して前記画像処理手段による画像処理を行うことにより疑似的な前記パン・チルト動作を行う
ことを特徴とする請求項1に記載の画像処理装置。 - 前記撮影方向制御手段は、前記動画像に対する前記画像処理手段によるトリミング領域の変更により、前記直線状の通路に沿った疑似的な前記パン・チルト動作を行い、
前記画像処理手段は、前記動画像における前記トリミング領域の位置座標に基づいて、フレーム画像を回転するか否かを決定し、
前記制御手段は、前記動画像における前記トリミング領域の位置座標に基づいて、フレーム画像を前記記憶手段に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて符号化する
ことを特徴とする請求項3に記載の画像処理装置。 - 画像処理装置における制御方法であって、
前記画像処理装置は、
撮像により動画像を取得する、直線状の通路の天井に設置される天井吊り下げ型のカメラと、
各時刻における撮影方向を規定した所与の制御内容に従って、パン・チルト動作により前記カメラの撮影方向を制御する撮影方向制御部と、
前記動画像を構成するフレーム画像を符号化する符号化部と、
前記カメラにより取得された動画像を構成するフレーム画像を、前記所与の制御内容に従って180°回転して前記符号化部に出力する画像処理部と、
を有し、
前記制御方法は、
動画像において、先行するフレーム画像に対する画像回転の発生の有無を判定する判定工程と、
前記判定工程により画像回転が発生したと判定されたフレーム画像に先行するフレーム画像を記憶部に格納する格納工程と、
前記判定工程により画像回転が発生したと判定された後、前記動画像において再度の画像回転が発生したと判定された場合、前記記憶部に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて、前記再度の画像回転が発生したと判定されたフレーム画像の符号化を行うよう前記符号化部を制御する制御工程と、
を含み、
前記制御工程では、前記所与の制御内容に従ってフレーム画像を前記記憶部に格納されたフレーム画像を参照フレームとしたフレーム間予測を用いて符号化するよう前記符号化部を制御する
ことを特徴とする画像処理装置の制御方法。 - コンピュータを、請求項1に記載の画像処理装置の各手段として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220676A JP7299690B2 (ja) | 2018-11-26 | 2018-11-26 | 画像処理装置およびその制御方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2018220676A JP7299690B2 (ja) | 2018-11-26 | 2018-11-26 | 画像処理装置およびその制御方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020088611A JP2020088611A (ja) | 2020-06-04 |
JP7299690B2 true JP7299690B2 (ja) | 2023-06-28 |
Family
ID=70910145
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2018220676A Active JP7299690B2 (ja) | 2018-11-26 | 2018-11-26 | 画像処理装置およびその制御方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7299690B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP7336185B2 (ja) * | 2018-11-26 | 2023-08-31 | キヤノン株式会社 | 画像処理装置および画像処理方法 |
WO2024010386A1 (ko) * | 2022-07-06 | 2024-01-11 | 엘지전자 주식회사 | 영상 변환에 기반한 영상 부호화/복호화 방법, 비트스트림을 전송하는 방법 및 비트스트림을 저장한 기록 매체 |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005159744A (ja) | 2003-11-26 | 2005-06-16 | Sharp Corp | 動画像符号化装置および動画像符号化プログラム |
JP2016096482A (ja) | 2014-11-14 | 2016-05-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
-
2018
- 2018-11-26 JP JP2018220676A patent/JP7299690B2/ja active Active
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2005159744A (ja) | 2003-11-26 | 2005-06-16 | Sharp Corp | 動画像符号化装置および動画像符号化プログラム |
JP2016096482A (ja) | 2014-11-14 | 2016-05-26 | キヤノン株式会社 | 画像処理装置、画像処理方法、及びプログラム |
Also Published As
Publication number | Publication date |
---|---|
JP2020088611A (ja) | 2020-06-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5268743B2 (ja) | 画像通信システム | |
US9544616B2 (en) | Video transmission apparatus | |
JP4940820B2 (ja) | ネットワークカメラ | |
KR100426174B1 (ko) | 영상압축 알고리즘을 이용한 카메라 제어방법 | |
TWI660626B (zh) | 用於編碼視訊串流的方法和系統 | |
JP2000032319A (ja) | カメラ制御システム、カメラ制御方法、カメラ制御装置、及びこれらに用いる画像処理装置、記録媒体 | |
US9979882B2 (en) | Method and device for controlling a camera capable of pan and tilt control | |
JP7299690B2 (ja) | 画像処理装置およびその制御方法 | |
EP3989530A1 (en) | Generating substitute image frames based on camera motion | |
JP6707334B2 (ja) | リアルタイム符号化のための方法及び装置 | |
JP7425012B2 (ja) | パンチルトズームカメラを制御すること | |
JP2005175970A (ja) | 撮像システム | |
JP7386307B2 (ja) | ビデオストリームを送信するための方法およびシステム | |
JP7336185B2 (ja) | 画像処理装置および画像処理方法 | |
JP6004978B2 (ja) | 被写体画像抽出装置および被写体画像抽出・合成装置 | |
JP2016096482A (ja) | 画像処理装置、画像処理方法、及びプログラム | |
JP2008011079A (ja) | 動画像符号化装置、動画像復号化装置及び動画像伝送システム | |
JP2001275103A (ja) | 監視システム及びその動き検出方法 | |
JP2006217158A (ja) | 画像符号化装置及び撮像装置 | |
JP2016086212A (ja) | 監視カメラ | |
JP2023120155A (ja) | オーバレイを含むビデオストリームの符号化 | |
JP2019075685A (ja) | 画像符号化装置、画像符号化方法及びプログラム | |
JP2008022444A (ja) | 動画像符号化装置及び動画像符号化方法 | |
Laddha et al. | Bitrate and complexity optimizations for video conferencing systems | |
JP2001298744A (ja) | 動画像符号化処理方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20210103 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20210113 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20211102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221215 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20221223 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230202 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20230616 |
|
R151 | Written notification of patent or utility model registration |
Ref document number: 7299690 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R151 |