JP2024053543A - カメラ情報のハンドオーバ - Google Patents
カメラ情報のハンドオーバ Download PDFInfo
- Publication number
- JP2024053543A JP2024053543A JP2023166624A JP2023166624A JP2024053543A JP 2024053543 A JP2024053543 A JP 2024053543A JP 2023166624 A JP2023166624 A JP 2023166624A JP 2023166624 A JP2023166624 A JP 2023166624A JP 2024053543 A JP2024053543 A JP 2024053543A
- Authority
- JP
- Japan
- Prior art keywords
- camera
- view
- field
- sub
- area
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 claims abstract description 50
- 230000009471 action Effects 0.000 claims abstract description 32
- 230000000977 initiatory effect Effects 0.000 claims abstract description 9
- 230000004044 response Effects 0.000 claims abstract description 9
- 238000001914 filtration Methods 0.000 claims description 11
- 230000002123 temporal effect Effects 0.000 claims description 9
- 238000005457 optimization Methods 0.000 claims description 8
- 230000011218 segmentation Effects 0.000 claims description 8
- 230000001960 triggered effect Effects 0.000 description 7
- 238000001514 detection method Methods 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000009467 reduction Effects 0.000 description 3
- 238000010586 diagram Methods 0.000 description 2
- 230000006978 adaptation Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 230000007774 longterm Effects 0.000 description 1
- 230000000873 masking effect Effects 0.000 description 1
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/617—Upgrading or updating of programs or applications for camera control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/20—Image enhancement or restoration using local operators
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/194—Segmentation; Edge detection involving foreground-background segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/62—Control of parameters via user interfaces
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/63—Control of cameras or camera modules by using electronic viewfinders
- H04N23/631—Graphical user interfaces [GUI] specially adapted for controlling image capture or setting capture parameters
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/70—Circuitry for compensating brightness variation in the scene
- H04N23/73—Circuitry for compensating brightness variation in the scene by influencing the exposure time
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/80—Camera processing pipelines; Components thereof
- H04N23/84—Camera processing pipelines; Components thereof for processing colour signals
- H04N23/88—Camera processing pipelines; Components thereof for processing colour signals for colour balance, e.g. white-balance circuits or colour temperature control
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19634—Electrical details of the system, e.g. component blocks for carrying out specific functions
- G08B13/19636—Electrical details of the system, e.g. component blocks for carrying out specific functions pertaining to the camera
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19639—Details of the system layout
- G08B13/19645—Multiple cameras, each having view on one of a plurality of scenes, e.g. multiple cameras for multi-room surveillance or for tracking an object by view hand-over
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19665—Details related to the storage of video surveillance data
- G08B13/19669—Event triggers storage or change of storage policy
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19695—Arrangements wherein non-video detectors start video recording or forwarding but do not generate an alarm themselves
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Human Computer Interaction (AREA)
- Software Systems (AREA)
- Studio Devices (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
Abstract
【課題】カメラ、非一時的コンピュータ可読記憶媒体および物体が第2のカメラの視野に現れる前に1つまたは複数のアクションを実施するようにカメラシステムにおける第2のカメラをトリガする方法を提供する。【解決手段】位置及び視野が既知である第2のカメラ及び位置が既知である少なくとも第1のデバイスを含むカメラシステムにおいて、方法は、第2のカメラ内で、物体が視野に接近していることを示す情報を受信することを含む。受信した情報は、物体の位置及び移動方向を示す第1のデバイスからの情報に基づく方法はまた、受信した情報に応答して、物体が第2のカメラの視野に現れる前に以下のアクション、即ち、イントラフレームを生成するか又はイントラリフレッシュ手順を開始することと、画像処理パラメータを調整することと、露光時間を調整することの1つ以上を実施するように第2のカメラをトリガすることと、を含む。【選択図】図2
Description
本発明は、物体がカメラの視野に現れる前にカメラを準備することに関し、具体的には、物体がカメラの視野に現れる前にカメラ内でアクションをトリガすることに関する。
1つまたは複数のカメラを含むカメラシステムでは、物体などの対象となる何かがいつカメラの視野に現れる可能性が高いかを予測することが有用であり得る。例えば、いくつかの建物における監視システムでは、部屋へのドアの開放は、カメラが部屋の一部を覆う場合に人が監視システムのカメラの視野に現れる可能性があることを示すことができる。このような場合、ドアが開いたことが検出されると、カメラからビデオの記録を開始することが知られている。さらに、2つ以上のカメラを備えるいくつかの先行技術のカメラシステムでは、追跡された物体に関する情報がカメラ間でハンドオーバされる。しかし、物体がカメラの視野に現れる前にカメラシステムのカメラを準備する際の改善が依然として必要とされている。
本発明の目的は、物体がカメラの視野に現れる前にカメラシステムのカメラを準備する機能強化を容易にすることである。
第1の態様によれば、物体が第2のカメラの視野に現れる前に1つまたは複数のアクションを実施するように第2のカメラをトリガするための方法が提供される。第2のカメラは、第2のカメラおよび少なくとも第1のデバイスを含むカメラシステムに配置される。第2のカメラについて位置および視野が既知であり、第1のデバイスについて位置が既知である。方法は、第2のカメラ内で、物体が第2のカメラの視野に接近していることを示す情報を受信することであって、受信した情報は、物体の位置および移動方向を示す第1のデバイスからの情報に基づく、受信することと、受信した情報に応答して、物体が第2のカメラの視野に現れる前に以下のアクション、即ち、a)イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、b)1つまたは複数の画像処理パラメータを調整すること、およびc)露光時間を調整することの1つ以上を実施するように第2のカメラをトリガすることと、を含む。
「イントラリフレッシュ手順」とは、画像フレームのセットの各画像フレームが複数のサブエリアに分割され、複数のサブエリアの1つまたは複数のサブエリアが第1の画像フレームでイントラ符号化され、サブエリアのセットの異なる1つまたは複数のサブエリアが第2の画像フレームでイントラ符号化され、そして複数のサブエリアのすべてのサブエリアが画像フレームのセットにわたってイントラ符号化されるまで続く手順を意味する。
「画像処理パラメータ」とは、画像フレームがカメラに取り込まれた後に画像フレームを処理するためのパラメータを意味する。そのような処理には、限定はしないが、カラーバランシング、ホワイトバランシング、低光ノイズフィルタリング、時間的ノイズフィルタリング、および背景セグメンテーションが挙げられる。
「露光時間」とは、カメラで画像フレームを取り込む際にセンサが露光される時間を意味する。この時間は、センサを機械的に覆い、露光時間に対応する時間中に除去されるメカシャッタによって制御されてもよく、または露光時間に対応する時間中にセンサから読み出されたデータのみを使用することによってメカシャッタをエミュレートする電子シャッタによって制御されてもよい。露光時間は、典型的には、画像フレーム内のすべてのエリアで同じである。しかし、各々が別々の露光時間を有する画像フレームのセットを組み合わせて1つの画像フレームを作成してもよい。そのような画像の場合、異なるサブエリアが様々な画像フレームのセットからのデータを含むことができ、したがって異なる露光時間を有すると言うことができる。
「物体が第2のカメラの視野に現れる前」とは、物体の任意の部分または一部が第2のカメラの視野に現れる前を意味する。
第1のデバイスの位置ならびに第2のカメラの位置および視野は既知であるため、物体の位置および移動方向を示す第1のデバイスからの情報に基づいて、物体が第2のカメラの視野に接近していることを示す情報を第2のカメラで受信することができる。受信した情報を使用して、物体が第2のカメラの視野に現れる前に3つのアクションの1つ以上を実施するように第2のカメラをトリガすることによって、物体が第2のカメラの視野に入る際のシーンの変化への適合の向上が可能になる。
物体が第2のカメラの視野に現れる前にイントラフレーム(Iフレーム)の生成をトリガすることによって、物体が第2のカメラの視野に現れる前に、PまたはBフレームと比較してIフレームのビット数の増加が誘導される。これは、物体が第2のカメラの視野に現れるときにIフレームが符号化される場合よりも少ないビット数を有するIフレームをもたらす。さらに、物体が第2のカメラの視野に現れるとき、これは、典型的にはそれらが含まれる符号化画像フレームのビット数を増加させるIブロックを生成する必要性を増加させる。同様に、物体の移動はまた、一般に、符号化された画像フレームのビット数を増加させる。したがって、Iフレームの生成および第2のカメラの視野に現れる物体に起因する、また物体の移動に起因する画像フレームのビット数の増加は、複数の画像フレームにわたって広がることが可能であり、したがって画像フレームの最大サイズが縮小される。
物体が視野に現れる前に画像処理パラメータおよび/または露光時間の調整をトリガすることによって、物体が第2のカメラの視野に現れる前に画像処理パラメータおよび/または露光の調整が可能になる。例えば、物体が移動しているという事実に対して調整が可能になる。さらに、例えばコントラスト、ノイズレベル、演色性、分解能などを調整することによって、処理を最適化する調整が可能になる。
受信した情報は、物体が第2のカメラの視野に現れると推定される時間をさらに示すことができる。物体が第2のカメラの視野に現れると推定される時間を知ることによって、物体が第2のカメラの視野に現れる前に3つのアクションのうちの1つを実施するより良いタイミングを、物体が第2のカメラの視野に現れた後に検出された結果としてアクションのうちの1つのトリガが実行されるかどうかに関して達成することができる。
受信した情報は、物体が最初に現れると予想される第2のカメラの視野のサブエリアをさらに示すことができる。サブエリアを知ることによって、1つまたは複数のアクションがサブエリアに対して実施され得る。
次にイントラフレームを生成すること、またはイントラリフレッシュ手順を開始することは、物体が最初に現れると推定される第2のカメラの視野のサブエリアに対応しない第2のカメラの画像フレームのサブエリアの第1のイントラリフレッシュと、次いで、物体が最初に現れると推定される第2のカメラの視野のサブエリアに対応する第2のカメラの画像フレームのサブエリアのイントラリフレッシュとを含んでもよい。物体が最初に現れると推定される第2のカメラの視野のサブエリアに対応しない第2のカメラの画像フレームのサブエリアのイントラリフレッシュは、物体が第2のカメラの視野に最初に現れると推定される前に終了することができるように一度に開始される。次に、物体が最初に現れると推定される第2のカメラの視野のサブエリアに対応する第2のカメラの画像フレームのサブエリアのイントラリフレッシュが実施されて開始し、また任意選択で、物体がそのサブエリアに現れる直前に、物体がそのサブエリアに現れる時間に、またはその後短時間で終了する。物体がそのサブエリアに現れる直前に開始および終了した場合、物体が現れた時点でのそのサブエリアの符号化は、典型的には、そのサブエリアの少なくとも一部におけるIブロックの符号化を必要とする。
物体が第2のカメラの視野に現れる前に物体が最初に現れると推定される第2のカメラの視野のサブエリアに対応しない第2のカメラの画像フレームのサブエリアのイントラリフレッシュ、すなわちイントラ符号化をトリガすることによって、物体が第2のカメラの視野に現れる前に、通常のPまたはBフレームと比較してイントラリフレッシュによるビット数の増加が誘導される。これは、物体が第2のカメラの視野に現れるときに完全なIフレームが符号化される場合よりも少ないビット数を有するフレームをもたらす。さらに、物体が第2のカメラの視野に現れるとき、これは、典型的にはそれらが含まれる符号化画像フレームのビット数を増加させるIブロックを生成する必要性を増加させる。同様に、物体の移動はまた、一般に、符号化された画像フレームのビット数を増加させる。したがって、Iブロックの生成および第2のカメラの視野に現れる物体に起因する、また物体の移動に起因する画像フレームのビット数の増加は、複数の画像フレームにわたって広がることが可能であり、したがって画像フレームの最大サイズが縮小される。加えて、物体が最初に現れる第2のカメラの視野のサブエリアに対応するサブエリアは、物体が現れるときにIブロックで更新されなければならないので、そのサブエリアのイントラリフレッシュ、すなわちイントラ符号化は、物体が現れた後まで延期され得る。このようにして、他のサブエリアがイントラ符号化される画像フレームのサイズは、完全なIフレームに対して縮小することができる。
追加的または代替的に、1つまたは複数の画像処理パラメータを調整すること、および/または露光時間を調整することは、物体が最初に現れると推定される第2のカメラの視野のサブエリアに対応する第2のカメラの画像フレームのサブエリア内で局所的に実施されてもよい。画像フレームのサブエリア内で局所的に1つまたは複数の画像処理を調整することおよび/または露光時間を調整することによって、物体に対してサブエリアにおける画像の向上が可能になる。例えば、サブエリアにおける1つまたは複数の画像処理パラメータ、および/または露光は、物体が移動しているという事実に対して、またはサイズ、色、物体タイプなどに関して受信したメタデータに対して調整することができる。
追加的または代替的に、1つまたは複数の画像処理パラメータを調整することは、物体が最初に現れると推定される第2のカメラの視野のサブエリアに対応する第2のカメラの画像フレームのサブエリアにおける低光ノイズフィルタリングを低減することを含んでもよい。サブエリアにおける低光ノイズフィルタリングを低減することによって、サブエリアが低光のためにノイズが多い場合、物体がサブエリア内で見えないというリスクを低減することができる。
追加的または代替的に、露光時間を調整することは、物体が最初に現れると推定される第2のカメラの視野のサブエリアに対応する第2のカメラの画像フレームのサブエリア内で、物体が最初に現れると推定される第2のカメラの視野のサブエリアに対応しない第2のカメラの画像フレームのサブエリア内よりも短い露光時間を設定することを含んでもよい。
1つまたは複数の画像処理パラメータを調整することは、パラメータ最適化のための開始値として1つまたは複数の画像処理パラメータをそれぞれの中間値に設定すること、および背景セグメンテーションのための閾値を低減することの1つまたは複数を含んでもよい。1つまたは複数の画像処理パラメータをそれぞれの中間値に設定することによって、画像処理パラメータの値のより高速な最適化が可能になる。物体が第2のカメラの視野に現れる前に背景セグメンテーションにおいて前景として分類されるものに対する閾値を低減することによって、前景物体としての物体のより高速な検出が可能になる。物体が第2のカメラの視野に現れる前に閾値を低減することと背景マージを実施することの両方が、物体が前景として分類され、したがって検出またはマスキングに対して見落とされない可能性を高める。
受信した情報は、物体の速度をさらに示すことができる。そして、露光時間を調整することは、速度が高いほど露光時間が短くなるように、物体の速度に基づいてもよい。追加的または代替的に、1つまたは複数の画像処理パラメータを調整することは、物体の速度に基づいて、速度が高いほど時間的ノイズフィルタレベルが高くなるように、時間的ノイズフィルタレベルを設定することを含んでもよい。
第2のカメラは、アクションの2つ以上を実施するようにさらにトリガされてもよい。
受信した情報は、物体のクラスをさらに示すことができる。
第1のデバイスは、限定はしないが、第1のカメラ、レーダ、ライダ、サーマルカメラ、およびソナーセンサのうちの1つであってもよい。
第1のデバイスが第1のカメラである場合、受信した情報は、第1のカメラのカラーバランス補正またはホワイトバランス補正をさらに含んでもよい。次に、1つまたは複数の画像処理パラメータを調整することは、受信した情報に従ってカラーバランス補正またはホワイトバランス補正を設定することを含む。
第2の態様によれば、少なくとも受信機、プロセッサ、およびエンコーダを有するデバイスで実行されると、第1の態様による方法を実施するための命令を記憶している、非一時的コンピュータ可読記憶媒体が提供される。
第3の態様によれば、物体がカメラの視野に現れる前に1つまたは複数のアクションを実施するように構成されたカメラが提供される。カメラは、カメラがカメラおよび少なくとも別のデバイスを含むカメラシステムに配置され、カメラについて位置および視野が既知であり、前記別のデバイスについて位置が既知であるときに、物体がカメラの視野に接近していることを示す情報を受信するように構成された受信機であって、受信した情報は、物体の位置および移動方向を示す別のデバイスからの情報に基づく受信機を備える。カメラは、エンコーダと、回路であって、受信した情報に応答して、物体が第2のカメラの視野に現れる前に以下のアクション、即ち、a)イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、b)1つまたは複数の画像処理パラメータを調整すること、およびc)露光時間を調整することの1つ以上を実施するようにカメラをトリガするように構成されたトリガ機能を実行するように構成された回路と、をさらに備える。
第1の態様による方法の上述の任意選択の追加の特徴は、適用可能な場合、第3の態様によるカメラにも適用される。過度の繰り返しを回避するために、上記が参照される。
本発明のさらなる適用範囲は、以下に与えられる詳細な説明から明らかになるであろう。しかし、本発明の範囲内の様々な変更および修正がこの詳細な説明から当業者に明らかになるので、詳細な説明および具体的な例は、本発明の好ましい実施形態を示しているが、単なる例示として与えられていることを理解されたい。
したがって、本発明は、記載されたデバイスの特定の構成部品または記載された方法の動作に限定されず、そのようなデバイスおよび方法は変化し得ることを理解されたい。本明細書で使用される専門用語は、特定の実施形態のみを説明するためのものであり、限定することを意図するものではないことも理解されたい。本明細書および添付の特許請求の範囲で使用される場合、冠詞「a」、「an」、「the」、および「said」は、文脈が明らかにそうでないことを指示しない限り、1つまたは複数の要素があることを意味することを意図していることに留意されたい。したがって、例えば、「ユニット(a unit)」または「ユニット(the unit)」への言及は、いくつかのデバイスなどを含み得る。さらに、「備える」、「含む」、「含有する」という用語、および同様の言い回しは、他の要素またはステップを排除するものではない。
次に、本発明の上記および他の態様は、添付の図を参照してより詳細に説明される。図は限定的であると見なされるべきではなく、説明および理解のために使用される。
次に、本発明の現時点で好ましい実施形態が示されている添付の図面を参照して、本発明を以下に説明する。しかし、本発明は、多くの異なる形態で具現化されてもよく、本明細書に記載の実施形態に限定されると解釈されるべきではない。
図1は、物体がカメラの視野に現れる前に1つまたは複数のアクションを実施するように構成されたカメラ100(以下では第2のカメラ)の実施形態の概略ブロック図を示す。第2のカメラ100は、第2のカメラ100および少なくとも別のデバイスを含むカメラシステムに配置されてもよい防犯カメラまたは監視カメラなどの任意のタイプのカメラであってもよく、第2のカメラ100について位置および視野が既知であり、前記別のデバイスについて位置が既知である。前記別のデバイスは、例えば別のカメラであってもよい。第2のカメラ100は、例えばビデオの形態で一連の画像フレームを取り込み、各画像フレームは、第2のカメラ100の視野によって定義されるシーンを描写する。
第2のカメラ100は、受信機110と、エンコーダ120と、回路130とを備える。カメラはまた、典型的には、画像センサ(図示せず)と、画像プロセッサ(図示せず)とを備える。
受信機110は、第2のカメラ100が第2のカメラ100および少なくとも別のデバイスを含むカメラシステムに配置され、第2のカメラ100について位置および視野が既知であり、前記別のデバイスについて位置が既知である場合、物体が第2のカメラ100の視野に接近していることを示す情報を受信するように構成される。受信した情報は、物体の位置および移動方向を示す前記別のデバイスからの情報に基づく。
エンコーダ120は、第2のカメラ100の画像センサによって取り込まれた画像データをビデオストリームに符号化するように構成される。エンコーダ120によって出力されるビデオストリームは、符号化ビデオストリームと呼ばれることがある。典型的には、ビデオエンコーダ120は、イントラフレームとしてビデオストリームの画像フレームの一部を符号化し、インターフレームとしてビデオストリームの画像フレームの一部を符号化するように構成される。イントラフレームは、他のビデオフレームからの情報を復号化する必要がない符号化ビデオフレームである。したがって、イントラフレームは、対応するように設定されたビデオデータの画像フレームからの情報に基づいて符号化される。典型的には、画像フレーム内の類似性は、画像フレームをイントラフレームに符号化するために使用される。ビデオ符号化では、イントラフレームは、Iフレームと呼ばれることが多い。2つのイントラフレームの間のビデオストリームの画像フレームは、インターフレームとして符号化される。インターフレームは、対応するように設定されたビデオデータの画像フレーム以外の符号化対象の少なくとも1つの他の画像フレームからの情報に基づいて符号化される。インターフレームは、典型的には、イントラフレームよりも少ないデータを含む。ビデオ符号化では、インターフレームは、PフレームまたはBフレームと呼ばれることが多い。Pフレームは、データ参照のための前のフレームを指す。したがって、Pフレームを復号化するためには、前のフレームのコンテンツを知らなければならない。Bフレームは、データ参照のための前のフレームと先のフレームの両方を指すことができる。したがって、Bフレームを復号化するためには、前のフレームと先のフレームの両方のコンテンツを知らなければならない。
回路130は、第2のカメラ100の機能を実行するように構成される。回路130は、中央処理装置(CPU)、マイクロコントローラ、またはマイクロプロセッサなどのプロセッサ132を含むことができる。プロセッサ132は、プログラムコードを実行するように構成される。プログラムコードは、例えば第2のカメラ100の機能を実行するように構成されてもよい。
第2のカメラ100は、メモリ140をさらに備えてもよい。メモリ140は、バッファー、フラッシュメモリ、ハードドライブ、リムーバブルメディア、揮発性メモリ、不揮発性メモリ、ランダムアクセスメモリ(RAM)、または別の適切なデバイスのうちの1つ以上とすることができる。典型的な配置では、メモリ140は、長期データ記憶用の不揮発性メモリと、回路130用のシステムメモリとして機能する揮発性メモリとを含むことができる。メモリ140は、データバスを介して回路130とデータを交換することが可能である。メモリ140と回路130との間には、付随する制御線およびアドレスバスも存在してもよい。
第2のカメラ100の機能は、第2のカメラ100の非一時的コンピュータ可読媒体(例えば、メモリ140)に記憶され、(例えば、プロセッサ132を使用して)回路130によって実行される実行可能論理ルーチン(例えば、コード行、ソフトウェアプログラムなど)の形態で具現化されてもよい。さらに、第2のカメラ100の機能は、スタンドアロンのソフトウェアアプリケーションであってもよく、または第2のカメラ100に関連する追加のタスクを実行するソフトウェアアプリケーションの一部を形成してもよい。記載された機能は、処理ユニット、例えば、回路130のプロセッサ132が実行するように構成される方法と考えることができる。また、記載された機能はソフトウェアで実装されてもよいが、そのような機能性は、専用のハードウェアもしくはファームウェア、またはハードウェア、ファームウェア、および/もしくはソフトウェアの何らかの組み合わせを介して実行されてもよい。
第2のカメラ100の回路130は、トリガ機能141を実行するように構成される。トリガ機能141は、物体が第2のカメラ100の視野に接近していることを示す受信機110における受信した情報に応答して、物体が第2のカメラ100の視野に現れる前に以下のアクションa)イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、b)1つまたは複数の画像処理パラメータを調整すること、およびc)露光時間を調整することの1つまたは複数を実施するように第2のカメラ100をトリガするように構成される。
第2のカメラ100は、第2のカメラ100および少なくとも第1のデバイスを含むカメラシステムに配置されるように構成される。具体的には、第2のカメラ100および第1のデバイスを含むカメラシステムは、第1のデバイスの位置、ならびに第2のカメラ100の位置および視野が既知であり、かつ物体の位置および移動方向を示す情報を第1のデバイスから提供することができるように配置および構成されるべきである。次いで、物体が第2のカメラ100の視野に接近しており、第2のカメラ100で受信されることを示す情報は、中央サーバを使用した集中型ソリューション、または第1のデバイスおよび第2のカメラ100を使用した分散型ソリューションのいずれかで準備されてもよい。集中型ソリューションでは、中央サーバのみが、第1のデバイスの位置、ならびに第2のカメラ100の位置および視野を知る必要がある。物体の位置および移動方向を示す情報を第1のデバイスから受信した後、中央サーバは、物体が第2のカメラ100の視野に接近していることを示す情報を準備し、この情報を第2のカメラ100に提供することができる。分散型ソリューションでは、第1のデバイスは、物体の位置および移動方向を示す情報を第2のカメラ100に直接送信してもよく、次に第2のカメラ100は、それ自体の位置および視野を認識することで、物体が第2のカメラ100の視野に接近しているかどうかを決定し、接近している場合、3つのアクションのうちの1つ以上をトリガしてもよい。後者の場合、物体が第2のカメラ100の視野に接近していることを示す情報は、第1のデバイスから受信した物体の位置および移動方向を示す情報となる。
物体が第2のカメラ100の視野に接近していることを示すことに加えて、受信した情報は、物体が第2のカメラ100の視野に現れると推定される時間および/または物体の速度をさらに示すことができる。物体が第2のカメラ100の視野に現れると推定される時間を知ることによって、物体が第2のカメラ100の視野に現れる前に3つのアクションのうちの1つを実施するより良いタイミングを達成することができる。第1のデバイスは、物体の速度ならびに第2のカメラの位置および視野に基づいて、物体が第2のカメラ100の視野に現れると推定される時間を計算し得る。
さらに、第2のカメラ100の視野は、サブエリアのセットに論理的に分割されてもよく、各サブエリアは、第2のカメラ100の各画像フレームのそれぞれのサブエリアに対応する。次いで、第2のカメラにおける受信した情報は、物体が最初に現れると予想される第2のカメラ100の視野のサブエリアをさらに示すことができる。サブエリアを知ることによって、1つまたは複数のアクションがサブエリアに対して実施され得る。
物体の位置および移動方向を決定するためには、典型的には、第1のデバイスが経時的に少なくとも2次元表現を提供することを必要とする。したがって、第1のデバイスは、限定はしないが、第1のカメラ、レーダ、ライダ、サーマルカメラ、およびソナーセンサのうちの1つであってもよい。そのようなシナリオにおいて、集中型ソリューションでは、第1のデバイスは、一連の画像フレームにわたって物体を検出することによって、その位置および視野に対する相対的な位置および相対的な移動方向を決定することができる。次いで、集中型サーバは、第1のデバイスと第2のカメラ100の両方の絶対的または相対的な位置および視野を知ることで、物体が第2のカメラ100の視野に接近しているかどうかを決定し、接近している場合、そのような情報を第2のカメラ100に提供することができる。分散型ソリューションでは、共通の座標系に対する第1のデバイスおよび第2のデバイスの位置および視野の知識は、それぞれのデバイスに指定され得る。あるいは、各デバイスは、他のデバイスの相対位置を有してもよい。次に、物体の位置および移動方向は、一連の画像フレームにわたって物体を検出することによって第1のデバイス内で決定することができ、物体の位置および移動方向を示す情報は、第2のカメラ100に提供することができる。次いで、第2のカメラ100は、それ自体の位置および視野を認識することで、物体が第2のカメラ100の視野に接近しているかどうかを決定し、接近している場合、3つのアクションのうちの1つ以上をトリガしてもよい。後者の場合、物体が第2のカメラ100の視野に接近していることを示す情報は、第1のデバイスから受信した物体の位置および移動方向を示す情報となる。第1のデバイスの一連の画像フレームにわたる物体の検出から、人(物体)の推定速度および/または人(物体)が第2のカメラ100の視野に入るであろう推定時間を決定することができる。さらに、位置および移動方向から、物体が現れる第2のカメラ100の視野のサブエリアを決定することができる。
いくつかのシナリオでは、第1のデバイスは、物体が特定の点または線を通過したことのみを示す1つまたは複数のセンサを含むことができる。例えば、第1のデバイスが、人がドアを通過したこと、または廊下もしくは他の限られた空間に通じる線を通過したことを感知することができるセンサを含み、第2のカメラ100が廊下もしくは他の限られた空間の他端に位置および視野を有する場合、人がドアもしくは線を通過したという第1のデバイスからの情報は、第1のデバイスの位置ならびに第2のカメラ100の位置および視野の知識に基づいて、人(物体)が第2のカメラ100の視野に接近しているという情報を構成する。第1のデバイスが廊下または他の限られた空間に沿った既知の位置に1つまたは複数のさらなるセンサを含む場合、人(物体)の推定速度および/または人(物体)が第2のカメラ100の視野に入る時間のより良い推定を決定することができる。そのようなシナリオでは、第2のカメラ100の視野は、1つのサブエリアが第1のデバイスの1つまたは複数のセンサに最も近いサブエリアに分割され得る。そのような場合、物体が現れる第2のカメラ100の視野のサブエリアは、サブエリアが第1のデバイスの1つまたは複数のセンサに近いために決定され得る。
一般に、物体がその視野に接近していることを示す情報を第2のカメラ100が受信することができるように第1のデバイスの位置ならびに第2のデバイスの位置および視野が決定され、次いでそれらが中央にあるものかまたは分散されているかが知られる限り、第1のデバイスの位置ならびに第2のデバイスの位置および視野がどのように決定されるかは必須ではなく、情報は、物体の位置および移動方向を示す第1のデバイスからの情報に基づく。例えば、第1のデバイスの位置ならびに第2のデバイスの位置および視野は、カメラシステムのセットアップ時に、例えば地図に基づくgps位置決めおよび/または取り付けの位置を使用して決定することができる。あるいは、第1のデバイスの位置ならびに第2のデバイスの位置および視野は、第1のデバイスおよび第2のカメラにおける物体の検出および移動の情報を受信し、かつ第1のデバイスの位置ならびに第2のデバイスの位置および視野、ならびに/または第1のデバイスによる特定の位置および移動方向を有する物体が第2のカメラ100の視野に接近しているかどうかを経時的に決定する自己学習システムを使用して決定されてもよい。
受信した情報に応答してトリガされ得るアクションの1つは、イントラフレームの生成またはイントラリフレッシュ手順の開始である。受信した情報が、物体が第2のカメラ100の視野に接近していることを示す場合、物体が第2のカメラ100の視野に現れる前にIフレームの生成がトリガされる。そのようなIフレームが生成された後、背景の品質が向上され、これは、物体が第2のカメラ100の視野に現れるとき、物体ではなく背景のみを含むエリアに対してIブロックの必要性が少なくなることを意味する。物体が第2のカメラ100の視野に入る前にIフレームを生成する利点は、そのようなIフレームが、典型的には、PフレームまたはBフレームと比較してビット数が多いことである。次いで、物体が第2のカメラ100の視野に現れると、物体に対してIブロックを生成する必要がある。そのようなIブロックは、符号化画像フレームのビット数を増加させる。同様に、物体の移動はまた、一般に、視野における物体の移動中に各符号化フレームのビット数を増加させる。したがって、物体が第2のカメラ100の視野に現れる前に背景を更新するためにIフレームの生成をトリガすることによって、これに起因するビット数の増加は、物体が現れるときのIブロックの生成および物体の移動に起因するビット数の増加を含む符号化フレームとは異なる符号化フレーム内にある。
受信した情報が、物体が第2のカメラ100の視野に現れると推定される時間を示す場合、Iフレームまたはイントラリフレッシュの生成は、その時間に対して、すなわち、物体が第2のカメラ100の視野に、好ましくは直前に現れると推定される前にタイミングを合わせることができる。
受信した情報が、物体が最初に現れると予想される第2のカメラ100の視野のサブエリアをさらに示す場合、Iブロックの生成は、これに適合したイントラリフレッシュ手順によって適合させることができる。
一般に、イントラリフレッシュ手順は、画像フレームのセットの各画像フレームが複数のサブエリアに分割され、複数のサブエリアの1つまたは複数のサブエリアが第1の画像フレームでイントラ符号化され、サブエリアのセットの異なる1つまたは複数のサブエリアが第2の画像フレームでイントラ符号化され、そして複数のサブエリアのすべてのサブエリアが画像フレームのセットにわたってイントラ符号化されるまで続く手順である。画像フレームの各サブエリアは、第2のカメラ100の視野のサブエリアのそれぞれに対応する。一例として、4つのサブエリア310、320、330、340への画像フレーム300の分割が図3に示されており、第1のサブエリア310は画像フレーム300の左上部分であり、第2のサブエリア320は右上部分であり、第3のサブエリア330は左下部分であり、第4のサブエリア340は右下部分である。当然ながら、より多くのサブエリアへの分割、および水平または垂直ストライプなどの他のパターンなど、他の分割も可能である。
次に、イントラフレームを生成すること、またはイントラリフレッシュ手順を開始することは、物体が最初に現れると推定される第2のカメラ100の視野のサブエリアに対応しない第2のカメラ100の画像フレームのサブエリアの第1のイントラリフレッシュ、すなわちイントラ符号化を含むことができる。これは、物体が1つの画像フレームに最初に現れると予想される第2のカメラ100の視野のサブエリアに対応するサブエリア以外のすべてのサブエリアをイントラ符号化することによって実施されてもよい。あるいは、これは、例えば第2のカメラ100の視野のサブエリアに対応するサブエリア以外のサブエリアの各サブエリアが、物体が第2のカメラ100の視野に入ると予想される前にすべて現れる別々の画像フレーム内でイントラ符号化されるように、いくつかの画像フレームにわたって広げられてもよい。物体が第2のカメラ100の視野に現れたとき、物体が最初に現れると推定される第2のカメラ100の視野のサブエリアに対応する第2のカメラ100の画像フレームのサブエリアに対してイントラ符号化が実施される。図3に関連して、物体がサブエリア310に最初に現れると予想される場合、物体が画像フレーム300に現れる前にサブエリア320、330、340に対してイントラ符号化が最初に実施され、次いで、物体が画像フレーム300に現れるとまたはその後、サブエリア310に対してイントラ符号化が実施される。サブエリア320、330、340に対するイントラ符号化は、単一の画像フレームまたは別々の画像フレームで行われ得る。代替の実施形態では、サブエリア320、330、340のイントラ符号化は、単一または別々の画像フレームで実施され、物体がサブエリア310内に現れると推定される前にサブエリア310のイントラ符号化を実施することができるように、一度に完了するように一度に開始される。物体がサブエリア310に現れると、少なくともサブエリア310のブロックのサブセットがIブロックに符号化される。
物体が第2のカメラ100の視野に現れる前に物体が最初に現れると推定される第2のカメラ100の視野のサブエリアに対応しない第2のカメラ100の画像フレームのサブエリアにおけるイントラリフレッシュをトリガすることによって、背景が最新であることが保証され、物体が最初に現れないサブエリア内で背景の品質が向上される。このようにして、物体が第2のカメラ100の視野に現れるとき、物体が最初に現れない視野のサブエリアにおけるIブロックの必要性が少なくなる。物体が第2のカメラ100の視野に現れると、イントラリフレッシュが、物体が現れる第2のカメラ100の画像フレームのサブエリア内でトリガされる。これは、典型的には、符号化画像フレームのビット数を増加させる。同様に、画像フレームに対する物体の移動はまた、一般に、符号化されたその画像フレームのビット数を増加させる。したがって、物体が現れるサブエリア以外のサブエリアのイントラリフレッシュによる必要ビット数の増加は、物体が最初に現れるサブエリアに対応するサブエリアのイントラリフレッシュによるビット数の増加を含む符号化画像フレームおよび物体の移動によるビット数の増加を含む符号化画像フレームとは異なる符号化画像フレームになる。さらに、画像フレームのサブエリアは、物体が視野の対応するサブエリアに現れるときにIブロックで更新されなければならないので、そのサブエリアのイントラリフレッシュは、物体が現れた後まで延期され得る。しかし、いくつかの実施形態では、そのサブエリアのイントラリフレッシュは、物体が現れる前に、好ましくは物体が現れる前に可能な限り近くで完了する。
受信した情報が、物体が第2のカメラ100の視野に現れると推定される時間をさらに示す場合、サブエリアのイントラ符号化は、例えば、物体が現れるサブエリアに対応する画像フレームのサブエリアが、物体が第2のカメラ100の視野に現れるときに、または現れた後に可能な限り早くイントラ符号化されるように、その時間に対してタイミングを合わせることができる。上述したように、現れる物体とは、物体の任意の部分が第2のカメラ100の視野に現れることを意味する。
トリガされ得るアクションのもう1つは、1つまたは複数の画像処理パラメータを調整することである。ここで、画像処理パラメータとは、カメラに取り込まれた画像フレームを処理するためのパラメータである。そのような処理の例は、カラーバランシング、ホワイトバランシング、低光ノイズフィルタリング、時間的ノイズフィルタリング、および背景セグメンテーションである。
受信した情報がまた、物体が第2のカメラ100の視野に現れると推定される時間を示す場合、1つまたは複数の画像処理パラメータの調整をトリガするより良いタイミング。
例えば、物体が第2のカメラ100の視野に接近していることを示す情報を受信することは、パラメータ最適化のための開始値としてのそれぞれの中間値への1つまたは複数の画像処理パラメータの調整をトリガし得る。1つまたは複数の画像処理パラメータをそれぞれの中間値に設定することによって、画像処理パラメータの値のより高速な最適化が可能になる。このような最適化は、典型的には、物体が第2のカメラ100の視野に現れるときに画像フレームが変更されるために必要とされる。さらに、最適化が典型的には、パラメータ値の段階的な変化を使用して反復的に行われ、新しいローカル最大/最小値を識別するので、中間値の選択は有利である。加えて、物体が第2のカメラ100の視野に現れるとき、画像フレームが変化し、新しい最適値が前の値とはかなり異なり得るので、最適化中の反復探索の歩幅は拡張され得る(すなわち、より長くなるように変更される)。
適合させることができる1つの処理パラメータは、背景セグメンテーションにおいて前景として分類されるものに対する閾値である。物体が第2のカメラ100の視野に接近していることを示す情報が受信されると、これは、物体が第2のカメラ100の視野に現れる前に背景セグメンテーションにおいて前景として分類されるものに対する閾値の低減をトリガし得る。背景セグメンテーションにおいて前景として分類されるものに対する閾値のこのような低減は、前景物体としての物体のより高速な検出を可能にする。
別の例として、背景マージが、物体が第2のカメラ100の視野に接近していることを示す情報が受信されたときにトリガされ得る。背景マージでは、背景と前景との間の分割が除去される。次いで、画像フレームのどの部分が背景に属し、どの部分が背景に属するかの識別が、物体が第2のカメラ100の視野に現れたときに再び実施される。
受信した情報が、物体が最初に現れると予想される第2のカメラ100の視野のサブエリアを示す場合、1つまたは複数の画像処理パラメータを調整することが、物体が最初に現れると推定される第2のカメラ100の視野のサブエリアに対応する第2のカメラ100の画像フレームのサブエリア内で局所的に実施されてもよい。画像フレームのサブエリア内で1つまたは複数の画像処理を調整することによって、物体に対してサブエリアにおける画像の向上が可能になる。例えば、1つまたは複数の画像処理パラメータは、物体が移動しているという事実に対して調整することができる。
別の例として、物体が第2のカメラ100の視野に接近していることを示す情報の受信は、低光ノイズフィルタリングの低減をトリガし得る。低光ノイズフィルタリングを低減することによって、画像フレームが低光のためにノイズが多い場合、物体が画像フレーム内で見えないというリスクを低減することができる。受信した情報が、物体が視野のどのサブエリアに最初に現れると予想されるかをさらに示す場合、低光ノイズフィルタリングは、物体が最初に現れると推定される第2のカメラ100の視野のサブエリアに対応する第2のカメラ100の画像フレームのサブエリア内で低減され得る。サブエリアにおける低光ノイズフィルタリングを低減することによって、サブエリアが低光のためにノイズが多い場合、物体がサブエリア内で見えないというリスクを低減することができる。
受信した情報が物体の速度を示す場合、1つまたは複数の画像処理パラメータを調整することは、物体の速度に基づいて時間的ノイズフィルタレベルを設定することを含んでもよい。例えば、時間的ノイズフィルタレベルは、速度が高いほど時間的ノイズフィルタレベルが高くなるように設定されてもよい。
第1のデバイスが第1のカメラである場合、受信した情報は、第1のカメラのカラーバランス補正またはホワイトバランス補正をさらに含んでもよい。次いで、1つまたは複数の画像処理パラメータを調整することは、第1のカメラのカラーバランス補正またはホワイトバランス補正に従って、第2のカメラ100にカラーバランス補正またはホワイトバランス補正を設定することを含んでもよい。
トリガされ得るアクションの最後は、露光時間を調整することである。ここで、露光時間とは、カメラで画像フレームを取り込む際にセンサが露光される時間である。この時間は、センサを機械的に覆い、露光時間に対応する時間中に除去されるメカシャッタによって制御されてもよく、または露光時間に対応する時間中にセンサから読み出されたデータのみを使用することによってメカシャッタをエミュレートする電子シャッタによって制御されてもよい。露光時間は、典型的には、画像フレーム内のすべてのエリアで同じである。しかし、各々が別々の露光時間を有する画像フレームのセット、例えば3つの画像フレームを組み合わせて1つの画像フレームを作成してもよい。そのような画像の場合、異なるサブエリアが様々な画像フレームのセットからの画像データを含むことができ、したがって異なる露光時間を有すると言うことができる。例えば、画像フレームの低光エリアは、より長い露光時間で取り込まれた画像フレームからの画像データを含むことができ、画像フレームのハイライトエリアは、より短い露光時間で取り込まれた画像フレームからの画像データを含むことができる。
物体が第2のカメラ100の視野に現れる前に露光時間の調整をトリガすることによって、第2のカメラ100の視野に現れる物体への露光の調整が可能になる。例えば、物体が移動しているという事実に対して調整が可能になる。
受信した情報が、物体が最初に現れると予想される第2のカメラ100の視野のサブエリアを示す場合に、物体が第2のカメラ100の視野に現れると推定される時間を知ることによって、露光時間を調整するより良いタイミングを達成することができる。
例えば、露光時間を調整することは、物体が最初に現れると推定される第2のカメラ100の視野のサブエリアに対応する第2のカメラ100の画像フレームのサブエリア内で局所的に実施されてもよい。画像フレームのサブエリア内で局所的に1つまたは複数の画像処理を調整することおよび/または露光時間を調整することによって、物体に対してサブエリアにおける画像の向上が可能になる。例えば、サブエリアにおける1つまたは複数の画像処理パラメータ、および/または露光は、物体が移動しているという事実に対して調整することができる。
別の例として、露光時間を調整することは、物体が最初に現れると推定される第2のカメラ100の視野のサブエリアに対応する第2のカメラ100の画像フレームのサブエリア内で、物体が最初に現れると推定される第2のカメラ100の視野のサブエリアに対応しない第2のカメラ100の画像フレームのサブエリアよりも短い露光時間を設定することを含んでもよい。これにより、物体が現れるときに第2のカメラの第1の画像フレームに既にある動きぼけの問題が回避されるか、少なくとも低減される。
受信した情報がまた、物体が第2のカメラ100の視野に現れると推定される時間を示す場合、露光時間の調整をトリガするより良いタイミング。
受信した情報が物体の速度を示す場合、露光時間は、速度が高いほど露光時間が短くなるように、物体の速度に基づいてもよい。これにより、物体が現れるときに第2のカメラの第1の画像フレームに既にある動きぼけの問題が回避されるか、少なくとも低減される。
図2は、物体が第2のカメラの視野に現れる前に1つまたは複数のアクションを実施するように第2のカメラをトリガするための方法200の実施形態に関するフローチャートを示す。第2のカメラは、第2のカメラおよび少なくとも第1のデバイスを含むカメラシステムに配置される。第2のカメラについて位置および視野が既知であり、第1のデバイスについて位置が既知である。方法200は、第2のカメラ内で、物体が第2のカメラの視野に接近していることを示す情報を受信することであって、受信した情報は、物体の位置および移動方向を示す第1のデバイスからの情報に基づくことS210を含む。方法200は、受信した情報に応答して、物体が第2のカメラの視野に現れる前に以下のアクション、即ち、a)イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、b)1つまたは複数の画像処理パラメータを調整すること、およびc)露光時間を調整することの1つ以上を実施するように第2のカメラをトリガすることS220をさらに含む。
図1に関連して説明した第2のカメラ100の上述の任意選択の追加の特徴は、適用可能な場合、図2に関連して説明した方法200にも適用される。
当業者であれば、本発明が上述の実施形態に限定されないことを理解する。それどころか、多くの修正および変形が添付の特許請求の範囲内で可能である。そのような修正および変形は、図面、開示、および添付の特許請求の範囲の研究から、特許請求される発明を実践する当業者によって理解および実施され得る。
Claims (17)
- 物体が第2のカメラの視野に現れる前に1つまたは複数のアクションを実施するように前記第2のカメラをトリガするための方法であって、前記第2のカメラは、前記第2のカメラおよび少なくとも第1のデバイスを含むカメラシステム内に配置され、前記第2のカメラについて位置および視野が既知であり、前記第1のデバイスについて位置が既知であり、前記方法は、
前記第2のカメラ内で、前記物体が前記第2のカメラの前記視野に接近していることを示す情報を受信することであって、受信した前記情報は、前記物体の位置および移動方向を示す前記第1のデバイスからの情報に基づく、受信することと、
前記受信した情報に応答して、前記物体が前記第2のカメラの前記視野に現れる前に以下のアクション、即ち、
イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、および
1つまたは複数の画像処理パラメータを調整すること
の1つ以上を実施するように前記第2のカメラをトリガすることと、
を含む、方法。 - 前記受信した情報は、前記物体が前記第2のカメラの前記視野に現れると推定される時間をさらに示す、請求項1に記載の方法。
- 前記受信した情報は、前記物体が最初に現れると推定される前記第2のカメラの前記視野のサブエリアをさらに示す、請求項1または2に記載の方法。
- イントラフレームを生成すること、またはイントラリフレッシュ手順を開始することは、前記物体が最初に現れると推定される前記第2のカメラの前記視野の前記サブエリアに対応しない前記第2のカメラの画像フレームのサブエリアの第1のイントラリフレッシュと、次いで、前記物体が最初に現れると推定される前記第2のカメラの前記視野の前記サブエリアに対応する前記第2のカメラの画像フレームのサブエリアのイントラリフレッシュとを含む、請求項3に記載の方法。
- 1つまたは複数の画像処理パラメータを調整することは、前記物体が最初に現れると推定される前記第2のカメラの前記視野の前記サブエリアに対応する前記第2のカメラの画像フレームのサブエリア内で局所的に実施される、請求項3または4に記載の方法。
- 1つまたは複数の画像処理パラメータを調整することは、前記物体が最初に現れると推定される前記第2のカメラの前記視野の前記サブエリアに対応する前記第2のカメラの画像フレームのサブエリア内の低光ノイズフィルタリングを低減することを含む、請求項3~5のいずれか一項に記載の方法。
- 1つまたは複数の画像処理パラメータを調整することは、
パラメータ最適化のための開始値として前記1つまたは複数の画像処理パラメータをそれぞれの中間値に設定すること、
背景セグメンテーションのための閾値を低減すること、および
背景と前景との間の分割を除去し、続いて前記物体が前記第2のカメラの前記視野に現れるとき、前記画像フレームのどの部分が前記背景に属し、どの部分が前記背景に属するかを識別すること
の1つ以上を含む、請求項1~6のいずれか一項に記載の方法。 - 前記受信した情報は、前記物体の速度をさらに示す、請求項1に記載の方法。
- 1つまたは複数の画像処理パラメータを調整することは、前記物体の前記速度に基づいて、前記速度が高いほど時間的ノイズフィルタレベルが高くなるように、前記時間的ノイズフィルタレベルを設定することを含む、請求項8に記載の方法。
- 前記受信した情報に応答して、前記物体が前記第2のカメラの前記視野に現れる前に以下のアクション、即ち、
露光時間を調整すること
をさらに実施するように前記第2のカメラをトリガすることをさらに含む、請求項1に記載の方法。 - 前記受信した情報は、前記物体が最初に現れると推定される前記第2のカメラの前記視野のサブエリアをさらに示し、露光時間を調整することは、前記物体が最初に現れると推定される前記第2のカメラの前記視野の前記サブエリアに対応する前記第2のカメラの画像フレームのサブエリア内で、前記物体が最初に現れると推定される前記第2のカメラの前記視野の前記サブエリアに対応しない前記第2のカメラの画像フレームのサブエリア内よりも短い露光時間を設定することを含む、請求項10に記載の方法。
- 前記受信した情報は、前記物体の速度をさらに示し、露光時間を調整することは、前記速度が高いほど前記露光時間が短くなるように、前記物体の前記速度に基づく、請求項9に記載の方法。
- 前記第1のデバイスは、
第1のカメラ、
レーダ、および
ライダ
のうちの1つである、請求項1~12のいずれか一項に記載の方法。 - 前記第1のデバイスは、第1のカメラであり、前記受信した情報は、前記第1のカメラのカラーバランス補正またはホワイトバランス補正をさらに含み、1つまたは複数の画像処理パラメータを調整することは、前記受信した情報に従ってカラーバランス補正またはホワイトバランス補正を設定することを含む、請求項1~13のいずれか一項に記載の方法。
- 少なくとも受信機、プロセッサ、およびエンコーダを有するカメラ内で実行されると、請求項1~14のいずれか一項に記載の方法を実施するための命令を記憶している、非一時的コンピュータ可読記憶媒体。
- 物体がカメラの視野に現れる前に1つまたは複数のアクションを実施するためのカメラであって、
前記カメラが前記カメラおよび少なくとも別のデバイスを含むカメラシステム内に配置され、前記カメラについて位置および視野が既知であり、前記別のデバイスについて位置が既知であるときに、前記物体が前記カメラの前記視野に接近していることを示す情報を受信するように構成された受信機であって、前記受信した情報は、前記物体の位置および移動方向を示す前記別のデバイスからの情報に基づく受信機と、
エンコーダと、
回路であって、前記受信した情報に応答して、前記物体が第2のカメラの視野に現れる前に以下のアクション、即ち、
イントラフレームを生成すること、またはイントラリフレッシュ手順を開始すること、および
1つまたは複数の画像処理パラメータを調整すること
の1つ以上を実施するように前記カメラをトリガするように構成されたトリガ機能を実行するように構成された回路と、
を備える、カメラ。 - 物体が第2のカメラの視野に現れる前に1つまたは複数のアクションを実施するように前記第2のカメラをトリガするための方法であって、前記第2のカメラは、前記第2のカメラおよび少なくとも第1のデバイスを含むカメラシステム内に配置され、前記第2のカメラについて位置および視野が既知であり、前記第1のデバイスについて位置が既知であり、前記方法は、
前記第2のカメラ内で、前記物体が前記第2のカメラの前記視野に接近していることを示す情報を受信することであって、受信した前記情報は、前記物体の位置および移動方向を示す前記第1のデバイスからの情報に基づき、前記受信した情報は、前記物体が最初に現れると推定される前記第2のカメラの前記視野のサブエリアをさらに示す、受信することと、
前記受信した情報に応答して、前記物体が前記第2のカメラの前記視野に現れる前に以下のアクション、即ち、
前記物体が最初に現れると推定される前記第2のカメラの前記視野の前記サブエリアに対応する前記第2のカメラの画像フレームのサブエリア内で、前記物体が最初に現れると推定される前記第2のカメラの前記視野の前記サブエリアに対応しない前記第2のカメラの画像フレームのサブエリア内よりも短い露光時間を設定することを含む、露光時間を調整すること
を実施するように前記第2のカメラをトリガすることと、
を含む、方法。
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
EP22199361.1A EP4350654A1 (en) | 2022-10-03 | 2022-10-03 | Camera information handover |
EP22199361 | 2022-10-03 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2024053543A true JP2024053543A (ja) | 2024-04-15 |
Family
ID=83558106
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023166624A Pending JP2024053543A (ja) | 2022-10-03 | 2023-09-28 | カメラ情報のハンドオーバ |
Country Status (5)
Country | Link |
---|---|
US (1) | US20240114115A1 (ja) |
EP (2) | EP4350654A1 (ja) |
JP (1) | JP2024053543A (ja) |
KR (1) | KR20240046852A (ja) |
CN (1) | CN117835048A (ja) |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6359647B1 (en) * | 1998-08-07 | 2002-03-19 | Philips Electronics North America Corporation | Automated camera handoff system for figure tracking in a multiple camera system |
US8180107B2 (en) * | 2009-02-13 | 2012-05-15 | Sri International | Active coordinated tracking for multi-camera systems |
US9495763B1 (en) * | 2015-09-28 | 2016-11-15 | International Business Machines Corporation | Discovering object pathways in a camera network |
US11102453B2 (en) * | 2018-02-19 | 2021-08-24 | Cisco Technology, Inc. | Analytics based lighting for network cameras |
KR20210065520A (ko) * | 2019-11-27 | 2021-06-04 | 한국과학기술원 | 에지 컴퓨팅 환경에서 복수의 카메라를 이용한 객체 추적 시스템 |
CN116134829A (zh) * | 2020-12-31 | 2023-05-16 | 华为技术有限公司 | 一种图像处理方法以及装置 |
-
2022
- 2022-10-03 EP EP22199361.1A patent/EP4350654A1/en active Pending
- 2022-10-03 EP EP24194756.3A patent/EP4439510A2/en active Pending
-
2023
- 2023-09-11 US US18/464,313 patent/US20240114115A1/en active Pending
- 2023-09-27 KR KR1020230130210A patent/KR20240046852A/ko unknown
- 2023-09-28 JP JP2023166624A patent/JP2024053543A/ja active Pending
- 2023-10-07 CN CN202311283879.0A patent/CN117835048A/zh active Pending
Also Published As
Publication number | Publication date |
---|---|
CN117835048A (zh) | 2024-04-05 |
EP4350654A1 (en) | 2024-04-10 |
US20240114115A1 (en) | 2024-04-04 |
EP4439510A2 (en) | 2024-10-02 |
KR20240046852A (ko) | 2024-04-11 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109922251B (zh) | 快速抓拍的方法、装置及系统 | |
JP6629454B2 (ja) | 画像フュージョン方法と装置、および端末装置 | |
CN108347563B (zh) | 视频处理方法和装置、电子设备、计算机可读存储介质 | |
US20070097221A1 (en) | Systems and methods of exposure restart for cameras | |
JP6944272B2 (ja) | 動体検出装置およびその制御方法 | |
CN107111764B (zh) | 由对象在成像装置的视野中的深度触发的事件 | |
KR20170131657A (ko) | 통합 메모리 및 프로세서를 갖는 스마트 이미지 센서 | |
CN105007430B (zh) | 用于确定曝光设置的方法和装置 | |
EP3005678B1 (en) | Method for obtaining a picture and multi-camera system | |
CN105629628A (zh) | 自动对焦方法及装置 | |
KR20190122807A (ko) | 비디오 콘텐츠에서의 광학적 흐름 및 센서 입력 기반의 배경 감산 | |
US9992403B2 (en) | Method and system for autofocus, corresponding device and computer program product | |
CN105554414A (zh) | 强光抑制方法及装置 | |
JP5127692B2 (ja) | 撮像装置及びその追尾方法 | |
JP5118590B2 (ja) | 被写体追尾方法及び撮像装置 | |
JP2024053543A (ja) | カメラ情報のハンドオーバ | |
TW202431858A (zh) | 相機資訊交遞 | |
JP6702737B2 (ja) | 像ブレ補正装置、および、像ブレ補正装置の制御方法 | |
US11375132B2 (en) | Imaging apparatus, method of controlling the imaging apparatus, and program | |
US20170287143A1 (en) | Image processing system and method for detection of objects in motion | |
JP2022040012A5 (ja) | ||
JP7250433B2 (ja) | 撮像装置、制御方法及びプログラム | |
JP4461629B2 (ja) | デジタルスチルカメラ | |
CN111314611A (zh) | 一种多个运动对象的拍摄方法及装置 | |
JP2007096828A (ja) | 撮像装置 |