WO2021059326A1 - カメラおよびカメラの制御方法 - Google Patents

カメラおよびカメラの制御方法 Download PDF

Info

Publication number
WO2021059326A1
WO2021059326A1 PCT/JP2019/037242 JP2019037242W WO2021059326A1 WO 2021059326 A1 WO2021059326 A1 WO 2021059326A1 JP 2019037242 W JP2019037242 W JP 2019037242W WO 2021059326 A1 WO2021059326 A1 WO 2021059326A1
Authority
WO
WIPO (PCT)
Prior art keywords
buffer
rate
image
image processing
status
Prior art date
Application number
PCT/JP2019/037242
Other languages
English (en)
French (fr)
Inventor
宇佐美　裕丈
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to PCT/JP2019/037242 priority Critical patent/WO2021059326A1/ja
Priority to US17/642,563 priority patent/US11930272B2/en
Priority to JP2021547998A priority patent/JP7164730B2/ja
Publication of WO2021059326A1 publication Critical patent/WO2021059326A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/665—Control of cameras or camera modules involving internal camera communication with the image sensor, e.g. synchronising or multiplexing SSIS control signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80—Camera processing pipelines; Components thereof
    • H04N23/81—Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00—Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/40—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled
    • H04N25/44—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array
    • H04N25/443—Extracting pixel data from image sensors by controlling scanning circuits, e.g. by modifying the number of pixels sampled or to be sampled by partially reading an SSIS array by reading pixels from selected 2D regions of the array, e.g. for windowing or digital zooming
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G06T2207/10021—Stereoscopic video; Stereoscopic image sequence
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive

Definitions

  • the present invention relates to a camera and a camera control method.
  • USB Universal Serial Bus
  • GigE GigE
  • Camera link and CoaxPress cables
  • high-definition images can be transmitted.
  • the link rate of the output IF can be increased up to a maximum transfer rate of 25 Gbps by connecting a maximum of 4 cables at 6.25 Gbps per cable.
  • the CoaxPress interface standard defines a plurality of types of link rates from CXP-1 (1.25 Gbps) to CXP-6 (6.25 Gbps), and the user can select the number of cables to be connected according to the environment.
  • the captured image can be sent from the camera to the transmission path without reducing the frame rate from the camera side.
  • the ROI Region of Interest
  • the IF link rate of the camera becomes a bottleneck and the frame rate does not increase.
  • FIG. 2 is a diagram showing the relationship between the read rate of a general sensor having an ROI function and the link rate in the CoaxPress interface.
  • the horizontal axis represents the size of the ROI setting area
  • the vertical axis represents the frame rate
  • the solid line represents the reading rate of the sensor
  • the broken line represents the link rate of one CoaxPress cable (Single).
  • FIG. 3 explicitly shows the sensor read rate and the output IF link rate described above in a diagram showing the internal configuration of the conventional camera 300.
  • the conventional camera 300 is mainly composed of an image pickup device unit 301 that captures an image, an image processing unit 302 that performs predetermined signal processing on the acquired image pickup data, and an interface unit 303 that performs format conversion to an interface suitable for transmission. Will be done.
  • the image sensor 304 constituting the image pickup device unit 301 takes an image according to the timing signal 306 supplied from the timing generation unit 305, and sends the image pickup data 307 to the image processing unit 302 in the subsequent stage.
  • the sensor 304 determines the reading rate 310 of the sensor according to the shutter speed (exposure time) received from the CPU 308 and the control command 309 that sets the ROI mode.
  • the image processing unit 302 performs various image processing such as three-dimensional DNR (Digital Noise Reduction) and gamma correction on the transmitted image pickup data 307 by the various signal processing units 311 and then the buffer buffer 312. It is sent to the interface unit 303 in the subsequent stage via.
  • the interface unit 303 reads data from the buffer buffer 312 according to the link rate of the transmission line 313, and sends the packet 315 converted into a predetermined format by the format conversion unit 314 to the transmission line 313.
  • the transmission packet 315 passes through the transmission line 313 and is reproduced by the receiving PC 316.
  • the buffer buffer 312 between the image processing unit 302 and the interface unit 303 is for separating the sensor read rate 310 of the image pickup device unit 301 and the output link rate 317 of the interface unit 303, and is a sensor rather than the output link rate 317. This is useful when the read rate 310 is fast.
  • the above-mentioned buffer buffer 312 becomes excessively input and overflows. Once an overflow occurs, the buffer buffer 312 reads all the data in the buffer and does not perform a new capture until a new reset is applied. During this time, the data read from the buffer is displayed as an image on the PC Viewer, and a new capture is performed. At the time when is performed, a temporally discontinuous image will be displayed. On the other hand, when the sensor read rate 310 is lower than the link rate 317, the buffer becomes empty temporarily, but the capture on the input side is continuously performed without interruption, so that no frame is lost and the data is stored. , Since it is read from the buffer immediately after input, the maximum throughput can be obtained with the minimum delay.
  • the read rate of the sensor can be significantly increased, but the frame rate decreases in a situation where a sufficient link rate 317 cannot be secured on the transmission line 313 side. ..
  • the image quality improving process of the camera is performed in such a situation.
  • one of the typical camera control methods of the present invention predicts the status of the buffer buffer based on the read rate of the image sensor and the link rate of the transmission line, and predicts the status. It includes a status prediction step for generating information and an adjustment step for adjusting the content of image processing according to the status prediction information.
  • the image quality of the output image of the camera can be improved. Issues, configurations and effects other than those mentioned above will be clarified by the description in the embodiments for carrying out the following.
  • FIG. 1 is a diagram showing a configuration of a camera according to an embodiment of the present invention.
  • FIG. 2 is a diagram showing the relationship between the sensor read rate and the link rate in ROI read.
  • FIG. 3 is a diagram showing a configuration of a conventional camera.
  • FIG. 4 is a diagram showing a three-dimensional DNR process.
  • FIG. 5 is a diagram showing a flow of a camera control method according to an embodiment of the present invention.
  • FIG. 1 shows a camera 100 according to an embodiment of the present invention.
  • the difference from the conventional camera 300 in FIG. 3 is that the sensor read rate calculation unit 119 for calculating the sensor read rate, the link rate calculation unit 120 for grasping the link rate in operation, and the status of the buffer buffer are predicted.
  • the point is that it includes a status prediction unit 121.
  • the camera 100 is also suitable for an image capturing device unit 101 that captures an image, an image processing unit 102 that performs predetermined signal processing on the acquired image data, and transmission. It is composed of an interface unit 103 that performs format conversion on the interface.
  • the image pickup sensor 104 constituting the image pickup device section 101 takes an image according to the timing signal 106 supplied from the timing generation section 105, and sends the image pickup data 107 to the image processing section 102 in the subsequent stage.
  • the sensor 104 determines the sensor read rate according to the shutter speed (exposure time) received from the CPU 108 and the control command 109 that sets the ROI mode.
  • the image processing unit 102 performs various image processing such as three-dimensional DNR and gamma correction on the input imaging data 107 by the various signal processing units 111, and then passes through the buffer buffer 112 to the subsequent interface unit 103.
  • the interface unit 103 reads data from the buffer buffer 112 according to the link rate on the transmission line 113 side, and sends the packet 115 converted into a predetermined format by the format conversion unit 114 to the transmission line 113.
  • the above points are the same as those of the conventional camera 300.
  • the current sensor is based on the shutter speed (exposure time) included in the above-mentioned control command 109 sent by the CPU 108 to the image sensor 104 and the ROI mode setting information.
  • the sensor read rate calculation unit 119 calculates the read rate, and the calculated read rate information 122 is sent to the status prediction unit 121. Further, at the same time as hardware detecting the number of cables connected to the transmission line 113, the link rate calculation unit 120 that acquires the setting link rate information 123 of each cable from the format conversion unit 114 and calculates the link rate is newly added. Provide.
  • the calculated link rate information 124 is sent to the status prediction unit 121.
  • the status prediction unit 121 timely determines the relationship between the sensor read rate 110 and the link rate 117 based on the respective rate information obtained from the sensor read rate calculation unit 119 and the link rate calculation unit 120. If the current link rate 117 is different from the sensor read rate 110 and the sensor read rate 110 is faster than the link rate 117 and the status of the buffer buffer 112 is predicted to shift to the overflow side, the status prediction information 125 to that effect is displayed. Generate. In this case, the status prediction information 125 may include a difference in the input / output rates of the buffer buffer 112.
  • the processing time of the three-dimensional DNR performed by the various signal processing units 111 is lengthened and the input rate of the buffer buffer 112 is lowered so as not to cause overflow, which is significantly different from that of the conventional camera. different.
  • the three-dimensional DNR processing uses a frame memory, multiplies each pixel value constituting a plurality of input video frames by a coefficient corresponding to each frame, obtains the sum of the pixels at the corresponding positions of each frame, and obtains noise. It reduces the components.
  • each pixel value constituting the two input video frames is multiplied by a coefficient to obtain the sum, and each pixel value constituting the three input video frames is multiplied by a coefficient. The case where the sum is calculated is shown.
  • This embodiment focuses on the number of input video frames used to obtain one output, which has been fixed so far.
  • the status prediction information 125 generated by the status prediction unit 121 in FIG. 1 is sent to the three-dimensional DNR block in the various signal processing units 111.
  • the three-dimensional DNR block increases the number of input video frames used to obtain one output when the status prediction information 125 predicts that the status of the buffer buffer 112 will shift to the overflow side.
  • the difference in the input / output rates of the buffer buffer 112 included in the status prediction information may be used. If it is predicted that the transition will be on the underflow side, the number of input video frames used to obtain one output is reduced to the minimum number that can obtain the desired S / N.
  • the input rate of the buffer buffer 112 is adjusted by resetting the operation of the three-dimensional DNR block every predetermined unit time and increasing or decreasing the delay of the output start timing that occurs each time. Then, as the input rate of the buffer buffer 112 is lowered, noise is integrated in the time direction and the S / N is improved, so that the image quality can be expected to be improved. For example, as shown in FIG. 4, when the past two input video frames are referred to and the first frame is processed by multiplying each of them by a weighted coefficient, the initial delay until output is relative to the actual video. The time is 2 frames, but after that, the frame output is continuously processed.
  • the required initial delay is one frame time longer, which is three frame times, but thereafter it is continuous. It becomes the processed frame output. That is, the number of frames to be output can be increased or decreased and the input rate of the buffer buffer 112 can be adjusted by appropriately switching and controlling the number of past frames to be referred to in conjunction with the state of the buffer buffer 112. Image quality can be expected to improve as the number of past frames referenced in order to lower the input rate of 112 is increased.
  • FIG. 5 shows a flow of a camera control method according to an embodiment of the present invention.
  • the camera control method according to the embodiment of the present invention includes a status prediction step S100 that predicts the status of the buffer buffer based on the read rate of the image sensor and the link rate of the transmission line and generates status prediction information.
  • An adjustment step S200 for adjusting the content of image processing according to the status prediction information is provided.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Studio Devices (AREA)

Abstract

十分なリンクレートを確保できない状況において、カメラの画質向上処理を行う。　撮像データを取得する撮像センサと、前記撮像データに対し画像処理を行う信号処理部と、前記画像処理が行われたデータが書き込まれる緩衝用バッファと、前記緩衝用バッファから読み出されたデータのフォーマットを変換して伝送路に送出するフォーマット変換部とを備えるカメラの制御方法であって、前記撮像センサの読出しレートと前記伝送路のリンクレートとに基づいて前記緩衝用バッファのステータスを予測し、ステータス予測情報を生成するステータス予測ステップと、前記ステータス予測情報に応じて前記画像処理の内容を調整する調整ステップとを備える。

Description

カメラおよびカメラの制御方法
　本発明は、カメラおよびカメラの制御方法に関する。
　近年の監視カメラシステムは、撮像した画像データをネットワークや、同軸ケーブルで伝送し、離れた場所にあるＰＣ　Ｖｉｅｗｅｒでモニタリングや、録画再生を行う遠隔監視に用いるものが増えている。
　カメラとＰＣの間の伝送には、ＵＳＢ（Ｕｎｉｖｅｒｓａｌ　Ｓｅｒｉａｌ　Ｂｕｓ）３．０やＧｉｇＥ、Ｃａｍｅｒａ　ｌｉｎｋ、ＣｏａｘＰｒｅｓｓケーブルが広く普及しており、高精細な画像が伝送できるようになっている。例えば、ＣｏａｘＰｒｅｓｓインタフェースを備えたＣＸＰカメラでは、１本あたり６．２５Ｇｂｐｓ、最大４本のケーブルを接続すると最大転送速度２５Ｇｂｐｓまで出力ＩＦのリンクレートを上げることができる。さらにＣｏａｘＰｒｅｓｓインタフェース規格ではＣＸＰ－１（１．２５Ｇｂｐｓ）からＣＸＰ－６（６．２５Ｇｂｐｓ）まで複数種類のリンクレートを定義しており、ユーザが環境に合わせて接続するケーブル数も選択できる。
　出力リンクレートが、センサが撮像データを読み出す読み出しレートよりも高ければ、カメラ側からフレームレートを落とさずにカメラから伝送路へ撮像画像を送出することができる。しかし、産業分野では、特許文献１のように、センサのＲＯＩ（Ｒｅｇｉｏｎ　ｏｆ　Ｉｎｔｅｒｅｓｔ）機能を使い、有効画像エリアを制限し、センサの読出しレートを大幅に上げたいというニーズもあり、システムによってはカメラのＩＦリンクレートがボトルネックとなりフレームレートが上がらないといった事象も発生している。
　図２は、ＲＯＩ機能を有する一般的なセンサの読出しレートとＣｏａｘＰｒｅｓｓインタフェースにおけるリンクレートとの関係を示した図である。横軸はＲＯＩの設定エリアのサイズを、また、縦軸は、フレームレートを表しており、実線はセンサの読出しレートを、破線は、ＣｏａｘＰｒｅｓｓケーブル１本（Ｓｉｎｇｌｅ）のリンクレートを示している。両レートともＲＯＩ設定領域を広げるとデータ量が増えるためフレームレートが低下する。但し、ＲＯＩで設定した領域が極めて狭い場合には、センサ読出しレートよりも出力ＩＦリンクレートの方が高く、設定したＲＯＩ領域がある範囲を超えると、センサ読出しレートと出力ＩＦレートが逆転するポイントＡが存在し、センサ読出しレートの方が、出力ＩＦリンクレートよりも高くなることが知られている。
　また、図３は従来のカメラ３００の内部構成を示す図に前述したセンサ読出しレートと出力ＩＦリンクレートを明示的に示したものである。従来のカメラ３００は主に、画像取り込みを行う撮像デバイス部３０１、取得した撮像データに対し所定の信号処理を行う画像処理部３０２、そして伝送に適したインタフェースにフォーマット変換を行うインタフェース部３０３から構成される。撮像デバイス部３０１を構成する撮像センサ３０４はタイミング生成部３０５から供給されるタイミング信号３０６にしたがって撮像を行い、後段の画像処理部３０２へ撮像データ３０７を送る。同センサ３０４は、ＣＰＵ３０８から届くシャッタースピード（露光時間）や、ＲＯＩモードを設定する制御コマンド３０９にしたがって、センサの読出しレート３１０が決まる。
　また、画像処理部３０２は送られてきた撮像データ３０７に対し、３次元ＤＮＲ（Ｄｉｇｉｔａｌ　Ｎｏｉｓｅ　Ｒｅｄｕｃｔｉｏｎ）やガンマ補正をはじめとする各種画像処理を各種信号処理部３１１で行った後、緩衝用バッファ３１２を介し、後段のインタフェース部３０３へ送る。インタフェース部３０３では伝送路３１３のリンクレートに合わせ、緩衝用バッファ３１２からデータを読出し、フォーマット変換部３１４で所定のフォーマットに変換したパケット３１５を伝送路３１３へ送出する。送信パケット３１５は伝送路３１３を通り、受信側ＰＣ３１６で再生される。
　画像処理部３０２とインタフェース部３０３との間の緩衝用バッファ３１２は撮像デバイス部３０１のセンサ読出しレート３１０とインタフェース部３０３の出力リンクレート３１７を分離するためのもので、出力リンクレート３１７よりもセンサ読出しレート３１０が速いときに有用である。
　センサ読出しレート３１０と出力リンクレート３１７との関係において、センサ読出しレート３１０が出力リンクレート３１７を上回る状況では、上述の緩衝用バッファ３１２は入力過多となりオーバーフロー状態になる。緩衝用バッファ３１２は一旦オーバーフローが発生するとバッファ内のデータをすべて読出し、新たにリセットをかけるまで新たなキャプチャが行われず、この間ＰＣ　Ｖｉｅｗｅｒではバッファから読出されたデータが画像として表示され、新たなキャプチャが行われた時点で時間的に不連続な画像が表示されることになる。一方、センサ読出しレート３１０がリンクレート３１７を下回る場合には、バッファは一時的にエンプティになるものの、入力側のキャプチャは途切れることなく連続して行われるため、フレームの欠落が起こらず、データは、入力直後にバッファから即座に読出されるため、最小遅延で最大のスループットがえられる。
特開２００８－４２８３８号公報
　上述したように、撮像センサ３０４のＲＯＩ機能を利用することにより、センサの読出しレートは大幅に上げられる一方、伝送路３１３側で、十分なリンクレート３１７を確保できない状況下ではフレームレートが低下する。本発明ではこのような状況において、カメラの画質向上処理を行うものである。
　上記の課題を解決するために、代表的な本発明のカメラの制御方法の一つは、撮像センサの読出しレートと伝送路のリンクレートとに基づいて緩衝用バッファのステータスを予測し、ステータス予測情報を生成するステータス予測ステップと、前記ステータス予測情報に応じて画像処理の内容を調整する調整ステップとを備えるものである。
　本発明によれば、カメラの出力画像の画質を向上することができる。
　上記した以外の課題、構成および効果は、以下の実施をするための形態における説明により明らかにされる。
図１は、本発明の一実施形態に係るカメラの構成を示す図である。 図２は、ＲＯＩ読出しにおけるセンサ読出しレートとリンクレートとの関係を示す図である。 図３は、従来のカメラの構成を示す図である。 図４は、３次元ＤＮＲ処理を示す図である。 図５は、本発明の一実施例に係るカメラの制御方法のフローを示す図である。
　以下、図面を参照して、本発明の実施形態について説明する。なお、この実施形態により本発明が限定されるものではない。また、図面の記載において、同一部分には同一の符号を付して示している。
　図１に本発明の一実施形態に係るカメラ１００を示す。図３の従来のカメラ３００との差異は、センサ読出しレートを算出するセンサ読出しレート算出部１１９と運用中のリンクレートを把握するためのリンクレート算出部１２０と緩衝用バッファのステータスの予測を行うステータス予測部１２１とを備えている点である。
　従来のカメラ３００と同様、本発明の一実施例に係るカメラ１００も、画像取り込みを行う撮像デバイス部１０１、取得した撮像データに対し所定の信号処理を行う画像処理部１０２、そして伝送に適したインタフェースにフォーマット変換を行うインタフェース部１０３からなる。撮像デバイス部１０１を構成する撮像センサ１０４はタイミング生成部１０５から供給されるタイミング信号１０６にしたがって撮像を行い、後段の画像処理部１０２へ撮像データ１０７を送る。同センサ１０４はＣＰＵ１０８から届くシャッタースピード（露光時間）や、ＲＯＩモードを設定する制御コマンド１０９にしたがって、センサ読出しレートが決まる。
　また、画像処理部１０２は入力撮像データ１０７に対し、３次元ＤＮＲやガンマ補正をはじめとする各種画像処理を各種信号処理部１１１で行った後、緩衝用バッファ１１２を介し、後段のインタフェース部１０３へ送る。インタフェース部１０３では伝送路１１３側のリンクレートに合わせ、緩衝用バッファ１１２からデータを読出し、フォーマット変換部１１４で所定のフォーマットに変換したパケット１１５を伝送路１１３へ送出する。以上の点は、従来のカメラ３００と同じである。
　一方、本発明の一実施形態に係るカメラ１００では、ＣＰＵ１０８が撮像センサ１０４に送る前述の制御コマンド１０９に含まれるシャッタースピード（露光時間）と、ＲＯＩモードの設定情報をもとに現在のセンサの読出しレートの算出をセンサ読出しレート算出部１１９で行い、算出した読出しレート情報１２２をステータス予測部１２１へ送る。さらに、伝送路１１３につながっているケーブル数をハード的に検知すると同時に、各ケーブルの設定リンクレート情報１２３をフォーマット変換部１１４から取得し、リンクレートの算出を行うリンクレート算出部１２０を新たに設ける。算出したリンクレート情報１２４は、ステータス予測部１２１に送られる。
　ステータス予測部１２１は、センサ読出しレート算出部１１９、およびリンクレート算出部１２０から入手する各々のレート情報をもとに、センサ読出しレート１１０とリンクレート１１７との関係を適時判定する。現在のリンクレート１１７がセンサ読出しレート１１０と異なりリンクレート１１７よりもセンサ読出しレート１１０が速く、緩衝用バッファ１１２のステータスがオーバーフロー側に推移すると予測した場合には、その旨のステータス予測情報１２５を生成する。この場合、ステータス予測情報１２５は、緩衝用バッファ１１２の入出力レートの差を含んでもよい。
　本発明の一実施形態では、オーバーフローが生じないように、各種信号処理部１１１で行う３次元ＤＮＲの処理時間を長くし、かつ、緩衝用バッファ１１２の入力レートを下げる点が従来のカメラと大きく異なる。
　ここで、図４を用い一般的な３次元デジタルノイズリダクション（ＤＮＲ）処理について説明する。３次元ＤＮＲ処理は、フレームメモリを用い、複数の入力映像フレームを構成する各画素値に対してそれぞれのフレームに応じた係数を乗算し、各フレームの対応する位置の画素について総和を求め、ノイズ成分を低減するものである。図４に、２枚の入力映像フレームを構成する各画素値に対してそれぞれ係数を乗算して総和を求める場合と、３枚の入力映像フレームを構成する各画素値に対してそれぞれ係数を乗算して総和を求める場合とを示す。
　過去にさかのぼって参照するフレーム数が多いほどノイズが時間方向に積分されるため、１枚の出力映像のＳ／Ｎ（Ｓｉｇｎａｌ　ｔｏ　Ｎｏｉｓｅ）は改善が見込めるが、一方、先頭となる最初の１枚目の入力フレームが処理されて出力するまでにかかる処理時間が長くなるため、実映像に対して遅延が生じる。また、動きが激しい入力映像に対して残像が目立つことになる。そのため、従来は、入力映像の動きの大きさ等を考慮し、あらかじめ１枚の出力を得るために用いる入力映像フレームの数を固定した処理としていることが多い。
　本実施形態は、これまで固定となっていた、１枚の出力を得るために用いる入力映像フレームの数に着目したものである。図１のステータス予測部１２１で生成したステータス予測情報１２５を各種信号処理部１１１内の３次元ＤＮＲブロックへ送る。３次元ＤＮＲブロックは、ステータス予測情報１２５が、緩衝用バッファ１１２のステータスがオーバーフロー側に推移すると予測するものである場合に、１枚の出力を得るために用いる入力映像フレームの数を増やす。この時、ステータス予測情報に含まれる、緩衝用バッファ１１２の入出力レートの差を利用してもよい。アンダーフロー側に推移すると予測するものである場合には、１枚の出力を得るために用いる入力映像フレームの数を、所望のＳ／Ｎを得ることができる最小の数を限度に、減らす。所定の単位時間ごとに３次元ＤＮＲブロックの動作をリセットし、その度に生じる、出力開始タイミングの遅延を増減させることにより、緩衝用バッファ１１２の入力レートを調整する。そして、緩衝用バッファ１１２の入力レートを下げるほど、ノイズが時間方向に積分されてＳ／Ｎが改善するので、画質向上が見込める。
　例えば、図４に示すように、過去の２枚の入力映像フレームを参照し、それぞれに重みづけした係数を乗じて最初のフレームを処理した場合、出力するまでの初期遅延は実映像に対し、２フレーム時間となるが、それ以降は連続して処理されたフレーム出力となる。同様に、過去３枚の入力映像フレームを参照し、それぞれ係数を乗じて総和を求める場合には、必要な初期遅延はさらに１フレーム時間多い、３フレーム時間となるものの、それ以降は連続して処理されたフレーム出力となる。
　つまり、参照する過去のフレーム数を緩衝バッファ１１２の状態に連動させ適宜切替えコントロールすることで、出力するフレームの枚数を増減させ、緩衝用バッファ１１２の入力レートを調整することができ、緩衝用バッファ１１２の入力レートを下げるため参照する過去のフレーム数を増やすほど、画質向上が見込める。
　図５は、本発明の一実施例に係るカメラの制御方法のフローを示す。本発明の一実施例に係るカメラの制御方法は、撮像センサの読出しレートと伝送路のリンクレートとに基づいて緩衝用バッファのステータスを予測し、ステータス予測情報を生成するステータス予測ステップＳ１００と、前記ステータス予測情報に応じて画像処理の内容を調整する調整ステップＳ２００とを備える。
　以上、本発明の実施の形態について説明したが、本発明は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
　１００；３００：カメラ、１０１；３０１：撮像デバイス部、１０２；３０２：画像処理部、１０３；３０３：インタフェース部、１０４；３０４：撮像センサ、１０５；３０５：タイミング生成部、１０６；３０６：タイミング信号、１０７；３０７：撮像データ、１０８；３０８：ＣＰＵ、１０９；３０９：制御コマンド、１１０；３１０：センサ読出しレート、１１１；３１１：各種信号処理部、１１２；３１２：緩衝用バッファ、１１３；３１３：伝送路、１１４；３１４：フォーマット変換部、１１５；３１５：パケット、１１６；３１６：受信側ＰＣ、１１７；３１７：リンクレート、３１８：リセット、１１９：センサ読出しレート算出部、１２０：リンクレート算出部、１２１：ステータス予測部、１２２：読出しレート情報、１２３：設定リンクレート情報、１２４：リンクレート情報、１２５：ステータス予測情報、Ｓ１００：ステータス予測ステップ、Ｓ２００：調整ステップ。

Claims (8)

  1. 　撮像データを取得する撮像センサと、
    　前記撮像データに対し画像処理を行う信号処理部と、
    　前記画像処理が行われたデータが書き込まれる緩衝用バッファと、
    　前記緩衝用バッファから読み出されたデータのフォーマットを変換して伝送路に送出するフォーマット変換部と
    を備えるカメラの制御方法であって、
    　前記撮像センサの読出しレートと前記伝送路のリンクレートとに基づいて前記緩衝用バッファのステータスを予測し、ステータス予測情報を生成するステータス予測ステップと、
    　前記ステータス予測情報に応じて前記画像処理の内容を調整する調整ステップと
    を備える制御方法。
  2. 　前記調整ステップは、前記ステータス予測情報が、前記緩衝用バッファのステータスがオーバーフロー側に推移することを予測するものである場合、前記画像処理に要する時間を長くし、かつ、前記緩衝用バッファの入力レートを下げる請求項１の制御方法。
  3. 　前記画像処理は、３次元デジタルノイズリダクションである請求項１および２のいずれか１項の制御方法。
  4. 　前記３次元デジタルノイズリダクションは、複数の入力映像フレームを構成する各画素値に対してそれぞれのフレームに応じた係数を乗算し、各フレームの対応する位置の画素について総和を求め、ノイズ成分を低減するものであり、
    　前記調整ステップは、１枚の出力を得るために用いる入力映像フレームの数を増減し、かつ、前記緩衝用バッファの入力レートを調整する請求項３の制御方法。
  5. 　撮像データを取得する撮像センサと、
    　前記撮像データに対し画像処理を行う信号処理部と、
    　前記画像処理が行われたデータが書き込まれる緩衝用バッファと、
    　前記緩衝用バッファから読み出されたデータのフォーマットを変換して伝送路に送出するフォーマット変換部と、
    　前記撮像センサの読出しレートと前記伝送路のリンクレートとに基づいて前記緩衝用バッファのステータスを予測し、ステータス予測情報を生成するステータス予測部と
    を備え、
    　前記信号処理部は、前記ステータス予測情報に応じて前記画像処理の内容を調整する
    カメラ。
  6. 　前記信号処理部は、前記ステータス予測情報が、前記緩衝用バッファのステータスがオーバーフロー側に推移することを予測するものである場合、前記画像処理に要する時間を長くし、かつ、前記緩衝用バッファの入力レートを下げる請求項５のカメラ。
  7. 　前記画像処理は、３次元デジタルノイズリダクションである請求項５および６のいずれか１項のカメラ。
  8. 　前記３次元デジタルノイズリダクションは、複数の入力映像フレームを構成する各画素値に対してそれぞれのフレームに応じた係数を乗算し、各フレームの対応する位置の画素について総和を求め、ノイズ成分を低減するものであり、
    　前記信号処理部は、１枚の出力を得るために用いる入力映像フレームの数を増減し、かつ、前記緩衝用バッファの入力レートを調整する請求項７のカメラ。
PCT/JP2019/037242 2019-09-24 2019-09-24 カメラおよびカメラの制御方法 WO2021059326A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2019/037242 WO2021059326A1 (ja) 2019-09-24 2019-09-24 カメラおよびカメラの制御方法
US17/642,563 US11930272B2 (en) 2019-09-24 2019-09-24 Camera and method for controlling camera
JP2021547998A JP7164730B2 (ja) 2019-09-24 2019-09-24 カメラおよびカメラの制御方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/037242 WO2021059326A1 (ja) 2019-09-24 2019-09-24 カメラおよびカメラの制御方法

Publications (1)

Publication Number Publication Date
WO2021059326A1 true WO2021059326A1 (ja) 2021-04-01

Family

ID=75165166

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/037242 WO2021059326A1 (ja) 2019-09-24 2019-09-24 カメラおよびカメラの制御方法

Country Status (3)

Country Link
US (1) US11930272B2 (ja)
JP (1) JP7164730B2 (ja)
WO (1) WO2021059326A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118698A (ja) * 2002-01-22 2008-05-22 Sony Corp 撮像装置および撮像方法
US20140333801A1 (en) * 2013-05-07 2014-11-13 Samsung Electronics Co., Ltd. Method and apparatus for processing image according to image conditions

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2003063472A1 (fr) 2002-01-22 2003-07-31 Sony Corporation Dispositif d'imagerie et technique afferente
JP2008042838A (ja) 2006-08-10 2008-02-21 Hitachi Kokusai Electric Inc テレビジョンカメラ
US9225921B2 (en) * 2013-06-06 2015-12-29 Advanced Micro Devices, Inc. Method and apparatus for buffering analog information
JP6802642B2 (ja) * 2016-05-12 2020-12-16 キヤノン株式会社 撮像装置およびその制御方法、プログラム、並びに記憶媒体
JP7129169B2 (ja) * 2018-01-31 2022-09-01 キヤノン株式会社 画像処理装置、放射線撮影装置、画像処理方法、及びプログラム
JP6896181B2 (ja) * 2018-08-31 2021-06-30 富士フイルム株式会社 撮像素子、撮像装置、画像データ処理方法、及びプログラム
WO2020170728A1 (ja) * 2019-02-20 2020-08-27 富士フイルム株式会社 撮像素子、撮像装置、撮像素子の作動方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008118698A (ja) * 2002-01-22 2008-05-22 Sony Corp 撮像装置および撮像方法
US20140333801A1 (en) * 2013-05-07 2014-11-13 Samsung Electronics Co., Ltd. Method and apparatus for processing image according to image conditions

Also Published As

Publication number Publication date
JP7164730B2 (ja) 2022-11-01
US11930272B2 (en) 2024-03-12
JPWO2021059326A1 (ja) 2021-04-01
US20220329728A1 (en) 2022-10-13

Similar Documents

Publication Publication Date Title
US8564679B2 (en) Image processing apparatus, image processing method and program
US8624993B2 (en) Video image pickup device
US9721609B2 (en) Image capturing apparatus, image capturing system, and control method for the image capturing apparatus
US8436906B2 (en) Image processing apparatus, image processing method, program, and recording medium
KR102229152B1 (ko) 이미지 촬영 장치
JP2008160300A (ja) 画像処理装置及び撮像装置
EP2051504B1 (en) Camera and method of recording an image
WO2013011671A1 (ja) 送信装置および送信方法
KR101721226B1 (ko) 사용자가 원하는 시점의 정지 영상을 획득할 수 있는 디지털 영상 신호 처리 장치 및 이의 제어 방법
US20130176488A1 (en) Image processing apparatus, image capturing apparatus, and program
US20170295339A1 (en) Imaging device, imaging method, and imaging program
JP2007028598A (ja) 圧縮符号化装置及び圧縮符号化方法
WO2021059326A1 (ja) カメラおよびカメラの制御方法
JP5836090B2 (ja) 撮像装置及び制御方法
JP3299185B2 (ja) 符号化装置
JP2019080261A (ja) 撮像装置
JP7435208B2 (ja) 画像処理装置及びプログラム
EP3079344B1 (en) Image pickup apparatus, image pickup method and image pickup system
US11831985B2 (en) Camera and control method
CN114630120B (zh) 基于自适应压缩率的视频压缩方法与电路系统
WO2024048069A1 (ja) 情報処理装置、情報処理方法およびプログラム
JP2009302762A (ja) ネットワークカメラシステム
JP2021158614A (ja) 画像処理装置及びプログラム
JP3614712B2 (ja) ビデオカメラ
TW202301855A (zh) 視訊採集方法和裝置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19946731

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021547998

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19946731

Country of ref document: EP

Kind code of ref document: A1