WO2016199214A1 - 映像処理装置、映像処理方法及び車載カメラ - Google Patents

映像処理装置、映像処理方法及び車載カメラ Download PDF

Info

Publication number
WO2016199214A1
WO2016199214A1 PCT/JP2015/066538 JP2015066538W WO2016199214A1 WO 2016199214 A1 WO2016199214 A1 WO 2016199214A1 JP 2015066538 W JP2015066538 W JP 2015066538W WO 2016199214 A1 WO2016199214 A1 WO 2016199214A1
Authority
WO
WIPO (PCT)
Prior art keywords
blur
image
motion
information
unit
Prior art date
Application number
PCT/JP2015/066538
Other languages
English (en)
French (fr)
Inventor
山口　宗明
Original Assignee
株式会社日立国際電気
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立国際電気 filed Critical 株式会社日立国際電気
Priority to PCT/JP2015/066538 priority Critical patent/WO2016199214A1/ja
Priority to JP2017522783A priority patent/JPWO2016199214A1/ja
Publication of WO2016199214A1 publication Critical patent/WO2016199214A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • G06T5/73—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20172—Image enhancement details
    • G06T2207/20201—Motion blur correction

Definitions

  • the present invention relates to a video processing device, a video processing method, and a vehicle-mounted camera, and for example, relates to a video processing device, a video processing method, and a vehicle-mounted camera having a function of improving the quality of a captured image (video).
  • motion blur for example, a technique is known in which motion blur is easily estimated and detected at a certain level by detecting camera shake with a gyro sensor.
  • a gyro sensor for example, a technique is known in which motion blur is easily estimated and detected at a certain level by detecting camera shake with a gyro sensor.
  • the present invention has been made in view of such a conventional situation, and an object thereof is to provide a technique for solving the above-described problems.
  • the video processing apparatus is based on a unique information section that retains information on inherent image degradation that occurs in a still image, and a plurality of images taken at a predetermined interval, and movements and movements of objects in the image.
  • the motion amount estimation unit that calculates the amount
  • the blur information estimation unit that estimates the blur information of the object based on the information of the image degradation and the motion amount of the object
  • a blur removing unit that removes blur generated in an object in the image.
  • the image deterioration information held in the unique information section may be estimated by a conversion process using a point spread function.
  • the blur information estimation unit may estimate the blur information by a conversion process using a point spread function.
  • a vehicle-mounted camera includes the above-described video processing device.
  • the video processing method includes a motion estimation step of estimating a motion of an object included in an image captured at a predetermined interval and estimating a movement amount of the object, and is inherently generated in a still image in a device capturing the image.
  • FIG. 5 is a partially enlarged view of FIG. 4 focusing on the first tree according to the embodiment.
  • an in-vehicle camera is exemplified as a video processing device having a blur and motion blur (blur) removal function.
  • FIG. 1 is a diagram illustrating an example of a situation according to the present embodiment, in which a vehicle 99 travels on a road 98, and objects such as trees T and houses H exist around it.
  • the vehicle 99 in which the vehicle-mounted camera 1 is installed in the front window is moving forward (in the illustration, in the back direction).
  • FIG. 2 is a diagram for explaining blurring that occurs in an image taken by the in-vehicle camera 1.
  • first tree T1 a tree T1 shown in the vicinity of the road 98
  • second tree T2 a tree T2 shown on the left side of the road T2
  • third tree T3 a tree T3 in the vicinity of the road 98
  • th a tree T4 in a position farther forward than that. 4 trees T4 ").
  • the image taken by the in-vehicle camera 1 is not only blurred (hereinafter referred to as “blur at rest”) inherent to the in-vehicle camera 1 itself (particularly, the lens 2), and motion blur is shown in the figure.
  • Blur at rest the image taken by the in-vehicle camera 1
  • motion blur is shown in the figure.
  • motion blur in an oblique direction in the direction of arrow B1
  • motion blur in a substantially horizontal direction is applied to the fourth tree T4 located in the back of the image.
  • the amount of blur increases as the traveling speed of the vehicle 99 increases, and the amount of blur increases as the object is closer to the vehicle 99.
  • the amount of blur of the first tree T1 and the third tree T3 close to the road 98, that is, close to the in-vehicle camera 1 (vehicle 99) is large, and the amount of blur of the fourth tree T4 located far away. Is small.
  • the amount of blur is determined based on the traveling speed of the vehicle 99 on which the vehicle-mounted camera 1 is mounted and the object being captured if the vehicle-mounted camera 1 used for shooting, more specifically, the lens 2 (see FIG. 10) is determined. It is determined by the distance between the vehicle-mounted camera 1 (the tree T and the house H in FIG. 1).
  • FIG. 3 is a diagram in which the vanishing point VP and the apparent movement direction of the object (blur movement direction) are added to the image taken in the situation of FIG.
  • the direction of motion of the blur has a feature that is a radial direction from the vanishing point VP (arrow direction in the figure). Therefore, in the case of estimating the motion direction of the blur using the feature, it is possible to reduce the calculation load by limiting to the radial direction.
  • FIG. 4 is a diagram illustrating an example in which a plurality of images are taken at a constant interval (for example, 1/30 second) from the in-vehicle camera.
  • a constant interval for example, 1/30 second
  • an example of an image obtained by shooting three images and having the first tree T1 and the second tree T2 on the left side of the road 98 is 1 so that the time series can be easily grasped. Shown as a single image.
  • FIG. 5 is a partially enlarged view of FIG. 4 focusing on the first tree T1.
  • the first tree T1 is, in order from the back, a first tree T11 photographed at the first time, a first tree T12 photographed at the central time, and a first tree T13 photographed at the last time.
  • the first tree T12 photographed at the center time is drawn with a solid line, and the first trees T11 and T13 before and after that are shown with a broken line.
  • the second tree T2 is a second tree T21 photographed at the first time, a second tree T22 photographed at the central time, and a second tree T23 photographed at the last time.
  • the second tree T22 taken at the central time is drawn with a solid line, and the second trees T21 and T23 before and after the second tree T22 are shown with a broken line.
  • the first tree T1 is located near the road 98, that is, on the side of the in-vehicle camera 1, and the second tree T2 is located away from the road 98, that is, the in-vehicle camera 1.
  • the apparent movement amount (inter-frame movement amount B11) of the first tree T1 that is close to the in-vehicle camera 1 is relatively large
  • the apparent movement amount (inter-frame movement amount B21) of the second tree T2. ) Becomes relatively small.
  • the apparent movement amount of each object (the first tree T1 and the second tree T2) is also influenced by the aberration caused by the lens 2 of the in-vehicle camera 1.
  • the amount of movement in the period before and after the target image (here, the image in which the first tree T12 at the central time is captured) is calculated.
  • the motion amount B1x of the target image appears in the central region of movement in the three images (first trees T11 to T13). For this reason, the motion blur of the target image can be calculated from the time distribution of the motion amount using the three images.
  • Movement amount by movement movement amount between frames x shutter time / time difference between frames
  • FIG. 6 focuses on the movement between the shutters, and FIG. 6A schematically shows an ideal shooting state in which the luminance appears high at the positions x11 and x12 of the two objects.
  • FIG. 6B reflects the locus that actually appears between the two positions x11 and x12. As described above, the calculation can be performed by using a plurality of images.
  • FIG. 7 is a diagram for explaining blur at rest.
  • FIG. 7A shows an ideal shooting state when shooting an object at a certain point (position x2)
  • FIG. 7B shows a lens. This shows a state in which the blur effect due to the above is reflected. That is, as shown in FIG. 7B, the front side is shifted to the position x21 (x2- ⁇ 1) shifted forward by ⁇ 1 with respect to a certain position x2, and the rear side is shifted backward by ⁇ 2 with respect to certain position x2. Appear in the image in a widened form at each position x22 (x2 + ⁇ 2).
  • the information on the blur at rest as shown in FIG. 7B is unique to the in-vehicle camera 1 and the lens 2, it can be mounted and used in advance in the in-vehicle camera 1 as information.
  • FIG. 8 shows a state in which motion blur and stationary blur are reflected in the image between the shutters.
  • FIG. 8A schematically shows an ideal photographing state in which the luminance appears high at the positions x11 and x12 of the two objects as in FIG. 6A.
  • FIG. 8B is a diagram combining the effects shown in FIG. 6B and FIG. 7B. That is, a blur that actually appears as an image in a state in which both the stationary blur and the motion blur inherent in the in-vehicle camera 1 are reflected is shown.
  • the projected luminance value in FIG. 6B is located at a position x13 (x11 ⁇ 1) shifted forward by ⁇ 1 with respect to a position x11 on the front side and at a position on the rear side.
  • the blur appearing in the image can be calculated by taking into account both blur at the time of stationary and motion blur.
  • FIG. 9 is a functional block diagram illustrating a schematic configuration of the in-vehicle camera 1.
  • the in-vehicle camera 1 includes a lens 2, a video processing unit 10, and an output processing unit 3.
  • the output processing unit 3 includes a display unit 4 such as a liquid crystal monitor and a recording unit 5 such as a memory card.
  • the image captured by the lens 2 is displayed on the display unit 4 after being processed by the video processing unit 10 or stored in the recording unit 5.
  • FIG. 10 is a functional block diagram showing a schematic configuration of the video processing unit 10.
  • the video processing unit 10 is configured by an LSI (Large Scale Integrated Circuit) such as a CPU (Central Processing Unit) or a memory, and the functions are realized by executing programs stored in the memory.
  • LSI Large Scale Integrated Circuit
  • CPU Central Processing Unit
  • FIG. 10 is a functional block diagram showing a schematic configuration of the video processing unit 10.
  • the video processing unit 10 is configured by an LSI (Large Scale Integrated Circuit) such as a CPU (Central Processing Unit) or a memory, and the functions are realized by executing programs stored in the memory.
  • LSI Large Scale Integrated Circuit
  • the video processing unit 10 includes an image acquisition unit 12, a blur estimation unit 20, and a blur removal unit 16.
  • the image acquisition unit 12 acquires an image via the lens 2 and outputs the acquired image to the blur removal unit 16 and the blur estimation unit 20.
  • the blur estimation unit 20 estimates the blur of the image and outputs the estimation result to the blur removal unit 16.
  • the blur removal unit 16 removes the blur estimated by the blur estimation unit 20 from the image acquired from the image acquisition unit 12 and outputs the blur to the output processing unit 4.
  • the blur estimation unit 20 includes an inter-frame motion prediction unit 21, a camera information unit 22, a vanishing point estimation unit 23, a pixel position motion amount estimation unit 24, a pixel position stationary PSF acquisition unit 25, and a motion PSF generation unit 26. And an inverse transformation generation unit 27.
  • the camera information unit 22 holds information on camera specifications and blur specific to the lens 2 as features of the in-vehicle camera 1, that is, information on blur at rest.
  • the inter-frame motion prediction unit 21 performs inter-frame prediction processing. Specifically, the inter-frame motion prediction unit 21 performs motion prediction of an object using, for example, three images. A known technique such as a labeling process technique or an optical flow technique is used for the object motion prediction. The result of motion prediction (hereinafter also referred to as “motion information”) is output to the vanishing point estimation unit 23 and the pixel position motion amount estimation unit 24.
  • the vanishing point estimation unit 23 performs vanishing point estimation processing. Specifically, the vanishing point estimation unit 23 estimates the vanishing point VP (vanishing point position information) that is the center based on the motion information obtained from the inter-frame motion prediction unit 21, and the pixel position motion amount estimation unit. 24.
  • VP vanishing point position information
  • the pixel position motion amount estimation unit 24 performs a motion estimation process for each pixel position. Specifically, the pixel position motion amount estimation unit 24 estimates the motion amount in the corresponding image based on the motion information from the inter-frame motion prediction unit 21. The estimated motion amount is output to the motion PSF generation unit 26. Note that the vanishing point position information obtained from the vanishing point estimation unit 23 may be used to facilitate the estimation of the motion direction.
  • the pixel position stationary PSF acquisition unit 25 performs a stationary PSF acquisition process at each pixel position. Specifically, the pixel position stationary PSF acquisition unit 25 generates stationary PSF information for each pixel based on the information acquired from the camera information unit 22. A specific process for generating the PSF information can use a known technique (for example, a technique disclosed in Patent Document 1), and thus description thereof is omitted. The refined stationary PSF information is output to the motion PSF generator 26.
  • the motion PSF generation unit 26 performs a motion PSF generation process. Specifically, the motion PSF generation unit 26 includes the motion for each pixel using the motion amount obtained by the pixel position motion amount estimation unit 24 and the still PSF information obtained by the pixel position stationary PSF acquisition unit 25. PSF is generated.
  • the inverse transformation generation unit 27 uses the PSF generated by the motion PSF generation unit 26 to generate an inverse transformation of the PSF by inverse transformation generation, and outputs the inverse transformation to the blur removal unit 16. As described above, the blur removal unit 16 removes the blur deterioration due to the inverse transformation performed on the image acquired from the image acquisition unit 12.
  • the present embodiment it is possible to easily estimate the amount of blur due to movement in the case where there is blur in an image captured using the in-vehicle camera 1, and the blur at rest that has been measured in advance. By using it together with the estimation of the amount, it becomes possible to remove the blur of the deteriorated image at a high speed and with a low load.
  • the video processing unit 10 is not limited to a configuration that is integrally included as the in-vehicle camera 1, and may be a configuration provided in another device.

Abstract

ボケが生じている画像から従来より高速にかつ低負荷でボケを除去する技術を提供する。 車載カメラ１の映像処理部１０のブレ推測部２０は、ブレ推測部２０は、映像のブレを推定し、ブレ除去部１６は、その推定結果をもとにブレを除去する。ブレ推定部２０の動きＰＳＦ生成部２６は、動きＰＳＦ生成処理として、画素位置動き量推定部２４が算出する物体の動き量と画素位置静止ＰＳＦ取得部２５が生成する静止ＰＳＦ情報を用いて、画素ごとの動きを含めたＰＳＦを生成する。逆変換生成部２７は、ＰＳＦの逆変換を生成し、ブレ除去部１６へ出力する。

Description

映像処理装置、映像処理方法及び車載カメラ
　本発明は、映像処理装置、映像処理方法及び車載カメラに係り、例えば、撮影した画像（映像）の画質を改善する機能を有する映像処理装置、映像処理方法及び車載カメラに関する。
　近年、カメラの小型化が進み、車両の前面あるいは後面の窓より画像を撮影して使用するための車載カメラが数多く使用されるようになってきた。車載カメラの映像では、車両が高速に移動することから、動きボケ（「動きブレ」または「ブレ」とも言う。）が生じやすい傾向にある。一方で、撮像時の高画質化も進歩しており、レンズのボケ、撮影時のピントボケや動きブレを改善する技術も実用化されるようになっている。例えば、点拡がり関数（Point spread function；ＰＳＦ)を用いて、レンズのボケを推測し、その逆変換を推定して映像に反映させることで、ボケを除去・低減する技術がある（例えば特許文献１参照）。
特開２０１４－２２０５８３号公報
　ところで、逆変換を使用した、ボケおよび動きブレの除去においては、ボケあるいはブレによる劣化を推測する必要がある。この推測にはそれなりの計算量が必要であり、高速に実施するためには高性能な演算装置が必要であって、車載カメラ等に適用するのは現実的には困難である。このようなことから新たな技術が必要とされていた。
　また、動きブレに関しては、例えば、カメラの手振れをジャイロセンサで検知することで、動きブレを簡易に推測し一定レベルで除去する技術が知られている。しかしながら、車載カメラのようにカメラを設置している物体自体が移動している場合などでは、物体とカメラの動きをジャイロなどで検知することは困難であるという課題があった。
　本発明は、このような従来の事情に鑑みなされたもので、上記課題を解決する技術を提供することを目的とする。
　本発明の映像処理装置は、静止画像において発生する固有の画像劣化の情報を保持する固有情報部と、所定の間隔で撮影した複数の画像をもとに、画像中の物体の動きおよびその動き量を算出する動き量推定部と、前記画像劣化の情報と前記物体の動き量をもとに前記物体のボケ情報を推測するボケ情報推測部と、前記推測したボケ情報をもとに、前記画像中の物体に生じているボケを除去するボケ除去部と、を備える。
　また、前記固有情報部に保持されている前記画像劣化の情報は、点拡がり関数を用いた変換処理によって推測されたものであってもよい。
　また、前記ボケ情報推測部は、点拡がり関数を用いた変換処理により前記ボケ情報を推測してもよい。
　本発明の車載カメラは、上記の映像処理装置を備える。
　本発明の映像処理方法は、所定間隔で撮影した画像に含まれる物体の動きを推定し、前記物体の移動量を推定する動き推定工程と、前記画像を撮影した機器に静止画において固有に発生する静止画のボケ情報と、前記物体の前記移動量とをもとに、前記画像の動きボケ情報を推定する動きボケ推定工程と、前記画像から前記動きぼけを除去する劣化除去工程とを備える。
　以上、本発明によると、ボケが生じている画像から従来より高速にかつ低負荷でボケを除去する技術を提供することができる。
実施形態に係る、車両が道路を進行しておりその周囲に木や家などの物体が存在している状況を示した図である。 実施形態に係る、車載カメラで撮影した画像に生じるボケを説明するための図である。 実施形態に係る、図１の状況で撮影した画像に消失点と物体の見かけの動き方向（ボケの動き方向）を追加した図である。 実施形態に係る、車載カメラより一定間隔で複数枚の撮影を行った場合の例を示す図である。 実施形態に係る、図４について第１の木に着目して一部拡大して示す図である。 実施形態に係る、シャッタ間の物体の理想撮影状態と撮影した画像に現れるブレとの関係を説明する第１の図である。 実施形態に係る、シャッタ間の物体の理想撮影状態と撮影した画像に現れるブレとの関係を説明する第２の図である。 実施形態に係る、シャッタ間の物体の理想撮影状態と撮影した画像に現れるブレとの関係を説明する第３の図である。 実施形態に係る、車載カメラの概略構成を示す機能ブロック図である。 実施形態に係る、映像処理部の概略構成を示す機能ブロック図である。
　次に、本発明を実施するための形態（以下、単に「実施形態」と言う。）を、図面を参照して具体的に説明する。以下に説明する実施形態では、ボケおよび動きボケ（ブレ）の除去機能を備える映像処理装置として車載カメラについて例示する。
　上記のように、車載カメラなどのように動く物体に設置したカメラの動きブレを推測することは困難である。この課題に対しては、次の通り解決する。車載カメラは、例えば、進行方向を向いている場合、動きの大きさは、対象となる物体がカメラよりの距離のよりまちまちであるが画面上の一点（消失点）より円の半径方向に、すなわち消失点を中心として放射方向に動きが発生する。その特性を使用することで動きブレ等が発生している画像の画質を向上させる。画像を一定時間で複数枚撮影し、その複数の画像を使用する。動きブレなどはあるが、オプティカルフロー技術などを用いて、複数の画像に撮影されている物体を一致させる。
　図１は、本実施形態に係る状況の例を示した図であって、車両９９が道路９８を進行しており、その周囲に木Ｔや家Ｈなどの物体が存在している。図示で想定する状況では、前方窓に車載カメラ１を設置している車両９９が、前方（図示で奥方向）に移動している。
　図２は、車載カメラ１で撮影した画像に生じるボケを説明するための図である。ここでは、道路９８の左側には、道路９８の近傍に写っている木Ｔ１（以下「第１の木Ｔ１」と言う。）と、それよりも左側に離れた位置に写っている木Ｔ２（以下「第２の木Ｔ２」と言う。）がある。道路９８の右側には、道路９８の近傍に写っている木Ｔ３（以下「第３の木Ｔ３」と言う。）と、それよりも前方に離れた位置に写っている木Ｔ４（以下「第４の木Ｔ４」と言う。）がある。
　そして、図示のように、車載カメラ１にて撮影した画像は、車載カメラ１自身（特にレンズ２）に固有のボケ（以下、「静止時ボケ」と言う。）に加え、動きボケが図中の矢印Ｂ１～Ｂ４の方向に加わる。例えば、第１の木Ｔ１には左下から右上に伸びる斜め方向（矢印Ｂ１の方向）の動きボケが加わる。また、画像の奥に位置する第４の木Ｔ４には、略水平方向（矢印Ｂ４の方向）の動きボケが加わる。
　通常、車両９９の走行速度が高いほどこのボケ量は増大し、また車両９９に近い位置にある物体ほど、ボケ量は増大する。例えば、図２では、道路９８に近い、すなわち車載カメラ１（車両９９）に近い第１の木Ｔ１や第３の木Ｔ３のボケ量は大きく、遠方に位置する第４の木Ｔ４の呆け量は小さい。
　このボケ量は、撮影に使用する車載カメラ１、より具体的にはレンズ２（図１０参照）が定まれば、車載カメラ１を搭載している車両９９の走行速度及び、撮影されている物体（図１では木Ｔや家Ｈ）と車載カメラ１との距離とによって定まる。
　図３は、図１の状況で撮影した画像に消失点ＶＰと物体の見かけの動き方向（ボケの動き方向）を追加した図である。ボケの動きの方向は、図３に示すように消失点ＶＰから放射状の方向（図中の矢印方向）となる特徴がある。そこで、その特徴を使用して、ボケの動き方向の推定の場合には、放射状の方向に限定することで、演算負荷を低減することができる。
　図４は、車載カメラより一定間隔（例えば、１／３０秒）で複数枚の撮影を行った場合の例を示す図である。ここでは、３枚の撮影を行った画像であって、道路９８の左に第１の木Ｔ１と第２の木Ｔ２が存在している画像の例を、時系列が把握しやすいように１枚の画像として示している。図５は、図４について第１の木Ｔ１に着目して一部拡大して示す図である。
　第１の木Ｔ１は奥から順に、最初の時間に撮影した第１の木Ｔ１１、中心の時間に撮影した第１の木Ｔ１２、最後の時間に撮影した第１の木Ｔ１３となっている。中心の時間に撮影した第１の木Ｔ１２を実線で描画し、その前後の第１の木Ｔ１１、１３は破線で示している。同様に、第２の木Ｔ２は奥から順に、最初の時間に撮影した第２の木Ｔ２１、中心の時間に撮影した第２の木Ｔ２２、最後の時間に撮影した第２の木Ｔ２３となっている。中心の時間に撮影した第２の木Ｔ２２を実線で描画し、その前後の第２の木Ｔ２１、２３は破線で示している。
　ここで、第１の木Ｔ１は、道路９８のそば、すなわち車載カメラ１の側に位置し、第２の木Ｔ２は、道路９８すなわち車載カメラ１から離れて位置している。このため、車載カメラ１からの距離が近い第１の木Ｔ１の見かけの移動量（フレーム間移動量Ｂ１１）が相対的に大きく、第２の木Ｔ２の見かけの移動量（フレーム間移動量Ｂ２１）が相対的に小さくなる。なお、各物体（第１の木Ｔ１や第２の木Ｔ２）の見かけの移動量は、他に、車載カメラ１のレンズ２による収差による影響も受ける。
　例えば、図５に示すように、３枚の画像を撮影することで、対象画像（ここでは、中心時間の第１の木Ｔ１２が写った画像）の時間的に前後となる期間における移動量を得ることができる。対象画像の動き量Ｂ１ｘは、３枚の画像（第１の木Ｔ１１～Ｔ１３）における移動の中心領域に現れる。このため、対象画像の動きブレは、３枚の画像を使用した動き量の時間配分から算出することができる。
　すなわち、非常に短い時間間隔では、物体（ここでは第１の木Ｔ１）は、直線状に並んで撮影される。その距離は、撮影の時間間隔と撮影画面上の位置および車載カメラ１と物体（第１の木Ｔ１）の位置によって定まる。そのため、１枚の画像上の動きによる移動量は、次式の関係で求めることができる。
　動きによる移動量=フレーム間の移動量×シャッタ時間／フレーム間時間差
　図６～図８を参照して、シャッタ間の物体の理想撮影状態と撮影した画像に現れるブレとの関係を説明する。
　図６は、シャッタ間の動きに着目したもので、図６（ａ）は２箇所の物体の位置ｘ１１、ｘ１２に輝度が高く現れる理想撮影状態を模式的に示している。図６（ｂ）は、実際に２箇所の位置ｘ１１、ｘ１２の間に現れる軌跡を反映させたものである。上述の様に、複数枚の画像を使用することで算出することができる。
　図７は、静止時ボケを説明する図であり、図７（ａ）は、有る一点（位置ｘ２）にある物体を撮影したときの理想撮影状態を示しており、図７（ｂ）はレンズ等によるボケ効果が反映された状態を示している。すなわち、図７（ｂ）のように、前側にはある位置ｘ２に対してΔ１だけ前方にずれた位置ｘ２１（ｘ２－Δ１）に、後側にはある位置ｘ２に対してΔ２だけ後方にずれた位置ｘ２２（ｘ２＋Δ２）に、それぞれ広がった形となって画像に現れる。
　図７（ｂ）に示すような静止時ボケの情報は、車載カメラ１やレンズ２にて固有であることから、予め情報として車載カメラ１に搭載し利用することができる。
　図８は、シャッタ間の画像に動きボケ及び静止時ボケとが反映した場合の状態を示したものである。図８（ａ）は図６（ａ）と同様に２箇所の物体の位置ｘ１１、ｘ１２に輝度が高く現れる理想撮影状態を模式的に示している。図８（ｂ）は、図６（ｂ）と図７（ｂ）とに示した影響を合わせて図である。すなわち、車載カメラ１に固有の静止時ボケと動きボケとの両方が反映された状態の実際に画像として現れるボケが示されている。具体的には、図６（ｂ）の凸状になった輝度値が、前側にはある位置ｘ１１に対してΔ１だけ前方にずれた位置ｘ１３（ｘ１１－Δ１）に、後側にはある位置ｘ１２に対してΔ２だけ後方にずれた位置ｘ１４（ｘ１２＋Δ２）に、それぞれ広がった形となって画像に現れる。したがって、静止時ボケと動きボケとの両方のボケを考慮することで、画像に現れるボケを算出することができる。
　図９及び図１０を参照して、上記のボケを特定し画像の画質を改善する具体的な構成について説明する。図９は、車載カメラ１の概略構成を示す機能ブロック図である。この車載カメラ１は、レンズ２と、映像処理部１０と、出力処理部３とを備える。出力処理部３は液晶モニタ等の表示部４とメモリカード等の記録部５とを備える。レンズ２で取り込んだ画像は、映像処理部１０で処理した後に表示部４に表示されたり、記録部５に保存される。
　図１０は、映像処理部１０の概略構成を示す機能ブロック図である。映像処理部１０は、ＣＰＵ（中央演算装置）等のＬＳＩ（大規模集積回路）やメモリで構成され、そのメモリに記憶されたプログラムらが実行されることで、その機能が実現される。
　映像処理部１０は、画像取得部１２と、ブレ推測部２０と、ブレ除去部１６とを備える。画像取得部１２は、レンズ２を介して画像を取得し、ブレ除去部１６及びブレ推測部２０へ出力する。ブレ推測部２０は、画像のブレを推定し、推定結果をブレ除去部１６に出力する。ブレ除去部１６は、画像取得部１２から取得した画像からブレ推測部２０で推定したブレを除去し、出力処理部４へ出力する。
　ブレ推測部２０は、フレーム間動き予測部２１と、カメラ情報部２２と、消失点推定部２３と、画素位置動き量推定部２４と、画素位置静止ＰＳＦ取得部２５と、動きＰＳＦ生成部２６と、逆変換生成部２７とを備える。
　カメラ情報部２２は、車載カメラ１の特徴としてカメラ仕様やレンズ２に固有のボケ、すなわち、静止時ボケの情報を保持する。
　フレーム間動き予測部２１は、フレーム間予測処理を行う。具体的には、フレーム間動き予測部２１は、例えば３枚の画像を使用して、物体の動き予測を実施する。物体の動き予測には、ラベリング処理技術やオプティカルフロー技術等の公知の技術を用いる。動き予測の結果（以下、「動き情報」とも言う。）は、消失点推定部２３及び画素位置動き量推定部２４に出力される。
　消失点推定部２３は、消失点推定処理を行う。具体的には、消失点推定部２３は、フレーム間動き予測部２１から得られた動き情報に基づき、その中心となる消失点ＶＰ（消失点位置情報）を推定し、画素位置動き量推定部２４に出力する。
　画素位置動き量推定部２４は、各画素位置の動き推定処理を行う。具体的には、画素位置動き量推定部２４は、フレーム間動き予測部２１からの動き情報に基づいてから該当画像における動き量を推定する。推定した動き量は動きＰＳＦ生成部２６に出力される。なお、動き方向の推定の容易化のため、消失点推定部２３から得られた消失点位置情報を使用してもよい。
　画素位置静止ＰＳＦ取得部２５は、各画素位置での静止ＰＳＦ取得処理を行う。具体的には、画素位置静止ＰＳＦ取得部２５は、カメラ情報部２２から取得した情報に基づき、静止ＰＳＦ情報を画素ごとに生成する。ＰＳＦ情報を生成する具体的な処理は、公知の技術（例えば特許文献１に開示の技術）を用いることができるので、説明は省略する。精製された静止ＰＳＦ情報は、動きＰＳＦ生成部２６に出力される。
　動きＰＳＦ生成部２６は、動きＰＳＦ生成処理を行う。具体的には、動きＰＳＦ生成部２６は、画素位置動き量推定部２４で得られた動き量と画素位置静止ＰＳＦ取得部２５で得られた静止ＰＳＦ情報を用いて、画素ごとの動きを含めたＰＳＦを生成する。
　逆変換生成部２７は、動きＰＳＦ生成部２６で生成されたＰＳＦを用いて、逆変換生成にて、ＰＳＦの逆変換を生成し、ブレ除去部１６へ出力する。ブレ除去部１６は、上述の通り、画像取得部１２から取得した画像に逆変換を施すことに因り、ボケ劣化を除去する。
　以上、本実施形態によれば、車載カメラ１を用いて撮影した画像にボケが有る場合において、動きによるボケ量を簡便に推測することが可能になり、前もって計測しておいた静止時のボケ量の推測と合わせ使用することで、劣化画像のボケを高速に低負荷で除去することが可能となる。
　以上、本発明を実施形態をもとに説明した。この実施形態は例示であり、それらの各構成要素の組み合わせにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。例えば、映像処理部１０は、車載カメラ１として一体に含まれる構成に限らず、別の装置に備わる構成であってもよい。
１　車載カメラ
２　レンズ
３　出力処理部
４　表示部
５　記録部
１０　映像処理部
１２　画像取得部
１６　ブレ除去部
２０　ブレ推測部
２２　カメラ情報部（固有情報部）
２３　消失点推定部
２４　画素位置動き量推定部
２５　画素位置静止ＰＳＦ取得部
２６　動きＰＳＦ生成部
２７　逆変換生成部

Claims (5)

  1. 　静止画像において発生する固有の画像劣化の情報を保持する固有情報部と、
    　所定の間隔で撮影した複数の画像をもとに、画像中の物体の動きおよびその動き量を算出する動き量推定部と、
    　前記画像劣化の情報と前記物体の動き量をもとに前記物体のボケ情報を推測するボケ情報推測部と、
    　前記推測したボケ情報をもとに、前記画像中の物体に生じているボケを除去するボケ除去部と、
    　を備えることを特徴とする映像処理装置。
  2. 　前記固有情報部に保持されている前記画像劣化の情報は、点拡がり関数を用いた変換処理によって推測されたものであることを特徴とする請求項１に記載の映像処理装置。
  3. 　前記ボケ情報推測部は、点拡がり関数を用いた変換処理により前記ボケ情報を推測することを特徴とする請求項１または２に記載の映像処理装置。
  4. 　請求項１～３までのいずれかに記載の映像処理装置を備えることを特徴とする車載カメラ。
  5. 　所定間隔で撮影した画像に含まれる物体の動きを推定し、前記物体の移動量を推定する動き推定工程と、
    　前記画像を撮影した機器に静止画において固有に発生する静止画のボケ情報と、前記物体の前記移動量とをもとに、前記画像の動きボケ情報を推定する動きボケ推定工程と、
    　前記画像から前記動きぼけを除去する劣化除去工程と
    を備えることを特徴とする映像処理方法。
PCT/JP2015/066538 2015-06-09 2015-06-09 映像処理装置、映像処理方法及び車載カメラ WO2016199214A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
PCT/JP2015/066538 WO2016199214A1 (ja) 2015-06-09 2015-06-09 映像処理装置、映像処理方法及び車載カメラ
JP2017522783A JPWO2016199214A1 (ja) 2015-06-09 2015-06-09 映像処理装置、映像処理方法及び車載カメラ

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/066538 WO2016199214A1 (ja) 2015-06-09 2015-06-09 映像処理装置、映像処理方法及び車載カメラ

Publications (1)

Publication Number Publication Date
WO2016199214A1 true WO2016199214A1 (ja) 2016-12-15

Family

ID=57504889

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/066538 WO2016199214A1 (ja) 2015-06-09 2015-06-09 映像処理装置、映像処理方法及び車載カメラ

Country Status (2)

Country Link
JP (1) JPWO2016199214A1 (ja)
WO (1) WO2016199214A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012262A (zh) * 2023-03-09 2023-04-25 荣耀终端有限公司 一种图像处理方法、模型训练方法及电子设备

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259119A (ja) * 2010-06-08 2011-12-22 Nippon Signal Co Ltd:The 画像処理装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5468404B2 (ja) * 2010-02-02 2014-04-09 パナソニック株式会社 撮像装置および撮像方法、ならびに前記撮像装置のための画像処理方法

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011259119A (ja) * 2010-06-08 2011-12-22 Nippon Signal Co Ltd:The 画像処理装置

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN116012262A (zh) * 2023-03-09 2023-04-25 荣耀终端有限公司 一种图像处理方法、模型训练方法及电子设备
CN116012262B (zh) * 2023-03-09 2023-08-15 荣耀终端有限公司 一种图像处理方法、模型训练方法及电子设备

Also Published As

Publication number Publication date
JPWO2016199214A1 (ja) 2018-03-29

Similar Documents

Publication Publication Date Title
US7639888B2 (en) Method and apparatus for initiating subsequent exposures based on determination of motion blurring artifacts
US9092875B2 (en) Motion estimation apparatus, depth estimation apparatus, and motion estimation method
JP4527152B2 (ja) カメラのモーションブラー関数を決定する手段を有するデジタルイメージ取得システム
US7639889B2 (en) Method of notifying users regarding motion artifacts based on image analysis
US7636486B2 (en) Method of determining PSF using multiple instances of a nominally similar scene
US7643062B2 (en) Method and system for deblurring an image based on motion tracking
JP5284048B2 (ja) 画像処理装置、撮像装置及び画像処理方法
JP5499050B2 (ja) 画像処理装置、撮像装置、及び画像処理方法
JP2009070384A (ja) 映像復元装置および方法
KR20140008623A (ko) 영상 처리 방법 및 장치
JP4245045B2 (ja) 撮像装置、撮像信号処理方法及びプログラム
US9538074B2 (en) Image processing apparatus, imaging apparatus, and image processing method
WO2016199214A1 (ja) 映像処理装置、映像処理方法及び車載カメラ
JP2012085205A (ja) 画像処理装置、撮像装置、画像処理方法および画像処理プログラム
JP5326799B2 (ja) 撮像装置
JP5853369B2 (ja) 画像処理装置、画像処理方法及びプログラム
JP2019180057A (ja) 映像処理装置、映像処理システム、映像処理方法、及びプログラム
JP2017092749A (ja) 撮像装置、ブレ補正方法、プログラム、および、記憶媒体
IE20050090U1 (en) A digital image acquisition system having means for determining a camera motion blur function

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15894899

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017522783

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15894899

Country of ref document: EP

Kind code of ref document: A1