WO2020204017A1 - 画像記録再生システム、画像処理装置及び画像再生装置 - Google Patents

画像記録再生システム、画像処理装置及び画像再生装置 Download PDF

Info

Publication number
WO2020204017A1
WO2020204017A1 PCT/JP2020/014721 JP2020014721W WO2020204017A1 WO 2020204017 A1 WO2020204017 A1 WO 2020204017A1 JP 2020014721 W JP2020014721 W JP 2020014721W WO 2020204017 A1 WO2020204017 A1 WO 2020204017A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
compressed
color image
generate
Prior art date
Application number
PCT/JP2020/014721
Other languages
English (en)
French (fr)
Inventor
吉雄 中野
暢 長岡
Original Assignee
５Ｋサポート株式会社
有限会社フィット
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ５Ｋサポート株式会社, 有限会社フィット filed Critical ５Ｋサポート株式会社
Publication of WO2020204017A1 publication Critical patent/WO2020204017A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/25—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding with scene description coding, e.g. binary format for scenes [BIFS] compression
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding
    • H04N19/29—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding involving scalability at the object level, e.g. video object layer [VOL]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback

Definitions

  • the present invention relates to an image recording / playback system, an image processing device, and an image playback device.
  • An increasing number of vehicles are equipped with drive recorders that record images outside the vehicle.
  • the video from the drive recorder is useful for investigating the cause of a vehicle accident, for example.
  • the mainstream of conventional drive recorders is to record images for several tens of seconds before and after the occurrence of an event such as a collision, but with the increase in the capacity of recording media, the number of those with a constant recording function is increasing.
  • a drive recorder that constantly and continuously records while a vehicle is running requires a large amount of memory while reliably recording an image when an event such as a collision occurs.
  • the drive recorder having a continuous recording function erases the old video and overwrites and saves the current video when the memory capacity is full. With such a method, there is a possibility that the video that needs to be saved is overwritten and erased. In order to record for a long time, it is necessary to compress the image at a high magnification, but the image quality of the image compressed at a high magnification deteriorates.
  • in-vehicle cameras equipped with fisheye lenses have been used to photograph a wide area around the vehicle.
  • the vicinity of the vehicle looks clear, but the farther from the vehicle, the greater the distortion.
  • the memory capacity is limited, and it has been difficult to record high-quality images for a long time.
  • An object of the present invention is to provide an image recording / playback system, an image processing device, and an image playback device capable of recording an image taken with a fisheye lens for a long time and clearly reproducing a specific area.
  • the image recording / reproduction system of the present invention has a fish-eye lens, an image pickup device that generates a color image, a first compression unit that compresses the color image to generate a compressed color image, and reversibly compresses the color image.
  • a second compression unit that generates a compressed black-and-white image and a portion corresponding to a predetermined object are extracted from the compressed black-and-white image, and extraction information including the extracted black-and-white partial image and the position information of the extracted portion is generated.
  • To generate the combined data by combining the extracted unit, the compressed color image, and the extracted information, and the compressed color image based on the position information included in the extracted information in the combined data. It includes a compositing unit that synthesizes the black-and-white partial image to generate a reproduction image, and a reproduction unit that transfers the reproduction image to a display device and reproduces the image.
  • the first compression unit generates the compressed color image by lossy compression processing.
  • the compression rate by the first compression section is higher than the compression rate by the second compression section.
  • the coupling unit compresses the combined data to generate compressed data
  • the synthesis unit decompresses the compressed data and then generates the reproduction image
  • the connecting portion binds the extracted information to a region not to be compressed.
  • the image pickup device is mounted on a vehicle, and the extraction unit extracts a license plate, a person's face, or a portion surrounded by a predetermined color.
  • the image processing device of the present invention combines an image acquisition unit that acquires a color image generated by an image pickup device having a fisheye lens, a first compression unit that compresses the color image to generate a compressed color image, and the color image.
  • a second compression unit that performs reversible compression to generate a compressed black-and-white image, extracts a portion corresponding to a predetermined object from the compressed black-and-white image, and extracts the extracted black-and-white partial image and the position information of the extracted portion. It includes an extraction unit that generates information, a combination unit that combines the compressed color image and the extraction information to generate combination data, and a storage unit that stores the combination data.
  • the image reproduction device of the present invention includes an image input unit that receives input of the combined data stored in the storage unit of the image processing device of the present invention and the position information included in the extracted information in the combined data. Based on this, it includes a compositing unit that synthesizes the black-and-white partial image with the compressed color image to generate a reproduction image, and a reproduction unit that transfers the reproduction image to a display device and reproduces the image.
  • the image recording / reproduction system includes an image pickup device 1, an image processing device 2, an image reproduction device 3, and a display device 4.
  • an image pickup device 1 an image processing device 2
  • an image reproduction device 3 an image reproduction device 3.
  • a display device 4 a display device 4.
  • the image pickup device 1 has a fisheye lens (wide-angle lens) and an image pickup element such as a CCD (Charge-Coupled Device) or CMOS (Complementary Metal-Oxide Semiconductor), and is mounted on the vehicle to image the surrounding environment including the front of the vehicle. And generate a color image represented by a color value.
  • the color value is derived from a YUV format color space consisting of one brightness (Y) and two color differences (U, V) and three hues (R (red), G (green), B (blue)). It is a numerical group represented by any one of the RGB format color space or the HSB format color space consisting of hue (H), saturation (S), and lightness (B).
  • the image pickup device 1 continuously generates a color image every frame (60 fps) of, for example, 1/60 second.
  • the image processing device 2 has a control unit 20 and a storage unit M.
  • the storage unit M is a hard disk, a flash memory, or the like.
  • the control unit 20 includes a CPU (central processing unit), a ROM in which programs and the like are stored, a RAM as a work area, and the like. When the CPU executes the program, the functions of the image acquisition unit 21, the first compression unit 22, the second compression unit 23, the extraction unit 24, and the coupling unit 25 are realized.
  • the image acquisition unit 21 acquires a color image from the image pickup device 1.
  • the first compression unit 22 performs irreversible compression (lossy compression) having a high compression rate, and as shown in FIG. 2, compresses the color image D1 generated by the image pickup apparatus 1 to generate a compressed color image D2.
  • lossy compression with a high compression rate
  • Examples of lossy compression with a high compression rate include JPEG (Joint Photographic Experts Group).
  • JPEG Joint Photographic Experts Group
  • an image is divided into blocks of a fixed size (8 ⁇ 8 pixels), and each block is converted from a spatial domain to a frequency domain by using DCT (discrete cosine transform).
  • the converted data is entropy-encoded with a Huffman code and compressed after the amount of information is reduced by quantization.
  • entropy coding codes of different lengths are assigned according to the high or low probability of occurrence of data, and compression is performed.
  • the second compression unit 23 performs lossless compression with a compression rate lower than that of the first compression unit 22, and compresses the color image D1 generated by the image pickup apparatus 1 to generate a compressed black-and-white image D3.
  • Examples of the compression format by the second compression unit 23 include TIFF, PNG, GIF, PSD, and TGA.
  • Lossless compression is a data compression method in which the data before compression and the data that has undergone compression / decompression processing are completely equal, and the image quality is not deteriorated by compression.
  • the extraction unit 24 cuts out a specific area to be sharpened from the compressed black-and-white image and extracts it.
  • the specific area is, for example, a part surrounded by a specific color such as a license plate, a person's face, or a sign.
  • a specific color such as a license plate, a person's face, or a sign.
  • the extraction unit 24 outputs the black-and-white partial image BW extracted from the compressed black-and-white image D3 and the extraction information D4 including the position information of the extraction portion.
  • the combining unit 25 combines the extraction information D4 with the region of the compressed color image D2 that is not the target of compression and compresses it to create the compressed color image D5 (compressed data).
  • the compressed color image D5 is stored in the storage unit M.
  • the image pickup device 1 has a fisheye lens, and the region where the light incident from the fisheye lens is received by an image pickup device such as CMOS has a circular shape.
  • the peripheral portion P of the color image D1 does not have information and is not a compression target.
  • the connecting portion 25 attaches the extraction information to the peripheral portion. For example, black-and-white TIFF data and position information are pasted in a region of the JPEG file that is not to be compressed to form one JPEG file.
  • the processing of the image acquisition unit 21, the first compression unit 22, the second compression unit 23, the extraction unit 24, and the coupling unit 25 described above is executed every time the image pickup apparatus 1 generates a color image (for each frame). ..
  • the image reproduction device 3 has an image input unit 31, a composition unit 32, and a reproduction unit 33.
  • the image reproduction device 3 may be provided in the drive recorder integrally with the image processing device 2, or may be a reproduction-only device separate from the image processing device 2.
  • the image input unit 31 receives the input of the compressed color image D5 stored in the storage unit M.
  • the compressed color image D5 is taken out from the storage unit M.
  • the compressed color image D5 is stored in a memory card or the like and taken into the image reproduction device 3.
  • the compressed color image D5 may be transferred from the image processing device 2 to the image reproduction device 3.
  • the compositing unit 32 decompresses the compressed color image D5, synthesizes the black-and-white partial image BW on the compressed color image D2 based on the position information included in the extraction information D4, and generates an image D6 for reproduction. For example, the white portion of the black-and-white partial image BW is removed, and only the black portion is combined on the compressed color image D2.
  • the reproduction unit 33 transfers the image D6 to a display device 4 such as a liquid crystal display and reproduces the image D6.
  • image D6 is a color image with reduced image quality, but a high-quality black-and-white image (black part) is pasted in a specific area. Therefore, it is possible to reproduce an image in which an important part such as a license plate is clarified.
  • the color image D1 is compressed by lossy compression having a high compression rate to generate a compressed color image D2. Further, the color image D1 is losslessly compressed to generate a compressed black-and-white image D3, and a black-and-white partial image BW of a specific region is extracted from the compressed black-and-white image D3.
  • the storage unit M stores the compressed color image D5 compressed by combining the extraction information D4 including the black-and-white partial image BW in the region of the compressed color image D2 that is not the target of compression. Since the compressed color image D5 has a small data size, the image data can be recorded in the storage unit M for a long time. Further, since the image quality of the black-and-white partial image BW does not deteriorate due to the compression / decompression processing, the black-and-white partial image can be placed on the compressed color image to reproduce an image in which a specific area is clear.
  • the compression method in the second compression unit 23 may be lossy compression with a low compression rate instead of lossless compression.
  • the reproduction unit 33 may perform distortion correction processing or the like when reproducing an image on the display device 4.
  • the compression process by the coupling portion 25 may be omitted.
  • the combining unit 25 generates combined data in which the compressed color image D2 and the extraction information D4 are combined and stores the combined data in the storage unit M.
  • the compositing unit 32 of the image reproduction device 3 separates the combined data into the compressed color image D2 and the extraction information D4, and combines the black-and-white partial image BW with the compressed color image D2 to generate the reproduction image D6.
  • the first black-and-white image based on the R value of each pixel of the color image, the second black-and-white image based on the G value, and the third black-and-white image based on the B value are generated.
  • the compressed black-and-white image D3 may be generated by generating and synthesizing the first to third black-and-white images. As a result, the resolution of the compressed black-and-white image D3 can be improved.
  • the present invention is not limited to the above embodiment as it is, and at the implementation stage, the components can be modified and embodied within a range that does not deviate from the gist thereof.
  • various inventions can be formed by an appropriate combination of the plurality of constituent elements disclosed in the above-described embodiment. For example, some components may be removed from all the components shown in the embodiments. In addition, components across different embodiments may be combined as appropriate.
  • Image pickup device 2 Image processing device 3 Image playback device 4 Display device

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Television Signal Processing For Recording (AREA)
  • Image Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Traffic Control Systems (AREA)
  • Image Analysis (AREA)
  • Time Recorders, Dirve Recorders, Access Control (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

魚眼レンズを用いて撮影した映像を長時間記録すると共に、特定領域を鮮明に再生する。　本発明の実施形態に係る画像記録再生システムは、魚眼レンズを有し、カラー画像を生成する撮像装置と、前記カラー画像を圧縮して、圧縮カラー画像を生成する第１圧縮部と、前記カラー画像を可逆圧縮して、圧縮白黒画像を生成する第２圧縮部と、前記圧縮白黒画像から所定の対象物に対応する部分を抽出し、抽出した白黒部分画像と、抽出部分の位置情報とを含む抽出情報を生成する抽出部と、前記圧縮カラー画像と前記抽出情報とを結合して圧縮し、圧縮データを生成する結合部と、前記圧縮データを解凍し、前記位置情報に基づいて、前記圧縮カラー画像に前記白黒部分画像を合成し、再生用画像を生成する合成部と、前記再生用画像を表示装置へ転送して再生する再生部と、を備える。

Description

画像記録再生システム、画像処理装置及び画像再生装置
 　本発明は、画像記録再生システム、画像処理装置及び画像再生装置に関する。
 　車両外部の映像を記録するドライブレコーダを搭載する車両が増えている。ドライブレコーダによる映像は、例えば車両事故の原因究明に役立っている。
 　従来のドライブレコーダは、衝突等のイベント発生の前後数十秒間の映像を記録するものが主流であったが、記録媒体の高容量化に伴い、常時録画機能を有するものが増えている。例えば、車両の走行中、常時連続して録画するドライブレコーダは、衝突等のイベント発生時の映像を確実に記録する反面、大容量のメモリを必要とする。
 　メモリの記憶容量が一杯になる度に別のメモリカードに入れ替えるのは手間がかかる。そのため、常時録画機能を有するドライブレコーダは、メモリの容量が一杯になると、古い映像を消去して現在の映像を上書き保存していた。このような手法では、保存が必要な映像が上書き消去される可能性があった。長時間録画するためには、画像を高倍率で圧縮する必要があるが、高倍率で圧縮された画像は、画質が劣化する。
 　近年、車両周囲の広範囲を撮影するために、魚眼レンズを取り付けた車載カメラが使用されている。魚眼レンズを用いて撮影した画像は、車両近傍はきれいに見えるが、車両から遠くなるほど歪みが大きくなる。例えば、車両から離れた位置で事故を起こした車両のナンバープレートを確認するためには、画像を高画質で記録しておく必要がある。しかし、メモリ容量には限界があり、高画質の画像を長時間録画することは困難であった。
特開２００４－１２０３４１号公報 特開２００２－３５４４８７号公報 特開２０１６－２８３３２号公報
 　本発明は、魚眼レンズを用いて撮影した映像を長時間記録すると共に、特定領域を鮮明に再生できる画像記録再生システム、画像処理装置及び画像再生装置を提供することを目的とする。
 　本発明の画像記録再生システムは、魚眼レンズを有し、カラー画像を生成する撮像装置と、前記カラー画像を圧縮して、圧縮カラー画像を生成する第１圧縮部と、前記カラー画像を可逆圧縮して、圧縮白黒画像を生成する第２圧縮部と、前記圧縮白黒画像から所定の対象物に対応する部分を抽出し、抽出した白黒部分画像と、抽出部分の位置情報とを含む抽出情報を生成する抽出部と、前記圧縮カラー画像と前記抽出情報とを結合して、結合データを生成する結合部と、前記結合データ内の抽出情報に含まれる前記位置情報に基づいて、前記圧縮カラー画像に前記白黒部分画像を合成し、再生用画像を生成する合成部と、前記再生用画像を表示装置へ転送して再生する再生部と、を備えるものである。
 　本発明の一態様では、前記第１圧縮部は、非可逆圧縮処理により前記圧縮カラー画像を生成する
 　本発明の一態様では、前記第１圧縮部による圧縮率は、前記第２圧縮部による圧縮率よりも高い。
 　本発明の一態様では、前記結合部は、前記結合データを圧縮して圧縮データを生成し、前記合成部は、前記圧縮データを解凍した後、前記再生用画像を生成する。
 　本発明の一態様では、前記結合部は、圧縮対象としない領域に前記抽出情報を結合する。
 　本発明の一態様では、前記撮像装置は車両に搭載され、前記抽出部は、ナンバープレート、人物の顔、又は所定の色で囲まれた部分を抽出する。
 　本発明の画像処理装置は、魚眼レンズを有する撮像装置が生成したカラー画像を取得する画像取得部と、前記カラー画像を圧縮して、圧縮カラー画像を生成する第１圧縮部と、前記カラー画像を可逆圧縮して、圧縮白黒画像を生成する第２圧縮部と、前記圧縮白黒画像から所定の対象物に対応する部分を抽出し、抽出した白黒部分画像と、抽出部分の位置情報とを含む抽出情報を生成する抽出部と、前記圧縮カラー画像と前記抽出情報とを結合して、結合データを生成する結合部と、前記結合データを格納する記憶部と、を備えるものである。
 　本発明の画像再生装置は、本発明の画像処理装置の前記記憶部に格納されている前記結合データの入力を受け付ける画像入力部と、前記結合データ内の前記抽出情報に含まれる前記位置情報に基づいて、前記圧縮カラー画像に前記白黒部分画像を合成し、再生用画像を生成する合成部と、前記再生用画像を表示装置へ転送して再生する再生部と、を備えるものである。
 　本発明によれば、魚眼レンズを用いて撮影した映像を長時間記録すると共に、特定領域を鮮明に再生できる。
実施の形態に係る画像記録再生システムの機能ブロック図である。 画像圧縮処理を説明する図である。 画像再生処理を説明する図である。
 　以下、図面を参照して実施の形態について説明する。
 　図１に示すように、本発明の実施形態に係る画像記録再生システムは、撮像装置１、画像処理装置２、画像再生装置３、及び表示装置４を備える。以下、画像記録再生システムを、車両の周囲を撮影し、映像を記録するドライブレコーダに適用する場合について説明する。
 　撮像装置１は、魚眼レンズ（広角レンズ）と、ＣＣＤ（Charge-Coupled　Device）やＣＭＯＳ（Complementary　Metal-Oxide　Semiconductor）等の撮像素子とを有し、車両に搭載され、車両前方を含む周辺環境を撮像し、カラー値で表されるカラー画像を生成する。ここで、カラー値は、１つの輝度（Ｙ）と２つの色差（Ｕ、Ｖ）からなるＹＵＶ形式の色空間、３つの色相（Ｒ（赤）、Ｇ（緑）、Ｂ（青））からなるＲＧＢ形式の色空間、または、色相（Ｈ）、彩度（Ｓ）、明度（Ｂ）からなるＨＳＢ形式の色空間のいずれかで表される数値群である。
 　撮像装置１は、カラー画像を、例えば１／６０秒のフレーム毎（６０ｆｐｓ）に連続して生成する。
 　画像処理装置２は、制御部２０及び記憶部Ｍを有する。記憶部Ｍは、ハードディスクやフラッシュメモリ等である。制御部２０は、ＣＰＵ（中央処理装置）、プログラム等が格納されたＲＯＭ、ワークエリアとしてのＲＡＭ等を含む。ＣＰＵがプログラムを実行することで、画像取得部２１、第１圧縮部２２、第２圧縮部２３、抽出部２４、及び結合部２５の機能が実現される。
 　画像取得部２１は、撮像装置１からカラー画像を取得する。
 　第１圧縮部２２は、圧縮率の高い不可逆圧縮（非可逆圧縮）を行うものであり、図２に示すように、撮像装置１が生成したカラー画像Ｄ１を圧縮し、圧縮カラー画像Ｄ２を生成する。圧縮率の高い不可逆圧縮としては、例えばＪＰＥＧ（Joint　Photographic　Experts　Group）が挙げられる。ＪＰＥＧでは、画像を固定サイズ（８×８画素）のブロックに分割し、そのブロック単位で、ＤＣＴ（離散コサイン変換）を用いて、空間領域から周波数領域へ変換する。変換されたデータは、量子化によって情報量を落としてから、ハフマン符号によるエントロピー符号化がなされ圧縮が行われる。エントロピー符号化は、データの生起確率の高低に応じて異なる長さの符号を割り当て、圧縮を行うものである。
 　第２圧縮部２３は、第１圧縮部２２よりも圧縮率の低い可逆圧縮を行うものであり、撮像装置１が生成したカラー画像Ｄ１を圧縮し、圧縮白黒画像Ｄ３を生成する。第２圧縮部２３による圧縮形式としては、ＴＩＦＦ、ＰＮＧ、ＧＩＦ、ＰＳＤ、ＴＧＡなどが挙げられる。可逆圧縮は、圧縮前のデータと、圧縮・展開の処理を経たデータが完全に等しくなるデータ圧縮方法であり、圧縮によって画質が劣化しないものである。
 　抽出部２４は、圧縮白黒画像から、鮮明化したい特定領域を切り出して抽出する。特定領域は、例えば、ナンバープレート、人物の顔、標識などの特定の色で囲まれた部分等である。公知の画像認識技術により、圧縮白黒画像内に特定領域に相当する対象が含まれているか否か判定できる。図２に示すように、抽出部２４は、圧縮白黒画像Ｄ３から抽出した白黒部分画像ＢＷ及び抽出部分の位置情報を含む抽出情報Ｄ４を出力する。
 　結合部２５は、圧縮カラー画像Ｄ２の圧縮対象としない領域に、抽出情報Ｄ４を結合して圧縮し、圧縮カラー画像Ｄ５（圧縮データ）を作成する。圧縮カラー画像Ｄ５は、記憶部Ｍに格納される。
 　上述したように、撮像装置１は魚眼レンズを有するものであり、魚眼レンズから入射した光が、ＣＭＯＳ等の撮像素子で受光される領域は円形になる。一方、撮像素子は矩形であるため、図２に示すように、カラー画像Ｄ１の周縁部分Ｐは情報を持っておらず、圧縮対象とならない。結合部２５は、この周縁部分に、抽出情報を貼り付ける。例えば、ＪＰＥＧファイルの圧縮対象としない領域に、白黒ＴＩＦＦデータ及び位置情報を貼り付けて、１つのＪＰＥＧファイルにする。
 　上述した画像取得部２１、第１圧縮部２２、第２圧縮部２３、抽出部２４、及び結合部２５の処理は、撮像装置１がカラー画像を生成する度に（フレーム毎に）実行される。
 　画像再生装置３は、画像入力部３１、合成部３２及び再生部３３を有する。ＣＰＵが再生プログラムを実行することで、画像入力部３１、合成部３２及び再生部３３の機能が実現される。画像再生装置３は、画像処理装置２と一体となりドライブレコーダに設けられていてもよいし、画像処理装置２とは別の再生専用の装置であってもよい。
 　画像入力部３１は、記憶部Ｍに格納されている圧縮カラー画像Ｄ５の入力を受け付ける。画像処理装置２と画像再生装置３とが一体となっている場合は、記憶部Ｍから圧縮カラー画像Ｄ５を取り出す。画像処理装置２と画像再生装置３とが別体の場合は、例えば、メモリカード等に圧縮カラー画像Ｄ５を格納し、画像再生装置３に取り込む。画像処理装置２が無線通信機能を有する場合は、画像処理装置２から画像再生装置３へ圧縮カラー画像Ｄ５を転送してもよい。
 　合成部３２は、圧縮カラー画像Ｄ５を解凍し、抽出情報Ｄ４に含まれる位置情報に基づいて、白黒部分画像ＢＷを圧縮カラー画像Ｄ２上に合成し、再生用の画像Ｄ６を生成する。例えば、白黒部分画像ＢＷの白部分は除去し、黒部分のみを圧縮カラー画像Ｄ２上に合成する。
 　再生部３３は、画像Ｄ６を液晶ディスプレイ等の表示装置４へ転送し、再生する。
 　画像Ｄ６は、大半は画質を落としたカラー画像となっているが、特定領域は高画質の白黒画像（黒部分）が貼り付けられている。そのため、ナンバープレート等の重要な部分が鮮明化された画像を再生できる。
 　このように、本実施形態によれば、カラー画像Ｄ１を圧縮率の高い不可逆圧縮で圧縮して圧縮カラー画像Ｄ２を生成する。また、カラー画像Ｄ１を可逆圧縮して圧縮白黒画像Ｄ３を生成し、圧縮白黒画像Ｄ３から特定領域の白黒部分画像ＢＷを抽出する。記憶部Ｍには、圧縮カラー画像Ｄ２の圧縮対象としない領域に、白黒部分画像ＢＷを含む抽出情報Ｄ４を結合して圧縮した圧縮カラー画像Ｄ５を格納する。圧縮カラー画像Ｄ５はデータサイズが小さいため、記憶部Ｍに画像データを長時間記録できる。また、圧縮・解凍処理により白黒部分画像ＢＷは画質が劣化しないため、圧縮カラー画像に白黒部分画像をのせることで、特定領域が鮮明化された映像を再生できる。
 　上記実施形態において、第２圧縮部２３における圧縮方式は可逆圧縮でなく、圧縮率の低い非可逆圧縮であってもよい。
 　再生部３３は、表示装置４での画像再生にあたり、歪み補正処理などを行ってもよい。
 　上記実施形態では、画像記録再生システムをドライブレコーダに適用する例について説明したが、その他の用途にも適用できる。例えば、食品加工工場や厨房等で、作業員や作業の様子を撮影し、作業員の顔や、作業を行っている手元部分を特定領域として抽出してもよい。これにより、作業員の認証や行動把握を精度良く実施できる。
 　上記実施形態において、結合部２５による圧縮処理を省略してもよい。この場合、結合部２５は、圧縮カラー画像Ｄ２と抽出情報Ｄ４とを結合した結合データを生成し、記憶部Ｍに格納する。画像再生装置３の合成部３２は、結合データを圧縮カラー画像Ｄ２と抽出情報Ｄ４とに分離し、白黒部分画像ＢＷを圧縮カラー画像Ｄ２に合成して再生用画像Ｄ６を生成する。
 　上記実施形態においてカラー画像Ｄ１から圧縮白黒画像Ｄ３を生成するにあたり、カラー画像の各画素のＲ値に基づく第１白黒画像、Ｇ値に基づく第２白黒画像、Ｂ値に基づく第３白黒画像を生成し、第１～第３白黒画像を合成して圧縮白黒画像Ｄ３を生成してもよい。これにより、圧縮白黒画像Ｄ３の解像度が向上し得る。
 　なお、本発明は上記実施形態そのままに限定されるものではなく、実施段階ではその要旨を逸脱しない範囲で構成要素を変形して具体化できる。また、上記実施形態に開示されている複数の構成要素の適宜な組み合わせにより、種々の発明を形成できる。例えば、実施形態に示される全構成要素から幾つかの構成要素を削除してもよい。さらに、異なる実施形態にわたる構成要素を適宜組み合わせてもよい。
 １　撮像装置
 ２　画像処理装置
 ３　画像再生装置
 ４　表示装置

 

Claims (8)

  1.  　魚眼レンズを有し、カラー画像を生成する撮像装置と、
     　前記カラー画像を圧縮して、圧縮カラー画像を生成する第１圧縮部と、
     　前記カラー画像を可逆圧縮して、圧縮白黒画像を生成する第２圧縮部と、
     　前記圧縮白黒画像から所定の対象物に対応する部分を抽出し、抽出した白黒部分画像と、抽出部分の位置情報とを含む抽出情報を生成する抽出部と、
     　前記圧縮カラー画像と前記抽出情報とを結合して、結合データを生成する結合部と、
     　前記結合データ内の抽出情報に含まれる前記位置情報に基づいて、前記圧縮カラー画像に前記白黒部分画像を合成し、再生用画像を生成する合成部と、
     　前記再生用画像を表示装置へ転送して再生する再生部と、
     　を備える画像記録再生システム。
  2.  　前記第１圧縮部は、非可逆圧縮処理により前記圧縮カラー画像を生成することを特徴とする請求項１に記載の画像記録再生システム。
  3.  　前記第１圧縮部による圧縮率は、前記第２圧縮部による圧縮率よりも高いことを特徴とする請求項１又は２に記載の画像記録再生システム。
  4.  　前記結合部は、前記結合データを圧縮して圧縮データを生成し、
     　前記合成部は、前記圧縮データを解凍した後、前記再生用画像を生成することを特徴とする請求項１乃至３のいずれか１項に記載の画像記録再生システム。
  5.  　前記結合部は、圧縮対象としない領域に前記抽出情報を結合することを特徴とする請求項４に記載の画像記録再生システム。
  6.  　前記撮像装置は車両に搭載され、
     　前記抽出部は、ナンバープレート、人物の顔、又は所定の色で囲まれた部分を抽出することを特徴とする請求項１乃至５のいずれか１項に記載の画像記録再生システム。
  7.  　魚眼レンズを有する撮像装置が生成したカラー画像を取得する画像取得部と、
     　前記カラー画像を圧縮して、圧縮カラー画像を生成する第１圧縮部と、
     　前記カラー画像を可逆圧縮して、圧縮白黒画像を生成する第２圧縮部と、
     　前記圧縮白黒画像から所定の対象物に対応する部分を抽出し、抽出した白黒部分画像と、抽出部分の位置情報とを含む抽出情報を生成する抽出部と、
     　前記圧縮カラー画像と前記抽出情報とを結合して、結合データを生成する結合部と、
     　前記結合データを格納する記憶部と、
     　を備える画像処理装置。
  8.  　請求項７に記載の画像処理装置の前記記憶部に格納されている前記結合データの入力を受け付ける画像入力部と、
     　前記結合データ内の前記抽出情報に含まれる前記位置情報に基づいて、前記圧縮カラー画像に前記白黒部分画像を合成し、再生用画像を生成する合成部と、
     　前記再生用画像を表示装置へ転送して再生する再生部と、
     　を備える画像再生装置。

     
PCT/JP2020/014721 2019-03-29 2020-03-30 画像記録再生システム、画像処理装置及び画像再生装置 WO2020204017A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019-067578 2019-03-29
JP2019067578A JP2020167566A (ja) 2019-03-29 2019-03-29 画像記録再生システム、画像処理装置及び画像再生装置

Publications (1)

Publication Number Publication Date
WO2020204017A1 true WO2020204017A1 (ja) 2020-10-08

Family

ID=72668294

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/014721 WO2020204017A1 (ja) 2019-03-29 2020-03-30 画像記録再生システム、画像処理装置及び画像再生装置

Country Status (2)

Country Link
JP (1) JP2020167566A (ja)
WO (1) WO2020204017A1 (ja)

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704434B1 (en) * 1999-01-27 2004-03-09 Suzuki Motor Corporation Vehicle driving information storage apparatus and vehicle driving information storage method
US20090207248A1 (en) * 2008-02-15 2009-08-20 Andrew Cilia System and method for high-resolution storage of images
US20090251530A1 (en) * 2008-01-29 2009-10-08 Andrew Cilia Omnidirectional camera for use in police car event recording
WO2010095206A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 画像圧縮装置、画像圧縮方法および車載画像記録装置

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6704434B1 (en) * 1999-01-27 2004-03-09 Suzuki Motor Corporation Vehicle driving information storage apparatus and vehicle driving information storage method
US20090251530A1 (en) * 2008-01-29 2009-10-08 Andrew Cilia Omnidirectional camera for use in police car event recording
US20090207248A1 (en) * 2008-02-15 2009-08-20 Andrew Cilia System and method for high-resolution storage of images
WO2010095206A1 (ja) * 2009-02-20 2010-08-26 パナソニック株式会社 画像圧縮装置、画像圧縮方法および車載画像記録装置

Also Published As

Publication number Publication date
JP2020167566A (ja) 2020-10-08

Similar Documents

Publication Publication Date Title
US9560256B2 (en) Image capture apparatus and image capture method in which an image is processed by a plurality of image processing devices
US8350920B2 (en) Image capturing apparatus, image capturing method, image processing apparatus, image processing method, and program capable of hiding desired character information and restoring the hidden character information
USRE42978E1 (en) Image capturing device
US8009924B2 (en) Method and apparatus for recording image data
US9918062B2 (en) Image capturing apparatus, control method of image capturing apparatus, and image processing method
JPH10271530A (ja) 画像データ圧縮符号化装置およびその方法ならびにディジタルカメラ
CN107079131B (zh) 图像处理设备和图像处理方法
KR20020068272A (ko) 화상 처리 방법과, 이 방법을 이용가능한 화상 부호화장치 및 화상 복호 장치
JP2009171060A (ja) 画像処理装置およびその制御方法
US8472517B2 (en) Systems and methods for reducing the total number of bits required to be transferred over a communications link for an image
WO2020204017A1 (ja) 画像記録再生システム、画像処理装置及び画像再生装置
CN107079130B (zh) 图像处理设备和图像处理方法
JP2010021710A (ja) 撮像装置、画像処理装置およびプログラム
US11823422B2 (en) Image processing apparatus, control method of the same, and storage medium
KR101022470B1 (ko) 영상신호를 기록 및 재생할 수 있는 디지털 카메라
JP5407651B2 (ja) 画像処理装置、画像処理プログラム
JP2020123864A (ja) 画像符号化装置
JP5131954B2 (ja) ビデオレコーダ並びにカメラシステム
JP7289642B2 (ja) 画像処理装置、画像処理装置の制御方法、及びプログラム
JP4952409B2 (ja) 画像圧縮装置及びプログラム
JP3343861B2 (ja) ディジタル電子スチル・カメラおよびその動作方法
US20050200914A1 (en) Digital camera and image recording method
JP4246240B2 (ja) 撮像装置及び撮像プログラム
JP2732941B2 (ja) 画像信号処理装置
JP2011239240A (ja) 撮像装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20783645

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20783645

Country of ref document: EP

Kind code of ref document: A1