JP7070082B2 - 車載カメラ - Google Patents

車載カメラ Download PDF

Info

Publication number
JP7070082B2
JP7070082B2 JP2018096484A JP2018096484A JP7070082B2 JP 7070082 B2 JP7070082 B2 JP 7070082B2 JP 2018096484 A JP2018096484 A JP 2018096484A JP 2018096484 A JP2018096484 A JP 2018096484A JP 7070082 B2 JP7070082 B2 JP 7070082B2
Authority
JP
Japan
Prior art keywords
unit
image
vehicle
mosaic
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018096484A
Other languages
English (en)
Other versions
JP2019200728A (ja
Inventor
貴之 木村
俊和 村尾
禅 越坂
哲也 木全
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Denso Corp
Original Assignee
Denso Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Denso Corp filed Critical Denso Corp
Priority to JP2018096484A priority Critical patent/JP7070082B2/ja
Priority to DE102019207315.8A priority patent/DE102019207315A1/de
Priority to US16/416,562 priority patent/US11120527B2/en
Priority to CN201910419746.9A priority patent/CN110497852A/zh
Publication of JP2019200728A publication Critical patent/JP2019200728A/ja
Application granted granted Critical
Publication of JP7070082B2 publication Critical patent/JP7070082B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • G06T5/73
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/002D [Two Dimensional] image generation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformation in the plane of the image
    • G06T3/40Scaling the whole image or part thereof
    • G06T3/4038Scaling the whole image or part thereof for image mosaicing, i.e. plane images composed of plane sub-images
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00Arrangements for image or video recognition or understanding
    • G06V10/20Image preprocessing
    • G06V10/25Determination of region of interest [ROI] or a volume of interest [VOI]
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161Detection; Localisation; Normalisation
    • GPHYSICS
    • G07CHECKING-DEVICES
    • G07CTIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00Registering or indicating the working of vehicles
    • G07C5/08Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841Registering performance data
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/54Mounting of pick-up tubes, electronic image sensors, deviation or focusing coils
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2200/00Indexing scheme for image data processing or generation, in general
    • G06T2200/32Indexing scheme for image data processing or generation, in general involving image mosaicing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/30Subject of image; Context of image processing
    • G06T2207/30248Vehicle exterior or interior

Description

本開示は車載カメラに関する。
ドライブレコーダは車両に搭載される。ドライブレコーダは、カメラを用いて車両の周囲を撮影し、画像を生成する。ドライブレコーダは生成した画像を記憶する。ドライブレコーダは特許文献1に開示されている。また、車両制御の処理を行うために、車載カメラが車両に搭載されることがある。
特開2011-232858号公報
ドライブレコーダが生成した画像をそのまま記憶すると、プライバシーの問題が生じる可能性がある。また、ドライブレコーダ用のカメラと、車両制御のための車載カメラとの両方を車両に搭載すると、大きな搭載スペースが必要になる。
本開示は、車両の周囲を表す画像を生成する機能及び車両制御の機能を備え、生成する画像の一部にモザイクをかけることができる車載カメラを提供する。
本開示の一局面は、車両(2)の周囲を撮影し、画像(59、60)を生成するように構成された画像生成ユニット(17)と、前記画像生成ユニットが生成した前記画像(59)において物標(61、71)を認識するように構成された物標認識ユニット(27)と、前記物標認識ユニットが認識した前記物標における特定の領域(63、73)を認識するように構成された領域認識ユニット(29)と、前記物標認識ユニットが認識した前記物標に応じて車両制御を行うように構成された車両制御ユニット(33)と、前記画像生成ユニットが生成した前記画像(60)において、前記領域認識ユニットが認識した前記特定の領域にモザイクをかけるように構成されたモザイクユニット(31)と、前記モザイクユニットが前記モザイクをかけた前記画像を外部に出力するように構成された出力ユニット(43)と、を備える車載カメラ(1)である。
本開示の一局面である車載カメラは、車両の周囲を撮影し、画像を生成する。本開示の一局面である車載カメラは、生成した画像における特定の領域にモザイクをかけ、モザイクをかけた画像を出力する。また、本開示の一局面である車載カメラは、生成した画像において物標を認識し、認識した物標に応じて車両制御を行う。
そのため、本開示の一局面である車載カメラは、ドライブレコーダ用のカメラと、車両制御のための車載カメラとの両方を備える場合に比べて、搭載スペースを抑制できる。
また、本開示の一局面である車載カメラは、生成した画像のうち、特定の領域にモザイクをかけるので、特定の領域に関するプライバシーを保護することができる。
なお、この欄及び特許請求の範囲に記載した括弧内の符号は、一つの態様として後述する実施形態に記載の具体的手段との対応関係を示すものであって、本開示の技術的範囲を限定するものではない。
車載カメラ1の構成を表すブロック図である。 制御部5の機能的構成を表すブロック図である。 車載カメラ1が実行する処理の全体を表すフローチャートである。 車載カメラ1が実行する認識用画像処理を表すフローチャートである。 車載カメラ1が実行するドラレコ用画像処理を表すフローチャートである。 認識用画像59と、認識した歩行者61と、歩行者の顔の領域63と、モザイク領域65とを表す説明図である。 ドラレコ用画像60と、補正前のモザイク領域65と、歩行者の顔の領域63と、補正後のモザイク領域69と、を表す説明図である。 認識用画像59と、認識した他の車両71と、ナンバープレートの領域73と、を表す説明図である。
本開示の例示的な実施形態について図面を参照しながら説明する。
<第1実施形態>
1.車載カメラ1の構成
車載カメラ1の構成を図1及び図2に基づき説明する。車載カメラ1は車両2に搭載されている。車載カメラ1は、単眼カメラであってもよいし、ステレオカメラであってもよい。
図1に示すように、車載カメラ1は、撮像部3と、制御部5と、無線機7と、記憶媒体9と、出力ポート11と、筐体12と、を備える。撮像部3は、イメージャとレンズとを備える。イメージャは画像を生成可能な素子を備える。撮像部3は、車両2の前方を撮影し、画像を生成する。車両2の前方は車両2の周囲に対応する。
制御部5は、CPU13と、例えば、RAM又はROM等の半導体メモリ(以下、メモリ15とする)と、を有するマイクロコンピュータを備える。CPU13は演算装置に対応する。CPU13はメモリ15と通信可能に接続されている。制御部5の各機能は、CPU13が非遷移的実体的記録媒体に格納されたプログラムを実行することにより実現される。この例では、メモリ15が、プログラムを格納した非遷移的実体的記録媒体に該当する。また、このプログラムが実行されることで、プログラムに対応する方法が実行される。なお、制御部5は、1つのマイクロコンピュータを備えてもよいし、複数のマイクロコンピュータを備えてもよい。
制御部5は、図2に示すように、画像生成ユニット17と、車速推定ユニット19と、ピッチング量算出ユニット21と、画像記憶ユニット23と、画像補正ユニット25と、物標認識ユニット27と、領域認識ユニット29と、モザイクユニット31と、車両制御ユニット33と、画像読み出しユニット35と、車両位置取得ユニット37と、車両位置判断ユニット39と、画像保存ユニット41と、出力ユニット43と、画像圧縮ユニット45と、を備える。
制御部5に含まれる各部の機能を実現する手法はソフトウェアに限るものではなく、その一部又は全部の機能は、一つあるいは複数のハードウェアを用いて実現されてもよい。例えば、上記機能がハードウェアである電子回路によって実現される場合、その電子回路は、デジタル回路、又はアナログ回路、あるいはこれらの組合せによって実現されてもよい。
無線機7は、例えば、車両2の外部に存在する記憶装置8との間で無線通信を行うことができる。記憶装置8は画像を記憶可能な装置である。無線通信の形式として、例えば、Wifi(登録商標)、Bluetooth(登録商標)等が挙げられる。記憶装置8は、例えば、ユーザが携帯可能な端末である。記憶媒体9は画像を記憶することができる。出力ポート11は、車載カメラ1と車載ネットワーク47とを接続する。出力ポート11におけるインターフェースの形式は、例えば、USB、LDVS、又はイーサネット(登録商標)である。
筐体12は、撮像部3、制御部5、無線機7、及び記憶媒体9を収容している。出力ポート11は筐体12に設けられている。筐体12は、撮像部3が、車両2の周囲を撮影可能となる位置に配置されている。
車両2は、車載カメラ1に加えて、車載ネットワーク47、レコーダ49、Gセンサ51、車速センサ53、GPS55、及び車両制御部57を備える。レコーダ49は外部装置に対応する。
車載ネットワーク47は、車載カメラ1と、車両2が備える他の機器とを接続している。他の機器には、上述したレコーダ49、Gセンサ51、車速センサ53、GPS55、及び車両制御部57が含まれる。レコーダ49は後述するドラレコ用画像を記憶する。Gセンサ51は車両の3軸方向における加速度を検出する。車速センサ53は車両2の車速を検出する。GPS55は車両2の位置を検出する。車両制御部57は車両制御を実行する。車両制御として、例えば、減速、停止、加速、操舵、警報出力等が挙げられる。
2.車載カメラ1が実行する処理
車載カメラ1が所定時間ごとに繰り返し実行する処理を図3~図7に基づき説明する。図3のステップ1では、画像生成ユニット17が、撮像部3を用いて画像を生成する。撮像部3が画像を生成するときの露光時間は1μs~100msである。撮像部3が画像を生成するフレームレートは10fps~60fpsである。
ステップ2では、車速推定ユニット19が、車速センサ53を用いて、車両2の車速を推定する。推定した車速は、直前の前記ステップ1で画像を生成したときの車両2の車速である。
ステップ3では、ピッチング量算出ユニット21が、Gセンサ51を用いて、車両2のピッチング量を算出する。算出したピッチング量は、直前の前記ステップ1で画像を生成したときの車両2のピッチング量である。
ステップ4では、現時点が認識用画像を記憶するタイミングに該当するか否かを画像記憶ユニット23が判断する。認識用画像とは、前記ステップ1で生成した画像のうち、後述する認識用画像処理に使用される画像である。認識用画像を記憶するタイミングとは、認識用画像を前回記憶してから、所定の周期T1が経過したタイミングである。現時点が認識用画像を記憶するタイミングに該当すると判断した場合、本処理はステップ5に進み、現時点が認識用画像を記憶するタイミングに該当しないと判断した場合、本処理はステップ8に進む。
ステップ5では、直前の前記ステップ1で生成した画像に対し、画像補正ユニット25が、レンズ歪を抑制する画像補正を行う。レンズ歪とは、撮像部3が備えるレンズの歪である。なお、レンズ歪みに関する情報は既知であり、予めメモリ15に記憶されている。
ステップ6では、画像記憶ユニット23が、直前の前記ステップ1で生成した画像を認識用画像とする。そして、画像記憶ユニット23は、認識用画像をメモリ15に記憶する。また、画像記憶ユニット23は、前記ステップ2で推定した車速と、前記ステップ3で算出したピッチング量と、前記ステップ1で認識用画像を生成した時刻とを、認識用画像と関連付けてメモリ15に記憶する。
ステップ7では、車載カメラ1が認識用画像処理を実行する。この認識用画像処理を、図4に基づき説明する。
ステップ11では、画像読み出しユニット35が、直前の前記ステップ6で記憶された認識用画像をメモリ15から読み出す。
ステップ12では、物標認識ユニット27が、前記ステップ11で読み出した認識用画像において歩行者を認識する。歩行者は物標に対応する。歩行者の認識には、周知の画像認識技術を用いることができる。例えば、図6に示すように、物標認識ユニット27は、認識用画像59において、歩行者61を認識する。
ステップ13では、領域認識ユニット29が、前記ステップ12で認識した歩行者における顔の領域を認識する。顔の領域は特定の領域に対応する。例えば、図6に示すように、領域認識ユニット29は、歩行者61における顔の領域63を認識する。
ステップ14では、モザイクユニット31が、前記ステップ11で読み出した認識用画像に関連付けられたピッチング量をメモリ15から読み出す。
ステップ15では、モザイクユニット31が、前記ステップ14で読み出したピッチング量を用い、前記ステップ13で認識した顔の領域の位置を、ピッチング量が0である場合の位置に補正する。モザイクユニット31は、補正後の顔の領域を、モザイク領域とする。例えば、図6に示すように、モザイクユニット31は、モザイク領域65を算出する。
ステップ16では、モザイクユニット31が、前記ステップ15で算出したモザイク領域の位置、大きさ、及び形状を表す情報(以下ではモザイク情報とする)を、モザイク領域の算出に使用した認識用画像と関連付けてメモリ15に記憶する。
ステップ17では、前記ステップ12で認識した歩行者に応じて車両制御を行う必要があるか否かを車両制御ユニット33が判断する。車両制御を行う必要がある場合として、例えば、歩行者が車両2の前方に位置し、歩行者と車両2との距離が所定の閾値以下である場合等が挙げられる。車両制御を行う必要があると判断した場合、本処理はステップ18に進み、車両制御を行う必要がないと判断した場合、本処理は終了する。
ステップ18では、車両制御ユニット33が車両制御信号を出力する。車両制御信号とは、車両制御部57に対し、車両制御の実行を指示する信号である。車両制御として、例えば、車両2を減速する、車両2を停止する、歩行者を避ける方向に操舵する、警報を出力する等の制御が挙げられる。
ステップ19では、車両制御ユニット33が、前記ステップ18で車両制御信号を出力した履歴を、車両制御に用いられた認識用画像と関連付けてメモリ15に記憶する。
図3に戻り、ステップ8では、現時点がドライブレコーダ用画像(以下ではドラレコ用画像とする)を記憶するタイミングに該当するか否かを画像記憶ユニット23が判断する。ドラレコ用画像とは、前記ステップ1で生成した画像のうち、後述するドラレコ用画像処理に使用される画像である。ドラレコ用画像を記憶するタイミングとは、ドラレコ用画像を前回記憶してから、所定の周期T2が経過したタイミングである。現時点がドラレコ用画像を記憶するタイミングに該当すると判断した場合、本処理はステップ9に進み、現時点がドラレコ用画像を記憶するタイミングに該当しないと判断した場合、本処理は終了する。
ステップ9では、画像記憶ユニット23が、直前の前記ステップ1で生成した画像をドラレコ用画像とする。そして、画像記憶ユニット23は、ドラレコ用画像をメモリ15に記憶する。また、画像記憶ユニット23は、前記ステップ1でドラレコ用画像を生成した時刻を、ドラレコ用画像と関連付けてメモリ15に記憶する。
なお、前記ステップ1で生成した画像の少なくとも一部は、認識用画像であるとともに、ドラレコ用画像であってもよい。また、前記ステップ1で生成した任意の画像は、認識用画像及びドラレコ用画像のうちの一方のみであってもよい。
ステップ10では、車載カメラ1がドラレコ用画像処理を実行する。このドラレコ用画像処理を、図5に基づき説明する。
図5のステップ21では、画像読み出しユニット35が、直前の前記ステップ9で記憶されたドラレコ用画像をメモリ15から読み出す。
ステップ22では、車両位置取得ユニット37が、GPS55を用いて、現時点における車両2の位置を取得する。
ステップ23では、前記ステップ22で取得した車両2の位置が、予め設定された特定の区域の中にあるか否かを車両位置判断ユニット39が判断する。なお、特定の区域は、予めメモリ15に記憶されている。車両2の位置が特定の区域の中にあると判断した場合、本処理はステップ24に進み、車両2の位置が特定の区域の中にないと判断した場合、本処理はステップ25に進む。
ステップ24では、モザイクユニット31が、ドラレコ用画像の全体にモザイクをかける。このモザイクは、暗号キーを用いて復号可能なモザイクである。暗号キーは、複数ビット長の固有又は非固有の暗号キーである。なお、モザイクにおける暗号の方式を示す情報が予めメモリ15に記憶されている。ステップ24の終了後、本処理はステップ31に進む。
ステップ25では、モザイクユニット31が参照画像を特定し、メモリ15から読み出す。参照画像とは、認識用画像のうち、最も新しく生成されたものである。
ステップ26では、前記ステップ25で読み出した参照画像に関連付けられたモザイク情報を、モザイクユニット31がメモリ15から読み出す。
ステップ27では、前記ステップ26で読み出したモザイク情報により表されるモザイク領域の位置及び大きさを、モザイクユニット31が補正する。この補正について以下に説明する。
モザイク情報により表されるモザイク領域の位置及び大きさは、レンズ歪を抑制する画像補正が行われた認識用画像から算出される。ドラレコ用画像には、レンズ歪を抑制する画像補正が行われない。仮に、モザイク情報により表されるモザイク領域の位置及び大きさを、ドラレコ用画像60にそのまま適用すれば、図7に示すように、モザイク領域65と、歩行者の顔の領域63とのずれが大きくなってしまう。
モザイクユニット31は、図7に示すように、ドラレコ用画像60において、補正後のモザイク領域69が歩行者の顔の領域63と一致するように、モザイク領域65の位置及び大きさを補正する。上述したように、レンズ歪みに関する情報は既知であり、予めメモリ15に記憶されている。モザイクユニット31は、レンズ歪みに関する情報に基づき、モザイク領域65の位置及び大きさを補正することができる。
ステップ28では、前記ステップ27で補正したモザイク領域の位置及び大きさを、モザイクユニット31がさらに補正する。車両2が走行中であると、ドラレコ用画像を生成したときの車両2の位置は、参照画像を生成したときの車両2の位置から、移動距離Dだけ変化している。仮に、移動距離Dの影響を考慮しないモザイク領域の位置及び大きさを、ドラレコ用画像にそのまま適用すれば、モザイク領域と、歩行者の顔の領域とのずれが大きくなってしまう。
モザイクユニット31は、まず、ドラレコ用画像の生成時刻と、参照画像の生成時刻とを、それぞれ、メモリ15から読み出す。次に、モザイクユニット31は、参照画像の生成時刻から、ドラレコ用画像の生成時刻までの時間差ΔTを算出する。次に、モザイクユニット31は、参照画像を生成したときの車両2の車速Vをメモリ15から読み出す。次に、モザイクユニット31は、時間差ΔTと、車速Vとを乗算することで、移動距離Dを算出する。次に、モザイクユニット31は、ドラレコ用画像において、補正後のモザイク領域の位置及び大きさが歩行者の顔の領域と一致するように、移動距離Dに応じて、モザイク領域の位置及び大きさを補正する。
ステップ29では、ドラレコ用画像のうち、前記ステップ27及び前記ステップ28で補正したモザイク領域に該当する領域にモザイクをかける。モザイクをかける領域は歩行者の顔の領域である。モザイクは、暗号キーを用いて復号可能なモザイクである。暗号キーは、複数ビット長の固有又は非固有の暗号キーである。なお、モザイクにおける暗号の方式を示す情報が予めメモリ15に記憶されている。
ステップ30では、前記ステップ25で読み出した参照画像に関連付けて、車両制御信号を出力した履歴が記憶されているか否かを画像保存ユニット41が判断する。車両制御信号を出力した履歴が記憶されている場合、本処理はステップ31に進み、車両制御信号を出力した履歴が記憶されていない場合、本処理はステップ32に進む。
ステップ31では、画像保存ユニット41が、前記ステップ29でモザイクをかけたドラレコ用画像を記憶媒体9に記憶する。記憶するドラレコ用画像は、車両制御に用いられた参照画像の生成直後に生成されたドラレコ用画像である。
ステップ32では、無線出力の要求があったか否かを出力ユニット43が判断する。無線出力の要求は、例えば、記憶装置8が車載カメラ1に対し行うことができる。無線出力の要求があったと判断した場合、本処理はステップ33に進み、無線出力の要求がなかったと判断した場合、本処理はステップ36に進む。
ステップ33では、画像圧縮ユニット45が、第1の圧縮条件でドラレコ用画像を圧縮する。圧縮するドラレコ用画像は、前記ステップ24又は前記ステップ29でモザイクをかけた画像である。
ステップ34では、出力ユニット43が、前記ステップ33で圧縮したドラレコ用画像を出力ポート11から出力する。出力されたドラレコ用画像は、レコーダ49に記憶される。
ステップ35では、出力ユニット43が、前記ステップ33で圧縮したドラレコ用画像を、無線機7を用いて車両2の外部に送信する。送信されたドラレコ用画像は、記憶装置8に記憶される。
ステップ36では、画像圧縮ユニット45が、第2の圧縮条件でドラレコ用画像を圧縮する。圧縮するドラレコ用画像は、前記ステップ24又は前記ステップ29でモザイクをかけた画像である。
ステップ37では、出力ユニット43が、前記ステップ36で圧縮したドラレコ用画像を出力ポート11から出力する。出力されたドラレコ用画像は、レコーダ49に記憶される。
3.車載カメラ1が奏する効果
(1A)車載カメラ1は、ドラレコ用画像を生成し、出力することができる。また、車載カメラ1は、認識用画像に基づき車両制御を行うことができる。そのため、車載カメラ1は、ドライブレコーダ用のカメラと、車両制御のための車載カメラとの両方を備える場合に比べて、搭載スペースを抑制できる。
(1B)車載カメラ1は、ドラレコ用画像のうち、歩行者の顔の領域にモザイクをかけることができる。そのため、歩行者のプライバシーを保護することができる。
(1C)車載カメラ1は、認識用画像に対しレンズ歪みを抑制する補正を行う。その後、車載カメラ1は、認識用画像においてモザイク領域を算出する。車載カメラ1は、ドラレコ用画像に対しては、レンズ歪みを抑制する補正を行わない。車載カメラ1は、ドラレコ用画像におけるモザイク領域の位置及び大きさを、レンズ歪みを抑制する補正に応じて修正する。そのため、ドラレコ用画像において、モザイク領域と歩行者の顔の領域とを一層一致させることができる。
(1D)車載カメラ1がかけるモザイクは、暗号キーを用いて復号可能である。そのため、必要に応じてモザイクを復号することができる。また、暗号キーを持たない者は、モザイクを復号することができない。
(1E)車載カメラ1は車両2のピッチング量を算出する。車載カメラ1は算出したピッチング量に応じてモザイク領域を設定する。そのため、車両2にピッチングが生じている場合でも、モザイク領域を歩行者の顔の領域に一致させることができる。
(1F)車載カメラ1は、車両2の位置を取得する。車載カメラ1は、車両2の位置が、予め設定された特定の区域の中にあるか否かを判断する。車載カメラ1は、車両2の位置が特定の区域の中にあると判断した場合、ドラレコ用画像の全体にモザイクをかける。そのことにより、車載カメラ1は、特定の区域の中に存在する物標に関するプライバシーを保護することができる。
(1G)車載カメラ1は、認識用画像を用いて車両制御を行った場合、ドラレコ用画像のうち、車両制御に用いられた認識用画像の生成直後に生成されたドラレコ用画像を記憶媒体9に保存する。そのため、車両制御を行ったときの車両2の周囲を表すドラレコ用画像を記憶媒体9に保存できる。
(1H)車載カメラ1は、ドラレコ用画像を無線通信により車両2の外部に送信することができる。そのため、ドラレコ用画像を車両2の外部において容易に記憶することができる。
(1I)車載カメラ1がドラレコ用画像を出力する出力ポート11の形式は、USB、LDVS、又はイーサネットである。そのため、車載カメラ1を、車両2における他の装置と接続することが容易である。
<他の実施形態>
以上、本開示の実施形態について説明したが、本開示は上述の実施形態に限定されることなく、種々変形して実施することができる。
(1)前記ステップ12において物標認識ユニット27が認識する物標は、歩行者以外の物標であってもよい。例えば、物標認識ユニット27は、図8に示すように、他の車両71を認識してもよい。
物標認識ユニット27が他の車両を認識した場合、前記ステップ13において、領域認識ユニット29は、例えば、ナンバープレートの領域73を認識することができる。ナンバープレートの領域73は特定の領域に対応する。また、前記ステップ15において、モザイクユニット31は、前記ステップ14で読み出したピッチング量を用い、前記ステップ13で認識したナンバープレートの領域の位置を、ピッチング量が0である場合の位置に補正する。モザイクユニット31は、補正後のナンバープレートの領域を、モザイク領域とする。
(2)レコーダ49は、車載カメラ1の一部であってもよい。
(3)前記ステップ6において認識用画像を記憶するメモリと、前記ステップ9においてドラレコ用画像を記憶するメモリとは、別のメモリであってもよい。
(4)車載カメラ1は、メモリカードのスロットを備えていてもよい。ユーザは、そのスロットにメモリカードを差し込むことができる。車載カメラ1は、スロットに差し込んだメモリカードにドラレコ用画像を記憶することができる。
(5)車載カメラ1は、車両2の前方以外を撮影するカメラであってもよい。車載カメラ1は、例えば、車両2の後方、又は側方を撮影し、画像を生成してもよい。
(6)上記実施形態における1つの構成要素が有する複数の機能を、複数の構成要素によって実現したり、1つの構成要素が有する1つの機能を、複数の構成要素によって実現したりしてもよい。また、複数の構成要素が有する複数の機能を、1つの構成要素によって実現したり、複数の構成要素によって実現される1つの機能を、1つの構成要素によって実現したりしてもよい。また、上記実施形態の構成の一部を省略してもよい。また、上記実施形態の構成の少なくとも一部を、他の上記実施形態の構成に対して付加又は置換してもよい。なお、特許請求の範囲に記載した文言から特定される技術思想に含まれるあらゆる態様が本開示の実施形態である。
(7)上述した車載カメラの他、当該車載カメラを構成要素とするシステム、当該車載カメラの制御部としてコンピュータを機能させるためのプログラム、このプログラムを記録した半導体メモリ等の非遷移的実態的記録媒体、画像生成方法、運転支援方法、モザイク処理方法等、種々の形態で本開示を実現することもできる。
1…車載カメラ、2…車両、5…制御部、11…出力ポート、17…画像生成ユニット、19…車速推定ユニット、21…ピッチング量算出ユニット、23…画像記憶ユニット、25…画像補正ユニット、27…物標認識ユニット、29…領域認識ユニット、31…モザイクユニット、33…車両制御ユニット、35…画像読み出しユニット、43…出力ユニット、49…レコーダ、57…車両制御部、59…認識用画像、60…ドラレコ用画像、61…歩行者、63…顔の領域、65…モザイク領域、69…補正後のモザイク領域

Claims (10)

  1. 車両(2)の周囲を撮影し、画像(59、60)を生成するように構成された画像生成ユニット(17)と、
    前記画像生成ユニットが生成した前記画像(59)において物標(61、71)を認識するように構成された物標認識ユニット(27)と、
    前記物標認識ユニットが認識した前記物標における特定の領域(63、73)を認識するように構成された領域認識ユニット(29)と、
    前記物標認識ユニットが認識した前記物標に応じて車両制御を行うように構成された車両制御ユニット(33)と、
    前記画像生成ユニットが生成した前記画像(60)において、前記領域認識ユニットが認識した前記特定の領域にモザイクをかけるように構成されたモザイクユニット(31)と、
    前記モザイクユニットが前記モザイクをかけた前記画像を外部に出力するように構成された出力ユニット(43)と、
    前記画像生成ユニットが生成した前記画像に対し、レンズ歪を抑制する画像補正を行うように構成された画像補正ユニット(25)と、
    を備え
    前記物標認識ユニットは、前記画像補正ユニットが前記画像補正を行った前記画像において前記物標を認識するように構成され、
    前記モザイクユニットは、前記モザイクをかける領域を、前記画像補正に応じて修正するように構成された車載カメラ。
  2. 車両(2)の周囲を撮影し、画像(59、60)を生成するように構成された画像生成ユニット(17)と、
    前記画像生成ユニットが生成した前記画像(59)において物標(61、71)を認識するように構成された物標認識ユニット(27)と、
    前記物標認識ユニットが認識した前記物標における特定の領域(63、73)を認識するように構成された領域認識ユニット(29)と、
    前記物標認識ユニットが認識した前記物標に応じて車両制御を行うように構成された車両制御ユニット(33)と、
    前記画像生成ユニットが生成した前記画像(60)において、前記領域認識ユニットが認識した前記特定の領域にモザイクをかけるように構成されたモザイクユニット(31)と、
    前記モザイクユニットが前記モザイクをかけた前記画像を外部に出力するように構成された出力ユニット(43)と、
    前記物標認識ユニットが前記物標を認識するために用いる前記画像を前記画像生成ユニットが生成したときの前記車両のピッチング量を算出するピッチング量算出ユニット(21)
    を備え、
    前記モザイクユニットは、前記ピッチング量算出ユニットが算出した前記ピッチング量に応じて、前記モザイクをかける領域を設定するように構成された車載カメラ。
  3. 車両(2)の周囲を撮影し、画像(59、60)を生成するように構成された画像生成ユニット(17)と、
    前記画像生成ユニットが生成した前記画像(59)において物標(61、71)を認識するように構成された物標認識ユニット(27)と、
    前記物標認識ユニットが認識した前記物標における特定の領域(63、73)を認識するように構成された領域認識ユニット(29)と、
    前記物標認識ユニットが認識した前記物標に応じて車両制御を行うように構成された車両制御ユニット(33)と、
    前記画像生成ユニットが生成した前記画像(60)において、前記領域認識ユニットが認識した前記特定の領域にモザイクをかけるように構成されたモザイクユニット(31)と、
    前記モザイクユニットが前記モザイクをかけた前記画像を外部に出力するように構成された出力ユニット(43)と、
    前記車両の位置を取得する車両位置取得ユニット(37)と、
    前記車両位置取得ユニットにより取得した前記車両の位置が、予め設定された特定の区域の中にあるか否かを判断する車両位置判断ユニット(39)と、
    を備え、
    前記車両の位置が前記特定の区域の中にあると前記車両位置判断ユニットが判断した場合、前記モザイクユニットは、前記出力ユニットが出力する前記画像の全体にモザイクをかけるように構成された車載カメラ。
  4. 請求項1~3のいずれか1項に記載の車載カメラであって、
    前記特定の領域は歩行者の顔の領域(63)である車載カメラ。
  5. 請求項1~3のいずれか1項に記載の車載カメラであって、
    前記特定の領域は車両のナンバープレートの領域(73)である車載カメラ。
  6. 請求項1~のいずれか1項に記載の車載カメラであって、
    前記モザイクは、暗号キーを用いて復号可能である車載カメラ。
  7. 請求項1~のいずれか1項に記載の車載カメラであって、
    前記車両制御ユニットが前記物標を含む前記画像を用いて前記車両制御を行った場合、前記モザイクユニットが前記モザイクをかけた前記画像のうち、前記車両制御に用いられた前記画像の生成直後に生成された前記画像を保存するように構成された画像保存ユニット(41)をさらに備える車載カメラ。
  8. 請求項1~のいずれか1項に記載の車載カメラであって、
    前記出力ユニットは、前記モザイクをかけた前記画像を無線通信により前記外部に送信するように構成された車載カメラ。
  9. 請求項1~のいずれか1項に記載の車載カメラであって、
    前記出力ユニットが前記画像を出力する出力ポート(11)の形式は、USB又はLDVSである車載カメラ。
  10. 車両(2)に搭載され、画像(59、60)を生成可能な素子を備えた撮像部(3)と、
    前記撮像部を収容し、前記撮像部が、前記車両の周囲を撮影可能となる位置に配置された筐体(12)と、
    前記筐体内に設けられ、前記撮像部が生成した前記画像を処理するプログラムを記録したメモリ(15)と通信可能に接続され、前記メモリから前記プログラムを読み出して、前記画像において物標(61、71)と、該物標中の特定領域(63、73)とを認識し、前記特定領域にモザイクをかける処理を実行する演算装置(13)と、
    前記筐体に設けられ、前記モザイクがかけられた画像を出力可能に外部装置(49)と接続する出力ポート(11)と、
    を備え
    前記演算装置は、前記撮像部が生成した前記画像に対し、レンズ歪を抑制する画像補正を行い、前記画像補正を行った前記画像において前記物標を認識し、前記特定領域を、前記画像補正に応じて修正するように構成された車載カメラ。
JP2018096484A 2018-05-18 2018-05-18 車載カメラ Active JP7070082B2 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2018096484A JP7070082B2 (ja) 2018-05-18 2018-05-18 車載カメラ
DE102019207315.8A DE102019207315A1 (de) 2018-05-18 2019-05-20 Fahrzeugkamera und kamerasystem
US16/416,562 US11120527B2 (en) 2018-05-18 2019-05-20 Vehicular camera and camera system
CN201910419746.9A CN110497852A (zh) 2018-05-18 2019-05-20 车载摄像机和摄像机系统

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2018096484A JP7070082B2 (ja) 2018-05-18 2018-05-18 車載カメラ

Publications (2)

Publication Number Publication Date
JP2019200728A JP2019200728A (ja) 2019-11-21
JP7070082B2 true JP7070082B2 (ja) 2022-05-18

Family

ID=68419376

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018096484A Active JP7070082B2 (ja) 2018-05-18 2018-05-18 車載カメラ

Country Status (4)

Country Link
US (1) US11120527B2 (ja)
JP (1) JP7070082B2 (ja)
CN (1) CN110497852A (ja)
DE (1) DE102019207315A1 (ja)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11250606B2 (en) 2019-07-31 2022-02-15 Grabango Co. Privacy protection in vision systems
TWI726411B (zh) * 2019-09-06 2021-05-01 宏碁股份有限公司 影像縫合裝置及其操作方法
EP4071735A1 (en) * 2019-12-04 2022-10-12 Pioneer Corporation Storage control device, control method, program, and storage medium

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278515A (ja) 2008-06-02 2008-11-13 Hitachi Ltd 画像処理カメラシステム及び画像処理カメラ制御方法
JP2016126597A (ja) 2015-01-06 2016-07-11 マツダ株式会社 車両用歩行者画像取得装置
JP2018029309A (ja) 2016-08-19 2018-02-22 株式会社東芝 撮像装置および送信方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1042736B1 (en) * 1996-12-30 2003-09-24 Sharp Kabushiki Kaisha Sprite-based video coding system
US6389340B1 (en) 1998-02-09 2002-05-14 Gary A. Rayner Vehicle data recorder
JP2002271816A (ja) * 2001-03-13 2002-09-20 Sony Corp 立体モザイク作成装置
JP4861574B2 (ja) * 2001-03-28 2012-01-25 パナソニック株式会社 運転支援装置
JP4253271B2 (ja) * 2003-08-11 2009-04-08 株式会社日立製作所 画像処理システム及び車両制御システム
JP3898709B2 (ja) * 2004-05-19 2007-03-28 本田技研工業株式会社 車両用走行区分線認識装置
US7808327B2 (en) * 2006-08-07 2010-10-05 Texas Instruments Incorporated Method and apparatus to provide digitally controlled crystal oscillators
CN101262598A (zh) * 2008-03-25 2008-09-10 华为技术有限公司 马赛克图像合成的方法及装置
DE102008034594B4 (de) * 2008-07-25 2021-06-24 Bayerische Motoren Werke Aktiengesellschaft Verfahren sowie Informationssystem zur Information eines Insassen eines Fahrzeuges
WO2010051979A1 (de) * 2008-11-05 2010-05-14 Johnson Controls Gmbh Fahrzeuganzeigesystem bzw. projektionsdisplay für ein kraftfahrzeug und verfahren zur kalibrierung
JP5459044B2 (ja) 2010-04-26 2014-04-02 株式会社デンソー ドライブレコーダ
KR101425087B1 (ko) * 2010-10-27 2014-08-01 박철 개인정보 보호를 위한 블랙박스 이미지 처리방법 및 장치
JP5851597B2 (ja) * 2011-06-17 2016-02-03 ローベルト ボッシュ ゲゼルシャフト ミット ベシュレンクテル ハフツング 車両の周辺区域の気象条件を認識する方法および制御装置
JP5825121B2 (ja) 2012-01-31 2015-12-02 株式会社Jvcケンウッド 画像処理装置、画像処理方法、画像処理プログラム
US8977007B1 (en) * 2013-04-23 2015-03-10 Google Inc. Detecting a vehicle signal through image differencing and filtering
US9432575B2 (en) * 2013-06-28 2016-08-30 Canon Kabushiki Kaisha Image processing apparatus
US8958662B1 (en) * 2014-08-20 2015-02-17 Interactive Memories, Inc. Methods and systems for automating insertion of content into media-based projects
US9967451B2 (en) * 2014-09-30 2018-05-08 Canon Kabushiki Kaisha Imaging apparatus and imaging method that determine whether an object exists in a refocusable range on the basis of distance information and pupil division of photoelectric converters
CN105405092A (zh) * 2015-11-26 2016-03-16 熊桂荣 基于可逆水印和马赛克技术的安全数字图像传播方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008278515A (ja) 2008-06-02 2008-11-13 Hitachi Ltd 画像処理カメラシステム及び画像処理カメラ制御方法
JP2016126597A (ja) 2015-01-06 2016-07-11 マツダ株式会社 車両用歩行者画像取得装置
JP2018029309A (ja) 2016-08-19 2018-02-22 株式会社東芝 撮像装置および送信方法

Also Published As

Publication number Publication date
US11120527B2 (en) 2021-09-14
US20190355100A1 (en) 2019-11-21
DE102019207315A1 (de) 2019-11-21
CN110497852A (zh) 2019-11-26
JP2019200728A (ja) 2019-11-21

Similar Documents

Publication Publication Date Title
KR102526559B1 (ko) 촬상 장치 및 전자 기기
JP7070082B2 (ja) 車載カメラ
US7865280B2 (en) Imaging apparatus and drive recorder system
JP6669240B1 (ja) 記録制御装置、記録制御システム、記録制御方法、および記録制御プログラム
US9685011B2 (en) Vehicle safety control apparatus and method using cameras
JP2006345491A (ja) 撮像装置およびドライブレコーダシステム
KR102452564B1 (ko) 광학식 이미지 안정화 움직임을 추정하기 위한 장치 및 방법
JP5261737B2 (ja) 画像記憶装置
WO2018148897A1 (zh) 一种驾驶员身份识别方法及装置
WO2019054070A1 (ja) 画像処理装置
KR102140526B1 (ko) 어라운드 뷰 장치
WO2017149964A1 (ja) 画像処理装置、画像処理方法、コンピュータプログラム及び電子機器
JP5240768B2 (ja) 画像記憶装置
KR102457462B1 (ko) 전자장치의 이미지 처리 장치 및 방법
KR101973300B1 (ko) 차량용 화상 표시 시스템
JP6563694B2 (ja) 画像処理装置、画像処理システム、画像合成装置、画像処理方法及びプログラム
JP6933161B2 (ja) 画像処理装置、画像処理方法、プログラム
JP7084253B2 (ja) 車載カメラ設定方法および車載システム
WO2020189182A1 (ja) 運転者の状態監視装置
JP2020004223A (ja) 車載映像記録装置及びその制御方法
JP7322436B2 (ja) 記録制御装置、記録制御方法、およびプログラム
WO2022246752A1 (en) Method of generating an image, electronic device, apparatus, and computer readable storage medium
JP7208493B2 (ja) 記録制御装置、記録制御システム、記録制御方法、およびプログラム
JP7190110B2 (ja) 画像処理装置及び画像処理方法
KR101011698B1 (ko) 촬영된 영상의 저장 모드를 자동으로 전환 가능한 차량용 영상 저장 장치 및 그의 제어 방법

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210218

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20220119

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220125

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20220323

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20220405

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20220418

R151 Written notification of patent or utility model registration

Ref document number: 7070082

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151