JP6319340B2 - 動画撮像装置 - Google Patents

動画撮像装置 Download PDF

Info

Publication number
JP6319340B2
JP6319340B2 JP2016027416A JP2016027416A JP6319340B2 JP 6319340 B2 JP6319340 B2 JP 6319340B2 JP 2016027416 A JP2016027416 A JP 2016027416A JP 2016027416 A JP2016027416 A JP 2016027416A JP 6319340 B2 JP6319340 B2 JP 6319340B2
Authority
JP
Japan
Prior art keywords
imaging
unit
moving image
control value
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016027416A
Other languages
English (en)
Other versions
JP2017147577A (ja
Inventor
一孝 本橋
一孝 本橋
基治 川崎
基治 川崎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
SMK Corp
Original Assignee
SMK Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by SMK Corp filed Critical SMK Corp
Priority to JP2016027416A priority Critical patent/JP6319340B2/ja
Priority to US15/246,556 priority patent/US10212388B2/en
Priority to DE102016117584.6A priority patent/DE102016117584A1/de
Publication of JP2017147577A publication Critical patent/JP2017147577A/ja
Application granted granted Critical
Publication of JP6319340B2 publication Critical patent/JP6319340B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/10Adaptations for transmission by electrical cable
    • H04N7/102Circuits therefor, e.g. noise reducers, equalisers, amplifiers
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/765Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/66Remote control of cameras or camera parts, e.g. by remote control devices
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/67Focus control based on electronic image sensor signals
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/80Camera processing pipelines; Components thereof
    • H04N23/81Camera processing pipelines; Components thereof for suppressing or minimising disturbance in the image signal generation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • H04N5/91Television signal processing therefor
    • H04N5/911Television signal processing therefor for the suppression of noise
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/10Adaptations for transmission by electrical cable
    • H04N7/108Adaptations for transmission by electrical cable the cable being constituted by a pair of wires
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/18Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/50Constructional details
    • H04N23/555Constructional details for picking-up images in sites, inaccessible due to their dimensions or hazardous conditions, e.g. endoscopes or borescopes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/70SSIS architectures; Circuits associated therewith
    • H04N25/71Charge-coupled device [CCD] sensors; Charge-transfer registers specially adapted for CCD sensors
    • H04N25/75Circuitry for providing, modifying or processing image signals from the pixel array

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Studio Devices (AREA)
  • Mechanical Engineering (AREA)
  • Fittings On The Vehicle Exterior For Carrying Loads, And Devices For Holding Or Mounting Articles (AREA)

Description

本発明は、動画を撮像するカメラモジュールと撮像した動画像を出力する撮像装置本体とが接続ケーブルで接続された動画撮像装置に関し、更に詳しくは、ノイズの多い環境に接続ケーブルを配線しても、ノイズの影響を受けずに動画像を出力する動画撮像装置に関する。
従来の代表的な動画撮像装置100の基本構成は、図3に示すように、動画を撮像し、動画像の各フレーム画像を表す撮像信号を生成する撮像部101と、その撮像信号を画像信号処理して動画像の各フレーム画像を順次生成するとともに、その生成過程で、撮像信号から撮像部101の撮像動作を制御する撮像制御値を生成し、これらの撮像制御値に従って撮像部101の撮像動作を帰還制御するISP(image signal processor)102と、ISP102で生成された動画像の各フレーム画像をモニター105で再生可能な動画フォーマットに変換して出力する動画出力部103とからなり、これらが単一の撮像装置本体104内に配置されている(特許文献1)。
撮像信号からISP102が生成する撮像制御値は、オートホワイトバランス制御値、オートエクスポージャー制御値若しくはオートフォーカス制御値等であり、これらの撮像制御値で撮像部101の撮像動作を制御することによって、生成されるフレーム画像に、種々の異なる光源下で最適な色を再現するオートホワイトバランス(AWB)、明るさに応じたクリアな画質を実現する自動露出機能(AE)、種々の条件下で焦点を合わせる自動焦点(AF)の各機能が施される。これらの撮像制御値は、撮像信号により表される各フレーム画像の全ての画素の画素データを比較して得るので、撮像部101の撮像素子が高性能化し、1フレーム画像の画素数が増加するほど、比較するデータ量が増大し、撮像制御値を得るためのフィルタリング、スケーリング、クロッピング等のデータマイニング処理コストが増え、ISP102における撮像信号の入力からフレーム画像の出力までの処理負荷が増大する。更に、ISP102において、撮像信号からフレーム画像を生成する過程で、ノイズリダクション、シェーディング補正、輪郭強調、各種エフェクト機能などの種々の信号処理を行う必要があり、ISP102には、消費電力が大きく、構造が複雑で高い処理能力を有するマイコンを用いる必要がある。
一方、医療用の内視鏡や車両に搭載するモニターカメラ、ドライブレコーダ用のカメラ等では、要求される撮像視野の動画を撮像するために撮像部を動画を再生するモニターから離れた位置に配置する必要があり、特許文献2に記載されているこのような動画撮像装置110は、図4に示すように、撮像装置本体111から撮像部112を備えたカメラモジュール113を分離するとともに、消費電力が大きく、構造が複雑で大形化するISP115を撮像装置本体111側に配置し、カメラモジュール113と撮像装置本体111の間をLVDS(Low Voltage Differetial Signaling)ケーブル114で接続している。
この動画撮像装置110によれば、カメラモジュール113にISP115を配置しないので、カメラモジュール113自体を簡易構造として小型化し、低消費電力で動作させることができる。
また、カメラモジュール113から撮像装置本体111のISP115にLVDSケーブル114で出力される撮像信号は、ISP115において、上述の信号処理やフルカラー画像を作り出すデモザイク処理を行わない未処理の撮像信号(以下、RAWデータという。)であるので、例えば、YUVフォーマットでISP115から出力されるフレーム画像のデータ量の約1/2であり、同一の伝送速度のLVDSケーブル114で転送する転送時間は、ISP115をカメラモジュール113に内蔵した場合に比べて約1/2となる。従って、LVDSケーブル114が頻繁に大きなノイズが発生する例えば、車両内に配線されていても、ノイズが転送中の撮像信号に重畳する確率は約1/2となり、劣悪な環境に配線されていてもノイズの影響を受けにくい。
特開2015−161893号公報 特開2015−136093号公報
特許文献1に記載の従来の動画撮像装置100は、撮像部101を搭載した撮像装置本体104にISP102を内蔵するので、撮像装置本体104が大形化し、消費電力も大きく、設置位置に制約が生じる。また、動画像を接続ケーブルを介してモニターへ出力する場合には、接続ケーブルに転送される動画像のデータ量が多く、転送時間がかかるので転送中に発生するノイズの影響を受けやすい。
更に、車載用のカメラのように、複数の撮像部で異なる撮像視野を撮像した動画を合成してモニターに表示する動画像撮像システムでは、撮像部101を搭載した複数の撮像装置本体104毎に高価なISP102を内蔵する必要があり、システム全体が高価なものとなる。
カメラモジュール113と撮像装置本体111をLVDSケーブル114で接続し、ISP115を撮像装置本体111に配置した図4に示す動画撮像装置110では、ISP115で生成した撮像制御値に従って、カメラモジュール113の撮像部112の撮像動作を制御するので、双方向通信が可能なLVDSケーブル114を介してISP115から撮像部112の撮像動作を制御する撮像制御信号が出力される。
しかしながら、ISP115からLVDSケーブル114を介して撮像制御信号を出力する間にノイズの影響を受けて、撮像制御信号が撮像部112へ到達しないこととなったり、異常な撮像制御値による撮像制御信号となった場合には、撮像部112の撮像動作が停止したり、異常撮像動作で撮像信号を出力する恐れがあり、動画撮像装置110には、これを修正したり、保護する方法がなかった。その結果、撮像部112から出力される撮像信号が一時的に途絶えたり、異常撮像制御値で撮像した撮像信号がISP115に入力され、撮像装置本体111からは、連続して出力されるフレーム画像の一部が途絶えたり、ホワイトバランス、露出や焦点が合わないフレーム画像が動画像として出力されることとなっていた。
本発明は、このような従来の問題点を考慮してなされたものであり、撮像部を備えたカメラモジュールと動画を出力する撮像装置本体とが、ノイズが多発する環境で接続されていても、ノイズの影響を受けにくく、撮像部が異常撮像制御値で撮像制御されない動画撮像装置を提供することを目的とする。
上述の目的を達成するため、請求項1に記載の動画撮像装置は、動画を撮像し、動画像の各フレーム画像を表す撮像信号をストリームとして順次出力する撮像部と、前記撮像信号から各フレーム画像を順次生成して出力する画像信号処理部と、画像信号処理部から順次出力される各フレーム画像が連続する動画像をモニターへ出力する動画出力部とを備えた動画撮像装置であって、カメラモジュールに、撮像部撮像部の撮像動作を制御する撮像制御部とを備えるとともに、カメラモジュールに双方向通信可能な接続ケーブルを介して接続する撮像装置本体に、前記撮像信号からフレーム画像を生成する際に前記撮像信号から前記撮像部の撮像動作を制御する撮像制御信号の撮像制御値を生成する画像信号処理部と動画出力部とを備え、カメラモジュールの撮像部は、未処理の撮像データからなる撮像信号を、前記接続ケーブルを介して撮像装置本体の画像信号処理部へ出力し、
カメラモジュールの撮像制御部は、撮像装置本体の画像信号処理部から前記接続ケーブルを介して出力される撮像制御値に基づいて生成する撮像制御信号によって撮像部の撮像動作を制御することを特徴とする。
双方向通信可能な接続ケーブルを介してカメラモジュールから撮像装置本体の画像信号処理部へ撮像部が撮像したままの未処理の撮像データからなる撮像信号が出力され、接続ケーブルを介して撮像装置本体からカメラモジュールの撮像制御部へ撮像信号から生成する撮像制御値が出力され、撮像制御部は、撮像制御値に基づいて生成する撮像制御信号によって撮像部の撮像動作を帰還制御する。
請求項2に記載の動画撮像装置は、カメラモジュールが、撮像制御部が撮像部の撮像動作を制御した撮像制御値を一次記憶する記憶手段を備え、撮像制御部は、接続ケーブルを介して画像信号処理部から出力される撮像制御値が異常値であると判定した際に、その撮像制御値に代えて、記憶手段から読み出した撮像制御値に従って撮像部の撮像動作を制御することを特徴とする。
撮像装置本体からカメラモジュールの撮像制御部へ出力される撮像制御値がノイズの影響を受けて異常値となった場合に、撮像制御部は、その異常値となった撮像制御値に代えて、直前に画像信号処理部が出力されたノイズの影響を受けていない撮像制御値を記憶手段から読み出し、ノイズの影響を受けていない撮像制御値に従って撮像部の撮像動作を制御する。
請求項3に記載の動画撮像装置は、撮像制御値が、オートホワイトバランス制御値、オートエクスポージャー制御値若しくはオートフォーカス制御値の少なくともいずれかであることを特徴とする。
接続ケーブルを介して撮像装置本体からカメラモジュールの撮像制御部へ出力されるオートホワイトバランス制御値、オートエクスポージャー制御値若しくはオートフォーカス制御値がノイズの影響を受けて異常値となった場合に、撮像制御部は、これらの異常撮像制御値を無視することができる。
請求項4に記載の動画撮像装置は、撮像制御部が、撮像制御値に基づいて生成する撮像制御信号によって撮像部の撮像動作を制御する制御周期内に接続ケーブルを介して複数の撮像制御値が入力された場合に、入力された一部の撮像制御値を無視することを特徴とする。
接続ケーブルを介して撮像制御部に出力する撮像制御値の通信速度が、撮像部の撮像動作を制御する制御速度を上回っても、撮像制御部で撮像制御値がオーバーフローしない。
請求項5に記載の動画撮像装置は、車両の周囲を撮像する車両の一部に設置されたカメラモジュールと、車両の運転席の周辺に設置するモニターの周囲に設置された撮像装置本体とを、双方向通信可能なLVDSケーブルで接続することを特徴とする。
カメラモジュールから撮像装置本体の画像信号処理部に出力される撮像信号は、画像信号処理部で出力するフレーム画像の画像信号に比べて短時間にLVDSケーブルを介して出力されるので、ノイズの影響を受けにくい。
また、LVDSケーブルを介して撮像装置本体からカメラモジュールの撮像制御部へ出力される撮像制御値がノイズの影響を受けて異常値となった場合には、撮像制御部は、その異常値となった撮像制御値を、無視することができる。
請求項6に記載の動画撮像装置は、撮像視野が異なる車両の周囲を撮像する車両の各部に設置された複数のカメラモジュールの撮像部を、それぞれ双方向通信可能なLVDSケーブルで撮像装置本体の画像信号処理部へ接続することを特徴とする。
複数のカメラモジュールの撮像部は、単一の画像信号処理部でカメラモジュール毎に生成する撮像制御値に従って撮像動作が制御される。
撮像視野が異なる車両の周囲を撮像した撮像信号を合成した動画像のフレーム画像を撮像装置本体から順次生成して出力できる。
請求項1の発明によれば、接続ケーブルを介してカメラモジュールから撮像装置本体に撮像信号に重畳して送信される通信データや、接続ケーブルを介して撮像装置本体からカメラモジュールの撮像制御部へ出力される撮像制御値がノイズの影響を受けて異常値となったとしても、撮像制御部は、その異常値となった撮像制御値を無視することができる。
また、カメラモジュールから撮像装置本体の画像信号処理部へ送信される撮像信号は、動画像のフレーム画像を生成するための信号処理やフルカラー画像を作り出すデモザイク処理が行われていないRAWデータであるので、画像信号処理部から出力される動画像のフレーム画像に比べてデータ量が少なく、接続ケーブルを介して送出される時間が短時間で偶発的なノイズの影響を受けにくい。
また、カメラモジュールは、画像信号処理部を搭載しない簡易構造で、低消費電力で動作するので、接続ケーブルに太い電力線を用いずに、その配置位置の制約も少ない。
請求項2の発明によれば、接続ケーブルを介して撮像装置本体からカメラモジュールの撮像制御部へ出力される撮像制御値がノイズの影響を受けて異常値となっても、撮像制御部は、その異常撮像制御値を無視し、ノイズの影響を受けていない撮像制御値に従って撮像部の撮像動作を制御するので、フレーム画像が動画像の一部に混在しない。
請求項3の発明によれば、撮像装置本体からカメラモジュールの撮像制御部へ出力されるオートホワイトバランス制御値、オートエクスポージャー制御値若しくはオートフォーカス制御値がノイズの影響を受けて異常値となっても、ホワイトバランス、露出や焦点が合わないフレーム画像を表す撮像信号が撮像部から出力されない。
請求項4の発明によれば、撮像制御部は、撮像制御値が入力される周期に同期させることなく、撮像部の制御速度に合わせて入力される撮像制御値で撮像部の撮像動作を制御できる。
請求項5の発明によれば、大きなノイズが頻発して発生する車両の空間にカメラモジュールと撮像装置本体とを接続するLVDSケーブルを配線しても、ノイズの影響が少ない動画像を出力できる。
請求項6の発明によれば、複数の各カメラモジュール毎に画像信号処理部を備えないので、複数のカメラモジュールからなる動画撮像装置全体を安価に得られる。
また、撮像視野が異なる車両の周囲を撮像した動画を合成した動画像を出力できる。
本発明の一実施の形態に係る動画撮像装置1を示すブロック図である。 複数のカメラモジュール32、32が撮像装置本体31に接続された他の実施の形態に係る動画撮像装置30を示すブロック図である。 従来の動画撮像装置100を示すブロック図である。 他の従来の動画撮像装置110を示すブロック図である。
以下、本発明の一実施の形態に係る動画撮像装置1を、図1を用いて説明する。図1に示すように、動画撮像装置1は、撮像部2と撮像制御部3と記憶部13と直並列/平直列変換部5が内部バスで接続されたカメラモジュール10と、直並列/平直列変換部21と画像信号処理部であるISP(image signal processor)22と動画出力部23とが内部バスで接続された撮像装置本体20と、カメラモジュール10と撮像装置本体20を接続する接続ケーブルであるLVDS(Low Voltage Differetial Signaling)ケーブル4とから構成されている。
カメラモジュール10の撮像部2は、撮像視野の動画を撮像し、動画像の各フレーム画像を表す撮像信号をストリームとしてシリアライザーである直並列/平直列変換部5へ順次出力するものであり、フォーカス部6aと絞り部6bを有するレンズ6、電子シャッター7、撮像素子8、信号処理回路9、A/D変換回路11及びRGBゲイン補正回路12とからなっている。
レンズ6のフォーカス部6aは、フォーカスレンズを有し、撮像制御部3から出力される後述するAF制御信号に従って、撮像する動画が撮像素子8に結像されるようにレンズ6を通過する光路を調整する。また、絞り部6bは、撮像制御部3から出力される後述するAE制御信号に従って、電子シャッター7と連動してレンズ6を通して撮像素子8に入射する光量を調整する。
撮像素子8は、多数の画素(ピクセル)の集合体であるCMOSセンサで構成され、各画素毎に、フォトダイオードによって蓄積される信号電荷を電圧信号からなる画素信号として出力する。撮像素子8の動作は、撮像制御部3から出力されるタイミング制御信号で制御され、1フレーム画像の撮像周期である1/30秒、すなわち約33msecの周期で、撮像視野全体のフレーム画像を撮像し、1フレーム画像を表す全ての画素信号をアナログ信号の撮像信号としてその後段の信号処理回路9へ出力する。尚、この撮像素子は、CCD(charge coupled device)センサーで構成してもよい。
この撮像信号は、信号処理回路9で、相関二重サンプリング(CDS)処理、R,G,Bの各色信号に色分離処理等の信号処理が行われた後、A/D変換回路11でデジタル信号に変換された後、RGBゲイン補正回路12に入力される。RGBゲイン補正回路12は、撮像制御部3から出力される後述するAWB制御信号に従って、あらゆる光源下で最適な色のバランスを再現するように撮像信号に含まれる各色信号の信号レベルが調整される(ホワイトバランス処理)。
撮像部2のRGBゲイン補正回路12は、約33msecの周期で撮像した動画像の各フレーム画像を表す撮像信号を直並列/平直列変換部5へ順次出力する。直並列/平直列変換回路5は、カメラモジュール10を双方向通信可能なLVDSケーブル4を介して撮像装置本体20に接続する入出力インターフェースであり、撮像部2から出力される撮像信号は、小振幅差動信号方式のLVDS信号(定電圧差動信号)としてシリアライザーである直並列/平直列変換回路5から撮像装置本体20へ出力される。ここで、撮像部2からLVDSケーブル4を介して出力される撮像信号は、ISP22によってフルカラーの動画像のフレーム画像を生成する前の未処理の撮像データ(RAWデータ)であるので、動画像のフレーム画像をLVDSケーブル4を介して出力する場合に比べて、単位時間当たりの通信データ量が少なく、短時間に撮像装置本体20へ出力できる。従って、LVDSケーブル4がノイズが頻発する環境中に配線されていても、撮像信号がノイズの影響を受ける確率が少ない。
カメラモジュール10から撮像装置本体20の間を接続するLVDSケーブル4は、双方向シリアル伝送線であり、LVDSケーブル4を介して、カメラモジュール10から撮像装置本体20へ、上記撮像信号の他、撮像部2の撮像動作制御情報、ISP22からの要求に応じてカメラモジュール10内の各部の動作状態や、撮像部2の撮像動作を制御する撮像制御信号の各撮像制御値等を表す各種通信データが撮像信号に重畳して送信され、撮像装置本体20からカメラモジュール10へ、上記ISP22からのコマンドやISP22で生成される後述する撮像制御値等を表す通信データが送信される。
撮像制御部3は、上記撮像部2や直並列/平直列変換部5等のカメラモジュール10内の各部の動作をタイミングコントロールするととともに、撮像装置本体20のISP22からLVDSケーブル4を介して入力される後述する焦点制御値(AF制御値という)、露出制御値(以下、AE制御値という)、ホワイトバランス制御値(以下、AWB制御値という)の各種撮像制御値に基づいて、それぞれAF制御信号、AE制御信号、AWB制御信号の各種撮像制御信号を生成し、これらの撮像制御信号によって撮像部2の撮像動作を制御する。
また、撮像制御部3は、AF制御信号、AE制御信号、AWB制御信号で撮像部2の撮像動作を制御した際に、その撮像制御信号を生成した際に用いたAF制御値、AE制御値、AWB制御値の各種撮像制御値を、SDRAMで構成する記憶部13へ一次記憶する。記憶部13に記憶される各種撮像制御値は、撮像制御部3が新たな撮像制御信号を生成する毎に、その撮像制御信号に用いた撮像制御値に置き換えられる。
LVDSケーブル4を介してカメラモジュール10の撮像部2から撮像装置本体20に出力される撮像信号は、デシリアライザーである直並列/平直列変換部21によって、シリアル信号からパラレル信号に変換され、ISP22に入力される。
ISP22は、1フレーム画像を表す撮像信号が入力される毎に、撮像信号の各画素に対しその周辺の画素の画素信号に基づいて輝度・色差情報を補完するモザイク処理を実行し、フルカラーのイメージデータであるYC(輝度・色差)データからなるYUV422に準拠する動画像のフレーム画像を生成する。また、ISP22は、このフレーム画像の生成に前後して、ノイズリダクション、シェーディング補正、輪郭強調、各種エフェクト機能の付与処理を実行する。
ISP22は、更に、撮像信号から焦点が一致する画像とするAF制御値を生成する自動焦点検出回路と、撮像信号から露出値を検出し、露出値を撮像視野の明るさに応じてクリアな画質となる最適な露出値とするAE制御値を出力する自動露出検出回路と、撮像信号から撮像視野内の光源下で最適な配色の画像とするAWB制御値を生成する自動ホワイトバランス検出回路とを有し、1フレーム画像を表す撮像信号が入力される毎に、ISP22から、直並列/平直列変換部21、LVDSケーブル4及び直並列/平直列変換部5を介してAF制御値、AE制御値、AWB制御値の3種の撮像制御値が撮像制御部3に出力される。
これらの撮像制御値は、ISP22において生成するフレーム画像から生成してもよく、また、その撮像信号を生成する際に撮像部2の撮像動作を制御する撮像制御信号に用いられた撮像制御値が、撮像信号に重畳してカメラモジュール10から入力されている場合には、その撮像制御値を考慮して生成してもよい。
ISP22は、撮像部2の撮像周期である1/30秒毎に、生成したフレーム画像を動画出力部23へ出力し、動画出力部は23は、図示しないモニターに表示可能な動画フォーマットでフレーム画像を連続して出力し、撮像部2で撮像した動画の動画像をLVDSケーブルなどを介して図示しないモニターへ出力する。
以下、上述のように構成された動画撮像装置1の動作を説明する。撮像装置本体20のISP22からLVDSケーブル4を介してカメラモジュール10の撮像制御部3が撮像命令を受けると、撮像制御部3はカメラモジュール10全体のブートアップ処理を実行し、記憶部13に記憶されたディフォルト値の各撮像制御値に基づく撮像制御信号によって、撮像部2の撮像動作を制御する。
撮像部2は、撮像制御部3により制御される撮像動作で、撮像視野の動画を撮像し、1/30秒の撮像周期で1フレーム画像を表す撮像信号を繰り返し生成し、各フレーム画像を表す撮像信号をLVDSケーブル4を介して撮像装置本体20のISP22へ出力する。
ISP22は、入力される撮像信号から動画像のフレーム画像を生成し、1/30秒毎に、生成したフレーム画像を動画出力部23へ出力し、動画出力部は23に接続するモニターに撮像した動画を表示する。また、ISP22は、フレーム画像を生成する際に、入力される撮像信号をもとに、AF制御値、AE制御値、AWB制御値の3種の撮像制御値を生成し、LVDSケーブル4を介してカメラモジュール10の撮像制御部3へ出力する。
撮像制御部3は、LVDSケーブル4を介して新たにこの3種の撮像制御値が入力される毎に、記憶部13に記憶された各種撮像制御値を読み出して比較する。記憶部13に記憶された各種撮像制御値は、ISP22からLVDSケーブル4を介して新たな撮像制御値が入力される直前に、撮像部2の撮像動作を制御する撮像制御信号に用いた値であり、両者を比較することによって、入力された撮像制御値がノイズの影響を受けた異常撮像制御値であるかどうかを判定できる。
そこで、比較した結果、入力された撮像制御値が異常撮像制御値であると判定した場合には、LVDSケーブル4を介して入力された撮像制御値を無視し、記憶部13に記憶された撮像制御値に基づいて再び撮像制御信号を生成し、撮像部2を制御する。これにより、LVDSケーブル4を介してカメラモジュール10と撮像装置本体20間で双方向に伝送される撮像信号や撮像制御値がノイズの影響を受けて異常値となっても、異常撮像制御値で撮像部2の撮像動作が制御されることがないので、焦点、露出、ホワイトバランス等が急激に変化したフレーム画像がISP22から出力されることがなく、瞬間ノイズの影響を受けてもモニターに表示される動画に表れない。
一方、入力された撮像制御値がノイズを受けた異常撮像制御値ではないと判定した場合には、撮像制御部3は、LVDSケーブル4を介して入力された撮像制御値に基づいて撮像制御信号を生成し、撮像部2の撮像動作を制御する。その結果、撮像環境が変化しても最適な撮像制御値に基づく撮像制御信号で撮像部2の撮像動作が制御される。
ここで撮像制御部3が入力された撮像制御値をノイズを受けた異常撮像制御値と判定する判定条件は種々の条件で設定できるが、例えば、入力された撮像制御値が一定範囲外である場合や記憶部13に記憶された撮像制御値との差分が一定以上である場合に異常撮像制御値と判定する。
ISP22で生成される各種撮像制御値がその通信経路の各部でオーバーフローすることなくその撮像制御値に基づく撮像制御信号で撮像部2が制御されるように、各部の通信速度は、ISP22から直並列/平直列変換部21≦直並列/平直列変換部21から直並列/平直列変換部5≦直並列/平直列変換部5から撮像制御部3≦撮像制御部3から撮像部2を満たすことが望ましいが、この通信速度条件を満たさない場合には、通信データ量が、ISP22から直並列/平直列変換部21≧直並列/平直列変換部21から直並列/平直列変換部5≧直並列/平直列変換部5から撮像制御部3≧撮像制御部3から撮像部2の関係を満たすように各部を制御する。
例えば、撮像制御部3から撮像部2に出力される撮像制御信号のデータ量が、直並列/平直列変換部5から撮像制御部3に1/30秒の周期(1フレーム周期)で入力される撮像制御値のデータ量より多い場合には、撮像制御信号のデータ量を制限し、入力される撮像制御値の一部を無視し、2フレーム周期に一度撮像制御信号を生成して撮像部2を制御する。
図2は、本発明の第2実施の形態に係る動画撮像装置30を示し、動画撮像装置30は、1台の撮像装置本体31にそれぞれLVDSケーブル4を介して複数のカメラモジュール32が接続されている点で、第1実施の形態と異なるが、各部の構成は同一若しくは同様に作用するので、同一の番号を付してその説明を省略する。
この動画撮像装置30は、高速に車両に接近する物体を検知し事故防止処置をとる目的の運転支援システムに使用され、図2に示すように、複数の各カメラモジュール32は、隣り合うカメラモジュール32の撮像視野と一部が重複する異なる方向の撮像視野を撮像するように車両の各部に設置され、それぞれ、運転席のモニター35付近に配置される一台の撮像装置本体31にLVDSケーブル4を介して接続している。
これにより、各カメラモジュール32の撮像部2は、それぞれ一部が重複する撮像視野の動画を撮像したフレーム画像を表す撮像信号を30フレーム/秒の速度で撮像し、直並列/平直列変換部5、LVDSケーブル4及び直並列/平直列変換部21を介して撮像装置本体31のISP34へ出力する。
ISP34は、各カメラモジュール32から入力される撮像信号からそのカメラモジュール32が撮像した動画像のフレーム画像を生成するとともに、AF制御値、AE制御値、AWB制御値の3種の撮像制御値を生成し、LVDSケーブル4を介してその撮像信号を出力したカメラモジュール32の撮像制御部3へ出力する。これにより、各カメラモジュール32の撮像部2は、変化する撮像環境に合わせて最適な撮像制御値で撮像動作が制御される。
また、撮像装置本体31の位相監視制御部33は、ISP34において異なる位相で生成されるフレーム画像を同期制御し、ISP34は、同期制御された複数のフレーム画像を合成して一枚の合成したフレーム画像を連続生成し、動画出力部23からモニター35に動画像として出力する。
本実施の形態に係る動画撮像装置30によれば、複数のカメラモジュール32毎に高い処理能力を有するISP(画像信号処理部)34を配置する必要がないので、装置全体を安価に製造できる。
また、LVDSケーブル4を介して撮像装置本体31から各カメラモジュール32へ伝送される撮像制御値がノイズの影響を受けた場合に、記憶部13に記憶された撮像制御値から撮像制御信号が生成されるので、大きいノイズが頻発する車両内にLVDSケーブル4が配線されていても、モニター35に再生される合成した動画像にはノイズの影響が表れない。
上述の各実施の形態では、撮像制御部3がAF制御値、AE制御値、AWB制御値等の撮像制御値から撮像制御信号を生成し、その撮像制御信号で撮像部2の各部の動作を制御する例で説明したが、撮像制御値自体を撮像制御信号として、撮像制御値で撮像部2の各部の撮像動作が制御されるものであってもよい。
また、撮像制御値は、AF制御値、AE制御値、AWB制御値の3種の撮像制御値で説明したが、いずれか1種若しくは2種の撮像制御値であってもよく、また、撮像部2の他の撮像動作を制御する制御値であってもよい。
また、撮像制御部が画像信号処理部から入力される撮像制御値がノイズの影響を受けた異常撮像制御値である場合には、記憶部から読み出した撮像制御値に置き換えて撮像制御信号を生成しているが、異常撮像制御値が入力される間は、撮像制御信号を生成せずに撮像部の撮像動作を制御しないようにしてもよい。
撮像部を有するカメラモジュールと画像信号処理部を有する撮像装置本体とを接続する接続ケーブルが、ノイズが多発する環境に配線される動画撮像装置に適している。
1、30 動画撮像装置
2 撮像部
3 撮像制御部
4 LVDSケーブル(接続ケーブル)
13 記憶部
10 カメラモジュール
20 撮像装置本体
22 ISP(画像信号処理部)
20 表示装置(モニター)
31 撮像装置本体
32 カメラモジュール
34 ISP(画像信号処理部)

Claims (6)

  1. 動画を撮像し、動画像の各フレーム画像を表す撮像信号をストリームとして順次出力する撮像部と、
    前記撮像信号から各フレーム画像を順次生成して出力する画像信号処理部と、
    画像信号処理部から順次出力される各フレーム画像が連続する動画像をモニターへ出力する動画出力部とを備えた動画撮像装置であって、
    カメラモジュールに、撮像部撮像部の撮像動作を制御する撮像制御部とを備えるとともに、
    カメラモジュールに双方向通信可能な接続ケーブルを介して接続する撮像装置本体に、前記撮像信号からフレーム画像を生成する際に前記撮像信号から前記撮像部の撮像動作を制御する撮像制御信号の撮像制御値を生成する画像信号処理部と動画出力部とを備え、
    カメラモジュールの撮像部は、未処理の撮像データからなる撮像信号を、前記接続ケーブルを介して撮像装置本体の画像信号処理部へ出力し、
    カメラモジュールの撮像制御部は、撮像装置本体の画像信号処理部から前記接続ケーブルを介して出力される撮像制御値に基づいて生成する撮像制御信号によって撮像部の撮像動作を制御することを特徴とする動画撮像装置。
  2. カメラモジュールは、撮像制御部が撮像部の撮像動作を制御した撮像制御値を一次記憶する記憶手段を備え、
    撮像制御部は、前記接続ケーブルを介して画像信号処理部から出力される撮像制御値が異常値であると判定した際に、その撮像制御値に代えて、前記記憶手段から読み出した撮像制御値に従って撮像部の撮像動作を制御することを特徴とする請求項1に記載の動画撮像装置。
  3. 撮像制御値は、オートホワイトバランス制御値、オートエクスポージャー制御値若しくはオートフォーカス制御値の少なくともいずれかであることを特徴とする請求項1又は請求項2のいずれか1項に記載の動画撮像装置。
  4. 撮像制御部は、撮像制御値に基づいて生成する撮像制御信号によって撮像部の撮像動作を制御する制御周期内に前記接続ケーブルを介して複数の撮像制御値が入力された場合に、入力された一部の撮像制御値を無視することを特徴とする請求項1又は請求項2のいずれか1項に記載の動画撮像装置。
  5. 車両の周囲を撮像する車両の一部に設置されたカメラモジュールと、車両の運転席の周辺に設置するモニターの周囲に設置された撮像装置本体とを、双方向通信可能なLVDSケーブルで接続することを特徴とする請求項1乃至請求項4のいずれか1項に記載の動画撮像装置。
  6. 撮像視野が異なる車両の周囲を撮像する車両の各部に設置された複数のカメラモジュールの撮像部を、それぞれ双方向通信可能なLVDSケーブルで撮像装置本体の画像信号処理部へ接続することを特徴とする請求項5に記載の動画撮像装置。
JP2016027416A 2016-02-16 2016-02-16 動画撮像装置 Active JP6319340B2 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016027416A JP6319340B2 (ja) 2016-02-16 2016-02-16 動画撮像装置
US15/246,556 US10212388B2 (en) 2016-02-16 2016-08-25 Video imaging apparatus
DE102016117584.6A DE102016117584A1 (de) 2016-02-16 2016-09-19 Videobildgebungssystem

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2016027416A JP6319340B2 (ja) 2016-02-16 2016-02-16 動画撮像装置

Publications (2)

Publication Number Publication Date
JP2017147577A JP2017147577A (ja) 2017-08-24
JP6319340B2 true JP6319340B2 (ja) 2018-05-09

Family

ID=59410581

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016027416A Active JP6319340B2 (ja) 2016-02-16 2016-02-16 動画撮像装置

Country Status (3)

Country Link
US (1) US10212388B2 (ja)
JP (1) JP6319340B2 (ja)
DE (1) DE102016117584A1 (ja)

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11109747B2 (en) * 2017-02-15 2021-09-07 Dynacolor, Inc. Arthroscopic system with disposable arthroscope having image rotation function and method thereof
US20180228361A1 (en) * 2017-02-15 2018-08-16 Dynacolor, Inc. Arthroscopic system with disposable arthroscope
US11733873B2 (en) 2017-12-01 2023-08-22 Micron Technology, Inc. Wear leveling in solid state drives
US11094148B2 (en) 2018-06-18 2021-08-17 Micron Technology, Inc. Downloading system memory data in response to event detection
CN109222854A (zh) * 2018-11-19 2019-01-18 苏州新光维医疗科技有限公司 内窥镜摄像系统及其图像信号传输方法
US11782605B2 (en) * 2018-11-29 2023-10-10 Micron Technology, Inc. Wear leveling for non-volatile memory using data write counters
DE102019202497B3 (de) * 2019-02-25 2020-08-27 Audi Ag Sensoreinrichtung mit wenigstens einem Sensor und einer Kommunikationseinrichtung
KR20220170301A (ko) * 2021-06-22 2022-12-29 현대자동차주식회사 차량 영상 제어 장치 및 그 방법
KR20230015201A (ko) * 2021-07-22 2023-01-31 현대자동차주식회사 차량 영상 제어 장치 및 그 방법
US11805316B2 (en) * 2022-02-21 2023-10-31 Ghost Autonomy Inc. Reducing camera sensor throughput via an intermediary device
US11849225B2 (en) 2022-02-21 2023-12-19 Ghost Autonomy Inc. Throughput reduction in autonomous vehicle camera sensors
US11909944B1 (en) * 2022-02-21 2024-02-20 Ghost Autonomy Inc. Dynamic calibration of cameras in a stereoscopic configuration

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6130716A (en) * 1991-08-09 2000-10-10 Canon Kabushiki Kaisha Autofocusing camera device
KR970009492B1 (ko) * 1994-05-19 1997-06-13 삼성전자 주식회사 수상관의 화상보정회로 및 그 방법
JP2002185853A (ja) * 2000-12-13 2002-06-28 Asahi Optical Co Ltd 映像信号発生装置
KR100689420B1 (ko) * 2004-06-02 2007-03-08 삼성전자주식회사 휴대용 단말기의 오토포커싱 방법
JP4656657B2 (ja) * 2006-07-31 2011-03-23 キヤノン株式会社 撮像装置及びその制御方法
JP4734680B2 (ja) 2006-08-29 2011-07-27 富士フイルム株式会社 レンズ装置
JP2008068021A (ja) * 2006-09-15 2008-03-27 Olympus Corp 電子内視鏡装置
WO2012073325A1 (ja) * 2010-11-30 2012-06-07 富士通株式会社 画像表示装置、表示制御装置および表示制御方法
JP5627652B2 (ja) * 2012-06-06 2014-11-19 キヤノン株式会社 撮像装置およびその制御方法、並びにレンズ装置およびその制御方法
US10057544B2 (en) * 2013-03-04 2018-08-21 Magna Electronics Inc. Vehicle vision system camera with integrated physical layer components
JP6350863B2 (ja) 2013-12-20 2018-07-04 ソニー株式会社 撮像素子、撮像装置、および電子装置
JP6302679B2 (ja) * 2014-01-20 2018-03-28 株式会社 日立産業制御ソリューションズ 撮像装置、撮像方法、フォーカス制御装置
JP2015161893A (ja) 2014-02-28 2015-09-07 キヤノン株式会社 撮像装置および撮像装置の制御方法
JP6194819B2 (ja) * 2014-03-03 2017-09-13 Smk株式会社 画像処理システム

Also Published As

Publication number Publication date
DE102016117584A1 (de) 2017-08-17
US20170237937A1 (en) 2017-08-17
US10212388B2 (en) 2019-02-19
JP2017147577A (ja) 2017-08-24

Similar Documents

Publication Publication Date Title
JP6319340B2 (ja) 動画撮像装置
KR20110109905A (ko) 카메라 시스템, 영상 처리 장치 및 카메라 장치
JP2005006066A (ja) 固体撮像素子用カラーフィルタおよびこれを用いたカラー撮像装置
KR20120008519A (ko) 감시장치
US7924319B2 (en) Signal processing apparatus allowing an increase in pixels without an increase in driving frequency and circuit area
US7872671B2 (en) Image pickup apparatus and image pickup method
US8289419B2 (en) Controlling optical zooming and electronic zooming of an imaging apparatus
JP2013223152A (ja) 撮像装置
KR20090091597A (ko) 카메라의 백라이트 보정 장치 및 방법
JP2012222374A (ja) 車載カメラシステム
US8089529B2 (en) Image pick up device
JPH1010414A (ja) 撮像装置
JP2004096488A (ja) 物体検知装置、物体検知方法および物体検知プログラム
US20070269133A1 (en) Image-data noise reduction apparatus and method of controlling same
US8872935B2 (en) Imaging apparatus and imaging operation processing method
JP2009253447A (ja) 近赤外光/可視光共用の固体撮像素子及び固体撮像装置
JP6323472B2 (ja) 動画撮像装置
WO2015141860A1 (en) Image processing apparatus, imaging apparatus, image processing program, and image processing method
JP3943610B2 (ja) カメラ及びレンズユニット
JP2019080261A (ja) 撮像装置
JP4514138B2 (ja) 固体撮像素子の駆動方法およびデジタルカメラ
JP2010171950A (ja) 撮像装置および撮像装置の色補正方法
JP4868600B2 (ja) 撮像装置の制御装置
JP5383349B2 (ja) 画像データ転送装置
JP2009044236A (ja) ホワイトバランス調整装置及びホワイトバランス調整方法

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20171116

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20171121

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180116

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20180306

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20180319

R150 Certificate of patent or registration of utility model

Ref document number: 6319340

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150