JP5767816B2 - 記録装置に搭載可能な半導体集積回路およびその動作方法 - Google Patents

記録装置に搭載可能な半導体集積回路およびその動作方法 Download PDF

Info

Publication number
JP5767816B2
JP5767816B2 JP2011009474A JP2011009474A JP5767816B2 JP 5767816 B2 JP5767816 B2 JP 5767816B2 JP 2011009474 A JP2011009474 A JP 2011009474A JP 2011009474 A JP2011009474 A JP 2011009474A JP 5767816 B2 JP5767816 B2 JP 5767816B2
Authority
JP
Japan
Prior art keywords
unit
image
input
supplied
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2011009474A
Other languages
English (en)
Other versions
JP2012151711A (ja
Inventor
豊 船橋
豊 船橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Renesas Electronics Corp
Original Assignee
Renesas Electronics Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Renesas Electronics Corp filed Critical Renesas Electronics Corp
Priority to JP2011009474A priority Critical patent/JP5767816B2/ja
Priority to US13/355,061 priority patent/US9501879B2/en
Publication of JP2012151711A publication Critical patent/JP2012151711A/ja
Application granted granted Critical
Publication of JP5767816B2 publication Critical patent/JP5767816B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G07—CHECKING-DEVICES
    • G07C—TIME OR ATTENDANCE REGISTERS; REGISTERING OR INDICATING THE WORKING OF MACHINES; GENERATING RANDOM NUMBERS; VOTING OR LOTTERY APPARATUS; ARRANGEMENTS, SYSTEMS OR APPARATUS FOR CHECKING NOT PROVIDED FOR ELSEWHERE
    • G07C5/00—Registering or indicating the working of vehicles
    • G07C5/08—Registering or indicating performance data other than driving, working, idle, or waiting time, with or without registering driving, working, idle or waiting time
    • G07C5/0841—Registering performance data
    • G07C5/085—Registering performance data using electronic data carriers
    • G07C5/0866—Registering performance data using electronic data carriers the electronic data carrier being a digital video recorder in combination with video camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Description

本発明は、運転記録装置等の記録装置に搭載可能な半導体集積回路およびその動作方法に関し、特に画像の略中央から画像の周辺部に移動する多数の被写体の動画像を記録する際の処理負荷と消費電力を低減するのに有効な技術に関するものである。
従来では、自動車等の車両の事故が発生した場合には、事故の際の事実認定に関して当事者の間に争いがあることが少なくなかった。信号の青・赤、突然の飛び出しの有無で、当事者の主張が異なることも多い。
一方、航空機には、フライトレコーダと呼ばれる運行状況記録装置が装備され、その記録された運行状況のデータは航空機事故の原因究明の際に重要な証拠として活用されている。
そこで、自動車等の車両においても、航空機に装備されたフライトレコーダと同様に、事故発生時の目撃者の代わりに、事故発生の前後数十秒の画像を記録する運転記録装置(ドライブレコーダ)が提案されている。
例えば、運転記録装置は、車載カメラと車載マイクロフォンとからそれぞれ出力されるドライブレコーダ情報としてのデジタル映像信号とデジタル音声信号とを車載記録媒体のハードディスクドライブ(ＨＤＤ)に記録するものである。
下記特許文献１には、車載撮影システムにおいて車両の走行中に撮影システムが走行方向の前面の被写体を撮影する場合に、現在の撮影タイミングにおいて撮影された画像の略中央に含まれるオブジェクトは次の撮影タイミングに画像の周辺部に移動した拡大したオブジェクトとして現れるので、車速検出部により検出された車両の移動速度を使用して静止被写体のオプティカルフローを検出して、このオプティカルフローを使用して撮影システムにより撮影される画像に含まれる各オブジェクトを移動させて、このオブジェクトを移動した画像と次のフレームの画像との差分を求めることによって画像を圧縮することが記載されている。
下記特許文献１に記載の車載撮影システムは特徴点抽出部と位置合わせ部とを具備しているので、特徴点抽出部はオブジェクトを移動した画像の特徴点と次のフレームの画像の特徴点とを抽出して、位置合わせ部は特徴点抽出部が抽出したオブジェクトを移動した画像の特徴点の位置を合わせるべくオブジェクトを再度移動させるものである。尚、特徴点抽出部が抽出する特徴点は、エッジや、特定の直線や曲線、特定の形状、あるいは特定の色を持つ領域等とされている。
特開２００５−３２３０２１号 公報
本発明者等は本発明に先立って、運転記録装置に搭載可能な半導体集積回路の開発に従事した。
本発明に先立って本発明者等は、上記特許文献１に記載の車載撮影システムに関して詳細に検討を行った。本発明者等による検討の結果、上記特許文献１に記載の車載撮影システムにおいて画像圧縮を実行するためには特徴点抽出部による特徴点抽出を実行する必要であるので、画像の略中央から画像の周辺部に移動する全ての静止被写体のオブジェクトの特徴点抽出のためには車載撮影システムの処理負荷と消費電力が大きいと言う問題が明らかとされた。
本発明は、以上のような本発明に先立った本発明者等による検討の結果、なされたものである。
従って、本発明の目的とするところは、画像の略中央から画像の周辺部に移動する多数の被写体の動画像を記録する際の処理負荷と消費電力とを低減することにある。
本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
本願において開示される発明のうちの代表的なものについて簡単に説明すれば下記のとおりである。
すなわち、本発明の代表的な実施の形態による半導体集積回路(ＥＮＣ)は、動き予測部(２)と動き補償部(４)と減算部(３)と離散コサイン変換部(５１)と量子化部(５２)と逆量子化部(６１)と逆離散コサイン変換部(６２)と加算部(６３)とを具備する動画像符号化装置を有する。
前記動画像符号化装置は、カメラからの動画像信号を画像の中央からの距離に従って画像の中央部分と画像の周辺部分の複数の部分画像に分割して処理する。
前記動画像符号化装置は、前記加算部の前記出力と前記動き補償部の前記他方の入力との間に接続された画素処理部(６４)を更に具備する。
前記画素処理部は、前記加算部の前記出力の前記参照画像のうち前記画像の前記中央部分に含まれる画素の座標を前記画像の前記周辺部分の座標へ座標変換を実行するものである。
前記画素処理部は、前記座標変換の実行に際して、前記画像の前記中央部分に含まれる被写体のオブジェクトを画素単位で拡大処理することを特徴とするものである(図１、図２参照)。
本願において開示される発明のうち代表的なものによって得られる効果を簡単に説明すれば下記の通りである。
すなわち、本発明によれば、画像の略中央から画像の周辺部に移動する多数の被写体の動画像を記録する際の処理負荷と消費電力とを低減することができる。
図１は、本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣの構成を示す図である。 図２は、図１に示した本発明の実施の形態１による半導体集積回路ＥＮＣを搭載する運転記録装置の車両前面カメラによって車両の前面の動画像を撮影する場合に画像の略中央から画像の周辺部に多数の被写体が移動する様子を示す図である。 図３は、図１に示した本発明の実施の形態１による半導体集積回路ＥＮＣを搭載する運転記録装置の車両前面カメラによって車両の前面の動画像を撮影した現在のタイミングの撮影画像から次のフレームのための参照画像を生成する様子を示す図である。 図４は、図３に示した画像を撮影した現在のタイミングの次のタイミングで車両前面の画像を撮影した撮影画像を示す図である。 図５は、図１に示す本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣにより実行される動画像符号化処理によって符号化処理されるシーケンスからブロックまでの階層構造を説明する図である。 図６は、図１に示す本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣの局部復号部６の画素拡大／縮小部６４により画素単位で被写体のオブジェクトのサイズが拡大および縮小される様子を示す図である。 図７は、本発明の実施の形態２による運転記録装置に搭載可能な他の半導体集積回路ＥＮＣの構成を示す図である。 図８は、図７に示す本発明の実施の形態２による半導体集積回路ＥＮＣを搭載する運転記録装置の車両前面カメラによって車両の前面の動画像を撮影する場合に静止被写体の画像(背景画像)と対向車と追い越し車とが撮影される様子を示す図である。
１．実施の形態の概要
まず、本願において開示される発明の代表的な実施の形態について概要を説明する。代表的な実施の形態についての概要説明で括弧を付して参照する図面の参照符号は、それが付された構成要素の概念に含まれるものを例示するに過ぎない。
〔１〕本発明の代表的な実施の形態による半導体集積回路(ＥＮＣ)は、動き予測部(２)と動き補償部(４)と減算部(３)と離散コサイン変換部(５１)と量子化部(５２)と逆量子化部(６１)と逆離散コサイン変換部(６２)と加算部(６３)とを具備する動画像符号化装置を有する。
カメラからの動画像信号に応答して前記動き予測部は前記動画像信号から動きベクトルを生成して、前記動き予測部は前記動きベクトルを前記動き補償部の一方の入力に供給する。
前記減算部の一方の入力に前記カメラからの前記動画像信号が供給可能とされ、前記減算部の出力は前記離散コサイン変換部の入力に供給可能とされ、前記離散コサイン変換部の出力は前記量子化部の入力に供給可能とされ、前記量子化部の出力は前記逆量子化部の入力に供給可能とされ、前記逆量子化部の出力は前記逆離散コサイン変換部の入力に供給可能とされ、前記逆離散コサイン変換部の出力は前記加算部の一方の入力に供給可能とされ、前記加算部の出力の参照画像は前記動き補償部の他方の入力に供給可能とされ、前記動き補償部の出力の動き補償予測信号は前記減算部の他方の入力と前記加算部の他方の入力とに供給可能とされる。
前記動画像符号化装置は、前記カメラからの前記動画像信号を画像の中央からの距離に従って画像の中央部分と画像の周辺部分の複数の部分画像に分割して処理する。
前記動画像符号化装置は、前記加算部の前記出力と前記動き補償部の前記他方の入力との間に接続された画素処理部(６４)を更に具備する。
前記画素処理部は、前記加算部の前記出力の前記参照画像のうち前記画像の前記中央部分に含まれる画素の座標を前記画像の前記周辺部分の座標へ座標変換を実行するものである。
前記画素処理部は、前記座標変換の実行に際して、前記画像の前記中央部分に含まれる被写体のオブジェクトを画素単位で拡大処理することを特徴とするものである(図１、図２参照)。
前記実施の形態によれば、画像の略中央から画像の周辺部に移動する多数の被写体の動画像を記録する際の処理負荷と消費電力とを低減することができる。
好適な実施の形態では、前記カメラは、車両の前面の動画像を撮影する車両前面カメラである。
前記画像の前記中央部分から前記画像の前記周辺部分への前記画素の前記座標変換による前記画素の移動量と前記画像の前記中央部分から画像の周辺部分へ移動する前記被写体のオブジェクトの拡大率とは、前記車両に搭載される車両車速測定装置からの車速情報に応答する前記画素処理部により算出されることを特徴とするものである(図３乃至図６参照)。
他の好適な実施の形態では、前記動画像符号化装置は、前記カメラからの前記動画像信号を、前記画像の前記中央部分と、前記画像の前記周辺部分と、前記中央部分と前記周辺部分との間の画像中間部分とに分割して処理することを特徴とするものである(図２、図３、図４参照)。
更に他の好適な実施の形態では、前記動画像符号化装置は、前記減算部の前記一方の入力と前記動き予測部の入力に接続され前記カメラからの前記動画像信号を格納する第１メモリ(１)と、前記画素処理部の出力と前記動き補償部の前記他方の入力との間に接続され前記画素処理部の出力画像信号を格納する第２メモリ(６５)とを更に具備することを特徴とするものである(図１参照)。
より好適な実施の形態では、前記動画像符号化装置は、第１可変長符号化部(５３)と、第２可変長符号化部(７)と、バッファ部(８)とを更に具備する。
前記第１可変長符号化部の入力には前記量子化部の前記出力が供給可能とされ、前記第２可変長符号化部の入力には前記動き予測部から生成される前記動きベクトルが供給可能とされる。
前記バッファ部の一方の入力と他方の入力には前記第１可変長符号化部の出力と前記第２可変長符号化部の出力がそれぞれ供給可能とされ、前記バッファ部の出力は記録媒体に記録可能とされることを特徴とするものである(図１参照)。
具体的な実施の形態では、前記動画像符号化装置は、第１動画像符号化装置(Ｂ−ＥＮＣ)と第２動画像符号化装置(ＯＢ−ＥＮＣ)とを含む。
前記第１動画像符号化装置は、前記画像の前記中央部分から前記画像の前記周辺部分へ移動する前記被写体としての静止被写体のオブジェクトを処理するものである。
前記第２動画像符号化装置は、前記画像の前記中央部分から前記画像の前記周辺部分へ移動する前記被写体としての移動被写体のオブジェクトを処理することを特徴とするものである(図７参照)。
より具体的な実施の形態では、前記半導体集積回路は、前記第１動画像符号化装置から生成される第１動画像符号化信号と前記第２動画像符号化装置から生成される第２動画像符号化信号とを合成する画像合成部(９)を更に具備することを特徴とするものである(図７参照)。
最も具体的な実施の形態では、前記画像合成部(９)の出力は、記録媒体に記録可能とされることを特徴とするものである(図７参照)。
〔２〕本発明の別の観点の代表的な実施の形態は、動き予測部(２)と動き補償部(４)と減算部(３)と離散コサイン変換部(５１)と量子化部(５２)と逆量子化部(６１)と逆離散コサイン変換部(６２)と加算部(６３)とを具備する動画像符号化装置を有する半導体集積回路(ＥＮＣ)の動作方法である。
カメラからの動画像信号に応答して前記動き予測部は前記動画像信号から動きベクトルを生成して、前記動き予測部は前記動きベクトルを前記動き補償部の一方の入力に供給する。
前記減算部の一方の入力に前記カメラからの前記動画像信号が供給可能とされ、前記減算部の出力は前記離散コサイン変換部の入力に供給可能とされ、前記離散コサイン変換部の出力は前記量子化部の入力に供給可能とされ、前記量子化部の出力は前記逆量子化部の入力に供給可能とされ、前記逆量子化部の出力は前記逆離散コサイン変換部の入力に供給可能とされ、前記逆離散コサイン変換部の出力は前記加算部の一方の入力に供給可能とされ、前記加算部の出力の参照画像は前記動き補償部の他方の入力に供給可能とされ、前記動き補償部の出力の動き補償予測信号は前記減算部の他方の入力と前記加算部の他方の入力とに供給可能とされる。
前記動画像符号化装置は、前記カメラからの前記動画像信号を画像の中央からの距離に従って画像の中央部分と画像の周辺部分の複数の部分画像に分割して処理する。
前記動画像符号化装置は、前記加算部の前記出力と前記動き補償部の前記他方の入力との間に接続された画素処理部(６４)を更に具備する。
前記画素処理部は、前記加算部の前記出力の前記参照画像のうち前記画像の前記中央部分に含まれる画素の座標を前記画像の前記周辺部分の座標へ座標変換を実行するものである。
前記画素処理部は、前記座標変換の実行に際して、前記画像の前記中央部分に含まれる被写体のオブジェクトを画素単位で拡大処理することを特徴とするものである(図１、図２参照)。
前記実施の形態によれば、画像の略中央から画像の周辺部に移動する多数の被写体の動画像を記録する際の処理負荷と消費電力とを低減することができる。
２．実施の形態の詳細
次に、実施の形態について更に詳述する。尚、発明を実施するための最良の形態を説明するための全図において、前記の図と同一の機能を有する部品には同一の符号を付して、その繰り返しの説明は省略する。
［実施の形態１］
《運転記録装置に搭載可能な半導体集積回路の構成》
図１は、本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣの構成を示す図である。
図１に示した本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣは、第１フレームメモリ１、動き予測部２、減算部３、動き補償部４、残差符号化部５、局部復号部６、動きベクトル可変長符号化部７、バッファ部８を具備する。
残差符号化部５は離散コサイン変換部(ＤＣＴ)５１と量子化部(Ｑ)５２と残差可変長符号化部５３を含み、局部復号部６は逆量子化部(ＩＱ)６１と逆離散コサイン変換部(ＩＤＣＴ)６２と加算部(＋)６３と画素拡大／縮小部６４と第２フレームメモリ６５を含んでいる。
自動車等の車両の前面の動画像を撮影する車両前面カメラからの動画像信号Video_inは、半導体集積回路ＥＮＣの第１フレームメモリ１中に格納される。動き予測部２は第１フレームメモリ１に格納された動画像信号Video_inから動きベクトルＭＶを生成して、動きベクトルＭＶは動き補償部４と動きベクトル可変長符号化部７とに供給される。第１フレームメモリ１から符号化順序に従って読み出される動画像信号は減算部３の一方の入力端子に供給される一方、動き補償部４から動き補償予測信号が減算部３の他方の入力端子に供給されるので、減算部３の出力から生成される予測残差が残差符号化部５に供給される。
残差符号化部５では、減算部３の出力から予測残差が離散コサイン変換部(ＤＣＴ)５１によって直交変換の離散コサイン変換された後に量子化部(Ｑ)５２によって量子化される。残差符号化部５の量子化部(Ｑ)５２の量子化残差信号は残差可変長符号化部５３によって符号化され、残差可変長符号化部５３から生成される残差可変長符号化信号はバッファ部８の一方の入力端子に供給される。また残差符号化部５の量子化部５２の量子化残差信号は局部復号部６の逆量子化部(ＩＱ)６１により逆量子化された後に、逆離散コサイン変換部(ＩＤＣＴ)６２により逆離散コサイン変換される。逆離散コサイン変換部(ＩＤＣＴ)６２の逆離散コサイン残差信号は加算部(＋)６３の一方の入力端子に供給される一方、加算部(＋)６３の他方の入力端子に動き補償部４からの動き補償予測信号が供給されるので、加算部(＋)６３の出力から生成される参照画像は画素拡大／縮小部６４を介して第２フレームメモリ６５に格納される。従って、動き補償部４は、第２フレームメモリ６５に格納された参照画像と動き予測部２から供給される動きベクトルＭＶとから動き補償予測信号を生成する。また、動き予測部２から生成される動きベクトルＭＶは動きベクトル可変長符号化部７に供給されることよって、動きベクトル可変長符号化部７から動きベクトル可変長符号化信号が生成されバッファ部８の他方の入力端子に供給される。従って、バッファ部８の出力端子から動画像圧縮ビットストリームＢＳが生成されて、図１で図示されていないハードディスクドライブ(ＨＤＤ)や半導体不揮発性メモリ等によって構成された車載記録媒体にこの動画像圧縮ビットストリームＢＳが記録される。
図１に示す本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣの構成は、局部復号部６の画素拡大／縮小部６４以外は良く知られているＭＰＥＧ(Moving Picture Experts Group)動画像符号化装置の構成と同一となっている。
《半導体集積回路による動画像符号化動作の概要》
図１に示す本発明の実施の形態１による半導体集積回路ＥＮＣは、自動車等の車両の前面の動画像を撮影する車両前面カメラからの動画像信号を画像の中央からの距離に従って画像の中央部分と画像の周辺部分の複数の部分画像に分割する。画像の中央部分の中央撮影画像から画像の周辺部分のための周辺参照画像を生成するために、中央撮影画像が離散コサイン変換部(ＤＣＴ)５１と量子化部(Ｑ)５２と逆量子化部(ＩＱ)６１と逆離散コサイン変換部(ＩＤＣＴ)６２によってそれぞれ処理されることによって中央撮影画像から中央参照画像が生成される。
半導体集積回路ＥＮＣの画素拡大／縮小部６４は、中央参照画像を画像の周辺部分に移動するために中央参照画像に含まれる画素の座標を画像の周辺部分の座標に変換するとともに中央参照画像に含まれる被写体のオブジェクトを画素単位で拡大処理する。画像の中央部分から画像の周辺部分への画素の座標変換による画素の移動量と画像の中央部分から画像の周辺部分へ移動する被写体のオブジェクトの拡大率は、車両車速測定装置の車速情報に応答する画素拡大／縮小部６４によって算出される。
《画素拡大／縮小部》
図１に示す本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣの局部復号部６の画素拡大／縮小部６４は、自動車等の車両の前面の動画像を撮影する車両前面カメラによって撮影される画像の略中央から画像の周辺部に移動する多数の被写体の動画像を記録する際の処理負荷と消費電力とを低減するために特に半導体集積回路ＥＮＣに配置されたものである。また画素拡大／縮小部６４には、自動車等のスピードメータ等の車両車速測定装置からの車速情報が供給される。
車載カメラが車両前面カメラである場合には画素拡大／縮小部６４は画素拡大処理動作を実行する一方、車載カメラが車両後面の動画像を撮影する車両後面カメラである場合には画素拡大／縮小部６４は画素縮小処理動作を実行するものである。車両後面カメラにより車両の走行中に走行方向の後面の被写体を撮影する場合には現在の撮影タイミングで撮影された画像の周辺部のオブジェクトは次の撮影タイミングに画像の略中央に移動した縮小したオブジェクトとして現れるので、画素拡大／縮小部６４による画素縮小処理動作が必要となる。
従って、車載カメラが車両前面カメラとして車両に搭載される場合には、局部復号部６の画素拡大／縮小部６４は画素拡大処理動作を実行するように動作モードが設定される。逆に、車載カメラが車両後面カメラとして車両に搭載される場合には、局部復号部６の画素拡大／縮小部６４は画素縮小処理動作を実行するように動作モードが設定される。
《車両前面カメラの画像》
図２は、図１に示した本発明の実施の形態１による半導体集積回路ＥＮＣを搭載する運転記録装置の車両前面カメラによって車両の前面の動画像を撮影する場合に画像の略中央から画像の周辺部に多数の被写体が移動する様子を示す図である。
図２に示したように、画像の中央部分Ｌｃでは被写体のオブジェクトは小さなサイズであり、画像の中間部分Ｌｍでは被写体のオブジェクトは中間のサイズとなり、画像の周辺部分Ｌｐでは被写体のオブジェクトは大きなサイズに拡大される。すなわち、図２に示した道路の左側の高層ビルディングは、画像の中央部分Ｌｃでは小さなサイズのオブジェクトＢｃであるが、画像の周辺部分Ｌｐでは大きなサイズのオブジェクトＢｐとなる。更に、図２に示した道路の右側の低層住宅は、画像の中央部分Ｌｃでは小さなサイズのオブジェクトＨｃであるが、画像の周辺部分Ｌｐでは大きなサイズのオブジェクトＨｐとなる。
従って、運転記録装置の車両前面カメラによって車両の前面の動画像を撮影する場合に高い画像圧縮率を実現するためには、被写体のオブジェクトが画像の中央部分Ｌｃから画像の中間部分Ｌｍへ更に画像の周辺部分Ｌｐへ移動する際、第２フレームメモリ６５に格納される参照画像のオブジェクトのサイズを拡大する必要がある。
《参照画像の生成》
図３は、図１に示した本発明の実施の形態１による半導体集積回路ＥＮＣを搭載する運転記録装置の車両前面カメラによって車両の前面の動画像を撮影した現在のタイミングの撮影画像から次のフレームのための参照画像を生成する様子を示す図である。
図３に示すように１つのフレームの画像は、画像の中央部分Ｌｃの第１部分画像と、画像の中間部分Ｌｍの第２部分画像と、画像の周辺部分Ｌｐの第３部分画像に分割される。
まず、第１部分画像である画像の中央部分Ｌｃは、Ｘ系画素座標Ｘｃ１〜Ｘｃ２とＹ系画素座標Ｙｃ１〜Ｙｃ２の範囲の画素を含んでいる。次に、第２部分画像である画像の中間部分Ｌｍは、第１部分画像である画像の中央部分Ｌｃ以外のＸ系画素座標Ｘｍ１〜Ｘｍ２とＹ系画素座標Ｙｍ１〜Ｙｍ２の範囲の画素を含んでいる。最後に、第３部分画像である画像の周辺部分Ｌｐは、第２部分画像である画像の中間部分Ｌｍ以外のＸ系画素座標Ｘｐ１〜Ｘｐ２とＹ系画素座標Ｙｐ１〜Ｙｐ２の範囲の画素を含んでいる。
現在のタイミングで撮影された撮影画像では、第１部分画像の画像中央部分Ｌｃには車両前面から遠距離に位置する被写体の第３オブジェクトＣの画素が含まれており、第２部分画像の画像中間部分Ｌｍには車両前面から中間距離に位置する被写体の第２オブジェクトＢの画素が含まれており、第３部分画像である画像の周辺部分Ｌｐには車両前面から近距離に位置する被写体の第１オブジェクトＡの画素が含まれている。
図４は、図３に示した画像を撮影した現在のタイミングの次のタイミングで、車両前面の画像を撮影した撮影画像を示す図である。
図４に示した撮影画像には、もはや被写体の第１オブジェクトＡの画素が含まれておらず、被写体の第１オブジェクトＡの画素は図４に示した撮影画像の外部に移動しているので、図４の撮影画像からは消失している。その代りに図４の第３部分画像である画像の周辺部分Ｌｐには、図３の第２部分画像である画像の中間部分Ｌｍに存在していた被写体の第２オブジェクトＢの画素が移動している。更に、図４の第２部分画像である画像の中間部分Ｌｍには、図３の第１部分画像である画像の中央部分Ｌｃに存在していた被写体の第３オブジェクトＣの画素が移動している。また更に、図４の第１部分画像である画像の中央部分Ｌｃには、図３に示した撮影画像に存在していなかった新しい被写体の第４オブジェクトＤの画素が出現している。
図３と図４において、大きなサイズの第３部分画像である画像周辺部分ＬｐのＸ方向の画素数とＹ方向の画素数は、例えば、高精細のＨＤ(High Definition)サイズの１９２０画素×１０８０画素に設定される。
図３と図４において、小さなサイズの第１部分画像である画像中央部分ＬｃのＸ方向の画素数とＹ方向の画素数は、例えば任意の値に設定可能である。しかし、図３と図４において、小さなサイズの第１部分画像である画像中央部分ＬｃのＸ方向の画素数とＹ方向の画素数とから中間のサイズの第２部分画像である画像中間部分ＬｍのＸ方向の画素数とＹ方向の画素数への画素数拡大率は、画素拡大／縮小部６４に供給される自動車等のスピードメータ等の車両車速測定装置からの車速情報によって決定される。
《画素の座標変換》
従って、図４の第２部分画像の画像中間部分Ｌｍに移動する被写体の第３オブジェクトＣを高い画像圧縮率で画像圧縮するには、図３の撮影画像の第１部分画像の画像中央部分Ｌｃに含まれる参照画像のオブジェクトとしての被写体の第３オブジェクトＣを第２部分画像の画像中間部分Ｌｍに移動する必要がある。そのために、特に図３の撮影画像の第１部分画像の画像中央部分Ｌｃの各画素の座標が変換される。すなわち、図３の撮影画像の第１部分画像の画像中央部分Ｌｃの複数の矢印に示したように、特に画像中央部分Ｌｃの内部の各画素が画像中間部分Ｌｍに移動するように各画素の座標が変換される。例えば、画像中央部分Ｌｃの内部に存在するＸ系画素座標Ｘｃ１とＹ系画素座標Ｙｃ１とを有する画素の座標は、Ｘ系画素座標Ｘｍ１とＹ系画素座標Ｙｍ１とを有する画素の座標に変換される。また、画像中央部分Ｌｃの内部に存在するＸ系画素座標(Ｘｃ１＋Ｘｃ２)／２とＹ系画素座標Ｙｃ１を有する画素の座標は、Ｘ系画素座標(Ｘｍ１＋Ｘｍ２)／２とＹ系画素座標Ｙｍ１とを有する画素の座標に変換される。また、画像中央部分Ｌｃの内部に存在するＸ系画素座標Ｘｃ２とＹ系画素座標Ｙｃ１を有する画素の座標は、Ｘ系画素座標Ｘｍ２とＹ系画素座標Ｙｍ１を有する画素の座標に変換される。画像中央部分Ｌｃの内部に存在するＸ系画素座標Ｘｃ２とＹ系画素座標(Ｙｃ１＋Ｙｃ２)／２を有する画素の座標は、Ｘ系画素座標Ｘｍ２とＹ系画素座標(Ｙｍ１＋Ｙｍ２)／２を有する画素の座標に変換される。また、画像中央部分Ｌｃの内部に存在するＸ系画素座標Ｘｃ２とＹ系画素座標Ｙｃ２とを有する画素の座標は、Ｘ系画素座標Ｘｍ２とＹ系画素座標Ｙｍ２を有する画素の座標に変換される。また、画像中央部分Ｌｃの内部に存在するＸ系画素座標(Ｘｃ１＋Ｘｃ２)／２とＹ系画素座標Ｙｃ２を有する画素の座標は、Ｘ系画素座標(Ｘｍ１＋Ｘｍ２)／２とＹ系画素座標Ｙｍ２を有する画素の座標に変換される。また、画像中央部分Ｌｃの内部に存在するＸ系画素座標Ｘｃ１とＹ系画素座標Ｙｃ２を有する画素の座標は、Ｘ系画素座標Ｘｍ１とＹ系画素座標Ｙｍ２を有する画素の座標に変換される。最後に、画像中央部分Ｌｃの内部に存在するＸ系画素座標Ｘｃ１とＹ系画素座標(Ｙｃ１＋Ｙｃ２)／２とを有する画素の座標は、Ｘ系画素座標Ｘｍ１とＹ系画素座標(Ｙｍ１＋Ｙｍ２)／２を有する画素の座標に変換される。
特に、図１に示す本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣでは、撮影画像の第１部分画像の画像中央部分Ｌｃから第２部分画像の画像中間部分Ｌｍへの上述した全ての画素の座標変換は、車両車速測定装置の車速情報に応答する画素拡大／縮小部６４によって自動的に実行されるものである。
図４に示した撮影タイミングの次の撮影タイミングで第３部分画像の画像周辺部分Ｌｐに移動する被写体の第３オブジェクトＣを高画像圧縮率で画像圧縮するには、図４の撮影画像の第２部分画像の画像中間部分Ｌｍに含まれる参照画像のオブジェクトとしての被写体の第３オブジェクトＣを第３部分画像の画像周辺部分Ｌｐに移動する必要がある。そのために、特に図４の撮影画像の第２部分画像の画像中間部分Ｌｍの各画素の座標が変換される。すなわち、図４の撮影画像の第２部分画像の画像中間部分Ｌｍの複数の矢印に示したように、特に画像中間部分Ｌｍの内部の各画素が画像周辺部分Ｌｐに移動するように各画素の座標が変換される。例えば、画像中間部分Ｌｍの内部に存在するＸ系画素座標Ｘｍ１とＹ系画素座標Ｙｍ１とを有する画素の座標は、Ｘ系画素座標Ｘｐ１とＹ系画素座標Ｙｐ１を有する画素の座標に変換される。また、画像中間部分Ｌｍの内部に存在するＸ系画素座標(Ｘｍ１＋Ｘｍ２)／２とＹ系画素座標Ｙｍ１とを有する画素の座標は、Ｘ系画素座標(Ｘｐ１＋Ｘｐ２)／２とＹ系画素座標Ｙｐ１を有する画素の座標に変換される。また、画像中間部分Ｌｍの内部に存在するＸ系画素座標Ｘｍ２とＹ系画素座標Ｙｍ１を有する画素の座標は、Ｘ系画素座標Ｘｐ２とＹ系画素座標Ｙｐ１とを有する画素の座標に変換される。画像中間部分Ｌｍの内部に存在するＸ系画素座標Ｘｍ２とＹ系画素座標(Ｙｍ１＋Ｙｍ２)／２を有する画素の座標は、Ｘ系画素座標Ｘｐ２とＹ系画素座標(Ｙｐ１＋Ｙｐ２)／２を有する画素の座標に変換される。また、画像中間部分Ｌｍの内部に存在するＸ系画素座標Ｘｍ２とＹ系画素座標Ｙｍ２を有する画素の座標は、Ｘ系画素座標Ｘｐ２とＹ系画素座標Ｙｐ２を有する画素の座標に変換される。また、画像中間部分Ｌｍの内部に存在するＸ系画素座標(Ｘｍ１＋Ｘｍ２)／２とＹ系画素座標Ｙｍ２とを有する画素の座標は、Ｘ系画素座標(Ｘｐ１＋Ｘｐ２)／２とＹ系画素座標Ｙｐ２を有する画素の座標に変換される。また、画像中間部分Ｌｍの内部に存在するＸ系画素座標Ｘｍ１とＹ系画素座標Ｙｍ２を有する画素の座標は、Ｘ系画素座標Ｘｐ１とＹ系画素座標Ｙｐ２とを有する画素の座標に変換される。最後に、画像中間部分Ｌｍの内部に存在するＸ系画素座標Ｘｍ１とＹ系画素座標(Ｙｍ１＋Ｙｍ２)／２を有する画素の座標は、Ｘ系画素座標Ｘｐ１とＹ系画素座標(Ｙｐ１＋Ｙｐ２)／２とを有する画素の座標に変換される。
更に、図１に示した本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣでは、撮影画像の第２部分画像の画像中間部分Ｌｍから第３部分画像の画像周辺部分Ｌｐへの上述した全ての画素の座標変換は、車両車速測定装置の車速情報に応答する画素拡大／縮小部６４によって自動的に実行されるものである。
《オブジェクトのサイズの拡大》
一方、図４の第２部分画像の画像中間部分Ｌｍに移動する被写体の第３オブジェクトＣを高い画像圧縮率で画像圧縮するには、図３の撮影画像の第１部分画像の画像中央部分Ｌｃに含まれる参照画像のオブジェクトとしての被写体の第３オブジェクトＣのサイズを拡大する必要がある。
図５は、図１に示す本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣにより実行される動画像符号化処理によって符号化処理されるシーケンスからブロックまでの階層構造を説明する図である。
尚、図５に示したシーケンスからブロックまでの階層構造は、ＭＰＥＧ方式の動画像符号化における階層構造と全く同一とされている。
図５に示すように、シーケンスからブロックまでの階層構造は動画像の全体に対応するシーケンス(Sequence)１００から離散コサイン変換(ＤＣＴ：Discrete Cosine Transform)の処理単位のブロック(Block)１５０、１６０、１７０までの６階層の構造を有している。
すなわち、第１階層はシーケンス(Sequence)１００、第２階層はグループオブピクチャ(ＧＯＰ)１１０、第３階層はピクチャー(Picture)１２０、第４階層はスライス(Slice)１３０、第５階層はマクロブロック(Macro-block)１４０、第６階層はブロック(Block)１５０、１６０、１７０である。グループオブピクチャ(ＧＯＰ)１１０に含まれるピクチャー(Picture)１２０の数もしくはスライス(Slice)１３０に含まれるマクロブロック(Macro-block)１４０の数は比較的柔軟となっている。
図５に示したようにマクロブロック１４０は、輝度信号成分(Ｙ)を示す８画素×８画素の４個の輝度信号ブロック１５０と、青色色差信号(Ｃｂ＝Ｂ−Ｙ)を示す８画素×８画素の１個の青色色差信号ブロック１６０と、赤色色差信号(Ｃｒ＝Ｒ−Ｙ)を示す８画素×８画素の１個の赤色色差信号ブロック１７０とを含んでいる。
図１に示した本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣの動き予測部２と動き補償部４の動きベクトルＭＶに関する処理は図５に示したマクロブロック１４０を単位として処理されるものである。更に、図１に示した本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣの残差符号化部５の離散コサイン変換部５１と局部復号部６の逆離散コサイン変換部６１とは、８画素×８画素の１個の輝度信号ブロック１５０と、８画素×８画素の１個の青色色差信号ブロック１６０と、８画素×８画素の１個の赤色色差信号ブロック１７０の任意のブロックを単位として処理する。
それに対して、図４の第２部分画像の画像中間部分Ｌｍに移動する被写体の第３オブジェクトＣを高画像圧縮率で画像圧縮するために、図３の撮影画像の第１部分画像の画像中央部分Ｌｃに含まれる被写体の第３オブジェクトＣのサイズは図１の本発明の実施の形態１による半導体集積回路ＥＮＣに含まれた局部復号部６の画素拡大／縮小部６４によって画素単位で拡大されるものである。
図６は、図１に示す本発明の実施の形態１による運転記録装置に搭載可能な半導体集積回路ＥＮＣの局部復号部６の画素拡大／縮小部６４により画素単位で被写体のオブジェクトのサイズが拡大および縮小される様子を示す図である。
図６には、図３の第１部分画像である画像の中央部分Ｌｃに存在する小さな被写体のオブジェクト６００と図３の第２部分画像の画像中間部分Ｌｍまたは第３部分画像の画像周辺部分Ｌｐに存在する大きな被写体のオブジェクト６０１とが示されている。
最初に小被写体のオブジェクト６００から大被写体のオブジェクト６０１へオブジェクトのサイズを拡大する場合には、画素拡大／縮小部６４による画素の拡大・補間処理ＡENが実行される。すなわち、画素拡大／縮小部６４による画素の拡大・補間処理ＡENによって、例えば４画素×４画素の小被写体のオブジェクト６００から８画素×８画素の大被写体のオブジェクト６０１に画素の拡大処理が実行される。この画素の拡大処理の際に、小被写体のオブジェクト６００に含まれる１つの画素が、大被写体のオブジェクト６０１の複数の画素、例えば２画素×２画素に補間される。画素拡大／縮小部６４による画素の拡大・補間処理ＡENの拡大率・補間率は、画素拡大／縮小部６４に供給される自動車等のスピードメータ等の車両車速測定装置からの車速情報によって決定される。
次に、大被写体のオブジェクト６０１から小被写体のオブジェクト６００へオブジェクトのサイズを縮小する場合には、画素拡大／縮小部６４による画素の縮小・間引き処理ＡREDが実行される。すなわち、画素拡大／縮小部６４による画素の縮小・間引き処理ＡREDによって、例えば８画素×８画素の大被写体のオブジェクト６０１から４画素×４画素の小被写体のオブジェクト６００に画素の縮小処理が実行される。この画素の縮小処理の際に、大被写体のオブジェクト６０１の複数の画素、例えば２画素×２画素が、小被写体のオブジェクト６００に含まれる１つの画素に間引きされる。画素拡大／縮小部６４による画素の縮小・間引き処理ＡREDの縮小率・間引き率は、画素拡大／縮小部６４に供給される自動車等のスピードメータ等の車両車速測定装置からの車速情報によって決定される。
《本発明の実施の形態１による効果》
以上、図１乃至図６を参照して説明した運転記録装置に搭載可能な本発明の実施の形態１による半導体集積回路ＥＮＣでは、撮影画像の小さなサイズの画像中央部分Ｌｃの第１部分画像とその周辺の大きなサイズの画像中間部分Ｌｍの第２部分画像とに撮影画像が分割される。画像中央部分Ｌｃの第１部分画像の小さなサイズから画像中間部分Ｌｍの第２部分画像の大きなサイズへのサイズ拡大率は、画素拡大／縮小部６４に供給される自動車等のスピードメータ等の車両車速測定装置からの車速情報によって決定される。
また、その際に必要な画素の座標変換と画素の拡大・補間処理とは、車両車速測定装置からの車速情報に応答する画素拡大／縮小部６４によって自動的に実行されるものである。その際に、上記特許文献１に記載されたエッジや、特定の直線や曲線、特定の形状、または特定の色を持つ領域等を抽出する特徴点抽出処理が省略可能となるので、本発明の実施の形態１による半導体集積回路ＥＮＣの処理負荷と消費電力とを低減することが可能となる。
［実施の形態２］
《運転記録装置に搭載可能な他の半導体集積回路の構成》
図７は、本発明の実施の形態２による運転記録装置に搭載可能な他の半導体集積回路ＥＮＣの構成を示す図である。
図７に示す本発明の実施の形態２による半導体集積回路ＥＮＣが、図１に示した本発明の実施の形態１による半導体集積回路ＥＮＣと相違するのは、次の点である。
すなわち、図７に示した本発明の実施の形態２による半導体集積回路ＥＮＣは、画像の略中央から画像の周辺部に移動する全ての静止被写体の画像(背景画像)を処理するための背景画像符号化部Ｂ−ＥＮＣと、対向車や追い越し車などの移動オブジェクトを処理するための移動オブジェクト画像符号化部ＯＢ−ＥＮＣと、画像合成部９−１と、第１画像生成部９−２と、第２画像生成部９−３とを具備している。
図７に示す本発明の実施の形態２による半導体集積回路ＥＮＣの背景画像符号化部Ｂ−ＥＮＣは、図１に示した半導体集積回路ＥＮＣと全く同様に、第１フレームメモリ１、動き予測部２、減算部３、動き補償部４、残差符号化部５、局部復号部６、動きベクトル可変長符号化部７、バッファ部８を具備しており、残差符号化部５は離散コサイン変換部(ＤＣＴ)５１と量子化部(Ｑ)５２と残差可変長符号化部５３とを含み、局部復号部６は逆量子化部(ＩＱ)６１と逆離散コサイン変換部(ＩＤＣＴ)６２と加算部(＋)６３と画素拡大／縮小部６４と第２フレームメモリ６５とを含むものである。従って、図７に示した本発明の実施の形態２による半導体集積回路ＥＮＣの背景画像符号化部Ｂ−ＥＮＣの構成と動作は、図１に示した半導体集積回路ＥＮＣの構成と動作と全く同一であるので、背景画像符号化部Ｂ−ＥＮＣの詳細な動作説明はここでは省略する。しかし、バッファ部８の出力端子から画像の中央から画像の周辺部に移動する全ての静止被写体の画像(背景画像)の動画像圧縮ビットストリームが生成され、第１画像生成部９−２の入力端子に供給されて、第１画像生成部９−２の出力端子から画像データが生成され画像合成部９−１の一方の入力端子に供給される。
図７に示す本発明の実施の形態２による半導体集積回路ＥＮＣの対向車や追い越し車などの移動オブジェクトを処理するための移動オブジェクト画像符号化部ＯＢ−ＥＮＣは、背景画像符号化部Ｂ−ＥＮＣと全く同様に、第１フレームメモリ１１、動き予測部１２、減算部１３、動き補償部１４、残差符号化部１５、局部復号部１６、動きベクトル可変長符号化部１７、バッファ部１８を具備しており、残差符号化部１５は離散コサイン変換部(ＤＣＴ)１５１と量子化部(Ｑ)１５２と残差可変長符号化部１５３とを含み、局部復号部１６は逆量子化部(ＩＱ)１６１と逆離散コサイン変換部(ＩＱ)１６２と加算部(＋) １６３と画素拡大／縮小部１６４と第２フレームメモリ１６５とを含むものである。
移動オブジェクト画像符号化部ＯＢ−ＥＮＣの第１フレームメモリ１１には、自動車等の車両の前面の動画像を撮影する車両前面カメラからの動画像信号Video_inが供給される。
動き予測部１２は第１フレームメモリ１１に格納された動画像信号Video_inから対向車と追い越し車とのみに関して動きベクトルＭＶを生成して、対向車と追い越し車の動きベクトルＭＶは動き補償部１４と動きベクトル可変長符号化部１７とに供給される。
対向車の移動速度は画像の略中央から画像の周辺部に移動する静止被写体の移動速度より高速であるので、対向車の移動は静止被写体の移動から識別されることが可能となる。静止被写体は画像の略中央から画像の周辺部に移動するのに対して追い越し車は画像の周辺部から画像の中央に移動するので、追い越し車の移動は静止被写体の移動から識別されることが可能となる。このようにして、動き予測部１２は対向車と追い越し車のみに関して動きベクトルＭＶを生成して動き補償部１４と動きベクトル可変長符号化部１７とに供給する一方、対向車の対向車両速度と追い越し車の追い越し車両速度のみのオブジェクト移動速度を画素拡大／縮小部１６４に供給する。
その結果、画素拡大／縮小部１６４は対向車のオブジェクトに関しては対向車両速度に応答した画素拡大処理を実行することによって対向車の参照画像を形成して第２フレームメモリ１６５に格納する一方、追い越し車のオブジェクトに関しては追い越し車両速度に応答した画素縮小処理を実行することによって追い越し車の参照画像を形成して第２フレームメモリ１６５に格納するものである。従って、動き補償部１４は、第２フレームメモリ１６５に格納された対向車と追い越し車の参照画像と動き予測部２から供給される対向車と追い越し車の動きベクトルＭＶとから対向車と追い越し車とのみの動き補償予測信号を生成する。第１フレームメモリ１１から符号化順序に従って読み出される動画像信号は減算部１３の一方の入力端子に供給される一方、動き補償部１４から対向車と追い越し車とのみの動き補償予測信号が減算部１３の他方の入力端子に供給されるので、減算部１３の出力から生成される対向車と追い越し車とのみの予測残差が残差符号化部１５に供給される。対向車と追い越し車以外の静止被写体に関しては動き補償部１４から動き補償予測信号が減算部１３の他方の入力端子に供給されないので、静止被写体に関して減算部１３の出力は最大出力に飽和するため静止被写体に関する予測残差は無視されるものとなる。従って、減算部１３の出力から対向車と追い越し車のみの予測残差が離散コサイン変換部(ＤＣＴ)１５１によって直交変換の離散コサイン変換された後に量子化部(Ｑ)１５２によって量子化される。残差符号化部１５の量子化部(Ｑ)１５２からの対向車と追い越し車のみの量子化残差信号は残差可変長符号化部１５３によって符号化され、残差可変長符号化部１５３から生成される対向車と追い越し車のみの残差可変長符号化信号はバッファ部１８の一方の入力端子に供給される。また動き予測部１２から生成される対向車と追い越し車の動きベクトルＭＶは動きベクトル可変長符号化部１７に供給されることよって、動きベクトル可変長符号化部１７から対向車と追い越し車とのみの動きベクトル可変長符号化信号が生成されバッファ部１８の他方の入力端子に供給される。従って、バッファ部１８の出力端子から対向車と追い越し車とのみの動画像圧縮ビットストリームが生成され、第２画像生成部９−３の入力端子に供給されて、第２画像生成部９−３の出力端子から画像データが生成されて画像合成部９−１の他方の入力端子に供給される。
画像合成部９−１は、例えばアルファブレンド画像処理ユニットによって構成され、背景画像符号化部Ｂ−ＥＮＣのバッファ部８の出力端子から供給される静止被写体の画像(背景画像)の動画像圧縮ビットストリームの背景動画像データと、移動オブジェクト画像符号化部ＯＢ−ＥＮＣのバッファ部１８の出力端子から供給される対向車と追い越し車とのみの動画像圧縮ビットストリームとの移動オブジェクト動画像データとを、画像合成する機能を有する。従って、画像合成部９−１から背景動画像データと対向車と追い越し車の移動オブジェクト動画像データとを含む画像合成動画像信号が生成され、例えば図７中で図示されていないハードディスクドライブ(ＨＤＤ)や半導体不揮発性メモリ等によって構成された車載記録媒体に記録される。
図８は、図７に示す本発明の実施の形態２による半導体集積回路ＥＮＣを搭載する運転記録装置の車両前面カメラによって車両の前面の動画像を撮影する場合に静止被写体の画像(背景画像)と対向車と追い越し車とが撮影される様子を示す図である。
図８には、図２と同様に道路の左側の高層ビルディングが撮影されるだけではなく、道路の右側に対向車と追い越し車が撮影される。道路の右側の対向車は、画像の中央部分Ｌｃでは小さなサイズのオブジェクトＣｏｐｐ＿ｃであるが、画像の周辺部分Ｌｐでは大きなサイズのオブジェクトＣｏｐｐ＿ｐとなる。道路の右側の追い越し車は、画像の周辺部分Ｌｐでは大きなサイズのオブジェクトＣｐａｓｓ＿ｐであるが、画像の中央部分Ｌｃでは小さなサイズのオブジェクトＣｐａｓｓ＿ｃとなる。
《本発明の実施の形態２による効果》
以上、図７乃至図８を参照して説明した運転記録装置に搭載可能な本発明の実施の形態２による他の半導体集積回路ＥＮＣによれば、画素拡大／縮小部１６４は対向車のオブジェクトに関しては対向車両速度に応答した画素拡大処理を実行することによって対向車の参照画像を形成して第２フレームメモリ１６５に格納する一方、追い越し車のオブジェクトに関しては追い越し車両速度に応答した画素縮小処理を実行することによって追い越し車の参照画像を形成して第２フレームメモリ１６５に格納することが可能となる。
従って、本発明の実施の形態２によれば、対向車と追い越し車に関して高圧縮率の画像圧縮と高精細画像の画像記録とが可能となるものである。従って、対向車と追い越し車のいずれかの運転ミス等の主たる事故原因によって事故が発生した場合には、事故を誘発した対向車又は追い越し車の運転状況を運転記録装置に鮮明に記録することが可能となるものである。
以上、本発明者によってなされた発明を種々の実施の形態に基づいて具体的に説明したが、本発明はそれに限定されるものではなく、その要旨を逸脱しない範囲において種々変更可能であることは言うまでもない。
例えば、本発明の実施の形態１と本発明の実施の形態２において、自動車等の車両の運転にともなうハンドル操作による車両の車輪(ホイール)の舵角を車両に搭載された舵角検出器によって検出して、検出された舵角角度を使用して静止被写体の画像(背景画像)や対向車や追い越し車の移動速度を補正することが可能である。その際、静止被写体の画像(背景画像)や対向車や追い越し車のオブジェクトの方向や傾斜を補正することも可能である。
更に本発明による運転記録装置が搭載される車両としては、ガソリンや軽油等の石油燃料を燃焼する内燃エンジンを駆動原とした自動車のみに限定されるものではない。それ以外にバッテリーで駆動される電気モータを駆動原とした電気自動車や、内燃エンジンと電気モータを使用するハイブリッド自動車等にも、本発明による運転記録装置が搭載可能であることは言うまでもない。
また更に本発明は、自動車等の車両に搭載される運転記録装置のみに限定されるものではない。それ以外に撮影者の動画像カメラのカメラワークに従ってバッテリー駆動モータによって対物レンズが被写体の前方や後方に高速移動するオートズーム機構にも適用可能である。すなわち、対物レンズの移動速度に対応するバッテリー駆動モータの回転数に応答して、画素拡大／縮小部６４が画像の中間部分から画像の周辺部分への画素の座標変換による画素の移動量または画像の周辺部分から画像の中間部分への画素の座標変換による画素の移動量と画像の中間部分から画像の周辺部分へ移動する被写体のオブジェクトの拡大率または画像の周辺部分から画像の中間部分へ移動する被写体のオブジェクトの縮小率を算出するものである。
ＥＮＣ…半導体集積回路
Ｂ−ＥＮＣ…背景画像符号化部
ＯＢ−ＥＮＣ…移動オブジェクト画像符号化部
１、１１…第１フレームメモリ
２、１２…動き予測部
３、１３…減算部
４、１４…動き補償部
５、１５…残差符号化部
５１、１５１…離散コサイン変換部(ＤＣＴ)
５２、１５２…量子化部(Ｑ)
５３、１５３…残差可変長符号化部
６、１６…局部復号部
６１、１６１…逆量子化部(ＩＱ)
６２、１６２…逆離散コサイン変換部(ＩＤＣＴ)
６３、１６３…加算部(＋)
６４、１６４…画素拡大／縮小部
６５、１６５…第２フレームメモリ
７、１７…動きベクトル可変長符号化部
８…バッファ部
９−１…画像合成部
９−２…第１画像生成部
９−３…第２画像生成部

Claims (2)

  1. 動き予測部と動き補償部と減算部と離散コサイン変換部と量子化部と逆量子化部と逆離散コサイン変換部と加算部とを具備する動画像符号化装置を有する半導体集積回路であって、
    カメラからの動画像信号に応答して前記動き予測部は前記動画像信号から動きベクトルを生成して、前記動き予測部は前記動きベクトルを前記動き補償部の一方の入力に供給して、
    前記減算部の一方の入力に前記カメラからの前記動画像信号が供給可能とされ、前記減算部の出力は前記離散コサイン変換部の入力に供給可能とされ、前記離散コサイン変換部の出力は前記量子化部の入力に供給可能とされ、前記量子化部の出力は前記逆量子化部の入力に供給可能とされ、前記逆量子化部の出力は前記逆離散コサイン変換部の入力に供給可能とされ、前記逆離散コサイン変換部の出力は前記加算部の一方の入力に供給可能とされ、前記加算部の出力の参照画像は前記動き補償部の他方の入力に供給可能とされ、前記動き補償部の出力の動き補償予測信号は前記減算部の他方の入力と前記加算部の他方の入力とに供給可能とされ、
    前記動画像符号化装置は、前記カメラからの前記動画像信号を画像の中央からの距離に従って画像の中央部分と画像の周辺部分の複数の部分画像に分割して処理して、
    前記動画像符号化装置は、前記加算部の前記出力と前記動き補償部の前記他方の入力との間に接続された画素処理部を更に具備して、
    前記画素処理部は、前記加算部の前記出力の前記参照画像のうち前記画像の前記中央部分に含まれる画素の座標を前記画像の前記周辺部分の座標へ座標変換を実行するものであり、
    前記画素処理部は、前記座標変換の実行に際して、前記画像の前記中央部分に含まれる被写体のオブジェクトを画素単位で拡大処理することを特徴とする半導体集積回路。
  2. 動き予測部と動き補償部と減算部と離散コサイン変換部と量子化部と逆量子化部と逆離散コサイン変換部と加算部とを具備する動画像符号化装置を有する半導体集積回路の動作方法であって、
    カメラからの動画像信号に応答して前記動き予測部は前記動画像信号から動きベクトルを生成して、前記動き予測部は前記動きベクトルを前記動き補償部の一方の入力に供給して、
    前記減算部の一方の入力に前記カメラからの前記動画像信号が供給可能とされ、前記減算部の出力は前記離散コサイン変換部の入力に供給可能とされ、前記離散コサイン変換部の出力は前記量子化部の入力に供給可能とされ、前記量子化部の出力は前記逆量子化部の入力に供給可能とされ、前記逆量子化部の出力は前記逆離散コサイン変換部の入力に供給可能とされ、前記逆離散コサイン変換部の出力は前記加算部の一方の入力に供給可能とされ、前記加算部の出力の参照画像は前記動き補償部の他方の入力に供給可能とされ、前記動き補償部の出力の動き補償予測信号は前記減算部の他方の入力と前記加算部の他方の入力とに供給可能とされ、
    前記動画像符号化装置は、前記カメラからの前記動画像信号を画像の中央からの距離に従って画像の中央部分と画像の周辺部分の複数の部分画像に分割して処理して、
    前記動画像符号化装置は、前記加算部の前記出力と前記動き補償部の前記他方の入力との間に接続された画素処理部を更に具備して、
    前記画素処理部は、前記加算部の前記出力の前記参照画像のうち前記画像の前記中央部分に含まれる画素の座標を前記画像の前記周辺部分の座標へ座標変換を実行するものであり、
    前記画素処理部は、前記座標変換の実行に際して、前記画像の前記中央部分に含まれる被写体のオブジェクトを画素単位で拡大処理することを特徴とする半導体集積回路の動作方法。
JP2011009474A 2011-01-20 2011-01-20 記録装置に搭載可能な半導体集積回路およびその動作方法 Active JP5767816B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2011009474A JP5767816B2 (ja) 2011-01-20 2011-01-20 記録装置に搭載可能な半導体集積回路およびその動作方法
US13/355,061 US9501879B2 (en) 2011-01-20 2012-01-20 Semiconductor integrated circuit mountable on recording device and method of operating the same

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2011009474A JP5767816B2 (ja) 2011-01-20 2011-01-20 記録装置に搭載可能な半導体集積回路およびその動作方法

Publications (2)

Publication Number Publication Date
JP2012151711A JP2012151711A (ja) 2012-08-09
JP5767816B2 true JP5767816B2 (ja) 2015-08-19

Family

ID=46543897

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2011009474A Active JP5767816B2 (ja) 2011-01-20 2011-01-20 記録装置に搭載可能な半導体集積回路およびその動作方法

Country Status (2)

Country Link
US (1) US9501879B2 (ja)
JP (1) JP5767816B2 (ja)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6065195B2 (ja) * 2012-05-08 2017-01-25 パナソニックＩｐマネジメント株式会社 表示映像形成装置及び表示映像形成方法
CN105187824A (zh) * 2014-06-10 2015-12-23 杭州海康威视数字技术股份有限公司 图像编码方法和装置以及图像解码方法和装置
KR20170035832A (ko) * 2014-07-18 2017-03-31 파나소닉 인텔렉츄얼 프로퍼티 코포레이션 오브 아메리카 화상 부호화 방법, 화상 복호 방법, 화상 부호화 장치, 화상 복호 장치, 및 콘텐츠 전송 방법
JP2017063420A (ja) * 2015-09-25 2017-03-30 株式会社半導体エネルギー研究所 半導体装置
CN107046623B (zh) * 2017-03-02 2019-11-26 上海斐讯数据通信技术有限公司 一种实时摄像方法及系统
JP6905184B2 (ja) * 2017-06-07 2021-07-21 富士通株式会社 画像圧縮プログラム、画像圧縮装置、及び画像圧縮方法
JP7224892B2 (ja) * 2018-12-18 2023-02-20 ルネサスエレクトロニクス株式会社 動画像符号化装置及びその動作方法、動画像符号化装置を搭載する車両
JP7359653B2 (ja) * 2019-11-06 2023-10-11 ルネサスエレクトロニクス株式会社 動画像符号化装置

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6009236A (en) * 1994-09-26 1999-12-28 Mitsubishi Denki Kabushiki Kaisha Digital video signal record and playback device and method for giving priority to a center of an I frame
JPH11122610A (ja) * 1997-10-17 1999-04-30 Toshiba Corp 画像符号化方法及び画像復号化方法並びにこれらの装置
JP3735468B2 (ja) * 1998-08-11 2006-01-18 本田技研工業株式会社 移動体認識装置
US6636257B1 (en) * 1998-08-11 2003-10-21 Honda Giken Kogyo Kabushiki Kaisha Mobile body recognizing apparatus and motor vehicle monitoring apparatus
JP3861698B2 (ja) * 2002-01-23 2006-12-20 ソニー株式会社 画像情報符号化装置及び方法、画像情報復号装置及び方法、並びにプログラム
JP2005159925A (ja) * 2003-11-28 2005-06-16 Olympus Corp 画像処理装置、画像処理方法及び画像処理プログラム
JP2005323021A (ja) * 2004-05-07 2005-11-17 Fuji Photo Film Co Ltd 車載撮像システム、および撮像方法
JP4578197B2 (ja) * 2004-09-29 2010-11-10 三洋電機株式会社 画像表示装置
US20070086528A1 (en) * 2005-10-18 2007-04-19 Mauchly J W Video encoder with multiple processors
EP1921867B1 (en) * 2006-10-17 2016-05-25 Harman Becker Automotive Systems GmbH Sensor assisted video compression

Also Published As

Publication number Publication date
US9501879B2 (en) 2016-11-22
US20120188375A1 (en) 2012-07-26
JP2012151711A (ja) 2012-08-09

Similar Documents

Publication Publication Date Title
JP5767816B2 (ja) 記録装置に搭載可能な半導体集積回路およびその動作方法
JP4000872B2 (ja) 画像撮影装置及び色収差補正方法
US20120224766A1 (en) Image processing apparatus, image processing method, and program
EP2094018B1 (en) Encoding apparatus for high frame rate videos, method and program
US8861846B2 (en) Image processing apparatus, image processing method, and program for performing superimposition on raw image or full color image
US20070223909A1 (en) Camera phone, method of controlling the camera phone, and photography support method used for the camera phone
JP2014002635A (ja) 画像処理装置、撮像装置、画像処理方法およびプログラム
WO2009139123A1 (ja) 画像処理装置およびそれを搭載した撮像装置
WO2010010641A1 (ja) 画像合成符号化方法、画像合成符号化装置、撮像システム
JP2005513968A (ja) 映像鮮明度の向上における一時的な整合性の改善
CN109688413B (zh) 以支持辅助帧的视频编码格式编码视频流的方法和编码器
US8705628B2 (en) Method and device for compressing moving image
JP4411220B2 (ja) 映像信号処理装置、及びその映像信号処理方法
US20090129471A1 (en) Image decoding apparatus and method for decoding prediction encoded image data
JP2006074180A (ja) 撮像装置
JP2007134755A (ja) 動画像符号化装置及び画像記録再生装置
JP5872171B2 (ja) カメラシステム
JP2010021710A (ja) 撮像装置、画像処理装置およびプログラム
WO2011010431A1 (ja) 画像処理装置、画像処理方法および撮像装置
US20230164329A1 (en) Video compression apparatus, electronic apparatus, and video compression program
KR101711370B1 (ko) 영상 처리 방법 및 장치
JP2008053848A (ja) 画像処理装置及び画像処理方法
JP6313614B2 (ja) 動画像符号化装置及びその制御方法
JP7380435B2 (ja) 映像処理装置、及び映像処理システム
JP2009278473A (ja) 画像処理装置、それを搭載した撮像装置、および画像再生装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20131011

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140827

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140904

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20141003

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150402

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150525

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20150611

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20150622

R150 Certificate of patent or registration of utility model

Ref document number: 5767816

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150