JP4797588B2 - 車両周辺表示装置 - Google Patents

車両周辺表示装置 Download PDF

Info

Publication number
JP4797588B2
JP4797588B2 JP2005332714A JP2005332714A JP4797588B2 JP 4797588 B2 JP4797588 B2 JP 4797588B2 JP 2005332714 A JP2005332714 A JP 2005332714A JP 2005332714 A JP2005332714 A JP 2005332714A JP 4797588 B2 JP4797588 B2 JP 4797588B2
Authority
JP
Japan
Prior art keywords
driver
gaze direction
vehicle
image
gaze
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2005332714A
Other languages
English (en)
Other versions
JP2007142724A (ja
Inventor
崇 平槇
淳 足立
一矢 渡邊
功祐 佐藤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Aisin Corp
Original Assignee
Aisin Seiki Co Ltd
Aisin Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Aisin Seiki Co Ltd, Aisin Corp filed Critical Aisin Seiki Co Ltd
Priority to JP2005332714A priority Critical patent/JP4797588B2/ja
Priority to EP06823154A priority patent/EP1962509B1/en
Priority to CN2006800431523A priority patent/CN101313576B/zh
Priority to PCT/JP2006/322250 priority patent/WO2007058095A1/ja
Priority to US12/093,857 priority patent/US8115811B2/en
Publication of JP2007142724A publication Critical patent/JP2007142724A/ja
Application granted granted Critical
Publication of JP4797588B2 publication Critical patent/JP4797588B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/23—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with a predetermined field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K35/00—Arrangement of adaptations of instruments
    • B60K35/10—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/22—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle
    • B60R1/28—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles for viewing an area outside the vehicle, e.g. the exterior of the vehicle with an adjustable field of view
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/20—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/30—Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles providing vision in the non-visible spectrum, e.g. night or infrared vision
    • B60K2360/149—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/02—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof
    • B60R11/0229—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes
    • B60R11/0235—Arrangements for holding or mounting articles, not otherwise provided for for radio sets, television sets, telephones, or the like; Arrangement of controls thereof for displays, e.g. cathodic tubes of flat type, e.g. LCD
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/103—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using camera systems provided with artificial illumination device, e.g. IR light source
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/106—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using night vision cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/302—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with GPS information or vehicle data, e.g. vehicle speed, gyro, steering angle data
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/70—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by an event-triggered choice to display a specific image among a selection of captured images
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/802—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views
    • B60R2300/8026—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for monitoring and displaying vehicle exterior blind spot views in addition to a rear-view mirror system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8053—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for bad weather conditions or night vision
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/80—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement
    • B60R2300/8093—Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the intended use of the viewing arrangement for obstacle warning

Description

本発明は、運転者の意図に合った車両周辺画像を自動表示する車両周辺表示装置に関する。
車両の周辺を確認するものとして、ルームミラーやドアミラーに加えて、運転者の死角となる場所をカメラにより撮像して、車室内のモニタに車両周辺の画像を表示する装置が知られている。
従来は、車両周辺の画像を表示するには、運転者が必要と感じた時に、スイッチ操作によって画像表示していたため、使用に煩わしさがあった。
このような問題に鑑みて、車両周辺の画像の自動表示する技術も提案されている（例えば、特許文献１参照）。
特開２００５−５１４０３号公報
特許文献１に開示されている車両周辺表示装置は、運転者の頭部の動きから運転者が表示させたい画像を推定し、該画像をモニタに自動表示する。
この手法では、運転者の頭部の動きしか検出できず、運転者が頭部を動かさないと意図に合った画像を表示できず、また、運転者の頭部の動きによっては意図せぬ画像が表示されることがあった。
本発明は、上記問題点を鑑みてなされたものであり、運転者の意図にあった車両周辺画像を自動表示する車両周辺表示装置を提供することを目的とする。
上記目的を達成するために、本発明の車両周辺表示装置は、
車両に設けられ、運転者の死角となる前記車両の周辺を異なった位置から撮像する複数の車両周辺撮像手段と、
前記車両内に設けられ、画像を画面に表示する表示手段と、
前記車両の運転者の注視する方向を検出する注視方向検出手段と、
前記注視方向検出手段により検出した運転者の注視する方向に基づいて、前記車両周辺撮像手段のいずれかを選択し、選択した車両周辺撮像手段の撮像した画像を前記表示手段に表示させる表示画像切替手段と、を備え、
前記注視方向検出手段は、運転者の顔の向きが左右・上下、視線の向きが左右・上下においてどの範囲を向いているかにより注視方向を決めるテーブルが設定されており、該テーブルに基づいて運転者の注視する方向を検出することを特徴とする。
前記注視方向検出手段は、例えば、運転者が所定の時間継続して注視した方向を、運転者の注視する方向であると判別してもよい。
また、前記注視方向検出手段は、例えば、運転者が所定の時間内に所定の回数注視した方向を、運転者の注視する方向であると判別してもよい。
さらに、前記注視方向検出手段は、例えば、運転者の視線方向と顔の向きに基づき、運転者の注視する方向を判別してもよい。
本発明によれば、運転者の意図にあった車両周辺画像を自動表示することができる。
以下、図面に基づき、本発明の実施の形態に係る車両周辺表示装置について説明する。
図１は、本実施の形態に係る車両周辺表示装置の全体構成を示すブロック図である。図２は本実施の形態に係る車両周辺表示装置を車両に設置した状態を示す平面図である。
本実施の形態に係る車両周辺表示装置を備える車両１００は、ＣＣＤ（Charge Coupled Device）カメラ群１と、運転者７を撮像する赤外線カメラ２と、赤外線照明３と、ナビゲーション装置４と、受光センサ５と、画像を表示するモニタ６と、ＥＣＵ（Electric Control Unit）１０と、を備えている。
ＣＣＤカメラ群１は、ＣＣＤカメラ１ａ、ＣＣＤカメラ１ｂ、ＣＣＤカメラ１ｃ、を備え、各カメラはフロントバンパーや車体に埋め込まれている。
図２に示すように、ＣＣＤカメラ１ａは、運転者７にとって死角となる車両１００の前方下方向を撮像する。ＣＣＤカメラ１ｂは、運転者７にとって死角となる車両１００の前方左下方向を撮像する。ＣＣＤカメラ１ｃは、運転者７にとって死角となる車両１００の左下方向を撮像する。
前方死角用ＣＣＤカメラ１ａ、左前死角用ＣＣＤカメラ１ｂ、左死角用ＣＣＤカメラ１ｃ、は撮像した画像信号をＥＣＵ１０に供給する。
赤外線カメラ２は、ダッシュボード上やステアリングホイールの付近（例えば、ステアリングコラム上）に設置され、運転者７から発生する赤外線を可視化して撮像する。撮像した画像から注視方向を判別するため、ＥＣＵ１０に接続されている。
赤外線照明３は、赤外線カメラ２の近傍に設置され、赤外線を発する装置であって、運転者７の顔の領域を照らすことで、赤外線光量が不足する夜間でも赤外線カメラ２による撮像を可能とする。
ナビゲーション装置４は、モニタ６に表示する地図情報及び自動車現在位置情報を提供する装置であって、モニタ６に表示する画像を制御するＥＣＵ１０に接続されている。
受光センサ５は、車両１００の外部の光度を感知する装置であって、感知した光度をＥＣＵ１０に入力する。ＥＣＵ１０は、この光度を基に赤外線照明３を点灯する。
ＥＣＵ１０は、赤外線カメラ２により取得された顔画像を処理して運転者７の視線方向及び顔向きを検出し、この検出した視線方向及び顔向きに基づいて、運転者７の注視方向を判別し、モニタ６に表示する画像を撮像するＣＣＤカメラをＣＣＤカメラ群１から選択する装置である。ＥＣＵ１０は、キャプチャ１１と、画像メモリ１２と、ＲＯＭ（Read Only Memory）１３と、ＣＰＵ（Central Processing Unit）１４と、ＲＡＭ（Random Access Memory）１５と、を備える。
キャプチャ１１は、ＣＣＤカメラ群１で撮影されたアナログ画像信号を取得する。
画像メモリ１２は、赤外線カメラ２により撮像された画像データを記憶する。
ＲＯＭ１３は、ＣＰＵ１４の動作を制御するためのプログラムを記憶する。また、ＲＯＭ１３は、運転者７の視線方向及び顔向きから注視方向を判別する注視方向テーブルを記憶する。
注視方向テーブルは、運転者７の顔の上下左右方向の向き及び視線の上下左右方向の向きから運転者７が注視している方向を判別するための基準データを記憶する。具体的には、注視方向テーブルは、図８に例示するように、顔の左右方向の向きと、顔の上下方向の向きと、視線の左右方向の向きと、視線の上下方向の向きと、の組み合わせから、運転者７が注視している方向を特定するためのデータを格納する。このデータは、例えば、実験等により計測したデータ等に基づいて構成される。
なお、注視テーブルにおける、上下方向を示す符号及び角度は、図７（ａ）に示すように、水平を基準として下方向を−（負）、上方向を＋（正）とし、水平線と成す角度を表す。また、左右方向を示す符号及び角度は、図７（ｂ）に示すように、正面方向を基準として右方向を−（負）、左方向を＋（正）とし、正面方向と成す角度を示す。
ＣＰＵ１４は、ＲＯＭ１３に格納されているプログラムを実行することにより、赤外線カメラ２により取得された顔画像を処理して運転者７の視線方向及び顔向きを検出し、この検出した視線方向及び顔向きに基づいて、運転者７の注視方向を判別し、モニタ６に表示する画像を選択する装置である。
ＲＡＭ１５は、ＣＰＵ１４のワークエリアとして機能する。また、ＲＡＭ１５には、運転者７の注視方向を示す注視方向フラグが設けられている。
次に、上記構成を備える車両周辺表示装置の動作を説明する。車両１００に電源が投入されると、ＣＰＵ１４は、図３のフローチャートに示す表示画像切替処理を実行する。
まず、ＣＰＵ１４は、モニタ６の電源を入れ、モニタ６の表示を、例えばナビゲーション装置４からの情報に切り替える（ステップＳ１）。
続いて、運転者７を撮像するため、赤外線カメラ２の電源を入れる（ステップＳ２）。
ステップＳ２で、赤外線カメラ２の電源を入れるとＣＰＵ１４は、運転者７の注視方向を検出する、注視方向検出処理に入る（ステップＳ３）。
注視方向検出処理（ステップＳ３）のフローチャートを図４に示す。
注視方向検出処理（ステップＳ３）では、ＣＰＵ１４は、まず、赤外線カメラ２に運転者７を撮像させて、撮像した顔画像を画像メモリ１２に記憶する（ステップＳ３１）。
次に、画像メモリ１２に記憶した顔画像から運転者７の視線方向及び顔向きを検出する（ステップＳ３２）。
運転者７の視線方向及び顔向きを検出する手法は任意であるが、例えば、ＣＰＵ１４は、以下の手法により視線方向と顔向きとを検出する。
まず、視線方向に関しては、ＣＰＵ１４は、画像メモリ１２に記憶した図６（a）に示すような顔画像を二値化し黒点を抽出することにより、顔画像の左領域と右領域とのそれぞれから眼の候補を１又は複数取得する。
続いて、左領域と右領域との１又は複数の眼の候補と、それぞれ図６（b）に示すような眼のサンプルとのマッチングをとることにより、左眼像と右眼像とを判別し、これらの黒目部分の位置座標を求める。続いて、求めた黒目部分の位置座標と目の中心との上下方向及び左右方向のずれの量から、左眼と右眼との上下方向及び左右方向の回転角を求める。
次に、顔向きに関しては、ＣＰＵ１４は、まず、画像メモリ１２に記憶した顔画像をソーベルフィルタ処理し、横エッジ（顔の上下両側端）と縦エッジ（顔の左右両側端）を検出する。
続いて、顔の二値化画像から顔の重心（中心位置）を求める。
そして、顔の重心の、縦エッジ及び横エッジに対する位置関係等から運転者７の上下方向の顔向きと左右方向の顔向きを、図７（ａ）と（ｂ）に示すように、頭部の中心を基準とする角度で求める。
このようにして、視線方向及び顔向きの検出（ステップＳ３２）が終わると、ＣＰＵ１４は、検出した視線方向及び顔向きに基づいて、運転者７の注視方向を判別する（ステップＳ３３）。
具体的には、ＣＰＵ１４は、ステップＳ３２で判別した、顔の左右方向の向き、顔の上下方向の向き、視線の左右方向の向き、及び、視線の上下方向の向きの組み合わせを、ＲＯＭ１３に格納されている図８に示す注視方向テーブルに適合し、一致する注視方向を選択する。
例えば、左右方向の顔向きが＋１０°、上下方向の顔向きが＋７°、左右方向の視線の方向が＋１５°、上下方向の視線の向きが−１０°であると検出されたとすると、この組み合わせは、図８に示す注視方向テーブルの第１列の組み合わせに該当し、注視方向は「前方下方向」であると判別される。
次に、ＣＰＵ１４は、判別した注視方向に基づき、ＲＡＭ１５に設けられた注視方向フラグをセットする、注視方向フラグセット処理に移る（ステップＳ３４）。
即ち、ＣＰＵ１４は、図４のステップＳ３３で、注視方向がモニタ６の方向であると判別したときには、モニタ方向を示す注視方向フラグ「１」をセットする（ステップＳ３４１；Ｙｅｓ、ステップＳ３４５）。
また、注視方向が前方下方向であると判別したときには（ステップＳ３４２；Ｙｅｓ）、注視方向フラグ「２」をセットする（ステップＳ３４６）。
さらに、注視方向が前方左下方向であると判別したときには（ステップＳ３４３；Ｙｅｓ）、注視方向フラグ「３」をセットする（ステップＳ３４７）。
また、注視方向が左方向であると判別したときには（ステップＳ３４４；Ｙｅｓ）、注視方向フラグ「４」をセットする（ステップＳ３４８）。
さらに、注視方向がその他の方向であると判別したときには（ステップＳ３４４；Ｎｏ）中心方向フラグ「０」をセットする（ステップＳ３４９）。
注視方向フラグセット処理（ステップＳ３４１〜Ｓ３４９）が完了すると、処理は、図４に示す注視方向検出処理（ステップＳ３）も終了し、図３の表示画像切替処理に戻る。
表示画像切替処理に戻ると、ＣＰＵ１４は注視方向フラグが「０」であるか、即ち、注視方向が、モニタ６でも、ＣＣＤカメラ群１の撮像範囲でもないか、を判別する（ステップＳ４）。
ステップＳ４で、注視方向フラグが「０」であると判別すると（ステップＳ４；Ｙｅｓ）、モニタ６の表示をナビ画面に切り替え、再び運転者７の注視方向を検出するためにステップＳ３に処理を戻す。ただし、すでに、ナビ画面が表示されている場合は切り替えない（ステップＳ５）。
ステップＳ４で、注視方向フラグが「０」でないと判別すると（ステップＳ４；Ｎｏ）、注視方向フラグが「１」であるか、即ち注視方向がモニタ６の方向であるか否か、を判別する（ステップＳ６）。
ステップＳ６で、注視方向フラグが「１」であると判別すると（ステップＳ６；Ｙｅｓ）、運転者７はモニタ画面を注視していることになるので、ナビ画面に表示中の地図情報等を参照中か、運転者７の死角である車両周辺画像を参照中であるので、モニタ６の画像は切り替えない。そして、再び運転者７の注視方向を検出するためにステップＳ３に処理を戻す。
ステップＳ６で、注視方向フラグが「１」でないと判別すると（ステップＳ６；Ｎｏ）、注視方向フラグが「２」であるか、即ち注視方向が前方下方向であるか否かを、を判別する（ステップＳ７）。
ステップＳ７で、注視方向フラグが「２」であると判別すると（ステップＳ７；Ｙｅｓ）、運転者７は前方下方向を注視していることになる。
そこで、ＣＰＵ１４は、キャプチャ１１を制御して、車両１００の前方下方向を撮像するＣＣＤカメラ１aの出力画像データをキャプチャさせ、モニタ６に供給させることにより、ＣＣＤカメラ１ａが撮像した車両前方下方向の死角域の画像をモニタ６に表示させる（ステップＳ９）。ただし、既に前方下方向を表示中であれば処理をしない。そして、再び運転者７の注視方向を検出するためにステップＳ３に処理を戻す。
ステップＳ７の判別の結果、注視方向フラグが「２」でないと判別すると（ステップＳ７；Ｎｏ）、注視方向フラグが「３」であるか否か、即ち注視方向が前方左下方向であるか否か、を判別する（ステップＳ８）。
ステップＳ８で、注視方向フラグが「３」であると判別すると（ステップＳ８；Ｙｅｓ）、運転者７は前方左下方向を注視していることになる。
そこで、ＣＰＵ１４は、キャプチャ１１を制御して、車両１００の前方左下方向を撮像するＣＣＤカメラ１ｂの出力画像データをキャプチャさせ、モニタ６に供給させることにより、ＣＣＤカメラ１ｂが撮像した車両前方左下方向の死角域の画像をモニタ６に表示させる（ステップＳ１０）。ただし、既に前方左下方向を表示中であれば処理をしない。そして、再び運転者７の注視方向を検出するためにステップＳ３に処理を戻す。
ステップＳ８で、注視方向フラグが「３」でないと判別すると（ステップＳ８；Ｎｏ）、注視方向フラグは「４」ということ、即ち、運転者７は左方向を注視していることになる。
そこで、ＣＰＵ１４は、キャプチャ１１を制御して、車両１００の左方向を撮像するＣＣＤカメラ１ｃの出力画像データをキャプチャさせ、モニタ６に供給させることにより、ＣＣＤカメラ１ｃが撮像した車両左方向の死角域の画像をモニタ６に表示させる（ステップＳ１１）。ただし、既に左方向を表示中であれば処理をしない。そして、再び運転者７の注視方向を検出するためにステップＳ３に処理を戻す。
ステップS３〜S１１の処理を繰り返すことで、ＣＰＵ１４は、運転者７の注視方向に応じて、画像を自動で切り替えることができる。
次に、図８に示す注視方向テーブルと、図９に示す注視方向の時系列データと、を用いて上記構成を備える車両周辺表示装置の動作の具体例を説明する。
図９は、左横に駐車車両のある駐車場から運転者７が車両を左方向に出発させる場合の注視方向の時系列データである。
時刻０〜ｔ１では、顔向きの左右が０°、上下が０°、視線の左右が０°、上下０°、で運転者７は正面方向を向いていることとなり、ＣＰＵ１４は画像を切り替えない。
時刻ｔ１で、顔向きの左右が＋３０°、上下が＋１０°、視線の左右が＋３０°、上下が−１０°、となり、ＣＰＵ１４は注視方向テーブルから、前方左下方向を注視方向として判別し、ＣＣＤカメラ１ｂで撮像する前方左下方向画像をモニタ６に表示させる（ステップＳ１０）。
時刻ｔ２で、顔向きの左右が＋３０°、上下が−１０°、視線の左右が＋３０°、上下が＋１０°、となり、ＣＰＵ１４は注視方向テーブルから、モニタ方向を注視方向として判別し、ＣＣＤカメラ１ｂで撮像する前方左下方向画像をモニタ６に表示させ続ける（ステップＳ３、Ｓ４、Ｓ６）。
時刻ｔ３で、顔向きの左右が＋６０°、上下が＋１０°、視線の左右が＋６０°、上下が−１０°、となり、ＣＰＵ１４は注視方向テーブルから、左方向を注視方向として判別し、ＣＣＤカメラ１ｃで撮像する左方向画像をモニタ６に表示させる（ステップＳ１１）。
時刻ｔ４で、顔向きの左右が＋３０°、上下が−１０°、視線の左右が＋３０°、上下が＋１０°、となり、ＣＰＵ１４は注視方向テーブルから、モニタ方向を注視方向として判別し、ＣＣＤカメラ１ｃで撮像する左方向画像をモニタ６に表示させ続ける（ステップＳ３、Ｓ４、Ｓ６）。
時刻ｔ５以降、顔向きの左右が０°、上下が０°、視線の左右が０°、上下０°、で運転者７は正面方向を向いていることとなり、ＣＰＵ１４は、ナビ画像をモニタ６に表示させる（ステップＳ５）。
以上のように、上記実施の形態に係る車両周辺表示装置によれば、運転者７の特別な操作や大きな動きを必要とせず、ＣＰＵ１４が、赤外線カメラ２で撮像された画像情報から運転者７の顔向きと視線を検出し、運転者７の注視方向を判別して、その注視方向を基に、モニタ６に表示する画像を、運転者７の意図する画像に自動で切り替える。
なお、この発明は上記実施の形態に限定されず、種々の変形及び応用が可能である。
注視方向の判別は、積分機能により、ある所定時間（例えば１秒）注視を続けたことにより判別してもよい。あるいは、ある所定時間（例えば３秒）の間に運転者７が注視した頻度を計測して、頻度が所定回数（例えば２回）を超えた方向を注視方向として判別するようにしてもよい。
また、上記実施の形態では、画像処理によって視線方向と顔向きを検出し、視線方向と顔向きの組み合わせで運転者７の注視方向を判別していた。赤外線照射によって運転者７の眼の網膜による赤外光の再帰反射を発生させ、その反射光を検出することによって運転者７の注視方向を判別してもよい。
図１、図２を参照して説明したシステム構成も一例であり、任意に変更可能である。例えば、上記実施の形態では周辺を撮像するＣＣＤカメラ群１は３台であったが、後方にＣＣＤカメラを増設するなど、台数を増減してもよい。
また、上記実施の形態では、ＥＣＵ１０がモニタ６に表示する画像を制御し切り替えていたが、ＣＣＤカメラ群１やナビゲーション装置４を画像セレクタ等に接続し、ＥＣＵ１０が画像セレクタ等を制御することによりモニタ６に表示する画像を切り替えてもよい。
上記実施の形態では右ハンドル車の車両１００に設けられた車両周辺表示装置について説明した。左ハンドル車でも、上記実施の形態のＣＣＤカメラ群１の設置場所を左右変更し、視線と顔向きの検出時の、顔向きの左右角度のプラスマイナス、視線の左右角度のプラスマイナスを逆にすることで本発明は実施可能である。
また、上記実施の形態では、ＣＰＵ１４が実行するプログラムは、ＲＯＭ１３に記憶されていたが、予め任意の記憶媒体に記憶したり、ネットワークを介して任意の記憶媒体に記憶するようにしてもよい。
上記実施の形態では、運転者７のモニタ６への注視が検出されてもナビ画面を表示し続けていたが、運転者７の注意力低下の防止のため、運転者７のモニタ６への注視が検出されると、モニタ６の表示を消すなどするようにしてもよい。
本発明の実施の形態に係る車両周辺表示装置の全体構成を示すブロック図である。 本発明の実施の形態に係る車両周辺表示装置を車両に設置した状態を示す平面図である。 図１に示す車両周辺表示装置の表示画像切替処理を説明するためのフローチャートである。 図３のフローチャートにおける注視方向検出処理を説明するためのフローチャートである。 図４のフローチャートにおける注視方向フラグセット処理を説明するためのフローチャートである。 視線方向の検出方法を説明するための図である。 顔向きの検出を説明するための図である。 注視方向テーブルの具体例を示す図である。 注視方向の時系列データの具体例を示す図である。
符号の説明
１ ＣＣＤカメラ郡 （車両周辺撮像手段）
２ 赤外線カメラ （注視方向検出手段）
３ 赤外線照明 （注視方向検出手段）
４ ナビゲーション装置
５ 受光センサ
６ モニタ （表示手段）
１０ ＥＣＵ （注視方向検出手段、表示画像切替手段）

Claims (4)

  1. 車両に設けられ、運転者の死角となる前記車両の周辺を異なった位置から撮像する複数の車両周辺撮像手段と、
    前記車両内に設けられ、画像を画面に表示する表示手段と、
    前記車両の運転者の注視する方向を検出する注視方向検出手段と、
    前記注視方向検出手段により検出した運転者の注視する方向に基づいて、前記車両周辺撮像手段のいずれかを選択し、選択した車両周辺撮像手段の撮像した画像を前記表示手段に表示させる表示画像切替手段と、を備え、
    前記注視方向検出手段は、運転者の顔の向きが左右・上下、視線の向きが左右・上下においてどの範囲を向いているかにより注視方向を決めるテーブルが設定されており、該テーブルに基づいて運転者の注視する方向を検出することを特徴とする車両周辺表示装置。
  2. 前記注視方向検出手段は、運転者が所定の時間継続して注視した方向を、運転者の注視する方向であると判別することを特徴とする、請求項１に記載の車両周辺表示装置。
  3. 前記注視方向検出手段は、運転者が所定の時間内に所定の回数注視した方向を、運転者の注視する方向であると判別することを特徴とする、請求項１に記載の車両周辺表示装置。
  4. 前記注視方向検出手段は、運転者の視線方向と顔の向きに基づき、運転者の注視する方向を判別することを特徴とする、請求項１に記載の車両周辺表示装置。
JP2005332714A 2005-11-17 2005-11-17 車両周辺表示装置 Expired - Fee Related JP4797588B2 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
JP2005332714A JP4797588B2 (ja) 2005-11-17 2005-11-17 車両周辺表示装置
EP06823154A EP1962509B1 (en) 2005-11-17 2006-11-08 Vehicle surrounding display device
CN2006800431523A CN101313576B (zh) 2005-11-17 2006-11-08 车辆周边显示装置
PCT/JP2006/322250 WO2007058095A1 (ja) 2005-11-17 2006-11-08 車両周辺表示装置
US12/093,857 US8115811B2 (en) 2005-11-17 2006-11-08 Vehicle surrounding area display device

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2005332714A JP4797588B2 (ja) 2005-11-17 2005-11-17 車両周辺表示装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2011132909A Division JP5201242B2 (ja) 2011-06-15 2011-06-15 車両周辺表示装置

Publications (2)

Publication Number Publication Date
JP2007142724A JP2007142724A (ja) 2007-06-07
JP4797588B2 true JP4797588B2 (ja) 2011-10-19

Family

ID=38048482

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2005332714A Expired - Fee Related JP4797588B2 (ja) 2005-11-17 2005-11-17 車両周辺表示装置

Country Status (5)

Country Link
US (1) US8115811B2 (ja)
EP (1) EP1962509B1 (ja)
JP (1) JP4797588B2 (ja)
CN (1) CN101313576B (ja)
WO (1) WO2007058095A1 (ja)

Families Citing this family (39)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100921092B1 (ko) * 2008-07-04 2009-10-08 현대자동차주식회사 스티어링 휠에 장착된 카메라를 이용하는 운전자 상태 감시시스템
JP2010215194A (ja) * 2009-03-19 2010-09-30 Hyundai Motor Co Ltd 車載機器の操作装置
CN102039842A (zh) * 2009-10-22 2011-05-04 侯方勇 一种提示驾驶员观察目标的装置和方法
FR2956364B1 (fr) * 2010-02-18 2016-01-29 Peugeot Citroen Automobiles Sa Dispositif d'aide aux manoeuvres d'un vehicule par affichage de points de vue fonction de la position de la tete du conducteur
JP5345660B2 (ja) * 2011-09-08 2013-11-20 本田技研工業株式会社 車載機器特定装置
DE102012206030A1 (de) * 2012-04-13 2013-10-17 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern zumindest einer Funktion zumindest eines Anzeigegerätes für einen Innenraum eines Fahrzeugs
JP6102213B2 (ja) * 2012-11-22 2017-03-29 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
CN102991504B (zh) * 2012-12-07 2015-06-03 长安大学 一种对驾驶员换道安全性进行判断并预警的方法
GB2508860A (en) * 2012-12-13 2014-06-18 Nissan Motor Mfg Uk Ltd Vehicle Rear-View Camera System
JP6234701B2 (ja) * 2013-05-15 2017-11-22 クラリオン株式会社 車両用周囲モニタ装置
DE102013009217A1 (de) * 2013-05-31 2014-12-04 Man Truck & Bus Ag Verfahren und Vorrichtung zur Umfelderfassung und -überwachung von Fahrzeugen, insbesondere von Nutzfahrzeugen
US9619695B2 (en) 2013-06-06 2017-04-11 Visteon Global Technologies, Inc. Gaze time indicator for a vehicle
US9538077B1 (en) * 2013-07-26 2017-01-03 Ambarella, Inc. Surround camera to generate a parking video signal and a recorder video signal from a single sensor
JP6090129B2 (ja) 2013-11-27 2017-03-08 株式会社デンソー 視認領域推定装置
DE102013224962A1 (de) * 2013-12-05 2015-06-11 Robert Bosch Gmbh Anordnung zum Erstellen eines Bildes einer Szene
US9756319B2 (en) * 2014-02-27 2017-09-05 Harman International Industries, Incorporated Virtual see-through instrument cluster with live video
DE102014204800A1 (de) * 2014-03-14 2015-09-17 Volkswagen Aktiengesellschaft Verfahren und Vorrichtung zum Bereitstellen einer graphischen Nutzerschnittstelle in einem Fahrzeug
JP6252304B2 (ja) * 2014-03-28 2017-12-27 株式会社デンソー 車両用認知通知装置、車両用認知通知システム
US20160046236A1 (en) * 2014-08-13 2016-02-18 Sensory, Incorporated Techniques for automated blind spot viewing
KR102263725B1 (ko) * 2014-11-21 2021-06-11 현대모비스 주식회사 주행 정보 제공 장치 및 주행 정보 제공 방법
FR3034215B1 (fr) * 2015-03-27 2018-06-15 Valeo Comfort And Driving Assistance Procede de commande, dispositif de commande, systeme et vehicule automobile comprenant un tel dispositif de commande
US20160297362A1 (en) * 2015-04-09 2016-10-13 Ford Global Technologies, Llc Vehicle exterior side-camera systems and methods
KR101902287B1 (ko) * 2015-12-28 2018-09-28 주식회사 유라코퍼레이션 차량 사각지대의 표시장치 및 방법
MX2019001528A (es) * 2016-08-09 2019-07-04 Nissan Motor Metodo de control y dispositivo de control de vehiculo de conduccion automatica.
WO2018106887A1 (en) * 2016-12-07 2018-06-14 Scheich Davo Vehicle photographic chamber
CN106740581A (zh) * 2017-01-03 2017-05-31 青岛海信移动通信技术股份有限公司 一种车载设备的控制方法、ar装置及ar系统
CN107009961A (zh) * 2017-03-03 2017-08-04 北京汽车股份有限公司 汽车和汽车透明座舱系统
DE102018100194B3 (de) 2018-01-05 2019-01-03 Trw Automotive Electronics & Components Gmbh Spiegelersatzsystem sowie Verfahren zur Darstellung von Bild- und/oder Videodaten der Umgebung eines Kraftfahrzeugs
JP2019154815A (ja) * 2018-03-13 2019-09-19 株式会社リコー 眼球の傾き位置検知装置、表示装置、及び検眼装置
JP7063024B2 (ja) * 2018-03-15 2022-05-09 いすゞ自動車株式会社 検出装置および検出システム
CN108657184A (zh) * 2018-07-06 2018-10-16 京东方科技集团股份有限公司 车辆辅助驾驶系统、方法、装置及存储介质
CN108973862A (zh) * 2018-07-25 2018-12-11 深圳安易行科技有限公司 车载信息处理方法及相关产品
JP7121583B2 (ja) * 2018-08-07 2022-08-18 本田技研工業株式会社 表示装置、表示制御方法、およびプログラム
JP7147527B2 (ja) 2018-12-10 2022-10-05 トヨタ自動車株式会社 支援装置、支援方法およびプログラム
JP6907250B2 (ja) * 2019-01-18 2021-07-21 矢崎総業株式会社 車両用表示装置
EP3744568B1 (en) * 2019-05-29 2022-01-19 Ningbo Geely Automobile Research & Development Co. Ltd. A system and method for providing a desired view for a vehicle occupant
US11292398B2 (en) * 2020-04-20 2022-04-05 Hyundai Mobis Co., Ltd. Apparatus for displaying forward blind spot situation
CN112319372A (zh) * 2020-11-27 2021-02-05 北京三快在线科技有限公司 一种基于流媒体后视镜的图像显示方法及装置
JP2023109259A (ja) * 2022-01-27 2023-08-08 フォルシアクラリオン・エレクトロニクス株式会社 表示制御装置、及び表示制御方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0319677A (ja) * 1989-06-15 1991-01-28 Kanebo Ltd 蛋白質を含有する酸性飲食品
JPH06262959A (ja) * 1993-03-15 1994-09-20 Aisin Seiki Co Ltd 脇見運転警報装置
JP3019677B2 (ja) * 1993-09-06 2000-03-13 三菱自動車工業株式会社 わき見運転防止装置
JP3530591B2 (ja) * 1994-09-14 2004-05-24 キヤノン株式会社 音声認識装置及びこれを用いた情報処理装置とそれらの方法
JP3272906B2 (ja) * 1995-05-29 2002-04-08 シャープ株式会社 視線方向検出方法及び装置及びそれを含むマンマシンインターフェース装置
US7570785B2 (en) * 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants
JPH09251342A (ja) * 1996-03-15 1997-09-22 Toshiba Corp 注視箇所推定装置とその方法及びそれを使用した情報表示装置とその方法
GB9823977D0 (en) * 1998-11-02 1998-12-30 Scient Generics Ltd Eye tracking method and apparatus
US7180476B1 (en) * 1999-06-30 2007-02-20 The Boeing Company Exterior aircraft vision system using a helmet-mounted display
US6758563B2 (en) * 1999-12-30 2004-07-06 Nokia Corporation Eye-gaze tracking
DE10158415C2 (de) * 2001-11-29 2003-10-02 Daimler Chrysler Ag Verfahren zur Überwachung des Innenraums eines Fahrzeugs, sowie ein Fahrzeug mit mindestens einer Kamera im Fahrzeuginnenraum
US8013889B1 (en) * 2002-10-11 2011-09-06 Hong Brian Kwangshik Peripheral viewing system for a vehicle
JP4551766B2 (ja) 2002-10-15 2010-09-29 ボルボ テクノロジー コーポレイション 被験者の頭及び目の動きを分析する方法及び装置
US7553021B2 (en) * 2003-02-13 2009-06-30 Fergason Patent Properties, Llc Optical system for monitoring eye movement
JP3832455B2 (ja) 2003-07-31 2006-10-11 日産自動車株式会社 車輌周囲表示装置
JP4118773B2 (ja) 2003-09-11 2008-07-16 日産ディーゼル工業株式会社 視線方向検出装置及び視線方向検出方法
JP4222183B2 (ja) * 2003-10-29 2009-02-12 株式会社デンソー 車両周辺画像表示装置
JP4189512B2 (ja) 2004-01-15 2008-12-03 コニカミノルタビジネステクノロジーズ株式会社 フルカラー画像形成方法
JP4206928B2 (ja) * 2004-01-19 2009-01-14 株式会社デンソー 衝突可能性判定装置
JP4246084B2 (ja) * 2004-02-17 2009-04-02 日産自動車株式会社 車両用走行制御装置
JP4134939B2 (ja) * 2004-04-22 2008-08-20 株式会社デンソー 車両周辺表示制御装置
JP4317079B2 (ja) 2004-05-20 2009-08-19 矢崎総業株式会社 ジョイントボックスの電線収束構造
WO2006108017A2 (en) * 2005-04-04 2006-10-12 Lc Technologies, Inc. Explicit raytracing for gimbal-based gazepoint trackers
WO2007000178A1 (de) * 2005-06-29 2007-01-04 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur verzerrungsfreien darstellung
JP2007015663A (ja) * 2005-07-11 2007-01-25 Toyota Motor Corp 車両用監視モニタシステム

Also Published As

Publication number Publication date
US8115811B2 (en) 2012-02-14
EP1962509A4 (en) 2010-08-18
JP2007142724A (ja) 2007-06-07
EP1962509A1 (en) 2008-08-27
US20090268025A1 (en) 2009-10-29
CN101313576B (zh) 2011-05-18
EP1962509B1 (en) 2011-12-21
CN101313576A (zh) 2008-11-26
WO2007058095A1 (ja) 2007-05-24

Similar Documents

Publication Publication Date Title
JP4797588B2 (ja) 車両周辺表示装置
EP1725035B1 (en) Image display apparatus and method for a vehicle
US8542129B2 (en) Parking aid system
JP4815993B2 (ja) 駐車支援方法及び駐車支援装置
US8665331B2 (en) In-vehicle image display apparatus
US10166922B2 (en) On-vehicle image display device, on-vehicle image display method for vehicle, and on-vehicle image setting device
JP5201242B2 (ja) 車両周辺表示装置
JP2009083764A (ja) 運転支援装置、運転支援方法及びコンピュータプログラム
CN101396989A (zh) 车辆周边监视设备和车辆周边监视方法
JP2009078597A (ja) 後方確認システム
JP2005051403A (ja) 車輌周囲表示装置
JP2018022958A (ja) 車両用表示制御装置及び車両用モニタシステム
KR20170138939A (ko) 자동차의 주변을 표시하기 위한 장치 및 방법
JP3739269B2 (ja) 車両運転支援装置
JP4479183B2 (ja) 映像提示装置
JP5853206B2 (ja) 車載用表示装置
JPH10236228A (ja) 車載死角モニタ装置
JP2007015663A (ja) 車両用監視モニタシステム
JPH11283198A (ja) 車両の走行環境報知装置
JP2005135203A (ja) 車両運転支援装置
JP2007085745A (ja) 物体監視装置
JP5581754B2 (ja) 運転支援装置
CN116476742A (zh) 一种车辆控制方法、装置、电子设备、存储介质及车辆
JP2011166277A (ja) 車両周囲表示装置
JP2018160023A (ja) 運転支援装置、運転支援方法およびプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20080617

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20110419

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20110615

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110705

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110718

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

R151 Written notification of patent or utility model registration

Ref document number: 4797588

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140812

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees