JP4029698B2

JP4029698B2 - 画像表示システム

Info

Publication number: JP4029698B2
Application number: JP2002260413A
Authority: JP
Inventors: 昌弘徳永
Original assignee: Sumitomo Electric Industries Ltd
Current assignee: Sumitomo Electric Industries Ltd
Priority date: 2002-09-05
Filing date: 2002-09-05
Publication date: 2008-01-09
Anticipated expiration: 2022-09-05
Also published as: JP2004104258A

Description

【０００１】
【発明の属する技術分野】
本発明は、車両に取付けられた撮像装置で撮像された画像を表示装置に表示する画像表示システムに関する。
【０００２】
【従来の技術】
自動車等の車両の運転を支援する装置として、車載カメラと、車載カメラで撮像した画像が表示される車載表示装置とが用いられている。例えば、車両後方を車載カメラで撮像し、車載表示装置で車両後方を確認しながら車庫入れを行う。また、車両の左右前方及び／又は左右後方を車載カメラで撮像し、車載表示装置で左右前方及び／又は左右後方を確認しながら進路変更等を行う（例えば特許文献１参照）。
【０００３】
【特許文献１】
特開２００２−７９８８０号公報
【０００４】
【発明が解決しようとする課題】
車載カメラは、不具合が生じて、車載表示装置に送られる画像が変化せずに固定した状態（以下、フリーズと呼ぶ）になる場合がある。車載カメラがフリーズした場合、車両が移動していても、車載表示装置に表示される画像は変化しないため、運転を支援できない。しかし、フリーズを検出する方法は無く、フリーズの発生を報知する方法も無いため、運転者は、フリーズに気付かずに運転を続ける場合がある。
【０００５】
本発明は斯かる事情に鑑みてなされたものであり、画像に付加された順序情報が正常であると判定された場合に画像を表示装置に表示することにより、表示装置に表示される撮像画像の信頼性を高め、撮像画像を使用した運転補助の安全性を高めることができる画像表示システムを提供することを目的とする。
【０００６】
また、本発明は、画像及び該画像が撮像された時刻の伝送を、汎用性が高く、データ伝送が高速なＩＥＥＥ１３９４に準拠した伝送で行う画像表示システムを提供することを他の目的とする。
【０００７】
また、本発明は、撮像装置で撮像された時刻、または、画像の通し番号が変化しないことに基づいて、表示装置に表示される撮像画像のフリーズを検出することができる画像表示システムを提供することを他の目的とする。
【０００８】
また、本発明は、画像の撮像された時刻が変化しない場合、表示装置に報知文字などを表示して、表示装置に表示される撮像画像がフリーズしていることを報知することができる画像表示システムを提供することを他の目的とする。
【０００９】
また、本発明は、画像に報知文字を重ねて表示し、撮像装置で撮像された画像を表示したままの状態でフリーズを迅速に報知することができる画像表示システムを提供することを他の目的とする。
【００１０】
【課題を解決するための手段】
第１発明に係る画像表示システムは、車両に取付けられた撮像装置で撮像され、表示順序に関する順序情報が付加された画像を、車両に搭載された表示装置に伝送して表示させる画像表示システムにおいて、撮像装置から連続して伝送される画像の順序情報が正常であるか否かを判定する判定手段を備え、順序情報が正常であると判定された場合、撮像装置から伝送される画像を表示装置に表示させるように構成されていることを特徴とする。
【００１１】
第２発明に係る画像表示システムは、第１発明において、画像の伝送は、ＩＥＥＥ１３９４のデータ伝送に準拠していることを特徴とする。
【００１２】
第３発明に係る画像表示システムは、第１又は第２発明において、撮像装置は、時計手段を備え、順序情報は、画像の撮像された時刻を含むことを特徴とする。
【００１３】
第４発明に係る画像表示システムは、第３発明において、画像の伝送はＩＥＥＥ１３９４の等時性伝送に準拠しており、画像の撮像された時刻は、ＩＥＥＥ１３９４の等時性伝送パケットのＣＩＰ（Common Isochronous Packet）ヘッダに付加されることを特徴とする。
【００１４】
第５発明に係る画像表示システムは、第３又は第４発明において、伝送された画像及び該画像の前に伝送された画像の撮像された時刻を比較する比較手段と、撮像された時刻が同じ場合、撮像装置から伝送される画像が変化していないことを報知する報知手段とを備えることを特徴とする。
【００１５】
第６発明に係る画像表示システムは、第５発明において、画像に文字を重ねる画像合成手段を備え、前記報知手段は、報知用文字を画像合成手段に送るように構成されていることを特徴とする。
【００１６】
第７発明に係る画像表示システムは、第１又は第２発明において、撮像装置は、撮像された画像の累計値を計数する計数手段を備え、順序情報は、計数手段で計数された累計値に基づく、撮像装置で撮像された画像の通し番号を含むことを特徴とする。
【００１７】
第１発明においては、撮像装置から連続して伝送される画像の順序情報が正常であるか否かを判定手段で判定し、正常であると判定された場合、画像を表示装置に伝送し、表示させる。順序情報は表示順序に関する情報であるため、各画像毎に異なるはずである。しかし、撮像装置の撮像画像がフリーズした状態では、撮像装置から伝送される画像は固定された状態になり、順序情報も固定された状態になる。順序情報が正常な場合は画像を表示装置に伝送して表示させ、順序情報が変化しないなどの正常でない場合は、例えば画像を表示装置に伝送せずに表示を中止させる。
【００１８】
第２発明においては、画像の伝送は、ＩＥＥＥ１３９４に準拠した伝送であり、撮像装置及び表示装置は、ＩＥＥＥ１３９４に準拠した通信インタフェイスを備え、ＩＥＥＥ１３９４に準拠した通信ネットワークに接続されている。例えば、ＩＥＥＥ１３９４に準拠した車載ネットワークに、車載撮像装置及び車載表示装置が接続される。
【００１９】
第３又は第７発明においては、順序情報は、撮像装置で撮像された時刻、または、撮像装置で撮影された画像の通し番号を含んでおり、連続して伝送された画像の撮像された時刻又は通し番号に変化が無いことから、撮像装置の撮像画像がフリーズしていることを検出できる。また、撮像装置で撮像された時刻の代わりに、撮像された時刻に基づく表示装置に表示すべき時刻を用いることも可能である。
【００２０】
第４発明においては、画像の伝送はＩＥＥＥ１３９４の等時性（Ｉｓｏｃｈｒｏｎｏｕｓ）伝送で行う。画像の撮像された時刻は、ＩＥＥＥ１３９４のＩｓｏｃｈｒｏｎｏｕｓパケット（等時性伝送パケット）のＣＩＰ（Common Isochronous Packet）ヘッダに付加する。画像及び該画像の撮像された時刻を、ＩＥＥＥ１３９４のＩｓｏｃｈｒｏｎｏｕｓパケットで伝送できるため、汎用性が高く、高速なデータ伝送が可能になる。
【００２１】
第５発明においては、送された画像及び該画像の前に伝送された画像の撮像された時刻を比較手段で比較する。例えば、撮像装置から画像が伝送される都度、今回伝送された画像及び前回伝送された画像の撮像された時刻の比較を行う。撮像された時刻が同じ場合、報知手段により、撮像装置から伝送された画像が変化していないことを報知する。例えば、表示装置に報知文字を表示したり、スピーカから報知音を出力する。
【００２２】
第６発明においては、今回伝送された画像及び前回伝送された画像の撮像された時刻が同じ場合、報知手段から画像合成手段に報知文字を送る。画像合成手段は、表示装置に表示する画像に、報知手段から受付けた報知文字を重ねる。表示装置には、報知文字が重ねられた撮像画像が表示される。車両の運転者等は、撮像装置で撮像された画像を見ながら報知文字を見る。フリーズの誤検出又はフリーズが一時的なものであった場合でも、撮像装置で撮像された画像を見続けることが可能である。
【００２３】
【発明の実施の形態】
以下、本発明をその実施の形態を示す図面に基づいて具体的に説明する。本説明においては、カメラ（撮像装置）と、カメラで撮像された画像を表示する表示装置とを備えた自動車（車両）を例にして説明する。画像は、例えば１秒間に３０枚の画像フレームで構成されている。
【００２４】
図１に、本発明に係る画像表示システムの例を示す。画像表示システムは、ＣＣＤ（Charge Coupled Device）等を用いたカメラ（撮像装置）１０と、液晶ディスプレイ又はＣＲＴ（Cathode-Ray Tube）ディスプレイ等の表示装置２０と、カメラ１０及び表示装置２０が接続される監視ユニット３０とを備える。
【００２５】
カメラ１０と、表示装置２０と、監視ユニット３０とは、専用の配線で接続したり、車載ＬＡＮ（Local Area Network）を介して接続することが可能である。本発明においては、ＩＥＥＥ（Institute of Electrical and Electronic Engineers）１３９４に準拠した車載ＬＡＮに、カメラ１０、表示装置２０及び監視ユニット３０が接続されている。
【００２６】
カメラ１０は、カメラ本体部で撮像され、タイムスタンプが付加された画像フレームをカメラ本体部から受付け、受付けたタイムスタンプ及び画像フレームを含んだパケットを構成するパケット構成部１４と、パケット構成部１４に接続され、パケット構成部１４で構成されたパケットを監視ユニット３０に送信するデータ通信部１６とを備える。
【００２７】
カメラ（カメラ本体部）１０は、クロック発振回路などを含んだ時計手段を備えており、前記タイムスタンプは、時計手段に基づく、画像フレームが撮像された時刻を含む。データ通信部１６は、ＩＥＥＥ１３９４に準拠したデータ伝送を行う。本説明では、ＩＥＥＥ１３９４の等時性（Ｉｓｏｃｈｒｏｎｏｕｓ）伝送で画像フレームを伝送する。タイムスタンプは、例えば図２に示すように、ＩＥＥＥ１３９４ＩｓｏｃｈｒｏｎｏｕｓパケットのＣＩＰ（Common Isochronous Packet）ヘッダのＳＹＴフィールドに埋め込まれる。タイムスタンプには、撮像された時刻に基づく、表示装置２０に表示すべき時刻が含まれる場合もある。
【００２８】
監視ユニット３０は、カメラ１０から伝送される画像フレーム及びタイムスタンプ（Ｉｓｏｃｈｒｏｎｏｕｓパケット）を受信するデータ受信部３２と、データ受信部３２に接続され、受信したＩｓｏｃｈｒｏｎｏｕｓパケットを分解して画像フレーム及びタイムスタンプを取出すパケット分解部３４と、パケット分解部３４に接続され、取出した画像フレームからＮＴＳＣデータなどの画像データを作成する画像データ作成部４０とを備える。
【００２９】
また、監視ユニット３０は、パケット分解部３４に接続され、取出したタイムスタンプが正常であるか否かを判定し、タイムスタンプが正常であることを確認するタイムスタンプ確認部（判定手段）３６と、タイムスタンプ確認部３６に接続され、タイムスタンプが正常でない場合に警告メッセージを出力する警告出力部（報知手段）３８と、画像データ作成部４０及び警告出力部３８に接続され、警告出力部３８から警告メッセージが出力されている場合は、画像データ作成部４０で作成された画像データに警告メッセージを重ねるスーパーインポーズ処理部（画像合成手段）４２と、スーパーインポーズ処理部４２に接続され、画像データを表示装置２０に送信するデータ送信部４４とを備える。
【００３０】
データ受信部３２及びデータ送信部４４は、ＩＥＥＥ１３９４に準拠したデータ伝送を行う。本説明では、ＩＥＥＥ１３９４のＩｓｏｃｈｒｏｎｏｕｓ伝送で画像データを伝送する。タイムスタンプ確認部３６は、前回受付けたタイムスタンプ及び今回受付けたタイムスタンプを記憶するレジスタなどの記憶手段を備え、前回受付けたタイムスタンプ及び今回受付けたタイムスタンプを比較する手段（比較手段）として動作する。両者のタイムスタンプが同一の場合、カメラ１０の撮像画像がフリーズしている可能性が高く、タイムスタンプ確認部３６は、警告出力部３８に警告の出力指示を送る。
【００３１】
警告出力部３８は、警告メッセージ（報知文字）が記憶されたＲＯＭなどの記憶手段を備え、タイムスタンプ確認部３６から警告の出力指示を受取った場合、警告メッセージをスーパーインポーズ処理部４２に送る。スーパーインポーズ処理部４２は、警告出力部３８から警告メッセージが出力されていない場合は、画像データ作成部４０で作成された画像データをそのままデータ送信部４４に出力する。しかし、警告出力部３８から警告メッセージが出力されている場合は、画像データ作成部４０で作成された画像データに、警告出力部３８から出力された警告メッセージを重ねるスーパーインポーズ処理を行い、警告メッセージがスーパーインポーズ表示された画像データをデータ送信部４４に出力する。
【００３２】
表示装置２０は、監視ユニット３０から画像データを受信するデータ通信部２２と、データ通信部２２に接続され、受信した画像データを表示するデータ表示部２４とを備える。データ通信部２２は、ＩＥＥＥ１３９４に準拠したデータ伝送を行う。本説明では、ＩＥＥＥ１３９４のＩｓｏｃｈｒｏｎｏｕｓ伝送で画像データを伝送する。
【００３３】
カメラ１０のデータ通信部１６と監視ユニット３０のデータ受信部３２との間、および、監視ユニット３０のデータ送信部４４と表示装置２０のデータ通信部２２との間で、夫々ＩＥＥＥ１３９４のＩｓｏｃｈｒｏｎｏｕｓ伝送に関するネゴシエーションが行われる。ネゴシエーションは、一般的なＩＥＥＥ１３９４のＩｓｏｃｈｒｏｎｏｕｓ伝送の場合と同様に行う。
【００３４】
次に、本発明に係る画像表示システムを用いたフリーズの検出及び警告の表示について説明する。フリーズの検出及び警告の表示手順の例を図３に示す。
データ受信部３２で受付けた（Ｓ１０）パケット（Ｉｓｏｃｈｒｏｎｏｕｓパケット）は、パケット分解部３４に送られ、画像フレームとタイムスタンプとが取出される（Ｓ１２）。取出した画像フレームは、画像データ作成部４０に送られ、画像データが作成される。また、取出したタイムスタンプは、タイムスタンプ確認部３６に送られ、前回のタイムスタンプと比較される（Ｓ１４）。タイムスタンプが変化していない場合（Ｓ１６：ＹＥＳ）、タイムスタンプ確認部３６は、警告出力部３８に警告の出力を指示し、警告出力部３８から警告メッセージを出力させる（Ｓ１８）。
【００３５】
画像データ作成部４０で作成された画像データはスーパーインポーズ処理部４２に送られる。警告出力部３８からスーパーインポーズ処理部４２に警告メッセージが送られている場合、スーパーインポーズ処理部４２は、画像データに警告メッセージを重ねるスーパーインポーズ処理を行い（Ｓ２０）、警告メッセージが重ねられた画像データを出力する。タイムスタンプが変化しており（Ｓ１６：ＮＯ）、警告出力部３８からスーパーインポーズ処理部４２に警告メッセージが送られていない場合は、スーパーインポーズ処理部４２から画像データがそのまま出力される。スーパーインポーズ処理部４２から出力された画像データは、データ送信部４４から表示装置２０に送信され（Ｓ２２）、表示装置２０に表示される。
【００３６】
以後、パケットがカメラ１０から監視ユニット３０に入力される都度、図３に示した処理を繰り返す。ただし、画像フレームが、例えば３回入力される都度、図３に示した処理を非連続的に繰り返すことも可能である。
【００３７】
上述した実施の形態においては、連続して受付けた画像フレームのタイムスタンプを比較してフリーズを検出したが、画像フレームに連続番号（通し番号）を付加し、続けて受付けた２つの画像フレームに夫々付加されている連続番号を比較してフリーズを検出することも可能である。
【００３８】
また、上述した実施の形態においては、続けて受付けた２つの画像フレームのタイムスタンプが変化している場合は、フリーズなどの異常が発生していないと判断しているが、前回のタイムスタンプに基づいて今回の予定タイムスタンプを予め算出しておき、今回のタイムスタンプが予定タイムスタンプに一致している場合は、フリーズなどの異常が発生していないと判断することも可能である。
【００３９】
また、上述した実施の形態においては、警告メッセージをカメラ１０で撮影された画像データにスーパーインポーズ表示したが、カメラ１０で撮影された画像データを表示せずに、警告画像のみを表示することも可能である。
【００４０】
図４に、タイムスタンプの代わりに連続番号を用い、今回の連続番号と事前に算出した今回の予定連続番号とを比較し、フリーズが検出された場合は、警告画像のみを表示する画像表示システムの例を示す。カメラ１１本体部は、撮像した画像フレームの累計値を計数する計数手段を備え、撮像された画像フレームには累計値に基づく通し番号（連続番号）が付加される。カメラ１１のパケット構成部１５は、画像フレーム及び画像フレームに付加された連続番号を受付ける。パケット構成部１５は、タイムスタンプ（時刻）の代わりに連続番号が含まれたパケットを構成し、構成したパケットをデータ通信部１６から監視ユニット３１へ送信する。
【００４１】
監視ユニット３１は、データ受信部３２で受取ったパケットから画像フレームと連続番号を取出すパケット分解部３５と、画像フレームから画像データを作成する画像データ作成部４０と、連続番号が予定連続番号に一致しているか否かを判定し、連続番号が予定連続番号に一致していることを確認する連続番号確認部３７と、連続番号が予定連続番号と一致していない場合に、警告画像を出力する警告出力部３９と、警告画像が出力されていない場合は画像データをデータ送信部４４に出力し、警告画像が出力されている場合は警告画像をデータ送信部４４に出力する出力切換部４３とを備える。
【００４２】
連続番号確認部３７は、前回の連続番号が１２３４の場合、今回の予定連続番号１２３５を算出してレジスタなどに記憶しておく。なお、連続番号の代わりに、画像フレームのフレームレートが１秒間に２０枚のタイムスタンプを用いた場合は、前回のタイムスタンプが１分３０秒１５の場合、今回の予定タイムスタンプ１分３０秒２０を算出してレジスタなどに記憶しておく。
【００４３】
図４に示す画像表示システムを用いたフリーズの検出及び警告の表示手順の例を図５に示す。データ受信部３２で受付けた（Ｓ１０）パケットは、パケット分解部３５に送られ、画像フレームと連続番号とが取出される（Ｓ３０）。画像フレームは、画像データ作成部４０に送られ、画像データが作成される。連続番号は、連続番号確認部３７に送られ、予定連続番号と比較される（Ｓ３２）。今回受付けた連続番号が予定連続番号と一致しない場合（Ｓ３４：ＮＯ）、連続番号確認部３７は、警告出力部３９に警告の出力を指示し、警告出力部３９から警告画像を出力させる（Ｓ３６）。
【００４４】
画像データ作成部４０で作成された画像データは出力切換部４３に送られる。出力切換部４３は、警告出力部３９から警告画像が送られている場合は、警告画像をデータ送信部４４から送信させる（Ｓ３８）。連続番号が予定連続番号と一致している場合（Ｓ３４：ＹＥＳ）は、警告出力部３９から警告画像は出力されず、出力切換部４３は、画像データをデータ送信部４４から送信させる（Ｓ４０）。
【００４５】
上述した実施の形態においては、監視ユニットにカメラ及び表示装置を接続したが、監視ユニットを表示装置内部に設け、カメラを表示装置に接続する構成にすることも可能である。また、上述した実施の形態においては、車両の例として自動車を例にして説明したが、電車等の任意の車両に本発明を適用することが可能である。
【００４６】
【発明の効果】
第１発明によれば、撮像装置から伝送される画像に付加された順序情報が判定手段によって正常であると判定された場合に、画像を表示装置に表示することにより、撮像装置の撮像画像の固定（フリーズ）が発生していないと判定された画像フレームが表示装置に表示されるため、表示装置に表示される撮像画像の信頼性を高め、撮像画像を使用した運転補助の安全性を高めることができる。
【００４７】
第２発明によれば、撮像装置で撮像された画像の伝送をＩＥＥＥ１３９４に準拠した伝送にすることにより、ＩＥＥＥ１３９４に対応した機器をＩＥＥＥ１３９４に対応した通信ネットワークに接続でき、汎用性が高まる。また、ＩＥＥＥ１３９４に準拠した高速データ伝送が可能になり、容量の大きなデータも高速に伝送することができる。
【００４８】
第３又は第７発明によれば、撮像装置で撮像された時刻、または、撮像装置で撮影された画像の通し番号が変化しないことに基づいてフリーズを検出することができる。画像には、撮像された時刻又は通し番号が付与されている場合が多く、撮像装置側の変更無しにフリーズを検出することができる。
【００４９】
第４発明によれば、画像の撮像された時刻を、ＩＥＥＥ１３９４のＩｓｏｃｈｒｏｎｏｕｓパケットのＣＩＰヘッダに付加することにより、画像及び該画像が撮像された時刻の伝送に、汎用性が高く、データ伝送が高速なＩＥＥＥ１３９４を使用することができる。
【００５０】
第５発明によれば、撮像装置から続けて伝送された２つの画像の撮像された時刻が同じ場合、報知手段により、撮像装置の撮像画像がフリーズしている可能性があることを報知することができる。撮像画像のフリーズを迅速に報知できると共に、フリーズからの回復処理を迅速に促すことができる。
【００５１】
第６発明によれば、画像合成手段で画像に報知文字を重ねることにより、撮像装置で撮像された画像を表示したままの状態で、車両の運転者等に迅速にフリーズを報知することができる。
【図面の簡単な説明】
【図１】本発明に係る画像表示システムの例を示すブロック図である。
【図２】パケットの構成例を示す図である。
【図３】フリーズの検出及び警告の表示手順の例を示すフローチャートである。
【図４】本発明に係る画像表示システムの他の例を示すブロック図である。
【図５】フリーズの検出及び警告の表示手順の他の例を示すフローチャートである。
【符号の説明】
１０カメラ（撮像装置）
２０表示装置
３０監視ユニット
３６タイムスタンプ確認部（判定手段、比較手段）
３７連続番号確認部（判定手段）
３８、３９警告出力部（報知手段）
４２スーパーインポーズ処理部（画像合成手段）

Claims

車両に取付けられた撮像装置で撮像され、表示順序に関する順序情報が付加された画像を、車両に搭載された表示装置に伝送して表示させる画像表示システムにおいて、
撮像装置から連続して伝送される画像の順序情報が正常であるか否かを判定する判定手段を備え、
順序情報が正常であると判定された場合、撮像装置から伝送される画像を表示装置に表示させるように構成されていることを特徴とする画像表示システム。
画像の伝送は、ＩＥＥＥ１３９４のデータ伝送に準拠していることを特徴とする請求項１記載の画像表示システム。
撮像装置は、時計手段を備え、
順序情報は、画像の撮像された時刻を含むことを特徴とする請求項１又は２記載の画像表示システム。
画像の伝送はＩＥＥＥ１３９４の等時性伝送に準拠しており、画像の撮像された時刻は、ＩＥＥＥ１３９４の等時性伝送パケットのＣＩＰ（Common Isochronous Packet）ヘッダに付加されることを特徴とする請求項３記載の画像表示システム。
伝送された画像及び該画像の前に伝送された画像の撮像された時刻を比較する比較手段と、
撮像された時刻が同じ場合、撮像装置から伝送される画像が変化していないことを報知する報知手段と
を備えることを特徴とする請求項３又は４記載の画像表示システム。
画像に文字を重ねる画像合成手段を備え、
前記報知手段は、報知用文字を画像合成手段に送るように構成されていることを特徴とする請求項５記載の画像表示システム。
撮像装置は、撮像された画像の累計値を計数する計数手段を備え、
順序情報は、計数手段で計数された累計値に基づく、撮像装置で撮像された画像の通し番号を含むことを特徴とする請求項１又は２記載の画像表示システム。