JP4366709B2 - Image processing method, simulation apparatus, program, and recording medium - Google Patents

Image processing method, simulation apparatus, program, and recording medium Download PDF

Info

Publication number
JP4366709B2
JP4366709B2 JP2003066761A JP2003066761A JP4366709B2 JP 4366709 B2 JP4366709 B2 JP 4366709B2 JP 2003066761 A JP2003066761 A JP 2003066761A JP 2003066761 A JP2003066761 A JP 2003066761A JP 4366709 B2 JP4366709 B2 JP 4366709B2
Authority
JP
Japan
Prior art keywords
image
driver
input
camera
photographing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2003066761A
Other languages
Japanese (ja)
Other versions
JP2004280156A (en
Inventor
照久 山本
幸治 野間
亮 伏見
功 平島
孝 水間
正義 三宮
忠士 井岡
雅年 ▲高▼山
博志 田中
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mazda Motor Corp
Original Assignee
Mazda Motor Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mazda Motor Corp filed Critical Mazda Motor Corp
Priority to JP2003066761A priority Critical patent/JP4366709B2/en
Publication of JP2004280156A publication Critical patent/JP2004280156A/en
Application granted granted Critical
Publication of JP4366709B2 publication Critical patent/JP4366709B2/en
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Landscapes

  • Processing Or Creating Images (AREA)
  • Image Processing (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Image Analysis (AREA)

Description

【0001】
【発明の属する技術分野】
本発明は、車両の企画立案を支援する方法に関する。
【0002】
【従来の技術】
従来から、企画した車両の車内からの視認性評価を行う場合には、試作車や、インテリアをかたどったクレーモデルを作成していた。
【0003】
【発明が解決しようとする課題】
従って、従来の企画立案作業においては、試作車やクレーモデルの作成に多大な労力を費やしており、大幅な時間及びコストがかかるという問題があった。
【0004】
一方、企画車両を仮想的に表現するコンピュータグラフィックス画像を生成し、そのコンピュータグラフィックス画像を用いて視認性評価を行う試みが実現しつつある。しかし、企画車両の運転者から見える風景画像をコンピュータグラフィックス画像で表現すると、現実感が薄くなりすぎて視認性の正確な評価が困難になるという問題がある。
【0005】
また、企画車両の運転者から見える風景画像をコンピュータグラフィックス画像で表現する場合には、そのコンピュータグラフィックス画像の生成に、非常に長い時間と大きな手間がかかってしまう。このため、様々な風景画像を簡易に生成することができず、画一的な視認性評価しかできなくなる。更に、再生する際にコンピュータの処理が過大となる。
【0006】
本発明は、このような従来技術の課題を解決するためになされたもので、その目的とするところは、企画車両の視認性を評価するのに適した画像を迅速かつ手軽に生成することのできる画像処理方法、そのような画像を用いて企画車両の視認性を評価するシミュレーション装置、プログラム並びに記録媒体を提供することである。
【0007】
【課題を解決するための手段】
上記目的を達成するため、本発明に係る方法は、
企画車両における運転時の視認性を評価するための画像を生成する画像処理方法であって、
撮影手段が走行中の既存車両の周辺画像を撮影する撮影工程と、
入力手段が、前記撮影工程で撮影された周辺画像から切り取るべき領域を特定するため、乗車している運転者から見えると推定される領域を入力する入力工程と、
抽出手段が、前記入力工程で入力された領域に基づいて、前記撮影工程で撮影した周辺画像から、部分画像を抽出し、視認性評価用の背景画像を生成する抽出工程と、
表示手段が、前記抽出工程で生成された前記背景画像と、前記企画車両のインテリアを表わすコンピュータグラフィクス画像とを重畳して視認性評価用画像を生成し、表示する表示工程と、
を有し、
前記入力工程は、
前記運転者の頭部に取付けたカメラによって前記運転者の視線方向を撮影する工程、
又は、
カメラによって前記運転者の頭部を撮影し、前記運転者の頭部の動きから前記運転者の視界領域を検出する工程、
を含むことを特徴とする。
【0009】
前記撮影工程は、前記既存車両の外部表面に取付けられた周辺撮影用カメラによって前記既存車両の周辺画像を撮影する工程であって、前記抽出工程は、前記撮影工程で撮影された周辺画像を、前記周辺撮影用カメラと前記運転者の視点との位置の違いに応じて補正する工程を含むことを特徴とする
【0010】
上記目的を達成するため、本発明に係る装置は、企画車両における運転時の視認性を評価するためのシミュレーション装置であって、既存車両に取付けられた周辺撮影用カメラによって撮影された周辺画像を入力する第1入力手段と、前記第1入力手段で入力した周辺画像から切り取るべき領域を特定するため、乗車している運転者から見えると推定される領域を入力する第2入力手段と、前記第1入力手段で入力された周辺画像から、前記第2入力手段によって入力された視界領域の部分画像を抽出し、視認性評価用の背景画像を生成する抽出手段と、前記抽出手段で生成した前記背景画像と、前記企画車両のインテリアを表すコンピュータグラフィックス画像とを重畳して、視認性評価用の画像を生成し表示する表示手段と、を有し、前記第2入力手段は、前記運転者の頭部に取付けたカメラによって前記運転者の視線方向を撮影する手段、又は、カメラによって前記運転者の頭部を撮影し、前記運転者の頭部の動きから前記運転者の視界領域を検出する手段、を含むことを特徴とする。
【0011】
更に、前記第1入力手段で入力した前記周辺画像を、前記周辺撮影用カメラと前記運転者の視点との位置の違いに応じて補正する手段を有することを特徴とする。
【0012】
上記目的を達成するため、本発明に係るプログラムは、コンピュータを、企画車両における運転時の視認性を評価するシミュレーション装置として機能させるためのプログラムであって、前記コンピュータに、既存車両に取付けられたカメラによって撮影された走行中の周辺画像を入力する第1入力手段と、前記第1入力手段で入力した周辺画像から切り取るべき領域を特定するため、乗車している運転者から見えると推定される領域を入力する第2入力手段と、前記第1入力手段で入力した周辺画像から、前記第2入力手段によって入力された視界領域の部分画像を抽出し、視認性評価用の背景画像を生成する抽出手段と、前記抽出手段で生成した前記背景画像と、前記企画車両のインテリアを表すコンピュータグラフィックス画像とを重畳して、視認性評価用の画像を生成し表示する表示手段と、しての機能を実現させるプログラムであって、前記第2入力手段は、前記運転者の頭部に取付けたカメラによって前記運転者の視線方向を撮影する手段、又は、カメラによって前記運転者の頭部を撮影し、前記運転者の頭部の動きから前記運転者の視界領域を検出する手段、を含むことを特徴とする。
【0013】
上記目的を達成するため、本発明に係る記憶媒体は、上記プログラムを格納したことを特徴とする。
【0014】
【発明の効果】
本発明によれば、企画車両の運転手から見えると推定される風景を実写画像で表すことができる。これにより、企画車両の視認性の評価をより正確に行うことができる。様々な走行環境で企画車両を走行させたと仮定した場合の風景画像を簡易に生成することができる。
【0015】
更に、そのように生成した実写風景画像と企画車両のインテリアを表すコンピュータグラフィックス画像を重畳して視認性評価用画像を生成し、視認性の評価を行えば、試作車やインテリアのクレーモデルを作成する場合に比べ、車両の企画立案に必要な時間及びコストを大幅に削減することができる。
【0016】
また、既存車両の外部表面に取付けられたカメラによって撮影した画像から運転者の視界領域の部分画像を抽出して、カメラ位置と運転者の視点位置の違いに応じて部分画像を補正すれば、より正確な視認性評価用画像を得ることができる。これにより、高い精度で視認性の評価を行うことができる。
【0017】
また、運転者の頭部に取付けたカメラで撮影すれば、運転者の視界領域を容易かつ正確に求めることができ、より正確な視認性評価用画像を得ることができる。これにより、高い精度で視認性の評価を行うことができる。
【0018】
また、運転者の頭部の動きをカメラで撮影すれば、運転中の運転者の視界領域の変化などを正確に検出することができ、より正確な視認性評価用画像を得ることができる。これにより、高い精度で視認性の評価を行うことができる。
【0019】
また、本発明に係る装置、プログラム、記憶媒体によれば、既存車両に取付けられたカメラによって撮影された周辺画像から、既存車両に乗車している運転者の視界領域の部分画像を抽出し、抽出した部分画像と、企画車両のインテリアを表すコンピュータグラフィックス画像とを重畳して、前記企画車両における運転者から見えると推定される視認性評価用の画像を生成し表示することが可能となる。これにより、企画車両の視認性の評価をより正確に行うことができ、様々な走行環境で企画車両を走行させたと仮定した場合の風景画像を簡易に生成することができる。更に、試作車やインテリアのクレーモデルを作成する場合に比べ、車両の企画立案に必要な時間及びコストを大幅に削減することができる。
【0020】
【発明の実施の形態】
以下に、本発明の実施の形態について、添付図面を参照して詳細に説明する。
なお、以下に説明する実施の形態は、本発明の実現手段としての一例であり、本発明は、その趣旨を逸脱しない範囲で下記実施形態を修正又は変形したものに適用可能である。
【0021】
(第1実施形態)
まず、本発明の第1実施形態として、企画車両における運転時の視認性を評価するための画像を生成する画像処理方法について説明する。
【0022】
<撮影機材>
図1は、視認性評価用の画像を取得する撮影用車両について示す図である。図1において、101が撮影用車両であり、一般に市販されている既存の車両を利用可能である。撮影用車両101には、第1カメラ102と第2カメラ103とが取付けられている。第1カメラ102及び第2カメラ103は、それぞれビデオカメラである。図のように、第1カメラ102は、撮影用車両101の外部表面(例えばボンネット上)に取付けられており、第2カメラ103は撮影用車両101の運転席部分に取付けられている。第2カメラ103は、実際に撮影用車両を運転する運転者の頭部に取付けられ、運転者の視線方向を撮影することが好ましい。そのようにすれば、運転者の視界領域を容易かつ正確に求めることができ、より正確な視認性評価用画像を得ることができ、高い精度で視認性の評価を行うことができる。
【0023】
そして、撮影用車両101を走行させながら第1カメラ102を駆動することにより、撮影用車両101の周辺画像を撮影し、同時に第2カメラ103を駆動することにより、撮影用車両101に乗車している運転者の視界領域を取得する。
【0024】
具体的には、第1カメラ102は広角撮影を行い、撮影用車両101に乗車している運転者が通常の運転中に視覚しうる画像を広範囲に取得する。そして、第2カメラ103は、人間の視界とほぼ同じ画角で撮影を行い、その撮影画像は、第1カメラ102での撮影画像から切取るべき領域を特定するために用いられる。なお、車両の周辺画像を撮影する第1カメラとして複数台のカメラを設けても良い。
【0025】
<画像処理システム>
次に、第1カメラ102で撮影された画像及び第2カメラ103で撮影された画像から視認性評価用の画像を生成するためのシステムについて説明する。
【0026】
図2は、視認性評価用の画像を生成するためのシステムを示すブロック図である。このシステムは、汎用のパーソナルコンピュータシステム1に対して、オペレーションシステム及び所定の画像処理ソフトウェアをインストールすることによって構成される。
【0027】
図2において、コンピュータシステム1は、CPU11、ROM(Read Only Memory)13、RAM(Random Access Memory)14、外部記憶部15、入力部16、表示部17、画像処理部18を備え、そのそれぞれは、システムバス12によって接続されている。
【0028】
このうち、CPU11は、ROM13やRAM14に格納されたプログラムを実行することにより各種の演算処理を実行する。
【0029】
ROM13には少なくともコンピュータシステムを起動させるためのブートプログラムが格納されている。RAM14は、コンピュータシステム上で走るプログラムを一時的に格納するためのプログラム領域や、データの書き込みや読み出しを行うためのデータ領域を有する。また、外部記憶部15には、評価用画像を生成するための画像処理プログラムが格納されている。この外部記憶部15としては、例えば、ハードディスクドライブ、フレキシブルディスクドライブ、光磁気ディスクドライブ、CD−ROMドライブ、CD−Rドライブ、CD−RWドライブ、DVD(DVD−ROM,DVD−R)ドライブなどのデバイスが適用可能である。つまり、各ドライブから取り外し可能なCD−ROMなどの記憶媒体に企画支援プログラムが格納され、コンピュータ1が記憶媒体に格納されたプログラムを読み出して、以下に説明する処理を実行することができる。その場合には、記憶媒体そのものが本発明の範疇に含まれる。
【0030】
入力部16は、命令やデータなどを外部から入力するキーボードやマウスなどのデバイスであり、表示部17は、CPU11からの制御指令に基づき画像処理部18で演算処理された文字や画像データを出力する液晶ディスプレイやCRTなどのデバイスである。画像処理部18は、この表示部17により出力させるための画像データを演算処理するデバイスである。通信部19は、第1カメラ102、第2カメラ103から画像データを取込むためのデバイスである。
【0031】
<画像処理の流れ>
次に、画像処理プログラムによって行われる画像処理について図3及び図4を用いて説明する。図3は、CPU11が外部記憶部15に格納された画像処理プログラムを読出してRAM14のプログラム実行領域に展開し実行することによって行われる各処理を示す図である。図4は、ユーザが画像処理プログラムを用いて評価用画像を生成する際に、表示部17に表示される画面例を示す図である。
【0032】
まず、ステップS301において、第1カメラ102で撮影した動画の一フレーム401を表示する。次に、ステップS302において、第2カメラ103で撮影した動画の同じタイミングでの一フレーム402を、ステップS301で表示した画像の隣に表示する。つまり、この時点で表示部17には、第1カメラ102と第2カメラ103で撮影した2つの静止画像401,402が並んで表示される。そして、この2つの静止画像は、同じタイミングで撮影されたものである。ただし、第1カメラ102は第2カメラ103に比べて画角が広いため、同じ縮尺で表示した場合、図のように第1カメラ102で撮像した画像401の方が大きく表示される。また、第2カメラ103は、撮影用車両101の車内に置かれていたため、第2カメラ103で撮像した画像402には、撮影用車両101のピラーやハンドルや天井などのインテリアが映り込んでいる。
【0033】
次に、ステップS303において、第1カメラで撮影した画像の中で、第2カメラの画像領域と対応する領域を選択する。ここでは、図に示すように、ユーザがマウスなどを用いて、画像401中に枠403を描画することにより領域の選択を行うものとする。
【0034】
すなわち、画像処理プログラムは、マウスなどの入力部16を介して、画像401中の枠403の大きさ及び位置を入力する。そして、「次へ」ボタン404の選択(クリック)に応じて、枠403の大きさ及び位置を確定する。
【0035】
これを受けて、画像処理プログラムは、ステップS304において、第1カメラ102で撮影した画像から、枠403で囲まれた部分画像を抽出して、視認性評価用の背景画像とする。
【0036】
すなわち、第1カメラで撮影した画像から、第2カメラによって取得した視界領域の部分画像を抽出して、評価用の背景画像の1フレームを生成する。
【0037】
次に、ステップS305に進み、次のフレームが存在するか否かを判定し、存在する場合にはステップS301に戻って、ステップS301〜S304までの処理を再度行う。このように、撮影された全フレームに対して、上記ステップS301〜S305の処理を繰返すことにより視認性評価用の背景映像を生成する。
【0038】
視認性評価用の背景映像を生成すると、次に、その実写動画と企画車両のインテリアを表すコンピュータグラフィックス画像(以下CG画像と称する)とを重畳して、企画車両の運転者から見えると推定される視認性評価用の動画を生成する。もちろん、重畳されるインテリア画像は、運転者の視界に応じて変化するものである。すなわち、ステップS303で決定した部分画像の位置に応じて生成される。
【0039】
ここでインテリア画像として、2次元の画像データを重畳しても良いが、3次元空間に仮想インテリアモデルを生成して仮想運転者から見える投影画像データを重畳すれば、より正確な視認性評価を行うことができ、好ましい。具体的には、企画したい仮想車両のインテリア形状を表す3次元データを予め生成しておき、部分画像の位置に応じて、仮想運転者の視界を決定し、3次元データをその視界に投影してインテリア画像データを生成すればよい。
【0040】
なお、上記ステップS301では、単純に第1カメラ102で撮影した画像を入力し表示することとしたが、本発明はこれに限定されるものではない。第1カメラ102で撮影した周辺画像を、第1カメラ102の位置と運転者の視点位置との違いに応じて補正すれば、より正確な視認性評価用画像を得ることができる。
【0041】
また、上記ステップS303において、画像処理プログラムは、ユーザから、マウスなどの入力部16を介して、画像401中の枠403の大きさ及び位置を入力したが、本発明はこれに限定されるものではなく、枠の大きさは予め規定され、枠の中心のみを入力する構成でも良い。
【0042】
ユーザが目で見ることにより、第1カメラで撮影した画像から、第2カメラによって取得した視界領域の部分画像を選択することとしたが、本発明はこれに限定されるものではない。画像処理プログラムの部分画像抽出モジュールが、自動的に、第1カメラで撮影した画像から、第2カメラによって取得した視界領域の部分画像を抽出しても良い。その場合、例えば、パターンマッチング技術を利用することが考えられる。更に、上記ステップS304において、切取られる画像位置に応じて、部分画像を補正することも好適である。
【0043】
<評価システム>
以上のように、図3に示すフローチャートの処理によって生成された画像は、例えば、図5に示す評価システムにおいて表示され、複数の評価者が企画車両の視認性を評価するために用いられる。
【0044】
図5(a)に示す評価システムは、複数の評価用端末4001をネットワークで結び、それぞれの端末4001で入力されたマークやコメント及び対象となる静止画像などをオペレータ用の端末に集約する。
【0045】
また、図5(b)に示す評価システムでは、プロジェクタ4003を用いてスクリーン4004にシミュレーション画像を表示し複数の評価者がその画像を同時に見ながら、評価用パッド4005にてコメントを入力する。そして入力されたコメントをその入力タイミングの情報と共にオペレータ用端末4002に集約する。
【0046】
<モデル生成方法>
次に、視認性評価用の背景映像に重畳する3次元インテリア画像の生成方法について簡単に説明する。
【0047】
企画車両のインテリア部分のみを単独で3次元データ化し、運転者の視点を設定して、その視点からの視界を2次元画像に投影して背景映像に重畳することももちろん可能であるが、ここでは、企画車両全体を3次元データ化する場合について説明する。インテリアに含まれるピラーや天井の位置は、企画車両全体のデザインや大きさによって大きく変るものであり、車両の企画においては、車両全体の大きさや形状が決定してからインテリアの企画に移ることが一般的だからである。
【0048】
企画車両全体の3次元データを生成する場合、上記図2で説明したシステムと同様のシステムを用いて、以下の方法を実行すればよい。
【0049】
まず、スポーツ、セダン、トラックといった車両タイプ毎にベースとなる3次元外形モデルをデータベースに用意しておく。そして、ユーザ(企画者)の選択に応じて、いずれかの外形モデルをデータベースから読出す。
【0050】
次に、ユーザに対し、図6のような入力画面を表示して、シート数、シート位置、全長、全高、全幅などの基本的な寸法値の入力を促す。図6において(a)は、寸法値の入力テーブルであり、(b),(c)は、入力テーブルで入力する寸法値の対応部位を示すための、車両前方視画像及び側面視画像である。この図で入力可能な寸法値は、ホイールベース1101、全幅1102、全高1103、フロントオーバハング1105、リアオーバハング1106、カウルポイントCWの水平位置1107、カウルポイントCWの垂直位置1108、フロントガラス傾斜1109である。なお、入力する寸法値はこれに限定されるものではなく、他の様々な寸法値を入力するため、図6に類似する複数の画面が用意されている。
【0051】
寸法値が入力されると、データベースから読出した3次元外形モデルを、全長、全高、全幅などの寸法値に合わせて変形する。逆にいうと、それらの寸法値に応じて自動変形可能な3次元外形モデルをデータベースに用意しておく。具体的には、3次元外形モデルは、入力される寸法値によってその位置が定義される定義点と、車両の形状が不自然なものとならないようにそのような定義点に追従して移動する追従点とを有する。
【0052】
そして、寸法値によって大まかに形状が決められた3次元外形モデルを図7のように画像表示し、その画像上に表示された3次元外形モデルの追従点をポインティングデバイスを用いて自由に移動可能として企画車両の外形形状を微調整する。図7において、星で示された点が定義点であり、白丸で示された点が移動可能な追従点である。また符号が付された線は、その形状を保ったまま平行移動することができる。
【0053】
一方、入力された寸法値を用いて、シートのレイアウトを表すシートモデルを外形モデルとは独立して生成する。
【0054】
更に、外形モデル及びシートモデルによって決定されたシート位置やボンネット高さ、天井高さ等に適合するインテリアモデルを生成する。インテリアモデルには、ハンドルや、メータフードや、ピラーや、天井の表面カバーなどが含まれ、シートモデルや外形モデルに干渉しない範囲で、自由にそれらのデザインを変えることができる。具体的には、いくつかのタイプのハンドルやメートフードなどを予めデータベースに用意しておき、企画車両のコンセプトにあったパーツを読出して組合わせ、不自然の無いようにハンドル位置やピラー太さやピラー構造などを調整することによってインテリアモデルが生成される。
【0055】
そして、このように別個に生成された外形モデル、シートモデル、インテリアモデルを組合わせて、図8に示すような3次元の企画車両モデルが生成される。この企画車両モデルでは、運転席のシート位置から運転者の視点位置が大まかに定義されているが、その視点位置や視線方向を自由に設定することが可能である。そして、設定された運転者の視点位置や視線方向に応じて、運転者の視界を仮想的に表す視界画像を容易に生成することができる。この視界画像にはピラーやハンドルやメータフードやボンネットや運転者の腕などが含まれ、車両の外の風景画像は含まれない。
【0056】
したがって上述した2次元の実写風景画像を、3次元企画車両モデルから生成した視界画像に重畳して、図9に示すような視認性評価用の画像を生成する。ここで視認性に問題があれば、インテリアモデルに含まれるピラーの太さや構造、またはその色や模様などを変更して視認性を改善する。
【0057】
<本実施形態の効果>
以上に説明したように、本実施の形態によれば、企画車両の運転手から見えると推定される風景を実写画像で表すことができ、企画車両のインテリアを表すCG画像と組合わせることで、車内から見える風景画像をもCG画像とした場合に比べて、企画車両の視認性の評価をより正確に行うことができる。
【0058】
また、道路や街並を表すフルCGの3次元空間を生成して、その中で企画車両モデルを走行させる場合に比べると、企画車両のみを3次元モデル化すればよいので、視認性評価用画像を比較的低いコストで、かつ、容易に生成することができる。
【0059】
また、画像の取得には撮影用車両を走らせるだけでよいので、フルCGの3次元空間を生成する場合に比べると、様々な走行環境での風景画像を非常に簡易に生成することができる。
【0060】
そのように生成した実写風景画像と企画車両のインテリアを表すCG画像を重畳して視認性評価用画像を生成し、視認性の評価を行うので、従来のように試作車やインテリアのクレーモデルを作成する場合に比べ、車両の企画立案に必要な時間及びコストを大幅に削減することができる。
【0061】
(第2実施形態)
次に本発明の第2実施形態について図6を用いて説明する。上記第1実施形態においては、第2カメラで運転者から見える画像を撮影したが、本実施形態では、運転者自身を第2カメラで撮影し、運転者自身を映した映像によってその視界を判定する点で異なる。その他の構成及び処理は、第1実施形態と同様であるためその説明は省略する。
【0062】
図6において、撮影用車両101と第1カメラ102は第1実施形態と同じであるためここでは説明を省略する。ただし、第2カメラ601は、撮影用車両101に固定されており、運転者の頭部を撮影している。一方、運転者の額部分(例えば運転者の装着したヘルメット)には頭部の向きの変化を示す基準となるマーカ602が付されている。そして、第2カメラ601で撮影した画像中のマーカの動きを解析することによって、第1カメラ102で撮影した画像から、どの位置の部分画像を抽出すればよいかを判定する。つまり、本実施形態では、運転者の頭部の動きから運転者の視界領域を検出する。
【0063】
これによって、上記第1実施形態における図3のステップS302及びステップS303の処理を置きかえることができる。すなわち、ステップS302として、マーカの位置を画面に表示し、ステップS303として、そのマーカの位置を見ながら、第1カメラ102で撮影した画像から、部分画像を抽出する位置を選択する。
【0064】
このようにすれば、上記第1実施形態と同様の効果を得ることが可能となる。
(その他の実施形態)
なお、上記第1、第2実施形態で説明した構成に加え、更に、撮影用車両101にGPS(Global Positioning System)を搭載して、第1カメラ及び第2カメラでの撮影と同時に、車両の位置情報を取得しても良い。
【0065】
また、上記第1、第2実施形態では、運転者の視点または視界領域を取得するデバイスとして、カメラを用いたが、本発明はこれに限定されるものではなく、他のデバイスでもよい。例えば、運転者の眼球の動きを検知するセンサなどを用いれば、より正確に運転者の視界領域を判定することができる。
【図面の簡単な説明】
【図1】本発明の第1実施形態に係る撮影システムについて説明する図である。
【図2】本発明の第1実施形態に係る画像処理システムの構成を示す図である。
【図3】本発明の第1実施形態に係る画像処理の流れを示すフローチャートである。
【図4】本発明の第1実施形態に係る表示画面例を示す図である。
【図5】本発明の第1実施形態に係る視認性評価システムの概要を示す図である。
【図6】車両寸法の入力画面を例示する図である。
【図7】外形形状の微調整について説明するための図である。
【図8】3次元企画車両モデルの例を示す図である。
【図9】視認性評価用の画像例を示す図である。
【図10】本発明の第2実施形態に係る撮影システムについて説明する図である。
[0001]
BACKGROUND OF THE INVENTION
The present invention relates to a method for supporting vehicle planning.
[0002]
[Prior art]
Conventionally, when evaluating the visibility of a planned vehicle from the inside of a vehicle, a prototype vehicle and a clay model in the shape of an interior have been created.
[0003]
[Problems to be solved by the invention]
Therefore, in the conventional planning work, a great deal of labor is spent on creating a prototype vehicle and a clay model, which has a problem that it takes a lot of time and cost.
[0004]
On the other hand, attempts are being made to generate computer graphics images that virtually represent the planned vehicle and perform visibility evaluation using the computer graphics images. However, if a landscape image that can be seen by the driver of the planned vehicle is represented by a computer graphics image, there is a problem that the reality is too thin and accurate evaluation of visibility is difficult.
[0005]
In addition, when a landscape image that can be seen by the driver of the planned vehicle is expressed as a computer graphics image, it takes a very long time and a great amount of time to generate the computer graphics image. For this reason, various landscape images cannot be easily generated, and only uniform visibility evaluation can be performed. Further, the computer processing becomes excessive when reproducing.
[0006]
The present invention has been made to solve such problems of the prior art, and an object of the present invention is to quickly and easily generate an image suitable for evaluating the visibility of a planned vehicle. An image processing method that can be performed, a simulation device that evaluates the visibility of a planned vehicle using such an image, a program, and a recording medium.
[0007]
[Means for Solving the Problems]
  In order to achieve the above object, the method according to the present invention comprises:
  An image processing method for generating an image for evaluating visibility during driving in a planned vehicle,
  A shooting process of shooting a surrounding image of an existing vehicle in which the shooting means is running;
  An input step for inputting an area that is estimated to be seen by a driver in order to identify an area to be cut out from a peripheral image photographed in the photographing step;
  An extraction unit extracts a partial image from a peripheral image photographed in the photographing step based on the region input in the input step, and generates a background image for visibility evaluation;
  A display step for generating and displaying a visibility evaluation image by superimposing the background image generated in the extraction step and a computer graphics image representing the interior of the planned vehicle;
  HaveAnd
  The input step includes
  Photographing the driver's line-of-sight direction with a camera attached to the driver's head;
  Or
  Photographing the driver's head with a camera and detecting the driver's field of view from the movement of the driver's head;
  includingIt is characterized by that.
[0009]
  The shooting process was attached to the external surface of the existing vehicleFor peripheral shootingSaid by cameraExistingA step of taking a surrounding image of the vehicle,ExtractionThe process includes the peripheral image captured in the imaging process,For peripheral shootingThe method includes a step of correcting according to a difference in position between the camera and the driver's viewpoint..
[0010]
  In order to achieve the above object, an apparatus according to the present invention is a simulation apparatus for evaluating visibility during driving in a planned vehicle, and is attached to an existing vehicle.For peripheral shootingA first input means for inputting a peripheral image photographed by a camera;FirstIn order to identify the area to be cut out from the peripheral image input by the input means, the second input means for inputting the area estimated to be seen by the driver on board, and the peripheral image input by the first input means Extracting a partial image of the field of view input by the second input means and generating a background image for visibility evaluation; the background image generated by the extraction means; and an interior of the planned vehicle. Display means for generating and displaying an image for visibility evaluation by superimposing a computer graphics image to be represented, and the second input means is configured by the camera attached to the driver's head. Means for photographing the driver's line-of-sight direction, or means for photographing the driver's head with a camera and detecting the driver's field of view from the movement of the driver's head. To.
[0011]
  Furthermore, theFirstThe surrounding image input by the input means isFor peripheral shootingIt has a means to correct | amend according to the difference in the position of a camera and the said driver | operator's viewpoint.
[0012]
  In order to achieve the above object, a program according to the present invention is a program for causing a computer to function as a simulation device for evaluating visibility during driving in a planned vehicle, and is attached to an existing vehicle in the computer. A first input means for inputting a running peripheral image photographed by a camera;FirstA second input means for inputting an area that is estimated to be seen by a driver on board to identify an area to be cut out from the peripheral image input by the input means;FirstExtracting means for extracting a partial image of the view area input by the second input means from the peripheral image input by the input means and generating a background image for visibility evaluation; and the background image generated by the extracting means And a display means for generating and displaying an image for visibility evaluation by superimposing a computer graphics image representing the interior of the planned vehicle, wherein the second input The means is means for photographing the driver's line-of-sight direction with a camera attached to the driver's head, or the driver's head is photographed by the camera, and the driving is performed based on the movement of the driver's head. Means for detecting a person's field of view.
[0013]
In order to achieve the above object, a storage medium according to the present invention stores the above program.
[0014]
【The invention's effect】
According to the present invention, a landscape estimated to be seen from the driver of a planned vehicle can be represented by a live-action image. Thereby, the visibility of the planning vehicle can be more accurately evaluated. It is possible to easily generate a landscape image when it is assumed that the planned vehicle is driven in various driving environments.
[0015]
In addition, a real-life landscape image and a computer graphics image representing the interior of the planned vehicle are superimposed on each other to generate a visibility evaluation image. Compared with the case of creating, the time and cost required for vehicle planning can be greatly reduced.
[0016]
Also, if a partial image of the driver's field of view is extracted from the image taken by the camera attached to the external surface of the existing vehicle, and the partial image is corrected according to the difference between the camera position and the driver's viewpoint position, A more accurate image for visibility evaluation can be obtained. Thereby, visibility can be evaluated with high accuracy.
[0017]
Further, if the image is taken with a camera attached to the driver's head, the driver's field of view can be determined easily and accurately, and a more accurate visibility evaluation image can be obtained. Thereby, visibility can be evaluated with high accuracy.
[0018]
Further, if the movement of the driver's head is photographed with a camera, a change in the driver's field of view during driving can be accurately detected, and a more accurate visibility evaluation image can be obtained. Thereby, visibility can be evaluated with high accuracy.
[0019]
Further, according to the apparatus, program, and storage medium according to the present invention, a partial image of a driver's field of view riding in an existing vehicle is extracted from a peripheral image taken by a camera attached to the existing vehicle, By superimposing the extracted partial image and a computer graphics image representing the interior of the planned vehicle, it is possible to generate and display an image for visibility evaluation estimated to be visible to the driver in the planned vehicle. . As a result, the visibility of the planned vehicle can be more accurately evaluated, and a landscape image can be easily generated when it is assumed that the planned vehicle has traveled in various travel environments. Furthermore, the time and cost required for vehicle planning can be greatly reduced as compared with the case of creating a prototype vehicle or an interior clay model.
[0020]
DETAILED DESCRIPTION OF THE INVENTION
Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.
The embodiment described below is an example as means for realizing the present invention, and the present invention can be applied to a modified or modified embodiment described below without departing from the spirit of the present invention.
[0021]
(First embodiment)
First, as a first embodiment of the present invention, an image processing method for generating an image for evaluating visibility during driving in a planned vehicle will be described.
[0022]
<Camera equipment>
FIG. 1 is a diagram showing a photographing vehicle that acquires an image for visibility evaluation. In FIG. 1, reference numeral 101 denotes a photographing vehicle, and an existing vehicle that is generally available on the market can be used. A first camera 102 and a second camera 103 are attached to the photographing vehicle 101. The first camera 102 and the second camera 103 are each a video camera. As shown in the figure, the first camera 102 is attached to the outer surface (for example, on the hood) of the photographing vehicle 101, and the second camera 103 is attached to the driver's seat portion of the photographing vehicle 101. It is preferable that the second camera 103 is attached to the head of the driver who actually drives the photographing vehicle, and images the driver's line of sight. By doing so, the driver's field of view can be obtained easily and accurately, a more accurate visibility evaluation image can be obtained, and the visibility can be evaluated with high accuracy.
[0023]
Then, by driving the first camera 102 while driving the photographing vehicle 101, a peripheral image of the photographing vehicle 101 is photographed, and at the same time, the second camera 103 is driven to get on the photographing vehicle 101. To obtain the driver's field of view.
[0024]
Specifically, the first camera 102 performs wide-angle shooting, and acquires a wide range of images that can be seen by the driver who is in the shooting vehicle 101 during normal driving. The second camera 103 captures an image with the same angle of view as the human field of view, and the captured image is used to specify an area to be cut out from the captured image of the first camera 102. A plurality of cameras may be provided as the first camera that captures a surrounding image of the vehicle.
[0025]
<Image processing system>
Next, a system for generating an image for visibility evaluation from an image photographed by the first camera 102 and an image photographed by the second camera 103 will be described.
[0026]
FIG. 2 is a block diagram illustrating a system for generating an image for visibility evaluation. This system is configured by installing an operation system and predetermined image processing software on a general-purpose personal computer system 1.
[0027]
In FIG. 2, the computer system 1 includes a CPU 11, a ROM (Read Only Memory) 13, a RAM (Random Access Memory) 14, an external storage unit 15, an input unit 16, a display unit 17, and an image processing unit 18. Are connected by a system bus 12.
[0028]
Among these, the CPU 11 executes various arithmetic processes by executing programs stored in the ROM 13 and the RAM 14.
[0029]
The ROM 13 stores at least a boot program for starting the computer system. The RAM 14 has a program area for temporarily storing a program running on the computer system and a data area for writing and reading data. The external storage unit 15 stores an image processing program for generating an evaluation image. Examples of the external storage unit 15 include a hard disk drive, a flexible disk drive, a magneto-optical disk drive, a CD-ROM drive, a CD-R drive, a CD-RW drive, and a DVD (DVD-ROM, DVD-R) drive. The device is applicable. That is, the planning support program is stored in a storage medium such as a CD-ROM that can be removed from each drive, and the computer 1 can read the program stored in the storage medium and execute the processing described below. In that case, the storage medium itself is included in the category of the present invention.
[0030]
The input unit 16 is a device such as a keyboard or a mouse that inputs commands and data from the outside. The display unit 17 outputs characters and image data that are arithmetically processed by the image processing unit 18 based on a control command from the CPU 11. Devices such as liquid crystal displays and CRTs. The image processing unit 18 is a device that performs arithmetic processing on image data to be output by the display unit 17. The communication unit 19 is a device for taking image data from the first camera 102 and the second camera 103.
[0031]
<Image processing flow>
Next, image processing performed by the image processing program will be described with reference to FIGS. FIG. 3 is a diagram showing each process performed when the CPU 11 reads out an image processing program stored in the external storage unit 15 and develops and executes it in the program execution area of the RAM 14. FIG. 4 is a diagram illustrating an example of a screen displayed on the display unit 17 when the user generates an evaluation image using the image processing program.
[0032]
First, in step S301, a frame 401 of a moving image shot by the first camera 102 is displayed. Next, in step S302, one frame 402 at the same timing of the moving image shot by the second camera 103 is displayed next to the image displayed in step S301. That is, at this time, two still images 401 and 402 taken by the first camera 102 and the second camera 103 are displayed side by side on the display unit 17. The two still images are taken at the same timing. However, since the first camera 102 has a wider angle of view than the second camera 103, when displayed at the same scale, the image 401 captured by the first camera 102 is displayed larger as shown in the figure. In addition, since the second camera 103 is placed in the photographing vehicle 101, interiors such as pillars, handles, and ceiling of the photographing vehicle 101 are reflected in the image 402 captured by the second camera 103. .
[0033]
Next, in step S303, an area corresponding to the image area of the second camera is selected from the images captured by the first camera. Here, as shown in the figure, it is assumed that the user selects a region by drawing a frame 403 in an image 401 using a mouse or the like.
[0034]
In other words, the image processing program inputs the size and position of the frame 403 in the image 401 via the input unit 16 such as a mouse. Then, in response to selection (clicking) of the “Next” button 404, the size and position of the frame 403 are determined.
[0035]
In response to this, in step S304, the image processing program extracts a partial image surrounded by the frame 403 from the image photographed by the first camera 102 and uses it as a background image for visibility evaluation.
[0036]
That is, a partial image of the visual field area acquired by the second camera is extracted from the image captured by the first camera, and one frame of the background image for evaluation is generated.
[0037]
Next, it progresses to step S305, it is determined whether the next flame | frame exists, and when there exists, it returns to step S301 and performs the process from step S301 to S304 again. In this manner, a background image for visibility evaluation is generated by repeating the processes of steps S301 to S305 for all the captured frames.
[0038]
When a background image for visibility evaluation is generated, it is presumed that the photographed moving image and a computer graphics image (hereinafter referred to as a CG image) representing the interior of the planned vehicle are superimposed and seen from the driver of the planned vehicle. A video for visibility evaluation is generated. Of course, the interior image to be superimposed changes depending on the driver's field of view. That is, it is generated according to the position of the partial image determined in step S303.
[0039]
Here, two-dimensional image data may be superimposed as an interior image. However, if a virtual interior model is generated in a three-dimensional space and projection image data visible from a virtual driver is superimposed, more accurate visibility evaluation can be performed. This is preferable. Specifically, three-dimensional data representing the interior shape of a virtual vehicle to be planned is generated in advance, the virtual driver's field of view is determined according to the position of the partial image, and the three-dimensional data is projected onto the field of view. Interior image data may be generated.
[0040]
In step S301, an image captured by the first camera 102 is simply input and displayed. However, the present invention is not limited to this. If the peripheral image captured by the first camera 102 is corrected according to the difference between the position of the first camera 102 and the viewpoint position of the driver, a more accurate visibility evaluation image can be obtained.
[0041]
In step S303, the image processing program inputs the size and position of the frame 403 in the image 401 from the user via the input unit 16 such as a mouse. However, the present invention is not limited to this. Instead, the size of the frame may be defined in advance, and only the center of the frame may be input.
[0042]
Although the user selects the partial image of the field-of-view area acquired by the second camera from the image captured by the first camera by viewing with the eyes, the present invention is not limited to this. The partial image extraction module of the image processing program may automatically extract the partial image of the view field area acquired by the second camera from the image captured by the first camera. In that case, for example, it is conceivable to use a pattern matching technique. Furthermore, in the step S304, it is also preferable to correct the partial image according to the image position to be cut out.
[0043]
<Evaluation system>
As described above, the image generated by the processing of the flowchart shown in FIG. 3 is displayed, for example, in the evaluation system shown in FIG. 5 and used by a plurality of evaluators to evaluate the visibility of the planned vehicle.
[0044]
The evaluation system shown in FIG. 5A connects a plurality of evaluation terminals 4001 via a network, and collects marks, comments, target still images, and the like input from the respective terminals 4001 in an operator terminal.
[0045]
In the evaluation system shown in FIG. 5B, a simulation image is displayed on the screen 4004 using the projector 4003, and a plurality of evaluators input comments on the evaluation pad 4005 while simultaneously viewing the images. The input comments are collected together with the input timing information in the operator terminal 4002.
[0046]
<Model generation method>
Next, a method for generating a three-dimensional interior image to be superimposed on a background image for visibility evaluation will be briefly described.
[0047]
Of course, it is possible to convert only the interior part of the planned vehicle into 3D data, set the driver's viewpoint, project the field of view from that viewpoint onto a 2D image, and superimpose it on the background image. Now, a case where the entire planned vehicle is converted into three-dimensional data will be described. The positions of pillars and ceilings included in the interior vary greatly depending on the design and size of the entire planned vehicle. In vehicle planning, the size and shape of the entire vehicle can be determined before moving on to interior planning. Because it is general.
[0048]
When generating three-dimensional data of the entire planned vehicle, the following method may be executed using a system similar to the system described in FIG.
[0049]
First, a three-dimensional outline model serving as a base for each vehicle type such as sports, sedan, and truck is prepared in a database. Then, according to the selection of the user (planner), one of the external models is read from the database.
[0050]
Next, the user is prompted to input basic dimension values such as the number of sheets, the sheet position, the total length, the total height, and the total width by displaying an input screen as shown in FIG. In FIG. 6, (a) is a dimension value input table, and (b) and (c) are a vehicle front view image and a side view image for showing corresponding parts of the dimension values input in the input table. . The dimension values that can be entered in this figure are the wheel base 1101, the total width 1102, the total height 1103, the front overhang 1105, the rear overhang 1106, the horizontal position 1107 of the cowl point CW, the vertical position 1108 of the cowl point CW, and the windshield tilt 1109. . Note that the input dimension values are not limited to this, and a plurality of screens similar to those in FIG. 6 are prepared for inputting various other dimension values.
[0051]
When the dimension value is input, the three-dimensional outer shape model read from the database is deformed according to the dimension value such as the total length, the total height, the total width, and the like. In other words, a three-dimensional external model that can be automatically deformed in accordance with these dimension values is prepared in a database. Specifically, the three-dimensional outline model moves following the definition point whose position is defined by the input dimension value and the definition point so that the shape of the vehicle is not unnatural. And a tracking point.
[0052]
Then, the three-dimensional outline model whose shape is roughly determined by the dimension value is displayed as an image as shown in FIG. 7, and the tracking point of the three-dimensional outline model displayed on the image can be freely moved using a pointing device. As a result, the external shape of the planned vehicle is finely adjusted. In FIG. 7, a point indicated by a star is a definition point, and a point indicated by a white circle is a movable follow-up point. Moreover, the line to which the code | symbol was attached | subjected can be translated while maintaining the shape.
[0053]
On the other hand, using the input dimension value, a sheet model representing the layout of the sheet is generated independently of the outer shape model.
[0054]
Furthermore, an interior model that matches the seat position, bonnet height, ceiling height, and the like determined by the external model and the seat model is generated. The interior model includes a handle, meter hood, pillar, and ceiling surface cover, and the design can be freely changed as long as it does not interfere with the seat model or external model. Specifically, several types of handles, mate hoods, etc. are prepared in advance in the database, and the parts that match the concept of the planned vehicle are read and combined, so that the handle position and pillar thickness and so on are not unnatural. An interior model is generated by adjusting the pillar structure and the like.
[0055]
Then, a three-dimensional planned vehicle model as shown in FIG. 8 is generated by combining the externally generated model, the seat model, and the interior model. In this planned vehicle model, the viewpoint position of the driver is roughly defined from the seat position of the driver's seat, but the viewpoint position and line-of-sight direction can be freely set. And according to the driver | operator's viewpoint position and line-of-sight direction which were set, the visual field image which represents a driver | operator's visual field virtually can be produced | generated easily. The view image includes a pillar, a handle, a meter hood, a hood, a driver's arm, and the like, and does not include a landscape image outside the vehicle.
[0056]
Therefore, the above-described two-dimensional live-action landscape image is superimposed on the view field image generated from the three-dimensional planned vehicle model to generate an image for visibility evaluation as shown in FIG. If there is a problem in visibility, the thickness or structure of the pillar included in the interior model, or its color or pattern is changed to improve visibility.
[0057]
<Effect of this embodiment>
As described above, according to the present embodiment, a landscape estimated to be seen by the driver of the planned vehicle can be represented by a live-action image, and combined with a CG image representing the interior of the planned vehicle, The visibility of the planned vehicle can be more accurately evaluated as compared to the case where the landscape image seen from the inside of the vehicle is also a CG image.
[0058]
Also, compared to the case where a full CG three-dimensional space representing roads and streets is generated and the planned vehicle model is driven in that space, only the planned vehicle needs to be made into a three-dimensional model. An image can be easily generated at a relatively low cost.
[0059]
Moreover, since it is only necessary to run the photographing vehicle to acquire the image, it is possible to generate landscape images in various driving environments very easily compared to the case of generating a full CG three-dimensional space. .
[0060]
Since the image for visibility evaluation is generated by superimposing the CG image representing the interior of the planned vehicle and the CG image representing the interior of the planned vehicle so as to evaluate the visibility, the prototype model and the clay model of the interior can be used as in the past. Compared with the case of creating, the time and cost required for vehicle planning can be greatly reduced.
[0061]
(Second Embodiment)
Next, a second embodiment of the present invention will be described with reference to FIG. In the first embodiment, an image that can be seen by the driver is captured by the second camera. However, in this embodiment, the driver himself / herself is photographed by the second camera, and the field of view is determined by an image showing the driver himself / herself. It is different in point to do. Other configurations and processes are the same as those in the first embodiment, and thus description thereof is omitted.
[0062]
In FIG. 6, since the photographing vehicle 101 and the first camera 102 are the same as those in the first embodiment, the description thereof is omitted here. However, the second camera 601 is fixed to the photographing vehicle 101 and photographs the driver's head. On the other hand, a marker 602 serving as a reference indicating a change in the orientation of the head is attached to the driver's forehead (for example, a helmet worn by the driver). Then, by analyzing the movement of the marker in the image captured by the second camera 601, it is determined which partial image should be extracted from the image captured by the first camera 102. That is, in this embodiment, a driver | operator's visual field area | region is detected from a motion of a driver | operator's head.
[0063]
As a result, the processing of step S302 and step S303 in FIG. 3 in the first embodiment can be replaced. That is, in step S302, the position of the marker is displayed on the screen, and in step S303, the position for extracting the partial image is selected from the image captured by the first camera 102 while viewing the position of the marker.
[0064]
In this way, it is possible to obtain the same effect as in the first embodiment.
(Other embodiments)
In addition to the configuration described in the first and second embodiments, a GPS (Global Positioning System) is mounted on the photographing vehicle 101, and simultaneously with photographing with the first camera and the second camera, You may acquire position information.
[0065]
Moreover, in the said 1st, 2nd embodiment, although the camera was used as a device which acquires a driver | operator's viewpoint or view area, this invention is not limited to this, Other devices may be sufficient. For example, if a sensor that detects the movement of the driver's eyeball is used, the driver's field of view can be determined more accurately.
[Brief description of the drawings]
FIG. 1 is a diagram for explaining an imaging system according to a first embodiment of the present invention.
FIG. 2 is a diagram showing a configuration of an image processing system according to the first embodiment of the present invention.
FIG. 3 is a flowchart showing a flow of image processing according to the first embodiment of the present invention.
FIG. 4 is a diagram showing an example of a display screen according to the first embodiment of the present invention.
FIG. 5 is a diagram showing an overview of a visibility evaluation system according to the first embodiment of the present invention.
FIG. 6 is a diagram illustrating an example of a vehicle dimension input screen.
FIG. 7 is a diagram for explaining fine adjustment of an outer shape.
FIG. 8 is a diagram illustrating an example of a three-dimensional planning vehicle model.
FIG. 9 is a diagram illustrating an example of an image for visibility evaluation.
FIG. 10 is a diagram illustrating an imaging system according to a second embodiment of the present invention.

Claims (6)

企画車両における運転時の視認性を評価するための画像を生成する画像処理方法であって、
撮影手段が走行中の既存車両の周辺画像を撮影する撮影工程と、
入力手段が、前記撮影工程で撮影された周辺画像から切り取るべき領域を特定するため、乗車している運転者から見えると推定される領域を入力する入力工程と、
抽出手段が、前記入力工程で入力された領域に基づいて、前記撮影工程で撮影した周辺画像から、部分画像を抽出し、視認性評価用の背景画像を生成する抽出工程と、
表示手段が、前記抽出工程で生成された前記背景画像と、前記企画車両のインテリアを表わすコンピュータグラフィクス画像とを重畳して視認性評価用画像を生成し、表示する表示工程と、
を有し、
前記入力工程は、
前記運転者の頭部に取付けたカメラによって前記運転者の視線方向を撮影する工程、
又は、
カメラによって前記運転者の頭部を撮影し、前記運転者の頭部の動きから前記運転者の視界領域を検出する工程、
を含むことを特徴とする画像処理方法。
An image processing method for generating an image for evaluating visibility during driving in a planned vehicle,
A shooting process of shooting a surrounding image of an existing vehicle in which the shooting means is running;
An input step for inputting an area that is estimated to be seen by a driver in order to identify an area to be cut out from a peripheral image photographed in the photographing step;
An extraction unit extracts a partial image from a peripheral image photographed in the photographing step based on the region input in the input step, and generates a background image for visibility evaluation;
A display step for generating and displaying a visibility evaluation image by superimposing the background image generated in the extraction step and a computer graphics image representing the interior of the planned vehicle;
Have
The input step includes
Photographing the driver's line-of-sight direction with a camera attached to the driver's head;
Or
Photographing the driver's head with a camera and detecting the driver's field of view from the movement of the driver's head;
An image processing method comprising:
前記撮影工程は、前記既存車両の外部表面に取付けられた周辺撮影用カメラによって前記既存車両の周辺画像を撮影する工程であって、
前記抽出工程は、前記撮影工程で撮影された周辺画像を、前記周辺撮影用カメラと前記運転者の視点との位置の違いに応じて補正する工程を含むことを特徴とする請求項1に記載の画像処理方法。
The photographing step is a step of photographing a peripheral image of the existing vehicle with a peripheral photographing camera attached to an external surface of the existing vehicle,
The said extraction process includes the process of correct | amending the periphery image image | photographed at the said imaging | photography process according to the difference in the position of the said camera for periphery imaging | photography and the said driver | operator's viewpoint. Image processing method.
企画車両における運転時の視認性を評価するためのシミュレーション装置であって、
既存車両に取付けられた周辺撮影用カメラによって撮影された周辺画像を入力する第1入力手段と、
前記第1入力手段で入力した周辺画像から切り取るべき領域を特定するため、乗車している運転者から見えると推定される領域を入力する第2入力手段と、
前記第1入力手段で入力された周辺画像から、前記第2入力手段によって入力された視界領域の部分画像を抽出し、視認性評価用の背景画像を生成する抽出手段と、
前記抽出手段で生成した前記背景画像と、前記企画車両のインテリアを表すコンピュータグラフィックス画像とを重畳して、視認性評価用の画像を生成し表示する表示手段と、
を有し、
前記第2入力手段は、
前記運転者の頭部に取付けたカメラによって前記運転者の視線方向を撮影する手段、
又は、
カメラによって前記運転者の頭部を撮影し、前記運転者の頭部の動きから前記運転者の視界領域を検出する手段、
を含むことを特徴とするシミュレーション装置。
A simulation device for evaluating visibility during driving in a planned vehicle,
First input means for inputting a peripheral image photographed by a peripheral photographing camera attached to an existing vehicle;
A second input means for inputting an area estimated to be seen by a driver in order to identify an area to be cut out from the peripheral image input by the first input means;
An extraction means for extracting a partial image of the visual field input by the second input means from the peripheral image input by the first input means, and generating a background image for visibility evaluation;
Display means for generating and displaying an image for visibility evaluation by superimposing the background image generated by the extraction means and a computer graphics image representing the interior of the planned vehicle;
Have
The second input means includes
Means for photographing the gaze direction of the driver by a camera attached to the driver's head;
Or
Means for photographing the driver's head with a camera and detecting the driver's field of view from the movement of the driver's head;
The simulation apparatus characterized by including.
更に、前記第1入力手段で入力した前記周辺画像を、前記周辺撮影用カメラと前記運転者の視点との位置の違いに応じて補正する手段を有することを特徴とする請求項3に記載のシミュレーション装置。4. The apparatus according to claim 3, further comprising a unit that corrects the peripheral image input by the first input unit according to a difference in position between the peripheral photographing camera and the viewpoint of the driver. Simulation device. コンピュータを、企画車両における運転時の視認性を評価するシミュレーション装置として機能させるためのプログラムであって、
前記コンピュータに、
既存車両に取付けられたカメラによって撮影された走行中の周辺画像を入力する第1入力手段と、
前記第1入力手段で入力した周辺画像から切り取るべき領域を特定するため、乗車している運転者から見えると推定される領域を入力する第2入力手段と、
前記第1入力手段で入力した周辺画像から、前記第2入力手段によって入力された視界領域の部分画像を抽出し、視認性評価用の背景画像を生成する抽出手段と、
前記抽出手段で生成した前記背景画像と、前記企画車両のインテリアを表すコンピュータグラフィックス画像とを重畳して、視認性評価用の画像を生成し表示する表示手段と、
しての機能を実現させるプログラムであって、
前記第2入力手段は、
前記運転者の頭部に取付けたカメラによって前記運転者の視線方向を撮影する手段、
又は、
カメラによって前記運転者の頭部を撮影し、前記運転者の頭部の動きから前記運転者の視界領域を検出する手段、
を含むことを特徴とするプログラム。
A program for causing a computer to function as a simulation device for evaluating visibility during driving in a planned vehicle,
In the computer,
First input means for inputting a running peripheral image taken by a camera attached to an existing vehicle;
A second input means for inputting an area estimated to be seen by a driver in order to identify an area to be cut out from the peripheral image input by the first input means;
Extraction means for extracting a partial image of the visual field input by the second input means from the peripheral image input by the first input means, and generating a background image for visibility evaluation;
Display means for generating and displaying an image for visibility evaluation by superimposing the background image generated by the extraction means and a computer graphics image representing the interior of the planned vehicle;
Is a program that realizes the functions
The second input means includes
Means for photographing the gaze direction of the driver by a camera attached to the driver's head;
Or
Means for photographing the driver's head with a camera and detecting the driver's field of view from the movement of the driver's head;
The program characterized by including.
請求項5に記載のプログラムを格納したことを特徴とするコンピュータ読み取り可能な記憶媒体。  A computer-readable storage medium storing the program according to claim 5.
JP2003066761A 2003-03-12 2003-03-12 Image processing method, simulation apparatus, program, and recording medium Expired - Fee Related JP4366709B2 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2003066761A JP4366709B2 (en) 2003-03-12 2003-03-12 Image processing method, simulation apparatus, program, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2003066761A JP4366709B2 (en) 2003-03-12 2003-03-12 Image processing method, simulation apparatus, program, and recording medium

Publications (2)

Publication Number Publication Date
JP2004280156A JP2004280156A (en) 2004-10-07
JP4366709B2 true JP4366709B2 (en) 2009-11-18

Family

ID=33284571

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2003066761A Expired - Fee Related JP4366709B2 (en) 2003-03-12 2003-03-12 Image processing method, simulation apparatus, program, and recording medium

Country Status (1)

Country Link
JP (1) JP4366709B2 (en)

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007091046A (en) * 2005-09-29 2007-04-12 Clarion Co Ltd Vehicle parking assisting device
JP2007091047A (en) * 2005-09-29 2007-04-12 Clarion Co Ltd Vehicle parking assisting device
JP4525632B2 (en) * 2006-05-09 2010-08-18 トヨタ自動車株式会社 Outline point drawing method and apparatus
JP4967546B2 (en) * 2006-09-05 2012-07-04 株式会社島津製作所 Head motion tracker device
US9507416B2 (en) 2011-02-22 2016-11-29 Robert Howard Kimball Providing a corrected view based on the position of a user with respect to a mobile platform
US9208390B2 (en) * 2012-11-12 2015-12-08 Wilfred Ludick Intra-vehicular mobile device management
JP5924285B2 (en) * 2013-02-12 2016-05-25 マツダ株式会社 Vehicle planning support system
JP7388623B1 (en) * 2022-10-20 2023-11-29 Lineヤフー株式会社 Information processing device, information processing method, and information processing program

Also Published As

Publication number Publication date
JP2004280156A (en) 2004-10-07

Similar Documents

Publication Publication Date Title
US10818099B2 (en) Image processing method, display device, and inspection system
CN103140879B (en) Information presentation device, digital camera, head mounted display, projecting apparatus, information demonstrating method and information are presented program
JP4473754B2 (en) Virtual fitting device
US10366533B2 (en) Image processing device and image processing method
CN1320423C (en) Image display apparatus and method
JP2017049658A (en) AR information display device
US10467793B2 (en) Computer implemented method and device
CN102780873A (en) Image processing apparatus and method
WO2023071834A1 (en) Alignment method and alignment apparatus for display device, and vehicle-mounted display system
JP4366709B2 (en) Image processing method, simulation apparatus, program, and recording medium
US11605182B2 (en) Method for generating reproducible perspectives of photographs of an object, and mobile device with an integrated camera
Stanimirovic et al. [Poster] A Mobile Augmented reality system to assist auto mechanics
JP2009003813A (en) Finger shape estimation apparatus, finger shape estimation method and program
KR20180123302A (en) Method and Apparatus for Visualizing a Ball Trajectory
JPH09138637A (en) Pseudo visibility device
JP2010525375A (en) System for projecting a three-dimensional image on a two-dimensional screen and corresponding method
JPWO2018025825A1 (en) Imaging system
WO2017155005A1 (en) Image processing method, display device, and inspection system
JPH10320590A (en) Composite image production device and method therefor
JP4926598B2 (en) Information processing method and information processing apparatus
JP2006018444A (en) Image processing system and additional information indicating device
EP4049734A1 (en) Information processing apparatus, information processing method, and computer program
JP2006215750A (en) Image processing method, image processor
JP2007066045A (en) Simulation device
JP6481596B2 (en) Evaluation support device for vehicle head-up display

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20060117

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20080930

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20081006

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20081205

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090123

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090318

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20090507

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20090623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20090803

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20090816

R150 Certificate of patent or registration of utility model

Ref document number: 4366709

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

Free format text: JAPANESE INTERMEDIATE CODE: R150

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20120904

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20130904

Year of fee payment: 4

LAPS Cancellation because of no payment of annual fees