JP6806040B2 - 画像生成装置、表示システム、及びプログラム - Google Patents
画像生成装置、表示システム、及びプログラム Download PDFInfo
- Publication number
- JP6806040B2 JP6806040B2 JP2017220716A JP2017220716A JP6806040B2 JP 6806040 B2 JP6806040 B2 JP 6806040B2 JP 2017220716 A JP2017220716 A JP 2017220716A JP 2017220716 A JP2017220716 A JP 2017220716A JP 6806040 B2 JP6806040 B2 JP 6806040B2
- Authority
- JP
- Japan
- Prior art keywords
- image
- complexity parameter
- color
- vehicle
- contour line
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 230000008859 change Effects 0.000 claims description 40
- 230000007613 environmental effect Effects 0.000 claims description 14
- 230000001965 increasing effect Effects 0.000 claims description 5
- 238000010586 diagram Methods 0.000 description 37
- 230000000694 effects Effects 0.000 description 30
- 230000010365 information processing Effects 0.000 description 29
- 238000012545 processing Methods 0.000 description 27
- 238000000034 method Methods 0.000 description 26
- 230000008569 process Effects 0.000 description 19
- 238000000605 extraction Methods 0.000 description 14
- 239000002131 composite material Substances 0.000 description 13
- 238000004891 communication Methods 0.000 description 12
- 230000035807 sensation Effects 0.000 description 12
- 230000002194 synthesizing effect Effects 0.000 description 11
- 239000003086 colorant Substances 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 7
- 238000012937 correction Methods 0.000 description 7
- 230000006870 function Effects 0.000 description 5
- XLYOFNOQVPJJNP-UHFFFAOYSA-N water Substances O XLYOFNOQVPJJNP-UHFFFAOYSA-N 0.000 description 5
- 239000012636 effector Substances 0.000 description 4
- 238000012544 monitoring process Methods 0.000 description 4
- 230000001939 inductive effect Effects 0.000 description 3
- 239000000203 mixture Substances 0.000 description 3
- 241000209094 Oryza Species 0.000 description 2
- 235000007164 Oryza sativa Nutrition 0.000 description 2
- 238000001514 detection method Methods 0.000 description 2
- 238000003708 edge detection Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 238000010422 painting Methods 0.000 description 2
- 230000004800 psychological effect Effects 0.000 description 2
- 235000009566 rice Nutrition 0.000 description 2
- 241001270131 Agaricus moelleri Species 0.000 description 1
- 235000007716 Citrus aurantium Nutrition 0.000 description 1
- 244000183685 Citrus aurantium Species 0.000 description 1
- 206010016334 Feeling hot Diseases 0.000 description 1
- 230000004888 barrier function Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 210000005069 ears Anatomy 0.000 description 1
- 239000012530 fluid Substances 0.000 description 1
- 238000005286 illumination Methods 0.000 description 1
- 238000003384 imaging method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 230000005043 peripheral vision Effects 0.000 description 1
- 230000005855 radiation Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Landscapes
- Closed-Circuit Television Systems (AREA)
- Transforming Electric Information Into Light Information (AREA)
- Studio Devices (AREA)
- Image Processing (AREA)
Description
本明細書では、本発明に係る画像生成装置を、「移動体」の一例である車両に搭載された画像生成装置に適用した例について説明する。図1は本発明の実施の形態に係る画像生成装置の構成の概略を示すブロック図である。
次に、複雑さパラメータの種類及び取得方法について説明する。
上記の通り、撮影部(カメラ)は、車両の走行中または停車中に車両の周辺の画像を撮影する。複雑さパラメータは、撮影された車両の周辺の画像から生成される。以下では、複数の複雑さパラメータ(複雑さパラメータ1〜4)について説明する。本実施の形態では、複雑さパラメータ4を用いる例について説明するが、他の複雑さパラメータを用いてもよく、複数の複雑さパラメータを2以上組合せて用いてもよい。
複雑さパラメータ1は、画像全体の変化の度合いを監視する情報である。複雑さパラメータ1の生成に際し、基本処理として生成した白黒データを取得し(図2(A)参照)、時間的に前後する画像情報の差(の絶対値)を演算し(差分演算)、車両の走行(移動)に応じて、当該差分演算を数十回(例えば、60回程度)繰り返したときの平均値を演算する。この複雑さパラメータ1によって、車両の周辺環境のうち撮影部の視野内全体の変化を認識することができる。
複雑さパラメータ2は、画像の左右端の変化の度合いを重点的に監視する情報である。ここで「左右」とは、車両の走行方向に対し「右側」「左側」という意味である。複雑さパラメータ2の生成に際し、基本処理として生成した白黒データ(絶対値)を取得し、取得した白黒データの画像を複数の画像コマに分割する。例えば、図2(C)に示される如く、横9×縦5に分割し、各画像コマに対して、左上から右下にかけて番号を付与する。
複雑さパラメータ3は、車両の近傍に存在する障害物の有無を監視する情報である。図3は速度-複雑さパラメータ特性図である。図3に示す特性曲線は、上記の複雑さパラメータ2と速度との関係を表す。以下では、「複雑さパラメータ2の特性曲線」という。複雑さパラメータ3の生成に際し、複雑さパラメータ2の特性曲線に対し基準線A(図3参照)を設定する。
複雑さパラメータ4は、画像の中央部の変化の度合いを重点的に監視する情報である。ここで「中央部」とは、画像を車両の高さ方向に三分割した場合の中央部分である。図4は撮影部で撮影された画像を示し、複雑さパラメータ4を得るための画像の正面図である。
第1の実施の形態に係る画像生成装置について説明する。画像生成装置の電気的構成、動作、機能構成の各々について説明する。電気的構成は各実施の形態について共通の構成である。画像生成装置の動作及び機能構成は、実施の形態毎に特定される。
まず、画像生成装置の電気的構成について説明する。
図5は本発明の実施の形態に係る画像生成装置の電気的構成の一例を示すブロック図である。図5に示すように、画像生成装置10は、図1に示す「画像生成部14」の機能を実行する情報処理部30を備えている。情報処理部30は、各種演算を行うコンピュータとして構成されている。情報処理部30は、CPU(中央処理装置; Central Processing Unit)30A、ROM(Read Only Memory)30B、RAM(Random Access Memory)30C、不揮発性のメモリ30D、及び入出力部(I/O)30Eを備えている。
次に、画像生成装置の動作について説明する。
図6は第1の実施の形態に係る画像生成装置の動作の概略を示す模式図である。図6に示すように、第1の実施の形態では、車両の周辺を撮影したカメラ映像から、複雑さパラメータを生成する。カメラ映像に対し、生成された複雑さパラメータに応じた度合いのエフェクトを掛けて、新たな画像を生成する。
次に、画像生成装置の機能構成について説明する。
図7は第1の実施の形態に係る情報処理部の構成の一例を示すブロック図である。図7に示すように、情報処理部30は、メモリ50、パラメータ生成部52、及び画像処理部54を備えている。撮影部20により撮影された車両の周辺の画像を「第1画像」とし、その画像データを「第1画像データ」とする。
図8は第1の実施の形態に係る情報処理部の機能構成の具体例を示すブロック図である。図7に示す情報処理部30と同様に、情報処理部30は、メモリ50、パラメータ生成部52、及び画像処理部54を備えている。画像処理部54は、輪郭抽出部56、輪郭色/濃度変更部58、画像合成部60、及び背景抽出部62を備えている。具体例では、画像処理部54が行う画像処理の手順について説明する。
次に、「画像生成処理」を実行するプログラムについて説明する。
図9は第1の実施の形態に係る「画像生成処理」を実行するプログラムの流れを示すフローチャートである。図10は図9の「エフェクト処理」を実行するプログラムの流れを示すフローチャートである。「画像生成処理」及び「エフェクト処理」は、処理の実行を開始する指示があると、画像生成装置10のCPU30Aにより実行される。
図11(A)〜(E)は画像処理の手順を説明するための図である。図11(A)は撮影されたカメラ映像、図11(B)は第1輪郭線画像、図11(C)は輪郭線の濃度が薄く変更された第2輪郭線画像、図11(D)は背景画像、図11(E)は合成画像を示す。
第2の実施の形態では、車両の周辺を撮影したカメラ映像から、複雑さパラメータ4を生成する点は、第1の実施の形態と同様である。第2の実施の形態では、生成された複雑さパラメータ4に応じた速度で、帯状の図形を一方向に移動させてグラデーション画像(動画像)を生成する。このとき、第1画像から色情報を抽出し、抽出された色情報に応じて帯状の図形の色を変化させる。
ここで、グラデーション画像について説明する。
図13は第2実施の形態で生成されるグラデーション画像の一例を示す図である。グラデーション画像は、帯状の図形(以下、「帯」という。)82が、画面80の一端から他端まで移動することにより生成される。図示した例では、帯82は、画面80の上端に出現し、画面80の上端から下端まで矢印方向に移動して、画面80の下端に到達すると消える。
次に、画像生成装置の動作について説明する。
図14は第2の実施の形態に係る画像生成装置の動作の概略を示す模式図である。図14に示すように、第2の実施の形態では、車両の周辺を撮影したカメラ映像(第1画像)から、複雑さパラメータを生成する。移動させる図形の形状(帯の長さや幅)、移動経路の初期値、及び移動速度の初期値等を設定する。
次に、画像生成装置の機能構成について説明する。
図15は第2の実施の形態に係る情報処理部の構成の一例を示すブロック図である。図15に示すように、情報処理部30は、メモリ50、パラメータ生成部52、動き制御部64、色情報抽出部66、色設定部68、及び動画像生成部70を備えている。撮影部20から取得された第1画像データは、メモリ50に記憶される。パラメータ生成部52は、第1画像データをメモリ50から取得し、第1画像データから複雑さパラメータを生成する。
次に、「画像生成処理」を実行するプログラムについて説明する。
図16は第2の実施の形態に係る「画像生成処理」を実行するプログラムの流れを示すフローチャートである。「画像生成処理」は、画像生成を開始する指示があると、画像生成装置10のCPU30Aにより実行される。
次に、グラデーション画像の具体例1について説明する。図17(A)〜(D)の各々は、カメラ映像に対応するグラデーション画像の具体例1を示す図である。左側がカメラ映像であり、右側が対応するグラデーション画像である。車両の周辺環境の変化が大きいほど、図形の移動速度が速くなり、グラデーションが粗くなる。
次に、グラデーション画像の具体例2について説明する。この例では、色の心理効果を利用して、暑い時に涼しく、寒い時に温かく感じさせる。図26(A)〜(D)の各々は、カメラ映像に対応するグラデーション画像の具体例2を示す図である。左側がカメラ映像であり、右側が対応するグラデーション画像である。
第3の実施の形態では、車両の周辺を撮影したカメラ映像から、複雑さパラメータ4を生成する点は、第1の実施の形態と同様である。第3の実施の形態では、生成された複雑さパラメータ4に応じた速度で、予め定めた形状の図形を移動させて新たな動画像を生成する。図形の形状は「帯状」に限定されない。図形の色も任意に設定される。ここでは、図形の移動速度を変えることを「エフェクト」と称する。
第3の実施の形態では、予め定めた形状の図形を、予め定めた移動経路に沿って移動させて図形移動画像を生成する。予め定めた移動経路としては、閉じた移動経路を設定する。図形は移動経路に沿って繰り返し移動する。移動経路を含む平面を回転させてもよい。なお、移動経路は任意に設定することができる。以下では、図形の形状と動きについて説明する。また、具体的な図形を「オブジェクト」と称する。
次に、第3の実施の形態に係る画像生成装置について説明する。
図21は第3の実施の形態に係る画像生成装置の動作の概略を示す模式図である。図21に示すように、第3の実施の形態では、車両の周辺を撮影したカメラ映像から、複雑さパラメータ4を生成する。図形の形状、移動経路の初期値、及び移動速度の初期値等を設定する。予め定めた形状の図形を、生成された複雑さパラメータ4に応じた速度で移動させて、カメラ映像とは別に「図形移動画像」を生成する。ここでは、図形の移動速度を変えることを「エフェクト」と称する。
第4の実施の形態は、表示システムに係る実施の形態である。
図23は第4の実施の形態に係る表示システムの構成の一例を示すブロック図である。図23に示すように、表示システム100は、画像生成装置10と表示装置90とを備えている。表示装置90は、例えば自宅等の画像生成装置10とは離れた場所に配置されている。表示装置90は、例えば、搭乗者Aの自宅等に配置される。画像生成装置10は、撮影部20、情報処理部30、及び通信部36を備えている。表示装置90は、通信部92、表示制御部94、及び表示部96を備えている。
なお、上記実施の形態で説明した画像生成装置、表示システム、及びプログラムの構成は一例であり、本発明の主旨を逸脱しない範囲内においてその構成を変更してもよいことは言うまでもない。
12 パラメータ生成部
14 画像生成部
20 撮影部
30 情報処理部
32 操作部
34 表示部
36 通信部
38 記憶部
40 画像出力部
42 音楽出力部
50 メモリ
52 パラメータ生成部
54 画像処理部
56 輪郭抽出部
58 濃度変更部
60 画像合成部
62 背景抽出部
64 動き制御部
66 色情報抽出部
68 色設定部
70 動画像生成部
71 オブジェクト
80 画面
82 帯
90 表示装置
92 通信部
94 表示制御部
96 表示部
100 表示システム
Claims (4)
- 移動体の周辺の画像を撮影する撮影部により時系列に撮影された複数の第1画像から、前記移動体の周辺環境の変化の度合いを表す環境情報を生成する情報生成部と、
前記複数の第1画像の各々について、前記第1画像の輪郭線を抽出した第1輪郭線画像を生成し、前記第1画像の背景部分を抽出した背景画像を生成し、前記第1輪郭線画像の輪郭線の濃度を前記環境情報に応じて変化させた第2輪郭線画像を生成し、前記第2輪郭線画像と前記背景画像とを合成して第2画像を生成する画像生成部と、
を備え、
前記環境情報が、
前記第1画像全体の変化の度合いを表す第1の複雑さパラメータ、前記第1画像内の左右端の変化の度合いを表す第2の複雑さパラメータ、前記第1の複雑さパラメータの速度に対する変化を表す特性曲線と前記第1の複雑さパラメータの速度に対して直線的に増加する成分を表す基準線とで囲まれる領域の大きさ、または、前記第2の複雑さパラメータの速度に対する変化を表す特性曲線と前記第2の複雑さパラメータの速度に対して直線的に増加する成分を表す基準線とで囲まれる領域の大きさで表される第3の複雑さパラメータ、及び、前記第1画像内の中央部の変化の度合いを表す第4の複雑さパラメータで構成される複雑さパラメータ群の中から選択された1つの複雑さパラメータ、または、前記複雑さパラメータ群の中から選択された2以上の複雑さパラメータの組合せであり、
前記画像生成部は、選択された複雑さパラメータの値が大きくなるほど、輪郭線の濃度を濃くする、
画像生成装置。 - 前記画像生成部は、前記輪郭線の色を、前記第1画像を代表する色とする、
請求項1に記載の画像生成装置。 - 請求項1または請求項2に記載の画像生成装置と、
前記画像生成装置から送信された前記画像に基づく情報を表示する表示装置と、
を備えた表示システム。 - コンピュータを、請求項1または請求項2に記載の画像生成装置の各部として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017220716A JP6806040B2 (ja) | 2017-11-16 | 2017-11-16 | 画像生成装置、表示システム、及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2017220716A JP6806040B2 (ja) | 2017-11-16 | 2017-11-16 | 画像生成装置、表示システム、及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2019092094A JP2019092094A (ja) | 2019-06-13 |
JP6806040B2 true JP6806040B2 (ja) | 2021-01-06 |
Family
ID=66836749
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017220716A Expired - Fee Related JP6806040B2 (ja) | 2017-11-16 | 2017-11-16 | 画像生成装置、表示システム、及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6806040B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6830634B1 (ja) * | 2020-02-20 | 2021-02-17 | 株式会社エクサウィザーズ | 情報処理方法、情報処理装置及びコンピュータプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4124084B2 (ja) * | 2003-10-02 | 2008-07-23 | セイコーエプソン株式会社 | 画像処理装置、画像処理方法、および、画像処理プログラム |
JP5282589B2 (ja) * | 2009-01-29 | 2013-09-04 | 日産自動車株式会社 | 車速伝達装置および車速伝達方法 |
JP2010272001A (ja) * | 2009-05-22 | 2010-12-02 | Canon Inc | 表示制御装置、表示制御方法及びプログラム |
JP2012051678A (ja) * | 2010-08-31 | 2012-03-15 | Sumitomo Heavy Ind Ltd | 視界補助システム |
JP2012195793A (ja) * | 2011-03-17 | 2012-10-11 | Clarion Co Ltd | 車両周辺監視装置 |
JP2016192128A (ja) * | 2015-03-31 | 2016-11-10 | トヨタ自動車株式会社 | 情報提供装置および情報提供方法 |
-
2017
- 2017-11-16 JP JP2017220716A patent/JP6806040B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2019092094A (ja) | 2019-06-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10922865B2 (en) | Information processing apparatus, information processing method, and program | |
JP6965914B2 (ja) | 映像生成装置、その方法、プログラム | |
JP6750025B2 (ja) | 拡張現実(ar)システムを動作させる方法 | |
KR101764372B1 (ko) | 휴대용 단말기에서 영상 합성 방법 및 장치 | |
JP4847184B2 (ja) | 画像処理装置及びその制御方法、プログラム | |
US8860847B2 (en) | Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for creating an image | |
JP6492332B2 (ja) | 情報処理装置、情報処理方法及びプログラム | |
US10096166B2 (en) | Apparatus and method for selectively displaying an operational environment | |
US20180182144A1 (en) | Information processing apparatus, information processing method, and program | |
JP6669783B2 (ja) | 端末装置、システム、プログラム及び方法 | |
JP2010154422A (ja) | 画像処理装置 | |
JP2004145448A (ja) | 端末装置、サーバ装置および画像加工方法 | |
US10748341B2 (en) | Terminal device, system, program and method for compositing a real-space image of a player into a virtual space | |
US11941729B2 (en) | Image processing apparatus, method for controlling image processing apparatus, and storage medium | |
US20240062030A1 (en) | Colored visual markers for variable use | |
JP2004227332A (ja) | 情報表示方法 | |
JP6806040B2 (ja) | 画像生成装置、表示システム、及びプログラム | |
US11043019B2 (en) | Method of displaying a wide-format augmented reality object | |
JP4633023B2 (ja) | ユーザインタフェース装置 | |
JP2008146260A (ja) | 画像生成装置及び画像生成方法 | |
JP7147336B2 (ja) | 投射方法及び投射システム | |
US11842236B2 (en) | Colored visual markers for variable use | |
JP4006105B2 (ja) | 画像処理装置およびその方法 | |
JP5916365B2 (ja) | 映像送信システム、映像送信方法及びコンピュータプログラム | |
US20240331317A1 (en) | Information processing device, information processing system and method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190403 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200115 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200212 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200402 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200623 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20201104 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20201117 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6806040 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |