JP6806040B2 - 画像生成装置、表示システム、及びプログラム - Google Patents

画像生成装置、表示システム、及びプログラム Download PDF

Info

Publication number
JP6806040B2
JP6806040B2 JP2017220716A JP2017220716A JP6806040B2 JP 6806040 B2 JP6806040 B2 JP 6806040B2 JP 2017220716 A JP2017220716 A JP 2017220716A JP 2017220716 A JP2017220716 A JP 2017220716A JP 6806040 B2 JP6806040 B2 JP 6806040B2
Authority
JP
Japan
Prior art keywords
image
complexity parameter
color
vehicle
contour line
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2017220716A
Other languages
English (en)
Other versions
JP2019092094A (ja
Inventor
宇田 尚典
尚典 宇田
良行 赤井
良行 赤井
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Toyota Central R&D Labs Inc
Original Assignee
Toyota Central R&D Labs Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Toyota Central R&D Labs Inc filed Critical Toyota Central R&D Labs Inc
Priority to JP2017220716A priority Critical patent/JP6806040B2/ja
Publication of JP2019092094A publication Critical patent/JP2019092094A/ja
Application granted granted Critical
Publication of JP6806040B2 publication Critical patent/JP6806040B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Closed-Circuit Television Systems (AREA)
  • Transforming Electric Information Into Light Information (AREA)
  • Studio Devices (AREA)
  • Image Processing (AREA)

Description

本発明は、画像生成装置、表示システム、及びプログラムに関する。
特許文献1には、入力される機械調の原画像を絵画調画像に変換する絵画調画像への変換プログラムであって、前記原画像と、該原画像に目的とする絵の感じがでるように所定の濃淡パターンで作成されたフィルタ画像とを合成する合成ステップを有する、ことを特徴とする絵画調画像への変換プログラムが開示されている。
特許文献2には、プロセッサと、プログラム及びデータが格納された記憶手段と、画像出力手段とを備え、該データは、カメラで撮像された被写体画像と、スクリーントーンとを含み、該プログラムが該プロセッサに対し、該被写体画像を漫画調に変換させる画像処理装置において、該プログラムは該プロセッサに対し、(a)該被写体画像をグレースケール画像に変換させ、(b)該グレースケール画像を第1の閾値で2値化させたマスクを生成させ、該スクリーントーンの、該マスクの白画素の位置に対応した画素からなるスクリーントーン切抜画像を生成させ、(c)該グレースケール画像を、該第1の閾値より小さい第2の閾値で2値化させて2値画像を生成させ、(d)該グレースケール画像のエッジ画像を反転させた輪郭線画像を生成させ、(e)該スクリーントーン切抜画像と該2値画像と該輪郭線画像とを積合成させた第1合成画像を生成させ、該第1合成画像の一部又は全部を含む画像を漫画調画像として該画像出力手段に供給させることを特徴とする画像処理装置が開示されている。
特許文献3には、被写体を撮影して得られる連写画像群や動画を構成する動画構成画像群の中からユーザによって任意に選択された合成に用いられる合成用画像群のデータが記憶される合成用画像群記憶手段と、前記合成用画像群の中から被写体の動作開始の画像、動作中の画像、動作終了の画像を抽出する画像抽出手段と、前記画像抽出手段が抽出した複数の画像を合成する抽出画像合成手段と、画像を表示する表示手段および前記抽出画像合成手段によって合成された合成抽出画像を表示させる表示制御手段と、ユーザによって前記合成抽出画像内における所定の矩形領域を選択するのに用いられる矩形領域入力手段と、ユーザが選択した矩形領域を印刷用紙のサイズに合った矩形領域に調整する矩形領域調整手段と、前記合成用画像群内の画像における前記矩形領域調整手段によって調整された矩形領域内を合成する矩形領域合成手段と、前記矩形領域合成手段が合成して得られる矩形領域合成画像を絵画調に変換する絵画調変換手段と、前記絵画調変換手段によって生成された絵画調画像を前記印刷用紙に印刷する印刷手段と、を備えることを特徴とする画像処理装置が開示されている。
特許文献4には、オリジナル画像の画調変換を行う画調変換方法であって、前記画像の少なくとも一部に、流体の動きのように表現する画像変換処理を行うことを特徴とする画調変換方法が開示されている。
特開2002−298136号公報 特開2014−102596号公報 特開2012−129669号公報 特開2013−191114号公報
従来の画像処理装置等は、移動体の周辺環境を反映した画像に関するものではない。
本発明の目的は、移動体の周辺環境に応じて変化する画像を得ることができる、画像生成装置、表示システム、及びプログラムを提供することにある。
上記目的を達成するために、本発明の画像生成装置は、移動体の周辺の画像を撮影する撮影部により時系列に撮影された複数の第1画像から、前記移動体の周辺環境の変化の度合いを表す環境情報を生成する情報生成部と、前記複数の第1画像の各々について、前記第1画像の輪郭線を抽出した第1輪郭線画像を生成し、前記第1画像の背景部分を抽出した背景画像を生成し、前記第1輪郭線画像の輪郭線の濃度を前記環境情報に応じて変化させた第2輪郭線画像を生成し、前記第2輪郭線画像と前記背景画像とを合成して第2画像を生成する画像生成部と、を備え、前記環境情報が、前記第1画像全体の変化の度合いを表す第1の複雑さパラメータ、前記第1画像内の左右端の変化の度合いを表す第2の複雑さパラメータ、前記第1の複雑さパラメータの速度に対する変化を表す特性曲線と前記第1の複雑さパラメータの速度に対して直線的に増加する成分を表す基準線とで囲まれる領域の大きさ、または、前記第2の複雑さパラメータの速度に対する変化を表す特性曲線と前記第2の複雑さパラメータの速度に対して直線的に増加する成分を表す基準線とで囲まれる領域の大きさで表される第3の複雑さパラメータ、及び、前記第1画像内の中央部の変化の度合いを表す第4の複雑さパラメータで構成される複雑さパラメータ群の中から選択された1つの複雑さパラメータ、または、前記複雑さパラメータ群の中から選択された2以上の複雑さパラメータの組合せであり、前記画像生成部は、選択された複雑さパラメータの値が大きくなるほど、輪郭線の濃度を濃くする画像生成装置である。
本発明の表示システムは、本発明の画像生成装置と、前記画像生成装置から送信された前記画像に基づく情報を表示する表示装置と、を備えた表示システムである。
本発明のプログラムは、コンピュータを、本発明の画像生成装置の各部として機能させるためのプログラムである。
本発明によれば、移動体の周辺環境に応じて変化する画像を得ることができる、画像生成装置、表示システム、及びプログラムを提供することができる。
本発明の実施の形態に係る画像生成装置の構成の概略を示すブロック図である。 撮影部で撮影された画像を示す。(A)は複雑さパラメータ1を得るための画像の正面図、(B)は複雑さパラメータ2を得るための画像の正面図、(C)は図5(B)で分割した画像コマを特定する番号の配列図である。 速度-複雑さパラメータ特性図である。 撮影部で撮影された画像を示し、複雑さパラメータ4を得るための画像の正面図である。 第1の実施の形態に係る画像生成装置の電気的構成の一例を示すブロック図である。 第1の実施の形態に係る画像生成装置の動作の概略を示す模式図である。 第1の実施の形態に係る情報処理部の構成の一例を示すブロック図である。 第1の実施の形態に係る情報処理部の構成の具体例を示すブロック図である。 第1の実施の形態に係る「画像生成処理」を実行するプログラムの流れを示すフローチャートである。 図9の「エフェクト処理」を実行するプログラムの流れを示すフローチャートである。 画像処理を説明するための図である。(A)は撮影されたカメラ映像、(B)は輪郭線画像、(C)は輪郭線の濃度が薄く変更された輪郭線画像、(D)は背景画像、(E)は合成画像を示す。 画像処理を説明するための図である。(A)は撮影されたカメラ映像、(B)は輪郭線画像、(C)は輪郭線の濃度が濃く変更された輪郭線画像、(D)は背景画像、(E)は合成画像を示す。 第2の実施の形態で生成されるグラデーション画像の一例を示す図である。 第2の実施の形態に係る画像生成装置の動作の概略を示す模式図である。 第2の実施の形態に係る情報処理部の構成の一例を示すブロック図である。 第2の実施の形態に係る「画像生成処理」を実行するプログラムの流れを示すフローチャートである。 (A)〜(D)は、カメラ映像に対応するグラデーション画像の具体例1を示す図である。 第3の実施の形態で動画像の生成に用いる図形の一例を示す図である。 図形の移動経路の一例を示す図である。 図形の移動経路の他の一例を示す図である。 第3の実施の形態に係る画像生成装置の動作の概略を示す模式図である。 第3の実施の形態に係る情報処理部の構成の一例を示すブロック図である。 第4の実施の形態に係る表示システムの構成の一例を示すブロック図である。 第4の実施の形態に係る表示装置の一例を示す模式図である。 第4の実施の形態に係る表示装置の他の一例を示す模式図である。 (A)〜(D)は、カメラ映像に対応するグラデーション画像の具体例2を示す図である。
以下、図面を参照して本発明の実施の形態の一例を詳細に説明する。
<発明の概要>
本明細書では、本発明に係る画像生成装置を、「移動体」の一例である車両に搭載された画像生成装置に適用した例について説明する。図1は本発明の実施の形態に係る画像生成装置の構成の概略を示すブロック図である。
画像生成装置10は、複雑さパラメータを生成するパラメータ生成部12と、複雑さパラメータに応じて変化する画像を生成する画像生成部14とを備えている。ここで「複雑さパラメータ」とは、車両の周辺環境の変化の度合いを表す「環境情報」の一例である。車両の周辺環境の変化の度合いが大きいほど、車両の周辺環境は「複雑」である。複雑さパラメータの種類や取得方法については後述する。
パラメータ生成部12は、車両に設置された環境検出センサから、車両の周辺環境の状況に応じた状況情報を取得する。パラメータ生成部12は、取得された状況情報に応じた複雑さパラメータを生成する。環境検出センサとしては、カメラ等の画像センサ、光センサ、放射温度計等の温度センサ、GPSを含むカーナビゲーション・システム等の位置センサなどがある。本実施の形態では、画像生成装置10が、車両の周辺を撮影する撮影部(カメラ)を備える例について説明する。
画像生成部14は、複雑さパラメータに応じて画像処理を制御して、複雑さパラメータに応じて変化する画像を生成し、画像データを出力する。複雑さパラメータに応じて画像処理が制御される。例えば、画像生成部14は、複雑さパラメータに応じてカメラ映像に掛けるエフェクトを制御して、新たな画像を生成してもよい。また、例えば、画像生成部14は、図形を移動させて動画像を生成する際に、複雑さパラメータに応じて図形の色や動きを制御して、新たな画像を生成してもよい。
<複雑さパラメータ>
次に、複雑さパラメータの種類及び取得方法について説明する。
上記の通り、撮影部(カメラ)は、車両の走行中または停車中に車両の周辺の画像を撮影する。複雑さパラメータは、撮影された車両の周辺の画像から生成される。以下では、複数の複雑さパラメータ(複雑さパラメータ1〜4)について説明する。本実施の形態では、複雑さパラメータ4を用いる例について説明するが、他の複雑さパラメータを用いてもよく、複数の複雑さパラメータを2以上組合せて用いてもよい。
図2は撮影部で撮影された画像を表す図である。図2(A)は複雑さパラメータ1を得るための画像の正面図、図2(B)は複雑さパラメータ2を得るための画像の正面図、図2(C)は図2(B)で分割した画像コマを特定する番号の配列図である。
(複雑さパラメータ1)
複雑さパラメータ1は、画像全体の変化の度合いを監視する情報である。複雑さパラメータ1の生成に際し、基本処理として生成した白黒データを取得し(図2(A)参照)、時間的に前後する画像情報の差(の絶対値)を演算し(差分演算)、車両の走行(移動)に応じて、当該差分演算を数十回(例えば、60回程度)繰り返したときの平均値を演算する。この複雑さパラメータ1によって、車両の周辺環境のうち撮影部の視野内全体の変化を認識することができる。
(複雑さパラメータ2)
複雑さパラメータ2は、画像の左右端の変化の度合いを重点的に監視する情報である。ここで「左右」とは、車両の走行方向に対し「右側」「左側」という意味である。複雑さパラメータ2の生成に際し、基本処理として生成した白黒データ(絶対値)を取得し、取得した白黒データの画像を複数の画像コマに分割する。例えば、図2(C)に示される如く、横9×縦5に分割し、各画像コマに対して、左上から右下にかけて番号を付与する。
分割した画像コマの中から、画像の左右端に相当する画像コマである、図2(B)のNo.21とNo.26との差の絶対値の平均値、及びNo.25とNo.30との差の絶対値の平均値を抽出する。そして、No.21とNo.26との差の絶対値の平均値、及びNo.25とNo.30との差の絶対値の平均値とを演算し(平均値演算)、車両の走行(移動)に応じて、当該平均値演算を数十回(例えば、40回程度)繰り返したときの平均値を演算する。この複雑さパラメータ2によって、車両の周辺環境のうち特に車両の側方の変化を認識することができる。
(複雑さパラメータ3)
複雑さパラメータ3は、車両の近傍に存在する障害物の有無を監視する情報である。図3は速度-複雑さパラメータ特性図である。図3に示す特性曲線は、上記の複雑さパラメータ2と速度との関係を表す。以下では、「複雑さパラメータ2の特性曲線」という。複雑さパラメータ3の生成に際し、複雑さパラメータ2の特性曲線に対し基準線A(図3参照)を設定する。
ここで、複雑さパラメータ2が速度に対して直線的に変化する成分を含むと仮定する。図3に示す基準線Aは、直線的に変化する成分を表す。複雑さパラメータ2の特性曲線Cと基準線Aとの差分(図3の斜線領域D参照)が、複雑さパラメータ3である。同様に、複雑さパラメータ1の特性曲線に対して基準線を設定して、複雑さパラメータ1の特性曲線と基準線の差分を求め、複雑さパラメータ3を生成してもよい。複雑さパラメータ1の特性曲線と基準線との差分と、複雑さパラメータ2の特性曲線と基準線との差分とを比較して、差分が大きい方を複雑さパラメータ3としてもよい。
例えば、車両が障害物の少ない道路を走行しているときは、実際の速度−複雑さパラメータ特性曲線は、特性曲線Bとなり、前記基準線Aを超える要素はない。
一方、障害物の多い道路を走行しているときは、速度−複雑さパラメータ1、2特性曲線は、特性曲線Cとなり、前記基準線Aを超える要素が存在する(図3の斜線領域D参照)。この斜線領域Dが発生する状況としては、車両が駐車場の敷地内である、道路が狭くかつ電信柱や自動販売機が道路側に突出して設置される、及び、人通りが多い場合等が挙げられる。
(複雑さパラメータ4)
複雑さパラメータ4は、画像の中央部の変化の度合いを重点的に監視する情報である。ここで「中央部」とは、画像を車両の高さ方向に三分割した場合の中央部分である。図4は撮影部で撮影された画像を示し、複雑さパラメータ4を得るための画像の正面図である。
複雑さパラメータ4の生成に際し、基本処理として生成した白黒データ(絶対値)を取得し、取得した白黒データの画像を高さ方向に複数の領域に分割する。例えば、図7に示される如く、横1×縦3に分割する。
分割した領域の中から、中央領域の画像に対し、時間的に前後する画像情報の差(の絶対値)を演算し(差分演算)、車両の走行(移動)に応じて、当該差分演算を数十回(例えば、60回程度)繰り返したときの平均値を演算する。この複雑さパラメータ4によって、車両の周辺環境のうち特に車両前方中央の変化を認識することができる。
<第1の実施の形態>
第1の実施の形態に係る画像生成装置について説明する。画像生成装置の電気的構成、動作、機能構成の各々について説明する。電気的構成は各実施の形態について共通の構成である。画像生成装置の動作及び機能構成は、実施の形態毎に特定される。
(電気的構成)
まず、画像生成装置の電気的構成について説明する。
図5は本発明の実施の形態に係る画像生成装置の電気的構成の一例を示すブロック図である。図5に示すように、画像生成装置10は、図1に示す「画像生成部14」の機能を実行する情報処理部30を備えている。情報処理部30は、各種演算を行うコンピュータとして構成されている。情報処理部30は、CPU(中央処理装置; Central Processing Unit)30A、ROM(Read Only Memory)30B、RAM(Random Access Memory)30C、不揮発性のメモリ30D、及び入出力部(I/O)30Eを備えている。
CPU30A、ROM30B、RAM30C、メモリ30D、及びI/O30Eの各々は、バス30Fを介して接続されている。CPU30Aは、例えばROM30Bに記憶されたプログラムを読み出し、RAM30Cをワークエリアとして使用してプログラムを実行する。また、I/O30Eには、撮影部20、操作部32、表示部34、通信部36、記憶部38、画像出力部40、及び音楽出力部42が接続されている。
撮影部20は、車両に設置されたカメラ等の撮影装置で構成されている。撮影部20は、可視画像を取得する。撮影部20は、可視画像に加えて、赤外画像や距離画像を取得してもよい。撮影部20は、例えば、車両の走行中に車両の前方や側方の景色を撮影する。撮影部20は、撮影した画像の画像データを情報処理部30に出力する。
操作部32は、スイッチ、ボタン等を備え、搭乗者からの操作を受け付ける。表示部34は、ディスプレイ等を備え、搭乗者に各種情報を表示する。タッチパネル等、操作部32及び表示部34の機能を兼ね備える構成として、搭乗者からの操作を受け付けると共に、搭乗者に各種情報を表示するようにしてもよい。
通信部36は、有線又は無線の通信回線を介して外部装置と通信を行うためのインターフェースである。例えば、LAN(Local Area Network)、インターネット等のネットワークに接続されたコンピュータ等の外部装置と通信を行うためのインターフェースとして機能する。記憶部38は、ハードディスク等の外部記憶装置である。
画像出力部40は、情報処理部30で生成された画像を表示する、投影する等して画像を出力する。画像出力部40は、例えば、搭乗者の周辺視野内など車両内の搭乗者から見える位置に、画像を投影する。
音楽出力部42は、音楽情報に基づいて音楽を出力する。音楽出力部42は、例えば、画像出力部40から出力される画像の色に応じた音楽を出力する。後述する通り、「赤」は温かい感覚を誘起し、「青」は涼しい感覚を誘起する等、画像の色に応じた感覚を誘起する。温かい感覚を誘起する色の画像の場合は、暖炉の音など、温かそうな効果音を併せて出力してもよい。涼しげな感覚を誘起する色の画像の場合は、水やカエルの音など、涼しげな効果音を併せて出力してもよい。
本実施の形態では、後述する「画像生成処理」を実行するためのプログラムが、ROM30Bに記憶されている。なお、プログラムの記憶領域はROM30Bには限定されない。各種プログラムは、メモリ30Dや記憶部38等の他の記憶装置に記憶されていてもよく、通信部36を介して外部装置から取得してもよい。
また、情報処理部30には、各種ドライブが接続されていてもよい。各種ドライブは、CD−ROM、USB(Universal Serial Bus)メモリなどのコンピュータ読み取り可能な可搬性の記録媒体からデータを読み込んだり、記録媒体に対してデータを書き込んだりする装置である。各種ドライブを備える場合には、可搬性の記録媒体にプログラムを記録しておいて、これを対応するドライブで読み込んで実行してもよい。
(動作の概略)
次に、画像生成装置の動作について説明する。
図6は第1の実施の形態に係る画像生成装置の動作の概略を示す模式図である。図6に示すように、第1の実施の形態では、車両の周辺を撮影したカメラ映像から、複雑さパラメータを生成する。カメラ映像に対し、生成された複雑さパラメータに応じた度合いのエフェクトを掛けて、新たな画像を生成する。
第1の実施の形態では、車両に搭乗して走行するという日常の行為により、新たな画像が自動的に作成される。著作権フリーの画像が無尽蔵に作成される。作成された画像は、服やカバンやノート等の媒体に印刷出力される等、二次利用も可能である。
画像にエフェクトを掛けることで、絵画調や漫画調等、画調を変換できることは知られている。本実施の形態では、カメラ映像に対し、複雑さパラメータに応じた度合いのエフェクトを掛けることにより、搭乗者が遭遇した場面に応じた「劇的さ」を表す、新たな画像が生成される。
(画像生成装置の構成)
次に、画像生成装置の機能構成について説明する。
図7は第1の実施の形態に係る情報処理部の構成の一例を示すブロック図である。図7に示すように、情報処理部30は、メモリ50、パラメータ生成部52、及び画像処理部54を備えている。撮影部20により撮影された車両の周辺の画像を「第1画像」とし、その画像データを「第1画像データ」とする。
撮影部20から取得された第1画像データは、メモリ50に記憶される。パラメータ生成部52は、第1画像データをメモリ50から取得し、第1画像データから複雑さパラメータ4を生成する。画像処理部54は、第1画像データをメモリ50から取得する。
画像処理部54は、第1画像を画像処理して第2画像を生成する。第1画像に対し、複雑さパラメータに応じた度合いのエフェクトを掛けて、第2画像を生成する。第2画像の画像データを「第2画像データ」とする。情報処理部30は、第2画像データを出力する。
次に、画像生成装置の構成の具体例について説明する。
図8は第1の実施の形態に係る情報処理部の機能構成の具体例を示すブロック図である。図7に示す情報処理部30と同様に、情報処理部30は、メモリ50、パラメータ生成部52、及び画像処理部54を備えている。画像処理部54は、輪郭抽出部56、輪郭色/濃度変更部58、画像合成部60、及び背景抽出部62を備えている。具体例では、画像処理部54が行う画像処理の手順について説明する。
輪郭抽出部56は、カメラ映像である第1画像をグレースケール化し、白黒で表現されたグレースケール画像を生成する。輪郭抽出部56は、グレースケール画像から輪郭線画像を生成する。例えば、グレースケール画像に対しエッジ検出を行い、エッジ検出の結果を二値化してエッジ画像を生成する。エッジ画像の白黒を反転させて、第1輪郭線画像を生成する。
輪郭色/濃度変更部58は、複雑さパラメータ4に応じて、第1輪郭線画像の輪郭線の色を設定する。輪郭線の色が変化することで、情報処理部30で生成される第2画像に変化が与えられる。
輪郭色/濃度変更部58は、複雑さパラメータ4に応じて第1輪郭線画像の輪郭線の濃度を変更し、第2輪郭線画像を生成する。複雑さパラメータの値が大きくなるほど、車両の周辺環境の変化の度合いが大きくなる。したがって、複雑さパラメータの値が大きいほど、輪郭線の濃度を濃くする。輪郭線の濃度は、輪郭線を太くすると濃くなる。
背景抽出部62は、カメラ映像である第1画像から背景画像を分離する。例えば、撮影時間が前後する複数の画像を合成することで、動いている物体が消えて背景画像が分離される。ここで「動いている物体」とは、撮影部の視野内に出現したり、視野内から消えたりする物体のことである。画像合成部60は、背景画像と第2輪郭線画像とを合成して合成画像(第2画像)を生成する。例えば、画素毎に、背景画像の画素値と、第2輪郭線画像の画素値との和を求める。
輪郭抽出部56、輪郭色/濃度変更部58、画像合成部60、及び背景抽出部62の各部の機能は、画像にエフェクトを掛けるエフェクタにより実行される。輪郭線抽出を行うエフェクタとしては、「SKETCHER」などが挙げられる。輪郭線の色や濃度を変更するエフェクタとしては、「2TONER」などが挙げられる。背景画像を抽出するエフェクタとしては、「SLIDER」などが挙げられる。「SLIDER」は、ディレイを掛けた複数の画像を重ねることにより、動いている物体を消す。
上記の例では、画像全体にエフェクトを掛け、エフェクトを掛ける度合いを制御しているが、画像の一部分にエフェクトを掛け、エフェクトを掛ける部分領域の大きさを制御してもよい。
(プログラム)
次に、「画像生成処理」を実行するプログラムについて説明する。
図9は第1の実施の形態に係る「画像生成処理」を実行するプログラムの流れを示すフローチャートである。図10は図9の「エフェクト処理」を実行するプログラムの流れを示すフローチャートである。「画像生成処理」及び「エフェクト処理」は、処理の実行を開始する指示があると、画像生成装置10のCPU30Aにより実行される。
まず、ステップ100で、メモリに記憶された第1画像データを取得する。次に、ステップ102で、第1画像データから複雑さパラメータ4を生成する。次に、ステップ104で、第1画像に対し「エフェクト処理」を行って、第2画像を生成する。次に、ステップ106で、第2画像に応じた第2画像データを出力して、ルーチンを終了する。
エフェクト処理では、まず、ステップ200で、第1画像の輪郭線を抽出した第1輪郭画像を生成する。次に、ステップ202で、第1輪郭画像の輪郭線の色及び濃度の少なくとも一方を、複雑さパラメータ4に応じて変更する。第1輪郭画像から、第2輪郭画像が生成される。次に、ステップ204で、第1画像から背景画像を分離する。次に、ステップ206で、第2輪郭画像と背景画像とを合成して、ルーチンを終了する。
(画像処理)
図11(A)〜(E)は画像処理の手順を説明するための図である。図11(A)は撮影されたカメラ映像、図11(B)は第1輪郭線画像、図11(C)は輪郭線の濃度が薄く変更された第2輪郭線画像、図11(D)は背景画像、図11(E)は合成画像を示す。
図11(A)に示すカメラ映像(第1画像)は、車両の周辺環境にあまり変化がない状況で撮影された画像である。車両の周辺環境の変化が少ない場合は、複雑さパラメータ4が小さくなる。複雑さパラメータ4が小さくなると、図11(C)に示すように、第2輪郭線画像では輪郭線の濃度が薄くなる。
一方、カメラ映像(第1画像)から背景画像が分離された結果、図11(D)に示す背景画像では、側方の建物等が無くなっている。図11(D)に示す背景画像に図11(C)に示す第2輪郭線画像が合成されて、図11(E)に示す合成画像(第2画像)が生成される。
図12(A)〜(E)は画像処理の手順を説明するための図である。図12(A)は撮影されたカメラ映像、図12(B)は第1輪郭線画像、図12(C)は輪郭線の濃度が濃く変更された第2輪郭線画像、図12(D)は背景画像、図12(E)は合成画像を示す。
図12(A)に示すカメラ映像(第1画像)は、車両の周辺環境に木が沢山ある等、車両の周辺環境に変化が多い状況で撮影された画像である。車両の周辺環境の変化が多い場合は、複雑さが増した状態であり、複雑さパラメータ4が大きくなる。複雑さパラメータ4が大きくなると、図12(C)に示すように、第2輪郭線画像では輪郭線の濃度が濃くなる。輪郭線の色は、例えば、木の色(緑)等、第1画像を代表する色とする。
一方、カメラ映像(第1画像)から背景画像が分離された結果、図12(D)に示す背景画像では、具体的な木の形が無くなっている。図12(D)に示す背景画像に図12(C)に示す第2輪郭線画像が合成されて、図12(E)に示す合成画像(第2画像)が生成される。第2画像では、緑色の輪郭線がはっきり見えている。
複雑さパラメータ4に応じて輪郭線の濃度を変更することで、車両の周辺環境の変化に応じて第2画像が変化する。変化が乏しいところから、カーブして複雑な場所に来たときなどは、輪郭がどんどん現れてきて、第2画像の鑑賞者に「劇的な」感じを与えることができる。車両の周辺環境の変化に応じて映像に抑揚がつく。劇的に変わる映像が、鑑賞者に特別な場所に来た感じを与え、車両の運転という日常の行為に対して付加価値を付与する。
<第2の実施の形態>
第2の実施の形態では、車両の周辺を撮影したカメラ映像から、複雑さパラメータ4を生成する点は、第1の実施の形態と同様である。第2の実施の形態では、生成された複雑さパラメータ4に応じた速度で、帯状の図形を一方向に移動させてグラデーション画像(動画像)を生成する。このとき、第1画像から色情報を抽出し、抽出された色情報に応じて帯状の図形の色を変化させる。
第2の実施の形態でも、車両に搭乗して走行するという日常の行為により、新たな画像が自動的に作成される。著作権フリーの画像が無尽蔵に作成される。作成された画像は、二次利用も可能である。
第2の実施の形態でも、撮影部20により撮影された車両の周辺の画像を「第1画像」とし、その画像データを「第1画像データ」とする。また、情報処理部30で生成される動画像を「グラデーション画像」と称する。
(グラデーション画像)
ここで、グラデーション画像について説明する。
図13は第2実施の形態で生成されるグラデーション画像の一例を示す図である。グラデーション画像は、帯状の図形(以下、「帯」という。)82が、画面80の一端から他端まで移動することにより生成される。図示した例では、帯82は、画面80の上端に出現し、画面80の上端から下端まで矢印方向に移動して、画面80の下端に到達すると消える。
例えば、画面80の各隅の座標を、上左端(0,0)、上右端(448,0)、下左端(0,469)、下右端(448,469)とする。帯82の各隅の座標を、上左端(0,y)、上右端(448,y)、下左端(0,y+20)、下右端(448,y+20)とする。帯82の長さは「449(=469-20)」であり、帯82の幅は「20」である。
上記の通り、帯82の位置座標は「y」の値で表される。図示した例では、yの値は、0から449まで変化する。例えば、帯82の位置座標を、カウンタのカウント値に応じて変化させてもよい。カウント値は、カウンタに信号が1つ入るたびに1つ増える。カウンタに信号を入れる間隔を、遅延装置等を用いて複雑さパラメータ4に応じて変化させる。帯82の移動速度が、複雑さパラメータ4に応じて変化する。
複雑さパラメータ4が大きい(周辺環境に変化が大きい)場合は、カウンタに入る信号の間隔を短くして、帯82の移動速度を速くする。複雑さパラメータ4が小さい(周辺環境に変化が小さい)場合は、カウンタに入る信号の間隔を長くして、帯82の移動速度を遅くする。
帯82の色は、車両の周辺を撮影したカメラ映像(第1画像)から抽出された色とする。帯82の色は、第1画像の全部または一部を代表する代表色としてもよい。例えば、第1画像を車両の高さ方向に三分割し、中央部分から代表色を抽出する。第1画像の上部には空が写り込み空の色が中心になり、下部には道路やボンネットが写り込みこれらの色が中心になる。第1画像の中央部分の色を用いた方が、車両の周辺環境の変化が色に反映され易い。
本実施の形態では、中央部分から代表色を抽出する。第1画像の中央部分の各画素の画素値を、RGB各色に分けると、RGB各色の比率が求められる。得られた比率でRGB各色を混合した色を、第1画像の中央部分の代表色とする。得られた代表色が、カメラ映像(第1画像)から求めた、車両の周辺環境を表す色である。車両の周辺環境が変化すると、帯82の色もそれに応じて変化する。
また、帯82の色は、代表色を「差し色」で補正した補正色としてもよい。第1画像の中央部分には様々な色がある。各画素の画素値のばらつきが大きいほど、代表色は灰色に近くなる。帯82の色を明るくするために、差し色を用いて代表色を補正してもよい。
差し色は、赤、だいだい、黄色、緑、水色、青、紫の7色である。第1画像の中央部分から抽出した代表色において色成分が一番多い色を、その代表色に対する「差し色」と特定する。そして、第1画像の中央部分の代表色と、特定された「差し色」とを混ぜた補正色を、帯82の色とする。
車両の周辺環境を表す色の帯82を、複雑さパラメータ4に応じた移動速度で、画面80の上端から下端まで移動させることにより、グラデーション画像が生成される。車両の周辺環境が、帯82の色と動きで表される。
グラデーション画像は、例えば、いわゆるアンビエント照明(環境照明)として車両内に投影される。グラデーション画像は、車両内の床や側方下側など、搭乗者が正面を向いている場合には「周辺視野」となる部分に投影される。車両内の床とは、運転席、助手席、後部座席の下の床の部分である。車両内の側方下側とは、ドア下側等である。
車両の周辺環境に応じて色が変化する画像を車両内に投影することにより、車両の外部と内部とを色で結びつけ、搭乗者の意識を車両の周辺環境に向けさせる。例えば、黄緑のグラデーション画像が投影されると、田んぼの稲穂などに目が行き易くなる。このようにして、搭乗者が周辺環境に気付くように仕向けている。
画面全体の色が大きく変わるとちらつきを感じる。ちらつきは運転の妨げにもなる。グラデーション画像なら、画面の一部の色が徐々に変わるのでちらつきを感じない。グラデーション画像は、車両の周辺環境に応じて変化するので、車両で移動しているイメージを持たせる助けになる。また、グラデーション画像によれば、揺らいでいる感じがでるし、飽きさせない効果がある。
上記の例では、差し色は、車両の周辺環境を表す代表色に応じて変化するが、差し色を特定色に固定してもよい。例えば、温かい感覚を誘起する場合は差し色を「赤」とし、涼しい感覚を誘起する場合は差し色を「青」とする。特定色を基調とするグラデーション画像により、心理効果を利用して特定の感覚を誘起する。
夏、車両内が非常に暑くなっている場合に、車両に乗り込んでしばらくは、涼しい感覚を誘起する「青」を基調としたグラデーション画像を車両内に投影して搭乗者を向かえる。水やカエルの音など、涼しげな効果音を併せて出力してもよい。逆に、冬は、温かい感覚を誘起する「赤」を基調としたグラデーション画像を車両内に投影して搭乗者を向かえる。冬の場合は、暖炉の音など、温かそうな効果音を併せて出力してもよい。
(動作の概略)
次に、画像生成装置の動作について説明する。
図14は第2の実施の形態に係る画像生成装置の動作の概略を示す模式図である。図14に示すように、第2の実施の形態では、車両の周辺を撮影したカメラ映像(第1画像)から、複雑さパラメータを生成する。移動させる図形の形状(帯の長さや幅)、移動経路の初期値、及び移動速度の初期値等を設定する。
第1画像から色情報を抽出し、抽出された色情報を帯の色として設定する。上記の通り、帯の色は、代表色または補正色に設定される。代表色または補正色の帯を、生成された複雑さパラメータ4に応じた速度で移動させて、第1画像とは別に「グラデーション画像」を生成する。ここでは、図形の移動速度を変えることを「エフェクト」と称する。
第2の実施の形態では、帯状の図形が複雑さパラメータ4に応じた移動速度で移動するように、画像処理を制御する。これにより、車両の周辺環境の変化に応じたグラデーション画像が生成される。車両の周辺環境の変化が大きいほど、図形の移動速度が速くなり、グラデーションが粗くなる。カメラ映像より抽象化されたグラデーション画像により、車両の周辺環境の雰囲気が表現される。
グラデーション画像は車両内に投影されるが、搭乗者が見てもちらつきを感じない。グラデーション画像が、車両の周辺環境を表す色で構成されることにより、搭乗者に周辺環境を意識させる。グラデーション画像は、車両の周辺環境に応じて変化するので、車両で移動しているイメージを持たせる助けになる。
(画像生成装置の構成)
次に、画像生成装置の機能構成について説明する。
図15は第2の実施の形態に係る情報処理部の構成の一例を示すブロック図である。図15に示すように、情報処理部30は、メモリ50、パラメータ生成部52、動き制御部64、色情報抽出部66、色設定部68、及び動画像生成部70を備えている。撮影部20から取得された第1画像データは、メモリ50に記憶される。パラメータ生成部52は、第1画像データをメモリ50から取得し、第1画像データから複雑さパラメータを生成する。
動画像生成部70は、帯の形状(長さや幅)、移動経路の初期値、及び移動速度の初期値等を設定する。色情報抽出部66は、第1画像の中央部分から代表色を抽出する。また、必要に応じて、代表色を「差し色」で補正して補正色を求める。色設定部68は、帯の色を、代表色または補正色に設定する。
動き制御部64は、複雑さパラメータ4に応じた移動速度を求める。動き制御部64は、動画像生成部70によりグラデーション画像を生成する際に、色設定部68により設定された色の帯が、複雑さパラメータ4に応じた移動速度で移動するように、動画像生成部70を制御する。動画像生成部70は、グラデーション画像を生成する。情報処理部30は、グラデーション画像を表す画像データを出力する。
(プログラム)
次に、「画像生成処理」を実行するプログラムについて説明する。
図16は第2の実施の形態に係る「画像生成処理」を実行するプログラムの流れを示すフローチャートである。「画像生成処理」は、画像生成を開始する指示があると、画像生成装置10のCPU30Aにより実行される。
まず、ステップ300で、メモリに記憶された第1画像データを取得する。次に、ステップ302で、第1画像データから色情報を抽出する。次に、ステップ304で、抽出された色情報から、帯の色を設定する。帯の色は、代表色または補正色に設定される。
次に、ステップ306で、帯の移動を開始するか否かを判断する。前の帯が画面の下端に到達して消えると、次の帯が画面の上端に出現して移動を開始する。帯の移動を開始するまで、ステップ306の判断を繰り返し行う。帯の移動を開始する場合は、ステップ308に進み、ステップ308で、最新の第1画像データを取得する。
次に、ステップ310で、最新の第1画像データから複雑さパラメータ4を生成する。次に、ステップ312で、複雑さパラメータ4から、帯の移動速度を算出する。次に、ステップ314で、算出された移動速度で帯が下方に移動するように、動画生成部を制御する。
次に、ステップ316で、帯の移動が終了したか否かを判断する。帯の移動が終了した場合は、ステップ318に進む。帯の移動が終了していない場合は、ステップ308に戻って、ステップ308からステップ316までの手順を繰り返し行う。逐次、最新の第1画像データを取得して、複雑さパラメータ4を生成し、複雑さパラメータ4に応じた移動速度を算出して、算出された移動速度で帯を移動させる。
次に、ステップ318で、画像生成が終了したか否かを判断する。画像生成が終了した場合は、ルーチンを終了する。画像生成が終了していない場合は、ステップ300に戻って、ステップ300からステップ318までの手順を繰り返し行う。逐次、帯の色が設定され、設定された色の新しい帯が出現し、画面の上端から下端まで移動する。
(具体例1)
次に、グラデーション画像の具体例1について説明する。図17(A)〜(D)の各々は、カメラ映像に対応するグラデーション画像の具体例1を示す図である。左側がカメラ映像であり、右側が対応するグラデーション画像である。車両の周辺環境の変化が大きいほど、図形の移動速度が速くなり、グラデーションが粗くなる。
図17(A)に示すカメラ映像に対し、図17(A)に示すグラデーション画像が得られる。この例での車両の周辺環境の変化を「中」程度とし、グラデーションの密度を「中」程度とする。
図17(B)に示すカメラ映像では、トンネルで同じ周囲環境が続くので、図17(A)に示すカメラ映像に比べて、車両の周辺環境の変化は少ない。車両の周辺環境の変化が少ないと、帯がゆっくりと移動する。このため、図17(B)に示すグラデーション画像では、図17(A)に示すグラデーション画像よりもグラデーションが細かくなる。
図17(C)に示すカメラ映像では、車両の周辺に障壁があり、図17(A)に示すカメラ映像に比べて、車両の周辺環境の変化が大きい。車両の周辺環境の変化が大きいと、帯が速く移動する。このため、図17(C)に示すグラデーション画像では、図17(A)に示すグラデーション画像よりもグラデーションが粗くなる。
図17(D)に示すカメラ映像では、左側は変化しないが、右側が絶えず変化するので、図17(A)に示すカメラ映像と同様に、車両の周辺環境の変化は中程度になる。このため、図17(D)に示すグラデーション画像では、図17(A)に示すグラデーション画像と同様に、グラデーションの密度は中程度となる。
(具体例2)
次に、グラデーション画像の具体例2について説明する。この例では、色の心理効果を利用して、暑い時に涼しく、寒い時に温かく感じさせる。図26(A)〜(D)の各々は、カメラ映像に対応するグラデーション画像の具体例2を示す図である。左側がカメラ映像であり、右側が対応するグラデーション画像である。
図26(A)に示すカメラ映像では、車両が移動状態から停止状態に入ったため、車両の周辺環境が大きく変化する。車両の周辺環境の変化が大きいと、帯がゆっくりと移動する。このため、図26(A)に示すグラデーション画像では、グラデーションが粗くなる。
図26(B)及び図26(C)に示すカメラ映像では、車両の周辺環境の変化が単調である。車両の周辺環境の変化が少ないと、帯の移動速度が速くなる。このため、図26(B)及び図26(C)に示すグラデーション画像では、グラデーションが細かくなる。
図26(D)に示すカメラ映像では、車両の周辺環境がやや複雑である。このため、図26(D)に示すグラデーション画像では、グラデーションが粗くなる。
また、図26(A)〜(D)のグラデーション画像では、特定の色を基調として、温かい、涼しい等の感覚や、水や炎のイメージを色で表現している。青色や赤色のグラデーションとなっており、色の持つイメージ効果がある。
温かい、涼しい等の特定の感覚を誘導する特定色のグラデーション画像は、特定の感覚を誘導する外に、搭乗者の足元に表示されると、グラデーション画像の揺れる動きが、水が揺れているイメージや炎がちろちろ揺らいでいるイメージと重なり、より効果的に感じる。
図26(A)及び(B)は、水のイメージを青色で表す。車両内の床や側面が青色になり涼しく感じる。涼やかな音と合わせると効果的である。図26(C)及び(D)は、火のイメージを青色で表す。車両内の床や側面が赤色になり温かく感じる。火や熱風の音と合わせると効果的である。
<第3の実施の形態>
第3の実施の形態では、車両の周辺を撮影したカメラ映像から、複雑さパラメータ4を生成する点は、第1の実施の形態と同様である。第3の実施の形態では、生成された複雑さパラメータ4に応じた速度で、予め定めた形状の図形を移動させて新たな動画像を生成する。図形の形状は「帯状」に限定されない。図形の色も任意に設定される。ここでは、図形の移動速度を変えることを「エフェクト」と称する。
第3の実施の形態でも、車両に搭乗して走行するという日常の行為により、新たな動画像が自動的に作成される。著作権フリーの画像が無尽蔵に作成される。作成された画像は、二次利用も可能である。
第3の実施の形態でも、撮影部20により撮影された車両の周辺の画像を「第1画像」とし、その画像データを「第1画像データ」とする。また、情報処理部30で生成される動画像を「図形移動画像」と称する。
(図形移動画像)
第3の実施の形態では、予め定めた形状の図形を、予め定めた移動経路に沿って移動させて図形移動画像を生成する。予め定めた移動経路としては、閉じた移動経路を設定する。図形は移動経路に沿って繰り返し移動する。移動経路を含む平面を回転させてもよい。なお、移動経路は任意に設定することができる。以下では、図形の形状と動きについて説明する。また、具体的な図形を「オブジェクト」と称する。
オブジェクトの形状と、移動経路の初期値と、移動速度の初期値とを設定する。仮想空間内において、予め定めた形状のオブジェクトを、予め定めた移動速度で、予め定めた移動経路に沿って繰り返し移動させたときの様子を表す動画像を生成する。
図18は第3の実施の形態で動画像の生成に用いる図形(オブジェクト)の一例を示す図である。図示した例では、環状の複数のオブジェクト71が図示されているが、オブジェクト71の個数は1つでもよい。オブジェクト71の形状は、特に制限は無く、多角形状、帯状等の二次元形状でもよく、柱状、錐状等の三次元形状でもよい。
オブジェクト71の形状は、見る方向によって形状が異なるものが好ましい。例えば、円柱とかトーラスとか、上から見た図と横から見た図が変わる形状が望ましい。複雑さパラメータに応じてオブジェクトを移動させる際に、オブジェクトの移動経路を有する面の角度が変わることにより、違った形状に見えるようになる。
図19は図形の移動経路の一例を示す図である。図20は図形の移動経路の他の一例を示す図である。例えば、図19、図20の移動経路の例では、オブジェクト71は、地点(1)から地点(2)、地点(2)から地点(3)、地点(3)から地点(4)、地点(4)から地点(1)へと移動する。オブジェクト71は、複雑さパラメータ4に応じた速度で移動する。
また、オブジェクト71のサイズを、複雑さパラメータ4に応じて変更してもよい。例えば、複雑さパラメータ4の値が大きいほど、オブジェクトが大きくなるように、オブジェクト71のサイズを変更する。
また、オブジェクト71の色は、第2実施の形態と同様に、第1画像の全部または一部を代表する代表色、または、代表色を差し色で補正した補正色としてもよい。差し色は、温かい場合は「赤」、涼しい場合は「青」というように、特定の感覚を誘導する特定色としてもよい。
(画像生成装置)
次に、第3の実施の形態に係る画像生成装置について説明する。
図21は第3の実施の形態に係る画像生成装置の動作の概略を示す模式図である。図21に示すように、第3の実施の形態では、車両の周辺を撮影したカメラ映像から、複雑さパラメータ4を生成する。図形の形状、移動経路の初期値、及び移動速度の初期値等を設定する。予め定めた形状の図形を、生成された複雑さパラメータ4に応じた速度で移動させて、カメラ映像とは別に「図形移動画像」を生成する。ここでは、図形の移動速度を変えることを「エフェクト」と称する。
図22は第3の実施の形態に係る情報処理部の構成の一例を示すブロック図である。図22に示すように、情報処理部30は、メモリ50、パラメータ生成部52、動き制御部64、及び動画像生成部70を備えている。撮影部20から取得された第1画像データは、メモリ50に記憶される。パラメータ生成部52は、第1画像データをメモリ50から取得し、第1画像データから複雑さパラメータ4を生成する。
動画像生成部70は、オブジェクトの形状と、移動経路の初期値と、移動速度の初期値とを設定する。動き制御部64は、複雑さパラメータ4に応じた移動速度を求める。動き制御部64は、動画像生成部70により動画像を生成する際に、得られた移動速度でオブジェクトが移動するように、動画像生成部70を制御する。動画像生成部70は、図形移動画像を生成する。情報処理部30は、図形移動画像を表す画像データを出力する。
第3の実施の形態では、オブジェクトが複雑さパラメータ4に応じた移動速度で移動するように、画像処理を制御する。これにより、車両の周辺環境の変化に応じた図形移動画像が生成される。カメラ映像より抽象化された図形移動画像により、車両の周辺環境の雰囲気が表現される。
図形移動画像は、グラデーション画像と同様に、車両内に投影されるが、搭乗者が見てもちらつきを感じない。また、図形移動画像は、車両の周辺環境に応じて変化するので、車両で移動しているイメージを持たせる助けになる。
<第4の実施の形態>
第4の実施の形態は、表示システムに係る実施の形態である。
図23は第4の実施の形態に係る表示システムの構成の一例を示すブロック図である。図23に示すように、表示システム100は、画像生成装置10と表示装置90とを備えている。表示装置90は、例えば自宅等の画像生成装置10とは離れた場所に配置されている。表示装置90は、例えば、搭乗者Aの自宅等に配置される。画像生成装置10は、撮影部20、情報処理部30、及び通信部36を備えている。表示装置90は、通信部92、表示制御部94、及び表示部96を備えている。
画像生成装置10の構成は、第2の実施の形態または第3の実施の形態に係る画像生成装置と同じ構成としてもよい。情報処理部30は、撮影部20から第1画像データを取得し、第1画像データから複雑さパラメータ4を生成する。情報処理部30は、複雑さパラメータ4に応じて変化し、車両の周辺環境を表す「環境画像」を生成する。通信部36は、環境画像の画像データを表示装置90に送信する。
画像生成装置10の構成を、第2の実施の形態に係る画像生成装置と同じ構成とした場合は、帯を移動させて生成したグラデーション画像が「環境画像」である。画像生成装置10の構成を、第3の実施の形態に係る画像生成装置と同じ構成とした場合は、予め定めた形状の図形を移動させて生成した図形移動画像が「環境画像」である。
表示装置90の表示部96は、表示制御部94により制御されて画像を表示する。通信部36は、有線又は無線の通信回線を介して外部装置と通信を行うためのインターフェースである。通信部36は、画像生成装置10から、環境画像の画像データを受信する。表示制御部94は、環境画像が表示部96に表示されるように、表示部96を制御する。表示部96には、車両の周辺環境を表す環境画像が表示される。
画像生成装置10が搭載される車両の搭乗者Aは、撮影部20で撮影される車両の周辺環境の映像(第1画像)と同じ映像を見ている。離れた場所に居る他者Bには、表示装置90の表示部96に表示される環境画像を見ている。
表示装置90の表示部96に環境画像が表示されることで、離れた場所に居る他者Bには、搭乗者Aが搭乗している車両の周辺環境の様子がなんとなく伝わる。環境画像における色や動きにより、他者Bに伝わる。他者Bは、車両や搭乗者Aの状態を推測できる。
抽象化した環境画像を表示する方が、第1画像をそのまま表示するより、車両の周辺環境の様子が他者Bに伝わり易い。抽象化することで、意識して見る煩わしさが低減される。また、抽象化することで、搭乗者Aやカメラ映像に写り込んだ第三者のプライバシーが保護される。
図24は第4の実施の形態に係る表示装置の一例を示す模式図である。図25は第4の実施の形態に係る表示装置の他の一例を示す模式図である。図24及び図25では、表示装置90が、照明オブジェである。照明オブジェは、環境画像に基づいて照明の色や明るさを変化させて、環境画像に基づく情報を表示する。
車両の周辺環境の色と動きを、家にいる他者Bが見ている照明オブジェに無線で飛ばしたイメージである。車内と同様、めまぐるしく色が変わることがないので、注意をひきつけないが、何となく存在と動きを感じることができる。抽象化した表示が、相手を想像したりする効果につながる。
<変形例>
なお、上記実施の形態で説明した画像生成装置、表示システム、及びプログラムの構成は一例であり、本発明の主旨を逸脱しない範囲内においてその構成を変更してもよいことは言うまでもない。
上記の実施の形態では、グラデーション画像や図形移動画像を車両内に投影する例について説明したが、発光素子や電光掲示板を用いて表示してもよい。
上記の実施の形態では、複雑さパラメータ4を用いる例について説明したが、複雑さパラメータ4に代えて、複雑さパラメータ1から3の何れかを用いてもよい。
上記の実施の形態では、画像の色に応じた効果音を併せて出力する例について説明したが、エフェクトの効果に応じた効果音を出力してもよく、複雑さパラメータから音楽情報を生成してもよい。例えば、「MIDI信号変換用のソフトウエア」を用いて、複雑さパラメータに応じたMIDIのノート信号を生成し、「MIDI信号から音楽情報を生成するソフトウエア」を用いて、ノート信号から音楽情報を生成する。図5に示す音楽出力部42により、生成された音楽情報に応じた音楽が演奏される。
ここで、MIDI(Musical Instrument Digital Interface)とは、音楽情報をデジタル信号で通信するための国際規格である。MIDI信号とは、MIDI規格の情報であり、標準的なMIDIファイル形式(SMF:Standard MIDI File Format)の情報である。「MIDI信号変換用のソフトウエア」では、音の基本振動数を「ノートナンバー」、音圧レベルを「ベロシティレベル」、音色を「楽器名を表すナンバー」、時間変化を「ノートオン/ノートオフ」を表すデータに各々変換している。
10 画像生成装置
12 パラメータ生成部
14 画像生成部
20 撮影部
30 情報処理部
32 操作部
34 表示部
36 通信部
38 記憶部
40 画像出力部
42 音楽出力部
50 メモリ
52 パラメータ生成部
54 画像処理部
56 輪郭抽出部
58 濃度変更部
60 画像合成部
62 背景抽出部
64 動き制御部
66 色情報抽出部
68 色設定部
70 動画像生成部
71 オブジェクト
80 画面
82 帯
90 表示装置
92 通信部
94 表示制御部
96 表示部
100 表示システム

Claims (4)

  1. 移動体の周辺の画像を撮影する撮影部により時系列に撮影された複数の第1画像から、前記移動体の周辺環境の変化の度合いを表す環境情報を生成する情報生成部と、
    前記複数の第1画像の各々について、前記第1画像の輪郭線を抽出した第1輪郭線画像を生成し、前記第1画像の背景部分を抽出した背景画像を生成し、前記第1輪郭線画像の輪郭線の濃度を前記環境情報に応じて変化させた第2輪郭線画像を生成し、前記第2輪郭線画像と前記背景画像とを合成して第2画像を生成する画像生成部と、
    を備え、
    前記環境情報が、
    前記第1画像全体の変化の度合いを表す第1の複雑さパラメータ、前記第1画像内の左右端の変化の度合いを表す第2の複雑さパラメータ、前記第1の複雑さパラメータの速度に対する変化を表す特性曲線と前記第1の複雑さパラメータの速度に対して直線的に増加する成分を表す基準線とで囲まれる領域の大きさ、または、前記第2の複雑さパラメータの速度に対する変化を表す特性曲線と前記第2の複雑さパラメータの速度に対して直線的に増加する成分を表す基準線とで囲まれる領域の大きさで表される第3の複雑さパラメータ、及び、前記第1画像内の中央部の変化の度合いを表す第4の複雑さパラメータで構成される複雑さパラメータ群の中から選択された1つの複雑さパラメータ、または、前記複雑さパラメータ群の中から選択された2以上の複雑さパラメータの組合せであり、
    前記画像生成部は、選択された複雑さパラメータの値が大きくなるほど、輪郭線の濃度を濃くする、
    画像生成装置。
  2. 前記画像生成部は、前記輪郭線の色を、前記第1画像を代表する色とする、
    請求項1に記載の画像生成装置。
  3. 請求項1または請求項2に記載の画像生成装置と、
    前記画像生成装置から送信された前記画像に基づく情報を表示する表示装置と、
    を備えた表示システム。
  4. コンピュータを、請求項1または請求項2に記載の画像生成装置の各部として機能させるためのプログラム。
JP2017220716A 2017-11-16 2017-11-16 画像生成装置、表示システム、及びプログラム Expired - Fee Related JP6806040B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2017220716A JP6806040B2 (ja) 2017-11-16 2017-11-16 画像生成装置、表示システム、及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2017220716A JP6806040B2 (ja) 2017-11-16 2017-11-16 画像生成装置、表示システム、及びプログラム

Publications (2)

Publication Number Publication Date
JP2019092094A JP2019092094A (ja) 2019-06-13
JP6806040B2 true JP6806040B2 (ja) 2021-01-06

Family

ID=66836749

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2017220716A Expired - Fee Related JP6806040B2 (ja) 2017-11-16 2017-11-16 画像生成装置、表示システム、及びプログラム

Country Status (1)

Country Link
JP (1) JP6806040B2 (ja)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6830634B1 (ja) * 2020-02-20 2021-02-17 株式会社エクサウィザーズ 情報処理方法、情報処理装置及びコンピュータプログラム

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4124084B2 (ja) * 2003-10-02 2008-07-23 セイコーエプソン株式会社 画像処理装置、画像処理方法、および、画像処理プログラム
JP5282589B2 (ja) * 2009-01-29 2013-09-04 日産自動車株式会社 車速伝達装置および車速伝達方法
JP2010272001A (ja) * 2009-05-22 2010-12-02 Canon Inc 表示制御装置、表示制御方法及びプログラム
JP2012051678A (ja) * 2010-08-31 2012-03-15 Sumitomo Heavy Ind Ltd 視界補助システム
JP2012195793A (ja) * 2011-03-17 2012-10-11 Clarion Co Ltd 車両周辺監視装置
JP2016192128A (ja) * 2015-03-31 2016-11-10 トヨタ自動車株式会社 情報提供装置および情報提供方法

Also Published As

Publication number Publication date
JP2019092094A (ja) 2019-06-13

Similar Documents

Publication Publication Date Title
US10922865B2 (en) Information processing apparatus, information processing method, and program
JP6965914B2 (ja) 映像生成装置、その方法、プログラム
JP6750025B2 (ja) 拡張現実(ar)システムを動作させる方法
KR101764372B1 (ko) 휴대용 단말기에서 영상 합성 방법 및 장치
JP4847184B2 (ja) 画像処理装置及びその制御方法、プログラム
US8860847B2 (en) Computer-readable storage medium having stored thereon image generation program, capturing apparatus, capturing system, and image generation method for creating an image
JP6492332B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10096166B2 (en) Apparatus and method for selectively displaying an operational environment
US20180182144A1 (en) Information processing apparatus, information processing method, and program
JP6669783B2 (ja) 端末装置、システム、プログラム及び方法
JP2010154422A (ja) 画像処理装置
JP2004145448A (ja) 端末装置、サーバ装置および画像加工方法
US10748341B2 (en) Terminal device, system, program and method for compositing a real-space image of a player into a virtual space
US11941729B2 (en) Image processing apparatus, method for controlling image processing apparatus, and storage medium
US20240062030A1 (en) Colored visual markers for variable use
JP2004227332A (ja) 情報表示方法
JP6806040B2 (ja) 画像生成装置、表示システム、及びプログラム
US11043019B2 (en) Method of displaying a wide-format augmented reality object
JP4633023B2 (ja) ユーザインタフェース装置
JP2008146260A (ja) 画像生成装置及び画像生成方法
JP7147336B2 (ja) 投射方法及び投射システム
US11842236B2 (en) Colored visual markers for variable use
JP4006105B2 (ja) 画像処理装置およびその方法
JP5916365B2 (ja) 映像送信システム、映像送信方法及びコンピュータプログラム
US20240331317A1 (en) Information processing device, information processing system and method

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190403

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20200115

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200402

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20200623

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20200821

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20201104

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20201117

R150 Certificate of patent or registration of utility model

Ref document number: 6806040

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees