JP7612359B2 - 画像処理装置及び画像処理方法 - Google Patents

Description

本発明は、撮像機器により撮像された撮像画像に基づいて、撮像機器から離れた遠隔地にある表示機器に表示するための表示画像を生成する画像処理装置及び画像処理方法に関する。

従来では、仮想空間内を立体的に表示させる空間表示装置として、特許文献１が開示されている。特許文献１に開示された空間表示装置は、仮想空間内において、視認が良好な領域内にある部品の表示形態と、視認が良好でない領域内にある部品の表示形態とを異なる形態とすることで、現在の視野から見づらい部分についても適切に表示させるようにしていた。

特開２０１８－２０５９７４号公報

しかしながら、上述した従来の空間表示装置は、視野の変化には対応しているものの、表示対象が静止したものであるので、移動や動きのあるものを遠隔地で表示する場合には、通信遅延等によって表示対象が不明瞭に表示される場合があった。そのため、従来の空間表示装置では、移動や動きのあるものを遠隔地で表示する場合に、ユーザに表示対象を明瞭に理解させることができないという問題点があった。

そこで、本発明は、上記課題に鑑みて成されたものであり、移動や動きのあるものを遠隔地で表示する場合であっても、ユーザに表示対象を明瞭に理解させることのできる画像処理装置及び画像処理方法を提供することを目的とする。

本発明の一態様に係る画像処理装置及びその方法は、撮像機器で撮像された撮像画像を取得し、撮像画像上において表示機器のユーザが視認する必要のあるオブジェクトを検出する。そして、検出されたオブジェクトが不明瞭であるか否かを判定し、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を変更して表示画像を生成する。検出されたオブジェクトをユーザに認知させるための音声を生成し、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合、及びユーザが音声に返事をしていない場合に、オブジェクトが不明瞭であると判定する。撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合には、オブジェクトの方向を示す画像を重畳表示する表示態様に変更して表示画像を生成する。
本発明の他の一態様に係る画像処理装置及びその方法は、撮像機器で撮像された撮像画像を取得し、撮像画像上において表示機器のユーザが視認する必要のあるオブジェクトを検出する。そして、検出されたオブジェクトが不明瞭であるか否かを判定し、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を変更して表示画像を生成する。検出されたオブジェクトをユーザに認知させるための音声を生成し、オブジェクトの表示位置に誤差がある場合、及びユーザが音声に返事をしていない場合に、オブジェクトが不明瞭であると判定する。

本発明によれば、移動や動きのあるものを遠隔地で表示する場合であっても、ユーザに表示対象を明瞭に理解させることができる。

図１は、本発明の一実施形態に係る画像処理装置を備えた仮想空間表示システムの構成を示すブロック図である。 図２は、本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。 図３は、本発明の一実施形態に係る画像処理装置によるオブジェクトの表示態様を強調表示に変更する場合の表示画面の一例を示す図である。 図４は、本発明の一実施形態に係る画像処理装置によるオブジェクトの表示態様をアイコンの重畳表示に変更する場合の表示画面の一例を示す図である。 図５は、本発明の一実施形態に係る画像処理装置によるオブジェクトの表示態様を、オブジェクトの方向を示す画像の重畳表示に変更する場合の表示画面の一例を示す図である。 図６は、本発明の一実施形態に係る画像処理装置によるオブジェクトの表示位置を修正する場合の表示画面の一例を示す図である。 図７は、本発明の一実施形態に係る画像処理装置によるオブジェクトの表示態様変更処理の処理手順を示すフローチャートである。 図８は、本発明の一実施形態に係る画像処理装置によるユーザの注意喚起処理の処理手順を示すフローチャートである。

以下、本発明の一実施形態について、図面を参照して説明する。図面の記載において同一部分には同一符号を付して説明を省略する。

［仮想空間表示システムの構成］
図１は、本実施形態に係る画像処理装置を備えた仮想空間表示システムの構成を示すブロック図である。図１に示すように、仮想空間表示システム１は、車両空間１００の車室内や車両周辺の状況を撮像し、車両空間１００から離れた遠隔地空間２００にいるユーザ２３０に対して、仮想空間３００の表示画像を提供する。表示画像には、仮想空間３００において、車室内や車両周辺の状況が表示されている。

車両空間１００は車室内外の実空間であり、車外カメラ１１０と、車内カメラ１２０と、コントローラ１３０と、通信装置１４０が設置されている。そして、車両空間１００では、車両１５０の車室内に乗員１６０が乗車しており、乗員１６０は表示デバイス１７０を装着している。

車外カメラ１１０は、車両１５０に搭載され、車両１５０の周辺の状況を撮像する撮像機器である。車外カメラ１１０は、車両１５０の周辺の状況を撮像した撮像画像をコントローラ１３０に出力する。撮像画像には、車両前方の映像だけではなく、車両１５０の側方や後方も含む３６０度の映像が撮像されている。また、車外カメラ１１０にはマイクが搭載されており、映像とともに車両１５０の周辺の音声も録音されて撮像画像とともにコントローラ１３０に出力される。

車内カメラ１２０は、車両１５０に搭載され、車両１５０の車室内の状況を撮像する撮像機器である。車内カメラ１２０は、車両１５０の車室内の状況を撮像した撮像画像をコントローラ１３０に出力する。撮像画像には、運転席と助手席の映像だけではなく、後部座席の映像も含む車室内全体の映像が撮像されている。また、車内カメラ１２０にはマイクが搭載されており、映像とともに車両１５０の車室内の音声も録音されて撮像画像とともにコントローラ１３０に出力される。

コントローラ１３０は、車外カメラ１１０、車内カメラ１２０、通信装置１４０及び表示デバイス１７０と無線あるいは有線により通信することが可能である。コントローラ１３０は、車外カメラ１１０と車内カメラ１２０から撮像画像とその音声を取得して、通信装置１４０を介して遠隔地空間２００へ送信する。また、コントローラ１３０は、ＣＰＵ(Central Processing Unit)と、ＲＡＭ(Random Access Memory)などにより構成されるメインメモリを含んでいる。そして、メインメモリを作業領域として用いてプログラムを実行し、ＡＲ(Augmented Reality)やＶＲ(Virtual Reality)などの仮想空間の表示に関する情報処理を行う。コントローラ１３０は、プログラムを実行して演算処理を行うことが可能なものであればよく、ＰＣ(Personal Computer)、ゲーム機、サーバ装置、スマートフォンなどでもよい。尚、コントローラ１３０は、車両１５０に搭載されていてもよいし、表示デバイス１７０に組み込まれていてもよい。

通信装置１４０は、インターネットなどのネットワークに接続して遠隔地空間２００との間でデータを送受信するインターフェースである。

表示デバイス１７０は、いわゆる頭部装着型のヘッドマウントディスプレイ（ＨＭＤ）である。表示デバイス１７０は、乗員１６０の頭部に装着されることで、乗員１６０の眼前に、画像を表示するためのディスプレイを保持するように構成されている。また、表示デバイス１７０には、乗員１６０の視線の動きを検出するためのセンサも含まれている。尚、表示デバイス１７０は、ウェアラブル型ディスプレイであればよく、眼鏡型デバイスでもよい。

表示デバイス１７０に適用される頭部装着型のヘッドマウントディスプレイとしては、ＡＲゴーグルのようなシースルー型ＨＭＤが適用される。

シースルー型ＨＭＤは、例えば、ハーフミラーや透明な導光板を用いた虚像光学系を乗員１６０の眼前に保持し、虚像光学系の内側に画像を表示させる。そのため、シースルー型ＨＭＤを装着した乗員１６０は、虚像光学系に表示された画像を視聴している間も、外部の風景を視野に入れることが可能となる。尚、シースルー型ＨＭＤの具体的な一例として、眼鏡のレンズに相当する部分を虚像光学系として構成した眼鏡型デバイスが挙げられる。

また、表示デバイス１７０には、例えば、加速度センサ、ジャイロセンサが設けられ、表示デバイス１７０を装着した乗員１６０の頭部の動き（頭部の姿勢）を検出可能に構成されている。一例として、表示デバイス１７０は、乗員１６０の頭部の動きとして、ヨー方向、ピッチ方向、及びロール方向それぞれの成分を検出する。そして、表示デバイス１７０は、検出した乗員１６０の頭部の動きに基づき、乗員１６０の視線が示す方向の変化を認識し、認識した視線方向の変化に応じた画像を乗員１６０に提示する。このような構成に基づいて、例えば、乗員１６０の視線方向の変化に応じて仮想空間内の映像を乗員１６０に提示する。これにより、乗員１６０に対して、あたかも仮想空間内にいるような没入感を与えることが可能となる。

また、表示デバイス１７０は、光学センサ（カメラ）を含んでいてもよい。表示デバイス１７０は、光学センサを用いて乗員１６０の視線をトラッキングすることができる。尚、表示デバイス１７０は、近接センサを含んでいてもよい。近接センサは、ゴーグル部分に設置され、乗員１６０の顔部との接触有無を判定するために用いられる。

次に、遠隔地空間２００は車両空間１００から離れた遠隔地にある実空間であり、通信装置２１０と、画像処理装置２２０が設置されている。そして、遠隔地空間２００では、ユーザ２３０が表示デバイス２４０を装着して、仮想空間３００の画像を見ている。

通信装置２１０は、インターネットなどのネットワークに接続して車両空間１００との間でデータを送受信するインターフェースである。

画像処理装置２２０は、車外カメラ１１０及び車内カメラ１２０によって撮像された撮像画像に基づいて、遠隔地空間２００にある表示デバイス２４０に表示するための表示画像を生成する。具体的に、画像処理装置２２０は、車外カメラ１１０及び車内カメラ１２０で撮像された撮像画像を取得し、取得した撮像画像上において、ユーザ２３０が視認する必要のあるオブジェクトを検出する。そして、検出されたオブジェクトが不明瞭であるか否かを判定し、不明瞭であると判定された場合には、オブジェクトの表示態様を変更して表示画像を生成する。

また、画像処理装置２２０は、通信装置２１０及び表示デバイス２４０と無線あるいは有線により通信することが可能である。画像処理装置２２０はコントローラを備え、コントローラはＣＰＵ(Central Processing Unit)と、ＲＡＭ(Random Access Memory)などにより構成されるメインメモリを含んでいる。そして、メインメモリを作業領域として用いてプログラムを実行し、ＡＲ(Augmented Reality)やＶＲ(Virtual Reality)などの仮想空間の表示に関する情報処理を行う。画像処理装置２２０は、プログラムを実行して演算処理を行うことが可能なものであればよく、ＰＣ(Personal Computer)、ゲーム機、サーバ装置、スマートフォンなどでもよい。尚、画像処理装置２２０は、表示デバイス２４０に組み込まれていてもよい。

次に、図２を参照して、本実施形態に係る画像処理装置２２０の構成を説明する。図２は、本実施形態に係る画像処理装置の構成を示すブロック図である。図２に示すように、画像処理装置２２０は、撮像画像取得部２２１と、オブジェクト検出部２２３と、表示判定部２２５と、表示画像生成部２２７と、音声生成部２２９とを備えている。

撮像画像取得部２２１は、車両空間１００にある車外カメラ１１０及び車内カメラ１２０で撮像された撮像画像を、通信網を介して取得する。車両空間１００に設置されている車外カメラ１１０及び車内カメラ１２０で撮像された撮像画像は、通信装置１４０によって車両空間１００から送信され、遠隔地空間２００の通信装置２１０で受信して撮像画像取得部２２１が取得する。

オブジェクト検出部２２３は、撮像画像取得部２２１で取得した撮像画像上において、ユーザ２３０が視認する必要のあるオブジェクトを検出する。検出されるオブジェクトは、車両の乗員が視認する必要のある注意対象物であり、例えば歩行者や自転車、バイク、車両、その他の障害物、さらに信号機や標識等である。また、乗員１６０やユーザ２３０のアバタをオブジェクトとして検出してもよい。オブジェクト検出部２２３は、撮像画像に対して画像解析を行うことによって、撮像画像の中からオブジェクトを検出する。

表示判定部２２５は、オブジェクト検出部２２３で検出されたオブジェクトが、撮像画像上において不明瞭であるか否かを判定する。撮像画像は、車両空間１００で撮像されて遠隔地空間２００に送信されているので、通信機器の性能や通信遅延等に起因して、撮像画像上において不明瞭に表示されている部分が存在する場合がある。そこで、表示判定部２２５は、検出されたオブジェクトが不明瞭であるか否かを判定する。

具体的に、表示判定部２２５は、撮像画像上において、オブジェクトの大きさが所定の閾値以下である場合に、オブジェクトが不明瞭であると判定する。例えば、先行車をオブジェクトとして検出した場合に、先行車を囲む矩形状のバウンディングボックスの一辺の画素数が所定の閾値以下である場合には、オブジェクトが小さすぎてユーザ２３０が視認することが困難になる。そこで、表示判定部２２５はオブジェクトが不明瞭であると判定する。

また、表示判定部２２５は、撮像画像上において、オブジェクトが表示されている時間が所定の閾値以下である場合に、オブジェクトが不明瞭であると判定する。例えば、自転車をオブジェクトとして検出した場合に、撮像画像上において自転車が横方向に移動して所定の閾値以下の時間だけ表示された場合には、自転車が短時間しか表示されないので、通信遅延等によりユーザ２３０が視認することが困難になる。そこで、表示判定部２２５はオブジェクトが不明瞭であると判定する。また。オブジェクトの移動速度が所定の閾値以上である場合に、オブジェクトが不明瞭であると判定してもよい。例えば、自転車をオブジェクトとして検出した場合に、撮像画像上において自転車が横方向に移動する速度が所定の閾値以上である場合には、自転車の移動が速すぎて通信遅延等によりユーザ２３０が視認することが困難になる。そこで、表示判定部２２５はオブジェクトが不明瞭であると判定する。

さらに、表示判定部２２５は、撮像画像上において、オブジェクトの大きさの変化率が所定の閾値以上である場合に、オブジェクトが不明瞭であると判定する。例えば、対向車をオブジェクトとして検出した場合に、撮像画像上において対向車が接近する速度が速くて、対向車の大きさの変化率が所定の閾値以上となる場合がある。そのような場合には、対向車の大きさの変化が速すぎて、通信遅延等によりユーザ２３０が視認することが困難になる。そこで、表示判定部２２５は、オブジェクトが不明瞭であると判定する。

このように、表示判定部２２５は、オブジェクトの大きさが所定の閾値以下である場合、オブジェクトが表示されている時間が所定の閾値以下である場合、オブジェクトの大きさの変化率が所定の閾値以上である場合の少なくとも１つである場合に、オブジェクトが不明瞭であると判定する。さらに、以下に示す場合にもオブジェクトが不明瞭であると判定してもよい。

表示判定部２２５は、撮像画像上において、オブジェクトとその周囲との色の差が所定の閾値以下である場合に、オブジェクトが不明瞭であると判定する。例えば、歩行者をオブジェクトとして検出した場合に、撮像画像上において歩行者の服の色と景色の色との差が所定の閾値以下である場合には、歩行者と背後の景色が区別できないので、ユーザ２３０が視認することが困難になる。そこで、表示判定部２２５はオブジェクトが不明瞭であると判定する。

また、表示判定部２２５は、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合に、オブジェクトが不明瞭であると判定する。撮像画像には、車両の前方だけではなく、車両の側方や後方も撮像されている。しかし、ユーザ２３０に表示されている表示画像には、ユーザ２３０の視野の範囲内だけが表示されている。そのため、ユーザ２３０が前方を見ている場合には、車両の側方を走る自転車は、撮像画像上には撮像されていても、表示画像上には表示されていないので、ユーザ２３０は視認することが困難になる。そこで、表示判定部２２５は、撮像画像上に撮像されていても、表示画像上には表示されていないオブジェクトがある場合には、オブジェクトが不明瞭であると判定する。

さらに、表示判定部２２５は、撮像画像上において、オブジェクトの表示位置に誤差がある場合に、オブジェクトが不明瞭であると判定する。例えば、対向車をオブジェクトとして検出した場合に、通信遅延等によってオブジェクトの表示位置が遅れて表示される場合がある。そのような場合には、対向車の位置が正確に表示されていないので、ユーザ２３０はオブジェクトの位置を正確に視認することが困難になる。そこで、表示判定部２２５は、オブジェクトが不明瞭であると判定する。誤差の判定方法としては、通信の遅延時間と対向車の車速から対向車の推定位置を算出し、この推定位置と対向車の表示位置との間に差がある場合に、誤差があると判定する。

このように、表示判定部２２５は、上述した場合の少なくとも１つである場合に、オブジェクトが不明瞭であると判定する。

表示画像生成部２２７は、車外カメラ１１０及び車内カメラ１２０によって撮像された撮像画像に基づいて、表示デバイス２４０に表示するための表示画像を生成する。車外カメラ１１０によって撮像された撮像画像には、車両１５０の前方だけではなく、側方や後方の画像も含まれている。また、車内カメラ１２０によって撮像された撮像画像には、運転席や助手席だけではなく、後部座席の画像も含まれている。そこで、表示画像生成部２２７は、表示デバイス２４０からユーザ２３０の頭部の向きや視線の方向を取得して、撮像画像の中からユーザ２３０が見ている方向の画像を抽出して表示画像を生成する。

表示画像は、仮想空間３００の映像であり、仮想空間３００において車両１５０の車室内の状況と車両１５０の周辺の状況とが表示されている。また、表示画像には、車両１５０の周辺の音声と車室内の音声が記録されており、映像に合わせて再生される。

そして、表示画像生成部２２７は、表示判定部２２５によってオブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を変更して表示画像を生成する。

具体的に、表示画像生成部２２７は、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を強調表示に変更して表示画像を生成する。例えば、図３に示すように、対向車をオブジェクトとして検出している場合には、対向車を囲む矩形状のバウンディングボックス３０を点滅させて強調表示する表示態様に変更する。強調表示は、バウンディングボックスの点滅表示だけではなく、バウンディングボックスの輝度を高くしてもよい。

また、表示画像生成部２２７は、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を、オブジェクトを示す画像の重畳表示に変更して表示画像を生成する。例えば、図４に示すように、対向車をオブジェクトとして検出している場合には、対向車を囲むバウンディングボックス４０を表示する表示態様から、対向車を示すアイコン４２の画像を重畳表示する表示態様に変更する。

さらに、表示画像生成部２２７は、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合には、オブジェクトの方向を示す画像を重畳表示する表示態様に変更して、表示画像を生成する。例えば、図５に示すように、撮像画像には５０の位置に自転車が撮像されているが、表示画像の範囲外なので表示されていない。この場合に、自転車の方向を示す矢印の画像５２を重畳表示する表示態様に変更して、表示画像を生成する。このとき、オブジェクトの種類を示す「自転車」という画像５４を追加して重畳表示してもよい。

また、表示画像生成部２２７は、オブジェクトの表示位置に誤差がある場合には、オブジェクトを示す画像を、誤差を修正した位置に重畳表示する表示態様に変更して、表示画像を生成する。例えば、図６に示すように、対向車をオブジェクトとして検出した場合に、対向車の現在の推定位置が６０の位置であるにも関わらず、対向車が６２の位置に表示されている。そこで、表示画像生成部２２７は、対向車を示すアイコンの画像６４を、誤差を修正した位置に重畳表示する表示態様に変更して、表示画像を生成する。

このとき、図６に示すように、推定位置６０の位置が対向車の表示位置６２よりも車両１５０側に近づいている場合には、表示画像生成部２２７は、対向車を示すアイコンの画像６４の大きさを変更して表示する。具体的に、表示画像生成部２２７は、対向車を示すアイコンの画像６４を拡大して表示し、このときの拡大比率は、対向車と車両１５０（または車外カメラ１１０）との間の距離（対向車の位置と車両１５０の位置との差）に基づいて設定する。つまり、推定位置６０に対向車が位置したときの見え方に合わせて対向車を示すアイコンの画像６４を拡大して表示する。また、対向車を示すアイコンの画像６４の代わりに、対向車の画像を拡大して重畳してもよい。尚、対向車と車両１５０（または車外カメラ１１０）との間の距離は、対向車の推定位置が算出されているので、その推定位置と車両１５０の位置から求めることができる。

音声生成部２２９は、オブジェクト検出部２２３で検出されたオブジェクトをユーザ２３０に認知させるための音声を生成する。例えば、オブジェクトを強調表示するときに、ユーザ２３０に注意喚起する音声や警告音を生成する。生成された音声は表示デバイス２４０に出力されて、表示デバイス２４０からユーザ２３０に提供される。

表示デバイス２４０は、いわゆる頭部装着型のヘッドマウントディスプレイ（ＨＭＤ）である。表示デバイス２４０は、ユーザ２３０の頭部に装着されることで、ユーザ２３０の眼前に、画像を表示するためのディスプレイを保持するように構成されている。また、表示デバイス２４０には、ユーザ２３０の視線の動きを検出するためのセンサも含まれている。なお、表示デバイス２４０は、ウェアラブル型ディスプレイであればよく、眼鏡型デバイスでもよい。

表示デバイス２４０に適用される頭部装着型のヘッドマウントディスプレイとしては、ＶＲゴーグルのような没入型ＨＭＤが適用される。

没入型ＨＭＤは、ユーザ２３０の頭部または顔部に装着された場合に、ユーザ２３０の眼を覆うように装着され、ユーザ２３０の眼前にディスプレイが保持される。そのため、没入型ＨＭＤを装着したユーザ２３０は、外部の風景（現実世界の風景）を直接視野に入れることが困難であり、ディスプレイに表示された映像のみが視界に入ることになる。このような構成により、没入型ＨＭＤは、画像を視聴しているユーザ２３０に対して没入感を与えることが可能となる。

また、表示デバイス２４０には、例えば、加速度センサ、ジャイロセンサが設けられ、表示デバイス２４０を装着したユーザ２３０の頭部の動き（頭部の姿勢）を検出可能に構成されている。一例として、表示デバイス２４０は、ユーザ２３０の頭部の動きとして、ヨー方向、ピッチ方向、及びロール方向それぞれの成分を検出する。そして、表示デバイス２４０は、検出したユーザ２３０の頭部の動きに基づき、ユーザ２３０の視線が示す方向の変化を認識し、認識した視線方向の変化に応じた画像をユーザ２３０に提示する。このような構成に基づいて、例えば、ユーザ２３０の視線方向の変化に応じて仮想空間内の映像をユーザ２３０に提示する。これにより、ユーザ２３０に対して、あたかも仮想空間内にいるような没入感を与えることが可能となる。

また、表示デバイス２４０は、光学センサ（カメラ）を含んでいてもよい。表示デバイス２４０は、光学センサを用いてユーザ２３０の視線をトラッキングすることができる。尚、表示デバイス２４０は、近接センサを含んでいてもよい。近接センサは、ゴーグル部分に設置され、ユーザ２３０の顔部との接触有無を判定するために用いられる。

次に、仮想空間３００について説明する。図１に示すように、仮想空間３００は、車両１５０の周辺及び車室内を仮想的に示す空間であり、車内カメラ１２０によって撮像されたカメラ映像に乗員１６０のアバタ３１０と、ユーザ２３０のアバタ３２０が重畳して表示されている。アバタ３１０は仮想空間３００における仮想的なオブジェクトであり、乗員１６０の動作が反映されて、乗員１６０と同様の動きを行う。アバタ３２０も仮想空間３００における仮想的なオブジェクトであり、ユーザ２３０の動作が反映されて、ユーザ２３０と同様の動きを行う。

乗員１６０は、ＡＲゴーグルである表示デバイス１７０を装着しているので、実空間である車両１５０の周辺の風景や車室内の状況を実際に見ながら、虚像光学系を介してユーザ２３０のアバタ３２０が隣に座っている様子を仮想空間３００上で見ている。

一方、ユーザ２３０は、ＶＲゴーグルである表示デバイス２４０を装着しているので、車外カメラ１１０と車内カメラ１２０の撮像画像から生成された仮想空間３００の表示画像を見ている。ユーザ２３０が見ている表示画像には、車外の風景にアイコンやバウンディングボックスが重畳表示されており、ユーザ２３０が頭部を横に動かすと、乗員１６０のアバタ３１０が隣に座っている様子が表示されている。

［オブジェクトの表示態様変更処理］
次に、本実施形態に係る画像処理装置２２０によるオブジェクトの表示態様変更処理を説明する。図７は、本実施形態に係る画像処理装置２２０によるオブジェクトの表示態様変更処理の処理手順を示すフローチャートである。図７に示すオブジェクトの表示態様変更処理は、ユーザ２３０が仮想空間表示システム１の利用を開始すると、スタートする。

図７に示すように、ステップＳ１０において、撮像画像取得部２２１が通信装置２１０から撮像画像を取得すると、オブジェクト検出部２２３は、取得した撮像画像上において、ユーザ２３０が視認する必要のあるオブジェクトが存在するか否かを判定する。オブジェクトが存在しない場合にはステップＳ５０に進み、オブジェクトが存在する場合にはオブジェクトを検出してステップＳ２０に進む。

ステップＳ２０において、表示判定部２２５は、ステップＳ１０で検出されたオブジェクトが不明瞭であるか否か、すなわち撮像画像上においてオブジェクトが不明瞭に表示されているか否かを判定する。具体的に、表示判定部２２５は、撮像画像上において、オブジェクトの大きさが所定の閾値以下である場合に、オブジェクトが不明瞭であると判定する。あるいは、オブジェクトが表示されている時間が所定の閾値以下である場合、オブジェクトの大きさの変化率が所定の閾値以上である場合に、オブジェクトが不明瞭であると判定する。

さらに、表示判定部２２５は、撮像画像上において、オブジェクトとその周囲との色の差が所定の閾値以下である場合に、オブジェクトが不明瞭であると判定してもよい。さらに、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合、オブジェクトの表示位置に誤差がある場合にも、オブジェクトが不明瞭であると判定してもよい。

そして、表示判定部２２５は、オブジェクトが不明瞭ではない場合にはステップＳ５０に進み、オブジェクトが不明瞭である場合にはステップＳ３０に進む。

ステップＳ３０において、表示画像生成部２２７は、ステップＳ２０でオブジェクトが不明瞭であると判定されると、オブジェクトの表示態様を変更して表示画像を生成する。具体的に、表示画像生成部２２７は、オブジェクトの表示態様を強調表示に変更して表示画像を生成する。また、表示画像生成部２２７は、オブジェクトの表示態様を、オブジェクトを示す画像の重畳表示に変更して表示画像を生成してもよい。

さらに、表示画像生成部２２７は、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合には、オブジェクトの方向を示す画像を重畳表示する表示態様に変更して表示画像を生成する。

また、表示画像生成部２２７は、オブジェクトの表示位置に誤差がある場合には、オブジェクトを示す画像を、誤差を修正した位置に重畳表示する表示態様に変更して表示画像を生成する。

尚、ステップＳ３０においてオブジェクトの表示態様を変更する際に、音声生成部２２９は、検出されたオブジェクトをユーザ２３０に認知させるための音声を生成し、表示デバイス１７０、２４０から出力する。具体的に、音声生成部２２９は、オブジェクトを強調表示するときに、ユーザ２３０に注意喚起する音声や警告音を生成して、表示デバイス１７０、２４０から出力する。

ステップＳ４０において、表示画像生成部２２７は、表示態様の変更が不要になったか否かを判定する。具体的に、表示画像生成部２２７は、ユーザ２３０がオブジェクトに気づいた場合には、表示態様の変更が不要になったと判定する。オブジェクトに気づいたか否かの判定方法は、ユーザ２３０の頭部の向きや視線の方向を表示デバイス２４０から取得して、ユーザ２３０の視線がオブジェクトに向いているか否かで判定する。また、表示画像生成部２２７は、オブジェクトが表示画像の範囲内に存在しなくなった場合にも、表示態様の変更が不要になったと判定する。

そして、表示画像生成部２２７は、表示態様の変更が不要になっていない場合には継続して不要になっているか否かを判定し、表示態様の変更が不要になっている場合にはステップＳ５０に進む。

ステップＳ５０において、表示画像生成部２２７は、通常時の表示態様で表示画像を生成する。特に、ステップＳ４０で表示態様の変更が不要になったと判定された場合には、表示態様の変更を終了し、通常時の表示態様に戻して表示画像を生成する。具体的に、表示画像生成部２２７は、強調表示やアイコンの重畳表示を消去して表示画像を生成する。

ステップＳ６０において、表示画像生成部２２７は、ユーザ２３０が仮想空間表示システム１の利用を終了したか否かを判定し、終了していない場合にはステップＳ１０に戻り、終了している場合には、本実施形態に係るオブジェクトの表示態様変更処理を終了する。

［ユーザの注意喚起処理］
次に、本実施形態に係る画像処理装置２２０によるユーザの注意喚起処理を説明する。図８は、本実施形態に係る画像処理装置２２０によるユーザの注意喚起処理の処理手順を示すフローチャートである。図８に示すユーザの注意喚起処理は、ユーザ２３０が仮想空間表示システム１の利用を開始すると、スタートする。

図８に示すように、ステップＳ１１０において、音声生成部２２９は、仮想空間３００において乗員１６０がユーザ２３０に話しかけているか否かを判定する。音声生成部２２９は、表示デバイス１７０のマイクで収集された乗員１６０の音声を取得し、乗員１６０がユーザ２３０に話しかけているか否かを判定する。そして、乗員１６０が話しかけている場合にはステップＳ１２０に進み、話しかけていない場合にはステップＳ１６０に進む。

ステップＳ１２０において、音声生成部２２９は、乗員１６０に話しかけられていることにユーザ２３０が気づいているか否かを判定する。音声生成部２２９は、表示デバイス２４０のマイクで収集されたユーザ２３０の音声を取得し、ユーザ２３０が返事をしているか否かを判定する。そして、ユーザ２３０が返事をしていない場合には気付いていないと判定してステップＳ１３０に進み、返事をしている場合には気付いていると判定してステップＳ１６０に進む。

ステップＳ１３０において、音声生成部２２９と表示画像生成部２２７は、ユーザ２３０に対して注意喚起を行う。具体的に、音声生成部２２９は、話しかけている乗員１６０がいる方向から仮想の音声を上乗せして再生することで、ユーザ２３０に注意喚起を行う。さらに、表示判定部２２５は、ユーザ２３０が返事をしていない場合には話しかけられていることに気付いていないと判定し、つまり乗員１６０を示すアバタ３１０の画像が不明瞭であると判定する。そこで、表示画像生成部２２７は、乗員１６０を示すアバタ３１０の画像を表示画像上に表示して表示態様を強調表示に変更する。

ステップＳ１４０において、音声生成部２２９は、注意喚起が不要になったか否かを判定する。音声生成部２２９は、表示デバイス２４０のマイクで収集されたユーザ２３０の音声を取得し、ユーザ２３０が返事をしている場合には注意喚起が不要になったと判定してステップＳ１５０に進む。一方、ユーザ２３０が返事をしていない場合には注意喚起は必要と判定してステップＳ１３０に戻る。また、音声生成部２２９は、表示デバイス１７０のマイクで収集された乗員１６０の音声を取得し、乗員１６０が話しかけるのをやめている場合には注意喚起が不要になったと判定してステップＳ１５０に進む。一方、乗員１６０が話しかけるのをやめていない場合には注意喚起は必要と判定してステップＳ１３０に戻る。

ステップＳ１５０において、音声生成部２２９は、ステップＳ１４０で注意喚起が不要になったと判定されると、注意喚起を終了する。具体的に、音声生成部２２９は、注意喚起のために生成していた音声の出力を終了する。また、表示画像生成部２２７は、注意喚起のために表示していた乗員１６０のアバタ３１０の強調表示を消去して表示態様の変更を終了し、通常時の表示態様に戻して表示画像を生成する。

ステップＳ１６０において、音声生成部２２９は、ユーザ２３０が仮想空間表示システム１の利用を終了したか否かを判定し、終了していない場合にはステップＳ１１０に戻り、終了している場合には、本実施形態に係るユーザの注意喚起処理を終了する。

［実施形態の効果］
以上、詳細に説明したように、本実施形態に係る画像処理装置２２０では、撮像機器で撮像された撮像画像を取得し、取得した撮像画像上において表示機器のユーザが視認する必要のあるオブジェクトを検出する。そして、検出されたオブジェクトが不明瞭であるか否かを判定し、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を変更して表示画像を生成する。特に、オブジェクトの大きさが所定の閾値以下である場合、オブジェクトが表示されている時間が所定の閾値以下である場合、オブジェクトの大きさの変化率が所定の閾値以上である場合の少なくとも１つである場合に、オブジェクトが不明瞭であると判定する。これにより、移動や動きのあるものを遠隔地で表示する場合であっても、視認が困難なオブジェクトや移動のあるオブジェクトの表示態様を変更することができるので、ユーザにオブジェクトを明瞭に理解させることができる。

また、本実施形態に係る画像処理装置２２０では、オブジェクトとその周囲との色の差が所定の閾値以下である場合に、オブジェクトが不明瞭であると判定する。これにより、周囲と見分けにくい色のオブジェクトであっても、ユーザにオブジェクトを明瞭に理解させることができる。

さらに、本実施形態に係る画像処理装置２２０では、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を強調表示に変更して表示画像を生成する。これにより、不明瞭に表示されたオブジェクトであっても、強調表示によってユーザに明瞭に理解させることができる。

また、本実施形態に係る画像処理装置２２０では、オブジェクトが不明瞭であると判定された場合には、オブジェクトの表示態様を、オブジェクトを示す画像の重畳表示に変更して表示画像を生成する。これにより、不明瞭に表示されたオブジェクトであっても、アイコン等の重畳表示によってユーザに明瞭に理解させることができる。

さらに、本実施形態に係る画像処理装置２２０では、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合に、オブジェクトが不明瞭であると判定する。これにより、表示画像上に表示されていないオブジェクトがあっても、ユーザにオブジェクトを明瞭に理解させることができる。

また、本実施形態に係る画像処理装置２２０では、撮像画像上に撮像され、表示画像上には表示されていないオブジェクトがある場合には、オブジェクトの方向を示す画像を重畳表示する表示態様に変更して表示画像を生成する。これにより、表示画像上に表示されていないオブジェクトがあっても、オブジェクトの方向を示す画像の重畳表示によってユーザに明瞭に理解させることができる。

さらに、本実施形態に係る画像処理装置２２０では、オブジェクトの表示位置に誤差がある場合に、オブジェクトが不明瞭であると判定する。これにより、表示位置に誤差のあるオブジェクトであっても、ユーザにオブジェクトを明瞭に理解させることができる。

また、本実施形態に係る画像処理装置２２０では、オブジェクトの表示位置に誤差がある場合には、オブジェクトを示す画像を、誤差を修正した位置に重畳表示する表示態様に変更して表示画像を生成する。これにより、表示位置に誤差のあるオブジェクトであっても、誤差を修正することによってユーザに明瞭に理解させることができる。

さらに、本実施形態に係る画像処理装置２２０では、オブジェクトと撮像機器との間の距離に基づいて、表示画像の大きさを変更する。これにより、オブジェクトと撮像機器との間の距離に合った大きさで表示画像を表示できるので、ユーザにオブジェクトを明瞭に理解させることができる。

さらに、本実施形態に係る画像処理装置２２０では、検出されたオブジェクトをユーザに認知させるための音声を生成し、ユーザが音声に返事をしていない場合には、オブジェクトが不明瞭であると判定し、オブジェクトの表示態様を変更して表示画像を生成する。これにより、表示だけではなく音声も利用して、ユーザにオブジェクトを明瞭に理解させることができる。

また、本実施形態に係る画像処理装置２２０では、オブジェクトの表示態様を変更した後に、ユーザが音声に返事をしている場合には、表示態様の変更を終了する。これにより、表示態様の変更を不必要に継続させることを防止することができる。

尚、上述の実施形態は本発明の一例である。このため、本発明は、上述の実施形態に限定されることはなく、この実施形態以外の形態であっても、本発明に係る技術的思想を逸脱しない範囲であれば、設計などに応じて種々の変更が可能であることは勿論である。特に、本実施形態では、仮想空間の一例として車両の周辺や車室内を挙げたが、これに限定されない。例えば、電車、飛行機、コンサートホール、映画館、劇場などにも適用可能である。

１ 仮想空間表示システム
１００ 車両空間
１１０ 車外カメラ
１２０ 車内カメラ
１３０ コントローラ
１４０、２１０ 通信装置
１５０ 車両
１６０ 乗員
１７０、２４０ 表示デバイス
２００ 遠隔地空間
２２０ 画像処理装置
２２１ 撮像画像取得部
２２３ オブジェクト検出部
２２５ 表示判定部
２２７ 表示画像生成部
２２９ 音声生成部
２３０ ユーザ
３００ 仮想空間
３１０、３２０ アバタ

Claims (7)

1. 撮像機器により撮像された撮像画像に基づいて、前記撮像機器から離れた遠隔地にある表示機器に表示するための表示画像を生成する画像処理装置であって、
   前記撮像機器で撮像された撮像画像を取得する撮像画像取得部と、
   取得した前記撮像画像上において、前記表示機器のユーザが視認する必要のあるオブジェクトを検出するオブジェクト検出部と、
   検出された前記オブジェクトが不明瞭であるか否かを判定する表示判定部と、
   前記オブジェクトが不明瞭であると判定された場合には、前記オブジェクトの表示態様を変更して前記表示画像を生成する表示画像生成部と、
   前記オブジェクト検出部で検出された前記オブジェクトを前記ユーザに認知させるための音声を生成する音声生成部とを備え、
   前記表示判定部は、前記撮像画像上に撮像され、前記表示画像上には表示されていないオブジェクトがある場合、及び前記ユーザが前記音声に返事をしていない場合に、前記オブジェクトが不明瞭であると判定し、
   前記表示画像生成部は、前記撮像画像上に撮像され、前記表示画像上には表示されていないオブジェクトがある場合には、前記オブジェクトの方向を示す画像を重畳表示する表示態様に変更して前記表示画像を生成する、
   ことを特徴とする画像処理装置。
2. 撮像機器により撮像された撮像画像に基づいて、前記撮像機器から離れた遠隔地にある表示機器に表示するための表示画像を生成する画像処理装置であって、
   前記撮像機器で撮像された撮像画像を取得する撮像画像取得部と、
   取得した前記撮像画像上において、前記表示機器のユーザが視認する必要のあるオブジェクトを検出するオブジェクト検出部と、
   検出された前記オブジェクトが不明瞭であるか否かを判定する表示判定部と、
   前記オブジェクトが不明瞭であると判定された場合には、前記オブジェクトの表示態様を変更して前記表示画像を生成する表示画像生成部と、
   前記オブジェクト検出部で検出された前記オブジェクトを前記ユーザに認知させるための音声を生成する音声生成部とを備え、
   前記表示判定部は、前記オブジェクトの表示位置に誤差がある場合、及び前記ユーザが前記音声に返事をしていない場合に、前記オブジェクトが不明瞭であると判定する、
   ことを特徴とする画像処理装置。
3. 前記表示画像生成部は、前記オブジェクトの表示位置に誤差がある場合には、前記オブジェクトを示す画像を、前記誤差を修正した位置に重畳表示する表示態様に変更して前記表示画像を生成することを特徴とする請求項２に記載の画像処理装置。
4. 前記表示画像生成部は、前記オブジェクトと前記撮像機器との間の距離に基づいて、前記表示画像の大きさを変更することを特徴とする請求項３に記載の画像処理装置。
5. 前記表示画像生成部は、前記オブジェクトの表示態様を変更した後に、前記ユーザが前記音声に返事をしている場合には、前記表示態様の変更を終了することを特徴とする請求項１または２に記載の画像処理装置。
6. 撮像機器により撮像された撮像画像に基づいて、前記撮像機器から離れた遠隔地にある表示機器に表示するための表示画像を生成する画像処理方法であって、
   前記撮像機器で撮像された撮像画像を取得し、
   取得した前記撮像画像上において、前記表示機器のユーザが視認する必要のあるオブジェクトを検出し、
   検出された前記オブジェクトが不明瞭であるか否かを判定し、
   前記オブジェクトが不明瞭であると判定された場合には、前記オブジェクトの表示態様を変更して前記表示画像を生成し、
   検出された前記オブジェクトを前記ユーザに認知させるための音声を生成し、
   前記撮像画像上に撮像され、前記表示画像上には表示されていないオブジェクトがある場合、及び前記ユーザが前記音声に返事をしていない場合に、前記オブジェクトが不明瞭であると判定し、
   前記撮像画像上に撮像され、前記表示画像上には表示されていないオブジェクトがある場合には、前記オブジェクトの方向を示す画像を重畳表示する表示態様に変更して前記表示画像を生成する、
   ことを特徴とする画像処理方法。
7. 撮像機器により撮像された撮像画像に基づいて、前記撮像機器から離れた遠隔地にある表示機器に表示するための表示画像を生成する画像処理方法であって、
   前記撮像機器で撮像された撮像画像を取得し、
   取得した前記撮像画像上において、前記表示機器のユーザが視認する必要のあるオブジェクトを検出し、
   検出された前記オブジェクトが不明瞭であるか否かを判定し、
   前記オブジェクトが不明瞭であると判定された場合には、前記オブジェクトの表示態様を変更して前記表示画像を生成し、
   検出された前記オブジェクトを前記ユーザに認知させるための音声を生成し、
   前記オブジェクトの表示位置に誤差がある場合、及び前記ユーザが前記音声に返事をしていない場合に、前記オブジェクトが不明瞭であると判定する、
   ことを特徴とする画像処理方法。

Images