JP5862444B2

JP5862444B2 - 画像表示装置、その表示方法、及び表示プログラム

Info

Publication number: JP5862444B2
Application number: JP2012109259A
Authority: JP
Inventors: 国松橋本; 貴夫安田
Original assignee: Toyota Motor Corp
Current assignee: Toyota Motor Corp
Priority date: 2012-05-11
Filing date: 2012-05-11
Publication date: 2016-02-16
Anticipated expiration: 2032-05-11
Also published as: JP2013235220A

Description

本発明は、表示画面上において撮影画像の視認性を向上させた画像表示装置、その表示方法、及び表示プログラムに関するものである。

例えば、カメラ等により撮影された撮影画像を表示させ、その撮影画像を見てロボットなどの移動体の遠隔操作などが行われており、その撮影画像を表示する様々な表示方法が提案されている。例えば、移動体の後方から見たときの仮想的な視界を生成し、表示する仮想視界生成システムが知られている（特許文献１参照）。

特許第３６７５７８７号公報

しかしながら、上記特許文献１に示す仮想視界生成システムにおいては、生成される画像を見ただけでは、直感的かつ容易に、その移動体の移動方向などの状態を把握できるものではなく、その視認性の点で問題が生じている。

本発明は、このような問題点を解決するためになされたものであり、表示画面上において撮影画像の視認性を向上させた画像表示装置、その表示方法、及び表示プログラムを提供することを主たる目的とする。

上記目的を達成するための本発明の一態様は、所定領域の撮影を行う撮影手段と、前記撮影手段により撮影される撮影画像を表示画面上に表示する表示手段と、を備える画像表示装置であって、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対変化させる画像補正手段を備える、ことを特徴とする画像表示装置である。
この一態様において、前記画像補正手段は、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域の外縁を相対変化させてもよい。
この一態様において、前記画像補正手段は、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対移動させてもよい。
この一態様において、前記撮影手段は移動体に設けられており、前記移動体は遠隔操作されてもよい。
この一態様において、前記画像補正手段は、前記移動体の状態に応じて、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対変化させてもよい。
この一態様において、前記画像補正手段は、前記撮影手段の撮影方向に応じて、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対変化させてもよい。
この一態様において、前記画像補正手段は、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域の外縁において、前記撮影方向側を拡張するように、相対変化させてもよい。
この一態様において、前記撮影画像の領域は略矩形状となっており、前記画像補正手段は、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される略矩形状の撮影画像の領域において、前記撮影方向側の辺を伸張させ、該撮影方向側の辺に対向する辺を収縮させる、台形補正処理を行っても良い。
この一態様において、前記撮影手段はロボットの頭部に設けられており、前記画像補正手段は、前記ロボットの頭部の回転量が増加するに従って、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域の外縁において、前記首関節が回転する方向側を大きく拡張するように、相対変化させてもよい。
この一態様において、前記移動体の傾斜を検出する傾斜検出手段を更に備え、前記画像補正手段は、前記傾斜検出手段により検出された前記移動体の傾斜に応じて、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対移動させてもよい。
この一態様において、前記画像補正手段は、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を、前記傾斜検出手段により検出された前記移動体の傾斜方向へ相対移動させてもよい。
この一態様において、前記移動体の移動方向を検出する方向検出手段を更に備え、前記画像補正手段は、前記方向検出手段により検出された前記移動体の移動方向に応じて、前記表示手段により表示される表示画面の領域に対して前記撮影手段により撮影される撮影画像の領域を相対移動させてもよい。
この一態様において、前記画像補正手段は、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を、前記方向検出手段により検出された前記移動体の移動方向に相対移動させてもよい。
この一態様において、前記移動体の移動速度を検出する速度検出手段を更に備え、前記画像補正手段は、前記速度検出手段により検出された移動体の移動速度に応じて、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対変化させてもよい。
この一態様において、前記画像補正手段は、速度検出手段により検出される移動体の移動速度が増加するに従って、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域の外縁において、前記移動体の移動方向側を大きく拡張するように、相対変化させてもよい。
この一態様において、前記移動体の移動加速度を検出する加速度検出手段を更に備え、前記画像補正手段は、前記加速度検出手段により検出された移動体の移動加速度に応じて、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対変化させてもよい。
この一態様において、前記画像補正手段は、加速度検出手段により検出される移動体の移動加速度が増加するに従って、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域の外縁において、前記移動体の移動方向側を大きく拡張するように、相対変化させてもよい。
この一態様において、前記撮影手段は、前記移動体に上下方向へ移動可能に設けられており、前記撮影手段の高さ位置を検出する位置検出手段を更に備え、前記画像補正手段は、前記位置検出手段により検出された前記撮影手段の高さ位置に応じて、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対移動させてもよい。
他方、上記目的を達成するための本発明の一態様は、所定領域の撮影を行うステップと、前記撮影された撮影画像を表示画面上に表示するステップと、前記表示される表示画面の領域に対して、前記撮影された撮影画像の領域を相対変化させるステップと、を含む、ことを特徴とする画像表示装置の表示方法であってもよい。
また、上記目的を達成するための本発明の一態様は、撮影画像を表示画面上に表示する処理と、前記表示される表示画面の領域に対して、前記撮影された撮影画像の領域を相対変化させる処理と、をコンピュータに実行させる、ことを特徴とする画像表示装置の表示プログラムであってもよい。

本発明によれば、表示画面上において撮影画像の視認性を向上させた画像表示装置、その表示方法、及び表示プログラムを提供することができる。

本発明の実施の形態に係る画像表示装置の概略的なシステム構成を示すブロック図である。（ａ）視線が水平方向を向いている場合のロボットの状態を示す図である。（ｂ）ロボットの視線が水平方向を向いている場合の撮影画像領域を示す図である。（ａ）視線が上方を向いている場合のロボットの状態を示す図である。（ｂ）ロボットの視線が上方を向いている場合の撮影画像領域を示す図である。（ａ）視線が下方を向いている場合のロボットの状態を示す図である。（ｂ）ロボットの視線が下方を向いている場合の撮影画像領域を示す図である。（ａ）視線が左方を向いている場合のロボットの状態を示す図である。（ｂ）ロボットの視線が左方を向いている場合の撮影画像領域を示す図である。（ａ）視線が右方を向いている場合のロボットの状態を示す図である。（ｂ）ロボットの視線が右方を向いている場合の撮影画像領域を示す図である。本発明の実施の形態１に係る画像表示装置の処理フローの一例を示すフローチャートである。本発明の実施の形態２に係る画像表示装置の概略的なシステム構成を示すブロック図である。（ａ）上方を向いて傾斜している場合のロボットの状態を示す図である。（ｂ）ロボットが上方を向いて傾斜している場合の撮影画像領域を示す図である。（ａ）下方を向いて傾斜している場合のロボットの状態を示す図である。（ｂ）ロボットが下方を向いて傾斜している場合の撮影画像領域を示す図である。（ａ）左方へ傾斜している場合のロボットの状態を示す図である。（ｂ）ロボットが左方へ傾斜している場合の撮影画像領域を示す図である。（ａ）右方へ傾斜している場合のロボットの状態を示す図である。（ｂ）ロボットが右方へ傾斜している場合の撮影画像領域を示す図である。本発明の実施の形態２に係る画像表示装置の処理フローの一例を示すフローチャートである。本発明の実施の形態３に係る画像表示装置の概略的なシステム構成を示すブロック図である。ロボットが左方へ移動している場合の撮影画像領域を示す図である。ロボットが右方へ移動している場合の撮影画像領域を示す図である。ロボットが上昇している場合の撮影画像領域を示す図である。ロボットが下降している場合の撮影画像領域を示す図である。ロボットが右方向へ移動しつつ上昇している場合の撮影画像領域を示す図である。実施の形態１と実施の形態２とを組み合わせた画像表示装置のシステム構成を示すブロック図である。

実施の形態１．
以下、図面を参照して本発明の実施の形態について説明する。図１は、本発明の実施の形態１に係る画像表示装置の概略的なシステム構成を示すブロック図である。本実施の形態１に係る画像表示装置１０は、カメラ１１と、姿勢制御部１２と、カメラ画像補正部１３と、表示装置１４と、を備えている。

カメラ１１は、例えば、ＣＣＤ（Charge Coupled Device）カメラ、ＣＭＯＳ（Complementary Metal Oxide Semiconductor）カメラであり、所定領域の撮影を行うことができる。カメラ１１は、例えば、ロボットの頭部などに設けられており、ロボットの視覚として機能する。また、ロボットは、複数の関節部（首関節など）を含み、各関節部や車輪などを回転駆動することで、任意の方向へ移動可能なヒューマノイドロボットなどの移動体として構成されている。カメラ１１は、撮影した所定領域の撮影画像をカメラ画像補正部１３に対して出力する。

姿勢制御部１２は、例えば、ロボットの各関節の回転駆動を制御することで、ロボットの姿勢を制御することができる。例えば、姿勢制御部１２は、無線或いは有線などを介して入力されるユーザからの操作情報に基づいて、ロボットの各関節のアクチュエータ１５を制御し、ロボットの動作を制御する。ユーザは、表示装置１４に表示されたカメラ１１の撮影画像を見て、ロボットを遠隔操作することができる。

姿勢制御部１２は、例えば、ロボットの首関節に設けられたアクチュエータ１５を介して、ロボットの首関節の回転駆動を制御することで、カメラ１１の撮影方向を制御することができる。そのとき、姿勢制御部１２は、ロボットの首関節の回転角度をカメラ画像補正部１３に対して出力する。なお、上記ロボットの首関節の回転角度は、ロボットの首関節に設けられた回転センサ１６から姿勢制御部１２を介してカメラ画像補正部１３に対して出力されているが、回転センサ１６からカメラ画像補正部１３に直接的に出力されてもよい。

カメラ画像補正部１３は、姿勢制御部１２から出力されるロボットの首関節の回転角度に基づいて、カメラ１１から出力される撮影画像に対して補正処理を行う。カメラ画像補正部１３は、例えば、ロボットの姿勢に応じたロボットの首関節の回転角度に基づいて、カメラ１１の撮影画像の台形補正処理を行う。

表示装置１４は、カメラ画像補正部１３により台形補正処理された撮影画像の領域を表示画面の領域上に表示させる。ここで、上記撮影画像に対して台形補正処理を行うことで、表示装置１４により表示される表示画面領域に対してカメラ１１により撮影された撮影画像領域の外縁が変化する。表示装置１４は、例えば、液晶ディスプレイ装置、有機或いは無機ＥＬディスプレイ装置などにより構成されている。

画像表示装置１０は、例えば、演算処理等を行うＣＰＵ（Central Processing Unit）、ＣＰＵによって実行される演算プログラム等が記憶されたＲＯＭ（Read Only Memory）、処理データ等を一時的に記憶するＲＡＭ（Random Access Memory）等からなるマイクロコンピュータを、中心にしてハードウェア構成されている。ＣＰＵ、ＲＯＭ、及びＲＡＭは、データバスなどを介して相互に接続されている。

ところで、従来、ロボットの遠隔操作等を行う場合、そのロボットのカメラにより撮影された撮影画像を見て、そのロボットの状態（ロボットの傾斜方向や視線方向など）を直感的に把握するのは困難となっていた。

そこで、本実施の形態１に係る画像表示装置１０において、カメラ画像補正部１３は、例えば、ロボットの視線方向に応じてカメラ１１の撮影画像に対して台形補正処理を行う。

これにより、ロボットの視線方向に応じて、表示装置１４により表示される表示画面の領域（以下、表示画面領域と称す）に対してカメラ１１により撮影された撮影画像の領域（以下、撮影画像領域と称す）の外縁が変化する。したがって、ユーザは、その撮影画像領域の外縁変化を見るだけで、そのロボットの状態（ロボットの視線方向など）を直感的かつ容易に把握することができる。すなわち、表示画面上においてロボットのカメラ１１により撮影された撮影画像の視認性を向上させることができる。

次に、上述したカメラ画像補正部による台形補正処理の一例について、図２乃至図６を参照して詳細に説明する。

（１）ロボット１００の視線が水平方向の場合（図２（ａ））
カメラ画像補正部１３は、姿勢制御部１２から出力されるロボット１００の首関節の回転角度に基づいて、カメラ１１から出力される撮影画像に対して台形補正処理を行わない。この場合、図２（ｂ）に示すように、表示装置１４により表示される矩形状の表示画面領域Ｘの略中央に、矩形状の撮影画像領域Ｙは少し小さく表示される。

（２）ロボット１００の視線が上方を向いている場合（図３（ａ））
カメラ画像補正部１３は、姿勢制御部１２から出力されるロボット１００の首関節の回転角度に基づいて、カメラ１１から出力される撮影画像に対して台形補正処理を行う。カメラ画像補正部１３は、この台形補正処理において、例えば、図３（ｂ）に示すように、撮影画像領域Ｙの上辺Ｙ１を伸張させ、下辺Ｙ２を収縮させる補正処理を行う。これにより、撮影画像の上方側が拡張しより強調されることから、ユーザはロボット１００の視線が上方を向いていることを直感的かつ容易に把握できる。

（３）ロボット１００の視線が下方を向いている場合（図４（ａ））
カメラ画像補正部１３は、姿勢制御部１２から出力されるロボット１００の首関節の回転角度に基づいて、カメラ１１から出力される撮影画像に対して台形補正処理を行う。カメラ画像補正部１３は、この台形補正処理において、例えば、図４（ｂ）に示すように、撮影画像領域Ｙの上辺Ｙ１を収縮させ、下辺Ｙ２を伸張させる補正処理を行う。これにより、撮影画像の下方側が拡張しより強調されることから、ユーザはロボット１００の視線が下方を向いていることを直感的かつ容易に把握できる。

（４）ロボット１００の視線が左方を向いている場合（図５（ａ））
カメラ画像補正部１３は、姿勢制御部１２から出力されるロボット１００の首関節の回転角度に基づいて、カメラ１１から出力される撮影画像に対して台形補正処理を行う。カメラ画像補正部１３は、この台形補正処理において、例えば、図５（ｂ）に示すように、撮影画像領域Ｙの左辺Ｙ３を伸張させ、右辺Ｙ４を収縮させる補正処理を行う。これにより、撮影画像の左方側が拡張しより強調されることから、ユーザはロボット１００の視線が左方を向いていることを直感的かつ容易に把握できる。

（５）ロボット１００の視線が右方を向いている場合（図６（ａ））
カメラ画像補正部１３は、姿勢制御部１２から出力されるロボット１００の首関節の回転角度に基づいて、カメラ１１から出力される撮影画像に対して台形補正処理を行う。カメラ画像補正部１３は、この台形補正処理において、例えば、図６（ｂ）に示すように、撮影画像領域Ｙの右辺Ｙ４を伸張させ、左辺Ｙ３を収縮させる補正処理を行う。これにより、撮影画像の右方側が拡張しより強調されることから、ユーザはロボット１００の視線が右方を向いていることを直感的かつ容易に把握できる。

なお、カメラ画像補正部１３は、撮影画像の台形補正処理を行なっているが、これに限らず、ロボット１００の視線方向を強調するような任意の形状に補正処理を行ってもよい。また、撮影画像領域Ｙは、通常、矩形状となっているが、これに限らず、例えば、円形、楕円形などの任意の形状であってもよい。例えば、撮影画像領域Ｙが円形状である場合、カメラ画像補正部１３は、ロボット１００の首関節の回転角度に基づいて、円形状の撮影画像領域においてロボット１００の視線方向側を拡張するような補正処理を行ってもよい。

なお、カメラ画像補正部１３は、姿勢制御部１２から出力されるロボット１００の首関節の回転角度が増加するに従って、撮影画像領域Ｙを大きく変形しても良い。例えば、カメラ画像補正部１３は、姿勢制御部１２から出力されるロボット１００の首関節の左方向の回転角度が増加するに従って、撮影画像領域Ｙの左辺Ｙ３を大きく伸張し、右辺Ｙ４を大きく収縮する台形補正処理を行う。これにより、ユーザはロボット１００の視線方向だけでなく、その向いている量も直感的かつ容易に把握することができる。

次に、本実施の形態に係る画像表示装置の処理フローについて詳細に説明する。図７は、本実施の形態１に係る画像表示装置の処理フローの一例を示すフローチャートである。

まず、カメラ１１は所定領域の撮影を行い（ステップＳ１０１）、撮影した所定領域の撮影画像をカメラ画像補正部１３に対して出力する。

姿勢制御部１２は、ロボット１００の首関節の回転駆動を制御し、そのときのロボット１００の首関節の回転角度をカメラ画像補正部１３に対して出力する（ステップＳ１０２）。

次に、カメラ画像補正部１３は、姿勢制御部１２から出力されるロボット１００の首関節の回転角度に基づいて、ロボット１００の視線が水平方向、上方向、及び下方向のうちいずれを向いているか判断する（ステップＳ１０３）。

カメラ画像補正部１３は、ロボット１００の視線が上方向と判断したとき、撮影画像領域Ｙの上辺Ｙ１を伸張させ、下辺Ｙ２を収縮させる台形補正処理を行い（ステップＳ１０４）、下記（ステップＳ１０６）に移行する。カメラ画像補正部１３は、ロボット１００の視線が下方向と判断したとき、撮影画像領域Ｙの下辺Ｙ２を伸張させ、上辺Ｙ１を収縮させる台形補正処理を行い（ステップＳ１０５）、下記（ステップＳ１０６）に移行する。カメラ画像補正部１３は、ロボット１００の視線が水平方向と判断したとき、撮影画像領域に対して台形補正処理を行わずに、下記（ステップＳ１０６）に移行する。

さらに、カメラ画像補正部１３は、姿勢制御部１２から出力されるロボット１００の首関節の回転角度に基づいて、ロボット１００の視線方向が左方、及び右方のうちいずれを向いているか判断する（ステップＳ１０６）。

カメラ画像補正部１３は、ロボット１００の視線方向が左方と判断したとき、撮影画像領域Ｙの左辺Ｙ３を伸張させ、右辺Ｙ４を収縮させる台形補正処理を行い（ステップＳ１０７）、下記（ステップＳ１０９）に移行する。カメラ画像補正部１３は、ロボット１００の視線方向が右方と判断したとき、撮影画像領域Ｙの右辺Ｙ４を伸張させ、左辺Ｙ３を収縮させる台形補正処理を行い（ステップＳ１０８）、下記（ステップＳ１０９）に移行する。カメラ画像補正部１３は、ロボット１００の視線が真直ぐ状態であると判断したとき、撮影画像領域Ｙに対して台形補正処理を行わずに、下記（ステップＳ１０９）に移行する。

表示装置１４は、カメラ画像補正部１３により台形補正処理された撮影画像領域Ｙを表示画面領域Ｘ上に表示させる（ステップＳ１０９）。

以上、本実施の形態１に係る画像表示装置１０において、ロボットの視線方向に応じてカメラ１１の撮影画像に対して台形補正処理を行う。これにより、ロボットの視線に応じて、表示装置１４により表示される表示画面領域に対してカメラ１１により撮影された撮影画像領域の外縁が変化する。したがって、ユーザは、その撮影画像領域の外縁変化を見るだけで、そのロボットの視線方向を直感的かつ容易に把握することができる。すなわち、表示画面上において撮影画像の視認性を向上させることができる。

なお、上記実施の形態１において、ロボット１００の視線方向に応じて表示装置１４の表示画面領域Ｘに対してカメラ１１の撮影画像領域Ｙの外縁を変化させる補正を行っているが、ロボット１００の移動速度あるいは移動加速度に応じて、表示装置１４の表示画面領域Ｘに対してカメラ１１の撮影画像領域Ｙの外縁を変化させる補正を行ってもよい。

例えば、カメラ画像補正部１３は、速度センサ（速度検出手段の一具体例）により検出されたロボットの移動速度に基づいて、撮影画像領域の移動方向側を移動速度に比例して拡張するような補正を行ってもよい。これにより、ユーザは、ロボットの移動方向だけでなく、移動速度も直感的かつ容易に把握することができる。

また、カメラ画像補正部１３は、加速度センサ（加速度検出手段の一具体例）により検出されたロボットの移動加速度に基づいて、撮影画像領域の移動方向側を移動加速度に比例して拡張するような補正を行ってもよい。これにより、ユーザは、ロボットの移動方向だけでなく、移動加速度も直感的かつ容易に把握することができる。

実施の形態２．
本発明の実施の形態２に係る画像表示装置２０は、ロボットの傾斜方向に応じて、表示装置１４により表示される表示画面領域に対してカメラ１１により撮影された撮影画像領域を相対移動させる補正処理を行う点で、上記実施の形態１に係る画像表示装置１０と相違する。

図８は、本実施の形態２に係る画像表示装置の概略的なシステム構成を示すブロック図である。本実施の形態２に係る画像表示装置２０は、カメラ１１と、傾斜センサ２１と、表示画像生成部２２と、表示装置１４と、を備えている。

傾斜センサ２１は、ロボットに搭載されており、ロボットの傾斜角度を検出することができる。傾斜センサ２１は、例えば、ジャイロセンサなどから構成されており、検出したロボットの傾斜角度を表示画像生成部２２に対して出力する。表示画像生成部２２は、画像補正手段の一具体例であり、カメラ１１からの撮影画像と、傾斜センサ２１からのロボットの傾斜角度と、に基づいて、表示装置１４の表示画面領域に対してカメラ１１の撮影画像領域を相対移動させる補正処理（相対移動補正処理）を行う。なお、本実施の形態２において、上記実施の形態１と同一部分に同一符号を付して詳細な説明は省略する。

次に、上述した表示画像生成部による相対移動補正処理の一例について、図９乃至図１２を参照して詳細に説明する。

（１）ロボット１００が上方を向いて傾斜（昇り坂など）している場合（図９（ａ））
表示画像生成部２２は、カメラ１１からの撮影画像と、傾斜センサ２１からのロボット１００の傾斜角度と、に基づいて、例えば、図９（ｂ）に示すように、表示画面領域Ｘに対して撮影画像領域Ｙを上方へ相対移動させる補正処理を行う。これにより、撮影画像領域Ｙが上方に寄っていることから、ユーザはロボット１００が上方に傾斜していることを直感的かつ容易に把握できる。

（２）ロボット１００が下方を向いて傾斜（下り坂など）している場合（図１０（ａ））
表示画像生成部２２は、カメラ１１からの撮影画像と、傾斜センサ２１からのロボット１００の傾斜角度と、に基づいて、例えば、図１０（ｂ）に示すように、表示画面領域Ｘに対して撮影画像領域Ｙを下方へ相対移動させる補正処理を行う。これにより、撮影画像領域Ｙが下方に寄っていることから、ユーザはロボット１００が下方に傾斜していることを直感的かつ容易に把握できる。

（３）ロボット１００が左方へ傾斜（左斜面など）している場合（図１１（ａ））
表示画像生成部２２は、カメラ１１からの撮影画像と、傾斜センサ２１からのロボット１００の傾斜角度と、に基づいて、例えば、図１１（ｂ）に示すように、表示画面領域Ｘに対して撮影画像領域Ｙを左方へ回転移動させる補正処理を行う。これにより、撮影画像領域Ｙが左方へ回転していることから、ユーザはロボット１００が左方へ傾斜していることを直感的かつ容易に把握できる。

（４）ロボット１００が右方へ傾斜（右斜面など）している場合（図１２（ａ））
表示画像生成部２２は、カメラ１１からの撮影画像と、傾斜センサ２１からのロボット１００の傾斜角度と、に基づいて、例えば、図１２（ｂ）に示すように、表示画面領域Ｘに対して撮影画像領域Ｙを右方へ回転移動させる補正処理を行う。これにより、撮影画像領域Ｙが右方へ回転していることから、ユーザはロボット１００が右方へ傾斜していることを直感的かつ容易に把握できる。

なお、表示画像生成部２２は、傾斜センサ２１からのロボット１００の傾斜角度が増加するに従って、表示画面領域Ｘに対して撮影画像領域Ｙを相対移動させる移動量を増加させてもよい。これにより、ユーザはロボット１００が傾斜方向だけでなく、その傾斜量も直感的かつ容易に把握できる。

次に、本実施の形態２に係る画像表示装置の処理フローについて詳細に説明する。図１３は、本実施の形態２に係る画像表示装置の処理フローの一例を示すフローチャートである。

まず、カメラ１１は所定領域の撮影を行い（ステップＳ２０１）、撮影した所定領域の撮影画像を表示画像生成部２２に対して出力する。

次に、傾斜センサ２１は、ロボット１００の傾斜角度を検出し、検出したロボット１００の傾斜角度を表示画像生成部２２に対して出力する（ステップＳ２０２）。

その後、表示画像生成部２２は、傾斜センサ２１からのロボット１００の傾斜角度と、に基づいて、ロボット１００が上方及び下方のうちいずれの方向に傾斜しているかを判断する（ステップＳ２０３）。

表示画像生成部２２は、傾斜センサ２１からのロボット１００の傾斜角度に基づいて、ロボット１００が上方を向いて傾斜（図９（ａ））していると判断したとき、表示画面領域Ｘに対して撮影画像領域Ｙを上方へ相対移動させる補正処理（図９（ｂ））を行い（ステップＳ２０４）、下記（ステップＳ２０６）に移行する。表示画像生成部２２は、傾斜センサ２１からのロボット１００の傾斜角度に基づいて、ロボット１００が下方を向いて傾斜（図１０（ａ））していると判断したとき、表示画面領域Ｘに対して撮影画像領域Ｙを下方へ相対移動させる補正処理（図１０（ｂ））を行い（ステップＳ２０５）、下記（ステップＳ２０６）に移行する。表示画像生成部２２は、傾斜センサ２１からのロボット１００の傾斜角度に基づいて、ロボット１００が水平状態であると判断したとき、撮影画像領域Ｙに対して相対移動処理を行わず下記（ステップＳ２０６）に移行する。

さらに、表示画像生成部２２は、傾斜センサ２１からのロボット１００の傾斜角度に基づいて、ロボット１００が左方及び下右のうちいずれの方向に傾斜しているかを判断する（ステップＳ２０６）。

表示画像生成部２２は、傾斜センサ２１からのロボット１００の傾斜角度に基づいて、ロボット１００が左方へ傾斜（図１１（ａ））していると判断したとき、表示画面領域Ｘに対して撮影画像領域Ｙを左方へ相対移動させる補正処理（図１１（ｂ））を行い（ステップＳ２０７）、下記（ステップＳ２０９）に移行する。表示画像生成部２２は、傾斜センサ２１からのロボット１００の傾斜角度に基づいて、ロボット１００が右方へ傾斜（図１２（ａ））していると判断したとき、表示画面領域Ｘに対して撮影画像領域Ｙを右方へ相対移動させる補正処理（図１２（ｂ））を行い（ステップＳ２０８）、下記（ステップＳ２０９）に移行する。表示画像生成部２２は、傾斜センサ２１からのロボット１００の傾斜角度に基づいて、ロボット１００が水平状態であると判断したとき、撮影画像領域Ｙに対して相対移動処理を行わず下記（ステップＳ２０９）に移行する。

表示装置１４は、表示画像生成部２２により相対移動処理された撮影画像領域Ｙを表示画面領域Ｘ上に表示させる（ステップＳ２０９）。

以上、本実施の形態２に係る画像表示装置２０において、ロボットの傾斜方向に応じて、表示装置１４により表示される表示画面領域に対してカメラ１１により撮影された撮影画像領域を相対移動させる補正処理を行う。これにより、ロボットの傾斜方向に応じて、表示装置１４により表示される表示画面領域に対してカメラ１１により撮影された撮影画像領域が相対移動する。したがって、ユーザは、その撮影画像領域の相対移動を見るだけで、そのロボットの傾斜方向を直感的かつ容易に把握することができる。すなわち、ロボットの撮影画像の視認性を向上させることができる。

実施の形態３．
本発明の実施の形態３に係る画像表示装置３０は、ロボットの移動方向に応じて、表示装置１４により表示される表示画面領域に対してカメラ１１により撮影された撮影画像領域が相対移動させる補正処理を行う点で、上記実施の形態２に係る画像表示装置２０と相違する。

図１４は、本実施の形態３に係る画像表示装置の概略的なシステム構成を示すブロック図である。本実施の形態３に係る画像表示装置３０は、カメラ１１と、方向センサ３１と、表示画像生成部３２と、表示装置１４と、を備えている。

方向センサ３１は、方向検出手段の一具体例であり、ロボットの移動方向を検出することができる。方向センサ３１は、例えば、速度センサ３３により検出されたロボットの移動速度や加速度センサ３４により検出されたロボットの移動加速度などに基づいて、ロボットの移動方向を検出する。方向センサ３１は、検出したロボットの移動方向を表示画像生成部３２に対して出力する。

表示画像生成部３２は、画像補正手段の一具体例であり、カメラ１１からの撮影画像と、方向センサ３１からのロボットの移動方向と、に基づいて、表示画面領域に対して撮影画像領域を相対移動させる補正処理を行う。なお、本実施の形態３において、上記実施の形態１及び２と同一部分に同一符号を付して詳細な説明は省略する。

次に、上述した表示画像生成部による相対移動処理の一例について、図１５乃至図１９を参照して詳細に説明する。

（１）ロボット１００が左方へ移動（左カーブなど）している場合
表示画像生成部３２は、カメラ１１からの撮影画像と、方向センサ３１からのロボット１００の移動方向と、に基づいて、例えば、図１５に示すように、表示画面領域Ｘに対して撮影画像領域Ｙを左方へ相対移動させる補正処理を行う。これにより、撮影画像領域Ｙが左方へ寄っていることから、ユーザはロボット１００が左方へ移動していることを直感的かつ容易に把握できる。

（２）ロボット１００が右方へ移動（右カーブなど）している場合
表示画像生成部３２は、カメラ１１からの撮影画像と、方向センサ３１からのロボット１００の移動方向と、に基づいて、例えば、図１６に示すように、表示画面領域Ｘに対して撮影画像領域Ｙを右方へ相対移動させる補正処理を行う。これにより、撮影画像領域Ｙが右方へ寄っていることから、ユーザはロボット１００が右方へ移動していることを直感的かつ容易に把握できる。

（３）ロボット１００が上昇している場合
表示画像生成部３２は、カメラ１１からの撮影画像と、方向センサ３１からのロボット１００の移動方向と、に基づいて、例えば、図１７に示すように、表示画面領域Ｘに対して撮影画像領域Ｙを上方へ相対移動させる補正処理を行う。これにより、撮影画像領域Ｙが上方に寄っていることから、ユーザはロボット１００が上昇していることを直感的かつ容易に把握できる。

（４）ロボット１００が下降している場合
表示画像生成部３２は、カメラ１１からの撮影画像と、方向センサ３１からのロボット１００の移動方向と、に基づいて、例えば、図１８に示すように、表示画面領域Ｘに対して撮影画像領域Ｙを下方へ相対移動させる補正処理を行う。これにより、撮影画像領域Ｙが下方に寄っていることから、ユーザはロボット１００が下降していることを直感的かつ容易に把握できる。

（５）ロボット１００が右方向へ移動しつつ上昇している場合
表示画像生成部３２は、カメラ１１からの撮影画像と、方向センサ３１からのロボット１００の移動方向と、に基づいて、例えば、図１９に示すように、表示画面領域Ｘに対して撮影画像領域Ｙを右斜め上方へ相対移動させる補正処理を行う。これにより、撮影画像領域Ｙが右斜め上方に寄っていることから、ユーザはロボット１００が右方向へ移動しつつ上昇していることを直感的かつ容易に把握できる。

以上、実施の形態３に係る画像表示装置３０において、ロボットの移動方向に応じて、表示装置１４により表示される表示画面領域に対してカメラ１１により撮影された撮影画像領域を相対移動させる補正処理を行う。これにより、ロボットの移動方向に応じて、表示装置１４により表示される表示画面領域に対してカメラ１１により撮影された撮影画像領域が相対移動する。したがって、ユーザは、その撮影画像領域の相対移動を見るだけで、そのロボットの移動方向を直感的かつ容易に把握することができる。すなわち、表示画面上においてロボットの撮影画像の視認性を向上させることができる。

上記実施の形態３において、ロボット１００の移動方向に応じて、表示装置１４の表示画面領域Ｘに対してカメラ１１の撮影画像領域Ｙが相対移動させる補正処理を行っているが、ロボット１００の視線の高さ位置に応じて、表示装置１４の表示画像領域Ｘに対してカメラ１１の撮影画像領域Ｙを相対移動させる補正処理を行ってもよい。

例えば、表示画像生成部３２は、位置センサ（位置検出手段の一具体例）により検出されたカメラ１１の高さ位置に基づいて、カメラ１１が上方へ移動すると表示画像領域Ｘに対して撮影画像領域Ｙを上方へ相対移動させる補正処理を行なう。一方、表示画像生成部３２は、位置センサにより検出されたカメラ１１の高さ位置に基づいて、カメラ１１が下方へ移動すると表示画像領域Ｘに対して撮影画像領域Ｙを下方へ相対移動させる補正処理を行なう。なお、例えば、カメラ１１は、昇降機構により上下方向へ移動するロボット１００の頭部に設けられており、位置センサは、昇降機構の昇降軸などに設けられている。

なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。

例えば、上記実施の形態１乃至３を任意に組み合わせて構成することが可能である。図２０は、例えば、実施の形態１と実施の形態２とを組み合わせた画像表示装置のシステム構成を示すブロック図である。

上記実施の形態において、通常の画像から上記台形補正処理及び相対移動補正処理後の画像を表示させる間にその過渡状態を表わす複数の中間画像を表示させてもよい。これにより、表示画面の急激な切替えを抑制できるため、表示画面の視認性がより向上する。

上記実施の形態において、画像表示装置１０、２０、３０がロボットに適用される場合について説明したが、これに限らず、例えば、自動車や飛行体などの任意の移動体、さらに、テレビ、ビデオ、ゲーム、ヘッドマウントディスプレイ、ＰＣ、タブレット端末、携帯端末、など撮影画像を表示する任意の装置に適用可能である。

また、本発明は、例えば、上記図７及び図１３に示す処理を、ＣＰＵにコンピュータプログラムを実行させることにより実現することも可能である。

プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに供給することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えばフレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば光磁気ディスク）、ＣＤ−ＲＯＭ（Read Only Memory）、ＣＤ−Ｒ、ＣＤ−Ｒ／Ｗ、半導体メモリ（例えば、マスクＲＯＭ、ＰＲＯＭ（Programmable ROM）、ＥＰＲＯＭ（Erasable PROM）、フラッシュＲＯＭ、ＲＡＭ（random access memory））を含む。

また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに供給されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

１０、２０、３０画像表示装置
１１カメラ
１２姿勢制御部
１３カメラ画像補正部
１４表示装置
１５アクチュエータ
１６回転センサ
２１傾斜センサ
２２、３２表示画像生成部
３１方向センサ
１００ロボット

Claims

所定領域の撮影を行う撮影手段と、
前記撮影手段により撮影される撮影画像を表示画面上に表示する表示手段と、を備え、
前記撮影手段は移動体に設けられており、前記移動体は遠隔操作される画像表示装置であって、
前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対変化させる画像補正手段と、
前記移動体の傾斜を検出する傾斜検出手段と、
を備え、
前記画像補正手段は、前記傾斜検出手段により検出された前記移動体の傾斜に応じて、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対移動させる、ことを特徴とする画像表示装置。
請求項１記載の画像表示装置であって、
前記画像補正手段は、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域の外縁を相対変化させる、ことを特徴とする画像表示装置。
請求項１記載の画像表示装置であって、
前記画像補正手段は、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対移動させる、ことを特徴とする画像表示装置。
請求項１乃至３のうちいずれか１項記載の画像表示装置であって、
前記画像補正手段は、前記移動体の状態に応じて、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対変化させる、ことを特徴とする画像表示装置。
請求項１乃至４のうちいずれか１項記載の画像表示装置であって、
前記画像補正手段は、前記撮影手段の撮影方向に応じて、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対変化させる、ことを特徴とする画像表示装置。
請求項５記載の画像表示装置であって、
前記画像補正手段は、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域の外縁において、前記撮影方向側を拡張するように、相対変化させる、ことを特徴とする画像表示装置。
請求項６記載の画像表示装置であって、
前記撮影画像の領域は略矩形状となっており、
前記画像補正手段は、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される略矩形状の撮影画像の領域において、前記撮影方向側の辺を伸張させ、該撮影方向側の辺に対向する辺を収縮させる、台形補正処理を行う、ことを特徴とする画像表示装置。
請求項６又は７記載の画像表示装置であって、
前記撮影手段はロボットの頭部に設けられており、
前記画像補正手段は、前記ロボットの頭部の回転量が増加するに従って、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域の外縁において、前記頭部が回転する方向側を大きく拡張するように、相対変化させる、ことを特徴とする画像表示装置。
請求項１記載の画像表示装置であって、
前記画像補正手段は、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を、前記傾斜検出手段により検出された前記移動体の傾斜方向へ相対移動させる、ことを特徴とする画像表示装置。
請求項１乃至４のうちいずれか１項記載の画像表示装置であって、
前記移動体の移動方向を検出する方向検出手段を更に備え、
前記画像補正手段は、前記方向検出手段により検出された前記移動体の移動方向に応じて、前記表示手段により表示される表示画面の領域に対して前記撮影手段により撮影される撮影画像の領域を相対移動させる、ことを特徴とする画像表示装置。
請求項１０記載の画像表示装置であって、
前記画像補正手段は、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を、前記方向検出手段により検出された前記移動体の移動方向に相対移動させる、ことを特徴とする画像表示装置。
請求項１乃至４のうちいずれか１項記載の画像表示装置であって、
前記移動体の移動速度を検出する速度検出手段を更に備え、
前記画像補正手段は、前記速度検出手段により検出された移動体の移動速度に応じて、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対変化させる、ことを特徴とする画像表示装置。
請求項１２記載の画像表示装置であって、
前記画像補正手段は、速度検出手段により検出される移動体の移動速度が増加するに従って、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域の外縁において、前記移動体の移動方向側を大きく拡張するように、相対変化させる、ことを特徴とする画像表示装置。
請求項１乃至４のうちいずれか１項記載の画像表示装置であって、
前記移動体の移動加速度を検出する加速度検出手段を更に備え、
前記画像補正手段は、前記加速度検出手段により検出された移動体の移動加速度に応じて、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対変化させる、ことを特徴とする画像表示装置。
請求項１２記載の画像表示装置であって、
前記画像補正手段は、加速度検出手段により検出される移動体の移動加速度が増加するに従って、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域の外縁において、前記移動体の移動方向側を大きく拡張するように、相対変化させる、ことを特徴とする画像表示装置。
請求項１乃至４のうちいずれか１項記載の画像表示装置であって、
前記撮影手段は、前記移動体に上下方向へ移動可能に設けられており、
前記撮影手段の高さ位置を検出する位置検出手段を更に備え、
前記画像補正手段は、前記位置検出手段により検出された前記撮影手段の高さ位置に応じて、前記表示手段により表示される表示画面の領域に対して、前記撮影手段により撮影される撮影画像の領域を相対移動させる、ことを特徴とする画像表示装置。
遠隔操作される移動体から所定領域の撮影を行うステップと、
前記撮影された撮影画像を表示画面上に表示するステップと、
前記表示される表示画面の領域に対して、前記撮影された撮影画像の領域を相対変化させるステップと、
前記移動体の傾斜を検出するステップと、含み、
前記検出された移動体の傾斜に応じて、前記表示画面の領域に対して、前記撮影される撮影画像の領域を相対移動させる、
ことを特徴とする画像表示装置の表示方法。
遠隔操作される移動体から撮影された撮影画像を表示画面上に表示する処理と、
前記移動体の傾斜に応じて、前記表示画面の領域に対して、前記撮影画像の領域を相対移動させる処理と、をコンピュータに実行させることを特徴とする画像表示装置の表示プログラム。