JP4820462B1 - 端末装置、端末装置によって実行される画像処理方法及び画像処理プログラム - Google Patents

Abstract

端末装置は、車両などの移動体に搭載されて利用される。端末装置は、撮影手段、画像生成手段、及び表示手段を有する。画像生成手段は、移動体の進行方向に対する撮影手段の撮影方向のずれに基づいて、撮影手段によって撮影された撮影画像を補正して、表示画像を生成する画像生成手段を有する。これにより、移動体の進行方向に対する撮影方向のずれ角に基づいて、撮影画像を適切に補正して表示画像を生成することができる。
【選択図】図４

Description

本発明は、移動体に搭載され、当該移動体の外部を撮影する撮影手段を有する端末装置に関する。

この種の技術が、例えば特許文献１に記載されている。特許文献１には、必要な領域よりも広い領域が撮影可能なカメラを用いて、その視野内に含まれるように設置された左右２個のマークに対応する画像に基づいて、カメラの光軸や画角のずれや視野の回転などを検出して、その検出結果に応じてカメラによる撮影領域を調整する技術が記載されている。

特開２００２−７４３３９号公報

しかしながら、上記した特許文献１に記載された技術では、撮影画像に対して画像分析を行っていたため、処理が重くなってしまう傾向にあった。

本発明が解決しようとする課題としては、上記のものが一例として挙げられる。本発明は、簡便な処理にて、撮影画像を適切に補正することが可能な端末装置、端末装置によって実行される画像処理方法及び画像処理プログラムを提供することを目的とする。

請求項１に記載の発明は、移動体に搭載される端末装置であって、撮影手段と、前記移動体の進行方向に対する前記撮影手段の撮影方向のずれに基づいて、前記撮影手段によって撮影された撮影画像を補正して、表示画像を生成する画像生成手段と、前記画像生成手段によって生成された前記表示画像を表示する表示手段と、を備え、前記画像生成手段は、前記移動体についての２次元方向の加速度を検出する加速度センサであって、その検出方向が前記撮影手段の撮影方向に対して一致している加速度センサからの出力を取得し、前記加速度センサからの出力に基づいて、前記進行方向に対する前記撮影方向のずれを求める。

請求項１１に記載の発明は、撮影手段及び表示手段を有し、移動体に搭載される端末装置によって実行される画像処理方法であって、前記撮影手段によって撮影された撮影画像を取得する取得工程と、前記移動体の進行方向に対する前記撮影手段の撮影方向のずれに基づいて、前記撮影画像を補正して、表示画像を生成する画像生成工程と、前記画像生成工程によって生成された前記表示画像を、前記表示手段に表示させる表示制御工程と、を備え、前記画像生成工程は、前記移動体についての２次元方向の加速度を検出する加速度センサであって、その検出方向が前記撮影手段の撮影方向に対して一致している加速度センサからの出力を取得し、前記加速度センサからの出力に基づいて、前記進行方向に対する前記撮影方向のずれを求める。

請求項１２に記載の発明は、撮影手段及び表示手段を有すると共にコンピュータを有し、移動体に搭載される端末装置によって実行される画像処理プログラムであって、前記コンピュータを、前記撮影手段によって撮影された撮影画像を取得する取得手段、前記移動体の進行方向に対する前記撮影手段の撮影方向のずれに基づいて、前記撮影画像を補正して、表示画像を生成する画像生成手段、前記画像生成手段で生成された前記表示画像を、前記表示手段に表示させる表示制御手段、として機能させ、前記画像生成手段は、前記移動体についての２次元方向の加速度を検出する加速度センサであって、その検出方向が前記撮影手段の撮影方向に対して一致している加速度センサからの出力を取得し、前記加速度センサからの出力に基づいて、前記進行方向に対する前記撮影方向のずれを求める。
請求項１３に記載の発明は、移動体に搭載される端末装置であって、撮影手段と、前記移動体の進行方向に対する前記撮影手段の撮影方向のずれに基づいて、前記撮影手段によって撮影された撮影画像を補正して、表示画像を生成する画像生成手段と、前記画像生成手段によって生成された前記表示画像を表示する表示手段と、を備え、前記画像生成手段は、前記移動体についての２次元方向の加速度を検出する加速度センサからの出力を取得し、前記加速度センサの検出方向が前記撮影手段の撮影方向に対して一致していることを前提に、前記進行方向に対する前記撮影方向のずれを求める。

端末保持装置に保持された状態にある端末装置を示す。 端末装置の概略構成を示す。 端末装置の設置位置に応じて生じる不具合を説明するための図を示す。 本実施例に係る撮影画像の補正方法の基本概念を説明するための図を示す。 本実施例に係る撮影画像の補正方法をより具体的に説明するための図を示す。 車両の進行方向に対するカメラの撮影方向のずれ角を算出する方法を説明するための図を示す。 本実施例に係る撮影画像補正処理を示すフローチャートである。 変形例に係る撮影画像補正処理を示すフローチャートである。

本発明の１つの観点では、移動体に搭載される端末装置は、撮影手段と、前記移動体の進行方向に対する前記撮影手段の撮影方向のずれに基づいて、前記撮影手段によって撮影された撮影画像を補正して、表示画像を生成する画像生成手段と、前記画像生成手段によって生成された前記表示画像を表示する表示手段と、を備える。

上記の端末装置は、車両などの移動体に搭載されて利用される。端末装置は、カメラなどの撮影手段と、ディスプレイなどの表示手段とを有する。また、端末装置は、移動体の進行方向に対する撮影手段の撮影方向のずれに基づいて、撮影手段によって撮影された撮影画像を補正して、表示画像を生成する画像生成手段を有する。具体的には、画像生成手段は、進行方向に対する撮影方向のずれに基づいて、撮影画像の中から表示すべき画像を抜き出すような処理、つまり撮影画像の中の一部の画像を表示画像として取り込むような処理を行う。

上記の端末装置によれば、移動体の進行方向に対する撮影方向のずれ角に基づいて、撮影画像を適切に補正して表示画像を生成することができる。また、上記の端末装置によれば、撮影画像に対する画像分析を行わないため、簡便な処理によって、撮影画像から適切な表示画像を生成することができる。

上記の端末装置の一態様では、前記画像生成手段は、前記移動体が直進走行している場合に、前記進行方向に対する前記撮影方向のずれを求め、当該ずれに基づいて前記撮影画像を補正する。これによっても、撮影画像に対する補正を精度良く行うことが可能となる。

上記の端末装置の他の一態様では、前記画像生成手段は、前記移動体の加速度が所定値以上である場合に、前記進行方向に対する前記撮影方向のずれを求め、当該ずれに基づいて前記撮影画像を補正する。これにより、例えば移動体の加速度に基づいて進行方向に対する撮影方向のずれを求める場合に、安定した加速度の値を用いて当該ずれを求めることができる。よって、撮影画像に対する補正を精度良く行うことが可能となる。

好適な例では、前記画像生成手段は、前記移動体についての２次元方向の加速度を検出する加速度センサからの出力を取得し、前記加速度センサからの出力に基づいて、前記進行方向に対する前記撮影方向のずれを求める。例えば、加速度センサは、車両の進行方向の加速度と左右方向の加速度とを検出可能に構成されており、画像生成手段は、進行方向の加速度と左右方向の加速度との比に基づいて当該ずれを求める。

上記の端末装置の他の一態様では、前記画像生成手段は、所定の周期で繰り返し、前記進行方向に対する前記撮影方向のずれを求め、当該ずれに基づいて前記撮影画像を補正する。これにより、進行方向に対する撮影方向のずれに応じた撮影画像の補正を、随時行うことができる。

上記の端末装置の他の一態様では、前記端末装置の設置状態の変更を検出する設置変更検出手段を更に備え、前記画像生成手段は、前記設置変更検出手段によって前記設置状態の変更が検出された場合に、前記進行方向に対する前記撮影方向のずれを求め、当該ずれに基づいて前記撮影画像を補正する。これにより、進行方向に対する撮影方向のずれが変わることで撮影画像を新たに補正することが望ましい状況において、撮影画像の補正を適切に行うことができる。また、この態様によれば、補正が必要であると考えられる状況においてのみ、撮影画像の補正を行うため、補正についての処理負荷を軽減することが可能となる。

上記の端末装置の他の一態様では、前記画像生成手段は、前記表示画像の左右方向における中心位置が前記移動体の進行方向に対応する位置に一致するように、前記撮影画像を補正する。これにより、移動体の進行方向に対応する位置を中心位置とするような表示画像を適切に生成することができる。

上記の端末装置において好適には、前記画像生成手段は、前記撮影画像の左右方向における中心位置を、前記進行方向に対する前記撮影方向のずれに相当する量だけ左右方向にずらした位置を、前記表示画像の左右方向における中心位置に設定する補正を行うことで、前記表示画像を生成する。

また、好適には、前記画像生成手段は、前記撮影画像の中で、前記補正が行われた中心位置によって規定され、所定範囲内にある画像を、前記表示画像として生成する。

好適な例では、上記の端末装置は、前記移動体に取り付けられた保持装置に対して脱着可能に構成されている。

本発明の他の観点では、撮影手段及び表示手段を有し、移動体に搭載される端末装置によって実行される画像処理方法は、前記撮影手段によって撮影された撮影画像を取得する取得工程と、前記移動体の進行方向に対する前記撮影手段の撮影方向のずれに基づいて、前記撮影画像を補正して、表示画像を生成する画像生成工程と、前記画像生成工程によって生成された前記表示画像を、前記表示手段に表示させる表示制御工程と、を備える。

また、本発明の他の観点では、撮影手段及び表示手段を有すると共にコンピュータを有し、移動体に搭載される端末装置によって実行される画像処理プログラムは、前記コンピュータを、前記撮影手段によって撮影された撮影画像を取得する取得手段、前記移動体の進行方向に対する前記撮影手段の撮影方向のずれに基づいて、前記撮影画像を補正して、表示画像を生成する画像生成手段、前記画像生成手段で生成された前記表示画像を、前記表示手段に表示させる表示制御手段、として機能させる。

上記の画像処理方法及び画像処理プログラムによっても、移動体の進行方向に対する撮影方向のずれ角に基づいて、撮影画像を適切に補正して表示画像を生成することができる。

以下、図面を参照して本発明の好適な実施例について説明する。

［装置構成］
まず、本実施例に係る端末装置の構成について説明する。

図１は、端末保持装置１に保持された状態にある端末装置２を示している。図１（ａ）は正面図を示しており、図１（ｂ）は側面図を示しており、図１（ｃ）は背面図を示している。

端末保持装置１は、主に、ベース１１と、ヒンジ１２と、アーム１３と、基板ホルダ１５と、端末ホルダ１６とを備える。端末保持装置１は、いわゆるクレードルとして機能し、スマートフォンなどの端末装置２が取り付けられる。

ベース１１は、端末保持装置１を車両などの移動体に取り付ける際の土台として機能する。例えば、ベース１１の下面には吸盤や粘着テープなどが設けられ、ベース１１はその粘着テープにより車両のダッシュボードなどの設置面５に固定される。

ヒンジ１２は、アーム１２に固定されるとともに、ベース１１に対して回転可能に取り付けられている。ヒンジ１２の回転により、アーム１２は端末装置２の前後方向、つまり図１（ｂ）の矢印４１及び４２の方向に回動する。つまり、車両の設置面５に固定されたベース１１に対してヒンジ１２を介してアーム１２を回転させることにより、設置面５に対する基板ホルダ１５及び端末ホルダ１６の設置角度が調整可能となっている。

基板ホルダ１５は、カバー１５ａと、ボールリンク１５ｂと、センサ基板１５ｃと、センサ１５ｄとを備える。ボールリンク１５ｂは、アーム１３の上端に取り付けられており、アーム１３に対して基板ホルダ１５を任意の角度で保持する。カバー１５ａは、基板ホルダ１５の下端に設けられており、アーム１３に対する基板ホルダ１５の回転を規制する役割を有する。基板ホルダ１５の内部にはセンサ基板１５ｃが設けられており、センサ基板１５ｃにはセンサ１５ｄが設けられている。センサ１５ｄの好適な一例は、２次元方向の加速度を検出可能に構成された加速度センサである。

端末ホルダ１６は、端末装置２を保持するホルダである。端末ホルダ１６は、コネクタ１６ａ及び配線１６ｂを有する。コネクタ１６ａは、端末ホルダ１６の前面、即ち端末装置２が設置される面の底部に設けられ、端末装置２を端末ホルダ１６に設置する際に、端末装置２のコネクタと接続される。コネクタ１６ａは、配線１６ｂによりセンサ基板１５ｃと電気的に接続されている。よって、センサ１５ｄによる検出信号は、センサ基板１５ｃ、配線１６ｂ及びコネクタ１６ａを通じて端末装置２へ供給される。

端末装置２は、端末装置２本体の前面側であり液晶表示パネルなどの表示部２５を有する前面２ａと、端末装置２本体の背面側の背面２ｂとを備える。通常、端末装置２は矩形の平板形状に構成されており、前面２ａと背面２ｂとが略平行に構成されている。

端末ホルダ１６は前面側に接触面１６ｃを有する。端末装置２を端末ホルダ１６に取り付けた際、接触面１６ｃは、端末装置２の背面２ｂに当接し、端末装置２の背面２ｂを支持する。なお、図１に示す例では、端末ホルダ１６の接触面１６ｃは、その全面が端末装置２の背面２ｂと接触するように構成されている。この代わりに、接触面１６ｃのうちの１カ所又は数カ所を部分的に突出させ、その突出した部分のみが端末装置２の背面２ｂに当接する構造としても構わない。

端末装置２の背面２ｂには、カメラ２９が設けられている。また、端末保持装置１の端末ホルダ１６には、端末装置２が端末保持装置１に保持された状態においてカメラ２９の対向する位置に、孔部１７が形成されている。孔部１７は、カメラ２９のレンズの径よりも大きな径に構成されている。これにより、端末装置２が端末保持装置１に保持された状態において、カメラ２９は、端末ホルダ１６の外壁に阻害されることなく、端末ホルダ１６の後ろ側を撮影することができる。具体的には、カメラ２９は車両の外部などを撮影する。

なお、図１に示す例では、端末ホルダ１６は、端末装置２の背面２ｂの略全面を覆うように構成され、端末装置２のカメラ２９の対向する位置に孔部１７が形成されている。この代わりに、端末装置２が端末保持装置１に保持された状態にて、端末装置２においてカメラ２９が設けられた位置よりも下方の面のみを覆うように、端末ホルダ１６を構成することができる。１つの例では、端末ホルダ１６の接触面１６ｃを、端末装置２のカメラ２９が設けられた位置よりも下方の位置まで延在するような形状（言い換えると、端末装置２のカメラ２９が設けられた位置よりも上方に接触面１６ｃが存在しないような形状）に構成することができる。このような他の例では、端末保持装置１に孔部１７を形成する必要はない。

また、図１に示す例では、端末装置２の背面２ｂの左右方向における略中心線上にカメラ２９が設けられているが、このような位置にカメラ２９を設けることに限定はされない。例えば、背面２ｂの左右方向における中心線からある程度離れた位置にカメラ２９を設けても良い。この場合には、端末ホルダ１６に孔部１７を形成する代わりに、端末装置２が端末保持装置１に保持された状態にて、端末装置２においてカメラ２９が設けられた位置を含む部分に切り欠き部を形成することとしても良い。

次に、図２は、端末装置２の構成を概略的に示している。図２に示すように、端末装置２は、主に、ＣＰＵ２１と、ＲＯＭ２２と、ＲＡＭ２３と、通信部２４と、表示部２５と、スピーカ２６と、マイク２７と、操作部２８と、カメラ２９とを有する。端末装置２は、スマートフォンなどの通話機能を有する携帯型端末装置である。

ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）２１は、端末装置２全体についての制御を行う。ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）２２は、端末装置２を制御するための制御プログラム等が格納された図示しない不揮発性メモリ等を有する。ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）２３は、操作部２６を介してユーザにより設定されたデータを読み出し可能に格納したり、ＣＰＵ２１に対してワーキングエリアを提供したりする。

通信部２４は、通信網を介して他の端末装置２と無線通信を行うことが可能に構成されている。表示部２５は、例えば液晶ディスプレイなどにより構成され、ユーザに対して文字、画像などを表示する。スピーカ２６は、ユーザに対する音声出力を行う。マイク２７は、ユーザによって発せられた音声などを集音する。

操作部２８は、端末装置２の筐体に設けられた操作ボタンやタッチパネル式入力装置などにより構成することができ、ユーザによる各種の選択、指示が入力される。なお、表示部２５がタッチパネル方式である場合には、表示部２５の表示画面上に設けられたタッチパネルも操作部２８として機能する。

カメラ２９は、例えばＣＣＤカメラにより構成され、図１に示したように端末装置２の背面２ｂに設けられている。基本的には、カメラ２９の光軸（レンズの中心から垂直方向に伸びる軸）の方向は、端末装置２の背面２ｂの垂直方向（言い換えると法線方向）に一致する。なお、カメラ２９を、端末装置２の背面２ｂだけでなく、端末装置２の前面２ａにも設けても良い。

なお、カメラ２９は本発明における撮影手段の一例に相当し、ＣＰＵ２１は本発明における画像生成手段の一例に相当し（詳細は後述する）、表示部２５は本発明における表示手段の一例に相当する。

［撮影画像補正方法］
次に、本実施例においてＣＰＵ２１が行う、カメラ２９による撮影画像の補正方法について説明する。

まず、図３を参照して、端末装置２の設置位置に応じて生じる不具合について説明する。図３は、車両３の車室内に設置された状態にある端末装置２を上方から観察した図を示していると共に、端末装置２のカメラ２９による撮影画像の例を示している。なお、図３では、説明の便宜上、端末装置２を簡略化して図示していると共に、端末保持装置１の図示を省略している。実際には、端末装置２は、端末保持装置１に保持された状態で車両３の車室内に設置される。

図３では、端末装置２を運転席の概ね正面に設置した場合と、端末装置２を運転席と助手席との間に設置した場合とを例示する（いずれの場合も、端末装置２をダッシュボード上に設置したものとする）。通常、ユーザ（運転者）は、端末装置２の表示部２５を観察するために、表示部２５がユーザの方向を向くように端末装置２を設置する。端末装置２を運転席の概ね正面の位置に設置した場合には、表示部２５がユーザの方向に向くように端末装置２を設置すると、端末装置２は車両３の進行方向を向く傾向にある。具体的には、端末装置２において表示部２５が設けられた前面２ａとカメラ２９が設けられた背面２ｂとは略平行に構成されているため、当該背面２ｂの正面方向（垂直方向）が、車両３の進行方向に概ね一致する傾向にある。言い換えると、端末装置２の前面２ａ及び背面２ｂに沿った方向と進行方向とが概ね垂直になる傾向にある。

これに対して、端末装置２を運転席と助手席との間の位置に設置した場合には、表示部２５がユーザの方向に向くように端末装置２を設置すると、端末装置２は車両３の進行方向を向かない傾向にある。具体的には、端末装置２において表示部２５が設けられた前面２ａとカメラ２９が設けられた背面２ｂとは略平行に構成されているため、当該背面２ｂの正面方向（垂直方向）が、車両３の進行方向に一致しない傾向にある。言い換えると、端末装置２の前面２ａ及び背面２ｂに沿った方向と進行方向とが概ね垂直にならない傾向にある。

なお、端末装置２を運転席の概ね正面に設置すると運転者の視界に影響を与えたり、車種によっては端末装置２を運転席の概ね正面に設置することが困難であったりするため、通常は、運転席の正面以外の位置に端末装置２が設置される傾向にある。

図３において、一点鎖線で示す撮影画像１０１は、運転席の概ね正面に端末装置２を設置した場合に、カメラ２９によって撮影された画像の一例を示している。また、破線で示す撮影画像１０２は、運転席と助手席との間に端末装置２を設置した場合に、カメラ２９によって撮影された画像の一例を示している。図３より、撮影画像１０１の左右方向における中心位置１０１ａと、撮影画像１０２の左右方向における中心位置１０２ａとが一致していないことがわかる。これは、運転席の概ね正面に端末装置２を設置した場合と運転席と助手席との間に端末装置２を設置した場合とで、カメラ２９の撮影方向が一致していないことを意味している。

なお、カメラ２９の「撮影方向」は、カメラ２９が向いている方向を意味し、端末装置２の背面２ｂの垂直方向に概ね一致する。より詳しくは、「撮影方向」は、カメラ２９のレンズにおける光軸の方向に相当する。また、本実施例では、車両３の「進行方向」として、車両３の前後方向（具体的には前方方向）を用いるものとする。

具体的には、運転席の概ね正面に端末装置２を設置した場合には、上記したように端末装置２においてカメラ２９が設けられた背面２ｂの垂直方向が車両３の進行方向に概ね一致するため、カメラ２９の撮影方向は進行方向に概ね一致する。そのため、この場合には、撮影画像１０１の中心位置１０１ａは、撮影画像１０１での車両３の進行方向に対応する位置に概ね一致する。これに対して、運転席と助手席との間に端末装置２を設置した場合には、上記したように端末装置２においてカメラ２９が設けられた背面２ｂの垂直方向が車両３の進行方向に一致しないため、カメラ２９の撮影方向は進行方向に一致しない。そのため、この場合には、撮影画像１０２の中心位置１０２ａは、撮影画像１０２での車両３の進行方向に対応する位置に一致しない。

ここで、端末装置２のカメラ２９による実写画像（撮影画像に基づいて生成される画像に相当し、以下では「表示画像」とも呼ぶ。）を用いたナビゲーションが知られている。このナビゲーションは、ＡＲナビ（ＡＲ：Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）などと呼ばれ、表示画像の上に、目的地までの方向や距離などの経路案内のための画像を重ねて表示するものである。このようなＡＲナビを行う場合において、上記したようにカメラ２９の撮影方向と車両３の進行方向とが一致していないと、適切にＡＲナビを行えない場合がある。例えば、経路案内するために用いられる画像などが、表示画像において適切な位置に表示されなかったり、表示画像において表示する場所がなかったりする場合がある。

なお、このような不具合は、車室内での端末装置２の設置位置それ自体が原因で生じているのではなく、端末装置２の設置位置に応じて、表示部２５がユーザの方向に向くように端末装置２の向きが種々に設定されることにより、カメラ２９の撮影方向が車両３の進行方向とずれることに起因して生じる傾向にある。

本実施例では、上記したようなカメラ２９の撮影方向と車両３の進行方向とが一致しない場合に生じる不具合を解消するべく、カメラ２９の撮影画像に対して補正を行う。具体的には、端末装置２内のＣＰＵ２１は、車両３の進行方向に対するカメラ２９の撮影方向のずれに基づいてカメラ２９の撮影画像を補正して、ＡＲナビなどに用いるための表示画像を生成する。この場合、ＣＰＵ２１は、進行方向に対する撮影方向のずれを求めて、当該ずれに基づいて、表示画像の左右方向における中心位置が進行方向に対応する位置に一致するように撮影画像を補正する。

なお、本明細書では、「撮影画像を補正する」とは、進行方向に対する撮影方向のずれに基づいて、カメラ２９による撮影画像の中から表示すべき画像を抜き出すような処理、つまり撮影画像の中の一部の画像を表示画像として取り込むような処理を意味するものとする。

図４を参照して、本実施例に係る撮影画像の補正方法の基本概念について説明する。図４も、図３と同様に、車両３の車室内に設置された状態にある端末装置２を上方から観察した図を示していると共に、端末装置２のカメラ２９による撮影画像の例を示している。図４でも、説明の便宜上、端末装置２を簡略化して図示していると共に、端末保持装置１の図示を省略している。

図４では、端末装置２を運転席と助手席との間（詳しくはダッシュボード上の位置）に設置した場合において、破線で示すような撮影画像１０５がカメラ２９より得られた場合を例示している。この場合には、上記したように、表示部２５がユーザの方向に向くように端末装置２を設置すると、端末装置２においてカメラ２９が設けられた背面２ｂの正面方向（垂直方向）が車両３の進行方向に一致しない。そのため、カメラ２９の撮影方向が車両３の進行方向に一致しない。したがって、撮影画像１０５の中心位置１０５ａが、撮影画像１０５での車両３の進行方向に対応する位置に一致しないこととなる。

本実施例では、ＣＰＵ２１は、このような撮影画像１０５での中心位置１０５ａと進行方向に対応する位置とのずれを補正するような処理を行う。具体的には、まず、ＣＰＵ２１は、車両３の加速度に基づいて、車両３の進行方向に対するカメラ２９の撮影方向のずれを求める。次に、ＣＰＵ２１は、撮影画像１０５での中心位置１０５ａを、当該ずれに相当する量（矢印１０７に対応する）だけずらした位置１０５ｂを求める。本実施例では、こうして求められた位置１０５ｂを、撮影画像１０５での進行方向に対応する位置として扱う。

次に、ＣＰＵ２１は、表示画像の左右方向における中心位置を進行方向に対応する位置に一致させるべく、撮影画像１０５の中から、左右方向における中心位置が位置１０５ｂに一致するような画像を抜き出し、抜き出した画像を表示画像として用いる。具体的には、ＣＰＵ２１は、撮影画像１０５の中で、位置１０５ｂを中心位置として、所定範囲内にある画像１０６（言い換えると、左右方向に所定サイズを有する画像１０６）を、表示画像として生成する。この場合、ＣＰＵ２１は、撮影画像１０５から画像１０６以外の画像（つまり画像１０６の両端にある画像）を切り取って表示を行う。

なお、表示画像を生成する際に用いる「所定範囲」は、表示すべき画像のサイズや範囲などによって予め設定される。例えば、「所定範囲」は、ＡＲナビの設定などにより決定される。

図５を参照して、本実施例に係る撮影画像の補正方法をより具体的に説明する。図５は、端末装置２を上方から観察した図を示している。ここでは、カメラ２９の撮影方向が車両３の進行方向に一致していない状態の図を示している。なお、図５では、説明の便宜上、端末装置２を簡略化して図示していると共に、端末保持装置１の図示を省略している。

図５において、矢印１５０で示す画角は、カメラ２９が撮影に用いる画角を示している。つまり、画角１５０は、カメラ２９自体が有する画角を示している。また、一点鎖線１５０ｃは、カメラ２９が撮影に用いる画角１５０における中心位置、即ち撮影方向に対応する位置を示している。なお、ＣＰＵ２１は、カメラ２９が撮影に用いる画角１５０や、当該画角１５０における中心位置１５０ｃを把握しているものとする。

本実施例では、まず、ＣＰＵ２１は、センサ１５ｄの出力に基づいて、車両３の進行方向に対してカメラ２９の撮影方向がなす角（矢印１５５で示す角度に相当し、以下では適宜「ずれ角」と呼ぶ。）を求める。なお、ずれ角１５５を求める方法については、詳細は後述する。

次に、ＣＰＵ２１は、カメラ２９が撮影に用いる画角１５０における中心位置１５０ｃを、ずれ角１５５だけずらした位置１５１ｃを求める。この場合、ＣＰＵ２１は、求められた位置１５１ｃを、車両３の進行方向に対応する位置として扱う。即ち、ＣＰＵ２１は、当該位置１５１ｃを、画角１５０の中で実際に表示を行う際に用いる画角（以下、「表示画角」とも呼ぶ。）の中心位置として用いる。

次に、ＣＰＵ２１は、カメラ２９が撮影に用いる画角１５０において、求められた位置１５１ｃを中心とし所定角度だけの幅を有する画角（矢印１５１で示す）を、表示画角として求める。この後、ＣＰＵ２１は、カメラ２９による撮影画像において、求められた表示画角１５１によって規定される範囲内にある画像を、表示画像として生成する。こうすることは、図４に示したように、撮影画像１０５の中で位置１０５ｂを中心位置として所定範囲内にある画像１０６を、表示画像として生成することに相当する。

なお、上記のように、進行方向に対応する位置１５１ｃを求めて、当該位置１５１ｃに基づいて表示画角１５１を求めることに限定はされない。他の例では、進行方向に対応する位置１５１ｃを求めずに、表示画角１５１を求めることができる。具体的には、矢印１５２に示すような、通常の使用において撮影画像から表示画像を生成するために用いられる表示画角（中心位置１５０ｃを中心とし所定角度だけの幅を有する画角）を、ずれ角１５５だけずらすことで、表示画角１５１を求めることができる。

以上説明した本実施例によれば、車両３の進行方向に対するカメラ２９の撮影方向のずれ角に基づいて、撮影画像を適切に補正して表示画像を生成することができる。具体的には、車両３の進行方向に対応する位置を中心位置とするような表示画像を適切に生成することができる。これにより、端末装置２が車両３の進行方向を向いていない状態（つまりカメラ２９の撮影方向が車両３の進行方向と一致していない状態）で設置されたとしても、生成された表示画像を用いて、ＡＲナビなどを適切に行うことが可能となる。例えば、ＡＲナビにおいて経路案内するために用いられる画像などを、表示画像上の適切な位置に表示させることが可能となる。

また、本実施例によれば、前述した特許文献１に記載された技術のように撮影画像に対して画像分析を行うわけではないので、当該技術と比較して、処理負荷を軽減することが可能となる。

なお、カメラ２９の画角は、表示部２５を観察するためにユーザが設定するものと想定される端末装置２の向きの範囲内において、ユーザが端末装置２の向きを種々に変えた際に求められる表示画角の全てが、カメラ２９自体が有する画角の範囲内に含まれるように設計することが望ましい。つまり、想定される端末装置２の向きの範囲内でユーザが端末装置２の向きを種々に変えたとしても、上記のように求められる表示画角の全てが網羅されるような画角を有するカメラ２９を用いることが望ましい。

［ずれ角算出方法］
次に、図６を参照して、車両３の進行方向に対するカメラ２９の撮影方向のずれ角を算出する方法の具体例について説明する。

図６（ａ）は、端末保持装置１に保持された状態にある端末装置２を上方から観察した図を示している。なお、図６（ａ）では、説明の便宜上、端末保持装置１及び端末装置２を簡略化して図示している。図６（ａ）に示すように、端末保持装置１の基板ホルダ１５内にはセンサ１５ｄが設けられている。センサ１５ｄは、２次元方向の加速度を検出可能に構成された加速度センサ（言い換えるとＧセンサ）である。以下では、「センサ１５ｄ」を「加速度センサ１５ｄ」と表記する。前述したように、端末装置２が端末保持装置１に保持された状態（詳しくは端末装置２のコネクタと端末ホルダ１６内のコネクタ１６ａとが接続された状態）において、加速度センサ１５ｄの出力信号は、基板ホルダ１５内のセンサ基板１５ｃ、端末ホルダ１６内の配線１６ｂ及びコネクタ１６ａを通じて端末装置２へ供給される。この場合、端末装置２内のＣＰＵ２１が、加速度センサ１５ｄの出力信号を取得する。

具体的には、加速度センサ１５ｄは、図６（ａ）に示すようなＸ方向の加速度及びＹ方向の加速度を検出する。加速度センサ１５ｄは、端末保持装置１に固定され、端末保持装置１に取り付けられる端末装置２のカメラ２９との位置関係は一定であるので、加速度センサ１５ｄが加速度を検出するＸ方向及びＹ方向とカメラ２９の撮影方向とは一定の関係にある。本実施例では、図６（ａ）に示すように、Ｘ方向と撮影方向とが一致するように構成されている。

図６（ｂ）は、図６（ａ）と同様に、端末保持装置１に保持された状態にある端末装置２を示しているが、ここでは、端末装置２が車両３の進行方向を向いていない状態、つまりカメラ２９の撮影方向が車両３の進行方向に一致していない状態の図を示している。端末保持装置１に端末装置２が保持された状態においては、端末保持装置１の向きは端末装置２の向きに一致する。そのため、端末保持装置１内の加速度センサ１５ｄによって、端末装置２の向き（具体的には端末装置２内のカメラ２９の撮影方向）を適切に検出することができると言える。

図６（ｃ）は、図６（ｂ）中の加速度センサ１５ｄのみを図示したものである。加速度センサ１５ｄは、図６（ｃ）に示すようなＸ方向及びＹ方向についての２次元方向の加速度を検出する。Ｘ方向は、カメラ２９の撮影方向に対応する。車両３の進行方向に対してカメラ２９の撮影方向がずれていると、加速度センサ１５ｄによって検出されるＸ方向の加速度とＹ方向の加速度との比から、車両３の進行方向に対するカメラ２９の撮影方向（Ｘ方向）のずれ角θを算出することができる。ずれ角θは、以下の式（１）より算出することができる。
ずれ角θ＝ａｒｃｔａｎ（Ｙ方向の加速度／Ｘ方向の加速度） 式（１）
具体的には、ずれ角θは、端末装置２内のＣＰＵ２１によって算出される。この場合、ＣＰＵ２１は、加速度センサ１５ｄによって検出されたＸ方向の加速度及びＹ方向の加速度に対応する出力信号を取得し、当該出力信号に基づいてずれ角θを算出する。

なお、上記では、端末保持装置１の基板ホルダ１５内に設けられた加速度センサ１５ｄの出力に基づいてずれ角を算出する例を示したが、これに限定はされない。加速度センサ１５ｄの代わりに、車両３内に設けられたセンサの出力や、端末装置２とは別に車両３内に設置されたナビゲーション装置内に設けられたセンサの出力などに基づいて、ずれ角を算出しても良い。

［撮影画像補正処理］
次に、図７を参照して、本実施例に係る撮影画像補正処理について説明する。図７は、本実施例に係る撮影画像補正処理を示すフローチャートである。当該処理は、端末装置２内のＣＰＵ２１がＲＯＭ２２などに記憶されたプログラムを実行することにより実現される。

まず、ステップＳ１０１では、ＣＰＵ２１は、撮影画像補正処理を前回行ってから所定時間が経過したか否かを判定する。この判定は、所定時間ごとに（言い換えると所定の周期で）、撮影画像補正処理を繰り返し実行するために行っている。所定時間が経過している場合（ステップＳ１０１；Ｙｅｓ）、処理はステップＳ１０２に進み、所定時間が経過していない場合（ステップＳ１０１；Ｎｏ）、処理は終了する。

ステップＳ１０２では、ＣＰＵ２１は、車両３の加速度が所定値以上であるか否かを判定する。例えば、ＣＰＵ２１は、加速度センサ１５ｄによって検出されたＸ方向の加速度が所定値以上であるか否かを判定する。このような判定は、撮影画像の補正についての精度を確保するべく、加速度センサ１５ｄの安定した出力値を用いて以降の処理を実行するために行っている。なお、当該判定に用いられる「所定値」は、例えば、撮影画像の補正の精度を確保することができるような加速度の値に設定される。

加速度が所定値以上である場合（ステップＳ１０２；Ｙｅｓ）、処理はステップＳ１０３に進み、加速度が所定値以上でない場合（ステップＳ１０２；Ｎｏ）、処理はステップＳ１０２に戻る。

ステップＳ１０３では、ＣＰＵ２１は、車両３が直線走行中（言い換えると直進中）であるか否かを判定する。具体的には、ＣＰＵ２１は、加速度センサ１５ｄによって検出されたＸ方向の加速度とＹ方向の加速度との比に基づいて、車両３が直線走行中であるか否かを判定する。詳しくは、ＣＰＵ２１は、Ｘ方向の加速度（所定値以上の加速度である）とＹ方向の加速度との比を複数サンプリングし、サンプリングされた複数の比の値が概ね一定値となっている場合には車両３が直線走行中であると判定し、サンプリングされた複数の比の値が変動している場合には車両３が直線走行中でないと判定する。このような判定も、撮影画像の補正についての精度を確保する観点から行っている。具体的には、当該判定は、車両３の進行方向が車両３の前後方向に一致する際の加速度センサ１５ｄの出力値を用いて撮影画像の補正を実行するために行っている。

車両３が直線走行中である場合（ステップＳ１０３；Ｙｅｓ）、処理はステップＳ１０４に進み、車両３が直線走行中でない場合（ステップＳ１０３；Ｎｏ）、処理はステップＳ１０２に戻る。

ステップＳ１０４では、ＣＰＵ２１は、車両３の進行方向に対するカメラ２９の撮影方向のずれ角を算出する。例えば、ＣＰＵ２１は、上記の式（１）より、加速度センサ１５ｄによって検出されたＸ方向の加速度及びＹ方向の加速度との比に基づいて、ずれ角を算出する。そして、処理はステップＳ１０５に進む。

ステップＳ１０５では、ＣＰＵ２１は、ステップＳ１０４で算出されたずれ角に基づいて、カメラ２９による撮影画像を補正して表示画像を生成する。具体的には、ＣＰＵ２１は、カメラ２９が撮影に用いる画角の中心位置をずれ角だけずらした位置を求め、求められた位置を中心とし所定角度だけの幅を有する画角を、表示画角として求める。こうする代わりに、通常の使用において撮影画像から表示画像を生成するために用いられる表示画角をずれ角だけずらした画角を、表示画角として求めても良い。この後、ＣＰＵ２１は、撮影画像において、求められた表示画角によって規定される範囲内にある画像を、表示画像として生成する。ＣＰＵ２１は、こうして生成した表示画像を表示部２５に表示させる。そして、処理はステップＳ１０６に進む。

ステップＳ１０６では、ＣＰＵ２１は、ステップＳ１０５で表示画像を生成するために用いられた、ずれ角及び／又は表示画角のデータを補正量としてＲＯＭ２２などに記憶させる。そして、処理は終了する。なお、ＣＰＵ２１は、上記した所定時間が経過するまでの間は（「ステップＳ１０１；Ｎｏ」となる場合）、ステップＳ１０６で記憶された補正量を用いて撮影画像を補正して表示画像を生成する。また、ＣＰＵ２１は、車両３内のエンジンがオフとなった後も補正量を保持しておき、エンジンが始動されてから所定値以上の加速度が発生するまでの間は、保持している補正量を用いる。

以上説明した撮影画像補正処理によれば、車両３の進行方向に対するカメラ２９の撮影方向のずれ角に基づいて、撮影画像を適切に補正して表示画像を生成することができる。具体的には、車両３の進行方向に対応する位置を中心位置とするような表示画像を適切に生成することができる。これにより、端末装置２が車両３の進行方向を向いていない状態で設置されたとしても、生成された表示画像を用いて、ＡＲナビなどを適切に行うことが可能となる。

なお、上記では、加速度センサ１５ｄによって検出されたＸ方向の加速度とＹ方向の加速度との比に基づいて、車両３が直線走行中であるか否かを判定する例を示したが（ステップＳ１０３）、Ｘ方向の加速度とＹ方向の加速度との比に基づいて当該判定を行うことに限定はされない。他の例では、ＡＲナビなどが用いるナビゲーション情報に基づいて、車両３が直線走行中であるか否かを判定することができる。具体的には、ＣＰＵ２１は、経路の情報や地図情報などのナビゲーション情報から、車両３が現在走行している道路が直線であるかカーブしているかを判断し、現在走行している道路が直線であると判断される場合に、ステップＳ１０３において車両３が直線走行中であると判定することができる。

なお、図７に示した撮影画像補正処理では、ステップＳ１０１、Ｓ１０２、Ｓ１０３の判定を全て行う例を示したが、この代わりに、ステップＳ１０１、Ｓ１０２、Ｓ１０３のうちのいずれか１つ以上の判定を行うこととしても良い。つまり、ステップＳ１０１、Ｓ１０２、Ｓ１０３のうちのいずれか１つ又は２つの判定を行い、当該判定における条件が成立する場合に撮影画像の補正を行うこととしても良い。

［変形例］
上記では、所定の周期で撮影画像補正処理を繰り返し実行する実施例を示した。変形例では、所定の周期で撮影画像補正処理を繰り返し実行する代わりに、端末装置２の設置状態が変更された場合にのみ、撮影画像補正処理を実行する。

図８を参照して、変形例に係る撮影画像補正処理について説明する。図８は、変形例に係る撮影画像補正処理を示すフローチャートである。当該処理は、端末装置２内のＣＰＵ２１がＲＯＭ２２などに記憶されたプログラムを実行することにより実現される。

変形例では、図７に示したステップＳ１０１の処理の代わりに、ステップＳ２０１の処理を行う点で、上記した実施例と異なる。ステップＳ２０２〜Ｓ２０６の処理は、図７に示したステップＳ１０２〜Ｓ１０６の処理と同様であるため、その説明を省略する。ここでは、ステップＳ２０１の処理のみ説明を行う。

ステップＳ２０１では、ＣＰＵ２１は、端末装置２の設置状態が変更されたか否かを判定する。この場合、ＣＰＵ２１は、ユーザによって、端末装置２の向きが変えられたり、端末装置２が端末保持装置１から取り外されたり、端末装置２が端末保持装置１に取り付けられたりしたかを判定する。このような判定を行っているのは、端末装置２の設置状態が変更された場合には車両３の進行方向に対するカメラ２９の撮影方向のずれ角も変わる傾向にあるので、当該場合に撮影画像の補正を実行するためである。つまり、端末装置２の設置状態が変更された場合には、前回求められた補正量で撮影画像を補正すべきではなく、新たに補正量を求めて撮影画像を補正すべきだからである。

具体的には、ＣＰＵ２１は、以下の第１〜第４の例で示すような方法により、端末装置２の設置状態が変更されたか否かを判定する。なお、ＣＰＵ２１は、本発明における設置変更検出手段の一例に相当する。

第１の例では、端末保持装置１内に上下方向の加速度を検出可能に構成された加速度センサを設け、ＣＰＵ２１は、当該加速度センサの出力に基づいて、端末装置２の設置状態が変更されたか否かを判定する。具体的には、ＣＰＵ２１は、加速度センサによって上下方向の加速度が検出された場合に、端末装置２の設置状態が変更されたと判定する。例えば、第１の例に係る方法は、上記した加速度センサ１５ｄの代わりに、３次元方向の加速度を検出可能に構成された加速度センサを端末保持装置１内に設けることで実現することができる。

第２の例では、ＣＰＵ２１は、加速度センサ１５ｄによって、通常のハンドル操作で生じ得ないような加速度が検出された場合に、端末装置２の設置状態が変更されたと判定する。具体的には、ＣＰＵ２１は、Ｘ方向の加速度とＹ方向の加速度との比を複数サンプリングし、サンプリングされた複数の比の値が大きく変動している場合に、端末装置２の設置状態が変更されたと判定する。例えば、ＣＰＵ２１は、サンプリングされた複数の比の値が、車両３がカーブする際に発生し得るＸ方向の加速度とＹ方向の加速度との比の値よりも大きい場合に、端末装置２の設置状態が変更されたと判定する。

第３の例では、ＣＰＵ２１は、ＡＲナビなどが用いるナビゲーション情報と、加速度センサ１５ｄの出力とに基づいて、端末装置２の設置状態が変更されたか否かを判定する。具体的には、ＣＰＵ２１は、ナビゲーション情報より、車両３が現在走行している道路が直線道路であると判断される場合において、加速度センサ１５ｄによって、直線走行中には生じ得ないような加速度が検出された場合に、端末装置２の設置状態が変更されたと判定する。詳しくは、直線走行中にはＸ方向の加速度とＹ方向の加速度との比の値が概ね一定となるはずだが、当該比の値が変動している場合には、ＣＰＵ２１は、端末装置２の設置状態が変更されたと判定する。一方で、ＣＰＵ２１は、ナビゲーション情報より、車両３が現在走行している道路が曲がっていると判断される場合には、端末装置２の設置状態が変更されたか否かの判定を行わない。この場合には、加速度センサ１５ｄの出力値が安定しない傾向にあるため、誤判定を防止する観点から、設置状態の変更についての判定を行わない。

第４の例では、ＣＰＵ２１は、ユーザが端末装置２の操作部２８を操作した場合に、端末装置２の設置状態が変更されたと判定する。つまり、ＣＰＵ２１は、操作部２８から何らかの入力があった場合に、端末装置２の設置状態が変更されたと判定する。例えば、ＣＰＵ２１は、ＡＲナビをオフにする操作や、端末装置２の電源をオフにする操作などがあった場合に、端末装置２の設置状態が変更されたと判定する。

このような第１〜第４の例に係る方法により、端末装置２の設置状態が変更されたと判定された場合（ステップＳ２０１；Ｙｅｓ）、処理はステップＳ２０２に進み、端末装置２の設置状態が変更されたと判定されなかった場合（ステップＳ２０１；Ｎｏ）、処理は終了する。なお、第１〜第４の例のうちのいずれか１つの方法のみを用いて判定を行うことに限定はされず、第１〜第４の例のうちのいずれか２つ以上の方法を組み合わせて判定を行っても良い。

以上説明した変形例によれば、端末装置２の設置状態の変更を適切に検出して、設置状態が変更された際に撮影画像の補正を適切に行うことができる。また、変形例によれば、上記した実施例と異なり（図７参照）、所定の周期で撮影画像補正処理を繰り返し実行しないため、処理負荷を軽減することができる。なお、上記した実施例では、所定の周期で撮影画像補正処理を繰り返し実行するため、端末装置２の設置状態の変更を考慮することなく、撮影画像の補正を随時行うことができる。

なお、図８に示した撮影画像補正処理では、ステップＳ２０１、Ｓ２０２、Ｓ２０３の判定を全て行う例を示したが、この代わりに、ステップＳ２０１、Ｓ２０２、Ｓ２０３のうちのいずれか１つ以上の判定を行うこととしても良い。つまり、ステップＳ２０１、Ｓ２０２、Ｓ２０３のうちのいずれか１つ又は２つの判定を行い、当該判定における条件が成立する場合に撮影画像の補正を行うこととしても良い。

なお、上記では本発明を車両に適用する例を示したが、本発明の適用はこれに限定されない。本発明は、車両の他に、船や、ヘリコプターや、飛行機などの種々の移動体に適用することができる。

以上に述べたように、実施例は、上述した実施例に限られるものではなく、特許請求の範囲及び明細書全体から読み取れる発明の要旨あるいは思想に反しない範囲で適宜変更可能である。

本発明は、通話機能を有する携帯電話や、経路案内を行うナビゲーション装置に利用することができる。

１ 端末保持装置
２ 端末装置
１５ 基板ホルダ
１５ｄ センサ（加速度センサ）
１６ 端末ホルダ
１７ 孔部
２１ ＣＰＵ
２５ 表示部
２８ 操作部
２９ カメラ

Claims (13)

1. 移動体に搭載される端末装置であって、
   撮影手段と、
   前記移動体の進行方向に対する前記撮影手段の撮影方向のずれに基づいて、前記撮影手段によって撮影された撮影画像を補正して、表示画像を生成する画像生成手段と、
   前記画像生成手段によって生成された前記表示画像を表示する表示手段と、を備え、
   前記画像生成手段は、前記移動体についての２次元方向の加速度を検出する加速度センサであって、その検出方向が前記撮影手段の撮影方向に対して一致している加速度センサからの出力を取得し、前記加速度センサからの出力に基づいて、前記進行方向に対する前記撮影方向のずれを求めることを特徴とする端末装置。
2. 前記画像生成手段は、前記移動体が直進走行している場合に、前記進行方向に対する前記撮影方向のずれを求め、当該ずれに基づいて前記撮影画像を補正することを特徴とする請求項１に記載の端末装置。
3. 前記画像生成手段は、前記ずれに基づいて決定した前記撮影画像の一部を切り出して前記表示画像を生成することを特徴とする請求項２に記載の端末装置。
4. 前記画像生成手段は、前記移動体の加速度が所定値以上である場合に、前記進行方向に対する前記撮影方向のずれを求め、当該ずれに基づいて前記撮影画像を補正することを特徴とする請求項１乃至３のいずれか一項に記載の端末装置。
5. 前記画像生成手段は、所定の周期で繰り返し、前記進行方向に対する前記撮影方向のずれを求め、当該ずれに基づいて前記撮影画像を補正することを特徴とする請求項１乃至４のいずれか一項に記載の端末装置。
6. 前記端末装置の設置状態の変更を検出する設置変更検出手段を更に備え、
   前記画像生成手段は、前記設置変更検出手段によって前記設置状態の変更が検出された場合に、前記進行方向に対する前記撮影方向のずれを求め、当該ずれに基づいて前記撮影画像を補正することを特徴とする請求項１乃至４のいずれか一項に記載の端末装置。
7. 前記画像生成手段は、前記表示画像の左右方向における中心位置が前記移動体の進行方向に対応する位置に一致するように、前記撮影画像を補正することを特徴とする請求項１乃至６のいずれか一項に記載の端末装置。
8. 前記画像生成手段は、前記撮影画像の左右方向における中心位置を、前記進行方向に対する前記撮影方向のずれに相当する量だけ左右方向にずらした位置を、前記表示画像の左右方向における中心位置に設定する補正を行うことで、前記表示画像を生成することを特徴とする請求項７に記載の端末装置。
9. 前記画像生成手段は、前記撮影画像の中で、前記補正が行われた中心位置によって規定され、所定範囲内にある画像を、前記表示画像として生成することを特徴とする請求項８に記載の端末装置。
10. 前記移動体に取り付けられた保持装置に対して脱着可能に構成されていることを特徴とする請求項１乃至９のいずれか一項に記載の端末装置。
11. 撮影手段及び表示手段を有し、移動体に搭載される端末装置によって実行される画像処理方法であって、
    前記撮影手段によって撮影された撮影画像を取得する取得工程と、
    前記移動体の進行方向に対する前記撮影手段の撮影方向のずれに基づいて、前記撮影画像を補正して、表示画像を生成する画像生成工程と、
    前記画像生成工程によって生成された前記表示画像を、前記表示手段に表示させる表示制御工程と、を備え、
    前記画像生成工程は、前記移動体についての２次元方向の加速度を検出する加速度センサであって、その検出方向が前記撮影手段の撮影方向に対して一致している加速度センサからの出力を取得し、前記加速度センサからの出力に基づいて、前記進行方向に対する前記撮影方向のずれを求めることを特徴とする画像処理方法。
12. 撮影手段及び表示手段を有すると共にコンピュータを有し、移動体に搭載される端末装置によって実行される画像処理プログラムであって、
    前記コンピュータを、
    前記撮影手段によって撮影された撮影画像を取得する取得手段、
    前記移動体の進行方向に対する前記撮影手段の撮影方向のずれに基づいて、前記撮影画像を補正して、表示画像を生成する画像生成手段、
    前記画像生成手段で生成された前記表示画像を、前記表示手段に表示させる表示制御手段、として機能させ、
    前記画像生成手段は、前記移動体についての２次元方向の加速度を検出する加速度センサであって、その検出方向が前記撮影手段の撮影方向に対して一致している加速度センサからの出力を取得し、前記加速度センサからの出力に基づいて、前記進行方向に対する前記撮影方向のずれを求めることを特徴とする画像処理プログラム。
13. 移動体に搭載される端末装置であって、
    撮影手段と、
    前記移動体の進行方向に対する前記撮影手段の撮影方向のずれに基づいて、前記撮影手段によって撮影された撮影画像を補正して、表示画像を生成する画像生成手段と、
    前記画像生成手段によって生成された前記表示画像を表示する表示手段と、を備え、
    前記画像生成手段は、前記移動体についての２次元方向の加速度を検出する加速度センサからの出力を取得し、前記加速度センサの検出方向が前記撮影手段の撮影方向に対して一致していることを前提に、前記進行方向に対する前記撮影方向のずれを求めることを特徴とする端末装置。

Images