JP7236478B2 - 情報処理システム、コンピュータプログラム、及び表示方法 - Google Patents

Description

本開示は、情報処理システム、コンピュータプログラム、及び表示方法に関する。

従来、プロジェクタが投影した画像が車両のフロントウィンドウ（車窓）に表示されるヘッドアップディスプレイ装置が用いられている（例えば特許文献１参照）。
特許文献１に記載のヘッドアップディスプレイ装置の場合、車速が低いときは広い範囲に画像が表示され、車速が高いときは狭い範囲に縮小された画像が表示される。

国際公開第２０１７／０６１０１９号

特許文献１に記載のヘッドアップディスプレイ装置が操作部を備えている場合、車両の搭乗者による操作部の操作に応じて、表示されている画像の表示状態を変更する（例えば表示されている画像を拡大／縮小する）ことが考えられる。
ところで、例えば手が汚れている場合に操作部を直に触りたくないという要望がある。

本開示の目的は、搭乗者が画像の表示状態を非接触で任意に変更させることができる情報処理システム、コンピュータプログラム、及び表示方法を提供することにある。

本開示に係る情報処理システムは、車両の複数の車窓に画像を表示する車窓表示部と、前記車両の搭乗者のジェスチャーを検出する検出部と、該検出部が検出したジェスチャーに応じて、前記車窓表示部による前記画像の表示状態を前記複数の車窓の間で制御する表示制御部とを備えることを特徴とする。
本開示に係る情報処理システムは、車両の複数の車窓に画像を表示する車窓表示部と、前記車両の搭乗者のジェスチャーを検出する検出部と、該検出部が検出したジェスチャーに応じて、前記車窓表示部による前記画像の表示状態を前記複数の車窓の間で制御する表示制御部とを備え、前記搭乗者の手の異なる部位と前記画像の大きさとが互いに関連付けられており、前記検出部は、前記搭乗者の手の部位を検出し、前記表示制御部は、前記検出部が検出した部位に関連付けられている大きさの前記画像の表示状態を制御することを特徴とする。

本開示にあっては、車窓表示部が、複数の車窓に画像を表示する。故に、画像を表示可能な範囲が広い。
検出部は、車両の搭乗者のジェスチャーを検出する。表示制御部は、検出部が検出したジェスチャーに応じて、画像の表示状態を制御する。この結果、搭乗者が画像の表示状態を非接触で任意に変更させることができる。
しかも、表示制御部は画像の表示状態を複数の車窓間で制御する。故に、例えば一の車窓から他の車窓へ画像を移動させること、又は異なる車窓にわたって画像を表示すること等を実現することができる。

本開示に係る情報処理システムは、前記複数の車窓には、フロントウィンドウ及び該フロントウィンドウの左右に隣り合うサイドウィンドウが含まれており、互いに隣り合う車窓にわたって前記画像の表示が可能であることを特徴とする。

本開示にあっては、互いに隣り合う車窓にわたって画像の表示が可能である。故に、複数の車窓にわたるシームレスな画像が表示可能である。

本開示に係る情報処理システムは、前記車両のルーフの内面又はフロントピラーの内面に画像を表示する車室表示部を更に備え、前記ルーフ又は前記フロントピラー及び該ルーフ又は前記フロントピラーに隣り合う車窓にわたって前記画像の表示が可能であることを特徴とする。

本開示にあっては、車室表示部が、車両のルーフの内面又はフロントピラーの内面に画像を表示する。
互いに隣り合うルーフ又はフロントピラーと車窓とにわたって画像の表示が可能である。故に、車窓とルーフ又はフロントピラーとにわたるシームレスな画像が表示可能である。

本開示に係る情報処理システムは、前記検出部は、前記搭乗者の両手を用いたジェスチャーを検出することを特徴とする。

本開示にあっては、検出部が搭乗者の両手を用いたジェスチャーを検出する。表示制御部は、検出部が検出したジェスチャー（即ち両手を用いたジェスチャー）に応じて、画像の表示状態を制御する。
両手の場合、片手の場合よりも、画像の表示状態の制御に関連付けられるジェスチャーの種類を増やしたり、画像の表示状態の制御に関連付けられるジェスチャーを複雑にしたりすることができる。

本開示に係る情報処理システムは、前記搭乗者の手の異なる部位と前記画像の大きさとが互いに関連付けられており、前記検出部は、前記搭乗者の手の部位を検出し、前記表示制御部は、前記検出部が検出した部位に関連付けられている大きさの前記画像の表示状態を制御することを特徴とする。

本開示にあっては、搭乗者の手の異なる部位と画像の大きさとが互いに関連付けられている。検出部は、搭乗者の手の部位を検出し、表示制御部は、検出部が検出した部位に関連付けられている大きさの前記画像の表示状態を制御する。このため、搭乗者は、一の部位／他の部位を用いたジェスチャーを行なうことによって、大きい画像／小さい画像の表示状態を変更させることができる。

本開示に係る情報処理システムは、前記検出部が検出したジェスチャーが追い払うジェスチャーである場合、前記表示制御部は表示されている前記画像を削除することを特徴とする。

本開示にあっては、検出部が検出したジェスチャーが追い払うジェスチャーである場合、表示制御部は表示されている画像を削除する。故に、搭乗者は直感的に画像を削除することができる。

本開示に係る情報処理システムは、前記車両の状態に応じて、前記画像の大きさ又は表示位置が切り替わることを特徴とする。

本開示にあっては、車両の状態に応じて、画像の大きさ又は表示位置が切り替わる。故に、例えば車両が駐停車しているか否かに応じて、画像の大きさ又は表示位置を、利便性を重視したもの／安全性を重視したものに切り替えることができる。

本開示に係る情報処理システムは、前記検出部が検出したジェスチャーが所定のジェスチャーである場合、前記表示制御部は、前記複数の車窓の内の第１の車窓に表示されている全ての画像を第２の車窓に移動させると共に、該第２の車窓に表示されている全ての画像を前記第１の車窓又は第３の車窓に移動させることを特徴とする。

本開示にあっては、検出部が検出したジェスチャーが所定のジェスチャーである場合、表示制御部は一の車窓に表示されている全ての画像を他の車窓に移動させる。故に、一の車窓に表示されている複数の画像を同一の他の車窓に移動させる際に、搭乗者が画像を個別に移動させる必要がない。また、２つの車窓夫々に表示されている全ての画像同士を互いに入れ替えたり、複数の車窓夫々に表示されている全ての画像を玉突き状に移動（例えば回転移動）させたりすることができる。以上の結果、利便性が向上される。

本開示に係るコンピュータプログラムは、車両の複数の車窓に画像を表示し、前記車両の搭乗者のジェスチャーを検出し、検出したジェスチャーに応じて、前記画像の表示状態を前記複数の車窓の間で制御する処理をコンピュータに実行させることを特徴とする。
本開示に係るコンピュータプログラムは、車両の複数の車窓に画像を表示し、前記車両の搭乗者のジェスチャーを検出し、検出したジェスチャーに応じて、前記画像の表示状態を前記複数の車窓の間で制御し、前記搭乗者の手の部位を検出し、前記搭乗者の手の異なる部位と前記画像の大きさとを互いに関連付けて記憶する記憶部を参照し、検出した部位に関連付けられている大きさの前記画像の表示状態を制御する処理をコンピュータに実行させることを特徴とする。

本開示に係る表示方法は、車両の複数の車窓に画像を表示し、前記車両の搭乗者のジェスチャーを検出し、検出したジェスチャーに応じて、前記画像の表示状態を前記複数の車窓の間で制御することを特徴とする。
本開示に係る表示方法は、車両の複数の車窓に画像を表示し、前記車両の搭乗者のジェスチャーを検出し、検出したジェスチャーに応じて、前記画像の表示状態を前記複数の車窓の間で制御し、前記搭乗者の手の異なる部位と前記画像の大きさとが互いに関連付けられており、前記搭乗者の手の部位を検出し、検出した部位に関連付けられている大きさの前記画像の表示状態を制御することを特徴とする。

本開示にあっては、車両の複数の車窓に画像を表示し、車両の搭乗者のジェスチャーを検出し、検出したジェスチャーに応じて画像の表示状態を制御することにより、搭乗者が画像の表示状態を非接触で任意に変更させることができる。
しかも、画像の表示状態が複数の車窓間で制御される。故に、例えば一の車窓から他の車窓へ画像を移動させること、又は異なる車窓にわたって画像を表示すること等を実現することができる。
本開示に係る情報処理システムは、車両の複数の車窓に画像を表示する車窓表示部と、前記車両の搭乗者のジェスチャーを検出する検出部と、所定のジェスチャーを行なった人数を判定する判定部と、前記検出部が検出したジェスチャー及び前記判定部が判定した人数に応じて、前記車窓表示部による前記画像の表示状態を前記複数の車窓の間で制御する表示制御部とを備えることを特徴とする。
本開示に係る情報処理システムは、車両の複数の車窓に画像を表示する車窓表示部と、前記車両の搭乗者のジェスチャーを検出する検出部と、所定のジェスチャーを行なった人数を判定する判定部と、前記検出部が検出したジェスチャー及び前記判定部が判定した人数に応じて、複数人が協力して１つのジェスチャーを行なったか複数人が個々に１つのジェスチャーを行なったかを判定する第２の判定部と、該第２の判定部の判定結果が複数人協力である場合、前記車窓表示部による前記画像の表示状態を前記複数の車窓の間で第１の態様で制御し、前記第２の判定部の判定結果が複数人個々である場合、前記車窓表示部による前記画像の表示状態を前記複数の車窓の間で前記第１の態様とは異なる第２の態様で制御する表示制御部とを備えることを特徴とする。

本開示の情報処理システム、コンピュータプログラム、及び表示方法によれば、搭乗者が画像の表示状態を非接触で任意に変更させることができる。

実施の形態１に係る情報処理システムが搭載された車両の車室を模式的に示す平面図である。 車室の他の態様を模式的に示す平面図である。 車室の最前部を模式的に示す斜視図である。 テーブルの構成を模式的に示す断面図である。 車両の運転に関する制御系の構成を示すブロック図である。 情報処理システムの要部構成を示すブロック図である。 情報処理装置の要部構成を示すブロック図である。 ３つの車窓、ルーフ、及びＡピラーに表示される画像の一例を示す模式図である。 ３つの車窓、ルーフ、及びＡピラーに表示される画像の他の一例を示す模式図である。 ３つの車窓、ルーフ、及びＡピラーに表示される画像の更に他の一例を示す模式図である。 情報処理装置で実行されるジェスチャー操作処理の手順を示すフローチャートである。 ジェスチャー記憶部に記憶してあるデータの一例を示す模式図である。 フロントウィンドウに表示される画像及び片手のジェスチャーの一例を示す模式図である。 フロントウィンドウに表示される画像及び片手のジェスチャーの一例を示す模式図である。 フロントウィンドウに表示される画像及び片手のジェスチャーの一例を示す模式図である。 フロントウィンドウに表示される画像及び片手のジェスチャーの一例を示す模式図である。 部位記憶部に記憶してあるデータの一例を示す模式図である。 フロントウィンドウに表示される画像及び片手のジェスチャーの他の一例を示す模式図である。 フロントウィンドウに表示される画像及び片手のジェスチャーの他の一例を示す模式図である。 フロントウィンドウに表示される画像及び片手のジェスチャーの他の一例を示す模式図である。 フロントウィンドウに表示される画像及び両手のジェスチャーの一例を示す模式図である。 フロントウィンドウに表示される画像及び両手のジェスチャーの一例を示す模式図である。 画像の入れ替え時に３つの車窓に表示される画像の一例を示す模式図である。 画像の回転移動時に３つの車窓に表示される画像の一例を示す模式図である。 フロントウィンドウに表示される画像及びジェスチャーの一例を示す模式図である。 フロントウィンドウに表示される画像及びジェスチャーの一例を示す模式図である。 実施の形態２に係る情報処理装置で実行されるジェスチャー操作処理の手順を示すフローチャートである。 ジェスチャー記憶部に記憶してあるデータの一例を示す模式図である。 フロントウィンドウに表示される画像及び複数人で行なうジェスチャーの一例を示す模式図である。 フロントウィンドウに表示される画像及び複数人で行なうジェスチャーの一例を示す模式図である。 実施の形態３に係る情報処理システムの要部構成を示すブロック図である。 情報処理装置で実行されるジェスチャー操作処理の手順を示すフローチャートである。 ジェスチャー記憶部に記憶してあるデータの一例を示す模式図である。 フロントウィンドウに表示される画像とジェスチャー及び音声との一例を示す模式図である。 フロントウィンドウに表示される画像とジェスチャー及び音声との一例を示す模式図である。

以下、本開示の実施の形態について説明する。

実施の形態 １．
図１は、実施の形態１に係る情報処理システムが搭載された車両の車室を模式的に示す平面図である。
図中１は車両であり、図中１ａは車両１の車室である。
車両１は４つの座席１１１を備える。図１には、４つの座席１１１の内の２つが車室１ａの前部において左右に並んでおり、車室１ａの後部において残る２つが左右に並んでいる状態が示されている。
車室１ａの最前部にはテーブル２が設けられている。車室１ａの最後部はカーゴスペースとして用いられる。

車室１ａの床には、レール１１２が、４つの座席１１１夫々の真下とカーゴスペースとを通るようにして、矩形環状に設けられている。座席１１１は、レール１１２に沿って移動可能に設けられている。
座席１１１は折り畳み可能である。
座席１１１の移動は、例えば搭乗者による所定の操作が行なわれた場合にモータ及びギヤ等を備える移動機構が作動することによって、自動的に行なわれることが望ましい。同様に、座席１１１の折り畳み及び展開も、自動的に行なわれることが望ましい。

図２は、車室１ａの他の態様を模式的に示す平面図である。
図２には、４つの座席１１１の内の１つが車室１ａの前部において左右方向の中央部に位置しており、他の１つが折り畳まれてカーゴスペースに位置している状態が示されている。残る２つは車室１ａの後部において左右に並んでいる。

図１の状態から図２の状態に変更される場合、図１において車室１ａの後部にある２つの座席１１１の内、例えば左側の座席１１１が折り畳まれてカーゴスペースに移動し、右側の座席１１１はその場に留まる。次いで、車室１ａの前部にある２つの座席１１１の内、左側の座席１１１が車室１ａの後部に移動し、右側の座席１１１が左右方向の中央部に移動する。

図３は、車室１ａの最前部を模式的に示す斜視図である。
図４は、テーブル２の構成を模式的に示す断面図である。
図３及び図４に示すように、テーブル２は天板２１を備える。
天板２１は前後左右に延び、車室１ａの側壁に固定されている。なお、天板２１の上下方向の位置が、車室１ａの側壁に設けられた案内レールに沿って調整可能でもよい。
天板２１の後縁は、左右両端に近いほど後向きに延びるようにして凹状に湾曲しているので、テーブル２の意匠性が向上されている（図１～図３参照）。

天板２１の上面２ａは平坦面であり、車室１ａの床に平行をなす。
天板２１の上面２ａには凸部２２が設けられている。凸部２２は上面２ａから上向きに突出している。凸部２２は上面２ａの後縁に沿って連続的に延びる。上面２ａからの凸部２２の高さは、例えば数ｍｍ～十数ｍｍである。上面２ａに載置された物品が凸部２２に当接することにより、物品が後縁から落下することを抑制することができる。

テーブル２は３つの抽斗２３を備える。
各抽斗２３は天板２１の下側に配されている。テーブル２の抽斗２３の下側には、車室１ａの前部にある座席１１１に座っている搭乗者の足が入る空間が設けられている。
搭乗者は、抽斗２３を手動で後ろ向きに引き出す。

抽斗２３は、永久磁石同士の吸着、又は凹凸の係合等によって、テーブル２に没入した状態で保持されていることが望ましい。抽斗２３の保持は、搭乗者が抽斗２３を引き出すことによって解除される。抽斗２３は、搭乗者が天板２１の下側に押し入れることによって、再度保持される。

なお、抽斗２３は搭乗者が手動で引き出す構成に限定されない。例えば、抽斗２３に搭乗者の手が近づいたことが近接センサによって検出され、近接センサの検出結果を受けて、アクチュエータが抽斗２３を後向きに押し出してもよい。
抽斗２３には各種の物品を収納することができるので、利便性を向上させることができる。しかも、抽斗２３は、操舵機器１２（図１参照）及び／又は操作機器４１（図２参照）が収納可能な構成である。

図１に示す操舵機器１２は、ステアリングホイール１２ａと、ステアリングホイール１２ａを回転可能に支持するスタンド１２ｂとを有する。
搭乗者による運転が行なわれる場合、操舵機器１２は、例えばスタンド１２ｂに設けられた磁石が天板２１に内蔵された鉄板に吸着することにより、又はスタンド１２ｂに設けられた吸盤が上面２ａに吸着することにより、テーブル２の上面２ａに固定される。

図２及び図３に示す操作機器４１は、キーボード及びマウスである。搭乗者は、操作機器４１をテーブル２の上面２ａに載置して使用することができる。一方、搭乗者は非使用時に操作機器４１をテーブル２の抽斗２３に収納することにより、車室１ａ内を整頓することができる。
なお、操作機器４１はタッチパネルでもよく、搭乗者が所持している携帯型の通信機器（タブレット端末又はスマートフォン等）でもよい。

操作機器４１がキーボード又はタッチパネル等である場合、操作機器４１はテーブル２の天板２１に設けられてもよい。
天板２１に設けられた操作機器４１は、下向きに押し込まれたときに、天板２１の上面２ａに設けられた図示しない凹部に収納され、再び下向きに押し込まれたときに、天板２１の上面２ａにポップアップする構成でもよい。操作機器４１が凹部に収納されている場合に凹部を閉鎖する蓋が天板２１に設けられていてもよい。天板２１に設けられた操作機器４１は、上面２ａに設けられた左右方向に延びる案内レール又は溝等に沿って左右方向にスライド可能でもよい。

図３及び図４に示すように、天板２１の上面２ａには凹部２４が設けられている。例えば凹部２４は矩形状をなし、上面２ａの左右方向の中央部に配されている。
凹部２４には表示装置２５が収納されている。表示装置２５は、例えば矩形板状の液晶ディスプレイであり、画面を下向きにして凹部２４に嵌め込まれている（図３及び図４に示す実線参照）。

表示装置２５は、前辺部において左右に延びる枢軸２５１（図４参照）を中心に揺動可能に設けられている。表示装置２５は、後辺部が上昇するようにして揺動することによって立ち上がる（図３及び図４に示す二点鎖線参照）。なお、表示装置２５の立ち上げ及び収納は、例えば搭乗者による所定の操作が行なわれた場合に自動的に行なわれることが望ましい。

表示装置２５の揺動によって表示装置２５の姿勢を変更することができるので、搭乗者は、表示装置２５の使用時には表示装置２５を立ち上げることができ、表示装置２５の非使用時には表示装置２５を凹部２４に収納することができる。
表示装置２５は、立ち上げられると自動的に電源がオンになり、収納されると自動的に電源がオフになる。
表示装置２５には、運転に資する情報（車両１の車速、又はカーナビゲーションシステムの地図等）を示す画像が表示される。

図４に示すように、天板２１にはエアバッグ装置２６が埋設されている。エアバッグ装置２６が備えるエアバッグクッション２６１は、緊急時に上面２ａを下側から突き破るようにして膨張展開し、上面２ａと、凸部２２及び抽斗２３の前板を含む天板２１の後縁部分を覆う。エアバッグ装置２６により、搭乗者とテーブル２との衝突を防止して搭乗者を保護することができる。

図３に示すように、天板２１の上面２ａにはＵＳＢポート２７及びコンセント２８が設けられている。
なお、天板２１には非接触給電装置が埋め込まれていてもよい。非接触給電に対応している電気機器は、天板２１の上面２ａに載置されている場合に、非接触給電装置から非接触で給電される。

車両１はフロントウィンドウ１３と２つのサイドウィンドウ１４とを備える。
フロントウィンドウ１３は、車室１ａの前面に設けられた車窓である。
２つのサイドウィンドウ１４は、フロントウィンドウ１３の左右両側に隣り合っている。サイドウィンドウ１４は、車両１のフロントドアに設けられた車窓である。

以下では、フロントウィンドウ１３と２つのサイドウィンドウ１４とをまとめて呼ぶ場合、３つの車窓といい、フロントウィンドウ１３及び２つのサイドウィンドウ１４の内、任意の１つを単に車窓という。
３つの車窓はテーブル２の上面２ａよりも上側に位置し、テーブル２の上側の空間を前側及び左右両側から囲んでいる。
各車窓は矩形状をなし、且つ、車室１ａの床に垂直な姿勢であることが望ましい。

車両１のルーフ１５は、車室１ａの上面に設けられている。ルーフ１５の前縁部及び左右両側縁部は、フロントウィンドウ１３及び２つのサイドウィンドウ１４夫々の上縁部に隣接している。
車両１のフロントピラー（Ａピラー）１６は、フロントウィンドウ１３の側縁とサイドウィンドウ１４の前縁との間に介在している。

ルーフ１５の前縁部には、照明機器１７、撮像部１８、及び２つのカーテンエアバッグ装置１９が設けられている。
照明機器１７は、ルーフ１５の前縁部における左右方向の中央部に配されている。照明機器１７は直接照明又は間接照明により、テーブル２の上面２ａを照明する。照明機器１７は、例えば搭乗者による所定の操作が行なわれた場合に点消灯される。なお、照明機器１７は照明方向又は照明範囲を変更可能でもよい。

撮像部１８は、被写体の２次元画像を撮像すると共に、赤外線又はレーダー波等を用いて撮像部１８から被写体までの距離を計測し、計測結果を画像化した距離画像を生成するよう構成された装置である。距離画像の各画素の値は、２次元画像の各画素に対応する被写体までの距離の値である。

撮像部１８は、照明機器１７に隣り合うようにして、ルーフ１５の前縁部における左右方向の中央部に配されており、搭乗者を前方から撮像する。
図示はしないが、ルーフ１５の左右両側縁部夫々に、搭乗者を側方から撮像する撮像部１８が設けられている。
撮像部１８の個数は３つに限定されず、また、ルーフ１５の周縁部に設けられる構成に限定されない。１又は複数の撮像部１８が、搭乗者を少なくとも前方から撮像できるよう配されていればよい。

カーテンエアバッグ装置１９は、ルーフ１５の前縁部に埋設されている。２つのカーテンエアバッグ装置１９が左右方向に並設されており、２つのカーテンエアバッグ装置１９の間に照明機器１７及び撮像部１８が位置している。カーテンエアバッグ装置１９が備える図示しないエアバッグクッションは、緊急時にルーフ１５の内面を突き破るようにして膨張展開し、フロントウィンドウ１３を覆うことにより、ガラス片の飛散を防止して搭乗者を保護することができる。

ルーフ１５の左右両側縁部夫々にも、カーテンエアバッグ装置１９が埋設されている。ルーフ１５の側縁部にあるカーテンエアバッグ装置１９は、サイドウィンドウ１４の上側に配されており、緊急時にエアバッグクッションがサイドウィンドウ１４を覆う。この結果、サイドウィンドウ１４からのガラス片の飛散を防止して搭乗者を保護することができる。

図５は、車両１の運転に関する制御系の構成を示すブロック図である。
車両１は運転制御装置１２１及び転舵機構１２２を備える。
運転制御装置１２１は、車両１の各部の制御を行なう装置であり、搭乗者による操舵機器１２、図示しないアクセルペダル及びブレーキペダル等の操作に応じて、操舵制御、速度制御及びブレーキ制御等を行なう。

転舵機構１２２は、例えばラック・アンド・ピニオン型のステアリングギア機構とピニオンを回転させるモータとを備え、モータの回転に応じて、車両１の２つの前輪１２３（図１又は図２参照）の実舵角を変更する。転舵制御においては、運転制御装置１２１は転舵機構１２２のモータの動作を制御する。

操舵機器１２は、ステアリングホイール１２ａの操舵角を検出するセンサを有する。搭乗者は３つの車窓を通して車外の風景を視認し、表示装置２５に表示されている情報を参照しつつ、操舵機器１２を用いて車両１を運転する。このとき、操舵機器１２から運転制御装置１２１へ操舵角の検出結果が無線で送信される。運転制御装置１２１は、受信した操舵角の検出結果に基づいて、転舵機構１２２の動作を制御する。
搭乗者による運転中、操作機器４１を抽斗２３に収納しておくことにより、非使用時の操作機器４１が搭乗者の運転を阻害する虞がない。

なお、車両１は自動運転車両であってもよい。自動運転を行なう場合、運転制御装置１２１は、車両１が備える図示しない車外カメラ及び車外センサ、道路に設置された路側器、又は他の車両等から得られるデータ等に基づいて、自車両の周辺の状況を判断する。運転制御装置１２１は、判断した状況に対して適切に車両１を走行させるべく、速度制御、操舵制御、及びブレーキ制御等を行なう。

撮像部１８は、撮像した搭乗者の２次元画像を示す２次元画像データ及び距離画像を示す距離画像データを運転制御装置１２１に与える。
運転制御装置１２１は、撮像部１８から与えられた２次元画像データ及び距離画像データに基づいて、例えば搭乗者による運転中に搭乗者の体調を検出し、検出された体調の良し悪しを判定する。搭乗者の体調が悪い場合、運転制御装置１２１は、例えば図示しないスピーカから音声を出力することによって搭乗者に警告を発する処理を実行する。車両１が自動運転車両ならば、搭乗者の体調が悪い場合、運転制御装置１２１は、運転者による手動運転から、完全な自動運転に切り替える処理を実行してもよい。ここで、完全な自動運転とは、運転者を必要としない運転である。

ところで、ガレージ又はパーキングエリア等での駐車中に、或いは信号待ち又は同乗者の乗降待ち等の停車中に、搭乗者が車室１ａ内で趣味の創作活動又は業務上の書類制作等のデスクワークを行なうことが想定される。車両１が自動運転車両であれば、完全な自動運転中に搭乗者がデスクワークを行なうことが想定される。

図６は、情報処理システムの要部構成を示すブロック図である。
図中４は情報処理システムであり、情報処理システム４は、前述した撮像部１８及び操作機器４１を備える。更に、情報処理システム４は、３つの車窓表示部４２、ルーフ表示部４３（車室表示部）、２つのピラー表示部４４（車室表示部）、プリンタ４５、及び情報処理装置５を備える。

３つの車窓表示部４２はフロントウィンドウ１３及び２つのサイドウィンドウ１４に対応している。車窓表示部４２は、車窓の窓ガラスに画像を投影することによって車窓に画像を表示するプロジェクタである。車窓に表示された画像は、車窓を通して見える車外の風景の上に重なる（いわゆるヘッドアップディスプレイ）。

フロントウィンドウ１３に画像を表示する車窓表示部４２は、テーブル２の天板２１の上面２ａに設けられている。サイドウィンドウ１４に画像を表示する車窓表示部４２は、フロントドアに設けられている。
車窓表示部４２はテーブル２又はフロントドアに設けられる構成に限定されない。
車窓表示部４２はプロジェクタに限定されない。例えば車窓表示部４２は透過型の液晶ディスプレイであり、車窓の窓ガラスに積層されてもよい。

ルーフ表示部４３はプロジェクタであり、ルーフ１５の内面に画像を表示する。ルーフ１５の内面には、表示された画像の視認性を向上するための加工が施されている（例えばプロジェクタ用のスクリーンが積層されている）ことが望ましい。
ルーフ表示部４３は、例えば車両１のセンターピラーに設けられている。

ルーフ表示部４３はプロジェクタに限定されない。例えばルーフ表示部４３は薄型の有機ＥＬディスプレイ又は液晶ディスプレイであり、撮像部１８、照明機器１７、及びカーテンエアバッグ装置１９に干渉しないようにしてルーフ１５の内面に積層されていてもよい。
ルーフ１５はガラスルーフでもよい。この場合、ルーフ表示部４３はルーフ１５の窓ガラスに画像を投影するプロジェクタでもよく、ルーフ１５の窓ガラスに積層された透過型の液晶ディスプレイでもよい。

図６に示すように、２つのピラー表示部４４は２つのＡピラー１６に対応している。ピラー表示部４４はプロジェクタであり、Ａピラー１６の内面に画像を表示する。ルーフ１５の場合と同様に、Ａピラー１６の内面に、表示された画像の視認性を向上するための加工が施されていることが望ましい。

ピラー表示部４４は、例えばテーブル２の天板２１に設けられている。
ピラー表示部４４はプロジェクタに限定されない。例えばピラー表示部４４は薄型の有機ＥＬディスプレイ又は液晶ディスプレイであり、Ａピラー１６の内面に積層されていてもよい。
以下では、３つの車窓表示部４２、ルーフ表示部４３、及び２つのピラー表示部４４をまとめて呼ぶ場合に、車載表示部という。
車載表示部が表示する画像は、静止画像でもよく、動画像でもよい。
プリンタ４５はテーブル２の抽斗２３に収納されている。

図７は、情報処理装置５の要部構成を示すブロック図である。
情報処理装置５は、例えば天板２１の下面に設けられている。
情報処理装置５は、揮発性の主記憶部５１と、不揮発性の補助記憶部５２と、主記憶部５１を作業領域として用い、補助記憶部５２が記憶しているコンピュータプログラム５０に従って、各種の演算処理及び制御処理等を実行する制御部５３とを備える。コンピュータプログラム５０には、本開示に係るコンピュータプログラムが含まれている。
情報処理装置５は車外通信部５４及び車内通信部５５を更に備える。装置各部はバスを介して相互に接続されている。

制御部５３は、ＣＰＵ（Central Processing Unit）、ＭＰＵ（Micro-Processing Unit）又はＧＰＵ（Graphics Processing Unit）等の１又は複数のプロセッサを含む。
主記憶部５１は、例えばＲＡＭ（Random Access Memory）である。
補助記憶部５２は、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ハードディスク、ＳＳＤ（Solid State Drive ）等を含む。補助記憶部５２は、コンピュータプログラム５０の実行に必要な各種のデータを予め記憶している。補助記憶部５２の記憶領域の一部は、後述するジェスチャー記憶部５２１及び部位記憶部５２２として構成されている。

車外通信部５４は、例えばＷｉ－Ｆｉ規格に準拠する無線通信機器である。制御部５３は、車外通信部５４を用いて、車外の他の装置（例えばサーバ３１１）との間でネットワーク３１２を介した情報の送受信を行なう。サーバ３１１は、単数のコンピュータでもよく、分散処理を行なう物理的又は仮想的な複数のコンピュータでもよい。
車内通信部５５は、例えばＢｌｕｅｔｏｏｔｈ（登録商標）規格に準拠する無線通信機器である。制御部５３は、車内通信部５５を用いて、操作機器４１及びプリンタ４５夫々との間で情報の送受信を行なう。

撮像部１８は図示しないインターフェースを介して情報処理装置５に有線接続されている。撮像部１８は、撮像した搭乗者の２次元画像を示す２次元画像データ及び距離画像を示す距離画像データを情報処理装置５に与える。

操作機器４１及び撮像部１８夫々は、情報処理装置５の入力装置として機能する。車載表示部及びプリンタ４５夫々は、情報処理装置５の出力装置として機能する。

補助記憶部５２には、アプリケーションソフトウェア（以下、アプリという）、アプリを起動させるためのアイコンの画像の画像データ、アプリを用いて作成された画像の画像データ等が記憶される。アプリ及び画像データ等は補助記憶部５２に予め記憶してあるものでもよく、ＵＳＢポート２７に接続された外付け記憶装置から読み取ったものでもよい。また、アプリ及び画像データ等はサーバ３１１から受信したものでもよく、搭乗者が所持している携帯型の通信機器から受信したものでもよい。

搭乗者がデスクワークを行なう場合、車室１ａは図２に示す態様であることが望ましいが、図１に示す態様であってもよい。
搭乗者は、車室１ａの前部にある座席１１１に着座し、テーブル２の上面２ａに載置した帳面又は操作機器４１等を用いて、車室１ａ内でデスクワークを行なうことができる。テーブル２の上面２ａは３つの車窓よりも下側に位置するので、搭乗者はデスクワーク中に車載表示部が３つの車窓、ルーフ１５、及び／又はＡピラー１６に表示する画像を視認することができる。

デスクワーク中、操舵機器１２をテーブル２の抽斗２３に収納しておくことにより、搭乗者はテーブル２の上面２ａを広く使うことができる。
また、デスクワーク中、搭乗者は表示装置２５をテーブル２の凹部２４に収納することができる。天板２１には、凹部２４を開閉する蓋が設けられていることが望ましい。表示装置２５の収納後、凹部２４の蓋を閉めることにより、搭乗者はテーブル２の上面２ａを広く使うことができる。

照明機器１７がテーブル２の上面２ａを直接的又は間接的に照明することにより、デスクワーク中の搭乗者の手元を明るくすることができる。なお、搭乗者による操作機器４１の操作に応じて、制御部５３が照明機器１７の点消灯を制御する構成でもよい。

制御部５３は、例えば無人の車両１に人間が搭乗した場合に、又は所定の操作を行なった場合に、車載表示部による画像の表示を開始する。
制御部５３は、搭乗者による操作機器４１の操作に応じて、アプリの起動又は終了等の処理を実行する。
制御部５３は、搭乗者による操作機器４１の操作に応じて、画像データを生成する。
制御部５３は、搭乗者による操作機器４１の操作に応じて、補助記憶部５２、ＵＳＢポート２７に接続された外付け記憶装置、又はサーバ３１１が備える記憶装置等に画像データを書き込む。

制御部５３は、搭乗者による操作機器４１の操作に応じて、補助記憶部５２、ＵＳＢポート２７に接続された外付け記憶装置、又はサーバ３１１が備える記憶装置等から、画像データを読み出す。制御部５３は、読み出した画像データを車載表示部に与え、画像データに基づく画像を３つの車窓、ルーフ１５、及び／又はＡピラー１６に表示するよう車載表示部を制御する。
車載表示部が表示する画像の具体例として、例えばアプリを起動させるためのアイコンの画像、起動したアプリのウィンドウに表示される文書、図表、イラスト、又は写真等の画像、或いはＡＲ（Augmented Reality ）キャラクターの画像が挙げられる。

制御部５３は、搭乗者による操作機器４１の操作に応じて、表示された画像の拡大、縮小、移動、回転、又は削除等が実行されるよう車載表示部を制御する。
制御部５３は、搭乗者による操作機器４１の操作に応じて、画像データをプリンタ４５に与える。

図８は、３つの車窓、ルーフ１５、及びＡピラー１６に表示される画像の一例を示す模式図である。図８には、３つの車窓、ルーフ１５、及び２つのＡピラー１６の展開図が示されている。
図８に示すフロントウィンドウ１３には、４つの画像６１１～６４１が表示されている。画像６１１は、制御部５３が画像６１１の画像データをフロントウィンドウ１３に対応する車窓表示部４２に与えることによって表示される。他の画像６２１～６４１も同様にして夫々表示される。

画像６１１は、エディタを起動させるためのアイコンの画像である。画像６２１は、描画用のアプリを起動させるためのアイコンの画像である。画像６３１は、作曲用のアプリを起動させるためのアイコンの画像である。画像６４１は、ブラウザを起動させるためのアイコンの画像である。
搭乗者は、車載表示部が表示する画像を視認しながら操作機器４１を操作し、所望するアプリを起動させて、作詞、作画、作曲、及びこれらのための情報収集等のデスクワークを行なう。搭乗者が作成した歌詞、イラスト、楽譜等を表わす画像は、例えばフロントウィンドウ１３に表示される。

図９は、３つの車窓、ルーフ１５、及びＡピラー１６に表示される画像の他の一例を示す模式図である。図９には、３つの車窓、ルーフ１５、及び２つのＡピラー１６の展開図が示されている。
図９には４つの画像６１２～６４２が示されている。

画像６１２は、画像６１１に対する操作によって起動されたエディタのウィンドウの画像であり、フロントウィンドウ１３に表示されている。画像６１２には歌詞が含まれている。
制御部５３は、画像６１２の画像データをフロントウィンドウ１３に対応する車窓表示部４２に与える。

画像６２２は、画像６２１に対する操作によって起動された描画用のアプリのウィンドウの画像であり、フロントウィンドウ１３とルーフ１５とにわたって表示されている。画像６２２にはイラストが含まれている。
制御部５３は、画像６２２の上半分に相当する画像の画像データをルーフ表示部４３に与える。制御部５３は、画像６２２の下半分に相当する画像の画像データをフロントウィンドウ１３に対応する車窓表示部４２に与える。
画像６２２を上側（下側）に移動させる場合、制御部５３は、画像６２２の移動量に応じて、ルーフ表示部４３に与える画像データの量を増やし（減らし）、その分だけ車窓表示部４２に与える画像データの量を減らす（増やす）。

画像６３２は、画像６３１に対する操作によって起動された作曲用のアプリのウィンドウの画像であり、フロントウィンドウ１３と右側のＡピラー１６及びサイドウィンドウ１４とにわたって表示されている。画像６３２には、楽譜が含まれている。
制御部５３は、画像６３２のフロントウィンドウ１３に表示すべき部分に相当する画像の画像データをフロントウィンドウ１３に対応する車窓表示部４２に与える。同様に、制御部５３は、画像６３２のＡピラー１６（及びサイドウィンドウ１４）に表示すべき部分に相当する画像の画像データをピラー表示部４４（及びサイドウィンドウ１４に対応する車窓表示部４２）に与える。

画像６４２は、画像６４１に対する操作によって起動されたブラウザのウィンドウの画像であり、ルーフ１５と左側のサイドウィンドウ１４とにわたって表示されている。画像６４２にはデスクワーク時に参照する情報が含まれている。
制御部５３は、画像６４２のルーフ１５（及びサイドウィンドウ１４）に表示すべき部分に相当する画像の画像データをルーフ表示部４３（及びサイドウィンドウ１４に対応する車窓表示部４２）に与える。

フロントウィンドウ１３には、図８に示す画像６１１～６４１と同様のアイコンの画像が、画像６１２～６３２の下側に隠れるようにして表示されている（破線にて図示）。
なお、画像はルーフ１５とＡピラー１６とにわたって表示されてもよい。

このように、画像は３つの車窓、ルーフ１５、及び／又はＡピラー１６に表示される。即ち、画像を表示可能な範囲が広い。しかも、３つの車窓、ルーフ１５、及びＡピラー１６にわたるシームレスな画像が表示可能である。

搭乗者は、操作機器４１を操作することによって、作成した歌詞、イラスト、又は楽譜等を補助記憶部５２又はＵＳＢポート２７に接続された外付け記憶装置等に保存する。また、搭乗者は、操作機器４１を操作することによって、保存した歌詞、イラスト、又は楽譜等を呼び出す。呼び出された歌詞、イラスト、又は楽譜等は、画像として表示される。
搭乗者は、操作機器４１を操作することによって、表示された画像を任意に拡大又は縮小したり、移動又は回転させたり、削除したりする。
搭乗者は、操作機器４１を操作することによって、所望の画像が形成された用紙をプリンタ４５から出力させる。

以上のような車両１は、ワークスペースとして好適な車室１ａを有する。搭乗者は、あたかも屋内にて机に向かいパーソナルコンピュータを使用してデスクワークを行なうときのように、車室１ａ内でデスクワークを行なうことができる。
なお、デスクワークは趣味の創作活動又は業務上の書類制作等に限定されず、例えば読書、ゲーム、ドラマの視聴、スケジュールの確認、通話、又は同乗者との会議でもよい。コンピュータを利用したゲームの場合、操作機器４１はゲーム専用の操作機器でもよい。

車載表示部は、所定の条件に応じて、搭乗者の感情の変化を起こさせる画像を表示してもよい。搭乗者の感情の変化を起こさせる画像とは、退屈している子供を楽しませるマンガを示す画像、通勤中のビジネスマンのやる気を起こさせる格言を示す画像等である。所定の条件とは、搭乗者の属性、現在の感情、目的地等である。例えば、撮像部１８が２次元画像データ及び距離画像データを情報処理装置５に与え、与えられた２次元画像データ及び距離画像データに基づいて、制御部５３が搭乗者の属性又は現在の感情等を判定してもよい。

図１０は、３つの車窓、ルーフ１５、及びＡピラー１６に表示される画像の更に他の一例を示す模式図である。図１０には、３つの車窓、ルーフ１５、及び２つのＡピラー１６の展開図が示されている。
図１０には４つの画像６１３～６４３が示されている。画像６１３～６４３は、図９に示す画像６１２～６４２に対応する。

車両１の走行中は、表示されている画像が搭乗者による車外の視認を阻害しないようにする必要がある。
そこで、情報処理装置５には、予め表示制限領域の情報が与えられている。表示制限領域は、例えば３つの車窓及びＡピラー１６の全て、又はこれらの下縁から高さ８０％までの領域である。

制御部５３は、車両１が駐停車から発車に移る場合（例えば搭乗者がパーキングブレーキをオフにした場合）に、表示制限領域に画像を表示しないよう車載表示部を制御する。具体的には、制御部５３は、既に表示制限領域に表示されている画像を、縮小又は移動によって表示制限領域外に表示するか、又は一時的に削除する。
車両１が再び駐停車した場合（例えば搭乗者がパーキングブレーキをオンにした場合）、制御部５３は、表示制限領域外に表示されている画像を、拡大又は移動によって、元の大きさ及び位置に戻し、一時的に削除していた画像を再度表示する。

図９に示すように、車両１の駐停車中には、画像６１１～６４１及び画像６１２～６４２夫々の一部又は全部は表示制限領域に表示されている。

図１０に示すように、車両１の走行中には、画像６１３～６４２が表示制限領域外であるルーフ１５に表示されている。画像６１３～６３３は図９に示す画像６１２～６３２が縮小されたものである。画像６４３は、図９に示す画像６４２の全体がルーフ１５に移動したものである。画像６１１～６４１は一時的に削除されている。
再び車両１が駐停車中した場合、画像６１１～６４１及び画像６１２～６４２は、図９に示すように表示される。

このようにして、車両１の駐停車中には画像の大きさ又は表示位置を、利便性を重視したものに切り替え、車両１の走行中には画像の大きさ又は表示位置を、安全性を重視したものに切り替えることができる。即ち、車両１の状態に応じて、画像の大きさ又は表示位置を切り替えることができる。
なお、画像の全てが表示制限領域外に表示されてもよく、一時的に削除されてもよい。又は、画像は、透明度が向上した表示に（例えば窓ガラスも含めた可視光線の透過率が７０％未満の画像から７０％以上の画像に）切り替えられてもよい。

表示制限領域の面積、位置、有無等は状況に応じて変化してもよい。例えば車両１の直進中は表示制限領域が存在せず、透明度が向上した状態で画像が表示され続ける。しかしながら、車両１が左折する場合には、フロントウィンドウ１３の左半分と左側のサイドウィンドウ１４及びＡピラー１６とが表示制限領域として設定される。車両１の左折開始から直進の再開までの間、画像はフロントウィンドウ１３の右半分と右側のサイドウィンドウ１４及びＡピラー１６に表示される。同様に、車両１が右折する場合はフロントウィンドウ１３の右半分と右側のサイドウィンドウ１４及びＡピラー１６が表示制限領域として設定される。

本実施の形態の情報処理システム４は、操作機器４１の操作のみならず、いわゆるジェスチャー操作も受け付ける。
情報処理装置５の制御部５３は、撮像部１８から得られた２次元画像データ及び距離画像データの少なくとも一方に基づいて、搭乗者のジェスチャーを検出する。以下では、搭乗者のジェスチャーとして、手で行なうものを例示する。

ジェスチャーの検出の際、制御部５３は、例えば２次元画像データに基づいて、搭乗者の両手夫々の指及び掌等の各部を検出し、時系列の複数の２次元画像データに基づいて、搭乗者の両手夫々の各部の移動軌跡を検出する。補助記憶部５２には、搭乗者が行なう可能性のある各ジェスチャーに関連付けて、搭乗者の両手夫々の各部の移動軌跡が予め記憶してある。制御部５３は、検出した搭乗者の両手夫々の各部の移動軌跡に一致するジェスチャーを特定する。

なお、制御部５３は、機械学習によって構築されたニューラルネットワークを用いて、搭乗者のジェスチャーを検出してもよい。この場合、例えばＣＮＮモデル又はＲＮＮモデルで構成され、２次元画像データ及び／又は距離画像データが入力されたときに、搭乗者が行なったジェスチャーに関する情報を出力するように学習された学習モデルが用いられる。制御部５３は、学習済みの学習モデルに２次元画像データ及び／又は距離画像データを入力し、学習モデルからの出力情報に基づいて、搭乗者が行なったジェスチャーを特定する。

制御部５３は、搭乗者によるジェスチャー操作に応じて、アプリの起動又は終了等の処理を実行する。
制御部５３は、搭乗者によるジェスチャー操作に応じて、画像データを生成する。
制御部５３は、搭乗者によるジェスチャー操作に応じて、補助記憶部５２、ＵＳＢポート２７に接続された外付け記憶装置、又はサーバ３１１が備える記憶装置等に画像データを書き込む。

制御部５３は、搭乗者によるジェスチャー操作に応じて、補助記憶部５２、ＵＳＢポート２７に接続された外付け記憶装置、又はサーバ３１１が備える記憶装置等から、画像データを読み出す。制御部５３は、読み出した画像データを車載表示部に与え、画像データに基づく画像を３つの車窓、ルーフ１５、及び／又はＡピラー１６に表示するよう車載表示部を制御する。

制御部５３は、搭乗者によるジェスチャー操作に応じて、表示された画像の拡大、縮小、移動、回転、又は削除等が実行されるよう車載表示部を制御する。
制御部５３は、搭乗者によるジェスチャー操作に応じて、画像データをプリンタ４５に与える。

図１１は、情報処理装置５で実行されるジェスチャー操作処理の手順を示すフローチャートである。ジェスチャー操作処理は、例えば車室１ａ内に搭乗者が存在している場合に繰り返し実行される。

情報処理装置５の制御部５３は、撮像部１８から得られた画像データ及び距離画像データの少なくとも一方に基づいて、搭乗者のジェスチャーを検出する（Ｓ１１）。
次に、制御部５３は、Ｓ１１で検出したジェスチャーに基づいて、ジェスチャー記憶部５２１を参照する（Ｓ１２）。

図１２は、ジェスチャー記憶部５２１に記憶してあるデータの一例を示す模式図である。
ジェスチャー記憶部５２１は、搭乗者のジェスチャーと、画像の表示状態とを関連付けて記憶している。

ジェスチャー記憶部５２１においては、例えば片手で画像を指し示すジェスチャーと画像の選択とが関連付けられており、片手を移動させるジェスチャーと画像の移動とが関連付けられている。また、片手で追い払うジェスチャーと画像の削除とが関連付けられており、片手で右回り／左回りに円を描くジェスチャーと画像の拡大／縮小とが関連付けられている。更に、片手で指を鳴らすジェスチャーとアプリの起動とが関連付けられている。

図１１に示すＳ１２の処理において、制御部５３は、Ｓ１１で検出したジェスチャーに関連付けられている表示状態を読み出し、読み出した表示状態に基づいて、車載表示部による画像の表示状態を制御する（Ｓ１３）。
Ｓ１３の処理終了後、制御部５３はジェスチャー操作処理を終了する。
Ｓ１１及びＳ１３の処理を実行する制御部５３は、実施の形態における検出部及び表示制御部として機能する。

図１３～図１６夫々は、フロントウィンドウ１３に表示される画像及び片手のジェスチャーの一例を示す模式図である。図１３～図１６夫々には正面視のフロントウィンドウ１３と平面視の搭乗者とが示されている。
図１３に示すフロントウィンドウ１３には、左右に隣り合う２つの画像６５１，６５２が表示されている。画像６５１，６５２夫々はアプリのアイコンの画像である。搭乗者は何もジェスチャーをしていない。

図１４に示すように、搭乗者が片手で画像６５２を指し示した場合、制御部５３がジェスチャー操作処理を実行することにより、図１１におけるＳ１１の処理で「片手で画像を指し示すジェスチャー」が検出される。このとき、搭乗者の手の位置及び向き等に基づいて、搭乗者が指し示した画像が画像６５２であることも検出される。

次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、「片手で画像を指し示すジェスチャー」に関連付けられた「画像の選択」が読み出される。
次いで、Ｓ１３の処理が実行されることにより、画像６５２が選択されたことを示す表示（図中外郭線の強調及びハッチング）が行なわれる。

搭乗者が片手で画像６５２を指し示した後で、図１５に示すように片手を腕ごと右に移動させた場合、制御部５３がジェスチャー操作処理を実行することにより、図１１におけるＳ１１の処理で「片手を移動させるジェスチャー」が検出される。このとき、搭乗者の手の移動方向及び移動距離等も検出される。

次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、「片手を移動させるジェスチャー」に関連付けられた「画像の移動」が読み出される。
次いで、Ｓ１３の処理が実行されることにより、選択された画像６５２が右に移動する。画像６５２の移動距離は、搭乗者の片手の移動距離に正比例する。図１５においては、移動した画像６５２はフロントウィンドウ１３及び右側のＡピラー１６にわたって表示される。

図１４に示すように搭乗者が片手で画像６５２を指し示した後で、図１６に示すように片手を左右に振った場合、図１１におけるＳ１１の処理で「片手で追い払うジェスチャー」が検出される。その後、Ｓ１３の処理が実行されることにより、選択された画像６５２が削除される。
図示はしないが、搭乗者が片手で画像６５２を指し示した後、片手で右回りに円を描いた場合、画像６５２は拡大される。一方、片手で左回りに円を描いた場合、画像６５２は縮小される。
また、図示はしないが、搭乗者が片手で画像６５２を指し示した後、片手で指を鳴らすジェスチャーをした場合、画像６５２に関連付けられたアプリが起動し、起動したアプリのウィンドウの画像が新たに表示される。

次に、搭乗者のジェスチャーとして、掌（全ての指を広げた状態の掌）で行なうものと指（１本だけ立てた指）で行なうものとを例示する。
図１７は、部位記憶部５２２に記憶してあるデータの一例を示す模式図である。
部位記憶部５２２は、搭乗者の手の異なる部位と、画像の大きさとを関連付けて記憶している。
部位記憶部５２２においては、片手の掌と大きいアイコンの画像とが関連付けられており、片手の指と小さいアイコンの画像とが関連付けられている。
制御部５３は、図１１におけるＳ１１の処理で部位記憶部５２２を参照する。

図１８～図２０夫々は、フロントウィンドウ１３に表示される画像及び片手のジェスチャーの他の一例を示す模式図である。図１８～図２０夫々には正面視のフロントウィンドウ１３と平面視の搭乗者とが示されている。
図１８に示すフロントウィンドウ１３には、左右に隣り合う３つの画像６５１～６５３が表示されている。画像６５１～６５３夫々はアイコンの画像である。搭乗者は何もジェスチャーをしていない。
画像６５２と画像６５３とは互いに近い位置にある。画像６５２は大きいアイコンの画像であり、画像６５３は小さいアイコンの画像である。

図１９に示すように、搭乗者が片手の掌で画像６５２を指し示した場合、制御部５３がジェスチャー操作処理を実行することにより、図１１におけるＳ１１の処理で「片手の掌で画像を指し示すジェスチャー」が検出される。このとき、部位記憶部５２２が参照され、搭乗者の掌の位置及び向き等に基づいて、搭乗者が指し示した画像が大きいアイコンの画像である画像６５２であることも検出される。

次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、「片手で画像を指し示すジェスチャー」に関連付けられた「画像の選択」が読み出される。
次いで、Ｓ１３の処理が実行されることにより、画像６５２が選択されたことを示す表示が行なわれる。

一方、図２０に示すように、搭乗者が片手の指で画像６５３を指し示した場合、制御部５３がジェスチャー操作処理を実行することにより、図１１におけるＳ１１の処理で「片手の指で画像を指し示すジェスチャー」が検出される。また、このとき、部位記憶部５２２が参照され、搭乗者の手の位置及び向き等に基づいて、搭乗者が指し示した画像が小さいアイコンの画像である画像６５３であることも検出される。

次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、「片手で画像を指し示すジェスチャー」に関連付けられた「画像の選択」が読み出される。
次いで、Ｓ１３の処理が実行されることにより、画像６５３が選択されたことを示す表示が行なわれる。

画像６５２と画像６５３とは互いに近い位置にあるが、搭乗者の手の異なる部位と画像の大きさとが関連付けられているので、搭乗者が指し示した画像が画像６５２なのか画像６５３なのかを制御部５３が間違いなく判定することができる。

２次元画像の大小は、例えば２次元画像の面積を所定の閾値と比較することによって判定され、３次元画像の大小は、例えば３次元画像の体積を所定の閾値と比較することによって判定される。
なお、画像の大小は近傍の画像との比較によって判定されてもよい。例えば画像６５３に近接配置されている場合の画像６５２は大きいアイコンの画像であるが、画像６５１に近接配置されている場合の画像６５２は小さいアイコンの画像である。

掌又は指によって画像が選択された後、画像の移動又は削除等のためのジェスチャー操作は、画像を選択した部位を用いて行なわれてもよく、画像を選択した部位とは異なる部位を用いて行なわれてもよい。

次に、搭乗者のジェスチャーとして、両手で行なうものを例示する。
本実施の形態においては、片手のジェスチャー操作はアイコンの画像を対象とし、両手のジェスチャー操作はウィンドウの画像を対象とする。

図１２に示すジェスチャー記憶部５２１には、片手の場合と同様に、両手で画像を指し示すジェスチャーと画像の選択とが関連付けられており、両手を移動させるジェスチャーと画像の移動とが関連付けられている。また、両手で追い払うジェスチャーと画像の削除とが関連付けられている。更に、両手を互いに遠ざけるジェスチャーと画像の拡大とが関連付けられており、両手を互いに近づけるジェスチャーと画像の縮小とが関連付けられている。

図１７に示す部位記憶部５２２には、両手の掌とウィンドウ全体の画像とが関連付けられており、両手の指とウィンドウの一部の画像とが関連付けられている。ここで、ウィンドウ全体の画像とは大きい画像であり、ウィンドウの一部の画像とは小さい画像である。また、ウィンドウの一部とは、ウィンドウの外枠の内側に位置している文字、イラスト、スクロールバー等である。

図２１及び図２２は、フロントウィンドウ１３に表示される画像及び両手のジェスチャーの一例を示す模式図である。図２１及び図２２夫々には正面視のフロントウィンドウ１３と平面視の搭乗者とが示されている。
画像６６１はウィンドウの画像である。図２１には、画像６６１が二点鎖線で表わした大きさから実線で表わした大きさに縮小された状態が示されている。
画像６６１にはイラストの画像６６２が含まれている。画像６６２はウィンドウの一部の画像である。

搭乗者が両手の掌で画像６６１を指し示した場合、制御部５３がジェスチャー操作処理を実行することにより、図１１におけるＳ１１の処理で「両手の掌で画像を指し示すジェスチャー」が検出される。このとき、部位記憶部５２２が参照され、搭乗者の掌の位置及び向き等に基づいて、搭乗者が指し示した画像がウィンドウの画像全体である画像６６１であることも検出される。

次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、「両手で画像を指し示すジェスチャー」に関連付けられた「画像の選択」が読み出される。
次いで、Ｓ１３の処理が実行されることにより、画像６６１が選択されたことを示す表示が行なわれる。

画像６６１の選択後、搭乗者が両手の掌を互いに近づけた場合、制御部５３がジェスチャー操作処理を実行することにより、図１１におけるＳ１１の処理で「両手の掌を互いに近づけるジェスチャー」が検出される。

次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、「両手を互いに近づけるジェスチャー」に関連付けられた「画像の縮小」が読み出される。
次いで、Ｓ１３の処理が実行されることにより、画像６６１全体が縮小表示される。画像６６１の縮小率は、両手が互いに近づいた距離に正比例する。このとき、画像６６１に含まれているイラストの画像６６２も画像６６１と同様に縮小表示される。
搭乗者が両手を互いに遠ざけた場合、画像６６１が拡大表示される。画像６６１の縮小率は、両手が互いに近づいた距離に正比例する。

一方、図２２には、画像６６２が縮小された状態が示されている。
搭乗者が両手の指で画像６６２を指し示した場合、制御部５３がジェスチャー操作処理を実行することにより、図１１におけるＳ１１の処理で「両手の指で画像を指し示すジェスチャー」が検出される。このとき、部位記憶部５２２が参照され、搭乗者の指の位置及び向き等に基づいて、搭乗者が指し示した画像がウィンドウの画像の一部である画像６６２であることも検出される。

次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、「両手で画像を指し示すジェスチャー」に関連付けられた「画像の選択」が読み出される。
次いで、Ｓ１３の処理が実行されることにより、画像６６２が選択されたことを示す表示が行なわれる。

画像６６２の選択後、搭乗者が両手の掌を互いに近づけた場合、制御部５３がジェスチャー操作処理を実行することにより、図１１におけるＳ１１の処理で「両手の掌を互いに近づけるジェスチャー」が検出される。

次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、「両手を互いに近づけるジェスチャー」に関連付けられた「画像の拡大」が読み出される。
次いで、Ｓ１３の処理が実行されることにより、画像６６２が拡大表示される。画像６６２の拡大率は、両手が互いに近づいた距離に正比例する。このとき、画像６６１の大きさは変化しない。イラストの縮小前に、イラストの一部がウィンドウ内に表示されていなかった場合、イラストが縮小されることによってイラストの表示範囲が拡大される。例えば、画像６６２が人間の顔のイラストの画像だった場合、画像６６２の縮小により、画像６６２は人間の上半身のイラストの画像に変化する。

次に、所定のジェスチャー操作による画像の入れ替えを説明する。
例えば、制御部５３は、所定のジェスチャーが行なわれた場合に、一の車窓に表示されている全ての画像と、他の車窓に表示されている全ての画像とを互いに入れ替える。所定のジェスチャーとは、例えば一の車窓を一方の拳で指し示すと共に他の車窓を他方の拳で指し示し、次に両腕を交差させるジェスチャーである。

画像の入れ替えにおいては、各車窓に表示されている画像同士の位置関係及びサイズ比が、入れ替え前と入れ替え後とで等しいことが望ましい。
なお、画像の入れ替えは、車窓とルーフ１５又はＡピラー１６との間で行なわれてもよく、ルーフ１５とＡピラー１６との間で行なわれてもよい。

図２３は、画像の入れ替え時に３つの車窓に表示される画像の一例を示す模式図である。図２３には、３つの車窓及び２つのＡピラー１６の展開図が示されている。
ここでは、左側のサイドウィンドウ１４に表示されている全ての画像と、フロントウィンドウ１３表示されている全ての画像とを互いに入れ替える場合を例示する。
左側のサイドウィンドウ１４には、画像６７１が表示されている。フロントウィンドウ１３には、３つの画像６８１が表示されている。右側のサイドウィンドウ１４には、３つの画像６９１が表示されている。

搭乗者が左拳で左側のサイドウィンドウ１４を指し示すと共に右拳でフロントウィンドウ１３を指し示し、次に両腕を交差させた場合、制御部５３がジェスチャー操作処理を実行することにより、図１１におけるＳ１１の処理で搭乗者のジェスチャーが検出される。このとき、搭乗者の手の位置及び向き等に基づいて、搭乗者が左側のサイドウィンドウ１４とフロントウィンドウ１３とを指し示したことも検出される。

次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、搭乗者のジェスチャーに関連付けられた表示状態（画像の入れ替え）が読み出される。
次いで、Ｓ１３の処理が実行されることにより、左側のサイドウィンドウ１４に表示されている画像６７１とフロントウィンドウ１３に表示されている３つの画像６８１とが互いに入れ替わる。この結果、搭乗者には、画像６７１を含む画面６７と、３つの画像６８１を含む画面６８とが互いに入れ替わり、３つの画像６９１を含む画面６９が変化しないように見える。

同様に、搭乗者が右側に顔を向けながら両腕を交差した場合、フロントウィンドウ１３に表示されている３つの画像６８１と右側のサイドウィンドウ１４に表示されている３つの画像６９１とが互いに入れ替わる。

次に、所定のジェスチャー操作による画像の回転移動を説明する。
例えば、制御部５３は、所定のジェスチャーが行なわれた場合に、車室１ａを中心とする画像の回転移動を行なう。画像の回転移動が行なわれる場合、例えばフロントウィンドウ１３に表示されている全ての画像が、左側又は（右側）のサイドウィンドウ１４に移動する。このとき、左側又は（右側）のサイドウィンドウ１４に表示されている全ての画像は、右側又は（左側）のサイドウィンドウ１４に移動し、右側又は（左側）のサイドウィンドウ１４に表示されている全ての画像は、フロントウィンドウ１３に移動する。このとき、各車窓に表示されている画像同士の位置関係及びサイズ比が、回転移動前と回転移動後とで等しいことが望ましい。

画像の回転移動は、２つのサイドウィンドウ１４とルーフ１５との間で行なわれてもよい。３つの車窓の他、左右２つのリアサイドウィンドウ及びリアウィンドウにも画像が表示される場合、６つの車窓において、一の車窓から隣り合う他の車窓へ、上から見て時計回り又は反時計回りに順に画像が回転移動してもよい。

図２４は、画像の回転移動時に３つの車窓に表示される画像の一例を示す模式図である。図２４には、３つの車窓及び２つのＡピラー１６の展開図が示されている。
ここでは、３つの車窓夫々に表示されている全ての画像を上から見て時計回り又は反時計回りに回転移動させる場合を例示する。また、画像の回転移動を行なうための所定のジェスチャーとして、突き上げた両拳を上から見て時計回り又は反時計回りに回転移動させるジェスチャーを例示する。

搭乗者が突き上げた両拳を時計回りに回転移動させた場合、制御部５３がジェスチャー操作処理を実行することにより、図１１におけるＳ１１の処理で搭乗者のジェスチャーが検出される。このとき、搭乗者の手の位置及び向き等に基づいて、両拳が回転移動した方向も検出される。
次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、搭乗者のジェスチャーに関連付けられた表示状態（画像の回転移動）が読み出される。

次いで、Ｓ１３の処理が実行されることにより、左側のサイドウィンドウ１４に表示されている画像６７１がフロントウィンドウ１３に移動すると共に、フロントウィンドウ１３に表示されている３つの画像６８１が右側のサイドウィンドウ１４に移動する。このとき、右側のサイドウィンドウ１４に表示されている３つの画像６９１は、左側のサイドウィンドウ１４に移動する。この結果、搭乗者には、画像６７１を含む画面６７、３つの画像６８１を含む画面６８、及び３つの画像６９１を含む画面６９が、時計回りに回転移動しているように見える。

同様に、搭乗者が突き上げた両拳を左回りに回転移動させた場合、右側のサイドウィンドウ１４に表示されている３つの画像６９１がフロントウィンドウ１３に移動する。これと共に、フロントウィンドウ１３に表示されている３つの画像６８１が左側のサイドウィンドウ１４に移動する。このとき、左側のサイドウィンドウ１４に表示されている画像６７１は、右側のサイドウィンドウ１４に移動する。

以上のように、制御部５３は、所定のジェスチャーが検出された場合に、一の車窓に表示されている全ての画像を他の車窓に移動させる。故に一の車窓に表示されている複数の画像を同一の他の車窓に移動させる際に、搭乗者が画像を個別に移動させる必要がない。また、３つの車窓の内の２つ夫々に表示されている全ての画像同士を互いに入れ替えたり、３つの車窓夫々に表示されている全ての画像を玉突き状に移動させたりすることができる。以上の結果、利便性が向上される。

３つの車窓夫々に表示されている全ての画像を玉突き状に移動させることは、３つの車窓に対する３つの画面６７，６８，６９の回転移動に限定されない。例えば、３つの車窓に対して４つ以上の画面が回転移動してもよい。
本実施の形態においては、画面６７，６８，６９の何れにも１つ以上の画像が含まれている場合を例示しているが、これに限定されない。例えば、画像が含まれている画面と画像が含まれていない画面とが互いに入れ替えられてもよい。

画像の入れ替え又は回転移動において、Ａピラー１６は、フロントウィンドウ１３（又は隣接しているサイドウィンドウ１４）の一部であるかのように扱われてもよい。例えば前述した画像の入れ替えにおいて、Ａピラー１６がフロントウィンドウ１３の一部として扱われる場合、フロントウィンドウ１３及びＡピラー１６に表示されている全ての画像と、サイドウィンドウ１４に表示されている全ての画像とが互いに入れ替わる。

表示装置２５は、運転に資する情報の提供が不要な場合（例えば駐車中、又は完全な自動運転中）に情報処理装置５の出力装置として用いられてもよい。この場合、例えば前述した画像の入れ替えにおいて、車窓に表示されている全ての画像と表示装置２５に表示されている全ての画像とが互いに入れ替わってもよい。

次に、所定のジェスチャーに応じてメニューリストを表わす画像が表示される場合を例示する。メニューリストを呼び出すための所定のジェスチャーの例として、手を打ち鳴らすジェスチャーを例示する。
図２５及び図２６は、フロントウィンドウ１３に表示される画像及びジェスチャーの一例を示す模式図である。図２５及び図２６夫々には正面視のフロントウィンドウ１３と平面視の搭乗者とが示されている。

フロントウィンドウ１３には、イラストが含まれたウィンドウの画像である画像６６１が表示されている。画像６６１は、両手の掌で指し示すジェスチャー操作によって予め選択されている。
図２５に示すように搭乗者が手を打ち鳴らすジェスチャーを行なった場合、制御部５３がジェスチャー操作処理を実行することにより、図１１におけるＳ１１の処理で搭乗者のジェスチャーが検出される。
次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、搭乗者のジェスチャーに関連付けられた表示状態（メニューリストの呼び出し）が読み出される。

次いで、Ｓ１３の処理が実行されることにより、メニューリストを表わす画像７１１が新たに表示される。
画像７１１に示すメニューリストには、「ファイルの保存」、「ファイルの削除」、及び「ファイルを開く」等のコマンドメニューが含まれている。各コマンドメニューには、自身が選択された場合に実行されるコマンドが関連付けられている。

例えば画像６６１に含まれているイラストの画像データを所定のファイル形式のファイルとして保存したい場合、搭乗者は「ファイルの保存」を選択する。「ファイルの保存」には、ファイルの保存先であるフォルダを選択するためのメニューリストを表示するコマンドが関連付けられている。

搭乗者は画像７１１に示すメニューリストの「保存」の部分を指で指し示す。すると、「保存」に関連付けられたコマンドを制御部５３が実行する。このとき、図２６に示すように、画像７１１に含まれている「保存」の部分（図中ハッチングで示した部分）の色が変化すると共に、フォルダを選択するためのメニューリストを表わす画像７１２が新たに表示される。画像７１２に示すメニューリストには複数のフォルダ名メニューが含まれている。各フォルダ名メニューには、自身が選択された場合に、対応するフォルダにファイルを保存するコマンドが関連付けられている。

この後、図示はしないが、搭乗者が画像７１２に示すメニューリストの「フォルダＦ１」の部分を指で指し示すと、制御部５３により、画像６６１に含まれているイラストの画像データが、補助記憶部５２の「フォルダＦ１」に対応する記憶領域に記憶される。

同様に、保存されているファイルを削除したい場合、搭乗者は「ファイルの削除」を選択する。保存されているファイルを開いてイラストを表示したい場合、搭乗者は「ファイルを開く」を選択する。

以上のような情報処理システム４、コンピュータプログラム５０、及び表示方法によれば、搭乗者が画像の表示状態を非接触で任意に変更させることができる。
また、片手のジェスチャー及び両手のジェスチャーが検出されるので、画像の表示状態の制御に関連付けられるジェスチャーの種類を増やすことができる。
更に、掌に大きい画像が関連付けられ、指に小さい画像が関連づけられている、追い払うジェスチャーによって画像が削除される等、ジェスチャー操作が直感的に分かりやすい。
しかも、画像の表示状態が複数の車窓間で制御される。故に、例えば一の車窓から他の車窓へ画像を移動させること、又は異なる車窓にわたって画像を表示すること等を実現することができる。

なお、所定のジェスチャー操作が行なわれた場合に、既に表示されている画像の表示状態の変更、又は新たな画像の表示が行なわれる構成に限定されない。例えば、所定のジェスチャー操作が行なわれた場合に、座席１１１の移動、折り畳み、又は展開、表示装置２５の立ち上げ又は収納、照明機器１７の点消灯、或いは車載表示部による画像の表示の開始又は終了が行なわれてもよい。また、情報処理システム４がスピーカを備えている場合、ジェスチャー操作によってスピーカから音声が出力されてもよい。

本実施の形態の車両１は３つの車窓、ルーフ１５、及び２つのＡピラー１６に対応して、３つの車窓表示部４２、ルーフ表示部４３、２つのピラー表示部４４を備えるが、これに限定されない。例えばフロントウィンドウ１３に対応する車窓表示部４２がピラー表示部４４を兼ねてもよい。
車両１は、３つの車窓以外の車窓（リアサイドウィンドウ、リアウィンドウ、又はサンルーフ等）に画像を表示する車窓表示部４２を備えていてもよい。

車両１は２つのサイドウィンドウ１４に対応する２つの車窓表示部４２の内、一方を備えていなくてもよい。
車両１は２つのピラー表示部４４の一方又は両方を備えていなくてもよい。ピラー表示部４４が存在しない場合、Ａピラー１６が細いほど、フロントウィンドウ１３とサイドウィンドウ１４とにまたがって表示される画像の違和感が低減される。
車両１はルーフ表示部４３を備えていなくてもよい。

表示装置２５は、車両１の運転開始時に自動的に立ち上がり、車両１が駐車した場合に自動的に収納される構成でもよい。車両１が自動運転車両であれば、表示装置２５は、車両１が手動で運転される場合に自動的に立ち上がり、完全な自動運転が行なわれる場合に自動的に収納される構成でもよい。表示装置２５の揺動の中心軸は左右方向に延びる構成に限定されず、例えば上下方向でもよい。表示装置２５の姿勢（角度）は、運転者の目の位置に応じて自動的に調整される構成でもよい。運転者の目の位置は、例えば運転席の位置、又は撮像部１８で撮像した運転者の２次元画像及び距離画像データ等に基づいて判定される。

情報処理装置５は専用のコンピュータを用いて構成されてもよいが、汎用のコンピュータ、タブレット端末、スマートフォン、又はカーナビゲーション装置を用いて構成されてもよい。
テーブル２の抽斗２３には、プリンタ４５に限定されず、電話機、コピー機、ファクシミリ機器、ノート型のパーソナルコンピュータ等のＯＡ機器が収納されてもよい。これらはデスクワーク中に抽斗２３に収納されたまま、又はテーブル２の上面２ａに載置されて使用される。

実施の形態 ２．
本実施の形態の情報処理システム４は、情報処理装置５の細部の構成を除き、実施の形態１の情報処理システム４と略同様である。以下では、実施の形態１との差異について説明し、その他、実施の形態１と同一の構成要素には同一の符号を付してそれらの説明を省略する。
実施の形態１では１人の搭乗者によるジェスチャー操作を例示した。本実施の形態では複数の搭乗者によるジェスチャー操作を例示する。

図２７は、実施の形態２に係る情報処理装置５で実行されるジェスチャー操作処理の手順を示すフローチャートである。
図２７に示すジェスチャー操作処理のＳ１１、Ｓ１２、及びＳ１３は図１１に示すジェスチャー操作処理のＳ１１、Ｓ１２、及びＳ１３と同様の処理である。実施の形態１においてはＳ１２の処理の終了後にＳ１３の処理が実行されるが、本実施の形態においてはＳ１２の処理の終了後に後述するＳ２１の処理が実行され、Ｓ２１の処理でＹＥＳと判定された場合にＳ１３の処理が実行される。

図２８は、ジェスチャー記憶部５２１に記憶してあるデータの一例を示す模式図である。
図２７に示すＳ２１の処理では、制御部５３は、ジェスチャー操作を行なった人数が所定の人数に達しているか否かを判定する。このために、ジェスチャー記憶部５２１は、図２８に示すように、搭乗者のジェスチャー及び画像の表示状態と所定の人数とを関連付けて記憶している。

図２９及び図３０は、フロントウィンドウ１３に表示される画像及び複数人で行なうジェスチャーの一例を示す模式図である。図２９及び図３０夫々には正面視のフロントウィンドウ１３と平面視の２人の搭乗者とが示されている。
図２９に示すように、フロントウィンドウ１３に表示されている画像７２１は、例えば電子書籍の画像である。

２人の搭乗者の内、一方がページをめくるジェスチャーをした場合、制御部５３がジェスチャー操作処理を実行することにより、図２７におけるＳ１１の処理で「ページをめくるジェスチャー」が検出される。

次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、「ページをめくるジェスチャー」に関連付けられた「次のページの画像に切り替え」及び「全員」が読み出される。
次いで、Ｓ２１の処理が実行される。ページをめくるジェスチャーを行なった人数は１人であって、全員（この場合は２人）ではないので、制御部５３はＳ２１でＮＯと判定し、処理をＳ１１へ戻す。

この結果、フロントウィンドウ１３に表示されている画像７２１は変化しない（図２９参照）。即ち、２人の搭乗者が同じ電子書籍を読んでいる場合に、そのページを読み終えた一方がページをめくろうとしても、まだ読み終えていない他方がそのページを読み続けることができる。

２人の搭乗者の両方がページをめくるジェスチャーをした場合、一方がページをめくるジェスチャーをした場合と同様に、Ｓ１１及びＳ１２の処理が実行される。
次いで、Ｓ２１の処理が実行される。ページをめくるジェスチャーをした人数は全員なので、制御部５３はＳ２１でＹＥＳと判定し、処理をＳ１３へ移す。
Ｓ１３の処理が実行されることにより、フロントウィンドウ１３には次のページの画像である画像７２２が表示される（図３０参照）。即ち、２人の搭乗者が両方ともそのページを読み終えた場合にページをめくることができる。
車両１に１人しか搭乗者がいない場合、Ｓ２１の処理は常にＹＥＳと判定される。

電子書籍のページをめくる例は、複数の搭乗者によるジェスチャー操作によって、全会一致で画像の表示状態が変更される例であるが、これに限定されない。例えば、多数決で画像の表示状態が変更されてもよい。具体的には、動画のサムネイル画像が表示されており、搭乗者の過半数が挙手した場合に限って動画が再生される例が挙げられる。

なお、複数の搭乗者によるジェスチャー操作は同時に行なわれる場合に限定されない。２人の搭乗者の内、一方がページをめくるジェスチャーを行なった後で、他方がページをめくるジェスチャーを行なったときに、画像７２１が画像７２２に切り替えられてもよい。この例では、Ｓ２１の処理でＮＯと判定される都度、所定のジェスチャー操作を行なった人数がカウントアップされ、計数結果が所定の人数に達した場合に、Ｓ２１の処理でＹＥＳと判定される。

複数の搭乗者によるジェスチャーは、個々人が同じジェスチャーを行なうものに限定されず、複数人が協力して１つのジェスチャーを行なうものでもよい。
例えば、２人の搭乗者が夫々の片手を用いてハートマークを形作った場合、制御部５３が図１１に示すジェスチャー操作処理を実行することにより、Ｓ１１の処理で「２人でハートマークを作る」が検出される。次に、Ｓ１２の処理で図２８に示すジェスチャー記憶部５２１が参照され、「２人でハートマークを作る」に関連付けられた「大きいハートマークを表示」が読み出される。次いで、Ｓ１３の処理が実行されることにより、大きいハートマークを表わす画像が表示される。

一方、２人の搭乗者夫々が両手でハートマークを形作った場合、Ｓ１１の処理で「１人でハートマークを作る」が検出され、Ｓ１２の処理で「１人でハートマークを作る」に関連付けられた「小さいハートマークを表示」が読み出される。次いで、Ｓ１３の処理が実行されることにより、小さいハートマークを表わす画像が表示される。以上の処理が２人分行なわれるので、結果として、小さいハートマークを表わす画像が２つ表示される。

複数の搭乗者によるジェスチャー操作は、搭乗者の組み合わせによって結果が異なってもよい。例えば親子によるジェスチャー操作が行なわれた場合は冒険物語のコンテンツリストを示す画像が表示され、夫婦によるジェスチャー操作が行なわれた場合は恋愛物語のコンテンツリストを示す画像が表示される。

ジェスチャー操作を行なう人数の多寡と、画像の多寡、画像に含まれる情報の多寡、又は画像の表示が継続される時間の長短等とが対応していてもよい。
情報処理システム４がスピーカを備えている場合、例えば複数の搭乗者が戦隊ものの決めポーズを取ると、爆炎の画像が表示されるとともに爆発音が出力されてもよい。このために、ジェスチャー記憶部５２１は、図２８に示すように、所定の人数（複数）、搭乗者のジェスチャー（戦隊ものの決めポーズ）、画像の表示状態（爆炎の画像を表示）、及び出力すべき音声（爆発音）を関連付けて記憶している。

実施の形態 ３．
本実施の形態の情報処理システム４は、マイク４６を備える点を除き、実施の形態１の情報処理システム４と略同様である。以下では、実施の形態１との差異について説明し、その他、実施の形態１と同一の構成要素には同一の符号を付してそれらの説明を省略する。
実施の形態１ではジェスチャー操作を例示した。本実施の形態ではジェスチャーと音声との組み合わせによる操作を例示する。

図３１は、実施の形態３に係る車両１に搭載された情報処理システム４の要部構成を示すブロック図である。
マイク４６は搭乗者が発した音声を収集する。マイク４６が収集した音声は情報処理装置５に与えられる。

図３２は、情報処理装置５で実行されるジェスチャー操作処理の手順を示すフローチャートである。
図３２に示すジェスチャー操作処理のＳ１１、Ｓ１２、及びＳ１３は図１１に示すジェスチャー操作処理のＳ１１、Ｓ１２、及びＳ１３と同様の処理である。実施の形態１においてはＳ１１の処理の終了後にＳ１２の処理が実行される。一方、本実施の形態においてはＳ１１の処理の終了後、又はＳ１１の処理と同時的に、後述するＳ３１の処理が実行され、Ｓ１１の処理及びＳ３１の処理の両方が終了した場合にＳ１２の処理が実行される。

図３３は、ジェスチャー記憶部５２１に記憶してあるデータの一例を示す模式図である。
ジェスチャー記憶部５２１は、搭乗者のジェスチャー及び画像の表示状態と搭乗者の音声とを関連付けて記憶している。図３２に示すＳ３１の処理では、制御部５３はマイク４６から与えられた音声に基づいて搭乗者の音声を検出する。

図３４及び図３５は、フロントウィンドウ１３に表示される画像とジェスチャー及び音声との一例を示す模式図である。図３４及び図３５夫々には正面視のフロントウィンドウ１３と平面視の搭乗者とが示されている。
例えば搭乗者はデスクワークとして趣味の創作活動を行なう場合に、趣味用のアプリとしてエディタ、描画用のアプリ、作曲用のアプリ、及びブラウザを使用する。このため、フロントウィンドウ１３には、エディタ、描画用のアプリ、作曲用のアプリ、及びブラウザを起動させるためのアイコンの画像６１１，６２１，６３１，６４１が表示される（図３４参照）。

一方、デスクワークとして業務上の書類制作を行なう場合、搭乗者は仕事用のアプリとしてワープロソフト、表計算用のアプリ、メーラ、及びブラウザを使用する。このため、フロントウィンドウ１３には、ワープロソフト、表計算用のアプリ、メーラ、及びブラウザを起動させるためのアイコンの画像７３１，７３２，７３３，６４１が表示される（図３５参照）。

図３４に示すように、搭乗者が人差し指を前に突き出しながら「趣味」と言った場合、制御部５３が図３２に示すジェスチャー操作処理を実行することにより、Ｓ１１の処理で「人差し指を前に突き出すジェスチャー」が検出される。また、Ｓ３１の処理で「趣味」という音声が検出される。

次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、「人差し指を前に突き出すジェスチャー」と「趣味」とに関連付けられた「趣味用のアプリのアイコン」が読み出される。
次いで、Ｓ１３の処理が実行されることにより、趣味用のアプリのアイコンの画像である画像６１１，６２１，６３１，６４１がフロントウィンドウ１３に表示される。

図３５に示すように、搭乗者が人差し指を前に突き出しながら「仕事」と言った場合、制御部５３が図３２に示すジェスチャー操作処理を実行することにより、Ｓ１１の処理で「人差し指を前に突き出すジェスチャー」が検出される。また、Ｓ３１の処理で「仕事」という音声が検出される。

次に、Ｓ１２の処理でジェスチャー記憶部５２１が参照され、「人差し指を前に突き出すジェスチャー」と「仕事」とに関連付けられた「仕事用のアプリのアイコン」が読み出される。
次いで、Ｓ１３の処理が実行されることにより、仕事用のアプリのアイコンの画像である画像７３１，７３２，７３３，６４１がフロントウィンドウ１３に表示される。

なお、ジェスチャーと音声との組み合わせによる操作で画像の表示状態が変更される構成に限定されず、例えば、無人の車両１に乗り込んだ搭乗者が人差し指を前に突き出しながら「さぁ行こう」と言った場合、車両１の全ての電源がオンになってもよい。

搭乗者のジェスチャー及び表示状態は実施の形態１～３にて例示したものに限定されない。例えば、搭乗者が両手を上下左右に振った場合、表示されている画像全てが選択される。片手の指で小さい画像が選択され、その指で手招きすると（又は片手を握った状態から広げた状態にすると）、画像が拡大される。片手の掌で大きい画像が選択され、その手を握ると画像が縮小される。

また、手と体の他の部位（頭、肩、膝等）とを用いて行なうジェスチャー、手と車室１ａ内の各部（例えばテーブル２）又は物品（ハンカチ、ペン等）とを用いて行なうジェスチャー等が用いられてもよい。
ジェスチャーは搭乗者が意識的に行なうものに限定されない。

ジェスチャーが検出される空間又は対象が限定されてもよい。例えば、車載表示部の近傍に位置する手についてのみジェスチャーが検出される。或いは、車室１ａの前部にある座席１１１に着座している搭乗者のジェスチャーのみが検出される。この場合、車室１ａの後部にある着座している搭乗者が勝手にジェスチャー操作することを防止することができる。
画像の表示状態の制御に関連付けられるジェスチャーを複雑にして、ジェスチャー操作にゲーム、ダンス等のエンターテイメント性を与えてもよい。

ジェスチャーの検出は、撮像部１８から得られた画像データ又は距離画像データに基づいて行なわれる構成に限定されない。例えば、撮像部１８に替えて赤外線センサを備え、赤外線センサの検出結果に基づいてジェスチャーが検出されてもよい。

表示される画像は、実施の形態１～３にて例示したものに限定されない。例えば、車両１の現在地の周辺に存在するオブジェクト、現在時刻、気象状態、又は車外の音声等の車外の情報に関する画像が表示されてもよい。或いは、室温、乗車人数等、車室１ａ内の情報に関する画像が表示されてもよい。出発地、目的地、車速等、運転に関する画像が表示されてもよい。車種、総走行距離等、車両１に関する画像が表示されてもよい。

搭乗者の感情に関する画像を表示する場合、例えば、搭乗者が喜んでいるとき、又は楽しんでいるときは、搭乗者の感情を強めるために、明るい雰囲気の画像が表示される。一方、搭乗者が怒っているとき、又は悲しんでいるときは、搭乗者の感情を弱めるために、落ち着いた雰囲気の画像が表示される。
出発地及び目的地に関する画像を表示する場合、例えば、自宅から職場へ向かう往路であれば、搭乗者の意欲を高めるための画像（例えば偉人の格言を表わす画像）が表示される。一方、職場から自宅へ向かう復路であれば、搭乗者の疲れを癒すための画像（例えば自然の風景を表わす画像）が表示される。

今回開示された実施の形態は、全ての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上述した意味ではなく、特許請求の範囲と均等の意味及び特許請求の範囲内での全ての変更が含まれることが意図される。
各実施の形態に開示されている構成要件（技術的特徴）はお互いに組み合わせ可能であり、組み合わせによって新しい技術的特徴を形成することができる。

１ 車両
１３ フロントウィンドウ（車窓）
１４ サイドウィンドウ（車窓）
１５ ルーフ
１６ Ａピラー（フロントピラー）
４ 情報処理システム
４２ 車窓表示部
４３ ルーフ表示部（車室表示部）
４４ ピラー表示部（車室表示部）
５０ コンピュータプログラム
５３ 制御部５３（検出部，表示制御部）

Claims (10)

1. 車両の複数の車窓に画像を表示する車窓表示部と、
   前記車両の搭乗者のジェスチャーを検出する検出部と、
   該検出部が検出したジェスチャーに応じて、前記車窓表示部による前記画像の表示状態を前記複数の車窓の間で制御する表示制御部と
   を備え、
   前記搭乗者の手の異なる部位と前記画像の大きさとが互いに関連付けられており、
   前記検出部は、前記搭乗者の手の部位を検出し、
   前記表示制御部は、前記検出部が検出した部位に関連付けられている大きさの前記画像の表示状態を制御することを特徴とする情報処理システム。
2. 前記複数の車窓には、フロントウィンドウ及び該フロントウィンドウの左右に隣り合うサイドウィンドウが含まれており、
   互いに隣り合う車窓にわたって前記画像の表示が可能であることを特徴とする請求項１に記載の情報処理システム。
3. 前記車両のルーフの内面又はフロントピラーの内面に画像を表示する車室表示部を更に備え、
   前記ルーフ又は前記フロントピラー及び該ルーフ又は前記フロントピラーに隣り合う車窓にわたって前記画像の表示が可能であることを特徴とする請求項１又は２に記載の情報処理システム。
4. 前記検出部は、前記搭乗者の両手を用いたジェスチャーを検出することを特徴とする請求項１から３の何れか一項に記載の情報処理システム。
5. 前記検出部が検出したジェスチャーが追い払うジェスチャーである場合、前記表示制御部は表示されている前記画像を削除することを特徴とする請求項１から４の何れか一項に記載の情報処理システム。
6. 前記車両の状態に応じて、前記画像の大きさ又は表示位置が切り替わることを特徴とする請求項１から５の何れか一項に記載の情報処理システム。
7. 前記検出部が検出したジェスチャーが所定のジェスチャーである場合、前記表示制御部は、前記複数の車窓の内の第１の車窓に表示されている全ての画像を第２の車窓に移動させると共に、該第２の車窓に表示されている全ての画像を前記第１の車窓又は第３の車窓に移動させることを特徴とする請求項１から６の何れか一項に記載の情報処理システム。
8. 車両の複数の車窓に画像を表示し、
   前記車両の搭乗者のジェスチャーを検出し、
   検出したジェスチャーに応じて、前記画像の表示状態を前記複数の車窓の間で制御し、
   前記搭乗者の手の部位を検出し、
   前記搭乗者の手の異なる部位と前記画像の大きさとを互いに関連付けて記憶する記憶部を参照し、
   検出した部位に関連付けられている大きさの前記画像の表示状態を制御する
   処理をコンピュータに実行させることを特徴とするコンピュータプログラム。
9. 車両の複数の車窓に画像を表示し、
   前記車両の搭乗者のジェスチャーを検出し、
   検出したジェスチャーに応じて、前記画像の表示状態を前記複数の車窓の間で制御し、
   前記搭乗者の手の異なる部位と前記画像の大きさとが互いに関連付けられており、
   前記搭乗者の手の部位を検出し、
   検出した部位に関連付けられている大きさの前記画像の表示状態を制御することを特徴とする表示方法。
10. 車両の複数の車窓に画像を表示する車窓表示部と、
    前記車両の搭乗者のジェスチャーを検出する検出部と、
    所定のジェスチャーを行なった人数を判定する判定部と、
    前記検出部が検出したジェスチャー及び前記判定部が判定した人数に応じて、複数人が協力して１つのジェスチャーを行なったか複数人が個々に１つのジェスチャーを行なったかを判定する第２の判定部と、
    該第２の判定部の判定結果が複数人協力である場合、前記車窓表示部による前記画像の表示状態を前記複数の車窓の間で第１の態様で制御し、前記第２の判定部の判定結果が複数人個々である場合、前記車窓表示部による前記画像の表示状態を前記複数の車窓の間で前記第１の態様とは異なる第２の態様で制御する表示制御部と
    を備えることを特徴とする情報処理システム。

Images