WO2022003830A1

WO2022003830A1 - 制御装置、制御方法、及びコンピュータ可読媒体

Info

Publication number: WO2022003830A1
Application number: PCT/JP2020/025685
Authority: WO
Inventors: 紘也高田; 尚志水本
Original assignee: 日本電気株式会社
Priority date: 2020-06-30
Filing date: 2020-06-30
Publication date: 2022-01-06
Also published as: JPWO2022003830A1

Abstract

制御装置（３０）は投射装置（５０）を制御する。投射装置（５０）は、同一の筐体内に投射部（２０）及び受光部（６０）を有する。投射部（２０）は照射光を投射する。受光部（６０）は照射光の反射光を撮像して撮像画像を生成する。制御装置（３０）は、投射部（２０）を制御して、操作画像を表す照射光を被投射面上に投射させる。制御装置（３０）は、受光部（６０）によって生成される撮像画像を利用して、被投射面上の複数の位置それぞれまでの距離を算出する。制御装置（３０）は、複数の位置それぞれについて算出した距離に基づいて、操作画像に対して操作を加える指示体の位置を特定することにより、指示体による入力操作の内容を特定する。制御装置（３０）は、特定した入力操作の内容を表す入力情報を出力する。

Description

制御装置、制御方法、及びコンピュータ可読媒体

　本発明は、入力操作に用いる画像を投射する投射装置の制御に関する。

　近年、プロジェクタから投影したユーザインターフェース（以下、UI：User Interface）に対して直感的に情報入力できるシステムが報告されている。例えば特許文献１は、投影装置と撮像装置を利用して、地面に投影した入力キーに対する入力操作を認識する電子装置を開示している。投影装置は、入力キーの画像をエレベータの前の地面に投影する。撮像装置は、入力キーの画像が投影されている場所を撮像する。電子装置は、撮像装置から得た撮像画像を解析し、当該撮像画像から認識できないキー（すなわち、足などで隠れているキー）が操作されたことを検出する。

国際公開第２０１２／１２０９６０号

　特許文献１の電子装置を利用するためには、投影装置と撮像装置の双方を設ける必要がある。そのため、電子装置を利用するためには、これら２つの装置を設けることができるスペースが必要であり、設置場所が限定されてしまう。

　本発明の目的は上述した課題に鑑みてなされたものであり、その目的は、投影された画像に対する入力操作を認識する装置を、より広範な場所で利用可能とする技術を提供することである。

　本開示の制御装置は投射装置を制御する。前記投射装置は、照射光を投射する投射部と、前記照射光の反射光を撮像して撮像画像を生成する受光部と、を同一の筐体内に有する。
　当該制御装置は、前記投射装置を制御して、操作画像を表す照射光を被投射面上に投射させる投射制御部と、前記受光部によって生成される撮像画像を利用して、前記被投射面上の複数の位置それぞれまでの距離を算出する測距部と、前記複数の位置それぞれについて算出した距離に基づいて、前記操作画像に対して操作を加える指示体の位置を特定することにより、前記指示体による入力操作の内容を特定する入力特定部と、前記特定した入力操作の内容を表す入力情報を出力する出力部と、を有する。

　本開示の制御方法は、投射装置を制御するコンピュータによって実行される。前記投射装置は、照射光を投射する投射部と、前記照射光の反射光を撮像して撮像画像を生成する受光部と、を同一の筐体内に有する。
　当該制御方法は、前記投射装置を制御して、操作画像を表す照射光を被投射面上に投射させる投射制御ステップと、前記受光部によって生成される撮像画像を利用して、前記被投射面上の複数の位置それぞれまでの距離を算出する測距ステップと、前記複数の位置それぞれについて算出した距離に基づいて、前記操作画像に対して操作を加える指示体の位置を特定することにより、前記指示体による入力操作の内容を特定する入力特定ステップと、前記特定した入力操作の内容を表す入力情報を出力する出力ステップと、を有する。

　本開示のコンピュータ可読媒体は、本開示の制御方法をコンピュータに実行させるプログラムを格納している。

　本発明によれば、投影された画像に対する入力操作を認識する装置を、より広範な場所で利用可能とする技術が提供される。

本実施形態に係る制御装置を含む情報入力システムの構成を示すブロック図である。本実施形態の情報入力システムの典型的な利用シーンを示す概念図である。制御装置の機能構成を例示するブロック図である。制御装置を実現するコンピュータのハードウエア構成を例示するブロック図である。投射部の構成を示すブロック図である。投射部に含まれる光学系の構成例を示す概念図である。受光部の構成を示すブロック図である。実施形態１の制御装置によって実行される処理の流れを例示するフローチャートである。測距画像のバリエーションを例示する図である。

　以下に、本発明を実施するための形態について図面を用いて説明する。ただし、以下に述べる実施形態には、本発明を実施するために技術的に好ましい限定がされているが、発明の範囲を以下に限定するものではない。なお、以下の実施形態の説明に用いる全図においては、特に理由がない限り、同様箇所には同一符号を付す。また、以下の実施形態において、同様の構成・動作に関しては繰り返しの説明を省略する場合がある。また、以下の実施形態において、図面中ブロック間における矢印の向きは、信号の流れの一例を端的に示したものであり、信号の流れの方向を限定するものではない。

［実施形態１］
　＜概要＞
　図１は、本実施形態に係る制御装置３０を含む情報入力システム１の構成を示すブロック図である。情報入力システム１は、投射装置５０及び制御装置３０を備える。これら装置は、同一の筐体に納められた状態で設置されてもよいし、個別に設置されていてもよい。

　制御装置３０は、投射装置５０を制御する装置である。投射装置５０は、投射部２０及び受光部６０を有する。投射装置５０は、画像を表す光を投射することによって当該画像の投影を行う。受光部６０は、投射部２０によって投射された光の反射光を受光することで撮像画像を生成する。投射部２０と受光部６０は、共通の１つの筐体の中に設けられている。

　図２は、本実施形態の情報入力システム１の典型的な利用シーンを示す概念図である。例えば、本実施形態の情報入力システム１は、セキュリティレベルの高い場所の入り口などにおいてパスワードなどの認証情報を入力するために使用される。図２では、入り口付近の天井に投射装置５０が設置されている。また、投射装置５０の下方の被投射面４０に対し、認証対象者（以下、対象者）によって操作されるユーザインターフェース（以下、UI：User Interface）を表す画像が投射されている。以下、投射装置５０によって被投射面上に投射される画像（所望の表示情報（文字、記号、又は枠など）を表す画像）のことを、操作画像と表記する。

　図２のように、投射装置５０から投射される照射光が通過する空間（以下、投射空間）は、例えば、投射装置５０の投射部分を頂点とする略四角錐の内部の三次元空間である。ただし、投射空間の形状は略四角錐には限定されず、略円錐などといった種々の形状とすることができる。

　制御装置３０は、入力操作のための UI を表す操作画像が被投射面４０に表示されるように、投射装置５０の投射部２０に照射光を投射させる。被投射面４０は、対象者が当該被投射面４０上に表示された操作画像を足で操作できる場所であることが好ましい。例えば被投射面４０は、地面（床も含む）、又は地面上に設けられた物体（板など）のように、対象者が足で踏むことが容易な場所である。

　制御装置３０は、受光部６０によって生成される撮像画像を用いて（すなわち、投射部２０から投射された光が撮像された撮像画像を用いて）、被投射面４０上の指示体の位置を特定し、特定した位置に基づいて、当該指示体が操作画像に対して行った入力操作の内容を特定する。例えば指示体は、対象者の足などである。

　ここで、指示体の位置の特定は、上記撮像画像を利用した測距によって実現される。具体的には、制御装置３０は、撮像画像を利用して、被投射面４０上の複数の位置それぞれについて、投射装置５０からの距離を算出する。そして、制御装置３０は、算出された各位置までの距離に基づいて、指示体の位置を特定する。投射装置５０から足などの指示体が存在する位置までの距離は、投射装置５０から被投射面４０までの距離よりも短くなる。そのため、上述した測距により、指示体の位置を特定することができる。

　制御装置３０は、特定した入力操作の内容を表す情報（以下、入力情報）を、当該入力操作に応じた処理を行う装置（以下、処理装置）へ送信する。例えば、情報入力システム１を認証に利用する場合、情報入力システム１によって検出された入力操作に応じて認証を行う装置が処理装置となる。なお、処理装置は、制御装置３０と同一の筐体に納められていてもよいし、別途設置されていてもよい。後者の場合、例えば、ネットワークを介して制御装置３０と接続されているサーバマシン等などで、処理装置を実現することができる。

＜作用効果の一例＞
　本実施形態の制御装置３０によれば、投射装置５０に含まれる投射部２０を利用して被投射面４０に投射された操作画像に対する入力操作が、同じく投射装置５０に含まれる受光部６０を利用して行った測距の結果に基づいて特定される。そして、投射部２０と受光部６０は、共通の１つの筐体の中に設けられている。このように、操作画像の表示と当該操作画像に対する入力操作の内容の特定を、共通の１つの筐体の中に設けられている装置で実現できる。そのため、操作画像の投射を行う装置と、当該操作画像に対する入力操作の内容の特定を行う装置が、互いに異なる筐体の中に設けられるケースと比較し、装置のサイズを小さくすることができる。

　また、投射部２０は、操作画像の投射と、測距のための光の投射という２つの役割を持つ。言い換えれば、操作画像を表示するための光の投射、及び測距のための光の投射という２つの機能を、投射部２０という１つの構成要素で実現することができる。そのため、この点からも、投射装置５０のサイズを小さくすることが可能である。

　以下、本実施形態の情報入力システム１について、より詳細に説明する。

＜機能構成の例＞
　図３は、制御装置３０の機能構成を例示するブロック図である。図３のように、制御装置３０は、投射制御部３１、測距部３２、入力特定部３３、及び出力部３４を有する。投射制御部３１は、投射部２０を制御して、操作画像を表す照射光を被投射面４０上に投射させる。測距部３２は、受光部６０によって生成される撮像画像を利用して、被投射面４０上の複数の位置それぞれまでの距離を算出する。入力特定部３３は、複数の位置それぞれについて算出した距離に基づいて、操作画像に対して操作を加える指示体の位置を特定する。そして、入力特定部３３は、特定した指示体の位置に基づいて、指示体による入力操作の内容を特定する。出力部３４は、特定した入力操作の内容を表す入力情報を出力する。

＜制御装置３０のハードウエア構成の例＞
　制御装置３０の各機能構成部は、各機能構成部を実現するハードウエア（例：ハードワイヤードされた電子回路など）で実現されてもよいし、ハードウエアとソフトウエアとの組み合わせ（例：電子回路とそれを制御するプログラムの組み合わせなど）で実現されてもよい。以下、制御装置３０の各機能構成部がハードウエアとソフトウエアとの組み合わせで実現される場合について、さらに説明する。

　図４は、制御装置３０を実現するコンピュータ５００のハードウエア構成を例示するブロック図である。コンピュータ５００は、任意のコンピュータである。例えばコンピュータ５００は、SoC（System on a Chip）や SiP（System in a Package）などの集積回路である。その他にも例えば、コンピュータ５００は、スマートフォンやタブレット端末などといった可搬型のマシンや、PC（Personal Computer）やサーバマシンなどの据え置き型のマシンであってもよい。コンピュータ５００は、制御装置３０を実現するために設計された専用のコンピュータであってもよいし、汎用のコンピュータであってもよい。

　コンピュータ５００は、バス５０２、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２を有する。バス５０２は、プロセッサ５０４、メモリ５０６、ストレージデバイス５０８、入出力インタフェース５１０、及びネットワークインタフェース５１２が、相互にデータを送受信するためのデータ伝送路である。ただし、プロセッサ５０４などを互いに接続する方法は、バス接続に限定されない。

　プロセッサ５０４は、CPU（Central Processing Unit）、GPU（Graphics Processing Unit）、又は FPGA（Field－Programmable Gate Array）などの種々のプロセッサである。メモリ５０６は、RAM（Random Access Memory）などを用いて実現される主記憶装置である。ストレージデバイス５０８は、ハードディスク、SSD（Solid State Drive）、メモリカード、又は ROM（Read Only Memory）などを用いて実現される補助記憶装置である。

　入出力インタフェース５１０は、コンピュータ５００と入出力デバイスとを接続するためのインタフェースである。例えば入出力インタフェース５１０には、図４に示すように、投射装置５０が接続される。また、入出力インタフェース５１０には、キーボードなどの入力装置や、ディスプレイ装置などの出力装置が接続されてもよい。

　ネットワークインタフェース５１２は、コンピュータ５００をネットワークに接続するためのインタフェースである。このネットワークは、LAN（Local Area Network）であってもよいし、WAN（Wide Area Network）であってもよい。例えばネットワークインタフェース５１２には、入力情報の送信先となる処理装置が接続される。

　ストレージデバイス５０８は、制御装置３０の各機能構成部を実現するプログラムを記憶している。プロセッサ５０４は、このプログラムをメモリ５０６に読み出して実行することで、制御装置３０の各機能構成部を実現する。

　制御装置３０は、１つのコンピュータ５００で実現されてもよいし、複数のコンピュータ５００で実現されてもよい。後者の場合において、各コンピュータ５００の構成は同一である必要はなく、それぞれ異なるものとすることができる。

＜投射部２０の構成＞
　投射部２０の構成について、図面を参照しながら説明する。図５は、投射部２０の構成を示すブロック図である。また、図６は、投射部２０に含まれる光学系の構成例を示す概念図である。

　図５のように、投射部２０は、光源２１と、光源駆動電源２２と、空間光変調素子２３と、変調素子駆動手段２４と、投射光学系２５とを備える。なお、図５は概念的なものであり、各構成要素間の位置関係や、光の照射方向などを正確に表したものではない。

　光源２１は、特定波長の光１１０を出射する。例えば、レーザ光源を光源２１として用いることができる。光源２１から出射される光１１０は、位相がそろったコヒーレントな光であることが好ましい。通常、光源２１は、可視領域の光を出射するように構成する。なお、光源２１は、赤外領域や紫外領域などの可視領域以外の光を出射するように構成してもよい。また、光源２１は、発光ダイオードや白熱電球、放電管などのレーザ光源以外で構成してもよい。

　図６のように、光源２１が出射した光１１０は、コリメータ２１０によってコヒーレントな光１１０となり、空間光変調素子２３の表示部に入射される。例えば、複数の波長の光を出射するように光源２１を構成すれば、光源２１から出射する光の波長を変えることによって、表示情報の色を変更することができる。また、異なる波長の光を同時に出射するように光源２１を構成すれば、複数の色によって構成される表示情報を表示させることができる。

　光源駆動電源２２（光源駆動手段ともよぶ）は、制御装置３０の制御に応じて光源２１を駆動させて、光源２１から光を出射させるための電源である。

　空間光変調素子２３は、変調素子駆動手段２４の制御に応じて、被投射面４０に所望の操作画像を表示することができる照射光を生成するためのパターン（以下、変調パターン）を、自身の表示部に表示する。本実施形態においては、空間光変調素子２３の表示部に変調パターンが表示された状態で、その表示部に光１１０を照射する。空間光変調素子２３は、入射される光１１０の反射光（変調光１３０）を投射光学系２５に向けて出射する。

　ここで、図６のように、空間光変調素子２３の表示部に対して光１１０の入射角を非垂直にすることが好ましい。すなわち、光源２１からの光１１０の出射軸を空間光変調素子２３の表示部に対して斜めにする。このように、空間光変調素子２３の表示部に対して光１１０の出射軸を斜めに設定すれば、ビームスプリッタを用いなくても空間光変調素子２３の表示部に光１１０を入射できるため、効率を向上させることができる。

　空間光変調素子２３は、位相がそろったコヒーレントな光１１０の入射を受け、入射された光１１０の位相を変調する位相変調型の空間光変調素子によって実現できる。位相変調型の空間光変調素子２３を用いた投射光学系からの出射光は、フォーカスフリーであるため、複数の投射距離に設定される表示領域に光を投射することになっても投射距離ごとに焦点を変える必要がない。なお、空間光変調素子２３は、各表示領域に表示情報を表示できるのであれば位相変調型とは異なる方式の素子であってもよいが、フォーカスフリーを実現するためには位相変調型の素子である方が好ましい。

　位相変調型の空間光変調素子２３の表示部には、操作画像内の表示情報の位相分布が表示される。この場合、空間光変調素子２３の表示領域で反射された変調光１３０は、一種の回折格子が集合体を形成したような画像になり、回折格子で回折された光が集まるように画像が形成される。

　空間光変調素子２３は、例えば、強誘電性液晶やホモジーニアス液晶、垂直配向液晶などを用いた空間光変調素子によって実現される。空間光変調素子２３は、具体的には、LCOS（Liquid Crystal on Silicon）によって実現できる。また、空間光変調素子２３は、例えば、MEMS（Micro Electro Mechanical System）によって実現してもよい。

　位相変調型の空間光変調素子２３では、照射光を投射する表示領域を順次切り替えるように動作させることによってエネルギーを表示情報の部分に集中することができる。そのため、位相変調型の空間光変調素子２３を用いれば、光源の出力が同じであれば、その他の方式のものよりも表示情報を明るく表示させることができる。

　変調素子駆動手段２４は、制御装置３０の制御に応じて、変調パターンを空間光変調素子２３の表示部に表示させる。変調素子駆動手段２４は、空間光変調素子２３の表示部に照射される光１１０の位相と、表示部で反射される変調光１３０の位相との差分を決定づけるパラメータが変化するように空間光変調素子２３を駆動する。

　位相変調型の空間光変調素子２３の表示部に照射される光１１０の位相と、表示部で反射される変調光１３０の位相との差分を決定づけるパラメータは、例えば、屈折率や光路長などの光学的特性に関するパラメータである。例えば、変調素子駆動手段２４は、空間光変調素子２３の表示部に印加する電圧を変化させることによって、表示部の屈折率を変化させる。その結果、表示部に照射された光１１０は、表示部の屈折率に基づいて適宜回折される。すなわち、位相変調型の空間光変調素子２３に照射された光１１０の位相分布は、表示部の光学的特性に応じて変調される。なお、変調素子駆動手段２４による空間光変調素子２３の駆動方法はここで挙げた限りではない。

　投射光学系２５は、空間光変調素子２３で変調された変調光１３０を照射光１５０として投射する。図６のように、投射光学系２５は、フーリエ変換レンズ２５１、アパーチャ２５２および投射レンズ２５３を有する。空間光変調素子２３で変調された変調光１３０は、投射光学系２５によって照射光１５０として照射される。なお、各表示領域に表示情報を表示させることができれば、投射光学系２５の構成要素のうちいずれかを省略して構成してもよい。

　フーリエ変換レンズ２５１は、空間光変調素子２３の表示部で反射された変調光１３０を無限遠に投射した際に形成される像を、近傍の焦点に結像させるための光学レンズである。図６では、アパーチャ２５２の位置に焦点が形成されている。

　アパーチャ２５２は、フーリエ変換レンズ２５１によって集束された光に含まれる高次光を遮蔽し、表示領域を特定する機能を有する。アパーチャ２５２の開口部は、アパーチャ２５２の位置における表示領域の最外周よりも小さく開口され、アパーチャ２５２の位置における表示情報の周辺領域を遮るように設置される。例えば、アパーチャ２５２の開口部は、矩形状や円形状に形成される。アパーチャ２５２は、フーリエ変換レンズ２５１の焦点位置に設置されることが好ましいが、高次光を消去する機能を発揮できれば焦点位置からずれていても構わない。

　投射レンズ２５３は、フーリエ変換レンズ２５１によって集束された光を拡大して投射する光学レンズである。投射レンズ２５３は、空間光変調素子２３に入力された位相分布に対応する表示情報が各表示領域に表示されるように照射光１５０を投射する。

　単純な記号などの線画を投射する用途に情報入力システム１を用いる場合、投射光学系２５から投射された照射光１５０は、各表示領域に均一に投射されるのではなく、文字や記号、枠などといった表示情報を表す部分に集中的に投射される。そのような場合、情報入力システム１によれば、光１１０の出射量を実質的に減らせるため、全体的な光出力を抑えることができる。すなわち、情報入力システム１は、小型かつ低電力な光源２１で構成できるため、その光源２１を駆動する光源駆動電源２２を低出力にでき、全体的な消費電力を低減できる。

＜受光部６０の構成＞
　受光部６０の構成について、図面を参照しながら説明する。図７は、受光部６０の構成を示すブロック図である。図７の受光部６０は、受光光学系６１、撮像素子６２、画像処理プロセッサ６３、メモリ６４、及び出力回路６５を有する。

　受光光学系６１は、撮像する光を撮像素子６２へ導くための光学系であり、例えば、シャッタとレンズを有する。撮像素子６２は、投射部２０から投射された光を撮像するための素子である。例えば撮像素子６２は、半導体部品が集積回路化された光電変換素子であり、複数の受光領域が格子状に配置された構造を有する。撮像素子６２は、例えば、CCD（Charge-Coupled Device）や COMS（Complementary Metal-Oxide-Semiconductor）などの固体撮像素子によって実現できる。CCD や COMS は、アレイ状に配置された複数の受光領域を有する。

　画像処理プロセッサ６３は、撮像素子６２によって生成された画像データに対して、暗電流補正や補間演算、色空間変換、ガンマ補正、収差の補正、ノイズリダクション、又は画像圧縮などの画像処理を実行する集積回路である。なお、画像情報を加工しない場合は、画像処理プロセッサ６３を省略してもよい。

　メモリ６４は、画像処理プロセッサ６３によって画像処理を行う際に処理しきれない画像データや、処理済みの画像データを一時的に格納する記憶素子である。なお、撮像素子６２によって撮像された画像データをメモリ６４に一時的に記憶するように構成してもよい。メモリ６４は、一般的なメモリによって構成すればよい。

　出力回路６５は、画像処理プロセッサ６３によって処理された画像データを制御装置３０に出力する。制御装置３０は、出力回路６５から出力される画像データを、前述した撮像画像として取得する。

＜処理の流れ＞
　図８は、実施形態１の制御装置３０によって実行される処理の流れを例示するフローチャートである。投射制御部３１は、投射装置５０の投射部２０を制御して、操作画像を表す照射光を被投射面４０上に投射させる（Ｓ１０２）。測距部３２は、受光部６０によって生成される撮像画像を利用して、被投射面４０上の複数の位置それぞれまでの距離を算出する（Ｓ１０４）。入力特定部３３は、複数の位置それぞれについて算出した距離に基づいて、操作画像に対して操作を加える指示体の位置を特定する（Ｓ１０６）。入力特定部３３は、特定した指示体の位置に基づいて、指示体による入力操作の内容を特定する（Ｓ１０８）。出力部３４は、特定した入力操作の内容を表す入力情報を出力する（Ｓ１１０）。なお、入力操作が行われるまでは、Ｓ１０６において、指示体が検出されない。そこで例えば、制御装置３０は、指示体が検出されるまではＳ１０２からＳ１０６を繰り返し実行し、指示体が検出されたら、Ｓ１０８以降を実行する。

＜操作画像の投射：Ｓ１０２＞
　投射制御部３１は、撮像画像を表す光を被投射面４０に投射するように、投射部２０を制御する（Ｓ１０２）。前述したように、投射部２０から所望の画像を表す照射光が投射されるようにするためには、空間光変調素子２３の表示部に、当該所望の画像に対応する変調パターンが表示された状態で、その表示部に光１１０を照射する。

　そこで例えば、投射制御部３１は、所望の操作画像（すなわち、対象者に提示すべき表示情報を含む操作画像）に対応する変調パターンを、空間光変調素子２３の表示部に設定した上で、光源２１に光１１０を出力させる。こうすることで、投射部２０から、当該操作画像を表す照射光１５０が投射される。その結果として、被投射面４０上に、操作画像が表示される。なお、所望の画像に対応する変調パターンを空間光変調素子２３の表示部に設定する方法には、既存の技術を利用することができる。

　ここで、操作画像に対応する変調パターンは、予め用意されていてもよいし、投射制御部３１によって生成されてもよい。後者の場合、投射制御部３１は、操作画像を変調パターンに変換する処理を行う。画像を変調パターンに変換する技術には、既存の技術を利用することができる。

　所望の操作画像やそれに対応する変調パターンを投射制御部３１が取得する方法は任意である。例えば、操作画像の識別情報と操作画像とを対応づけて、投射制御部３１からアクセス可能な記憶装置に格納しておく。この場合、投射制御部３１は、利用すべき操作画像の識別情報を取得し、当該識別情報に対応する操作画像を記憶装置から取得する。

　操作画像に対応する変調パターンが予め用意されている場合、操作画像の識別情報と、その操作画像に対応する変調パターンとの対応付けを、前述した記憶装置に格納しておく。投射制御部３１は、操作画像の識別情報を取得したら、その識別情報に対応する変調パターンを取得する。

　例えば操作画像の識別情報は、前述した処理装置（制御装置３０から出力される入力情報を利用する装置）から取得する。すなわち、処理装置は、操作画像の識別情報を制御装置３０に出力することで、所望の操作画像を被投射面４０に表示させ、対象者に所望の入力（例えば、ユーザ名やパスワードの入力など）を行わせる。そして、処理装置は、制御装置３０から入力情報を取得することで、対象者によって行われた入力操作の内容を取得し、所望の処理を行う（例えば、入力されたユーザ名やパスワードを取得し、認証処理を行う）。なお、操作画像の識別情報の代わりに、操作画像や変調パターンそのものを処理装置から取得するようにしてもよい。

＜照射光を利用した測距：Ｓ１０４＞
　測距部３２は、照射光の反射光を撮像する受光部６０から得られる撮像画像を利用して、投射装置５０から投射範囲内の複数の位置それぞれまでの距離を特定する（Ｓ１０４）。ここで、投射範囲とは、被投射面４０のうち、照射光が投射される領域のことである。なお、測距に利用する照射光は、操作画像を表す照射光であってもよいし、その他の画像を表す照射光であってもよい。後者の場合に投射部２０から投射される画像を、測距画像と呼ぶ。

　図９は、測距画像のバリエーションを例示する図である。Ａは、ストライプ状のパターン（ストライプ光を）を表す測距画像の例である。なお、ストライプ状のパターンは、縦縞ではなく、横縞であってもよい。Ｂは、アレイ状に配列させた要素（パターン光）を表す測距画像の例である。なお、いずれのパターンも、光が弱い部分と強い部分の２つを含むが、図示の都合上、光が強い部分を白色で表し、光が弱い部分をドット柄で表している。なお、これらのパターン以外にも、例えば、ランダムパターンなどを利用することができる。

　投射部２０の投射範囲内に指示体などの物体が存在する場合、受光部６０から得られる撮像画像では、操作画像に含まれる表示情報や測距画像に含まれるパターンが、元々の画像に含まれていたものからずれた状態となる。そこで例えば、測距部３２は、撮像画像を複数の部分領域に分解し、各部分領域に含まれる表示情報やパターンと、元の画像において当該部分領域に相当する部分に含まれる表示情報やパターンとについて、そのずれを算出する。そして測距部３２は、算出したずれの大きさに基づいて、その部分領域に対応する被投射面４０上の位置と投射部２０との間の距離を特定する。なお、このようなずれの大きさを距離に変換する具体的な技術については、既存の技術を利用することができる。

＜＜操作画像と測距画像の双方を投射する方法＞＞
　測距画像を利用する場合、投射部２０に操作画像と測距画像の双方を投射させる必要がある。投射部２０にこれら複数の画像を投射させる方法は様々である。例えば投射部２０は、これら２つの画像を異なるタイミングで投射部２０に投射させる（すなわち、時分割多重）。例えば投射部２０は、「t1 ミリ秒間操作画像を投射した後、t2 ミリ秒間測距画像を投射する」という動作を繰り返す。なお、操作画像が表示されていない期間があることを対象者が認識できないように、測距画像を投射する期間の長さ t2 は、t1 と比較して短くすることが好適である。

　この場合、受光部６０から得られる複数の撮像画像は、操作画像が含まれているもの（操作画像が表示されている状態の被投射面４０を撮像したもの）と、測距画像が含まれているもの（測距画像が表示されている状態の被投射面４０を撮像したもの）とに大別できる。そこで測距部３２は、受光部６０から得られる複数の撮像画像の中から、測距画像が含まれている撮像画像を選択肢、当該撮像画像を利用して距離の特定を行う。

　ここで、受光部６０から得られる撮像画像を、操作画像が含まれているものと測距画像が含まれているものに分類する方法は様々である。例えば測距部３２は、受光部６０から得られる撮像画像を、操作画像と測距画像の双方と比較することで、当該撮像画像が、操作画像と測距画像のどちらとより類似しているかを判定する。そして、測距部３２は、操作画像よりも測距画像に類似していると判定された撮像画像を、測距画像が含まれている撮像画像として取得する。

　操作画像と測距画像の双方を投射部２０に投射させる方法は、時分割多重に限定されない。例えば投射部２０は、操作画像を表す可視光線と、測距画像を表す不可視光線とが重畳された光を投射することで、操作画像と測距画像を同時に投射してもよい。この場合、受光部６０には、当該不可視光線を受光するセンサが利用される。例えば不可視光線として赤外線を利用する場合、受光部６０は、赤外線を受光して撮像画像（いわゆる赤外画像）を生成する。

　このように２種類の光を投射できるように投射部２０を構成する場合、例えば投射部２０は、光源２１、光源駆動電源２２、空間光変調素子２３、及び変調素子駆動手段２４のセットを２つ有する。一方のセットは操作画像の投射に利用され、他方のセットは測距画像の投射に利用される。そのため、一方の光源２１には可視光線を照射する光源が利用され、他方の光源２１には不可視光線を照射する光源が利用される。また、一方の空間光変調素子２３には操作画像に対応する変調パターンが設定され、他方の空間光変調素子２３には測距画像に対応する変調パターンが設定される。

　これら２つの空間光変調素子２３から照射される２つの変調光１３０は、投射光学系２５において重畳される。これにより、操作画像を表す可視光線と測距画像を表す不可視光線を重畳した光を投射部２０から投射することができる。このように、少なくとも投射光学系２５を可視光線と不可視光線とで共有することで、投射光学系２５を共有しない場合と比較し、投射部２０のサイズを小さくすることができる。

＜指示体の検出：Ｓ１０６＞
　入力特定部３３は、測距部３２による測距の結果に基づいて、指示体の位置の特定を行う（Ｓ１０６）。ここで、被投射面４０上の投射範囲内に指示体が存在すると、投射範囲内の位置のうち、指示体が存在する位置から投射装置５０までの距離が、指示体が存在しない位置から投射装置５０までの距離よりも短くなる。そこで例えば、入力特定部３３は、投射範囲内の複数の位置の中から、当該位置から投射装置５０までの距離が、それ以外の位置から投射装置５０までの距離と比較して有意に短いものを検出することで、指示体の位置を特定する。

　ただし、投射範囲内に指示体以外の物体が含まれてしまうケースも考えられる。例えば、地面に表示された操作画像を対象者が足で操作する場合に、対象者の胴体や頭なども投射範囲内に入ってしまうケースである。この場合、胴体や頭などは指示体としては検出せず、足の周辺のみを指示体として検出することで、指示体の位置を正確に特定することが好ましい。また、投射範囲内にゴミなどの異物が存在する可能性もある。そのため、入力特定部３３は、指示体として想定する物体の厚さよりも有意に大きい厚さの物体（対象者の胴体や頭など）や、指示体として想定する物体の厚さよりも有意に小さい厚さの物体（ゴミなど）については、指示体として検出しないように構成されることが好ましい。

　そこで例えば、指示体の厚みの大きさ（すなわち、投射装置５０から指示体までの距離が、投射装置５０から被投射面４０までの距離よりもどの程度短くなるのか）の範囲を示す情報を予め用意し、入力特定部３３からアクセス可能な記憶装置に格納しておく。この情報を、サイズ情報と呼ぶ。例えば、サイズ情報として、「L1 以上 L2 以下」を定めておく。また、投射装置５０から被投射面４０までの距離 B が予め測定されているとする。この場合、入力特定部３３は、投射範囲に含まれる複数の位置のうち、投射装置５０からの距離 D が「B-L2<=D<=B-L1」の範囲となる位置を、指示体の位置として特定する。

　なお、距離を測定する各位置の間隔が指示体の大きさより小さい場合、指示体の複数箇所の位置について距離が測定されうる。この場合、距離が算出された複数の位置の中に、指示体の位置としての条件（前述の例では「B-L2<=D<=B-L1」）を満たすものが複数存在しうる。この場合、入力特定部３３は、指示体の位置を、当該条件を満たす複数の位置の集合で表す。

＜入力内容の特定：Ｓ１０８＞
　入力特定部３３は、特定した指示体の位置に基づいて、操作画像に対して行われた入力操作の内容を特定する（Ｓ１０８）。ここで、指示体の位置に基づいて入力内容を特定する方法は様々である。例えば入力操作が、操作画像によって表される複数の選択肢のうちの１つを選択する入力操作であるとする。この場合、例えば入力特定部３３は、特定した指示体の位置が、操作画像上のどの部分に含まれるかを特定する。より具体的には、入力特定部３３は、複数の選択肢それぞれに対応する部分領域（操作画像全体の領域の一部）の中から、特定した操作体の位置を含む部分領域を特定し、特定した部分領域に対応する選択肢を選択する操作を、入力操作として特定する。

　例えば図２の例のように、操作画像が０から９の１０個の数字を含むテンキーの画像であり、指示体の位置が、「０」というキーを表すに対応する部分領域に含まれているとする。この場合、入力特定部３３は、「０」を選択する操作が行われたことを特定することができる。

　なお、入力特定部３３は、同じ操作が所定時間以上継続して行われている場合（例えば、同じ選択肢が所定時間以上継続して選択されている場合）に、当該操作が行われたと判定してもよい。この場合、入力特定部３３は、受光部６０から得られる複数の撮像画像それぞれについて順次入力操作の内容を特定し、同一の入力操作が所定時間以上（例えば、所定数以上の撮像画像において継続して）行われている場合に、当該入力操作が行われたと特定する。

＜入力情報の出力：Ｓ１１０＞
　出力部３４は、入力特定部３３によって特定された入力操作の内容を表す入力情報を出力する（Ｓ１１０）。入力操作の内容を表す情報を生成・出力する方法には、既存の種々の方法を利用することができる。例えば入力操作が、操作画像によって表される複数の選択肢のうちの１つを選択するものであるとする。この場合、入力情報には、指示体によって選択された選択肢の識別情報が含まれる。例えば操作画像が YES と NO という２つの選択肢を表す画像であり、前者と後者のそれぞれに０と１という識別情報が与えられていたとする。この場合、入力操作によって YES が選択された場合には、０という識別情報を示す入力情報が生成される。

　以上、実施形態を参照して本発明を説明してきたが、本発明は上記実施形態に限定されるものではない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。

　なお、上述の例において、プログラムは、様々なタイプの非一時的なコンピュータ可読媒体（non-transitory computer readable medium）を用いて格納され、コンピュータに提供することができる。非一時的なコンピュータ可読媒体は、様々なタイプの実体のある記録媒体（tangible storage medium）を含む。非一時的なコンピュータ可読媒体の例は、磁気記録媒体（例えば、フレキシブルディスク、磁気テープ、ハードディスクドライブ）、光磁気記録媒体（例えば、光磁気ディスク）、CD-ROM、CD-R、CD-R/W、半導体メモリ（例えば、マスク ROM、PROM（Programmable ROM）、EPROM（Erasable PROM）、フラッシュROM、RAM）を含む。また、プログラムは、様々なタイプの一時的なコンピュータ可読媒体（transitory computer readable medium）によってコンピュータに提供されてもよい。一時的なコンピュータ可読媒体の例は、電気信号、光信号、及び電磁波を含む。一時的なコンピュータ可読媒体は、電線及び光ファイバ等の有線通信路、又は無線通信路を介して、プログラムをコンピュータに供給できる。

　上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下には限られない。
　（付記１）
　投射装置を制御する制御装置であって、
　前記投射装置は、照射光を投射する投射部と、前記照射光の反射光を撮像して撮像画像を生成する受光部と、を同一の筐体内に有し、
　前記投射装置を制御して、操作画像を表す照射光を被投射面上に投射させる投射制御部と、
　前記受光部によって生成される撮像画像を利用して、前記被投射面上の複数の位置それぞれまでの距離を算出する測距部と、
　前記複数の位置それぞれについて算出した距離に基づいて、前記操作画像に対して操作を加える指示体の位置を特定することにより、前記指示体による入力操作の内容を特定する入力特定部と、
　前記特定した入力操作の内容を表す入力情報を出力する出力部と、を有する制御装置。
　（付記２）
　前記投射部は、前記操作画像を表す第１の照射光と、前記操作画像とは異なる測距画像を表す第２の照射光の双方を投射し、
　前記測距部は、前記受光部から、前記第２の照射光の反射光を撮像した撮像画像を取得し、前記取得した撮像画像と前記測距画像との差異に基づいて、前記被投射面上の複数の位置それぞれまでの距離を算出する、付記１に記載の制御装置。
　（付記３）
　前記投射制御部は、前記投射部に、前記第１の照射光と前記第２の照射光を互いに異なるタイミングで投射させる、付記２に記載の制御装置。
　（付記４）
　前記第１の照射光は可視光線であり、
　前記第２の照射光は不可視光線であり、
　前記投射部は、前記第１の照射光と前記第２の照射光が重畳された光を投射する、付記２に記載の制御装置。
　（付記５）
　前記入力特定部は、前記測距部によって距離が算出された複数の位置のうち、算出された距離が第１所定値以上第２所定値以下である位置を、前記指示体の位置として特定する、付記１から４いずれか一項に記載の制御装置。
　（付記６）
　前記指示体は入力操作を行う人物の足であり、
　前記被投射面は、地面又は地面上に置かれた物体である、付記１から５いずれか一項に記載の制御装置。
　（付記７）
　投射装置を制御するコンピュータによって実行される制御方法であって、
　前記投射装置は、照射光を投射する投射部と、前記照射光の反射光を撮像して撮像画像を生成する受光部と、を同一の筐体内に有し、
　当該制御方法は、
　前記投射装置を制御して、操作画像を表す照射光を被投射面上に投射させる投射制御ステップと、
　前記受光部によって生成される撮像画像を利用して、前記被投射面上の複数の位置それぞれまでの距離を算出する測距ステップと、
　前記複数の位置それぞれについて算出した距離に基づいて、前記操作画像に対して操作を加える指示体の位置を特定することにより、前記指示体による入力操作の内容を特定する入力特定ステップと、
　前記特定した入力操作の内容を表す入力情報を出力する出力ステップと、を有する制御方法。
　（付記８）
　前記投射部は、前記操作画像を表す第１の照射光と、前記操作画像とは異なる測距画像を表す第２の照射光の双方を投射し、
　前記測距ステップにおいて、前記受光部から、前記第２の照射光の反射光を撮像した撮像画像を取得し、前記取得した撮像画像と前記測距画像との差異に基づいて、前記被投射面上の複数の位置それぞれまでの距離を算出する、付記７に記載の制御方法。
　（付記９）
　前記投射制御ステップにおいて、前記投射部に、前記第１の照射光と前記第２の照射光を互いに異なるタイミングで投射させる、付記８に記載の制御方法。
　（付記１０）
　前記第１の照射光は可視光線であり、
　前記第２の照射光は不可視光線であり、
　前記投射部は、前記第１の照射光と前記第２の照射光が重畳された光を投射する、付記８に記載の制御方法。
　（付記１１）
　前記入力特定ステップにおいて、前記測距ステップによって距離が算出された複数の位置のうち、算出された距離が第１所定値以上第２所定値以下である位置を、前記指示体の位置として特定する、付記７から１０いずれか一項に記載の制御方法。
　（付記１２）
　前記指示体は入力操作を行う人物の足であり、
　前記被投射面は、地面又は地面上に置かれた物体である、付記７から１１いずれか一項に記載の制御方法。
　（付記１３）
　プログラムが格納されているコンピュータ可読媒体であって、
　前記プログラムは、投射装置を制御するコンピュータによって実行され、
　前記投射装置は、照射光を投射する投射部と、前記照射光の反射光を撮像して撮像画像を生成する受光部と、を同一の筐体内に有し、
　前記プログラムは、前記コンピュータに、
　前記投射装置を制御して、操作画像を表す照射光を被投射面上に投射させる投射制御ステップと、
　前記受光部によって生成される撮像画像を利用して、前記被投射面上の複数の位置それぞれまでの距離を算出する測距ステップと、
　前記複数の位置それぞれについて算出した距離に基づいて、前記操作画像に対して操作を加える指示体の位置を特定することにより、前記指示体による入力操作の内容を特定する入力特定ステップと、
　前記特定した入力操作の内容を表す入力情報を出力する出力ステップと、を実行させるコンピュータ可読媒体。
　（付記１４）
　前記投射部は、前記操作画像を表す第１の照射光と、前記操作画像とは異なる測距画像を表す第２の照射光の双方を投射し、
　前記測距ステップにおいて、前記受光部から、前記第２の照射光の反射光を撮像した撮像画像を取得し、前記取得した撮像画像と前記測距画像との差異に基づいて、前記被投射面上の複数の位置それぞれまでの距離を算出する、付記１３に記載のコンピュータ可読媒体。
　（付記１５）
　前記投射制御ステップにおいて、前記投射部に、前記第１の照射光と前記第２の照射光を互いに異なるタイミングで投射させる、付記１４に記載のコンピュータ可読媒体。
　（付記１６）
　前記第１の照射光は可視光線であり、
　前記第２の照射光は不可視光線であり、
　前記投射部は、前記第１の照射光と前記第２の照射光が重畳された光を投射する、付記１４に記載のコンピュータ可読媒体。
　（付記１７）
　前記入力特定ステップにおいて、前記測距ステップによって距離が算出された複数の位置のうち、算出された距離が第１所定値以上第２所定値以下である位置を、前記指示体の位置として特定する、付記１３から１６いずれか一項に記載のコンピュータ可読媒体。
　（付記１８）
　前記指示体は入力操作を行う人物の足であり、
　前記被投射面は、地面又は地面上に置かれた物体である、付記１３から１７いずれか一項に記載のコンピュータ可読媒体。

１　　　　　　情報入力システム
２０　　　　　　投射部
２１　　　　　　光源
２２　　　　　　光源駆動電源
２３　　　　　　空間光変調素子
２４　　　　　　変調素子駆動手段
２５　　　　　　投射光学系
３０　　　　　　制御装置
３１　　　　　　投射制御部
３２　　　　　　測距部
３３　　　　　　入力特定部
３４　　　　　　出力部
４０　　　　　　被投射面
５０　　　　　　投射装置
６０　　　　　　受光部
６１　　　　　　受光光学系
６２　　　　　　撮像素子
６３　　　　　　画像処理プロセッサ
６４　　　　　　メモリ
６５　　　　　　出力回路
１１０　　　　　　光
１３０　　　　　　変調光
１５０　　　　　　照射光
２１０　　　　　　コリメータ
２５１　　　　　　フーリエ変換レンズ
２５２　　　　　　アパーチャ
２５３　　　　　　投射レンズ
５００　　　　　　コンピュータ
５０２　　　　　　バス
５０４　　　　　　プロセッサ
５０６　　　　　　メモリ
５０８　　　　　　ストレージデバイス
５１０　　　　　　入出力インタフェース
５１２　　　　　　ネットワークインタフェース

Claims

　投射装置を制御する制御装置であって、
　前記投射装置は、照射光を投射する投射部と、前記照射光の反射光を撮像して撮像画像を生成する受光部と、を同一の筐体内に有し、
　前記投射装置を制御して、操作画像を表す照射光を被投射面上に投射させる投射制御部と、
　前記受光部によって生成される撮像画像を利用して、前記被投射面上の複数の位置それぞれまでの距離を算出する測距部と、
　前記複数の位置それぞれについて算出した距離に基づいて、前記操作画像に対して操作を加える指示体の位置を特定することにより、前記指示体による入力操作の内容を特定する入力特定部と、
　前記特定した入力操作の内容を表す入力情報を出力する出力部と、を有する制御装置。
　前記投射部は、前記操作画像を表す第１の照射光と、前記操作画像とは異なる測距画像を表す第２の照射光の双方を投射し、
　前記測距部は、前記受光部から、前記第２の照射光の反射光を撮像した撮像画像を取得し、前記取得した撮像画像と前記測距画像との差異に基づいて、前記被投射面上の複数の位置それぞれまでの距離を算出する、請求項１に記載の制御装置。
　前記投射制御部は、前記投射部に、前記第１の照射光と前記第２の照射光を互いに異なるタイミングで投射させる、請求項２に記載の制御装置。
　前記第１の照射光は可視光線であり、
　前記第２の照射光は不可視光線であり、
　前記投射部は、前記第１の照射光と前記第２の照射光が重畳された光を投射する、請求項２に記載の制御装置。
　前記入力特定部は、前記測距部によって距離が算出された複数の位置のうち、算出された距離が第１所定値以上第２所定値以下である位置を、前記指示体の位置として特定する、請求項１から４いずれか一項に記載の制御装置。
　前記指示体は入力操作を行う人物の足であり、
　前記被投射面は、地面又は地面上に置かれた物体である、請求項１から５いずれか一項に記載の制御装置。
　投射装置を制御するコンピュータによって実行される制御方法であって、
　前記投射装置は、照射光を投射する投射部と、前記照射光の反射光を撮像して撮像画像を生成する受光部と、を同一の筐体内に有し、
　当該制御方法は、
　前記投射装置を制御して、操作画像を表す照射光を被投射面上に投射させる投射制御ステップと、
　前記受光部によって生成される撮像画像を利用して、前記被投射面上の複数の位置それぞれまでの距離を算出する測距ステップと、
　前記複数の位置それぞれについて算出した距離に基づいて、前記操作画像に対して操作を加える指示体の位置を特定することにより、前記指示体による入力操作の内容を特定する入力特定ステップと、
　前記特定した入力操作の内容を表す入力情報を出力する出力ステップと、を有する制御方法。
　前記投射部は、前記操作画像を表す第１の照射光と、前記操作画像とは異なる測距画像を表す第２の照射光の双方を投射し、
　前記測距ステップにおいて、前記受光部から、前記第２の照射光の反射光を撮像した撮像画像を取得し、前記取得した撮像画像と前記測距画像との差異に基づいて、前記被投射面上の複数の位置それぞれまでの距離を算出する、請求項７に記載の制御方法。
　前記投射制御ステップにおいて、前記投射部に、前記第１の照射光と前記第２の照射光を互いに異なるタイミングで投射させる、請求項８に記載の制御方法。
　前記第１の照射光は可視光線であり、
　前記第２の照射光は不可視光線であり、
　前記投射部は、前記第１の照射光と前記第２の照射光が重畳された光を投射する、請求項８に記載の制御方法。
　前記入力特定ステップにおいて、前記測距ステップによって距離が算出された複数の位置のうち、算出された距離が第１所定値以上第２所定値以下である位置を、前記指示体の位置として特定する、請求項７から１０いずれか一項に記載の制御方法。
　前記指示体は入力操作を行う人物の足であり、
　前記被投射面は、地面又は地面上に置かれた物体である、請求項７から１１いずれか一項に記載の制御方法。
　プログラムが格納されているコンピュータ可読媒体であって、
　前記プログラムは、投射装置を制御するコンピュータによって実行され、
　前記投射装置は、照射光を投射する投射部と、前記照射光の反射光を撮像して撮像画像を生成する受光部と、を同一の筐体内に有し、
　前記プログラムは、前記コンピュータに、
　前記投射装置を制御して、操作画像を表す照射光を被投射面上に投射させる投射制御ステップと、
　前記受光部によって生成される撮像画像を利用して、前記被投射面上の複数の位置それぞれまでの距離を算出する測距ステップと、
　前記複数の位置それぞれについて算出した距離に基づいて、前記操作画像に対して操作を加える指示体の位置を特定することにより、前記指示体による入力操作の内容を特定する入力特定ステップと、
　前記特定した入力操作の内容を表す入力情報を出力する出力ステップと、を実行させるコンピュータ可読媒体。
　前記投射部は、前記操作画像を表す第１の照射光と、前記操作画像とは異なる測距画像を表す第２の照射光の双方を投射し、
　前記測距ステップにおいて、前記受光部から、前記第２の照射光の反射光を撮像した撮像画像を取得し、前記取得した撮像画像と前記測距画像との差異に基づいて、前記被投射面上の複数の位置それぞれまでの距離を算出する、請求項１３に記載のコンピュータ可読媒体。
　前記投射制御ステップにおいて、前記投射部に、前記第１の照射光と前記第２の照射光を互いに異なるタイミングで投射させる、請求項１４に記載のコンピュータ可読媒体。
　前記第１の照射光は可視光線であり、
　前記第２の照射光は不可視光線であり、
　前記投射部は、前記第１の照射光と前記第２の照射光が重畳された光を投射する、請求項１４に記載のコンピュータ可読媒体。
　前記入力特定ステップにおいて、前記測距ステップによって距離が算出された複数の位置のうち、算出された距離が第１所定値以上第２所定値以下である位置を、前記指示体の位置として特定する、請求項１３から１６いずれか一項に記載のコンピュータ可読媒体。
　前記指示体は入力操作を行う人物の足であり、
　前記被投射面は、地面又は地面上に置かれた物体である、請求項１３から１７いずれか一項に記載のコンピュータ可読媒体。