JP6754629B2 - Programs, computer-readable media, terminal equipment, estimation equipment and estimation methods - Google Patents
Programs, computer-readable media, terminal equipment, estimation equipment and estimation methods Download PDFInfo
- Publication number
- JP6754629B2 JP6754629B2 JP2016125421A JP2016125421A JP6754629B2 JP 6754629 B2 JP6754629 B2 JP 6754629B2 JP 2016125421 A JP2016125421 A JP 2016125421A JP 2016125421 A JP2016125421 A JP 2016125421A JP 6754629 B2 JP6754629 B2 JP 6754629B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- estimation
- output
- unit
- threshold value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Landscapes
- Photometry And Measurement Of Optical Pulse Characteristics (AREA)
- Geophysics And Detection Of Objects (AREA)
Description
本発明は、プログラム、コンピュータ可読媒体、端末装置、推定装置および推定方法に関する。 The present invention relates to a program, a computer-readable medium, a terminal device, an estimation device and an estimation method.
従来、パソコンなどの装置では、操作が行われたときの赤外線センサからの出力を用いて、人体等の検知対象がセンサの視野内の空間に存在するか否かを推定している(例えば、特許文献1参照)。
[特許文献1]特開2012−078959号公報
Conventionally, in a device such as a personal computer, whether or not a detection target such as a human body exists in the space within the field of view of the sensor is estimated by using the output from the infrared sensor when the operation is performed (for example,). See Patent Document 1).
[Patent Document 1] Japanese Unexamined Patent Publication No. 2012-078959
しかしながら、従来の検出手法では、検知対象が視野内の空間に存在していないにも関わらず存在すると推定する可能性があり、推定精度の向上が望まれる。 However, in the conventional detection method, there is a possibility that the detection target is estimated to exist even though it does not exist in the space in the field of view, and improvement in estimation accuracy is desired.
本発明の第1の態様においては、コンピュータを、赤外線センサの出力値を取得する取得部と、出力値を用いて、出力値の基準を示す第1の値を経時的に算出する第1算出部と、出力値を用いて、出力値の基準に対するオフセットの大きさを示す第2の値を経時的に算出する第2算出部と、第1の値および第2の値に基づいて第1の閾値を算出する第1閾値算出部と、出力値および第1の閾値に基づいて、赤外線センサの視野内の空間状態を推定する第1推定部として機能させるプログラム、当該プログラムを備えるコンピュータ可読媒体、および推定装置を提供する。 In the first aspect of the present invention, the first calculation in which the computer calculates the first value indicating the reference of the output value over time by using the acquisition unit for acquiring the output value of the infrared sensor and the output value. A second calculation unit that calculates a second value indicating the magnitude of the offset with respect to the reference of the output value over time using the unit and the output value, and a first value based on the first value and the second value. A computer-readable medium including a first estimation unit that calculates the threshold value of the infrared sensor, a program that functions as the first estimation unit that estimates the spatial state in the field of view of the infrared sensor based on the output value and the first threshold value, and the program. , And an estimation device.
本発明の第2の態様においては、赤外線センサの出力値を取得する取得部と、出力値を用いて、出力値の基準を示す第1の値を経時的に算出する第1算出部と、出力値を用いて、出力値の基準に対するオフセットの大きさを示す第2の値を経時的に算出する第2算出部と、第1の値および第2の値に基づいて第1の閾値を算出する第1閾値算出部と、出力値および第1の閾値に基づいて、赤外線センサの視野内の空間状態を推定する第1推定部と、を備える推定装置、および当該推定装置を備える端末装置を提供する。 In the second aspect of the present invention, an acquisition unit that acquires the output value of the infrared sensor, a first calculation unit that calculates a first value indicating a reference of the output value over time using the output value, and a first calculation unit. A second calculation unit that calculates a second value indicating the magnitude of the offset with respect to the reference of the output value over time using the output value, and a first threshold value based on the first value and the second value. An estimation device including a first threshold value calculation unit for calculation, a first estimation unit for estimating a spatial state in the field of view of an infrared sensor based on an output value and a first threshold value, and a terminal device including the estimation device. I will provide a.
本発明の第3の態様においては、赤外線センサの出力値を取得する取得段階と、出力値を用いて、出力値の基準を示す第1の値を経時的に算出する第1算出段階と、出力値を用いて、出力値の基準に対するオフセットの大きさを示す第2の値を経時的に算出する第2算出段階と、第1の値および第2の値に基づいて第1の閾値を算出する第1閾値算出段階と、出力値および第1の閾値に基づいて、赤外線センサの視野内の空間状態を推定する第1推定段階と、を備える推定方法を提供する。 In the third aspect of the present invention, there are an acquisition step of acquiring the output value of the infrared sensor, a first calculation step of calculating a first value indicating a reference of the output value over time using the output value, and a first calculation step. A second calculation step in which the output value is used to calculate a second value indicating the magnitude of the offset with respect to the reference of the output value over time, and a first threshold value based on the first value and the second value. Provided is an estimation method including a first threshold value calculation stage for calculation and a first estimation stage for estimating a spatial state in a visual field of an infrared sensor based on an output value and a first threshold value.
なお、上記の発明の概要は、本発明の特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。 The outline of the above invention does not list all the features of the present invention. Subcombinations of these feature groups can also be inventions.
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。 Hereinafter, the present invention will be described through embodiments of the invention, but the following embodiments do not limit the inventions claimed in the claims. Also, not all combinations of features described in the embodiments are essential to the means of solving the invention.
[1.推定装置の構成]
図1は、本実施形態に係る推定装置10を示すブロック図である。推定装置10は、対象とする空間の状態を推定するものであり、例えば空間が人などの検知対象を含まない状態から含む状態に遷移したことを推定するものである。推定装置10は、取得部101と、第1算出部111と、第2算出部112と、第1閾値算出部121と、第1推定部141とを備える。推定装置10は、温度検出部102と、第3算出部113と、第3閾値算出部123と、第2推定部142と、第2閾値算出部122と、第1推定動作制御部131と、第2推定動作制御部132と、設定部151とをさらに備えてもよい。これらの構成はアナログ回路、デジタル回路、および、プログラムにより動作するプロセッサまたはマイクロコントローラのいずれかまたはその組み合わせを用いて構成されてよい。
[1. Estimator configuration]
FIG. 1 is a block diagram showing an
[1−1.取得部]
取得部101は、赤外線センサ20の1または複数の出力値(x[i])を取得する。複数の出力値(x[i])とは、赤外線センサ20が異なるタイミングで出力する出力値(x[i])である。なお、出力値(x[i])という表現において、角括弧内の「i」は、出力値(x)についての赤外線センサ20による出力タイミングを示す変数であり、角括弧内が「0」である場合には、出力値(x)が現在の最新の出力値であることを示す。また、角括弧内が負の値である場合には、出力値(x)が過去の出力値であることを示す。例えば、出力値(x[−1])は、最新よりも1つ前の出力値である。出力値x[i]に対応する後述の第1の値(y[i])および第2の値(V2[i])等についても同様である。
[1-1. Acquisition department]
The
ここで、赤外線センサ20は、視野(例えば観察可能な範囲)内から受光した赤外線に基づいて信号を出力するセンサである。例えば、赤外線センサ20は、赤外線エネルギーを吸収することによって発生する温度変化を利用する熱型赤外線センサであってもよいし、入射した光エネルギーで励起された電子によって生じる導電率の変化または起電力を利用する量子型赤外線センサであってもよい。
Here, the
熱型赤外線センサとしては、焦電効果を用いた焦電素子、熱電効果を用いた熱電対およびサーモパイル、温度による電気抵抗の変化効果を用いたボロメータ等が挙げられる。量子型赤外線センサとしては、外部光電効果を用いた光電管、内部光電効果を用いた光伝導型センサおよび光起電力型センサが挙げられる。光伝導型センサおよび光起電力型センサとしては、テルル化カドミウム水銀を含む材料(HgCdTe等)、インジウムおよびアンチモン、砒素を含む材料(InSb、InAsSb、InAs等)等を素子素材としたフォトダイオードおよびフォトトランジスタが挙げられる。 Examples of the thermal infrared sensor include a pyroelectric element using the pyroelectric effect, a thermocouple and a thermopile using the thermoelectric effect, and a bolometer using the effect of changing the electric resistance with temperature. Examples of the quantum infrared sensor include a phototube using the external photoelectric effect, a photoconducting sensor using the internal photoelectric effect, and a photovoltaic sensor. Examples of the photoconducting type sensor and the photovoltaic type sensor include a photodiode using a material containing mercury cadmium telluride (HgCdTe, etc.), a material containing indium and antimony, and an arsenide (InSb, InAsSb, InAs, etc.) as an element material. Phototransistors can be mentioned.
熱型赤外線センサと量子型赤外線センサとの間では、量子型赤外線センサが好ましい。量子型赤外線センサは、入射される赤外線のエネルギーの絶対量を検知できるためである。また、赤外線センサ20は、非冷却で動作可能であることが好ましく、低消費電力の観点からバイアス不要で動作可能であることが好ましい。一例として、赤外線センサ20は、旭化成エレクトロニクス社製の赤外線センサ「IR1011」(商品名)であってよい。
A quantum infrared sensor is preferable between the thermal infrared sensor and the quantum infrared sensor. This is because the quantum infrared sensor can detect the absolute amount of infrared energy that is incident. Further, it is preferable that the
取得部101は、赤外線センサ20におけるセンサ部分で生成される信号値そのものを出力値(x[i])として取得してもよいし、当該信号値にA/D変換、増幅およびバッファ等の信号処理が施された値を出力値(x[i])として取得してもよい。取得部101は、赤外線センサ20が最新の出力値(x[0])を出力する毎に当該出力値(x[0])を取得してもよいし、基準時間の経過毎に取得してもよい。取得部101は、赤外線センサ20に有線接続されてもよいし、無線接続されてもよい。取得部101は、出力値(x[0])を取得する毎に、当該出力値(x[0])を温度検出部102、第1算出部111、第2算出部112、第3算出部113、第2閾値算出部122、第1推定部141および第2推定部142に供給してよい。
The
[1−2.温度検出部]
温度検出部102は、赤外線センサ20の視野内の環境温度(T)を検出する。例えば、温度検出部102は、赤外線センサ20による出力値(x[i])の出力タイミングに合わせて環境温度(T)を検出してよい。一例として、温度検出部102は、取得部101からの1または複数の出力値(x[i])から環境温度(T)を検出してよい。赤外線センサ20の出力値(x[i])が直接、環境温度(T)を示す場合には、取得部101自体が温度検出部102であってもよい。
[1-2. Temperature detector]
The
なお、温度検出部102は、赤外線センサ20とは別の任意の温度センサを用いて環境温度(T)を検出してもよい。この温度センサは、例えば、赤外線センサ20の視野の背景物(一例として壁、天井または床などの構造物)の温度を検出してもよいし、推定装置10の周囲空間の温度を測定してもよい。
The
温度検出部102は、検出した環境温度(T)を第2算出部112、第3算出部113、第2閾値算出部122および第2推定動作制御部132に供給してよい。環境温度(T)の供給は、取得部101が1つの出力値(x[0])を出力する毎に行われてもよいし、基準個数の出力値(x[0])を出力する毎に行われてもよい。
The
[1−3.第1算出部]
第1算出部111は、1または複数の出力値(x[i])を用いて、出力値(x[i])の基準を示す第1の値(y[i])を経時的に、つまり時間の経過に伴って算出する。第1算出部111は、複数の出力値(x[i])を算出に用いる場合には、これらの出力値(x[i])を蓄積記憶してよい。
[1-3. 1st calculation unit]
The
なお、第1算出部111による動作については詳細を後述する。
第1算出部111は、算出した第1の値(y[i])を、第2算出部112、第3算出部113、第1閾値算出部121および第3閾値算出部123に供給してよい。
The details of the operation by the
The
[1−4.第2算出部]
第2算出部112は、1または複数の出力値(x[i])を用いて第2の値(V2[i])を経時的に算出する。第2の値(V2[i])は、出力値(x[i])の基準、つまり第1の値(y[i])に対するオフセットの大きさを示す。後述の第1の閾値(S1[i])は、この大きさだけ第1の値(y[i])に対してオフセットされる。
[1-4. Second calculation unit]
The
第2算出部112は、複数の出力値(x[i])を用いて第2の値(V2[i])を算出してよい。本実施形態においては、第2算出部112が第2の値(V2[i])を算出するのに使用する出力値(x[i])の個数は、第1算出部111が第1の値(y[i])を算出するのに使用する出力値(x[i])の個数と同じとなっているが、異なっていてもよい。第2算出部112は、複数の出力値(x[i])を算出に用いる場合には、これらの出力値(x[i])を蓄積記憶してよい。
The
なお、第2算出部112による動作については詳細を後述する。
第2算出部112は、算出した第2の値(V2[i])を第1閾値算出部121に供給してよい。
The details of the operation by the
The
[1−5.第1閾値算出部]
第1閾値算出部121は、第1の値(y[i])および第2の値(V2[i])に基づいて第1の閾値(S1[i])を算出する。例えば、第1閾値算出部121は、第1の値(y[i])と、第2の値(V2[i])とを加算して第1の閾値(S1[i])を算出してよい。
[1-5. First threshold calculation unit]
The first threshold
但し、例えば環境温度(T)が検知対象(例えば人)よりも高温である環境下で推定装置10が使用される場合には、第1閾値算出部121は、第1の値(y[i])から第2の値(V2[i])を減算して第1の閾値(S1[i])を算出してもよい。第1閾値算出部121は、算出した第1の閾値(S1[i])を第1推定部141に供給してよい。
However, for example, when the
[1−6.第1推定部]
第1推定部141は、出力値(x[i])および第1の閾値(S1[i])に基づいて、赤外線センサ20の視野内の空間状態を推定する。例えば、第1推定部141は、赤外線センサ20の視野内の空間が検知対象を含まない状態から含む状態に遷移したことの推定を試みることで、この空間が検知対象を含む状態であるか否かを推定してよい。
[1-6. 1st estimation part]
The
第1推定部141は、推定結果を外部の装置に出力してよい。また、第1推定部141は、赤外線センサ20の視野内の空間が検知対象を含まない状態から含む状態に遷移したと推定した場合に、ディセーブル状態に移行してよい。また、第1推定部141は、赤外線センサ20の視野内の空間が検知対象を含まない状態から含む状態に遷移したと推定した場合に、第2推定部142をイネーブルしてよい。
The
[1−7.第2閾値算出部]
第2閾値算出部122は、第2の閾値(S2)を算出する。第2の閾値(S2)は、出力値(x[i])におけるノイズ成分の大きさ(A)についての閾値であり、例えば赤外線センサ20の視野内に存在している検知対象の動きに起因して必然的に生じる出力値(x[i])の変化量に係数を乗算した値を示す。係数としては任意の正の値を用いることができ、1未満の値を用いてもよいし、1より大きい値を用いてもよいし、1を用いてもよい。
[1-7. Second threshold calculation unit]
The second threshold
視野内に存在している検知対象の動きに起因して生じる出力値(x[i])の変化量は赤外線センサ20の視野内の環境温度に応じて変化するため、第2閾値算出部122は、環境温度(T)を用いて経時的に第2の閾値(S2)を算出してよい。
Since the amount of change in the output value (x [i]) caused by the movement of the detection target existing in the field of view changes according to the environmental temperature in the field of view of the
ここで、ノイズ成分の大きさ(A)は、複数の出力値(x[i])の標準偏差σであってよい。標準偏差σは、これまでに取得された全ての出力値(x[i])から算出される値であってもよいし、現時点から遡って特定の個数(例えば後述のN個)の出力値(x[i])から算出される値であってもよい。 Here, the magnitude (A) of the noise component may be the standard deviation σ of a plurality of output values (x [i]). The standard deviation σ may be a value calculated from all the output values (x [i]) acquired so far, or an output value of a specific number (for example, N described later) retroactively from the present time. It may be a value calculated from (x [i]).
また、ノイズ成分の大きさ(A)は、複数の出力値(x[i])と、それらの基準としての第1の値(y[i])とに基づいて算出される値であってもよい。一例として、ノイズ成分の大きさ(A)は、各出力値(x[i])と、当該出力値(x[i])に対応する第1の値(y[i])との差の二乗平均平方根であってもよいし、各出力値(x[i])と、最新の第1の値(y[0])との差の二乗平均平方根であってもよい。 The magnitude (A) of the noise component is a value calculated based on a plurality of output values (x [i]) and a first value (y [i]) as a reference thereof. May be good. As an example, the magnitude (A) of the noise component is the difference between each output value (x [i]) and the first value (y [i]) corresponding to the output value (x [i]). It may be the root mean square, or it may be the root mean square of the difference between each output value (x [i]) and the latest first value (y [0]).
なお、第2閾値算出部122による動作については詳細を後述する。
第2閾値算出部122は、算出した第2の閾値(S2)を、第1推定動作制御部131に供給してよい。
The details of the operation by the second threshold
The second threshold
[1−8.第1推定動作制御部]
第1推定動作制御部131は、複数の出力値(x[i])におけるノイズ成分の大きさ(A)と、第2の閾値(S2)とに基づいて、第1推定部141による推定動作を開始させる。例えば、第1推定動作制御部131は、ノイズ成分の大きさ(A)が第2の閾値(S2)より小さい場合(一例として視野内の空間に検知対象が存在しないと推定される場合)に第1推定部141をイネーブルして推定動作を開始させてよい。
[1-8. 1st estimation motion control unit]
The first estimation
これにより、第1推定部141による推定動作、例えば赤外線センサ20の視野内の空間が検知対象を含まない状態から含む状態に遷移したことを推定する動作は、検知対象が存在しない状態から開始される。また、第1推定動作制御部131は、ノイズ成分の大きさ(A)が第2の閾値(S2)より大きい場合に、このことを通知する信号を設定部151に出力してよい。
As a result, the estimation operation by the
第1推定動作制御部131は、ノイズ成分の大きさ(A)を算出してよい。例えば、第1推定動作制御部131は、ノイズ成分の大きさ(A)を経時的に算出してよい。また、推定装置10が第2閾値算出部122を備えない場合には、第1推定動作制御部131は、第2の閾値(S2)として、予め推定装置10内に記憶された1つの固定値を用いてもよい。
The first estimation
[1−9.第3算出部]
第3算出部113は、1または複数の出力値(x[i])を用いて第3の値(V3[i])を経時的に算出する。第3の値(V3[i])は、出力値(x[i])の基準、つまり第1の値(y[i])に対するオフセットの大きさを示す。後述の第3の閾値(S3[i])は、この大きさだけ第1の値(y[i])に対してオフセットされる。
[1-9. Third calculation unit]
The
第3算出部113は、複数の出力値(x[i])を用いて第3の値(V3[i])を算出してよい。本実施形態においては、第3算出部113が第3の値(V3[i])を算出するのに使用する出力値(x[i])の個数は、第1算出部111が第1の値(y[i])を算出するのに使用する出力値(x[i])の個数と同じとなっているが、異なっていてもよい。第3算出部113は、複数の出力値(x[i])を算出に用いる場合には、これらの出力値(x[i])を蓄積記憶してよい。
The
なお、第3算出部113による動作については詳細を後述する。
第3算出部113は、算出した第3の値(V3[i])を第3閾値算出部123に供給してよい。
The details of the operation by the
The
[1−10.第3閾値算出部]
第3閾値算出部123は、第1の値(y[i])および第3の値(V3[i])に基づいて第3の閾値(S3[i])を算出する。第3閾値算出部123による第3の閾値(S3[i])の算出と、第1閾値算出部121による第1の閾値(S1[i])の算出とに第1の値(y[i])を共通して用いることで、計算資源が低減される。
[1-10. Third threshold calculation unit]
The third threshold
例えば、第3閾値算出部123は、第1の値(y[i])から第3の値(V3[i])を減算して第3の閾値(S3[i])を算出してよい。但し、例えば環境温度(T)が検知対象(例えば人)よりも高温である環境下で推定装置10が使用される場合には、第1閾値算出部121は、第1の値(y[i])と第3の値(V3[i])とを加算して第3の閾値(S3[i])を算出してもよい。
For example, the third threshold
なお、推定装置10が第3算出部113を備えない場合には、第3閾値算出部123は、第3の値(V3)として、第2算出部112により算出される第2の値(V2[i])を用いてもよいし、予め推定装置10内に記憶された1つの固定値を用いてもよい。
第3閾値算出部123は、算出した第3の閾値(S3[i])を第2推定部142に供給してよい。
When the
The third threshold
[1−11.第2推定部]
第2推定部142は、出力値(x[i])と第3の閾値(S3[i])とに基づいて、空間が検知対象を含む状態から含まない状態に遷移したことを推定する。例えば、第2推定部142は、出力値(x[i])が低下して第3の閾値(S3[i])よりも小さくなった場合に、空間が検知対象を含む状態から含まない状態に遷移したことを推定してよい。第2推定部142は、空間が検知対象を含む状態から含まない状態に遷移したことの推定を試みることで、この空間が検知対象を含む状態であるか否かを推定してよい。
[1-11. Second estimation part]
The
第2推定部142は、第1推定部141により空間が検知対象を含まない状態から含む状態に遷移したと推定される場合に推定動作を開始してよい。例えば、第2推定部142は、第1推定部141によりイネーブルされて推定動作を開始してよい。
The
第2推定部142は、推定結果を外部の装置に出力してよい。また、第2推定部142は、赤外線センサ20の視野内の空間が検知対象を含む状態から含まない状態に遷移したと推定した場合に、ディセーブル状態に移行してよい。
The
また、第2推定部142は、赤外線センサ20の視野内の空間が検知対象を含む状態から含まない状態に遷移したと推定した場合に、第1推定部141をイネーブルして推定動作を開始させてよい。これにより第1推定部141は、第2推定部142により視野内の空間が検知対象を含む状態から含まない状態に遷移したと推定される場合に推定動作を開始する。なお、第2推定部142により視野内の空間が検知対象を含む状態から含まない状態に遷移したと推定される場合に第2推定部142とは異なる手段によって第1推定部141をイネーブルしてもよい。
Further, when it is estimated that the space in the field of view of the
また、第2推定部142は、視野内の空間が検知対象を含む状態から含まない状態に遷移したと推定される場合に、このことを通知する信号を設定部151に出力してよい。
Further, when it is estimated that the space in the visual field has changed from the state including the detection target to the state not including the detection target, the
[1−12.設定部]
設定部151は、第1の設定部および/または第2の設定部の一例であり、ノイズ成分の大きさ(A)が第2の閾値(S2)より大きい場合、および/または、視野内の空間が検知対象を含む状態から含まない状態に遷移したと第2推定部142により推定される場合に、出力値(x[i])を第1の値(y[i])に設定する。例えば、設定部151は、第1推定動作制御部131および/または第2推定部142から通知信号を受信した場合に、出力値(x[i])を第1の値(y[i])に設定してよい。
[1-12. Setting section]
The
ここで、出力値(x[i])を第1の値(y[i])に設定するとは、第1の値(y[i])として出力値(x[i])を用いることを意味する。例えば、設定部151は、第1算出部111に出力値(x[0])をそのまま第1の値(y[0])として出力させてよい。これにより、例えば、視野内の空間に検知対象が存在すると推定される時点での出力値(x[i])を用いて、存在しない状態から存在する状態への遷移に関する推定動作が行われることが防止され、推定の精度が向上する。
Here, to set the output value (x [i]) to the first value (y [i]) means to use the output value (x [i]) as the first value (y [i]). means. For example, the
[1−13.第2推定動作制御部]
第2推定動作制御部132は、出力値(x[i])が第4の閾値(S4)を超えた場合に、第1推定部141による推定動作を中止する。第4の閾値(S4)としては、環境温度および検知対象の温度よりも著しく高温の物質が視野内に存在する場合に予め測定された出力値(x[i])を用いてよく、この値は固定値であってよい。これにより、例えば推定装置10が搭載されたモバイルデバイスの姿勢が変化して赤外線センサ20の視野内に太陽が含まれる場合など、推定動作を正常に行うことができない場合に、推定動作を中止することができる。
[1-13. 2nd estimation motion control unit]
When the output value (x [i]) exceeds the fourth threshold value (S 4 ), the second estimation
なお、第2推定動作制御部132は、第4の閾値(S4)として、出力値(x[i])についての値を用いる代わりに、環境温度(T)についての値を用いてもよい。この場合には、第2推定動作制御部132は、温度検出部102により検出される環境温度(T)と第4の閾値(S4)とを比較してもよい。
The second estimation
以上の推定装置10によれば、赤外線センサ20からの出力値(x[i])を用いて第1の値(y[i])および第2の値(V2[i])がそれぞれ経時的に算出され、これらに基づく第1の閾値(S1[i])と、出力値(x[i])とに基づいて空間状態が推定される。従って、経時的に出力値(x[i])を用いて変更される第1の閾値(S1[i])に基づいて空間状態を推定することができるため、固定の閾値に基づいて推定を行う場合と比較して、推定精度を高めることができる。
According to the
また、出力値(x[i])におけるノイズ成分の大きさ(A)と、第2の閾値(S2)とに基づいて第1推定部141による推定動作が開始するので、例えば視野内の空間が検知対象を含まない状態から含む状態に遷移したことを推定する動作を、視野内の空間に検知対象が存在しない状態から開始することができる。
Further, the output value (x [i]) in the noise component size (A), since the estimation operation by the
なお、以上の推定装置10においては、第1推定部141および第2推定部142により空間状態を推定することとして説明したが、第1推定部141を用いずに第2推定部142により空間状態を推定してもよい。
In the
また、第1推定部141および第2推定部142により空間状態を推定することに代えて、第1推定動作制御部131により空間状態を推定してもよい。例えば、第1推定動作制御部131は、出力値(x[i])におけるノイズ成分の大きさ(A)と、第2の閾値(S2)とに基づいて、空間状態を推定してもよい。一例として、第1推定動作制御部131は、ノイズ成分の大きさ(A)が第2の閾値(S2)より小さい場合には赤外線センサ20の視野内の空間に検知対象が存在しないと推定し、かつ/または、ノイズ成分の大きさ(A)が第2の閾値(S2)より大きい場合には赤外線センサ20の視野内の空間に検知対象が存在すると推定してよい。
Further, instead of estimating the spatial state by the
また、推定装置10は、第1推定部141および第2推定部142により空間状態を推定することに加えて、第1推定動作制御部131により空間状態を推定してもよい。例えば、推定装置10は、第1推定部141および第2推定部142による空間状態の推定結果と、第1推定動作制御部131による空間状態の推定結果とのAND条件、または、OR条件をとって空間状態を推定してもよい。OR条件をとって空間条件を推定する場合には、第1推定部141および第2推定部142による推定が誤っている場合にも、第1推定動作制御部131による推定によって正しい推定結果を得ることができる。
Further, the
[2.推定装置の動作]
図2は、本実施形態に係る推定装置10の動作を示すフローチャートである。推定装置10は、S1〜S31の処理を実行することにより、対象とする空間の状態の推定、例えば検知対象が存在するか否かを推定する。
[2. Operation of the estimation device]
FIG. 2 is a flowchart showing the operation of the
なお、以下で説明する動作は推定装置10が起動されることにより開始してよい。開始時点においては取得部101、温度検出部102、第2閾値算出部122および第1推定動作制御部131のみがイネーブルされてよいが、推定装置10に含まれる他の構成がさらにイネーブルされてもよい。
The operation described below may be started by activating the
まず、S1において、第2閾値算出部122が第2の閾値(S2)を算出する。例えば、第2閾値算出部122は、環境温度(T)を用いて第2の閾値(S2)を経時的に算出してよい。
First, in S1, the second threshold
一例として、第2閾値算出部122は、複数の環境温度(T)のそれぞれに第2の閾値(S2)の候補を対応付けたテーブルを用いることにより、環境温度(T)に対応する第2の閾値(S2)を算出してよい。このようなテーブルを作成するには、例えば赤外線センサ20の視野内の検知対象に起因する出力値(x[i])の変化量を複数の環境温度で測定した後、変化量に係数を乗算して第2の閾値(S2)の候補とし、これらの候補を各環境温度に対応付けて記憶させてよい。係数としては任意の正の値を用いることができ、1未満の値を用いてもよいし、1より大きい値を用いてもよいし、1を用いてもよい。
As an example, the second threshold
第2閾値算出部122は、赤外線センサ20が複数の出力値(x[0])を出力する毎、一例として基準時間間隔(Δt)(例えば5秒)の経過毎に動作してよい。第2閾値算出部122は、取得部101が最新の出力値(x[0])を出力する毎に動作してもよい。
The second threshold
次に、S3において、第1推定動作制御部131は、複数の出力値(x[i])におけるノイズ成分の大きさ(A)と、第2の閾値(S2)とに基づいて、視野内の空間に検知対象が存在するか否かを判定する。例えば、第1推定動作制御部131は、ノイズ成分の大きさ(A)が第2の閾値(S2)より小さい場合には、視野内の空間に検知対象が存在しないと判定する。
Next, in S3, the first estimation
第1推定動作制御部131は、ノイズ成分の大きさ(A)を算出してよい。第1推定動作制御部131は、複数の出力値(x[i])と第1の値(y[i])とに基づいてノイズ成分の大きさ(A)を算出する場合には、第1の値(y[i])を自身で算出してもよいし、第1算出部111から取得してもよい。第1推定動作制御部131が第1の値(y[i])を第1算出部111から取得する場合には、推定装置10が起動されるときに第1算出部111がイネーブルされてよい。
The first estimation
第1推定動作制御部131は、赤外線センサ20が複数の出力値(x[0])を出力する毎、一例として基準時間間隔(Δt)の経過毎に動作してよい。第1推定動作制御部131は、取得部101が出力値(x[0])を出力する毎に動作してもよい。
The first estimation
S3において視野内の空間に検知対象が存在すると判定された場合(S3;Yes)には、次にS5において設定部151は、出力値(x[i])を第1の値(y[i])に設定する。例えば、設定部151は、第1算出部111に最新の出力値(x[0])をそのまま第1の値(y[0])として出力させてよい。
When it is determined in S3 that the detection target exists in the space in the field of view (S3; Yes), then in S5, the
次に、推定装置10は処理をS1に戻す。これにより、S3において視野内の空間に検知対象が存在しないと判定されない限り、S1〜S5の処理が経時的に繰り返される。
Next, the
S3において視野内の空間に検知対象が存在しないと判定された場合(S3;No)には、第1推定動作制御部131は、後述のS7〜S17の処理を開始させることにより、第1推定部141による推定動作を開始させる。例えば、第1推定動作制御部131は、第1推定部141をイネーブルしてよい。また、第1推定動作制御部131は、第1算出部111、第2算出部112および第1閾値算出部121がディセーブル状態である場合には、これらもイネーブルしてよい。
When it is determined in S3 that the detection target does not exist in the space in the visual field (S3; No), the first estimation
次に、S7において、第2推定動作制御部132は、1または複数の出力値(x[i])が第4の閾値(S4)を超えたか否かを判定する。例えば、第2推定動作制御部132は、最新の出力値(x[0])が第4の閾値(S4)を超えたか否かを判定してよい。
Next, in S7, the second estimation
S7において出力値(x[i])が第4の閾値(S4)を超えたと判定された場合(S7;Yes)、例えば視野内に太陽が含まれる場合など、推定動作を正常に行うことができない場合には、第2推定動作制御部132は、推定装置10の動作を終了する。これにより、後述のS13での第1推定部141による推定動作が中止される。なお、S7の処理は、後述のS9〜S17の処理の前後の任意のタイミングで行われてもよいし、これらの処理と並行して行われてもよい。また、推定動作が中止された後に出力値(x[i])が第4の閾値(S4)よりも小さくなった場合には推定装置10は改めてS1から動作を再開してよい。
When it is determined in S7 that the output value (x [i]) exceeds the fourth threshold value (S 4 ) (S7; Yes), for example, when the sun is included in the field of view, the estimation operation is normally performed. If this is not possible, the second estimation
S7において出力値(x[i])が第4の閾値(S4)を超えないと判定された場合(S7;No)には、次に、S9において第2算出部112は、1または複数の出力値(x[i])を用いて第2の値(V2[i])を算出する。例えば、第2算出部112は、ノイズ成分の大きさ(A)を用いて第2の値(V2[i])を算出してよい。この場合には、出力値(x[i])の基準としての第1の値(y[i])と、後述のS9で算出される第1の閾値(S1[i])との間のオフセットの大きさがノイズ成分の大きさ(A)に応じて調整されるため、出力値(x[i])のノイズに起因する誤った推定が防止される。
When it is determined in S7 that the output value (x [i]) does not exceed the fourth threshold value (S 4 ) (S7; No), then in S9, the
例えば、第2算出部112は、以下の式(1)を用いて第2の値(V2[i])を算出してよい。式中、「a」は任意の係数である。
V2[i]=A×a …(1)
For example, the
V 2 [i] = A × a ... (1)
第2算出部112は、第1推定動作制御部131などの他の構成によって算出されたノイズ成分の大きさ(A)を用いてもよいし、自身で算出してもよい。例えば、第2算出部112は、複数の出力値(x[i])と第1の値(y[i])とに基づいてノイズ成分の大きさ(A)を算出してよい。
The
第2算出部112は、温度検出部102から供給される環境温度(T)が低いほど、第2の値(V2[i])を大きい値に算出してよい。一般に、検知対象としての人の体温と、環境温度(T)との差が大きい環境、例えば、人体が35℃程度であるのに対して環境温度(T)が10℃程度の環境下で推定装置10が使用される場合には、視野内の空間が人を含まない状態から含む状態に遷移するときの出力値(x[i])の変化量が大きくなる。このような場合であっても、出力値(x[i])の基準と、第1の閾値(S1)との間のオフセットが大きくなることで、出力値(x[i])のノイズに起因する誤った推定が防止される。
The
例えば、第2算出部112は、式(1)における係数aを環境温度(T)に応じて算出してよく、環境温度(T)が低いほど係数aの値が大きくなるようにしてよい。係数aの値は経時的に算出されてよい。
For example, the
なお、第2算出部112は、係数aの候補値として大小2つの値を記憶しておき、環境温度(T)が基準温度よりも低い場合には大きい方の候補値を係数aに設定し、環境温度(T)が基準温度よりも高い場合には小さい方の候補値を係数aに設定してもよい。候補値を3つ以上の値とし、基準温度を2つ以上の温度としてもよい。
The
次に、S11において第1閾値算出部121は、第1の値(y[i])および第2の値(V2[i])に基づいて第1の閾値(S1[i])を算出する。例えば、第1閾値算出部121は、第1の値(y[i])と、第2の値(V2[i])とを加算して第1の閾値(S1[i])を算出してよい。一例として、第1閾値算出部121は、最新の第1の値(y[0])と、最新の第2の値(V2[0])とを加算して第1の閾値(S1[0])を算出してよい。
Next, in S11, the first threshold
次に、S13において第1推定部141は、出力値(x[i])および第1の閾値(S1[i])に基づいて、赤外線センサ20の視野内の空間状態を推定する。例えば、第1推定部141は、赤外線センサ20の視野内の空間が検知対象を含まない状態から含む状態に遷移したことの推定を試みることで、この空間が検知対象を含む状態であるか否かを推定してよい。
Next, in S13, the
一例として、第1推定部141は、最新の出力値(x[0])と、第1の閾値(S1[0])とを比較することで、空間状態を推定してよい。より具体的には、第1推定部141は、最新の出力値(x[0])が第1の閾値(S1[0])を超えた場合には、赤外線センサ20の視野内の空間が検知対象を含まない状態から含む状態に遷移したと推定してよい。なお、第1推定部141は、複数の出力値(x[i])と、対応する第1の閾値(S1[i])とを比較することで、空間状態を推定してもよい。例えば、第1推定部141は、最も新しい複数個の出力値(x[i])のそれぞれを、対応する第1の閾値(S1[i])と比較し、各出力値(x[i])が第1の閾値(S1[i])を超えた場合に、赤外線センサ20の視野内の空間が検知対象を含む状態に遷移したと推定してよい。
As an example, the
次に、S15において第1推定部141は、視野内の空間が検知対象を含まない状態から含む状態に遷移したか否かを判定する。S15において視野内の空間が検知対象を含まない状態から含む状態に遷移していないと判定された場合(S15;No)には、次にS17において第1算出部111は、1または複数の出力値(x[i])を用いて第1の値(y[i])を算出する。
Next, in S15, the
例えば、第1算出部111は、第1の値(y[i])として複数の出力値(x[i])の移動平均を算出してよい。この場合には、出力値(x[i])が突発的に変化する場合での第1の値(y[i])、ひいてはS11で算出される第1の閾値(S1[i])の変化量が低減されるため、出力値(x[i])のノイズによって第1の閾値(S1[i])が突発的に変化してしまうことに起因する誤った推定が防止される。
For example, the
一例として、第1算出部111は、最新の第1の値(y[0])として、N−1個(但しNは2以上の自然数)前の出力値(x[−(N−1)])から最新の出力値(x[0])までのN個の出力値(x[i])、つまり現時点から遡ってN個の出力値(x[i])の移動平均を算出してよい。また、第1算出部111は、移動平均として、単純移動平均を算出してもよいし、他の移動平均を算出してもよい。
As an example, the
単純移動平均とは異なる移動平均を算出する場合には、第1算出部111は、複数の出力値(x[i])のそれぞれに重み付けを行って移動平均を算出してよい。この場合に、第1算出部111は、各出力値(x[i])に対して設定される重みwを、当該出力値(x[i])と、既に算出されている前の第1の値(y[i])、例えば第1の値(y[−1])との差分が小さいほど、大きく設定してよい。
When calculating a moving average different from the simple moving average, the
また、第1算出部111は、複数の出力値(x[i])の標準偏差σをさらに用いて移動平均を算出してよい。標準偏差σを用いる場合に、第1算出部111は、各出力値(x[i])に対して設定される重みwを、標準偏差σの値に対する上述の差分の比が小さいほど、大きく設定してよい。一例として、第1算出部111は、以下の式(2)を用いて第1の値(y[i])を算出してよい。式中、wi[n](但し「n」は変数)は、出力値(x[i])に対する重みである。
Further, the
この式(2)を用いて算出されるy[0]は、現時点から遡ってN個の出力値(x[i])がそれぞれ第1の値(y[−1])に対して標準偏差σ以下の差分を示す場合に、N個の出力値(x[i])の単純移動平均と概ね等しくなる。そのため、このような状態が連続することでN個以上の出力値(x[i])がそれぞれ第1の値(y[i−1])に対して標準偏差σ以下の差分を示す場合には、各時点で算出される複数の第1の値(y[i])は小さい変化量で出力値(x[i])に追従する。 In y [0] calculated using this equation (2), N output values (x [i]) are standard deviations from the first value (y [-1]) retroactively from the present time. When showing a difference of σ or less, it is approximately equal to the simple moving average of N output values (x [i]). Therefore, when such a state is continuous and N or more output values (x [i]) each show a difference of standard deviation σ or less with respect to the first value (y [i-1]). Follows the output value (x [i]) with a small amount of change in the plurality of first values (y [i]) calculated at each time point.
また、現時点から遡ってN個の出力値(x[i])における一部(例えば半分未満)の出力値(x[i])のみが第1の値(y[−1])に対して標準偏差σより大きい差分を示す場合には、当該一部の出力値(x[i])の重みwi[n]が残りの出力値(x[i])の重みwi[n]に対して小さくなる。その結果、変化量の小さい出力値(x[i])に大きく重み付けして第1の値(y[i])が算出される。そのため、出力値(x[i])が大きく変化しても、変化した状態が連続しない限り、第1の値(y[i])は元の値を概ね維持する。 Further, only a part (for example, less than half) of the output values (x [i]) of the N output values (x [i]) retroactively from the present time is the first value (y [-1]). to indicate larger difference standard deviation σ is the said portion of the output value (x [i]) weights w i [n] is the remaining output values (x [i]) weight w i of [n] On the other hand, it becomes smaller. As a result, the first value (y [i]) is calculated by heavily weighting the output value (x [i]) having a small change amount. Therefore, even if the output value (x [i]) changes significantly, the first value (y [i]) generally maintains the original value unless the changed state is continuous.
また、現時点から遡ってN個の出力値(x[i])における全ての出力値(x[i])が第1の値(y[−1])に対して標準偏差σより大きい差分を示す場合には、N個の全ての出力値(x[i])の重みwi[n]が小さくなるため、第1の値(y[i])はN個の出力値(x[i])の単純移動平均と概ね等しくなる。そのため、このような状態が連続すると、第1の値(y[i])は出力値(x[i])の変化に追従する。 In addition, all output values (x [i]) in N output values (x [i]) retroactively from the present time have a difference larger than the standard deviation σ with respect to the first value (y [-1]). In the case of the above, since the weight w i [n] of all N output values (x [i]) becomes small, the first value (y [i]) is N output values (x [i]). ]) Is approximately equal to the simple moving average. Therefore, when such a state continues, the first value (y [i]) follows the change of the output value (x [i]).
なお、S17において第1算出部111は、出力値(x[0])が第1の値(y[−1])に対して第3の閾値(S3[0])以上に低下した場合に出力値(x[0])をそのまま第1の値(y[0])として算出してもよい。例えば、設定部151は取得部101から出力値(x)を受信して蓄積記憶し、出力値(x[0])が第1の値(y[−1])に対して第3の閾値(S3[0])以上に低下した場合に第1算出部111に出力値(x[0])をそのまま第1の値(y[0])として出力させてもよい。これにより、例えば赤外線センサ20の視野内の環境温度(T)が低下することで出力値(x[0])が急に低下した場合に低下後の出力値(x[0])が新たな基準とされるため、環境変化に応じた推定を行うことができる。なお、この場合には、S3において視野内の空間に検知対象が存在しないと判定された場合(S3;No)に、第3算出部113および第3閾値算出部123がイネーブルされてよい。
In S17, the
以上のようにS17において第1算出部111が第1の値(y[i])を算出したら、次に推定装置10は処理をS7に戻す。これにより、S15において視野内の空間が検知対象を含まない状態から含む状態に遷移していないと判定される限り、S7〜S17の処理が経時的に繰り返される。このようにS7〜S17の処理が繰り返される場合には、第1算出部111および第2算出部112は、取得部101が1または複数の出力値(x[i])を出力する毎に第1の値(y[i])および第2の値(V2[i])を算出してよく、本実施形態においては、1つの出力値(x[0])を出力する毎に第1の値(y[0])および第2の値(V2[0])を算出する。
After the
一方、S15において視野内の空間が検知対象を含まない状態から含む状態に遷移したと判定された場合(S15;Yes)には、第1推定部141は、推定結果を外部の装置に出力してよい。また、第1推定部141は、第2算出部112および第1閾値算出部121をディセーブルするとともに、ディセーブル状態に移行してよい。また、第1推定部141は、第2推定部142をイネーブルしてよい。また、第1推定部141は、第3算出部113および第3閾値算出部123がディセーブル状態である場合には、これらもイネーブルしてよい。
On the other hand, when it is determined in S15 that the space in the visual field has transitioned from the state not including the detection target to the state including the detection target (S15; Yes), the
なお、第1推定部141は、視野内の空間が検知対象を含まない状態から含む状態に遷移したと判定されたことの通知信号を温度検出部102に出力してよい。この場合には、温度検出部102は、視野内の空間が検知対象を含む状態から含まない状態に遷移したと判定されたことの通知信号を第2推定部142から受信しない限り、現時点での環境温度(T)を変更せずに出力してよい。これにより、視野内の空間に人などの検知対象が存在しない場合の環境温度を環境温度(T)として用いることができる。
The
次に、S21において第1算出部111は、S17と同様にして第1の値(y[i])を算出する。このとき、第1の値(y[i])として複数の出力値(x[i])の移動平均が算出される場合には、出力値(x[i])が突発的に変化する場合での第1の値(y[i])、ひいては後述のS25で算出される第3の閾値(S3[i])の変化量が低減されるため、第3の閾値(S3[i])が突発的に変化してしまうことに起因する誤った推定が防止される。
Next, in S21, the
次にS23において第3算出部113は、1または複数の出力値(x[i])を用いて第3の値(V3[i])を算出する。例えば、第3算出部113は、ノイズ成分の大きさ(A)を用いて第3の値(V3[i])を算出してよい。この場合には、出力値(x[i])の基準としての第1の値(y[i])と、後述のS25で算出される第3の閾値(S3[i])との間のオフセットの大きさがノイズ成分の大きさ(A)に応じて調整されるため、出力値(x[i])のノイズに起因する誤った推定が防止される。
Next, in S23, the
例えば、第3算出部113は、上述の式(1)を用いて第2の値(V2[i])の代わりに第3の値(V3[i])を算出してよい。第3算出部113は、第1推定動作制御部131などの他の構成によって算出されたノイズ成分の大きさ(A)を用いてもよいし、自身で算出してもよい。例えば、第3算出部113は、複数の出力値(x[i])と第1の値(y[i])とに基づいてノイズ成分の大きさ(A)を算出してよい。
For example, the
第3算出部113は、温度検出部102から供給される環境温度(T)が低いほど、第3の値(V3[i])を大きい値に算出してよい。これにより、視野内の空間が人を含まない状態から含む状態に遷移するときの出力値(x[i])の変化量が大きい場合であっても、出力値(x[i])の基準と、第3の閾値(S3[i])との間のオフセットが大きくなることで、出力値(x[i])のノイズに起因する誤った推定が防止される。
The
例えば、第3算出部113は、上述の式(1)における係数aを環境温度(T)に応じて算出してよく、環境温度(T)が低いほど係数aの値が大きくなるようにしてよい。係数aの値は経時的に算出されてよい。
For example, the
なお、第3算出部113は、係数aの候補値として大小2つの値を記憶しておき、環境温度(T)が基準温度よりも低い場合には大きい方の候補値を係数aに設定し、環境温度(T)が基準温度よりも高い場合には小さい方の候補値を係数aに設定してもよい。候補値を3つ以上の値とし、基準温度を2つ以上の温度としてもよい。第3算出部113は、第2算出部112による第2の値(V2[i])の算出手法と同様の手法により第3の値(V3[i])を算出してもよい。
The
次に、S25において第3閾値算出部123は、第1の値(y[i])および第3の値(V3[i])に基づいて第3の閾値(S3[i])を算出する。例えば、第3閾値算出部123は、第1の値(y[i])から第3の値(V3[i])を減算して第3の閾値(S3[i])を算出してよい。一例として、第3閾値算出部123は、最新の第1の値(y[0])から、最新の第3の値(V3[0])を減算して第3の閾値(S3[0])を算出してよい。
Next, in S25, the third threshold
次に、S27において第2推定部142は、出力値(x[i])と第3の閾値(S3[i])とに基づいて、空間が検知対象を含まない状態から含む状態に遷移したことの推定を試みることで、この空間が検知対象を含む状態であるか否かを推定する。例えば、第2推定部142は、出力値(x[i])が低下して第3の閾値(S3[i])よりも小さくなった場合に、空間が検知対象を含む状態から含まない状態に遷移したことを推定してよい。
Next, in S27, the
一例として、第2推定部142は、最新の出力値(x[0])と、第3の閾値(S3[0])とを比較することで、空間状態を推定してよい。より具体的には、第2推定部142は、最新の出力値(x[0])が第3の閾値(S3[0])よりも小さくなった場合には、赤外線センサ20の視野内の空間が検知対象を含む状態から含まない状態に遷移したと推定してよい。なお、第2推定部142は、複数の出力値(x[i])と、対応する第3の閾値(S3[i])とを比較することで、空間状態を推定してもよい。例えば、第2推定部142は、最も新しい複数個の出力値(x[i])のそれぞれを、対応する第3の閾値(S3[i])と比較し、各出力値(x[i])が第3の閾値(S3[i])よりも小さくなった場合に、赤外線センサ20の視野内の空間が検知対象を含まない状態に遷移したと推定してよい。
As an example, the
次に、S29において第2推定部142は、視野内の空間が検知対象を含む状態から含まない状態に遷移したか否かを判定する。
Next, in S29, the
S29において視野内の空間が検知対象を含む状態から含まない状態に遷移していないと判定された場合(S29;No)には、推定装置10は処理をS21に戻す。これにより、S29において視野内の空間が検知対象を含む状態から含まない状態に遷移していないと判定される限り、S21〜S29の処理が経時的に繰り返される。このようにS21〜S29の処理が繰り返される場合には、第1算出部111および第3算出部113は、取得部101が1または複数の出力値(x[i])を出力する毎に第1の値(y[i])および第3の値(V3[i])を算出してよく、本実施形態においては、1つの出力値(x[0])を出力する毎に第1の値(y[0])および第3の値(V3[i])を算出する。
When it is determined in S29 that the space in the visual field has not transitioned from the state including the detection target to the state not including the detection target (S29; No), the
一方、S29において視野内の空間が検知対象を含む状態から含まない状態に遷移したと判定された場合(S29;Yes)には、第2推定部142は、推定結果を外部の装置に出力してよい。また、第2推定部142は、第3算出部113および第3閾値算出部123をディセーブルするとともに、ディセーブル状態に移行してよい。また、第2推定部142は、第1推定部141をイネーブルしてよい。また、第2推定部142は、第2算出部112および第1閾値算出部121がディセーブル状態である場合には、これらもイネーブルしてよい。
On the other hand, when it is determined in S29 that the space in the visual field has transitioned from the state including the detection target to the state not including the detection target (S29; Yes), the
次に、S31において設定部151は、出力値(x[i])を第1の値(y[i])に設定する。例えば、設定部151は、第1算出部111に最新の出力値(x[0])をそのまま第1の値(y[0])として出力させてよい。次に、推定装置10は処理をS7に戻す。
Next, in S31, the
[3.S1〜S5の処理の具体例]
図3は、S1〜S5の処理の具体例を説明するための図である。
[3. Specific Examples of Processing S1 to S5]
FIG. 3 is a diagram for explaining a specific example of the processing of S1 to S5.
図中、1番目の基準時間間隔(ΔT1)(0〜5秒)では、ノイズによる出力値(x[i])の変化が大きい。そのため、この間の複数の出力値(x[i])と第1の値(y[i])とに基づいて算出される、ノイズ成分の大きさ(A)(例えば出力値(x[i])と第1の値(y[i])との差の移動平均)は、第2の閾値(S2)(図示せず)よりも大きくなる(S3;Yes)。 In the figure, at the first reference time interval (ΔT 1 ) (0 to 5 seconds), the change in the output value (x [i]) due to noise is large. Therefore, the magnitude (A) of the noise component calculated based on the plurality of output values (x [i]) and the first value (y [i]) during this period (for example, the output value (x [i]]). ) And the first value (the moving average of the difference between y [i])) becomes larger than the second threshold (S 2 ) (not shown) (S3; Yes).
これにより、1番目の基準時間間隔(ΔT1)の経過時点での最新の出力値(x[0])が2番目の基準時間間隔(ΔT2)(5〜10秒)での第1の値(y[0])として設定される(S5)。次に、2番目の基準時間間隔(ΔT2)では、ノイズによる出力値(x[i])の変化が小さいため、ノイズ成分の大きさ(A)は第2の閾値(S2)(図示せず)よりも小さくなる(S3:No)。 As a result, the latest output value (x [0]) at the time when the first reference time interval (ΔT 1 ) elapses becomes the first in the second reference time interval (ΔT 2 ) (5 to 10 seconds). It is set as a value (y [0]) (S5). Next, at the second reference time interval (ΔT 2 ), the change in the output value (x [i]) due to noise is small, so that the magnitude (A) of the noise component is the second threshold value (S 2 ) (FIG. (Not shown) becomes smaller (S3: No).
これにより、3番目の基準時間間隔(ΔT3)(10〜15秒)でS7〜S17の処理が開始され、第1推定部141による推定動作が行われる。S7〜S17の処理が繰り返される場合には、取得部101が1または複数の出力値(x[i])を出力する毎に第1の値(y[i])が算出される。
As a result, the processing of S7 to S17 is started at the third reference time interval (ΔT 3 ) (10 to 15 seconds), and the estimation operation by the
[4.S17およびS21の処理の具体例]
図4A、図4Bは、S17およびS21の処理の具体例(1)、(2)を示す図である。
[4. Specific Examples of Processing of S17 and S21]
4A and 4B are diagrams showing specific examples (1) and (2) of the processes of S17 and S21.
図4Aでは、出力値(x[i])が時間(t1)で突発的に変化している。このような変化は、例えば視野内を人体が横切った場合に生じうる。この場合に第1の値(y[i])が複数の出力値(x[i])の移動平均である場合には、第1の値(y[i])変化が低減される。 In FIG. 4A, the output value (x [i]) suddenly changes with time (t1). Such changes can occur, for example, when the human body crosses the field of view. In this case, when the first value (y [i]) is a moving average of a plurality of output values (x [i]), the change in the first value (y [i]) is reduced.
図4Bでは、出力値(x[i])が時間(t6)で増加した後、高い値に維持されている。このような変化は、例えば推定装置10の視野内の空間に人体が移動してきた場合に生じうる。
In FIG. 4B, the output value (x [i]) is maintained at a high value after increasing with time (t6). Such a change can occur, for example, when the human body moves into the space within the field of view of the
この場合に第1の値(y[i])が上述の式(2)を用いて算出されると、例えば時間(t5)から、時間(t6)の直前の時間(t6')の間では、各時点での第1の値(y[−1])に対し、その時点から遡ってN個の出力値(x[i])がそれぞれ標準偏差σ以下の差分を示す。そのため、時間(t5)〜(t6')の各時点で算出される第1の値(y[0])は出力値(x[i])の単純移動平均と概ね等しくなり、小さい変化量で出力値(x[i])に追従する。 In this case, if the first value (y [i]) is calculated using the above equation (2), for example, between the time (t5) and the time (t6') immediately before the time (t6). , The difference between the first value (y [-1]) at each time point and the standard deviation σ or less of N output values (x [i]) retroactively from that time point is shown. Therefore, the first value (y [0]) calculated at each time point (t5) to (t6') is almost equal to the simple moving average of the output value (x [i]), and the amount of change is small. It follows the output value (x [i]).
また、時間(t6)から、時間(t8)の直前の時間(t8')の間では、各時点での第1の値(y[−1])に対し、その時点から遡ってN個の出力値のうち、全ての出力値(x[i])ではなく、時間(t6)以降の出力値(x[i])のみが標準偏差σより大きい差分を示す。そのため、時間(t6)以降の出力値(x[i])の重みwiが時間(t6)より前の出力値(x[i])の重みwi[n]に対して小さくなり、時間(t6)より前の出力値(x[i])に大きく重み付けして第1の値(y[i])が算出される。従って、第1の値(y[i])は出力値(x[i])に追従せず、元の値を概ね維持する。 Further, between the time (t6) and the time (t8') immediately before the time (t8), N pieces are traced back from the first value (y [-1]) at each time point. Of the output values, only the output values (x [i]) after the time (t6), not all the output values (x [i]), show a difference larger than the standard deviation σ. Therefore, the weight w i of the output value (x [i]) after the time (t6) becomes smaller than the weight w i [n] of the output value (x [i]) before the time (t6), and the time The first value (y [i]) is calculated by heavily weighting the output value (x [i]) before (t6). Therefore, the first value (y [i]) does not follow the output value (x [i]) and generally maintains the original value.
また、時間(t8)では、各時点での第1の値(y[−1])に対し、その時点から遡ってN個の出力値(x[i])がそれぞれ標準偏差σより大きい差分を示す。そのため、N個の全ての出力値(x[i])の重みwi[n]が小さくなるため、第1の値(y[i])はN個の出力値(x[i])の単純移動平均と概ね等しくなる。従って、第1の値(y[i])は出力値(x[i])に追従する。 Further, in the time (t8), the difference between the first value (y [-1]) at each time point and the N output values (x [i]) retroactive from that time point is larger than the standard deviation σ. Is shown. Therefore, since all the output values of the N (x [i]) weights w i [n] of the decreases, the first value (y [i]) of the N output values (x [i]) It is almost equal to the simple moving average. Therefore, the first value (y [i]) follows the output value (x [i]).
また、時間(t8)より後の時点では、各時点での第1の値(y[−1])に対し、その時点から遡ってN個の出力値のうち、全ての出力値(x[i])ではなく、時間(t8)より前の出力値(x[i])のみが標準偏差σより大きい差分を示す。そのため、時間(t8)より前の出力値(x[i])の重みwiが時間(t8)以降の出力値(x[i])の重みwi[n]に対して小さくなり、時間(t8)以降の出力値(x[i])に大きく重み付けして第1の値(y[i])が算出される。従って、第1の値(y[i])は元の値を概ね維持する。 Further, at the time point after the time (t8), all the output values (x [] of the N output values retroactively from that time point are relative to the first value (y [-1]) at each time point. Only the output value (x [i]) before the time (t8), not i]), shows a difference larger than the standard deviation σ. Therefore, decreases with respect to time the output value prior to (t8) (x [i] ) weight w i is the time (t8) after the output value (x [i]) weight w i of [n], the time The first value (y [i]) is calculated by heavily weighting the output values (x [i]) after (t8). Therefore, the first value (y [i]) generally maintains the original value.
[5.S7の処理の具体例(1)]
図5は、S9の処理の具体例を示す図である。
[5. Specific example of processing of S7 (1)]
FIG. 5 is a diagram showing a specific example of the processing of S9.
図5では、出力値(x[i])のノイズ成分が時間(t10)〜(t11)の間、および、t12以降で小さく、時間(t11)〜(t12)の間で大きい。そのため、ノイズ成分の大きさを用いて算出される第2の値(V2[i])は、時間(t10)〜(t11)の間、および、t12以降で小さくなり、時間(t11)〜(t12)の間で大きくなる。つまり、出力値(x[i])の基準としての第1の値(y[i])と、第1の閾値(S1[i])との間のオフセットの大きさがノイズ成分の大きさに応じて調整される。 In FIG. 5, the noise component of the output value (x [i]) is small during the time (t10) to (t11) and after t12, and large during the time (t11) to (t12). Therefore, the second value (V 2 [i]) calculated using the magnitude of the noise component becomes smaller during the time (t10) to (t11) and after t12, and becomes smaller from the time (t11) to. It increases during (t12). That is, the magnitude of the offset between the first value (y [i]) as the reference of the output value (x [i]) and the first threshold value (S 1 [i]) is the magnitude of the noise component. It is adjusted accordingly.
[6.S9の処理の具体例(2)]
図6は、S9の処理の具体例を示す図である。
[6. Specific example of processing of S9 (2)]
FIG. 6 is a diagram showing a specific example of the processing of S9.
図6では、環境温度(T)が低いほど、第2の値(V2[i])が大きい値に算出されている。これにより、例えば検知対象としての人の体温と、環境温度(T)との差が大きい環境下では出力値(x[i])の基準と、第1の閾値(S1[i])との間のオフセットが大きくなる。 In FIG. 6, the lower the ambient temperature (T), the larger the second value (V 2 [i]) is calculated. As a result, for example, in an environment where the difference between the human body temperature as the detection target and the environmental temperature (T) is large, the output value (x [i]) reference and the first threshold value (S 1 [i]) are set. The offset between them increases.
[7.端末装置の構成]
図7は、本実施形態に係る端末装置1を示すブロック図である。
[7. Terminal device configuration]
FIG. 7 is a block diagram showing a
端末装置1は、近傍に操作者が存在するか否かにより自動的にログイン状態とログオフ状態とを切り替えるものである。これに加え/代えて、端末装置1は、近傍に操作者が存在するか否かにより自動的に通常電力状態と省電力状態とを切り替えてもよい。例えば、端末装置1は、ノートパソコンなどのパソコンであってよい。端末装置1は、上述の赤外線センサ20および推定装置10を備えている。端末装置1は、ユーザインターフェース30、撮像部40、撮像制御部50および認証部60をさらに備えてもよい。
The
ユーザインターフェース30は、端末装置1と操作者との間で情報をやり取りする。例えば、ユーザインターフェース30は、ディスプレイ301およびキーボード302等を有し、端末装置1のオペレーティングシステムと操作者との間で情報をやり取りしてよい。また、ユーザインターフェース30は、ユーザの操作に応じて端末装置1のログイン処理(および/またはログイン画面の表示処理)およびログアウト処理を行ってよい。また、ユーザインターフェース30は、推定装置10による推定結果に応じて自動でログイン処理およびログアウト処理を行ってもよい。
The
赤外線センサ20は、端末装置1を操作者が操作しているとき、或いはディスプレイ301を操作者が見ているときに当該操作者が視野内に含まれるように設置されている。例えば、赤外線センサ20は、操作者の体表面からの赤外線を受光すべく、体表面の露出部分(一例として顔部分)が視野内に含まれるように設置されてよい。一例として、赤外線センサ20は、ディスプレイ301のベゼル上部に搭載されてよい。また、赤外線センサ20は、キーボード302の近傍の空間が視野内に入るように向けられてよい。例えば、赤外線センサ20は、ノートパソコンとしての端末装置1が開いた状態で設置されたときに、使用者の側に向けられてよい。
The
推定装置10は、第1推定部141により赤外線センサ20の視野内の空間が操作者を含まない状態から含む状態に遷移したと推定される場合に、このことを通知する信号を撮像制御部50に出力してよい。
When it is estimated by the
撮像部40は、赤外線センサ20の視野内の空間を撮像する。例えば、撮像部40は、端末装置1を操作する操作者の顔認証を行う場合に、操作者の顔部分を含む空間を撮像可能であってよい。撮像部40の視野は、赤外線センサ20の視野と重なってよく、同一であってもよい。一例として、撮像部40はCCDカメラであってよい。撮像部40は、撮像画像のデータを認証部60およびユーザインターフェース30に供給してよい。
The
撮像制御部50は、第1推定部141により赤外線センサ20の視野内の空間が操作者を含まない状態から含む状態に遷移したと推定される場合に撮像部40を起動する。例えば、撮像制御部50は、推定装置10から通知信号を受信した場合に、撮像部40を起動してよい。
The image
認証部60は、撮像制御部50により撮像部40が起動された場合に、撮像部40を用いて操作者の顔認証を行う。例えば、認証部60は、撮像部40から供給される撮像画像内で顔部分を検出してよい。また、認証部60は、検出された顔と、端末装置1内に登録されている1または複数の操作者の顔画像とを照合することで顔認証を行ってよい。認証部60は、顔認証が成功した場合には、このことを通知する信号をユーザインターフェース30に出力することで、ログイン処理を行わせてよい。
When the
以上の端末装置1によれば、赤外線センサ20の視野内、例えばキーボード302の近傍の空間が操作者を含まない状態から含む状態に遷移した場合に、顔認証およびログイン処理を自動で行うことができる。
According to the above
[8.端末装置の動作]
図8は、本実施形態に係る端末装置1の動作を示すフローチャートである。
[8. Operation of terminal device]
FIG. 8 is a flowchart showing the operation of the
端末装置1は、S41〜S59の処理を実行することにより、自動的にログインおよびログアウトを行う。
The
まず、端末装置1が起動されると、S41において撮像制御部50が起動されて撮像部40を起動し、次にS43において撮像部40が赤外線センサ20の視野内の空間を撮像する。
First, when the
次に、S45において、認証部60が起動され、撮像部40から供給される撮像画像内の顔について顔認証を行う。
Next, in S45, the
次に、S47において認証部60は認証が成功したか否かを判定し、失敗したと判定された場合(S47;No)には、端末装置1は処理を終了する。なお、この場合に端末装置1は、後述のS57に処理を移行させてもよい。
Next, in S47, the
S47において認証が成功したと判定された場合(S47;Yes)には、S49において、ユーザインターフェース30が起動され、端末装置1をログイン状態に移行させる。この状態において、撮像部40は、赤外線センサ20の視野内の空間を連続的に、または間欠的に撮像してよい。
When it is determined in S47 that the authentication is successful (S47; Yes), the
次に、S51においてユーザインターフェース30は、赤外線センサ20の視野内の空間状態を推定する。例えば、ユーザインターフェース30は、撮像部40から供給される撮像画像内で顔部分の検出を試みることで、この空間が操作者を含む状態であるか否かを推定してよい。
Next, in S51, the
次に、S53において、ユーザインターフェース30は、赤外線センサ20の視野内の空間が操作者を含む状態から含まない状態に遷移したか否かを判定する。S53において視野内の空間が操作者を含む状態から含まない状態に遷移していないと判定された場合(S53;No)には、ユーザインターフェース30は、S51に処理を戻す。
Next, in S53, the
また、S53において視野内の空間が操作者を含む状態から含まない状態に遷移したと判定された場合(S53;Yes)には、S55においてユーザインターフェース30は、端末装置1をログアウト状態に移行させる。この場合に、ユーザインターフェース30は、推定装置10および赤外線センサ20を起動してよい。
Further, when it is determined in S53 that the space in the visual field has changed from the state including the operator to the state not including the operator (S53; Yes), the
次に、S57において推定装置10は、赤外線センサ20の視野内の空間状態を推定する。例えば、推定装置10は、第1推定部141により、赤外線センサ20の視野内の空間が操作者を含まない状態から含む状態に遷移したことの推定を試みることで、この空間が操作者を含む状態であるか否かを推定してよい。
Next, in S57, the
次に、S59において推定装置10は、赤外線センサ20の視野内の空間が操作者を含まない状態から含む状態に遷移したか否かを判定する。S59において視野内の空間が操作者を含まない状態から含む状態に遷移していないと判定された場合(S59;No)には、推定装置10はS57に処理を戻す。
Next, in S59, the
また、S59において視野内の空間が操作者を含まない状態から含む状態に遷移したと判定された場合(S59;Yes)には、推定装置10が撮像制御部50に通知信号を出力する。これにより、端末装置1は処理をS41に移行させる。
Further, when it is determined in S59 that the space in the visual field has changed from the state not including the operator to the state including the operator (S59; Yes), the
なお、S51における空間状態の推定処理は、推定装置10が行ってもよい。例えば、推定装置10の第2推定部142が、赤外線センサ20の視野内の空間が操作者を含まない状態から含む状態に遷移したことの推定を試みることで、この空間が操作者を含む状態であるか否かを推定してよい。また、第2推定部142は、推定結果をユーザインターフェース30に出力してよい。この場合には、S49で端末装置1がログイン状態に移行したときに、推定装置10および赤外線センサ20が起動されてよい。
The spatial state estimation process in S51 may be performed by the
[9.端末装置の動作例]
図9は、端末装置1に搭載された推定装置10により算出された出力値(x[i])、第1の値(y[i])および第1の閾値(S1[i])の具体例を示す図である。
[9. Operation example of terminal device]
FIG. 9 shows the output value (x [i]), the first value (y [i]), and the first threshold value (S 1 [i]) calculated by the
ここで、第1の値(y[i])は上述の式(2)により算出されている。式中の「N」の値は50、標準偏差σの値は6とされている。また、第2の値(V2[i])はV2[i]=ノイズ成分の大きさ(A)×6の式によって算出されている。 Here, the first value (y [i]) is calculated by the above equation (2). The value of "N" in the equation is 50, and the value of the standard deviation σ is 6. The second value (V 2 [i]) is calculated by the formula V 2 [i] = magnitude of noise component (A) × 6.
また、端末装置1は、エアコンによって室温が連続的に上昇する室内に設置されている(例えば0〜30秒の区間参照)。端末装置1の操作者は、38秒〜48秒の間だけ端末装置1の前に着席し、他の時間には端末装置1から離れている。
Further, the
この図に示されるように、室温の変化に伴って出力値(x[i])が変化する場合であっても、38秒目の時点では、推定装置10の第1推定部141により、出力値(x[i])が第1の閾値(S1[i])を超えたと判定され、操作者が着席したことが推定されている(S59;Yes)。これにより、撮像部40により操作者の顔が撮像されて顔認証が行われ(S45)、端末装置1がログイン状態に移行する(S49)。
As shown in this figure, even if the output value (x [i]) changes with a change in room temperature, at the 38th second, the
また、48秒目の時点では、図示してはいないが、推定装置10の第2推定部142により出力値(x[i])が低下して第3の閾値(S3[i])よりも小さくなったと判定され、操作者が着席したことが推定されている(S53;Yes)。
Further, at the 48th second, although not shown, the output value (x [i]) is lowered by the
[10.コンピュータの構成]
図10は、本実施形態に係るコンピュータの構成を示すブロック図である。
[10. Computer configuration]
FIG. 10 is a block diagram showing a configuration of a computer according to the present embodiment.
図10は、本実施形態に係るコンピュータ1900の構成の一例を示す。本実施形態に係るコンピュータ1900は、推定装置10、端末装置1、またはこれらの一部の要素として機能する。
FIG. 10 shows an example of the configuration of the
本実施形態に係るコンピュータ1900は、ホスト・コントローラ2082により相互に接続されるCPU2000、RAM2020、グラフィック・コントローラ2075、及び表示装置2080を有するCPU周辺部と、入出力コントローラ2084によりホスト・コントローラ2082に接続される通信インターフェイス2030、ハードディスクドライブ2040、及びDVDドライブ2060を有する入出力部と、入出力コントローラ2084に接続されるROM2010、フラッシュメモリ・ドライブ2050、赤外線センサ20、撮像部40及び入出力チップ2070を有するレガシー入出力部を備える。
The
ホスト・コントローラ2082は、RAM2020と、高い転送レートでRAM2020をアクセスするCPU2000及びグラフィック・コントローラ2075とを接続する。CPU2000は、ROM2010及びRAM2020に格納されたプログラムに基づいて動作し、各部の制御を行う。グラフィック・コントローラ2075は、CPU2000等がRAM2020内に設けたフレーム・バッファ上に生成する画像データを取得し、表示装置2080上に表示させる。これに代えて、グラフィック・コントローラ2075は、CPU2000等が生成する画像データを格納するフレーム・バッファを、内部に含んでもよい。
The
入出力コントローラ2084は、ホスト・コントローラ2082と、比較的高速な入出力装置である通信インターフェイス2030、ハードディスクドライブ2040、DVDドライブ2060を接続する。通信インターフェイス2030は、有線又は無線によりネットワークを介して他の装置と通信する。また、通信インターフェイスは、通信を行うハードウェアとして機能する。ハードディスクドライブ2040は、コンピュータ1900内のCPU2000が使用するプログラム及びデータを格納する。DVDドライブ2060は、DVD2095からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。
The input /
また、入出力コントローラ2084には、上述の赤外線センサ20および撮像部40と、ROM2010と、フラッシュメモリ・ドライブ2050、及び入出力チップ2070の比較的低速な入出力装置とが接続される。ROM2010は、コンピュータ1900が起動時に実行するブート・プログラム、及び/又は、コンピュータ1900のハードウェアに依存するプログラム等を格納する。フラッシュメモリ・ドライブ2050は、フラッシュメモリ2090からプログラム又はデータを読み取り、RAM2020を介してハードディスクドライブ2040に提供する。入出力チップ2070は、フラッシュメモリ・ドライブ2050を入出力コントローラ2084へと接続するとともに、例えばパラレル・ポート、シリアル・ポート、キーボード・ポート、マウス・ポート等を介して各種の入出力装置を入出力コントローラ2084へと接続する。
Further, the input /
RAM2020を介してハードディスクドライブ2040に提供されるプログラムは、フラッシュメモリ2090、DVD2095、又はICカード等の記録媒体に格納されて利用者によって提供される。プログラムは、記録媒体から読み出され、RAM2020を介してコンピュータ1900内のハードディスクドライブ2040にインストールされ、CPU2000において実行される。
The program provided to the
コンピュータ1900にインストールされ、コンピュータ1900を推定装置10の少なくとも一部として機能させるプログラムは、取得モジュール、第1算出モジュール、第2算出モジュール、第1閾値算出モジュール、第1推定モジュール、温度検出モジュール、第3算出モジュール、第3閾値算出モジュール、第2推定モジュール、第2閾値算出モジュール、第1推定動作制御モジュール、第2推定動作制御モジュール、および設定モジュールのうち少なくとも1つを備える。これらのプログラム又はモジュールは、CPU2000等に働きかけて、コンピュータ1900を、取得部101、第1算出部111、第2算出部112、第1閾値算出部121、第1推定部141、温度検出部102、第3算出部113、第3閾値算出部123、第2推定部142、第2閾値算出部122、第1推定動作制御部131、第2推定動作制御部132、および設定部151としてそれぞれ機能させてよい。
Programs installed in the
これらのプログラムに記述された情報処理は、コンピュータ1900に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段であるCPU2000等に働きかけて、コンピュータ1900を、取得部101、第1算出部111、第2算出部112、第1閾値算出部121、第1推定部141、推定装置10は、温度検出部102、第3算出部113、第3閾値算出部123、第2推定部142、第2閾値算出部122、第1推定動作制御部131、第2推定動作制御部132、および設定部151として機能させる。そして、これらの具体的手段によって、本実施形態におけるコンピュータ1900の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の推定装置10が構築される。
The information processing described in these programs is read into the
コンピュータ1900にインストールされ、コンピュータ1900を端末装置1の少なくとも一部として機能させるプログラムは、推定装置モジュール、ユーザインターフェースモジュール、撮像制御モジュール、および認証モジュールのうち少なくとも1つを備える。これらのプログラム又はモジュールは、CPU2000等に働きかけて、コンピュータ1900を、推定装置10、ユーザインターフェース30、撮像制御部50、および認証部60としてそれぞれ機能させてよい。
A program installed on the
これらのプログラムに記述された情報処理は、コンピュータ1900に読込まれることにより、ソフトウェアと上述した各種のハードウェア資源とが協働した具体的手段であるCPU2000等に働きかけて、コンピュータ1900を、推定装置10、ユーザインターフェース30、撮像制御部50、および認証部60として機能させる。そして、これらの具体的手段によって、本実施形態におけるコンピュータ1900の使用目的に応じた情報の演算又は加工を実現することにより、使用目的に応じた特有の端末装置1が構築される。
The information processing described in these programs is read into the
一例として、コンピュータ1900と外部の装置等との間で通信を行う場合には、CPU2000は、RAM2020上にロードされた通信プログラムを実行し、通信プログラムに記述された処理内容に基づいて、通信インターフェイス2030に対して通信処理を指示する。通信インターフェイス2030は、CPU2000の制御を受けて、RAM2020、ハードディスクドライブ2040、フラッシュメモリ2090、又はDVD2095等の記憶装置上に設けた送信バッファ領域等に記憶された送信データを読み出してネットワークへと送信し、もしくは、ネットワークから受信した受信データを記憶装置上に設けた受信バッファ領域等へと書き込む。このように、通信インターフェイス2030は、DMA(ダイレクト・メモリ・アクセス)方式により記憶装置との間で送受信データを転送してもよく、これに代えて、CPU2000が転送元の記憶装置又は通信インターフェイス2030からデータを読み出し、転送先の通信インターフェイス2030又は記憶装置へとデータを書き込むことにより送受信データを転送してもよい。
As an example, when communicating between the
また、CPU2000は、ハードディスクドライブ2040、DVDドライブ2060(DVD2095)、フラッシュメモリ・ドライブ2050(フラッシュメモリ2090)等の外部記憶装置に格納されたファイルまたはデータベース等の中から、全部または必要な部分をDMA転送等によりRAM2020へと読み込ませ、RAM2020上のデータに対して各種の処理を行う。そして、CPU2000は、処理を終えたデータを、DMA転送等により外部記憶装置へと書き戻す。このような処理において、RAM2020は、外部記憶装置の内容を一時的に保持するものとみなせるから、本実施形態においてはRAM2020及び外部記憶装置等をメモリ、記憶部、または記憶装置等と総称する。例えば、推定装置10、および端末装置1は、適宜本実施形態の処理前、処理中、処理後のデータを記憶する記憶装置を備えてよい。
Further, the
本実施形態における各種のプログラム、データ、テーブル、データベース等の各種の情報は、このような記憶装置上に格納されて、情報処理の対象となる。なお、CPU2000は、RAM2020の一部をキャッシュメモリに保持し、キャッシュメモリ上で読み書きを行うこともできる。このような形態においても、キャッシュメモリはRAM2020の機能の一部を担うから、本実施形態においては、区別して示す場合を除き、キャッシュメモリもRAM2020、メモリ、及び/又は記憶装置に含まれるものとする。
Various information such as various programs, data, tables, and databases in the present embodiment are stored in such a storage device and are subject to information processing. The
また、CPU2000は、RAM2020から読み出したデータに対して、プログラムの命令列により指定された、本実施形態中に記載した各種の演算、情報の加工、条件判断、情報の検索・置換等を含む各種の処理を行い、RAM2020へと書き戻す。例えば、CPU2000は、条件判断を行う場合においては、本実施形態において示した各種の変数が、他の変数または定数と比較して、大きい、小さい、以上、以下、等しい等の条件を満たすか否かを判断し、条件が成立した場合(又は不成立であった場合)に、異なる命令列へと分岐し、またはサブルーチンを呼び出す。
Further, the
また、CPU2000は、記憶装置内のファイルまたはデータベース等に格納された情報を検索することができる。例えば、第1属性の属性値に対し第2属性の属性値がそれぞれ対応付けられた複数のエントリが記憶装置に格納されている場合において、CPU2000は、記憶装置に格納されている複数のエントリの中から第1属性の属性値が指定された条件と一致するエントリを検索し、そのエントリに格納されている第2属性の属性値を読み出すことにより、所定の条件を満たす第1属性に対応付けられた第2属性の属性値を得ることができる。
In addition, the
また、実施形態の説明において複数の要素が列挙された場合には、列挙された要素以外の要素を用いてもよい。例えば、「Xは、A、B及びCを用いてYを実行する」と記載される場合、Xは、A、B及びCに加え、Dを用いてYを実行してもよい。 Further, when a plurality of elements are listed in the description of the embodiment, elements other than the listed elements may be used. For example, when it is described that "X executes Y using A, B and C", X may execute Y using D in addition to A, B and C.
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。 Although the present invention has been described above using the embodiments, the technical scope of the present invention is not limited to the scope described in the above embodiments. It will be apparent to those skilled in the art that various changes or improvements can be made to the above embodiments. It is clear from the description of the claims that the form with such modifications or improvements may be included in the technical scope of the present invention.
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。 The order of execution of each process such as operation, procedure, step, and step in the device, system, program, and method shown in the claims, specification, and drawings is particularly "before" and "prior to". It should be noted that it can be realized in any order unless the output of the previous process is used in the subsequent process. Even if the scope of claims, the specification, and the operation flow in the drawings are explained using "first," "next," etc. for convenience, it means that it is essential to carry out in this order. It's not a thing.
1 端末装置、10 推定装置、20 赤外線センサ、30 ユーザインターフェース、40 撮像部、50 撮像制御部、60 認証部、101 取得部、102 温度検出部、111 第1算出部、112 第2算出部、113 第3算出部、121 第1閾値算出部、122 第2閾値算出部、123 第3閾値算出部、131 第1推定動作制御部、132 第2推定動作制御部、141 第1推定部、142 第2推定部、151 設定部、301 ディスプレイ、302 キーボード、1900 コンピュータ、2000 CPU、2010 ROM、2020 RAM、2030 通信インターフェイス、2040 ハードディスクドライブ、2050 フラッシュメモリ・ドライブ、2060 DVDドライブ、2070 入出力チップ、2075 グラフィック・コントローラ、2080 表示装置、2082 ホスト・コントローラ、2084 入出力コントローラ、2090 フラッシュメモリ、2095 DVD 1 terminal device, 10 estimation device, 20 infrared sensor, 30 user interface, 40 imaging unit, 50 imaging control unit, 60 authentication unit, 101 acquisition unit, 102 temperature detection unit, 111 first calculation unit, 112 second calculation unit, 113 3rd calculation unit, 121 1st threshold calculation unit, 122 2nd threshold calculation unit, 123 3rd threshold calculation unit, 131 1st estimation operation control unit, 132 2nd estimation operation control unit, 141 1st estimation unit, 142 2nd estimation unit, 151 setting unit, 301 display, 302 keyboard, 1900 computer, 2000 CPU, 2010 ROM, 2020 RAM, 2030 communication interface, 2040 hard disk drive, 2050 flash memory drive, 2060 DVD drive, 2070 input / output chip, 2075 graphic controller, 2080 display device, 2082 host controller, 2084 input / output controller, 2090 flash memory, 2095 DVD
Claims (38)
赤外線センサの出力値を取得する取得部と、
前記出力値を用いて、前記出力値の基準を示す第1の値を経時的に算出する第1算出部と、
前記出力値を用いて、前記出力値の基準に対するオフセットの大きさを示す第2の値を経時的に算出する第2算出部と、
前記第1の値および前記第2の値に基づいて第1の閾値を算出する第1閾値算出部と、
前記出力値および前記第1の閾値に基づいて、前記赤外線センサの視野内の空間状態を推定する第1推定部と、
前記出力値が第4の閾値を超えた場合に、前記第1推定部による推定動作を中止する第2推定動作制御部として機能させるプログラム。 Computer,
The acquisition unit that acquires the output value of the infrared sensor,
A first calculation unit that calculates a first value indicating a reference of the output value over time using the output value,
Using the output value, a second calculation unit that calculates a second value indicating the magnitude of the offset with respect to the reference of the output value over time, and a second calculation unit.
A first threshold value calculation unit that calculates a first threshold value based on the first value and the second value, and
A first estimation unit that estimates the spatial state in the field of view of the infrared sensor based on the output value and the first threshold value .
When the output value exceeds the fourth threshold value, the program to function as the second estimation operation control unit to stop the estimation operation by the first estimation unit.
各出力値に対して設定される重みは、当該出力値と、前の前記第1の値との差分が小さいほど大きく設定される請求項2に記載のプログラム。 The first calculation unit weights each of the plurality of output values and calculates the moving average as the first value.
The program according to claim 2, wherein the weight set for each output value is set larger as the difference between the output value and the previous first value is smaller.
各出力値に対して設定される前記重みは、前記標準偏差の値に対する前記差分の比が小さいほど大きく設定される請求項3に記載のプログラム。 The first calculation unit further uses the standard deviations of the plurality of output values to calculate the moving average as the first value.
The program according to claim 3, wherein the weight set for each output value is set larger as the ratio of the difference to the standard deviation value is smaller.
前記出力値におけるノイズ成分の大きさと、第2の閾値とに基づいて、前記第1推定部による推定動作を開始させる第1推定動作制御部としてさらに機能させる請求項1〜9のいずれか一項に記載のプログラム。 The computer
Any one of claims 1 to 9, which further functions as a first estimation operation control unit that starts an estimation operation by the first estimation unit based on the magnitude of the noise component in the output value and the second threshold value. The program described in.
前記ノイズ成分の大きさが前記第2の閾値より大きい場合に、前記出力値を前記第1の値に設定する第1の設定部としてさらに機能させる請求項10または11に記載のプログラム。 The computer
The program according to claim 10 or 11, further functioning as a first setting unit for setting the output value to the first value when the magnitude of the noise component is larger than the second threshold value.
環境温度を用いて前記第2の閾値を経時的に算出する第2閾値算出部としてさらに機能させる請求項10〜12のいずれか一項に記載のプログラム。 The computer
The program according to any one of claims 10 to 12, further functioning as a second threshold value calculation unit that calculates the second threshold value over time using the ambient temperature.
前記第1の値と、前記出力値の基準に対するオフセットの大きさを示す第3の値とに基づいて第3の閾値を算出する第3閾値算出部と、
前記出力値と前記第3の閾値とに基づいて、前記空間が前記検知対象を含む状態から含まない状態に遷移したことを推定する第2推定部としてさらに機能させる請求項14に記載のプログラム。 The computer
A third threshold value calculation unit that calculates a third threshold value based on the first value and a third value indicating the magnitude of the offset of the output value with respect to the reference.
The program according to claim 14, further functioning as a second estimation unit for estimating that the space has transitioned from a state including the detection target to a state not including the detection target based on the output value and the third threshold value.
前記出力値を用いて、前記第3の値を経時的に算出する第3算出部としてさらに機能させ、
前記第3算出部は、前記赤外線センサが異なるタイミングで出力する複数の前記出力値におけるノイズ成分の大きさを用いて前記第3の値を算出し、
前記第3閾値算出部は、前記第1の値から、前記第3の値を減算して前記第3の閾値を算出する請求項15に記載のプログラム。 The computer
Using the output value, further function as a third calculation unit for calculating the third value over time.
The third calculation unit calculates the third value by using the magnitudes of noise components in the plurality of output values output by the infrared sensor at different timings.
The program according to claim 15, wherein the third threshold value calculation unit calculates the third threshold value by subtracting the third value from the first value.
前記第1推定部は、前記第2推定部により前記空間が前記検知対象を含む状態から含まない状態に遷移したと推定される場合に推定動作を開始する請求項15〜17のいずれか一項に記載のプログラム。 The second estimation unit starts an estimation operation when it is estimated by the first estimation unit that the space has transitioned from a state that does not include the detection target to a state that includes the detection target.
The first estimation unit is any one of claims 15 to 17, which starts an estimation operation when it is estimated by the second estimation unit that the space has transitioned from a state including the detection target to a state not including the detection target. The program described in.
前記第2推定部により前記空間が前記検知対象を含む状態から含まない状態に遷移したと推定される場合に、前記出力値を前記第1の値に設定する第2の設定部としてさらに機能させる請求項18に記載のプログラム。 The computer
When it is estimated by the second estimation unit that the space has transitioned from the state including the detection target to the state not including the detection target, the second estimation unit further functions as a second setting unit for setting the output value to the first value. The program of claim 18.
前記出力値を用いて、前記出力値の基準を示す第1の値を経時的に算出する第1算出部と、
前記出力値を用いて、前記出力値の基準に対するオフセットの大きさを示す第2の値を経時的に算出する第2算出部と、
前記第1の値および前記第2の値に基づいて第1の閾値を算出する第1閾値算出部と、
前記出力値および前記第1の閾値に基づいて、前記赤外線センサの視野内の空間状態を推定する第1推定部と、
前記出力値が第4の閾値を超えた場合に、前記第1推定部による推定動作を中止する第2推定動作制御部と、
を備える推定装置。 The acquisition unit that acquires the output value of the infrared sensor,
A first calculation unit that calculates a first value indicating a reference of the output value over time using the output value,
Using the output value, a second calculation unit that calculates a second value indicating the magnitude of the offset with respect to the reference of the output value over time, and a second calculation unit.
A first threshold value calculation unit that calculates a first threshold value based on the first value and the second value, and
A first estimation unit that estimates the spatial state in the field of view of the infrared sensor based on the output value and the first threshold value.
When the output value exceeds the fourth threshold value, the second estimation operation control unit that stops the estimation operation by the first estimation unit, and the second estimation operation control unit.
Estimator equipped with.
当該推定装置は、
前記第1の値と、前記出力値の基準に対するオフセットの大きさを示す第3の値とに基づいて第3の閾値を算出する第3閾値算出部と、
前記出力値と前記第3の閾値とに基づいて、前記空間が前記検知対象を含む状態から含まない状態に遷移したことを推定する第2推定部と、
を備える請求項22〜26のいずれか一項に記載の推定装置。 The first estimation unit estimates that the space in the field of view of the infrared sensor has transitioned from a state in which the detection target is not included to a state in which the detection target is included.
The estimation device is
A third threshold value calculation unit that calculates a third threshold value based on the first value and a third value indicating the magnitude of the offset of the output value with respect to the reference.
A second estimation unit that estimates that the space has transitioned from a state that includes the detection target to a state that does not include the detection target based on the output value and the third threshold value.
2 The estimation device according to any one of claims 2 to 26 .
前記第3算出部は、前記赤外線センサが異なるタイミングで出力する複数の前記出力値におけるノイズ成分の大きさを用いて前記第3の値を算出し、
前記第3閾値算出部は、前記第1の値から、前記第3の値を減算して前記第3の閾値を算出する請求項27に記載の推定装置。 A third calculation unit for calculating the third value over time using the output value is provided.
The third calculation unit calculates the third value by using the magnitudes of noise components in the plurality of output values output by the infrared sensor at different timings.
The third threshold value calculation unit, estimating device according to the first value, to claim 2 7 to calculate the third said value by subtracting a third threshold value.
前記赤外線センサと、を備える端末装置。 2. The estimation device according to any one of claims 2 to 28 , and the estimation device.
A terminal device including the infrared sensor.
前記第1推定部により前記空間が当該端末装置の操作者を含まない状態から含む状態に遷移したと推定される場合に前記撮像部を起動する撮像制御部と、
を備える請求項29に記載の端末装置。 An imaging unit that captures the space in the field of view of the infrared sensor,
An imaging control unit that activates the imaging unit when it is estimated by the first estimation unit that the space has transitioned from a state that does not include the operator of the terminal device to a state that includes the operator.
29. The terminal device according to claim 29 .
前記出力値を用いて、前記出力値の基準を示す第1の値を経時的に算出する第1算出段階と、
前記出力値を用いて、前記出力値の基準に対するオフセットの大きさを示す第2の値を経時的に算出する第2算出段階と、
前記第1の値および前記第2の値に基づいて第1の閾値を算出する第1閾値算出段階と、
前記出力値および前記第1の閾値に基づいて、前記赤外線センサの視野内の空間状態を推定する第1推定段階と、
前記出力値が第4の閾値を超えた場合に、前記第1推定段階による推定動作を中止する第2推定動作制御段階と、
を備える推定方法。 The acquisition stage to acquire the output value of the infrared sensor, and
A first calculation step of calculating a first value indicating a reference of the output value over time using the output value, and
A second calculation step of calculating a second value indicating the magnitude of the offset with respect to the reference of the output value over time using the output value, and
A first threshold value calculation step of calculating a first threshold value based on the first value and the second value, and
A first estimation step of estimating the spatial state in the field of view of the infrared sensor based on the output value and the first threshold value, and
When the output value exceeds the fourth threshold value, the second estimation operation control stage for stopping the estimation operation by the first estimation stage and the second estimation operation control stage.
An estimation method that includes.
当該推定方法は、
前記第1の値と、前記出力値の基準に対するオフセットの大きさを示す第3の値とに基づいて第3の閾値を算出する第3閾値算出段階と、
前記出力値と前記第3の閾値とに基づいて、前記空間が前記検知対象を含む状態から含まない状態に遷移したことを推定する第2推定段階と、
を備える請求項32〜36のいずれか一項に記載の推定方法。 In the first estimation step, it is estimated that the space in the field of view of the infrared sensor has changed from the state not including the detection target to the state including the detection target.
The estimation method is
A third threshold value calculation step of calculating a third threshold value based on the first value and a third value indicating the magnitude of the offset of the output value with respect to the reference.
A second estimation step of estimating that the space has transitioned from a state including the detection target to a state not including the detection target based on the output value and the third threshold value.
Estimation method according to any one of claims 3 2-3 6 comprising.
前記第3算出段階では、前記赤外線センサが異なるタイミングで出力する複数の前記出力値におけるノイズ成分の大きさを用いて前記第3の値を算出し、
前記第3閾値算出段階では、前記第1の値から、前記第3の値を減算して前記第3の閾値を算出する請求項37に記載の推定方法。 A third calculation step of calculating the third value over time using the output value is provided.
In the third calculation step, the third value is calculated using the magnitudes of noise components in the plurality of output values output by the infrared sensor at different timings.
And in the third threshold value calculation step, from said first value, estimation method according to claim 3 7 to calculate the third value subtraction to the third threshold value.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016125421A JP6754629B2 (en) | 2016-06-24 | 2016-06-24 | Programs, computer-readable media, terminal equipment, estimation equipment and estimation methods |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2016125421A JP6754629B2 (en) | 2016-06-24 | 2016-06-24 | Programs, computer-readable media, terminal equipment, estimation equipment and estimation methods |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017227592A JP2017227592A (en) | 2017-12-28 |
JP6754629B2 true JP6754629B2 (en) | 2020-09-16 |
Family
ID=60889184
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016125421A Active JP6754629B2 (en) | 2016-06-24 | 2016-06-24 | Programs, computer-readable media, terminal equipment, estimation equipment and estimation methods |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6754629B2 (en) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2019102645A1 (en) * | 2017-11-27 | 2019-05-31 | オプテックス株式会社 | Human body detection device and human body detection method |
CN108535878B (en) * | 2018-04-17 | 2020-06-19 | 图灵人工智能研究院(南京)有限公司 | Method for stabilizing quantum light source and stabilized quantum light source |
JP6926359B2 (en) * | 2018-04-19 | 2021-08-25 | 竹中エンジニアリング株式会社 | Detection device |
SE544484C2 (en) | 2019-02-18 | 2022-06-14 | Jondetech Sensors Ab Publ | Method and system for detecting presence of a person |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009155795A (en) * | 2007-12-25 | 2009-07-16 | Mitsubishi Electric Corp | Personal authentication terminal unit |
JP5526100B2 (en) * | 2011-10-18 | 2014-06-18 | Eizo株式会社 | Moving body discrimination device, display device, and moving body discrimination method |
JP6129647B2 (en) * | 2013-06-03 | 2017-05-17 | 株式会社三栄水栓製作所 | Automatic water supply device |
WO2014199594A1 (en) * | 2013-06-12 | 2014-12-18 | 旭化成エレクトロニクス株式会社 | Living organism detector and power saving mode setting method |
RU2016105528A (en) * | 2013-09-24 | 2017-10-30 | Альфа Корпорейшн | Car reflex optical sensor |
JP6372780B2 (en) * | 2014-09-12 | 2018-08-15 | パナソニックIpマネジメント株式会社 | Infrared detector |
-
2016
- 2016-06-24 JP JP2016125421A patent/JP6754629B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2017227592A (en) | 2017-12-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6754629B2 (en) | Programs, computer-readable media, terminal equipment, estimation equipment and estimation methods | |
US10855912B2 (en) | Capturing a stable image using an ambient light sensor-based trigger | |
KR102474008B1 (en) | Low-power always-on face detection, tracking, recognition and/or analysis using events-based vision sensor | |
US11561322B2 (en) | Use of thermopiles to detect human location | |
US9967482B2 (en) | Image processing apparatus, image processing method, and storage medium for noise reduction processing | |
US9894275B2 (en) | Photographing method of an electronic device and the electronic device thereof | |
US20110103643A1 (en) | Imaging system with integrated image preprocessing capabilities | |
JP2011165008A (en) | Image recognition apparatus and method | |
JP2015095164A (en) | Gesture recognition device and control method for gesture recognition device | |
EP2712431A1 (en) | Presence sensing | |
JP6436077B2 (en) | Image processing system, image processing method, and program | |
US20180122117A1 (en) | Image processing apparatus, image processing method, and storage medium | |
CN102196176A (en) | Information processing apparatus, information processing method, and program | |
KR20160086605A (en) | Method of recognizing object and apparatus thereof | |
US12026225B2 (en) | Monitoring camera, part association method and program | |
TW201902204A (en) | Power reduction in a multi-sensor camera device by on-demand sensors activation | |
US9258483B2 (en) | Multi-purpose camera system supporting normal camera functionality and additional user input functionality | |
US9310903B2 (en) | Displacement detection device with no hovering function and computer system including the same | |
US20160094783A1 (en) | Image processing apparatus, control method of image processing apparatus and program | |
JP6495691B2 (en) | Moving object detection device, moving object detection method, and computer program | |
US20140282235A1 (en) | Information processing device | |
TWI581174B (en) | Method and system for displaying system information | |
JP6823391B2 (en) | Programs, computer-readable media, terminals, estimators and estimation methods | |
US20230252646A1 (en) | More efficient automatic door sensing | |
WO2017049626A1 (en) | Face detection window refinement using depth |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20190416 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20200214 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20200225 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20200422 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20200811 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20200824 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6754629 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |