JP7457774B1 - 情報処理装置、画像処理装置、及び、プログラム - Google Patents

情報処理装置、画像処理装置、及び、プログラム Download PDF

Info

Publication number
JP7457774B1
JP7457774B1 JP2022180608A JP2022180608A JP7457774B1 JP 7457774 B1 JP7457774 B1 JP 7457774B1 JP 2022180608 A JP2022180608 A JP 2022180608A JP 2022180608 A JP2022180608 A JP 2022180608A JP 7457774 B1 JP7457774 B1 JP 7457774B1
Authority
JP
Japan
Prior art keywords
unit
index
image
degree
display area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022180608A
Other languages
English (en)
Other versions
JP2024070165A (ja
Inventor
成広 武田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Research Institute Ltd
Original Assignee
Japan Research Institute Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Japan Research Institute Ltd filed Critical Japan Research Institute Ltd
Priority to JP2022180608A priority Critical patent/JP7457774B1/ja
Priority to JP2024041703A priority patent/JP2024075658A/ja
Application granted granted Critical
Publication of JP7457774B1 publication Critical patent/JP7457774B1/ja
Publication of JP2024070165A publication Critical patent/JP2024070165A/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Landscapes

  • Controls And Circuits For Display Device (AREA)
  • User Interface Of Digital Computer (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

【課題】第三者が画像出力装置に表示される情報を覗き見ることによる情報漏洩のリスクを評価する情報処理装置、画像処理装置及びプログラムを提供する。【解決手段】情報漏洩抑制システム１００において、ユーザ端末１２０の制御装置は、画像出力装置の出力する出力画像が表示される表示領域の周辺の状態を示す周辺状態情報を取得する周辺状態取得部と、取得した周辺状態情報により示される表示領域の周辺の状態に基づいて、画像出力装置のユーザとは異なる第三者による出力画像の閲覧可能性の程度を導出する安全管理部と、画像処理装置が、複数のフレームを含む動画のデータを取得する動画取得部と、動画の各フレームを予め定められた複数の領域に区分し、複数の領域の夫々について、各領域に含まれる画素の画素値に基づいて、複数のフレームの間における各領域の色及び／又は明るさの変動を示す指標である変動指標の値を導出する変動指標導出部と、を備える。【選択図】図１

Description

本発明は、情報処理装置、画像処理装置、及び、プログラムに関する。
特許文献１には、表示の視野角を変更可能なフィルタ層を有する表示部と、フィルタ層により表示部の正面以外からの視認性を低下させる覗き見防止機能とを備えた情報処理装置が開示されている。
［先行技術文献］
［特許文献］
［特許文献１］特開２０２１－１８２０６９号公報
本発明の第１の態様においては、情報処理装置が提供される。上記の情報処理装置は、例えば、画像出力装置の出力する出力画像が表示される表示領域の周辺の状態を示す周辺状態情報を取得する周辺状態取得部を備える。上記の情報処理装置は、例えば、周辺状態取得部が取得した周辺状態情報により示される表示領域の周辺の状態に基づいて、画像出力装置のユーザとは異なる第三者による出力画像の閲覧可能性の程度を導出する閲覧可能性導出部を備える。
上記の何れかの情報処理装置において、閲覧可能性導出部は、閲覧可能性の程度に関連する複数の指標のそれぞれの値を導出する指標値導出部を有してよい。閲覧可能性導出部は、指標値導出部が導出した複数の指標の値に基づいて、閲覧可能性の程度を評価する評価部を有してよい。
上記の何れかの情報処理装置において、指標値導出部は、（ｉ）周辺状態取得部が取得した周辺状態情報により示される表示領域の周辺の状態、及び／又は、（ｉｉ）現在時刻若しくは現在時刻が属する時間帯に基づいて、複数の指標の種類を決定してよい。上記の何れかの情報処理装置において、評価部は、（ｉ）周辺状態取得部が取得した周辺状態情報により示される表示領域の周辺の状態、及び／又は、（ｉｉ）現在時刻若しくは現在時刻が属する時間帯に基づいて、複数の指標のそれぞれに設定される重みの値を決定してよい。評価部は、指標値導出部が導出した複数の指標のそれぞれの値と、複数の指標のそれぞれに設定される重みの値とに基づいて、閲覧可能性の程度を評価してよい。
上記の何れかの情報処理装置において、周辺状態取得部は、表示領域の周辺を撮像する撮像装置から、複数のフレームを含む動画のデータを取得する動画取得部を有してよい。
指標値導出部は、複数の指標に含まれる第１指標の値を導出する第１指標導出部を有してよい。第１指標導出部は、（ａ）動画の各フレームを予め定められた複数の領域に区分し、（ｂ）複数の領域のそれぞれについて、当該領域に含まれる画素の画素値に基づいて、複数のフレームの間における当該領域の色及び／又は明るさの変動を示す指標である変動指標の値を、第１指標の値として導出する変動指標導出部を含んでよい。複数の領域のそれぞれは、１以上の画素を含んでよい。評価部は、変動指標導出部が導出した複数の領域のそれぞれの変動指標の値に基づいて、撮像装置が動画を撮像した位置に表示領域が配された場合における閲覧可能性の程度を評価してよい。
上記の何れかの情報処理装置において、評価部は、複数の領域のそれぞれの変動指標の値に基づいて、現実空間における各領域に対応する位置から出力画像が閲覧される可能性の程度を示す指標である閲覧指標の値を、複数の領域のそれぞれについて算出してよい。評価部は、複数の領域のそれぞれに関する閲覧指標の値に基づいて、閲覧可能性の程度を評価してよい。評価部は、（ｉ）変動指標の値が大きな領域の閲覧指標の値が、変動指標の値が小さな領域の閲覧指標の値よりも大きくなるように、及び／又は、（ｉｉ）動画における撮像装置の光軸の位置に近い領域の閲覧指標の値が、動画における撮像装置の光軸の位置から遠い領域の閲覧指標の値よりも大きくなるように、閲覧指標の値を算出してよい。
上記の何れかの情報処理装置は、変動指標導出部が導出した複数の領域のそれぞれの変動指標の値と、予め定められた階調数とに基づいて、各領域又は各画素の変動指標の値の大きさを表す変動画像を生成する変動画像生成部を備えてよい。上記の何れかの情報処理装置において、動画取得部は、現実空間における特定の位置の周辺が撮像された動画であって、撮像方向の異なる複数の動画のデータを取得してよい。変動画像生成部は、複数の動画のそれぞれに関する複数の変動画像を生成してよい。上記の何れかの情報処理装置は、変動画像生成部が生成した複数の変動画像をパノラマ合成して、結合画像を生成する結合画像生成部と、結合画像の中から、表示領域が特定の位置に特定の向きに配置された場合における表示領域の視野角に相当する画像である単位画像を抽出する単位画像抽出部とを備えてよい。上記の何れかの情報処理装置において、評価部は、単位画像における複数の領域のそれぞれの変動指標の値に基づいて、表示領域が特定の位置に特定の向きに配置された場合における閲覧可能性の程度を評価してよい。上記の何れかの情報処理装置において、単位画像抽出部は、特定の向きが異なる複数の単位画像を抽出してよい。評価部は、複数の単位画像のそれぞれについて、閲覧可能性の程度を評価してよい。
上記の何れかの情報処理装置は、動画に映り込んだマーカを検出するマーカ検出部を備えてよい。マーカは、閲覧可能性の程度を示す情報を含んでよい。複数の領域のうち、マーカが映り込んだ領域に対応する変動指標の値は、マーカにより示される閲覧可能性の程度を示す情報に基づいて決定されてよい。上記の何れかの情報処理装置において、マーカは、閲覧可能性の程度が適用される領域の大きさを示す情報をさらに含んでよい。複数の領域のうち、マーカが映り込んだ領域に対応する変動指標の値は、マーカにより示される閲覧可能性の程度と、領域の大きさとに基づいて決定されてよい。上記の何れかの情報処理装置において、画像出力装置は、筐体と、筐体に配される表示領域と、筐体に配され、周辺状態情報を周辺状態取得部に出力する出力装置とを備えてよい。閲覧可能性導出部は、ユーザが画像出力装置を連続して利用している期間中の複数の時点における閲覧可能性の程度を導出してよい。
上記の何れかの情報処理装置において、周辺状態取得部は、表示領域の周辺に配された１以上の物体を被写体とする画像の画像データ、又は、１以上の物体の三次元点群データ若しくは距離データである周辺データを取得する周辺データ取得部を有してよい。上記の何れかの情報処理装置は、周辺データ取得部が取得した周辺データを解析して、１以上の物体のそれぞれと、表示領域との位置関係を決定する物体位置決定部を備えてよい。上記の何れかの情報処理装置において、閲覧可能性導出部は、物体位置決定部が決定した位置関係に基づいて、閲覧可能性の程度を導出してよい。上記の何れかの情報処理装置において、物体位置決定部は、周辺データ取得部が取得した周辺データに基づいて、１以上の物体のそれぞれについて、三次元点群 データを取得する点群データ取得部と、表示領域の代表点と、点群データ取得部が取得した三次元点群データにより示される１以上の物体のそれぞれの表面に仮想的に配された複数の点のそれぞれとの距離を算出する距離算出部とを有してよい。上記の何れかの情報処理装置において、指標値導出部は、距離算出部が算出した複数の点のそれぞれに関する距離に基づいて、複数の指標に含まれる第２指標の値を導出する第２指標導出部を有してよい。上記の何れかの情報処理装置において、第２指標導出部は、複数の点のそれぞれに関する距離に基づいて、各点が第三者による出力画像の閲覧を抑制する程度を示す指標である抑制指標の値を、複数の点のそれぞれについて導出してよい。第２指標導出部は、複数の点のそれぞれに関する抑制指標の値を第２指標の値として出力してよい。上記の何れかの情報処理装置において、評価部は、複数の点のそれぞれに関する抑制指標の値を合計することで、閲覧可能性の程度を評価してよい。
上記の何れかの情報処理装置において、周辺状態取得部は、表示領域の周辺の環境の状況を示す環境情報を取得する環境情報取得部を有してよい。指標値導出部は、環境情報取得部が取得した環境情報により示される周辺の環境の状況に基づいて、複数の指標に含まれる第３指標の値を導出する第３指標導出部を有してよい。評価部は、閲覧可能性導出部は、第３指標の値に基づいて、閲覧可能性の程度を評価してよい。上記の何れかの情報処理装置において、周辺状態取得部は、表示領域の周辺に配された１以上の物体を被写体とする画像の画像データ、又は、１以上の物体の三次元点群データ若しくは距離データである周辺データを取得する周辺データ取得部を有してよい。上記の何れかの情報処理装置は、周辺データ取得部が取得した周辺データを解析して、１以上の物体のそれぞれと、表示領域との位置関係を決定する物体位置決定部を備えてよい。閲覧可能性導出部は、物体位置決定部が決定した位置関係に基づいて、閲覧可能性の程度を導出してよい。
上記の何れかの情報処理装置は、画像出力装置の起動、又は、画像出力装置の上で動作するＢＩＯＳ、ＯＳ若しくはアプリケーションプログラムの起動を検知する起動検知部と、閲覧可能性導出部が閲覧可能性の程度を導出するための手順である導出手順を決定する導出手順決定部とを備えてよい。導出手順決定部は、起動検知部が起動を検知してからの経過時間が予め定められた条件を満足する場合と、経過時間が予め定められた条件を満足しない場合とで導出手順が異なるように、導出手順を決定してよい。上記の何れかの情報処理装置は、画像出力装置による画像の出力を制御する出力制御部を備えてよい。上記の何れかの情報処理装置において、出力制御部は、閲覧可能性導出部が導出した閲覧可能性の程度が予め定められた程度を超えた場合、閲覧可能性の程度が予め定められた程度を超える前に表示されていた出力画像の出力を停止する、出力画像の明るさ若しくはコントラストを調整する、又は、出力画像とは異なる画像を表示領域に表示させてよい。上記の何れかの情報処理装置において、出力制御部は、閲覧可能性導出部が導出した閲覧可能性の程度が予め定められた程度より小さい場合、出力画像の出力を許可してよい。
本発明の第２の態様においては、画像処理装置が提供される。上記の画像処理装置は、例えば、複数のフレームを含む動画のデータを取得する動画取得部を備える。上記の画像処理装置は、例えば、（ａ）動画の各フレームを予め定められた複数の領域に区分し、（ｂ）複数の領域のそれぞれについて、各領域に含まれる画素の画素値に基づいて、複数のフレームの間における各領域の色及び／又は明るさの変動を示す指標である変動指標の値を導出する変動指標導出部を備える。上記の画像処理装置において、複数の領域のそれぞれは、例えば、１以上の画素を含む。
上記の何れかの画像処理装置において、変動指標は、分散、標準偏差及び変動係数、並びに、これらを基準値で除して得られる値の少なくとも１つであってよい。上記の何れかの画像処理装置において、変動指標導出部は、複数の領域のそれぞれについて変動指標の値を算出する変動指標算出部と、動画を解析し、複数のフレームの間における画像中の特徴点の移動具合に基づいて、動画を撮像した撮像装置の移動具合を決定する移動具合決定部と、移動具合決定部が決定した撮像装置の移動具合に基づいて、複数の領域のそれぞれの変動指標の値を補正する補正部とを有してよい。上記の何れかの画像処理装置は、変動指標導出部が導出した複数の領域のそれぞれの変動指標の値と、予め定められた階調数とに基づいて、各領域又は各画素の変動指標の値の大きさを表す変動画像を生成する変動画像生成部を備えてよい。
本発明の第３の態様においては、プログラムが提供される。上記のプログラムは、コンピュータを、上記の第１の実施形態に係る情報処理装置として機能させるためのプログラムであってよい。上記のプログラムは、コンピュータを、上記の第２の実施形態に係る画像処理装置として機能させるためのプログラムであってよい。上記のプログラムを格納するコンピュータ可読媒体が提供されてもよい。コンピュータ可読媒体は、非一時的なコンピュータ可読媒体であってもよい。コンピュータ可読媒体は、コンピュータ可読記録媒体であってもよい。
なお、上記の発明の概要は、本発明の必要な特徴の全てを列挙したものではない。また、これらの特徴群のサブコンビネーションもまた、発明となりうる。
情報漏洩抑制システム１００のシステム構成の一例を概略的に示す。 表示領域１４２及び周辺データ生成装置１５２の視野角を概略的に示す。 ユーザ端末１２０の配置の一例を概略的に示す。 制御装置１７０における情報処理の一例を概略的に示す。 制御装置１７０における情報処理の一例を概略的に示す。 制御装置１７０の内部構成の一例を概略的に示す。 構造情報取得部６１２の内部構成の一例を概略的に示す。 仮想空間構築部６３０の内部構成の一例を概略的に示す。 第１計算部８３０における情報処理の一例を概略的に示す。 第２計算部８４０における情報処理の一例を概略的に示す。 安全管理部６４０の内部構成の一例を概略的に示す。 安全管理部６４０における情報処理の一例を概略的に示す。 制御装置１７０における情報処理の一例を概略的に示す。 変動画像データ１３４０の生成処理の一例を概略的に示す。 変動指標導出部１３７４の内部構成の一例を概略的に示す。 安全管理部１３７８の内部構成の一例を概略的に示す。 安全管理部１３７８における情報処理の一例を概略的に示す。 二次元画像１８００の一例を概略的に示す。 パノラマ画像１９００の一例を概略的に示す。 コンピュータ３０００のシステム構成の一例を概略的に示す。
以下、発明の実施の形態を通じて本発明を説明するが、以下の実施形態は特許請求の範囲にかかる発明を限定するものではない。また、実施形態の中で説明されている特徴の組み合わせの全てが発明の解決手段に必須であるとは限らない。なお、図面において、同一または類似の部分には同一の参照番号を付して、重複する説明を省く場合がある。
情報処理端末は、ディスプレイ、プロジェクタ、スクリーンなどの画像出力装置に各種の情報を表示させる。情報処理端末が画像出力装置に表示させた情報が、当該情報処理端末のユーザとは異なる第三者により閲覧されると、当該情報が外部に漏洩し得る。第三者による閲覧の態様は、目視に限定されない。第三者は、例えば、画像出力装置の近傍に配された撮像装置を用いて、情報処理端末が画像出力装置に表示させた情報を閲覧し得る。上記の撮像装置としては、監視カメラ、隠しカメラなどが例示される。第三者は、例えばネットワークを介して上記の撮像装置にアクセスすることにより、情報処理端末が画像出力装置に表示させた情報を閲覧し得る。
近年、画像出力装置からの情報漏洩を防止する様々な技術が開発されているが、発明者らは、画像出力装置を第三者による閲覧が比較的困難な場所に設置することができれば、情報漏洩のリスクが大幅に低減され得ると考えた。本実施形態によれば、例えば、画像出力装置の周辺の状態に応じて、第三者が画像出力装置に表示される情報を覗き見ることによる情報漏洩のリスクを評価することのできる情報漏洩抑制システムが提供される。
一実施形態によれば、情報漏洩抑制システムは、情報処理端末の安全性を評価する。より具体的には、情報漏洩抑制システムは、情報処理端末が生成した画像を出力する画像出力装置の設置予定場所又は設置場所（情報処理端末の設置位置と称される場合がある。）における情報セキュリティの程度（単に、安全性と称される場合がある）を評価する。これにより、情報処理端末のユーザは、当該情報処理端末の画像出力装置を安全な場所に設置した後、当該情報処理端末の利用を開始することができる。その結果、情報漏洩のリスクが大きく低減される。
他の実施形態によれば、情報漏洩抑制システムは、例えば、ユーザが情報処理端末を使用している期間中、当該情報処理端末の安全性を監視する。情報漏洩抑制システムは、当該情報処理端末の安全性を常時確認してもよく、定期的に又は任意のタイミングで当該情報処理端末の安全性を確認してもよい。これにより、例えば、時間の経過に伴う周辺環境の変化により、情報処理端末の安全性の程度が変動する場合であっても、情報漏洩のリスクが低減され得る。
情報処理端末の安全性は、例えば、上記の画像出力装置の位置に基づいて評価される。情報処理端末の安全性は、上記の画像出力装置の位置と、当該位置における当該画像出力装置の向き（情報処理端末の設置方向と称される場合がある。）とに基づいて評価されてもよい。なお、本願明細書において、情報処理端末を設置すると表記されている場合、技術的に矛盾が生じない範囲において、情報処理端末の画像出力装置を設置することを意味し得ることに留意されたい。
上記の画像出力装置としては、ディスプレイ、スクリーンなどの画像表示装置、プロジェクタなどの画像投影装置が例示される。スクリーンは、例えば、画像投影装置が出力した画像を反射することで当該画像を出力する。これにより、画像投影装置が出力した画像が、スクリーン上に表示される。
画像出力装置が出力する画像（出力画像と称される場合がある。）は、平面に表示されてもよく、湾曲面に表示されてもよく、球面又はその一部に表示されてもよい。出力画像は、二次元画像であってもよく、三次元画像であってもよい。
情報処理端末の設置方向は、例えば、画像出力装置の前後の軸まわりの回転（ロールと称される場合がある）、左右の軸まわりの回転（ピッチと称される場合がある）、及び、上下の軸まわりの回転（ヨーと称される場合がある）の少なくとも１つにより表される。画像出力装置の前後の軸は、画像出力装置を前後に通過する軸であってよい。画像出力装置の上下の軸は、画像出力装置を上下に通過する軸であってよい。画像出力装置の左右の軸は、画像出力装置を左右に通過する軸であってよい。上記の３つの軸は、互いに直交してよい。画像出力装置が曲面である場合、当該曲面に沿って延伸された空間曲線が軸として用いられてよい。
（物体の動き又は光の揺らぎに基づく安全性の評価）
一実施形態において、情報処理端末の設置位置の周辺における物体の動き又は光の揺らぎに基づいて、情報処理端末の安全性を評価することが考えられる。本実施形態においては、情報処理端末の設置位置の周辺を撮像して得られた動画の解析結果に基づいて、情報処理端末の安全性が評価される。
情報処理端末の設置位置の周辺に配された物体が動くと、当該動画を撮像した撮像装置が静止している場合であっても、当該動画を構成する複数のフレームの間で、当該物体に対応する画素の画素値が変動する。また、情報処理端末の設置位置の周辺に配された物体、及び、当該動画を撮像した撮像装置が静止している場合であっても、当該物体の表面で反射する光、当該物体を透過する光又は当該物体から発せられる光の揺らぎにより、当該動画を構成する複数のフレームの間で特定の画素の画素値が変動する。
例えば、光の強度の平均値が巨視的には一定であっても、微視的には、光の強度と、光の強度の平均値との間に小さなずれがある場合、光の揺らぎが検出される。光の揺らぎは、例えば、当該光の強度及び／又は色が、特定の平均に従いながらも、部分的にランダムに変動していることを示す。情報処理端末の設置位置の周辺で観察される光の揺らぎは、例えば、（ｉ）光源と、当該光源からの光を反射又は透過する被写体との間に存在する又は存在した様々な他の物体の動きの程度、及び／又は、（ｉｉ）当該被写体と、撮像装置との間に配された他の物体の動きの程度を表す。上記の他の物体は、固体であってもよく、気体であってもよく、液体であってもよい。光の揺らぎは、（ｉ）ある程度周期性の高い変化を含んでもよく、（ｉｉ）ランダムな動きに近いものを含んでもよい。
情報処理端末の安全性を評価する手法としては、情報処理端末の設置位置の周辺において、物体の動き又は光の揺らぎが検出される程度を評価することが例示される。上記の程度としては、検出された動き又は揺らぎの大きさの程度、動き又は揺らぎが検出される頻度などが例示される。
情報処理端末の設置位置の周辺において物体の動きが検出された場合、情報処理端末の設置位置の周辺に第三者が存在する可能性が高い。同様に、情報処理端末の設置位置の周辺において比較的大きな光の揺らぎが検出された場合、情報処理端末の設置位置の周辺に第三者が存在する可能性が高い。また、情報処理端末の設置位置の周辺における光の揺らぎのパターンが変化した場合、情報処理端末の設置位置の周辺に第三者が存在する可能性が高い。そのため、物体の動き又は光の揺らぎが検出される程度が小さいほど、情報処理端末の安全性の程度が大きい（つまり、第三者により出力画像が閲覧される可能性が小さい。）と評価され得る。
情報処理端末の設置位置の周辺において観察される光の揺らぎのパターンが、自然光の揺らぎのパターンに類似している場合、当該設置位置の近傍に屋外に通じる窓又は開口が存在する可能性、又は、当該設置位置が屋外である可能性が高い。一方、情報処理端末の設置位置の周辺において観察される光の揺らぎのパターンが、人工光の揺らぎのパターンに類似している場合、当該設置位置の近傍に屋外に通じる窓又は開口が存在する可能性、又は、当該設置位置が屋外である可能性が低い。そのため、自然光に類似する光の揺らぎが検出される程度が小さいほど、情報処理端末の安全性の程度が大きい（つまり、第三者により出力画像が閲覧される可能性が小さい。）と評価され得る。
また、情報処理端末の設置位置の周辺において観察される光の揺らぎのパターンが、情報処理端末が予め定められた種類の移動体に搭載されている場合における光の揺らぎのパターンに類似している場合、情報処理端末が当該移動体に搭載されている可能性が高い。予め定められた種類の移動体としては、車両、飛行体、船舶などが例示される。予め定められた種類の移動体は、電車、バス、旅客機、客船などの公共交通機関であってよい。そこで、検出された光の揺らぎが予め定められた第１パターンを有する場合、情報処理端末の安全性の程度が小さい（つまり、第三者により出力画像が閲覧される可能性が大きい。）と評価され得る。同様に、検出された光の揺らぎが予め定められた第２パターンを有する場合、情報処理端末の安全性の程度が大きい（つまり、第三者により出力画像が閲覧される可能性が小さい。）と評価され得る。光の揺らぎのパターンは、光の揺らぎが検出される程度の一例であってよい。
例えば、室内に入射した自然光が室内に配された物体の表面で反射し、情報処理端末の設置位置に配されたカメラが当該反射光を受光する場合を考える。この場合、上記のカメラが受光する光の揺らぎは、光源である太陽及び上記の物体の間並びに上記の物体及びカメラの間における、（ｉ）樹木の枝葉の揺れ、（ｉｉ）水面の揺れ、（ｉｉｉ）空気中に浮遊する塵、水滴、水蒸気などの流れ、（ｉｖ）空気の屈折率の変動などの影響を受ける。そのため、光の揺らぎを周波数解析すると、当該揺らぎは比較的広い範囲の周波数を含む。例えば、光の揺らぎの周波数分布は、比較的ブロードな山状又は正規分布状の形状を有する。
同様に、室内に配された光源から射出された人工光が室内に配された物体の表面で反射し、情報処理端末の設置位置に配されたカメラが当該反射光を受光する場合を考える。この場合、光源が太陽である場合と比較して、光源及び上記の物体の間の距離が短い。その結果、光の揺らぎを周波数解析すると、当該揺らぎは比較的狭い範囲の周波数を含む、又は、特定の周波数成分を多く含む。例えば、光の揺らぎの周波数分布は、光源が太陽である場合と比較してシャープ山状又は正規分布状の形状を有する、又は、特定の周波数成分が突出した形状を有する。
発明者は、（ｉ）自然光は、人工光源からの光と比較して、数Ｈｚ～数十Ｈｚ程度の周波数帯の光の揺らぎを多く含むこと、（ｉｉ）３０フレーム／秒程度の撮像装置により撮像された動画像の解析により当該光の揺らぎを検出可能であること、及び、（ｉｉｉ）光の揺らぎのパターン（例えば、揺らぎの周波数分布のパターンである）に基づいて、当該光の観察場所で生じている事象を推定可能であることを見出した。また、発明者は、観察された光の揺らぎに基づいて、当該光の観察地点の安全性を評価することを想到した。
（遮蔽物の有無又は多寡に基づく安全性の評価）
他の実施形態において、情報処理端末の設置位置の周辺に配された構造物（遮蔽物と称される場合がある）の配置に基づいて、情報処理端末の安全性を評価することが考えられる。遮蔽物は、固体であってもよく、液体であってもよく、気体であってもよく、これらの組み合わせであってもよい。上記の安全性を評価する他の手法としては、上記の遮蔽物の配置を評価することが例示される。
例えば、遮蔽物によりディスプレイ、スクリーンなどへの第三者の視線が遮られる程度が大きいほど、情報処理端末の安全性の程度が大きいと評価される。情報処理端末の設置位置と、遮蔽物との距離が小さいほど、当該設置位置及び遮蔽物の間に第三者が入り込む可能性が小さくなる。そこで、情報処理端末の設置位置と、遮蔽物との距離が小さいほど、情報処理端末の安全性の程度が大きいと評価されてよい。同様に、上記の距離が大きいほど、情報処理端末の安全性の程度が小さいと評価されてもよい。
（周辺環境の状況に基づく安全性の評価）
さらに他の実施形態において、情報処理端末の設置位置の周辺の環境（周辺環境と称される場合がある。）の状況に基づいて、情報処理端末の安全性を評価することが考えられる。設置位置の周辺の環境には、設置位置の環境も含まれ得る。周辺環境の状況としては、周辺環境における、温度分布の状況、明るさの状況、気象の状況、空気の状況、人流又は人口の状況などが例示される。周辺環境の状況は、高度であってもよい。情報処理端末の安全性を評価する手法としては、周辺環境の状況を評価することが例示される。周辺環境は、表示領域の周辺の環境の一例であってよい。
（温度分布の状況）
周辺環境の温度は、例えば、赤外線カメラ、サーモカメラ、熱画像直視装置などを用いて測定され得る。情報処理端末の設置位置の温度と、情報処理端末の設置位置の周辺の温度とを比較することで、周辺環境の状況が評価され得る。上記の赤外線カメラは、中赤外線カメラ又は遠赤外線カメラであってよい。
例えば、人、人の用いる道具（例えば電子機器である）、自然光の当たる場所などは、周囲の環境と比較して高温になりやすい。上記の傾向は、室内において特に顕著である。そのため、特定の空間内において、当該空間内の他の部分と比較して温度が高い部分は、情報処理端末の安全性の程度が小さい（つまり、第三者により出力画像が閲覧される可能性が大きい。）と評価され得る。
例えば、室内に小型カメラが密かに設置されている場合、当該小型カメラの設置場所の温度が、当該設置場所の近傍の温度よりも高くなりうる。この場合、小型カメラの設置場所の近傍における情報処理端末の安全性が小さくなり得る。その結果、小型カメラによる情報漏洩のリスクが抑制され得る。
（明るさの状況）
明るさを評価するための指標としては、（ｉ）現在時刻、現在時刻が属する時間帯、及び／又は、天候、（ｉｉ）照度などが例示される。現在時刻は、日付を示す情報を含んでもよく、日付を示す情報を含まなくてもよい。特定の時刻における屋外の明るさは、季節によって異なる場合がある。現在時刻が日付を示す情報を含む場合（現在日時と称される場合がある）、明るさがより正確に評価され得る。
例えば、（ｉ）周辺環境の明るさの程度が大きいほど、又は、（ｉｉ）設置位置の周辺に設定された領域の面積に対する、照度が予め定められた基準よりも大きな領域の面積の割合が大きいほど、情報処理端末のユーザが周囲に存在する第三者の存在に気が付きやすくなる一方、第三者も情報処理端末が出力した情報を閲覧しやすくなる。そこで、上記の明るさの程度が大きいほど又は上記の割合が大きいほど、情報処理端末の安全性の程度が大きいと評価され得る。また、上記の明るさの程度が大きいほど又は上記の割合が大きいほど、情報処理端末の安全性の程度が小さいと評価され得る。
（気象の状況）
気象の状況としては、天候、気温、湿度、風速、気圧などが例示される。天候としては、天気の種類、日射量、降雨量、降雪量、霧の濃さなどが例示される。例えば、降雨量、降雪量、霧の濃さなどが大きいほど、視程が小さくなる。視程が小さいほど、情報処理端末の安全性の程度が大きい（つまり、第三者により出力画像が閲覧される可能性が小さい。）と評価され得る。
また、例えば、気温が予め定められた第１域値よりも小さい場合（例えば、非常に寒い場合）、又は、気温が予め定められた第２閾値よりも小さい場合（例えば、非常に暑い場合）、設置位置の周辺に第三者が存在する可能性が小さくなる。そこで、気温が予め定められた第１域値よりも小さい場合又は気温が予め定められた第２閾値よりも小さい場合、情報処理端末の安全性の程度が大きい（つまり、第三者により出力画像が閲覧される可能性が小さい。）と評価され得る。
例えば、風速が大きい場合には、ドローンを利用した覗き見の可能性が小さくなる。また、気圧が低い場合には、高度が高い可能性がある。高度が大きければ、周囲からの覗き見の可能性が小さくなる。そのため、風速、気圧、高度などに基づいて、情報処理端末の安全性の程度が評価され得る。
（空気の状況）
空気の状況としては、（ｉ）空気の透明さの度合い、視程、又は、浮遊物質若しくは飛散物質の濃度、（ｉｉ）匂いの度合い又は臭気物質の濃度などが例示される。例えば、空気の透明さの度合いが小さいほど、又は、浮遊物質若しくは飛散物質の濃度が大きいほど、視程が小さくなる。視程が小さいほど、情報処理端末の安全性の程度が大きい（つまり、第三者により出力画像が閲覧される可能性が小さい。）と評価され得る。浮遊物質又は飛散物質は、固体であってもよく、液体であってもよく、気体であってもよい。浮遊物質又は飛散物質としては、水滴（例えば、霧又は雨である）、化学物質、アレルゲン、砂塵、ＰＭ２．５などが例示される。アレルゲンとしては、花粉が例示される。
また、例えば、周辺環境の臭気強度が大きいほど、設置位置の周辺に第三者が存在する可能性が小さくなる。そこで、匂いの度合い又は臭気物質の濃度が大きいほど、情報処理端末の安全性の程度が大きい（つまり、第三者により出力画像が閲覧される可能性が小さい。）と評価され得る。臭気物質は、固体であってもよく、液体であってもよく、気体であってもよい。
（人流の状況）
人流又は人口の状況としては、歩行者及び／又は車両の通行量又は流動量などが例示される。人流又は人口の状況は、歩行者の通行量又は流動量であってよい。歩行者及び／又は車両が少ないほど、情報処理端末の安全性の程度が大きい（つまり、第三者により出力画像が閲覧される可能性が小さい。）と評価され得る。
（物体検出結果に基づく安全性の評価）
さらに他の実施形態において、情報処理端末の設置位置及びその周辺における物体又は事象の検出結果に基づいて、情報処理端末の安全性を評価することが考えられる。情報処理端末の安全性は、検出された物体又は事象の種類及び／又は属性に基づいて評価されてもよい。物体又は事象の検出手法は、特に限定されるものではないが、画像解析、音声解析などが例示される。本手法は、情報処理端末の安全性が、設置位置又はその周辺の特徴ではなく、設置位置又はその周辺に配された物体の特徴に基づいて評価される点で、上述された他の実施形態に関連して説明された手法と相違する。
（画像解析の一例）
例えば、情報処理端末の設置位置又はその周辺（設置位置等と称される場合がある。）を撮像して得られた画像を解析することで、当該設置位置等に配された物体又は当該設置位置等で生じた事象を検出したり、当該検出された物体又は事象の種類及び／又は属性を判別したりすることができる。上記の画像中に特定の物体に固有の色値、及び／又は、特定の物体に固有の特徴が検出された場合、当該特定の物体が検出及び判別され得る。特定の物体としては、人の顔、ＴＶ、額縁、ＡＲマーカー、窓、ドア、撮像装置、ドローンなどが例示される。物体は、固体であってもよく、液体であってもよく、気体であってもよく、これらの組み合わせであってもよい。本願明細書においては、空、暗闇、海、波、炎のように定まった形状を有しないものであっても、色又は屈折率を有するものであれば物体として取り扱われ得る。
上記の画像が遠赤外線カメラにより撮像された画像である場合、例えば、布、壁などの背後に存在する人間が検出され得る。そこで、例えば、人間、撮像装置、ドローンなど予め定められた第１の種類の物体が検出された場合、情報処理端末の安全性の程度が小さい（つまり、第三者により出力画像が閲覧される可能性が大きい。）と評価され得る。
一方、人間の顔が検出された場合であっても、検出された人間の顔がユーザの顔若しくは事前に登録された人間の顔である場合、情報漏洩のリスクは比較的小さい。人間の顔は、人間の特徴の一例であってよい。そこで、検出された物体の特徴と、予め安全性が確認された物体の特徴と比較するための処理が実行されてもよい。例えば、安全性が確認された物体の特徴は、例えば、予め作成されたホワイトリストに記録される。検出された物体の特徴と、予め安全性が確認された物体の特徴とが一致しない場合に、情報処理端末の安全性の程度が小さい（つまり、第三者により出力画像が閲覧される可能性が大きい。）と評価されてよい。
また、人間、撮像装置、ドローンなどが検出された場合であっても、それらの検出位置がＴＶの画面の内側又は額縁の内側である場合、情報漏洩のリスクは比較的小さい。そこで、画像中に予め定められた第２の種類の物体が検出された場合、当該画像中の当該物体が検出された領域に位置する他の物体が、情報処理端末の安全性の評価に与える影響を小さくするための処理が実行されてよい。例えば、上記の領域の内部と外部とで、安全性の評価に関連する重み及び／又は閾値を調整するための処理が実行される。
さらに、画像中にＡＲマーカー、ＱＲコード（登録商標）、バーコードなどの符号化コードが検出された場合、当該符号化コードにより示される情報に基づいて、情報処理端末の安全性を評価するための処理が実行されてよい。符号化コードにより示される情報としては、当該符号化コードが検出された場合には安全と評価してよいこと、当該符号化コードが検出された場合には安全でないと評価してよいこと、当該符号化コードが配された位置における情報漏洩のリスクが小さいこと、当該符号化コードが配された位置における情報漏洩のリスクが大きいことなどが例示される。
（音声解析の一例）
例えば、情報処理端末の設置位置等で録音された音声を解析することで、当該設置位置等に配された物体又は当該設置位置等で生じた事象を検出したり、当該検出された物体又は事象の種類及び／又は属性を判別したりすることができる。例えば、上記の音声から犬の咆哮、人間の足音などが検出及び判別された場合、設置位置等の近傍に人間が存在する可能性が高い。
そこで、特定の種類の音声が検出された場合、情報処理端末の安全性の程度が小さい（つまり、第三者により出力画像が閲覧される可能性が大きい。）と評価され得る。一方、人間の足音が検出された場合であっても、当該人間が設置位置等に近づいてきていると判定された場合と、当該人間が設置位置等から遠ざかっていると判定された場合とでは、情報漏洩のリスクが大きく異なる。そこで、音源の位置及び／又は当該位置の変動に基づいて、情報処理端末の安全性を評価するための処理が実行されてよい。例えば、音源の位置及び／又は当該位置の変動に基づいて、安全性の評価に関連する重み及び／又は閾値を調整するための処理が実行される。
（その他の評価手法）
情報処理端末の安全性を評価する手法は、上述された手法に限定されない。また、上述された２以上の手法の組み合わせにより、情報処理端末の安全性が評価されてもよい。情報漏洩抑制システム１００は、上述された２以上の手法の組み合わせのそれぞれにより導出された評価を総合的に判断することで、情報処理端末の安全性に関する最終的な評価を決定してよい。例えば、情報漏洩抑制システム１００は、複数の手法のそれぞれに対する重みと、各手法により導出された評価とに基づいて、情報処理端末の安全性に関する最終的な評価を決定する。情報漏洩抑制システム１００は、１以上の条件分岐と、複数の手法とを組み合わせて、情報処理端末の安全性に関する最終的な評価を決定してもよい。これにより、情報処理端末の安全性を精度よく評価することができる。例えば、第三者がカメラ１５４の前にユーザ本人の写真を提示して、ユーザになりすますことを試みた場合であっても、情報漏洩抑制システム１００が、赤外線画像の解析、物体の動き又は光の揺らぎの解析などの解析結果も考慮して、情報処理端末の安全性を総合的に判断することで、情報漏洩抑制システム１００は、上記のなりすまし行為による情報の漏洩を防止することができる。
（情報漏洩抑制システム１００）
本実施形態によれば、図１から図１２を用いて、情報漏洩抑制システム１００の詳細が説明される。また、図１３から図２０を用いて、物体の動き又は光の揺らぎが検出される程度を評価する手法の詳細が説明される。本明細書の記載に接した当業者であれば、技術的に矛盾しない範囲において、一の実施形態について説明された技術的事項が、他の実施形態にも適用され得ることを理解することができる。
（情報漏洩抑制システム１００の概要）
図１は、情報漏洩抑制システム１００のシステム構成の一例を概略的に示す。本実施形態において、情報漏洩抑制システム１００は、ユーザ端末１２０の安全性を評価する。より具体的には、情報漏洩抑制システム１００は、第三者がユーザ端末１２０の出力画像を閲覧することに対する安全性を評価する。ユーザ端末１２０の安全性は、特定の位置及び方向に設置されたユーザ端末１２０の安全性を表してもよく、ユーザ端末１２０の設置位置の安全性を表してもよく、ユーザ端末１２０の設置位置及び設置方向の安全性を表してもよい。ユーザ端末１２０の設置位置は、表示領域１４２の設置位置の一例であってよい。ユーザ端末１２０の設置方向は、表示領域１４２の設置方向の一例であってよい。
例えば、情報漏洩抑制システム１００は、（ｉ）ユーザ端末１２０の設置位置の周辺における物体の動き又は光の揺らぎが検出される程度を示す指標、（ｉｉ）ユーザ端末１２０の設置位置の周辺に存在する遮蔽物の配置状況を示す指標、（ｉｉｉ）ユーザ端末１２０の設置位置の周辺環境の状況を示す指標の少なくとも１つに基づいて、ユーザ端末１２０の安全性を評価する。情報漏洩抑制システム１００は、上記の少なくとも１つの指標に代えて、又は、上記の少なくとも１つの指標に加えて、ユーザ端末１２０の設置位置の周辺において検出された物体の特徴又は種類に基づいて、ユーザ端末１２０の安全性を評価してよい。上記の物体の特徴としては、当該物体に固有の色値が例示される。例えば、黒い物体と、夜空とは、それぞれ異なる色値を有する。これにより、夜空の絵画と、窓越しの夜空とが区別され得る。
本実施形態において、情報漏洩抑制システム１００は、ユーザ端末１２０の設置を支援する。本実施形態において、情報漏洩抑制システム１００は、ユーザ端末１２０が使用されている間、ユーザ端末１２０の安全性を監視する。
本実施形態においては、ユーザ端末１２０が、上述された各種の情報処理を実行する場合を例として、情報漏洩抑制システム１００の詳細が説明される。しかしながら、情報漏洩抑制システム１００は、本実施形態に限定されない。他の実施形態において、ユーザ端末１２０は、他のコンピュータと通信可能に構成され、当該他のコンピュータと協働して上述された各種の情報処理を実行してよい。
（情報漏洩抑制システム１００の各部の概要）
本実施形態において、情報漏洩抑制システム１００は、ユーザ端末１２０を備える。本実施形態において、ユーザ端末１２０は、例えば、筐体１３０と、表示装置１４０と、環境センサ１５０と、入力装置１６０と、制御装置１７０とを有する。本実施形態において、表示装置１４０は、例えば、表示領域１４２を含む。本実施形態において、環境センサ１５０は、周辺データ生成装置１５２と、カメラ１５４と、照度センサ１５６とを含む。本実施形態において、表示領域１４２の設置位置が、ユーザ端末１２０の設置位置と称される場合がある。また、表示領域１４２の設置方向が、ユーザ端末１２０の設置方向と称される場合がある。
本実施形態において、ユーザ端末１２０は、ユーザに情報を出力する。ユーザ端末１２０は、画像により情報を出力してもよく、音声により情報を出力してもよい。ユーザ端末１２０は、ユーザからの情報の入力を受け付けてもよい。ユーザ端末１２０は、各種の情報処理を実行する。
本実施形態において、ユーザ端末１２０は、画像を出力する。ユーザ端末１２０が出力した画像は、表示領域１４２に表示される。表示領域１４２の視野角の範囲内に存在する人物（閲覧者と称される場合がある。）は、表示領域１４２に表示された画像を閲覧することができる。表示領域１４２の視野角の範囲内に撮像装置が配されている場合、当該撮像装置は、表示領域１４２に表示された画像を撮像することができる。撮像装置が撮像した画像データを取得した人物（閲覧者と称される場合がある。）は、表示領域１４２に表示された画像を閲覧することができる。
一実施形態において、上記の画像は、ユーザによるユーザ端末１２０の操作に伴って出力される。例えば、ユーザは、入力装置１６０を介して、ユーザ端末１２０の上で動作するＢＩＯＳ、オペレーションシステム（ＯＳと称される場合がある。）又はアプリケーションプログラム（これらの総称としてプログラムという用語が用いられる場合がある。）に対する指示を、ユーザ端末１２０に入力する。ユーザ端末１２０は、当該指示に応じた情報処理を実行し、当該情報処理の結果を示す画像を表示領域１４２に表示する。
他の実施形態において、上記の画像は、ユーザ端末１２０の安全性の程度が予め定められた基準に合致しない場合に出力される。このような場合、例えば、警告メッセージ、警告画面、ロック画面、一部の領域の情報が隠匿された画面などが、表示領域１４２に表示される。
ユーザ端末１２０としては、パーソナルコンピュータ、携帯端末などが例示される。携帯端末としては、携帯電話、スマートフォン、ＰＤＡ、タブレット、ノートブック・コンピュータ又はラップトップ・コンピュータ、ウエアラブル・コンピュータなどが例示される。
本実施形態において、筐体１３０は、表示装置１４０、周辺データ生成装置１５２、入力装置１６０及び制御装置１７０を支持する。表示装置１４０、周辺データ生成装置１５２、入力装置１６０及び制御装置１７０のそれぞれは、その少なくとも一部が筐体１３０の内部に収容されてもよく、筐体１３０の外部に取り付けられてもよい。
本実施形態において、表示装置１４０は、画像を出力する。表示装置１４０は、制御装置１７０からの指示に従って画像を出力したり、画像の出力を停止したりしてよい。制御装置１７０からの指示に従って画像の明るさ又はコントラストを調整してもよい。表示装置１４０としては、ディスプレイ、プロジェクタなどが例示される。
本実施形態において、表示領域１４２には、表示装置１４０の出力する画像（出力画像と称される場合がある。）が表示される。本実施形態において、表示領域１４２は、筐体１３０に配される。これにより、周辺データ生成装置１５２の光軸の向きと、表示領域１４２の法線ベクトルの向きとが略一致する。
本実施形態において、環境センサ１５０は、表示領域１４２の周辺環境に関する各種の情報を取得する。環境センサ１５０は、上記の各種の情報を取得するための１以上のセンサを含んでよい。上記のセンサとしては、各種の画像を取得するセンサ、音声を取得するセンサ、明るさを検出するセンサ、温度を検出するセンサ、距離又は深度を検出するセンサなどが例示される。環境センサ１５０は、上記の１以上のセンサが取得した情報を制御装置１７０に出力してよい。
本実施形態において、周辺データ生成装置１５２は、表示領域１４２の周辺に配された１以上の物体（遮蔽物と称される場合がある。）に関する情報（周辺データと称される場合がある。）を生成する。周辺データ生成装置１５２は、生成された周辺データを制御装置１７０に出力する。表示領域１４２の周辺としては、表示領域１４２の視野角の範囲内の位置、表示領域１４２からの距離が予め定められた数値範囲である位置などが例示される。
例えば、周辺データ生成装置１５２は、表示領域１４２の周辺に配された１以上の遮蔽物と、表示領域１４２との相対位置を示す情報を生成する。各遮蔽物及び表示領域１４２の相対位置を示す情報としては、（ｉ）表示領域１４２の代表点と、各遮蔽物の代表点との距離、（ｉｉ）表示領域１４２の代表点から各遮蔽物の代表点に向かう向き、（ｉｉｉ）表示領域１４２の代表点から各遮蔽物の代表点に向かう１以上のベクトルのそれぞれの大きさ及び向きなどが例示される。周辺データ生成装置１５２は、遮蔽物の位置、形状及び大きさの少なくとも１つを示す情報を生成してもよい。
遮蔽物は、寸法に関する条件を満足する物体であってよい。寸法に関する条件としては、幅、高さ及び奥行きの少なくとも１つの大きさが予め定められた値より大きいという条件が例示される。遮蔽物は、当該物体が閲覧者及び表示領域１４２の間に配された場合に、閲覧者の視線を遮ることができる程度の大きさを有する物体であってよい。遮蔽物は、光の透過を抑制する物体であることが好ましい。しかしながら、遮蔽物が光の透過を抑制する程度は特に限定されない。遮蔽物は、ガラスのように透明な物体、及び／又は、格子のように貫通孔が形成された物体を含んでもよい。遮蔽物は、静止した物体であってよもよく、予め定められた範囲内で移動可能に構成された物体であってもよい。遮蔽物としては、家具、装飾品、電化製品、床、天井、壁、柱、梁、ドア、窓などが例示される。
一実施形態において、周辺データ生成装置１５２は、上記の周辺データとして、表示領域１４２の周辺に配された１以上の物体を被写体とする画像のデータ（画像データと称される場合がある。）を生成する。遮蔽物を被写体とする画像としては、二次元画像、ステレオ画像などが例示される。他の実施形態において、周辺データ生成装置１５２は、上記の周辺データとして、表示領域１４２の周辺に配された１以上の遮蔽物の三次元点群データ又は距離データ（三次元データと称される場合がある）を生成する。
三次元データの測定精度は特に限定されない。また、三次元データは、遮蔽物の一部に関する情報が欠落していてもよく、遮蔽物の一部の情報が他の情報から類推された情報であってもよい。距離データは、相対距離を示す情報、距離的な順位指標を示す情報等が含んでもよい。
周辺データ生成装置１５２が三次元データを生成する場合、表示領域１４２の周辺の三次元仮想空間が構築され得る。これにより、遮蔽物により第三者の視線が遮蔽される度合いの算出手順が簡素化される。その結果、上述された遮蔽物の配置状況を示す指標を導出するための計算量が削減され得る。
なお、周辺データ生成装置１５２は、三次元データを生成しなくてもよい。この場合であっても、遮蔽物により第三者の視線が遮蔽される度合いは、周辺データ生成装置１５２が生成した画像データに基づき導出され得る。特に、周辺データ生成装置１５２及び表示領域１４２の位置座標が略同一であり、且つ、周辺データ生成装置１５２の光軸の方向と、及び表示領域１４２の法線ベクトルの方向とが略平行である場合には、遮蔽物により第三者の視線が遮蔽される度合いが精度よく導出される。
周辺データ生成装置１５２としては、（ｉ）画像を撮像するセンサ、（ｉｉ）音波、超音波又は電磁波を利用して対象物との距離を測定するセンサなどが例示される。より具体的には、周辺データ生成装置１５２としては、イメージセンサ、カメラ、ステレオカメラ、ＬｉＤＡＲ、単眼カメラ深度距離計測装置（単眼デプス推定装置と称される場合がある。）などが例示される。上記のカメラに、魚眼レンズ、超広角レンズなどの光学部材が取り付けられてもよい。これにより、カメラの画角が増加する。
周辺データ生成装置１５２の視野角（画角と称される場合がある。）は、表示領域１４２の視野角よりも大きくてよい。この場合、情報漏洩抑制システム１００は、例えば、周辺データ生成装置１５２が生成した単一の画像データ又は単一の三次元データに基づいて、表示領域１４２が設置される方向（設置方向と称される場合がある。）の異なる複数の場合について、表示領域１４２の安全性を評価することができる。これにより、表示領域１４２の安全性が精度よく評価され得る。表示領域１４２の安全性としては、特定の位置及び方向に設置された表示領域１４２の安全性、表示領域１４２の設置位置の安全性、表示領域１４２の設置位置及び設置方向の安全性などが例示される。
表示領域１４２の設置方向は、上述された情報処理端末の向きの一例であってよい。表示領域１４２の設置方向は、表示領域１４２の法線ベクトルの向きにより表されてもよく、表示領域１４２の前後の軸、上下の軸、及び、左右の軸の少なくとも１つの軸の周りの回転により表されてもよい。
表示領域１４２が筐体１３０に収容される場合、表示領域１４２の設置位置は、ユーザ端末１２０の設置位置と略一致する。また、この場合、表示領域１４２の設置方向は、ユーザ端末１２０の設置方向と略一致する。
本実施形態において、カメラ１５４は、複数の静止画像（フレームと称される場合がある。）を含む動画のデータ（動画データと称される場合がある。）を生成する。例えば、カメラ１５４は、表示領域１４２の設置予定場所又は設置場所（上述されたとおり、単に、設置位置と表記される場合がある。）の周辺を撮像し、動画データを生成する。カメラ１５４は、生成された動画データを制御装置１７０に出力する。カメラ１５４は、二次元画像を撮像するためのイメージセンサであってもよく、赤外線画像（熱画像と称される場合がある）を撮像する赤外線カメラであってもよい。
本実施形態において、カメラ１５４は、筐体１３０に配される。本実施形態においては、表示領域１４２も筐体１３０に配されていることから、カメラ１５４が動画を撮像した位置（撮像位置と称される場合がある。）と、表示領域１４２又はユーザ端末１２０の設置位置とが略一致する。また、カメラ１５４の光軸の向きと、表示領域１４２の法線ベクトルの向きとが略一致する。そのため、カメラ１５４が動画を撮像した方向（撮像方向と称される場合がある。）と、表示領域１４２又はユーザ端末１２０の設置方向とが略一致する。
なお、周辺データ生成装置１５２が撮像素子を備える場合、ユーザ端末１２０はカメラ１５４を備えなくてもよい。この場合、上記の撮像素子が、本実施形態に係るカメラ１５４と同様の機能を有してよい。
本実施形態において、照度センサ１５６は、表示領域１４２の設置位置の周辺の照度を測定する。照度センサ１５６は、測定結果を示す情報を制御装置１７０に出力する。
本実施形態において、入力装置１６０は、ユーザ端末１２０のユーザからの入力を受け付ける。入力装置１６０は、ユーザが入力した情報を制御装置１７０に出力する。入力装置１６０としては、キーボード、ポインティングデバイス、タッチパネル、マイクなどが例示される。
本実施形態において、制御装置１７０は、ユーザ端末１２０を制御する。制御装置１７０は、ユーザ端末１２０における各種の情報処理を実行する。例えば、制御装置１７０は、周辺データ生成装置１５２が取得したデータに基づいて、ユーザ端末１２０の設置位置及び／又は設置方向の安全性を評価する。制御装置１７０は、周辺データ生成装置１５２が取得したデータを、複数のアプリケーションプログラムに入力してよい。例えば、制御装置１７０は、周辺データ生成装置１５２が取得したデータを、複数のアプリケーションプログラムに入力するための仮想カメラドライバを備える。制御装置１７０の詳細は後述される。
制御装置１７０により実行される情報処理方法は、例えば、画像出力装置の出力する出力画像が表示される表示領域の周辺の状態を示す周辺状態情報を取得する周辺状態取得を有する。上記の情報処理方法は、例えば、周辺状態取得段階において取得された周辺状態情報により示される表示領域の周辺の状態に基づいて、画像出力装置のユーザとは異なる第三者による出力画像の閲覧可能性の程度を導出する閲覧可能性導出段階を有する。
制御装置１７０により実行される情報処理方法は、画像処理方法であってよい。上記の画像処理方法は、例えば、複数のフレームを含む動画のデータを取得する動画取得段階を有する。上記の画像処理方法は、例えば、（ａ）動画の各フレームを予め定められた複数の領域に区分し、（ｂ）複数の領域のそれぞれについて、各領域に含まれる画素の画素値に基づいて、複数のフレームの間における各領域の色及び／又は明るさの変動を示す指標である変動指標の値を導出する変動指標導出段階を有する。上記の画像処理方法において、複数の領域のそれぞれは、例えば、１以上の画素を含む。
情報漏洩抑制システム１００は、情報処理装置の一例であってよい。ユーザ端末１２０は、情報処理装置又は画像出力装置の一例であってよい。表示装置１４０は、画像出力装置の一例であってよい。カメラ１５４は、撮像装置の一例であってよい。撮像装置は、周辺状態取得部の一例であってよい。撮像装置は、周辺状態情報を生成し、当該周辺状態情報を周辺状態取得部に出力する装置の一例であってもよい。照度センサ１５６は、環境情報取得部の一例であってよい。照度センサ１５６は、環境情報を生成し、当該環境情報を環境情報取得部に出力する装置の一例であってもよい。制御装置１７０は、情報処理装置、画像出力装置、撮像装置、環境情報取得部又は出力制御部の一例であってよい。
表示装置１４０が出力する画像は、出力画像の一例であってよい。ユーザ端末１２０の安全性の程度は、出力画像の閲覧可能性の程度の一例であってよい。表示領域１４２の安全性の程度は、出力画像の閲覧可能性の程度の一例であってよい。周辺データ生成装置１５２が生成する遮蔽物に関する情報は、周辺データの一例であってよい。画像データは、周辺データの一例であってよい。三次元データは、周辺データの一例であってよい。
（別実施形態の一例）
本実施形態においては、表示領域１４２が表示装置１４０の一部である場合を例として、情報漏洩抑制システム１００の一例が説明された。しかしながら、情報漏洩抑制システム１００は、本実施形態に限定されない。他の実施形態において、表示領域１４２は、表示装置１４０から物理的に離れた位置に配される。例えば、表示装置１４０がプロジェクタである場合、表示領域１４２としてスクリーンが用いられる。
図２は、表示領域１４２及び周辺データ生成装置１５２の視野角を概略的に示す。図２に関連して説明される実施形態においては、表示領域１４２の代表点２４０と、周辺データ生成装置１５２の代表点２５０とが略一致する場合を例として、表示領域１４２及び周辺データ生成装置１５２の視野角の関係が説明される。図１に関連して説明されたとおり、本実施形態においては、表示領域１４２が表示装置１４０の一部であり、表示装置１４０及び周辺データ生成装置１５２が同一の筐体１３０に収容される。そのため、図２に示されるとおり、表示領域１４２の法線ベクトル２４２の方向と、周辺データ生成装置１５２の光軸２５２の方向とが略一致する。
本実施形態において、表示領域１４２の視野角（視野角θＤ又は画角と称される場合がある。）は、法線ベクトル２４２及びベクトル２４４のなす角度θＤＲの絶対値と、法線ベクトル２４２及びベクトル２４６のなす角度θＤＬの絶対値との和として導出される。同様に、本実施形態において、周辺データ生成装置１５２の視野角（視野角θＣ又は画角と称される場合がある。）は、光軸２５２及びベクトル２５４のなす角度θＣＲの絶対値と、光軸２５２及びベクトル２５６のなす角度θＣＬの絶対値との和として導出される。
（別実施形態の一例）
本実施形態においては、表示領域１４２の視野角が、周辺データ生成装置１５２の視野角よりも小さい場合を例として、情報漏洩抑制システム１００の一例が説明された。例えば、表示領域１４２の表面に、第三者からの覗き見を防止するためのフィルムが貼付されている場合、表示領域１４２の視野角は、周辺データ生成装置１５２の視野角よりも小さくなり得る。しかしながら、情報漏洩抑制システム１００は、本実施形態に限定されない。他の実施形態において、表示領域１４２の視野角は、周辺データ生成装置１５２の視野角より大きくてよい。
図３は、ユーザ端末１２０の配置の一例を概略的に示す。本実施形態においては、ユーザ端末１２０が作業部屋３００の内部の位置Ａ、位置Ｂ又は位置Ｃに配される場合を例として、ユーザ端末１２０の配置の一例が説明される。
本実施形態において、作業部屋３００は、壁３１２と、壁３１４と、壁３１６と、壁３１８と、床３２０とを備える。本実施形態において、作業部屋３００の内部には、遮蔽物３３０が配される。壁３１６の表面には、マーカ３４２、マーカ３４４及びマーカ３４６が配される。壁３１８には、ガラス窓３２２が配される。
（位置Ａにおける安全性）
図３に示されるとおり、ユーザ端末１２０のユーザ２２が、表示領域１４２の法線ベクトル２４２が図中下向きとなるように、ユーザ端末１２０を位置Ａに設置する場合、表示領域１４２に表示される画像を閲覧可能な空間は、ベクトル２４４、ベクトル２４６、壁３１４及び床３２０により囲まれた空間となる。この場合、ユーザ２２とは異なる第三者３２及び第三者３４は、表示領域１４２に表示される画像を閲覧することができない。
そのため、第三者３２及び第三者３４が、ユーザ端末１２０の出力画像に含まれる情報を閲覧する正当な権限を有していない場合であっても、当該情報が漏洩する可能性は小さく、位置Ａにおけるユーザ端末１２０の安全性は高いと評価され得る。このように、制御装置１７０は、例えば、ユーザ端末１２０の設置位置の周辺に配された遮蔽物の配置を評価することで、ユーザ端末１２０の安全性を評価することができる。
（位置Ｂにおける安全性）
ユーザ端末１２０のユーザ２２が、表示領域１４２の法線ベクトル２４２が図中右向きとなるように、ユーザ端末１２０を位置Ｂに設置する場合、表示領域１４２に出力される画像を閲覧可能な空間は、ベクトル２４４、ベクトル２４６、壁３１６、遮蔽物３３０及び床３２０により囲まれた空間となる。この場合、第三者３２は、表示領域１４２に表示される画像を閲覧することができる。一方、第三者３４は、表示領域１４２に表示される画像を閲覧することができない。
本実施形態において、位置Ｂと、壁３１８との距離Ｌｂは、位置Ａと、壁３１４との距離Ｌａよりも大きい。そのため、ユーザ端末１２０を位置Ｂに設置する場合には、ユーザ端末１２０を位置Ａに設置する場合と比較して、上記の画像を閲覧可能な空間の大きさが大きくなり、第三者３２が当該空間内に侵入する可能性も大きくなる（つまり、安全性は低下する）。
そのため、制御装置１７０は、上記の空間の内部における第三者の有無、上記の空間の内部への第三者の侵入の有無などを考慮して、位置Ｂにおけるユーザ端末１２０の安全性を評価することが好ましい。上述されたとおり、制御装置１７０は、例えば、ユーザ端末１２０の設置位置の周辺において物体の動き又は光の揺らぎが検出される程度を評価することができる。これにより、制御装置１７０は、ユーザ端末１２０の安全性を精度よく評価することができる。
加えて、本実施形態によれば、ユーザ２２の背後に位置する壁３１８にガラス窓３２２が配されている。そのため、制御装置１７０は、ガラス窓３２２の外部に存在する第三者が出力画像を閲覧する可能性を考慮して、位置Ｂにおけるユーザ端末１２０の安全性を評価することが好ましい。
特に、ガラス窓３２２の外部が作業部屋３００の内部よりも暗い場合には、ガラス窓３２２の外部が作業部屋３００の内部よりも明るい場合と比較して、周辺データ生成装置１５２又はカメラ１５４が取得した情報に基づいてガラス窓３２２の外部に存在する第三者を検出することが難しい。そのため、上記の空間中にガラス窓３２２が存在する場合、及び／又は、ガラス窓３２２の外部が作業部屋３００の内部よりも暗い場合には、位置Ｂにおけるユーザ端末１２０の安全性が低下する。
上述されたとおり、制御装置１７０は、例えば、ユーザ端末１２０の設置位置の周辺の明るさを評価することができる。制御装置１７０は、ガラス窓３２２の明るさを評価することで、ガラス窓３２２の外部の明るさを評価してよい。これにより、制御装置１７０は、ユーザ端末１２０の安全性を精度よく評価することができる。
（位置Ｃにおける安全性）
ユーザ端末１２０のユーザ２２が、表示領域１４２の法線ベクトル２４２が図中右向きとなるように、ユーザ端末１２０を位置Ｃに設置する場合、表示領域１４２に出力される画像を閲覧可能な空間は、ベクトル２４４、ベクトル２４６、壁３１８及び床３２０により囲まれた空間となる。第三者３２及び第三者３４は、表示領域１４２に表示される画像を閲覧することができない
本実施形態によれば、ユーザ２２の背後に位置する壁３１６にマーカ３４２、マーカ３４４及びマーカ３４６が配される。本実施形態において、マーカ３４２及びマーカ３４４は、上記の空間の内部に配される。一方。マーカ３４６は、上記の空間の外部に配される。ユーザ２２がユーザ端末１２０を使用している期間中、制御装置１７０は、環境センサ１５０が取得したデータを解析して、マーカ３４２及びマーカ３４４を検出する。制御装置１７０がマーカ３４２及びマーカ３４４の少なくとも一方を検出することができなくなった場合、制御装置１７０は、例えば、何らかの原因によりユーザ端末１２０の安全性が低下したと判定する。上記の原因としては、ユーザ端末１２０と壁３１６との間に第三者が侵入したこと、ユーザ端末１２０の設置位置及び設置方向の少なくとも一方が変更されたことなどが例示される。
このように、制御装置１７０は、ユーザ端末１２０の周辺に配された各種のマーカを利用して、ユーザ端末１２０の安全性を精度よく評価することができる。これにより、情報の漏洩が高度に防止され得る。
マーカ３４２、マーカ３４４及びマーカ３４６には、各種の情報が付与され得る。制御装置１７０は、各マーカに付与された情報を利用してユーザ端末１２０の安全性を評価することができる。これにより、安全性の判定精度がさらに向上する。そのため、位置Ｃにおけるユーザ端末１２０の安全性がさらに向上する。各マーカの詳細は後述される。
（制御装置１７０における情報処理の概要）
図３に示されるとおり、ユーザ端末１２０のユーザ２２とは異なる第三者３２又は第三者３４により出力画像が閲覧される可能性（閲覧可能性と称される場合がある。）の程度は、ユーザ端末１２０の設置位置及び設置方向によって大きく異なる。しかしながら、ユーザ２２が閲覧可能性の程度を客観的に把握することは難しい。そのため、ユーザ２２が、感覚的に安全だと考えた場所にユーザ端末１２０を設置した場合であっても、当該設置位置の周辺に存在する遮蔽物の配置の状況によっては、客観的には閲覧可能性の程度が大きいということがあり得る。なお、閲覧可能性の程度が大きいほど、第三者の覗き見による情報漏洩のリスクが大きく、安全性が小さい。
そこで、本実施形態において、制御装置１７０は、周辺データ生成装置１５２が生成した各種の周辺データに基づいて、上記の閲覧可能性の程度を導出する。これにより、ユーザ端末１２０の設置位置及び設置方向の安全性が客観的に担保され得る。閲覧可能性の程度を導出するための手順の詳細は後述される。
（マーカの概要）
マーカ３４２、マーカ３４４及びマーカ３４６のそれぞれは、各種の情報を含むことができる。マーカ３４２、マーカ３４４及びマーカ３４６のそれぞれは、制御装置１７０が各マーカを識別するための識別情報を含んでよい。マーカ３４２、マーカ３４４及びマーカ３４６のそれぞれは、ＡＲ（Ａｕｇｍｅｎｔｅｄ Ｒｅａｌｉｔｙ）マーカ、ＱＲコード（登録商標）、バーコードなどの符号化コードであってもよい。
マーカ３４２、マーカ３４４及びマーカ３４６のそれぞれがＡＲマーカとして利用される場合、各マーカは、例えば、各マーカに対応する物体の三次元モデルに関する情報を含む。これにより、制御装置１７０は、作業部屋３００に対応する三次元仮想空間における各マーカの位置に、各マーカにより示される物体に対応する三次元モデルを配置することができる。
マーカ３４２は、例えば、マーカ３４２の検出位置の右側に、遮蔽物３３０の三次元モデル又は遮蔽物３３０を模した点群を発生するための情報を含む。これにより、制御装置１７０は、三次元仮想空間上に、遮蔽物３３０に対応する三次元モデルを構築することができる。マーカ３４２は、マーカ３４２の検出位置の左側に、予め定められた幅及び高さを有する三次元モデル又は点群を発生させるための情報を含んでもよい。これにより、制御装置１７０は、三次元仮想空間上に、壁３１６の一部に対応する三次元モデルを構築することができる。
マーカ３４４は、例えば、マーカ３４４の検出位置の右側に、予め定められた幅及び高さを有する三次元モデル又は点群を発生させるための情報と、マーカ３４４の検出位置の左側に、予め定められた幅及び高さを有する三次元モデル又は点群を発生させるための情報とを含む。これにより、制御装置１７０は、三次元仮想空間上に、壁３１６の一部の三次元モデルを構築することができる。
マーカ３４６は、例えば、マーカ３４６の検出位置の右側に、予め定められた幅及び高さを有する三次元モデル又は点群を発生させるための情報を含む。これにより、制御装置１７０は、三次元仮想空間上に、壁３１６の一部に対応する三次元モデルを構築することができる。
ＡＲマーカとしては、ＡｒＵｃｏ、カメレオンコードなどが例示される。しかしながら、ＡＲマーカはこれらに限定されない。他の実施形態によれば、例えば、ＱＲコード（登録商標）及びバーコードが、ＡＲマーカとして利用される。さらに他の実施形態において、画像中の被写体がＡＲマーカとして利用されてもよい。例えば、画像解析により画像中の被写体の中から既知の物体を検出する技術（例えば、各種の深層学習技術である。）を用いることで、当該既知の物体をＡＲマーカとして利用することができる。上記の技術によれば、まず、道路標識、自販機、電子レンジ、本、椅子などの既知の物体の特徴を予め分類器に学習させる。次に、学習済みの分類器を用いて、画像中の被写体うち既知の物体の向き、当該物体と撮像装置との距離などを類推する。これにより、上記の物体の三次元座標が導出され得る。後述されるように、上記の物体の形状及び大きさが既知である場合、三次元仮想空間中に、上記の物体の三次元モデルが構築され得る。
例えば、マーカ３４２、マーカ３４４若しくはマーカ３４６がＱＲコード（登録商標）若しくはバーコードである場合、又は、既知の物体がＡＲマーカとして利用される場合、制御装置１７０は、マーカの識別情報と、当該マーカが検出された場合における情報処理の内容とを対応付けて格納するデータベースを参照して、当該マーカが検出された場合における情報処理を実行してよい。上述されたとおり、上記の情報処理は、作業部屋３００又はその一部が電子的に再現された三次元仮想空間に関する情報処理であってよい。
三次元仮想空間に関する情報処理は、例えば、上記の三次元仮想空間中の位置であって、現実世界におけるマーカ検出位置に対応する位置を特定する段階と、特定された三次元仮想空間中の位置に、当該マーカに予め対応付けられた点群又は三次元モデルを発生させる段階とを含む。この場合、上記のデータベースには、例えば、マーカの識別情報と、点群又は三次元モデルの形状及び大きさを示す情報とが対応付けて格納されている。
画像の被写体にマーカが付されることにより、制御装置１７０における情報処理の負荷が大きく軽減され得る。例えば、（ｉ）マーカの寸法、並びに、（ｉｉ）表示領域１４２及び周辺データ生成装置１５２の相対的な位置関係が既知である場合、制御装置１７０は、当該マーカが写り込んだ二次元画像に基づいて、表示領域１４２と、マーカが付された物体との相対的な位置関係を決定することができる。制御装置１７０は、当該マーカが映り込んだ二次元画像に基づいて、マーカの法線ベクトルの向き（マーカの姿勢と称される場合がある。）を決定してもよい。
例えば、マーカの寸法が既知である場合、当該マーカが写り込んだ二次元画像に基づいて、周辺データ生成装置１５２及びマーカの相対的な位置関係が決定され得る。また、表示領域１４２及び周辺データ生成装置１５２の相対的な位置関係が既知である場合、周辺データ生成装置１５２及びマーカの相対的な位置関係に基づいて、表示領域１４２及びマーカの相対的な位置関係が決定され得る。
マーカが写り込んだ二次元画像に基づいて、周辺データ生成装置１５２及びマーカの相対的な位置関係を決定する手順は、例えば、当該二次元画像を解析して当該マーカのカメラ座標を決定する手順を含む。マーカのカメラ座標を決定するための処理は、例えば、公知のライブラリを用いて実現され得る。上述された公知のライブラリとしては、ＯｐｅｎＣＶのライブラリが例示される。ＯｐｅｎＣＶのライブラリにおいては、カメラに関する１以上の項目が設定可能に構成される。上記の項目としては、解像度、ＦＰＳ、焦点距離、上下方向の歪み、左右方向の歪みなどが例示される。
マーカのカメラ座標を決定するための処理は、例えば、カメラのキャリブレーション処理と、三次元再構成処理とを含む。三次元再構成処理は、例えば、カメラ座標系、画像座標系、及び、マーカ座標系を用いて、座標変換行列を計算することで実現される。座標変換行列は、回転行列と、平行移動行列とを含んでよい。
座標系算出処理の誤差が大きい場合、制御装置１７０は、周辺データ生成装置１５２が撮像した複数のフレームにおけるマーカの座標情報を平均化することで、当該マーカの座標を算出してもよい。上記のフレーム数は、４フレーム以上であってもよく、８フレーム以上であってもよい。これにより、誤差が小さくなり得る。また、インスタンスが特定される前に、上記の平均が算出され得る。なお、複数のフレームのそれぞれにおけるマーカの座標のバラツキ具合が予め定められた程度を超えた場合、制御装置１７０は、周辺データ生成装置１５２が動いたと判定し、上記の平均化処理を中断してよい。
上述されたとおり、本実施形態によれば、制御装置１７０は、マーカが検出された位置に、当該マーカにより指定される点群又は３次元モデルを発生させることができる。これにより、例えば、上記の物体の輪郭を特定する処理が不要になったり、上記の物体を単純な形状の点群又はモデルに置き換えたりすることができる。その結果、表示領域１４２と、マーカが付された物体との相対的な位置関係を決定するための処理の計算量が大幅に削減される。特に、１組のマーカ（１組当たりのマーカの個数は限定されるものではないが、例えば、一対のマーカである。）が遮蔽物の端部に付されている場合、遮蔽物の配置を特定するための処理の計算量が大幅に削減される。
上述されたとおり、マーカ３４２、マーカ３４４及びマーカ３４６のそれぞれは、例えば、１以上のマーカのそれぞれを識別するための識別情報、及び／又は、各マーカの位置の周辺に生成される点群又は３次元モデルに関する情報を表すパターンを含む。上記の点群に関する情報は、生成される点群又は３次元モデルのワールド座標系における寸法を示す情報を含んでよい。上記の寸法を示す情報は、形状を示す情報と、大きさを示す情報とを含んでよい。
マーカ３４２、マーカ３４４及びマーカ３４６のそれぞれは、各マーカの寸法を示す情報を含んでもよく、各マーカが付された物体に関する情報を含んでもよく、各マーカが付された場所の閲覧可能性の程度に関する情報を含んでもよい。各マーカが付された物体に関する情報は、光を透過させやすい物体であることを示す情報を含んでよい。光を透過させやすい物体としては、ガラス、格子、パンチングメタルなどが例示される。
なお、本実施形態によれば、現実空間においてＡＲマーカが配されていない物体は、三次元空間に反映されない。例えば、現実空間において幅６ｍ高さ３ｍの壁に、幅１ｍ高さ３ｍの壁を示す６個のＡＲマーカが水平方向に１ｍごとに配置されている場合、三次元空間中には幅６ｍ高さ３ｍの壁が出現する。一方、現実空間において、上記の壁に、幅１ｍ高さ３ｍの壁を示す３個のＡＲマーカが２ｍごとに配置されている場合、三次元仮想空間中には幅１ｍ高さ３ｍの壁が３個出現し、各壁の間には１ｍの隙間が配される。このように、三次元仮想空間を利用して閲覧可能性の程度を算出する場合、現実空間におけるＡＲマーカの配置が、閲覧可能性の程度の算出結果に影響を与える可能性がある。
壁３１２は、１以上の物体又は遮蔽物の一例であってよい。壁３１４は、１以上の物体又は遮蔽物の一例であってよい。壁３１６は、１以上の物体又は遮蔽物の一例であってよい。壁３１８は、１以上の物体又は遮蔽物の一例であってよい。床３２０は、１以上の物体又は遮蔽物の一例であってよい。ガラス窓３２２は、１以上の物体又は遮蔽物の一例であってよい。遮蔽物３３０は、１以上の物体又は遮蔽物の一例であってよい。
マーカ３４２は、１以上のマーカの一例であってよい。マーカ３４４は、１以上のマーカの一例であってよい。マーカ３４６は、１以上のマーカの一例であってよい。壁３１６は、１以上のマーカが付された１以上の物体又は被写体の一例であってよい。
図４及び図５を用いて、制御装置１７０における情報処理の一例が説明される。図４は、制御装置１７０がユーザ端末１２０の安全性を評価するための処理の一例を概略的に示す。図５は、ステップ４１６における処理の一例を概略的に示す。
図４に示されるとおり、本実施形態によれば、まず、ステップ４１２（ステップがＳと省略される場合がある。）において、制御装置１７０が、ユーザ２２からユーザ端末１２０への指示であって、ユーザ端末１２０又はユーザ端末１２０の上で動作するプログラムを起動させるための指示（起動指示と称される場合がある。）を受け付ける。上記のプログラムは、ＢＩＯＳ、ＯＳ又はアプリケーションプログラムであってよい。アプリケーションプログラムは、予め指定されたアプリケーションプログラムであってもよく、ユーザ端末１２０の安全性を評価するためのアプリケーションプログラムであってもよい。
制御装置１７０がユーザ２２からの起動指示を受け付けると、制御装置１７０は、ユーザ２２からの指示に対応する起動処理の実行を開始するとともに、ユーザ端末１２０の安全性を評価するためのアプリケーションプログラム（安全性評価プログラムと称される場合がある。）の実行を開始する。
安全性評価プログラムが実行されると、制御装置１７０は、環境センサ１５０から、ユーザ端末１２０の周辺に関する各種の情報を取得する。上記の起動処理が実行された直後は、ユーザ端末１２０の安全性を精度よく評価するために十分な量のデータが収集されない場合がある。このような場合、ユーザ端末１２０の安全性が確認されるまで、起動処理により示されるプログラムの実行を中断することが考えられる。しかしながら、上記の手法によれば、ユーザ２２のユーザ体験が低下する。また、ユーザ端末１２０又はプログラムの起動直後は、ユーザ２２が周囲の安全性を確認している可能性が高い。
そこで、本実施形態によれば、Ｓ４１４において、制御装置１７０は、ユーザ端末１２０の安全性の評価に関する設定を決定する。例えば、制御装置１７０は、（ｉ）少ない量のデータに基づいてユーザ端末１２０の安全性を評価するための第１設定と、（ｉｉ）十分な量のデータに基づいてユーザ端末１２０の安全性を精度よく評価するための第２設定とを有する。上記の第１設定及び第２設定のそれぞれは、安全性を評価するための各種指標の値を導出するための設定（指標設定と称される場合がある）、及び、各種指標の値に基づいて安全性に関する評価値を導出するための設定（評価設定と称される場合がある。）の少なくとも一方を含んでよい。
後述されるとおり、各種指標の値が導出される過程において、環境センサ１５０により収集されるデータの量も増加する。そのため、Ｓ４１４において、制御装置１７０は、指標設定を決定し、評価設定を決定しなくてもよい。これにより、計算量が削減される。
指標設定としては、ユーザ端末１２０の安全性に関する１以上の指標のうち、ユーザ端末１２０の安全性を評価するための処理に用いられる指標の種類を示す設定、上記の指標の値を導出するための関数又はアルゴリズムに関する設定、上記の関数又はアルゴリズムに含まれるパラメータに関する設定などが例示される。評価設定としては、上記の指標の値に基づいて評価値を導出するための関数又はアルゴリズムに関する設定、上記の関数又はアルゴリズムに含まれるパラメータに関する設定などが例示される。
例えば、起動指示が受け付けられてからの経過時間が予め定められた条件を満足する場合、制御装置１７０は、第１設定に基づいてユーザ端末１２０の安全性を評価することを決定する。一方、起動指示が受け付けられてからの経過時間が予め定められた条件を満足しない場合、制御装置１７０は、第２設定に基づいてユーザ端末１２０の安全性を評価することを決定する。予め定められた条件としては、上記の経過時間の長さが予め定められた第１閾値よりも小さいという条件が例示される。
これにより、例えば、上記の起動処理が実行された直後のように、ユーザ端末１２０の安全性を精度よく評価するために十分な量のデータが収集されない場合であっても、制御装置１７０は、一定の安全性を担保しつつ、ユーザ端末１２０又はプログラムの起動処理を続行することができる。これにより、ユーザ２２のユーザ体験が向上する。
次に、Ｓ４１６において、制御装置１７０は、ユーザ端末１２０の使用環境の安全性を評価するための処理を実行する。制御装置１７０は、Ｓ４１４で決定された指標設定に従って、環境センサ１５０が取得した各種のデータに基づいて、ユーザ端末１２０の安全性に関する１以上の指標のそれぞれの値（指標値と称される場合がある。）を導出する。制御装置１７０は、Ｓ４１４で決定された評価設定に従って、上記の指標の値に基づいてユーザ端末１２０の安全性を評価する。具体的には、上記の指標の値に基づいて、ユーザ端末１２０の安全性の程度を示す評価値を導出する。
一実施形態において、制御装置１７０は、表示領域１４２の現在の設置位置及び現在の設置方向に基づいて、現在のユーザ端末１２０の安全性に関する評価値を導出する。他の実施形態において、制御装置１７０は、ユーザ端末１２０安全性の評価が予め定められた基準を満足するような、表示領域１４２の設置位置及び設置方向の組み合わせ（パターンと称される場合がある。）を決定する。表示領域１４２の設置位置は、数値により表されてもよく、数値範囲により表されてもよい。表示領域１４２の設置方向は、数値により表されてもよく、数値範囲により表されてもよい。
例えば、制御装置１７０は、上述された閲覧可能性の程度が予め定められた値よりも小さくなるようなパターンを決定する。上述されたとおり、表示領域１４２が筐体１３０に収容されている場合、表示領域１４２の設置位置及び設置方向と、ユーザ端末１２０の設置位置及び設置方向とは略一致する。指標値の導出手順及び評価値の導出手順の詳細は後述される。
次に、Ｓ４２０において、制御装置１７０は、ユーザ端末１２０の安全性の評価値が予め定められた数値範囲（許容範囲と称される場合がある。）の範囲内であるか否かを判定する。上記の数値範囲は、上限及び下限の一方が定められていてもよく、上限及び下限の両方が定められていてもよい。
制御装置１７０は、ユーザ体験及びシステムの安定性を考慮して、ユーザ端末１２０の安全性の評価値の変動に対する上記の判定の感度又は応答性を調整してよい。後述されるとおり、ユーザ端末１２０の安全性の評価値が許容範囲外である場合、Ｓ４３２において、ユーザ端末１２０の使用を制限するための処理（使用制限処理と称される場合がある。）が実行され得る。また、ユーザ端末１２０の安全性の評価値が許容範囲内に戻ると、上記の使用制限が解除され得る。上記の判定の感度又は応答性が高すぎると、ユーザ端末１２０の使用の制限と、当該制限の解除とが頻繁に繰り返される。その結果、画面の表示が不安定になり、ユーザ体験が低下する。
本実施形態によれば、上記の使用制限及び制限解除が切り替わる頻度が予め定められた値よりも小さくなるように、上記の判定の感度又は応答性が調整される。これにより、システムが安定し、ユーザ体験も向上する。上記の判定の感度又は応答性を調整する手法は、特に限定されるものではなく、公知の任意の手法が採用され得る。
一実施形態において、制御装置１７０は、微小時間における評価値の変化量の積分値に基づいて、当該評価値が許容範囲外であると判定してよい。制御装置１７０は、微小時間における評価値の変化量の積分値に応じた度合いが予め定められた基準を満足するか否かにより、当該評価値が許容範囲外であるか否かを判定してよい。上記の微小時間の長さは、０．１秒から１秒の間であってもよく、０．５秒前後であってもよい。これにより、使用制限の応答性と、システムの安定性とのバランスが調整される。その結果、ユーザの使用体験が向上する。
制御装置１７０は、上記の微小時間内での評価値の変化の積分値に応じた度合いに比例して、ユーザー端末の表示領域１４２の使用を制限してよい。上記の積分値が予め定められた値（上限値と称される場合がある。）よりも大きい場合、制御装置１７０は、表示領域１４２に表示される１以上のウインドウの少なくとも一部の内部の色、模様又は明るさを変更して、当該ウインドウに表示される情報の見読性を低下させてもよい。制御装置１７０は、１以上のウインドのうち、最大の大きさを有するウインドウの内部の色、模様又は明るさを変更してよい。制御装置１７０は、上記のウインドの内部の色をグレー、白又は黒に変更してよい。制御装置１７０は、上記のウインドの内部の色をグレーに変更（グレー化と称される場合がある。）してよい。ウインドウは、ユーザ端末１２０の上で動作する各プログラムに割り当てられた表示領域であってよい。
上記の積分値が予め定められた値（下限値と称される場合がある。）よりも小さい場合、制御装置１７０は、例えば、表示領域１４２に１００％のソース画像出力を実行する。これにより、最大の見読性が実現される。上記の積分値が上記の下限値以上上限値以下である場合、制御装置１７０は、当該積分値に応じて、上述された色、模様又は明るさの変更態様を決定してよい。例えば、制御装置１７０は、上記の積分値に応じて、グレー化（半透明）の度合いを決定する。これにより、上記の積分値に応じて、見読性の度合いが制限され得る。
制御装置１７０は、ユーザ又はその他の権限者からの指示に基づいて、上記の使用制限処理を一時的に解除してよい。制御装置１７０は、ユーザ又はその他の権限者からの指示に基づいて、上述された各種の閾値（例えば、上記の上限値及び／又は下限値である。）を緩和してもよい。使用制限処理を解除可能な時間、又は、閾値を緩和可能な時間は、例えば、ユーザ又はその他の権限者により予め決定される。上記の権限者としては、ユーザの上司、システム管理者などが例示される。
例えば、ユーザがリモート会議において発言している最中に、当該リモート会議用のプログラムに割り当てられたウインドウのグレー化の度合いが徐々に大きくなってきた場合、グレー化の進行を止めなければユーザ体験が低下する。上記の実施形態によれば、このような場合であっても、一時的にグレー化の進行を止めたり、グレー化を解除したりすることができる。これにより、ユーザ体験の低下が抑制される。
他の実施形態において、制御装置１７０は、上記の評価値が許容範囲外である状態の継続時間の長さが予め定められた値よりも大きくなった場合に、当該評価値が許容範囲外であると判定してよい。これにより、上記の評価値が突発的に許容範囲外となった場合に、当該評価値が許容範囲外であると判定されることが防止される。その結果、ユーザの使用体験が向上する。
制御装置１７０は、Ｓ４１６において得られたユーザ端末１２０の使用環境の安全性に関する評価結果に基づいて、上記の判定の感度又は応答性を調整してよい。制御装置１７０は、例えば、使用環境の安全性が予め定められた基準を満足する場合には、使用環境の安全性が当該基準を満足しない場合と比較して判定の感度又は応答性が低下するように、上記の判定の感度又は応答性を調整する。制御装置１７０は、例えば、使用環境の安全性の程度が大きいほど判定の感度又は応答性が低下するように、上記の判定の感度又は応答性を調整する。これにより、ユーザの使用体験が向上する。
ユーザ端末１２０の安全性の評価値が許容範囲内である場合（Ｓ４２０のＹｅｓの場合）、Ｓ４４０の処理に進む。一方、ユーザ端末１２０の安全性の評価値が許容範囲外である場合（Ｓ４２０のＮｏの場合）、Ｓ４３０において、制御装置１７０は、ユーザ２２からの起動指示に基づいてユーザ端末１２０又はプログラムが起動してからの経過時間の長さが、予め定められた第２閾値より大きいか否かを判定する。上記の経過時間は、起動指示が受け付けられてからの経過時間であってもよく、ユーザ端末１２０又はプログラムの起動処理が完了してからの経過時間であってもよく、制御装置１７０がユーザ端末１２０又はプログラムの起動を検知してからの経過時間であってもよい。
Ｓ４３０において、例えば、上記の経過時間が第２閾値よりも大きい場合（Ｓ４３０のＹｅｓの場合）、Ｓ４３２において、制御装置１７０は、上述された使用制限処理を実行する。使用制限処理としては、ユーザ２２からの指示の受け付けを制限するための処理、表示領域１４２に表示される画面をロックするための処理、表示領域１４２に予め定められた画像を表示するための処理、表示領域１４２に警告を表示するための処理、表示領域１４２の明るさを調整して画面を暗くするための処理、表示装置１４０の視野角を小さくするための処理などが例示される。
表示領域１４２に予め定められた画像を表示するための処理において、当該画像は、画面の全体に表示されてもよく、画面の一部に表示されてもよい。表示領域１４２に予め定められた画像を表示するための処理において、当該画像は、半透明の画像であってもよい。表示領域１４２に予め定められた画像を表示するための処理は、使用制限処理が実行されなければ表示されていた画面の少なくとも一部を非表示にするための処理であってもよく、使用制限処理が実行されなければ表示されていた画面の少なくとも一部に半透明の画像を重畳するための処理であってもよい。
制御装置１７０は、Ｓ４１６において得られたユーザ端末１２０の使用環境の安全性に関する評価結果に基づいて、使用制限処理の種類及び／又は程度を決定してもよい。上記の評価結果としては、（ｉ）ユーザ端末１２０の安全性に関する１以上の指標の少なくとも１つの指標値、（ｉｉ）ユーザ端末１２０の安全性に関する１以上の指標のうち、指標値の大きさが予め定められた条件を満足する指標値の種類、（ｉｉｉ）ユーザ端末１２０の安全性の程度を示す評価値などが例示される。予め定められた条件としては、指標値が予め定められた値よりも大きいという条件、指標値が予め定められた値以上であるという条件、指標値が予め定められた値よりも小さいという条件、指標値が予め定められた値以下であるという条件などが例示される。
制御装置１７０は、特定の指標の指標値が上記の予め定められた条件を満足する場合と、当該指標の指標値が当該条件を満足しない場合とで、使用制限処理の種類及び／又は程度が異なるように、使用制限処理の種類及び／又は程度を決定してよい。制御装置１７０は、予め定められた条件を満足する指標の組み合わせが特定の組み合わせである場合と、そうではない場合とで、使用制限処理の種類及び／又は程度が異なるように、使用制限処理の種類及び／又は程度を決定してもよい。
例えば、安全性の評価値が許容範囲外であっても、使用環境の安全性が予め定められた基準を満足している場合、制御装置１７０は、ユーザ２２からの指示の受け付けを制限するための処理、表示領域１４２に表示される画面をロックするための処理、及び、表示領域１４２に警告を表示するための処理の少なくとも１つとは異なる処理を、使用制限処理として決定する。この場合において、制御装置１７０は、表示領域１４２に予め定められた画像を表示するための処理、表示領域１４２の明るさを調整して画面を暗くするための処理、及び、表示装置１４０の視野角を小さくするための処理の少なくとも１つを、使用制限処理として決定してよい。これにより、例えば、使用環境が比較的安全である場合には、ユーザはユーザ端末１２０の使用を継続することができる。その結果、ユーザの使用体験が向上する。
使用制限処理の程度としては、明るさの変更量、視野角の変更量、重畳させる画像の大きさ、重畳させる画像の透明度などが例示される。制御装置１７０は、使用環境が安全であるほど、使用制限の程度が小さくなるように、使用制限処理の程度を決定してよい。制御装置１７０は、使用環境が安全であるほど、使用制限の程度が小さくなるように、使用制限処理の程度を決定してよい。これにより、例えば、使用環境が比較的安全である場合には、ユーザはユーザ端末１２０の使用を継続することができる。その結果、ユーザの使用体験が向上する。
ユーザ端末１２０の使用が制限されている間、制御装置１７０は、Ｓ４１６に関連して説明された処理を実行してもよく、当該処理を実行しなくてもよい。制御装置１７０が、ユーザ端末１２０の使用が制限されている期間中にＳ４１６に関連して説明された処理を実行する場合、当該期間中に安全性の評価値が許容範囲内に戻ることがあり得る。
この場合、制御装置１７０は、Ｓ４３２に関連して説明された処理又はＳ４３４に関連して説明される処理の実行を中止又は中断し、上記の制限を解除してよい。制御装置１７０は、例えば、ユーザ端末１２０の安全性の程度が予め定められた程度よりも大きい場合（つまり、第三者により出力画像が閲覧される可能性の程度が予め定められた程度よりも小さい場合）、本来の出力画像の出力を許可する。
制御装置１７０は、制御装置１７０がユーザ端末１２０の使用を制限するか否かを判定する場合と同様に、当該制限を解除するか否かの判定の感度又は応答性を調整してよい。これにより、使用制限及び制限解除の切り替わりが抑制される。その結果、ユーザの使用体験が向上する。
次に、Ｓ４３４において、制御装置１７０は、ユーザ２２を誘導して、ユーザ端末１２０の安全性が向上するように、又は、ユーザ端末１２０の安全性が予め定められた基準を満足するように、ユーザ端末１２０の設置位置及び設置方向をユーザ２２に調整させるための処理（誘導処理と称される場合がある）を実行する。これにより、制御装置１７０は、ユーザ２２によるユーザ端末１２０の設置位置及び／又は設置方向の調整を支援することができる。
誘導処理としては、適切な設置位置及び／又は設置方向をユーザ２２に案内するための処理（ガイド処理と称される場合がある。）が例示される。一実施形態において、制御装置１７０は、「表示領域１４２を、右の方に約１０度向けてください」のようなメッセージを出力することで、ユーザ２２を誘導する。制御装置１７０は、表示領域１４２に上記のメッセージを出力してもよく、上記のメッセージを音声で出力してもよい。他の実施形態において、制御装置１７０は、表示領域１４２に、周辺データ生成装置１５２及び／又はカメラ１５４が撮像した作業部屋３００の室内の現在の画像と、安全性の基準を満足する設置位置及び設置方向のヒントとなる画像とを重畳して表示してよい。ヒントとなる画像としては、安全性が不十分である領域を強調するための画像、安全性が十分に確保されている領域を強調するための画像、表示領域１４２の調整方向を示すための画像などが例示される。ヒントとなる画像は、透明又は半透明の領域を有してもよい。
上述されたとおり、本実施形態の一例によれば、ユーザ端末１２０の安全性の評価値が許容範囲の範囲内であるか否かの判定における感度又は応答性が調整される。これにより、（ｉ）利用環境又は表示領域１４２の表示内容に応じて、安全性の判定の基準となる１以上の閾値又はパラメータを動的に変更する機能、（ｉｉ）安全性の評価値が閾値を超えた後又は当該評価値が許容範囲の範囲外となった後、画面ロックなどのペナルティ又は使用制限が発現するまでの時間を遅延させるディレイ機能などが導入され得る。
例えば、執務室内なら部外者の侵入も少ないので安全とみなし、安全性の判定の基準となる閾値を下げるなど、環境や表示内容を自動判断し、動的に閾値を変更してもよいし、上席者などのオペレーションで閾値を変更してもよい。また、執務室かの自動判定では、無線接続の識別ＩＤ（一般にＳＩＤという）で特定ＳＩＤの存在有無から執務室内と判断させてもよいし、有線接続あるいはその属性や特定サーバやインターフェースの存在で確認判断してもよい。
表示領域１４２の表示内容が機密情報である場合は、前述の閾値を上げて、安全性の判定を厳しく評価してもよい。ここでの表示内容の機密度合いの判定は、使用アプリケーション種類や、機密情報と感じるワードの登場度合いで自動評価させてもよい。以上の例外的な機能は、例えば、判定を下げるブーストボタンを導入して、利用者が欲するときや承認が得られた時に、ブーストボタン押下することで、閾値の動的緩和を実施してもよい。ブースト状態の解除は、時間で解除してもよいし、表示領域１４２の周辺の状態に大きな変動が検出されたタイミング（端末周辺状態で端末場所の移動や向きの変更、明暗などの大きな環境変化を検出したとき）で自動解除してもよい。
さらに制御装置１７０は、前述の表示領域１４２に表示される画面をロックするための処理、もしくは、安全性の程度が悪い時や、安全性の判定を明示的に緩和あるいは強化させている時のような例外的な状況下において、環境センサ１５０の取得した画像や情報の一部もしくは全部を保存してもよい。更にその保存情報の対象時間範囲は、例外的な状況の発生時間を包含する十分な時間であってもよいし、部分であってもよいし、離散していてもよい、少しでも関連する情報を対象してもよい。
（ガイド処理の詳細の一例）
本実施形態においては、周辺データ生成装置１５２及び／又はカメラ１５４の撮像方向と、表示領域１４２の法線方向とが略一致する。この場合、制御装置１７０は、例えば、下記の手順によりユーザ２２によるユーザ端末１２０の設置位置及び／又は設置方向の調整を支援することができる。
一実施形態において、制御装置１７０は、表示装置１４０を制御して、（ａ）周辺データ生成装置１５２及び／又はカメラ１５４が撮像した作業部屋３００の室内の現在の画像と、（ｂ）Ｓ４１６において決定された設置位置及び設置方向の組み合わせに従って表示領域１４２が設置された場合における（ｉ）作業部屋３００の室内の画像（ガイド画像と称される場合がある）又は（ｉｉ）作業部屋３００の室内の特徴点の位置を示すアイコン（ガイドアイコンと称される場合がある）と、が重畳された画像（調整用画像と称される場合がある。）を、表示領域１４２に表示させる。現在の画像と、ガイド画像又はガイドアイコンとは、公知の手法により重畳され得る。
制御装置１７０は、表示装置１４０を制御して、表示領域１４２の調整方向を示すアイコン（調整用アイコンと称される場合がある。）を表示領域１４２に表示させてもよい。制御装置１７０は、表示装置１４０を制御して、安全性が不十分である領域を強調するための画像、安全性が十分に確保されている領域を強調するための画像などを、表示領域１４２に表示させてもよい。
作業部屋３００の室内の現在の画像は、例えば、Ｓ４３４において撮像された現在の二次元画像又は三次元データに基づいて生成される。一方、ガイド画像又はガイドアイコンは、例えば、Ｓ４１６において撮像された過去の二次元画像又は三次元データに基づいて生成される。
Ｓ４１６においては、撮像位置及び／又は撮像方向の異なる複数の二次元画像又は三次元データが取得され得る。制御装置１７０は、これらの二次元画像又は三次元データに基づいて、Ｓ４１６において決定された設置位置及び設置方向の組み合わせに従って表示領域１４２が設置された場合に、周辺データ生成装置１５２及び／又はカメラ１５４が撮像するであろう二次元画像又は三次元データを生成する。制御装置１７０は、上記の二次元画像又は三次元データに基づいて、ガイド画像又はガイドアイコンを生成する。
例えば、制御装置１７０は、周辺データ生成装置１５２及び／又はカメラ１５４が撮像した単一の二次元画像又はその一部をガイド画像として用いることを決定する。制御装置１７０は、上記の単一の二次元画像に基づいて、ガイドアイコンの表示位置を決定してもよい。制御装置１７０は、単一又は複数の周辺データ生成装置１５２及び／又はカメラ１５４が撮像した複数の二次元画像を合成して結合画像を生成し、当該結合画像又はその一部をガイド画像として用いることを決定してもよい。制御装置１７０は、上記の結合画像に基づいて、ガイドアイコンの表示位置を決定してもよい。
他の例において、制御装置１７０は、上述された三次元仮想空間を用いて、ガイド画像又はガイドアイコンを生成してもよい。例えば、まず、制御装置１７０は、Ｓ４１６において撮像された過去の二次元画像又は三次元データに基づいて、作業部屋３００を構成する構造物及び／又は作業部屋３００の内部に配された構造物の三次元モデルを生成する。制御装置１７０は、撮像位置及び／又は撮像方向の異なる複数の二次元画像又は三次元データに基づいて、上記の三次元モデルを生成してよい。
これにより、作業部屋３００の三次元仮想空間が生成される。例えば、複数の二次元画像に写り込んだ複数のＡＲマーカに基づいて、壁、柱、ドア、窓、家具などの三次元モデルが生成される。また、二次元画像を解析して得られたＡＲマーカの位置及び姿勢に基づいて、生成された三次元モデルが、作業部屋３００に対応する三次元空間中の適切な位置に配置される。
次に、制御装置１７０は、Ｓ４１６において決定された設置位置及び設置方向の組み合わせに従って表示領域１４２が設置された場合における、周辺データ生成装置１５２及び／又はカメラ１５４の位置及び方向（姿勢と称される場合がある。）を決定する。制御装置１７０は、作業部屋３００の三次元仮想空間において、周辺データ生成装置１５２及び／又はカメラ１５４が上記の位置に及び上記の姿勢で配置されたと仮定して、周辺データ生成装置１５２及び／又はカメラ１５４が作業部屋３００の内部を撮像した場合の画像を生成する。これにより、制御装置１７０は、ガイド画像又はガイドアイコンを生成することができる。
調整用画像又は調整用アイコンが表示領域１４２に表示されることにより、ユーザ２２は、表示領域１４２に出力される画面を見ながら、ユーザ端末１２０の設置位置及び設置方向を調整することができる。例えば、ユーザ２２は、作業部屋３００の室内の現在の画像と、ガイド画像とが略一致するように、表示領域１４２の設置位置及び／又は設置方向を調整する。例えば、ユーザ２２は、作業部屋３００の室内の現在の画像における特徴点の位置と、調整用画像におけるガイドアイコンの位置とが略一致するように、表示領域１４２の設置位置及び／又は設置方向を調整する。
本実施形態によれば、表示領域１４２の視野角が、周辺データ生成装置１５２及び／又はカメラ１５４の視野角よりも大きい場合であっても、ユーザ端末１２０の設置位置及び設置方向が調整され得る。なお、本実施形態に係る調整方法は、表示領域１４２の視野角が、周辺データ生成装置１５２及び／又はカメラ１５４の視野角より小さい場合にも適用され得る。
本実施形態に係るユーザ端末１２０のように、周辺データ生成装置１５２及び／又はカメラ１５４がユーザ端末１２０に搭載されている場合、周辺データ生成装置１５２及び／又はカメラ１５４の種類によっては、ユーザ端末１２０の設置位置及び設置方向を調整するために、ユーザ２２がユーザ端末１２０を動かしたときに、周辺データ生成装置１５２及び／又はカメラ１５４が撮像した画像に残像が強く写り込む場合がある。例えば、周辺データ生成装置１５２がレーザを用いたＬｉＤＡＲである場合には、ユーザ２２がユーザ端末１２０を比較的速く動かしても、残像の写り込み量は極めて少ない。一方、周辺データ生成装置１５２及び／又はカメラ１５４がＣＭＯＳなどのイメージセンサである場合、ユーザ２２がユーザ端末１２０を比較的速く動かすと、周辺データ生成装置１５２及び／又はカメラ１５４は鮮明な画像を取得することができない。また、周辺データ生成装置１５２及び／又はカメラ１５４が上述されたマーカを撮像する場合には、周辺データ生成装置１５２及び／又はカメラ１５４の動きの程度が大きくなると、マーカのカメラ座標を決定するための処理において、マーカの座標を精度よく算出することができない。
そこで、制御装置１７０は、ユーザ端末１２０の動かし方をガイドするための情報を出力してもよい。例えば、制御装置１７０は、ユーザ端末１２０の移動速度を示す指示、ユーザ端末１２０の移動速度が適切又は不適切であることを示す指示、ユーザ端末１２０を静止させるための指示などを出力する。上記の指示は、表示領域１４２に表示されてもよく、音声で出力されてもよい。
ガイド処理が実行されている間、制御装置１７０は、ユーザ端末１２０の安全性を繰り返し評価する。制御装置１７０は、例えば、ユーザ端末１２０の安全性の評価値が許容範囲内であるか否かを判定する。制御装置１７０は、表示領域１４２の設置位置及び設置方向がＳ４１６において決定された設置位置及び設置方向と略一致したか否かを判定してもよい。
ユーザ端末１２０の安全性の評価値が許容範囲内であると判定された場合、又は、表示領域１４２の設置位置及び設置方向がＳ４１６において決定された設置位置及び設置方向と略一致したと判定された場合、制御装置１７０は、ユーザ端末１２０が安全な位置に設置されたこと示すメッセージを出力する。例えば、制御装置１７０は、表示装置１４０を制御して、上記のメッセージを表示領域１４２に表示させる。制御装置１７０は、音声により上記のメッセージを出力してもよい。これにより、ユーザ２２は、ユーザ端末１２０の設置位置及び設置方向を容易に調整することができる。
（誘導処理の別実施形態の一例）
本実施形態において、制御装置１７０は、常時、定期的又は任意のタイミングで、ユーザ端末１２０の安全性を繰り返し評価する。そのため、ユーザ端末１２０の動かし方に関するガイド情報が出力されない場合であっても、ユーザ２２は、安全性の担保された位置及び方向にユーザ端末１２０を設置することができる。より具体的には、ユーザ２２は、ユーザ端末１２０の設置位置及び／又は設置方向を任意に変更する。制御装置１７０は、ユーザ端末１２０の設置位置及び／又は設置方向が変更されるたびに、当該設置位置及び当該設置方向におけるユーザ端末１２０の安全性を評価し、当該評価の結果をユーザ２２に提示する。これにより、ユーザ２２は、安全性の担保された位置及び方向にユーザ端末１２０を設置することができる。
Ｓ４３４においてガイド処理が終了すると、制御装置１７０は、Ｓ４１６以降の処理を繰り返す。これにより、制御装置１７０は、引き続き、ユーザ端末１２０の安全性を監視することができる。
一方、Ｓ４３０において、例えば、上記の経過時間が第２閾値よりも小さい場合（Ｓ４３０のＮｏの場合）、Ｓ４４０において、制御装置１７０は、例えば、ユーザ２２に対して、より適切な使用環境を提案すること希望するか否かを問い合わせる。例えば、ユーザ２２が、上記の提案を希望することを示す情報をユーザ端末１２０に入力した場合（Ｓ４４０のＹｅｓの場合）、制御装置１７０は、上記の入力を受け付け、Ｓ４３４に関連して説明されたガイド処理を実行する。
一方、Ｓ４４０において、例えば、ユーザ２２が、上記の提案を希望することを示す情報をユーザ端末１２０に入力しなかった場合、又は、上記の提案を希望しないことを示す情報をユーザ端末１２０に入力した場合（Ｓ４４０のＮｏの場合）、Ｓ４４０において、制御装置１７０は、例えば、ユーザ端末１２０又はＳ４１２において起動させたプログラムを終了させるか否かを判定する。具体的には、制御装置１７０は、ユーザ端末１２０又は上記のプログラムを終了させるための指示（終了指示と称される場合がある。）が受け付けられたか否かを判定する。
終了指示が受け付けられた場合（Ｓ４５０のＹｅｓの場合）、制御装置１７０はユーザ端末１２０又はプログラムを終了させる。これにより、処理が終了する。一方、終了指示が受け付けられていない場合（Ｓ４５０のＮｏの場合）、制御装置１７０は、Ｓ４１６以降の処理を繰り返す。これにより、制御装置１７０は、引き続き、ユーザ端末１２０の安全性を監視することができる。
（使用環境の安全性を評価するための処理の一例）
上述されたとおり、図５は、ステップ４１６における処理の一例を概略的に示す。図５に示されるとおり、本実施形態においては、制御装置１７０が、第１指標、第２指標、第３指標及び第４指標を含む複数の指標のそれぞれの値を総合的に判断して、ユーザ端末１２０の安全性を評価する場合を例として、ユーザ端末１２０の安全性を評価するための処理（評価処理と称される場合がある。）の詳細が説明される。なお、制御装置１７０が、複数の指標のそれぞれの値を総合的に判断してユーザ端末１２０の安全性を評価する場合であっても、ユーザ端末１２０の安全性が、結果的に、単一の指標の値に基づいて評価されることもあり得る。
上述されたとおり、Ｓ４１６に関連して説明される評価処理は、ユーザ端末１２０又はプログラムが起動している間、定期的に繰り返される。最初の評価処理が実行される場合、第１指標、第２指標、第３指標及び第４指標のそれぞれの種類は、例えば、Ｓ４１４において決定された指標設定に基づいて決定される。最初の評価処理においては、第１指標、第２指標、第３指標及び第４指標の少なくとも１つが導出されなくてもよい。
本実施形態によれば、まず、Ｓ５１２において、制御装置１７０は、複数の指標に含まれる第１指標の値を導出する。制御装置１７０は、例えば、Ｓ４１４において決定された指標設定に基づいて、第１指標の値を導出する。第１指標は、ユーザ端末１２０の設置位置の周辺において物体の動き又は光の揺らぎが検出される程度を示す指標であってよい。
Ｓ５１４において、制御装置１７０は、複数の指標に含まれる第２指標の値を導出する。制御装置１７０は、例えば、Ｓ４１４において決定された指標設定に基づいて、第２指標の値を導出する。第２指標は、ユーザ端末１２０の設置位置の周辺に存在する遮蔽物の配置状況を示す指標であってよい。第２指標は、上記の遮蔽物により表示領域１４２への第三者の視線が遮られる程度を示す指標であってよい。
Ｓ５１６において、制御装置１７０は、複数の指標に含まれる第３指標の値を導出する。制御装置１７０は、例えば、Ｓ４１４において決定された指標設定に基づいて、第３指標の値を導出する。第３指標は、ユーザ端末１２０の設置位置の周辺環境の状況を示す指標であってよい。
第３指標は、ユーザ端末１２０の設置位置の周辺における照度又は当該照度の分布若しくは変動を示す指標であってよい。第３指標は、ユーザ端末１２０の設置位置が属する地域における屋外の明るさを示す指標であってよい。第３指標は、ユーザ端末１２０の設置位置の周辺における温度分布の度合いを示す指標であってよい。第３指標は、ユーザ端末１２０の設置位置の周辺における視程の度合いを示す指標であってよい。第３指標は、ユーザ端末１２０の設置位置の周辺における浮遊物質、飛散物質若しくは臭気物質の濃度又は当該濃度の分布若しくは変動を示す指標であってよい。
Ｓ５１８において、制御装置１７０は、複数の指標に含まれる第４指標の値を導出する。制御装置１７０は、例えば、ユーザ端末１２０の設置位置の周辺において観測された物体又は事象に基づいて、第４指標の値を導出する。第４指標は、物体又は事象の種類に応じた情報漏洩のリスクを示す指標であってよい。例えば、制御装置１７０は、１以上の物体又は事象のそれぞれについて、物体又は事象の種類及び／又は属性と、当該物体又は事象が観測された位置から第三者が出力画像を閲覧する可能性の程度を示す値とが対応付けられたデータベースを参照して、実際に観測された物体又は事象の種類及び／又は属性に基づいて、上記の第４指標の値を決定する。
一実施形態において、Ｓ５１２、Ｓ５１４、Ｓ５１６及びＳ５１８に含まれる少なくとも２つのステップが、並列に実行される。他の実施形態において、Ｓ５１２、Ｓ５１４、Ｓ５１６及びＳ５１８に含まれる少なくとも２つのステップが、順番に実行される。
次に、Ｓ５２０において、制御装置１７０は、１以上の指標の値に基づいてユーザ端末１２０の安全性の程度を示す評価値を導出するための手順を決定する。本実施形態において、制御装置１７０は、Ｓ５１２、Ｓ５１４Ｓ、５１６及びＳ５１８の実行期間中に環境センサ１５０が取得した各種のデータに基づいて、上述された評価設定を決定する。
例えば、制御装置１７０は、（ｉ）環境センサ１５０が取得した情報、及び／又は、（ｉｉ）現在時刻若しくは現在時刻が属する時間帯に基づいて、複数の指標のうち、評価値の導出に用いられる１以上の指標の種類を決定する。制御装置１７０は、（ｉ）環境センサ１５０が取得した情報と、（ｉｉ）現在時刻若しくは現在時刻が属する時間帯と、（ｉｉｉ）ユーザ端末１２０の設置位置の緯度及び／又は経度とに基づいて、複数の指標のうち、評価値の導出に用いられる１以上の指標の種類を決定してよい。
例えば、制御装置１７０は、（ｉ）環境センサ１５０が取得した情報、及び／又は、（ｉｉ）現在時刻若しくは現在時刻が属する時間帯に基づいて、評価値の導出に用いられる１以上の指標のそれぞれに設定される重みの値を決定する。制御装置１７０は、（ｉ）環境センサ１５０が取得した情報と、（ｉｉ）現在時刻若しくは現在時刻が属する時間帯と、（ｉｉｉ）ユーザ端末１２０の設置位置の緯度及び／又は経度とに基づいて、複数の指標のうち、評価値の導出に用いられる１以上の指標のそれぞれに設定される重みの値を決定してよい。
次に、Ｓ５３０において、制御装置１７０は、１以上の指標の値に基づいてユーザ端末１２０の安全性の程度を示す評価値を導出する。制御装置１７０は、Ｓ５２０において決定された評価設定に基づいて、上記の評価値を導出する。例えば、制御装置１７０は、Ｓ５１２、Ｓ５１４及びＳ５１６において導出された複数の指標のそれぞれの値と、当該複数の指標のそれぞれに設定される重みの値とに基づいて、上記の評価値を導出する。これにより、制御装置１７０は、ユーザ端末１２０の安全性又は上述された閲覧可能性の程度を評価することができる。
ユーザ端末１２０の安全性を評価するための処理は、閲覧可能性を導出するための処理の一例であってよい。
（別実施形態の一例）
本実施形態においては、制御装置１７０が、複数の指標に基づいて、ユーザ端末１２０の安全性を評価する場合を例として、情報漏洩抑制システム１００の詳細が説明された。しかしながら、情報漏洩抑制システム１００は、本実施形態に限定されない。
他の実施形態において、制御装置１７０は、第１指標、第２指標、第３指標及び第４指標の少なくとも１つに基づいて、ユーザ端末１２０の安全性を評価してもよい。例えば、制御装置１７０は、１以上の指標のそれぞれの値を総合的に判断して、ユーザ端末１２０の安全性を評価する。さらに他の実施形態において、制御装置１７０は、予め定められた単一の指標の値に基づいてユーザ端末１２０の安全性を評価してもよい。
本実施形態においては、Ｓ４３２において使用制限処理が実行された後、Ｓ４３４において誘導処理が実行される場合を例として、情報漏洩抑制システム１００の詳細が説明された。しかしながら、情報漏洩抑制システム１００は、本実施形態に限定されない。
他の実施形態において、Ｓ４３４の手順が省略されてよい。例えば、制御装置１７０は、ユーザの指示又は設定に従って、Ｓ４３４の手順を省略してよい。
図６は、制御装置１７０の内部構成の一例を概略的に示す。本実施形態において、制御装置１７０は、例えば、周辺状態取得部６１０と、起動検知部６２２と、計時部６２４と、仮想空間構築部６３０と、安全管理部６４０と、配置決定部６５２と、配置支援部６５４と、出力制御部６６０と、格納部６７０とを備える。本実施形態において、周辺状態取得部６１０は、例えば、構造情報取得部６１２と、物性情報取得部６１４と、環境情報取得部６１６、属性情報取得部６１８とを有する。制御装置１７０を構成する各要素は、互いに情報を送受可能に構成される。
本実施形態において、周辺状態取得部６１０は、表示領域１４２の周辺の状態を示す情報（周辺状態情報と称される場合がある。）を取得する。周辺状態取得部６１０は、例えば、環境センサ１５０が生成した周辺状態情報を取得する。周辺状態取得部６１０は、周辺状態情報を安全管理部６４０に出力してよい。本実施形態において、表示領域１４２の周辺には、表示領域１４２の設置位置と、当該設置位置の近傍とが含まれ得る。
本実施形態において、構造情報取得部６１２は、表示領域１４２の周辺に配された１以上の物体の形状、大きさ及び／又は配置を示す情報（周辺データと称される場合がある。）を取得する。構造情報取得部６１２は、周辺データを、例えば安全管理部６４０に出力する。周辺データは、周辺状態情報の一例であってよい。
構造情報取得部６１２は、例えば、表示領域１４２の周辺に配された１以上の物体を被写体とする画像の画像データを取得する。構造情報取得部６１２は、例えば、周辺データ生成装置１５２から上記の画像データを取得する。上記の画像は、静止画像であってもよく、動画像であってもよい。上記の画像は、ステレオ画像であってよい。画像データは、周辺データの一例であってよい。
構造情報取得部６１２は、例えば、表示領域１４２の周辺に配された１以上の物体の三次元点群データ又は距離データを取得する。構造情報取得部６１２は、例えば、周辺データ生成装置１５２から上記の三次元点群データ又は距離データを取得する。距離データには、基準位置からの相対距離を示す情報、距離的な順位指標を示す情報が含まれてもよい。基準位置は、予め定められた特定の位置であってもよく、特定の物体であってもよい。三次元点群データ及び／又は距離データは、周辺データの一例であってよい。
距離的な順位指標としては、ＭｉＤａＳｎｅｔなどの単眼カメラ深度推定技術を用いて導出される指標が例示される。上記の指標は、多くの場合、絶対距離に比例したものではなく、順位の参考指標として用いられ得る。例えば、学習した人物情報は、その類似性からそのスケール学習スケールを参考に、推定対象の絶対スケールを類推することができ、これより対象物との距離を類推算出できる。
本実施形態において、物性情報取得部６１４は、表示領域１４２の周辺に配された１以上の物体の物性を示す情報（物性情報と称される場合がある。）を取得する。物性情報取得部６１４は、物性情報を、例えば安全管理部６４０に出力する。物性情報は、周辺状態情報の一例であってよい。
物性情報は、例えば、上記の物体の表面の光学的な性質を示す情報を含む。物性情報は、例えば、上記の物体の表面から表示領域１４２に向かって進行する電磁波の特徴を示す情報を含む。電磁波の特徴は、光学的な性質に関する特徴であってよい。上記の電磁波は、上記の物体の表面で反射した電磁波であってもよく、上記の物体を透過した電磁波であってもよく、上記の物体が放射した電磁波であってもよい。光学的な性質としては、波長、振幅、強さ又は明るさなどが例示される。光の強さ又は明るさとしては、放射照度、光量子密度、照度などが例示される。
物性情報取得部６１４は、例えば、表示領域１４２の周辺に配された１以上の物体を被写体とする画像の画像データを取得する。物性情報取得部６１４は、例えば、カメラ１５４が出力した画像データを取得する。上記の画像データは、静止画像のデータであってもよく、動画像のデータであってもよい。後述されるとおり、本実施形態においては、光の強度の変動に基づいて上述された第１指標が導出される。そのため、上記の画像データは、動画像のデータであることが好ましい。
これにより、物性情報取得部６１４は、表示領域１４２の周辺に配された１以上の物体の色情報を取得することができる。色情報は、物性情報の一例であってよい。透明又は半透明な物体の物性情報は、当該物体を透過した電磁波の特徴を示す情報を含んでよい。例えば、窓ガラスの色情報は、窓ガラスを通して見える物体の色情報を含み得る。
物性情報取得部６１４は、現実空間における特定の位置の周辺が撮像された動画であって、撮像方向の異なる複数の動画データを取得してもよい。複数の動画データは、複数回に分割して撮像された複数の動画のデータであってもよく、単一の動画の複数の位置から切り出された複数の動画のデータであってもよい。
例えば、ユーザ２２が、特定の位置にユーザ端末１２０を設置することを希望する場合、ユーザ２２は、当該設置を希望する位置を中心としてユーザ端末１２０を回転させながら、ユーザ端末１２０のカメラ１５４により当該位置の周辺の様子を撮像する。これにより、撮像方向の異なる複数の動画データが取得され得る。
ユーザ２２は、ユーザ２２自身が画像に写り込まないように、上記の位置の周辺の様子を撮像してよい。例えば、ユーザ２２は、カメラ１５４の背後に位置しながら、ユーザ端末１２０の周辺の様子を撮像する。これにより、カメラ１５４が撮像した画像からユーザ２２の画像を排除するための処理が省略される。
本実施形態において、環境情報取得部６１６は、例えば、表示領域１４２の周辺環境の状況を示す情報（環境情報と称される場合がある。）を取得する。環境情報取得部６１６は、例えば、環境センサ１５０が生成した環境情報を取得する。環境情報取得部６１６は、環境情報を安全管理部６４０に出力してよい。環境情報は、周辺状態情報の一例であってよい。
例えば、環境情報取得部６１６は、表示領域１４２の周辺の照度を示す情報（照度情報と称される場合がある。）を取得する。例えば、環境情報取得部６１６は、照度センサ１５６から照度センサ１５６による照度の測定結果を示す情報を取得する。
例えば、環境情報取得部６１６は、表示領域１４２の周辺の温度を示す情報（温度情報と称される場合がある。）を取得する。例えば、カメラ１５４が赤外線画像を生成可能に構成されている場合、環境情報取得部６１６は、カメラ１５４が生成した熱画像の画像データを取得する。
例えば、環境情報取得部６１６は、通信ネットワークを介して、他の情報提供システムが提供する各種の情報を取得してよい。環境情報取得部６１６は、例えば、他の情報提供システムから、気象情報、時刻情報等を取得する。
本実施形態において、属性情報取得部６１８は、例えば、表示領域１４２の周辺において検出された物体又は事象の種類又は属性を示す情報（属性情報と称される場合がある。）を取得する。環境情報取得部６１６は、属性情報を安全管理部６４０に出力してよい。属性情報は、周辺状態情報の一例であってよい。
より具体的には、環境情報取得部６１６は、例えば、環境センサ１５０が出力した画像データ及び／又は音声データを取得する。属性情報取得部６１８は、上記の画像データ及び／又は音声データを解析して、物体又は事象を検出する。属性情報取得部６１８は、例えば、適切なデータベースを参照して、検出された物体又は事象の種類又は属性を決定する。これにより、属性情報取得部６１８は、属性情報を取得することができる。
例えば、属性情報取得部６１８は、表示領域１４２の周辺が撮像された画像データを解析して、表示領域１４２の周辺に配される１以上の物体を検出する。属性情報取得部６１８は、各種の物体の特徴及び／又は属性を格納したデータベースを参照して、検出された物体を判別したり、当該物体の属性を決定したりしてよい。画像中から物体を検出し、当該検出された物体を判別する手法は、特に限定されるものではなく、公知の任意の手法が適用され得る。
例えば、属性情報取得部６１８は、表示領域１４２の周辺の音声が収録された音声データを解析して、表示領域１４２の周辺で生じた事象を検出する。属性情報取得部６１８は、各種の事象の特徴及び／又は属性を格納したデータベースを参照して、検出された事象を判別したり、当該事象の属性を決定したりしてよい。
例えば、犬の鳴き声又は唸り声が検出された場合、近くに人が存在しているという事象が判別される。また、人の話し声又は足音が検出された場合、近くに人が存在しているという事象が判別され得る。近づいてくる人の足音が検出された場合、近くに存在する人の数が増加したという事象が判別され得る。遠ざかっていく人の足音が検出された場合、近くに存在する人の数が減少したという事象が判別され得る。
本実施形態において、起動検知部６２２は、ユーザ端末１２０の起動、又は、ユーザ端末１２０の上で動作するＢＩＯＳ、ＯＳ若しくはアプリケーションプログラムの起動を検知する。ユーザ端末１２０の起動、又は、ユーザ端末１２０の上で動作するＢＩＯＳ、ＯＳ若しくはアプリケーションプログラムの起動が検知された場合、起動検知部６２２は、上記の起動が検知されたことを示す情報を計時部６２４及び／又は安全管理部６４０に出力してよい。
本実施形態において、計時部６２４は、起動検知部６２２が上記の起動を検知してからの経過時間を計測する。計時部６２４は、計測結果を示す情報を安全管理部６４０に出力してよい。
本実施形態において、仮想空間構築部６３０は、ユーザ端末１２０の周辺に対応する三次元仮想空間を構築する。仮想空間構築部６３０は、例えば、構造情報取得部６１２が取得した情報に基づいて、上記の三次元仮想空間を構築する。仮想空間構築部６３０の詳細は後述される。
本実施形態において、安全管理部６４０は、周辺状態取得部６１０が取得した周辺状態情報により示される表示領域１４２の周辺の状態に基づいて、ユーザ２２とは異なる第三者による出力画像の閲覧可能性の程度を導出する。安全管理部６４０は、上記の表示領域１４２の周辺の状態に基づいて、表示領域１４２の安全性を評価してもよい。
安全管理部６４０は、例えば、表示領域１４２に表示される情報が漏洩するリスクが小さいほど（つまり、閲覧可能性の程度が小さいほど）、表示領域１４２の安全性が高いと判定する。表示領域１４２の安全性としては、特定の位置及び方向に設置された表示領域１４２の安全性、表示領域１４２の設置位置の安全性、表示領域１４２の設置位置及び設置方向の安全性などが例示される。表示領域１４２が筐体１３０に収容される場合、表示領域１４２の安全性は、ユーザ端末１２０の安全性を意味してよい。
安全管理部６４０は、例えば、構造情報取得部６１２が収集した各種の情報を総合的に評価して、表示領域１４２が特定の位置及び方向に設置されている場合における閲覧可能性の程度を導出する。より具体的には、安全管理部６４０は、例えば、上記の閲覧可能性の程度を示す１以上の種類の指標の値を算出する。安全管理部６４０は、上記の１以上の指標の値を総合的に評価するための学習モデル又は関数を用いて、閲覧可能性の程度又は安全性の程度を示す評価値を導出する。安全管理部６４０は、表示領域１４２の配置が異なる複数のパターンのそれぞれについて、評価値を導出してもよい。安全管理部６４０の詳細は後述される。
一実施形態において、安全管理部６４０は、表示領域１４２の配置の決定処理が実行されるときに、表示領域１４２の安全性を評価する。表示領域１４２の配置の決定処理は、例えば、ユーザ２２がユーザ端末１２０の使用を開始するタイミング、ユーザ２２が特定のアプリケーションプログラムの使用を開始するタイミング、及び、ロック又はスリープが解除されるタイミングの少なくとも１つのタイミングで、実行される。他の実施形態において、安全管理部６４０は、ユーザ２２がユーザ端末１２０を使用している期間中、定期的に、又は、任意のタイミングで、表示領域１４２の安全性を評価する。
本実施形態において、配置決定部６５２は、表示領域１４２の配置を決定する。配置決定部６５２は、安全管理部６４０の評価結果に基づいて、表示領域１４２の配置を決定してよい。安全管理部６４０の評価結果としては、閲覧可能性の程度が例示される。上述されたとおり、ユーザ端末１２０の安全性の程度は、閲覧可能性の程度の一例である。
表示領域１４２の配置としては、表示領域１４２の位置（設置位置と称される場合がある。）、及び／又は、表示領域１４２の法線ベクトル２４２の方向（設置方向と称される場合がある。）が例示される。法線ベクトル２４２の方向としては、水平方向におけるベクトルの向き、及び、鉛直方向におけるベクトルの向きの少なくとも一方が例示される。なお、表示領域１４２が筐体１３０に収容される場合、表示領域１４２の配置と、ユーザ端末１２０の配置とが略一致する。
一実施形態において、配置決定部６５２は、安全管理部６４０から、表示領域１４２の配置を示す情報と、当該配置における閲覧可能性の程度を示す情報とを取得する。表示領域１４２の配置を示す情報としては、表示領域１４２の設置位置を示す情報、表示領域１４２の設置位置及び設置方向を示す情報などが例示される。
上記の閲覧可能性の程度が予め定められた基準を満足する場合、配置決定部６５２は、上記の配置を表示領域１４２の配置として決定する。予め定められた基準としては、閲覧可能性の程度が予め定められた程度よりも小さくなることが例示される。
表示領域１４２が予め定められた特徴を有するエリアの範囲内に位置する場合と、当該エリアの範囲外に位置する場合とで、上記の予め定められた程度が異なってよい。上記エリアは、表示領域１４２の設置位置を規定するものであってもよく、表示領域１４２の設置位置及び設置方向を規定するものであってもよい。
情報漏洩抑制システム１００の一実施形態によれば、閲覧可能性の程度が比較的大きいエリアであっても、ユーザ２２に対してユーザ端末１２０の使用を許可する権限を有する人物（承認者と称される場合がある。）により、当該エリアにおけるユーザ端末１２０の使用が予め承認されている場合、ユーザ２２は、ユーザ端末１２０を使用することができる。この場合、表示領域１４２が当該エリアの範囲内に位置することが確認された場合に適用される閲覧可能性の程度に関する基準と、表示領域１４２が当該エリアの範囲内に位置することが確認されていない場合に適用される閲覧可能性の程度に関する基準とが異なる。なお、上記の承認には、当該承認が有効となる開始時期が定められていてもよく、当該承認の有効期限が定められていてもよい。
表示領域１４２が当該エリアの範囲内に位置することが確認された場合に適用される閲覧可能性の程度は、表示領域１４２が当該エリアの範囲内に位置することが確認されていない場合に適用される閲覧可能性の程度よりも大きくてよい。表示領域１４２が当該エリアの範囲内に位置することが確認された場合には、閲覧可能性の程度に関する判定が省略されてもよい。
この場合、予め定められた特徴としては、承認者がユーザ端末１２０の使用を承認したエリアに配されたユーザ端末１２０の周辺データ生成装置１５２が取得した周辺データの特徴が例示される。より具体的には、周辺データ生成装置１５２が撮像した二次元画像に含まれる１以上の特徴点、周辺データ生成装置１５２が取得した点群データに含まれる１以上の特徴点が例示される。予め定められた特徴は、承認者がユーザ端末１２０の使用を承認したときに、周辺データ生成装置１５２が撮像した二次元画像又は三次元データであってもよい。なお、上記の承認には、当該承認が有効となる開始時期が定められていてもよく、当該承認の有効期限が定められていてもよい。
本実施形態によれば、ユーザ端末１２０には、承認者がユーザ端末１２０の使用を承認したときの空間構造を示す情報が記録されている。ユーザ端末１２０は、承認者がユーザ端末１２０の使用を承認したときの空間構造を示す情報と、閲覧可能性の程度を示す情報とを格納するデータベースを備えてよい。
これにより、例えば、ユーザ端末１２０の制御装置１７０は、ユーザ端末１２０の現在の位置及び方向において周辺データ生成装置１５２が取得したデータと、記録された空間構造のデータとを比較することができる。両者が一致する場合、制御装置１７０は、例えば、上記のデータベースを参照して、記録された空間構造に対応付けて格納されている閲覧可能性の程度を示す情報を抽出する。制御装置１７０は、抽出された閲覧可能性の程度を示す情報に基づいて、ユーザ端末１２０の安全性を評価してよい。なお、両者が一致する場合、制御装置１７０は、閲覧可能性の程度が予め定められた程度よりも小さく、ユーザ端末１２０の設置位置及び／又は方向が安全であると判定してもよい。
本実施形態によれば、ユーザ端末１２０又は表示領域１４２が過去に承認者がユーザ端末１２０の使用を承認した空間と同様の態様で設置されている場合、ユーザ２２は、ユーザ端末１２０を使用することができる。例えば、新幹線の特定の特徴を有する座席において、承認者がユーザ端末１２０の使用を承認した場合、ユーザ２２は、新幹線を利用するたびに承認を申請することなく、ユーザ端末１２０を使用することができる。
上記の承認は、ユーザ２２ごとに設定されていてもよく、空間又は空間の特徴ごとに設定されていてもよい。上記の承認が空間又は空間の特徴ごとに設定されている場合、例えば、ユーザＡが新幹線の特定の特徴を有する座席において承認作業を実施し、当該座席について承認がえられた場合、他のユーザＢが、他の新幹線の同様の特徴を有する座席を利用するとき、ユーザＢは、承認を申請することなく、ユーザ端末１２０を使用することができる。
情報漏洩抑制システム１００の一実施形態によれば、閲覧可能性の程度が比較的大きいエリアであっても、例えば、ユーザ２２が、守秘義務を有する者しか入室することのできない室内においてユーザ端末１２０を使用する場合、ユーザ２２は、ユーザ端末１２０を使用することができる。この場合、表示領域１４２が当該エリアの範囲内に位置することが確認された場合に適用される閲覧可能性の程度に関する基準と、表示領域１４２が当該エリアの範囲内に位置することが確認されていない場合に適用される閲覧可能性の程度に関する基準とが異なる。
表示領域１４２が当該エリアの範囲内に位置することが確認された場合に適用される閲覧可能性の程度は、表示領域１４２が当該エリアの範囲内に位置することが確認されていない場合に適用される閲覧可能性の程度よりも大きくてよい。表示領域１４２が当該エリアの範囲内に位置することが確認された場合には、閲覧可能性の程度に関する判定が省略されてもよい。なお、表示領域１４２が当該エリアの範囲内に位置することが確認された場合には、閲覧可能性の程度に関する判定するための機能又はシステムが起動しなくてもよい。
この場合、予め定められた特徴としては、当該エリアで受信可能な無線信号、音波、当該エリアの有線ＬＡＮ接続による特定ＯＢＪへの存在又は接続チェックなどが例示される。同様に、ユーザ端末１２０が、在籍管理システムなどから、ユーザ２２が当該エリアの範囲内に位置することを示す情報を取得した場合、閲覧可能性の程度に関する判定が省略されてもよい。また、ユーザ端末１２０が、（ｉ）承認者又は本人が、表示領域１４２が当該エリアの範囲内に位置することを承認したことを示す情報、又は、（ｉｉ）承認者又は本人が、ユーザ端末１２０の使用を承認したことを示す情報を取得した場合、閲覧可能性の程度に関する判定が省略されてもよい。
一方、上記の閲覧可能性の程度が予め定められた基準を満足しない場合、配置決定部６５２は、ユーザ２２に対して、表示領域１４２の設置位置及び設置方向の少なくとも一方の変更を促すためのメッセージを出力することを決定する。配置決定部６５２は、例えば、表示装置１４０を制御して、上記のメッセージを表示領域１４２に表示させる。なお、上記のメッセージは音声で出力されてもよい。
他の実施形態において、配置決定部６５２は、安全管理部６４０から、表示領域１４２の配置が異なる複数のケースのそれぞれについて、表示領域１４２の配置を示す情報と、当該配置における閲覧可能性の程度を示す情報とを取得する。表示領域１４２の配置を示す情報としては、表示領域１４２の設置位置を示す情報、表示領域１４２の設置位置及び設置方向を示す情報などが例示される。
配置決定部６５２は、複数のケースのそれぞれの閲覧可能性の程度と、予め定められた基準とを比較して、上記の閲覧可能性の程度が予め定められた基準を満足するケースを抽出する。配置決定部６５２は、抽出されたケースにより示される配置のうちの１つを表示領域１４２の配置として決定する。
例えば、配置決定部６５２は、閲覧可能性の程度が最も優れたケースにより示される配置を表示領域１４２の配置として決定する。例えば、配置決定部６５２は、閲覧可能性の程度が特に優れた複数のケースを抽出する。配置決定部６５２は、閲覧可能性の程度によって上記のケースを抽出してもよく、抽出されるケースの個数が予め定められた個数以下となるように上記のケースを抽出してもよい。配置決定部６５２は、抽出されたケースのそれぞれにおける配置を示す情報をユーザ２２に提示し、ユーザ２２により選択されたケースを表示領域１４２の配置として決定する。
本実施形態において、配置支援部６５４は、ユーザ２２による表示領域１４２又はユーザ端末１２０の設置を支援する。配置支援部６５４は、図４に関連して説明されたＳ４３４における誘導処理又はガイド処理を実行することで、ユーザ２２による表示領域１４２又はユーザ端末１２０の設置を支援してよい。
本実施形態において、出力制御部６６０は、表示装置１４０による画像の出力を制御する。出力制御部６６０は、図４に関連して説明されたＳ４３２における各種の使用制限処理を実行してよい。出力制御部６６０は、使用制限を解除するための処理（制限解除処理と称される場合がある。）を実行してもよい。
例えば、安全管理部６４０が導出した閲覧可能性の程度が予め定められた程度より小さい場合、出力制御部６６０は出力画像の出力を許可する。例えば、出力制御部６６０は、上述された閲覧可能性の程度又は安全性の程度を示す評価値が上述された許容範囲の範囲内である場合、閲覧可能性の程度が予め定められた程度より小さいと判定する。
例えば、安全管理部６４０が導出した閲覧可能性の程度が予め定められた程度を超えた場合、出力制御部６６０は上述された使用制限処理を実行することを決定する。例えば、上述された閲覧可能性の程度又は安全性の程度を示す評価値が上述された許容範囲の範囲外である場合、出力制御部６６０は、閲覧可能性の程度が予め定められた程度を超えていると判定する。出力制御部６６０は、閲覧可能性の程度が予め定められた程度を超える前に表示されていた出力画像の出力を停止してもよく、出力画像の明るさ若しくはコントラストを調整してもよく、上記の出力画像とは異なる画像を表示領域１４２に表示させてもよい。
出力制御部６６０は、出力画像の明るさ若しくはコントラストを調整することで、表示領域１４２に表示される画面をホワイトアウトさせたり、ブラックアウトさせたりすることができる。これにより、本来の出力画像の出力が妨害される。出力制御部６６０は、本来の出力画像とは異なる画像を表示領域１４２に表示させることで、本来の出力画像の一部又は全部の出力が妨害される。本来の出力画像の出力を妨害するために出力される画像は、半透明の画像であってもよく、不透明の画像であってもよい。
例えば、ユーザ端末１２０の使用が制限されている状態において、安全管理部６４０が導出した閲覧可能性の程度が予め定められた程度より小さくなった場合、出力制御部６６０は、本来の出力画像の出力を許可する。例えば、出力制御部６６０は、制限解除処理の実行を決定する。制限解除処理が実行されると、本来の出力画像の出力が再開される。出力制御部６６０は、上述された閲覧可能性の程度又は安全性の程度を示す評価値が上述された許容範囲の範囲内である場合に、閲覧可能性の程度が予め定められた程度よりも小さいと判定してよい。
上記の出力画像とは異なる画像としては、第三者に閲覧されてもよい画面を出力するための画像、警告を出力するための画像、本来の出力画像の閲覧を妨害するための画像などが例示される。これらの画像は、使用制限処理に関連して説明された各種の画像と同様の構成を有してよい。
閲覧可能性の程度が予め定められた程度を超えた瞬間に出力制御部６６０が使用制限処理の実行を開始したり、閲覧可能性の程度が予め定められた程度より小さくなった瞬間に出力制御部６６０が制限解除処理の実行を開始したりすると、ユーザ端末１２０の使用が制限された状態と、ユーザ端末１２０の使用が制限されていない状態とが頻繁に切り替わる可能性がある。ユーザ端末１２０の使用が制限された状態と、ユーザ端末１２０の使用が制限されていない状態とが頻繁に切り替わると、ユーザ体験が低下する。
そこで、出力制御部６６０は、ユーザ体験及びシステムの安定性を考慮して、ユーザ端末１２０の安全性の評価値の変動に対する、閲覧可能性の程度に関する上記の判定の感度又は応答性を調整してよい。上述されたとおり、感度又は応答性の調整手法としては、公知の任意の手法が採用され得る。これにより、例えば、ユーザ端末１２０の安全性の評価値の変動が、閲覧可能性の程度及び予め定められた程度の大小関係に関する判定結果に影響を及ぼすまでの時間が調整される。これにより、ユーザ端末１２０の安全性の評価値が突発的に変動する場合であっても、ユーザ端末１２０の使用が制限された状態と、ユーザ端末１２０の使用が制限されていない状態との切り替わりの頻度が低減され得る。
出力制御部６６０は、上記の時間の長さが予め定められた値よりも大きくなるように、上記の感度又は応答性を調整してよい。ユーザ端末１２０の安全性の評価値に基づいて、上記の判定の感度又は応答性を調整してもよい。
上記の実施形態においては、出力制御部６６０が、本来の出力画像の出力を停止したり、本来の出力画像の閲覧を妨害したりすることで、ユーザ端末１２０の使用が制限される場合を例として、出力制御部６６０による使用制限の詳細が説明された。しかしながら、出力制御部６６０による使用制限は、上記の実施形態に限定されない。
出力制御部６６０は、表示装置１４０による画像の出力を制御することで、ユーザ２２からの操作入力の受け付けを制限してもよい。操作入力の受け付けの制限は、使用制限の一例であってよい。
例えば、閲覧可能性の程度を導出するための処理、又は、表示領域１４２の設置位置及び／又は設置方向の安全性を評価するための処理が実行されると、出力制御部６６０は、表示装置１４０が出力するデスクトップ画面の最前面に、透明画面を表示させる。この段階では、ユーザ２２は、マウス操作、キーボード操作、タッチ操作などにより、各種の指示を入力することができる。一方、安全管理部６４０が導出した閲覧可能性の程度が予め定められた程度を超えた場合、上述された出力画像とは異なる、第三者に閲覧されてもよい画面、警告画面などを表示させる。
これらの画面の大部分は透明ではなく、例えば、ユーザ２２がこれらの画面上でマウスを操作しても、当該マウス操作では、これらの画面を透過して、これらの画面の下に配されたデスクトップ上のアイコンを操作することができない。これにより、ユーザ２２からの操作入力の受け付けが制限される。
なお、上記の第三者に閲覧されてもよい画面の一部の画素の状態が透明色に指定されていてもよい。これにより、当該画素が配された領域においてユーザ２２が入力した指示が受け付けられる。また、上記の第三者に閲覧されてもよい画面、及び、透明画面は、デスクトップ画面よりも小さな画面であってよい。これにより、デスクトップ画面上の一部の領域において、ユーザ２２の指示が受け付けられる。
本実施形態において、格納部６７０は、各種の情報を格納する。一実施形態において、格納部６７０は、ユーザ端末１２０において実行される情報処理に利用される各種の情報を格納する。他の実施形態において、格納部６７０は、ユーザ端末１２０において実行される情報処理により生成される各種の情報を格納する。ユーザ端末１２０は、定期的に、又は、予め定められたイベントが検出されたタイミングで、格納部６７０に格納された情報の少なくとも一部を、外部のサーバに送信してよい。
安全管理部６４０は、閲覧可能性導出部の一例であってよい。安全管理部６４０は、周辺データ取得部又は情報処理装置の一例であってもよい。
図７は、構造情報取得部６１２の内部構成の一例を概略的に示す。本実施形態において、構造情報取得部６１２は、三次元点群取得部７１２と、距離画像取得部７１４と、ステレオ画像取得部７１６と、二次元画像取得部７１８とを備える。
本実施形態において、三次元点群取得部７１２は、周辺データ生成装置１５２から、表示領域１４２の周辺に配された１以上の物体の三次元点群データを取得する。三次元点群データは、１以上の点のそれぞれの三次元座標値を示す情報を有する。三次元点群データは、１以上の点のそれぞれの三次元座標値を示す情報と、各点の色を示す情報とを含んでよい。
距離画像取得部７１４は、周辺データ生成装置１５２から、表示領域１４２の周辺に配された１以上の物体の距離画像（深度画像、深度マップなど称される場合がある。）のデータ（距離データ又は深度データと称される場合がある。）を取得する。距離画像は、奥行き又は対象物までの距離を表現した平面画像であり、当該平面画像の各画素の値は、当該画素に対応する物体との距離を示す。
ステレオ画像取得部７１６は、周辺データ生成装置１５２から、表示領域１４２の周辺に配された１以上の物体を被写体とするステレオ画像のデータを取得する。ステレオ画像取得部７１６は、ステレオ画像に基づいて、表示領域１４２の周辺に配された１以上の物体の距離画像を生成してよい。
二次元画像取得部７１８は、周辺データ生成装置１５２から、表示領域１４２の周辺に配された１以上の物体を被写体とする二次元画像のデータを取得する（画像のデータを取得することが、単に、画像を取得すると表記される場合がある。）。二次元画像取得部７１８は、１以上のマーカが付された１以上の物体を被写体とする二次元画像を取得してもよい。
三次元点群取得部７１２は、周辺データ取得部の一例であってよい。距離画像取得部７１４は、周辺データ取得部の一例であってよい。ステレオ画像取得部７１６は、周辺データ取得部の一例であってよい。二次元画像取得部７１８は、周辺データ取得部の一例であってよい。
図８は、安全管理部６４０の内部構成の一例を概略的に示す。本実施形態において、安全管理部６４０は、データ変換部８１０と、物体位置決定部８２０とを備える。本実施形態において、データ変換部８１０は、マーカ位置決定部８１２と、点群生成部８１４とを有する。本実施形態において、物体位置決定部８２０は、第１計算部８３０と、第２計算部８４０とを有する。本実施形態において、第１計算部８３０は、点群データ取得部８３２と、距離算出部８３４と、角度算出部８３６とを含む。第２計算部８４０は、端部検出部８４２と、遮蔽角算出部８４４とを含む。
本実施形態において、データ変換部８１０は、二次元データを三次元データに変換する。データ変換部８１０は、例えば、ステレオ画像取得部７１６が取得したステレオ画像に基づいて、表示領域１４２の周辺に配された１以上の物体の少なくとも一部の三次元データを生成する。データ変換部８１０は、例えば、二次元画像取得部７１８が取得した二次元画像に基づいて、表示領域１４２の周辺に配された１以上の物体の少なくとも一部の三次元データを生成する。
データ変換部８１０は、生成された三次元データを物体位置決定部８２０に出力する。これにより、物体位置決定部８２０は、表示領域１４２の周辺に配された１以上の物体の少なくとも一部の三次元モデルを含む仮想空間を構築することができる。また、物体位置決定部８２０は、上記の仮想空間上で、表示領域１４２と、上記の１以上の物体との相対的な位置関係を決定することができる。
本実施形態においては、データ変換部８１０が、二次元画像取得部７１８が取得した二次元画像に予め定められた種類のマーカが写り込んでいる場合に、当該二次元画像に基づいて、表示領域１４２の周辺に配された１以上の物体の少なくとも一部の三次元データを生成する場合を例として、データ変換部８１０の詳細が説明される。予め定められた種類のマーカとしては、上述されたＡＲマーカ、ＱＲコード（登録商標）、バーコードなどが例示される。また、説明を簡単にすることを目的として、本実施形態においては、表示領域１４２と、周辺データ生成装置１５２とが同一の筐体１３０に収容されており、表示領域１４２の法線ベクトル２４２の向きと、周辺データ生成装置１５２の光軸２５２の向きとが略同一である場合を例として、データ変換部８１０におけるデータ変換処理の一例が説明される。
本実施形態において、マーカ位置決定部８１２は、１以上のマーカが付された１以上の物体を被写体とする二次元画像を解析して、当該１以上のマーカの少なくとも一部と、表示領域１４２との位置関係を決定する。例えば、マーカ位置決定部８１２は、まず、二次元画像取得部７１８が取得した二次元画像を解析して、予め定められた種類のマーカを検出するための処理を実行する。１以上のマーカが検出されなかった場合、マーカ位置決定部８１２は処理を終了する。これにより、例えば、データ変換部８１０におけるデータ変換処理が終了する。
例えば、マーカ位置決定部８１２は、各マーカの４個の頂点から、カメラ座標系における三次元座標を算出する。例えば、カメラ座標系が移動した場合、過去の基準となる時点におけるカメラ座標系のＡＲマーカの分布座標と、現時点におけるカメラ座標系のＡＲマーカの分布座標とが異なる場合がある。そこで、マーカ位置決定部８１２は、カメラ座標系の移動の有無を判定してよい。例えば、マーカ位置決定部８１２は、過去の基準となる時点におけるカメラ座標系と、現時点におけるカメラ座標系との間で、同一インスタンスとなるマーカーのペア（ペアマーカーと称される場合がある。）を総当たりで見つけるための処理を実行する。また、マーカ位置決定部８１２は、ペアマーカーの位置に基づいて、カメラ座標系の移動の有無を判定する。
具体的には、マーカ位置決定部８１２は、まず、上記の判定を実施する複数の時点のそれぞれにおいて、２つの座標系の変換行列を総当たりで算出する。これにより、マーカ座標が変わる変換行列が導出される。次に、マーカ位置決定部８１２は、導出された変換行列を用いて、実際にカレントなマーカー位置を過去の基準点に変換し、表示されているマーカー画像と一致するか、差異が大きいかどうかをユークリッド距離などで評価する。マーカ位置決定部８１２は、上記の処理を繰り返し試行することで、最も差の少ないペア群、又は、差の絶対値が予め定められた値よりも小さなペア群を決定する。これにより、マーカ位置決定部８１２は、ペアマーカーを見つけることができる。
一方、上記の画像解析により１以上のマーカが検出された場合、マーカ位置決定部８１２は、例えば、検出された１以上のマーカのうち、表示領域１４２との距離を算出可能なマーカを抽出する。例えば、マーカの寸法が既知である場合、２以上の同種のマーカが略同一平面上に付されていることが既知である場合、当該マーカが写り込んだ二次元画像を解析することで、マーカと、表示領域１４２との距離が算出され得る。
次に、マーカ位置決定部８１２は、表示領域１４２との距離を算出可能なマーカのそれぞれ、又は、少なくとも一部について、当該マーカと、表示領域１４２との位置関係を決定する。マーカと、表示領域１４２との位置関係は、現実世界における当該マーカ及び表示領域１４２の相対的な位置関係であってよい。マーカ位置決定部８１２は、（ｉ）表示領域１４２と、各マーカの代表点との距離、及び、（ｉｉ）表示領域１４２の法線ベクトル２４２と、表示領域１４２の代表点から各マーカの代表点に向かう方向とのなす角度とを算出してもよい。
本実施形態において、点群生成部８１４は、マーカ位置決定部８１２が表示領域１４２との位置関係を決定したマーカの位置の周辺に点群を生成する。生成される点群に関する情報がマーカに埋め込まれている場合、点群生成部８１４は、マーカに埋め込まれた情報に従って点群を生成する。上述されたとおり、点群に関する情報としては、生成される点群のワールド座標系における寸法などが例示される。
生成される点群に関する情報がマーカに埋め込まれていない場合、点群生成部８１４は、例えば、マーカの周囲の予め定められた範囲に点群を生成してよい。生成される点群に関する情報がマーカに埋め込まれておらず、マーカの識別情報がマーカに埋め込まれている場合、点群生成部８１４は、マーカの識別情報と、当該マーカの周辺に生成される点群に関する情報とを対応付けて格納するデータベースを参照し、当該データベースに格納されている情報に従って点群を生成してよい。
本実施形態において、物体位置決定部８２０は、構造情報取得部６１２が取得した周辺データを解析して、１以上の物体のそれぞれと、表示領域１４２との位置関係を決定する。上記の位置関係は、現実世界における相対的な位置関係であってよい。上記の相対的な位置関係を決定する手順としては、第１計算部８３０における情報処理による手順と、第２計算部８４０における情報処理による手順とが例示される。
本実施形態において、第１計算部８３０は、表示領域１４２の周辺に配された１以上の物体の三次元データを利用して、表示領域１４２と、上記の１以上の物体との相対的な位置関係を決定する。第１計算部８３０は、表示領域１４２の周辺に配された１以上の物体の少なくとも一部の三次元モデルを含む仮想空間を構築してもよい。第１計算部８３０は、上記の仮想空間上で、表示領域１４２と、上記の１以上の物体との相対的な位置関係を決定してもよい。
本実施形態において、点群データ取得部８３２は、構造情報取得部６１２が取得した周辺データに基づいて、１以上の物体のそれぞれの三次元点群データを取得する。一実施形態において、点群データ取得部８３２は、三次元点群取得部７１２又は距離画像取得部７１４が取得した点群データを取得する。他の実施形態において、点群データ取得部８３２は、データ変換部８１０が生成した点群データを取得する。
本実施形態において、距離算出部８３４は、表示領域１４２の代表点と、点群データ取得部８３２が取得した三次元点群データにより示される１以上の物体のそれぞれの表面に仮想的に配された複数の点のそれぞれとの距離をする。表示領域１４２の代表点としては、図２に関連して説明された代表点２４０が例示される。なお、表示領域１４２の代表点は、表示領域１４２において出力画像が表示される側の面上の点であればよく、代表点２４０に限定されない。
本実施形態において、角度算出部８３６は、表示領域１４２の代表点における法線方向と、表示領域１４２の代表点から１以上の物体のそれぞれの表面に配された複数の点のそれぞれに向かう方向とのなす角度の絶対値を算出する。表示領域１４２の代表点における法線方向としては、代表点２４０における法線ベクトル２４２の向きが例示される。
本実施形態によれば、距離算出部８３４における情報処理より、１以上の物体のそれぞれと、表示領域１４２との相対的な距離が決定される。また、角度算出部８３６における情報処理により、１以上の物体のそれぞれと、表示領域１４２との相対的な方向が決定される。これにより、１以上の物体のそれぞれと、表示領域１４２との位置関係が決定される。
本実施形態において、第２計算部８４０は、周辺データの解析により表示領域１４２の周辺に検出された物体と、表示領域１４２との距離を考慮することなく、１以上の物体のそれぞれと、表示領域１４２との位置関係を決定する。なお、上記の物体を検出する処理において、当該物体と、表示領域１４２との距離を示す情報が利用されてもよい。
本実施形態においては、説明を簡単にすることを目的として、１以上の物体のそれぞれに、例えば、略水平方向における各物体の端部を示す１組のマーカが付されており、二次元画像取得部７１８が取得した二次元画像に当該マーカが写り込んでいる場合を例として、第２計算部８４０が当該二次元画像を解析して、表示領域１４２と、１以上の物体との相対的な位置関係を決定する手順の一例が説明される。なお、本明細書の記載に接した当業者であれば、上記の１以上の物体の略水平方向の両端の位置を決定することができれば、二次元画像にマーカが写り込んでいない場合であっても、表示領域１４２と、１以上の物体との相対的な位置関係が決定され得ることを理解することができる。
本実施形態において、端部検出部８４２は、二次元画像取得部７１８が取得した二次元画像を解析して、二次元画像に含まれる複数のマーカを検出する。端部検出部８４２は、検出された複数のマーカの組み合わせに基づいて、１以上の物体のそれぞれの略水平方向における一方の端部及び他方の端部を検出する。
本実施形態において、遮蔽角算出部８４４は、１以上の物体のそれぞれについて、表示領域１４２の代表点から各物体の一方の端部に向かう方向と、表示領域１４２の代表点から各物体の他方の端部に向かう方向とのなす角度である遮蔽角を算出する。遮蔽角算出部８４４は、１以上の物体のそれぞれの遮蔽角に基づいて、表示領域１４２の視野角のうち、１以上の物体により遮蔽される割合を算出する。第１の物体の遮蔽角と、第２の物体の遮蔽角が重複する場合、遮蔽角算出部８４４は、当該重複が計上されないようにして、１以上の物体により遮蔽される割合を算出する。
マーカ位置決定部８１２は、二次元画像取得部又はマーカ位置決定部の一例であってよい。
図９は、第１計算部８３０における情報処理の一例を概略的に示す。距離算出部８３４及び角度算出部８３６は、例えば、点群データ又は距離データを参照して、単一の物体を示す点群９１０に含まれるＰ１からＰｎまでのｎ個の点のそれぞれについて、代表点２５０から各点に向かうベクトルに関する情報を取得する。
図９において、ベクトル９２４は、代表点２５０から点Ｐ１に向かうベクトルを示す。ベクトル９２４の大きさはｄｐ１であり、ベクトル９２４と、光軸２５２とのなす角度はθＰ１である。同様に、ベクトル９２６は、代表点２５０から点Ｐｎに向かうベクトルを示す。ベクトル９２４の大きさはｄｐｎであり、ベクトル９２６と、光軸２５２とのなす角度はθＰｎである。
図１０は、第２計算部８４０における情報処理の一例を概略的に示す。本実施形態において、遮蔽物１０２０の一方の端部にはマーカ１０２２が付されており、遮蔽物１０２０の他方の端部にはマーカ１０２４が付されている。同様に、遮蔽物１０４０の一方の端部にはマーカ１０４２が付されており、遮蔽物１０４０の他方の端部にはマーカ１０４４が付されている。
遮蔽角算出部８４４は、マーカ１０２２及びマーカ１０２４を利用して、遮蔽物１０２０の遮蔽角θＡを算出することができる。遮蔽角算出部８４４は、マーカ１０４２及びマーカ１０４４を利用して、遮蔽物１０４０の遮蔽角θＢを算出することができる。
図１１は、安全管理部６４０の内部構成の一例を概略的に示す。本実施形態において、安全管理部６４０は、例えば、導出手順決定部１１３０と、指標値導出部１１４０と、評価部１１５０とを備える。本実施形態において、導出手順決定部１１３０は、例えば、指標設定部１１３２と、評価設定部１１３４とを有する。本実施形態において、指標値導出部１１４０は、例えば、第１指標導出部１１４２と、第２指標導出部１１４４と、第３指標導出部１１４６と、第４指標導出部１１４８とを有する。
本実施形態において、導出手順決定部１１３０は、安全管理部６４０が閲覧可能性の程度又は安全性の程度を導出するための手順である導出手順を決定する。導出手順としは、上述されたユーザ端末１２０の安全性の評価に関する設定が例示される。導出手順決定部１１３０は、起動検知部６２２が上記の起動を検知してからの経過時間が予め定められた条件を満足する場合と、当該経過時間が予め定められた条件を満足しない場合とで導出手順が異なるように、上記の導出手順を決定してよい。上述されたとおり、予め定められた条件としては、上記の経過時間の長さが予め定められた第１閾値よりも小さいという条件が例示される。
本実施形態において、指標設定部１１３２は、上述された指標設定の内容を決定する。指標設定部１１３２は、上述された第１設定における指標設定の内容を決定してもよく、上述された第２設定における指標設定の内容を決定してもよい。指標設定の内容としては、評価処理に用いられる指標の種類、指標の値を導出するための関数又は学習モデル、当該関数又は学習モデルの説明変数の種類、当該関数又は学習モデルのパラメータの値などが例示される。上記の関数としては、公知の任意の評価関数が用いられ得る。上記の関数は、重み付け線形和であってよい。
指標設定部１１３２は、例えば、（ｉ）周辺状態取得部６１０が取得した周辺状態情報により示される表示領域１４２の周辺の状態、及び／又は、（ｉｉ）現在時刻若しくは現在時刻が属する時間帯に基づいて、評価処理に用いられる１又は複数の指標の種類を決定する。指標設定部１１３２は、指標の種類に応じて、当該指標の値を導出するための関数又は学習モデルを決定してよい。指標設定部１１３２は、関数又は学習モデルの種類に応じて、当該関数又は学習モデルのパラメータの値を決定してよい。
一実施形態において、指標設定部１１３２は、カメラ１５４が出力した画像データを解析して、評価処理に用いられる指標の種類を決定する。指標設定部１１３２は、カメラ１５４が出力した画像データを解析して、評価処理において指標値又は評価値を補正するか否かを決定してよい。指標設定部１１３２は、解析結果に基づいて、上記の補正の態様を決定してもよく、補正の程度を決定してもよい。
例えば、指標設定部１１３２は、構造情報取得部６１２又は物性情報取得部６１４から、カメラ１５４が出力した画像データを取得する。例えば、カメラ１５４の撮像素子に太陽光が直接入射した場合、カメラ１５４は、少なくとも一部がホワイトアウトした画像を出力する。しかしながら、安全管理部６４０が、ホワイトアウトした画像のみに基づいて周囲の状況を正確に判断することは難しい。このような場合であっても、安全管理部６４０が、周辺データ生成装置１５２が取得した周辺データ、及び／又は、環境情報取得部６１６が取得した各種の環境情報に基づいて評価値を導出することで、評価値の導出精度が向上し得る。また、安全管理部６４０が、ホワイトアウトした領域における上述された評価値を補正することで、評価値の導出精度が向上し得る。
より具体的には、指標設定部１１３２は、カメラ１５４が出力した画像データにホワイトアウトした領域が含まれるか否かを判定する。カメラ１５４が出力した画像データにホワイトアウトした領域が含まれると判定された場合、指標設定部１１３２は、評価処理に用いられる１又は複数の指標のうち、カメラ１５４が出力した画像データを用いずに算出可能な指標を用いて、評価値を算出することを決定してよい。指標設定部１１３２は、ホワイトアウトした領域における閲覧性の程度が大きくなるように、指標値を補正してもよい。
指標設定部１１３２は、太陽光が撮像素子に入射したことによるホワイトアウトと、白色の物体の表面に強い光が照射されたことによるホワイトアウトとを区別してもよい。例えば、指標設定部１１３２は、カメラ１５４が上記の画像データを出力したときのＧＰＳ情報及び／又は日時から、カメラ１５４と、太陽との位置関係を算出する。指標設定部１１３２は、カメラ１５４及び太陽の位置関係から、画像データのホワイトアウトが、太陽光が撮像素子に入射したことによるホワイトアウトであるか否かを判定してよい。
他の実施形態において、指標設定部１１３２は、設置位置の周囲が暗所であるか否かに基づいて、評価処理に用いられる指標の種類を決定する。指標設定部１１３２は、設置位置の周囲が暗所であるか否かに基づいて、評価処理において指標値又は評価値を補正するか否かを決定してよい。指標設定部１１３２は、上記の補正の態様を決定してもよく、補正の程度を決定してもよい。
例えば、指標設定部１１３２は、照度センサ１５６が出力した照度デーに基づいて、設置位置の周囲が暗所であるか否かを判定する。指標設定部１１３２は、照度に代えて又は照度と共に、緯度経度、日時などの照度以外の環境情報を考慮して、設置位置の周囲が暗所であるか否かを判定してもよい。
これらの実施形態に関連して説明された補正の態様は、特に限定されない。例えば、複数の深度推定結果の平均値を用いることで、誤認識の程度が改善され得る。複数の深度推定結果としては、正面画像（例えば、カメラ１５４が出力した画像である。）を用いた深度推定の結果、及び、上下反転又は左右反転された画像を用いた深度推定の結果が例示される。理想系においては、正面画像を用いて推定された深度、左右反転された画像を用いて推定された深度、及び、上下反転された画像を用いて推定された深度は、同一の値となることが期待される。しかしながら、カメラ１５４が出力した画像に異常が生じている場合、正面画像を用いて推定された深度、左右反転された画像を用いて推定された深度、及び、上下反転された画像を用いて推定された深度が異なる。そこで、これらの値の統計値（例えば、平均値である。）を利用して深度を推定することで、推定精度が向上し、推定処理の安定性が向上する。
本実施形態において、評価設定部１１３４は、上述された評価設定の内容を決定する。評価設定部１１３４は、上述された第１設定における評価設定の内容を決定してもよく、上述された第２設定における評価設定の内容を決定してもよい。評価設定の内容としては、評価値を導出するための説明変数として用いられる指標の種類、評価値を導出するための関数又は学習モデル、当該関数又は学習モデルのパラメータの値などが例示される。上記の関数としては、公知の任意の評価関数が用いられ得る。評価関数は、１以上の指標の指標値を説明変数とし、評価値を目的変数とする関数であってよい。上記の関数は、重み付け線形和であってよい。
評価設定部１１３４は、例えば、指標設定部１１３２が設定した指標の種類に応じて、評価値を導出するための関数又は学習モデルを決定する。評価設定部１１３４は、例えば、（ａ）指標設定部１１３２が設定した指標の種類と、（ｂ）（ｉ）周辺状態取得部６１０が取得した周辺状態情報により示される表示領域１４２の周辺の状態、及び／又は、（ｉｉ）現在時刻若しくは現在時刻が属する時間帯とに基づいて、評価値を導出するための関数又は学習モデルを決定する。上記の関数は、重み付け線形和であってよい。評価設定部１１３４は、例えば、（ｉ）周辺状態取得部６１０が取得した周辺状態情報により示される表示領域１４２の周辺の状態、及び／又は、（ｉｉ）現在時刻若しくは現在時刻が属する時間帯に基づいて、評価処理に用いられる１又は複数の指標のそれぞれに設定される重みの値を決定する。
評価設定部１１３４は、環境情報取得部６１６が取得した環境情報に基づいて、評価処理に用いられる１又は複数の指標のそれぞれに設定される重みの値を決定してよい。これにより、制御装置１７０は、ユーザ端末１２０の周辺環境に応じて、上記の重みを適切に設定することができる。
例えば、評価設定部１１３４は、環境情報取得部６１６が取得した（ｉ）照度情報により示される照度、及び／又は、（ｉｉ）現在時刻若しくは現在時刻が属する時間帯に基づいて、評価処理に用いられる１又は複数の指標のそれぞれに設定される重みの値を決定する。上述されたとおり、現在時刻若しくは現在時刻が属する時間帯は、ユーザ端末１２０の周辺の明るさを示す指標として用いられ得る。これにより、制御装置１７０は、ユーザ端末１２０の周辺の照度に基づいて、上記の評価値を導出することができる。
例えば、昼間の環境下と、夜間の環境下とでは光学系カメラによる撮像結果の露光品質に大きな違いが生じる場合がある。その結果、特定の環境下では、評価値の導出精度が低下することも考えられる。例えば、極暗所では、評価値の導出精度が低下する可能性がある。そこで、評価値の導出精度が低下する可能性が比較的高い場合には、上述された使用制限処理が実行されるように評価値を導出することで、情報漏洩のリスクをさらに低下させることができる。評価値の導出精度が低下する可能性が比較的高い場合としては、照度情報により示される照度が予め定められた値よりも小さい場合、現在時刻若しくは現在時刻が属する時間帯に基づいて予測される照度が予め定められた値よりも小さい場などが例示される。
本実施形態において、指標値導出部１１４０は、上述された閲覧可能性の程度に関連する１又は複数の指標のそれぞれの値（指標値と称される場合がある。）を導出する。指標値導出部１１４０は、指標設定部１１３２が決定した指標設定の内容に従って、各指標の指標値を導出する。例えば、指標値導出部１１４０は、指標設定部１１３２が決定した種類の指標について、指標値を導出する。
（第１指標の指標値）
本実施形態において、第１指標導出部１１４２は、上述された第１指標の値を導出する。上述されたとおり、第１指標は、表示領域１４２の設置位置の周辺において物体の動き又は光の揺らぎが検出される程度を示す。例えば、表示領域１４２の設置位置の周辺を撮像した動画データにおいて、現実世界の特定の領域に対応する画素の光の強度が大きく変動している場合、当該領域において物体の移動、変形又は変質が生じている可能性が高い。また、上記の特定の領域に対応する画素における微視的な光の強度の変動を解析することで、例えば、当該領域に自然光が照射されているか否か、当該領域を自然光が透過しているか否かなどが判定され得る。
本実施形態において、第１指標導出部１１４２は、例えば、物性情報取得部６１４が取得した動画データに含まれる複数のフレームを解析して、フレーム間における光の強度の変動を導出する。第１指標導出部１１４２は、上記の光の強度の変動に基づいて第１指標の値を導出する。第１指標の値は、例えば、上記の光の強度の変動の統計量に基づいて導出される。
第１指標導出部１１４２は、同一の動画データに対して、第１指標を導出するための条件を変えて、第１指標を導出してもよい。これにより、同一の動画データから、複数の種類の第１指標が導出される。
第１指標を導出するための条件としては、（ｉ）動画の各フレームを予め定められた複数の領域（計算単位と称される場合がある。）に区分する場合における、計算単位の形状及び／又は大きさ、（ｉｉ）第１指標を導出するために用られる複数のフレームの動画データ中における位置及び当該フレームの個数、（ｉｉｉ）各画素の色が複数の要素により指定されている場合における、第１指標の導出に用いられる要素などが例示される。動画データを構成する複数のフレームのそれぞれがカラー画像である場合、当該カラー画像を構成する各画素の色は、色を指定するための複数の要素のそれぞれの値により特定される。例えば、各フレームがＲＧＢ形式のカラー画像である場合、各フレームの各画素の色は、Ｒ要素の値であるＲ値と、Ｇ要素の値であるＧ値と、Ｂ要素の値であるＢ値とにより指定される。
第１指標導出部１１４２は、例えば、１以上の計算単位のそれぞれを識別するための識別情報と、各計算単位の第１指標の値とが対応付けられたデータ（変動データと称される場合がある。）を出力する。第１指標導出部１１４２は、複数の計算単位のそれぞれの識別情報と、各計算単位の第１指標の値とが画像形式で格納されたデータ（変動画像データと称される場合がある。）を出力してよい。この場合、各計算単位の識別情報は、例えば、画像におけるｘ座標及びｙ座標を示す。変動画像データは、変動データの一例であってよい。
一実施形態において、第１指標導出部１１４２は、計算単位の形状及び／又は大きさが異なる複数の変動データを出力する。例えば、第１指標導出部１１４２は、同一の動画データから抽出された同一のフレーム群を用いて、（ｉ）９個の画素からなる正方形の計算単位ごとに導出された第１指標の値に基づいて生成された変動画像データと、（ｉｉ）１０２４個の画素からなる正方形の計算単位ごとに導出された第１指標の値に基づいて生成された変動画像データとを出力する。なお、計算単位の形状及び計算単位を構成する画素の個数は、上記の例に限定されない。
これにより、評価部１１５０は、複数の変動画像データのそれぞれに対して異なる評価基準を適用して、表示領域１４２の安全性の程度を評価することができる。その結果、表示領域１４２の安全性の程度が、より精度よく評価され得る。
例えば、情報漏洩のリスクが大きいほど第１指標の値が大きくなるように、第１指標の値が決定されている場合において、「９個の画素からなる正方形の計算単位ごとに導出された第１指標の値が閾値より大きい場合に、表示領域１４２の安全性の評価を下げる」という評価基準、又は、「１０２４個の画素からなる正方形の計算単位ごとに導出された第１指標の値が閾値より大きい場合に、表示領域１４２の安全性の評価を下げる」という評価基準の何れか一方が適用される場合、閾値の設定が難しい。その結果、評価の精度を向上させることも難しい。
これに対して、「９個の画素からなる正方形の計算単位ごとに導出された第１指標の値が、第１閾値より大きい場合、又は、１０２４個の画素からなる正方形の計算単位ごとに導出された第１指標の値が、第２閾値より大きい場合に、表示領域１４２の安全性の評価を下げる」という評価基準が適用される場合には、上記の何れか一方の評価基準が適用される場合と比較して、閾値の設定が容易になる。また、閾値が適切に設定されることにより、評価の精度も向上する。
他の実施形態において、第１指標導出部１１４２は、第１指標の導出に用いられるフレームの位置及び／又は個数が異なる複数の変動データを出力する。例えば、第１指標導出部１１４２は、同一の動画データから抽出された同一のフレーム群を用いて、（ｉ）当該フレーム群に含まれる全てのフレームを用いて導出された第１指標の値に基づいて生成された１つの変動画像データと、（ｉｉ）当該フレーム群に含まれる一部のフレームを用いて導出された第１指標の値に基づいて生成された１以上の変動画像データとを出力する。
例えば、第１指標導出部１１４２は、動画データに含まれる１５０～３９９番目のフレームを、第１指標の導出に用いられるフレーム群として抽出する。第１指標導出部１１４２は、１５０～３９９番目のフレームを用いて各計算単位の第１指標の値を導出し、基本となる変動画像データを出力する。また、第１指標導出部１１４２は、１５０～１９９番目のフレームを用いて各計算単位の第１指標の値を導出し、別の変動画像データを出力する。同様に、第１指標導出部１１４２は、２００～２４９番目のフレーム、２５０～２９９番目のフレーム、３００～３４９番目のフレーム、及び、３５０～３９９番目のフレームのそれぞれを用いて各計算単位の第１指標の値を導出し、さらに別の９個の変動画像データを出力する。
計算に用いられるフレーム（対象フレームと称される場合がある。）の個数が小さいほど、対象フレームの撮像期間中に突発的に生じた事象が、対象フレームを用いて導出された第１指標の値に与える影響が大きくなる。上述されたとおり、人工光の変動の周波数分布は、多くの場合、自然光の変動の周波数分布と比較してシャープな形状を有する。上記の変動の周波数分布は、上述された光の揺らぎの周波数分布に対応する。
これにより、評価部１１５０は、例えば、対象フレームの個数が少ない場合における変動の周波数分布と、対象フレームの個数が多い場合における変動の周波数分布とを比較することで、各画素又は各計算単位において検出された光に含まれる自然光の割合の多寡を判定することができる。例えば、（ｉ）上記の周波数分布の分散、標準偏差又は変動係数の差の絶対値が予め定められた値よりも大きい場合、又は、（ｉｉ）対象フレームの個数が多い場合における変動の周波数分布の分散、標準偏差又は変動係数に対する、対象フレームの個数が少ない場合における変動の周波数分布の分散、標準偏差又は変動係数の比が、予め定められた値よりも小さい場合、評価部１１５０は、自然光の割合が多いと判定する。
さらに他の実施形態において、第１指標導出部１１４２は、第１指標の導出に用いられる色の要素が異なる複数の変動データを出力する。例えば、各フレームがＲＧＢ形式のカラー画像である場合、第１指標導出部１１４２は、同一の動画データから抽出された同一のフレーム群を用いて、（ａ）Ｒ値、Ｇ値及びＢ値の少なくとも２つを用いて導出された第１指標の値に基づいて生成された変動画像データと、（ｂ）（ｉ）上記の組み合わせとは異なる組み合わせ、又は、（ｉｉ）Ｒ値、Ｇ値及びＢ値の何れか１つを用いて導出された第１指標の値に基づいて生成された別の変動画像データとを出力する。
本発明者は、被写体の種類又は被写体の表面の状態によって、光の揺らぎが強調される周波数が異なることを見出した。例えば、人間の皮膚の表面で反射した光のＲ値の変動は、当該光のＧ値又はＢ値の変動よりも大きい。また、人間の皮膚の表面で反射した光のＲ値の変動は、植物の表面で反射した光のＲ値の変動よりも大きい。さらに、人間の視覚の感度特性と、撮像装置の感度特性とが異なることから、表示装置１４０は、人間の視覚特性に応じた色校正が施された画像を出力する。そのため、ディスプレイ、スクリーンなどの表示装置に表示されている物体からの光と、現実に存在する物体からの光とでは、Ｒ値、Ｇ値及びＢ値のバランスが異なる。
これにより、第１指標導出部１１４２が、例えば、Ｒ値、Ｇ値及びＢ値の１つ又は２つに基づいて第１指標を導出することにより、評価部１１５０が、特定の種類の物体（例えば、人間である。）を検出する精度が向上し得る。また、評価部１１５０は、例えば、Ｒ要素、Ｇ要素及びＢ要素の第１の組み合わせに基づいて導出された第１指標と、Ｒ要素、Ｇ要素及びＢ要素の第２の組み合わせに基づいて導出された第１指標を比較することで、特定の種類の物体（例えば、人間である。）の検出精度を向上させることができる。第１の組み合わせ及び第２の組み合わせは、各組み合わせを構成するＲＧＢ要素が異なる。第１の組み合わせは、Ｒ要素、Ｇ要素及びＢ要素の１つにより構成されてもよく、第２の組み合わせは、Ｒ要素、Ｇ要素及びＢ要素の１つにより構成されてもよい。
第１指標導出部１１４２は、上述された第１指標を導出するための条件の少なくとも２つを変えて、第１指標を導出してもよい。第１指標導出部１１４２は、物性情報取得部６１４が取得した動画データに対して、カメラ１５４自体の移動を補正するための処理を施した後、第１指標を導出するための処理を実行してもよい。第１指標導出部１１４２における情報処理の詳細は後述される。
（第２指標の指標値）
本実施形態において、第２指標導出部１１４４は、上述された第２指標の指標値を導出する。上述されたとおり、第２指標は、表示領域１４２の設置位置の周辺に存在する遮蔽物の配置状況を示す。例えば、第２指標は、遮蔽物により表示領域１４２への第三者の視線が遮られる程度を示す。第２指標導出部１１４４は、例えば、構造情報取得部６１２が取得した周辺データを解析して、表示領域１４２の周囲に配された遮蔽物のそれぞれが、第三者の視線を遮る度合いを導出する。
第２指標導出部１１４４は、構造情報取得部６１２が取得した点群データ又は距離データに基づいて、表示領域１４２の周囲に配された遮蔽物のそれぞれが、第三者の視線を遮る度合いを導出してよい。第２指標導出部１１４４は、構造情報取得部６１２が取得した画像データから、被写体とカメラ１５４との距離を算出して距離データを生成し、当該距離データを用いて、表示領域１４２の周囲に配された遮蔽物のそれぞれが、第三者の視線を遮る度合いを導出してよい。第２指標導出部１１４４は、物体位置決定部８２０が構築した三次元仮想空間を用いて、表示領域１４２の周囲に配された遮蔽物のそれぞれが、第三者の視線を遮る度合いを導出してもよい。
第２指標導出部１１４４は、例えば、距離算出部８３４が算出した複数の点のそれぞれと、表示領域１４２の代表点との距離に基づいて、第２指標の値を導出する。第２指標導出部１１４４は、（ｉ）複数の点のそれぞれについて第２指標の値を導出してもよく、（ｉｉ）１以上の遮蔽物のそれぞれを識別した後、各遮蔽物上の複数の点又は各遮蔽物の代表点と、表示領域１４２の代表点との距離に基づいて、遮蔽物ごとに第２指標の値を導出してもよい。
第２指標導出部１１４４は、例えば、角度算出部８３６が算出した複数の点のそれぞれに関する角度の絶対値に基づいて、第２指標の値を導出する。第２指標導出部１１４４は、（ｉ）複数の点のそれぞれについて第２指標の値を導出してもよく、（ｉｉ）１以上の遮蔽物のそれぞれを識別した後、遮蔽物ごとに第２指標の値を導出してもよい。
第２指標導出部１１４４は、例えば、距離算出部８３４が算出した複数の点のそれぞれに関する距離と、角度算出部８３６が算出した複数の点のそれぞれに関する角度の絶対値とに基づいて、第２指標の値を導出する。第２指標導出部１１４４は、（ｉ）複数の点のそれぞれについて第２指標の値を導出してもよく、（ｉｉ）１以上の遮蔽物のそれぞれを識別した後、遮蔽物ごとに第２指標の値を導出してもよい。
（第３指標の指標値）
本実施形態において、第３指標導出部１１４６は、上述された第３指標の指標値を導出する。上述されたとおり、第３指標は、表示領域１４２の設置位置の周辺環境の状況を示す。第３指標導出部１１４６は、例えば、環境情報取得部６１６が取得した環境情報により示される周辺環境の状況に基づいて、第３指標の値を導出する。
一実施形態において、第３指標導出部１１４６は、環境情報取得部６１６が取得した照度情報により示される照度に基づいて、第３指標の値を導出する。第３指標導出部１１４６は、照度が大きいほど第３指標の値が大きくなるように第３指標の値を導出してよい。
他の実施形態において、第３指標導出部１１４６は、環境情報取得部６１６が取得した環境情報により示される周辺環境の状況に基づいて、表示領域１４２の設置位置における視程の大きさを決定してよい。例えば、第３指標導出部１１４６は、周辺環境の状況と、視程の大きさとを対応付けて格納するデータベースを参照して、環境情報取得部６１６が取得した環境情報に基づいて、上記の視程の大きさを決定する。第３指標導出部１１４６は、上記の視程の大きさに基づいて第３指標の値を導出してよい。
例えば、視程が大きいほど、情報処理端末のユーザが周囲に存在する第三者の存在に気が付きやすくなる。一方、視程が大きいほど、第三者が情報処理端末が出力した情報を閲覧しやすくなる。そこで、第３指標導出部１１４６は、例えば、視程が大きくなるほど第３指標の値が大きくなるように、第３指標の値を導出してよい。第３指標導出部１１４６は、視程が大きくなるほど第３指標の値が小さくなるように、第３指標の値を導出してよい。
（第４指標の指標値）
本実施形態において、第４指標導出部１１４８は、上述された第４指標の指標値を導出する。上述されたとおり、第４指標は、物体又は事象の種類に応じた情報漏洩のリスクを示す。第４指標導出部１１４８は、例えば、属性情報取得部６１８が取得した属性情報に基づいて第４指標の値を導出する。第４指標導出部１１４８は、例えば、１以上の物体又は事象のそれぞれについて、物体又は事象の種類及び／又は属性と、当該物体又は事象が観測された位置から第三者が出力画像を閲覧する可能性の程度を示す値とが対応付けられたデータベースを参照して、実際に観測された物体又は事象の種類及び／又は属性に基づいて、上記の第４指標の値を決定する。
上述されたとおり、属性情報取得部６１８は、環境センサ１５０が出力した画像データを解析して物体を検出する。例えば、属性情報取得部６１８は、画像中から物体の輪郭を検出し、検出された物体の種類及び／属性を判別する。しかしながら、輪郭検出技術を用いた物体を検出する場合、検出された物体がディスプレイ、スクリーンなどの表示装置に表示されているのか、当該物体が現実空間に実在するのかを判別することが難しい。
一実施形態において、第４指標導出部１１４８は、画像中における物体が検出された位置に基づいて、検出された物体の種類及び／属性を決定又は変更してよい。例えば、第１の物体及び第２の物体が検出されている場合において、第２の物体の位置が第１の物体の輪郭の内側であり、且つ、第１の物体の種類又は属性がディスプレイ、スクリーンなどの表示装置であるとき、第４指標導出部１１４８は、第２の物体の種類及び／又は属性が、表示装置に表示された画像であると判定する。また、第４指標導出部１１４８は、第２の物体の種類及び／又は属性が、表示装置に表示された画像であるとの判定結果に基づいて、上記の第４指標の値を決定する。これにより、第４指標導出部１１４８は、第４指標の値を適切に決定することができる。
他の実施形態において、第４指標導出部１１４８は、検出された物体の色に基づいて、検出された物体の種類及び／属性を決定又は変更してよい。人間の視覚の感度特性と、撮像装置の感度特性とが異なることから、表示装置は、人間の視覚特性に応じた色校正が施された画像を出力する。そのため、物体が表示装置に表示されている場合と、当該物体が現実空間に実在する場合とでは、カメラ１５４により検出される色が異なる。これにより、第４指標導出部１１４８は、検出された物体の色に基づいて、検出された物体の種類又属性を決定又は変更することができる。また、第４指標導出部１１４８は、上記の決定又は変更された物体の種類又属性に基づいて、上記の第４指標の値を決定する。これにより、第４指標導出部１１４８は、第４指標の値を適切に決定することができる。
この場合において、第４指標導出部１１４８は、第１指標導出部１１４２と協働して、検出された物体の種類及び／属性を決定又は変更してよい。上述されたとおり、第１指標導出部１１４２は、Ｒ要素、Ｇ要素及びＢ要素の任意の組み合わせに基づいて第１指標を導出することができる。また、第１指標導出部１１４２は、Ｒ要素、Ｇ要素及びＢ要素の第１の組み合わせに基づいて導出された第１指標と、Ｒ要素、Ｇ要素及びＢ要素の第２の組み合わせに基づいて導出された第１指標とを出力することができる。第４指標導出部１１４８は、例えば、１以上の物体又は事象のそれぞれについて、（ａ）物体又は事象の種類及び／又は属性と、（ｂ）（ｉ）Ｒ要素、Ｇ要素及びＢ要素の特定の組み合わせにより導出される第１指標の値を示す情報、又は、（ｉｉ）Ｒ要素、Ｇ要素及びＢ要素の第１の組み合わせに基づいて導出された第１指標の値と、Ｒ要素、Ｇ要素及びＢ要素の第２の組み合わせに基づいて導出された第１指標の値との比較結果を示す情報とが対応付けられたデータベースを参照して、第１指標導出部１１４２が出力した第１指標に基づいて、検出された物体の種類及び／属性を決定する。上記の決定された物体の種類又属性に基づいて、上記の第４指標の値を決定する。これにより、第４指標導出部１１４８は、第４指標の値を適切に決定することができる。
（閲覧可能性の程度の評価）
本実施形態において、評価部１１５０は、指標値導出部１１４０が導出した１又は複数の指標の値に基づいて、閲覧可能性の程度を評価する。評価部１１５０は、閲覧可能性の程度を示す評価値を導出してもよい。
（総合評価）
本実施形態において、評価部１１５０は、評価設定部１１３４が決定した評価設定の内容に従って、上記の評価値を導出する。評価部１１５０は、任意の関数又は学習モデルに、指標設定部１１３２が決定した１以上の種類の指標の指標値を入力することで、上記の評価値を導出してよい。
例えば、評価部１１５０は、指標設定部１１３２が決定した１以上の種類の指標の指標値と、当該１以上の指標のそれぞれに設定される重みの値とに基づいて、上記の指標の指標値の重み付き線形和を導出する。評価部１１５０は、上記の重み付き線形和を上記の評価値として出力する。これにより、評価部１１５０は、閲覧可能性の程度を総合的に評価することができる。
なお、閲覧可能性の程度を総合的に評価する手法は、上記の実施形態に限定されない。他の実施形態において、評価部１１５０は、重み付け論理計算、条件分岐、繰り返し処理を含むスクリプトを用いて、閲覧可能性の程度を総合的に評価してよい。さらに他の実施形態において、評価部１１５０は、ニューラルネットワーク技術を用いて、閲覧可能性の程度を総合的に評価してよい。例えば、評価部１１５０は、指標値導出部１１４０が出力した各種の指標値に基づいて、当該各種の指標値の特徴を表現した１以上のダイジェスト値を導出する。評価部１１５０は、各種の関数処理、畳み込み処理などを含む汎用スクリプトを用いて上記のダイジェスト値を導出してよい。評価部１１５０は、１以上のダイジェスト値を入力とし、総合評価の結果を出力とする学習データーを準備し、任意の学習モデルの学習処理を実行する。評価部１１５０は、学習済みの学習モデルを用いて、閲覧可能性の程度を総合的に評価してよい。
（第１指標に基づく評価）
本実施形態において、評価部１１５０は、第１指標の値に基づいて、閲覧可能性の程度を評価する。例えば、評価部１１５０は、ユーザ端末１２０の設置位置の周辺において物体の動き又は光の揺らぎが検出される程度を評価することで、ユーザ端末１２０の安全性を評価する。評価部１１５０は、例えば、ユーザ端末１２０の設置位置の周辺において物体の動き又は光の揺らぎが検出される程度が小さいほど、ユーザ端末１２０の安全性を高く評価する。第１指標の値に基づいて、閲覧可能性の程度を評価する手順の詳細は後述される。
（第２指標に基づく評価）
本実施形態において、評価部１１５０は、第２指標の値に基づいて、閲覧可能性の程度を評価する。例えば、評価部１１５０は、物体位置決定部８２０が決定した上記の位置関係に基づいて、上記の評価値を導出する。
上述されたとおり、出力画像の閲覧可能性の程度は、情報漏洩に対する安全性の程度を示す指標として用いられる。出力画像の閲覧可能性の程度が大きくなればなるほど、遮蔽物により第三者の視線を遮ることが困難になることを意味する。つまり、出力画像の閲覧可能性の程度が大きくなるほど、情報漏洩に対する安全性の程度が小さくなる。
一実施形態において、表示領域１４２及び遮蔽物の距離が大きい場合と、表示領域１４２及び遮蔽物の距離が小さい場合とを比較すると、表示領域１４２及び遮蔽物の距離が大きい場合の方が、第三者による表示領域１４２及び遮蔽物の間への割り込みが容易になる。また、表示領域１４２及び遮蔽物の距離が大きくなると、ユーザ端末１２０のユーザ２２が、第三者による表示領域１４２の覗き見を発見することが困難になる。つまり、表示領域１４２及び遮蔽物の距離が大きくなるほど、閲覧可能性の程度が大きくなるとも考えられる。
一方、表示領域１４２及び遮蔽物の間に第三者が存在し、当該第三者が出力画像を覗き見している場合を想定すると、当該第三者と、表示領域１４２との距離が大きいほど、第三者による出力画像の内容の理解が困難になる。つまり、表示領域１４２及び遮蔽物の距離が大きくなるほど、閲覧可能性の程度が小さくなるとも考えられる。
他の実施形態によれば、第三者が表示領域１４２を斜めから閲覧する場合と、第三者が表示領域１４２を正面から閲覧する場合とを比較すると、第三者が表示領域１４２を正面から閲覧する場合の方が、第三者による出力画像の内容の理解が容易になる。一方、表示領域１４２の正面にはユーザ２２が存在する。そのため、第三者が、表示領域１４２の正面、且つ、ユーザ２２の背後から、表示領域１４２を覗き見ることは比較的困難であるとも考えられる。
そのため、閲覧可能性の程度の導出方法は、目的及び状況に応じて適切に設定され得る。一実施形態において、評価部１１５０は、（ｉ）表示領域１４２から離れた位置に配された物体ほど、閲覧可能性の程度が大きくなるように、及び／又は、（ｉｉ）表示領域１４２の正面に近い位置に配された物体ほど、閲覧可能性の程度が小さくなるように、閲覧可能性の程度を示す評価値を導出する。他の実施形態おいて、評価部１１５０は、（ｉ）表示領域１４２から近い位置に配された物体ほど、閲覧可能性の程度が大きくなるように、及び／又は、（ｉｉ）表示領域１４２の正面に近い位置に配された物体ほど、閲覧可能性の程度が大きくなるように、閲覧可能性の程度を示す評価値を導出する。
（第１計算部８３０に基づいて閲覧可能性の程度が導出される実施形態）
一実施形態において、第２指標導出部１１４４は、距離算出部８３４が算出した複数の点のそれぞれに関する距離に基づいて、各点が第三者による出力画像の閲覧を抑制する程度を示す指標である抑制指標の値を、複数の点のそれぞれについて算出する。評価部１１５０は、複数の点のそれぞれに関する抑制指標の値を合計することで、閲覧可能性の程度を示す評価値を導出する。抑制指標は、第２指標の一例であってよい。
他の実施形態において、第２指標導出部１１４４は、角度算出部８３６が算出した複数の点のそれぞれに関する角度の絶対値に基づいて、各点が第三者による出力画像の閲覧を抑制する程度を示す指標である抑制指標の値を、複数の点のそれぞれについて算出する。評価部１１５０は、複数の点のそれぞれに関する抑制指標の値を合計することで、閲覧可能性の程度を示す評価値を導出する。抑制指標は、第２指標の一例であってよい。
さらに他の実施形態において、第２指標導出部１１４４は、距離算出部８３４が算出した複数の点のそれぞれに関する距離と、角度算出部８３６が算出した複数の点のそれぞれに関する角度の絶対値とに基づいて、複数の点のそれぞれに関する抑制指標の値を算出する。評価部１１５０は、複数の点のそれぞれに関する抑制指標の値を合計することで、閲覧可能性の程度を示す評価値を導出する。抑制指標は、第２指標の一例であってよい。
（第２計算部８４０の計算結果に基づいて閲覧可能性の程度が導出される実施形態）
評価部１１５０は、遮蔽角算出部８４４が算出した１以上の物体のそれぞれの遮蔽角に基づいて、閲覧可能性の程度を示す評価値を導出してよい。例えば、評価部１１５０は、表示領域１４２の視野角のうち、１以上の物体により遮蔽される割合の大きさに基づいて、閲覧可能性の程度を示す評価値を導出する。評価部１１５０は、上記の遮蔽される割合が大きいほど閲覧可能性の程度が小さくなるように、閲覧可能性の程度を示す評価値を導出してよい。
（第３指標に基づく評価）
本実施形態において、評価部１１５０は、第３指標の値に基づいて、閲覧可能性の程度を評価する。評価部１１５０は、例えば、第３指標の値に基づいて、閲覧可能性の程度を示す評価値を導出する。評価部１１５０は、環境情報取得部６１６が取得した環境情報により示される周辺環境の状況に基づいて、閲覧可能性の程度を示す評価値を導出してもよい。評価部１１５０は、視程が大きいほど閲覧可能性の程度が小さくなるように、閲覧可能性の程度を示す評価値を導出してよい。評価部１１５０は、視程が小さいほど閲覧可能性の程度が小さくなるように、閲覧可能性の程度を示す評価値を導出してもよい。
例えば、評価部１１５０は、照度が大きいほど閲覧可能性の程度が小さくなるように、閲覧可能性の程度を示す評価値を導出する。評価部１１５０は、照度が小さいほど閲覧可能性の程度が小さくなるように、閲覧可能性の程度を示す評価値を導出してもよい。
（第４指標に基づく評価）
本実施形態において、評価部１１５０は、第４指標の値に基づいて、閲覧可能性の程度を評価する。評価部１１５０は、例えば、第４指標の値に基づいて、閲覧可能性の程度を示す評価値を導出する。評価部１１５０は、属性情報取得部６１８が取得した属性情報により示される物体又は事象の種類又は属性に基づいて、閲覧可能性の程度を示す評価値を導出してもよい。評価部１１５０は、第４指標の値を、閲覧可能性の程度を示す評価値として出力してよい。
図１２は、安全管理部６４０における情報処理の一例を概略的に示す。本実施形態においては、表示領域１４２の視野角は、周辺データ生成装置１５２又はカメラ１５４の視野角よりも小さい場合を例として、ユーザ端末１２０の安全性を評価するための処理の一例が説明される。より具体的には、安全管理部６４０が、画像１２００を用いてユーザ端末１２０の安全性を評価するための処理の一例が説明される。画像１２００は、作業部屋３００の位置Ａに配されたユーザ端末１２０の周辺データ生成装置１５２又はカメラ１５４が撮像した画像の一例を示す。
上述されたとおり、本実施形態において、表示領域１４２の視野角は、周辺データ生成装置１５２又はカメラ１５４の視野角よりも小さい。そのため、表示領域１４２の視野角に相当する領域（図中、単位画像１２４０として表される。）の大きさは、画像１２００の大きさよりも小さくなる。安全管理部６４０は、表示領域１４２の視野角に相当する大きさの画像（図中、単位画像１２４０として表される。）の中心１２４２を、予め定められた点線１２５０に沿って左右方向又は上下方向にずらしながら、安全性を評価してよい。これにより、安全管理部６４０は、単一の画像１２００を利用して、複数の設置方向に関する安全性を評価することができる。
画像１２００における単位画像１２４０の中心１２４２の位置は、表示領域１４２の設置方向に対応する。一実施形態において、画像１２００における単位画像１２４０の位置に応じて、単位画像１２４０の形状及び大きさが調整される。例えば、単位画像１２４０の中心１２４２の位置と、画像１２００の中心の位置との距離が大きくなるほど、単位画像１２４０の大きさが大きくなり、形状の変形の度合いが大きくなるように、単位画像１２４０の形状及び大きさが調整される。これにより、安全管理部６４０は、周辺データ生成装置１５２又はカメラ１５４が生成した単一の画像データ又は単一の三次元データに基づいて、表示領域１４２の設置方向が異なる複数のパターンにおけるユーザ端末１２０の安全性を評価することができる。
他の実施形態において、安全管理部６４０は、表示領域１４２の設置方向によらず、表示領域１４２の視野角に相当する領域の形状及び大きさが同一であるものとして、表示領域１４２の設置方向が異なる複数のパターンにおけるユーザ端末１２０の安全性を評価してもよい。これにより、計算量を削減が削減される。
（別実施形態の一例）
本実施形態においては、表示領域１４２の視野角が、周辺データ生成装置１５２又はカメラ１５４の視野角よりも小さい場合を例として、画像１２００及び安全管理部６４０の一例が説明された。しかしながら、上述されたとおり、他の実施形態において、表示領域１４２の視野角が、周辺データ生成装置１５２又はカメラ１５４の視野角よりも大きい場合もあり得る。
例えば、安全管理部６４０は、周辺データ生成装置１５２又はカメラ１５４が取得した表示領域１４２の設置位置の周辺環境に関する複数の情報を結合することで、周辺データ生成装置１５２又はカメラ１５４の視野角を超えた情報を取得することができる。例えば、安全管理部６４０は、表示領域１４２の設置位置の周辺の画像であって、撮像位置及び撮像方向の少なくとも一方が異なる複数の画像を取得する。複数の画像は、単一の周辺データ生成装置１５２が撮像した画像であってもよく、複数の周辺データ生成装置１５２が撮像した画像であってもよい。安全管理部６４０は、上記の複数の画像を合成して単一の画像（結合画像と称される場合がある。）を生成する。これにより、画像１２００の他の例として、複数の画像が合成された結合画像が生成され得る。
撮像方向は、二次元で表されてもよく、三次元で表されてもよい。安全管理部６４０は、上記の実施形態における画像１２００と同様の手順により上記の結合画像を解析することで、表示領域１４２の設置態様を変えた場合における、表示領域１４２の視野角に相当する領域の位置、形状及び大きさを算出してよい。設置態様としては、設置位置、設置方向、ロール方向などが例示される。
複数の画像を合成して結合画像を生成する具体的な手順は、特に限定されない。結合画像は、例えば、複数の画像がパノラマ合成されたパノラマ画像であってよい。
安全管理部６４０は、複数の二次元画像又は結合画像に基づいて、後述される三次元仮想空間を生成してもよい。しかしながら、結合される２つの画像の重複部分が各画像の約２～３割に満たない場合には、２つの画像を正確に結合するための特徴の個数が少ないことから、２つの画像を正確に結合することが難しくなる。特に、複数の二次元画像又は結合画像に基づいて三次元仮想空間を生成する場合、二次元画像上の数画素のズレが三次元座標上での大きなズレにつながる可能性がある。例えば、ピントが合っていない状態で撮像された場合、暗所で撮像された場合、又は、逆光下で撮像された場合には、二次元画像上に上記のズレが発生する可能性がある。
そこで、安全管理部６４０が、複数の二次元画像又は結合画像に基づいて三次元仮想空間を生成する場合、制御装置１７０は、結合の誤差を低減又は補正するための処理を実行することが好ましい。結合の誤差を低減又は補正する処理としては、（ａ）周辺データ生成装置１５２又はカメラ１５４が複数の画像を連続して撮像している間（例えば、動画像を撮像している間である）に、周辺データ生成装置１５２又はカメラ１５４の移動量を推定し、当該移動量を考慮して、順次、画像を結合していく処理、（ｂ）（ｉ）三次元仮想空間上で空間構造の座標系を結合した後、三次元モデル又は三次元点群を二次元表示した場合の各特徴点の二次元座標を計算し、（ｉｉ）二次元表示された各特徴点の二次元座標と、結合前の二次元画像における各特徴点の位置とが一致するか否かを判定し、（ｉｉｉ）上記の特徴点の全て又は一部が一致しないと判定された場合には、各特徴点同士の誤差が小さくなるように、結合位置を補正する処理などが例示される。
二次元表示された各特徴点の二次元座標と、結合前の二次元画像における各特徴点の位置とが一致するか否かを判定する処理の具体的な手順は、特に限定されない。例えば、２つの座標系で採取した構造データについて、何らかの変換行列で座標一致するような、互いの３次元変換行列を算出する。また、上記の３次元変換行列を用いて、一つの座標系に採取情報をマージしていく。この変換行列の算出には、２つの座標系に同じ特徴点が複数見つかる必要がある。そこで、例えば、当該特徴点のペアリングについて、総当たりで帰納法的に正解を類推する。上記の類推には、例えば、確率的手法が用いられる。
後述されるとおり、現実空間に複数のマーカが配される場合には、各マーカーの値をユニークにすることで、上記のペアリングが容易になる。なお、複数のマーカーの値が同一であっても、ペアとなるマーカのロール方向及び／又は位置の相関から固有の特徴を見出すことで、上記の総当たりで類推する処理が実行され得る。
本実施形態においては、光の揺らぎを検出することで、表示領域１４２の設置位置の周辺に第三者が存在するか否かを判定する場合を例として、情報漏洩抑制システム１００の詳細が説明された。しかしながら、情報漏洩抑制システム１００は、本実施形態に限定されない。
他の実施形態において、制御装置１７０は、隠しカメラの予防として、光の揺らぎが検出される程度を用いて、周辺における物体の散らかり度合いを示す指標の指標値を導出してよい。制御装置１７０は、物体の散らかり度合いに基づいて、安全性を判定してよい。散らかり度合いが高い場合としては、光の揺らぎの大きい状態が周囲に散見される状態が例示される。散らかり度合いが高い場合、例えば、隠しカメラが設置されていることが露呈しにくい。そこで、例えば、制御装置１７０は、散らかり度合いが高いほど、安全性の程度が小さくなるように指標値を算出してよい。散らかり度合いに基づく判定が導入されることにより、予防的な判定が可能となり、安全性の程度が高くなる場所が多くなる。一方、例えば、表示領域１４２の設置位置に本、雑貨などが散在しているだけで、端末の利用場所が制限され得る。そのため、上記の散らかり度合いを示す指標値に基づいて、ユーザ端末１２０の安全性の評価値が導出される場合には、上述された判定の感度及び／又は応答性を調整する機能が用いられてよい。
図１３は、制御装置１７０における情報処理の一例を概略的に示す。図１３を用いて、評価部１１５０が、第１指標の値に基づいて閲覧可能性の程度を評価する手順の一例が説明される。上述されたとおり、本実施形態において、評価部１１５０は、ユーザ端末１２０の設置位置の周辺において物体の動き又は光の揺らぎが検出される程度を評価することで、ユーザ端末１２０の安全性を評価する。本実施形態においては、制御装置１７０が、カメラ１５４から撮像条件データ１３１０と、動画データ１３２０とを取得し、変動画像データ１３４０を生成する処理の一例が説明される。
本実施形態において、制御装置１７０は、カメラ１５４が生成した動画データを取得する。制御装置１７０は、動画データに含まれる複数のフレームのそれぞれを構成する各画素の画素値を解析して、特定の期間の間にカメラ１５４に到達した光の強度の変動を導出する。
カメラ１５４の被写体からの光の強度の変動は、（ｉ）光源から当該被写体までの間の空間の屈折率の変動、（ｉｉ）光源から当該被写体までの間の空間に配された物体の変動、（ｉｉｉ）当該被写体からカメラ１５４までの空間の屈折率の変動、及び／又は、（ｉｖ）当該被写体からカメラ１５４までの空間に配された物体の変動を反映している。被写体からの光は、当該被写体の表面で反射した反射光であってもよく、当該被写体を透過した透過光であってもよく、当該被写体が放射した放射光であってもよい。物体の変動としては、当該物体の位置、大きさ、形状及び光学特性の少なくとも１つの変動が例示される。光学特性としては、屈折率、透過率、反射率などが例示される。
そのため、上記の光の強度の変動の大きさは、カメラ１５４の周辺において物体の動き又は光の揺らぎが検出される程度を示す指標として利用され得る。また、上記の光の強度の変動の大きさは、上述された閲覧可能性の程度を示す指標として利用され得る。つまり、フレーム中の特定の領域における光の強度変動が小さい場合、現実世界において当該領域に対応する位置に、動き、光の透過、光の反射などの小さな物体が配されていることを表す。
例えば、制御装置１７０は、（ａ）動画の各フレームを予め定められた複数の領域（計算単位と称される場合がある。）に区分し、（ｂ）複数の計算単位のそれぞれについて、各計算単位に含まれる画素の画素値に基づいて、複数のフレームの間における当該領域の色及び／又は明るさの変動を示す指標（変動指標と称される場合がある。）の値を導出する。変動指標としては、分散、標準偏差及び変動係数、並びに、これらを基準値で除して得られる値の少なくとも１つが例示される。変動指標は、第１指標の一例であってよい。
複数の計算単位のそれぞれは、１以上の画素を含む。各計算単位に含まれる画素数が大きくなるほど、上記の光の強度変動を計算するための負荷が減少し、計算速度が向上する。一方、各計算単位に含まれる画素数が小さくなるほど、精度又は分解能が向上する。
単一のフレームに含まれる少なくとも２つの計算単位は、大きさ及び形状の少なくとも１つが異なってもよい。例えば、画面の中央近傍に表示される計算単位の大きさと、画面の周縁部に表示される計算単位の大きさとが異なる。例えば、画面の中央近傍に表示される計算単位の形状と、画面の周縁部に表示される計算単位の形状とが異なる。
（撮像条件データ１３１０の構成）
本実施形態において、撮像条件データ１３１０は、撮像位置を示す情報を含む。撮像条件データ１３１０は、撮像方向及びカメラ１５４の焦点距離の少なくとも一方を示す情報をさらに含んでよい。
カメラ１５４の焦点距離ｆが既知であれば、制御装置１７０は、画像中の特定の位置ｑと、画像中の光軸の位置ｏとの位置関係から、カメラ１５４の光軸の方向と、カメラ１５４の代表点２５０から現実世界において当該位置ｑに対応する位置Ｑに向かう方向とのなす角度を算出することができる。カメラ１５４のカメラ座標系において、位置ｏの座標は例えば（０、０、ｆ）として表され、位置ｑの座標は例えば（ｘ、ｙ、ｆ）として表され、位置Ｑの座標は例えば（Ｘ、Ｙ、Ｚ）として表される。
なお、表示領域１４２の設置位置及び設置方向が決定されている場合、撮像条件データ１３１０は、撮像位置を示す情報及び撮像方向を示す情報を含まなくてもよい。例えば、ユーザ２２が特定の位置及び方向にユーザ端末１２０を設置し、当該位置及び方向における閲覧可能性の程度が検証される場合、撮像条件データ１３１０は、撮像位置を示す情報及び撮像方向を示す情報を含まなくてもよい。また、カメラ１５４の焦点距離ｆが既知である場合、撮像条件データ１３１０は、カメラ１５４の焦点距離を示す情報を含まなくてもよい。
（動画データ１３２０の構成）
本実施形態において、動画データ１３２０は、フレーム１３２２、フレーム１３２４、フレーム１３３２及びフレーム１３３４を含む複数のフレームを有する。動画データ１３２０に含まれる各フレームは二次元画像であってよい。
動画データ１３２０を構成するフレームのデータ構造は、例えば、フレームを構成する各画素の識別情報と、フレーム中における各画素の位置を示す情報と、当該各画素の明るさを示す情報とを含む。例えば、フレームに含まれるｉ番目の画素ＮＰｉのデータは、例えば、フレームの画像平面上におけるｘ方向の位置を示すｘｉと、当該画像平面上におけるｙ方向の位置を示すｙｉと、明るさを示す画素値とを含む。明るさは、輝度で表されてもよく、明度で表されてもよい。フレームがＲＧＢ形式で表されるカラー画像である場合、明るさを示す画素値は、例えば、ＲＧＢのそれぞれの輝度の値を示す情報を含む。つまり、各画素の明るさを示す情報により各画素の色が特定され得る。
（変動画像データ１３４０の構成）
本実施形態において、変動画像データ１３４０は、フレーム１３４２及びフレーム１３４４を含む複数のフレームを有する。変動画像データ１３４０を構成する複数のフレームのそれぞれは、動画データ１３２０に含まれる複数のフレームのデータに基づいて生成される。上述されたとおり、本実施形態においては、動画の各フレームが予め定められた複数の計算単位に区分され、計算単位ごとに変動指標の値が導出される。そのため、動画データ１３２０を構成するフレームの各計算単位が、変動画像データ１３４０を構成するフレームの各画素に対応する。
変動画像データ１３４０を構成するフレームのデータ構造は、例えば、フレームを構成する各画素の識別情報と、フレーム中における各画素の位置を示す情報と、当該各画素の明るさの変動の程度を示す情報とを含む。例えば、フレームに含まれるｉ番目の画素ＶＰｉのデータは、フレームの画像平面上におけるｘ方向の位置を示すｘｉと、当該画像平面上におけるｙ方向の位置を示すｙｉと、当該画素における明るさの変動の程度を示す画素値とを含む。
上記の画素値として、上述された変動指標の値が格納されてよい。フレームがＲＧＢ形式で表されるカラー画像である場合、上記の画素値として、ＲＧＢのそれぞれの輝度の変動の程度を示す３つの値が格納されてもよく、ＲＧＢのそれぞれの輝度の合計の変動の程度を示す単一の値が格納されてもよい。
一実施形態において、一般的なカメラ１５４が極暗所を撮像する場合、ＲＧＢのそれぞれの輝度のうち、Ｂの輝度のデータが用いられる、又は、Ｂの輝度のデータの重みがＲ及びＧの輝度のデータの重みよりも大きくなるように設定されることで、評価精度が向上する。他の実施形態において、カメラ１５４の被写体が人間の皮膚である場合、Ｒの輝度のデータが用いられる、又は、Ｒの輝度のデータの重みがＢ及びＧの輝度のデータの重みよりも大きくなるように設定されることで、評価精度が向上する。さらに他の実施形態において、カメラ１５４の被写体が植物である場合、Ｇの輝度のデータが用いられる、又は、Ｇの輝度のデータの重みがＢ及びＲの輝度のデータの重みよりも大きくなるように設定されることで、評価精度が向上する。
（制御装置１７０の構成）
本実施形態において、制御装置１７０は、物性情報取得部６１４と、変動指標導出部１３７４と、画像生成部１３７６と、安全管理部１３７８とを備える。変動指標導出部１３７４は、第１指標導出部１１４２に配される。安全管理部１３７８は、安全管理部６４０の他の例であってよい。安全管理部１３７８の詳細は後述される。
変動指標導出部１３７４は、上述された変動指標の値を導出する。これにより、特定の期間の間にカメラ１５４に到達した光の強度の変動の程度が導出され得る。変動指標導出部１３７４は、例えば、下記の手順により、変動指標の値を導出する。
本実施形態によれば、変動指標導出部１３７４は、まず、物性情報取得部６１４が取得した動画データから、予め定められた規則に従って、複数のフレームを抽出する。変動指標導出部１３７４は、物性情報取得部６１４が取得した動画データのうち、カメラ１５４が静止している間に撮像された動画のデータの中から、複数のフレームを抽出してよい。
予め定められた規則としては、（ｉ）連続する予め定められた個数のフレームを抽出するという規則、（ｉｉ）予め定められた長さを有する期間（単位期間と称される場合がある。）に相当するフレームの中から、予め定められた個数のフレームを抽出するという規則、（ｉｉｉ）連続する予め定められた第１の個数のフレームの中から、予め定められた第２個数（第２の個数は、第１の個数よりも少ない。）のフレームを抽出するという規則などが例示される。例えば、（ｉ）の規則によれば、連続する１０個のフレームが抽出される。一方、（ｉｉ）又は（ｉｉｉ）の規則によれば、例えば、３フレームごとに１フレームが抽出され、合計で１０個のフレームが抽出される。
次に、変動指標導出部１３７４は、抽出された複数のフレームのそれぞれを、複数の計算単位に区分する。変動指標導出部１３７４は、予め定められた規則に従って、抽出された複数のフレームのそれぞれを複数の計算単位に区分してよい。複数の計算単位の形状は、全て同一であってもよく、一部が異なってもよく、全て異なってもよい。複数の計算単位の大きさは、全て同一であってもよく、一部が異なってもよく、全て異なってもよい。
次に、変動指標導出部１３７４は、複数の計算単位のそれぞれについて、変動指標の値を導出する。各計算単位の変動指標の値は、例えば、各計算単位に含まれる画素の画素値に基づいて決定される。
例えば、抽出された複数のフレームが撮像された期間中にカメラ１５４が静止していた場合、第１フレームの第１計算単位と、第２フレームの第１計算単位とは、現実世界の同一の位置に対応する。なお、この場合、第１フレームの第１計算単位と、第２フレームの第１計算単位とが対応すると称されることがある。また、このような関係が、フレーム間における計算単位の対応関係と称される場合がある。
そこで、変動指標導出部１３７４は、まず、各フレームの各計算単位に含まれる画素の画素値を合計する。これにより、複数のフレームのそれぞれにおいて、計算単位ごとの画素値の合計値が得られる。次に、変動指標導出部１３７４は、計算単位ごとに、複数のフレームの間における上記の合計値の変動を示す指標を計算する（統計処理を実行すると称される場合がある）。上述されたとおり、変動を示す指標としては、分散、標準偏差及び変動係数、並びに、これらを基準値で除して得られる値の少なくとも１つが例示される。変動指標導出部１３７４は、各計算単位における変動指標の値を示す情報を、各計算単位の識別情報と対応付けて、画像生成部１３７６に出力する。
なお、変動指標導出部１３７４は、抽出された複数のフレームを解析して、当該複数のフレームが撮像された期間中におけるカメラ１５４の移動の有無を判定してよい。上記の期間中にカメラ１５４が移動したと判定された場合、変動指標導出部１３７４は、まず、複数のフレームの間における計算単位の対応関係を決定する。
例えば、変動指標導出部１３７４は、まず、複数のフレームのうちの第１フレームを、基準となるフレームとして決定する。次に、変動指標導出部１３７４は、第２フレームの複数の領域の中から、第１フレームの第１領域に対応する領域を特定する。他のフレームについても同様の処理を繰り返す。また、第１フレームの第２領域についても同様の処理を繰り返す。これにより、フレーム間における計算単位の対応関係が決定される。次に、変動指標導出部１３７４は、フレーム間における計算単位の対応関係を考慮して、対応する計算単位同士の間で上述された統計処理を実行する。これにより、各計算単位における変動指標の値が導出される。
本実施形態において、画像生成部１３７６は、変動画像データ１３４０の各フレーム（変動画像と称される場合がある。）を生成する。画像生成部１３７６は、変動指標導出部１３７４が導出した複数の計算単位のそれぞれの変動指標の値と、予め定められた階調数とに基づいて、変動画像データ１３４０の各フレームを生成してよい。
一実施形態において、画像生成部１３７６は、複数の計算単位のそれぞれが変動画像の画素を構成するように、変動画像を生成する。例えば、画像生成部１３７６は、まず、動画データ１３２０の単一のフレーム（通常画像と称される場合がある。）における複数の計算単位の位置関係に基づいて、各計算単位の変動画像における位置を決定する。変動指標導出部１３７４は、通常画像における複数の計算単位の位置関係が反映されるように、変動画像における各計算単位の位置を決定してよい。
次に、変動指標導出部１３７４は、各計算単位の識別情報と、各計算単位の変動画像における位置を示す情報と、各計算単位における変動指標の値を示す情報とを対応付けて、変動画像データ１３４０の各フレームを生成する。変動指標の値を示す情報は、連続する数値を示す情報であってもよく、段階的な区分を示す情報であってもよい。変動画像の階調数が予め定められている場合、変動指標導出部１３７４は、変動画像の各画素における変動指標の値と、階調数とに基づいて、各画素の画素値を決定してよい。
変動指標導出部１３７４は、例えば、直接的に各種の変動度合いから変動指標を導出する（１次導出と称される場合がある）。変動指標導出部１３７４は、幾つかの導出された変動指標をもとに特徴や目的に応じた絞り込みフィルタ演算を用いて、新たな変動指標を生成してもよい（２次導出と称される場合がある）。上記のフィルタ演算としては、（ｉ）和、積、論理和のような論理計算、（ｉｉ）条件分岐などが例示される。上記のフィルタ演算の内容は、例えば、複数の変動指標のそれぞれの抽出根拠に基づいて決定される。複数の変動指標の抽出根拠としては、変動指標の算出に用いられたセンサーの種類、変動指標の算出に用いられた集計条件、変動指標の算出に用いられたＲＧＢ要素又は周波数などが例示される。既に算出された１次導出の結果に基づいて２次導出が実施されてもよく、既に算出された２次導出の結果に基づいてさらに２次導出が実施されてもよい。
２次導出の例としては、一実施形態において、カメラ１５４が極暗所を撮像する場合、例えば、１３０＞Ｂ＞Ｇ＞Ｒという条件を満たす画素を抽出することで、画像中の極暗所の領域が検出され得る。上記の極暗所の領域は、画像の全体であってもよく、画像の一部であってもよい。極暗所の領域では変動指標が小さく算出される傾向があることから、極暗所の領域における変動指標の値を補正するためのフィルタ演算処理が実行される。これにより、変動指標の導出精度が向上し得る。
他の実施形態において、カメラ１５４が光源及び太陽を撮像する場合、例えば、色＝ＡＬＬ２５５ ＡＮＤ 偏差＝０という条件を満たす画素を抽出することで、ホワイトアウトしている露光部分の画素が検出され得る。この場合において、変動指標を別の変動指標から重みをつけて代用することで精度が向上する。
さらに他の実施形態において、例えば、キーボードのタイピングによりユーザ端末１２０に微振動が生じている場合、カメラ１５４の振動により上記の標準偏差にも振動が現れる。この場合、例えば、前述のフィルタ演算の事例としては、２つの偏差の変動指標から積又はＡＮＤを算出することで変動指標を生成する。上記の２つの偏差としては、０．５秒と、０．１秒とが例示される。これにより、不要な振動による評価精度の低下が抑制され得る。
さらに他の実施形態において、画像生成部１３７６は、各計算単位に含まれる複数の画素のそれぞれが変動画像の画素を構成するように、変動画像を生成する。例えば、画像生成部１３７６は、まず、複数の計算単位のそれぞれに含まれる１以上の画素のそれぞれの画素値を決定する。画像生成部１３７６は、各計算単位における変動指標の値を、当該計算単位に含まれる画素のそれぞれにおける変動指標の値として決定してよい。
次に、変動指標導出部１３７４は、各画素の識別情報と、各画素の変動画像における位置を示す情報と、各画素における変動指標の値を示す情報とを対応付けて、変動画像データ１３４０の各フレームを生成する。変動指標の値を示す情報は、連続する数値を示す情報であってもよく、段階的な区分を示す情報であってもよい。変動画像の階調数が予め定められている場合、変動指標導出部１３７４は、変動画像の各画素における変動指標の値と、階調数とに基づいて、各画素の画素値を決定してよい。
上述されたとおり、物性情報取得部６１４が撮像方向の異なる複数の動画データ１３２０を取得する場合がある。この場合、変動指標導出部１３７４は、複数の動画データ１３２０のそれぞれに対応する変動画像データ１３４０を生成してよい。
本実施形態において、安全管理部１３７８は、表示領域１４２の安全性を評価する。安全管理部１３７８は、ユーザ２２とは異なる第三者による出力画像の閲覧可能性の程度を導出することで、表示領域１４２の安全性を評価してよい。
安全管理部１３７８は、例えば、表示領域１４２がカメラ１５４の撮像位置に配された場合における、表示領域１４２の安全性を評価する。安全管理部１３７８は、表示領域１４２の設置方向がカメラ１５４の撮像方向と略一致するように、表示領域１４２がカメラ１５４の撮像位置に配された場合における、表示領域１４２の安全性を評価してもよい。安全管理部１３７８は、例えば、表示領域１４２に表示される情報が漏洩するリスクが小さいほど、表示領域１４２の安全性が高いと判定する。表示領域１４２の安全性としては、表示領域１４２の設置位置の安全性、表示領域１４２の設置位置及び設置方向の安全性などが例示される。表示領域１４２が筐体１３０に収容される場合、表示領域１４２の安全性は、ユーザ端末１２０の安全性を意味してよい。
本実施形態において、安全管理部１３７８は、変動指標導出部１３７４が導出した変動指標、又は、画像生成部１３７６が生成した変動画像を利用して表示領域１４２の安全性を評価する点で、安全管理部６４０と相違する。安全管理部１３７８は、上記の相違点を除き、安全管理部６４０と同様の構成を有してよい。安全管理部１３７８の詳細は後述される。
変動画像データ１３４０の各フレームは、変動画像の一例であってよい。画像生成部１３７６は、変動画像生成部の一例であってよい。安全管理部１３７８は、閲覧可能性導出部の一例であってよい。
図１４は、変動画像データ１３４０の生成処理の一例を概略的に示す。本実施形態においては、物性情報取得部６１４がリングバッファ１４７２を備え、動画データ１３２０に含まれる各フレームのデータがリングバッファ１４７２の複数のキューのそれぞれに順番に格納される。
本実施形態において、変動指標導出部１３７４は、例えば、通常画像であるフレーム１３２２からフレーム１３３２のデータが入力され、入力された複数のフレームの間における色及び／又は明るさの変動を示す指標（上述されたとおり変動指標と称される場合がある。）の値を導出する。また、画像生成部１３７６は、変動指標導出部１３７４が導出した変動指標の値に基づいて、変動画像であるフレーム１３４２のデータを生成する。同様に、変動指標導出部１３７４に、フレーム１３２４からフレーム１３３４のデータが入力され、画像生成部１３７６がフレーム１３４４を生成する。変動指標導出部１３７４及び画像生成部１３７６が同様の処理を繰り返すことで、変動画像データ１３４０が生成される。
なお、本実施形態においては、説明を簡単にすることを目的として、変動指標導出部１３７４に、フレーム１３２２からフレーム１３３２までの各フレームの全領域の画素の画素値が入力され、画像生成部１３７６が、当該全領域に対応するフレーム１３４２を生成する場合を例として、変動画像データ１３４０の生成処理の一例が説明された。しかしながら、変動画像データ１３４０の生成処理は、本実施形態に限定されない。
他の実施形態において、変動指標導出部１３７４に各フレームの一部の領域の画素の画素値が入力され、画像生成部１３７６が当該一部の領域に対応するフレームを生成する。変動指標導出部１３７４に入力され、変動画像の生成処理の対象となる通常画像（対象画像と称される場合がある。）としては、図１２に関連して説明された複数の単位画像１２４０のそれぞれなどが例示される。
図１５は、変動指標導出部１３７４の内部構成の一例を概略的に示す。図１５を用いて、変動指標導出部１３７４に入力された複数のフレームが撮像された期間中にカメラ１５４が移動した場合における補正処理の一例が説明される。本実施形態において、変動指標導出部１３７４は、変動指標算出部１５２２と、移動具合決定部１５２４と、補正部１５２６とを備える。
本実施形態において、変動指標算出部１５２２は、例えば、対象画像となる複数のフレームのデータが入力され、対象画像に含まれる複数の計算単位のそれぞれについて変動指標の値を算出する。変動指標算出部１５２２は、図１３及び図１４に関連して説明された手順と同様の手順に従って、変動指標の値を算出してよい。
本実施形態において、移動具合決定部１５２４は、上記の複数のフレームが撮像された期間中におけるカメラ１５４の移動の程度（移動具合と称される場合がある。）を決定する。移動具合としては、移動の方向及び移動の量が例示される。例えば、移動具合決定部１５２４は、動画データ１３２０を解析し、上記の複数のフレームの間における画像中の特徴点の移動具合に基づいて、当該動画データ１３２０を撮像したカメラ１５４の移動具合を決定する。
本実施形態において、補正部１５２６は、移動具合決定部１５２４が決定したカメラ１５４の移動具合に基づいて、複数の計算単位のそれぞれの変動指標の値を補正する。例えば、補正部１５２６は、移動具合決定部１５２４が決定した移動具合に基づいて、上記の期間中にカメラ１５４が移動したか否かを判定する。
上記の期間中にカメラ１５４が移動していないと判定された場合、補正部１５２６は、補正が不要であると判定する。この場合、変動指標導出部１３７４は、変動指標算出部１５２２が算出した値を、変動指標の値として出力する。
一方、上記の期間中にカメラ１５４が移動したと判定された場合、補正部１５２６は、補正が必要であると判定する。例えば、補正部１５２６は、まず、変動指標導出部１３７４に入力された複数のフレームの間における計算単位の対応関係を決定する。次に、補正部１５２６は、フレーム間における計算単位の対応関係を考慮して、対応する計算単位同士の間で上述された統計処理を実行し。各計算単位における変動指標の値を算出する。この場合、変動指標導出部１３７４は、補正部１５２６が算出した値を、変動指標の値として出力する。
（別実施形態の一例）
本実施形態においては、変動指標算出部１５２２と、補正部１５２６とが変動指標の値を算出する場合を例として、補正処理の一例が説明された。しかしながら、補正処理は本実施形態に限定されない。
他の実施形態において、変動指標算出部１５２２が、カメラ１５４の移動の有無に応じて、統計処理の対象となるフレームごとの計算単位を決定してよい。例えば、変動指標算出部１５２２が変動指標を算出する前に、補正部１５２６が補正の要否を判定する。補正が不要であると判定された場合、変動指標算出部１５２２は、各フレームの同一の位置に配された複数の計算単位の間で統計処理を実行する。一方、補正が必要であると判定された場合、変動指標算出部１５２２は、カメラ１５４の移動具合を考慮して、複数のフレームの間における計算単位の対応関係を決定する。変動指標算出部１５２２は、対応関係にある複数の計算単位の間で統計処理を実行する。
図１６、図１７、図１８及び図１９を用いて、安全管理部１３７８の詳細が説明される。図１６は、安全管理部１３７８の内部構成の一例を概略的に示す。図１７は、安全管理部１３７８における情報処理の一例を概略的に示す。図１８は、マーカが写り込んだ通常画像である二次元画像１８００の一例を概略的に示す。図１９は、複数の変動画像が合成されたパノラマ画像１９００の一例を概略的に示す。
図１６は、安全管理部１３７８の内部構成の一例を概略的に示す。本実施形態において、安全管理部１３７８は、例えば、導出手順決定部１１３０と、指標値導出部１１４０と、評価部１１５０と、評価対象決定部１６２０とを備える。本実施形態において、評価対象決定部１６２０は、例えば、変動画像取得部１６２２と、結合画像生成部１６２４と、単位画像抽出部１６２６と、マーカ検出部１６３２と、画素値変更部１６３４と、撮像位置決定部１６３６と、撮像方向決定部１６３８とを有する。
安全管理部１３７８は、評価対象決定部１６２０を備える点で、安全管理部６４０と相違する。上記の相違点を除き、安全管理部１３７８は、安全管理部６４０と同様の構成を有してよい。
上述されたとおり、表示領域１４２と、カメラ１５４とが同一の筐体１３０に収容されている場合、カメラ１５４の撮像位置は、表示領域１４２又はユーザ端末１２０の設置位置と略一致する。同様に、カメラ１５４の撮像方向は、表示領域１４２又はユーザ端末１２０の設置方向と略一致する。
本実施形態において、評価対象決定部１６２０は、変動画像データ１３４０の中から、安全性に関する評価の対象となる対象画像を決定する。上述されたとおり、対象画像は変動画像データ１３４０に含まれるフレーム全体であってもよく、当該フレームの一部であってもよい。
本実施形態において、変動画像取得部１６２２は、画像生成部１３７６が生成した１以上の変動画像を取得する。カメラ１５４が撮像方向の異なる複数の動画を撮像している場合、変動画像取得部１６２２は、当該複数の動画のそれぞれに関する複数の変動画像を取得してよい。
本実施形態において、結合画像生成部１６２４は、画像生成部１３７６が生成した複数の変動画像をパノラマ合成して、結合画像を生成する。図１９に関連して説明されたパノラマ画像１９００は、結合画像の一例であってよい。
本実施形態において、単位画像抽出部１６２６は、変動画像又は結合画像の中から、評価対象となる１以上の単位画像を抽出する。各単位画像は、表示領域１４２が特定の位置に特定の向きに配置された場合における表示領域１４２の視野角に相当する。単位画像抽出部１６２６は、上記の特定の向きが異なる複数の単位画像を抽出してよい。
本実施形態において、マーカ検出部１６３２は、変動画像の元となる動画に映り込んだマーカを検出する。上述されたとおり、マーカは、閲覧可能性の程度を示す情報を含んでよい。マーカは、閲覧可能性の程度を示す情報と、閲覧可能性の程度が適用される領域の大きさを示す情報とを含んでもよい。上述されたとおり、マーカとしては、ＡＲマーカ、ＱＲコード（登録商標）、バーコードなどが例示される。ＡＲマーカとしては、ＡｒＵｃｏ、カメレオンコードなどが例示されるが、ＡＲマーカはこれらに限定されない。例えば、ＱＲコード（登録商標）及びバーコードが、ＡＲマーカとして利用されてよい。
本実施形態において、画素値変更部１６３４は、マーカ検出部１６３２がマーカを検出した場合に、変動画像の画素値を変更する。画素値変更部１６３４は、検出されたマーカにより示される情報に基づいて、変動画像の画素値を変更してよい。マーカがＱＲコード（登録商標）又はバーコードである場合、画素値変更部１６３４は、マーカの識別情報と、当該マーカが検出された場合における情報処理の内容とを対応付けて格納するデータベースを参照して、検出されたマーカにより示される情報を取得してよい。
例えば、画素値変更部１６３４は、通常画像の複数の領域のうちマーカが映り込んだ領域に対応する変動指標の値を、マーカにより示される閲覧可能性の程度を示す情報に基づいて決定する。検出されたマーカにより閲覧可能性の程度が適用される領域の大きさが示される場合、画素値変更部１６３４は、当該マーカにより示される情報に基づいて、通常画像の複数の領域のうち、閲覧可能性の程度が適用される領域を特定してよい。画素値変更部１６３４は、変動画像又は単位画像において上記の領域に対応する領域に含まれる画素の画素値を、検出されたマーカにより示される閲覧可能性の程度を示す情報に基づいて決定する。例えば、画素値変更部１６３４は、変動画像又は単位画像における上記の画素の画素値を検出されたマーカにより示される閲覧可能性の程度に対応する値に変更する。
本実施形態において、撮像位置決定部１６３６は、対象画像の撮像位置を決定する。撮像位置決定部１６３６は、例えば、撮像条件データ１３１０に基づいて、対象画像の撮像位置を決定する。
本実施形態において、撮像方向決定部１６３８は、対象画像の撮像方向を決定する。対象画像の中心点と、当該対象画像の抽出元となる変動画像におけるカメラ１５４の光軸の位置とが一致する場合、撮像方向決定部１６３８は、例えば、撮像条件データ１３１０に基づいて、対象画像の撮像方向を決定する。一方、対象画像の中心点と、当該対象画像の抽出元となる変動画像におけるカメラ１５４の光軸の位置とが一致しない場合、撮像位置決定部１６３６は、例えば、当該対象画像の抽出元となる変動画像におけるカメラ１５４の光軸の位置と、当該対象画像の抽出元となる変動画像における当該対象画像の中心点の位置と、カメラ１５４の焦点距離と、撮像条件データ１３１０とに基づいて、対象画像の撮像方向を決定する。
本実施形態において、評価部１１５０は、表示領域１４２が、カメラ１５４が動画を撮像した位置に配された場合における、カメラ１５４のユーザとは異なる第三者による出力画像の閲覧可能性の程度を導出する。閲覧可能性の程度は、安全性を示す指標の一例であってよい。
本実施形態において、評価部１１５０は、変動指標導出部１３７４が導出した複数の領域のそれぞれの変動指標の値に基づいて、上記の閲覧可能性の程度を示す評価値を導出する。評価対象決定部１６２０が評価対象として決定した対象画像の画素値は、変動指標導出部１３７４が導出した複数の領域のそれぞれの変動指標の値を示す。
そこで、本実施形態において、評価部１１５０は、対象画像に基づいて上記の閲覧可能性の程度を導出する。評価部１１５０は、複数の対象画像のそれぞれについて、上記の閲覧可能性の程度を示す評価値を導出してよい。
一実施形態において、上述されたとおり、対象画像は、撮像方向の異なる複数の変動画像又は単位画像であり得る。これにより、複数の撮像方向のそれぞれにおける閲覧可能性の程度を示す評価値が導出され得る。
他の実施形態において、対象画像は、ユーザ２２がカメラ１５４を連続して利用している期間中の複数の時点における変動画像又は単位画像であり得る。これにより、評価部１１５０は、ユーザ２２がユーザ端末１２０を利用している期間中、ユーザ端末１２０の安全性を監視することができる。
評価部１１５０は、複数の領域のそれぞれの変動指標の値に基づいて、現実空間における各領域に対応する位置から出力画像が閲覧される可能性の程度を示す指標である閲覧指標の値を、複数の領域のそれぞれについて算出してよい。評価部１１５０は、複数の領域のそれぞれに関する閲覧指標の値に基づいて、閲覧可能性の程度を示す評価値を導出してよい。一実施形態において、評価部１１５０は、複数の領域のそれぞれに関する閲覧指標の値を合計することで、閲覧可能性の程度を示す評価値を導出する。他の実施形態において、評価部１１５０は、特定の領域に近接する複数の領域のそれぞれに関する閲覧指標の値の平均値（各領域の閲覧指標の値の合計を、領域の個数で割った値である。）を算出することで、閲覧可能性の程度を示す評価値を導出する。
一実施形態において、評価部１１５０は、変動指標の値が大きな領域の閲覧指標の値が、変動指標の値が小さな領域の閲覧指標の値よりも大きくなるように、上記の閲覧指標の値を算出する。他の実施形態において、評価部１１５０は、動画におけるカメラ１５４の光軸の位置に近い領域の閲覧指標の値が、動画におけるカメラ１５４の光軸の位置から遠い領域の閲覧指標の値よりも大きくなるように、上記の閲覧指標の値を算出する。さらに他の実施形態において、評価部１１５０は、水平線に近い領域の閲覧指標の値が、水平線に遠い領域の閲覧指標の値よりも大きくなるように、上記の閲覧指標の値を算出する。
図１７は、安全管理部１３７８における情報処理の一例を概略的に示す。図１７を用いて、安全管理部１３７８が表示領域１４２の安全性を評価する手順の一例が説明される。上述されたとおり、安全管理部１３７８は、変動指標導出部１３７４が導出した変動指標、又は、画像生成部１３７６が生成した変動画像を利用して、表示領域１４２の安全性を評価する
本実施形態によれば、まず、Ｓ１７２２において、安全管理部１３７８は、１以上の変動画像と、各変動画像に対応する撮像位置及び撮像方向とを取得する。例えば、安全管理部１３７８は、変動画像データ１３４０と、変動画像データ１３４０の元となる動画データ１３２０が撮像された時の撮像条件を示す撮像条件データ１３１０を取得する。
次に、Ｓ１７２４において、安全管理部１３７８は、変動画像の画素値を変更するためのイベントの有無を判定する。変動画像の画素値を変更するためのイベントが検出された場合、安全管理部１３７８は、検出されたイベントに応じて、変動画像の画素値を変更する。
変動画像の画素値を変更するためのイベントとしては、変動画像データ１３４０に含まれるフレームの元となる動画データ１３２０のフレームに、予め定められた種類のマーカが検出されたことが例示される。例えば、安全管理部１３７８は、動画データ１３２０のフレームを解析して、予め定められた種類のマーカの有無を判定する。上記のマーカとしては、ＡＲマーカ、ＱＲコード（登録商標）、バーコードなどが例示される。ＡＲマーカとしては、ＡｒＵｃｏ、カメレオンコードなどが例示されるが、ＡＲマーカはこれらに限定されない。上述されたとおり、例えば、ＱＲコード（登録商標）及びバーコードが、ＡＲマーカとして利用されてよい。
本実施形態におよれば、マーカは、当該マーカが付された位置若しくは当該マーカが付された物体の安全性の程度を示す情報を含む、又は、当該安全性の程度を示す情報と対応付けられた情報（例えば、マーカの識別情報である。）を含む。マーカは、当該マーカの効力が及ぶ範囲に関する情報を含んでもよく、当該マーカの効力が及ぶ範囲に関する情報と対応付けられた情報（例えば、マーカの識別情報である。）を含んでもよい。
これにより、安全管理部１３７８は、動画データ１３２０のフレーム中に検出されたマーカが付された位置若しくは当該マーカが付された物体の安全性の程度を示す情報を取得することができる。安全管理部１３７８は、マーカの識別情報と、当該マーカが付された位置若しくは当該マーカが付された物体の安全性の程度を示す情報と、当該マーカの効力が及ぶ範囲に関する情報とが対応付けられたデータベースを参照することで、各種の情報を取得してもよい。
安全管理部１３７８は、通常画像においてマーカが検出された計算単位又は画素の位置と、当該マーカにより示される安全性の程度とに基づいて、変動画像の対応する画素の画素値を変更する。これにより、ユーザ２２は、現実に即した適切な場所に、ユーザ端末１２０を設置することができる。
例えば、ガラス窓は光を透過させたり、光を反射したりするので、変動画像において、通常画像のガラス窓に対応する画素の変動指標の値は比較的大きくなる。しかしながら、外部から室内を覗き見られる可能性が小さい場合、現実世界のガラス窓に、安全性が高いことを示すマーカが付される。ガラス窓にマーカが付されていない場合、ユーザ２２は、当該ガラス窓を背にする位置でユーザ端末１２０を使用することができない。一方、ガラス窓にマーカが付されている場合、ユーザ２２は、当該ガラス窓を背にする位置でユーザ端末１２０を使用することができる。
次に、Ｓ１７２６において、安全管理部１３７８は、Ｓ１７２２において取得された１以上の変動画像の中から、安全性に関する評価の対象となる対象画像を抽出する。一実施形態において、安全管理部１３７８は、画像生成部１３７６が生成した単一の変動画像の全領域を対象画像として、当該対象画像に対応する位置及び／又は方向の安全性を評価する。他の実施形態において、安全管理部１３７８は、画像生成部１３７６が生成した単一の変動画像の一部の領域を対象画像として、当該対象画像に対応する位置及び／又は方向の安全性を評価する。変動画像の一部の領域としては、表示領域１４２の視野角に相当する領域が例示される。
次に、Ｓ１７２８において、安全管理部１３７８は、抽出された対象画像に対応する撮像位置及び撮像方向を決定する。例えば、安全管理部１３７８は、Ｓ１７２２において取得された撮像条件データ１３１０に基づいて、上記の撮像位置及び撮像方向を決定する。
次に、Ｓ１７３０において、安全管理部１３７８は、対象画像の安全性に関する評価値を決定する。また、安全管理部１３７８は、対象画像の安全性に関する評価値と、対象画像の撮像位置及び／又は撮像方向とを対応付けて出力する
図１８は、二次元画像１８００の一例を概略的に示す。図１８において、マーカ１８２２は、図１７のＳ１７２４に関連して説明されたマーカの一例を示す。また領域１８２４は、マーカ１８２２の効力が及ぶ範囲の一例を示す。
図１９は、パノラマ画像１９００の一例を概略的に示す。図１７のＳ１７２６に関連して説明されたとおり、安全管理部１３７８は、Ｓ１７２２において取得された１以上の変動画像の中から、安全性に関する評価の対象となる対象画像を抽出する。この場合において、安全管理部１３７８は、撮像方向の異なる通常画像から生成された複数の変動画像を合成して、単一の合成画像を生成してよい。
例えば、安全管理部１３７８は、上記の複数の変動画像を合成してパノラマ画像１９００を生成する。図１９に示された例によれば、変動画像１９２０、変動画像１９２２、変動画像１９２４、変動画像１９２６及び変動画像１９２８により、単一のパノラマ画像１９００が合成される。
安全管理部１３７８は、パノラマ画像１９００の中から、表示領域１４２の視野角に相当する領域を示す画像（単位画像と称される場合がある。）を抽出し、当該単位画像を対象画像として決定してよい。安全管理部１３７８は、抽出される単位画像１９４０の中心１９４２の位置を、予め定められた点線１９５０に沿って左右方向又は上下方向にずらしていくことで、複数の単位画像１９４０を対象画像として抽出してよい。
（別実施形態の一例）
他の実施形態において、パノラマ画像１９００は、定期的にリフレッシュされてよい。例えば、予め定められた時間間隔で新たなパノラマ画像１９００が生成される。この場合において、新たなパノラマ画像１９００を生成するためのガイド処理が実行されてよい。これにより、現実世界の最新の情報がパノラマ画像１９００に反映される。その結果、安全性に関する評価精度が向上する。
図１９に関連して説明された実施形態においては、制御装置１７０が、撮像方向の異なる通常画像から生成された複数の変動画像を合成して、単一の合成画像（上述されたパノラマ画像である。）を生成する処理（パノラマ化と称される場合がある。）を実行する場合を例として、撮像装置の画角を仮想的に拡張する技術（画角拡張技術と称される場合がある。）の一例が説明された。上記の複数の通常画像又は変動画像のそれぞれは、カレント画像と称される場合がある。
しかしながら、画角拡張技術は、本実施形態に限定されない。カレント画像の画角拡張技術の他の実施形態としては、電磁波及び／又は音波のｎ次反射（ｎは、２以上の整数である。）をカレント画像から検出し、画角の外に存在する物体の揺らぎ、動態変化などを検出することが例示される。例えば、画像の被写体の表面が光を反射しやすい場合、当該画像を撮像した撮像装置の背後に存在する物体が当該被写体の表面に写り込む。制御装置１７０は、上記の被写体の表面に写り込む光又は影の揺らぎを解析することで、撮像装置の画角の外に配された物体の動きを検出することができる。電磁波及び／又は音波を反射しやすい表面を有する物体としては、鏡、ガラス窓、ホワイトボード、指向性反射特性の高い壁、電源ＯＦＦ状態のＴＶ画面、冷蔵庫などが例示される。制御装置１７０は、画像を解析して被写体の境界を検出する処理、及び／又は、検出された被写体の種類を特定する処理若しくは当該被写体が反射性の表面を有するか否かを判定する処理を実行してもよい。
例えば、制御装置１７０は、撮像装置の画角内に存在している物体の表面に写り込む光又は影のｎ次反射の揺らぎ度合いに注目する。ｎ次反射光の揺らぎ度合いの変化が大きい場合、制御装置１７０は、撮像装置の周辺（例えば、撮像装置の画角の外である。）に動体が存在すると判断して、安全性の程度が小さいと判定してよい。
より具体的には、制御装置１７０は、まず、表示領域の周辺を撮像する撮像装置から動画データを取得する。次に、制御装置１７０は、動画データを解析して、変動画像を生成する。次に、制御装置１７０は、変動画像を解析して、変動指標の値が予め定められた値よりも大きい画素又は領域を抽出する。制御装置１７０は、上記の画素又は領域が、反射性の表面を有する物体に対応する画素又は領域であるか否かを判定する。上記の画素又は領域が、反射性の表面を有する物体に対応する画素又は領域である場合、制御装置１７０は、当該画素又は領域は撮像装置の画角外に対応すると判定する。これにより、制御装置１７０は、撮像装置の画角外に存在している動体を検出することができる。
評価部１１５０は、閲覧可能性導出部の一例であってよい。
図２０は、本発明の複数の態様が全体的又は部分的に具現化されてよいコンピュータ３０００の一例を示す。情報漏洩抑制システム１００の少なくとも一部は、コンピュータ３０００により実現されてよい。例えば、ユーザ端末１２０の少なくとも一部が、コンピュータ３０００又はその一部により実現される。例えば、ユーザ端末１２０の少なくとも一部が、制御装置１７０が、コンピュータ３０００又はその一部により実現される。
コンピュータ３０００にインストールされたプログラムは、コンピュータ３０００に、本発明の実施形態に係る装置に関連付けられるオペレーション又は当該装置の１又は複数の「部」として機能させ、又は当該オペレーション又は当該１又は複数の「部」を実行させることができ、及び／又はコンピュータ３０００に、本発明の実施形態に係るプロセス又は当該プロセスの段階を実行させることができる。そのようなプログラムは、コンピュータ３０００に、本明細書に記載のフローチャート及びブロック図のブロックのうちのいくつか又はすべてに関連付けられた特定のオペレーションを実行させるべく、ＣＰＵ３０１２によって実行されてよい。
本実施形態によるコンピュータ３０００は、ＣＰＵ３０１２、ＲＡＭ３０１４、ＧＰＵ３０１６、及びディスプレイデバイス３０１８を含み、それらはホストコントローラ３０１０によって相互に接続されている。コンピュータ３０００はまた、通信インタフェース３０２２、ハードディスクドライブ３０２４、ＤＶＤ－ＲＯＭドライブ３０２６、及びＩＣカードドライブのような入出力ユニットを含み、それらは入出力コントローラ３０２０を介してホストコントローラ３０１０に接続されている。コンピュータはまた、ＲＯＭ３０３０及びキーボード３０４２のようなレガシの入出力ユニットを含み、それらは入出力チップ３０４０を介して入出力コントローラ３０２０に接続されている。
ＣＰＵ３０１２は、ＲＯＭ３０３０及びＲＡＭ３０１４内に格納されたプログラムに従い動作し、それにより各ユニットを制御する。ＧＰＵ３０１６は、ＲＡＭ３０１４内に提供されるフレームバッファ等又はそれ自体の中に、ＣＰＵ３０１２によって生成されるイメージデータを取得し、イメージデータがディスプレイデバイス３０１８上に表示されるようにする。
通信インタフェース３０２２は、ネットワークを介して他の電子デバイスと通信する。ハードディスクドライブ３０２４は、コンピュータ３０００内のＣＰＵ３０１２によって使用されるプログラム及びデータを格納する。ＤＶＤ－ＲＯＭドライブ３０２６は、プログラム又はデータをＤＶＤ－ＲＯＭ３００１から読み取り、ハードディスクドライブ３０２４にＲＡＭ３０１４を介してプログラム又はデータを提供する。ＩＣカードドライブは、プログラム及びデータをＩＣカードから読み取り、及び／又はプログラム及びデータをＩＣカードに書き込む。
ＲＯＭ３０３０はその中に、アクティブ化時にコンピュータ３０００によって実行されるブートプログラム等、及び／又はコンピュータ３０００のハードウエアに依存するプログラムを格納する。入出力チップ３０４０はまた、様々な入出力ユニットをパラレルポート、シリアルポート、キーボードポート、マウスポート等を介して、入出力コントローラ３０２０に接続してよい。
プログラムが、ＤＶＤ－ＲＯＭ３００１又はＩＣカードのようなコンピュータ可読記憶媒体によって提供される。プログラムは、コンピュータ可読記憶媒体から読み取られ、コンピュータ可読記憶媒体の例でもあるハードディスクドライブ３０２４、ＲＡＭ３０１４、又はＲＯＭ３０３０にインストールされ、ＣＰＵ３０１２によって実行される。これらのプログラム内に記述される情報処理は、コンピュータ３０００に読み取られ、プログラムと、上記様々なタイプのハードウエアリソースとの間の連携をもたらす。装置又は方法が、コンピュータ３０００の使用に従い情報のオペレーション又は処理を実現することによって構成されてよい。
例えば、通信がコンピュータ３０００及び外部デバイス間で実行される場合、ＣＰＵ３０１２は、ＲＡＭ３０１４にロードされた通信プログラムを実行し、通信プログラムに記述された処理に基づいて、通信インタフェース３０２２に対し、通信処理を命令してよい。通信インタフェース３０２２は、ＣＰＵ３０１２の制御の下、ＲＡＭ３０１４、ハードディスクドライブ３０２４、ＤＶＤ－ＲＯＭ３００１、又はＩＣカードのような記録媒体内に提供される送信バッファ領域に格納された送信データを読み取り、読み取られた送信データをネットワークに送信し、又はネットワークから受信した受信データを記録媒体上に提供される受信バッファ領域等に書き込む。
また、ＣＰＵ３０１２は、ハードディスクドライブ３０２４、ＤＶＤ－ＲＯＭドライブ３０２６（ＤＶＤ－ＲＯＭ３００１）、ＩＣカード等のような外部記録媒体に格納されたファイル又はデータベースの全部又は必要な部分がＲＡＭ３０１４に読み取られるようにし、ＲＡＭ３０１４上のデータに対し様々なタイプの処理を実行してよい。ＣＰＵ３０１２は次に、処理されたデータを外部記録媒体にライトバックしてよい。
様々なタイプのプログラム、データ、テーブル、及びデータベースのような様々なタイプの情報が記録媒体に格納され、情報処理を受けてよい。ＣＰＵ３０１２は、ＲＡＭ３０１４から読み取られたデータに対し、本開示の随所に記載され、プログラムの命令シーケンスによって指定される様々なタイプのオペレーション、情報処理、条件判断、条件分岐、無条件分岐、情報の検索／置換等を含む、様々なタイプの処理を実行してよく、結果をＲＡＭ３０１４に対しライトバックする。また、ＣＰＵ３０１２は、記録媒体内のファイル、データベース等における情報を検索してよい。例えば、各々が第２の属性の属性値に関連付けられた第１の属性の属性値を有する複数のエントリが記録媒体内に格納される場合、ＣＰＵ３０１２は、当該複数のエントリの中から、第１の属性の属性値が指定されている条件に一致するエントリを検索し、当該エントリ内に格納された第２の属性の属性値を読み取り、それにより予め定められた条件を満たす第１の属性に関連付けられた第２の属性の属性値を取得してよい。
上で説明したプログラム又はソフトウエアモジュールは、コンピュータ３０００上又はコンピュータ３０００近傍のコンピュータ可読記憶媒体に格納されてよい。また、専用通信ネットワーク又はインターネットに接続されたサーバシステム内に提供されるハードディスク又はＲＡＭのような記録媒体が、コンピュータ可読記憶媒体として使用可能であり、それにより、上記のプログラムを、ネットワークを介してコンピュータ３０００に提供する。
以上、本発明を実施の形態を用いて説明したが、本発明の技術的範囲は上記実施の形態に記載の範囲には限定されない。上記実施の形態に、多様な変更または改良を加えることが可能であることが当業者に明らかである。また、技術的に矛盾しない範囲において、特定の実施形態について説明した事項を、他の実施形態に適用することができる。その様な変更または改良を加えた形態も本発明の技術的範囲に含まれ得ることが、特許請求の範囲の記載から明らかである。
特許請求の範囲、明細書、および図面中において示した装置、システム、プログラム、および方法における動作、手順、ステップ、および段階等の各処理の実行順序は、特段「より前に」、「先立って」等と明示しておらず、また、前の処理の出力を後の処理で用いるのでない限り、任意の順序で実現しうることに留意すべきである。特許請求の範囲、明細書、および図面中の動作フローに関して、便宜上「まず、」、「次に、」等を用いて説明したとしても、この順で実施することが必須であることを意味するものではない。
例えば、本願明細書には下記の事項が開示されている。
（項目Ａ１）
画像出力装置の出力する出力画像が表示される表示領域の周辺の状態を示す周辺状態情報を取得する周辺状態取得部と、
上記周辺状態取得部が取得した上記周辺状態情報により示される上記表示領域の周辺の状態に基づいて、上記画像出力装置のユーザとは異なる第三者による上記出力画像の閲覧可能性の程度を導出する閲覧可能性導出部と、
を備える、情報処理装置。
（項目Ａ２）
画像出力装置の出力する出力画像が表示される表示領域の周辺の状態を示す周辺状態情報を取得する周辺状態取得段階と、
上記周辺状態取得段階において取得された上記周辺状態情報により示される上記表示領域の周辺の状態に基づいて、上記画像出力装置のユーザとは異なる第三者による上記出力画像の閲覧可能性の程度を導出する閲覧可能性導出段階と、
を有する、情報処理方法。
（項目Ｂ１）
複数のフレームを含む動画のデータを取得する動画取得部と、
（ａ）上記動画の各フレームを予め定められた複数の領域に区分し、（ｂ）上記複数の領域のそれぞれについて、各領域に含まれる画素の画素値に基づいて、上記複数のフレームの間における各領域の色及び／又は明るさの変動を示す指標である変動指標の値を導出する変動指標導出部と、
を備え、
上記複数の領域のそれぞれは、１以上の画素を含む、
画像処理装置。
（項目Ｂ２）
複数のフレームを含む動画のデータを取得する動画取得段階と、
（ａ）上記動画の各フレームを予め定められた複数の領域に区分し、（ｂ）上記複数の領域のそれぞれについて、各領域に含まれる画素の画素値に基づいて、上記複数のフレームの間における各領域の色及び／又は明るさの変動を示す指標である変動指標の値を導出する変動指標導出段階と、
を有し、
上記複数の領域のそれぞれは、１以上の画素を含む、
画像処理方法。
（項目Ｃ１）
画像出力装置の出力する出力画像が表示される表示領域の周辺に配された１以上の物体を被写体とする画像の画像データ、又は、上記１以上の物体の三次元点群データ若しくは距離データである周辺データを取得する周辺データ取得部と、
上記周辺データ取得部が取得した上記周辺データを解析して、上記１以上の物体のそれぞれと、上記表示領域との位置関係を決定する物体位置決定部と、
上記物体位置決定部が決定した上記位置関係に基づいて、上記画像出力装置のユーザとは異なる第三者による上記出力画像の閲覧可能性の程度を導出する閲覧可能性導出部と、
を備える、情報処理装置。
（項目Ｃ２）
画像出力装置の出力する出力画像が表示される表示領域の周辺に配された１以上の物体を被写体とする画像の画像データ、又は、上記１以上の物体の三次元点群データ若しくは距離データである周辺データを取得する周辺データ取得段階と、
上記周辺データ取得段階において取得された上記周辺データを解析して、上記１以上の物体のそれぞれと、上記表示領域との位置関係を決定する物体位置決定段階と、
上記物体位置決定段階において決定された上記位置関係に基づいて、上記画像出力装置のユーザとは異なる第三者による上記出力画像の閲覧可能性の程度を導出する閲覧可能性導出段階と、
を有する、情報処理方法。
２２ ユーザ
３２ 第三者
３４ 第三者
１００ 情報漏洩抑制システム
１２０ ユーザ端末
１３０ 筐体
１４０ 表示装置
１４２ 表示領域
１５０ 環境センサ
１５２ 周辺データ生成装置
１５４ カメラ
１５６ 照度センサ
１６０ 入力装置
１７０ 制御装置
２４０ 代表点
２４２ 法線ベクトル
２４４ ベクトル
２４６ ベクトル
２５０ 代表点
２５２ 光軸
２５４ ベクトル
２５６ ベクトル
３００ 作業部屋
３１２ 壁
３１４ 壁
３１６ 壁
３１８ 壁
３２０ 床
３２２ ガラス窓
３３０ 遮蔽物
３４２ マーカ
３４４ マーカ
３４６ マーカ
６１０ 周辺状態取得部
６１２ 構造情報取得部
６１４ 物性情報取得部
６１６ 環境情報取得部
６１８ 属性情報取得部
６２２ 起動検知部
６２４ 計時部
６３０ 仮想空間構築部
６４０ 安全管理部
６５２ 配置決定部
６５４ 配置支援部
６６０ 出力制御部
６７０ 格納部
７１２ 三次元点群取得部
７１４ 距離画像取得部
７１６ ステレオ画像取得部
７１８ 二次元画像取得部
８１０ データ変換部
８１２ マーカ位置決定部
８１４ 点群生成部
８２０ 物体位置決定部
８３０ 第１計算部
８３２ 点群データ取得部
８３４ 距離算出部
８３６ 角度算出部
８４０ 第２計算部
８４２ 端部検出部
８４４ 遮蔽角算出部
９１０ 点群
９２４ ベクトル
９２６ ベクトル
１０２０ 遮蔽物
１０２２ マーカ
１０２４ マーカ
１０４０ 遮蔽物
１０４２ マーカ
１０４４ マーカ
１１３０ 導出手順決定部
１１３２ 指標設定部
１１３４ 評価設定部
１１４０ 指標値導出部
１１４２ 第１指標導出部
１１４４ 第２指標導出部
１１４６ 第３指標導出部
１１４８ 第４指標導出部
１１５０ 評価部
１２００ 画像
１２４０ 単位画像
１２４２ 中心
１２５０ 点線
１３１０ 撮像条件データ
１３２０ 動画データ
１３２２ フレーム
１３２４ フレーム
１３３２ フレーム
１３３４ フレーム
１３４０ 変動画像データ
１３４２ フレーム
１３４４ フレーム
１３７４ 変動指標導出部
１３７６ 画像生成部
１３７８ 安全管理部
１４７２ リングバッファ
１５２２ 変動指標算出部
１５２４ 移動具合決定部
１５２６ 補正部
１６２０ 評価対象決定部
１６２２ 変動画像取得部
１６２４ 結合画像生成部
１６２６ 単位画像抽出部
１６３２ マーカ検出部
１６３４ 画素値変更部
１６３６ 撮像位置決定部
１６３８ 撮像方向決定部
１８００ 二次元画像
１８２２ マーカ
１８２４ 領域
１９００ パノラマ画像
１９２０ 変動画像
１９２２ 変動画像
１９２４ 変動画像
１９２６ 変動画像
１９２８ 変動画像
１９４０ 単位画像
１９４２ 中心
１９５０ 点線
３０００ コンピュータ
３００１ ＤＶＤ－ＲＯＭ
３０１０ ホストコントローラ
３０１２ ＣＰＵ
３０１４ ＲＡＭ
３０１６ ＧＰＵ
３０１８ ディスプレイデバイス
３０２０ 入出力コントローラ
３０２２ 通信インタフェース
３０２４ ハードディスクドライブ
３０２６ ＤＶＤ－ＲＯＭドライブ
３０３０ ＲＯＭ
３０４０ 入出力チップ
３０４２ キーボード

Claims (17)

  1. 画像出力装置の出力する出力画像が表示される表示領域の周辺の状態を示す周辺状態情報を取得する周辺状態取得部と、
    前記周辺状態取得部が取得した前記周辺状態情報により示される前記表示領域の周辺の状態に基づいて、前記画像出力装置のユーザとは異なる第三者による前記出力画像の閲覧可能性の程度を導出する閲覧可能性導出部と、
    を備え、
    前記閲覧可能性導出部は、
    前記閲覧可能性の程度に関連する複数の指標のそれぞれの値を導出する指標値導出部と、
    前記指標値導出部が導出した前記複数の指標の値に基づいて、前記閲覧可能性の程度を評価する評価部と、
    を有し、
    前記指標値導出部は、
    （ｉ）前記周辺状態取得部が取得した前記周辺状態情報により示される前記表示領域の周辺の状態、及び／又は、（ｉｉ）現在時刻若しくは現在時刻が属する時間帯に基づいて、前記複数の指標の種類を決定する、
    情報処理装置。
  2. 画像出力装置の出力する出力画像が表示される表示領域の周辺の状態を示す周辺状態情報を取得する周辺状態取得部と、
    前記周辺状態取得部が取得した前記周辺状態情報により示される前記表示領域の周辺の状態に基づいて、前記画像出力装置のユーザとは異なる第三者による前記出力画像の閲覧可能性の程度を導出する閲覧可能性導出部と、
    を備え、
    前記閲覧可能性導出部は、
    前記閲覧可能性の程度に関連する複数の指標のそれぞれの値を導出する指標値導出部と、
    前記指標値導出部が導出した前記複数の指標の値に基づいて、前記閲覧可能性の程度を評価する評価部と、
    を有し、
    前記評価部は、
    （ｉ）前記周辺状態取得部が取得した前記周辺状態情報により示される前記表示領域の周辺の状態、及び／又は、（ｉｉ）現在時刻若しくは現在時刻が属する時間帯に基づいて、前記複数の指標のそれぞれに設定される重みの値を決定し、
    前記指標値導出部が導出した前記複数の指標のそれぞれの値と、前記複数の指標のそれぞれに設定される前記重みの値とに基づいて、前記閲覧可能性の程度を評価する、
    情報処理装置。
  3. 画像出力装置の出力する出力画像が表示される表示領域の周辺の状態を示す周辺状態情報を取得する周辺状態取得部と、
    前記周辺状態取得部が取得した前記周辺状態情報により示される前記表示領域の周辺の状態に基づいて、前記画像出力装置のユーザとは異なる第三者による前記出力画像の閲覧可能性の程度を導出する閲覧可能性導出部と、
    を備え、
    前記閲覧可能性導出部は、
    前記閲覧可能性の程度に関連する複数の指標のそれぞれの値を導出する指標値導出部と、
    前記指標値導出部が導出した前記複数の指標の値に基づいて、前記閲覧可能性の程度を評価する評価部と、
    を有し、
    前記周辺状態取得部は、前記表示領域の前記周辺を撮像する撮像装置から、複数のフレームを含む動画のデータを取得する動画取得部を有し、
    前記指標値導出部は、前記複数の指標に含まれる第１指標の値を導出する第１指標導出部を有し、
    前記第１指標導出部は、（ａ）前記動画の各フレームを予め定められた複数の領域に区分し、（ｂ）前記複数の領域のそれぞれについて、当該領域に含まれる画素の画素値に基づいて、前記複数のフレームの間における当該領域の色及び／又は明るさの変動を示す指標である変動指標の値を、前記第１指標の値として導出する変動指標導出部を含み、
    前記複数の領域のそれぞれは、１以上の画素を含み、
    前記評価部は、前記変動指標導出部が導出した前記複数の領域のそれぞれの前記変動指標の値に基づいて、前記撮像装置が前記動画を撮像した位置に前記表示領域が配された場合における前記閲覧可能性の程度を評価する、
    情報処理装置。
  4. 前記評価部は、
    前記複数の領域のそれぞれの前記変動指標の値に基づいて、現実空間における各領域に対応する位置から前記出力画像が閲覧される可能性の程度を示す指標である閲覧指標の値を、前記複数の領域のそれぞれについて算出し、
    前記複数の領域のそれぞれに関する前記閲覧指標の値に基づいて、前記閲覧可能性の程度を評価する、
    請求項３に記載の情報処理装置。
  5. 前記評価部は、
    （ｉ）前記変動指標の値が大きな領域の前記閲覧指標の値が、前記変動指標の値が小さな領域の前記閲覧指標の値よりも大きくなるように、及び／又は、（ｉｉ）前記動画における前記撮像装置の光軸の位置に近い領域の前記閲覧指標の値が、前記動画における前記撮像装置の光軸の位置から遠い領域の前記閲覧指標の値よりも大きくなるように、
    前記閲覧指標の値を算出する、
    請求項４に記載の情報処理装置。
  6. 前記変動指標導出部が導出した前記複数の領域のそれぞれの前記変動指標の値と、予め定められた階調数とに基づいて、各領域又は各画素の前記変動指標の値の大きさを表す変動画像を生成する変動画像生成部、
    をさらに備える、
    請求項３に記載の情報処理装置。
  7. 前記動画取得部は、現実空間における特定の位置の周辺が撮像された動画であって、撮像方向の異なる複数の前記動画のデータを取得し、
    前記変動画像生成部は、前記複数の動画のそれぞれに関する複数の前記変動画像を生成し、
    前記情報処理装置は、
    前記変動画像生成部が生成した前記複数の変動画像をパノラマ合成して、結合画像を生成する結合画像生成部と、
    前記結合画像の中から、前記表示領域が前記特定の位置に特定の向きに配置された場合における前記表示領域の視野角に相当する画像である単位画像を抽出する単位画像抽出部と、
    をさらに備え、
    前記評価部は、前記単位画像における前記複数の領域のそれぞれの前記変動指標の値に基づいて、前記表示領域が前記特定の位置に特定の向きに配置された場合における前記閲覧可能性の程度を評価する、
    請求項６に記載の情報処理装置。
  8. 前記単位画像抽出部は、前記特定の向きが異なる複数の前記単位画像を抽出し、
    前記評価部は、前記複数の単位画像のそれぞれについて、前記閲覧可能性の程度を評価する、
    請求項７に記載の情報処理装置。
  9. 前記動画に映り込んだマーカを検出するマーカ検出部をさらに備え、
    前記マーカは、前記閲覧可能性の程度を示す情報を含み、
    前記複数の領域のうち、前記マーカが映り込んだ領域に対応する前記変動指標の値は、前記マーカにより示される前記閲覧可能性の程度を示す情報に基づいて決定される、
    請求項３に記載の情報処理装置。
  10. 前記マーカは、前記閲覧可能性の程度が適用される領域の大きさを示す情報をさらに含み、
    前記複数の領域のうち、前記マーカが映り込んだ領域に対応する前記変動指標の値は、前記マーカにより示される前記閲覧可能性の程度と、前記領域の大きさとに基づいて決定される、
    請求項９に記載の情報処理装置。
  11. 前記画像出力装置は、
    筐体と、
    前記筐体に配される前記表示領域と、
    前記筐体に配され、前記周辺状態情報を前記周辺状態取得部に出力する出力装置と、
    を備え、
    前記閲覧可能性導出部は、前記ユーザが前記画像出力装置を連続して利用している期間中の複数の時点における前記閲覧可能性の程度を導出する、
    請求項３に記載の情報処理装置。
  12. 情報処理装置であって、
    画像出力装置の出力する出力画像が表示される表示領域の周辺の状態を示す周辺状態情報を取得する周辺状態取得部と、
    前記周辺状態取得部が取得した前記周辺状態情報により示される前記表示領域の周辺の状態に基づいて、前記画像出力装置のユーザとは異なる第三者による前記出力画像の閲覧可能性の程度を導出する閲覧可能性導出部と、
    を備え、
    前記閲覧可能性導出部は、
    前記閲覧可能性の程度に関連する複数の指標のそれぞれの値を導出する指標値導出部と、
    前記指標値導出部が導出した前記複数の指標の値に基づいて、前記閲覧可能性の程度を評価する評価部と、
    を有し、
    前記周辺状態取得部は、前記表示領域の前記周辺に配された１以上の物体を被写体とする画像の画像データ、又は、前記１以上の物体の三次元点群データ若しくは距離データである周辺データを取得する周辺データ取得部を有し、
    前記情報処理装置は、
    前記周辺データ取得部が取得した前記周辺データを解析して、前記１以上の物体のそれぞれと、前記表示領域との位置関係を決定する物体位置決定部、
    をさらに備え、
    前記閲覧可能性導出部は、前記物体位置決定部が決定した前記位置関係に基づいて、前記閲覧可能性の程度を導出し、
    前記物体位置決定部は、
    前記周辺データ取得部が取得した前記周辺データに基づいて、前記１以上の物体のそれぞれについて、三次元点群データを取得する点群データ取得部と、
    前記表示領域の代表点と、前記点群データ取得部が取得した前記三次元点群データにより示される前記１以上の物体のそれぞれの表面に仮想的に配された複数の点のそれぞれとの距離を算出する距離算出部と、
    を有し、
    前記指標値導出部は、前記距離算出部が算出した前記複数の点のそれぞれに関する前記距離に基づいて、前記複数の指標に含まれる第２指標の値を導出する第２指標導出部を有し、
    前記第２指標導出部は、
    前記複数の点のそれぞれに関する前記距離に基づいて、各点が前記第三者による前記出力画像の閲覧を抑制する程度を示す指標である抑制指標の値を、前記複数の点のそれぞれについて導出し、
    前記複数の点のそれぞれに関する前記抑制指標の値を前記第２指標の値として出力し、
    前記評価部は、前記複数の点のそれぞれに関する前記抑制指標の値を合計することで、前記閲覧可能性の程度を評価する、
    情報処理装置。
  13. 画像出力装置の出力する出力画像が表示される表示領域の周辺の状態を示す周辺状態情報を取得する周辺状態取得部と、
    前記周辺状態取得部が取得した前記周辺状態情報により示される前記表示領域の周辺の状態に基づいて、前記画像出力装置のユーザとは異なる第三者による前記出力画像の閲覧可能性の程度を導出する閲覧可能性導出部と、
    を備え、
    前記閲覧可能性導出部は、
    前記閲覧可能性の程度に関連する複数の指標のそれぞれの値を導出する指標値導出部と、
    前記指標値導出部が導出した前記複数の指標の値に基づいて、前記閲覧可能性の程度を評価する評価部と、
    を有し、
    前記周辺状態取得部は、前記表示領域の前記周辺の環境の状況を示す環境情報を取得する環境情報取得部を有し、
    前記指標値導出部は、前記環境情報取得部が取得した前記環境情報により示される前記周辺の環境の状況に基づいて、前記複数の指標に含まれる第３指標の値を導出する第３指標導出部を有し、
    前記評価部は、
    前記閲覧可能性導出部は、前記第３指標の値に基づいて、前記閲覧可能性の程度を評価する、
    情報処理装置。
  14. 画像出力装置の出力する出力画像が表示される表示領域の周辺の状態を示す周辺状態情報を取得する周辺状態取得部と、
    前記周辺状態取得部が取得した前記周辺状態情報により示される前記表示領域の周辺の状態に基づいて、前記画像出力装置のユーザとは異なる第三者による前記出力画像の閲覧可能性の程度を導出する閲覧可能性導出部と、
    前記画像出力装置の起動、又は、前記画像出力装置の上で動作するＢＩＯＳ、ＯＳ若しくはアプリケーションプログラムの起動を検知する起動検知部と、
    閲覧可能性導出部が前記閲覧可能性の程度を導出するための手順である導出手順を決定する導出手順決定部と、
    を備え、
    前記導出手順決定部は、前記起動検知部が前記起動を検知してからの経過時間が予め定められた条件を満足する場合と、前記経過時間が前記予め定められた条件を満足しない場合とで前記導出手順が異なるように、前記導出手順を決定する、
    情報処理装置。
  15. 前記画像出力装置による画像の出力を制御する出力制御部をさらに備え、
    前記出力制御部は、前記閲覧可能性導出部が導出した前記閲覧可能性の程度が予め定められた程度を超えた場合、前記閲覧可能性の程度が予め定められた程度を超える前に表示されていた前記出力画像の出力を停止する、前記出力画像の明るさ若しくはコントラストを調整する、又は、前記出力画像とは異なる画像を前記表示領域に表示させる、
    請求項１に記載の情報処理装置。
  16. 前記画像出力装置による画像の出力を制御する出力制御部をさらに備え、
    前記出力制御部は、前記閲覧可能性導出部が導出した前記閲覧可能性の程度が予め定められた程度より小さい場合、前記出力画像の出力を許可する
    請求項１に記載の情報処理装置。
  17. コンピュータを、請求項１から請求項１６までの何れか一項に記載の情報処理装置として機能させるためのプログラム。
JP2022180608A 2022-11-10 2022-11-10 情報処理装置、画像処理装置、及び、プログラム Active JP7457774B1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022180608A JP7457774B1 (ja) 2022-11-10 2022-11-10 情報処理装置、画像処理装置、及び、プログラム
JP2024041703A JP2024075658A (ja) 2022-11-10 2024-03-15 情報処理装置、画像処理装置、及び、プログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2022180608A JP7457774B1 (ja) 2022-11-10 2022-11-10 情報処理装置、画像処理装置、及び、プログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
JP2024041703A Division JP2024075658A (ja) 2022-11-10 2024-03-15 情報処理装置、画像処理装置、及び、プログラム

Publications (2)

Publication Number Publication Date
JP7457774B1 true JP7457774B1 (ja) 2024-03-28
JP2024070165A JP2024070165A (ja) 2024-05-22

Family

ID=90367136

Family Applications (2)

Application Number Title Priority Date Filing Date
JP2022180608A Active JP7457774B1 (ja) 2022-11-10 2022-11-10 情報処理装置、画像処理装置、及び、プログラム
JP2024041703A Pending JP2024075658A (ja) 2022-11-10 2024-03-15 情報処理装置、画像処理装置、及び、プログラム

Family Applications After (1)

Application Number Title Priority Date Filing Date
JP2024041703A Pending JP2024075658A (ja) 2022-11-10 2024-03-15 情報処理装置、画像処理装置、及び、プログラム

Country Status (1)

Country Link
JP (2) JP7457774B1 (ja)

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276274A (ja) 2005-07-04 2008-11-13 Nec Corp 情報処理装置及び情報処理方法
JP2009080668A (ja) 2007-09-26 2009-04-16 Sky Kk 覗き見防止システム及び覗き見防止プログラム
JP2010122754A (ja) 2008-11-17 2010-06-03 Chugoku Electric Power Co Inc:The 情報処理装置における覗き見防止装置
JP2010128778A (ja) 2008-11-27 2010-06-10 Sony Ericsson Mobilecommunications Japan Inc 情報表示装置、情報表示装置の覗き見防止方法及び覗き見防止プログラム
JP2012027641A (ja) 2010-07-22 2012-02-09 Hitachi Omron Terminal Solutions Corp 表示画像制御ユニット、表示画像制御プログラム、および自動取引処理装置
JP2018194998A (ja) 2017-05-16 2018-12-06 富士通周辺機株式会社 情報処理装置及び情報処理方法
JP2019117483A (ja) 2017-12-27 2019-07-18 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、及びプログラム

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2008276274A (ja) 2005-07-04 2008-11-13 Nec Corp 情報処理装置及び情報処理方法
JP2009080668A (ja) 2007-09-26 2009-04-16 Sky Kk 覗き見防止システム及び覗き見防止プログラム
JP2010122754A (ja) 2008-11-17 2010-06-03 Chugoku Electric Power Co Inc:The 情報処理装置における覗き見防止装置
JP2010128778A (ja) 2008-11-27 2010-06-10 Sony Ericsson Mobilecommunications Japan Inc 情報表示装置、情報表示装置の覗き見防止方法及び覗き見防止プログラム
JP2012027641A (ja) 2010-07-22 2012-02-09 Hitachi Omron Terminal Solutions Corp 表示画像制御ユニット、表示画像制御プログラム、および自動取引処理装置
JP2018194998A (ja) 2017-05-16 2018-12-06 富士通周辺機株式会社 情報処理装置及び情報処理方法
JP2019117483A (ja) 2017-12-27 2019-07-18 キヤノンマーケティングジャパン株式会社 情報処理装置、制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2024070165A (ja) 2024-05-22
JP2024075658A (ja) 2024-06-04

Similar Documents

Publication Publication Date Title
KR102544062B1 (ko) 가상 이미지 표시 방법, 저장 매체 및 이를 위한 전자 장치
CN105659200B (zh) 用于显示图形用户界面的方法、设备和系统
CN106575154B (zh) 全息对象的智能透明度
US9747500B2 (en) Wearable retina/iris scan authentication system
US20180329213A1 (en) Measuring content brightness in head worn computing
US20210160441A1 (en) Parallax correction using cameras of different modalities
CN106327584B (zh) 一种用于虚拟现实设备的图像处理方法及装置
WO2016187477A1 (en) Virtual personification for augmented reality system
Tanaka et al. An information layout method for an optical see-through head mounted display focusing on the viewability
US20160049008A1 (en) Content presentation in head worn computing
CN102959616A (zh) 自然交互的交互真实性增强
US9535307B2 (en) Light shielding device, light shielding method, and program
JP2017505933A (ja) 実在の物体上に固定された仮想画像を生成する方法及びシステム
JP2009245338A (ja) 顔画像照合装置
AU2006252382A2 (en) Method and apparatus for displaying properties onto an object or life form
EP3617851B1 (en) Information processing device, information processing method, and recording medium
JPWO2016158001A1 (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
JP2013051477A (ja) 映像監視装置、映像監視方法およびプログラム
JP6221292B2 (ja) 集中度判定プログラム、集中度判定装置、および集中度判定方法
CN117274383A (zh) 视点预测方法及装置、电子设备和存储介质
JP7457774B1 (ja) 情報処理装置、画像処理装置、及び、プログラム
JP7472238B1 (ja) 情報処理装置、及び、プログラム
CN111856751B (zh) 具有低光操作的头戴式显示器
CN116452785A (zh) 一种线上vr展示方法、系统及计算机存储介质
JP2005149145A (ja) 物体検出装置、物体検出方法、およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20230221

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20231212

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20240208

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20240220

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20240315

R150 Certificate of patent or registration of utility model

Ref document number: 7457774

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150