JP7012182B1 - 出力制御プログラム、出力制御方法および端末装置 - Google Patents

Abstract

【課題】他者の情報を不正に入手しようとする行為を未然に防ぐ出力制御プログラム、出力制御方法及び端末装置を提供する。【解決手段】端末装置１０によって実行される出力制御プログラムであって、端末装置の撮像手段によって撮像された撮像画像から特定のオブジェクトを検出する検出手順Ｓ４０２と、検出手順により特定のオブジェクトが検出された場合Ｓ４０２Ｙｅｓには、検出された特定のオブジェクトが所定の条件を満たすか否かを判定する判定手順Ｓ４０３と、判定手順により所定の条件を満たすと判定された場合Ｓ４０３Ｙｅｓには、特定のオブジェクトに応じた所定の出力制御を実行する出力制御手順Ｓ４０４とを端末装置に実行させる。【選択図】図４

Description

本発明は、出力制御プログラム、出力制御方法および端末装置に関する。

従来、情報の漏えい、改ざん等を防ぐために、真正性の保証された利用者のみに操作を許可する技術が提案されている。

特開２０１７－９１２７６号公報

例えば、上記の従来技術では、生体認処理が成功した際の利用者の脈波である認証脈波と、利用者の顔画像から検出された顔脈波とを照合し、双方が合致したか否かに基づいて、機器（例えば、ＰＣ）に対する利用者の操作について所定の操作制御を行うという処理がなされている。

しかしながら、上記の従来技術のように操作制御するだけでは、操作者が機器に入力する様子を背後や隣から盗み見て、入力情報を得ようという所謂ショルダーハックを効果的に防止することができるとはいえない場合がある。

このようなことから、他者の情報を不正に入手ようとするショルダーハックに関する行為を未然に防ぐためのユーザインタフェースを提供することが求められる。

本願は、上記に鑑みてなされたものであって、他者の情報を不正に入手しようとする行為を未然に防ぐためのユーザインタフェースを提供することができる出力制御プログラム、出力制御方法および出力制御装置を提供することを目的とする。

本願に係る出力制御プログラムは、端末装置が実行する出力制御プログラムであって、前記端末装置の撮像手段によって撮像された撮像画像から特定のオブジェクトを検出する検出手順と、前記検出手順により特定のオブジェクトが検出された場合には、検出された特定のオブジェクトが所定の条件を満たすか否かを判定する判定手順と、前記判定手順により前記所定の条件を満たすと判定された場合には、前記特定のオブジェクトに応じた所定の出力制御を実行する出力制御手順とを端末装置に実行させることを特徴とする。

実施形態の一態様によれば、例えば、他者の情報を不正に入手しようとする行為を未然に防ぐためのユーザインタフェースを提供することができる。

図１は、実施形態に係る出力制御処理の具体例を示す図である。 図２は、実施形態に係る端末装置の構成例を示す図である。 図３は、実施形態に係る登録情報データベースの一例を示す図である。 図４は、実施形態に係る出力制御手順の一例を示すフローチャート（１）である。 図５は、実施形態に係る出力制御手順の一例を示すフローチャート（２）である。 図６は、実施形態に係る出力制御手順の一例を示すフローチャート（３－１）である。 図７は、実施形態に係る出力制御手順の一例を示すフローチャート（３－２）である。 図８は、端末装置の機能を実現するコンピュータの一例を示すハードウェア構成図である。

以下に、本願に係る出力制御プログラム、出力制御方法および端末装置を実施するための形態（以下、「実施形態」と呼ぶ）について図面を参照しつつ詳細に説明する。なお、この実施形態により本願に係る出力制御プログラム、出力制御方法および端末装置が限定されるものではない。また、以下の各実施形態において同一の部位には同一の符号を付し、重複する説明は省略する。

〔１．出力制御処理の概要〕
まず、実施形態に係る出力制御処理の概要について説明する。実施形態に係る出力制御処理は、撮像機能を有する端末装置１０によって実現される。

具体的には、端末装置１０は、実施形態に係る出力制御プログラムの制御に従って、出力制御処理を実行する。このような出力制御プログラムによれば、端末装置１０は、自装置が有する撮像手段（例えば、カメラ）の撮像領域内に複数の人物が映り込んだり、あるいは、未登録者が映り込んだりした場合、また、情報を不正入手しようとする行動やモノが映り込んだ場合には、ショルダーハックのリスクがあると判断する。そして、端末装置１０は、ショルダーハックを未然に防ぐことができるような情報が出力されるよう出力制御する。

なお、実施形態に係る出力制御プログラムは、所定のＯＳ（オペレーティングシステム）に準拠したものであってもよいし、ＯＳとは独立した専用のアプリケーションとして提供されてもよい。また、実施形態に係る出力制御プログラムは、汎用的なアプリケーション（例えば、ブラウザ）の一機能として実装されてもよい。

また、端末装置１０は、例えば、スマートフォンや、タブレット型端末や、ノート型ＰＣ（Personal Computer）や、デスクトップＰＣや、携帯電話機や、ＰＤＡ（Personal Digital Assistant）等により実現され得る。また、端末装置１０が有する撮像手段は、予め内蔵されているカメラであってもいし、端末装置１０からは独立した外付けのカメラ（例えば、ウェブカメラ）であってもよい。

また、以下の実施形態では、端末装置１０が、出力制御プログラムの制御に従って、スタンドアロンで実施形態に係る出力制御処理を行う例を示すが、端末装置１０は、例えば、外部の情報処理装置と連携して出力制御処理を行ってもよい。係る場合、以下の実施形態で端末装置１０が行うものとして説明する処理の少なくとも一部が外部の情報処理装置側で行われてよい。また、端末装置１０を利用者の近くでエッジ処理を行うエッジコンピュータとするなら、外部の情報処理装置とは、例えば、クラウド側に存在するサーバ装置であってよい。

〔２．出力制御処理の具体例〕
続いて、図１を用いて、実施形態に係る出力制御処理の具体的な一例を説明する。図１は、実施形態に係る出力制御処理の具体例を示す図である。図１には、端末装置１０の利用者Ｐｘ（人物Ｐｘ）が、所定の作業画面（例えば、所属組織で扱われる専用のアプリケーション画面）にログインするログイン時から、ログイン後にかけて、実施形態に係る出力制御処理が行われる場面が示される。

また、図１に示すように、端末装置１０は、撮像手段の一例である撮像部１３を有する。上記の通り、撮像部１３は、内蔵されているカメラであってもよいし、外付けのカメラであってもよい。例えば、撮像部１３は、撮像領域ＡＲ１内において特定のオブジェクトを検知した場合に、検知したオブジェクトが映される撮像画像を撮像してよい。具体的には、撮像部１３は、撮像領域ＡＲ１内において人物の顔（あるいはモノ）を検知した場合に、撮像画像として、検知した顔（あるいはモノ）の部分が映される撮像画像を撮像してよい。

ここで、図１（ａ）の例によれば、端末装置１０の利用者Ｐｘが、所定の作業画面にログインしようとして、端末装置１０を操作してログイン画面（パスワード入力画面）を立ち上げている。係る場合、撮像部１３は、撮像領域ＡＲ１への人物Ｐｘの入り込みを検知し、人物Ｐｘの顔を含む撮像画像を撮像する。図１（ａ）には、撮像部１３が撮像画像ＣＰ１１を撮像した例が示される。

このような状態において、端末装置１０は、撮像部１３から撮像画像ＣＰ１１を取得すると、取得した撮像画像ＣＰ１１に基づいて、顔認証を実行する（ステップＳ１１）。つまり、端末装置１０は、ログイン時での顔認証を実行する。例えば、端末装置１０は、撮像画像ＣＰ１１と、予め登録されている登録画像とに基づいて、顔認証技術を用いた本人認証を行う。

具体的には、端末装置１０は、撮像画像ＣＰ１１から顔の特徴を示す特徴量（処理対象の特徴量）を抽出する。また、端末装置１０は、登録画像それぞれからも顔の特徴を示す特徴量（比較対象の特徴量）を抽出する。そして、端末装置１０は、処理対象の特徴量に対して比較対象の特徴量をそれぞれ照合してゆくことで、登録画像ごとに顔の類似度を算出する。そして、端末装置１０は、類似度が所定の閾値を超える登録画像が存在する場合には、利用者Ｐｘをこの登録画像中の人物（つまり、顔画像が登録されている正当な利用者）として認証する。図１（ａ）には、端末装置１０が利用者Ｐｘを人物Ｐ１本人として認証した例が示される。

また、端末装置１０は、上記例のように利用者Ｐｘを正当な人物として認証できたことに応じて、ログインを許可し、ログイン先の作業画面へと遷移させる（ステップＳ１２）。

続いて、図１（ｂ）について説明する。図１（ｂ）の例によれば、利用者Ｐｘが、作業画面を介して作業を行っている。係る場合、撮像部１３は、撮像領域ＡＲ１への利用者Ｐｘの入り込みを検知し、利用者Ｐｘの顔を含む撮像画像を撮像する。図１（ｂ）には、撮像部１３が撮像画像ＣＰ１２を撮像した例が示される。なお、図１（ｂ）の例によれば、撮像画像ＣＰ１２には、利用者Ｐｘだけでなく、利用者Ｐｘとは異なる他の人物である他人Ｐｎの顔も含まれている。

このような状態において、端末装置１０は、撮像部１３から撮像画像ＣＰ１２を取得すると、取得した撮像画像ＣＰ１２に基づいて、人物の顔を検出する（ステップＳ２１）。図１（ｂ）に示すように、撮像画像ＣＰ１２には、利用者Ｐｘの顔と、他人Ｐｎの顔とが含まれるため、端末装置１０は、撮像画像ＣＰ１２に対する画像解析により、例えば、利用者Ｐｘの顔に対応する顔領域と、他人Ｐｎの顔に対応する顔領域とを検出する。つまり、端末装置１０は、２つの顔領域を検出する。

また、端末装置１０は、検出した顔領域ごとに、顔領域に含まれる顔の特徴を示す特徴量を抽出する（ステップＳ２２）。

次に、端末装置１０は、ステップＳ２２で抽出した特徴量と、ログイン時に撮像された撮像画像ＣＰ１１から抽出された特徴量とを比較し、人物Ｐ１として認証を経た利用者Ｐｘとは異なる他人が撮像画像ＣＰ１２に映り込んでいるか否かを判定する（ステップＳ２３）。図１（ｂ）の例によれば、端末装置１０は、認証を経た利用者Ｐｘとは異なる他人が撮像画像ＣＰ１２に映り込んでいると判定する。

端末装置１０は、このように他人が映り込んでいると判定した場合には、この他人によるショルダーハックの危険性を認識する。したがって、端末装置１０は、他人が映り込んでいることに応じた所定の出力制御を実行する（ステップＳ２４）。例えば、端末装置１０は、この他人が作業画面の情報を背後から不正入手しようとする行為（ショルダーハックの一例）を未然に防ぐための出力制御を行う。

例えば、端末装置１０は、表示画面に対する所定の表示制御処理により、作業画面の表示態様を制御することができる。一例として、端末装置１０は、表示画面の明るさを調整することで作業画面に対する視認性を低下させたり、表示画面に対してモザイク制御することで作業画面に対する視認性を低下させたりすることができる。また、係る例以外にも端末装置１０は、表示画面自体の電源をオフに切り替えたり、作業画面のサイズを縮小させたりすることもできる。

また、端末装置１０は、他人が映り込んでいることに応じたアラート情報を出力させてもよい。例えば、端末装置１０は、作業画面に対する周囲からの覗き見のリスクがあることを警告するアラート情報（例えば、「後ろの人から見えてしまいますよ」といった警告内容のテキスト情報）を表示画面に表示させることができる。また、端末装置１０は、作業画面の情報を不正入手しないよう警告するアラート情報（例えば、「後ろの人！画面を見ようとしていませんか？」といった他人に向けたアラート情報）を音声出力させることができる。

さて、ステップＳ２１～Ｓ２３では、端末装置１０が、特定のオブジェクトとして人物の顔を検出し、検出結果に応じた出力制御処理を行う例を示した。しかしながら、端末装置１０は、特定のオブジェクトとして人物の所有物を検出することで、検出結果に応じた出力制御処理を行ってもよい。以下ではこの点について引き続き図１の例を用いて説明する。

例えば、端末装置１０は、撮像部１３から撮像画像ＣＰ１２を取得すると、取得した撮像画像ＣＰ１２に基づいて、人物が所有する特定の所有物を検出する（ステップＳ３１）。具体的な一例として、端末装置１０は、作業画面の情報を記録可能な所定の記録手段（特定の所有物の一例）を検出する。このような記録手段としては、筆記用具や、撮像機能を有する情報機器（例えば、スマートフォン）等が挙げられる。

図１（ｂ）に示すように、撮像画像ＣＰ１２には、他人Ｐｎが筆記用具ＯＢ１を所持している様子が示される。このため、端末装置１０は、撮像画像ＣＰ１２に対する画像解析により、例えば、筆記用具ＯＢ１に対応するオブジェクト領域を検出する。

また、端末装置１０は、筆記用具ＯＢ１を検出したことに応じて、筆記用具ＯＢ１の所有者（図１（ｂ）の例では、他人Ｐｎ）が所定の禁止行為を行っているか否かを判定する（ステップＳ３２）。具体的には、端末装置１０は、筆記用具ＯＢ１の所有者が作業画面の情報を不正入手しようとする禁止行為を行っているか否かを判定する。図１（ｂ）の例によれば、端末装置１０は、筆記用具ＯＢ１を検出したことに応じて、筆記用具ＯＢ１の所有者が禁止行為を行っていると判定する。

端末装置１０は、このように禁止行為が行われていると判定した場合には、所有者によるショルダーハックの危険性を認識する。したがって、端末装置１０は、筆記用具ＯＢ１に対応する禁止行為に応じた所定の出力制御を実行する（ステップＳ３３）。例えば、端末装置１０は、作業画面の情報を不正入手しないよう警告するアラート情報（例えば、「後ろの人！画面を書き写そうとしていませんか？」といった所有者に向けたアラート情報）を音声出力させることができる。

さて、これまで図１で説明してきたように、端末装置１０は、出力制御プログラムに従って、撮像部１３によって撮像された撮像画像から特定のオブジェクト（例えば、人物の顔や、情報の不正入手に利用可能な記録手段等）を検出する。そして、端末装置１０は、特定のオブジェクトを検出できた場合には、このオブジェクトに応じたショルダーハックの危険性がるか否かを判定する。端末装置１０は、危険性があると判定できた場合には、ショルダーハックを未然に防げるような所定の情報が出力されるよう出力制御する。

このような出力制御プログラムによれば、機器（例えば、ＰＣ）に対する利用者の操作について所定の操作制御を行う従来技術と比較して、他者の情報を不正に入手しようとする行為を未然に防ぐためのユーザインタフェースを提供することができるといった有利な効果を奏することができる。

〔３．端末装置の構成〕
ここからは、図２を用いて、実施形態に係る端末装置１０について説明する。図２は、実施形態に係る端末装置１０の構成例を示す図である。図２に示すように、端末装置１０は、通信部１１と、記憶部１２と、撮像部１３と、入力部１４と、出力部１５と、制御部１６とを有する。

（通信部１１について）
通信部１１は、例えば、ＮＩＣ（Network Interface Card）等によって実現される。そして、通信部１１は、ネットワークと有線または無線で接続され、例えば、外部の情報処理装置との間で情報の送受信を行う。

（記憶部１２について）
記憶部１２は、例えば、ＲＡＭ（Random Access Memory)、フラッシュメモリ等の半導体メモリ素子またはハードディスク、光ディスク等の記憶装置によって実現される。記憶部１２は、登録情報データベース１２ａを有する。

（登録情報データベース１２ａについて）
登録情報データベース１２ａは、事前登録として利用者から受け付けた顔画像に関する情報を記憶する。ここで、図３に、実施形態に係る登録情報データベース１２ａの一例を示す。

図３の例では、登録情報データベース１２ａは、「利用者情報」、「画像ＩＤ（Identifier）」、「顔画像」、「特徴量」といった項目を有する。

「利用者情報」は、利用者に関する各種情報であり、例えば、利用者の住所、氏名、年齢、性別等といった属性情報が含まれてよい。「画像ＩＤ（Identifier）」は、登録された顔画像（登録画像）を識別する識別情報を示す。「顔画像」は、「画像ＩＤ」によって識別される顔画像のデータである。「特徴量」は、「顔画像」から抽出された特徴量を示す情報である。

図３には、利用者情報「Ｐ１」に対して、画像ＩＤ「ＦＩＤ１」と、顔画像「♯Ｐ１」と、特徴量「ＤＡ１」とが対応付けられている例が示される。係る例は、人物Ｐ１が、端末装置１０に対して、自身の顔画像「♯Ｐ１」を登録したことで、この顔画像を識別する画像ＩＤ「ＦＩＤ１」が払い出され、そして顔画像「♯Ｐ１」に付与された例を示す。

なお、端末装置１０が外部の情報処理装置（例えば、サーバ装置）と連携している場合には、顔画像の登録はサーバ装置に対して行われてよい。また、係る場合には、サーバ装置側で、画像ＩＤの払い出しや、特徴量の抽出が行われてよく、これらの情報はサーバ装置側の記憶部に記憶されてよい。また、端末装置１０は、サーバ装置の記憶部から情報を取得することで、取得した情報を登録情報データベース１２ａに記憶してもよい。

また、端末装置１０は、必ずしも登録情報データベース１２ａを有している必要はなく、外部の情報処理装置が有する記憶部を参照する構成が採用されてもよい。

（撮像部１３について）
図２に戻り、撮像部１３は、対象の撮像を行うカメラ機能に対応する。図２の例は、撮像部１３が、端末装置１０に内蔵される例を示すが、撮像部１３は、端末装置１０に対して外付けされるものであってもよい。

（入力部１４、出力部１５について）
入力部１４は、利用者から各種操作を受け付ける入力装置である。例えば、入力部１４は、キーボードやマウスや操作キー等によって実現される。出力部１５は、各種情報を表示するための表示装置である。例えば、出力部１５は、液晶ディスプレイ等によって実現される表示画面であってよい。なお、端末装置１０にタッチパネルが採用された場合には、入力部１４と出力部１５とは一体化されてよい。

また、出力部１５は、音声を出力するスピーカーであってもよい。また、出力部１５は、出力制御部１６ｆの制御に応じて、明るさの制御、電源の制御、あるいは、情報の出力制御を行う。

（制御部１６について）
制御部１６は、ＣＰＵ（Central Processing Unit）やＭＰＵ（Micro Processing Unit）等によって、端末装置１０内部の記憶装置に記憶されている各種プログラム（例えば、実施形態に係る出力制御プログラム）がＲＡＭを作業領域として実行されることにより実現される。また、制御部１６は、例えば、ＡＳＩＣ（Application Specific Integrated Circuit）やＦＰＧＡ（Field Programmable Gate Array）等の集積回路により実現される。

図２に示すように、制御部１６は、取得部１６ａと、検出部１６ｂと、抽出部１６ｃと、認証部１６ｄと、判定部１６ｅと、出力制御部１６ｆとを有し、以下に説明する情報処理の機能や作用を実現または実行する。なお、制御部１６の内部構成は、図２に示した構成に限られず、後述する情報処理を行う構成であれば他の構成であってもよい。また、制御部１６が有する各処理部の接続関係は、図２に示した接続関係に限られず、他の接続関係であってもよい。

（取得部１６ａについて）
取得部１６ａは、実施形態に係る出力制御処理に利用される各種情報を取得する。例えば、取得部１６ａは、事前登録に関する情報を利用者から取得する。例えば、取得部１６ａは、登録対象の顔画像を利用者から取得することで、取得した顔画像を登録情報データベース１２ａに登録する。

また、取得部１６ａは、撮像部１３により顔画像が撮像された場合には、撮像された顔画像を撮像画像として取得する。

（検出部１６ｂについて）
検出部１６ｂは、撮像部１３によって撮像された撮像画像から特定のオブジェクトを検出する。例えば、検出部１６ｂは、特定のオブジェクトとして、人物を検出する。例えば、検出部１６ｂは、人物の身体の一部位（例えば、顔の一部位）を検出してよい。

また、後述する認証部１６ｄが、端末装置１０の利用者の顔画像であって、ログイン時に撮像された顔画像と、予め登録されている顔画像とに基づいて、利用者の本人認証を行った結果、顔画像を登録している正当な人物として利用者を認証したとする。係る場合、検出部１６ｂは、撮像部１３によって撮像された撮像画像のうち、ログイン先の画面が表示されている際に撮像された撮像画像から人物を検出する。

ここで、撮像画像には、人物の顔のポスターや写真等が写り込んでしまう場合がある。このため、検出部１６ｂは、撮像画像は本物の人物が撮影されたことにより得られた正当な顔画像であるのか否かを識別してよい。例えば、検出部１６ｂは、撮像画像に対する画像解析や生体認証（生体判別）により、撮像画像中の顔が本物の顔であるか否かを識別してよい。

（抽出部１６ｃについて）
抽出部１６ｃは、顔画像から特徴量を抽出する。例えば、抽出部１３２は、登録されている顔画像である登録画像から特徴量を抽出する。また、抽出部１３２は、撮像画像（例えば、撮像部１３により撮像された撮像画像）から特徴量を抽出する。例えば、抽出部１３２は、顔画像から顔パターンを示す特徴点を取得し、取得した特徴点を数値化することで、特徴点に対応する特徴量を抽出する。また、抽出部１３２は、登録画像から抽出した特徴量については登録情報データベース１２ａに保存することができる。

（認証部１６ｄについて）
認証部１６ｄは、撮像部１３により撮像された撮像画像と、予め登録されている登録画像とに基づいて、撮像画像中の人物が、顔画像を登録されている正当な人物であるか否かを判断する本人認証を行う。例えば、認証部１６ｄは、撮像画像から抽出された処理対象の特徴量と、登録画像から抽出された比較対象の特徴量とを照合することにより、顔画像中の顔と登録画像中の顔との間での類似度を算出する。そして、認証部１６ｄは、算出した類似度と、本人認証の判断基準となる閾値との関係性に基づいて、撮像画像の人物の本人性を認証する。

例えば、認証部１６ｄは、撮像部１３によって撮像された端末装置１０の利用者の顔画像であって、ログイン時に撮像された顔画像と、予め登録されている顔画像とに基づいて、利用者の本人認証を行う。なお、認証部１６ｄは、顔画像を登録している正当な人物として利用者を認証できなかった場合には、利用者のログインを却下する。

（判定部１６ｅについて）
判定部１６ｅは、検出部１６ｂにより特定のオブジェクトが検出された場合には、検出された特定のオブジェクトが所定の条件を満たすか否かを判定する。

例えば、判定部１６ｅは、検出部１６ｂにより人物が検出された場合には、検出された人物の人数に基づいて、端末装置１０の表示画面の手前に複数の人物が存在するか否かを判定する。また、判定部１６ｅは、撮像画像から推定される複数の人物それぞれの顔の向き、撮像画像から推定される複数の人物それぞれの視線方向、または、撮像画像から推定される複数の人物それぞれの端末装置までの距離に基づいて、端末装置の表示画面に表示されている表示情報が複数の人物のうち少なくともいずれか一方の視界に入っているか否かをさらに判定してよい。

また、判定部１６ｅは、検出部１６ｂにより特定の所有物が検出された場合には、検出された特定の所有物に基づいて、当該所有物を所持する人物が所定の禁止行為を行っているか否かを判定する。特定の所有物は、端末装置１０の表示画面に表示されている表示情報を記録可能な所定の記録手段であってよく、判定部１６ｅは、検出部１６ｂにより所定の記録手段が検出された場合には、検出された記録手段の向きであって撮像画像から推定される向きに基づいて、所定の禁止行為の行為として、当該記録手段を用いて表示情報を記録する行為が行われているか否かを判定する。

また、判定部１６ｅは、検出部１６ｂにより人物が検出された場合には、検出された人物の中に、端末装置１０の利用者とは異なる他人が存在するか否かを判定する。また、判定部１６ｅは、撮像画像から推定される他人の顔の向き、撮像画像から推定される他人の視線方向、または、撮像画像から推定される他人の端末装置１０までの距離に基づいて、端末装置１０の表示画面に表示されている表示情報が他人の視界に入っているか否かを判さらに判定してよい。

（出力制御部１６ｆについて）
出力制御部１６ｆは、判定部１６ｅにより所定の条件を満たすと判定された場合には、特定のオブジェクトに応じた所定の出力制御を実行する。

例えば、出力制御部１６ｆは、判定部ｅにより端末装置１０の表示画面の手前に複数の人物が存在すると判定された場合には、複数の人物が存在することに応じた所定の出力制御を実行する。また、出力制御部１６ｆは、端末装置１０の表示画面に表示されている表示情報が複数の人物のうち少なくともいずれか一方の視界に入っていると判定された場合には、複数の人物が存在することに応じた所定の出力制御を実行する。

また、出力制御部１６ｆは、判定部１６ｅにより特定の所有物を所持する人物が所定の禁止行為を行っていると判定された場合には、禁止行為に応じた所定の出力制御を実行する。

また、出力制御部１６ｆは、撮像画像から検出された人物の中に、端末装置１０の利用者とは異なる他人が存在すると判定された場合には、他人が存在することに応じた所定の出力制御を実行する。

例えば、出力制御部１６ｆは、所定の出力制御として、端末装置１０の表示画面に対する表示制御であって、特定のオブジェクトに応じた表示制御により当該画面に表示されている表示情報の表示態様を制御させる。一例として、出力制御部１６ｆは、表示画面の明るさを調整することで、表示画面に表示されている表示情報に対する視認性を低下させる。あるいは、出力制御部１６ｆは、表示画面に対してモザイク制御することで、表示画面に表示されている表示情報に対する視認性を低下させる。

また、出力制御部１６ｆは、表示情報に対する秘匿性のレベルに応じて、表示態様を制御させてもよい。図１の例を用いて、例えば、利用者Ｐｘが、自身が所属する組織で利する勤怠管理アプリによって提供されるコンテンツに対して最も高い秘匿レベル「Ｓ」を設定し、娯楽用のアプリによって提供されるコンテンツに対して秘匿レベル「Ａ」を設定していたとする。

ここで、例えば、判定部１６ｅが、勤怠管理アプリによって提供されるコンテンツが表示されている際に撮像された撮像画像ＣＰ１２に他人が映り込んでいると判定したとする。係る場合には、出力制御部１６ｆは、このコンテンツに対する視認性を最大まで下げるように表示画面の明るさを調整させてよい。

一方、例えば、判定部１６ｅが、娯楽用のアプリによって提供されるコンテンツが表示されている際に撮像された撮像画像ＣＰ１２に他人が映り込んでいると判定したとする。係る場合には、出力制御部１６ｆは、このコンテンツに対する視認性を中程度まで下げるように表示画面の明るさを調整させてよい。

また、出力制御部１６ｆは、所定の出力制御として、特定のオブジェクトに応じた所定のアラート情報を出力させてもよい。例えば、出力制御部１６ｆは、所定のアラート情報として、端末装置１０の表示画面に表示されている表示情報に対する周囲からの覗き見のリスクがあることを警告するアラート情報を出力させることができる。また、例えば、出力制御部１６ｆは、所定のアラート情報として、端末装置１０の表示画面に表示されている表示情報の不正入手に関する禁止行為を行わないよう警告するアラート情報を出力させることができる。

なお、出力制御部１６ｆは、端末装置１０の利用者とは異なる他人が存在すると判定された場合であっても、この他人が利用者の関係者として予め登録されている場合には、所定の出力制御を実行せずともよい。また、ここでいう関係者とは、例えば、利用者の家族の、利用者の職場の同僚、利用者の管理監督者等であってよい。もちろん、関係者は、係る例に限定されず、利用者と何らかの親密な関係性を有する人物であればいかなる人物であってもよい。

〔４．処理手順〕
図３では、実施形態に係る出力制御プログラムによって実現される出力制処理を概念的な側面から説明した。ここからは、図４～図７を用いて、出力制御プログラムによって実現される出力制処理についてより詳細な一例を説明する。具体的には、ショルダーハックのパターンごとに、実施形態に係る出力制御手順の一例を説明する。

〔４－１．処理手順（１）〕
まず、図４を用いて、実施形態に係る出力制御手順の一例について説明する。図４は、実施形態に係る出力制御手順の一例を示すフローチャート（１）である。図４には、出力制御手順の一パターンとして、端末装置１０前に複数の人物が存在していれば、ショルダーハックと判定されるパターン例が示される。

図４の例によれば、端末装置１０の撮像部１３は、撮像領域ＡＲ１への人物の入り込みを検知するたびに、検知した人物の顔を含む撮像画像を撮像している。

このような状態において、取得部１６ａは、撮像部１３によって撮像された撮像画像ＣＰｘを取得する（ステップＳ４０１）。

検出部１６ｂは、撮像画像ＣＰｘが取得されると、取得された撮像画像ＣＰｘに対する画像解析により人物を検出する（ステップＳ４０２）。例えば、検出部１６ｂは、撮像画像ＣＰｘに対して、身体の部位のうちの特定の部位（例えば、髪の毛や、顔の一部分等）に対応する画像部分が所定の割合を占めるように映り込んでいるか否かに基づいて、人物を検出することができる。また、例えば、検出部１６ｂは、撮像画像ＣＰｘを所定数のエリアに区分けすることで、どの区域にどの部位の画像部分がどれだけの割合占めるように映り込んでいるかに基づいて、人物を検出してもよい。

また、上記のような検出処理が実現されるよう、利用者が情報設定を行ってもよい。

次に、判定部１６ｅは、人物を検出された場合（ステップＳ４０２；Ｙｅｓ）には、検出された人物の人数に基づいて、端末装置１０の表示画面の手前に複数の人物が存在するか否かを判定する（ステップＳ４０３）。換言すると、判定部１６ｅは、撮像画像ＣＰｘに複数の人物が映り込んでいるか否かを判定する。

出力制御部１６ｆは、端末装置１０の表示画面の手前に複数の人物が存在すると判定された場合には（ステップＳ４０３；Ｙｅｓ）、複数の人物の少なくともいずれかによるショルダーハックの危険性を認識する。そして、出力制御部１６ｆは、複数の人物が存在することに応じた所定の出力制御を実行する（ステップＳ４０４）。例えば、端末装置１０の表示画面にはパスワード入力中のログイン画面が表示されているとすると、出力制御部１６ｆは、表示画面に対する出力制御（例えば、明るさ調整や、モザイク制御等）により、ログイン画面に対する視認性を低下させる。

図４の例によれば、出力制御部１６ｆは、複数の人物の一例である人物Ｐ１１およびＰ１２によってログイン画面の情報が見られてしまわないよう視認性を低下させる。

一方、認証部１６ｄは、端末装置１０の表示画面の手前に複数の人物が存在しない、すなわち、端末装置１０の表示画面の手前には１人しか居ないと判定された場合には（ステップＳ４０３；Ｎｏ）、顔認証により、この１人の人物は顔画像を登録されている正当な人物であるか否かを判定する（ステップＳ４０５）。例えば、認証部１６ｄは、撮像画像ＣＰｘから抽出された処理対象の特徴量と、予め登録されている登録画像から抽出された比較対象の特徴量とを照合することにより、顔画像を登録されている正当な人物であるか否かを判定する。

出力制御部１６ｆは、１の人物は顔画像を登録されていない未登録者として判定された場合には（ステップＳ４０５；Ｎｏ）、未登録者によるショルダーハックの危険性を認識する。そして、出力制御部１６ｆは、未登録者が存在することに応じた所定の出力制御を実行する（ステップＳ４０４）。

一方、出力制御部１６ｆは、１の人物は顔画像を登録されている正当な人物であると判定された場合には（ステップＳ４０５；Ｙｅｓ）、この１の人物は端末装置１０の所有者でありショルダーハックの危険性はないと認識する。このようにショルダーハックの危険性がない場合には、出力制御部１６ｆは、出力制御を行わず処理を終了してよい。

また、ステップＳ４０２に戻り、出力制御部１６ｆは、人物を検出されなかった場合（ステップＳ４０２；Ｎｏ）には、出力制御を行わず処理を終了する。

なお、判定部１６ｅは、端末装置１０の表示画面の手前に複数の人物が存在すると判定した場合には（ステップＳ４０３；Ｙｅｓ）、例えば、撮像画像ＣＰｘに基づき、複数の人物それぞれの顔の向き（視線方向でもよい）を推定し、推定した顔の向きに基づいて、端末装置１０の表示画面に表示されている表示情報が複数の人物のうち少なくともいずれか一方の視界に入っているか否かを判定してもよい。また、出力制御部１６ｆは、表示情報が複数の人物のうち少なくともいずれか一方の視界に入っていると判定された場合には、複数の人物が存在することに応じた所定の出力制御を実行してよい。

また、他の一例として、判定部１６ｅは、端末装置１０の表示画面の手前に複数の人物が存在すると判定した場合には（ステップＳ４０３；Ｙｅｓ）、例えば、撮像画像ＣＰｘに基づき、複数の人物それぞれの端末装置１０までの距離を推定し、推定した距離に基づいて、端末装置１０の表示画面に表示されている表示情報が複数の人物のうち少なくともいずれか一方の視界に入っているか否かを判定してもよい。また、出力制御部１６ｆは、表示情報が複数の人物のうち少なくともいずれか一方の視界に入っていると判定された場合には、複数の人物が存在することに応じた所定の出力制御を実行してよい。

〔４－２．処理手順（２）〕
次に、図５を用いて、実施形態に係る出力制御手順の一例について説明する。図５は、実施形態に係る出力制御手順の一例を示すフローチャート（２）である。図５には、出力制御手順の一パターンとして、端末装置１０前で禁止行為が行われていれば、ショルダーハックと判定されるパターン例が示される。

図５の例によれば、端末装置１０の撮像部１３は、撮像領域ＡＲ１への人物の入り込みを検知するたびに、検知した人物の顔を含む撮像画像を撮像している。

このような状態において、取得部１６ａは、撮像部１３によって撮像された撮像画像ＣＰｘを取得する（ステップＳ５０１）。

検出部１６ｂは、撮像画像ＣＰｘが取得されると、取得された撮像画像ＣＰｘに基づいて、人物が所有する特定の所有物を検出する（ステップＳ５０２）。例えば、検出部１６ｂは、端末装置１０の表示画面に表示されている表示情報を記録可能な記録手段を検出する。例えば、検出部１６ｂは、撮像機能を有する情報機器（例えば、スマートフォン）や、筆記用具等を検出することができる。

判定部１６ｅは、特定の所有物を検出された場合には（ステップＳ５０２；Ｙｅｓ）、撮像画像ＣＰｘに基づいて、特定の所有物の向きを推定する（ステップＳ５０３）。

ここで、検出された特定の所有物がスマートフォンであったとすると、判定部１６ｅは、アウトカメラが搭載されている背面がどのような方向を向いているか推定する。すなわち、判定部１６ｅは、スマートフォンの背面の向きを推定することで、実質、スマートフォンに搭載されるアウトカメラによる撮像方向を推定する。

他の一例として、検出された特定の所有物が筆記用具（例えば、ペン）であったとすると、判定部１６ｅは、ペン先がどのような方向を向いているかを推定する。

そして、判定部１６ｅは、ステップＳ５０３で推定した向きに基づいて、特定の所有物を所持する人物が所定の禁止行為を行っているか否かを判定する（ステップＳ５０４）。例えば、判定部１６ｅは、特定の所有物（記録手段）を用いて表示情報を記録する行為、すなわち、端末装置１０の表示画面に表示されている表示情報を不正入手しようとする行為を所有者が行っているか否かを判定する。

例えば、判定部１６ｅは、特定の所有物がスマートフォンであり、スマートフォンの背面の向き（スマートフォンに搭載されるアウトカメラによる撮像方向）として、端末装置１０の表示画面方向を推定した場合には、スマートフォンの所有者が禁止行為を行っていると判定することができる。また、例えば、判定部１６ｅは、特定の所有物がペンであり、ペン先の向きとして、地面方向を推定した場合には、ペンの所有者が禁止行為を行っていると判定することができる。

出力制御部１６ｆは、特定の所有物を所持する人物が所定の禁止行為を行っていると判定された場合には（ステップＳ５０４；Ｙｅｓ）、この人物によるショルダーハックの危険性を認識する。そして、出力制御部１６ｆは、禁止行為に応じた所定の出力制御を実行する（ステップＳ５０５）。例えば、出力制御部１６ｆは、表示情報を不正入手しないよう警告するアラート情報（例えば、「画面を撮影しよう（もしくは書き写そう）としていませんか？」といった内容のアラート情報）を音声出力させることができる。

図５の例によれば、出力制御部１６ｆは、特定の所有物を所持する人物の一例である人物Ｐ２１が、スマートフォンやペン等の記録手段でログイン画面の情報を記録しないようけん制する意味で、上記のようなアラート情報を音声出力させることができる。

一方、出力制御部１６ｆは、特定の所有物を所持する人物が所定の禁止行為を行っていないと判定された場合には（ステップＳ５０４；Ｎｏ）、ショルダーハックの危険性はないと認識する。このようにショルダーハックの危険性がない場合には、出力制御部１６ｆは、出力制御を行わず処理を終了してよい。

また、ステップＳ５０２に戻り、出力制御部１６ｆは、所有物を検出されなかった場合（ステップＳ５０２；Ｎｏ）には、出力制御を行わず処理を終了する。

〔４－３．処理手順（３）〕
続いて、図６および図７を用いて、実施形態に係る出力制御手順の一例について説明する。図６は、実施形態に係る出力制御手順の一例を示すフローチャート（３－１）である。図７は、実施形態に係る出力制御手順の一例を示すフローチャート（３－２）である。図７に示す出力制御手順は、図６に引き続き行われる。

また、図６および図７には、出力制御手順の一パターンとして、認証を経た正当な利用者以外の他人が映り込んでいれば、ショルダーハックと判定するパターン例が示される。

図６の例によれば、端末装置１０の撮像部１３は、撮像領域ＡＲ１への人物の入り込みを検知するたびに、検知した人物の顔を含む撮像画像を撮像している。

このような状態において、取得部１６ａは、端末装置１０の表示画面にログイン画面が表示されたか否かを判定する（ステップＳ６０１）。取得部１６ａは、ログイン画面が表示されていないと判定している間は（ステップＳ６０１；Ｎｏ）、ログイン画面が表示されたと判定できるまで待機する。

一方、取得部１６ａは、ログイン画面が表示されたと判定できた場合には（ステップＳ６０１；Ｙｅｓ）、このとき撮像部１３によって撮像された撮像画像ＣＰｘ１を取得する（ステップＳ６０２）。

認証部１６ｄは、撮像画像ＣＰｘ１が取得されると、取得された撮像画像ＣＰｘ１と、顔画像として予め登録されている登録画像ＲＩｘとに基づいて、端末装置１０の利用者Ｐｘの本人認証を実行する（ステップＳ６０３）。つまり、認証部１６ｄは、ログイン時での顔認証（ログイン認証）を実行する。例えば、認証部１６ｄは、撮像画像ＣＰｘ１と、登録画像ＲＩｘとに基づいて、顔認証技術を用いた本人認証を行う。本人認証の具体的な一例については図１で説明した通りであるため、ここでの説明は省略する。

また、認証部１６ｄは、ステップＳ６０３での本人認証の結果に基づいて、利用者Ｐｘが顔画像を登録されている正当な利用者であるか否かを判定する（ステップＳ６０４）。例えば、認証部１６ｄは、登録画像ＲＩｘの中に類似度が所定の閾値を超える登録画像が存在する場合には、利用者Ｐｘをこの登録画像中の人物として認証し、この結果、利用者Ｐｘが顔画像を登録されている正当な利用者であると判定することができる。

そして、認証部１６ｄは、利用者Ｐｘについて顔画像を登録されている正当な利用者であると判定できた場合には（ステップＳ６０４；Ｙｅｓ）、ログインを許可し、ログイン先の作業画面へと遷移させる（ステップＳ６０５ａ）。

一方、認証部１６ｄは、利用者Ｐｘについて顔画像を登録されていない未登録者であると判定した場合には（ステップＳ６０４；Ｎｏ）、ログインを却下し処理を終了する（ステップＳ６０５ｂ）。

ここからは、ステップＳ６０５ａに引き続き行われる出力制御手順について図７を用いて説明する。

取得部１６ａは、ログイン先の作業画面が表示されている際に撮像された撮像画像ＣＰｘ２を取得する（ステップＳ７０１）。

検出部１６ｂは、撮像画像ＣＰｘ２が取得されると、取得された撮像画像ＣＰｘ２に基づいて、人物の顔を検出する（ステップＳ７０２）。例えば、検出部１６ｂは、撮像画像ＣＰｘ２に対する画像解析により、人物の顔を含む顔領域を検出する。

次に、抽出部１６ｃは、人物の顔を検出された場合には（ステップＳ７０２；Ｙｅｓ）、検出された顔ごとに、顔の特徴を示す特徴量を抽出する（ステップＳ７０３）。

次に、判定部１６ｅは、ステップＳ７０３で抽出した特徴量と、撮像画像ＣＰｘ１から抽出された特徴量（ステップＳ６０３で撮像画像ＣＰｘ１から抽出したログイン時の特徴量）とを比較する（ステップＳ７０４）。

そして、判定部１６ｅは、比較結果に基づいて、ステップＳ７０２で顔を検出された人物の中に、認証を経た正当な利用者Ｐｘとは異なる他人が存在するか否かを判定する（ステップＳ７０５）。つまり、判定部１６ｅは、認証を経た利用者Ｐｘとは異なる他人が撮像画像ＣＰｘ２に映り込んでいるか否かを判定する。例えば、判定部１６ｅは、比較結果が双方の特徴量の間に乖離があることを示す場合には、正当な利用者Ｐｘとは異なる他人が存在すると判定する（他人の映り込みあり）ことができる。一方、判定部１６ｅは、比較結果が双方の特徴量の一致（または類似）を示している場合には、正当な利用者Ｐｘとは異なる他人が存在しない（他人の映り込みなし）と判定することができる。

また、判定部１６ｅは、正当な利用者Ｐｘとは異なる他人が存在すると判定した場合には（ステップＳ７０５；Ｙｅｓ）、他人と判断された人物は顔画像を登録されていない未登録者であるか否かを判定する（ステップＳ７０６）。例えば、判定部１６ｅは、ステップＳ７０３で抽出された特徴量のうち他人と判断された人物に対応する特徴量と、顔画像として予め登録されている登録画像ＲＩｘのそれぞれから抽出された特徴量とを比較することにより、他人と判断された人物が未登録者であるか否かを判定することができる。

そして、出力制御部１６ｆは、他人と判断された人物が未登録者であると判定された場合には（ステップＳ７０６；Ｙｅｓ）、この未登録者によるショルダーハックの危険性を認識する。そして、出力制御部１６ｆは、未登録者が存在することに応じた所定の出力制御を実行する（ステップＳ７０７）。

例えば、出力制御部１６ｆは、表示画面に対する所定の表示制御処理により、作業画面の表示態様を制御することができる。一例として、出力制御部１６ｆは、表示画面の明るさを調整することで作業画面に対する視認性を低下させたり、表示画面に対してモザイク制御することで作業画面に対する視認性を低下させたりすることができる。

図６の例によれば、出力制御部１６ｆは、未登録者であると判定された他人Ｐｎによって作業画面が見られてしまわないよう視認性を低下させる。

また、出力制御部１６ｆは、表示画面自体の電源をオフに切り替えたり、作業画面のサイズを縮小させたりしてもよい。

また、例えば、出力制御部１６ｆは、作業画面に対する周囲からの覗き見のリスクがあることを警告するアラート情報（例えば、「後ろの人から見えてしまいますよ」といった警告内容のテキスト情報）を表示画面に表示させてもよい。あるいは、出力制御部１６ｆは、作業画面の情報を不正入手しないよう警告するアラート情報（例えば、「後ろの人！画面を見ようとしていませんか？」といった他人Ｐｎに向けたアラート情報）を音声出力させてもよい。

一方、出力制御部１６ｆは、他人と判断された人物が登録者であると判定された場合には（ステップＳ７０６；Ｎｏ）、出力制御を行わず処理を終了してよい。

また、ステップＳ７０５に戻り、出力制御部１６ｆは、正当な利用者Ｐｘとは異なる他人が存在しない（利用者Ｐｘ１人だけである）と判定された場合には（ステップＳ７０５；Ｎｏ）、出力制御を行わず処理を終了する。

なお、判定部１６ｅは、他人と判断した人物について未登録者であると判定した場合には（ステップＳ７０６；Ｙｅｓ）、例えば、撮像画像ＣＰｘ２に基づき、他人と判断した人物した人物の顔の向き（視線方向でもよい）を推定し、推定した顔の向きに基づいて、作業画面がこの人物の視界に入っているか否かを判定してもよい。また、出力制御部１６ｆは、視界に入っていると判定された場合には、未登録者が存在することに応じた所定の出力制御を実行してよい。

また、他の一例として、判定部１６ｅは、他人と判断した人物について未登録者であると判定した場合には（ステップＳ７０６；Ｙｅｓ）、例えば、撮像画像ＣＰｘ２に基づき、他人と判断した人物した人物の端末装置１０までの距離を推定し、推定した距離に基づいて、作業画面がこの人物の視界に入っているか否かを判定してもよい。

〔５．ハードウェア構成〕
また、上述してきた端末装置１０は、例えば、図８に示すような構成のコンピュータ１０００によって実現される。図８は、端末装置１０の機能を実現するコンピュータの一例を示すハードウェア構成図である。コンピュータ１０００は、ＣＰＵ１１００、ＲＡＭ１２００、ＲＯＭ１３００、ＨＤＤ１４００、通信インターフェイス（Ｉ／Ｆ）１５００、入出力インターフェイス（Ｉ／Ｆ）１６００、及びメディアインターフェイス（Ｉ／Ｆ）１７００を有する。

ＣＰＵ１１００は、ＲＯＭ１３００またはＨＤＤ１４００に格納されたプログラムに基づいて動作し、各部の制御を行う。ＲＯＭ１３００は、コンピュータ１０００の起動時にＣＰＵ１１００によって実行されるブートプログラムや、コンピュータ１０００のハードウェアに依存するプログラム等を格納する。

ＨＤＤ１４００は、ＣＰＵ１１００によって実行されるプログラム、及び、かかるプログラムによって使用されるデータ等を格納する。通信インターフェイス１５００は、所定の通信網を介して他の機器からデータを受信してＣＰＵ１１００へ送り、ＣＰＵ１１００が生成したデータを所定の通信網を介して他の機器へ送信する。

ＣＰＵ１１００は、入出力インターフェイス１６００を介して、ディスプレイやプリンタ等の出力装置、及び、キーボードやマウス等の入力装置を制御する。ＣＰＵ１１００は、入出力インターフェイス１６００を介して、入力装置からデータを取得する。また、ＣＰＵ１１００は、生成したデータを入出力インターフェイス１６００を介して出力装置へ出力する。

メディアインターフェイス１７００は、記録媒体１８００に格納されたプログラムまたはデータを読み取り、ＲＡＭ１２００を介してＣＰＵ１１００に提供する。ＣＰＵ１１００は、かかるプログラムを、メディアインターフェイス１７００を介して記録媒体１８００からＲＡＭ１２００上にロードし、ロードしたプログラムを実行する。記録媒体１８００は、例えばＤＶＤ（Digital Versatile Disc）、ＰＤ（Phase change rewritable Disk）等の光学記録媒体、ＭＯ（Magneto-Optical disk）等の光磁気記録媒体、テープ媒体、磁気記録媒体、または半導体メモリ等である。

例えば、コンピュータ１０００が端末装置１０として機能する場合、コンピュータ１０００のＣＰＵ１１００は、ＲＡＭ１２００上にロードされたプログラム（実施形態に係る出力制御プログラム）を実行することにより、制御部１６の機能を実現する。コンピュータ１０００のＣＰＵ１１００は、これらのプログラムを記録媒体１８００から読み取って実行するが、他の例として、他の装置から所定の通信網を介してこれらのプログラムを取得してもよい。

〔６．その他〕
また、上記各実施形態において説明した処理のうち、自動的に行われるものとして説明した処理の全部または一部を手動的に行うこともでき、あるいは、手動的に行われるものとして説明した処理の全部または一部を公知の方法で自動的に行うこともできる。この他、上記文書中や図面中で示した処理手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。例えば、各図に示した各種情報は、図示した情報に限られない。

また、図示した各装置の各構成要素は機能概念的なものであり、必ずしも物理的に図示の如く構成されていることを要しない。すなわち、各装置の分散・統合の具体的形態は図示のものに限られず、その全部または一部を、各種の負荷や使用状況などに応じて、任意の単位で機能的または物理的に分散・統合して構成することができる。

また、上記各実施形態は、処理内容を矛盾させない範囲で適宜組み合わせることが可能である。

以上、本願の実施形態のいくつかを図面に基づいて詳細に説明したが、これらは例示であり、発明の開示の欄に記載の態様を始めとして、当業者の知識に基づいて種々の変形、改良を施した他の形態で本発明を実施することが可能である。

また、上述してきた「部（section、module、unit）」は、「手段」や「回路」などに読み替えることができる。例えば、検出部は、検出手段や検出回路に読み替えることができる。

１０ 端末装置
１２ 記憶部
１２ａ 登録情報データベース
１３ 撮像部
１４ 入力部
１５ 出力部
１６ 制御部
１６ａ 取得部
１６ｂ 検出部
１６ｃ 抽出部
１６ｄ 認証部
１６ｅ 判定部
１６ｆ 出力制御部

Claims (16)

1. 端末装置が実行する出力制御プログラムであって、
   前記端末装置の撮像手段によって撮像された撮像画像から特定のオブジェクトを検出する検出手順と、
   前記検出手順により特定のオブジェクトが検出された場合には、検出された特定のオブジェクトが所定の条件を満たすか否かを判定する判定手順と、
   前記判定手順により前記所定の条件を満たすと判定された場合には、前記特定のオブジェクトに応じた所定の出力制御を実行する出力制御手順と
   を端末装置に実行させ、
   前記検出手順は、前記特定のオブジェクトとして、人物が所有する特定の所有物を検出し、
   前記判定手順は、前記検出手順により特定の所有物が検出された場合には、検出された特定の所有物に基づいて、当該所有物を所持する人物が所定の禁止行為を行っているか否かを判定し、
   前記出力制御手順は、前記判定手順により前記特定の所有物を所持する人物が所定の禁止行為を行っていると判定された場合には、前記禁止行為に応じた所定の出力制御を実行する
   ことを特徴とする出力制御プログラム。
2. 前記特定の所有物は、前記端末装置の画面に表示されている表示情報を記録可能な所定の記録手段であり、
   前記判定手順は、前記検出手順により前記所定の記録手段が検出された場合には、検出された記録手段の向きであって前記撮像画像から推定される向きに基づいて、前記所定の禁止行為の行為として、当該記録手段を用いて前記表示情報を記録する行為を、前記人物が行っているか否かを判定する
   ことを特徴とする請求項１に記載の出力制御プログラム。
3. 前記検出手順は、前記特定のオブジェクトとして、人物を検出し、
   前記判定手順は、前記検出手順により人物が検出された場合には、検出された人物の人数に基づいて、前記端末装置の画面の手前に複数の人物が存在するか否かを判定し、
   前記出力制御手順は、前記判定手順により前記端末装置の画面の手前に複数の人物が存在すると判定された場合には、前記複数の人物が存在することに応じた所定の出力制御を実行する
   ことを特徴とする請求項１または２に記載の出力制御プログラム。
4. 前記判定手順は、前記撮像画像から推定される前記複数の人物それぞれの顔の向き、前記撮像画像から推定される前記複数の人物それぞれの視線方向、または、前記撮像画像から推定される前記複数の人物それぞれの前記端末装置までの距離に基づいて、前記端末装置の画面に表示されている表示情報が前記複数の人物のうち少なくともいずれか一方の視界に入っているか否かを判定し、
   前記出力制御手順は、前記表示情報が前記複数の人物のうち少なくともいずれか一方の視界に入っていると判定された場合には、前記複数の人物が存在することに応じた所定の出力制御を実行する
   ことを特徴とする請求項３に記載の出力制御プログラム。
5. 前記撮像手段によって撮像された前記端末装置の利用者の顔画像であって、ログイン時に撮像された顔画像と、予め登録されている顔画像とに基づいて、前記利用者の本人認証を行う認証手順を前記端末装置にさらに実行させ、
   前記検出手順は、顔画像を登録している正当な人物として前記利用者が認証された場合には、前記撮像画像のうちログイン先の画面が表示されている際に撮像された撮像画像から、前記特定のオブジェクトとして、人物を検出し、
   前記判定手順は、前記検出手順により人物が検出された場合には、検出された人物の中に前記利用者とは異なる他人が存在するか否かを判定し、
   前記出力制御手順は、前記判定手順により前記利用者とは異なる他人が存在すると判定された場合には、前記他人が存在することに応じた所定の出力制御を実行する
   ことを特徴とする請求項１～４のいずれか１つに記載の出力制御プログラム。
6. 前記判定手順は、前記撮像画像から推定される前記他人の顔の向き、前記撮像画像から推定される前記他人の視線方向、または、前記撮像画像から推定される前記他人の前記端末装置までの距離に基づいて、前記端末装置の画面に表示されている表示情報が前記他人の視界に入っているか否かを判定し、
   前記出力制御手順は、前記表示情報が前記他人の視界に入っていると判定された場合には、前記他人が存在することに応じた所定の出力制御を実行する
   ことを特徴とする請求項５に記載の出力制御プログラム。
7. 前記出力制御手順は、前記他人が前記利用者の関係者として予め登録されている場合には、前記出力制御を実行しない
   ことを特徴とする請求項５または６に記載の出力制御プログラム。
8. 前記認証手順は、顔画像を登録している正当な人物として前記利用者を認証できなかった場合には、前記利用者のログインを却下する
   ことを特徴とする請求項５～７のいずれか１つに記載の出力制御プログラム。
9. 前記出力制御手順は、前記出力制御として、前記端末装置の画面に対する表示制御であって、前記特定のオブジェクトに応じた表示制御により当該画面に表示されている表示情報の表示態様を制御させる
   ことを特徴とする請求項１～８のいずれか１つに記載の出力制御プログラム。
10. 前記出力制御手順は、前記表示情報に対する秘匿性のレベルに応じて、前記表示態様を制御させる
    ことを特徴とする請求項９に記載の出力制御プログラム。
11. 前記出力制御手順は、前記画面の明るさを調整することで前記表示情報に対する視認性を低下させる、または、前記画面に対してモザイク制御することで前記表示情報に対する視認性を低下させる
    ことを特徴とする請求項９または１０に記載の出力制御プログラム。
12. 前記出力制御手順は、前記出力制御として、前記特定のオブジェクトに応じた所定のアラート情報を出力させる
    ことを特徴とする請求項１～１１のいずれか１つに記載の出力制御プログラム。
13. 前記出力制御手順は、所定のアラート情報として、前記端末装置の画面に表示されている表示情報に対する周囲からの覗き見のリスクがあることを警告するアラート情報を出力させる
    ことを特徴とする請求項１２に記載の出力制御プログラム。
14. 前記出力制御手順は、所定のアラート情報として、前記端末装置の画面に表示されている表示情報の不正入手に関する禁止行為を行わないよう警告するアラート情報を出力させる
    ことを特徴とする請求項１２または１３に記載の出力制御プログラム。
15. 端末装置により実行される出力制御方法であって、
    前記端末装置の撮像手段によって撮像された撮像画像から特定のオブジェクトを検出する検出工程と、
    前記検出工程により特定のオブジェクトが検出された場合には、検出された特定のオブジェクトが所定の条件を満たすか否かを判定する判定工程と、
    前記判定工程により前記所定の条件を満たすと判定された場合には、前記特定のオブジェクトに応じた所定の出力制御を実行する出力制御工程と
    を含み、
    前記検出工程は、前記特定のオブジェクトとして、人物が所有する特定の所有物を検出し、
    前記判定工程は、前記検出工程により特定の所有物が検出された場合には、検出された特定の所有物に基づいて、当該所有物を所持する人物が所定の禁止行為を行っているか否かを判定し、
    前記出力制御工程は、前記判定工程により前記特定の所有物を所持する人物が所定の禁止行為を行っていると判定された場合には、前記禁止行為に応じた所定の出力制御を実行する
    ことを特徴とする出力制御方法。
16. 端末装置であって、
    前記端末装置の撮像手段によって撮像された撮像画像から特定のオブジェクトを検出する検出部と、
    前記検出部により特定のオブジェクトが検出された場合には、検出された特定のオブジェクトが所定の条件を満たすか否かを判定する判定部と、
    前記判定部により前記所定の条件を満たすと判定された場合には、前記特定のオブジェクトに関する所定の出力制御を実行する出力制御部と
    を有し、
    前記検出部は、前記特定のオブジェクトとして、人物が所有する特定の所有物を検出し、
    前記判定部は、前記検出部により特定の所有物が検出された場合には、検出された特定の所有物に基づいて、当該所有物を所持する人物が所定の禁止行為を行っているか否かを判定し、
    前記出力制御部は、前記判定部により前記特定の所有物を所持する人物が所定の禁止行為を行っていると判定された場合には、前記禁止行為に応じた所定の出力制御を実行する
    ことを特徴とする端末装置。

Images